顔認識方法、コンピューター読み取り可能な媒体および画像処理装置

【課題】外観ベースの手法を用いる自動顔認識の方法を提供すること。
【解決手段】最初に顔パターンおよび２つの目パターンが検出され、顔パターンが正規化
される。次に正規化顔パターンはガノール特徴表現の正規化顔特徴ベクトルに変換され、
差分画像ベクトルが計算される。次に、差分画像ベクトルは予め収集された訓練用の顔デ
ータベースから抽出されたより低次元の被写体内下部空間に投影され、その投影の各成分
に二乗機能が適用される。次に、二乗投影の加重合計が計算される。最後にプローブデジ
タル画像における顔パターンは、計算された最大加重合計が予め定義された閾値を超える
として、計算された最大加重合計を有するギャラリー画像に属すると分類される。

【発明の詳細な説明】
【技術分野】
【０００１】
本発明の実施形態は自動顔認識に関する。具体的に、本発明の実施形態例は外観ベース
の手法を用いる自動顔認識の方法に関する。
【背景技術】
【０００２】
顔認識システムは既知の関心被写体のセットが提供する顔画像からなり、ギャラリーと
して知られるデータベースを一般的に含む。顔認識システムの目的はプローブとして知ら
れる未知の入力顔画像の正体を判定することにある。言い換えれば、顔認識システムの課
題はプローブ画像が属するギャラリー被写体を判定することにある（例えば特許文献１参
照）。
さまざまな顔認識方法の中で、二次元の顔画像を全体的なパターンとして扱う外観ベー
スの方法は最も有望な解決法の中に入り、この１０年間で顔認識文献を支配している。外
観ベースの方法において、各顔パターンは画像内のピクセル強度値からなる列ベクトルで
表される。従って顔認識は多変量統計パターン認識問題とみなされる。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】米国特許第７２７４８２２号明細書
【発明の概要】
【発明が解決しようとする課題】
【０００４】
この方法における大きな問題はサンプル空間の高次元性と相俟って、「小サンプルサイ
ズ」問題としても知られる学習用に利用可能な顔サンプルの限られた数である。小サンプ
ルサイズ問題は多くの学習アルゴリズムを数学的に扱い難く、または実験的に不安定にす
る。特に、現実的な用途シナリオにおいて広く見られる状況であるように、被写体毎に１
つのみの画像サンプルがある場合、小サンプルサイズ問題はさらに難しくなる。
【課題を解決するための手段】
【０００５】
本発明の顔認識方法は、（１）プローブデジタル画像において顔パターンを検出するス
テップと、
（２）前記検出された顔パターンにおいて２つの目パターンを検出するステップと、
（３）前記顔パターンを回転しサイズ変更して前記２つの目パターンの中心を所定ピク
セル上に配置することによって前記顔パターンを正規化するステップと、
（４）前記正規化された顔パターンである正規化顔パターンをガボール特徴表現の正規
化顔特徴ベクトルに変換するステップと、
（５）前記正規化顔特徴ベクトルおよび画像のギャラリーにおけるギャラリー画像の正
規化ギャラリー画像特徴ベクトルを用いて差分画像ベクトルを計算するステップと、
（６）前記差分画像ベクトルを、予め収集された訓練用の顔データベースから抽出され
たより低次元の被写体内の下部空間に投影するステップと、
（７）前記投影の各成分に二乗機能を適用するステップと、
（８）前記ステップ（７）によってなされた二乗投影の加重合計を計算するステップと
、
（９）前記画像のギャラリーにおける前記正規化ギャラリー画像特徴ベクトル各々に対
し前記ステップ（５）乃至（８）を繰り返すステップと、
（１０）前記プローブデジタル画像における顔パターンを、計算された最大加重合計が
予め定義された閾値を超える場合に、前記計算された最大加重合計を有するギャラリー画
像に属すると分類するステップとを有することを特徴とする。
【０００６】
また本発明の顔認識方法において、前記ステップ（３）は、前記顔パターンにマスクを
適用して顔ではない部分を除去するステップをさらに有することを特徴とする。
【０００７】
また本発明の顔認識方法において、前記ステップ（３）は、マスク化された前記顔パタ
ーンにヒストグラム均等化を実施するステップをさらに有することを特徴とする。
【０００８】

【０００９】

【００１０】

【００１１】

【００１２】

【００１３】

【００１４】

【００１５】
一方、本発明のコンピューター読み取り可能な媒体は、プログラマブルプロセッサーに
より実行されると自動顔認識の方法を実施するコンピューター読み取り命令を有する１つ
以上のコンピューター読み取り可能な媒体であって、
前記方法は、
（１）プローブデジタル画像において顔パターンを検出するステップと、
（２）前記検出された顔パターンにおいて２つの目パターンを検出するステップと、
（３）前記顔パターンを回転しサイズ変更して前記２つの目パターンの中心を所定ピク
セル上に配置することによって前記顔パターンを正規化するステップと、
（４）前記正規化された顔パターンである正規化顔パターンをガボール特徴表現の正規
化顔特徴ベクトルに変換するステップと、
（５）前記正規化顔特徴ベクトルおよび画像のギャラリーにおけるギャラリー画像の正
規化ギャラリー画像特徴ベクトルを用いて差分画像ベクトルを計算するステップと、
（６）前記差分画像ベクトルを、予め収集された訓練用の顔データベースから抽出され
たより低次元の被写体内の下部空間に投影するステップと、
（７）前記投影の各成分に二乗機能を適用するステップと、
（８）前記ステップ（７）によってなされた二乗投影の加重合計を計算するステップと
、
（９）前記画像のギャラリーにおける前記正規化ギャラリー画像特徴ベクトル各々に対
し前記ステップ（５）乃至（８）を繰り返すステップと、
（１０）前記プローブデジタル画像における顔パターンを、計算された最大加重合計が
予め定義された閾値を超える場合に、前記計算された最大加重合計を有するギャラリー画
像に属すると分類するステップとを有することを特徴とする。
【００１６】
また本発明のコンピューター読み取り可能な媒体において、前記ステップ（３）はさら
に、前記顔パターンにマスクを適用して顔ではない部分を除去し、前記マスク化された顔
パターンにヒストグラム均等化を実施するステップを有することを特徴とする。
【００１７】

【００１８】

【００１９】

【００２０】

【００２１】

【００２２】
さらに本発明の画像処理装置は、電子ディスプレイと、
前記電子ディスプレイと電子的に通信するプロセッサーとを有する画像処理装置であっ
て、
前記プロセッサーと電子的に通信する１つ以上のコンピューター読み取り可能な媒体が
前記プロセッサーにより実行されると、前記プロセッサーは以下のステップ（１）乃至（
１１）を実施させることを特徴とする。
（１）プローブデジタル画像において顔パターンを検出するステップと、
（２）前記検出された顔パターンにおいて２つの目パターンを検出するステップと、
（３）前記顔パターンを回転しサイズ変更して前記２つの目パターンの中心を所定ピク
セル上に配置することによって前記顔パターンを正規化するステップと、
（４）前記正規化された顔パターンである正規化顔パターンをガボール特徴表現の正規
化顔特徴ベクトルに変換するステップと、
（５）前記正規化顔特徴ベクトルおよび画像のギャラリーにおけるギャラリー画像の正
規化ギャラリー画像特徴ベクトルを用いて差分画像ベクトルを計算するステップと、
（６）前記差分画像ベクトルを、予め収集された訓練用の顔データベースから抽出され
たより低次元の被写体内の下部空間に投影するステップと、
（７）前記投影の各成分に二乗機能を適用するステップと、
（８）前記ステップ（７）によってなされた二乗投影の加重合計を計算するステップと
、
（９）前記画像のギャラリーにおける前記正規化ギャラリー画像特徴ベクトル各々に対
し前記ステップ（５）乃至（８）を繰り返すステップと、
（１０）前記プローブデジタル画像における顔パターンを、計算された最大加重合計が
予め定義された閾値を超える場合に、前記計算された最大加重合計を有するギャラリー画
像に属すると分類するステップと、
（１１）前記プローブデジタル画像が属するギャラリー画像に対応するデータを表示用
に前記電子ディスプレイに送信するステップ。
【００２３】
さらに本発明の画像処理装置において、
フォトビューアーと、
コンピューター読み取り可能な媒体ＲＡＭ、ＲＯＭ、およびフラッシュＥＥＰＲＯＭの
１つ以上とをさらに有し、
前記電子ディスプレイは液晶ディスプレイを有しても良い。
【図面の簡単な説明】
【００２４】
【図１】携帯フォトビューアーの概略を示す図である。
【図２】自動顔認識の方法例のフローチャートを示す図である。
【図３】図２における方法例の実施例のフローチャートである。
【図４】図３の実施例における顔の正規化プロセスのフローチャートである。
【図５】図３の実施例におけるガボール特徴抽出プロセスの描写である。
【図６】ガボール・ウェーブレット・フィルターの実部の例示を示す図である。
【図７】図３の実施例におけるベイズ特徴抽出プロセスおよび分類プロセスのフローチャートである。
【図８】正則化加重ベクトルの構築のフローチャートである。
【図９】図３の実施例における分類プロセス例のフローチャートである。
【発明を実施するための形態】
【００２５】
本発明は全般的に、実施形態例は外観ベースの手法を用いる自動顔認識の方法に関する
。いくつかの実施形態例は各被写体に対し単一の画像が登録されることを必要とし、ガボ
ール方法、ベイズ学習、およびサポート・ベクトル・マシン（ＳＶＭ）ベースの分類の長
所を組み合わせている。
【００２６】
第1実施形態例において、自動顔認識の方法にはいくつかの行為が含まれる。最初にプ
ローブデジタル画像において顔パターンが検出される。次に顔パターンにおいて2つの目
パターンが検出される。次に顔パターンを回転しサイズ変更して2つの目パターンの中心
を所定ピクセル上に配置することにより顔パターンが正規化される。次に正規化顔パター
ンがガボール特徴表現の正規化顔特徴ベクトルに変換される。その後、正規化顔特徴ベク
トルおよび画像のギャラリーにおけるギャラリー画像の正規化ギャラリー画像特徴ベクト
ルを用いて差分画像ベクトルが計算される。次に、差分画像ベクトルは予め収集された訓
練用の顔データベースから抽出されたより低次元の被写体内の下部空間に投影される。そ
の後、投影の各成分に二乗機能が適用される。次に、二乗投影の加重合計が計算される。
その後、画像のギャラリーにおける正規化ギャラリー画像特徴ベクトル各々に対しこれま
での4つの行為が繰り返される。最後に、プローブデジタル画像における顔パターンは、
計算された最大加重合計が予め定義された閾値を超えるとして、計算された最大加重合計
を有するギャラリー画像に属すると分類される。
【００２７】

【００２８】

【００２９】
第3実施形態例において、1つ以上のコンピューター読み取り可能な媒体は実行されると
第1実施形態例に関連して上述された自動顔認識方法を実施するコンピューター読み取り
可能な命令を搭載している。
【００３０】
第4実施形態例において、画像処理装置は電子ディスプレイ、電子ディスプレイと電子
的に通信するプロセッサー、およびプロセッサーと電子的に通信する1つ以上のコンピュ
ーター読み取り可能な媒体を含む。1つ以上のコンピューター読み取り可能な媒体はプロ
セッサーにより実行されるとプロセッサーに第1実施形態例に関連して上述された自動顔
認識方法を実施させるとともにプローブデジタル画像が属するギャラリー画像に対応する
データを表示用に電子ディスプレイに送信する行為を実施させるコンピューター読み取り
可能な命令を搭載している。
【００３１】
本発明は以下の詳細な説明においてさらに説明される、選ばれたいくつかの概念を簡単
な形で紹介するために提供される。以下に続く説明においてさらなる特徴が示され、ある
程度説明から明らかであり、または本明細書における教示の実施により学ぶことができる
。発明の特徴は添付クレームに具体的に指摘される手段および組み合わせにより実現し得
ることができる。本発明の特徴は以下の説明および添付クレームからより完全に明らかに
なり、または本明細書において以下示される発明の実施により学ぶことができる。
【００３２】
発明の上記実施形態例および他の態様をさらに展開するために、これらの例のより詳細
な説明が添付図面に開示されるそれらの具体的な実施形態を参照して示される。これらの
図面は発明の実施形態例を描くのみで、従ってその範囲を限定するものとみなされないこ
とが理解されよう。さらに図面は発明の実施形態例の図表的および略図的な表示である、
本発明を限定するものではないことが理解されよう。発明の実施形態例は添付図面を用い
ることによりさらに具体的かつ詳細に開示され説明される。
【００３３】
以下の詳細な説明において、例示の目的で発明の実施形態例を示す添付図面が参照され
る。それぞれの図を通し、図面上類似した数字は実質的に類似した構成要素を指す。これ
らの実施形態は当業者が発明を実施できるよう充分詳細に説明される。本発明の範囲を逸
脱することなく他の実施形態を利用することができ、構造的、論理的、および電気的変更
をなすことができる。
【００３４】
さらに、発明のさまざまな実施形態は、異なっていても必ずしも互いに排他的ではない
ことが理解されよう。例えば、一実施形態において説明される特定の特徴、構造、または
特性は他の実施形態に含まれることができる。以下の詳細な説明は従って限定的な意味で
理解されるものではなく、本発明の範囲は添付クレームとともにこれらクレームが権利を
有する均等物の完全な範囲によってのみ規定される。
【００３５】
全般的に、実施形態例は外観ベースの手法を用いる自動顔認識の方法に関する。実施形
態例を用いてプローブ画像が属するギャラリー被写体を自動的に判定することができる。
従来のシステムや線形判別分析（ＬＤＡ）ベースの方法を用いる方法とは異なり、本明細
書で開示される実施形態は「1サンプル」のシナリオにおいてベイズ学習手法を利用し、
システムおよび方法が特定される被写体とはことなる被写体に対する訓練を用いている。
加えて、従来の最尤推定または最大事後確率の分類規則を用いる代わりに、本明細書で開
示される実施形態例は正則化特徴表現により高度のＳＶＭベースの分類器を適用すること
によりさらに認識性能を向上させる。
【００３６】
Ｉ．環境例
本明細書で開示される方法例およびこれらの変形はコンピューター実行可能な命令を搭
載もしくは有し、またはデータ構造を記憶するコンピューター読み取り可能な媒体を用い
て実施することができる。このようなコンピューター読み取り可能な媒体は汎用または特
殊用途のコンピューターによりアクセスできる任意の入手可能な媒体であって良い。限定
ではなく例として、このようなコンピューター読み取り可能な媒体はＲＡＭ、ＲＯＭ、Ｅ
ＥＰＲＯＭ、ＣＤ−ＲＯＭもしくは他の光ディスク記憶装置、磁気ディスク記憶装置もし
くは他の磁気ディスク記憶装置、またはコンピューター実行可能な命令の形を取るプログ
ラムコードもしくはデータ構造を搭載もしくは記憶するために用いられ、汎用もしくは特
殊用途のコンピューターのプロセッサーによりアクセスされ得る他の任意の媒体を有して
なることができる。上記の組み合わせもコンピューター読み取り可能な媒体の範囲に入れ
られるべきである。
【００３７】
コンピューター実行可能な命令は例えば汎用コンピューターまたは特殊用途コンピュー
ターなどの装置のプロセッサーに特定の機能または機能のグループを行なわせる命令およ
びデータを有してなる。本明細書において主題は方法行為固有の言葉で説明されるが、添
付クレームに定義される主題は本明細書に説明される具体的な行為に必ずしも限定されな
いことが理解されよう。むしろ、本明細書で説明される具体的な行為はクレームを実施す
る形の例として開示される。
【００３８】
特殊用途コンピューターの例はデジタルカメラ（例としては長野県諏訪市大和に本社を
置くセイコーエプソン（株）製のR−D1デジタルカメラが含まれるが、これに限定されな
い）、デジタルカムコーダー、プロジェクター、プリンター、スキャナー（例としてはす
べてセイコーエプソン（株）製のEpson Perfection（Ｃ）V200、V300、V500、V700、4490
、およびV750−MPro、Epson Expression（Ｃ）10000XL、ならびにEpson GT−1500、GT−2
500、GT−15000、GT−20000、およびGT−30000を含むがこれらに限定されない）、携帯フ
ォトビューアー（例としてはセイコーエプソン（株）製のEpson P−3000またはP−5000携
帯フォトビューアーを含むが、これらに限定されない）、または携帯映画プレーヤー、ま
たはプリンター／スキャナー／コピー機の組み合わせ（例としてはセイコーエプソン（株
）製のEpsonStylusPhotoRX580、RX595、またはRX680、Epson Stylus CX4400、CX7400、CX
8400、またはCX9400FaxおよびEpson AcuLaser（登録商標）CX11NFが含まれるが、これら
に限定されない）、またはデジタルカメラ／カムコーダーの組み合わせなどの画像処理装
置を含む。画像処理装置は例えばプローブ画像が属するギャラリー被写体を自動的に判定
するために顔認識機能を含むことができる。
【００３９】
例えば、この自動顔認識機能を有する携帯フォトビューアーは本明細書で開示される方
法例を実施する1つ以上のコンピューター読み取り可能な媒体を含むことができ、または
携帯フォトビューアーに接続されるコンピューターが本明細書で開示される方法例を実施
する1つ以上のコンピューター読み取り可能な媒体を含むことができる。
【００４０】
任意の撮像装置を用いることが可能であるが、例示上図1において概略的表示が示され
る携帯フォトビューアー100の例に関連して実施形態例を説明する。携帯フォトビューア
ー100は介在するインターフェイス102経由でホストコンピューター150とデータを交換す
る。アプリケーションプログラムおよび携帯フォトビューアー100のドライバーもアクセ
ス用にホストコンピューター150上に記憶されることができる。画像検索命令が例えばア
プリケーションプログラムから受信されると、携帯フォトビューアー100のドライバーは
命令データの携帯フォトビューアー100に適したフォーマットへの変換を制御し、変換さ
れた命令データを携帯フォトビューアー100に送信する。ドライバーはさらに携帯フォト
ビューアー100からのさまざまな信号およびデータを受信し解釈し、ホストコンピュータ
ー150経由で必要な情報をユーザーに提供する。
【００４１】
ホストコンピューター150からデータが送信されると、インターフェイス102はデータを
受信し、ＲＡＭ104の一部を形成する受信バッファーに記憶する。ＲＡＭ104は例えばアド
レス指定を通していくつかの部分に分け、受信バッファーまたは送信バッファーなどの異
なるバッファーとして割り当てることができる。例えば、デジタル写真画像データをホス
トコンピューター150から携帯フォトビューアー100に送信することができる。このデジタ
ル写真画像データはその後ＲＡＭ104の受信バッファーまたは送信バッファーに記憶する
ことができる。
【００４２】
プロセッサー106は例えばＲＯＭ108またはフラッシュＥＥＰＲＯＭ110に記憶されたコ
ンピューター実行可能な命令を用いて本明細書で開示される自動顔認識方法例などの特定
機能または機能のグループを実施する。ＲＡＭ104の受信バッファーにおけるデータが例
えば2つ以上のデジタル写真画像である場合、プロセッサー106は本明細書で開示される自
動顔認識の方法例をデジタル写真画像に実施してプローブ画像が属するギャラリー被写体
を自動的に判定することができる。プローブ画像が属するギャラリー画像に対応するデー
タはその後携帯フォトビューアー100により例えば表示用にディスプレイ112に送信される
か、ホストコンピューター150に転送することができる。
【００４３】
プローブ画像が属するギャラリー画像に対応するデータは例えば名前、生年月日、およ
び／または連絡先情報など、ギャラリー画像において描かれる人間の識別情報であること
ができる。このデータはさらに／代わりに例えば画像ファイル名、ファイルサイズ、画像
解像度、および／または画像がデジタル写真として取り込まれた日付などギャラリー画像
に関する情報を含むことができる。プロセッサー106はディスプレイ112と電子的に通信し
ており、後者は任意の種類の電子ディスプレイであって良く、視覚的ディスプレイ、聴覚
的ディスプレイ、または触覚的ディスプレイを含むがこれらに限定されない。例えば、デ
ィスプレイ112は液晶ディスプレイ（ＬＣＤ）などの視覚的電子ディスプレイであること
ができる。
【００４４】
携帯フォトビューアー100はデジタル写真画像を、フラッシュＥＥＰＲＯＭ110またはＲ
ＯＭ108を含むがこれらに限定されない、ホストコンピューター150以外の出所から受信し
得ることが理解されよう。携帯フォトビューアー100の実施形態例は本明細書で開示され
る携帯フォトビューアーの機種を含むが、これらに限定されない。
【００４５】
ＩＩ．方法例
図2は自動顔認識の方法例200のフローチャートである。以下図2に関連して自動顔認識
の方法例200を説明する。方法例200を実施する前に、画像のギャラリーとの比較による顔
認識用にプローブ画像が対象とされる。
まず202で、プローブデジタル画像において顔パターンが検出する。次に204で、検出さ
れた顔パターンにおいて2つの目パターンが検出される。その後206で、検出された顔パタ
ーンは顔パターンを回転しサイズ変更して2つの目パターンの中心を所定ピクセル上に配
置することにより正規化される。次に208で、正規化顔パターンはガボール特徴表現の正
規化顔特徴ベクトルに変換される。その後210で、正規化顔特徴ベクトルおよび画像のギ
ャラリーにおけるギャラリー画像の正規化ギャラリー画像特徴ベクトルを用いて差分画像
ベクトルが計算される。次に212で、差分画像ベクトルは予め収集された学習顔のデータ
ベースから抽出されたより低い次元の被写体内の下部空間に投影される。その後214で、
投影の各成分に二乗機能が適用される。次に216で、二乗投影の加重合計が計算される。
その後行為218で、画像のギャラリーにおける正規化ギャラリー画像特徴ベクトル各々に
対し行為210〜216が繰り返される。最後に220で、プローブデジタル画像における顔パタ
ーンは計算された最大加重合計が予め定義された閾値を超えるとした場合、計算された最
大加重合計を有するギャラリー画像に属すると分類される。
【００４６】
ＩＩＩ．方法例の実施例
図2における方法例200の実施例が以下図3〜8に関連して開示される。図3に開示される
ように、方法例300は以下のプロセス：顔検出302、目検出304、顔正規化306、ガボール特
徴抽出308、ベイズ特徴抽出310、および分類312；を含む。これらのプロセス各々を以下
順に説明する。
次に図4を参照すると、顔正規化プロセス例400が開示される。202で、プローブデジタ
ル画像402において顔パターン404が検出される。プローブデジタル画像402がフルカラー
画像である場合、プローブデジタル画像402は例えばYCbCr色空間における輝度成分以外の
すべてを除去することによりグレースケールに変換することができる。代わりに赤、緑、
および青チャンネル値を（Ｒ＋Ｇ＋Ｂ）／３として平均化するなど、他の色からグレース
ケールへの変換演算子も適用することができる。その後204で、検出された顔パターン404
において2つの目パターン406が検出される。次に、異なるサイズの顔および異なる面内回
転に対応するために206で、検出された顔パターン404は顔パターン404を回転しサイズ変
更して2つの目パターン406の中心を所定ピクセル上に配置することにより正規化され、回
転され拡大縮小された顔パターン408をもたらす。例えば206で、顔パターン404は検出さ
れた目パターン406の中心が特定ピクセル上に配置され、画像サイズが例えば64ピクセル
×56ピクセルなど特定サイズに正規化されるよう回転され、拡大縮小されることができる
。加えて、206における正規化はさらに検出された顔パターン408にマスク410を適用して
顔ではない部分を除去することを含み得る。206における正規化はマスク化の検出された
顔パターンにヒストグラム均等化を実施することも含み得、顔パターン412がもたらされ
る。
【００４７】
行為206における検出された顔パターン404の正規化は物理的かつ実体のある物体を表す
電子データを変換することが特記される。具体的に、図示例において電子データは人間の
顔を表す。行為206の際、データは第1状態から第2状態に変換される。第1状態において、
データは第1ポーズにある人間の顔を表し、その例は顔がやや左に傾いている検出された
顔パターン404に開示される。第2状態において、データは第2ポーズにある人間の顔を表
し、その例は顔がどちら側にも傾かず実質的に水平である回転され拡大縮小された顔パタ
ーン408に開示される。同様に、検出された顔パターン408へのマスク410を適用して顔で
はない部分を除去した顔パターン412が開示される。マスク化の検出された顔パターン408
へのヒストグラム均等化の実施は各々物理的かつ実体のある物体、すなわち人間の顔、を
表すデータを変換する工程である。
【００４８】

【００４９】

【００５０】

【００５１】

【００５２】
その後ガボール・ウェーブレット係数の辞書的に順序付けることによりガボール特徴ベ
クトルが形成され、143，360（＝64×56×8×5）のベクトル長をもたらす。ガボール特徴
空間の次元性は非常に高く、さらなる計算が難しくなることが分かる。
【００５３】

【００５４】
ガボール特徴抽出の後、各顔パターンは列ベクトルとして表され、実施例300において
はＪ＝8960の長さを有する。従って、顔認識は高次元空間における統計パターン認識問題
とみなすことができる。このような高次元空間において直接分類は難しく、または時には
いわゆる「次元の呪い」問題のために手に負えないことがある。従って、本明細書で開示
される実施形態例においては統計的特徴抽出（次元縮小）手順に従い、元の高次元空間を
、顔サンプルが良くクラスターされ分離されていることが予期されるはるかに低い下部空
間に投影する。
【００５５】
実施例300において、212でベイズ枠組みを用いて元のガボール特徴空間をより低次元の
、被写体内下部空間と呼ばれる空間に投影する。次にベイズ解決を検討した上で被写体内
下部空間をどのように抽出するかの詳細な誘導法が続く。
【００５６】

【００５７】

【００５８】
次に図7を参照すると、上述されたベイズ枠組みの下での訓練プロセス700および操作プ
ロセス750が開示される。訓練プロセス700において、差分画像のセット（ガボールベクト
ルで表される）が収集され、被写体内下部空間を抽出し分類器を訓練する。操作プロセス
750において、プローブ画像および各ギャラリー画像間の差分画像ベクトルは抽出された
被写体内下部空間に投影され、これに分類手順が続く。出力として入力差分ベクトルが被
写体内クラスに属する確率を示す信頼度値が得られる。従って最大信頼度値が所定閾値を
超える限り、プローブの識別は最大信頼度値をもたらすギャラリー画像に属する。最大信
頼度値が所定閾値を超えない場合、プローブはギャラリーにない被写体に属すると判定さ
れる。
縮小被写体内空間において、線形ＳＶＭ分類器を適用してさらに被写体内および被写体
間のサンプルを分離する。さらにシステムの一般化性能を向上させるために、異なる被写
体内および被写体間のサンプルを収集してＳＶＭ分類器を訓練することができる。
【００５９】

【００６０】

【００６１】
予め定義された学習精度を達成するのに必要な訓練サンプルサイズは本件において被写
体内の次元性（Ｍ）であるサンプル空間の次元性に指数関数的に依存することが統計的学
習理論で示さている。これは中程度のＭ値（例、本件においてＭ＝492）について多数の
訓練サンプルが予期されることを示す。しかし、実際的な用途において、利用可能な訓練
サンプルは常に限定されている。訓練サンプルの不足対サンプル空間の高次元性は過学習
の問題につながり、低い一般化性能をもたらす。システムの一般化能力を向上させるため
に実施例300は正則化戦略を用いて推定変動を減らす。
【００６２】

【００６３】

【００６４】

【００６５】

【００６６】
本発明はその精神または基本的な特徴から逸脱することなく他の具体的な形において具
現され得る。本明細書において説明される実施形態はすべての面において限定的ではなく
例示的のみとみなされる。従って発明の範囲は前述の説明ではなく添付クレームによって
示される。クレームと均等の意味および範囲内に入るすべての変更はその範囲に包含され
る。
【符号の説明】
【００６７】
４０２プローブデジタル画像
４０４顔パターン
４０６２つの目パターン
４０８回転／縮小拡大された顔パターン
４１０マスク。

【特許請求の範囲】
【請求項１】
（１）プローブデジタル画像において顔パターンを検出するステップと、
（２）前記検出された顔パターンにおいて2つの目パターンを検出するステップと、
（３）前記顔パターンを回転しサイズ変更して前記2つの目パターンの中心を所定ピク
セル上に配置することによって前記顔パターンを正規化するステップと、
（４）前記正規化された顔パターンである正規化顔パターンをガボール特徴表現の正規
化顔特徴ベクトルに変換するステップと、
（５）前記正規化顔特徴ベクトルおよび画像のギャラリーにおけるギャラリー画像の正
規化ギャラリー画像特徴ベクトルを用いて差分画像ベクトルを計算するステップと、
（６）前記差分画像ベクトルを、予め収集された訓練用の顔データベースから抽出され
たより低次元の被写体内の下部空間に投影するステップと、
（７）前記投影の各成分に二乗機能を適用するステップと、
（８）前記ステップ（７）によってなされた二乗投影の加重合計を計算するステップと
、
（９）前記画像のギャラリーにおける前記正規化ギャラリー画像特徴ベクトル各々に対
し前記ステップ（５）乃至（８）を繰り返すステップと、
（１０）前記プローブデジタル画像における顔パターンを、計算された最大加重合計が
予め定義された閾値を超える場合に、前記計算された最大加重合計を有するギャラリー画
像に属すると分類するステップとを有する顔認識方法。
【請求項２】
前記ステップ（３）は、前記顔パターンにマスクを適用して顔ではない部分を除去する
ステップをさらに有する請求項１に記載の顔認識方法。
【請求項３】
前記ステップ（３）は、マスク化された前記顔パターンにヒストグラム均等化を実施す
るステップをさらに有する請求項２に記載の顔認識方法。
【請求項４】

【請求項５】

【請求項６】

【請求項７】

【請求項８】

【請求項９】

【請求項１０】

【請求項１１】
前記ステップ（２）及び（３）は各々、
前記各画像において顔パターンを検出するステップと、
前記検出された顔パターンにおいて2つの目パターンを検出するステップと、
前記顔パターンを回転しサイズ変更して前記2つの目パターンの中心を所定ピクセル上
に配置するステップと、
前記顔パターンにマスクを適用して顔ではない部分を除去するステップと、
前記マスク化された顔パターンにヒストグラム均等化を実施するステップとを有する請
求項９に記載の顔認識方法。
【請求項１２】
プログラマブルプロセッサーにより実行されると自動顔認識の方法を実施するコンピュ
ーター読み取り命令を有する1つ以上のコンピューター読み取り可能な媒体であって、
前記方法は、
（１）プローブデジタル画像において顔パターンを検出するステップと、
（２）前記検出された顔パターンにおいて2つの目パターンを検出するステップと、
（３）前記顔パターンを回転しサイズ変更して前記2つの目パターンの中心を所定ピク
セル上に配置することによって前記顔パターンを正規化するステップと、
（４）前記正規化された顔パターンである正規化顔パターンをガボール特徴表現の正規
化顔特徴ベクトルに変換するステップと、
（５）前記正規化顔特徴ベクトルおよび画像のギャラリーにおけるギャラリー画像の正
規化ギャラリー画像特徴ベクトルを用いて差分画像ベクトルを計算するステップと、
（６）前記差分画像ベクトルを、予め収集された訓練用の顔データベースから抽出され
たより低次元の被写体内の下部空間に投影するステップと、
（７）前記投影の各成分に二乗機能を適用するステップと、
（８）前記ステップ（７）によってなされた二乗投影の加重合計を計算するステップと
、
（９）前記画像のギャラリーにおける前記正規化ギャラリー画像特徴ベクトル各々に対
し前記ステップ（５）乃至（８）を繰り返すステップと、
（１０）前記プローブデジタル画像における顔パターンを、計算された最大加重合計が
予め定義された閾値を超える場合に、前記計算された最大加重合計を有するギャラリー画
像に属すると分類するステップとを有する、コンピューター読み取り可能な媒体。
【請求項１３】
前記ステップ（３）はさらに、前記顔パターンにマスクを適用して顔ではない部分を除
去し、前記マスク化された顔パターンにヒストグラム均等化を実施するステップを有する
請求項１２に記載のコンピューター読み取り可能な媒体。
【請求項１４】

【請求項１５】

【請求項１６】

【請求項１７】

【請求項１８】

【請求項１９】
電子ディスプレイと、
前記電子ディスプレイと電子的に通信するプロセッサーとを有する画像処理装置であっ
て、
前記プロセッサーと電子的に通信する1つ以上のコンピューター読み取り可能な媒体が
前記プロセッサーにより実行されると、前記プロセッサーは以下のステップ（１）乃至（
１１）を実施させる画像処理装置。
（１）プローブデジタル画像において顔パターンを検出するステップと、
（２）前記検出された顔パターンにおいて2つの目パターンを検出するステップと、
（３）前記顔パターンを回転しサイズ変更して前記2つの目パターンの中心を所定ピク
セル上に配置することによって前記顔パターンを正規化するステップと、
（４）前記正規化された顔パターンである正規化顔パターンをガボール特徴表現の正規
化顔特徴ベクトルに変換するステップと、
（５）前記正規化顔特徴ベクトルおよび画像のギャラリーにおけるギャラリー画像の正
規化ギャラリー画像特徴ベクトルを用いて差分画像ベクトルを計算するステップと、
（６）前記差分画像ベクトルを、予め収集された訓練用の顔データベースから抽出され
たより低次元の被写体内の下部空間に投影するステップと、
（７）前記投影の各成分に二乗機能を適用するステップと、
（８）前記ステップ（７）によってなされた二乗投影の加重合計を計算するステップと
、
（９）前記画像のギャラリーにおける前記正規化ギャラリー画像特徴ベクトル各々に対
し前記ステップ（５）乃至（８）を繰り返すステップと、
（１０）前記プローブデジタル画像における顔パターンを、計算された最大加重合計が
予め定義された閾値を超える場合に、前記計算された最大加重合計を有するギャラリー画
像に属すると分類するステップと、
（１１）前記プローブデジタル画像が属するギャラリー画像に対応するデータを表示用
に前記電子ディスプレイに送信するステップ。
【請求項２０】
前記画像処理装置は、
フォトビューアーと、
コンピューター読み取り可能な媒体ＲＡＭ、ＲＯＭ、およびフラッシュＥＥＰＲＯＭの
1つ以上とを有し、
前記電子ディスプレイは液晶ディスプレイを有する請求項１９に記載の画像処理装置。

【図１】