顔認識装置及び顔器官の特徴点特定方法
【課題】顔を構成する器官の特徴点を高精度に特定する顔認識装置を得る。
【解決手段】画像内から検出された顔器官に対応する複数の特徴点候補を配置する特徴点候補配置部２と、二次元の特徴点候補の配置が三次元の基準点配置に一致するようにして、二次元の顔画像を三次元の顔画像に正規化する三次元正規化部３と、正規化された顔画像と、複数の顔画像から予め作成された基準顔画像との類似度を測定する類似度測定部４と、前回探索時の類似度と今回測定類似度の変化量を算出する変化量算出部５と、類似度又は／及び変化量に基づき、探索終了又は探索継続を判定する比較部（検索終了判定部）６と、探索終了判定時の特徴点候補を探索特徴点として確定する収束判定部７と、前記検索終了判定部における探索継続判定時に、前記類似度の変化量に基づき、前記特徴点候補の配置を変化させる特徴点候補補正部８とを備える。
【解決手段】画像内から検出された顔器官に対応する複数の特徴点候補を配置する特徴点候補配置部２と、二次元の特徴点候補の配置が三次元の基準点配置に一致するようにして、二次元の顔画像を三次元の顔画像に正規化する三次元正規化部３と、正規化された顔画像と、複数の顔画像から予め作成された基準顔画像との類似度を測定する類似度測定部４と、前回探索時の類似度と今回測定類似度の変化量を算出する変化量算出部５と、類似度又は／及び変化量に基づき、探索終了又は探索継続を判定する比較部（検索終了判定部）６と、探索終了判定時の特徴点候補を探索特徴点として確定する収束判定部７と、前記検索終了判定部における探索継続判定時に、前記類似度の変化量に基づき、前記特徴点候補の配置を変化させる特徴点候補補正部８とを備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は撮像画像から正面の顔画像を自動的に認識する装置に関し、特に、瞳・鼻孔・口の端点等、顔を構成する器官の特徴点を精度良く特定することで顔を認識する装置及び顔を構成する器官の特徴点の特定方法に関する。
【背景技術】
【０００２】
従来より、撮影された画像から顔を自動的に認識し、予め登録されている顔と同一人物であるか否かを比較して、本人認証を行う装置がある。また、被写体の表情を認識して、笑顔の時にカメラのシャッターを切る装置がある。
前者の装置では個人を決定付ける顔器官から特徴量を抽出するために、また後者の装置では口角が上がった等の顔の内部状態の変化を識別するために、まず瞳・鼻孔・口の端点等の顔を構成する器官の特徴点を特定する処理が行われる。
【０００３】
例えば、顔を構成する器官の特徴点を特定する処理として代表的な方法としては、下記の特許文献１に記載された形状認識装置における特徴点特定方法が挙げられる。
特許文献１の形状認識装置によれば、分離度フィルタにより円形領域を特徴点候補として抽出する。分離度フィルタは、図６（ａ）に示すように二つの円形領域から成り、下記の数１によって算出される分離度Ｓ（0.0＜Ｓ≦1.0）を出力する。
【０００４】
【数１】
【０００５】
ここで、Ｎは領域内の全画素数、ｎ１、ｎ２は領域１および領域２の画素数、Ｐｋは位置ｋにおける輝度、Ｐｍは領域全体での輝度平均値、Ｐ１、Ｐ２は領域１及び領域２における輝度の平均値を示す。
【０００６】
特許文献１の顔を構成する器官の特徴点特定方法では、顔領域内の各画素に対して、フィルタの位置と半径を変化させながら分離度を算出し、分離度の局所最大点を特徴点の候補とする。抽出された特徴点の候補は、例えば図６（ｂ）における複数の丸印箇所となる。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開平９−７３５４４
【発明の概要】
【発明が解決しようとする課題】
【０００８】
しかしながら、上記した特許文献１に記載の特徴点特定方法によれば、顔を構成する器官の特徴点の候補を抽出できるものの、図６（ｂ）に示すように、目頭や目尻、前髪により輝度差が生じる位置で誤った点が特徴点の候補として抽出される可能性があった。
したがって、抽出された候補点の中から真の特徴点を特定するためには、さらに目鼻パターンとの類似性を検証する必要がある。また、特徴点特定方法の検証精度の如何によっては、本来目では無いが、目に類似したパターンを有する眉等が、誤って目として特定される可能性もあった。更に、閉じた目を特徴点として特定できない現象が生じることがあった。
【０００９】
本発明は上記実情に鑑みて提案されたもので、顔を構成する器官の特徴点の候補を抽出する場合に、高精度に特徴点を特定することができる顔認識装置及び顔器官の特徴点特定方法を提供することを目的としている。
【課題を解決するための手段】
【００１０】
上記目的を達成するため本発明は、顔を構成する器官における瞳だけを特定するといったような単独の器官の特定ではなく、複数の器官の配置関係を考慮して複数の器官の特徴点を同時に特定する処理を行うものである。
【００１１】
すなわち、本発明の顔認識装置（請求項１）は、
画像内から検出された顔器官に対応する複数の特徴点候補を配置する特徴点候補配置部と、
予め記憶した顔の三次元の形状モデルを使用し、二次元の特徴点候補の配置が三次元の基準点配置に一致するようにして、二次元の顔画像を三次元の顔画像に正規化する三次元正規化部と、
正規化された顔画像と、複数の顔画像から予め作成された基準顔画像との類似度を測定する類似度測定部と、
前回探索時の類似度と今回測定類似度の変化量を算出する変化量算出部と、
類似度又は／及び変化量に基づき、探索終了又は探索継続を判定する検索終了判定部と、
前記検索終了判定部における探索終了判定時の特徴点候補を探索特徴点として確定する収束判定部と、
前記検索終了判定部における探索継続判定時に、前記類似度の変化量に基づき、前記特徴点候補の配置を変化させる特徴点候補補正部と、
を具備することを特徴としている。
【００１２】
本発明の顔器官の特徴点特定方法（請求項２）は、次の各手順を含むことを特徴としている。
第１の手順として、撮像された画像から二次元の顔画像を検出する。
第２の手順として、検出した顔画像に対して、予め設定された顔器官に対応する複数の特徴点候補の座標を初期配置として貼り付ける。
第３の手順として、予め記憶した顔の三次元形状モデルを使用し、前記特徴点候補が対応する三次元形状モデルの基準点配置に一致するようにして、二次元の顔画像を三次元正規化して正規化顔画像を得る。
第４の手順として、前記正規化顔画像と複数の顔画像から予め作成された基準顔画像とを比較することで前記正規化画像が正面向き画像であるかを判断するための類似度を算出する。
第５の手順として、前記類似度により前記正規化顔画像における特徴点候補の配置が真正であるか否かを判断する。
前記第５の手順における類似度により前記正規化顔画像における特徴点候補が真正でないと判断した場合に、前記特徴点候補の配置を補正し、補正された特徴点候補に基づいて前記第３〜第５の手順を繰り返して真正の特徴点候補の探索継続処理を行う。
【００１３】
請求項３の顔器官の特徴点特定方法は、請求項２における第５の手順は、前記類似度を設定された閾値（閾値１）と比較することにより、特徴点配置の探索終了又は探索継続を判断することを特徴としている。
【００１４】
請求項４の顔器官の特徴点特定方法は、請求項２における第５の手順は、算出された類似度に対する前回探索時からの変化量を算出し、この変化量を設定された閾値（閾値２）と比較することにより、特徴点配置の探索終了又は探索継続を判断することを特徴としている。
【００１５】
請求項５の顔器官の特徴点特定方法は、請求項２において、前記探索継続処理を行う場合において、算出された類似度に対する前回探索時からの変化量を算出し、この変化量が設定された閾値（閾値３）より小さい場合に、特徴点配置についての探索位置の移動距離を小さくして探索することを特徴としている。
【発明の効果】
【００１６】
本発明によれば、顔画像における各器官の特徴点を特定する場合において、瞳だけを特定するといったような単独の器官の特定ではなく、複数の器官の配置関係を考慮して特徴点を特定するため、例えば眉等を誤って目として特定するような従来の装置で起こりうる誤特定を排除し、高精度に各器官の特徴点を特定することができる。
また、複数の器官の特徴点を同時に特定するため、複数の特徴点を特定したい場合は処理効率を上げることができる。
更に、従来使用されていた分離度フィルタだけでは特定できなかった閉じた目についても、他の器官の特徴点との配置関係を考慮することで特定することができる。
【図面の簡単な説明】
【００１７】
【図１】本発明の一実施形態の顔認識装置のブロック図である。
【図２】特徴点配置の初期配置を行う場合の基準点を示す基準顔画像説明図である。
【図３】本発明の特徴点特定方法における入力顔画像（二次元顔画像）と正規化顔画像と基準顔画像との関係を示す説明図である。
【図４】本発明の特徴点特定方法において特徴点配置を補正する場合の探索位置を説明するための説明図である。
【図５】本発明の顔認識装置において顔の器官の特徴点を特定する手順を示すフローチャート図である。
【図６】従来の特徴点特定方法を示すもので（ａ）は分離度フィルタの円形分離度マスクのモデル図、（ｂ）は顔画像における特徴点候補の例を示す説明図である。
【発明を実施するための形態】
【００１８】
以下、本発明を実施するための最良の形態について、図１〜図５を参照しながら説明する。
本発明の顔認識装置は、撮像した画像から顔画像（この顔画像は斜め方向からの撮像により得られた画像を含む）を検出し、この顔画像について顔器官の特徴点に基づく正規化処理を行って仮想正面顔の画像を得ることで顔認識を行う装置である。
この顔認識装置は、撮像した画像から顔画像を検出する顔検出部１と、検出された二次元顔画像に対して特徴点候補の位置を配置する特徴点候補配置部２と、二次元顔画像の特徴点候補配置から三次元正規化を行う三次元正規化部３と、三次元正規化された正規化顔画像と基準顔画像との類似度を測定する類似度測定部４と、類似度の変化量を計算する変化量算出部５と、類似度又は変化量を閾値と比較する比較部（検索終了判定部）６と、正規化顔画像を仮想正面顔画像と決定する収束判定部７と、特徴点候補の位置の補正を行う特徴点候補正部８と、顔認識装置において各処理を行うに際して基準となる基準顔画像を作成する基準顔画像作成部９を備えて構成されている。
【００１９】
基準顔画像作成部９で生成される基準顔画像は、（１）特徴点候補配置部２において二次元顔画像に対して特徴点候補の初期配置を行うに際して、（２）三次元正規化部３において二次元顔画像を三次元正規化する変換に際して使用される三次元形状モデルの作成のために、（３）類似度測定部４において正規化顔画像の類似度を測定する場合の比較対象の基準として、それぞれ使用されるものである。
基準顔画像作成部９では、予め統計的に多数の人物から顔画像と三次元の形状情報を取得しておき、顔画像には輝度値が、三次元形状情報にはカメラから被写体方向への奥行の情報が画素値として格納されている。
【００２０】
被写体の位置と大きさは画像ごとに異なるため、例えば、両目間の距離を一定にした大きさの正規化を行い、また両目位置が常に同じ位置で重なるように位置の正規化を行う。例えば単純に、取得した全顔画像の平均を基準顔画像とする。同様に、全三次元形状情報の平均を取って三次元形状モデルとする。
【００２１】
得られた基準顔画像２０（図２）から、特徴点候補となる器官の基準点Ａ〜Ｎのｘ座標及びｙ座標を手動で抽出して記憶する。すなわち、検出された顔の幅ｆｗ及び高さｆｈをそれぞれ１００画素とした場合に、各基準点位置の座標が（x, y）で記録されている（１≦x, y＜１００）。図２の基準顔画像２０の例では、後述する特徴点の安定的な特定を目的として、各器官について全部で１４点を基準点としている。更に、これらのｘ座標及びｙ座標に対応する位置の奥行の値を三次元形状情報から抽出し、合わせて基準点として記憶させておく。
【００２２】
顔検出部１は、撮像画像を取り込み、図３に示すように、撮像画像内に含まれる顔領域を二次元顔画像３０として検出し、その存在位置座標と大きさを出力する。撮像画像から顔画像を検出する手法は、公知の顔画像検出方法を使用する。例えば、下記の文献１に記載された顔画像検出方法のように、顔領域が長方形で規定される場合、顔領域の左上座標（ｆｘ，ｆｙ）を位置座標として、幅ｆｗ及び高さｆｈが大きさとして出力されることで行われる。
【００２３】
撮像画像から顔領域を検出する具体的な方法は、次の手順で行われる。
先ず、予め多数の顔画像から共通する特徴をいくつか取り出し、その特徴群が含まれるか否かを判定する識別規則を作成しておく。
次に、撮像画像内にある与えられた矩形領域が作成された識別規則を満たすか否かで、顔であるか顔でないかを判定する。
また、撮像画像内の矩形領域の位置及び大きさを様々に変化させて、画像内に写っている顔領域を二次元顔画像として検出する。
文献１：P. Viola, M.J. Jones, "Robust real-time object detection," in: Second International Workshop on Theories of Visual Modeling, Learning, Computing, and Sampling, 2001.
【００２４】
特徴点候補配置部２は、画像内から検出された二次元顔画像３０に特徴点候補となる点を配置するもので、検出された顔画像に初めて特徴点候補を配置する場合は特徴点候補の初期配置となる。
顔画像における特徴点候補は、図２の基準顔画像内に示されるように、右眉内Ａ（xrb, yrb）、左眉内Ｂ（xlb, ylb） 、右目尻Ｃ（xret, yret）、右瞳Ｄ（xrec, yrec）、右目頭Ｅ（xreh, yreh） 、左目尻Ｆ（xret, yret） 、左瞳Ｇ（xrec, yrec）、左目頭Ｈ（xreh, yreh）、鼻突Ｉ（xn, yn）、右鼻孔Ｊ（xrn, yrn）、左鼻孔Ｋ（xln, yln）、右口端Ｌ（xrm, yrm）、口中心Ｍ（xm, ym）、左口端Ｎ（xlm, ylm） の１４点を使用する。また、特徴点候補に関しては、顔画像内に輪郭を追加して特徴点数を増加させたり、逆に特徴点数を減少させたりすることも可能である。
【００２５】
顔画像に初めて特徴点候補を配置（初期位置の配置）する場合、基準顔画像作成部９で生成された基準顔画像（図２）内に示された１４点の基準位置の座標を図３の二次元顔画像３０に貼り付けることで行われる。図３の初期配置に対応する二次元顔画像３０内に白十字で示された位置が、基準顔画像（図２）内の１４点の基準位置Ａ〜Ｎの座標となっている。
顔検出部１により検出された二次元顔画像３０は、正面向き又は斜め向きであるかはこの時点では不明であるため、特徴点候補が初期配置された顔画像は、正面向きの顔に対しては特徴点候補の初期配置と実際の特徴点の配置との乖離が少なく、横向きの顔に対しては乖離が大きくなる。
【００２６】
三次元正規化部３は、顔検出部１で検出された二次元顔画像３０の三次元正規化を行って正規化顔画像４０を得るものである。
二次元顔画像を三次元正規化する技術については、顔の三次元形状モデルを用い、二次元顔画像の特徴点配置が三次元形状モデルの基準点配置に一致するようにして二次元顔画像から正規化顔画像を得る公知の方法を使用する。
正規化顔画像を得る方法として、例えば、下記の文献２に記載された処理を用いると、顔向き等の変化がある二次元の顔画像であっても、三次元の形状モデル上では任意の視点方向から見た顔画像を再構成できるため、正面向きの顔画像を仮想的に再現することが可能となる。
【００２７】
この場合、二次元顔画像から各器官の特徴点配置が正しく特定できた場合に限り、二次元顔画像の三次元正規化方法によって正面向きの正しい正規化顔画像が生成される。すなわち、特徴点配置が正しく特定できていない場合は、生成された正規化画像は正面を向いていないばかりか、顔を成していない可能性もある。
文献２：Tatsuo Kozakaya and Osamu Yamaguchi, "Face Recognition by Projection-based 3D Normalization and Shading Subspace Orthogonalization," Proc. of FGR'06, 2006.
【００２８】
本発明の顔認識装置では、前記した二次元顔画像の三次元正規化方法を利用して、特徴点の配置の特定を行うものである。二次元顔画像上で配置された特徴点候補に対して、二次元顔画像の三次元正規化方法を適用し、生成された正規化画像が顔を成しているか、また正面向きかどうかを確認して、特徴点候補が真の特徴点を特定できているかどうかを判定する。また、正規化画像から真の特徴点が特定できていないと判定された場合には、特徴点候補の位置の補正を繰り返し行い、真の特徴点の特定を行う。
【００２９】
二次元顔画像の三次元正規化方法を利用して、二次元顔画像から正規化顔画像を得る場合の具体的な処理の手順について、簡単に説明する。
先ず、二次元顔画像上に配置されたＮ個の特徴点候補を２×Ｎの特徴点行列Ｗと定義する。
【００３０】
【数２】
【００３１】
数２のＷにおける（ｕｉ´，ｖｉ´）は、次数で与えられる。
【００３２】
【数３】
【００３３】
数３における（ｕｉ，ｖｉ）は、ｉ番目の特徴点の座標を意味している。
数３における（ｕの平均，ｖの平均）は、全特徴点の重心を意味している。
数２におけるＮは、前述の通り、Ｎ＝１４を仮定している。
次に、三次元形状モデル上の基準点を３×Ｎの基準点行列Ｓと定義する。
【００３４】
【数４】
【００３５】
数４のＳにおける（ｘｉ´，ｙｉ´ ，ｚｉ´）は、次式で与えられる。
【００３６】
【数５】
【００３７】
数５における（ｘｉ，ｙｉ，ｚｉ）は、ｉ番目の基準点の三次元座標を意味している。
数５における（ｘの平均，ｙの平均，ｚの平均）は、全基準点の重心を意味している。
このとき、特徴点行列Ｗと基準点行列Ｓとの間で、２×３の射影行列Ｍにより次の式が成り立つ。
Ｗ＝ＭＳ
【００３８】
さらに、射影行列ＭはＳの疑似逆行列Ｓ†から次式により求まる。
Ｍ＝ＷＳ†
＝Ｗ｛ＳＴ（ＳＳＴ）−１｝
【００３９】
三次元形状モデル上の任意の点（ｘ，ｙ，ｚ）における画素値に対応する入力顔画像内の点（ｕ，ｖ）は、射影行列Ｍを用いることによって次式の通り求められる。
【００４０】
【数６】
【００４１】
上記の処理により、二次元顔画像の特徴点配置が三次元形状モデルの基準点配置に一致し、初期配置による正規化画像４０が得られる（図３）。生成された正規化顔画像が顔を成しているか、また正面向きかどうかの確認は、基準顔画像作成部９で生成され記憶してある基準顔画像２０との類似度から判定する。すなわち、三次元正規化された正規化顔画像４０は、類似度測定部４において、基準顔画像２０との類似度が測定される。
具体的には、二次元顔画像の三次元正規化方法により正規化された正規化顔画像Ａと、あらかじめ作成した基準顔画像Ｂとの間で、次式で算出される類似度Ｓｉｍを測定する。
Ｓｉｍ＝（Ａ，Ｂ）／（｜Ａ｜｜Ｂ｜）
【００４２】
ただし、（Ａ，Ｂ）は正規化顔画像Ａと基準顔画像Ｂをそれぞれベクトルと見た場合の内積を意味し、｜Ａ｜および｜Ｂ｜はそれぞれ大きさを意味する。
また、変化量算出部５では、後述する特徴点候補の補正が行われた場合に、前回探索時の類似度と今回測定類似度との変化量ΔＳｉｍを算出する。
【００４３】
類似度又は変化量を閾値と比較する比較部（検索終了判定部）６では、類似度Ｓｉｍの大小に基づき、又は、変化量ΔＳｉｍに基づき、特徴点候補の配置の信頼性を判定し、探索終了又は探索継続を判定する。
例えば、類似度Ｓｉｍが予め設定された閾値Ｔ１を上回る場合、現探索時の特徴点候補により基準顔画像に非常に類似した正規化顔画像が得られたと考えられるため、特徴点候補の探索を終了させる。
また、変化量ΔＳｉｍが予め設定された閾値Ｔ２を下回る場合、これ以降の探索によりさらに真の特徴点に近い特徴点の候補が無いと考えられるため、特徴点候補の探索を終了させる。
【００４４】
比較部（検索終了判定部）６で特徴点候補の探索終了が判定されると、収束判定部７において、そのときの特徴点候補が探索されるべき特徴点として確定し、正規化顔画像を仮想正面顔画像と決定する処理が行われる。
【００４５】
比較部（検索終了判定部）６で特徴点候補の探索継続が判定されると、特徴点候補正部８において特徴点候補の位置の補正が行われ、特徴点候補配置部２において、画像内から検出された二次元顔画像に対して補正された特徴点候補となる点の再配置が行われる。また、特徴点候補正部８における特徴点候補の位置の補正は、前回探索と現探索での類似度の変化量ΔＳｉｍに基づき、次探索の特徴点候補の配置についての移動距離が変更されるようにしている。
【００４６】
すなわち、図４の中心画素（斜線部分）が特徴点候補の一つである場合、類似度の変化量ΔＳｉｍが閾値Ｔ３以上である場合は、今後の探索でも大きな変化が見られる可能性が高いため、次探索する特徴点候補の位置を画素１とする（特徴点候補の探索位置を大きく変化させる）。
逆に、類似度の変化量ΔＳｉｍが閾値Ｔ３未満である場合は、今後の探索でも大きな変化が見られない可能性が高いため、次探索する特徴点候補の位置を画素２１とする（特徴点候補の探索位置を小さく変化させる）。
１回の特徴点候補の補正処理においては、類似度の変化量ΔＳｉｍが閾値Ｔ３以上である場合は、図４の画素１〜画素１６で類似度が一番大きい画素位置を新たな特徴点候補の配置とする処理が行われ、類似度の変化量ΔＳｉｍが閾値Ｔ３未満である場合は、図４の画素２１〜画素２８で類似度が一番大きい画素位置を新たな特徴点候補の配置とする処理が行われる。
【００４７】
特徴点候補正部８において特徴点候補の位置の補正を行う場合、効率的に探索を行うため、先ず、特徴点候補となる基準点Ａ〜Ｎの内の一つに限定し、前述した方法で位置を移動させて収束判定基準を満たすまで探索を繰り返す。
次に、別の基準点に限定し、位置を移動させて前述の収束判定基準を満たすまで探索を繰り返す。以降、さらに別の基準点に対して同様の探索を行い、全ての基準点に対する探索が収束するまで続ける（Sequential Forward 探索）。
【００４８】
続いて、図１の顔画像認識装置を使用して顔器官の特徴点を特定する方法の手順について、図３及び図５のフローチャート図を参照しながら説明する。
二次元の人物画像を撮像し（ステップ５１）、撮像された画像から二次元顔画像３０を検出する（ステップ５２）。
【００４９】
検出した二次元顔画像３０に対して、基準顔画像２０に予め設定された顔器官に対応する複数の特徴点候補となる基準点Ａ〜Ｎの１４点の座標を初期配置として貼り付ける（ステップ５３）。
【００５０】
予め記憶した顔の三次元形状モデルを使用し、前記特徴点候補が対応する三次元形状モデルの基準点配置に一致するようにして、二次元の顔画像を三次元正規化して正規化顔画像４０を得る（ステップ５４）。
【００５１】
正規化顔画像４０と基準顔画像２０とを比較し（ステップ５５）、前記正規化画像４０が正面向き画像であるかを判断するための類似度Ｓｉｍを算出し（ステップ５６）、算出された類似度に対する前回探索時からの類似度の変化量ΔＳｉｍを算出する（ステップ５７）。
【００５２】
次に、算出された類似度について、予め設定された閾値Ｔ１と比較することにより正規化顔画像４０における特徴点候補の配置が真正であるか否かを判断する（ステップ５８）。
類似度により正規化顔画像４０における特徴点候補が真正であると判断した場合（正規化顔画像の類似度が閾値Ｔ１より高い場合）には、収束判定基準を満たす画像として判断し、仮想正面顔画像として決定する（ステップ５９）。
【００５３】
ステップ５８における類似度により正規化顔画像４０における特徴点候補が真正でないと判断した場合には、類似度の変化量ΔＳｉｍを閾値Ｔ３と比較し、類似度の変化量ΔＳｉｍが閾値Ｔ３以上である場合は、基準点Ａ〜Ｎのいずれかの基準点に対応する特徴点候補について、その周辺画素である図４の画素１〜画素１６で類似度が一番大きい画素位置を新たな特徴点候補の配置とする処理が行われる（ステップ６１）。
【００５４】
類似度の変化量ΔＳｉｍが閾値Ｔ３未満である場合は、基準点Ａ〜Ｎのいずれかの基準点に対応する特徴点候補について、その周辺画素である図４の画素２１〜画素２８で類似度が一番大きい画素位置を新たな特徴点候補の配置とする処理が行われる（ステップ６２）。
【００５５】
そして、補正された特徴点候補の座標を二次元顔画像３０に貼り付ける処理（特徴点候補の再配置）が行われ（ステップ５３）、この二次元顔画像３０を三次元正規化して正規化顔画像が得られる（ステップ５４）。
【００５６】
ステップ５３〜ステップ６１（ステップ６２）の手順を繰り返すことで、図３に示すように、探索１０回目、探索５０回目、探索１００回目で特徴点候補の座標が補正された各二次元顔画像３０を得て、これを三次元正規化することで正規化顔画像４１，４２，４３を得る。例えば、探索１００回目で特徴点候補の座標が補正された二次元顔画像３０から基準顔画像２０との類似度が大きい正規化顔画像４３が得られた場合に、収束判定基準を満たす画像として判断し、仮想正面顔画像として決定する（ステップ５９）。
【００５７】
上記例では、ステップ５８において、ステップ５６で測定された類似度Ｓｉｍを設定された閾値Ｔ１と比較することにより、特徴点配置の探索終了又は探索継続を判断するようにしたが、ステップ５７で算出された類似度の変化量ΔＳｉｍを設定された閾値Ｔ２と比較することにより、特徴点配置の探索終了又は探索継続を判断するようにしてもよい。
【００５８】
上述した顔器官の特徴点特定方法によれば、顔画像における各器官の特徴点を特定する場合において、１４点の特徴点候補を特徴点として特定するので、複数の器官の配置関係を考慮して特徴点が特定されるため、高精度に各器官の特徴点を特定することができる。
また、複数の器官の特徴点を同時に特定するため、複数の特徴点を特定したい場合は処理効率を上げることができる。
また、複数の器官の配置関係を考慮して特徴点が特定されるため、目が閉じている二次元顔画像であっても、他の器官の特徴点との配置関係を考慮することで瞳の位置を特定することができる。
【００５９】
上述した顔器官の特徴点特定方法は、顔認識を利用しているシステムのほぼ全てに適用可能であるため、幅広い分野での利用が期待できる。例えば、出勤退勤の勤務管理システム、携帯電話の所有者認証装置、撮影した顔写真からの似顔絵作成装置、テレビ映像に登場する顔に基づいた出演者メタ情報付与装置、似ている有名人等の類似顔検索システムにおける顔認識に使用することが可能である。
【符号の説明】
【００６０】
１…顔検出部、 ２…特徴点候補配置部、 ３…三次元正規化部、 ４…類似度測定部、 ５…変化量算出部、 ６…比較部（検索終了判定部）、 ７…収束判定部、 ８…特徴点候補正部、 ９…基準顔画像作成部、 ２０…基準顔画像、 ３０…二次元顔画像、 ４０…正規化顔画像。
【技術分野】
【０００１】
本発明は撮像画像から正面の顔画像を自動的に認識する装置に関し、特に、瞳・鼻孔・口の端点等、顔を構成する器官の特徴点を精度良く特定することで顔を認識する装置及び顔を構成する器官の特徴点の特定方法に関する。
【背景技術】
【０００２】
従来より、撮影された画像から顔を自動的に認識し、予め登録されている顔と同一人物であるか否かを比較して、本人認証を行う装置がある。また、被写体の表情を認識して、笑顔の時にカメラのシャッターを切る装置がある。
前者の装置では個人を決定付ける顔器官から特徴量を抽出するために、また後者の装置では口角が上がった等の顔の内部状態の変化を識別するために、まず瞳・鼻孔・口の端点等の顔を構成する器官の特徴点を特定する処理が行われる。
【０００３】
例えば、顔を構成する器官の特徴点を特定する処理として代表的な方法としては、下記の特許文献１に記載された形状認識装置における特徴点特定方法が挙げられる。
特許文献１の形状認識装置によれば、分離度フィルタにより円形領域を特徴点候補として抽出する。分離度フィルタは、図６（ａ）に示すように二つの円形領域から成り、下記の数１によって算出される分離度Ｓ（0.0＜Ｓ≦1.0）を出力する。
【０００４】
【数１】
【０００５】
ここで、Ｎは領域内の全画素数、ｎ１、ｎ２は領域１および領域２の画素数、Ｐｋは位置ｋにおける輝度、Ｐｍは領域全体での輝度平均値、Ｐ１、Ｐ２は領域１及び領域２における輝度の平均値を示す。
【０００６】
特許文献１の顔を構成する器官の特徴点特定方法では、顔領域内の各画素に対して、フィルタの位置と半径を変化させながら分離度を算出し、分離度の局所最大点を特徴点の候補とする。抽出された特徴点の候補は、例えば図６（ｂ）における複数の丸印箇所となる。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開平９−７３５４４
【発明の概要】
【発明が解決しようとする課題】
【０００８】
しかしながら、上記した特許文献１に記載の特徴点特定方法によれば、顔を構成する器官の特徴点の候補を抽出できるものの、図６（ｂ）に示すように、目頭や目尻、前髪により輝度差が生じる位置で誤った点が特徴点の候補として抽出される可能性があった。
したがって、抽出された候補点の中から真の特徴点を特定するためには、さらに目鼻パターンとの類似性を検証する必要がある。また、特徴点特定方法の検証精度の如何によっては、本来目では無いが、目に類似したパターンを有する眉等が、誤って目として特定される可能性もあった。更に、閉じた目を特徴点として特定できない現象が生じることがあった。
【０００９】
本発明は上記実情に鑑みて提案されたもので、顔を構成する器官の特徴点の候補を抽出する場合に、高精度に特徴点を特定することができる顔認識装置及び顔器官の特徴点特定方法を提供することを目的としている。
【課題を解決するための手段】
【００１０】
上記目的を達成するため本発明は、顔を構成する器官における瞳だけを特定するといったような単独の器官の特定ではなく、複数の器官の配置関係を考慮して複数の器官の特徴点を同時に特定する処理を行うものである。
【００１１】
すなわち、本発明の顔認識装置（請求項１）は、
画像内から検出された顔器官に対応する複数の特徴点候補を配置する特徴点候補配置部と、
予め記憶した顔の三次元の形状モデルを使用し、二次元の特徴点候補の配置が三次元の基準点配置に一致するようにして、二次元の顔画像を三次元の顔画像に正規化する三次元正規化部と、
正規化された顔画像と、複数の顔画像から予め作成された基準顔画像との類似度を測定する類似度測定部と、
前回探索時の類似度と今回測定類似度の変化量を算出する変化量算出部と、
類似度又は／及び変化量に基づき、探索終了又は探索継続を判定する検索終了判定部と、
前記検索終了判定部における探索終了判定時の特徴点候補を探索特徴点として確定する収束判定部と、
前記検索終了判定部における探索継続判定時に、前記類似度の変化量に基づき、前記特徴点候補の配置を変化させる特徴点候補補正部と、
を具備することを特徴としている。
【００１２】
本発明の顔器官の特徴点特定方法（請求項２）は、次の各手順を含むことを特徴としている。
第１の手順として、撮像された画像から二次元の顔画像を検出する。
第２の手順として、検出した顔画像に対して、予め設定された顔器官に対応する複数の特徴点候補の座標を初期配置として貼り付ける。
第３の手順として、予め記憶した顔の三次元形状モデルを使用し、前記特徴点候補が対応する三次元形状モデルの基準点配置に一致するようにして、二次元の顔画像を三次元正規化して正規化顔画像を得る。
第４の手順として、前記正規化顔画像と複数の顔画像から予め作成された基準顔画像とを比較することで前記正規化画像が正面向き画像であるかを判断するための類似度を算出する。
第５の手順として、前記類似度により前記正規化顔画像における特徴点候補の配置が真正であるか否かを判断する。
前記第５の手順における類似度により前記正規化顔画像における特徴点候補が真正でないと判断した場合に、前記特徴点候補の配置を補正し、補正された特徴点候補に基づいて前記第３〜第５の手順を繰り返して真正の特徴点候補の探索継続処理を行う。
【００１３】
請求項３の顔器官の特徴点特定方法は、請求項２における第５の手順は、前記類似度を設定された閾値（閾値１）と比較することにより、特徴点配置の探索終了又は探索継続を判断することを特徴としている。
【００１４】
請求項４の顔器官の特徴点特定方法は、請求項２における第５の手順は、算出された類似度に対する前回探索時からの変化量を算出し、この変化量を設定された閾値（閾値２）と比較することにより、特徴点配置の探索終了又は探索継続を判断することを特徴としている。
【００１５】
請求項５の顔器官の特徴点特定方法は、請求項２において、前記探索継続処理を行う場合において、算出された類似度に対する前回探索時からの変化量を算出し、この変化量が設定された閾値（閾値３）より小さい場合に、特徴点配置についての探索位置の移動距離を小さくして探索することを特徴としている。
【発明の効果】
【００１６】
本発明によれば、顔画像における各器官の特徴点を特定する場合において、瞳だけを特定するといったような単独の器官の特定ではなく、複数の器官の配置関係を考慮して特徴点を特定するため、例えば眉等を誤って目として特定するような従来の装置で起こりうる誤特定を排除し、高精度に各器官の特徴点を特定することができる。
また、複数の器官の特徴点を同時に特定するため、複数の特徴点を特定したい場合は処理効率を上げることができる。
更に、従来使用されていた分離度フィルタだけでは特定できなかった閉じた目についても、他の器官の特徴点との配置関係を考慮することで特定することができる。
【図面の簡単な説明】
【００１７】
【図１】本発明の一実施形態の顔認識装置のブロック図である。
【図２】特徴点配置の初期配置を行う場合の基準点を示す基準顔画像説明図である。
【図３】本発明の特徴点特定方法における入力顔画像（二次元顔画像）と正規化顔画像と基準顔画像との関係を示す説明図である。
【図４】本発明の特徴点特定方法において特徴点配置を補正する場合の探索位置を説明するための説明図である。
【図５】本発明の顔認識装置において顔の器官の特徴点を特定する手順を示すフローチャート図である。
【図６】従来の特徴点特定方法を示すもので（ａ）は分離度フィルタの円形分離度マスクのモデル図、（ｂ）は顔画像における特徴点候補の例を示す説明図である。
【発明を実施するための形態】
【００１８】
以下、本発明を実施するための最良の形態について、図１〜図５を参照しながら説明する。
本発明の顔認識装置は、撮像した画像から顔画像（この顔画像は斜め方向からの撮像により得られた画像を含む）を検出し、この顔画像について顔器官の特徴点に基づく正規化処理を行って仮想正面顔の画像を得ることで顔認識を行う装置である。
この顔認識装置は、撮像した画像から顔画像を検出する顔検出部１と、検出された二次元顔画像に対して特徴点候補の位置を配置する特徴点候補配置部２と、二次元顔画像の特徴点候補配置から三次元正規化を行う三次元正規化部３と、三次元正規化された正規化顔画像と基準顔画像との類似度を測定する類似度測定部４と、類似度の変化量を計算する変化量算出部５と、類似度又は変化量を閾値と比較する比較部（検索終了判定部）６と、正規化顔画像を仮想正面顔画像と決定する収束判定部７と、特徴点候補の位置の補正を行う特徴点候補正部８と、顔認識装置において各処理を行うに際して基準となる基準顔画像を作成する基準顔画像作成部９を備えて構成されている。
【００１９】
基準顔画像作成部９で生成される基準顔画像は、（１）特徴点候補配置部２において二次元顔画像に対して特徴点候補の初期配置を行うに際して、（２）三次元正規化部３において二次元顔画像を三次元正規化する変換に際して使用される三次元形状モデルの作成のために、（３）類似度測定部４において正規化顔画像の類似度を測定する場合の比較対象の基準として、それぞれ使用されるものである。
基準顔画像作成部９では、予め統計的に多数の人物から顔画像と三次元の形状情報を取得しておき、顔画像には輝度値が、三次元形状情報にはカメラから被写体方向への奥行の情報が画素値として格納されている。
【００２０】
被写体の位置と大きさは画像ごとに異なるため、例えば、両目間の距離を一定にした大きさの正規化を行い、また両目位置が常に同じ位置で重なるように位置の正規化を行う。例えば単純に、取得した全顔画像の平均を基準顔画像とする。同様に、全三次元形状情報の平均を取って三次元形状モデルとする。
【００２１】
得られた基準顔画像２０（図２）から、特徴点候補となる器官の基準点Ａ〜Ｎのｘ座標及びｙ座標を手動で抽出して記憶する。すなわち、検出された顔の幅ｆｗ及び高さｆｈをそれぞれ１００画素とした場合に、各基準点位置の座標が（x, y）で記録されている（１≦x, y＜１００）。図２の基準顔画像２０の例では、後述する特徴点の安定的な特定を目的として、各器官について全部で１４点を基準点としている。更に、これらのｘ座標及びｙ座標に対応する位置の奥行の値を三次元形状情報から抽出し、合わせて基準点として記憶させておく。
【００２２】
顔検出部１は、撮像画像を取り込み、図３に示すように、撮像画像内に含まれる顔領域を二次元顔画像３０として検出し、その存在位置座標と大きさを出力する。撮像画像から顔画像を検出する手法は、公知の顔画像検出方法を使用する。例えば、下記の文献１に記載された顔画像検出方法のように、顔領域が長方形で規定される場合、顔領域の左上座標（ｆｘ，ｆｙ）を位置座標として、幅ｆｗ及び高さｆｈが大きさとして出力されることで行われる。
【００２３】
撮像画像から顔領域を検出する具体的な方法は、次の手順で行われる。
先ず、予め多数の顔画像から共通する特徴をいくつか取り出し、その特徴群が含まれるか否かを判定する識別規則を作成しておく。
次に、撮像画像内にある与えられた矩形領域が作成された識別規則を満たすか否かで、顔であるか顔でないかを判定する。
また、撮像画像内の矩形領域の位置及び大きさを様々に変化させて、画像内に写っている顔領域を二次元顔画像として検出する。
文献１：P. Viola, M.J. Jones, "Robust real-time object detection," in: Second International Workshop on Theories of Visual Modeling, Learning, Computing, and Sampling, 2001.
【００２４】
特徴点候補配置部２は、画像内から検出された二次元顔画像３０に特徴点候補となる点を配置するもので、検出された顔画像に初めて特徴点候補を配置する場合は特徴点候補の初期配置となる。
顔画像における特徴点候補は、図２の基準顔画像内に示されるように、右眉内Ａ（xrb, yrb）、左眉内Ｂ（xlb, ylb） 、右目尻Ｃ（xret, yret）、右瞳Ｄ（xrec, yrec）、右目頭Ｅ（xreh, yreh） 、左目尻Ｆ（xret, yret） 、左瞳Ｇ（xrec, yrec）、左目頭Ｈ（xreh, yreh）、鼻突Ｉ（xn, yn）、右鼻孔Ｊ（xrn, yrn）、左鼻孔Ｋ（xln, yln）、右口端Ｌ（xrm, yrm）、口中心Ｍ（xm, ym）、左口端Ｎ（xlm, ylm） の１４点を使用する。また、特徴点候補に関しては、顔画像内に輪郭を追加して特徴点数を増加させたり、逆に特徴点数を減少させたりすることも可能である。
【００２５】
顔画像に初めて特徴点候補を配置（初期位置の配置）する場合、基準顔画像作成部９で生成された基準顔画像（図２）内に示された１４点の基準位置の座標を図３の二次元顔画像３０に貼り付けることで行われる。図３の初期配置に対応する二次元顔画像３０内に白十字で示された位置が、基準顔画像（図２）内の１４点の基準位置Ａ〜Ｎの座標となっている。
顔検出部１により検出された二次元顔画像３０は、正面向き又は斜め向きであるかはこの時点では不明であるため、特徴点候補が初期配置された顔画像は、正面向きの顔に対しては特徴点候補の初期配置と実際の特徴点の配置との乖離が少なく、横向きの顔に対しては乖離が大きくなる。
【００２６】
三次元正規化部３は、顔検出部１で検出された二次元顔画像３０の三次元正規化を行って正規化顔画像４０を得るものである。
二次元顔画像を三次元正規化する技術については、顔の三次元形状モデルを用い、二次元顔画像の特徴点配置が三次元形状モデルの基準点配置に一致するようにして二次元顔画像から正規化顔画像を得る公知の方法を使用する。
正規化顔画像を得る方法として、例えば、下記の文献２に記載された処理を用いると、顔向き等の変化がある二次元の顔画像であっても、三次元の形状モデル上では任意の視点方向から見た顔画像を再構成できるため、正面向きの顔画像を仮想的に再現することが可能となる。
【００２７】
この場合、二次元顔画像から各器官の特徴点配置が正しく特定できた場合に限り、二次元顔画像の三次元正規化方法によって正面向きの正しい正規化顔画像が生成される。すなわち、特徴点配置が正しく特定できていない場合は、生成された正規化画像は正面を向いていないばかりか、顔を成していない可能性もある。
文献２：Tatsuo Kozakaya and Osamu Yamaguchi, "Face Recognition by Projection-based 3D Normalization and Shading Subspace Orthogonalization," Proc. of FGR'06, 2006.
【００２８】
本発明の顔認識装置では、前記した二次元顔画像の三次元正規化方法を利用して、特徴点の配置の特定を行うものである。二次元顔画像上で配置された特徴点候補に対して、二次元顔画像の三次元正規化方法を適用し、生成された正規化画像が顔を成しているか、また正面向きかどうかを確認して、特徴点候補が真の特徴点を特定できているかどうかを判定する。また、正規化画像から真の特徴点が特定できていないと判定された場合には、特徴点候補の位置の補正を繰り返し行い、真の特徴点の特定を行う。
【００２９】
二次元顔画像の三次元正規化方法を利用して、二次元顔画像から正規化顔画像を得る場合の具体的な処理の手順について、簡単に説明する。
先ず、二次元顔画像上に配置されたＮ個の特徴点候補を２×Ｎの特徴点行列Ｗと定義する。
【００３０】
【数２】
【００３１】
数２のＷにおける（ｕｉ´，ｖｉ´）は、次数で与えられる。
【００３２】
【数３】
【００３３】
数３における（ｕｉ，ｖｉ）は、ｉ番目の特徴点の座標を意味している。
数３における（ｕの平均，ｖの平均）は、全特徴点の重心を意味している。
数２におけるＮは、前述の通り、Ｎ＝１４を仮定している。
次に、三次元形状モデル上の基準点を３×Ｎの基準点行列Ｓと定義する。
【００３４】
【数４】
【００３５】
数４のＳにおける（ｘｉ´，ｙｉ´ ，ｚｉ´）は、次式で与えられる。
【００３６】
【数５】
【００３７】
数５における（ｘｉ，ｙｉ，ｚｉ）は、ｉ番目の基準点の三次元座標を意味している。
数５における（ｘの平均，ｙの平均，ｚの平均）は、全基準点の重心を意味している。
このとき、特徴点行列Ｗと基準点行列Ｓとの間で、２×３の射影行列Ｍにより次の式が成り立つ。
Ｗ＝ＭＳ
【００３８】
さらに、射影行列ＭはＳの疑似逆行列Ｓ†から次式により求まる。
Ｍ＝ＷＳ†
＝Ｗ｛ＳＴ（ＳＳＴ）−１｝
【００３９】
三次元形状モデル上の任意の点（ｘ，ｙ，ｚ）における画素値に対応する入力顔画像内の点（ｕ，ｖ）は、射影行列Ｍを用いることによって次式の通り求められる。
【００４０】
【数６】
【００４１】
上記の処理により、二次元顔画像の特徴点配置が三次元形状モデルの基準点配置に一致し、初期配置による正規化画像４０が得られる（図３）。生成された正規化顔画像が顔を成しているか、また正面向きかどうかの確認は、基準顔画像作成部９で生成され記憶してある基準顔画像２０との類似度から判定する。すなわち、三次元正規化された正規化顔画像４０は、類似度測定部４において、基準顔画像２０との類似度が測定される。
具体的には、二次元顔画像の三次元正規化方法により正規化された正規化顔画像Ａと、あらかじめ作成した基準顔画像Ｂとの間で、次式で算出される類似度Ｓｉｍを測定する。
Ｓｉｍ＝（Ａ，Ｂ）／（｜Ａ｜｜Ｂ｜）
【００４２】
ただし、（Ａ，Ｂ）は正規化顔画像Ａと基準顔画像Ｂをそれぞれベクトルと見た場合の内積を意味し、｜Ａ｜および｜Ｂ｜はそれぞれ大きさを意味する。
また、変化量算出部５では、後述する特徴点候補の補正が行われた場合に、前回探索時の類似度と今回測定類似度との変化量ΔＳｉｍを算出する。
【００４３】
類似度又は変化量を閾値と比較する比較部（検索終了判定部）６では、類似度Ｓｉｍの大小に基づき、又は、変化量ΔＳｉｍに基づき、特徴点候補の配置の信頼性を判定し、探索終了又は探索継続を判定する。
例えば、類似度Ｓｉｍが予め設定された閾値Ｔ１を上回る場合、現探索時の特徴点候補により基準顔画像に非常に類似した正規化顔画像が得られたと考えられるため、特徴点候補の探索を終了させる。
また、変化量ΔＳｉｍが予め設定された閾値Ｔ２を下回る場合、これ以降の探索によりさらに真の特徴点に近い特徴点の候補が無いと考えられるため、特徴点候補の探索を終了させる。
【００４４】
比較部（検索終了判定部）６で特徴点候補の探索終了が判定されると、収束判定部７において、そのときの特徴点候補が探索されるべき特徴点として確定し、正規化顔画像を仮想正面顔画像と決定する処理が行われる。
【００４５】
比較部（検索終了判定部）６で特徴点候補の探索継続が判定されると、特徴点候補正部８において特徴点候補の位置の補正が行われ、特徴点候補配置部２において、画像内から検出された二次元顔画像に対して補正された特徴点候補となる点の再配置が行われる。また、特徴点候補正部８における特徴点候補の位置の補正は、前回探索と現探索での類似度の変化量ΔＳｉｍに基づき、次探索の特徴点候補の配置についての移動距離が変更されるようにしている。
【００４６】
すなわち、図４の中心画素（斜線部分）が特徴点候補の一つである場合、類似度の変化量ΔＳｉｍが閾値Ｔ３以上である場合は、今後の探索でも大きな変化が見られる可能性が高いため、次探索する特徴点候補の位置を画素１とする（特徴点候補の探索位置を大きく変化させる）。
逆に、類似度の変化量ΔＳｉｍが閾値Ｔ３未満である場合は、今後の探索でも大きな変化が見られない可能性が高いため、次探索する特徴点候補の位置を画素２１とする（特徴点候補の探索位置を小さく変化させる）。
１回の特徴点候補の補正処理においては、類似度の変化量ΔＳｉｍが閾値Ｔ３以上である場合は、図４の画素１〜画素１６で類似度が一番大きい画素位置を新たな特徴点候補の配置とする処理が行われ、類似度の変化量ΔＳｉｍが閾値Ｔ３未満である場合は、図４の画素２１〜画素２８で類似度が一番大きい画素位置を新たな特徴点候補の配置とする処理が行われる。
【００４７】
特徴点候補正部８において特徴点候補の位置の補正を行う場合、効率的に探索を行うため、先ず、特徴点候補となる基準点Ａ〜Ｎの内の一つに限定し、前述した方法で位置を移動させて収束判定基準を満たすまで探索を繰り返す。
次に、別の基準点に限定し、位置を移動させて前述の収束判定基準を満たすまで探索を繰り返す。以降、さらに別の基準点に対して同様の探索を行い、全ての基準点に対する探索が収束するまで続ける（Sequential Forward 探索）。
【００４８】
続いて、図１の顔画像認識装置を使用して顔器官の特徴点を特定する方法の手順について、図３及び図５のフローチャート図を参照しながら説明する。
二次元の人物画像を撮像し（ステップ５１）、撮像された画像から二次元顔画像３０を検出する（ステップ５２）。
【００４９】
検出した二次元顔画像３０に対して、基準顔画像２０に予め設定された顔器官に対応する複数の特徴点候補となる基準点Ａ〜Ｎの１４点の座標を初期配置として貼り付ける（ステップ５３）。
【００５０】
予め記憶した顔の三次元形状モデルを使用し、前記特徴点候補が対応する三次元形状モデルの基準点配置に一致するようにして、二次元の顔画像を三次元正規化して正規化顔画像４０を得る（ステップ５４）。
【００５１】
正規化顔画像４０と基準顔画像２０とを比較し（ステップ５５）、前記正規化画像４０が正面向き画像であるかを判断するための類似度Ｓｉｍを算出し（ステップ５６）、算出された類似度に対する前回探索時からの類似度の変化量ΔＳｉｍを算出する（ステップ５７）。
【００５２】
次に、算出された類似度について、予め設定された閾値Ｔ１と比較することにより正規化顔画像４０における特徴点候補の配置が真正であるか否かを判断する（ステップ５８）。
類似度により正規化顔画像４０における特徴点候補が真正であると判断した場合（正規化顔画像の類似度が閾値Ｔ１より高い場合）には、収束判定基準を満たす画像として判断し、仮想正面顔画像として決定する（ステップ５９）。
【００５３】
ステップ５８における類似度により正規化顔画像４０における特徴点候補が真正でないと判断した場合には、類似度の変化量ΔＳｉｍを閾値Ｔ３と比較し、類似度の変化量ΔＳｉｍが閾値Ｔ３以上である場合は、基準点Ａ〜Ｎのいずれかの基準点に対応する特徴点候補について、その周辺画素である図４の画素１〜画素１６で類似度が一番大きい画素位置を新たな特徴点候補の配置とする処理が行われる（ステップ６１）。
【００５４】
類似度の変化量ΔＳｉｍが閾値Ｔ３未満である場合は、基準点Ａ〜Ｎのいずれかの基準点に対応する特徴点候補について、その周辺画素である図４の画素２１〜画素２８で類似度が一番大きい画素位置を新たな特徴点候補の配置とする処理が行われる（ステップ６２）。
【００５５】
そして、補正された特徴点候補の座標を二次元顔画像３０に貼り付ける処理（特徴点候補の再配置）が行われ（ステップ５３）、この二次元顔画像３０を三次元正規化して正規化顔画像が得られる（ステップ５４）。
【００５６】
ステップ５３〜ステップ６１（ステップ６２）の手順を繰り返すことで、図３に示すように、探索１０回目、探索５０回目、探索１００回目で特徴点候補の座標が補正された各二次元顔画像３０を得て、これを三次元正規化することで正規化顔画像４１，４２，４３を得る。例えば、探索１００回目で特徴点候補の座標が補正された二次元顔画像３０から基準顔画像２０との類似度が大きい正規化顔画像４３が得られた場合に、収束判定基準を満たす画像として判断し、仮想正面顔画像として決定する（ステップ５９）。
【００５７】
上記例では、ステップ５８において、ステップ５６で測定された類似度Ｓｉｍを設定された閾値Ｔ１と比較することにより、特徴点配置の探索終了又は探索継続を判断するようにしたが、ステップ５７で算出された類似度の変化量ΔＳｉｍを設定された閾値Ｔ２と比較することにより、特徴点配置の探索終了又は探索継続を判断するようにしてもよい。
【００５８】
上述した顔器官の特徴点特定方法によれば、顔画像における各器官の特徴点を特定する場合において、１４点の特徴点候補を特徴点として特定するので、複数の器官の配置関係を考慮して特徴点が特定されるため、高精度に各器官の特徴点を特定することができる。
また、複数の器官の特徴点を同時に特定するため、複数の特徴点を特定したい場合は処理効率を上げることができる。
また、複数の器官の配置関係を考慮して特徴点が特定されるため、目が閉じている二次元顔画像であっても、他の器官の特徴点との配置関係を考慮することで瞳の位置を特定することができる。
【００５９】
上述した顔器官の特徴点特定方法は、顔認識を利用しているシステムのほぼ全てに適用可能であるため、幅広い分野での利用が期待できる。例えば、出勤退勤の勤務管理システム、携帯電話の所有者認証装置、撮影した顔写真からの似顔絵作成装置、テレビ映像に登場する顔に基づいた出演者メタ情報付与装置、似ている有名人等の類似顔検索システムにおける顔認識に使用することが可能である。
【符号の説明】
【００６０】
１…顔検出部、 ２…特徴点候補配置部、 ３…三次元正規化部、 ４…類似度測定部、 ５…変化量算出部、 ６…比較部（検索終了判定部）、 ７…収束判定部、 ８…特徴点候補正部、 ９…基準顔画像作成部、 ２０…基準顔画像、 ３０…二次元顔画像、 ４０…正規化顔画像。
【特許請求の範囲】
【請求項１】
画像内から検出された顔器官に対応する複数の特徴点候補を配置する特徴点候補配置部と、
予め記憶した顔の三次元の形状モデルを使用し、二次元の特徴点候補の配置が三次元の基準点配置に一致するようにして、二次元の顔画像を三次元の顔画像に正規化する三次元正規化部と、
正規化された顔画像と、複数の顔画像から予め作成された基準顔画像との類似度を測定する類似度測定部と、
前回探索時の類似度と今回測定類似度の変化量を算出する変化量算出部と、
類似度又は／及び変化量に基づき、探索終了又は探索継続を判定する検索終了判定部と、
前記検索終了判定部における探索終了判定時の特徴点候補を探索特徴点として確定する収束判定部と、
前記検索終了判定部における探索継続判定時に、前記類似度の変化量に基づき、前記特徴点候補の配置を変化させる特徴点候補補正部と、
を具備することを特徴とする顔認識装置。
【請求項２】
撮像された画像から二次元の顔画像を検出する第１の手順と、
検出した顔画像に対して、予め設定された顔器官に対応する複数の特徴点候補の座標を初期配置として貼り付ける第２の手順と、
予め記憶した顔の三次元形状モデルを使用し、前記特徴点候補が対応する三次元形状モデルの基準点配置に一致するようにして、二次元の顔画像を三次元正規化して正規化顔画像を得る第３の手順と、
前記正規化顔画像と複数の顔画像から予め作成された基準顔画像とを比較することで前記正規化画像が正面向き画像であるかを判断するための類似度を算出する第４の手順と、
前記類似度により前記正規化顔画像における特徴点候補の配置が真正であるか否かを判断する第５の手順と、
前記第５の手順における類似度により前記正規化顔画像における特徴点候補が真正でないと判断した場合に、前記特徴点候補の配置を補正し、補正された特徴点候補に基づいて前記第３〜第５の手順を繰り返して真正の特徴点候補の探索継続処理を行う
ことを特徴とする顔器官の特徴点特定方法。
【請求項３】
前記第５の手順は、
前記類似度を設定された閾値と比較することにより、特徴点配置の探索終了又は探索継続を判断する請求項２に記載の顔器官の特徴点特定方法。
【請求項４】
前記第５の手順は、
算出された類似度に対する前回探索時からの変化量を算出し、この変化量を設定された閾値と比較することにより、特徴点配置の探索終了又は探索継続を判断する請求項２に記載の顔器官の特徴点特定方法。
【請求項５】
前記探索継続処理を行う場合において、
算出された類似度に対する前回探索時からの変化量を算出し、この変化量が設定された閾値より小さい場合に、特徴点配置についての探索位置の移動距離を小さくして探索する請求項２に記載の顔器官の特徴点特定方法。
【請求項１】
画像内から検出された顔器官に対応する複数の特徴点候補を配置する特徴点候補配置部と、
予め記憶した顔の三次元の形状モデルを使用し、二次元の特徴点候補の配置が三次元の基準点配置に一致するようにして、二次元の顔画像を三次元の顔画像に正規化する三次元正規化部と、
正規化された顔画像と、複数の顔画像から予め作成された基準顔画像との類似度を測定する類似度測定部と、
前回探索時の類似度と今回測定類似度の変化量を算出する変化量算出部と、
類似度又は／及び変化量に基づき、探索終了又は探索継続を判定する検索終了判定部と、
前記検索終了判定部における探索終了判定時の特徴点候補を探索特徴点として確定する収束判定部と、
前記検索終了判定部における探索継続判定時に、前記類似度の変化量に基づき、前記特徴点候補の配置を変化させる特徴点候補補正部と、
を具備することを特徴とする顔認識装置。
【請求項２】
撮像された画像から二次元の顔画像を検出する第１の手順と、
検出した顔画像に対して、予め設定された顔器官に対応する複数の特徴点候補の座標を初期配置として貼り付ける第２の手順と、
予め記憶した顔の三次元形状モデルを使用し、前記特徴点候補が対応する三次元形状モデルの基準点配置に一致するようにして、二次元の顔画像を三次元正規化して正規化顔画像を得る第３の手順と、
前記正規化顔画像と複数の顔画像から予め作成された基準顔画像とを比較することで前記正規化画像が正面向き画像であるかを判断するための類似度を算出する第４の手順と、
前記類似度により前記正規化顔画像における特徴点候補の配置が真正であるか否かを判断する第５の手順と、
前記第５の手順における類似度により前記正規化顔画像における特徴点候補が真正でないと判断した場合に、前記特徴点候補の配置を補正し、補正された特徴点候補に基づいて前記第３〜第５の手順を繰り返して真正の特徴点候補の探索継続処理を行う
ことを特徴とする顔器官の特徴点特定方法。
【請求項３】
前記第５の手順は、
前記類似度を設定された閾値と比較することにより、特徴点配置の探索終了又は探索継続を判断する請求項２に記載の顔器官の特徴点特定方法。
【請求項４】
前記第５の手順は、
算出された類似度に対する前回探索時からの変化量を算出し、この変化量を設定された閾値と比較することにより、特徴点配置の探索終了又は探索継続を判断する請求項２に記載の顔器官の特徴点特定方法。
【請求項５】
前記探索継続処理を行う場合において、
算出された類似度に対する前回探索時からの変化量を算出し、この変化量が設定された閾値より小さい場合に、特徴点配置についての探索位置の移動距離を小さくして探索する請求項２に記載の顔器官の特徴点特定方法。
【図１】
【図４】
【図５】
【図２】
【図３】
【図６】
【図４】
【図５】
【図２】
【図３】
【図６】
【公開番号】特開２０１０−２３１３５４（Ｐ２０１０−２３１３５４Ａ）
【公開日】平成２２年１０月１４日（２０１０．１０．１４）
【国際特許分類】
【出願番号】特願２００９−７６３８２（Ｐ２００９−７６３８２）
【出願日】平成２１年３月２６日（２００９．３．２６）
【出願人】（０００２０８８９１）ＫＤＤＩ株式会社 (2,700)
【Ｆターム（参考）】
【公開日】平成２２年１０月１４日（２０１０．１０．１４）
【国際特許分類】
【出願日】平成２１年３月２６日（２００９．３．２６）
【出願人】（０００２０８８９１）ＫＤＤＩ株式会社 (2,700)
【Ｆターム（参考）】
[ Back to top ]