顔特徴点検出装置及びその方法
【課題】鼻頂点のように画像的な特徴が少ない顔特徴点の場合にも検出することを可能にする顔特徴点検出装置を提供する。
【解決手段】顔画像を入力する画像入力部１２と、探索領域とスケールを決定する探索領域スケール決定部１４と、各点の局所的な画像情報から選択される画像特徴点を検出する画像特徴点検出部１６と、画像特徴点と対象特徴点の相対位置座標と画像特徴点周辺パターンとを関連付けて記憶した第１の辞書１８と、第１の辞書１８と画像特徴点周辺パターンとの照合を行なう第１のパターン照合部２０と、対象とする特徴点の位置候補を推定する対象特徴点位置推定部２２と、第２の辞書２４と、第２の辞書２４と対象特徴点周辺パターンとの照合を行なう第２のパターン照合部２６と、対象特徴点の位置を求める判定部２８を備えている。
【解決手段】顔画像を入力する画像入力部１２と、探索領域とスケールを決定する探索領域スケール決定部１４と、各点の局所的な画像情報から選択される画像特徴点を検出する画像特徴点検出部１６と、画像特徴点と対象特徴点の相対位置座標と画像特徴点周辺パターンとを関連付けて記憶した第１の辞書１８と、第１の辞書１８と画像特徴点周辺パターンとの照合を行なう第１のパターン照合部２０と、対象とする特徴点の位置候補を推定する対象特徴点位置推定部２２と、第２の辞書２４と、第２の辞書２４と対象特徴点周辺パターンとの照合を行なう第２のパターン照合部２６と、対象特徴点の位置を求める判定部２８を備えている。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、顔特徴点検出装置及びその方法に係わり、特に鼻頂点のように画像的な特徴が少ない場合にも検出できるようにしたものに関する。
【背景技術】
【０００２】
従来の顔特徴点検出装置には、特許文献１に開示されているように、顔特徴点の候補を円形分離度フィルタで検出した後、画像パターンを用いて検証するものがあった。しかし、前記顔特徴点に画像的な特徴が少なく、近傍に必ず特徴点候補が検出されない場合にはうまく検出することはできなかった。
【０００３】
また、特許文献２のように特徴点周辺画像のテンプレートマッチングを用いるものもある。しかし、前記特徴点に画像的な特徴が少ない場合には、パターンがその特徴点に固有のものとはならないため、類似した画像が他の場所にあるなどのためにうまく検出できなかった。
【特許文献１】特許第３２７９９１３号公報
【特許文献２】特開平１１−２０３４５６公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
上記したように、背景技術には顔特徴点に画像的な特徴が少なく、近傍に必ず特徴点候補が検出されない場合にはうまく検出できないという問題点があった。
【０００５】
また、単純なテンプレートマッチングでは前記特徴点に画像的な特徴が少ない場合には、パターンがその特徴点に固有のものとはならないため、類似した画像が他の場所にあるなどのためにうまく検出できないという問題点があった。
【０００６】
そこで本発明は、上記問題点を解決するためになされたものであって、顔特徴点に画像的な特徴が少なく、近傍に必ず特徴点候補が検出されない場合にも検出を可能とする顔特徴点検出装置及びその方法を提供することを目的とする。
【課題を解決するための手段】
【０００７】
本発明は、顔が写った画像を入力する画像入力部と、前記画像から対象特徴点を検出するための探索領域を決定する探索領域決定部と、前記画像の前記探索領域内から画像特徴点を検出する画像特徴点検出部と、複数の学習用顔画像からそれぞれ求めた学習用画像特徴点の周辺パターンに関する情報、及び、前記各学習用画像特徴点と学習用対象特徴点の相対位置座標とを関連付けた第１の辞書を記憶する第１の辞書記憶部と、前記画像特徴点の周辺パターンと類似している前記学習用画像特徴点の周辺パターンを前記第１の辞書内の前記複数の学習用画像特徴点の周辺パターンから選択する第１のパターン照合部と、前記選択された学習用画像特徴点に対応する前記学習用対象特徴点の相対位置座標を抽出する対象特徴点位置推定部と、前記抽出した相対位置座標に基づいて、前記顔画像から前記対象特徴点の周辺パターンを切り出す対象特徴点周辺パターン検出部と、前記複数の学習用顔画像からそれぞれ求めた学習用対象特徴点の周辺パターンに関する情報を含む第２の辞書を記憶する第２の辞書記憶部と、前記対象特徴点の周辺パターンと類似する前記学習用対象特徴点の周辺パターンを前記第２の辞書内の前記複数の学習用対象特徴点の周辺パターンから選択する第２のパターン照合部と、前記画像特徴点の周辺パターンと前記選択された学習用画像特徴点の周辺パターンの類似度と、前記対象特徴点の周辺パターンと前記選択された学習用対象特徴点の周辺パターンの類似度から前記対象特徴点の位置を求める判定部と、を備える顔特徴点検出装置である。
【発明の効果】
【０００８】
本発明によれば、鼻頂点などのように特徴点に画像的な特徴が少なく、近傍に必ず画像特徴点候補が検出されない場合にも検出が可能となる。
【発明を実施するための最良の形態】
【０００９】
以下、本発明の実施形態について説明する。
【００１０】
（第１の実施形態）
本発明の第１の実施形態に係わる顔特徴点検出装置１０について図１から図６に基づいて説明する。
【００１１】
（１）顔特徴点検出装置１０の構成
図１は、本実施形態に係わる顔特徴点検出装置１０を示すブロック図である。
【００１２】
顔特徴点検出装置１０は、処理対象の画像を入力する画像入力部１２と、探索領域とスケールを決定する探索領域スケール決定部１４と、各点の局所的な画像情報から選択される画像特徴点を検出する画像特徴点検出部１６と、画像特徴点と対象特徴点の相対位置座標と画像特徴点周辺パターンとを関連付けて記憶した第１の辞書１８と、第１の辞書１８と画像特徴点周辺パターンとの照合を行なう第１のパターン照合部２０と、対象とする特徴点の位置候補を推定する対象特徴点位置推定部２２と、第２の辞書２４と、第２の辞書２４と対象特徴点周辺パターンとの照合を行なう第２のパターン照合部２６と、対象特徴点の位置を求める判定部２８を備えている。
【００１３】
各部１２〜２８の各機能は、コンピュータに格納されたプログラムによっても実現できる。
【００１４】
（２）顔特徴点検出装置１０の処理
次に、図１及び図２を用いて、本実施形態に係わる顔特徴点検出装置１０の動作について説明する。なお、図２は、本実施形態に係わる顔特徴点検出装置１０の動作を示すフローチャートである。
【００１５】
以下の説明は、図３に示すように瞳の２点を基準特徴点として、まずこれらの基準特徴点を検出し、検出された瞳の位置を利用して探索領域とスケールを決定し、その後に対象特徴点である鼻頂点を求める場合である。
【００１６】
（２−１）ステップ１
まず、ステップ１において、画像入力部１２は、対象となる顔が撮影された画像を入力する。
【００１７】
（２−２）ステップ２
次に、ステップ２において、探索領域スケール決定部１４は、対象特徴点を検出するための探索領域とスケールを決定する。
【００１８】
本実施形態では、上記したように、図３に示すように瞳の２点を基準特徴点として、まずこれらの基準特徴点を検出し、検出された瞳の位置を利用して探索領域とスケールを決定する。
【００１９】
瞳検出は、特許文献１に示されている円形分離度フィルタのような画像特徴点検出方法と、パターン照合方法を組み合わせた方法を用いる。以下、順番に説明する。
【００２０】
（２−２−１）画像特徴点検出処理
まず、特許文献１に示されている円形分離度フィルタを用いて、上記画像から画像特徴点を検出する。
【００２１】
本実施形態においては、画像特徴点検出方法として円形分離度フィルタを用いるが、他の方法であってもよい。例えばコーナー検出方法などでもよい。
【００２２】
（２−２−２）パターン照合処理
次に、検出された各画像特徴点に対してパターン照合方法を行なう。
【００２３】
各画像特徴点の近傍において、分離度フィルタの半径に応じた局所正規化画像を取得し、この正規化画像と予め瞳画像から作成しておいた辞書との類似度を算出する。類似度の算出には特許文献１と同様に部分空間法を用いる。
【００２４】
各画像特徴点において算出された類似度が、所定の閾値を超えるものを基準特徴点候補として残す。
【００２５】
次に、基準特徴点候補が、左右瞳として所定の位置条件を満たす組合せを選択する。所定の位置関係とは左右の点を結ぶ線分の距離、角度等である。
【００２６】
なお、それらの２点を基準に正規化した画像により、局所正規化画像と同様に予め作成しておいた辞書との類似度を求め、その類似度が所定の閾値を超えることを条件としてもよい。
【００２７】
（２−２−３）探索領域とスケールの決定
検出された２点の瞳位置を基準特徴点として、探索領域とスケールを決定する。
【００２８】
具体的には、探索領域の中心を左右瞳の中点から垂直方向に瞳間隔ｅｄに所定の係数を乗じた距離だけ移動させた位置とし、その幅及び高さに関しても瞳間隔ｅｄにそれぞれ所定の係数を乗じたものとする。
【００２９】
また、スケールは瞳間隔ｅｄを基準に設定する。ここでは瞳間隔ｅｄに所定の係数を乗じたものとする。例えば係数を０．１とする。
【００３０】
（２−３）ステップ３
次に、ステップ３において、画像特徴点検出部１６は、探索領域内の各点（各画素）の局所的な画像情報から、画像特徴点を検出する。例えば、各画素の輝度値からエッジを検出したりする。
【００３１】
本実施形態では特許文献１に示されている円形分離度フィルタを用いる。ここで、円形分離度フィルタの半径は、前記で設定したスケールにより決定される。上記したように、ここでは瞳間隔ｅｄに所定の係数を乗じたものであり、例えば係数を０．１とする。
【００３２】
（２−４）ステップ４
次に、ステップ４において、第１のパターン照合部２０は、第１の辞書１８を用いて各画像特徴点周辺のパターンの照合を行なう。
【００３３】
（２−４−１）正規化
上記のようにした探索領域内で検出した各画像特徴点の周辺パターンのそれぞれについて正規化を行う。この画像特徴点の周辺パターンの正規化は、探索領域スケール決定部１４で決定したスケールｅｄを用いて、図４に示すように、画像特徴点を中心としてｅｄに所定の係数を乗じた距離ａｄの範囲の矩形領域をサンプリングして、正規化パターンを取り出す。
【００３４】
（２−４−２）類似度の算出
次に、正規化パターンと第１の辞書１８との類似度を算出する。類似度は特許文献１に示されている部分空間法により計算する。
【００３５】
第１の辞書１８は、複数個のクラスから成り、それぞれのクラスには学習された学習用画像特徴点の周辺パターンから生成された１つの部分空間と、学習用対象特徴点との相対座標が記録されている。画像特徴点のそれぞれにおいて、各クラスに属する学習用画像特徴点の周辺パターンの部分空間との類似度をそれぞれ算出する。ここで「対象特徴点」とは、上記したように求めたい鼻頂点である。また、第１の辞書１８のクラスは、後から説明するように正規化された座標を格子状に分割することにより、位置（座標）を基準にしてクラスタリングされている。
【００３６】
（２−５）ステップ５
次に、ステップ５において、対象特徴点候補位置推定部２２では、第１のパターン照合部２０において算出された第１の辞書１８の各クラス（位置）に対する類似度を利用して対象特徴点の候補位置を推定する。
【００３７】
対象特徴点位置の具体的な推定方法は以下の通りである。
【００３８】
第１の辞書１８の各クラス（位置）には、１つの部分空間と対応する相対座標が記録されている。
【００３９】
各クラス（位置）の類似度が所定の閾値を超える場合には、対応する相対位置を用いて対象特徴点の位置を推定し、対象特徴点位置候補とする。
【００４０】
図５は、対象特徴点位置を推定する様子を表わす図である。ｉ番目の画像特徴点位置の座標が（ｘｉ，ｙｉ）、瞳間距離ｅｄで正規化された相対座標が（ｕ，ｖ）であるとすると、対象特徴点の推定座標は（ｘｉ−ｕ＊ｅｄ，ｙｉ−ｖ＊ｅｄ）として求められる。
【００４１】
（２−６）ステップ６
次に、ステップ６において、第２のパターン照合部２６では、対象特徴点候補位置推定部２２で推定された各対象特徴点候補位置の周辺パターンのパターン照合を行なう。そのためにまず、上記で求めた対象特徴点の推定座標（候補位置）を中心にしてその周辺パターンを切り出す。
【００４２】
次に、その対象特徴点の候補位置の周辺パターンの正規化を行う。この正規化は、上記で説明した画像特徴点周辺パターンと同様に行なう。
【００４３】
対象特徴点候補位置の正規化パターンと第２の辞書２４との類似度を算出する。類似度の算出には、第１のパターン照合部２０と同様に、部分空間法を用いる。第２の辞書２４は、学習用対象特徴点の正規化パターンの部分空間を記憶しているが、第１の辞書１８と関連付けされている。すなわち、第１の辞書１８の各クラス（位置）の正規化パターンのそれぞれと、同一の画像（例えば、同一人物の同一の学習用顔画像）から切り出した学習用対象特徴点の正規化パターンとがリンクされている。そして、第２の辞書２４を使用する場合には、第１の辞書１８とリンクされている学習用対象特徴点の正規化パターンを用いる。具体的には、対象特徴点の推定座標を算出するために用いた第１の辞書１８の正規化パターンとリンクされている学習用対象特徴点の正規化パターンの部分空間とで類似度を求める。
【００４４】
（２−７）ステップ７
次に、ステップ７において、判定部２８では第１のパターン照合部２０における類似度と、第２のパターン照合部２６における類似度と、予め学習データより得られた事前確率に基づき算出されるスコアから対象特徴点の位置を決定する。この事前確率については、後から説明する。
【００４５】
なお、事前確率に基づき算出されるスコアは、前記相対位置において類似度を算出したクラスに属する学習データの出現確率を所定の演算を施したものである。例えば、他のスコアとバランスをとるために、定数をかけたり、ｌｏｇを計算したりする。
【００４６】
そして、第１のパターン照合部２０における類似度と、第２のパターン照合部２６における類似度と、事前確率に基づき算出されるスコアの３つの和をスコアとし、候補点のうち、スコアが最大になるものを、求めたい対象特徴点とする。
【００４７】
（３）第１の辞書１８、第２の辞書２４
第１の辞書１８、第２の辞書２４の学習時の動作について、図６を用いて説明する。
【００４８】
（３−１）第１の辞書１８
予め学習用対象特徴点の位置がわかっている学習用顔画像からの学習データに対して、検出時の動作と同様に学習用画像特徴点を検出する。そのときの学習用対象特徴点との正規化座標ベクトルｄも記録しておく。
【００４９】
次に、ベクトルｄを幾つかのクラスに分割するクラスタリングを行なう。例えば、正規化された座標を格子状に分割することにより、位置（座標）を基準にしてクラスタリングする。
【００５０】
また、各学習用画像特徴点の位置で、正規化パターンの切り出しを行なっておく。正規化方法は検出時に図４を用いて説明した方法と同じである。すなわち、学習用画像特徴点の周辺パターンを切り出し、その周辺パターンを上記スケールで正規化する。
【００５１】
ベクトルｄの各クラス（位置）に対して、対応する正規化パターンからそれぞれ第１の辞書１８を作成する。
【００５２】
この第１の辞書１８は、部分空間法に用いる辞書であり、正規化パターンを特徴ベクトルとして主成分分析を行なうことにより生成する。各クラス（各位置）について属するベクトルｄの分布から、そのクラス（位置）の平均座標とその分散等の統計情報を相対位置として記録しておく。
【００５３】
そして、それぞれのクラス（位置）に対して、さらに正規化パターンを基準にしてクラスタリングを行なう。この同じクラス（位置）に属する正規化パターンのうち、そのクラス（位置）に属する正規化パターンの割合を事前確率として保持しておく。
【００５４】
このように、位置とパターンの二段階のクラスタリングを行なうことで、より辞書をコンパクトにすることができる。
【００５５】
（３−２）第２の辞書２４
学習用顔画像における学習用対象特徴点の位置でも、学習用対象特徴点の位置を中心にして周辺パターンを切り出し、その後に正規化して正規化パターンを作成しておく。第１の辞書１８の各クラスに対応して第２の辞書２４を作成する。第２の辞書２４は、学習用対象特徴点の正規化パターンの部分空間を記憶しているが、第１の辞書１８と関連付けされている。すなわち、第１の辞書１８の各クラスの正規化パターンのそれぞれと、同一の画像（例えば、同一人物の同一の学習用顔画像）から切り出した学習用対象特徴点の正規化パターンとがリンクされている。そして、第２の辞書２４を使用する場合には、第１の辞書１８とリンクされている学習用対象特徴点の正規化パターンを用いる。
【００５６】
このとき、必要に応じて学習用対象特徴点パターンのクラスタリングも行なう。パターンのクラスタリングにはｋ−ｍｅａｎｓ法を用いる。
【００５７】
（４）効果
このように、第１の実施形態に係わる顔特徴点検出装置１０によれば、鼻頂点のように顔特徴点に画像的な特徴が少なく、近傍に必ず画像特徴点候補が検出されない場合にも検出が可能となる。
【００５８】
（第２の実施形態）
本発明の第２の実施形態に係わる顔特徴点検出装置１００について図７に基づいて説明する。
【００５９】
（１）顔特徴点検出装置１００の構成
図７は、本実施形態に係わる顔特徴点検出装置１００を示すブロック図である。
【００６０】
本実施形態に係わる顔特徴点検出装置１００は、処理対象の画像を入力する画像入力部１１２と、探索領域とスケールを決定する探索領域スケール決定部１１４と、各点の局所的な画像情報から選択される画像特徴点を検出する画像特徴点検出部１１６Ａと、画像特徴点検出部１１６Ａとは異なる画像特徴を検出する画像特徴点検出部１１６Ｂと、画像特徴点と対象特徴点の相対位置座標と画像特徴点周辺パターンとを関連付けて記憶した第１の辞書１１８Ａ、第１の辞書１１８Ｂと、第１の辞書１１８Ａ，Ｂと画像特徴点周辺パターンとの照合を行なう第１のパターン照合部１２０Ａ，Ｂと、対象とする特徴点の位置候補を推定する対象特徴点位置推定部１２２と、第２の辞書１２４と、第２の辞書１２４と対象特徴点周辺パターンとの照合を行なう第２のパターン照合部１２６と、対象特徴点の位置を求める判定部１２８を備えている。
【００６１】
（２）顔特徴点検出装置１００の動作
次に図７を用いて、本実施形態に係わる顔特徴点検出装置１００の動作について説明する。本実施形態においては、第１の実施形態と同様、瞳の２点を基準特徴点として、まずこれらの基準特徴点を検出し、検出された瞳の位置を利用して探索領域とスケールを決定し、対象特徴点が鼻頂点である例について述べる。
【００６２】
画像入力部１１２、探索領域スケール決定部１１４、第２の辞書１２４、第２のパターン照合部１２６、判定部１２８については第１の実施形態と同様である。
【００６３】
画像特徴点検出部１１６Ａ、Ｂについては、それぞれ別の方法により画像特徴点を検出する。
【００６４】
本実施形態では、第１の実施形態で用いた円形分離フィルタによるものと、文献“C. J. Harris and M. Stephens. A combined corner and edge detector. Proc. 4th Alvey Vision Conferences， pages 147-- 151， 1988.”に示されているコーナー検出を用いる。
【００６５】
それぞれの画像特徴点検出部１１６A、Ｂで得られた画像特徴点候補に対して、それぞれ対応する学習データによって作成された第１の辞書１１８Ａ、Ｂを用いて、第１のパターン照合部１２０Ａ、Ｂで照合を行なう。
【００６６】
ここでの処理は第１の辞書１１８が異なるだけで、第１の実施形態と同様である。
【００６７】
（変形例）
本発明は上記各実施形態に限らず、その主旨を逸脱しない限り種々に変更することができる。
【００６８】
すなわち、本発明は上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。
【００６９】
（１）変更例１
本実施形態では瞳の位置を基準特徴点として利用して探索領域とスケールを定めたが、これに限定されるものではない。
【００７０】
例えば、顔領域を矩形として検出し、その位置やサイズを利用する方法もある。
【００７１】
また、探索領域とスケールの決定方法も本実施形態で述べたものに限らない。
【００７２】
（２）変更例２
本実施形態では対象特徴点として鼻頂点を検出する場合について述べたが、これに限定されるものではない。
【００７３】
例えば、定義できる特徴点であればどんな点であっても差し支えない。
【００７４】
（３）変更例３
本実施形態ではパターン照合に用いる特徴量として濃淡パターンを用いたが、これに限定されるものではない。
【００７５】
例えば、ヒストグラム平坦化を行なったもの、エッジ検出フィルタにより変換したもの、フーリエ変換などの周波数領域の処理を施したものなど、画像から生成される特徴量であればどんなものであっても差し支えない。
【００７６】
（４）変更例４
本実施形態ではパターンの正規化方法として、画像（対象）特徴点位置を中心として上下左右に同じ距離分を用いたが、これに限定されるものではない。
【００７７】
例えば、中心位置は特徴点位置と必ずしも等しい必要はなく上下左右で範囲が異なっても差し支えない。
【００７８】
（５）変更例５
本実施形態では対象特徴点候補位置推定部１２２における位置推定に、第１の辞書１１８との類似度が所定の閾値を超えるクラスに対応する相対位置を用いたが、これに限定されるものではない。
【００７９】
例えば、類似度が大きい順から所定の数を選択する、それらの平均値を用いるといった方法であっても差し支えない。
【００８０】
（６）変更例６
本実施形態では判定部１２８においてスコアが最大になるものを選択したが、これに限定されるものではない。
【００８１】
例えば、複数の候補からのスコアを総合的に判定する方法も考えられる。例えばスコアの値が所定の閾値を超えるものについえてその位置の平均、もしくは重み付平均を求めるといった方法も考えられる。
【００８２】
（７）変更例７
本実施形態ではクラスタリング法として、座標を格子状に分割する方法、ｋ−ｍｅａｎｓ法を用いたが、これに限定されるものではない。
【００８３】
例えば、座標値やパターンなどの多次元データを離散化できる方法であれば差し支えない。
【００８４】
（８）変更例８
本実施形態では辞書の作成の際に、画像特徴点位置座標のクラスタリングと、正規化画像パターンのクラスタリングを行なったが、これに限定されるものではない。
【００８５】
例えば、顔の向きによるクラスタリングを加えてもよい。
【図面の簡単な説明】
【００８６】
【図１】本実施形態に係わる顔特徴点検出装置１００の構成を示すブロック図である。
【図２】本実施形態の動作を示すフローチャートである。
【図３】本実施形態における対象特徴点（鼻頂点）の説明図である。
【図４】本実施形態における画像特徴点周辺パターンの正規化の説明図である。
【図５】本実施形態における対象特徴点候補推定方法の説明図である。
【図６】本実施形態における学習時の動作を示すフローチャートである。
【図７】本発明の第２の実施形態に係わる顔特徴点検出装置１００の構成を示すブロック図である。
【符号の説明】
【００８７】
１０ 顔特徴点検出装置
１２ 画像入力部
１４ 探索領域スケール決定部１４
１６ 画像特徴点検出部
１８ 第１の辞書
２０ 第１のパターン照合部
２２ 対象特徴点位置推定部
２４ 第２の辞書
２６ 第２のパターン照合部
２８ 判定部
【技術分野】
【０００１】
本発明は、顔特徴点検出装置及びその方法に係わり、特に鼻頂点のように画像的な特徴が少ない場合にも検出できるようにしたものに関する。
【背景技術】
【０００２】
従来の顔特徴点検出装置には、特許文献１に開示されているように、顔特徴点の候補を円形分離度フィルタで検出した後、画像パターンを用いて検証するものがあった。しかし、前記顔特徴点に画像的な特徴が少なく、近傍に必ず特徴点候補が検出されない場合にはうまく検出することはできなかった。
【０００３】
また、特許文献２のように特徴点周辺画像のテンプレートマッチングを用いるものもある。しかし、前記特徴点に画像的な特徴が少ない場合には、パターンがその特徴点に固有のものとはならないため、類似した画像が他の場所にあるなどのためにうまく検出できなかった。
【特許文献１】特許第３２７９９１３号公報
【特許文献２】特開平１１−２０３４５６公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
上記したように、背景技術には顔特徴点に画像的な特徴が少なく、近傍に必ず特徴点候補が検出されない場合にはうまく検出できないという問題点があった。
【０００５】
また、単純なテンプレートマッチングでは前記特徴点に画像的な特徴が少ない場合には、パターンがその特徴点に固有のものとはならないため、類似した画像が他の場所にあるなどのためにうまく検出できないという問題点があった。
【０００６】
そこで本発明は、上記問題点を解決するためになされたものであって、顔特徴点に画像的な特徴が少なく、近傍に必ず特徴点候補が検出されない場合にも検出を可能とする顔特徴点検出装置及びその方法を提供することを目的とする。
【課題を解決するための手段】
【０００７】
本発明は、顔が写った画像を入力する画像入力部と、前記画像から対象特徴点を検出するための探索領域を決定する探索領域決定部と、前記画像の前記探索領域内から画像特徴点を検出する画像特徴点検出部と、複数の学習用顔画像からそれぞれ求めた学習用画像特徴点の周辺パターンに関する情報、及び、前記各学習用画像特徴点と学習用対象特徴点の相対位置座標とを関連付けた第１の辞書を記憶する第１の辞書記憶部と、前記画像特徴点の周辺パターンと類似している前記学習用画像特徴点の周辺パターンを前記第１の辞書内の前記複数の学習用画像特徴点の周辺パターンから選択する第１のパターン照合部と、前記選択された学習用画像特徴点に対応する前記学習用対象特徴点の相対位置座標を抽出する対象特徴点位置推定部と、前記抽出した相対位置座標に基づいて、前記顔画像から前記対象特徴点の周辺パターンを切り出す対象特徴点周辺パターン検出部と、前記複数の学習用顔画像からそれぞれ求めた学習用対象特徴点の周辺パターンに関する情報を含む第２の辞書を記憶する第２の辞書記憶部と、前記対象特徴点の周辺パターンと類似する前記学習用対象特徴点の周辺パターンを前記第２の辞書内の前記複数の学習用対象特徴点の周辺パターンから選択する第２のパターン照合部と、前記画像特徴点の周辺パターンと前記選択された学習用画像特徴点の周辺パターンの類似度と、前記対象特徴点の周辺パターンと前記選択された学習用対象特徴点の周辺パターンの類似度から前記対象特徴点の位置を求める判定部と、を備える顔特徴点検出装置である。
【発明の効果】
【０００８】
本発明によれば、鼻頂点などのように特徴点に画像的な特徴が少なく、近傍に必ず画像特徴点候補が検出されない場合にも検出が可能となる。
【発明を実施するための最良の形態】
【０００９】
以下、本発明の実施形態について説明する。
【００１０】
（第１の実施形態）
本発明の第１の実施形態に係わる顔特徴点検出装置１０について図１から図６に基づいて説明する。
【００１１】
（１）顔特徴点検出装置１０の構成
図１は、本実施形態に係わる顔特徴点検出装置１０を示すブロック図である。
【００１２】
顔特徴点検出装置１０は、処理対象の画像を入力する画像入力部１２と、探索領域とスケールを決定する探索領域スケール決定部１４と、各点の局所的な画像情報から選択される画像特徴点を検出する画像特徴点検出部１６と、画像特徴点と対象特徴点の相対位置座標と画像特徴点周辺パターンとを関連付けて記憶した第１の辞書１８と、第１の辞書１８と画像特徴点周辺パターンとの照合を行なう第１のパターン照合部２０と、対象とする特徴点の位置候補を推定する対象特徴点位置推定部２２と、第２の辞書２４と、第２の辞書２４と対象特徴点周辺パターンとの照合を行なう第２のパターン照合部２６と、対象特徴点の位置を求める判定部２８を備えている。
【００１３】
各部１２〜２８の各機能は、コンピュータに格納されたプログラムによっても実現できる。
【００１４】
（２）顔特徴点検出装置１０の処理
次に、図１及び図２を用いて、本実施形態に係わる顔特徴点検出装置１０の動作について説明する。なお、図２は、本実施形態に係わる顔特徴点検出装置１０の動作を示すフローチャートである。
【００１５】
以下の説明は、図３に示すように瞳の２点を基準特徴点として、まずこれらの基準特徴点を検出し、検出された瞳の位置を利用して探索領域とスケールを決定し、その後に対象特徴点である鼻頂点を求める場合である。
【００１６】
（２−１）ステップ１
まず、ステップ１において、画像入力部１２は、対象となる顔が撮影された画像を入力する。
【００１７】
（２−２）ステップ２
次に、ステップ２において、探索領域スケール決定部１４は、対象特徴点を検出するための探索領域とスケールを決定する。
【００１８】
本実施形態では、上記したように、図３に示すように瞳の２点を基準特徴点として、まずこれらの基準特徴点を検出し、検出された瞳の位置を利用して探索領域とスケールを決定する。
【００１９】
瞳検出は、特許文献１に示されている円形分離度フィルタのような画像特徴点検出方法と、パターン照合方法を組み合わせた方法を用いる。以下、順番に説明する。
【００２０】
（２−２−１）画像特徴点検出処理
まず、特許文献１に示されている円形分離度フィルタを用いて、上記画像から画像特徴点を検出する。
【００２１】
本実施形態においては、画像特徴点検出方法として円形分離度フィルタを用いるが、他の方法であってもよい。例えばコーナー検出方法などでもよい。
【００２２】
（２−２−２）パターン照合処理
次に、検出された各画像特徴点に対してパターン照合方法を行なう。
【００２３】
各画像特徴点の近傍において、分離度フィルタの半径に応じた局所正規化画像を取得し、この正規化画像と予め瞳画像から作成しておいた辞書との類似度を算出する。類似度の算出には特許文献１と同様に部分空間法を用いる。
【００２４】
各画像特徴点において算出された類似度が、所定の閾値を超えるものを基準特徴点候補として残す。
【００２５】
次に、基準特徴点候補が、左右瞳として所定の位置条件を満たす組合せを選択する。所定の位置関係とは左右の点を結ぶ線分の距離、角度等である。
【００２６】
なお、それらの２点を基準に正規化した画像により、局所正規化画像と同様に予め作成しておいた辞書との類似度を求め、その類似度が所定の閾値を超えることを条件としてもよい。
【００２７】
（２−２−３）探索領域とスケールの決定
検出された２点の瞳位置を基準特徴点として、探索領域とスケールを決定する。
【００２８】
具体的には、探索領域の中心を左右瞳の中点から垂直方向に瞳間隔ｅｄに所定の係数を乗じた距離だけ移動させた位置とし、その幅及び高さに関しても瞳間隔ｅｄにそれぞれ所定の係数を乗じたものとする。
【００２９】
また、スケールは瞳間隔ｅｄを基準に設定する。ここでは瞳間隔ｅｄに所定の係数を乗じたものとする。例えば係数を０．１とする。
【００３０】
（２−３）ステップ３
次に、ステップ３において、画像特徴点検出部１６は、探索領域内の各点（各画素）の局所的な画像情報から、画像特徴点を検出する。例えば、各画素の輝度値からエッジを検出したりする。
【００３１】
本実施形態では特許文献１に示されている円形分離度フィルタを用いる。ここで、円形分離度フィルタの半径は、前記で設定したスケールにより決定される。上記したように、ここでは瞳間隔ｅｄに所定の係数を乗じたものであり、例えば係数を０．１とする。
【００３２】
（２−４）ステップ４
次に、ステップ４において、第１のパターン照合部２０は、第１の辞書１８を用いて各画像特徴点周辺のパターンの照合を行なう。
【００３３】
（２−４−１）正規化
上記のようにした探索領域内で検出した各画像特徴点の周辺パターンのそれぞれについて正規化を行う。この画像特徴点の周辺パターンの正規化は、探索領域スケール決定部１４で決定したスケールｅｄを用いて、図４に示すように、画像特徴点を中心としてｅｄに所定の係数を乗じた距離ａｄの範囲の矩形領域をサンプリングして、正規化パターンを取り出す。
【００３４】
（２−４−２）類似度の算出
次に、正規化パターンと第１の辞書１８との類似度を算出する。類似度は特許文献１に示されている部分空間法により計算する。
【００３５】
第１の辞書１８は、複数個のクラスから成り、それぞれのクラスには学習された学習用画像特徴点の周辺パターンから生成された１つの部分空間と、学習用対象特徴点との相対座標が記録されている。画像特徴点のそれぞれにおいて、各クラスに属する学習用画像特徴点の周辺パターンの部分空間との類似度をそれぞれ算出する。ここで「対象特徴点」とは、上記したように求めたい鼻頂点である。また、第１の辞書１８のクラスは、後から説明するように正規化された座標を格子状に分割することにより、位置（座標）を基準にしてクラスタリングされている。
【００３６】
（２−５）ステップ５
次に、ステップ５において、対象特徴点候補位置推定部２２では、第１のパターン照合部２０において算出された第１の辞書１８の各クラス（位置）に対する類似度を利用して対象特徴点の候補位置を推定する。
【００３７】
対象特徴点位置の具体的な推定方法は以下の通りである。
【００３８】
第１の辞書１８の各クラス（位置）には、１つの部分空間と対応する相対座標が記録されている。
【００３９】
各クラス（位置）の類似度が所定の閾値を超える場合には、対応する相対位置を用いて対象特徴点の位置を推定し、対象特徴点位置候補とする。
【００４０】
図５は、対象特徴点位置を推定する様子を表わす図である。ｉ番目の画像特徴点位置の座標が（ｘｉ，ｙｉ）、瞳間距離ｅｄで正規化された相対座標が（ｕ，ｖ）であるとすると、対象特徴点の推定座標は（ｘｉ−ｕ＊ｅｄ，ｙｉ−ｖ＊ｅｄ）として求められる。
【００４１】
（２−６）ステップ６
次に、ステップ６において、第２のパターン照合部２６では、対象特徴点候補位置推定部２２で推定された各対象特徴点候補位置の周辺パターンのパターン照合を行なう。そのためにまず、上記で求めた対象特徴点の推定座標（候補位置）を中心にしてその周辺パターンを切り出す。
【００４２】
次に、その対象特徴点の候補位置の周辺パターンの正規化を行う。この正規化は、上記で説明した画像特徴点周辺パターンと同様に行なう。
【００４３】
対象特徴点候補位置の正規化パターンと第２の辞書２４との類似度を算出する。類似度の算出には、第１のパターン照合部２０と同様に、部分空間法を用いる。第２の辞書２４は、学習用対象特徴点の正規化パターンの部分空間を記憶しているが、第１の辞書１８と関連付けされている。すなわち、第１の辞書１８の各クラス（位置）の正規化パターンのそれぞれと、同一の画像（例えば、同一人物の同一の学習用顔画像）から切り出した学習用対象特徴点の正規化パターンとがリンクされている。そして、第２の辞書２４を使用する場合には、第１の辞書１８とリンクされている学習用対象特徴点の正規化パターンを用いる。具体的には、対象特徴点の推定座標を算出するために用いた第１の辞書１８の正規化パターンとリンクされている学習用対象特徴点の正規化パターンの部分空間とで類似度を求める。
【００４４】
（２−７）ステップ７
次に、ステップ７において、判定部２８では第１のパターン照合部２０における類似度と、第２のパターン照合部２６における類似度と、予め学習データより得られた事前確率に基づき算出されるスコアから対象特徴点の位置を決定する。この事前確率については、後から説明する。
【００４５】
なお、事前確率に基づき算出されるスコアは、前記相対位置において類似度を算出したクラスに属する学習データの出現確率を所定の演算を施したものである。例えば、他のスコアとバランスをとるために、定数をかけたり、ｌｏｇを計算したりする。
【００４６】
そして、第１のパターン照合部２０における類似度と、第２のパターン照合部２６における類似度と、事前確率に基づき算出されるスコアの３つの和をスコアとし、候補点のうち、スコアが最大になるものを、求めたい対象特徴点とする。
【００４７】
（３）第１の辞書１８、第２の辞書２４
第１の辞書１８、第２の辞書２４の学習時の動作について、図６を用いて説明する。
【００４８】
（３−１）第１の辞書１８
予め学習用対象特徴点の位置がわかっている学習用顔画像からの学習データに対して、検出時の動作と同様に学習用画像特徴点を検出する。そのときの学習用対象特徴点との正規化座標ベクトルｄも記録しておく。
【００４９】
次に、ベクトルｄを幾つかのクラスに分割するクラスタリングを行なう。例えば、正規化された座標を格子状に分割することにより、位置（座標）を基準にしてクラスタリングする。
【００５０】
また、各学習用画像特徴点の位置で、正規化パターンの切り出しを行なっておく。正規化方法は検出時に図４を用いて説明した方法と同じである。すなわち、学習用画像特徴点の周辺パターンを切り出し、その周辺パターンを上記スケールで正規化する。
【００５１】
ベクトルｄの各クラス（位置）に対して、対応する正規化パターンからそれぞれ第１の辞書１８を作成する。
【００５２】
この第１の辞書１８は、部分空間法に用いる辞書であり、正規化パターンを特徴ベクトルとして主成分分析を行なうことにより生成する。各クラス（各位置）について属するベクトルｄの分布から、そのクラス（位置）の平均座標とその分散等の統計情報を相対位置として記録しておく。
【００５３】
そして、それぞれのクラス（位置）に対して、さらに正規化パターンを基準にしてクラスタリングを行なう。この同じクラス（位置）に属する正規化パターンのうち、そのクラス（位置）に属する正規化パターンの割合を事前確率として保持しておく。
【００５４】
このように、位置とパターンの二段階のクラスタリングを行なうことで、より辞書をコンパクトにすることができる。
【００５５】
（３−２）第２の辞書２４
学習用顔画像における学習用対象特徴点の位置でも、学習用対象特徴点の位置を中心にして周辺パターンを切り出し、その後に正規化して正規化パターンを作成しておく。第１の辞書１８の各クラスに対応して第２の辞書２４を作成する。第２の辞書２４は、学習用対象特徴点の正規化パターンの部分空間を記憶しているが、第１の辞書１８と関連付けされている。すなわち、第１の辞書１８の各クラスの正規化パターンのそれぞれと、同一の画像（例えば、同一人物の同一の学習用顔画像）から切り出した学習用対象特徴点の正規化パターンとがリンクされている。そして、第２の辞書２４を使用する場合には、第１の辞書１８とリンクされている学習用対象特徴点の正規化パターンを用いる。
【００５６】
このとき、必要に応じて学習用対象特徴点パターンのクラスタリングも行なう。パターンのクラスタリングにはｋ−ｍｅａｎｓ法を用いる。
【００５７】
（４）効果
このように、第１の実施形態に係わる顔特徴点検出装置１０によれば、鼻頂点のように顔特徴点に画像的な特徴が少なく、近傍に必ず画像特徴点候補が検出されない場合にも検出が可能となる。
【００５８】
（第２の実施形態）
本発明の第２の実施形態に係わる顔特徴点検出装置１００について図７に基づいて説明する。
【００５９】
（１）顔特徴点検出装置１００の構成
図７は、本実施形態に係わる顔特徴点検出装置１００を示すブロック図である。
【００６０】
本実施形態に係わる顔特徴点検出装置１００は、処理対象の画像を入力する画像入力部１１２と、探索領域とスケールを決定する探索領域スケール決定部１１４と、各点の局所的な画像情報から選択される画像特徴点を検出する画像特徴点検出部１１６Ａと、画像特徴点検出部１１６Ａとは異なる画像特徴を検出する画像特徴点検出部１１６Ｂと、画像特徴点と対象特徴点の相対位置座標と画像特徴点周辺パターンとを関連付けて記憶した第１の辞書１１８Ａ、第１の辞書１１８Ｂと、第１の辞書１１８Ａ，Ｂと画像特徴点周辺パターンとの照合を行なう第１のパターン照合部１２０Ａ，Ｂと、対象とする特徴点の位置候補を推定する対象特徴点位置推定部１２２と、第２の辞書１２４と、第２の辞書１２４と対象特徴点周辺パターンとの照合を行なう第２のパターン照合部１２６と、対象特徴点の位置を求める判定部１２８を備えている。
【００６１】
（２）顔特徴点検出装置１００の動作
次に図７を用いて、本実施形態に係わる顔特徴点検出装置１００の動作について説明する。本実施形態においては、第１の実施形態と同様、瞳の２点を基準特徴点として、まずこれらの基準特徴点を検出し、検出された瞳の位置を利用して探索領域とスケールを決定し、対象特徴点が鼻頂点である例について述べる。
【００６２】
画像入力部１１２、探索領域スケール決定部１１４、第２の辞書１２４、第２のパターン照合部１２６、判定部１２８については第１の実施形態と同様である。
【００６３】
画像特徴点検出部１１６Ａ、Ｂについては、それぞれ別の方法により画像特徴点を検出する。
【００６４】
本実施形態では、第１の実施形態で用いた円形分離フィルタによるものと、文献“C. J. Harris and M. Stephens. A combined corner and edge detector. Proc. 4th Alvey Vision Conferences， pages 147-- 151， 1988.”に示されているコーナー検出を用いる。
【００６５】
それぞれの画像特徴点検出部１１６A、Ｂで得られた画像特徴点候補に対して、それぞれ対応する学習データによって作成された第１の辞書１１８Ａ、Ｂを用いて、第１のパターン照合部１２０Ａ、Ｂで照合を行なう。
【００６６】
ここでの処理は第１の辞書１１８が異なるだけで、第１の実施形態と同様である。
【００６７】
（変形例）
本発明は上記各実施形態に限らず、その主旨を逸脱しない限り種々に変更することができる。
【００６８】
すなわち、本発明は上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。
【００６９】
（１）変更例１
本実施形態では瞳の位置を基準特徴点として利用して探索領域とスケールを定めたが、これに限定されるものではない。
【００７０】
例えば、顔領域を矩形として検出し、その位置やサイズを利用する方法もある。
【００７１】
また、探索領域とスケールの決定方法も本実施形態で述べたものに限らない。
【００７２】
（２）変更例２
本実施形態では対象特徴点として鼻頂点を検出する場合について述べたが、これに限定されるものではない。
【００７３】
例えば、定義できる特徴点であればどんな点であっても差し支えない。
【００７４】
（３）変更例３
本実施形態ではパターン照合に用いる特徴量として濃淡パターンを用いたが、これに限定されるものではない。
【００７５】
例えば、ヒストグラム平坦化を行なったもの、エッジ検出フィルタにより変換したもの、フーリエ変換などの周波数領域の処理を施したものなど、画像から生成される特徴量であればどんなものであっても差し支えない。
【００７６】
（４）変更例４
本実施形態ではパターンの正規化方法として、画像（対象）特徴点位置を中心として上下左右に同じ距離分を用いたが、これに限定されるものではない。
【００７７】
例えば、中心位置は特徴点位置と必ずしも等しい必要はなく上下左右で範囲が異なっても差し支えない。
【００７８】
（５）変更例５
本実施形態では対象特徴点候補位置推定部１２２における位置推定に、第１の辞書１１８との類似度が所定の閾値を超えるクラスに対応する相対位置を用いたが、これに限定されるものではない。
【００７９】
例えば、類似度が大きい順から所定の数を選択する、それらの平均値を用いるといった方法であっても差し支えない。
【００８０】
（６）変更例６
本実施形態では判定部１２８においてスコアが最大になるものを選択したが、これに限定されるものではない。
【００８１】
例えば、複数の候補からのスコアを総合的に判定する方法も考えられる。例えばスコアの値が所定の閾値を超えるものについえてその位置の平均、もしくは重み付平均を求めるといった方法も考えられる。
【００８２】
（７）変更例７
本実施形態ではクラスタリング法として、座標を格子状に分割する方法、ｋ−ｍｅａｎｓ法を用いたが、これに限定されるものではない。
【００８３】
例えば、座標値やパターンなどの多次元データを離散化できる方法であれば差し支えない。
【００８４】
（８）変更例８
本実施形態では辞書の作成の際に、画像特徴点位置座標のクラスタリングと、正規化画像パターンのクラスタリングを行なったが、これに限定されるものではない。
【００８５】
例えば、顔の向きによるクラスタリングを加えてもよい。
【図面の簡単な説明】
【００８６】
【図１】本実施形態に係わる顔特徴点検出装置１００の構成を示すブロック図である。
【図２】本実施形態の動作を示すフローチャートである。
【図３】本実施形態における対象特徴点（鼻頂点）の説明図である。
【図４】本実施形態における画像特徴点周辺パターンの正規化の説明図である。
【図５】本実施形態における対象特徴点候補推定方法の説明図である。
【図６】本実施形態における学習時の動作を示すフローチャートである。
【図７】本発明の第２の実施形態に係わる顔特徴点検出装置１００の構成を示すブロック図である。
【符号の説明】
【００８７】
１０ 顔特徴点検出装置
１２ 画像入力部
１４ 探索領域スケール決定部１４
１６ 画像特徴点検出部
１８ 第１の辞書
２０ 第１のパターン照合部
２２ 対象特徴点位置推定部
２４ 第２の辞書
２６ 第２のパターン照合部
２８ 判定部
【特許請求の範囲】
【請求項１】
顔が写った画像を入力する画像入力部と、
前記画像から対象特徴点を検出するための探索領域を決定する探索領域決定部と、
前記画像の前記探索領域内から画像特徴点を検出する画像特徴点検出部と、
複数の学習用顔画像からそれぞれ求めた学習用画像特徴点の周辺パターンに関する情報、及び、前記各学習用画像特徴点と学習用対象特徴点の相対位置座標とを関連付けた第１の辞書を記憶する第１の辞書記憶部と、
前記画像特徴点の周辺パターンと類似している前記学習用画像特徴点の周辺パターンを前記第１の辞書内の前記複数の学習用画像特徴点の周辺パターンから選択する第１のパターン照合部と、
前記選択された学習用画像特徴点に対応する前記学習用対象特徴点の相対位置座標を抽出する対象特徴点位置推定部と、
前記抽出した相対位置座標に基づいて、前記顔画像から前記対象特徴点の周辺パターンを切り出す対象特徴点周辺パターン検出部と、
前記複数の学習用顔画像からそれぞれ求めた学習用対象特徴点の周辺パターンに関する情報を含む第２の辞書を記憶する第２の辞書記憶部と、
前記対象特徴点の周辺パターンと類似する前記学習用対象特徴点の周辺パターンを前記第２の辞書内の前記複数の学習用対象特徴点の周辺パターンから選択する第２のパターン照合部と、
前記画像特徴点の周辺パターンと前記選択された学習用画像特徴点の周辺パターンの類似度と、前記対象特徴点の周辺パターンと前記選択された学習用対象特徴点の周辺パターンの類似度から前記対象特徴点の位置を求める判定部と、
を備える顔特徴点検出装置。
【請求項２】
前記第１の辞書は複数のクラスからなり、
前記クラスのそれぞれは、前記相対座標による第１のクラスタリングによって分類されたクラスと、前記学習用画像特徴点の周辺パターンの類似性による第２のクラスタリングによって分類されたクラスとからなり、
前記各クラスの学習用画像特徴点の周辺パターンから抽出された特徴量に基づいて生成された部分空間が、前記クラス毎に格納されている、
請求項１記載の顔特徴点検出装置。
【請求項３】
前記判定部は、
前記画像特徴点の周辺パターンと前記選択された学習用画像特徴点の周辺パターンの類似度から算出された第１のスコアと、前記対象特徴点の周辺パターンと前記選択された学習用対象特徴点の周辺パターンの類似度か算出された第２のスコアと、前記事前確率に基づく第３のスコアの和から総合スコアを求め、
前記総合スコアの中で最も総合スコアの値が高い前記学習用画像特徴点に対応する前記学習用対象特徴点の相対位置座標を、前記対象特徴点の位置とする、
請求項２記載の顔特徴点検出装置。
【請求項４】
前記第１の辞書は、
前記複数の学習用画像特徴点の周辺パターンから生成される代表パターン、または、部分空間と、前記相対座標の分布を表わす統計量とを関連付けて格納したものである、
請求項１記載の顔特徴点検出装置。
【請求項５】
前記第２の辞書内に格納された前記学習用対象特徴点に関する情報は、この学習用対象特徴点に関する情報を抽出した前記学習用顔画像から抽出され、かつ、前記第１の辞書に格納された前記学習用画像特徴点の周辺パターンと関連付けられ、
前記第２のパターン照合部は、前記対象特徴点の周辺パターンと、この対象特徴点の周辺パターンと関連づけられた前記学習用対象特徴点の周辺パターンとの類似度を求める、
請求項１記載の顔特徴点検出装置。
【請求項６】
前記第１の辞書を２種類有し、
前記各第１の辞書は、異なる画像特徴点検出方法を用いて、前記複数の学習用画像特徴点がそれぞれ生成されている、
請求項１記載の顔特徴点検出装置。
【請求項７】
顔が写った画像が入力する画像入力ステップと、
前記画像から対象特徴点を検出するための探索領域を決定する探索領域決定ステップと、
前記画像の前記探索領域内から画像特徴点を検出する画像特徴点検出ステップと、
複数の学習用顔画像からそれぞれ求めた学習用画像特徴点の周辺パターンに関する情報、及び、前記各学習用画像特徴点と学習用対象特徴点の相対位置座標とを関連付けて第１の辞書に予め格納する第１の格納ステップと、
前記画像特徴点の周辺パターンと類似している前記学習用画像特徴点の周辺パターンを前記第１の辞書内の前記複数の学習用画像特徴点の周辺パターンから選択する第１のパターン照合ステップと、
前記選択された学習用画像特徴点に対応する前記学習用対象特徴点の相対位置座標を抽出する対象特徴点位置推定ステップと、
前記抽出した相対位置座標に基づいて、前記顔画像から前記対象特徴点の周辺パターンを切り出す対象特徴点周辺パターン検出ステップと、
前記複数の学習用顔画像からそれぞれ求めた学習用対象特徴点の周辺パターンに関する情報を第２の辞書に予め格納する第２の格納ステップと、
前記対象特徴点の周辺パターンと類似する前記学習用対象特徴点の周辺パターンを前記第２の辞書内の前記複数の学習用対象特徴点の周辺パターンから選択する第２のパターン照合ステップと、
前記画像特徴点の周辺パターンと前記選択された学習用画像特徴点の周辺パターンの類似度と、前記対象特徴点の周辺パターンと前記選択された学習用対象特徴点の周辺パターンの類似度から前記対象特徴点の位置を求める判定ステップと、
を備える顔特徴点検出方法。
【請求項８】
顔が写った画像が入力する画像入力機能と、
前記画像から対象特徴点を検出するための探索領域を決定する探索領域決定機能と、
前記画像の前記探索領域内から画像特徴点を検出する画像特徴点検出機能と、
複数の学習用顔画像からそれぞれ求めた学習用画像特徴点の周辺パターンに関する情報、及び、前記各学習用画像特徴点と学習用対象特徴点の相対位置座標とを関連付けて第１の辞書に予め格納する第１の格納機能と、
前記画像特徴点の周辺パターンと類似している前記学習用画像特徴点の周辺パターンを前記第１の辞書内の前記複数の学習用画像特徴点の周辺パターンから選択する第１のパターン照合機能と、
前記選択された学習用画像特徴点に対応する前記学習用対象特徴点の相対位置座標を抽出する対象特徴点位置推定機能と、
前記抽出した相対位置座標に基づいて、前記顔画像から前記対象特徴点の周辺パターンを切り出す対象特徴点周辺パターン検出機能と、
前記複数の学習用顔画像からそれぞれ求めた学習用対象特徴点の周辺パターンに関する情報を第２の辞書に予め格納する第２の格納機能と、
前記対象特徴点の周辺パターンと類似する前記学習用対象特徴点の周辺パターンを前記第２の辞書内の前記複数の学習用対象特徴点の周辺パターンから選択する第２のパターン照合機能と、
前記画像特徴点の周辺パターンと前記選択された学習用画像特徴点の周辺パターンの類似度と、前記対象特徴点の周辺パターンと前記選択された学習用対象特徴点の周辺パターンの類似度から前記対象特徴点の位置を求める判定機能と、
をコンピュータによって実現する顔特徴点検出プログラム。
【請求項１】
顔が写った画像を入力する画像入力部と、
前記画像から対象特徴点を検出するための探索領域を決定する探索領域決定部と、
前記画像の前記探索領域内から画像特徴点を検出する画像特徴点検出部と、
複数の学習用顔画像からそれぞれ求めた学習用画像特徴点の周辺パターンに関する情報、及び、前記各学習用画像特徴点と学習用対象特徴点の相対位置座標とを関連付けた第１の辞書を記憶する第１の辞書記憶部と、
前記画像特徴点の周辺パターンと類似している前記学習用画像特徴点の周辺パターンを前記第１の辞書内の前記複数の学習用画像特徴点の周辺パターンから選択する第１のパターン照合部と、
前記選択された学習用画像特徴点に対応する前記学習用対象特徴点の相対位置座標を抽出する対象特徴点位置推定部と、
前記抽出した相対位置座標に基づいて、前記顔画像から前記対象特徴点の周辺パターンを切り出す対象特徴点周辺パターン検出部と、
前記複数の学習用顔画像からそれぞれ求めた学習用対象特徴点の周辺パターンに関する情報を含む第２の辞書を記憶する第２の辞書記憶部と、
前記対象特徴点の周辺パターンと類似する前記学習用対象特徴点の周辺パターンを前記第２の辞書内の前記複数の学習用対象特徴点の周辺パターンから選択する第２のパターン照合部と、
前記画像特徴点の周辺パターンと前記選択された学習用画像特徴点の周辺パターンの類似度と、前記対象特徴点の周辺パターンと前記選択された学習用対象特徴点の周辺パターンの類似度から前記対象特徴点の位置を求める判定部と、
を備える顔特徴点検出装置。
【請求項２】
前記第１の辞書は複数のクラスからなり、
前記クラスのそれぞれは、前記相対座標による第１のクラスタリングによって分類されたクラスと、前記学習用画像特徴点の周辺パターンの類似性による第２のクラスタリングによって分類されたクラスとからなり、
前記各クラスの学習用画像特徴点の周辺パターンから抽出された特徴量に基づいて生成された部分空間が、前記クラス毎に格納されている、
請求項１記載の顔特徴点検出装置。
【請求項３】
前記判定部は、
前記画像特徴点の周辺パターンと前記選択された学習用画像特徴点の周辺パターンの類似度から算出された第１のスコアと、前記対象特徴点の周辺パターンと前記選択された学習用対象特徴点の周辺パターンの類似度か算出された第２のスコアと、前記事前確率に基づく第３のスコアの和から総合スコアを求め、
前記総合スコアの中で最も総合スコアの値が高い前記学習用画像特徴点に対応する前記学習用対象特徴点の相対位置座標を、前記対象特徴点の位置とする、
請求項２記載の顔特徴点検出装置。
【請求項４】
前記第１の辞書は、
前記複数の学習用画像特徴点の周辺パターンから生成される代表パターン、または、部分空間と、前記相対座標の分布を表わす統計量とを関連付けて格納したものである、
請求項１記載の顔特徴点検出装置。
【請求項５】
前記第２の辞書内に格納された前記学習用対象特徴点に関する情報は、この学習用対象特徴点に関する情報を抽出した前記学習用顔画像から抽出され、かつ、前記第１の辞書に格納された前記学習用画像特徴点の周辺パターンと関連付けられ、
前記第２のパターン照合部は、前記対象特徴点の周辺パターンと、この対象特徴点の周辺パターンと関連づけられた前記学習用対象特徴点の周辺パターンとの類似度を求める、
請求項１記載の顔特徴点検出装置。
【請求項６】
前記第１の辞書を２種類有し、
前記各第１の辞書は、異なる画像特徴点検出方法を用いて、前記複数の学習用画像特徴点がそれぞれ生成されている、
請求項１記載の顔特徴点検出装置。
【請求項７】
顔が写った画像が入力する画像入力ステップと、
前記画像から対象特徴点を検出するための探索領域を決定する探索領域決定ステップと、
前記画像の前記探索領域内から画像特徴点を検出する画像特徴点検出ステップと、
複数の学習用顔画像からそれぞれ求めた学習用画像特徴点の周辺パターンに関する情報、及び、前記各学習用画像特徴点と学習用対象特徴点の相対位置座標とを関連付けて第１の辞書に予め格納する第１の格納ステップと、
前記画像特徴点の周辺パターンと類似している前記学習用画像特徴点の周辺パターンを前記第１の辞書内の前記複数の学習用画像特徴点の周辺パターンから選択する第１のパターン照合ステップと、
前記選択された学習用画像特徴点に対応する前記学習用対象特徴点の相対位置座標を抽出する対象特徴点位置推定ステップと、
前記抽出した相対位置座標に基づいて、前記顔画像から前記対象特徴点の周辺パターンを切り出す対象特徴点周辺パターン検出ステップと、
前記複数の学習用顔画像からそれぞれ求めた学習用対象特徴点の周辺パターンに関する情報を第２の辞書に予め格納する第２の格納ステップと、
前記対象特徴点の周辺パターンと類似する前記学習用対象特徴点の周辺パターンを前記第２の辞書内の前記複数の学習用対象特徴点の周辺パターンから選択する第２のパターン照合ステップと、
前記画像特徴点の周辺パターンと前記選択された学習用画像特徴点の周辺パターンの類似度と、前記対象特徴点の周辺パターンと前記選択された学習用対象特徴点の周辺パターンの類似度から前記対象特徴点の位置を求める判定ステップと、
を備える顔特徴点検出方法。
【請求項８】
顔が写った画像が入力する画像入力機能と、
前記画像から対象特徴点を検出するための探索領域を決定する探索領域決定機能と、
前記画像の前記探索領域内から画像特徴点を検出する画像特徴点検出機能と、
複数の学習用顔画像からそれぞれ求めた学習用画像特徴点の周辺パターンに関する情報、及び、前記各学習用画像特徴点と学習用対象特徴点の相対位置座標とを関連付けて第１の辞書に予め格納する第１の格納機能と、
前記画像特徴点の周辺パターンと類似している前記学習用画像特徴点の周辺パターンを前記第１の辞書内の前記複数の学習用画像特徴点の周辺パターンから選択する第１のパターン照合機能と、
前記選択された学習用画像特徴点に対応する前記学習用対象特徴点の相対位置座標を抽出する対象特徴点位置推定機能と、
前記抽出した相対位置座標に基づいて、前記顔画像から前記対象特徴点の周辺パターンを切り出す対象特徴点周辺パターン検出機能と、
前記複数の学習用顔画像からそれぞれ求めた学習用対象特徴点の周辺パターンに関する情報を第２の辞書に予め格納する第２の格納機能と、
前記対象特徴点の周辺パターンと類似する前記学習用対象特徴点の周辺パターンを前記第２の辞書内の前記複数の学習用対象特徴点の周辺パターンから選択する第２のパターン照合機能と、
前記画像特徴点の周辺パターンと前記選択された学習用画像特徴点の周辺パターンの類似度と、前記対象特徴点の周辺パターンと前記選択された学習用対象特徴点の周辺パターンの類似度から前記対象特徴点の位置を求める判定機能と、
をコンピュータによって実現する顔特徴点検出プログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【公開番号】特開２００８−１４６３２９（Ｐ２００８−１４６３２９Ａ）
【公開日】平成２０年６月２６日（２００８．６．２６）
【国際特許分類】
【出願番号】特願２００６−３３２４２２（Ｐ２００６−３３２４２２）
【出願日】平成１８年１２月８日（２００６．１２．８）
【出願人】（０００００３０７８）株式会社東芝 (54,554)
【Ｆターム（参考）】
【公開日】平成２０年６月２６日（２００８．６．２６）
【国際特許分類】
【出願日】平成１８年１２月８日（２００６．１２．８）
【出願人】（０００００３０７８）株式会社東芝 (54,554)
【Ｆターム（参考）】
[ Back to top ]