顔認識装置、及び顔認識方法
【課題】認識精度の低下を抑止する。
【解決手段】実施形態の顔認識装置は、記憶手段と、入力手段と、顔検出手段と、保持手段と、抽出手段と、認識手段と、を備える。記憶手段は、人物毎に、当該人物の顔の特徴が表された顔特徴情報を記憶する。入力手段は、人物の少なくとも顔を含む画像情報を入力する。顔検出手段は、入力手段により入力された画像情報から、人物の顔が表された顔領域を検出する。保持手段は、検出された顔領域から顔の特徴を検出処理する検出手法を、検出処理の粗さの違いに基づいて複数保持する。抽出手段は、保持された複数の検出手法のうち、いずれか１つ以上を用いて、顔検出手段により検出された顔領域から、顔の特徴を示した特徴情報を抽出する。認識手段は、抽出手段により抽出された特徴情報と、記憶手段に記憶された顔特徴情報とに基づいて、画像情報に含まれていた人物を認識する。
【解決手段】実施形態の顔認識装置は、記憶手段と、入力手段と、顔検出手段と、保持手段と、抽出手段と、認識手段と、を備える。記憶手段は、人物毎に、当該人物の顔の特徴が表された顔特徴情報を記憶する。入力手段は、人物の少なくとも顔を含む画像情報を入力する。顔検出手段は、入力手段により入力された画像情報から、人物の顔が表された顔領域を検出する。保持手段は、検出された顔領域から顔の特徴を検出処理する検出手法を、検出処理の粗さの違いに基づいて複数保持する。抽出手段は、保持された複数の検出手法のうち、いずれか１つ以上を用いて、顔検出手段により検出された顔領域から、顔の特徴を示した特徴情報を抽出する。認識手段は、抽出手段により抽出された特徴情報と、記憶手段に記憶された顔特徴情報とに基づいて、画像情報に含まれていた人物を認識する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明の実施形態は、顔認識装置、及び顔認識方法に関する。
【背景技術】
【０００２】
従来から、監視カメラなどで撮影された動画像データに含まれている人物の顔領域から、予め記憶された顔画像の特徴情報に基づいて、人物を認証する技術が提案されている。この場合、動画像データに含まれている顔領域から特徴情報を抽出し、当該特徴情報と予め記憶されている特徴情報とを比較することで、人物の認証を行っている。
【０００３】
一般的には、監視カメラ等で撮影する場合、撮影された顔領域の解像度が高いほど、人物の特定や認識精度が向上する。
【０００４】
また、監視カメラ等による撮影の状況によっては、顔領域の解像度が変動するため、当該顔領域の解像度が低くなる場合もある。近年、このような顔領域の解像度が低い場合でも認識精度を向上させる技術がいくつか提案されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２０１０−１２２９９４号公報
【特許文献２】特開２００１−３４７５６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、監視カメラの利用態様によっては、当該撮影された動画像データに映る人物の顔のサイズは様々である場合も多い。動画像データに映った顔領域のサイズがばらつく場合、当然に当該人物の顔の解像度にもばらつきが生じる。このため、人物の顔の領域の解像度が低い場合には、一般的に認識精度が高いとされる、高解像度用の認識手法では適切な認識結果が得られないという問題が生じる。このため、低解像度でも適用可能な認識手法を用いると、今度は顔の領域の解像度が高い場合に高い認識精度が得られないという問題がある。
【課題を解決するための手段】
【０００７】
実施形態の顔認識装置は、記憶手段と、入力手段と、顔検出手段と、保持手段と、抽出手段と、認識手段と、を備える。記憶手段は、人物毎に、当該人物の顔の特徴が表された顔特徴情報を記憶する。入力手段は、人物の少なくとも顔を含む画像情報を入力する。顔検出手段は、入力手段により入力された画像情報から、人物の顔が表された顔領域を検出する。保持手段は、検出された顔領域から顔の特徴を検出処理する検出手法を、検出処理の粗さの違いに基づいて複数保持する。抽出手段は、保持された複数の検出手法のうち、いずれか１つ以上を用いて、顔検出手段により検出された顔領域から、顔の特徴を示した特徴情報を抽出する。認識手段は、抽出手段により抽出された特徴情報と、記憶手段に記憶された顔特徴情報とに基づいて、画像情報に含まれていた人物を認識する。
【図面の簡単な説明】
【０００８】
【図１】図１は、第１の実施形態にかかる顔認識装置のブロック構成を示した図である。
【図２】図２は、カメラから入力された画像データの例を示した図である。
【図３】図３は、第１の実施形態にかかる手法保持部が保持する顔特徴点手法の特徴を示した図である。
【図４】図４は、第１の実施形態にかかる特徴点検出部により、各種顔特徴点検出手法で検出された特徴点の例を示した図である。
【図５】図５は、第１の実施形態にかかる表示部が表示する画面例を示した図である。
【図６】図６は、第１の実施形態の変形例にかかる表示部が表示する画面例を示した図である。
【図７】図７は、第１の実施形態にかかる顔認識装置における、人物の顔の認識処理の手順を示すフローチャートである。
【図８】図８は、第１の実施形態の変形例にかかる顔認識装置における、人物の顔の認識処理の手順を示すフローチャートである。
【図９】図９は、第２の実施形態にかかる顔認識装置の構成を示すブロック図である。
【図１０】図１０は、第２の実施形態にかかる顔認識装置における、人物の顔の認識処理の手順を示すフローチャートである。
【図１１】図１１は、第１及び第２の実施形態にかかる顔認識装置のハードウェア構成を示した図である。
【発明を実施するための形態】
【０００９】
（第１の実施形態）
図１は、第１の実施形態にかかる顔認識装置１００のブロック構成を示した図である。図１に示すように、顔認識装置１００は、画像入力部１０１と、顔領域検出部１０２と、手法保持部１０３と、手法選択部１０４と、特徴点検出部１０５と、特徴抽出部１０６と、人物情報管理部１０７と、認識部１０８と、表示部１０９と、を備える。また、顔認識装置１００は、カメラ１５０から撮影された映像に基づいて、人物の認証を行う。
【００１０】
本実施形態にかかる顔認識装置１００では、カメラ１５０などで撮影された映像データから、あらかじめ管理されている顔の特徴情報に基づいて、人物を認識する。その際、本実施形態にかかる顔認識装置では、入力された画像データの顔領域のサイズ（解像度）に応じて、適切な顔の特徴点の検出手法を選択することとした。これにより、顔領域の解像度の違いに対応しつつ、顔認識の認識精度を維持することを可能としている。
【００１１】
カメラ１５０は、所定の領域に対して撮影を行う。例えば、カメラ１５０は、通行路の入退場対象エリアに対して撮影を行う監視カメラ等であり、撮影結果である画像データを生成する。そして、画像入力部１０１は、カメラ１５０からの画像データを入力処理する。
【００１２】
カメラ１５０は、少なくとも１箇所、又は複数の地点に設置可能とする。また、カメラ１５０は、所定の領域に存在する人物の顔画像を入力するものであり、例えばＩＴＶ（Industrial Television）カメラとする。カメラ１５０は、カメラのレンズを通して得られた光学的な情報をＡ／Ｄ変換器によりデジタル化して画像データを生成し、顔認識装置１００に対して出力する。
【００１３】
また、顔認識装置１００は、顔領域を含むデジタル画像データであれば、顔認証の対象となるので、デジタルスチルカメラで撮影した静止画像データを媒体経由で取り込んで顔認証を行っても良いし、スキャナを利用して紙媒体や写真からスキャンをしたデジタル画像に対して顔認証を行っても良い。
【００１４】
そして、本実施形態にかかる顔認識装置１００は、生成された画像データに基づいて、人物の顔認証を行い、人物情報管理部１０７に当該人物があらかじめ登録された人物であるか否かを判定する。認証結果により不審者等の検出を行っても良いし、通行の許可、不許可を制御しても良い。
【００１５】
本実施形態にかかる顔認識装置１００は、人物認証に従って、不審者等の検出や、通行の許可、不許可の制御等に用いることが考えられるが、このような制御に制限するものではなく、人物の認識結果を利用するのであれば、どのような制御を行っても良い。例えば、顔認識装置１００は、顧客データの中からお得意様の検索、不審者のデータベースから該当者の検索、ＩＤ証の更新時の本人確認や新規発行時の二重発給防止などに用いても良い。さらには、画像信号から顔を検出し、フォーカス等を制御するデジタルスチルカメラや、携帯電話端末等に適用しても良い。
【００１６】
図２は、カメラ１５０から入力された画像データ２０１の例を示した図である。図２に示すように、画像データには、様々なサイズの顔領域が含まれている場合がある（例えば領域２１１、２１２、２１３）。顔のサイズが映像の中で小さく映っていた場合（例えば領域２１１の場合）、顔領域に相当する画像の解像度は非常に低くなる。このため、顔のサイズが小さく解像度の低い画像に対して、従来からの高解像度に適した手法で顔認識処理を行うと、顔特徴点検出で正しい位置を検出できず、特徴点の位置がずれやすいという問題が生じていた。また、特徴点を抽出する処理を行う際に、解像度によっては必要な特徴情報が取得できず、識別対象の顔がいずれも類似した特徴情報になってしまい識別精度が低下していた。
【００１７】
そこで、本実施形態にかかる顔認識装置１００では、画像データに含まれる、顔領域のサイズに応じて、顔の特徴点の検出手法を異ならせることとした。本実施形態では、顔の特徴点の検出を行う前に、画像データに含まれている、人物の顔が表された領域（以下、顔領域と称す）の検出を行う必要がある。
【００１８】
顔領域検出部１０２は、画像入力部１０１により入力された画像データから、人物の顔領域を検出する。本実施形態にかかる顔領域検出部１０２は、入力された画像データ内において、当該画像データ上の輝度情報を利用して顔の領域を示す座標を求める。当該顔の領域を検出する手法としては、どのような手法を用いても良い。本実施形態は、例として、文献（三田雄志ほか：「顔検出に適した共起に基づくJoint Haar-like特徴」電子情報通信学会論文誌(D),vol.J89-D, 8,pp1791-1801(2006)）に示された手法を用いて、顔領域の検出を行う。他の検出手法の例としては、予め用意されたテンプレートを、入力された画像データ内で移動させながら相関値を求めることで、最も高い相関値を与える位置を顔領域として検出する手法や、固有空間法や部分空間法を利用した顔抽出法等を用いる手法を適用しても良い。
【００１９】
また、検出する顔領域の形状は、任意の形状で良いし、顔の向きや大きさの検出結果によって顔の領域の形状を異ならせても良いが、本実施形態は、説明を容易にするために、矩形形状の顔領域を検出する。そして、当該矩形形状の頂点を示す座標を、顔領域の検出結果とする。
【００２０】
ところで、監視カメラなどで撮影された映像データの場合、検出された同一人物の顔が複数のフレームにわたって連続して映っていることが想定される。このため、これらを同一人物として対応付けできるように人物の顔の追跡処理を行う必要がある。この追跡処理の実現手法としては、オプティカルフローを用いて検出した顔が、次のフレームでどの位置に存在するかを推定し、対応付ける手法等を利用することで実現可能できる。そして、特徴抽出部１０６は、同一人物として対応付けられた複数フレームの顔領域のうち、人物を認識するために、適切な画像を少なくとも１枚選択し、選択された顔領域から顔の特徴情報を抽出してもよい。また、特徴抽出部１０６は、顔領域のサイズが大きくなる毎に、顔の特徴情報を抽出する処理を行うことで、最大のサイズの顔領域が検出されるまで任意の枚数の画像データを検出に利用しても良い。
【００２１】
手法保持部１０３は、顔領域検出部１０２より検出された顔領域から顔の特徴を検出処理する検出手法を、検出処理の粗さの違いに基づいて複数保持する。本実施形態にかかる手法保持部１０３は、３種類の顔の特徴点の検出手法を保持するが、保持する検出手法の数を制限するものではない。例えば、手法保持部１０３が、４種類以上の検出手法を保持しても良いし、２種類の検出手法を保持してもよい。
【００２２】
図３は、手法保持部１０３が保持する顔特徴点手法の特徴を示した図である。図３に示すように、本実施形態にかかる手法保持部１０３は、第１の顔特徴点検出手法と、第２の顔特徴点検出手法と、第３の顔特徴点検出手法と、を備える。そして、各種顔特徴点検出手法は、図３に示すようにそれぞれ異なる特徴を備える。
【００２３】
第１の顔特徴点検出手法は、３種類の検出手法のうち、検出処理が最も粗いため、低解像度に強いが、認識精度が低いという特徴を有する。第２の顔特徴点検出手法は、３種類の検出手法のうち、２番目に検出処理が粗く、低解像度に２番目に強く、認識精度は２番目に高いという特徴を有する。第３の顔特徴点検出手法は、３種類の検出手法のうち、検出処理が最も細かいため、低解像度に弱いが、解像度が高い場合には認識精度が最も高いという特徴を有する。そして、本実施形態では、検出された顔領域の大きさにあわせて、これら３種類の顔特徴点検出手法のうち、最適な顔特徴点検出手法を用いることとした。
【００２４】
手法選択部１０４は、顔領域検出部１０２により検出された顔領域の画像サイズに基づいて、手法保持部１０３が保持する顔特徴点検出手法から、後述する特徴点検出部１０５で用いる顔特徴点検出手法を選択する。顔特徴点検出手法の選択はどのような手法を用いても良い。本実施形態では、顔領域を表す矩形の頂点の座標から横幅及び縦幅を示す画素数を算出し、算出した画素数が所定の閾値値以上であるか否かに基づいて、顔特徴点検出手法を選択する。これにより、特徴点検出手法の選択が容易となる。
【００２５】
本実施形態のように３種類の顔特徴点検出手法を保持する場合、手法選択部１０４は、２種類の解像度の閾値を用いて、顔特徴点検出手法を選択する。２種類の解像度の閾値をＡ及びＢ（Ｂ＜Ａ）とする。そして、手法選択部１０４は、算出された横幅（又は縦幅）がＢ未満の場合、第１の顔特徴点検出手法を選択する。さらに、手法選択部１０４は、算出された横幅（又は縦幅）がＢ以上且つＡ未満の場合、第２の顔特徴点検出手法を選択し、Ａ以上の場合、第３の顔特徴点検出手法を選択する。本実施形態は、閾値による選択に制限するものではなく、顔の大きさの時間軸方向の推移を利用して統計的にどの手法を選択するのかを学習する手法も考えられる。
【００２６】
特徴点検出部１０５は、手法選択部１０４で選択された顔特徴点検出手法を用いて、顔領域検出部１０２により検出された顔領域から、目、鼻などの顔部位の位置を顔の特徴点として検出する。
【００２７】
本実施形態にかかる第１の顔特徴点検出手法、第２の顔特徴点検出手法、及び第３の顔特徴点検出手法は、それぞれ検出処理の粗さは異なるものの、検出対象となる特徴点の箇所（例えば、目頭、目尻など）、及び特徴点の数は変わらない。図４は、特徴点検出部１０５により、各種顔特徴点検出手法で検出された特徴点の例を示した図である。図４の“×”で示された箇所が特徴点の例とする。図４に示すように、本実施形態にかかる特徴点検出部１０５は、１５個の特徴点を検出する。
【００２８】
これにより、第１の顔特徴点検出手法、第２の顔特徴点検出手法、及び第３の顔特徴点検出手法のうち、どの検出手法を用いて顔の特徴情報を抽出した場合でも、認識部１０８が、人物情報管理部１０７に格納された各人物の顔の特徴情報と比較して、人物の認証を行うことができる。次に各顔特徴点検出手法について具体的に説明する。
【００２９】
第１の顔特徴点検出手法は、顔の細かい構造情報がみられないほど顔領域が低解像度になる場合に用いられることを想定している。第１の顔特徴点検出手法は、検出したい顔特徴点座標の平均的なモデル（ワイヤフレーム）を顔の向きに応じて複数種類予め備えておく。そして、特徴点検出部１０５が検出処理を行う際、顔領域に含まれている輝度値と、予め備えておいた平均的なモデル（ワイヤフレーム）と、を比較して、最も一致度が高いワイヤフレームを当てはめる。その際に、顔の向きなども考慮して、最も顔らしい箇所にワイヤフレームを当てはめる。そして、特徴点検出部１０５は、当てはめたワイヤフレームに従って、顔の特徴点を検出する。
【００３０】
特徴点検出部１０５が第１の顔特徴点検出手法を用いた場合における詳細な手順について説明する。例えば、顔の向きごとに低い解像度の顔の切り出し画像を多数切り出し、顔の向きごとにクラスタリングを行ってＫＬ展開されることで、顔の向き毎の顔パタンによる部分空間が作成される。第１の顔特徴点検出手法は、当該顔パタンによる部分空間を、顔の平均的なモデルとして保持する。そして、特徴点検出部１０５は、第１の顔特徴点検出手法を用いて検出を行う際に、入力画像から出力された顔領域が、保持している顔パタンのうち、どの顔パタンに近いかを、部分空間法を利用することで判定する。その際、顔パタンは向き毎に保持されているため、どの顔の向きに近いかも判定できる。このように、特徴点検出部１０５は、部分空間法で最も高い類似度を与えた部分空間に基づいて、顔の向きを判定し、当該向きにあわせたワイヤフレームに従って、顔の特徴点の位置を検出する。なお、第１の顔特徴点検出手法は、詳細の構造情報はみていないため、低解像度の場合に限って実行するのが好ましい。
【００３１】
第２の特徴点検出手法は、第１の顔特徴点検出手法と比べて顔特徴点の検出位置精度が良いが、後述する第３の顔特徴点検出手法と比べて、顔の部位ごとの詳細な位置あわせ精度を有していない。第２の特徴点検出手法としては、文献（Cootes.T.F、Walker.K、Taylor.C.J、“View-based active appearance models”、Image and Vision Computing 20,pp.227-232, 2002）を参考にした、いわゆるＡＡＭ（Active Appearance model）による顔の表情のトラッキングが考えられる。特徴点検出部１０５では、第２の顔特徴点検出手法を用いて顔の表情のトラッキングを行うことで、顔の特徴点となる位置を検出できる。
【００３２】
第３の顔特徴点検出手法は、顔領域の解像度が十分大きい場合に利用が可能であり、顔特徴点の形状情報や輝度分布情報を利用することで、顔の特徴点を検出する手法である。この第３の顔特徴点検出手法は、顔領域の解像度が十分大きい場合、３種類の顔特徴点検出手法のうち、最も検出位置精度の高い検出手法である。
【００３３】
第３の顔特徴点検出手法としては、文献（福井和広、山口修：「形状抽出とパタン照合の組合せによる顔特徴点抽出」, 電子情報通信学会論文誌(D), vol.J80-D-II, No.8, pp2170-2177(1997)）に示された手法が適用される。これにより目や備考、口端などの特徴点を検出できる。また、口の領域を示す特徴点の検出には、文献（湯浅 真由美、中島 朗子：「高精度顔特徴点検出に基づくデジタルメイクシステム」第１０回画像センシングシンポジウム予稿集,pp219-224(2004)）に示された手法を用いても良い。第３の顔特徴点検出手法としていずれの手法を用いた場合でも、２次元配列状の画像として取り扱える情報を取得し、当該情報から顔の特徴点を検出することができる。
【００３４】
また、本実施形態にかかる特徴点検出部１０５では、上述した各種顔特徴点検出手法で、マスク、サングラス、又は帽子を着用している場合でも顔の特徴点を検出できるように、予めサングラスやマスクや帽子で顔の一部が隠された場合の顔パタンでテンプレートを学習してもよい。また、特徴点検出部１０５が顔の特徴点検出をする際、すべての顔の特徴点が検出できない場合でも、一部の顔の特徴点が十分な評価値で検出されていれば、２次元平面、または３次元的な顔のモデルを用いて、検出された特徴点に基づいて、残りの特徴点を推測する。また、特徴点をまったく検出できないぐらいマスク、帽子又はサングラスが特徴点を隠蔽している場合、特徴点検出部１０５は、隠蔽されている場合の顔全体のパタンを予め学習しておき、検出された顔領域に対して、当該顔全体のパタンに基づいて、顔の特徴点の位置等を推測してもよい。なお、複数の顔が画像データ内に存在した場合、特徴点検出部１０５は、同様の処理をそれぞれの顔領域に対して実行することで対応可能とする。
【００３５】
特徴抽出部１０６は、特徴点検出部１０５が検出した顔の特徴点から、得られる顔の個人を識別可能な顔の特徴を示す特徴情報（以下、顔特徴情報と示す）を抽出する。これにより、複数種類の顔特徴点検出手法のいずれか一つを用いた、顔特徴情報を抽出できる。
【００３６】
特徴抽出部１０６は、顔特徴情報として、顔の各特徴を示す数列を出力する。本実施形態にかかる特徴抽出部１０６は、特徴点検出部１０５により検出された顔の特徴点の座標（顔の特徴的な部品となる位置）に基づいて、顔領域を一定の大きさ、形状に切り出し、その濃淡情報を、顔の特徴を示す特徴量として抽出する。本実施形態では、ｍピクセル×ｎピクセルの領域の濃淡値をそのまま情報として用い、ｍ×ｎ次元の情報を、特徴量ベクトルとして抽出する。
【００３７】
特徴抽出部１０６では、特徴量ベクトルと、特徴量ベクトルの長さとを、単純類似度法によりそれぞれ１とするように正規化し、内積を算出することで特徴ベクトル間の類似性を示す類似度を求める。当該手法は、文献（エルッキ・オヤ著、小川英光、佐藤誠訳、「パタン認識と部分空間法」、産業図書、1986年）で示された部分空間法を利用することで実現できる。また、文献（東芝（小坂谷達夫）：「画像認識装置、方法およびプログラム」特許公報 特開２００７−４７６７）で示された１枚の顔画像情報に対してモデルを利用して顔の向きや状態を意図的に変動させた画像データを生成することで、精度を向上させる手法を適用してもよい。これら手法を用いることで、１枚の画像データから、顔特徴情報を抽出できる。
【００３８】
一方、特徴抽出部１０６が、同一人物に対して連続した複数の画像データを用いて、動画像データによる算出をすることでより精度の高い認識処理を行っても良い。例えば、文献（福井和広、山口修、前田賢一：「動画像を用いた顔認識システム」、電子情報通信学会研究報告PRMU、 vol97、 No.113、 pp17-24(1997)）又は文献（前田賢一、渡辺貞一：「局所的構造を導入したパタン・マッチング法」、 電子情報通信学会論文誌(D)、 vol.J68-D、 No.3、pp345--352(1985)）に示された相互部分空間法を用いてもよい。これらの文献に示された相互部分空間法を用いた場合、画像入力部１０１が連続して入力処理した画像データから、特徴点検出部１０５がｍ×ｎピクセルの画像データを切り出し、これらの画像データから特徴量ベクトルの相関行列を算出し、Ｋ−Ｌ展開による正規直交ベクトルを求めることにより、連続した画像データから得られる顔の特徴情報を示す部分空間を算出する。
【００３９】
部分空間の算出法は、特徴量ベクトルの相関行列（または共分散行列）を求め、そのＫ−Ｌ展開による正規直交ベクトル（固有ベクトル）を求めることで、部分空間が算出される。部分空間は、固有値に対応する固有ベクトルを、固有値の大きな順にｋ個選択し、選択された固有ベクトル集合を用いて表現される。本実施形態では、相関行列Ｃｄを特徴ベクトルから求め、相関行列Ｃd＝ΦdΛdΦdＴと対角化して、固有ベクトルの行列Φを求める。この固有ベクトルの行列Φが、現在認識対象としている人物の顔の特徴を示す部分空間となる。本実施形態では、当該部分空間を、入力された画像データから検出された個人の顔特徴情報とする。
【００４０】
特徴抽出部１０６は、特徴点検出部１０５により特徴点検出した後に、当該特徴点に対して向き補正（三次元）、大きさ補正、及び明るさ補正を行う。向き補正とは、例えば、検出された顔の向きが左向きの場合に、予め備えた人物の顔の三次元モデルを左向きの顔を当てはめて、正面に向きを変更する補正とする。大きさ補正とは、予め基準とした顔のサイズに合わせるべく、縮小、拡大を行う補正とする。これら補正を行った後、顔特徴情報を抽出する。これにより、検出された顔の向き及び顔のサイズに関わらず、特徴抽出部１０６が抽出する顔特徴情報を統一できる。これにより、人物情報管理部１０７が管理している人物の顔特徴情報との比較が容易となる。
【００４１】
人物情報管理部１０７は、人物毎に、あらかじめ登録されている顔特徴情報を管理する。人物情報管理部１０７は、後述する認識部１０８が人物の認識処理を行う際に用いられるデータベースである。本実施形態にかかる人物情報管理部１０７は、検索対象となる個人毎に、特徴抽出部１０６で抽出された顔特徴情報、当該個人の性別、年齢、及び身長などの属性情報の他、当該人物を示す人物ＩＤや名前なども対応付けて管理する。
【００４２】
管理対象となる特徴抽出部１０６で抽出された顔特徴情報は、ｍ×ｎの特徴量ベクトルや、部分空間やＫＬ展開を行う直前の相関行列でもよい。さらに、特徴抽出部１０６で抽出された顔特徴情報を、画像入力部１０１により入力された画像データと共に、管理することで個人の検索や検索の表示が容易となる。
【００４３】
認識部１０８は、特徴抽出部１０６により抽出された顔特徴情報と、人物情報管理部１０７に記憶された顔特徴情報とに基づいて、画像入力部１０１により入力された画像データに含まれていた人物を認識する。本実施形態にかかる認識部１０８は、特徴抽出部１０６により抽出された顔特徴情報に類似する、人物情報管理部１０７に記憶された顔特徴情報を抽出し、抽出した顔特徴情報で示された人物を、カメラ１５０で撮影された候補者として認識する。
【００４４】
本実施形態にかかる認識部１０８は、特徴抽出部１０６で抽出された顔特徴情報と、人物情報管理部１０７に記憶された顔特徴情報との間の類似性を算出し、類似性が高い顔特徴情報の順に、当該顔特徴情報で表された人物に関する情報を表示部１０９に出力する。
【００４５】
認識部１０８は、処理結果としては類似性の高い顔識別情報から順に、人物情報管理部１０７で当該顔識別情報と対応付けられた人物ＩＤや算出された類似性を示す情報を出力する。その他に当該人物ＩＤと対応付けられている人物に関する様々な情報も出力しても良い。
【００４６】
また、認識部１０８は、特徴抽出部１０６が抽出した顔特徴情報と対応付けて、特徴点検出部１０５が検出に用いた顔特徴点検出手法を、特徴抽出部１０６を介して特徴点検出部１０５から取得する。そして、認識部１０８は、取得した顔特徴点検出手法を識別する情報を、当該手法で検出された顔特徴情報と対応付けて表示部１０９に出力する。
【００４７】
本実施形態にかかる類似性を示す情報は、顔特徴情報として管理されている部分空間同士の類似度とする。類似度の算出方法は、部分空間法や複合類似度法などの算出手法を用いてよい。これら算出手法では、人物情報管理部１０７に記憶された顔特徴情報、及び特徴抽出部１０６により抽出された顔特徴情報が、部分空間として表現される。そして、本実施形態では２つの部分空間のなす「角度」を類似度として定義する。そして、認識部１０８は、これら２つの部分空間に基づいて相関行列Ｃinを求めた後、Ｃin＝ΦinΛinΦinＴと対角化し、固有ベクトルΦinを求める。その後、認識部１０８は、２つのΦin，ΦinＴで表される部分空間の部分空間間類似度（０．０〜１．０）を求め、これを認識するための類似度とする。なお、具体的な算出方法については、例えば、上述した文献（エルッキ・オヤ著、小川英光、佐藤誠訳、「パタン認識と部分空間法」、産業図書、1986年）に示された手法を用いて良い。また、あらかじめ同一人物と分かる複数の顔画像をまとめて部分空間への射影によって本人であるか否かを識別することで精度を向上させてもよい。また、高速に検索するにはＴＲＥＥ構造を利用した検索方法なども利用してもよい。
【００４８】
表示部１０９は、認識部１０８により出力された、認識された候補者に関する情報を表示する。また、表示部１０９は、顔認識結果のみを表示することに制限するものではなく、人物情報管理部１０７が管理している属性情報に基づく認識結果と組み合わせて表示を行っても良い。
【００４９】
また、表示部１０９は、認識部１０８で認識された結果のうち、指定した条件と一致する人物に関する情報に限り、リアルタイムに表示してもよい。そして、指定した条件と一致しない人物に関する情報については、図示しない履歴記憶部に、履歴情報として保存してもよい。これにより、後から検索条件を指定することで、当該検索条件に一致する履歴情報を表示できる。なお、顔認識装置に対して、リアルタイム表示と検索表示とのいずれか一方のみ、又は両方を組み込んでも良い。
【００５０】
また、本実施形態にかかる表示部１０９は、候補者に関する情報を表示する際に、特徴点検出部１０５が用いた顔特徴点検出手法に基づいた、顔認証の信頼性を示した情報を表示する。本実施形態にかかる顔認識装置１００は、複数種類の顔特徴点検出手法を備えているが、手法毎に検出精度が異なる。そこで、本実施形態にかかる表示部１０９は、候補者に関する情報と共に、顔特徴点検出手法に基づいた信頼性を示す情報を表示する。
【００５１】
図５は、表示部１０９が表示する画面例を示した図である。図５に示すように表示部１０９は、画像入力部１０１により入力された画像データ群と、当該画像データに含まれていた顔領域に基づいた認識で類似度が高いと判定された候補者に関する情報と、を表示する。図５の右側欄に示すように、表示部１０９は、類似度が高い順に５番目までの候補者に関する情報を表示している。また、左側欄では、カメラ１５０で撮影された画像データのうち、人物の顔が含まれていた画像データを表示する。
【００５２】
また、表示部１０９は、人物の認証結果を表示する際に、顔の特徴点検出手法に基づいた検出信頼度を示す記号を表示する。本実施形態では、画像データに顔が大きく映っている場合には、第３の顔特徴点検出手法が利用できるため、検出された特徴点の座標についても高い精度が期待できる。このため、検出精度が高いことを示す‘○’５０３を表示する。また、画像データに顔がある程度の大きさで映っている場合には、第２の顔特徴点検出手法を利用できるため、検出精度が並程度であることを示す‘△’５０２、５０１を表示する。また、画像データに顔が小さく映っている場合には、第１の顔特徴点検出手法を利用するため、検出された特徴点の座標について、検出精度が他の２つより低いことを示す‘−’を表示する。図５及び後述する図６に示す画面の例では、各人物の顔毎に顔領域のみ表示し、特徴点座標を表示していない。これは、顔の部位を把握しやすいようにするためであり、必要に応じて顔の特徴点を表示しても良い。
【００５３】
このように、本実施形態においては、表示部１０９が表示を行う際に、顔の特徴点検出手法に応じた、検出信頼度を示す文字または記号を表示することで、利用者は、検出された顔の特徴点の位置精度が高いか否か判断することは容易となる。また、顔の特徴点の位置精度が向上するにつれて、候補者の検索精度の向上にもつながる。このため、表示された候補者の一覧の信頼度が高いか否かを判断することが容易となる。
【００５４】
また、顔特徴点検出手法に基づく基準を予め定め、当該基準を満たしている場合に限り、表示部１０９が候補者一覧を表示するように制御を行っても良い。例えば、表示部１０９は、信頼性が他の２つより低い第１の顔特徴点検出手法を用いた顔特徴点検出手法に基づく候補者の一覧は非表示とし、他の２つの顔特徴点検出手法に基づく候補者の一覧を表示するようにしても良い。これにより、信頼性が高いとみなされる候補者の一覧の表示が行われるため、信頼性を向上させることができる。
【００５５】
また、本実施形態は、図５に示す表示態様に制限するものではない。例えば、顔認識装置１００が、顔の検出結果を画面に表示する際に、カメラ１５０で撮像された画像データに対して、当該顔領域と検出の信頼度とを重畳して表示しても良い。
【００５６】
図６は、変形例にかかる表示部１０９が表示する画面例を示した図である。図６に示すように、表示部１０９は、入力された画像データのうち、検出された顔領域に対して、利用した顔特徴点検出手法に基づく検出信頼度（例えば、‘○’６０１、‘△’６０２）を表示する。これにより、ユーザは、顔領域毎に検出された顔の特徴点の検出精度について、信頼性が高いか否かを認識できる。これにより、検出履歴として格納されている、顔領域毎の候補者一覧の信頼性が高いか否かを認識できる。
【００５７】
次に、本実施形態にかかる顔認識装置１００における、人物の顔の認識処理について説明する。図７は、本実施形態にかかる顔認識装置１００における上述した処理の手順を示すフローチャートである。
【００５８】
画像入力部１０１が、カメラ１５０から画像データを入力処理する（ステップＳ７０１）。次に、顔領域検出部１０２が、入力処理された画像データから、顔領域の検出を行う（ステップＳ７０２）。
【００５９】
次に、手法選択部１０４が、検出された顔領域のサイズが所定の閾値Ｂ以上であるか否かを判定する（ステップＳ７０３）。そして、所定の閾値Ｂ未満であると判定された場合（ステップＳ７０３：Ｎｏ）、手法選択部１０４が、第１の顔特徴点検出手法を選択する（ステップＳ７０４）。そして、特徴点検出部１０５が、検出された顔領域に対して、選択された第１の顔特徴点検出手法を用いて顔の特徴点を検出する（ステップＳ７０５）。
【００６０】
一方、手法選択部１０４が、検出された顔領域のサイズが所定の閾値Ｂ以上であると判定された場合（ステップＳ７０３：Ｙｅｓ）、さらに、検出された顔領域のサイズが所定の閾値Ａ以上であるか否かを判定する（ステップＳ７０６）。なお、閾値Ａ＞閾値Ｂとする。そして、所定の閾値Ａ未満であると判定された場合（ステップＳ７０６：Ｎｏ）、手法選択部１０４が、第２の顔特徴点検出手法を選択する（ステップＳ７０７）。そして、特徴点検出部１０５が、検出された顔領域に対して、選択された第２の顔特徴点検出手法を用いて顔の特徴点を検出する（ステップＳ７０８）。
【００６１】
一方、手法選択部１０４が、検出された顔領域のサイズが所定の閾値Ａ以上であると判定された場合（ステップＳ７０６：Ｙｅｓ）、手法選択部１０４が、第３の顔特徴点検出手法を選択する（ステップＳ７０９）。そして、特徴点検出部１０５が、検出された顔領域に対して、選択された第３の顔特徴点検出手法を用いて顔の特徴点を検出する（ステップＳ７１０）。
【００６２】
そして、特徴抽出部１０６が、検出された顔の特徴点に基づいて、顔の特徴情報を抽出する（ステップＳ７１１）。その際、特徴抽出部１０６は、検出した特徴点に対して向き補正（三次元）、大きさ補正、及び明るさ補正を行っておく。これにより、画像データの顔領域毎に異なるサイズ、明るさ、顔の向きが修正される。
【００６３】
その後、認識部１０８が、特徴抽出部１０６により抽出された顔の特徴情報と、人物情報管理部１０７に記憶された顔の特徴情報に基づいて、認識処理を行い、画像データに映った人物の候補を抽出する（ステップＳ７１２）。
【００６４】
そして、表示部１０９が、抽出された候補者の一覧と、顔特徴点検出手法に基づく信頼度と、を表示する（ステップＳ７１３）。
【００６５】
（第１の実施形態の変形例）
第１の実施形態は、検出した顔領域のサイズに応じて３種類の顔特徴点検出手法から選択する例について説明した。しかしながら、サイズに応じた選択に制限するものではなく、ある顔特徴点検出手法を用いた特徴点の検出結果に応じて、他の顔特徴点検出手法に切り替える手法を組み合わせても良い。
【００６６】
上述したように、検出精度が高い顔特徴点検出手法は、低解像度に弱いという特徴を有している。そこで、本変形例では、最初に検出精度が高い顔特徴点検出手法（例えば、第３の顔特徴点検出手法）を用いて顔の特徴点を検出し、検出された顔の特徴点の位置が適切か否か判定し、適切でない場合には、検出対象の顔領域のサイズ（解像度）が適切で無かったと判断し、低解像度に強い顔特徴点検出手法（例えば、第２の顔特徴点検出手法）に切り替えていくこととした。
【００６７】
次に、本変形例にかかる顔認識装置１００における、人物の顔の認識処理について説明する。図８は、第１の実施形態の変形例にかかる顔認識装置１００における上述した処理の手順を示すフローチャートである。
【００６８】
画像入力部１０１が、カメラ１５０から画像データを入力処理する（ステップＳ８０１）。次に、顔領域検出部１０２が、入力処理された画像データから、顔領域の検出を行う（ステップＳ８０２）。
【００６９】
次に、手法選択部１０４が、検出された顔領域のサイズが所定の閾値Ａ’以上であるか否かを判定する（ステップＳ８０３）。そして、所定の閾値Ａ’以上であると判定された場合（ステップＳ８０３：Ｙｅｓ）、手法選択部１０４が、第３の顔特徴点検出手法を選択する（ステップＳ８０４）。そして、特徴点検出部１０５が、検出された顔領域に対して、選択された第３の顔特徴点検出手法を用いて顔の特徴点を検出する（ステップＳ８０５）。
【００７０】
その後、特徴抽出部１０６が、ステップＳ８０５で検出された特徴点で正規化し、顔領域に基づいた切り出し画像データを生成する（ステップＳ８０６）。そして、特徴抽出部１０６は、生成した切り出し画像データに対して、顔の特徴点の位置に関する検出評価を行う。そして、特徴抽出部１０６が、検出評価の値が、人物の平均的な顔のパタンに基づく基準値Ｃ以上であるか否かを判定する（ステップＳ８０７）。なお、閾値Ｃは実施の態様に併せて設定されるものとする。そして、閾値Ｃ以上である場合（ステップＳ８０７：Ｙｅｓ）には、ステップＳ８１４に移動する。
【００７１】
一方、ステップＳ８０７で特徴抽出部１０６が検出結果の値が基準値Ｃ未満であると判定した場合（ステップＳ８０７：Ｎｏ）、又はステップＳ８０３で手法選択部１０４が、検出された顔領域のサイズが所定の閾値Ａ’未満と判定した場合（ステップＳ８０３：Ｎｏ）、手法選択部１０４が、第２の顔特徴点検出手法を選択する（ステップＳ８０８）。そして、特徴点検出部１０５が、検出された顔領域に対して、選択された第２の顔特徴点検出手法を用いて顔の特徴点を検出する（ステップＳ８０９）。
【００７２】
その後、特徴抽出部１０６が、ステップＳ８０９で検出された特徴点で正規化し、顔領域に基づいた切り出し画像データを生成する（ステップＳ８１０）。そして、特徴抽出部１０６は、生成した切り出し画像データに対して、顔の特徴点の位置に関する検出評価を行う。そして、特徴抽出部１０６が、検出評価の値が、人物の平均的な顔のパタンに基づく基準値Ｃ以上であるか否かを判定する（ステップＳ８１１）。そして、基準値Ｃ以上である場合（ステップＳ８１１：Ｙｅｓ）、ステップＳ８１４に移動する。
【００７３】
一方、ステップＳ８１１で特徴抽出部１０６が検出結果の値が基準値Ｃ未満であると判定した場合（ステップＳ８１１：Ｎｏ）、手法選択部１０４が、第１の顔特徴点検出手法を選択する（ステップＳ８１２）。そして、特徴点検出部１０５が、検出された顔領域に対して、選択された第１の顔特徴点検出手法を用いて顔の特徴点を検出する（ステップＳ８１３）。
【００７４】
そして、特徴抽出部１０６が、検出された顔の特徴点に基づいて、顔の特徴情報を抽出する（ステップＳ８１４）。その際、特徴抽出部１０６は、検出した特徴点に対して向き補正（三次元）、大きさ補正、及び明るさ補正を行っておく。これにより、画像データの顔領域毎に異なるサイズ、明るさ、顔の向きが修正される。
【００７５】
その後、認識部１０８が、特徴抽出部１０６により抽出された顔の特徴情報と、人物情報管理部１０７に記憶された顔の特徴情報に基づいて、認識処理を行い、画像データに映った人物の候補を抽出する（ステップＳ８１５）。
【００７６】
そして、表示部１０９が、抽出された候補者の一覧と、顔特徴点検出手法に基づく信頼度と、を表示する（ステップＳ８１６）。
【００７７】
上述した処理手順により、検出した顔領域に対して適切な顔特徴点検出手法を用いて、顔の特徴点の検出が可能となる。これにより、人物の認識の精度を向上させることができる。
【００７８】
（第２の実施形態）
第１の実施形態では、選択された顔特徴点検出手法を用いて、顔の特徴点を検出する例について説明した。しかしながら、選択された一つの顔特徴点検出手法を用いるのではなく、複数の顔特徴点検出手法を組み合わせて用いても良い。そこで、第２の実施形態では、複数の顔特徴点検出手法を組み合わせて用いる例について説明する。
【００７９】
図９は、第２の実施形態にかかる顔認識装置９００の構成を示すブロック図である。本実施形態にかかる顔認識装置９００は、上述した第１の実施形態にかかる顔認識装置１００とは、手法選択部１０４とは処理が異なる手法選択部９０１に変更され、特徴点検出部１０５とは処理が異なる特徴点検出部９０２に変更されている点で異なる。以下の説明では、上述した第１の実施形態と同一の構成要素には同一の符号を付してその説明を省略している。
【００８０】
手法選択部９０１は、顔領域検出部１０２により検出された顔領域の画像サイズに基づいて、第１の顔特徴点検出手法と第２の顔特徴点検出手法との組み合わせ、及び第２の顔特徴点検出手法と第３の顔特徴点検出手法との組み合わせのうち、どちらの組み合わせで顔の特徴点の検出を行うかを選択する。本実施形態では、顔領域を表す矩形の頂点の座標から横幅及び縦幅を示す画素数を算出し、算出した画素数が所定の閾値Ａ’’以上であるか否かに基づいて、顔特徴点検出手法の組み合わせを選択する。
【００８１】
特徴点検出部９０２は、手法選択部９０１で選択された顔特徴点検出手法の組み合わせを用いて、顔領域検出部１０２により検出された顔領域から、目、鼻などの顔部位の位置を顔の特徴点として検出する。
【００８２】
特徴点検出部９０２は、検出された顔領域から、顔の部位を顔の特徴点として検出する際、顔領域の大きさの違いにあわせて異なる複数の顔特徴点検出手法を組み合わせて処理をする。
【００８３】
また、特徴点検出部９０２は、低解像度でも顔の特徴点を検出しやすい顔特徴点検出手法を用いて顔特徴点の検出を行ったのち、各特徴点の周辺の所定領域を上限としてより高い検出位置精度をもつ顔特徴点検出手法を用いて顔の特徴点の位置を補正する。これにより、個人を特定する認識精度の低下をおさえながら低い解像度の顔画像が入力された場合にも精度良く顔認識処理をすることを可能とする。
【００８４】
特徴点検出部９０２は、第１の特徴点前段検出部９１１と、第２の特徴点後段検出部９１２と、第２の特徴点前段検出部９１３と、第３の特徴点後段検出部９１４と、を備える。
【００８５】
第１の特徴点前段検出部９１１は、前段処理として、第１の顔特徴点検出手法を用いて、顔領域検出部１０２により検出された顔領域から、顔の特徴点を検出する。
【００８６】
第２の特徴点後段検出部９１２は、後段処理として、第２の顔特徴点検出手法を用いて、第１の特徴点前段検出部９１１に検出された顔の特徴点の周辺の所定の領域に対して、顔の特徴点を検出する。
第２の特徴点前段検出部９１３は、前段処理として、第２の顔特徴点検出手法を用いて、顔領域検出部１０２により検出された顔領域から、顔の特徴点を検出する。
【００８７】
第３の特徴点後段検出部９１４は、後段処理として、第３の顔特徴点検出手法を用いて、第１の特徴点前段検出部９１１に検出された顔の特徴点の周辺の所定の領域に対して、顔の特徴点を検出する。
【００８８】
例えば、第３の顔特徴点検出手法は、顔領域の形状情報や輝度分布情報に基づいて、顔の特徴点を検出するが、詳細に検出処理を行うため処理負担が大きい。そこで、特徴点検出部９０２では、第２の特徴点前段検出部９１３が、第２の特徴点検出手法を用いて、顔の特徴点を検出し、第３の特徴点後段検出部９１４が、検出した顔の特徴点の周辺の所定領域に限って第３の顔特徴点検出手法で顔の特徴点の検出を行う。これにより、処理負担を軽減した上で、顔特徴点の位置の特定精度を向上させることができる。なお、特徴点の周辺となる所定の領域は、実施の態様によって予め定められるものとする。
【００８９】
同様に、第１の特徴点前段検出部９１１は、第１の特徴点検出手法を用いて、特徴点や、顔の向き等を検出し、第２の特徴点後段検出部９１２が、検出された顔の向きに基づいて顔の特徴点の初期位置を当てはめ、当該初期位置の周辺の所定領域に限って第２の顔特徴点検出手法を用いて、顔の特徴点の検出を行う。これにより、処理負担を軽減した上で、顔特徴点の位置の特定精度を向上させることができる。
【００９０】
なお、本実施形態では、複数の組合せの例として、２種類の顔特徴点検出手法を組み合わせる例について説明したが、３種類以上の顔特徴点検出手法を組み合わせて特徴点の検出を行っても良い。
【００９１】
なお、本実施形態にかかる顔認識装置９００の特徴点検出部９０２は、前段の顔特徴点検出手法を用いて、顔の特徴点の検出を行った後、後段の顔の特徴点検出による位置の補正が必要か否かの検証を行ってもよい。そして、当該検証の結果、後段の顔の特徴点検出による位置の補正が必要と判定された場合に、後段の顔特徴点検出手法を用いて、補正を行う。本実施形態では、特徴点検出部９０２が、前段及び後段の顔特徴点検出手法のそれぞれを用いた顔の特徴点の検出結果をもとに、Ｍ×Ｎ画素で構成される顔領域の正規化切り出し画像を生成し、正規化切り出し画像のパタンと、人物の平均的な顔のパタンとして予め学習されたパタンと、の類似度を算出し、算出された類似度が所定の類似度以上とならなかった場合に、後段の顔特徴点検出手法を用いて、顔の特徴点の位置の補正を行う。
【００９２】
次に、本実施形態にかかる顔認識装置９００における、人物の顔の認識処理について説明する。図１０は、本実施形態にかかる顔認識装置９００における上述した処理の手順を示すフローチャートである。
【００９３】
画像入力部１０１が、カメラ１５０から画像データを入力処理する（ステップＳ１００１）。次に、顔領域検出部１０２が、入力処理された画像データから、顔領域の検出を行う（ステップＳ１００２）。
【００９４】
次に、手法選択部９０１が、検出された顔領域のサイズが所定の閾値Ａ’’以上であるか否かを判定する（ステップＳ１００３）。そして、所定の閾値Ａ’’未満であると判定された場合（ステップＳ１００３：Ｎｏ）、手法選択部９０１が、第１の顔特徴点検出手法及び第２の顔特徴点検出手法の組み合わせを選択する（ステップＳ１００４）。そして、第１の特徴点前段検出部９１１が、検出された顔領域に対して、選択された第１の顔特徴点検出手法を用いて顔の特徴点を検出する（ステップＳ１００５）。
【００９５】
その後、特徴点検出部９０２が、検出された顔の特徴点に対して、位置の補正が必要か否かを判定する（ステップＳ１００６）。当該位置の補正が必要か否かの判定手法としては、どのような手法を用いても良いが、本実施形態では上述したように、予め学習されたパタンとの間で算出された類似度に基づいて、判定する。そして、位置の補正が必要ないと判定した場合（ステップＳ１００６：Ｎｏ）、ステップＳ１０１２に移動する。
【００９６】
一方、特徴点検出部９０２が位置の補正が必要と判定した場合（ステップＳ１００６：Ｙｅｓ）、さらに、第２の特徴点後段検出部９１２が、ステップＳ１００５で検出された特徴点の周辺の所定の領域に対して、第２の顔特徴点検出手法を用いて、顔の特徴点の検出、つまり位置の修正を行う（ステップＳ１００７）。
【００９７】
また、ステップＳ１００３で、手法選択部９０１が、検出された顔領域のサイズが所定の閾値Ａ’’以上であると判定した場合（ステップＳ１００３：Ｙｅｓ）、手法選択部９０１が、第２の顔特徴点検出手法及び第３の顔特徴点検出手法の組み合わせを選択する（ステップＳ１００８）。そして、第２の特徴点前段検出部９１３が、検出された顔領域に対して、選択された第２の顔特徴点検出手法を用いて顔の特徴点を検出する（ステップＳ１００９）。
【００９８】
その後、特徴点検出部９０２が、検出された顔の特徴点に対して、位置の補正が必要か否かを判定する（ステップＳ１０１０）。そして、位置の補正が必要ないと判定した場合（ステップＳ１０１０：Ｎｏ）、ステップＳ１０１２に移動する。
【００９９】
一方、特徴点検出部９０２が位置の補正が必要と判定した場合（ステップＳ１０１０：Ｙｅｓ）、さらに、第３の特徴点後段検出部９１４が、ステップＳ１００９で検出された特徴点の周辺の所定の領域に対して、第３の顔特徴点検出手法を用いて、顔の特徴点の検出、つまり位置の修正を行う（ステップＳ１０１１）。
【０１００】
そして、特徴抽出部１０６が、検出された顔の特徴点に基づいて、顔の特徴情報を抽出する（ステップＳ１０１２）。その際、特徴抽出部１０６は、検出した特徴点に対して向き補正（三次元）、大きさ補正、及び明るさ補正を行っておく。これにより、画像データの顔領域毎に異なるサイズ、明るさ、顔の向きが修正される。
【０１０１】
その後、認識部１０８が、特徴抽出部１０６により抽出された顔の特徴情報と、人物情報管理部１０７に記憶された顔の特徴情報に基づいて、認識処理を行い、画像データに映った人物の候補を抽出する（ステップＳ１０１３）。
【０１０２】
そして、表示部１０９が、抽出された候補者の一覧と、顔特徴点検出手法に基づく信頼度と、を表示する（ステップＳ１０１４）。
【０１０３】
上述した処理手順により、顔領域のサイズに応じて顔特徴点検出手法を異ならせた上で、複数の顔特徴点検出手法を組み合わせて顔の特徴点の検出を行うことができる。これにより、顔の特徴点の位置の検出精度を向上させると共に、精度は高いが処理負担の大きい顔特徴点検出手法が使用される領域は所定の領域に限られるため、処理負担を軽減できる。
【０１０４】
なお、本実施形態にかかる表示部１０９は、候補者に関する情報を表示する際に、特徴点検出部９０２が用いた顔特徴点検出手法に基づいた、顔認証の信頼性を示した情報を表示する。例えば、表示部１０９は、後段の検出処理を行った場合には後段の顔特徴点検出手法に基づいた信頼性を示す情報を表示する。表示部１０９は、前段の検出処理のみ行った場合、前段の顔特徴点検出手法に基づいた信頼性を表示しても良いし、位置の補正が必要ないと判断された以上、後段の特徴点検出手法と同等の信頼性を表示しても良い。
【０１０５】
また、本実施形態では、顔領域のサイズ（解像度）によって、顔特徴点検出手法の組み合わせを切り替える例について説明したが、顔領域のサイズによって切り替えることを必ず行う必要があるものではない。例えば、顔領域のサイズにかかわらず、常に低解像度に対応した顔特徴点検出手法から順に顔の特徴点の検出処理を行うようにしてもよい。
【０１０６】
このように、第２の実施形態にかかる顔認識装置９００では、低解像度の画像であっても顔の特徴点検出の位置が極端に誤ることを抑えることができるとともに、可能なかぎり位置精度を高めることができる。
【０１０７】
（第２の実施形態の変形例）
なお、このような複数の顔特徴点検出手法を組み合わせた手法は、第２の実施形態で示したような後段の顔特徴点検出手法を、前段の顔特徴点検出手法で検出された顔特徴点の位置を基準に所定領域内に限って検出を行うことに制限するものではない。
【０１０８】
例えば、後段の顔特徴点検出手法でも所定の領域より広い領域（例えば顔領域全体）に対して顔の特徴点の検出を行ってもよい。この場合、当該後段の顔特徴点検出手法で得られた検出座標と、前段の顔特徴点検出手法で得られた検出座標と、を比較し、後段の検出座標が前段の検出座標から所定領域内の誤差であれば後段の検出結果を利用し、所定領域以上離れている場合、前段の顔特徴点検出手法を維持する手法が考えられる。
【０１０９】
以上の第１〜第２の実施形態により、画像データ内の顔領域のサイズ等に応じて、適切な顔特徴点検出手法を選択することで、顔の認識精度の低下を抑止することが可能となる。
【０１１０】
図１１は、上述した実施形態にかかる顔認識装置１００、９００のハードウェア構成を示した図である。図１１に示すように、顔認識装置１００、９００は、ＣＰＵ１１０１と、ＲＯＭ（Read Only Memory）１１０２と、ＲＡＭ１１０３と、通信Ｉ／Ｆ１１０４と、ＨＤＤ１１０５と、表示装置１１０６と、キーボードやマウスなどの入力デバイス１１０７と、これらを接続するバス１１０８と、を備えており、通常のコンピュータを利用したハードウェア構成となっている。
【０１１１】
本実施形態の顔認識装置１００、９００で実行される顔認識プログラムは、インストール可能な形式又は実行可能な形式のファイルでＣＤ−ＲＯＭ、フレキシブルディスク（ＦＤ）、ＣＤ−Ｒ、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ）等のコンピュータで読み取り可能な記録媒体に記録されて提供される。
【０１１２】
また、本実施形態の顔認識装置１００、９００で実行される顔認識プログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成しても良い。また、本実施形態の顔認識装置１００、９００で実行される顔認識プログラムをインターネット等のネットワーク経由で提供または配布するように構成しても良い。
【０１１３】
また、本実施形態の顔認識プログラムを、ＲＯＭ等に予め組み込んで提供するように構成してもよい。
【０１１４】
本実施形態の顔認識装置１００、９００で実行される顔認識プログラムは、上述した各構成を含むモジュール構成となっており、実際のハードウェアとしてはＣＰＵ１１０１が上記記憶媒体から顔認識プログラムを読み出して実行することにより上記各構成がＲＡＭ１１０３上にロードされ、上記各構成がＲＡＭ１１０３上に生成される。
【０１１５】
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【符号の説明】
【０１１６】
１００、９００…顔認識装置、１０１…画像入力部、１０２…顔領域検出部、１０３…手法保持部、１０４、９０１…手法選択部、１０５、９０２…特徴点検出部、１０６…特徴抽出部、１０７…人物情報管理部、１０８…認識部、１０９…表示部、１５０…カメラ、９１１…第１の特徴点前段検出部、９１２…第２の特徴点後段検出部、９１３…第１の特徴点前段検出部、９１４…第３の特徴点後段検出部
【技術分野】
【０００１】
本発明の実施形態は、顔認識装置、及び顔認識方法に関する。
【背景技術】
【０００２】
従来から、監視カメラなどで撮影された動画像データに含まれている人物の顔領域から、予め記憶された顔画像の特徴情報に基づいて、人物を認証する技術が提案されている。この場合、動画像データに含まれている顔領域から特徴情報を抽出し、当該特徴情報と予め記憶されている特徴情報とを比較することで、人物の認証を行っている。
【０００３】
一般的には、監視カメラ等で撮影する場合、撮影された顔領域の解像度が高いほど、人物の特定や認識精度が向上する。
【０００４】
また、監視カメラ等による撮影の状況によっては、顔領域の解像度が変動するため、当該顔領域の解像度が低くなる場合もある。近年、このような顔領域の解像度が低い場合でも認識精度を向上させる技術がいくつか提案されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２０１０−１２２９９４号公報
【特許文献２】特開２００１−３４７５６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、監視カメラの利用態様によっては、当該撮影された動画像データに映る人物の顔のサイズは様々である場合も多い。動画像データに映った顔領域のサイズがばらつく場合、当然に当該人物の顔の解像度にもばらつきが生じる。このため、人物の顔の領域の解像度が低い場合には、一般的に認識精度が高いとされる、高解像度用の認識手法では適切な認識結果が得られないという問題が生じる。このため、低解像度でも適用可能な認識手法を用いると、今度は顔の領域の解像度が高い場合に高い認識精度が得られないという問題がある。
【課題を解決するための手段】
【０００７】
実施形態の顔認識装置は、記憶手段と、入力手段と、顔検出手段と、保持手段と、抽出手段と、認識手段と、を備える。記憶手段は、人物毎に、当該人物の顔の特徴が表された顔特徴情報を記憶する。入力手段は、人物の少なくとも顔を含む画像情報を入力する。顔検出手段は、入力手段により入力された画像情報から、人物の顔が表された顔領域を検出する。保持手段は、検出された顔領域から顔の特徴を検出処理する検出手法を、検出処理の粗さの違いに基づいて複数保持する。抽出手段は、保持された複数の検出手法のうち、いずれか１つ以上を用いて、顔検出手段により検出された顔領域から、顔の特徴を示した特徴情報を抽出する。認識手段は、抽出手段により抽出された特徴情報と、記憶手段に記憶された顔特徴情報とに基づいて、画像情報に含まれていた人物を認識する。
【図面の簡単な説明】
【０００８】
【図１】図１は、第１の実施形態にかかる顔認識装置のブロック構成を示した図である。
【図２】図２は、カメラから入力された画像データの例を示した図である。
【図３】図３は、第１の実施形態にかかる手法保持部が保持する顔特徴点手法の特徴を示した図である。
【図４】図４は、第１の実施形態にかかる特徴点検出部により、各種顔特徴点検出手法で検出された特徴点の例を示した図である。
【図５】図５は、第１の実施形態にかかる表示部が表示する画面例を示した図である。
【図６】図６は、第１の実施形態の変形例にかかる表示部が表示する画面例を示した図である。
【図７】図７は、第１の実施形態にかかる顔認識装置における、人物の顔の認識処理の手順を示すフローチャートである。
【図８】図８は、第１の実施形態の変形例にかかる顔認識装置における、人物の顔の認識処理の手順を示すフローチャートである。
【図９】図９は、第２の実施形態にかかる顔認識装置の構成を示すブロック図である。
【図１０】図１０は、第２の実施形態にかかる顔認識装置における、人物の顔の認識処理の手順を示すフローチャートである。
【図１１】図１１は、第１及び第２の実施形態にかかる顔認識装置のハードウェア構成を示した図である。
【発明を実施するための形態】
【０００９】
（第１の実施形態）
図１は、第１の実施形態にかかる顔認識装置１００のブロック構成を示した図である。図１に示すように、顔認識装置１００は、画像入力部１０１と、顔領域検出部１０２と、手法保持部１０３と、手法選択部１０４と、特徴点検出部１０５と、特徴抽出部１０６と、人物情報管理部１０７と、認識部１０８と、表示部１０９と、を備える。また、顔認識装置１００は、カメラ１５０から撮影された映像に基づいて、人物の認証を行う。
【００１０】
本実施形態にかかる顔認識装置１００では、カメラ１５０などで撮影された映像データから、あらかじめ管理されている顔の特徴情報に基づいて、人物を認識する。その際、本実施形態にかかる顔認識装置では、入力された画像データの顔領域のサイズ（解像度）に応じて、適切な顔の特徴点の検出手法を選択することとした。これにより、顔領域の解像度の違いに対応しつつ、顔認識の認識精度を維持することを可能としている。
【００１１】
カメラ１５０は、所定の領域に対して撮影を行う。例えば、カメラ１５０は、通行路の入退場対象エリアに対して撮影を行う監視カメラ等であり、撮影結果である画像データを生成する。そして、画像入力部１０１は、カメラ１５０からの画像データを入力処理する。
【００１２】
カメラ１５０は、少なくとも１箇所、又は複数の地点に設置可能とする。また、カメラ１５０は、所定の領域に存在する人物の顔画像を入力するものであり、例えばＩＴＶ（Industrial Television）カメラとする。カメラ１５０は、カメラのレンズを通して得られた光学的な情報をＡ／Ｄ変換器によりデジタル化して画像データを生成し、顔認識装置１００に対して出力する。
【００１３】
また、顔認識装置１００は、顔領域を含むデジタル画像データであれば、顔認証の対象となるので、デジタルスチルカメラで撮影した静止画像データを媒体経由で取り込んで顔認証を行っても良いし、スキャナを利用して紙媒体や写真からスキャンをしたデジタル画像に対して顔認証を行っても良い。
【００１４】
そして、本実施形態にかかる顔認識装置１００は、生成された画像データに基づいて、人物の顔認証を行い、人物情報管理部１０７に当該人物があらかじめ登録された人物であるか否かを判定する。認証結果により不審者等の検出を行っても良いし、通行の許可、不許可を制御しても良い。
【００１５】
本実施形態にかかる顔認識装置１００は、人物認証に従って、不審者等の検出や、通行の許可、不許可の制御等に用いることが考えられるが、このような制御に制限するものではなく、人物の認識結果を利用するのであれば、どのような制御を行っても良い。例えば、顔認識装置１００は、顧客データの中からお得意様の検索、不審者のデータベースから該当者の検索、ＩＤ証の更新時の本人確認や新規発行時の二重発給防止などに用いても良い。さらには、画像信号から顔を検出し、フォーカス等を制御するデジタルスチルカメラや、携帯電話端末等に適用しても良い。
【００１６】
図２は、カメラ１５０から入力された画像データ２０１の例を示した図である。図２に示すように、画像データには、様々なサイズの顔領域が含まれている場合がある（例えば領域２１１、２１２、２１３）。顔のサイズが映像の中で小さく映っていた場合（例えば領域２１１の場合）、顔領域に相当する画像の解像度は非常に低くなる。このため、顔のサイズが小さく解像度の低い画像に対して、従来からの高解像度に適した手法で顔認識処理を行うと、顔特徴点検出で正しい位置を検出できず、特徴点の位置がずれやすいという問題が生じていた。また、特徴点を抽出する処理を行う際に、解像度によっては必要な特徴情報が取得できず、識別対象の顔がいずれも類似した特徴情報になってしまい識別精度が低下していた。
【００１７】
そこで、本実施形態にかかる顔認識装置１００では、画像データに含まれる、顔領域のサイズに応じて、顔の特徴点の検出手法を異ならせることとした。本実施形態では、顔の特徴点の検出を行う前に、画像データに含まれている、人物の顔が表された領域（以下、顔領域と称す）の検出を行う必要がある。
【００１８】
顔領域検出部１０２は、画像入力部１０１により入力された画像データから、人物の顔領域を検出する。本実施形態にかかる顔領域検出部１０２は、入力された画像データ内において、当該画像データ上の輝度情報を利用して顔の領域を示す座標を求める。当該顔の領域を検出する手法としては、どのような手法を用いても良い。本実施形態は、例として、文献（三田雄志ほか：「顔検出に適した共起に基づくJoint Haar-like特徴」電子情報通信学会論文誌(D),vol.J89-D, 8,pp1791-1801(2006)）に示された手法を用いて、顔領域の検出を行う。他の検出手法の例としては、予め用意されたテンプレートを、入力された画像データ内で移動させながら相関値を求めることで、最も高い相関値を与える位置を顔領域として検出する手法や、固有空間法や部分空間法を利用した顔抽出法等を用いる手法を適用しても良い。
【００１９】
また、検出する顔領域の形状は、任意の形状で良いし、顔の向きや大きさの検出結果によって顔の領域の形状を異ならせても良いが、本実施形態は、説明を容易にするために、矩形形状の顔領域を検出する。そして、当該矩形形状の頂点を示す座標を、顔領域の検出結果とする。
【００２０】
ところで、監視カメラなどで撮影された映像データの場合、検出された同一人物の顔が複数のフレームにわたって連続して映っていることが想定される。このため、これらを同一人物として対応付けできるように人物の顔の追跡処理を行う必要がある。この追跡処理の実現手法としては、オプティカルフローを用いて検出した顔が、次のフレームでどの位置に存在するかを推定し、対応付ける手法等を利用することで実現可能できる。そして、特徴抽出部１０６は、同一人物として対応付けられた複数フレームの顔領域のうち、人物を認識するために、適切な画像を少なくとも１枚選択し、選択された顔領域から顔の特徴情報を抽出してもよい。また、特徴抽出部１０６は、顔領域のサイズが大きくなる毎に、顔の特徴情報を抽出する処理を行うことで、最大のサイズの顔領域が検出されるまで任意の枚数の画像データを検出に利用しても良い。
【００２１】
手法保持部１０３は、顔領域検出部１０２より検出された顔領域から顔の特徴を検出処理する検出手法を、検出処理の粗さの違いに基づいて複数保持する。本実施形態にかかる手法保持部１０３は、３種類の顔の特徴点の検出手法を保持するが、保持する検出手法の数を制限するものではない。例えば、手法保持部１０３が、４種類以上の検出手法を保持しても良いし、２種類の検出手法を保持してもよい。
【００２２】
図３は、手法保持部１０３が保持する顔特徴点手法の特徴を示した図である。図３に示すように、本実施形態にかかる手法保持部１０３は、第１の顔特徴点検出手法と、第２の顔特徴点検出手法と、第３の顔特徴点検出手法と、を備える。そして、各種顔特徴点検出手法は、図３に示すようにそれぞれ異なる特徴を備える。
【００２３】
第１の顔特徴点検出手法は、３種類の検出手法のうち、検出処理が最も粗いため、低解像度に強いが、認識精度が低いという特徴を有する。第２の顔特徴点検出手法は、３種類の検出手法のうち、２番目に検出処理が粗く、低解像度に２番目に強く、認識精度は２番目に高いという特徴を有する。第３の顔特徴点検出手法は、３種類の検出手法のうち、検出処理が最も細かいため、低解像度に弱いが、解像度が高い場合には認識精度が最も高いという特徴を有する。そして、本実施形態では、検出された顔領域の大きさにあわせて、これら３種類の顔特徴点検出手法のうち、最適な顔特徴点検出手法を用いることとした。
【００２４】
手法選択部１０４は、顔領域検出部１０２により検出された顔領域の画像サイズに基づいて、手法保持部１０３が保持する顔特徴点検出手法から、後述する特徴点検出部１０５で用いる顔特徴点検出手法を選択する。顔特徴点検出手法の選択はどのような手法を用いても良い。本実施形態では、顔領域を表す矩形の頂点の座標から横幅及び縦幅を示す画素数を算出し、算出した画素数が所定の閾値値以上であるか否かに基づいて、顔特徴点検出手法を選択する。これにより、特徴点検出手法の選択が容易となる。
【００２５】
本実施形態のように３種類の顔特徴点検出手法を保持する場合、手法選択部１０４は、２種類の解像度の閾値を用いて、顔特徴点検出手法を選択する。２種類の解像度の閾値をＡ及びＢ（Ｂ＜Ａ）とする。そして、手法選択部１０４は、算出された横幅（又は縦幅）がＢ未満の場合、第１の顔特徴点検出手法を選択する。さらに、手法選択部１０４は、算出された横幅（又は縦幅）がＢ以上且つＡ未満の場合、第２の顔特徴点検出手法を選択し、Ａ以上の場合、第３の顔特徴点検出手法を選択する。本実施形態は、閾値による選択に制限するものではなく、顔の大きさの時間軸方向の推移を利用して統計的にどの手法を選択するのかを学習する手法も考えられる。
【００２６】
特徴点検出部１０５は、手法選択部１０４で選択された顔特徴点検出手法を用いて、顔領域検出部１０２により検出された顔領域から、目、鼻などの顔部位の位置を顔の特徴点として検出する。
【００２７】
本実施形態にかかる第１の顔特徴点検出手法、第２の顔特徴点検出手法、及び第３の顔特徴点検出手法は、それぞれ検出処理の粗さは異なるものの、検出対象となる特徴点の箇所（例えば、目頭、目尻など）、及び特徴点の数は変わらない。図４は、特徴点検出部１０５により、各種顔特徴点検出手法で検出された特徴点の例を示した図である。図４の“×”で示された箇所が特徴点の例とする。図４に示すように、本実施形態にかかる特徴点検出部１０５は、１５個の特徴点を検出する。
【００２８】
これにより、第１の顔特徴点検出手法、第２の顔特徴点検出手法、及び第３の顔特徴点検出手法のうち、どの検出手法を用いて顔の特徴情報を抽出した場合でも、認識部１０８が、人物情報管理部１０７に格納された各人物の顔の特徴情報と比較して、人物の認証を行うことができる。次に各顔特徴点検出手法について具体的に説明する。
【００２９】
第１の顔特徴点検出手法は、顔の細かい構造情報がみられないほど顔領域が低解像度になる場合に用いられることを想定している。第１の顔特徴点検出手法は、検出したい顔特徴点座標の平均的なモデル（ワイヤフレーム）を顔の向きに応じて複数種類予め備えておく。そして、特徴点検出部１０５が検出処理を行う際、顔領域に含まれている輝度値と、予め備えておいた平均的なモデル（ワイヤフレーム）と、を比較して、最も一致度が高いワイヤフレームを当てはめる。その際に、顔の向きなども考慮して、最も顔らしい箇所にワイヤフレームを当てはめる。そして、特徴点検出部１０５は、当てはめたワイヤフレームに従って、顔の特徴点を検出する。
【００３０】
特徴点検出部１０５が第１の顔特徴点検出手法を用いた場合における詳細な手順について説明する。例えば、顔の向きごとに低い解像度の顔の切り出し画像を多数切り出し、顔の向きごとにクラスタリングを行ってＫＬ展開されることで、顔の向き毎の顔パタンによる部分空間が作成される。第１の顔特徴点検出手法は、当該顔パタンによる部分空間を、顔の平均的なモデルとして保持する。そして、特徴点検出部１０５は、第１の顔特徴点検出手法を用いて検出を行う際に、入力画像から出力された顔領域が、保持している顔パタンのうち、どの顔パタンに近いかを、部分空間法を利用することで判定する。その際、顔パタンは向き毎に保持されているため、どの顔の向きに近いかも判定できる。このように、特徴点検出部１０５は、部分空間法で最も高い類似度を与えた部分空間に基づいて、顔の向きを判定し、当該向きにあわせたワイヤフレームに従って、顔の特徴点の位置を検出する。なお、第１の顔特徴点検出手法は、詳細の構造情報はみていないため、低解像度の場合に限って実行するのが好ましい。
【００３１】
第２の特徴点検出手法は、第１の顔特徴点検出手法と比べて顔特徴点の検出位置精度が良いが、後述する第３の顔特徴点検出手法と比べて、顔の部位ごとの詳細な位置あわせ精度を有していない。第２の特徴点検出手法としては、文献（Cootes.T.F、Walker.K、Taylor.C.J、“View-based active appearance models”、Image and Vision Computing 20,pp.227-232, 2002）を参考にした、いわゆるＡＡＭ（Active Appearance model）による顔の表情のトラッキングが考えられる。特徴点検出部１０５では、第２の顔特徴点検出手法を用いて顔の表情のトラッキングを行うことで、顔の特徴点となる位置を検出できる。
【００３２】
第３の顔特徴点検出手法は、顔領域の解像度が十分大きい場合に利用が可能であり、顔特徴点の形状情報や輝度分布情報を利用することで、顔の特徴点を検出する手法である。この第３の顔特徴点検出手法は、顔領域の解像度が十分大きい場合、３種類の顔特徴点検出手法のうち、最も検出位置精度の高い検出手法である。
【００３３】
第３の顔特徴点検出手法としては、文献（福井和広、山口修：「形状抽出とパタン照合の組合せによる顔特徴点抽出」, 電子情報通信学会論文誌(D), vol.J80-D-II, No.8, pp2170-2177(1997)）に示された手法が適用される。これにより目や備考、口端などの特徴点を検出できる。また、口の領域を示す特徴点の検出には、文献（湯浅 真由美、中島 朗子：「高精度顔特徴点検出に基づくデジタルメイクシステム」第１０回画像センシングシンポジウム予稿集,pp219-224(2004)）に示された手法を用いても良い。第３の顔特徴点検出手法としていずれの手法を用いた場合でも、２次元配列状の画像として取り扱える情報を取得し、当該情報から顔の特徴点を検出することができる。
【００３４】
また、本実施形態にかかる特徴点検出部１０５では、上述した各種顔特徴点検出手法で、マスク、サングラス、又は帽子を着用している場合でも顔の特徴点を検出できるように、予めサングラスやマスクや帽子で顔の一部が隠された場合の顔パタンでテンプレートを学習してもよい。また、特徴点検出部１０５が顔の特徴点検出をする際、すべての顔の特徴点が検出できない場合でも、一部の顔の特徴点が十分な評価値で検出されていれば、２次元平面、または３次元的な顔のモデルを用いて、検出された特徴点に基づいて、残りの特徴点を推測する。また、特徴点をまったく検出できないぐらいマスク、帽子又はサングラスが特徴点を隠蔽している場合、特徴点検出部１０５は、隠蔽されている場合の顔全体のパタンを予め学習しておき、検出された顔領域に対して、当該顔全体のパタンに基づいて、顔の特徴点の位置等を推測してもよい。なお、複数の顔が画像データ内に存在した場合、特徴点検出部１０５は、同様の処理をそれぞれの顔領域に対して実行することで対応可能とする。
【００３５】
特徴抽出部１０６は、特徴点検出部１０５が検出した顔の特徴点から、得られる顔の個人を識別可能な顔の特徴を示す特徴情報（以下、顔特徴情報と示す）を抽出する。これにより、複数種類の顔特徴点検出手法のいずれか一つを用いた、顔特徴情報を抽出できる。
【００３６】
特徴抽出部１０６は、顔特徴情報として、顔の各特徴を示す数列を出力する。本実施形態にかかる特徴抽出部１０６は、特徴点検出部１０５により検出された顔の特徴点の座標（顔の特徴的な部品となる位置）に基づいて、顔領域を一定の大きさ、形状に切り出し、その濃淡情報を、顔の特徴を示す特徴量として抽出する。本実施形態では、ｍピクセル×ｎピクセルの領域の濃淡値をそのまま情報として用い、ｍ×ｎ次元の情報を、特徴量ベクトルとして抽出する。
【００３７】
特徴抽出部１０６では、特徴量ベクトルと、特徴量ベクトルの長さとを、単純類似度法によりそれぞれ１とするように正規化し、内積を算出することで特徴ベクトル間の類似性を示す類似度を求める。当該手法は、文献（エルッキ・オヤ著、小川英光、佐藤誠訳、「パタン認識と部分空間法」、産業図書、1986年）で示された部分空間法を利用することで実現できる。また、文献（東芝（小坂谷達夫）：「画像認識装置、方法およびプログラム」特許公報 特開２００７−４７６７）で示された１枚の顔画像情報に対してモデルを利用して顔の向きや状態を意図的に変動させた画像データを生成することで、精度を向上させる手法を適用してもよい。これら手法を用いることで、１枚の画像データから、顔特徴情報を抽出できる。
【００３８】
一方、特徴抽出部１０６が、同一人物に対して連続した複数の画像データを用いて、動画像データによる算出をすることでより精度の高い認識処理を行っても良い。例えば、文献（福井和広、山口修、前田賢一：「動画像を用いた顔認識システム」、電子情報通信学会研究報告PRMU、 vol97、 No.113、 pp17-24(1997)）又は文献（前田賢一、渡辺貞一：「局所的構造を導入したパタン・マッチング法」、 電子情報通信学会論文誌(D)、 vol.J68-D、 No.3、pp345--352(1985)）に示された相互部分空間法を用いてもよい。これらの文献に示された相互部分空間法を用いた場合、画像入力部１０１が連続して入力処理した画像データから、特徴点検出部１０５がｍ×ｎピクセルの画像データを切り出し、これらの画像データから特徴量ベクトルの相関行列を算出し、Ｋ−Ｌ展開による正規直交ベクトルを求めることにより、連続した画像データから得られる顔の特徴情報を示す部分空間を算出する。
【００３９】
部分空間の算出法は、特徴量ベクトルの相関行列（または共分散行列）を求め、そのＫ−Ｌ展開による正規直交ベクトル（固有ベクトル）を求めることで、部分空間が算出される。部分空間は、固有値に対応する固有ベクトルを、固有値の大きな順にｋ個選択し、選択された固有ベクトル集合を用いて表現される。本実施形態では、相関行列Ｃｄを特徴ベクトルから求め、相関行列Ｃd＝ΦdΛdΦdＴと対角化して、固有ベクトルの行列Φを求める。この固有ベクトルの行列Φが、現在認識対象としている人物の顔の特徴を示す部分空間となる。本実施形態では、当該部分空間を、入力された画像データから検出された個人の顔特徴情報とする。
【００４０】
特徴抽出部１０６は、特徴点検出部１０５により特徴点検出した後に、当該特徴点に対して向き補正（三次元）、大きさ補正、及び明るさ補正を行う。向き補正とは、例えば、検出された顔の向きが左向きの場合に、予め備えた人物の顔の三次元モデルを左向きの顔を当てはめて、正面に向きを変更する補正とする。大きさ補正とは、予め基準とした顔のサイズに合わせるべく、縮小、拡大を行う補正とする。これら補正を行った後、顔特徴情報を抽出する。これにより、検出された顔の向き及び顔のサイズに関わらず、特徴抽出部１０６が抽出する顔特徴情報を統一できる。これにより、人物情報管理部１０７が管理している人物の顔特徴情報との比較が容易となる。
【００４１】
人物情報管理部１０７は、人物毎に、あらかじめ登録されている顔特徴情報を管理する。人物情報管理部１０７は、後述する認識部１０８が人物の認識処理を行う際に用いられるデータベースである。本実施形態にかかる人物情報管理部１０７は、検索対象となる個人毎に、特徴抽出部１０６で抽出された顔特徴情報、当該個人の性別、年齢、及び身長などの属性情報の他、当該人物を示す人物ＩＤや名前なども対応付けて管理する。
【００４２】
管理対象となる特徴抽出部１０６で抽出された顔特徴情報は、ｍ×ｎの特徴量ベクトルや、部分空間やＫＬ展開を行う直前の相関行列でもよい。さらに、特徴抽出部１０６で抽出された顔特徴情報を、画像入力部１０１により入力された画像データと共に、管理することで個人の検索や検索の表示が容易となる。
【００４３】
認識部１０８は、特徴抽出部１０６により抽出された顔特徴情報と、人物情報管理部１０７に記憶された顔特徴情報とに基づいて、画像入力部１０１により入力された画像データに含まれていた人物を認識する。本実施形態にかかる認識部１０８は、特徴抽出部１０６により抽出された顔特徴情報に類似する、人物情報管理部１０７に記憶された顔特徴情報を抽出し、抽出した顔特徴情報で示された人物を、カメラ１５０で撮影された候補者として認識する。
【００４４】
本実施形態にかかる認識部１０８は、特徴抽出部１０６で抽出された顔特徴情報と、人物情報管理部１０７に記憶された顔特徴情報との間の類似性を算出し、類似性が高い顔特徴情報の順に、当該顔特徴情報で表された人物に関する情報を表示部１０９に出力する。
【００４５】
認識部１０８は、処理結果としては類似性の高い顔識別情報から順に、人物情報管理部１０７で当該顔識別情報と対応付けられた人物ＩＤや算出された類似性を示す情報を出力する。その他に当該人物ＩＤと対応付けられている人物に関する様々な情報も出力しても良い。
【００４６】
また、認識部１０８は、特徴抽出部１０６が抽出した顔特徴情報と対応付けて、特徴点検出部１０５が検出に用いた顔特徴点検出手法を、特徴抽出部１０６を介して特徴点検出部１０５から取得する。そして、認識部１０８は、取得した顔特徴点検出手法を識別する情報を、当該手法で検出された顔特徴情報と対応付けて表示部１０９に出力する。
【００４７】
本実施形態にかかる類似性を示す情報は、顔特徴情報として管理されている部分空間同士の類似度とする。類似度の算出方法は、部分空間法や複合類似度法などの算出手法を用いてよい。これら算出手法では、人物情報管理部１０７に記憶された顔特徴情報、及び特徴抽出部１０６により抽出された顔特徴情報が、部分空間として表現される。そして、本実施形態では２つの部分空間のなす「角度」を類似度として定義する。そして、認識部１０８は、これら２つの部分空間に基づいて相関行列Ｃinを求めた後、Ｃin＝ΦinΛinΦinＴと対角化し、固有ベクトルΦinを求める。その後、認識部１０８は、２つのΦin，ΦinＴで表される部分空間の部分空間間類似度（０．０〜１．０）を求め、これを認識するための類似度とする。なお、具体的な算出方法については、例えば、上述した文献（エルッキ・オヤ著、小川英光、佐藤誠訳、「パタン認識と部分空間法」、産業図書、1986年）に示された手法を用いて良い。また、あらかじめ同一人物と分かる複数の顔画像をまとめて部分空間への射影によって本人であるか否かを識別することで精度を向上させてもよい。また、高速に検索するにはＴＲＥＥ構造を利用した検索方法なども利用してもよい。
【００４８】
表示部１０９は、認識部１０８により出力された、認識された候補者に関する情報を表示する。また、表示部１０９は、顔認識結果のみを表示することに制限するものではなく、人物情報管理部１０７が管理している属性情報に基づく認識結果と組み合わせて表示を行っても良い。
【００４９】
また、表示部１０９は、認識部１０８で認識された結果のうち、指定した条件と一致する人物に関する情報に限り、リアルタイムに表示してもよい。そして、指定した条件と一致しない人物に関する情報については、図示しない履歴記憶部に、履歴情報として保存してもよい。これにより、後から検索条件を指定することで、当該検索条件に一致する履歴情報を表示できる。なお、顔認識装置に対して、リアルタイム表示と検索表示とのいずれか一方のみ、又は両方を組み込んでも良い。
【００５０】
また、本実施形態にかかる表示部１０９は、候補者に関する情報を表示する際に、特徴点検出部１０５が用いた顔特徴点検出手法に基づいた、顔認証の信頼性を示した情報を表示する。本実施形態にかかる顔認識装置１００は、複数種類の顔特徴点検出手法を備えているが、手法毎に検出精度が異なる。そこで、本実施形態にかかる表示部１０９は、候補者に関する情報と共に、顔特徴点検出手法に基づいた信頼性を示す情報を表示する。
【００５１】
図５は、表示部１０９が表示する画面例を示した図である。図５に示すように表示部１０９は、画像入力部１０１により入力された画像データ群と、当該画像データに含まれていた顔領域に基づいた認識で類似度が高いと判定された候補者に関する情報と、を表示する。図５の右側欄に示すように、表示部１０９は、類似度が高い順に５番目までの候補者に関する情報を表示している。また、左側欄では、カメラ１５０で撮影された画像データのうち、人物の顔が含まれていた画像データを表示する。
【００５２】
また、表示部１０９は、人物の認証結果を表示する際に、顔の特徴点検出手法に基づいた検出信頼度を示す記号を表示する。本実施形態では、画像データに顔が大きく映っている場合には、第３の顔特徴点検出手法が利用できるため、検出された特徴点の座標についても高い精度が期待できる。このため、検出精度が高いことを示す‘○’５０３を表示する。また、画像データに顔がある程度の大きさで映っている場合には、第２の顔特徴点検出手法を利用できるため、検出精度が並程度であることを示す‘△’５０２、５０１を表示する。また、画像データに顔が小さく映っている場合には、第１の顔特徴点検出手法を利用するため、検出された特徴点の座標について、検出精度が他の２つより低いことを示す‘−’を表示する。図５及び後述する図６に示す画面の例では、各人物の顔毎に顔領域のみ表示し、特徴点座標を表示していない。これは、顔の部位を把握しやすいようにするためであり、必要に応じて顔の特徴点を表示しても良い。
【００５３】
このように、本実施形態においては、表示部１０９が表示を行う際に、顔の特徴点検出手法に応じた、検出信頼度を示す文字または記号を表示することで、利用者は、検出された顔の特徴点の位置精度が高いか否か判断することは容易となる。また、顔の特徴点の位置精度が向上するにつれて、候補者の検索精度の向上にもつながる。このため、表示された候補者の一覧の信頼度が高いか否かを判断することが容易となる。
【００５４】
また、顔特徴点検出手法に基づく基準を予め定め、当該基準を満たしている場合に限り、表示部１０９が候補者一覧を表示するように制御を行っても良い。例えば、表示部１０９は、信頼性が他の２つより低い第１の顔特徴点検出手法を用いた顔特徴点検出手法に基づく候補者の一覧は非表示とし、他の２つの顔特徴点検出手法に基づく候補者の一覧を表示するようにしても良い。これにより、信頼性が高いとみなされる候補者の一覧の表示が行われるため、信頼性を向上させることができる。
【００５５】
また、本実施形態は、図５に示す表示態様に制限するものではない。例えば、顔認識装置１００が、顔の検出結果を画面に表示する際に、カメラ１５０で撮像された画像データに対して、当該顔領域と検出の信頼度とを重畳して表示しても良い。
【００５６】
図６は、変形例にかかる表示部１０９が表示する画面例を示した図である。図６に示すように、表示部１０９は、入力された画像データのうち、検出された顔領域に対して、利用した顔特徴点検出手法に基づく検出信頼度（例えば、‘○’６０１、‘△’６０２）を表示する。これにより、ユーザは、顔領域毎に検出された顔の特徴点の検出精度について、信頼性が高いか否かを認識できる。これにより、検出履歴として格納されている、顔領域毎の候補者一覧の信頼性が高いか否かを認識できる。
【００５７】
次に、本実施形態にかかる顔認識装置１００における、人物の顔の認識処理について説明する。図７は、本実施形態にかかる顔認識装置１００における上述した処理の手順を示すフローチャートである。
【００５８】
画像入力部１０１が、カメラ１５０から画像データを入力処理する（ステップＳ７０１）。次に、顔領域検出部１０２が、入力処理された画像データから、顔領域の検出を行う（ステップＳ７０２）。
【００５９】
次に、手法選択部１０４が、検出された顔領域のサイズが所定の閾値Ｂ以上であるか否かを判定する（ステップＳ７０３）。そして、所定の閾値Ｂ未満であると判定された場合（ステップＳ７０３：Ｎｏ）、手法選択部１０４が、第１の顔特徴点検出手法を選択する（ステップＳ７０４）。そして、特徴点検出部１０５が、検出された顔領域に対して、選択された第１の顔特徴点検出手法を用いて顔の特徴点を検出する（ステップＳ７０５）。
【００６０】
一方、手法選択部１０４が、検出された顔領域のサイズが所定の閾値Ｂ以上であると判定された場合（ステップＳ７０３：Ｙｅｓ）、さらに、検出された顔領域のサイズが所定の閾値Ａ以上であるか否かを判定する（ステップＳ７０６）。なお、閾値Ａ＞閾値Ｂとする。そして、所定の閾値Ａ未満であると判定された場合（ステップＳ７０６：Ｎｏ）、手法選択部１０４が、第２の顔特徴点検出手法を選択する（ステップＳ７０７）。そして、特徴点検出部１０５が、検出された顔領域に対して、選択された第２の顔特徴点検出手法を用いて顔の特徴点を検出する（ステップＳ７０８）。
【００６１】
一方、手法選択部１０４が、検出された顔領域のサイズが所定の閾値Ａ以上であると判定された場合（ステップＳ７０６：Ｙｅｓ）、手法選択部１０４が、第３の顔特徴点検出手法を選択する（ステップＳ７０９）。そして、特徴点検出部１０５が、検出された顔領域に対して、選択された第３の顔特徴点検出手法を用いて顔の特徴点を検出する（ステップＳ７１０）。
【００６２】
そして、特徴抽出部１０６が、検出された顔の特徴点に基づいて、顔の特徴情報を抽出する（ステップＳ７１１）。その際、特徴抽出部１０６は、検出した特徴点に対して向き補正（三次元）、大きさ補正、及び明るさ補正を行っておく。これにより、画像データの顔領域毎に異なるサイズ、明るさ、顔の向きが修正される。
【００６３】
その後、認識部１０８が、特徴抽出部１０６により抽出された顔の特徴情報と、人物情報管理部１０７に記憶された顔の特徴情報に基づいて、認識処理を行い、画像データに映った人物の候補を抽出する（ステップＳ７１２）。
【００６４】
そして、表示部１０９が、抽出された候補者の一覧と、顔特徴点検出手法に基づく信頼度と、を表示する（ステップＳ７１３）。
【００６５】
（第１の実施形態の変形例）
第１の実施形態は、検出した顔領域のサイズに応じて３種類の顔特徴点検出手法から選択する例について説明した。しかしながら、サイズに応じた選択に制限するものではなく、ある顔特徴点検出手法を用いた特徴点の検出結果に応じて、他の顔特徴点検出手法に切り替える手法を組み合わせても良い。
【００６６】
上述したように、検出精度が高い顔特徴点検出手法は、低解像度に弱いという特徴を有している。そこで、本変形例では、最初に検出精度が高い顔特徴点検出手法（例えば、第３の顔特徴点検出手法）を用いて顔の特徴点を検出し、検出された顔の特徴点の位置が適切か否か判定し、適切でない場合には、検出対象の顔領域のサイズ（解像度）が適切で無かったと判断し、低解像度に強い顔特徴点検出手法（例えば、第２の顔特徴点検出手法）に切り替えていくこととした。
【００６７】
次に、本変形例にかかる顔認識装置１００における、人物の顔の認識処理について説明する。図８は、第１の実施形態の変形例にかかる顔認識装置１００における上述した処理の手順を示すフローチャートである。
【００６８】
画像入力部１０１が、カメラ１５０から画像データを入力処理する（ステップＳ８０１）。次に、顔領域検出部１０２が、入力処理された画像データから、顔領域の検出を行う（ステップＳ８０２）。
【００６９】
次に、手法選択部１０４が、検出された顔領域のサイズが所定の閾値Ａ’以上であるか否かを判定する（ステップＳ８０３）。そして、所定の閾値Ａ’以上であると判定された場合（ステップＳ８０３：Ｙｅｓ）、手法選択部１０４が、第３の顔特徴点検出手法を選択する（ステップＳ８０４）。そして、特徴点検出部１０５が、検出された顔領域に対して、選択された第３の顔特徴点検出手法を用いて顔の特徴点を検出する（ステップＳ８０５）。
【００７０】
その後、特徴抽出部１０６が、ステップＳ８０５で検出された特徴点で正規化し、顔領域に基づいた切り出し画像データを生成する（ステップＳ８０６）。そして、特徴抽出部１０６は、生成した切り出し画像データに対して、顔の特徴点の位置に関する検出評価を行う。そして、特徴抽出部１０６が、検出評価の値が、人物の平均的な顔のパタンに基づく基準値Ｃ以上であるか否かを判定する（ステップＳ８０７）。なお、閾値Ｃは実施の態様に併せて設定されるものとする。そして、閾値Ｃ以上である場合（ステップＳ８０７：Ｙｅｓ）には、ステップＳ８１４に移動する。
【００７１】
一方、ステップＳ８０７で特徴抽出部１０６が検出結果の値が基準値Ｃ未満であると判定した場合（ステップＳ８０７：Ｎｏ）、又はステップＳ８０３で手法選択部１０４が、検出された顔領域のサイズが所定の閾値Ａ’未満と判定した場合（ステップＳ８０３：Ｎｏ）、手法選択部１０４が、第２の顔特徴点検出手法を選択する（ステップＳ８０８）。そして、特徴点検出部１０５が、検出された顔領域に対して、選択された第２の顔特徴点検出手法を用いて顔の特徴点を検出する（ステップＳ８０９）。
【００７２】
その後、特徴抽出部１０６が、ステップＳ８０９で検出された特徴点で正規化し、顔領域に基づいた切り出し画像データを生成する（ステップＳ８１０）。そして、特徴抽出部１０６は、生成した切り出し画像データに対して、顔の特徴点の位置に関する検出評価を行う。そして、特徴抽出部１０６が、検出評価の値が、人物の平均的な顔のパタンに基づく基準値Ｃ以上であるか否かを判定する（ステップＳ８１１）。そして、基準値Ｃ以上である場合（ステップＳ８１１：Ｙｅｓ）、ステップＳ８１４に移動する。
【００７３】
一方、ステップＳ８１１で特徴抽出部１０６が検出結果の値が基準値Ｃ未満であると判定した場合（ステップＳ８１１：Ｎｏ）、手法選択部１０４が、第１の顔特徴点検出手法を選択する（ステップＳ８１２）。そして、特徴点検出部１０５が、検出された顔領域に対して、選択された第１の顔特徴点検出手法を用いて顔の特徴点を検出する（ステップＳ８１３）。
【００７４】
そして、特徴抽出部１０６が、検出された顔の特徴点に基づいて、顔の特徴情報を抽出する（ステップＳ８１４）。その際、特徴抽出部１０６は、検出した特徴点に対して向き補正（三次元）、大きさ補正、及び明るさ補正を行っておく。これにより、画像データの顔領域毎に異なるサイズ、明るさ、顔の向きが修正される。
【００７５】
その後、認識部１０８が、特徴抽出部１０６により抽出された顔の特徴情報と、人物情報管理部１０７に記憶された顔の特徴情報に基づいて、認識処理を行い、画像データに映った人物の候補を抽出する（ステップＳ８１５）。
【００７６】
そして、表示部１０９が、抽出された候補者の一覧と、顔特徴点検出手法に基づく信頼度と、を表示する（ステップＳ８１６）。
【００７７】
上述した処理手順により、検出した顔領域に対して適切な顔特徴点検出手法を用いて、顔の特徴点の検出が可能となる。これにより、人物の認識の精度を向上させることができる。
【００７８】
（第２の実施形態）
第１の実施形態では、選択された顔特徴点検出手法を用いて、顔の特徴点を検出する例について説明した。しかしながら、選択された一つの顔特徴点検出手法を用いるのではなく、複数の顔特徴点検出手法を組み合わせて用いても良い。そこで、第２の実施形態では、複数の顔特徴点検出手法を組み合わせて用いる例について説明する。
【００７９】
図９は、第２の実施形態にかかる顔認識装置９００の構成を示すブロック図である。本実施形態にかかる顔認識装置９００は、上述した第１の実施形態にかかる顔認識装置１００とは、手法選択部１０４とは処理が異なる手法選択部９０１に変更され、特徴点検出部１０５とは処理が異なる特徴点検出部９０２に変更されている点で異なる。以下の説明では、上述した第１の実施形態と同一の構成要素には同一の符号を付してその説明を省略している。
【００８０】
手法選択部９０１は、顔領域検出部１０２により検出された顔領域の画像サイズに基づいて、第１の顔特徴点検出手法と第２の顔特徴点検出手法との組み合わせ、及び第２の顔特徴点検出手法と第３の顔特徴点検出手法との組み合わせのうち、どちらの組み合わせで顔の特徴点の検出を行うかを選択する。本実施形態では、顔領域を表す矩形の頂点の座標から横幅及び縦幅を示す画素数を算出し、算出した画素数が所定の閾値Ａ’’以上であるか否かに基づいて、顔特徴点検出手法の組み合わせを選択する。
【００８１】
特徴点検出部９０２は、手法選択部９０１で選択された顔特徴点検出手法の組み合わせを用いて、顔領域検出部１０２により検出された顔領域から、目、鼻などの顔部位の位置を顔の特徴点として検出する。
【００８２】
特徴点検出部９０２は、検出された顔領域から、顔の部位を顔の特徴点として検出する際、顔領域の大きさの違いにあわせて異なる複数の顔特徴点検出手法を組み合わせて処理をする。
【００８３】
また、特徴点検出部９０２は、低解像度でも顔の特徴点を検出しやすい顔特徴点検出手法を用いて顔特徴点の検出を行ったのち、各特徴点の周辺の所定領域を上限としてより高い検出位置精度をもつ顔特徴点検出手法を用いて顔の特徴点の位置を補正する。これにより、個人を特定する認識精度の低下をおさえながら低い解像度の顔画像が入力された場合にも精度良く顔認識処理をすることを可能とする。
【００８４】
特徴点検出部９０２は、第１の特徴点前段検出部９１１と、第２の特徴点後段検出部９１２と、第２の特徴点前段検出部９１３と、第３の特徴点後段検出部９１４と、を備える。
【００８５】
第１の特徴点前段検出部９１１は、前段処理として、第１の顔特徴点検出手法を用いて、顔領域検出部１０２により検出された顔領域から、顔の特徴点を検出する。
【００８６】
第２の特徴点後段検出部９１２は、後段処理として、第２の顔特徴点検出手法を用いて、第１の特徴点前段検出部９１１に検出された顔の特徴点の周辺の所定の領域に対して、顔の特徴点を検出する。
第２の特徴点前段検出部９１３は、前段処理として、第２の顔特徴点検出手法を用いて、顔領域検出部１０２により検出された顔領域から、顔の特徴点を検出する。
【００８７】
第３の特徴点後段検出部９１４は、後段処理として、第３の顔特徴点検出手法を用いて、第１の特徴点前段検出部９１１に検出された顔の特徴点の周辺の所定の領域に対して、顔の特徴点を検出する。
【００８８】
例えば、第３の顔特徴点検出手法は、顔領域の形状情報や輝度分布情報に基づいて、顔の特徴点を検出するが、詳細に検出処理を行うため処理負担が大きい。そこで、特徴点検出部９０２では、第２の特徴点前段検出部９１３が、第２の特徴点検出手法を用いて、顔の特徴点を検出し、第３の特徴点後段検出部９１４が、検出した顔の特徴点の周辺の所定領域に限って第３の顔特徴点検出手法で顔の特徴点の検出を行う。これにより、処理負担を軽減した上で、顔特徴点の位置の特定精度を向上させることができる。なお、特徴点の周辺となる所定の領域は、実施の態様によって予め定められるものとする。
【００８９】
同様に、第１の特徴点前段検出部９１１は、第１の特徴点検出手法を用いて、特徴点や、顔の向き等を検出し、第２の特徴点後段検出部９１２が、検出された顔の向きに基づいて顔の特徴点の初期位置を当てはめ、当該初期位置の周辺の所定領域に限って第２の顔特徴点検出手法を用いて、顔の特徴点の検出を行う。これにより、処理負担を軽減した上で、顔特徴点の位置の特定精度を向上させることができる。
【００９０】
なお、本実施形態では、複数の組合せの例として、２種類の顔特徴点検出手法を組み合わせる例について説明したが、３種類以上の顔特徴点検出手法を組み合わせて特徴点の検出を行っても良い。
【００９１】
なお、本実施形態にかかる顔認識装置９００の特徴点検出部９０２は、前段の顔特徴点検出手法を用いて、顔の特徴点の検出を行った後、後段の顔の特徴点検出による位置の補正が必要か否かの検証を行ってもよい。そして、当該検証の結果、後段の顔の特徴点検出による位置の補正が必要と判定された場合に、後段の顔特徴点検出手法を用いて、補正を行う。本実施形態では、特徴点検出部９０２が、前段及び後段の顔特徴点検出手法のそれぞれを用いた顔の特徴点の検出結果をもとに、Ｍ×Ｎ画素で構成される顔領域の正規化切り出し画像を生成し、正規化切り出し画像のパタンと、人物の平均的な顔のパタンとして予め学習されたパタンと、の類似度を算出し、算出された類似度が所定の類似度以上とならなかった場合に、後段の顔特徴点検出手法を用いて、顔の特徴点の位置の補正を行う。
【００９２】
次に、本実施形態にかかる顔認識装置９００における、人物の顔の認識処理について説明する。図１０は、本実施形態にかかる顔認識装置９００における上述した処理の手順を示すフローチャートである。
【００９３】
画像入力部１０１が、カメラ１５０から画像データを入力処理する（ステップＳ１００１）。次に、顔領域検出部１０２が、入力処理された画像データから、顔領域の検出を行う（ステップＳ１００２）。
【００９４】
次に、手法選択部９０１が、検出された顔領域のサイズが所定の閾値Ａ’’以上であるか否かを判定する（ステップＳ１００３）。そして、所定の閾値Ａ’’未満であると判定された場合（ステップＳ１００３：Ｎｏ）、手法選択部９０１が、第１の顔特徴点検出手法及び第２の顔特徴点検出手法の組み合わせを選択する（ステップＳ１００４）。そして、第１の特徴点前段検出部９１１が、検出された顔領域に対して、選択された第１の顔特徴点検出手法を用いて顔の特徴点を検出する（ステップＳ１００５）。
【００９５】
その後、特徴点検出部９０２が、検出された顔の特徴点に対して、位置の補正が必要か否かを判定する（ステップＳ１００６）。当該位置の補正が必要か否かの判定手法としては、どのような手法を用いても良いが、本実施形態では上述したように、予め学習されたパタンとの間で算出された類似度に基づいて、判定する。そして、位置の補正が必要ないと判定した場合（ステップＳ１００６：Ｎｏ）、ステップＳ１０１２に移動する。
【００９６】
一方、特徴点検出部９０２が位置の補正が必要と判定した場合（ステップＳ１００６：Ｙｅｓ）、さらに、第２の特徴点後段検出部９１２が、ステップＳ１００５で検出された特徴点の周辺の所定の領域に対して、第２の顔特徴点検出手法を用いて、顔の特徴点の検出、つまり位置の修正を行う（ステップＳ１００７）。
【００９７】
また、ステップＳ１００３で、手法選択部９０１が、検出された顔領域のサイズが所定の閾値Ａ’’以上であると判定した場合（ステップＳ１００３：Ｙｅｓ）、手法選択部９０１が、第２の顔特徴点検出手法及び第３の顔特徴点検出手法の組み合わせを選択する（ステップＳ１００８）。そして、第２の特徴点前段検出部９１３が、検出された顔領域に対して、選択された第２の顔特徴点検出手法を用いて顔の特徴点を検出する（ステップＳ１００９）。
【００９８】
その後、特徴点検出部９０２が、検出された顔の特徴点に対して、位置の補正が必要か否かを判定する（ステップＳ１０１０）。そして、位置の補正が必要ないと判定した場合（ステップＳ１０１０：Ｎｏ）、ステップＳ１０１２に移動する。
【００９９】
一方、特徴点検出部９０２が位置の補正が必要と判定した場合（ステップＳ１０１０：Ｙｅｓ）、さらに、第３の特徴点後段検出部９１４が、ステップＳ１００９で検出された特徴点の周辺の所定の領域に対して、第３の顔特徴点検出手法を用いて、顔の特徴点の検出、つまり位置の修正を行う（ステップＳ１０１１）。
【０１００】
そして、特徴抽出部１０６が、検出された顔の特徴点に基づいて、顔の特徴情報を抽出する（ステップＳ１０１２）。その際、特徴抽出部１０６は、検出した特徴点に対して向き補正（三次元）、大きさ補正、及び明るさ補正を行っておく。これにより、画像データの顔領域毎に異なるサイズ、明るさ、顔の向きが修正される。
【０１０１】
その後、認識部１０８が、特徴抽出部１０６により抽出された顔の特徴情報と、人物情報管理部１０７に記憶された顔の特徴情報に基づいて、認識処理を行い、画像データに映った人物の候補を抽出する（ステップＳ１０１３）。
【０１０２】
そして、表示部１０９が、抽出された候補者の一覧と、顔特徴点検出手法に基づく信頼度と、を表示する（ステップＳ１０１４）。
【０１０３】
上述した処理手順により、顔領域のサイズに応じて顔特徴点検出手法を異ならせた上で、複数の顔特徴点検出手法を組み合わせて顔の特徴点の検出を行うことができる。これにより、顔の特徴点の位置の検出精度を向上させると共に、精度は高いが処理負担の大きい顔特徴点検出手法が使用される領域は所定の領域に限られるため、処理負担を軽減できる。
【０１０４】
なお、本実施形態にかかる表示部１０９は、候補者に関する情報を表示する際に、特徴点検出部９０２が用いた顔特徴点検出手法に基づいた、顔認証の信頼性を示した情報を表示する。例えば、表示部１０９は、後段の検出処理を行った場合には後段の顔特徴点検出手法に基づいた信頼性を示す情報を表示する。表示部１０９は、前段の検出処理のみ行った場合、前段の顔特徴点検出手法に基づいた信頼性を表示しても良いし、位置の補正が必要ないと判断された以上、後段の特徴点検出手法と同等の信頼性を表示しても良い。
【０１０５】
また、本実施形態では、顔領域のサイズ（解像度）によって、顔特徴点検出手法の組み合わせを切り替える例について説明したが、顔領域のサイズによって切り替えることを必ず行う必要があるものではない。例えば、顔領域のサイズにかかわらず、常に低解像度に対応した顔特徴点検出手法から順に顔の特徴点の検出処理を行うようにしてもよい。
【０１０６】
このように、第２の実施形態にかかる顔認識装置９００では、低解像度の画像であっても顔の特徴点検出の位置が極端に誤ることを抑えることができるとともに、可能なかぎり位置精度を高めることができる。
【０１０７】
（第２の実施形態の変形例）
なお、このような複数の顔特徴点検出手法を組み合わせた手法は、第２の実施形態で示したような後段の顔特徴点検出手法を、前段の顔特徴点検出手法で検出された顔特徴点の位置を基準に所定領域内に限って検出を行うことに制限するものではない。
【０１０８】
例えば、後段の顔特徴点検出手法でも所定の領域より広い領域（例えば顔領域全体）に対して顔の特徴点の検出を行ってもよい。この場合、当該後段の顔特徴点検出手法で得られた検出座標と、前段の顔特徴点検出手法で得られた検出座標と、を比較し、後段の検出座標が前段の検出座標から所定領域内の誤差であれば後段の検出結果を利用し、所定領域以上離れている場合、前段の顔特徴点検出手法を維持する手法が考えられる。
【０１０９】
以上の第１〜第２の実施形態により、画像データ内の顔領域のサイズ等に応じて、適切な顔特徴点検出手法を選択することで、顔の認識精度の低下を抑止することが可能となる。
【０１１０】
図１１は、上述した実施形態にかかる顔認識装置１００、９００のハードウェア構成を示した図である。図１１に示すように、顔認識装置１００、９００は、ＣＰＵ１１０１と、ＲＯＭ（Read Only Memory）１１０２と、ＲＡＭ１１０３と、通信Ｉ／Ｆ１１０４と、ＨＤＤ１１０５と、表示装置１１０６と、キーボードやマウスなどの入力デバイス１１０７と、これらを接続するバス１１０８と、を備えており、通常のコンピュータを利用したハードウェア構成となっている。
【０１１１】
本実施形態の顔認識装置１００、９００で実行される顔認識プログラムは、インストール可能な形式又は実行可能な形式のファイルでＣＤ−ＲＯＭ、フレキシブルディスク（ＦＤ）、ＣＤ−Ｒ、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ）等のコンピュータで読み取り可能な記録媒体に記録されて提供される。
【０１１２】
また、本実施形態の顔認識装置１００、９００で実行される顔認識プログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成しても良い。また、本実施形態の顔認識装置１００、９００で実行される顔認識プログラムをインターネット等のネットワーク経由で提供または配布するように構成しても良い。
【０１１３】
また、本実施形態の顔認識プログラムを、ＲＯＭ等に予め組み込んで提供するように構成してもよい。
【０１１４】
本実施形態の顔認識装置１００、９００で実行される顔認識プログラムは、上述した各構成を含むモジュール構成となっており、実際のハードウェアとしてはＣＰＵ１１０１が上記記憶媒体から顔認識プログラムを読み出して実行することにより上記各構成がＲＡＭ１１０３上にロードされ、上記各構成がＲＡＭ１１０３上に生成される。
【０１１５】
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【符号の説明】
【０１１６】
１００、９００…顔認識装置、１０１…画像入力部、１０２…顔領域検出部、１０３…手法保持部、１０４、９０１…手法選択部、１０５、９０２…特徴点検出部、１０６…特徴抽出部、１０７…人物情報管理部、１０８…認識部、１０９…表示部、１５０…カメラ、９１１…第１の特徴点前段検出部、９１２…第２の特徴点後段検出部、９１３…第１の特徴点前段検出部、９１４…第３の特徴点後段検出部
【特許請求の範囲】
【請求項１】
人物毎に、当該人物の顔の特徴が表された顔特徴情報を記憶する記憶手段と、
人物の少なくとも顔を含む画像情報を入力する入力手段と、
前記入力手段により入力された前記画像情報から、人物の顔が表された顔領域を検出する顔検出手段と、
前記顔検出手段により検出された前記顔領域から顔の特徴を検出処理する検出手法を、検出処理の粗さの違いに基づいて複数保持する保持手段と、
前記保持手段により保持された前記複数の検出手法のうち、いずれか１つ以上を用いて、前記顔検出手段により検出された前記顔領域から、顔の特徴を示した特徴情報を抽出する抽出手段と、
前記抽出手段により抽出された前記特徴情報と、前記記憶手段に記憶された前記顔特徴情報とに基づいて、前記入力手段により入力された前記画像情報に含まれていた人物を認識する認識手段と、
を備える顔認識装置。
【請求項２】
前記顔検出手段により検出された前記顔領域の解像度に基づいて、前記保持手段が保持する前記検出手法から選択する選択手段を、さらに備え、
前記抽出手段は、前記選択手段により選択された前記検出手法を用いて、前記顔検出手段により検出された前記顔領域から、特徴情報を抽出する、
請求項１に記載の顔認識装置。
【請求項３】
前記抽出手段は、前記保持手段が保持する複数の検出手法のうち、一つの前記検出手法を用いて検出した顔の特徴が、平均的な顔のパタンに基づく基準を満たしているか判定し、当該基準を満たしていない場合、さらに検出処理が粗い前記検出手法を用いて、特徴情報を抽出する、
請求項１又は２に記載の顔認識装置。
【請求項４】
前記抽出手段は、前記保持手段により保持された複数の検出手法に含まれる、第１の検出手法を用いて、前記顔検出手段により検出された前記顔領域から、顔の特徴が示された位置を検出したのち、当該位置の周辺の領域に対して、前記第１の検出手法より検出処理が細かい第２の検出手法を用いて、前記顔の特徴情報を抽出する、
請求項１に記載の顔認識装置。
【請求項５】
前記抽出手段は、前記保持手段により保持された複数の検出手法に含まれる、第１の検出手法を用いて顔の特徴が示された位置を検出した後、検出した位置が所定の基準を満たしているか否かを判定し、前記所定の基準を満たしていない場合に、前記第２の検出手法で検出処理を行う、
請求項４に記載の顔認識装置。
【請求項６】
前記認識手段により認識された人物を示す情報を表示する際に、前記抽出手段で用いた前記検出手法に基づいた、顔認証の信頼性を示した情報を表示する表示手段を、さらに備えた、
請求項１乃至５のいずれか一つに記載の顔認識装置。
【請求項７】
顔認識装置で実行される顔認識方法であって、
前記顔認識装置は、
人物毎に、当該人物の顔の特徴が表された顔特徴情報を記憶する記憶手段と、
前記顔検出手段により検出された前記顔領域から顔の特徴を検出処理する検出手法を、検出処理の粗さの違いに基づいて複数記憶する手法記憶手段と、を備え、
入力手段が、人物の少なくとも顔を含む画像情報を入力する入力ステップと、
顔検出手段が、前記入力ステップにより入力された前記画像情報から、人物の顔が表された顔領域を検出する顔検出ステップと、
前記抽出手段が、前記手法記憶手段により保持された前記複数の検出手法のうち、いずれか１つ以上を用いて、前記顔検出ステップにより検出された前記顔領域から、顔の特徴を示した特徴情報を抽出する抽出ステップと、
認識手段が、前記抽出ステップにより抽出された前記特徴情報と、前記記憶手段に記憶された前記顔特徴情報とに基づいて、前記入力ステップにより入力された前記画像情報に含まれていた人物を認識する認識ステップと、
を含むことを特徴とする顔認識方法。
【請求項１】
人物毎に、当該人物の顔の特徴が表された顔特徴情報を記憶する記憶手段と、
人物の少なくとも顔を含む画像情報を入力する入力手段と、
前記入力手段により入力された前記画像情報から、人物の顔が表された顔領域を検出する顔検出手段と、
前記顔検出手段により検出された前記顔領域から顔の特徴を検出処理する検出手法を、検出処理の粗さの違いに基づいて複数保持する保持手段と、
前記保持手段により保持された前記複数の検出手法のうち、いずれか１つ以上を用いて、前記顔検出手段により検出された前記顔領域から、顔の特徴を示した特徴情報を抽出する抽出手段と、
前記抽出手段により抽出された前記特徴情報と、前記記憶手段に記憶された前記顔特徴情報とに基づいて、前記入力手段により入力された前記画像情報に含まれていた人物を認識する認識手段と、
を備える顔認識装置。
【請求項２】
前記顔検出手段により検出された前記顔領域の解像度に基づいて、前記保持手段が保持する前記検出手法から選択する選択手段を、さらに備え、
前記抽出手段は、前記選択手段により選択された前記検出手法を用いて、前記顔検出手段により検出された前記顔領域から、特徴情報を抽出する、
請求項１に記載の顔認識装置。
【請求項３】
前記抽出手段は、前記保持手段が保持する複数の検出手法のうち、一つの前記検出手法を用いて検出した顔の特徴が、平均的な顔のパタンに基づく基準を満たしているか判定し、当該基準を満たしていない場合、さらに検出処理が粗い前記検出手法を用いて、特徴情報を抽出する、
請求項１又は２に記載の顔認識装置。
【請求項４】
前記抽出手段は、前記保持手段により保持された複数の検出手法に含まれる、第１の検出手法を用いて、前記顔検出手段により検出された前記顔領域から、顔の特徴が示された位置を検出したのち、当該位置の周辺の領域に対して、前記第１の検出手法より検出処理が細かい第２の検出手法を用いて、前記顔の特徴情報を抽出する、
請求項１に記載の顔認識装置。
【請求項５】
前記抽出手段は、前記保持手段により保持された複数の検出手法に含まれる、第１の検出手法を用いて顔の特徴が示された位置を検出した後、検出した位置が所定の基準を満たしているか否かを判定し、前記所定の基準を満たしていない場合に、前記第２の検出手法で検出処理を行う、
請求項４に記載の顔認識装置。
【請求項６】
前記認識手段により認識された人物を示す情報を表示する際に、前記抽出手段で用いた前記検出手法に基づいた、顔認証の信頼性を示した情報を表示する表示手段を、さらに備えた、
請求項１乃至５のいずれか一つに記載の顔認識装置。
【請求項７】
顔認識装置で実行される顔認識方法であって、
前記顔認識装置は、
人物毎に、当該人物の顔の特徴が表された顔特徴情報を記憶する記憶手段と、
前記顔検出手段により検出された前記顔領域から顔の特徴を検出処理する検出手法を、検出処理の粗さの違いに基づいて複数記憶する手法記憶手段と、を備え、
入力手段が、人物の少なくとも顔を含む画像情報を入力する入力ステップと、
顔検出手段が、前記入力ステップにより入力された前記画像情報から、人物の顔が表された顔領域を検出する顔検出ステップと、
前記抽出手段が、前記手法記憶手段により保持された前記複数の検出手法のうち、いずれか１つ以上を用いて、前記顔検出ステップにより検出された前記顔領域から、顔の特徴を示した特徴情報を抽出する抽出ステップと、
認識手段が、前記抽出ステップにより抽出された前記特徴情報と、前記記憶手段に記憶された前記顔特徴情報とに基づいて、前記入力ステップにより入力された前記画像情報に含まれていた人物を認識する認識ステップと、
を含むことを特徴とする顔認識方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【公開番号】特開２０１３−６５１１８（Ｐ２０１３−６５１１８Ａ）
【公開日】平成２５年４月１１日（２０１３．４．１１）
【国際特許分類】
【出願番号】特願２０１１−２０２４５４（Ｐ２０１１−２０２４５４）
【出願日】平成２３年９月１５日（２０１１．９．１５）
【出願人】（０００００３０７８）株式会社東芝 (54,554)
【Ｆターム（参考）】
【公開日】平成２５年４月１１日（２０１３．４．１１）
【国際特許分類】
【出願日】平成２３年９月１５日（２０１１．９．１５）
【出願人】（０００００３０７８）株式会社東芝 (54,554)
【Ｆターム（参考）】
[ Back to top ]