顔認識装置及び顔認識方法
【課題】撮影して得られた画像から人物の顔等の被写体の所定領域を高い精度で認識することができる顔認識装置及び顔認識方法を提供する。
【解決手段】人物を撮影する撮影部１０１と、撮影された画像から人物の顔を検出する顔検出部１０２と、検出された顔内の特徴点位置を検出する特徴点位置検出部１０４と、検出された特徴点位置での特徴量を抽出する特徴量抽出部１０５と、検出された特徴点位置の間隔から撮影部１０１と顔との間の距離を推定する距離推定部１０６と、距離推定部１０６で推定された距離に応じて特徴量抽出部１０５で抽出された特徴量を更新する特徴量更新部１０７と、更新された特徴量をデータベース１０９に保持されている特徴量と比較し検索する検索部１１０と、を備え、検索部１１０での検索結果に基づき顔を認識する。これにより、撮影して得られた画像から人物の顔を高い精度で認識することができる。
【解決手段】人物を撮影する撮影部１０１と、撮影された画像から人物の顔を検出する顔検出部１０２と、検出された顔内の特徴点位置を検出する特徴点位置検出部１０４と、検出された特徴点位置での特徴量を抽出する特徴量抽出部１０５と、検出された特徴点位置の間隔から撮影部１０１と顔との間の距離を推定する距離推定部１０６と、距離推定部１０６で推定された距離に応じて特徴量抽出部１０５で抽出された特徴量を更新する特徴量更新部１０７と、更新された特徴量をデータベース１０９に保持されている特徴量と比較し検索する検索部１１０と、を備え、検索部１１０での検索結果に基づき顔を認識する。これにより、撮影して得られた画像から人物の顔を高い精度で認識することができる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、防犯や重要顧客の来客管理等のカメラシステムに用いられ、人物等の被写体を撮影して該被写体の認識を行う顔認識装置及び顔認識方法に関する。
【背景技術】
【０００２】
従来、連続した複数の顔画像を用いて顔認証することで個人を識別する技術として、例えば特許文献１〜３で明示されたものがある。まず特許文献１には、歩行者の顔面を安定して撮影できるカメラの設置及び撮影条件が明示されている。
【０００３】
図２５は、特許文献１に明示された歩行者観測装置の設置例を示す図である。同図は建物などの入り口を上から俯瞰（ふかん：高い所から見下ろすこと）した図である。人は入り口（左右両側の壁４００１の間）に向かって（矢印４００２で示す向きに）移動する。左右両側の壁４００１を結ぶ入り口の通過ライン４００３を跨ぐ位置に、幅Ａ、高さＢの必須観測領域４００４を設定し、また必須観測領域４００４の中央に通過ライン４００３を設定している。通過ライン４００３に対し、人の移動方向である矢印４００２方向にカメラ４００５の向き及び画角θが設定されている。またカメラ４００５の焦点距離が同図に示すｆからｆ＋Ｄに設定されている。“カメラ設置位置”、“カメラの向き及び画角”、“カメラの焦点距離”の条件を設定することにより、カメラ４００５は必須観測領域４００４を撮影範囲内に収め、この撮影範囲内で焦点距離があった画像を撮影することができる。これにより、必須観測領域４００４を通過する人物の顔を安定して撮影することが可能となる。なお、特許文献１には、同一人物に対し、複数のカメラにより撮影した顔向きが異なる複数枚の画像のそれぞれを顔認識することで、個人の識別精度を向上させるという記載がある。
【０００４】
一方、特許文献２及び特許文献３には、同一人物に対し、複数のカメラにより撮影した顔向きの異なる複数枚の画像からアフィン変換やフィールドモーフィングにより人物の正面画像を合成し、その結果を用いて顔認証を行うことにより、個人識別を行う方法が明示されている。
【０００５】
図２６は、特許文献２に明示された顔特徴合成を説明するための図である。同図の（Ａ）及び（Ｂ）は同一人物を異なるカメラから撮影した異なる顔向きの顔画像である。これらの（Ａ）及び（Ｂ）の画像に対し、顔特徴点探索により同図中で×印で示す顔の特徴点を検出する。そして、検出した顔特徴点位置に基づき、アフィン変換により図２６の（Ｃ）に示す正面画像を合成し、合成した正面画像を用いて顔認識を行うことにより、個人識別を行う。
【０００６】
特許文献３では、アフィン変換ではなくフィールドモーフィングにより正面画像を合成し、合成した正面画像を用いて顔認識を行うことにより、個人識別を行う。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２００１−０１６５７３号公報
【特許文献２】特開２００６−１４６３２３号公報
【特許文献３】特開２００９−０２５８７４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
しかしながら、上述した従来の顔認識技術には以下に示す課題がある。
特許文献１は、単に歩行者の顔面を安定して撮影できるカメラの設置及び撮影条件を明示しているにすぎず、明示された位置及び向きにカメラを設置できない場合や、明示された撮影条件では撮影できない場合があり、そのような場合、顔面を安定して撮影することができない。その結果、顔認識がうまく行かず個人識別の精度が低下してしまう。なお、同公報では、複数のカメラにより撮影した顔向きが異なる複数枚の画像からそれぞれ顔認識により個人識別し、その結果を用いて識別精度を向上させるとしているが、同結果をどのように用いて認識精度を向上されるかまでは明示されていない。
【０００９】
特許文献２及び特許文献３では、検出した顔特徴点位置に基づきアフィン変換又はフィールドモーフィングにより正面画像を合成し、合成した正面画像を用いて顔認識を行うことにより個人識別を行っているが、顔の向きによっては顔特徴点を正確に検出することができない場合があり、そのような場合、正確な正面画像を得ることが難しく、特許文献１の場合と同様に個人識別の精度が低下してしまう。
【００１０】
本発明は、係る事情に鑑みてなされたものであり、精度の高い認識が可能な顔認識装置及び顔認識方法を提供することを目的とする。
【課題を解決するための手段】
【００１１】
本発明の顔認識装置は、被写体を撮影する撮影部と、前記撮影部での撮影結果としての画像から前記被写体の所定の領域を検出する領域検出部と、前記領域検出部で検出された前記所定の領域内の特徴量を抽出する特徴量抽出部と、前記撮影部と前記所定の領域との間の距離を推定する距離推定部と、前記特徴量抽出部で抽出された前記特徴量を前記距離推定部で推定された前記距離に応じて更新する特徴量更新部と、を備えることを特徴とする。
【００１２】
上記構成によれば、距離推定部が撮影部と被写体との間の距離を推定し、その距離に応じて、特徴量更新部が特徴量を更新するので、被写体の所定領域を高い精度で認識することができる。
【００１３】
上記構成において、前記特徴量更新部で更新された前記特徴量を予め保持されている特徴量と比較し検索する検索部を備え、前記検索部での検索結果に基づき前記所定の領域を認識する。
【００１４】
上記構成において、前記所定の領域内の特徴点位置を検出する特徴点位置検出部を備え、前記距離推定部は前記特徴点位置検出部で検出された前記特徴点位置の間隔から前記撮影部と前記所定の領域との間の距離を推定する。
【００１５】
本発明の顔認識装置は、人物を撮影する撮影部と、前記撮影部での撮影結果としての画像から前記人物の顔を検出する顔検出部と、前記顔検出部で検出された前記顔内の特徴点位置を検出する特徴点位置検出部と、前記特徴点位置検出部で検出された前記特徴点位置での特徴量を抽出する特徴量抽出部と、前記撮影部と前記顔との間の距離を推定する距離推定部と、前記特徴量抽出部で抽出された前記特徴量を前記距離推定部で推定された前記距離に応じて更新する特徴量更新部と、前記特徴量更新部で更新された前記特徴量を予め保持されている特徴量と比較し検索する検索部と、を備え、前記検索部での検索結果に基づき前記顔を認識する。
【００１６】
上記構成によれば、距離推定部が撮影部と人物の顔との間の距離を推定し、その距離に応じて、特徴量更新部が顔内の特徴点位置での特徴量を更新し、検索部が特徴量更新部で更新された特徴量と予め保持されている特徴量を比較検索するので、人物の顔を高い精度で認識することができる。
【００１７】
上記構成において、前記距離推定部は前記特徴点位置検出部で検出された前記特徴点位置の間隔から前記撮影部と前記顔との間の距離を推定する。
【００１８】
本発明の顔認識装置は、人物を撮影する撮影部と、前記撮影部での撮影結果としての画像から前記人物の顔を検出する顔検出部と、前記顔検出部で検出された前記顔内の特徴点位置を検出する特徴点位置検出部と、前記特徴点位置検出部で検出された前記特徴点位置での特徴量を抽出する特徴量抽出部と、前記特徴点位置検出部で検出された前記特徴点位置の間隔から前記撮影部と前記顔との間の距離を推定する距離推定部と、前記顔の向きを推定する角度推定部と、前記特徴量抽出部で抽出された前記特徴量を前記距離推定部で推定された前記距離及び前記角度推定部で推定された前記顔の向きに応じて更新する特徴量更新部と、前記特徴量更新部で更新された前記特徴量を予め保持されている特徴量と比較し検索する検索部と、を備え、前記検索部での検索結果に基づき前記顔を認識する。
【００１９】
上記構成によれば、距離推定部が撮影部と人物の顔との間の距離を推定し、また角度推定部が顔の向きを推定し、推定された距離と顔の向きに応じて、特徴量更新部が顔内の特徴点位置での特徴量を更新し、検索部が特徴量更新部で更新された特徴量と予め保持されている特徴量を比較検索するので、人物の顔を高い精度で認識することができる。特に、顔の向きを考慮するので、更に高い精度で認識することができる。
【００２０】
上記構成において、前記角度推定部は前記特徴点位置検出部で検出された前記特徴点位置の位置関係から前記顔の向きを推定する。
【００２１】
本発明の顔認識装置は、人物を撮影する撮影部と、前記撮影部での撮影結果としての画像から前記人物の顔を検出する顔検出部と、前記顔検出部で検出された前記顔内の特徴点位置を検出する特徴点位置検出部と、前記特徴点位置検出部で検出された前記特徴点位置での特徴量を抽出する特徴量抽出部と、前記特徴点位置検出部で検出された前記特徴点位置の間隔から前記撮影部と前記顔との間の距離を推定する距離推定部と、前記特徴点位置検出部で検出された前記特徴点位置での明度を検出する明度検出部と、前記特徴量抽出部で抽出された前記特徴量を前記距離推定部で推定された前記距離及び前記明度検出部で検出された前記特徴点位置での明度に応じて更新する特徴量更新部と、前記特徴量更新部で更新された前記特徴量を予め保持されている特徴量と比較し検索する検索部と、を備え、前記検索部での検索結果に基づき前記顔を認識する。
【００２２】
上記構成によれば、距離推定部が撮影部と人物の顔との間の距離を推定し、また明度検出部が顔内の特徴点位置での明度を検出し、推定された距離と検出された明度に応じて、特徴量更新部が顔内の特徴点位置での特徴量を更新し、検索部が特徴量更新部で更新された特徴量と予め保持されている特徴量を比較検索するので、人物の顔を高い精度で認識することができる。特に、特徴点位置での明度を考慮するので、更に高い精度で認識することができる。
【００２３】
本発明の顔認識方法は、被写体を撮影する撮影ステップと、前記撮影ステップでの撮影結果としての画像から前記被写体の所定の領域を検出する領域検出ステップと、前記領域検出ステップで検出された前記所定の領域内の特徴量を抽出する特徴量抽出ステップと、前記撮影ステップと前記所定の領域との間の距離を推定する距離推定ステップと、前記特徴量抽出ステップで抽出された前記特徴量を前記距離推定ステップで推定された前記距離に応じて更新する特徴量更新ステップと、を備えることを特徴とする。
【００２４】
上記方法によれば、距離推定ステップで撮影部と被写体との間の距離を推定し、その距離に応じて、特徴量更新ステップで特徴量を更新するので、被写体の所定領域を高い精度で認識することができる。
【発明の効果】
【００２５】
本発明によれば、撮影して得られた画像から人物の顔等の被写体の所定領域を高い精度で認識することができる。
【図面の簡単な説明】
【００２６】
【図１】本発明の実施の形態１に係る顔認識装置の概略構成を示すブロック図
【図２】図１の顔認識装置で撮影される人物と撮影部の関係を示す図
【図３】図１の顔認識装置において、時刻Ｔ１、時刻Ｔ２、時刻Ｔ３で撮影された画像を示す図
【図４】図１の顔認識装置が取得する顔の特徴点の一例を示す図
【図５】図１の顔認識装置の特徴量更新部が更新する特徴量の一例を示す図
【図６】図１の顔認識装置で撮影された時刻Ｔ１，Ｔ２，Ｔ３の撮影画像、特徴量及び評価空間上の範囲の一例を示す図
【図７】図６の（Ｄ）に示す時刻Ｔ１，Ｔ２，Ｔ３での検索結果範囲を示すイメージに対し、データベースに保持される各個人の特徴量の位置をプロットした図
【図８】図１の顔認識装置のメイン処理を説明するためのフローチャート
【図９】図８のメイン処理におけるタスクＡの処理を説明するためのフローチャート
【図１０】本発明の実施の形態２に係る顔認識装置の概略構成を示すブロック図
【図１１】図１０の顔認識装置で撮影される人物と撮影部の関係を示す図
【図１２】図１０の顔認識装置において、時刻Ｔ１、時刻Ｔ２、時刻Ｔ３で撮影された画像を示す図
【図１３】斜め左上を向いた顔を示す図
【図１４】図１０の顔認識装置の特徴量更新部が更新する特徴量の一例を示す図
【図１５】図１０の顔認識装置において、時刻Ｔ１、時刻Ｔ２、時刻Ｔ３の撮影画像、特徴量及び評価空間上の範囲の一例を示す図
【図１６】図１０の顔認識装置のメイン処理を説明するためのフローチャート
【図１７】図１６のメイン処理におけるタスクＢの処理を説明するためのフローチャート
【図１８】本発明の実施の形態３に係る顔認識装置の概略構成を示すブロック図
【図１９】図１８の顔認識装置で撮影される人物と撮影部の関係を示す図
【図２０】図１８の顔認識装置において、時刻Ｔ１、時刻Ｔ２、時刻Ｔ３で撮影された画像を示す図
【図２１】図１８の顔認識装置の特徴量更新部が更新する特徴量の一例を示す図
【図２２】図１８の顔認識装置において、時刻Ｔ１、時刻Ｔ２、時刻Ｔ３の撮影画像、特徴量及び評価空間上の範囲の一例を示す図
【図２３】図１８の顔認識装置のメイン処理を説明するためのフローチャート
【図２４】図２３のメイン処理におけるタスクＣの処理を説明するためのフローチャート
【図２５】従来の歩行者観測装置の設置例を示す図
【図２６】従来の顔特徴合成を説明するための図
【発明を実施するための形態】
【００２７】
以下、本発明を実施するための好適な実施の形態について、図面を参照して詳細に説明する。
【００２８】
（実施の形態１）
図１は、本発明の実施の形態１に係る顔認識装置の概略構成を示すブロック図である。同図において、本実施の形態の顔認識装置１００は、撮影部１０１と、顔検出部１０２と、追跡部１０３と、特徴点位置検出部１０４と、特徴量抽出部１０５と、距離推定部１０６と、特徴量更新部１０７と、記憶部１０８と、データベース１０９と、検索部１１０と、表示通報部１１１とを備える。
【００２９】
撮影部１０１は、人物等の被写体を撮影する。顔検出部１０２は、撮影部１０１での撮影結果としての画像から人物の顔の領域を特定する。追跡部１０３は、同一人物の顔画像に対して同一のＩＤ番号を付与する。追跡部１０３は、連続して撮影される画像の顔領域を追跡することによりこの機能を実現する。特徴点位置検出部１０４は、顔の目や鼻や口などの特徴点位置を検出する。特徴量抽出部１０５は、特徴点位置検出部１０４で検出された各特徴点位置での特徴量を抽出する。距離推定部１０６は、特徴点位置検出部１０４で検出された顔の各特徴点位置同士の距離関係から撮影部１０１と撮影された顔との間の距離を推定する。特徴量更新部１０７は、距離推定部１０６で推定された距離に応じて特徴量抽出部１０５で抽出された特徴量を更新する。記憶部１０８は、追跡部１０３で同一ＩＤ番号が付与された各同一人物の顔画像において、特徴量抽出部１０５で抽出された特徴量を一時保持すると共に、特徴量の一部を更新する。データベース（ＤＢ）１０９は、顔認識に用いる各個人の顔特徴量を保持する。検索部１１０は、特徴量更新部１０７で更新された顔画像の顔特徴量をデータベース１０９で保持されている各個人の顔特徴量と比較し、検索して個人を特定する。表示通報部１１１は、検索部１１０での検索結果を表示し、利用者にその結果を通報する。検索結果の表示としては、例えば“顔画像のみ”、“顔画像とＩＤ”又は“顔画像とＩＤと警報”が挙げられる。
【００３０】
図２は、実施の形態１の顔認識装置１００で撮影される人物と撮影部１０１の関係を示す図である。人物２０１は撮影部１０１が設置されている方向に移動している。すなわち、撮影部１０１に向って同図左から右に移動している。撮影部１０１は、時刻Ｔ１、時刻Ｔ２、時刻Ｔ３の各時刻で人物２０１を撮影している。
【００３１】
図３は、実施の形態１の顔認識装置１００において、各時刻Ｔ１、時刻Ｔ２、時刻Ｔ３で撮影された画像を示す図である。同図において、（Ａ１）は時刻Ｔ１における撮影画像、（Ｂ１）は時刻Ｔ２における撮影画像、（Ｃ１）は時刻Ｔ３における撮影画像である。撮影部１０１に近づくに従って撮影画像が大きくなり、且つ俯角が存在することから顔が徐々に下向きになる。
【００３２】
次に、実施の形態１の顔認識装置１００の動作を説明する。
撮影部１０１は、図２に示すように、時刻Ｔ１、時刻Ｔ２、時刻Ｔ３で人物２０１を撮影する。図３の（Ａ１）は時刻Ｔ１で撮影された画像、図３の（Ｂ１）は時刻Ｔ２で撮影された画像、図３の（Ｃ１）は時刻Ｔ３で撮影された画像である。
【００３３】
顔検出部１０２は、撮影部１０１が撮影した画像から顔の領域を検出する。顔検出分野では、ＡｄａＢｏｏｓｔ学習法をベースとした検出方式により画像内から顔の領域を検出できることが報告されている（例えば非特許文献１：Paul Viola、Michael Jones、「Rapid Object Detection Using a Boosted Cascade of Simple Features」、IEEE Computer Society Conference on Computer Vision and Pattern Recognition (CVPR)、2001年12月、ISSN:1063-6919、Vol.1、p.511−518）。顔検出部１０２はこの検出方式を用いて、撮影部１０１が撮影した画像内から顔領域を検出し、顔領域の画像を出力する。なお、この検出方式は一例であり、本発明で用いる顔検出の方式は上記検出方式に限るものではない。画像内から顔領域を特定することができる検出方式であればどのようなものでも良い。例えば、パターンマッチングなどでも顔を検出することは可能である。
【００３４】
追跡部１０３は、顔検出部１０２が検出した顔領域の時間的な位置変化量をもとに各顔領域の顔が同一人物であるかどうかを判定する。この場合、撮影される人物が移動していたとしても撮影部１０１の撮影間隔が人物の移動量に対して十分に短ければ、各撮影画像上での顔領域の位置変化量は少ない。このため、複数の人物が撮影されたとしても各時刻Ｔの撮影画像上でお互い位置変化量が少ない顔領域同士は同一人物であると判定できる。追跡部１０３はこの追跡方法により、顔検出部１０２が出力する顔領域画像内の顔が同一人物であるかどうかを判定する。なお、この追跡方法は一例であり、本発明で用いる追跡方法はこの追跡方法に限るものではない。顔領域の顔が同一人物であると推定することができる方法であればどのようなものでも良い。また、この追跡方法に加え、顔領域下部に撮影される服の色や模様の一致具合、顔領域の時間的な位置変化向きなどの情報により、顔領域の顔が同一人物であると推定することも可能である。
【００３５】
以上の追跡部１０３までの動作により、各時刻Ｔの撮影画像上の顔領域画像は同一人物毎に分類される。本実施の形態の動作では、分類された各人物の顔領域画像群のそれぞれに対して同一人物毎に分類される。
【００３６】
特徴点位置検出部１０４は、各時刻Ｔの顔領域画像内の顔の特徴点位置を検出する。顔特徴点位置検出分野では、Ａｄａｐｔｉｖｅ Ｓｈａｐｅ Ｍｏｄｅｌ方式により顔画像から顔の特徴点を検出できることが報告されている（例えば非特許文献２：Stephen Milborrow、Fred Nicolls、「Locating Facial Features with an Extended Active Shape Model」、Lecture Notes Computer Science ;Vol.5303、Proceedings of the 10th European Conference on Computer Vision :PartIV）。
【００３７】
図４は、顔の特徴点の一例を示す図である。同図において、４０１は顔、４０２は顔の特徴点である。顔の特徴点とは、目中心（または黒目）、目頭、目尻、鼻翼、鼻筋の頭、口中心、口両端、こめかみや顎先などの顎のライン上の点など、眉、目、鼻、口、顎などの顔のパーツの位置や輪郭特徴を示す点位置である。特徴点位置検出部１０４は上記検出方式を用いて、各時刻Ｔの顔領域画像内から図４に例を示す顔特徴点を検出し、同特徴点位置を出力する。なお、上記検出方式は一例であり、本発明で用いる顔特徴点位置検出の方式は上記検出方式に限るものではない。顔領域画像から顔の特徴点位置を特定することができる検出方式であれば、どのようなものでも良い。例えばパターンマッチングなどであっても顔の特徴点位置を検出することは可能である。
【００３８】
特徴量抽出部１０５は、特徴点位置検出部１０４が検出した顔の各特徴点位置の特徴量を算出する。顔認識分野では、Ｇａｂｏｒ Ｗａｖｅｌｅｔ変換により算出した特徴量により、顔を高精度に認識できることが報告されている（例えば非特許文献３：E. Elagin、J.Steffens、H.Neven、「Automatic Pose Estimation System for Human Faces Based on Bunch Graph Matching Technology」、Proceedings of the International Conference on Automatic Face and Gesture Recognition‘98. pp136-141、1998）。
【００３９】
Ｇａｂｏｒ Ｗａｖｅｌｅｔフィルタ係数を（式１）に示す（ｘ、ｙは画素の水平及び垂直位置、ｋは周波数、θは方位、σはガウス関数の標準偏差であり２πである）。周波数ｋ及び方位θを変化させ、各画素位置ｘ、ｙの画素値に式により求められる係数を畳み込み演算することにより、Ｇａｂｏｒ Ｗａｖｅｌｅｔ変換を行う。
【００４０】
【数１】
【００４１】
特徴量抽出部１０５は、上記Ｇａｂｏｒ Ｗａｖｅｌｅｔ変換により、各周波数ｋ成分及び各方位θに対してそれぞれ、特徴点位置検出部１０４が検出した顔の各特徴点位置の特徴量を算出する。なお、上記Ｇａｂｏｒ Ｗａｖｅｌｅｔ変換による特徴量抽出は一例であり、本発明で用いる特徴量抽出の方式は上記方式に限るものではない。顔の各特徴点位置に対し、各周波数成分の特徴量を抽出するものであれば良い。
【００４２】
距離推定部１０６は、特徴点位置検出部１０４で検出された顔の特徴点位置をもとに、撮影部１０１と人物の顔との間の距離を推定する。撮影部１０１と人物の顔との間の距離が離れていればいるほど、図４に示す顔４０１における各特徴点位置４０２間の距離は小さくなる。このことを利用して、各特徴点位置間の距離から、撮影部１０１と人物の顔との間の距離を推定することができる。また、撮影部１０１から顔までの距離が離れていればいるほど、撮影される顔のサイズは小さくなる。このことを利用し、顔検出部１０２で検出される顔領域のサイズから、撮影部１０１と人物の顔との間の距離を推定することもできる。このような推定方法を用いて距離推定部１０６は各時刻Ｔの顔領域画像における撮影部１０１と人物の顔との間の距離を推定し、その結果を出力する。なお、これらの距離推定方法は一例であり、本発明で用いる距離推定の方法は、上記距離推定方法に限るものではない。撮影部１０１と人物の顔との間の距離を推定することができる方法であれば、どのようなものでも良く、特徴点位置の間隔を利用しないステレオカメラや超音波センサなどを利用して距離を推定しても良い。
【００４３】
特徴量更新部１０７は、特徴量抽出部１０５で抽出された同一人物の顔に対する特徴量の一部を更新する。図５は、特徴量更新部１０７が更新する特徴量の一例を示す図である。同図の（Ａ２）、（Ｂ２）、（Ｃ２）は図３に示す撮影部１０１が各時刻Ｔに撮影した画像（Ａ１）、（Ｂ１）、（Ｃ１）のそれぞれ対応している。図５の（Ａ２）に示す時刻Ｔ１撮影画像では、撮影部１０１と人物の顔との間の距離が長く、顔画像のサイズが小さい。このような場合、特徴点位置の低周波成分の特徴量５０１のみを更新する。これは、サイズが小さい顔画像には特徴量の中周波数成分及び高周波成分が多く含まれておらず、同成分の特徴量の信頼性が低いためである。
【００４４】
図５の（Ｂ２）に示す時刻Ｔ２撮影画像では、撮影部１０１と人物の顔との間の距離が（Ａ２）に比べて短くなり、顔画像のサイズが大きくなっている。このような場合、特徴点位置の中周波成分の特徴量５０２のみを更新する。これは、顔画像のサイズが大きくなったために画像に中周波数成分が含まれ、特徴量の中周波数成分の信頼性が高くなったためである。図５の（Ｃ２）に示す時刻Ｔ３撮影画像では、撮影部１０１と人物の顔との間の距離が（Ｂ２）に比べて短くなり、顔画像のサイズは大きい。このような場合、特徴点位置の高周波成分の特徴量５０３のみを更新する。これは、顔画像のサイズが大きいため、画像に更に高周波成分が含まれ、特徴量の高周波数成分の信頼性が高くなったためである。以上のように、特徴量更新部１０７は、信頼性が高い周波数成分の特徴量のみを更新する。
【００４５】
記憶部１０８は、各時刻Ｔの更新した特徴量を保持する。そして、特徴量更新部１０７が現時刻に更新した特徴量、及び記憶部１０８に保持する現時刻以前に更新した特徴量は検索部１１０に出力される。検索部１１０は、特徴量更新部１０７が更新出力する特徴量とデータベース１０９に保持される各個人の特徴量を比較検索する。比較検索時に用いる評価式を（式２）に示す（Ｆｎ,θは特徴量更新部１０７が出力するｎ番目の特徴点における周波数θの特徴量、ｆｎ,θはデータベース１０９に保持される当該個人のｎ番目の特徴点における周波数θの特徴量、Ｓは当該個人の評価スコアである）。
【００４６】
【数２】
【００４７】
但し、特徴量更新部１０７が更新出力する特徴量において、未更新の特徴量点の周波数成分に対する演算は、（式２）の計算から除外する（同成分に対する演算結果を、Σで示す総和演算の要素値として含まない）。検索部１１０は、データベース１０９に保持される各個人データに対して、（式２）に示す評価式で求められる評価スコアを算出し、予め定めた値以上の評価スコアが算出された個人を検索する。そして、検索結果は表示通報部１１１を通じてユーザに通知される。
【００４８】
図６は、各時刻Ｔの撮影画像、特徴量及び評価空間上の範囲の一例を示す図である。同図における（Ａ１）、（Ｂ１）、（Ｃ１）は、図３に示す撮影部１０１が各時刻Ｔに撮影した画像（Ａ１）、（Ｂ１）、（Ｃ１）である。図６の（Ａ３）、（Ｂ３）、（Ｃ３）に示す各時刻Ｔの特徴量は、特徴量更新部１０７により更新された特徴量である。更新された特徴量が斜線（一点鎖線）で示されている。図６の（Ｄ）は、（式２）に示す評価空間での各時刻Ｔでの検索結果範囲を２次元空間に投影した場合のイメージ図である。
【００４９】
以上説明した特徴量更新部１０７までの動作によれば、図６の（Ａ３）、（Ｂ３）、（Ｃ３）に示すように、時間経過と共に、各特徴点位置の低周波成分、中周波成分、高周波成分の特徴量が順次更新される。検索部１１０は、未更新の特徴量点の周波数成分に対する演算は、（式２）の計算から除外し、予め定めた値以上の評価スコアが算出された個人を検索結果とするので、図６の（Ｄ）に示すように、評価空間上における検索結果として出力される範囲は徐々に狭くなって行くことになる。
【００５０】
図７は、図６の（Ｄ）に示す各時刻Ｔでの検索結果範囲を示すイメージに対し、データベース１０９に保持される各個人の特徴量の位置をプロットした図である。時刻Ｔ1では、時刻Ｔ1検索結果範囲内の７人が検索結果となる。時刻Ｔ２ではこの７人に対してのみ（式２）に示す評価スコアを算出する。そして、時刻Ｔ２では、時刻Ｔ２検索結果範囲内の４人が検索結果となる。同様に、時刻Ｔ３ではこの４人に対してのみ（式２）に示す評価スコアを算出する。そして、時刻Ｔ３では、時刻Ｔ３検索結果範囲内の１人が検索結果となる。以上のように、検索部１１０は絞り込み検索する。これにより、高速に検索処理を行うことができる。また、検索部１１０は、上記絞り込み検索により、検索結果の人数が予め定めた一定数以下であれば、検索処理を打ち切り、その検索結果を、表示通報部１１１を通じてユーザに通知する。これにより、早い段階で検索結果をユーザに提供することも可能になる。
【００５１】
図８は、実施の形態１の顔認識装置１００のメイン処理を説明するためのフローチャートである。同図において、まず撮影部１０１が人物を撮影し画像を取り込む（ステップＳ１）。そして、撮影部１０１で取り込まれた画像から顔検出部１０２が人物の顔領域を検出する（ステップＳ２）。人物の顔領域が検出されると、追跡部１０３が顔領域を追跡し、同一人物かを特定する（ステップＳ３）。次いで、特徴点位置検出部１０４、特徴量抽出部１０５、距離推定部１０６、特徴量更新部１０７及び検索部１１０が同一人物毎に複数の顔領域画像に対し、タスクＡの処理を行う（ステップＳ４）。タスクＡの処理が行われた後、タスクＡの処理による検索結果を表示し、ユーザに通知する（ステップＳ５）。
【００５２】
図９は、前記タスクＡの処理を説明するためのフローチャートである。同図において、特徴点位置検出部１０４は、顔検出部１０２で検出された人物の顔内の特徴点位置を検出する（ステップＳ３１）。次いで、距離推定部１０６が特徴点位置検出部１０４で検出された特徴点位置の間隔から撮影部１０１と人物の顔との間の距離を推定する（ステップＳ３２）。次いで、特徴量抽出部１０５が特徴点位置検出部１０４で検出された特徴点位置での特徴量を抽出する（ステップＳ３３）。距離推定部１０６が撮影部１０１と人物の顔との間の距離を推定し、特徴量抽出部１０５が特徴点位置での特徴量を抽出した後、特徴量更新部１０７が距離推定部１０６で推定された距離に応じて特徴量抽出部１０５で抽出された特徴量を更新する（ステップＳ３４）。撮影部１０１と人物の顔との間の距離に応じて特徴量が更新された後、検索部１１０が特徴量更新部１０７で更新された特徴量をデータベース１０９で保持された各個人の特徴量と比較し、検索する（ステップＳ３５）。そして、検索部１１０は比較検索処理で個人を特定できたか否かを判定する（ステップＳ３６）。この判定で個人を特定できた場合は本処理を終了し、特定できなかった場合は残りの顔領域画像があるか否かを判定する（ステップＳ３７）。この判定で残りの顔領域画像がなければ本処理を終了し、残りの顔領域画像があればステップＳ３１に戻り、上記同様の処理を繰り返す。
【００５３】
このように実施の形態１の顔認識装置１００によれば、距離推定部１０６が撮影部１０１と人物の顔との間の距離を推定し、その距離に応じて、特徴量更新部１０７が各特徴点位置の信頼性がある周波数成分の特徴量のみを更新し、検索部１１０が特徴量更新部１０７で更新された特徴量とデータベース１０９に保持された個人の特徴量を比較検索するので、人物の顔を高い精度で認識することができる。更に、検索部１１０は時間経過と共に更新される特徴量数の増加と共に、検索結果範囲が狭まり、前回の検索結果に対して絞り込み検索を行うため、高速に検索処理を行うことができる。また更に、検索部１１０は時間経過と共に狭まる検索結果範囲内の人数が、予め定めた一定数以下であれば、検索処理を打ち切り、その検索結果を、表示通報部１１１を通じてユーザに通知するので、早い段階で検索結果をユーザに提供することができる。
【００５４】
（実施の形態２）
図１０は、本発明の実施の形態２に係る顔認識装置の概略構成を示すブロック図である。なお、同図において前述した実施の形態１の顔認識装置１００と共通する部分には同一の符号を付けている。
【００５５】
図１０において、実施の形態２の顔認識装置１２０は、前述した実施の形態１の顔認識装置１００と同様の構成に角度推定部１２１を追加したものである。角度推定部１２１は、特徴点位置検出部１０４で検出された顔の各特徴点の位置関係から顔の向きを推定する。特徴量更新部１２２は、距離推定部１０６で推定された距離及び角度推定部１２１で推定された顔の向きに応じて特徴量抽出部１０５で抽出された特徴量を更新する。
【００５６】
図１１は、実施の形態２の顔認識装置１２０で撮影される人物と撮影部１０１の関係を示す図である。人物１２０１は、撮影部１０１が設置されている方向に移動している。すなわち、撮影部１０１に向って同図左から右に移動している。撮影部１０１は、時刻Ｔ１、時刻Ｔ２、時刻Ｔ３で人物１２０１を撮影している。
【００５７】
図１２は、実施の形態２の顔認識装置１２０において、各時刻Ｔ１、時刻Ｔ２、時刻Ｔ３で撮影された画像を示す図である。同図において、（Ａ１）は時刻Ｔ１における撮影画像、（Ｂ１）は時刻Ｔ２における撮影画像、（Ｃ１）は時刻Ｔ３における撮影画像である。撮影部１０１に近づくに従って撮影画像が大きくなり、且つ俯角が存在することから顔が徐々に下向きになる。
【００５８】
撮影部１０１は、図１１における各時刻Ｔで人物１２０１を撮影する。図１２の（Ａ１）は時刻Ｔ１で撮影された画像、図１２の（Ｂ１）は時刻Ｔ２で撮影された画像、図１２の（Ｃ１）は時刻Ｔ３で撮影された画像である。
【００５９】
角度推定部１２１は、前述したように、特徴点位置検出部１０４で検出された顔の各特徴点位置の位置関係から顔の向きを推定する。図１３は、斜め左上を向いた顔１４０１を示す図である。同図中に示す各特徴点位置を通る各破線１４０３同士の角度や、各特徴点位置間の距離比率は顔の向きによって差が現れる。このことを利用することで、各特徴点位置により顔向きを推定することができる。
【００６０】
また、各特徴点位置の３次元位置モデルを事前に用意し、（式３）に示す３次元姿勢式を当てはめた時に（Ｘ、Ｙは水平及び垂直方向の平行移動量、Ａｎ、Ｂｎ、及びＣｎは３次元位置モデルの各特徴点ｎの位置であり、θp、θt及びθrはそれぞれ３次元回転角であり、関数Ｒ（ ）は３次元回転関数である。Ｓはスケール係数、関数Ｐ（ ）は３次元位置を２次元位置へ投影する関数であり、Ｘn及びＹnは同投影後の各特徴点ｎの２次元位置である）、（式４）に示す位置誤差評価（ｘn及びｙnは特徴点位置検出部１０４が検出した各特徴点ｎの水平及び垂直方向位置）が最小になるような角度θp、θt及びθr（及び、スケールＳ、平行移動量Ｘ及びＹ）を求めることによっても、顔向きを推定することができる。
【００６１】
【数３】
【００６２】
【数４】
【００６３】
角度推定部１２１は、上記角度推定方法を用いて、各時刻Ｔの顔領域画像の顔向きを推定し、同向きを出力する。なお、上記角度推定方法は一例であり、本発明で用いる角度推定の方法は、上記角度推定方法に限るものではない。顔の角度を推定することができる方法であれば、どのようなものでも良く、特徴点位置を利用せずに超音波センサや人物に取り付けたジャイロセンサの情報を取得するなどして顔の角度を推定しても良い。
【００６４】
特徴量更新部１２２は、特徴量抽出部１０５で抽出された同一人物の顔に対する特徴量の一部を更新する。図１４は、特徴量更新部１２２が更新する特徴量の一例を示す図である。同図における（Ａ２）、（Ｂ２）、（Ｃ２）は図１２に示す撮影部１０１が各時刻Ｔに撮影した画像（Ａ１）、（Ｂ１）、（Ｃ１）に対応している。図１４の（Ａ２）に示す時刻Ｔ１撮影画像では、撮影部１０１と人物の顔との間の距離が長く、顔画像のサイズが小さい。このような場合、前述した実施の形態１と同様に、特徴点位置の低周波成分の特徴量５０１のみを更新する。また、図１４の（Ａ２）に示す時刻Ｔ１撮影画像では、顔は撮影部１０１とほぼ正対し、顔の各パーツも撮影部１０１とほぼ正対している。このような場合、顔の全てのパーツに対する特徴点の特徴量を更新する。
【００６５】
図１４の（Ｂ２）に示す時刻Ｔ２撮影画像では、撮影部１０１と人物の顔との間の距離が（Ａ２）に比べて短くなり、顔画像のサイズが大きくなっている。このような場合、前述した実施の形態１と同様に、特徴点位置の中周波成分の特徴量５０２のみを更新する。図１４の（Ｂ２）に示す時刻Ｔ２撮影画像では、顔は右方向を向いており、顔の右部分のパーツのみ撮影部１０１とほぼ正対している。このような場合、顔の右部分のパーツに対する特徴点に対する特徴量のみ更新する。
【００６６】
図１４の（Ｃ２）に示す時刻Ｔ３撮影画像では、撮影部１０１と人物の顔との間の距離が（Ｂ２）に比べて短くなり、顔画像のサイズは大きくなる。このような場合、前述した実施の形態１と同様に、特徴点位置の高周波成分の特徴量５０３のみを更新する。図１４の（Ｃ２）に示す時刻Ｔ３撮影画像では顔は下方向を向いており、顔の上部分のパーツのみ撮影部１０１とほぼ正対している。このような場合、顔の上部分のパーツに対する特徴点に対する特徴量のみ更新する。
【００６７】
以上のように、特徴量更新部１２２は、前述した実施の形態１と同様に、信頼性が高い周波数成分の特徴量のみ、且つ、顔認証精度が良い撮影部１０１と正対した顔パーツ部分の特徴点位置の特徴量のみを更新する。
【００６８】
記憶部１０８、データベース１０９、検索部１１０、表示通報部１１１の動作は前述した実施の形態１の顔認識装置１００のものと同じである。図１５は、各時刻Ｔの撮影画像、特徴量及び評価空間上の範囲の一例を示す図である。同図における（Ａ１）、（Ｂ１）、（Ｃ１）は、図１２に示す撮影部１０１が各時刻Ｔに撮影した画像（Ａ１）、（Ｂ１）、（Ｃ１）である。図１５の（Ａ３）、（Ｂ３）、（Ｃ３）に示す各時刻Ｔ特徴量は、特徴量更新部１２２により更新された特徴量である。更新された特徴量が斜線（一点鎖線）で示されている。図１５の（Ｄ）は、（式２）に示す評価空間での各時刻Ｔでの検索結果範囲を２次元空間に投影した場合のイメージを示す図である。
【００６９】
以上説明した特徴量更新部１２２までの動作によれば、図１５の（Ａ３）、（Ｂ３）、（Ｃ３）に示すように、前述した実施の形態１と同様に、時間経過と共に各特徴点位置の低周波成分、中周波成分、高周波成分の特徴量が順次更新される。また、撮影部１０１と正対した顔パーツ部分の特徴点位置の特徴量のみが順次更新される。
【００７０】
検索部１１０は、未更新の特徴点及び特徴量の周波数成分に対する演算は、（式２）の計算から除外し、予め定めた値以上の評価スコアが算出された個人を検索結果とするので、図１５の（Ｄ）に示すように、評価空間上における検索結果として出力される範囲は徐々に狭くなって行くことになる。
【００７１】
図１６は、実施の形態２の顔認識装置１２０のメイン処理を説明するためのフローチャートである。同図において、まず撮影部１０１が人物を撮影し画像を取り込む（ステップＳ１０）。そして、撮影部１０１が取り込んだ画像から顔検出部１０２が人物の顔領域を検出する（ステップＳ１１）。人物の顔領域が検出されると、追跡部１０３が顔領域を追跡し、同一人物かを特定する（ステップＳ１２）。次いで、特徴点位置検出部１０４、特徴量抽出部１０５、距離推定部１０６、角度推定部１２１、特徴量更新部１２２及び検索部１１０が同一人物毎に複数の顔領域画像に対し、タスクＢの処理を行う（ステップＳ１３）。タスクＢの処理が行われた後、タスクＢの処理による検索結果を表示し、ユーザに通知する（ステップＳ１４）。
【００７２】
図１７は、前記タスクＢの処理を説明するためのフローチャートである。同図において、特徴点位置検出部１０４は、顔検出部１０２で検出された人物の顔内の特徴点位置を検出する（ステップＳ１３１）。次いで、距離推定部１０６が特徴点位置検出部１０４で検出された特徴点位置の間隔から撮影部１０１と人物の顔との間の距離を推定する（ステップＳ１３２）。次いで、角度推定部１２１が特徴点位置検出部１０４で検出された特徴点位置の位置関係から人物の顔の向きを推定する（ステップＳ１３３）。更に、特徴量抽出部１０５が特徴点位置検出部１０４で検出された特徴点位置での特徴量を抽出する（ステップＳ１３４）。距離推定部１０６が撮影部１０１と人物の顔との間の距離を推定し、角度推定部１２１が特徴点位置から顔向きを推定し、更に特徴量抽出部１０５が特徴点位置での特徴量を抽出した後、特徴量更新部１２２が距離推定部１０６で推定された距離及び角度推定部１２１で推定された顔の向きに応じて特徴量抽出部１０５で抽出された特徴量を更新する（ステップＳ１３５）。撮影部１０１と人物の顔との間の距離に応じ、且つ撮影部１０１に正対する特徴点位置の特徴量が更新された後、検索部１１０が特徴量更新部１２２で更新された特徴量をデータベース１０９で保持された各個人の特徴量と比較し、検索する（ステップＳ１３６）。そして、検索部１１０は比較検索処理で個人を特定できたか否かを判定する（ステップＳ１３７）。この判定で個人を特定できた場合は本処理を終了し、特定できなかった場合は残りの顔領域画像があるか否かを判定する（ステップＳ１３８）。この判定で残りの顔領域画像がなければ本処理を終了し、残りの顔領域画像があればステップＳ１３１に戻り、上記同様の処理を繰り返す。
【００７３】
このように実施の形態２の顔認識装置１２０によれば、距離推定部１０６が撮影部１０１と人物の顔との間の距離を推定し、また角度推定部１２１が顔内の特徴点位置の位置関係から顔の向きを推定し、推定された距離と顔の向きに応じて、特徴量更新部１２２が顔内の特徴点位置での特徴量を更新し、検索部１１０が特徴量更新部１２２で更新された特徴量とデータベース１０９に保持されている個人の特徴量を比較検索するので、人物の顔を高い精度で認識することができる。更に、前述した実施の形態１と同様に、検索部１１０は時間経過と共に更新される特徴量数の増加と共に検索結果範囲が狭まり、前回の検索結果に対して絞り込み検索を行うため、高速に検索処理を行うことができる。また更に、前述した実施の形態１と同様に、検索部１１０は時間経過と共に狭まる検索結果範囲内の人数が、予め定めた一定数以下であれば、検索処理を打ち切り、その検索結果を、表示通報部１１１を通じてユーザに通知するので、早い段階で検索結果をユーザに提供することができる。
【００７４】
（実施の形態３）
図１８は、本発明の実施の形態３に係る顔認識装置の概略構成を示すブロック図である。なお、同図において前述した実施の形態１の顔認識装置１００と共通する部分には同一の符号を付けている。
【００７５】
図１８において、実施の形態３の顔認識装置１３０は、前述した実施の形態１の顔認識装置１００と同様の構成に明度検出部１３１を追加したものである。明度検出部１３１は明度を検出するものであり、顔領域画像から特徴点位置検出部１０４で検出された顔の各特徴点の位置における明度を検出する。
【００７６】
図１９は、実施の形態３の顔認識装置１３０で撮影される人物と撮影部１０１の関係を示す図である。人物２２０１は撮影部１０１が設置されている方向に移動している。すなわち、撮影部１０１に向って同図左から右に移動している。撮影部１０１は、時刻Ｔ１、時刻Ｔ２、時刻Ｔ３で人物２２０１を撮影している。人物２２０１の上方には光源である太陽２２０４の光を遮る遮蔽物２２０５があり、人物２２０１の時刻Ｔ2での顔の一部には太陽２２０４からの光が当っていない。
【００７７】
図２０は、実施の形態３の顔認識装置１３０において、時刻Ｔ１、時刻Ｔ２、時刻Ｔ３で撮影された画像を示す図である。同図において、（Ａ１）は時刻Ｔ１における撮影画像、（Ｂ１）は時刻Ｔ２における撮影画像、（Ｃ１）は時刻Ｔ３における撮影画像である。撮影部１０１に近づくに従って撮影画像が大きくなり、且つ俯角が存在することから顔が徐々に下向きになる。
【００７８】
撮影部１０１は、図１９における各時刻Ｔの人物２２０１を撮影する。これにより、時刻Ｔ１には図２０の（Ａ１）の撮影画像が撮影され、時刻Ｔ２には図２０の（Ｂ１）の撮影画像が撮影され、時刻Ｔ３には図２０の（Ｃ１）の撮影画像が撮影される。（Ｂ１）の時刻Ｔ２撮影画像に示すように、人物２２０１の顔の半分より下の部分には光が当たっていないため、暗くなっている。
【００７９】
顔検出部１０２、追跡部１０３、特徴点位置検出部１０４、特徴量抽出部１０５、距離推定部１０６の処理は前述した実施の形態１と同じであるので説明を省略する。
【００８０】
明度検出部１３１は、特徴点位置検出部１０４で検出された顔の特徴点位置における明度を検出する。一般的にカメラ等の撮像装置で撮影される画像はＲＧＢもしくは輝度（グレイスケール）画像である。ＲＧＢのＧ値及び輝度値は明度とほぼ等しく、画像のＧ値又は輝度値をそのまま明度としても問題はない。特徴点位置を中心に予め決めた範囲内の画素のＧ値又は輝度値の平均値を明度として利用する。明度検出部１３１は上記明度検出方法を用いて各特徴点位置の明度を検出し出力する。なお、この明度検出方法は一例であり、本発明で用いる明度検出方法はその明度検出方法に限るものではない。特徴点位置の明度を検出することができる方法であれば、どのようなものでも良い。
【００８１】
特徴量更新部１３２は、特徴量抽出部１０５が抽出した同一人物の顔に対する特徴量の一部を更新する。図２１は、特徴量更新部１３２が更新する特徴量の一例を示す図である。同図における（Ａ２）、（Ｂ２）、（Ｃ２）は図２０に示す撮影部１０１が各時刻Ｔに撮影する画像（Ａ１）、（Ｂ１）、（Ｃ１）に対応している。図２１の（Ａ２）に示す時刻Ｔ1撮影画像では、撮影部１０１の顔との間の距離が長く、顔画像のサイズが小さい。このような場合、前述した実施の形態１と同様に、特徴点位置の低周波成分の特徴量５０１のみを更新する。また、図２１の（Ａ２）に示す時刻Ｔ１撮影画像では、顔の各パーツに光が当っており、明度検出部１３１が出力する各特徴点の明度も予め定めた一定値以上の値となる。このような場合、顔の各パーツに対する特徴点の特徴量を更新する。これは、一般的な顔認証では一定値以上の明度の顔画像が入力されること想定しており、このような場合に顔認証精度が良いためである。
【００８２】
図２１の（Ｂ２）に示す時刻Ｔ２撮影画像では、撮影部１０１と人物の顔との間の距離が（Ａ２）に比べて短くなり、顔画像のサイズが大きくなっている。このような場合、前述した実施の形態１と同様に、特徴点位置の中周波成分の特徴量５０２のみを更新する。また、図２１の（Ｂ２）に示す時刻Ｔ2撮影画像では、顔の上部分のパーツにのみ光が当っており、明度検出部１３１が出力する上部分のパーツに対する特徴点の明度のみ予め定めた一定値以上の値となる。このような場合、顔の上部分のパーツに対する特徴点に対する特徴量のみ更新する。
【００８３】
図２１の（Ｃ２）に示す時刻Ｔ３撮影画像では、撮影部１０１と人物の顔との間の距離が（Ｂ２）に比べて短くなり、顔画像のサイズは大きくなる。このような場合、前述した実施の形態１と同様に、特徴点位置の高周波成分の特徴量５０３のみを更新する。また、図２１の（Ｃ２）に示す時刻Ｔ3撮影画像では、顔の各パーツに光が当っており、明度検出部１３１が出力する各特徴点の明度も、予め定めた一定値以上の値となる。このような場合、顔の各パーツに対する特徴点の特徴量を更新する。以上のように、特徴量更新部１３２は、前述した実施の形態１と同様に信頼性が高い周波数成分の特徴量のみ、且つ、顔認証精度が良い、明度が予め定めた一定値以上の値となる特徴点位置の特徴量のみを更新する。
【００８４】
記憶部１０８、検索部１１０、データベース１０９及び表示通報部１１１の動作は前述した実施の形態１の顔認識装置１００と同じであり、以下に簡単に説明する。図２２は、顔認識装置１３０で撮影された時刻Ｔ１，Ｔ２，Ｔ３の撮影画像、特徴量及び評価空間上の範囲の一例を示す図である。同図における（Ａ１）、（Ｂ１）、（Ｃ１）は、図２０に示す撮影部１０１で各時刻Ｔに撮影される画像（Ａ１）、（Ｂ１）、（Ｃ１）である。図２２の（Ａ３）、（Ｂ３）、（Ｃ３）に示す各時刻Ｔ特徴量は、特徴量更新部１３２により更新された特徴量である。更新された特徴量が斜線（一点鎖線）で示されている。図２２の（Ｄ）は、（式２）に示す評価空間での各時刻Ｔでの検索結果範囲を２次元空間に投影した場合のイメージを示す図である。
【００８５】
以上説明した特徴量更新部１３２までの動作によれば、図２２の（Ａ３）、（Ｂ３）、（Ｃ３）に示すように、前述した実施の形態１と同様に、時間経過と共に各特徴点位置の低周波成分、中周波成分、高周波成分の特徴量が順次更新される。また、明度が予め定めた一定値以上の値となる特徴点位置の特徴量のみが更新される。検索部１１０は、未更新の特徴量点の周波数成分に対する演算は、（式２）の計算から除外し、予め定めた値以上の評価スコアが算出された個人を検索結果とするので、図２２の（Ｄ）に示すように、評価空間上における検索結果として出力される範囲は徐々に狭くなって行くことになる。
【００８６】
図２３は、実施の形態３の顔認識装置１３０のメイン処理を説明するためのフローチャートである。同図において、まず撮影部１０１が人物を撮影し画像を取り込む（ステップＳ２０）。そして、撮影部１０１が取り込んだ画像から顔検出部１０２が人物の顔領域を検出する（ステップＳ２１）。人物の顔領域が検出されると、追跡部１０３が顔領域を追跡し、同一人物かを特定する（ステップＳ２２）。次いで、特徴点位置検出部１０４、特徴量抽出部１０５、距離推定部１０６、明度検出部１３１、特徴量更新部１３２及び検索部１１０が同一人物毎に複数の顔領域画像に対し、タスクＣの処理を行う（ステップＳ２３）。タスクＣの処理が行われた後、タスクＣの処理による検索結果を表示し、ユーザに通知する（ステップＳ２４）。
【００８７】
図２４は、タスクＣの処理を説明するためのフローチャートである。同図において、特徴点位置検出部１０４は、顔検出部１０２で検出された人物の顔内の特徴点位置を検出する（ステップＳ２３１）。次いで、距離推定部１０６が特徴点位置検出部１０４で検出された特徴点位置の間隔から撮影部１０１と人物の顔との間の距離を推定する（ステップＳ２３２）。次いで、明度検出部１３１が特徴点位置検出部１０４で検出された特徴点位置での明度を検出する（ステップ２３３）。更に、特徴量抽出部１０５が特徴点位置検出部１０４で検出された特徴点位置での特徴量を抽出する（ステップＳ２３４）。
【００８８】
距離推定部１０６が撮影部１０１と人物との間の距離を推定し、明度検出部１３１が特徴点位置の明度を検出し、更に特徴量抽出部１０５が特徴点位置での特徴量を抽出した後、特徴量更新部１３２が距離推定部１０６で推定された距離及び明度検出部１３１で検出された明度に応じて特徴量抽出部１０５で抽出された特徴量を更新する（ステップＳ２３５）。撮影部１０１と人物の顔との間の距離に応じ、且つ特徴点位置の明度に応じて特徴量が更新された後、検索部１１０が特徴量更新部１３２で更新された特徴量をデータベース１０９で保持された各個人の特徴量と比較し検索する（ステップＳ２３６）。そして、検索部１１０は比較検索処理で個人を特定できたか否かを判定する（ステップＳ２３７）。この判定で個人を特定できた場合は本処理を終了し、特定できなかった場合は残りの顔領域画像があるか否かを判定する（ステップＳ２３８）。この判定で残りの顔領域画像がなければ本処理を終了し、残りの顔領域画像があればステップＳ２３１に戻り、上記同様の処理を繰り返す。
【００８９】
このように実施の形態３の顔認識装置１３０によれば、距離推定部１０６が撮影部１０１と人物の顔との間の距離を推定し、また明度検出部１３１が顔内の特徴点位置での明度を検出し、推定された距離と検出された明度に応じて、特徴量更新部１３２が顔内の特徴点位置での特徴量を更新し、検索部１１０が特徴量更新部１３２で更新された特徴量とデータベース１０９に保持されている個人の特徴量を比較検索するので、人物の顔を高い精度で認識することができる。更に、前述した実施の形態１と同様に、検索部１１０は時間経過と共に更新される特徴量数の増加と共に、検索結果範囲が狭まり、前回の検索結果に対して絞り込み検索を行うため、高速に検索処理を行うことができる。また更に、前述した実施の形態１と同様に、検索部１１０は時間経過と共に狭まる検索結果範囲内の人数が、予め定めた一定数以下であれば、検索処理を打ち切り、その検索結果を、表示通報部１１１を通じて通知するので、早い段階で検索結果をユーザに提供することができる。
【００９０】
なお、上記実施の形態１〜３では、人物の顔を認識するものであったが、人物の顔に限定されるものではなく、それ以外の動く被写体であれば、どのようなものでも認識することができる。
【産業上の利用可能性】
【００９１】
本発明は、撮影して得られた画像から人物の顔等の被写体の所定領域を高い精度で認識することができるといった効果を有し、防犯や重要顧客の来客管理等のカメラシステムへの適用が可能である。
【符号の説明】
【００９２】
１００、１２０、１３０ 顔認識装置
１０１ 撮影部
１０２ 顔検出部
１０３ 追跡部
１０４ 特徴点位置検出部
１０５ 特徴量抽出部
１０６ 距離推定部
１０７、１２２、１３２ 特徴量更新部
１０８ 記憶部
１０９ データベース
１１０ 検索部
１１１ 表示通報部
１２１ 角度推定部
１３１ 明度検出部
２０１、１２０１、２２０１ 人物
２２０４ 太陽
２２０５ 遮蔽物
【技術分野】
【０００１】
本発明は、防犯や重要顧客の来客管理等のカメラシステムに用いられ、人物等の被写体を撮影して該被写体の認識を行う顔認識装置及び顔認識方法に関する。
【背景技術】
【０００２】
従来、連続した複数の顔画像を用いて顔認証することで個人を識別する技術として、例えば特許文献１〜３で明示されたものがある。まず特許文献１には、歩行者の顔面を安定して撮影できるカメラの設置及び撮影条件が明示されている。
【０００３】
図２５は、特許文献１に明示された歩行者観測装置の設置例を示す図である。同図は建物などの入り口を上から俯瞰（ふかん：高い所から見下ろすこと）した図である。人は入り口（左右両側の壁４００１の間）に向かって（矢印４００２で示す向きに）移動する。左右両側の壁４００１を結ぶ入り口の通過ライン４００３を跨ぐ位置に、幅Ａ、高さＢの必須観測領域４００４を設定し、また必須観測領域４００４の中央に通過ライン４００３を設定している。通過ライン４００３に対し、人の移動方向である矢印４００２方向にカメラ４００５の向き及び画角θが設定されている。またカメラ４００５の焦点距離が同図に示すｆからｆ＋Ｄに設定されている。“カメラ設置位置”、“カメラの向き及び画角”、“カメラの焦点距離”の条件を設定することにより、カメラ４００５は必須観測領域４００４を撮影範囲内に収め、この撮影範囲内で焦点距離があった画像を撮影することができる。これにより、必須観測領域４００４を通過する人物の顔を安定して撮影することが可能となる。なお、特許文献１には、同一人物に対し、複数のカメラにより撮影した顔向きが異なる複数枚の画像のそれぞれを顔認識することで、個人の識別精度を向上させるという記載がある。
【０００４】
一方、特許文献２及び特許文献３には、同一人物に対し、複数のカメラにより撮影した顔向きの異なる複数枚の画像からアフィン変換やフィールドモーフィングにより人物の正面画像を合成し、その結果を用いて顔認証を行うことにより、個人識別を行う方法が明示されている。
【０００５】
図２６は、特許文献２に明示された顔特徴合成を説明するための図である。同図の（Ａ）及び（Ｂ）は同一人物を異なるカメラから撮影した異なる顔向きの顔画像である。これらの（Ａ）及び（Ｂ）の画像に対し、顔特徴点探索により同図中で×印で示す顔の特徴点を検出する。そして、検出した顔特徴点位置に基づき、アフィン変換により図２６の（Ｃ）に示す正面画像を合成し、合成した正面画像を用いて顔認識を行うことにより、個人識別を行う。
【０００６】
特許文献３では、アフィン変換ではなくフィールドモーフィングにより正面画像を合成し、合成した正面画像を用いて顔認識を行うことにより、個人識別を行う。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２００１−０１６５７３号公報
【特許文献２】特開２００６−１４６３２３号公報
【特許文献３】特開２００９−０２５８７４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
しかしながら、上述した従来の顔認識技術には以下に示す課題がある。
特許文献１は、単に歩行者の顔面を安定して撮影できるカメラの設置及び撮影条件を明示しているにすぎず、明示された位置及び向きにカメラを設置できない場合や、明示された撮影条件では撮影できない場合があり、そのような場合、顔面を安定して撮影することができない。その結果、顔認識がうまく行かず個人識別の精度が低下してしまう。なお、同公報では、複数のカメラにより撮影した顔向きが異なる複数枚の画像からそれぞれ顔認識により個人識別し、その結果を用いて識別精度を向上させるとしているが、同結果をどのように用いて認識精度を向上されるかまでは明示されていない。
【０００９】
特許文献２及び特許文献３では、検出した顔特徴点位置に基づきアフィン変換又はフィールドモーフィングにより正面画像を合成し、合成した正面画像を用いて顔認識を行うことにより個人識別を行っているが、顔の向きによっては顔特徴点を正確に検出することができない場合があり、そのような場合、正確な正面画像を得ることが難しく、特許文献１の場合と同様に個人識別の精度が低下してしまう。
【００１０】
本発明は、係る事情に鑑みてなされたものであり、精度の高い認識が可能な顔認識装置及び顔認識方法を提供することを目的とする。
【課題を解決するための手段】
【００１１】
本発明の顔認識装置は、被写体を撮影する撮影部と、前記撮影部での撮影結果としての画像から前記被写体の所定の領域を検出する領域検出部と、前記領域検出部で検出された前記所定の領域内の特徴量を抽出する特徴量抽出部と、前記撮影部と前記所定の領域との間の距離を推定する距離推定部と、前記特徴量抽出部で抽出された前記特徴量を前記距離推定部で推定された前記距離に応じて更新する特徴量更新部と、を備えることを特徴とする。
【００１２】
上記構成によれば、距離推定部が撮影部と被写体との間の距離を推定し、その距離に応じて、特徴量更新部が特徴量を更新するので、被写体の所定領域を高い精度で認識することができる。
【００１３】
上記構成において、前記特徴量更新部で更新された前記特徴量を予め保持されている特徴量と比較し検索する検索部を備え、前記検索部での検索結果に基づき前記所定の領域を認識する。
【００１４】
上記構成において、前記所定の領域内の特徴点位置を検出する特徴点位置検出部を備え、前記距離推定部は前記特徴点位置検出部で検出された前記特徴点位置の間隔から前記撮影部と前記所定の領域との間の距離を推定する。
【００１５】
本発明の顔認識装置は、人物を撮影する撮影部と、前記撮影部での撮影結果としての画像から前記人物の顔を検出する顔検出部と、前記顔検出部で検出された前記顔内の特徴点位置を検出する特徴点位置検出部と、前記特徴点位置検出部で検出された前記特徴点位置での特徴量を抽出する特徴量抽出部と、前記撮影部と前記顔との間の距離を推定する距離推定部と、前記特徴量抽出部で抽出された前記特徴量を前記距離推定部で推定された前記距離に応じて更新する特徴量更新部と、前記特徴量更新部で更新された前記特徴量を予め保持されている特徴量と比較し検索する検索部と、を備え、前記検索部での検索結果に基づき前記顔を認識する。
【００１６】
上記構成によれば、距離推定部が撮影部と人物の顔との間の距離を推定し、その距離に応じて、特徴量更新部が顔内の特徴点位置での特徴量を更新し、検索部が特徴量更新部で更新された特徴量と予め保持されている特徴量を比較検索するので、人物の顔を高い精度で認識することができる。
【００１７】
上記構成において、前記距離推定部は前記特徴点位置検出部で検出された前記特徴点位置の間隔から前記撮影部と前記顔との間の距離を推定する。
【００１８】
本発明の顔認識装置は、人物を撮影する撮影部と、前記撮影部での撮影結果としての画像から前記人物の顔を検出する顔検出部と、前記顔検出部で検出された前記顔内の特徴点位置を検出する特徴点位置検出部と、前記特徴点位置検出部で検出された前記特徴点位置での特徴量を抽出する特徴量抽出部と、前記特徴点位置検出部で検出された前記特徴点位置の間隔から前記撮影部と前記顔との間の距離を推定する距離推定部と、前記顔の向きを推定する角度推定部と、前記特徴量抽出部で抽出された前記特徴量を前記距離推定部で推定された前記距離及び前記角度推定部で推定された前記顔の向きに応じて更新する特徴量更新部と、前記特徴量更新部で更新された前記特徴量を予め保持されている特徴量と比較し検索する検索部と、を備え、前記検索部での検索結果に基づき前記顔を認識する。
【００１９】
上記構成によれば、距離推定部が撮影部と人物の顔との間の距離を推定し、また角度推定部が顔の向きを推定し、推定された距離と顔の向きに応じて、特徴量更新部が顔内の特徴点位置での特徴量を更新し、検索部が特徴量更新部で更新された特徴量と予め保持されている特徴量を比較検索するので、人物の顔を高い精度で認識することができる。特に、顔の向きを考慮するので、更に高い精度で認識することができる。
【００２０】
上記構成において、前記角度推定部は前記特徴点位置検出部で検出された前記特徴点位置の位置関係から前記顔の向きを推定する。
【００２１】
本発明の顔認識装置は、人物を撮影する撮影部と、前記撮影部での撮影結果としての画像から前記人物の顔を検出する顔検出部と、前記顔検出部で検出された前記顔内の特徴点位置を検出する特徴点位置検出部と、前記特徴点位置検出部で検出された前記特徴点位置での特徴量を抽出する特徴量抽出部と、前記特徴点位置検出部で検出された前記特徴点位置の間隔から前記撮影部と前記顔との間の距離を推定する距離推定部と、前記特徴点位置検出部で検出された前記特徴点位置での明度を検出する明度検出部と、前記特徴量抽出部で抽出された前記特徴量を前記距離推定部で推定された前記距離及び前記明度検出部で検出された前記特徴点位置での明度に応じて更新する特徴量更新部と、前記特徴量更新部で更新された前記特徴量を予め保持されている特徴量と比較し検索する検索部と、を備え、前記検索部での検索結果に基づき前記顔を認識する。
【００２２】
上記構成によれば、距離推定部が撮影部と人物の顔との間の距離を推定し、また明度検出部が顔内の特徴点位置での明度を検出し、推定された距離と検出された明度に応じて、特徴量更新部が顔内の特徴点位置での特徴量を更新し、検索部が特徴量更新部で更新された特徴量と予め保持されている特徴量を比較検索するので、人物の顔を高い精度で認識することができる。特に、特徴点位置での明度を考慮するので、更に高い精度で認識することができる。
【００２３】
本発明の顔認識方法は、被写体を撮影する撮影ステップと、前記撮影ステップでの撮影結果としての画像から前記被写体の所定の領域を検出する領域検出ステップと、前記領域検出ステップで検出された前記所定の領域内の特徴量を抽出する特徴量抽出ステップと、前記撮影ステップと前記所定の領域との間の距離を推定する距離推定ステップと、前記特徴量抽出ステップで抽出された前記特徴量を前記距離推定ステップで推定された前記距離に応じて更新する特徴量更新ステップと、を備えることを特徴とする。
【００２４】
上記方法によれば、距離推定ステップで撮影部と被写体との間の距離を推定し、その距離に応じて、特徴量更新ステップで特徴量を更新するので、被写体の所定領域を高い精度で認識することができる。
【発明の効果】
【００２５】
本発明によれば、撮影して得られた画像から人物の顔等の被写体の所定領域を高い精度で認識することができる。
【図面の簡単な説明】
【００２６】
【図１】本発明の実施の形態１に係る顔認識装置の概略構成を示すブロック図
【図２】図１の顔認識装置で撮影される人物と撮影部の関係を示す図
【図３】図１の顔認識装置において、時刻Ｔ１、時刻Ｔ２、時刻Ｔ３で撮影された画像を示す図
【図４】図１の顔認識装置が取得する顔の特徴点の一例を示す図
【図５】図１の顔認識装置の特徴量更新部が更新する特徴量の一例を示す図
【図６】図１の顔認識装置で撮影された時刻Ｔ１，Ｔ２，Ｔ３の撮影画像、特徴量及び評価空間上の範囲の一例を示す図
【図７】図６の（Ｄ）に示す時刻Ｔ１，Ｔ２，Ｔ３での検索結果範囲を示すイメージに対し、データベースに保持される各個人の特徴量の位置をプロットした図
【図８】図１の顔認識装置のメイン処理を説明するためのフローチャート
【図９】図８のメイン処理におけるタスクＡの処理を説明するためのフローチャート
【図１０】本発明の実施の形態２に係る顔認識装置の概略構成を示すブロック図
【図１１】図１０の顔認識装置で撮影される人物と撮影部の関係を示す図
【図１２】図１０の顔認識装置において、時刻Ｔ１、時刻Ｔ２、時刻Ｔ３で撮影された画像を示す図
【図１３】斜め左上を向いた顔を示す図
【図１４】図１０の顔認識装置の特徴量更新部が更新する特徴量の一例を示す図
【図１５】図１０の顔認識装置において、時刻Ｔ１、時刻Ｔ２、時刻Ｔ３の撮影画像、特徴量及び評価空間上の範囲の一例を示す図
【図１６】図１０の顔認識装置のメイン処理を説明するためのフローチャート
【図１７】図１６のメイン処理におけるタスクＢの処理を説明するためのフローチャート
【図１８】本発明の実施の形態３に係る顔認識装置の概略構成を示すブロック図
【図１９】図１８の顔認識装置で撮影される人物と撮影部の関係を示す図
【図２０】図１８の顔認識装置において、時刻Ｔ１、時刻Ｔ２、時刻Ｔ３で撮影された画像を示す図
【図２１】図１８の顔認識装置の特徴量更新部が更新する特徴量の一例を示す図
【図２２】図１８の顔認識装置において、時刻Ｔ１、時刻Ｔ２、時刻Ｔ３の撮影画像、特徴量及び評価空間上の範囲の一例を示す図
【図２３】図１８の顔認識装置のメイン処理を説明するためのフローチャート
【図２４】図２３のメイン処理におけるタスクＣの処理を説明するためのフローチャート
【図２５】従来の歩行者観測装置の設置例を示す図
【図２６】従来の顔特徴合成を説明するための図
【発明を実施するための形態】
【００２７】
以下、本発明を実施するための好適な実施の形態について、図面を参照して詳細に説明する。
【００２８】
（実施の形態１）
図１は、本発明の実施の形態１に係る顔認識装置の概略構成を示すブロック図である。同図において、本実施の形態の顔認識装置１００は、撮影部１０１と、顔検出部１０２と、追跡部１０３と、特徴点位置検出部１０４と、特徴量抽出部１０５と、距離推定部１０６と、特徴量更新部１０７と、記憶部１０８と、データベース１０９と、検索部１１０と、表示通報部１１１とを備える。
【００２９】
撮影部１０１は、人物等の被写体を撮影する。顔検出部１０２は、撮影部１０１での撮影結果としての画像から人物の顔の領域を特定する。追跡部１０３は、同一人物の顔画像に対して同一のＩＤ番号を付与する。追跡部１０３は、連続して撮影される画像の顔領域を追跡することによりこの機能を実現する。特徴点位置検出部１０４は、顔の目や鼻や口などの特徴点位置を検出する。特徴量抽出部１０５は、特徴点位置検出部１０４で検出された各特徴点位置での特徴量を抽出する。距離推定部１０６は、特徴点位置検出部１０４で検出された顔の各特徴点位置同士の距離関係から撮影部１０１と撮影された顔との間の距離を推定する。特徴量更新部１０７は、距離推定部１０６で推定された距離に応じて特徴量抽出部１０５で抽出された特徴量を更新する。記憶部１０８は、追跡部１０３で同一ＩＤ番号が付与された各同一人物の顔画像において、特徴量抽出部１０５で抽出された特徴量を一時保持すると共に、特徴量の一部を更新する。データベース（ＤＢ）１０９は、顔認識に用いる各個人の顔特徴量を保持する。検索部１１０は、特徴量更新部１０７で更新された顔画像の顔特徴量をデータベース１０９で保持されている各個人の顔特徴量と比較し、検索して個人を特定する。表示通報部１１１は、検索部１１０での検索結果を表示し、利用者にその結果を通報する。検索結果の表示としては、例えば“顔画像のみ”、“顔画像とＩＤ”又は“顔画像とＩＤと警報”が挙げられる。
【００３０】
図２は、実施の形態１の顔認識装置１００で撮影される人物と撮影部１０１の関係を示す図である。人物２０１は撮影部１０１が設置されている方向に移動している。すなわち、撮影部１０１に向って同図左から右に移動している。撮影部１０１は、時刻Ｔ１、時刻Ｔ２、時刻Ｔ３の各時刻で人物２０１を撮影している。
【００３１】
図３は、実施の形態１の顔認識装置１００において、各時刻Ｔ１、時刻Ｔ２、時刻Ｔ３で撮影された画像を示す図である。同図において、（Ａ１）は時刻Ｔ１における撮影画像、（Ｂ１）は時刻Ｔ２における撮影画像、（Ｃ１）は時刻Ｔ３における撮影画像である。撮影部１０１に近づくに従って撮影画像が大きくなり、且つ俯角が存在することから顔が徐々に下向きになる。
【００３２】
次に、実施の形態１の顔認識装置１００の動作を説明する。
撮影部１０１は、図２に示すように、時刻Ｔ１、時刻Ｔ２、時刻Ｔ３で人物２０１を撮影する。図３の（Ａ１）は時刻Ｔ１で撮影された画像、図３の（Ｂ１）は時刻Ｔ２で撮影された画像、図３の（Ｃ１）は時刻Ｔ３で撮影された画像である。
【００３３】
顔検出部１０２は、撮影部１０１が撮影した画像から顔の領域を検出する。顔検出分野では、ＡｄａＢｏｏｓｔ学習法をベースとした検出方式により画像内から顔の領域を検出できることが報告されている（例えば非特許文献１：Paul Viola、Michael Jones、「Rapid Object Detection Using a Boosted Cascade of Simple Features」、IEEE Computer Society Conference on Computer Vision and Pattern Recognition (CVPR)、2001年12月、ISSN:1063-6919、Vol.1、p.511−518）。顔検出部１０２はこの検出方式を用いて、撮影部１０１が撮影した画像内から顔領域を検出し、顔領域の画像を出力する。なお、この検出方式は一例であり、本発明で用いる顔検出の方式は上記検出方式に限るものではない。画像内から顔領域を特定することができる検出方式であればどのようなものでも良い。例えば、パターンマッチングなどでも顔を検出することは可能である。
【００３４】
追跡部１０３は、顔検出部１０２が検出した顔領域の時間的な位置変化量をもとに各顔領域の顔が同一人物であるかどうかを判定する。この場合、撮影される人物が移動していたとしても撮影部１０１の撮影間隔が人物の移動量に対して十分に短ければ、各撮影画像上での顔領域の位置変化量は少ない。このため、複数の人物が撮影されたとしても各時刻Ｔの撮影画像上でお互い位置変化量が少ない顔領域同士は同一人物であると判定できる。追跡部１０３はこの追跡方法により、顔検出部１０２が出力する顔領域画像内の顔が同一人物であるかどうかを判定する。なお、この追跡方法は一例であり、本発明で用いる追跡方法はこの追跡方法に限るものではない。顔領域の顔が同一人物であると推定することができる方法であればどのようなものでも良い。また、この追跡方法に加え、顔領域下部に撮影される服の色や模様の一致具合、顔領域の時間的な位置変化向きなどの情報により、顔領域の顔が同一人物であると推定することも可能である。
【００３５】
以上の追跡部１０３までの動作により、各時刻Ｔの撮影画像上の顔領域画像は同一人物毎に分類される。本実施の形態の動作では、分類された各人物の顔領域画像群のそれぞれに対して同一人物毎に分類される。
【００３６】
特徴点位置検出部１０４は、各時刻Ｔの顔領域画像内の顔の特徴点位置を検出する。顔特徴点位置検出分野では、Ａｄａｐｔｉｖｅ Ｓｈａｐｅ Ｍｏｄｅｌ方式により顔画像から顔の特徴点を検出できることが報告されている（例えば非特許文献２：Stephen Milborrow、Fred Nicolls、「Locating Facial Features with an Extended Active Shape Model」、Lecture Notes Computer Science ;Vol.5303、Proceedings of the 10th European Conference on Computer Vision :PartIV）。
【００３７】
図４は、顔の特徴点の一例を示す図である。同図において、４０１は顔、４０２は顔の特徴点である。顔の特徴点とは、目中心（または黒目）、目頭、目尻、鼻翼、鼻筋の頭、口中心、口両端、こめかみや顎先などの顎のライン上の点など、眉、目、鼻、口、顎などの顔のパーツの位置や輪郭特徴を示す点位置である。特徴点位置検出部１０４は上記検出方式を用いて、各時刻Ｔの顔領域画像内から図４に例を示す顔特徴点を検出し、同特徴点位置を出力する。なお、上記検出方式は一例であり、本発明で用いる顔特徴点位置検出の方式は上記検出方式に限るものではない。顔領域画像から顔の特徴点位置を特定することができる検出方式であれば、どのようなものでも良い。例えばパターンマッチングなどであっても顔の特徴点位置を検出することは可能である。
【００３８】
特徴量抽出部１０５は、特徴点位置検出部１０４が検出した顔の各特徴点位置の特徴量を算出する。顔認識分野では、Ｇａｂｏｒ Ｗａｖｅｌｅｔ変換により算出した特徴量により、顔を高精度に認識できることが報告されている（例えば非特許文献３：E. Elagin、J.Steffens、H.Neven、「Automatic Pose Estimation System for Human Faces Based on Bunch Graph Matching Technology」、Proceedings of the International Conference on Automatic Face and Gesture Recognition‘98. pp136-141、1998）。
【００３９】
Ｇａｂｏｒ Ｗａｖｅｌｅｔフィルタ係数を（式１）に示す（ｘ、ｙは画素の水平及び垂直位置、ｋは周波数、θは方位、σはガウス関数の標準偏差であり２πである）。周波数ｋ及び方位θを変化させ、各画素位置ｘ、ｙの画素値に式により求められる係数を畳み込み演算することにより、Ｇａｂｏｒ Ｗａｖｅｌｅｔ変換を行う。
【００４０】
【数１】
【００４１】
特徴量抽出部１０５は、上記Ｇａｂｏｒ Ｗａｖｅｌｅｔ変換により、各周波数ｋ成分及び各方位θに対してそれぞれ、特徴点位置検出部１０４が検出した顔の各特徴点位置の特徴量を算出する。なお、上記Ｇａｂｏｒ Ｗａｖｅｌｅｔ変換による特徴量抽出は一例であり、本発明で用いる特徴量抽出の方式は上記方式に限るものではない。顔の各特徴点位置に対し、各周波数成分の特徴量を抽出するものであれば良い。
【００４２】
距離推定部１０６は、特徴点位置検出部１０４で検出された顔の特徴点位置をもとに、撮影部１０１と人物の顔との間の距離を推定する。撮影部１０１と人物の顔との間の距離が離れていればいるほど、図４に示す顔４０１における各特徴点位置４０２間の距離は小さくなる。このことを利用して、各特徴点位置間の距離から、撮影部１０１と人物の顔との間の距離を推定することができる。また、撮影部１０１から顔までの距離が離れていればいるほど、撮影される顔のサイズは小さくなる。このことを利用し、顔検出部１０２で検出される顔領域のサイズから、撮影部１０１と人物の顔との間の距離を推定することもできる。このような推定方法を用いて距離推定部１０６は各時刻Ｔの顔領域画像における撮影部１０１と人物の顔との間の距離を推定し、その結果を出力する。なお、これらの距離推定方法は一例であり、本発明で用いる距離推定の方法は、上記距離推定方法に限るものではない。撮影部１０１と人物の顔との間の距離を推定することができる方法であれば、どのようなものでも良く、特徴点位置の間隔を利用しないステレオカメラや超音波センサなどを利用して距離を推定しても良い。
【００４３】
特徴量更新部１０７は、特徴量抽出部１０５で抽出された同一人物の顔に対する特徴量の一部を更新する。図５は、特徴量更新部１０７が更新する特徴量の一例を示す図である。同図の（Ａ２）、（Ｂ２）、（Ｃ２）は図３に示す撮影部１０１が各時刻Ｔに撮影した画像（Ａ１）、（Ｂ１）、（Ｃ１）のそれぞれ対応している。図５の（Ａ２）に示す時刻Ｔ１撮影画像では、撮影部１０１と人物の顔との間の距離が長く、顔画像のサイズが小さい。このような場合、特徴点位置の低周波成分の特徴量５０１のみを更新する。これは、サイズが小さい顔画像には特徴量の中周波数成分及び高周波成分が多く含まれておらず、同成分の特徴量の信頼性が低いためである。
【００４４】
図５の（Ｂ２）に示す時刻Ｔ２撮影画像では、撮影部１０１と人物の顔との間の距離が（Ａ２）に比べて短くなり、顔画像のサイズが大きくなっている。このような場合、特徴点位置の中周波成分の特徴量５０２のみを更新する。これは、顔画像のサイズが大きくなったために画像に中周波数成分が含まれ、特徴量の中周波数成分の信頼性が高くなったためである。図５の（Ｃ２）に示す時刻Ｔ３撮影画像では、撮影部１０１と人物の顔との間の距離が（Ｂ２）に比べて短くなり、顔画像のサイズは大きい。このような場合、特徴点位置の高周波成分の特徴量５０３のみを更新する。これは、顔画像のサイズが大きいため、画像に更に高周波成分が含まれ、特徴量の高周波数成分の信頼性が高くなったためである。以上のように、特徴量更新部１０７は、信頼性が高い周波数成分の特徴量のみを更新する。
【００４５】
記憶部１０８は、各時刻Ｔの更新した特徴量を保持する。そして、特徴量更新部１０７が現時刻に更新した特徴量、及び記憶部１０８に保持する現時刻以前に更新した特徴量は検索部１１０に出力される。検索部１１０は、特徴量更新部１０７が更新出力する特徴量とデータベース１０９に保持される各個人の特徴量を比較検索する。比較検索時に用いる評価式を（式２）に示す（Ｆｎ,θは特徴量更新部１０７が出力するｎ番目の特徴点における周波数θの特徴量、ｆｎ,θはデータベース１０９に保持される当該個人のｎ番目の特徴点における周波数θの特徴量、Ｓは当該個人の評価スコアである）。
【００４６】
【数２】
【００４７】
但し、特徴量更新部１０７が更新出力する特徴量において、未更新の特徴量点の周波数成分に対する演算は、（式２）の計算から除外する（同成分に対する演算結果を、Σで示す総和演算の要素値として含まない）。検索部１１０は、データベース１０９に保持される各個人データに対して、（式２）に示す評価式で求められる評価スコアを算出し、予め定めた値以上の評価スコアが算出された個人を検索する。そして、検索結果は表示通報部１１１を通じてユーザに通知される。
【００４８】
図６は、各時刻Ｔの撮影画像、特徴量及び評価空間上の範囲の一例を示す図である。同図における（Ａ１）、（Ｂ１）、（Ｃ１）は、図３に示す撮影部１０１が各時刻Ｔに撮影した画像（Ａ１）、（Ｂ１）、（Ｃ１）である。図６の（Ａ３）、（Ｂ３）、（Ｃ３）に示す各時刻Ｔの特徴量は、特徴量更新部１０７により更新された特徴量である。更新された特徴量が斜線（一点鎖線）で示されている。図６の（Ｄ）は、（式２）に示す評価空間での各時刻Ｔでの検索結果範囲を２次元空間に投影した場合のイメージ図である。
【００４９】
以上説明した特徴量更新部１０７までの動作によれば、図６の（Ａ３）、（Ｂ３）、（Ｃ３）に示すように、時間経過と共に、各特徴点位置の低周波成分、中周波成分、高周波成分の特徴量が順次更新される。検索部１１０は、未更新の特徴量点の周波数成分に対する演算は、（式２）の計算から除外し、予め定めた値以上の評価スコアが算出された個人を検索結果とするので、図６の（Ｄ）に示すように、評価空間上における検索結果として出力される範囲は徐々に狭くなって行くことになる。
【００５０】
図７は、図６の（Ｄ）に示す各時刻Ｔでの検索結果範囲を示すイメージに対し、データベース１０９に保持される各個人の特徴量の位置をプロットした図である。時刻Ｔ1では、時刻Ｔ1検索結果範囲内の７人が検索結果となる。時刻Ｔ２ではこの７人に対してのみ（式２）に示す評価スコアを算出する。そして、時刻Ｔ２では、時刻Ｔ２検索結果範囲内の４人が検索結果となる。同様に、時刻Ｔ３ではこの４人に対してのみ（式２）に示す評価スコアを算出する。そして、時刻Ｔ３では、時刻Ｔ３検索結果範囲内の１人が検索結果となる。以上のように、検索部１１０は絞り込み検索する。これにより、高速に検索処理を行うことができる。また、検索部１１０は、上記絞り込み検索により、検索結果の人数が予め定めた一定数以下であれば、検索処理を打ち切り、その検索結果を、表示通報部１１１を通じてユーザに通知する。これにより、早い段階で検索結果をユーザに提供することも可能になる。
【００５１】
図８は、実施の形態１の顔認識装置１００のメイン処理を説明するためのフローチャートである。同図において、まず撮影部１０１が人物を撮影し画像を取り込む（ステップＳ１）。そして、撮影部１０１で取り込まれた画像から顔検出部１０２が人物の顔領域を検出する（ステップＳ２）。人物の顔領域が検出されると、追跡部１０３が顔領域を追跡し、同一人物かを特定する（ステップＳ３）。次いで、特徴点位置検出部１０４、特徴量抽出部１０５、距離推定部１０６、特徴量更新部１０７及び検索部１１０が同一人物毎に複数の顔領域画像に対し、タスクＡの処理を行う（ステップＳ４）。タスクＡの処理が行われた後、タスクＡの処理による検索結果を表示し、ユーザに通知する（ステップＳ５）。
【００５２】
図９は、前記タスクＡの処理を説明するためのフローチャートである。同図において、特徴点位置検出部１０４は、顔検出部１０２で検出された人物の顔内の特徴点位置を検出する（ステップＳ３１）。次いで、距離推定部１０６が特徴点位置検出部１０４で検出された特徴点位置の間隔から撮影部１０１と人物の顔との間の距離を推定する（ステップＳ３２）。次いで、特徴量抽出部１０５が特徴点位置検出部１０４で検出された特徴点位置での特徴量を抽出する（ステップＳ３３）。距離推定部１０６が撮影部１０１と人物の顔との間の距離を推定し、特徴量抽出部１０５が特徴点位置での特徴量を抽出した後、特徴量更新部１０７が距離推定部１０６で推定された距離に応じて特徴量抽出部１０５で抽出された特徴量を更新する（ステップＳ３４）。撮影部１０１と人物の顔との間の距離に応じて特徴量が更新された後、検索部１１０が特徴量更新部１０７で更新された特徴量をデータベース１０９で保持された各個人の特徴量と比較し、検索する（ステップＳ３５）。そして、検索部１１０は比較検索処理で個人を特定できたか否かを判定する（ステップＳ３６）。この判定で個人を特定できた場合は本処理を終了し、特定できなかった場合は残りの顔領域画像があるか否かを判定する（ステップＳ３７）。この判定で残りの顔領域画像がなければ本処理を終了し、残りの顔領域画像があればステップＳ３１に戻り、上記同様の処理を繰り返す。
【００５３】
このように実施の形態１の顔認識装置１００によれば、距離推定部１０６が撮影部１０１と人物の顔との間の距離を推定し、その距離に応じて、特徴量更新部１０７が各特徴点位置の信頼性がある周波数成分の特徴量のみを更新し、検索部１１０が特徴量更新部１０７で更新された特徴量とデータベース１０９に保持された個人の特徴量を比較検索するので、人物の顔を高い精度で認識することができる。更に、検索部１１０は時間経過と共に更新される特徴量数の増加と共に、検索結果範囲が狭まり、前回の検索結果に対して絞り込み検索を行うため、高速に検索処理を行うことができる。また更に、検索部１１０は時間経過と共に狭まる検索結果範囲内の人数が、予め定めた一定数以下であれば、検索処理を打ち切り、その検索結果を、表示通報部１１１を通じてユーザに通知するので、早い段階で検索結果をユーザに提供することができる。
【００５４】
（実施の形態２）
図１０は、本発明の実施の形態２に係る顔認識装置の概略構成を示すブロック図である。なお、同図において前述した実施の形態１の顔認識装置１００と共通する部分には同一の符号を付けている。
【００５５】
図１０において、実施の形態２の顔認識装置１２０は、前述した実施の形態１の顔認識装置１００と同様の構成に角度推定部１２１を追加したものである。角度推定部１２１は、特徴点位置検出部１０４で検出された顔の各特徴点の位置関係から顔の向きを推定する。特徴量更新部１２２は、距離推定部１０６で推定された距離及び角度推定部１２１で推定された顔の向きに応じて特徴量抽出部１０５で抽出された特徴量を更新する。
【００５６】
図１１は、実施の形態２の顔認識装置１２０で撮影される人物と撮影部１０１の関係を示す図である。人物１２０１は、撮影部１０１が設置されている方向に移動している。すなわち、撮影部１０１に向って同図左から右に移動している。撮影部１０１は、時刻Ｔ１、時刻Ｔ２、時刻Ｔ３で人物１２０１を撮影している。
【００５７】
図１２は、実施の形態２の顔認識装置１２０において、各時刻Ｔ１、時刻Ｔ２、時刻Ｔ３で撮影された画像を示す図である。同図において、（Ａ１）は時刻Ｔ１における撮影画像、（Ｂ１）は時刻Ｔ２における撮影画像、（Ｃ１）は時刻Ｔ３における撮影画像である。撮影部１０１に近づくに従って撮影画像が大きくなり、且つ俯角が存在することから顔が徐々に下向きになる。
【００５８】
撮影部１０１は、図１１における各時刻Ｔで人物１２０１を撮影する。図１２の（Ａ１）は時刻Ｔ１で撮影された画像、図１２の（Ｂ１）は時刻Ｔ２で撮影された画像、図１２の（Ｃ１）は時刻Ｔ３で撮影された画像である。
【００５９】
角度推定部１２１は、前述したように、特徴点位置検出部１０４で検出された顔の各特徴点位置の位置関係から顔の向きを推定する。図１３は、斜め左上を向いた顔１４０１を示す図である。同図中に示す各特徴点位置を通る各破線１４０３同士の角度や、各特徴点位置間の距離比率は顔の向きによって差が現れる。このことを利用することで、各特徴点位置により顔向きを推定することができる。
【００６０】
また、各特徴点位置の３次元位置モデルを事前に用意し、（式３）に示す３次元姿勢式を当てはめた時に（Ｘ、Ｙは水平及び垂直方向の平行移動量、Ａｎ、Ｂｎ、及びＣｎは３次元位置モデルの各特徴点ｎの位置であり、θp、θt及びθrはそれぞれ３次元回転角であり、関数Ｒ（ ）は３次元回転関数である。Ｓはスケール係数、関数Ｐ（ ）は３次元位置を２次元位置へ投影する関数であり、Ｘn及びＹnは同投影後の各特徴点ｎの２次元位置である）、（式４）に示す位置誤差評価（ｘn及びｙnは特徴点位置検出部１０４が検出した各特徴点ｎの水平及び垂直方向位置）が最小になるような角度θp、θt及びθr（及び、スケールＳ、平行移動量Ｘ及びＹ）を求めることによっても、顔向きを推定することができる。
【００６１】
【数３】
【００６２】
【数４】
【００６３】
角度推定部１２１は、上記角度推定方法を用いて、各時刻Ｔの顔領域画像の顔向きを推定し、同向きを出力する。なお、上記角度推定方法は一例であり、本発明で用いる角度推定の方法は、上記角度推定方法に限るものではない。顔の角度を推定することができる方法であれば、どのようなものでも良く、特徴点位置を利用せずに超音波センサや人物に取り付けたジャイロセンサの情報を取得するなどして顔の角度を推定しても良い。
【００６４】
特徴量更新部１２２は、特徴量抽出部１０５で抽出された同一人物の顔に対する特徴量の一部を更新する。図１４は、特徴量更新部１２２が更新する特徴量の一例を示す図である。同図における（Ａ２）、（Ｂ２）、（Ｃ２）は図１２に示す撮影部１０１が各時刻Ｔに撮影した画像（Ａ１）、（Ｂ１）、（Ｃ１）に対応している。図１４の（Ａ２）に示す時刻Ｔ１撮影画像では、撮影部１０１と人物の顔との間の距離が長く、顔画像のサイズが小さい。このような場合、前述した実施の形態１と同様に、特徴点位置の低周波成分の特徴量５０１のみを更新する。また、図１４の（Ａ２）に示す時刻Ｔ１撮影画像では、顔は撮影部１０１とほぼ正対し、顔の各パーツも撮影部１０１とほぼ正対している。このような場合、顔の全てのパーツに対する特徴点の特徴量を更新する。
【００６５】
図１４の（Ｂ２）に示す時刻Ｔ２撮影画像では、撮影部１０１と人物の顔との間の距離が（Ａ２）に比べて短くなり、顔画像のサイズが大きくなっている。このような場合、前述した実施の形態１と同様に、特徴点位置の中周波成分の特徴量５０２のみを更新する。図１４の（Ｂ２）に示す時刻Ｔ２撮影画像では、顔は右方向を向いており、顔の右部分のパーツのみ撮影部１０１とほぼ正対している。このような場合、顔の右部分のパーツに対する特徴点に対する特徴量のみ更新する。
【００６６】
図１４の（Ｃ２）に示す時刻Ｔ３撮影画像では、撮影部１０１と人物の顔との間の距離が（Ｂ２）に比べて短くなり、顔画像のサイズは大きくなる。このような場合、前述した実施の形態１と同様に、特徴点位置の高周波成分の特徴量５０３のみを更新する。図１４の（Ｃ２）に示す時刻Ｔ３撮影画像では顔は下方向を向いており、顔の上部分のパーツのみ撮影部１０１とほぼ正対している。このような場合、顔の上部分のパーツに対する特徴点に対する特徴量のみ更新する。
【００６７】
以上のように、特徴量更新部１２２は、前述した実施の形態１と同様に、信頼性が高い周波数成分の特徴量のみ、且つ、顔認証精度が良い撮影部１０１と正対した顔パーツ部分の特徴点位置の特徴量のみを更新する。
【００６８】
記憶部１０８、データベース１０９、検索部１１０、表示通報部１１１の動作は前述した実施の形態１の顔認識装置１００のものと同じである。図１５は、各時刻Ｔの撮影画像、特徴量及び評価空間上の範囲の一例を示す図である。同図における（Ａ１）、（Ｂ１）、（Ｃ１）は、図１２に示す撮影部１０１が各時刻Ｔに撮影した画像（Ａ１）、（Ｂ１）、（Ｃ１）である。図１５の（Ａ３）、（Ｂ３）、（Ｃ３）に示す各時刻Ｔ特徴量は、特徴量更新部１２２により更新された特徴量である。更新された特徴量が斜線（一点鎖線）で示されている。図１５の（Ｄ）は、（式２）に示す評価空間での各時刻Ｔでの検索結果範囲を２次元空間に投影した場合のイメージを示す図である。
【００６９】
以上説明した特徴量更新部１２２までの動作によれば、図１５の（Ａ３）、（Ｂ３）、（Ｃ３）に示すように、前述した実施の形態１と同様に、時間経過と共に各特徴点位置の低周波成分、中周波成分、高周波成分の特徴量が順次更新される。また、撮影部１０１と正対した顔パーツ部分の特徴点位置の特徴量のみが順次更新される。
【００７０】
検索部１１０は、未更新の特徴点及び特徴量の周波数成分に対する演算は、（式２）の計算から除外し、予め定めた値以上の評価スコアが算出された個人を検索結果とするので、図１５の（Ｄ）に示すように、評価空間上における検索結果として出力される範囲は徐々に狭くなって行くことになる。
【００７１】
図１６は、実施の形態２の顔認識装置１２０のメイン処理を説明するためのフローチャートである。同図において、まず撮影部１０１が人物を撮影し画像を取り込む（ステップＳ１０）。そして、撮影部１０１が取り込んだ画像から顔検出部１０２が人物の顔領域を検出する（ステップＳ１１）。人物の顔領域が検出されると、追跡部１０３が顔領域を追跡し、同一人物かを特定する（ステップＳ１２）。次いで、特徴点位置検出部１０４、特徴量抽出部１０５、距離推定部１０６、角度推定部１２１、特徴量更新部１２２及び検索部１１０が同一人物毎に複数の顔領域画像に対し、タスクＢの処理を行う（ステップＳ１３）。タスクＢの処理が行われた後、タスクＢの処理による検索結果を表示し、ユーザに通知する（ステップＳ１４）。
【００７２】
図１７は、前記タスクＢの処理を説明するためのフローチャートである。同図において、特徴点位置検出部１０４は、顔検出部１０２で検出された人物の顔内の特徴点位置を検出する（ステップＳ１３１）。次いで、距離推定部１０６が特徴点位置検出部１０４で検出された特徴点位置の間隔から撮影部１０１と人物の顔との間の距離を推定する（ステップＳ１３２）。次いで、角度推定部１２１が特徴点位置検出部１０４で検出された特徴点位置の位置関係から人物の顔の向きを推定する（ステップＳ１３３）。更に、特徴量抽出部１０５が特徴点位置検出部１０４で検出された特徴点位置での特徴量を抽出する（ステップＳ１３４）。距離推定部１０６が撮影部１０１と人物の顔との間の距離を推定し、角度推定部１２１が特徴点位置から顔向きを推定し、更に特徴量抽出部１０５が特徴点位置での特徴量を抽出した後、特徴量更新部１２２が距離推定部１０６で推定された距離及び角度推定部１２１で推定された顔の向きに応じて特徴量抽出部１０５で抽出された特徴量を更新する（ステップＳ１３５）。撮影部１０１と人物の顔との間の距離に応じ、且つ撮影部１０１に正対する特徴点位置の特徴量が更新された後、検索部１１０が特徴量更新部１２２で更新された特徴量をデータベース１０９で保持された各個人の特徴量と比較し、検索する（ステップＳ１３６）。そして、検索部１１０は比較検索処理で個人を特定できたか否かを判定する（ステップＳ１３７）。この判定で個人を特定できた場合は本処理を終了し、特定できなかった場合は残りの顔領域画像があるか否かを判定する（ステップＳ１３８）。この判定で残りの顔領域画像がなければ本処理を終了し、残りの顔領域画像があればステップＳ１３１に戻り、上記同様の処理を繰り返す。
【００７３】
このように実施の形態２の顔認識装置１２０によれば、距離推定部１０６が撮影部１０１と人物の顔との間の距離を推定し、また角度推定部１２１が顔内の特徴点位置の位置関係から顔の向きを推定し、推定された距離と顔の向きに応じて、特徴量更新部１２２が顔内の特徴点位置での特徴量を更新し、検索部１１０が特徴量更新部１２２で更新された特徴量とデータベース１０９に保持されている個人の特徴量を比較検索するので、人物の顔を高い精度で認識することができる。更に、前述した実施の形態１と同様に、検索部１１０は時間経過と共に更新される特徴量数の増加と共に検索結果範囲が狭まり、前回の検索結果に対して絞り込み検索を行うため、高速に検索処理を行うことができる。また更に、前述した実施の形態１と同様に、検索部１１０は時間経過と共に狭まる検索結果範囲内の人数が、予め定めた一定数以下であれば、検索処理を打ち切り、その検索結果を、表示通報部１１１を通じてユーザに通知するので、早い段階で検索結果をユーザに提供することができる。
【００７４】
（実施の形態３）
図１８は、本発明の実施の形態３に係る顔認識装置の概略構成を示すブロック図である。なお、同図において前述した実施の形態１の顔認識装置１００と共通する部分には同一の符号を付けている。
【００７５】
図１８において、実施の形態３の顔認識装置１３０は、前述した実施の形態１の顔認識装置１００と同様の構成に明度検出部１３１を追加したものである。明度検出部１３１は明度を検出するものであり、顔領域画像から特徴点位置検出部１０４で検出された顔の各特徴点の位置における明度を検出する。
【００７６】
図１９は、実施の形態３の顔認識装置１３０で撮影される人物と撮影部１０１の関係を示す図である。人物２２０１は撮影部１０１が設置されている方向に移動している。すなわち、撮影部１０１に向って同図左から右に移動している。撮影部１０１は、時刻Ｔ１、時刻Ｔ２、時刻Ｔ３で人物２２０１を撮影している。人物２２０１の上方には光源である太陽２２０４の光を遮る遮蔽物２２０５があり、人物２２０１の時刻Ｔ2での顔の一部には太陽２２０４からの光が当っていない。
【００７７】
図２０は、実施の形態３の顔認識装置１３０において、時刻Ｔ１、時刻Ｔ２、時刻Ｔ３で撮影された画像を示す図である。同図において、（Ａ１）は時刻Ｔ１における撮影画像、（Ｂ１）は時刻Ｔ２における撮影画像、（Ｃ１）は時刻Ｔ３における撮影画像である。撮影部１０１に近づくに従って撮影画像が大きくなり、且つ俯角が存在することから顔が徐々に下向きになる。
【００７８】
撮影部１０１は、図１９における各時刻Ｔの人物２２０１を撮影する。これにより、時刻Ｔ１には図２０の（Ａ１）の撮影画像が撮影され、時刻Ｔ２には図２０の（Ｂ１）の撮影画像が撮影され、時刻Ｔ３には図２０の（Ｃ１）の撮影画像が撮影される。（Ｂ１）の時刻Ｔ２撮影画像に示すように、人物２２０１の顔の半分より下の部分には光が当たっていないため、暗くなっている。
【００７９】
顔検出部１０２、追跡部１０３、特徴点位置検出部１０４、特徴量抽出部１０５、距離推定部１０６の処理は前述した実施の形態１と同じであるので説明を省略する。
【００８０】
明度検出部１３１は、特徴点位置検出部１０４で検出された顔の特徴点位置における明度を検出する。一般的にカメラ等の撮像装置で撮影される画像はＲＧＢもしくは輝度（グレイスケール）画像である。ＲＧＢのＧ値及び輝度値は明度とほぼ等しく、画像のＧ値又は輝度値をそのまま明度としても問題はない。特徴点位置を中心に予め決めた範囲内の画素のＧ値又は輝度値の平均値を明度として利用する。明度検出部１３１は上記明度検出方法を用いて各特徴点位置の明度を検出し出力する。なお、この明度検出方法は一例であり、本発明で用いる明度検出方法はその明度検出方法に限るものではない。特徴点位置の明度を検出することができる方法であれば、どのようなものでも良い。
【００８１】
特徴量更新部１３２は、特徴量抽出部１０５が抽出した同一人物の顔に対する特徴量の一部を更新する。図２１は、特徴量更新部１３２が更新する特徴量の一例を示す図である。同図における（Ａ２）、（Ｂ２）、（Ｃ２）は図２０に示す撮影部１０１が各時刻Ｔに撮影する画像（Ａ１）、（Ｂ１）、（Ｃ１）に対応している。図２１の（Ａ２）に示す時刻Ｔ1撮影画像では、撮影部１０１の顔との間の距離が長く、顔画像のサイズが小さい。このような場合、前述した実施の形態１と同様に、特徴点位置の低周波成分の特徴量５０１のみを更新する。また、図２１の（Ａ２）に示す時刻Ｔ１撮影画像では、顔の各パーツに光が当っており、明度検出部１３１が出力する各特徴点の明度も予め定めた一定値以上の値となる。このような場合、顔の各パーツに対する特徴点の特徴量を更新する。これは、一般的な顔認証では一定値以上の明度の顔画像が入力されること想定しており、このような場合に顔認証精度が良いためである。
【００８２】
図２１の（Ｂ２）に示す時刻Ｔ２撮影画像では、撮影部１０１と人物の顔との間の距離が（Ａ２）に比べて短くなり、顔画像のサイズが大きくなっている。このような場合、前述した実施の形態１と同様に、特徴点位置の中周波成分の特徴量５０２のみを更新する。また、図２１の（Ｂ２）に示す時刻Ｔ2撮影画像では、顔の上部分のパーツにのみ光が当っており、明度検出部１３１が出力する上部分のパーツに対する特徴点の明度のみ予め定めた一定値以上の値となる。このような場合、顔の上部分のパーツに対する特徴点に対する特徴量のみ更新する。
【００８３】
図２１の（Ｃ２）に示す時刻Ｔ３撮影画像では、撮影部１０１と人物の顔との間の距離が（Ｂ２）に比べて短くなり、顔画像のサイズは大きくなる。このような場合、前述した実施の形態１と同様に、特徴点位置の高周波成分の特徴量５０３のみを更新する。また、図２１の（Ｃ２）に示す時刻Ｔ3撮影画像では、顔の各パーツに光が当っており、明度検出部１３１が出力する各特徴点の明度も、予め定めた一定値以上の値となる。このような場合、顔の各パーツに対する特徴点の特徴量を更新する。以上のように、特徴量更新部１３２は、前述した実施の形態１と同様に信頼性が高い周波数成分の特徴量のみ、且つ、顔認証精度が良い、明度が予め定めた一定値以上の値となる特徴点位置の特徴量のみを更新する。
【００８４】
記憶部１０８、検索部１１０、データベース１０９及び表示通報部１１１の動作は前述した実施の形態１の顔認識装置１００と同じであり、以下に簡単に説明する。図２２は、顔認識装置１３０で撮影された時刻Ｔ１，Ｔ２，Ｔ３の撮影画像、特徴量及び評価空間上の範囲の一例を示す図である。同図における（Ａ１）、（Ｂ１）、（Ｃ１）は、図２０に示す撮影部１０１で各時刻Ｔに撮影される画像（Ａ１）、（Ｂ１）、（Ｃ１）である。図２２の（Ａ３）、（Ｂ３）、（Ｃ３）に示す各時刻Ｔ特徴量は、特徴量更新部１３２により更新された特徴量である。更新された特徴量が斜線（一点鎖線）で示されている。図２２の（Ｄ）は、（式２）に示す評価空間での各時刻Ｔでの検索結果範囲を２次元空間に投影した場合のイメージを示す図である。
【００８５】
以上説明した特徴量更新部１３２までの動作によれば、図２２の（Ａ３）、（Ｂ３）、（Ｃ３）に示すように、前述した実施の形態１と同様に、時間経過と共に各特徴点位置の低周波成分、中周波成分、高周波成分の特徴量が順次更新される。また、明度が予め定めた一定値以上の値となる特徴点位置の特徴量のみが更新される。検索部１１０は、未更新の特徴量点の周波数成分に対する演算は、（式２）の計算から除外し、予め定めた値以上の評価スコアが算出された個人を検索結果とするので、図２２の（Ｄ）に示すように、評価空間上における検索結果として出力される範囲は徐々に狭くなって行くことになる。
【００８６】
図２３は、実施の形態３の顔認識装置１３０のメイン処理を説明するためのフローチャートである。同図において、まず撮影部１０１が人物を撮影し画像を取り込む（ステップＳ２０）。そして、撮影部１０１が取り込んだ画像から顔検出部１０２が人物の顔領域を検出する（ステップＳ２１）。人物の顔領域が検出されると、追跡部１０３が顔領域を追跡し、同一人物かを特定する（ステップＳ２２）。次いで、特徴点位置検出部１０４、特徴量抽出部１０５、距離推定部１０６、明度検出部１３１、特徴量更新部１３２及び検索部１１０が同一人物毎に複数の顔領域画像に対し、タスクＣの処理を行う（ステップＳ２３）。タスクＣの処理が行われた後、タスクＣの処理による検索結果を表示し、ユーザに通知する（ステップＳ２４）。
【００８７】
図２４は、タスクＣの処理を説明するためのフローチャートである。同図において、特徴点位置検出部１０４は、顔検出部１０２で検出された人物の顔内の特徴点位置を検出する（ステップＳ２３１）。次いで、距離推定部１０６が特徴点位置検出部１０４で検出された特徴点位置の間隔から撮影部１０１と人物の顔との間の距離を推定する（ステップＳ２３２）。次いで、明度検出部１３１が特徴点位置検出部１０４で検出された特徴点位置での明度を検出する（ステップ２３３）。更に、特徴量抽出部１０５が特徴点位置検出部１０４で検出された特徴点位置での特徴量を抽出する（ステップＳ２３４）。
【００８８】
距離推定部１０６が撮影部１０１と人物との間の距離を推定し、明度検出部１３１が特徴点位置の明度を検出し、更に特徴量抽出部１０５が特徴点位置での特徴量を抽出した後、特徴量更新部１３２が距離推定部１０６で推定された距離及び明度検出部１３１で検出された明度に応じて特徴量抽出部１０５で抽出された特徴量を更新する（ステップＳ２３５）。撮影部１０１と人物の顔との間の距離に応じ、且つ特徴点位置の明度に応じて特徴量が更新された後、検索部１１０が特徴量更新部１３２で更新された特徴量をデータベース１０９で保持された各個人の特徴量と比較し検索する（ステップＳ２３６）。そして、検索部１１０は比較検索処理で個人を特定できたか否かを判定する（ステップＳ２３７）。この判定で個人を特定できた場合は本処理を終了し、特定できなかった場合は残りの顔領域画像があるか否かを判定する（ステップＳ２３８）。この判定で残りの顔領域画像がなければ本処理を終了し、残りの顔領域画像があればステップＳ２３１に戻り、上記同様の処理を繰り返す。
【００８９】
このように実施の形態３の顔認識装置１３０によれば、距離推定部１０６が撮影部１０１と人物の顔との間の距離を推定し、また明度検出部１３１が顔内の特徴点位置での明度を検出し、推定された距離と検出された明度に応じて、特徴量更新部１３２が顔内の特徴点位置での特徴量を更新し、検索部１１０が特徴量更新部１３２で更新された特徴量とデータベース１０９に保持されている個人の特徴量を比較検索するので、人物の顔を高い精度で認識することができる。更に、前述した実施の形態１と同様に、検索部１１０は時間経過と共に更新される特徴量数の増加と共に、検索結果範囲が狭まり、前回の検索結果に対して絞り込み検索を行うため、高速に検索処理を行うことができる。また更に、前述した実施の形態１と同様に、検索部１１０は時間経過と共に狭まる検索結果範囲内の人数が、予め定めた一定数以下であれば、検索処理を打ち切り、その検索結果を、表示通報部１１１を通じて通知するので、早い段階で検索結果をユーザに提供することができる。
【００９０】
なお、上記実施の形態１〜３では、人物の顔を認識するものであったが、人物の顔に限定されるものではなく、それ以外の動く被写体であれば、どのようなものでも認識することができる。
【産業上の利用可能性】
【００９１】
本発明は、撮影して得られた画像から人物の顔等の被写体の所定領域を高い精度で認識することができるといった効果を有し、防犯や重要顧客の来客管理等のカメラシステムへの適用が可能である。
【符号の説明】
【００９２】
１００、１２０、１３０ 顔認識装置
１０１ 撮影部
１０２ 顔検出部
１０３ 追跡部
１０４ 特徴点位置検出部
１０５ 特徴量抽出部
１０６ 距離推定部
１０７、１２２、１３２ 特徴量更新部
１０８ 記憶部
１０９ データベース
１１０ 検索部
１１１ 表示通報部
１２１ 角度推定部
１３１ 明度検出部
２０１、１２０１、２２０１ 人物
２２０４ 太陽
２２０５ 遮蔽物
【特許請求の範囲】
【請求項１】
被写体を撮影する撮影部と、
前記撮影部での撮影結果としての画像から前記被写体の所定の領域を検出する領域検出部と、
前記領域検出部で検出された前記所定の領域内の特徴量を抽出する特徴量抽出部と、
前記撮影部と前記所定の領域との間の距離を推定する距離推定部と、
前記特徴量抽出部で抽出された前記特徴量を前記距離推定部で推定された前記距離に応じて更新する特徴量更新部と、を備えることを特徴とする顔認識装置。
【請求項２】
前記特徴量更新部で更新された前記特徴量を予め保持されている特徴量と比較し検索する検索部を備え、前記検索部での検索結果に基づき前記所定の領域を認識する請求項１記載の顔認識装置。
【請求項３】
前記所定の領域内の特徴点位置を検出する特徴点位置検出部を備え、
前記距離推定部は前記特徴点位置検出部で検出された前記特徴点位置の間隔から前記撮影部と前記所定の領域との間の距離を推定する請求項１記載の顔認識装置。
【請求項４】
人物を撮影する撮影部と、
前記撮影部での撮影結果としての画像から前記人物の顔を検出する顔検出部と、
前記顔検出部で検出された前記顔内の特徴点位置を検出する特徴点位置検出部と、
前記特徴点位置検出部で検出された前記特徴点位置での特徴量を抽出する特徴量抽出部と、
前記撮影部と前記顔との間の距離を推定する距離推定部と、
前記特徴量抽出部で抽出された前記特徴量を前記距離推定部で推定された前記距離に応じて更新する特徴量更新部と、
前記特徴量更新部で更新された前記特徴量を予め保持されている特徴量と比較し検索する検索部と、
を備え、前記検索部での検索結果に基づき前記顔を認識する顔認識装置。
【請求項５】
前記距離推定部は前記特徴点位置検出部で検出された前記特徴点位置の間隔から前記撮影部と前記顔との間の距離を推定する請求項４記載の顔認識装置。
【請求項６】
人物を撮影する撮影部と、
前記撮影部での撮影結果としての画像から前記人物の顔を検出する顔検出部と、
前記顔検出部で検出された前記顔内の特徴点位置を検出する特徴点位置検出部と、
前記特徴点位置検出部で検出された前記特徴点位置での特徴量を抽出する特徴量抽出部と、
前記特徴点位置検出部で検出された前記特徴点位置の間隔から前記撮影部と前記顔との間の距離を推定する距離推定部と、
前記顔の向きを推定する角度推定部と、
前記特徴量抽出部で抽出された前記特徴量を前記距離推定部で推定された前記距離及び前記角度推定部で推定された前記顔の向きに応じて更新する特徴量更新部と、
前記特徴量更新部で更新された前記特徴量を予め保持されている特徴量と比較し検索する検索部と、
を備え、前記検索部での検索結果に基づき前記顔を認識する顔認識装置。
【請求項７】
前記角度推定部は前記特徴点位置検出部で検出された前記特徴点位置の位置関係から前記顔の向きを推定する請求項６記載の顔認識装置。
【請求項８】
人物を撮影する撮影部と、
前記撮影部での撮影結果としての画像から前記人物の顔を検出する顔検出部と、
前記顔検出部で検出された前記顔内の特徴点位置を検出する特徴点位置検出部と、
前記特徴点位置検出部で検出された前記特徴点位置での特徴量を抽出する特徴量抽出部と、
前記特徴点位置検出部で検出された前記特徴点位置の間隔から前記撮影部と前記顔との間の距離を推定する距離推定部と、
前記特徴点位置検出部で検出された前記特徴点位置での明度を検出する明度検出部と、
前記特徴量抽出部で抽出された前記特徴量を前記距離推定部で推定された前記距離及び前記明度検出部で検出された前記特徴点位置での明度に応じて更新する特徴量更新部と、
前記特徴量更新部で更新された前記特徴量を予め保持されている特徴量と比較し検索する検索部と、
を備え、前記検索部での検索結果に基づき前記顔を認識する顔認識装置。
【請求項９】
被写体を撮影する撮影ステップと、
前記撮影ステップでの撮影結果としての画像から前記被写体の所定の領域を検出する領域検出ステップと、
前記領域検出ステップで検出された前記所定の領域内の特徴量を抽出する特徴量抽出ステップと、
前記撮影ステップと前記所定の領域との間の距離を推定する距離推定ステップと、
前記特徴量抽出ステップで抽出された前記特徴量を前記距離推定ステップで推定された前記距離に応じて更新する特徴量更新ステップと、を備えることを特徴とする顔認識方法。
【請求項１】
被写体を撮影する撮影部と、
前記撮影部での撮影結果としての画像から前記被写体の所定の領域を検出する領域検出部と、
前記領域検出部で検出された前記所定の領域内の特徴量を抽出する特徴量抽出部と、
前記撮影部と前記所定の領域との間の距離を推定する距離推定部と、
前記特徴量抽出部で抽出された前記特徴量を前記距離推定部で推定された前記距離に応じて更新する特徴量更新部と、を備えることを特徴とする顔認識装置。
【請求項２】
前記特徴量更新部で更新された前記特徴量を予め保持されている特徴量と比較し検索する検索部を備え、前記検索部での検索結果に基づき前記所定の領域を認識する請求項１記載の顔認識装置。
【請求項３】
前記所定の領域内の特徴点位置を検出する特徴点位置検出部を備え、
前記距離推定部は前記特徴点位置検出部で検出された前記特徴点位置の間隔から前記撮影部と前記所定の領域との間の距離を推定する請求項１記載の顔認識装置。
【請求項４】
人物を撮影する撮影部と、
前記撮影部での撮影結果としての画像から前記人物の顔を検出する顔検出部と、
前記顔検出部で検出された前記顔内の特徴点位置を検出する特徴点位置検出部と、
前記特徴点位置検出部で検出された前記特徴点位置での特徴量を抽出する特徴量抽出部と、
前記撮影部と前記顔との間の距離を推定する距離推定部と、
前記特徴量抽出部で抽出された前記特徴量を前記距離推定部で推定された前記距離に応じて更新する特徴量更新部と、
前記特徴量更新部で更新された前記特徴量を予め保持されている特徴量と比較し検索する検索部と、
を備え、前記検索部での検索結果に基づき前記顔を認識する顔認識装置。
【請求項５】
前記距離推定部は前記特徴点位置検出部で検出された前記特徴点位置の間隔から前記撮影部と前記顔との間の距離を推定する請求項４記載の顔認識装置。
【請求項６】
人物を撮影する撮影部と、
前記撮影部での撮影結果としての画像から前記人物の顔を検出する顔検出部と、
前記顔検出部で検出された前記顔内の特徴点位置を検出する特徴点位置検出部と、
前記特徴点位置検出部で検出された前記特徴点位置での特徴量を抽出する特徴量抽出部と、
前記特徴点位置検出部で検出された前記特徴点位置の間隔から前記撮影部と前記顔との間の距離を推定する距離推定部と、
前記顔の向きを推定する角度推定部と、
前記特徴量抽出部で抽出された前記特徴量を前記距離推定部で推定された前記距離及び前記角度推定部で推定された前記顔の向きに応じて更新する特徴量更新部と、
前記特徴量更新部で更新された前記特徴量を予め保持されている特徴量と比較し検索する検索部と、
を備え、前記検索部での検索結果に基づき前記顔を認識する顔認識装置。
【請求項７】
前記角度推定部は前記特徴点位置検出部で検出された前記特徴点位置の位置関係から前記顔の向きを推定する請求項６記載の顔認識装置。
【請求項８】
人物を撮影する撮影部と、
前記撮影部での撮影結果としての画像から前記人物の顔を検出する顔検出部と、
前記顔検出部で検出された前記顔内の特徴点位置を検出する特徴点位置検出部と、
前記特徴点位置検出部で検出された前記特徴点位置での特徴量を抽出する特徴量抽出部と、
前記特徴点位置検出部で検出された前記特徴点位置の間隔から前記撮影部と前記顔との間の距離を推定する距離推定部と、
前記特徴点位置検出部で検出された前記特徴点位置での明度を検出する明度検出部と、
前記特徴量抽出部で抽出された前記特徴量を前記距離推定部で推定された前記距離及び前記明度検出部で検出された前記特徴点位置での明度に応じて更新する特徴量更新部と、
前記特徴量更新部で更新された前記特徴量を予め保持されている特徴量と比較し検索する検索部と、
を備え、前記検索部での検索結果に基づき前記顔を認識する顔認識装置。
【請求項９】
被写体を撮影する撮影ステップと、
前記撮影ステップでの撮影結果としての画像から前記被写体の所定の領域を検出する領域検出ステップと、
前記領域検出ステップで検出された前記所定の領域内の特徴量を抽出する特徴量抽出ステップと、
前記撮影ステップと前記所定の領域との間の距離を推定する距離推定ステップと、
前記特徴量抽出ステップで抽出された前記特徴量を前記距離推定ステップで推定された前記距離に応じて更新する特徴量更新ステップと、を備えることを特徴とする顔認識方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【公開番号】特開２０１１−２１００３０（Ｐ２０１１−２１００３０Ａ）
【公開日】平成２３年１０月２０日（２０１１．１０．２０）
【国際特許分類】
【出願番号】特願２０１０−７７４１８（Ｐ２０１０−７７４１８）
【出願日】平成２２年３月３０日（２０１０．３．３０）
【出願人】（０００００５８２１）パナソニック株式会社 (73,050)
【Ｆターム（参考）】
【公開日】平成２３年１０月２０日（２０１１．１０．２０）
【国際特許分類】
【出願日】平成２２年３月３０日（２０１０．３．３０）
【出願人】（０００００５８２１）パナソニック株式会社 (73,050)
【Ｆターム（参考）】
[ Back to top ]