画像処理装置、撮像装置、これらにおける処理方法およびプログラム
【課題】対象物の類似度算出の精度を高める。
【解決手段】顔特徴量ＲＡＭ３９０には特定人物の顔特徴量が記憶されている。顔検出部２００は撮像画像に含まれる顔を検出する。正規化部３２０は撮像画像から検出された顔を含む顔画像を正規化する。属性判定部３３０は検出された顔の属性を判定する。特徴点算出部３４０は、顔属性の判定結果に基づいて正規化顔画像に設定すべき特徴点の位置を決定する。顔特徴量抽出部３５０は、顔属性の判定結果に基づいてパラメータが変更されたガボア・フィルタを用いて正規化顔画像に設定された特徴点における特徴量を抽出する。類似度算出部３６０は、顔属性の判定結果に基づいて数または種類が変更された複数の弱判別器を用いて特定人物の特徴量と正規化顔画像に設定された特徴点における特徴量とを比較することにより、特定人物の顔と検出された顔との類似度を算出する。
【解決手段】顔特徴量ＲＡＭ３９０には特定人物の顔特徴量が記憶されている。顔検出部２００は撮像画像に含まれる顔を検出する。正規化部３２０は撮像画像から検出された顔を含む顔画像を正規化する。属性判定部３３０は検出された顔の属性を判定する。特徴点算出部３４０は、顔属性の判定結果に基づいて正規化顔画像に設定すべき特徴点の位置を決定する。顔特徴量抽出部３５０は、顔属性の判定結果に基づいてパラメータが変更されたガボア・フィルタを用いて正規化顔画像に設定された特徴点における特徴量を抽出する。類似度算出部３６０は、顔属性の判定結果に基づいて数または種類が変更された複数の弱判別器を用いて特定人物の特徴量と正規化顔画像に設定された特徴点における特徴量とを比較することにより、特定人物の顔と検出された顔との類似度を算出する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置に関し、特に、画像に含まれる所定の対象物を認識する画像処理装置、撮像装置、および、これらにおける処理方法ならびに当該方法をコンピュータに実行させるプログラムに関する。
【背景技術】
【０００２】
近年、デジタルスチルカメラ、デジタルビデオカメラ、携帯電話機に搭載されている小型カメラ等の撮像装置の高性能化が進んでいる。これらの撮像装置に搭載されている機能として、最近では、被写体が何であるかを認識する被写体認識技術が注目を浴びている。被写体認識技術として、例えば、画像処理によって撮像画像から人物の顔を検出する顔検出技術が提案されている。
【０００３】
この顔検出技術として、例えば、撮像画像の一部分を切り出し、この切り出された画像と、テンプレートと比較することによって、この切り出された画像が人物の顔である確からしさを算出して、人物の顔を検出する顔検出技術が提案されている（例えば、特許文献１参照。）。
【０００４】
このように顔検出技術を用いて検出された顔について、さらに、特定人物の顔であるか否かを識別する技術（いわゆる、顔認識技術）が提案されている。
【０００５】
例えば、入力された画像に含まれる顔上に一定の間隔で離れて位置する画素をその顔の特徴点として検出し、この特徴点の局所的な特徴量をガボア・フィルタにより検出し、この検出された特徴量が、予め登録されている顔の特徴量に対してどの程度類似しているかを演算することにより、人物の顔を識別する画像処理装置が提案されている（例えば、特許文献２参照。）。
【特許文献１】特開２００７−４３１３号公報（図１）
【特許文献２】特開２００６−４００３号公報（図２）
【発明の開示】
【発明が解決しようとする課題】
【０００６】
上述の従来技術によれば、入力された画像に含まれる顔上において一定の間隔で配置された特徴点の局所的な特徴量を検出し、この検出された特徴量を用いて人物の顔を識別することができる。
【０００７】
しかしながら、人物の顔の輪郭に対する目、鼻、口等の顔の器官の位置やその比率について、大人と子供とを比較した場合には、ある程度の差異が生じることが知られている。また、大人の顔は、子供の顔に対して面長となっている傾向が強いことも知られている。さらに、顔の表情、性別、目の開閉、人種、眼鏡の有無や種類、ヒゲの有無や種類、顔向き等についても各個人によって差異が生じる。このように、撮像画像に含まれる人物によって各種の差異が生じる。このため、対象物の類似度算出の精度を高めるには、認識の対象となる人物の顔の属性に応じて適切な特徴点の設定等を行うことが重要となる。
【０００８】
そこで、本発明は、対象物の類似度算出の精度を高めることを目的とする。
【課題を解決するための手段】
【０００９】
本発明は、上記課題を解決するためになされたものであり、その第１の側面は、所定の対象物の特徴量を記憶する対象物特徴量記憶手段と、画像を入力する画像入力手段と、上記入力された画像に含まれる対象物を検出する対象物検出手段と、上記検出された対象物の属性を判定する属性判定手段と、上記判定された属性に基づいて上記入力された画像に設定すべき特徴点の位置を決定する特徴点決定手段と、上記対象物特徴量記憶手段に記憶されている特徴量と上記入力された画像に設定された特徴点における特徴量とを比較することにより上記対象物特徴量記憶手段に記憶されている特徴量に対応する対象物と上記検出された対象物との類似度を算出する類似度算出手段とを具備することを特徴とする画像処理装置およびその処理方法ならびに当該方法をコンピュータに実行させるプログラムである。これにより、入力された画像に含まれる対象物を検出すると、この検出された対象物の属性を判定し、この判定された属性に基づいて、入力された画像に設定すべき特徴点の位置を決定し、対象物特徴量記憶手段に記憶されている特徴量と、入力された画像に設定された特徴点における特徴量とを比較することによって、対象物特徴量記憶手段に記憶されている特徴量に対応する対象物と、検出された対象物との類似度を算出するという作用をもたらす。
【００１０】
また、この第１の側面において、上記入力された画像に設定すべき特徴点の位置の初期値を保持する特徴点座標テーブル保持手段をさらに具備し、上記特徴点決定手段は、上記判定された属性に基づいて上記初期値における特徴点の位置を移動または上記初期値における特徴点の数を増減させることにより上記入力された画像に設定すべき特徴点の位置を決定することができる。これにより、判定された属性に基づいて、初期値における特徴点の位置を移動または初期値における特徴点の数を増減させることによって、入力された画像に設定すべき特徴点の位置を決定するという作用をもたらす。
【００１１】
また、この第１の側面において、上記検出された対象物が一定の位置に配置されるように上記検出された対象物の周辺画像である対象物画像を正規化する正規化手段をさらに具備し、上記特徴点決定手段は、上記判定された属性に基づいて上記正規化された対象物画像に設定すべき特徴点の位置を決定することができる。これにより、検出された対象物が一定の位置に配置されるように対象物画像を正規化して、判定された属性に基づいて、その正規化された対象物画像に設定すべき特徴点の位置を決定するという作用をもたらす。
【００１２】
また、この第１の側面において、上記入力された画像に設定された特徴点における特徴量を抽出する特徴量抽出手段をさらに具備することができる。これにより、入力された画像に設定された特徴点における特徴量を抽出するという作用をもたらす。
【００１３】
また、この第１の側面において、上記特徴量抽出手段は、上記入力された画像に設定された特徴点を含むその周辺画像である近傍画像について特徴量抽出フィルタを用いて上記特徴点毎に特徴量を抽出することができる。これにより、近傍画像について特徴量抽出フィルタを用いて特徴点毎に特徴量を抽出するという作用をもたらす。
【００１４】
また、この第１の側面において、上記特徴量抽出手段は、上記判定された属性に基づいて上記特徴量の抽出に用いられる上記特徴量抽出フィルタのパラメータを変更することができる。これにより、判定された属性に基づいて、特徴量抽出フィルタのパラメータを変更するという作用をもたらす。
【００１５】
また、この第１の側面において、上記特徴量抽出フィルタはガボア・フィルタであり、上記特徴量抽出手段は、上記判定された属性に基づいて上記ガボア・フィルタのパラメータである通過帯域または特徴量抽出角度を変更することができる。これにより、判定された属性に基づいて、ガボア・フィルタのパラメータである通過帯域または特徴量抽出角度を変更するという作用をもたらす。
【００１６】
また、この第１の側面において、上記算出された類似度に基づいて上記入力された画像について抽出された特徴量が一定の条件を満たしているか否かを判定して上記一定の条件を満たしていると判定された場合には上記入力された画像について抽出された特徴量を上記対象物特徴量記憶手段に記憶させる特徴量登録手段をさらに具備することができる。これにより、算出された類似度に基づいて、入力された画像について抽出された特徴量が一定の条件を満たしているか否かを判定し、この一定の条件を満たしていると判定された場合には、入力された画像について抽出された特徴量を、対象物特徴量記憶手段に記憶させるという作用をもたらす。
【００１７】
また、この第１の側面において、上記特徴量登録手段は、上記一定の条件を満たしていると判定された場合には上記入力された画像について抽出された特徴量とともに上記判定された属性を上記対象物特徴量記憶手段に記憶させることができる。これにより、一定の条件を満たしていると判定された場合には、入力された画像について抽出された特徴量とともに、判定された属性を対象物特徴量記憶手段に記憶させるという作用をもたらす。
【００１８】
また、この第１の側面において、上記類似度算出手段は、複数の弱判別器を用いて上記対象物特徴量記憶手段に記憶されている特徴量と上記入力された画像に設定された特徴点における特徴量とを比較することにより上記類似度を算出することができる。これにより、複数の弱判別器を用いて、対象物特徴量記憶手段に記憶されている特徴量と、入力された画像に設定された特徴点における特徴量とを比較することによって、類似度を算出するという作用をもたらす。
【００１９】
また、この第１の側面において、上記類似度算出手段は、上記判定された属性に基づいて上記類似度の算出に用いられる上記弱判別器の数または種類を変更することができる。これにより、判定された属性に基づいて、弱判別器の数または種類を変更するという作用をもたらす。
【００２０】
また、この第１の側面において、所定の対象物に関する属性を記憶する対象物属性記憶手段をさらに具備し、上記類似度算出手段は、上記判定された属性と上記対象物属性記憶手段に記憶されている属性とを比較することにより上記検出された対象物と上記対象物属性記憶手段に属性が記憶されている対象物との属性の類似度を判定して上記属性の類似度の判定結果に基づいて上記検出された対象物についての類似度を算出するか否かを判断することができる。これにより、判定された属性と、対象物属性記憶手段に記憶されている属性とを比較することによって、検出された対象物と対象物属性記憶手段に属性が記憶されている対象物との属性の類似度を判定し、この属性の類似度の判定結果に基づいて、検出された対象物についての類似度を算出するか否かを判断するという作用をもたらす。
【００２１】
また、この第１の側面において、上記対象物検出手段は、上記入力された画像に含まれる人物の顔を検出することができる。これにより、入力された画像に含まれる人物の顔を検出するという作用をもたらす。
【００２２】
また、この第１の側面において、上記属性判定手段は、人物の顔についての表情、年齢もしくは年代、性別、目の開閉、人種、眼鏡の有無もしくは種類、ヒゲの有無もしくは種類、帽子の有無もしくは種類、アクセサリーの有無もしくは種類、髪型、または、顔向きの少なくとも１つを上記検出された人物の顔の属性として判定することができる。これにより、人物の顔についての表情、年齢もしくは年代、性別、目の開閉、人種、眼鏡の有無もしくは種類、ヒゲの有無もしくは種類、帽子の有無もしくは種類、アクセサリーの有無もしくは種類、髪型、または、顔向きの少なくとも１つを、検出された人物の顔の属性として判定するという作用をもたらす。
【００２３】
また、この第１の側面において、上記属性判定手段は、上記検出された対象物について複数の属性を順次判定するとともに既に判定された属性の判定結果に基づいて次に判定すべき属性を選択することができる。これにより、検出された対象物について複数の属性を順次判定するとともに、既に判定された属性の判定結果に基づいて次に判定すべき属性を選択するという作用をもたらす。
【００２４】
また、本発明の第２の側面は、所定の対象物の特徴量を記憶する対象物特徴量記憶手段と、画像を入力する画像入力手段と、上記入力された画像に含まれる対象物を検出する対象物検出手段と、上記検出された対象物の属性を判定する属性判定手段と、上記判定された属性に基づいて数または種類が決定された複数の弱判別器を用いて上記対象物特徴量記憶手段に記憶されている特徴量と上記入力された画像に設定された特徴点における特徴量とを比較することにより上記対象物特徴量記憶手段に記憶されている特徴量に対応する対象物と上記検出された対象物との類似度を算出する類似度算出手段とを具備することを特徴とする画像処理装置およびその処理方法ならびに当該方法をコンピュータに実行させるプログラムである。これにより、入力された画像に含まれる対象物を検出すると、この検出された対象物の属性を判定し、この判定された属性に基づいて数または種類が決定された複数の弱判別器を用いて、対象物特徴量記憶手段に記憶されている特徴量と、入力された画像に設定された特徴点における特徴量とを比較することによって、対象物特徴量記憶手段に記憶されている特徴量に対応する対象物と、検出された対象物との類似度を算出するという作用をもたらす。
【００２５】
また、本発明の第３の側面は、所定の対象物の特徴量を記憶する対象物特徴量記憶手段と、被写体からの入射光を撮像画像に変換する撮像手段と、上記撮像画像に含まれる対象物を検出する対象物検出手段と、上記検出された対象物の属性を判定する属性判定手段と、上記判定された属性に基づいて上記撮像画像に設定すべき特徴点の位置を決定する特徴点決定手段と、上記対象物特徴量記憶手段に記憶されている特徴量と上記撮像画像に設定された特徴点における特徴量とを比較することにより上記対象物特徴量記憶手段に記憶されている特徴量に対応する対象物と上記検出された対象物との類似度を算出する類似度算出手段とを具備することを特徴とする撮像装置およびその処理方法ならびに当該方法をコンピュータに実行させるプログラムである。これにより、撮像画像に含まれる対象物を検出すると、この検出された対象物の属性を判定し、この判定された属性に基づいて、撮像画像に設定すべき特徴点の位置を決定し、対象物特徴量記憶手段に記憶されている特徴量と、撮像画像に設定された特徴点における特徴量とを比較することによって、対象物特徴量記憶手段に記憶されている特徴量に対応する対象物と、検出された対象物との類似度を算出するという作用をもたらす。
【発明の効果】
【００２６】
本発明によれば、対象物の類似度算出の精度を高めるという優れた効果を奏し得る。
【発明を実施するための最良の形態】
【００２７】
次に本発明の実施の形態について図面を参照して詳細に説明する。
【００２８】
図１は、本発明の実施の形態における撮像装置１００の機能構成例を示すブロック図である。撮像装置１００として、デジタルスチルカメラやデジタルビデオカメラ等の撮像装置、または、携帯電話機やパーソナルコンピュータ等の端末装置に付属するカメラ等の撮像装置が例として挙げられる。
【００２９】
撮像装置１００は、ＣＰＵ（Central Processing Unit）１１０と、レンズ群１２１と、イメージセンサ１２２と、カメラ信号処理部１２３と、画像ＲＡＭ（Random Access Memory）１３０と、画像圧縮伸張部１４０と、表示部１５０と、操作受付部１６０と、記憶媒体１７０と、揮発／不揮発性記憶媒体１８０と、画像バス１９０と、顔検出部２００と、顔認識部３００と、顔特徴量ＲＡＭ３９０とを備える。なお、撮像装置１００の各ブロック間における画像信号の送受信は、直接のやりとり、または、共有メモリである画像ＲＡＭ１３０または画像バス１９０を経由したやりとりによって行われる。
【００３０】
ＣＰＵ１１０は、メモリ（図示せず）に格納されている各種制御プログラムに基づいて撮像装置１００の各部を制御するＣＰＵである。
【００３１】
レンズ群１２１は、フォーカスレンズやズームレンズ等の複数のレンズにより構成され、これらのレンズを介して入力された被写体からの入射光をイメージセンサ１２２に出力する。また、レンズ群１２１における絞り制御やフォーカス制御がＣＰＵ１１０により行われる。
【００３２】
イメージセンサ１２２は、レンズ群１２１を通過した被写体からの入射光を電気信号に光電変換し、光電変換された電気信号をカメラ信号処理部１２３に出力するものである。
【００３３】
カメラ信号処理部１２３は、イメージセンサ１２２から出力された電気信号に対して各種の信号処理を施し、信号処理が施された画像データを画像ＲＡＭ１３０、画像圧縮伸張部１４０、表示部１５０および顔検出部２００に出力するものである。カメラ信号処理部１２３における信号処理として、ホワイトバランス調節、ノイズ軽減処理、レベル補正処理、Ａ／Ｄ変換処理および色彩補正処理等の信号処理がある。
【００３４】
画像ＲＡＭ１３０は、撮像装置１００において処理対象となる画像データを記憶するものである。
【００３５】
画像圧縮伸張部１４０は、入力された各種画像データを各画像処理に応じて圧縮または伸張するものである。例えば、画像圧縮伸張部１４０により圧縮処理が施された画像データが記憶媒体１７０に出力されて記録される。また、画像圧縮伸張部１４０により伸張処理が施された画像データが画像ＲＡＭ１３０、表示部１５０および顔検出部２００に出力される。なお、圧縮形式として、例えばＪＰＥＧ（Joint Photographic Experts Group）形式を採用することができる。
【００３６】
表示部１５０は、カメラ信号処理部１２３または画像圧縮伸張部１４０が出力した画像データに対応する画像を表示する表示部である。
【００３７】
操作受付部１６０は、ユーザにより行われた各種の操作を受け付ける操作受付部であり、受け付けられた操作内容をＣＰＵ１１０に出力する。なお、表示部１５０および操作受付部１６０については、タッチパネルとして一体で構成するようにしてもよく、表示部１５０を液晶ディスプレイ（ＬＣＤ）とし、操作受付部１６０を十字キー等のハードキーとして双方を別体で構成するようにしてもよい。
【００３８】
記憶媒体１７０は、画像圧縮伸張部１４０が出力した画像データを記憶するとともに、記憶されている画像データを画像圧縮伸張部１４０に出力する画像記憶媒体である。なお、画像記憶媒体としては、磁気ディスク、光ディスク、半導体記憶媒体、磁気テープ等の画像記憶媒体がある。また、画像記憶媒体は、外部取り外しの可能な記憶媒体または内蔵の記憶媒体とすることができる。
【００３９】
揮発／不揮発性記憶媒体１８０は、各種情報を記憶する揮発／不揮発性の記憶媒体である。
【００４０】
画像バス１９０は、画像データを伝達するための共有バスである。
【００４１】
顔検出部２００は、入力された画像データに対応する画像に含まれる人の顔を検出するものであり、検出された顔を含むその周辺画像である顔画像を画像バス１９０を介して画像ＲＡＭ１３０に出力するとともに、検出された顔に関する情報を顔認識部３００に出力する。なお、顔検出部２００については、図２を参照して詳細に説明する。
【００４２】
顔認識部３００は、顔検出部２００によって検出された顔について、顔特徴量ＲＡＭ３９０に特徴量が記憶されている人物（登録人物）と同一人物の顔であるか否かを示す類似度を算出するものであり、算出された類似度をＣＰＵ１１０に出力する。なお、顔認識部３００および顔特徴量ＲＡＭ３９０については、図３を参照して詳細に説明する。
【００４３】
なお、ＣＰＵ１１０の制御に基づいて、画像圧縮伸張部１４０が出力した画像データを外部記憶媒体等の外部装置に出力するとともに、外部記憶媒体から入力された画像データを画像圧縮伸張部１４０に出力するための入出力端子を、撮像装置１００に設けるようにしてもよい。
【００４４】
図２は、顔検出部２００の機能構成例を示すブロック図である。
【００４５】
顔検出部２００は、コントローラ２１０と、画像拡大縮小部２２０と、画像保持部２３０と、基準顔データ保持部２４０と、判定部２５０とを備える。
【００４６】
コントローラ２１０は、ＣＰＵ１１０からの指示に従って顔検出部２００の各部を制御するものである。
【００４７】
画像拡大縮小部２２０は、カメラ信号処理部１２３または画像圧縮伸張部１４０から出力された画像データ、または、画像ＲＡＭ１３０に記憶されている画像データに対応する画像に対して、顔の検出に適する画像に拡大または縮小処理を実行するものである。なお、画像の拡大率または縮小率は、ＣＰＵ１１０からの指示に基づいて決定される。
【００４８】
画像保持部２３０は、画像拡大縮小部２２０により拡大処理または縮小処理が施された画像を保持する画像メモリであり、保持されている画像を判定部２５０に出力するとともに、画像バス１９０を介して画像ＲＡＭ１３０に出力する。
【００４９】
基準顔データ保持部２４０は、顔検出に用いる際に基準となる顔データを保持するものであり、保持されている顔データを判定部２５０に出力する。ここで基準となる顔データは、例えば、顔画像そのもの、人の顔に関する特徴データベース等である。
【００５０】
判定部２５０は、画像保持部２３０に保持されている画像に顔が含まれているか否かを判定するものであり、顔検出結果をＣＰＵ１１０および顔認識部３００に出力する。具体的には、判定部２５０は、画像保持部２３０に保持されている画像を一定のウィンドウサイズで部分的に取り出し、取り出された画像と、基準顔データ保持部２４０に保持されている顔データとでテンプレートマッチング処理を行い、相関性の高さに基づいて、顔らしさを算出する。そして、算出された顔らしさに基づいて、取り出された画像が顔画像であるか否かを判定する。例えば、算出された顔らしさが十分に高い場合には、取り出された画像が顔画像であると判定される。これらの判定が繰り返し実行され、画像保持部２３０に保持されている画像に含まれている顔が検出される。
【００５１】
また、判定部２５０は、基準顔データ保持部２４０に保持されている顔データとの相関性の高さに基づいて、画像保持部２３０に保持されている画像に含まれている顔に関する各種データを抽出し、抽出された各種データを顔検出結果としてＣＰＵ１１０および顔認識部３００に出力する。この顔検出結果は、顔領域の座標、顔領域の大きさ、顔の向き、顔らしさ等である。これらの顔検出結果はＣＰＵ１１０に蓄えられる。
【００５２】
図３は、顔認識部３００の機能構成例、および、顔認識部３００と、画像ＲＡＭ１３０、画像バス１９０および顔特徴量ＲＡＭ３９０との概略関係を示すブロック図である。
【００５３】
顔認識部３００は、コントローラ３１０と、正規化部３２０と、属性判定部３３０と、属性判定基準データ保持部３３１と、特徴点算出部３４０と、特徴点座標テーブル保持部３４１と、顔特徴量抽出部３５０と、類似度算出部３６０と、類似度算出基準データ保持部３６１と、顔特徴量登録部３７０とを備える。また、顔認識部３００は、画像バス１９０を介して、画像ＲＡＭ１３０に記憶されている画像から、この画像に含まれる顔を含む顔画像を入力する。また、顔認識部３００は、顔特徴量ＲＡＭ３９０に記憶されている顔特徴量を取得して類似度算出を行い、一定の条件を満たす新規な顔特徴量を顔特徴量ＲＡＭ３９０に記録する。
【００５４】
コントローラ３１０は、ＣＰＵ１１０からの指示に従って顔認識部３００の各部を制御するものである。
【００５５】
正規化部３２０は、顔検出部２００から出力された顔検出結果に含まれる顔領域の座標および大きさに基づいて、画像ＲＡＭ１３０に記憶されている画像から顔画像を読み出し、読み出された顔画像について正規化を行うものであり、正規化された顔画像である正規化顔画像を属性判定部３３０および特徴点算出部３４０に出力する。具体的には、正規化部３２０は、例えば、画像ＲＡＭ１３０から読み出された顔画像に含まれる顔が一定の大きさになるように、その顔画像を解像度変換する（例えば、６４×６４画素程度）とともに、その顔に含まれる両目がほぼ水平に保たれるように、その顔画像に回転処理を施して正規化顔画像を生成する。なお、顔画像の正規化については、図４を参照して詳細に説明する。
【００５６】
属性判定部３３０は、属性判定基準データ保持部３３１に保持されている属性判定基準データを用いて、正規化部３２０から出力された正規化顔画像に含まれる顔の属性を判定するものであり、判定結果を特徴点算出部３４０、顔特徴量抽出部３５０および類似度算出部３６０に出力する。例えば、正規化部３２０から出力された正規化顔画像について、属性判定基準データ保持部３３１に保持されている属性判定基準データがどの程度満たされるか否かを算出することにより、各属性についての積算結果値が得られる。ここで、属性判定部３３０により判定される顔の属性は、例えば、顔の表情、年齢や年代、性別、目の開閉、人種、眼鏡の有無や種類、ヒゲの有無や種類、帽子の有無や種類、アクセサリーの有無や種類、髪型、顔の向き等である。なお、顔の表情とは、例えば、笑顔、真剣な顔、悲しい顔、怒った顔等である。なお、顔の属性の判定については、図５乃至図８を参照して詳細に説明する。
【００５７】
属性判定基準データ保持部３３１は、属性判定部３３０による判定に用いられる複数の属性判定基準データから構成されている属性判定用辞書を、顔の属性毎に保持するものである。この属性判定基準データは、属性判定部３３０により判定される顔の属性に関して予め十分に学習をさせた基準データである。なお、属性判定用辞書については、図６を参照して詳細に説明する。
【００５８】
特徴点算出部３４０は、特徴点座標テーブル保持部３４１に保持されている特徴点座標テーブルに含まれる特徴点座標について、属性判定部３３０から出力された判定結果に基づいて変更等を行い、正規化部３２０から出力された正規化顔画像に含まれる顔上に設定すべき特徴点の位置を算出して決定するものであり、算出された特徴点の位置を含む正規化顔画像を顔特徴量抽出部３５０に出力する。なお、正規化顔画像に含まれる顔上に設定すべき特徴点の位置の算出については、図９乃至図１１を参照して詳細に説明する。
【００５９】
特徴点座標テーブル保持部３４１は、特徴点算出部３４０による特徴点の位置の算出に用いられる特徴点座標テーブルを保持するものである。なお、特徴点座標テーブルについては、図９を参照して詳細に説明する。
【００６０】
顔特徴量抽出部３５０は、特徴点算出部３４０から出力された正規化顔画像に含まれる各特徴点における特徴量である顔特徴量を抽出するものであり、抽出された顔特徴量を類似度算出部３６０および顔特徴量登録部３７０に出力する。本発明の実施の形態では、特徴点における特徴量の抽出方法として、ガボア・フィルタを用いた抽出方法を例にして説明する。なお、ガボア・フィルタを用いて抽出された特徴量は、ガボア・ジェットと呼ばれている。また、本発明の実施の形態では、属性判定部３３０から出力された判定結果に基づいてガボア・フィルタの変更等を行う。なお、ガボア・フィルタを用いた特徴量の抽出方法については、図１２乃至図１４を参照して詳細に説明する。
【００６１】
類似度算出部３６０は、類似度算出基準データ保持部３６１に保持されている類似度算出基準データを用いて、顔特徴量抽出部３５０から出力された顔特徴量と顔特徴量ＲＡＭ３９０から読み出された顔特徴量とを比較することにより、これらの顔特徴量の類似度を算出する。この算出された類似度は、顔検出部２００により検出された顔が、顔特徴量ＲＡＭ３９０に顔特徴量が記憶されている特定人物と同一人物の顔であるか否かを示す類似度である。また、類似度算出部３６０は、この算出された類似度をＣＰＵ１１０および顔特徴量登録部３７０に出力する。本発明の実施の形態では、属性判定部３３０から出力された判定結果に基づいて、類似度の算出に用いられる類似度算出基準データの変更等を行う。なお、類似度の算出については、図１５乃至図２２を参照して詳細に説明する。
【００６２】
類似度算出基準データ保持部３６１は、類似度算出部３６０の判定に用いられる複数の類似度算出基準データから構成されている類似度算出用辞書を、顔の属性毎に保持するものである。この類似度算出基準データは、類似度算出部３６０により算出される顔の類似度に関して予め十分に学習をさせた基準データである。類似度算出用辞書については、図１７を参照して詳細に説明する。
【００６３】
顔特徴量登録部３７０は、コントローラ３１０の指示に基づいて、顔特徴量抽出部３５０から出力された顔特徴量の中で一定の条件を満たす顔特徴量を顔特徴量ＲＡＭ３９０に登録するものである。すなわち、ユーザが特定人物の顔特徴量の登録を指示した場合、または、撮像装置１００の内部で一定の顔登録の条件が満たされたと判断された場合に登録処理が実行される。この登録処理については、図２８を参照して詳細に説明する。
【００６４】
顔特徴量ＲＡＭ３９０は、特定人物の顔について抽出された顔特徴量と、この特定人物について判定された顔の属性とを人物毎に関連付けて記憶するものであり、記憶されている顔特徴量および顔の属性を画像バス１９０を介して類似度算出部３６０に供給する。また、顔特徴量ＲＡＭ３９０は、顔特徴量登録部３７０から出力された顔特徴量を人物毎に上書きまたは追加して記録する。なお、顔特徴量ＲＡＭ３９０の記憶内容については、図１５を参照して詳細に説明する。
【００６５】
次に、顔画像を正規化する場合について図面を参照して詳細に説明する。
【００６６】
図４は、顔検出部２００により検出された顔を含むその周辺画像である顔画像を正規化する場合における正規化の一例を示す図である。
【００６７】
図４（ａ）は、カメラ信号処理部１２３から出力された画像データに対応する撮像画像４００を示す図である。撮像画像４００には人物４０１の顔４０２が含まれているものとする。この場合に、顔検出部２００により撮像画像４００から顔４０２が検出されると、顔４０２の検出結果が顔検出部２００から顔認識部３００に出力される。顔認識部３００が顔４０２の検出結果を入力すると、顔４０２を含む顔画像４０３が画像ＲＡＭ１３０から読み出され、この読み出された顔画像４０３が正規化部３２０に入力される。
【００６８】
図４（ｂ）および（ｃ）は、顔検出部２００により検出された顔４０２を含む顔画像４０３を正規化する場合における遷移を示す図である。この例では、顔画像を正規化する際に基準となる基準位置４１０が規定されている。基準位置４１０は、例えば、顔検出部２００により検出された顔に含まれる両目が、ほぼ水平に保たれるとともに、正規化顔画像における一定の位置に配置されるように、顔画像を変換するための基準位置である。
【００６９】
例えば、撮像画像４００から取り出された顔画像４０３について、顔画像４０３に含まれる顔４０２が一定の大きさになるように解像度変換されるとともに、顔４０２に含まれる目４０４および４０５の中心位置が、基準位置４１０の線上に合致するとともに、ほぼ水平に保たれるように、顔画像がアフィン変換等によって回転処理されて、正規化顔画像４２０が生成される。
【００７０】
なお、本発明の実施の形態では、両目の中心位置を基準として正規化を行う場合について説明するが、顔に含まれる両目以外の他の器官の位置を基準として用いるようにしてもよい。
【００７１】
次に、顔の属性判定について図面を参照して詳細に説明する。
【００７２】
図５は、属性の判定対象となる顔画像を概略的に示す図である。図５（ａ）には人物の顔として通常の顔４３１を含む正規化顔画像４３０を示し、図５（ｂ）には人物の顔として笑顔４４１を含む正規化顔画像４４０を示す。ここで、通常の顔と笑顔とを比較した場合、一般的に、笑顔には、目が細くなる、眉尻や目尻が下がる、頬の位置が上がる、鼻の両脇が横に広がる、口が横に広がる、口が開く、口の両端が上がる等の特徴的な点が生じることが多い。そこで、これらの笑顔の特徴的な状態に対応する属性判定基準データを属性判定基準データ保持部３３１に保持しておき、この属性判定基準データを笑顔の属性判定または笑顔の度合い判定に用いる。この属性判定基準データを用いた判定方法については、図６乃至図８を参照して詳細に説明する。また、図５（ｂ）に示す位置４４２乃至４４７については、図６を参照して詳細に説明する。
【００７３】
図６は、正規化顔画像について顔の属性判定を行う場合に用いられる属性判定用辞書の構成例を示す図である。本発明の実施の形態では、画素差分での相関性判断手法を用いて顔の属性判定を行う例について説明する。
【００７４】
属性判定用辞書４５０を構成する属性判定基準データは、正規化顔画像における２点の位置を示す正規化顔画像の座標０（ｘ，ｙ）４５１および正規化顔画像の座標１（ｘ，ｙ）４５２と、座標０および座標１のレベル差（輝度差）に対する閾値（θ）４５３と、座標０および座標１のレベル差の値と閾値（θ）との比較結果に基づいて加算される重み係数である基準データの重み（α）４５４とから構成されている。また、属性判定用辞書４５０には、これらの各値の組合せからなる基準データがｎ個格納されている。なお、本発明の実施の形態で示す基準データは、弱判別器（弱仮説）と称される。
【００７５】
属性判定基準データを構成する各値は、例えば、アダブースト（ＡｄａＢｏｏｓｔ）等の機械学習アルゴリズムにより学習されたもののうちで、最も効果的な上位３００乃至１０００組の組合せを用いて設定される。このように、各属性判定用辞書の形式が同一であるため、複数の判定処理を同一のアルゴリズムで行うことができる。
【００７６】
次に、正規化顔画像について属性判定用辞書を用いて顔の属性判定を行う例について図面を参照して詳細に説明する。この例では、図５（ｂ）に示す正規化顔画像４４０の左上隅を原点として、横軸をｘ軸とし、縦軸をｙ軸として、正規化顔画像４４０について属性判定用辞書４５０を用いた属性判定処理をする場合について説明する。
【００７７】
例えば、属性判定用辞書４５０の１行目（基準データ０）に格納されている座標０（ｘ，ｙ）４５１の値に対応する正規化顔画像４４０の位置を位置４４２とし、座標１（ｘ，ｙ）４５２の値に対応する正規化顔画像４４０の位置を位置４４３とする。また、属性判定用辞書４５０の２行目（基準データ１）に格納されている座標０（ｘ，ｙ）４５１の値に対応する正規化顔画像４４０の位置を位置４４４とし、座標１（ｘ，ｙ）４５２の値に対応する正規化顔画像４４０の位置を位置４４５とする。さらに、属性判定用辞書４５０の３行目（基準データ２）に格納されている座標０（ｘ，ｙ）４５１の値に対応する正規化顔画像４４０の位置を位置４４６とし、座標１（ｘ，ｙ）４５２の値に対応する正規化顔画像４４０の位置を位置４４７とする。
【００７８】
最初に、判定を行うためのスコアＳの値に０がセットされ、属性判定用辞書４５０の基準データ０に含まれる各値を用いた演算が行われる。具体的には、属性判定用辞書４５０基準データ０に含まれる座標０（ｘ，ｙ）４５１の値に対応する位置４４２における輝度の値Ａ（０）と、座標１（ｘ，ｙ）４５２の値に対応する位置４４３における輝度の値Ｂ（０）とが抽出され、次式を用いて、抽出された各輝度の値の差Ｃ（０）が算出される。
Ｃ（０）＝Ａ（０）−Ｂ（０）
【００７９】
続いて、算出された各輝度の差の値Ｃ（０）と、属性判定用辞書４５０基準データ０に含まれる閾値（θ）４５３の値とを比較して、算出された値Ｃ（０）が閾値（θ）４５３の値よりも大きいか否かが判断される。算出された値Ｃ（０）が閾値（θ）４５３の値以下である場合には、属性判定用辞書４５０の基準データ０に含まれる重み（α）４５４の値をスコアＳに加算する。一方、算出された値Ｃ（１）が閾値（θ）４５３の値よりも大きい場合には、属性判定用辞書４５０の基準データ０に含まれる重み（α）４５４の値をスコアＳに加算しない。
【００８０】
続いて、属性判定用辞書４５０の基準データ１に含まれる各値を用いて、上述した各演算を繰り返す。具体的には、属性判定用辞書４５０の基準データ１に含まれる座標０（ｘ，ｙ）４５１の値に対応する位置４４４における輝度の値Ａ（１）と、座標１（ｘ，ｙ）４５２の値に対応する位置４４５における輝度の値Ｂ（１）とが抽出され、次式を用いて、抽出された各輝度の値の差Ｃ（１）が算出される。
Ｃ（１）＝Ａ（１）−Ｂ（１）
【００８１】
続いて、算出された各輝度の差の値Ｃ（１）と、属性判定用辞書４５０の基準データ１に含まれる閾値（θ）４５３の値とを比較して、算出された値Ｃ（１）が閾値（θ）４５３の値よりも大きいか否かが判断される。算出された値Ｃ（１）が閾値（θ）４５３の値以下である場合には、属性判定用辞書４５０の基準データ１に含まれる重み（α）４５４の値をスコアＳに加算する。一方、算出された値Ｃ（１）が閾値（θ）４５３の値よりも大きい場合には、属性判定用辞書４５０の基準データ１に含まれる重み（α）４５４の値をスコアＳに加算しない。
【００８２】
続いて、属性判定用辞書４５０の基準データ３以降、基準データｎ−１までの各値を順次用いて、上述した各演算を繰り返す。
【００８３】
すなわち、正規化顔画像４４０について属性判定用辞書４５０を用いた判定処理をする場合には、属性判定用辞書４５０の基準データ０乃至ｎ−１に含まれる各値を順次用いて、式１を用いてＣ（ｉ）が算出され、算出されたＣ（ｉ）が式２を満たすか否かが判定される。ここで、変数ｉは整数であり、０からｎ−１の値を示す。
Ｃ（ｉ）＝Ａ（ｉ）−Ｂ（ｉ）……（式１）
Ｃ（ｉ）＞θ（ｉ） ……（式２）
【００８４】
そして、算出されたＣ（ｉ）が式２を満たす場合には、α（ｉ）の値がスコアＳに加算されず、算出されたＣ（ｉ）が式２を満たさない場合には、α（ｉ）の値がスコアＳに加算される。ここで、基準データｉに含まれる座標０（ｘ，ｙ）４５１に対応する輝度の値をＡ（ｉ）で表し、基準データｉに含まれる座標１（ｘ，ｙ）４５２に対応する輝度の値をＢ（ｉ）で表し、基準データｉに含まれる閾値（θ）４５３の値をθ（ｉ）で表し、基準データｉに含まれる重み（α）４５４の値をα（ｉ）で表す。
【００８５】
そして、属性判定用辞書４５０の基準データｎ−１に含まれる各値を用いた各演算が終了した後に、積算結果値であるスコアＳの値に基づいて各属性が判定される。
【００８６】
ここで、属性判定用辞書の基準データ０乃至ｎ−１に含まれる各値を用いた各演算の終了後におけるスコアＳｎ（Ｐ）は、次の式３で表すことができる。
【数１】
【００８７】
ここで、Ｓｎ（Ｐ）は基準データ０乃至ｎ−１の積算結果値を示し、αｉは基準データｉに含まれる重み（α）４５４の値を示し、Ｐ（ｘｉ０，ｙｉ０）は基準データｉに含まれる座標０（ｘ，ｙ）４５１に対応する輝度の値を示し、Ｐ（ｘｉ１，ｙｉ１）は基準データｉに含まれる座標１（ｘ，ｙ）４５２に対応する輝度の値を示し、θｉは基準データｉに含まれる閾値（θ）４５３の値を示し、ｎは基準データの数を示す。また、ｈ（ｚ）は、ｚ＞０の場合には０となり、ｚ≦０の場合には１となる関数を表すものとする。
【００８８】
次に、属性判定用辞書の基準データ０乃至ｎ−１に含まれる各値を用いて算出された積算結果値に基づいて顔属性を判定する判定方法について図面を参照して詳細に説明する。
【００８９】
図７は、正規化顔画像について属性判定用辞書を用いて求められる各顔属性に関する積算結果値の範囲を示す図である。図７（ａ）には、顔属性として笑顔に関する積算結果値の範囲を示し、図７（ｂ）には、顔属性として性別に関する積算結果値の範囲を示し、図７（ｃ）には、顔属性として年代に関する積算結果値の範囲を示す。図７（ａ）乃至（ｃ）に示す各属性に関する積算結果値の範囲は、例えば、−１０００〜＋１０００の範囲とする。
【００９０】
例えば、上述の機械学習アルゴリズムによって学習時における笑顔の学習サンプルを正側とし、非笑顔の学習サンプルを負側として学習した場合において、顔属性として笑顔を判定する場合には、図７（ａ）に示す閾値４６１および４６２を用いて、笑顔／非笑顔が判定される。
【００９１】
例えば、図７（ａ）に示す笑顔に関する積算結果値の範囲において、属性判定用辞書の基準データ０乃至ｎ−１に含まれる各値を用いて算出された積算結果値であるスコアＳｎ（Ｐ）が閾値４６１未満である場合には、「非笑顔」であると判定される。一方、スコアＳｎ（Ｐ）が閾値４６２よりも大きい場合には、「笑顔」であると判定される。また、スコアＳｎ（Ｐ）が閾値４６１から閾値４６２の範囲内にある場合には、笑顔／非笑顔の何れにも判定されず、「あいまい」であると判定される。また、図７（ｂ）および（ｃ）に示す各属性についても、図７（ａ）と同様に判定することができる。これらの判定結果および積算結果値が、属性判定部３３０から特徴点算出部３４０、顔特徴量抽出部３５０および類似度算出部３６０に出力される。
【００９２】
図８は、各属性に関する判定結果および積算結果値の一例を示す図である。同図に示すように、各正規化顔画像について判定結果および積算結果値が属性判定部３３０から出力される。例えば、顔の属性として笑顔／非笑顔４７１については、判定結果として「笑顔」、「非笑顔」、「あいまい」が出力されるとともに、積算結果値としてスコアＳｎ（Ｐ）の値が出力される。また、顔の属性として、男性／女性（性別）４７２、大人／子供（年代）４７３についても、同様に判定結果および積算結果値が出力される。
【００９３】
次に、正規化顔画像における特徴点の位置の算出について図面を参照して詳細に説明する。
【００９４】
図９は、正規化部３２０により生成された正規化顔画像に設定すべき特徴点の位置を算出する特徴点位置算出方法の一例を示す図である。図９（ａ）は、正規化顔画像に設定すべき特徴点の位置を算出する場合に用いられる特徴点座標テーブルの一例である特徴点座標テーブル５００を示す図である。特徴点座標テーブル５００は、正規化顔画像に設定すべき特徴点の座標を保持するものであり、特徴点座標テーブル保持部３４１に保持されている。図９（ａ）では、設定の対象となる正規化顔画像の大きさを白塗りの四角で示し、特徴点を設定すべき座標に対応する位置を黒塗りの丸で示す。ここで、例えば、特徴点座標の初期値として、大人の顔画像に合わせて各座標を定めておくものとする。また、図９乃至図１１では、説明のため、特徴点の数を比較的少なくした例を図示する。
【００９５】
図９（ｂ）は、正規化部３２０により生成された正規化顔画像の一例である正規化顔画像５１０を示す図である。ここで、正規化顔画像５１０に含まれる顔５１１は、比較的普通の大人の顔であるものとする。図９（ｃ）は、図９（ｂ）に示す正規化顔画像５１０において、図９（ａ）に示す特徴点座標テーブル５００に含まれる座標に特徴点が設定された場合を示す図である。なお、図９（ｃ）では、正規化顔画像５１０に配置された特徴点を黒塗りの丸で示す。このように、正規化部３２０により生成された正規化顔画像５１０に含まれる顔が、比較的普通の大人の顔である場合には、特徴点座標テーブル５００に含まれる座標に対応する位置に特徴点を設定することにより、比較的適切な位置に特徴点を設定することができる。
【００９６】
しかしながら、類似度算出の対象となる正規化顔画像は、両目の位置に基づいて正規化されているものの、正規化顔画像に含まれる人物の属性によっては各部に差異が生じていることが多い。このため、正規化顔画像に設定すべき特徴点座標を一義的に定めておくことは困難である場合がある。そこで、本発明の実施の形態では、属性判定部３３０により判定された顔属性に基づいて、正規化顔画像に含まれる顔に適するように、特徴点を設定する位置について変更または追加等を行う。
【００９７】
図１０は、正規化部３２０により生成された正規化顔画像に特徴点を設定する場合における配置例を示す図である。図１０（ａ）に示す正規化顔画像５２０は、図９（ｃ）に示す正規化顔画像５２０と同じである。図１０（ｂ）は、子供の顔が含まれる正規化顔画像５３１を示す図であり、図１０（ｃ）は、西洋人の顔が含まれる正規化顔画像５３２を示す図であり、図１０（ｄ）は、東洋人の顔が含まれる正規化顔画像５３３を示す図であり、図１０（ｅ）は、左向きの顔が含まれる正規化顔画像５３４を示す図であり、図１０（ｆ）は、右向きの顔が含まれる正規化顔画像５３５を示す図である。
【００９８】
図１０（ｂ）に示すように、子供の顔は、一般的に、目、鼻、口等の顔の器官が真中寄りに集まっている場合が多い。そこで、年代に関する顔属性の判定結果として、子供が判定されている場合（子供の度合いが比較的高い場合）には、積算結果値である子供の度合いに応じて、子供に比べておおむね面長（おもなが）である大人の特徴点（特徴点座標テーブル５００に含まれる座標に対応する位置）を垂直方向に縮小（または、水平方向に拡大）するように変更する。
【００９９】
また、図１０（ｃ）に示すように、西洋人の顔は、一般的に、比較的面長（おもなが）である場合が多い。これに対して、図１０（ｄ）に示すように、東洋人の顔は、一般的に、比較的丸顔である場合が多い。例えば、正規化顔画像５３２に含まれる西洋人の顔の横幅Ｌ１と、正規化顔画像５３３に含まれる東洋人の顔の横幅Ｌ２とを比較した場合には、東洋人の横幅Ｌ２の値が大きい。そこで、人種に関する顔属性の判定結果に基づいて、特徴点座標テーブル５００に含まれる座標に対応する位置を水平方向に縮小または拡大するように変更する。
【０１００】
また、図１０（ｅ）または（ｆ）に示すように、左向きまたは右向きの顔については、顔の向きに応じて目、鼻、口等の顔の器官が左寄りまたは右寄りとなる。そこで、顔の向きに関する顔属性の判定結果に基づいて、特徴点座標テーブル５００に含まれる座標に対応する位置を水平方向に移動させるように変更する。図１０（ｂ）乃至（ｆ）に示すように、顔属性の判定結果に基づいて、特徴点の位置を変更することによって、類似度算出の対象となる顔に最適な特徴点の設定が可能となり、さらに高精度な特徴点算出が可能になる。これにより、人物認識の精度をさらに向上させることができる。
【０１０１】
図１１は、正規化部３２０により生成された正規化顔画像に特徴点を設定する場合における配置例を示す図である。図１１（ａ）乃至（ｃ）に示す正規化顔画像５２０は、図９（ｃ）に示す正規化顔画像５２０と同じである。
【０１０２】
図１１（ａ）に示す正規化顔画像５４０は、正規化顔画像５２０に含まれる顔５１１に眼鏡５４１が付加された場合における正規化顔画像を示す図である。図１１（ｂ）に示す正規化顔画像５５０は、正規化顔画像５２０に含まれる顔５１１にヒゲ５５１が付加された場合における正規化顔画像を示す図である。図１１（ｃ）に示す正規化顔画像５６０は、正規化顔画像５２０に含まれる顔５１１に帽子５６１が付加された場合における正規化顔画像を示す図である。
【０１０３】
図１１（ａ）に示すように、検出された顔の属性として、眼鏡の積算結果値が高い場合（眼鏡ありと判定された場合等）には、眼鏡の周辺と考えられる位置に特徴点が追加される。例えば、眼鏡５４１の周辺に特徴点５４２乃至５４５が追加して配置される。また、図１１（ｂ）に示すように、検出された顔の属性として、ヒゲの積算結果値が高い場合（ヒゲありと判定された場合等）には、ヒゲの周辺と考えられる位置に特徴点が追加される。例えば、ヒゲ５５１の周辺に特徴点５５２および５５３が追加して配置される。なお、図１１（ａ）および（ｂ）に示すように特徴点を追加する代わりに、他の特徴点を、眼鏡またはヒゲの周辺に移動させるようにしてもよい。眼鏡の種類や形状、ヒゲの位置や広さについても判定することができる場合には、これらの判定結果に応じて、特徴点座標を切り替えるようにしてもよい。
【０１０４】
ここで、帽子は特徴があるものの、変動し易い属性であることが多い。このため、図１１（ｃ）に示すように、検出された顔の属性として、帽子の積算結果値が高い場合（帽子ありと判定された場合等）には、頭の位置に相当すると考えられる範囲に存在する特徴点が削除される。例えば、図１１（ｃ）に示す正規化顔画像５２０において点線５６２で囲まれている特徴点が削除される。また、眼鏡、ヒゲ、帽子等の属性が複数存在する場合には、これらに応じて上述した追加または削除等を行う。図１１（ａ）乃至（ｃ）に示すように、顔属性の判定結果に基づいて、特徴点を追加または削除することによって、類似度算出の対象となる顔に最適な特徴点の設定が可能となり、さらに高精度な特徴点算出が可能になる。これにより、人物認識の精度をさらに向上させることができる。
【０１０５】
これらの特徴点座標の算出は、特徴点座標テーブル保持部３４１に保持されている特徴点座標テーブル５００を初期値として、この初期値の座標を基準として、顔属性の判定結果に基づいて、拡大または縮小等の演算により行う。また、ＣＰＵ１１０から特徴点座標を直接ロードするようにしてもよい。また、両者を組み合わせるようにしてもよい。また、顔属性の判定結果に応じた複数の特徴点座標テーブルを特徴点座標テーブル保持部３４１に保持しておき、顔属性の判定結果に応じて、特徴点座標テーブルを選択するようにしてもよい。また、積算結果値の大小に応じて、特徴点座標の位置の拡大または縮小等の演算を行うようにしてもよい。
【０１０６】
次に、正規化顔画像に設定された特徴点における特徴量の抽出について図面を参照して詳細に説明する。図９乃至図１１に示すように、正規化部３２０により生成された正規化顔画像に各特徴点が設定された後に、各特徴点について特徴量抽出処理を行う。なお、本発明の実施の形態では、特徴量の抽出方法として、ガボア・フィルタ（ｇａｂｏｒ ｆｉｌｔｅｒ）を用いた抽出方法を例にして説明する。なお、ガボア・フィルタは、ガボール・フィルタと称されることもある。
【０１０７】
図１２（ａ）は、特徴点における特徴量の抽出に用いられるガボア・フィルタの一例を示す図である。ガボア・フィルタには、抽出する帯域とフィルタをかける画像上の角度との２つのパラメータが主に存在する。図１２（ａ）に示すガボア・フィルタは、横方向は角度の種類を示し、縦方向は帯域の種類を示す。この例では、帯域の種類は、下から上に進むに従って低い周波数から高い周波数となる。また、角度の種類は、２２．５度ずつ回転させたものである。すなわち、角度の種類として、０度、２２．５度、４５度、６７．５度、９０度、１１２．５度、１３５度、１５７．５度のように等間隔に設定する。このように、本発明の実施の形態では、どのような属性の顔でも特徴量を抽出することができるようなパラメータ設定として、５種類の周波数と８種類の角度とからなる４０種類のフィルタを例にして説明する。なお、本発明の実施の形態では、平均的な顔を広く対象とするパラメータ設定として４０種類のフィルタを例にして説明するが、フィルタの数等について適宜増減するようにしてもよい。例えば、角度の種類としてさらに細かく分割した角度を設定することによって、高精度な特徴量を抽出することができる。例えば、角度の種類を１０種類とする場合には、１８度、３６度、５４度、７２度、…、１６２度のように等間隔に設定することができる。また、角度の種類を１２種類とする場合には、１５度、３０度、４５度、６０度、…、１６５度のように等間隔に設定することができる。ここで、角度の種類として細かく分割した角度を設定する場合には、角度の種類の増加に応じてデータ処理量が増えることになる。そこで、処理速度や処理装置の規模との兼ね合いを考慮して、角度の種類を設定することができる。
【０１０８】
図１２（ｂ）は、図１２（ａ）に示す４０種類のガボア・フィルタの中の１つのフィルタ６００の係数を３次元空間上に表すグラフを示す図である。フィルタ６００は、画像上の４５度の方向に対して、比較的高めの帯域を抽出するフィルタである。また、図１２（ｂ）に示すように、フィルタ６００の係数の特徴点における振幅が頂点となるようなガウス曲線が包絡線となる。
【０１０９】
図１３は、正規化顔画像の一例である正規化顔画像６３０を示す図である。ここでは、正規化顔画像６３０に含まれる顔６４０上に設定されている複数の特徴点の中の３つの特徴点６４１乃至６４３を例にして説明する。
【０１１０】
特徴点６４１乃至６４３は、正規化顔画像６３０に含まれる顔６４０上に設定された特徴点であり、例えば、特徴点６４１は左目の下付近に配置され、特徴点６４２は右目の目尻付近に配置され、特徴点６４３は鼻の頭付近に配置されている。
【０１１１】
ガボア・フィルタを用いて特徴点における特徴量を抽出する場合には、特徴点の画素とその周辺に存在する画素とを含む近傍画素を用いる。この近傍画素として、例えば、特徴点を中心とする２０画素×２０画素を用いることができる。例えば、同図に示す正規化顔画像６３０に設定されている特徴点６４１乃至６４３の近傍画素をそれぞれ近傍画素６４５乃至６４７として、点線の四角で示す。
【０１１２】
そして、特徴点の近傍画像と、ガボア・フィルタに含まれる各帯域および各角度の係数とによって、次の（式４）に示すたたみ込み演算を行う。これにより、特定の人物を認識するための有意な値として、特徴点における特徴量であるガボア・ジェットが得られる。このたたみ込み演算を、各特徴点について順次演算することにより、各特徴点における特徴量（ガボア・ジェット）を得ることができる。
【数２】
【０１１３】
ここで、ｐ（ｘ，ｙ）は近傍画像の輝度を示し、ｇ（ｘ，ｙ）はガボア・フィルタ係数を示し、ｃ（ｘ，ｙ）はたたみ込み結果値を示す。
【０１１４】
ここで、本発明の実施の形態では、顔特徴量抽出部３５０は、ガボア・フィルタのパラメータの初期値をロードして、属性判定部３３０により判定された顔の属性の判定結果に基づいて、初期値のガボア・フィルタのパラメータを変更する。すなわち、属性判定部３３０により判定された顔の属性の判定結果に基づいて、ガボア・フィルタのパラメータである通過帯域や特徴抽出角度を切り替える。
【０１１５】
例えば、属性判定部３３０により判定された顔属性の判定結果として、「子供」または「赤ちゃん」の積算結果値が高い場合（「子供」または「赤ちゃん」であると判定された場合）には、低周波数帯域のフィルタの種類を増やすことによりパラメータを最適化することができる。一方、「大人」の積算結果値が高い場合（「大人」であると判定された場合）には、高周波数帯域のフィルタの種類を増やすことによりパラメータを最適化することができる。ここで、一般的に、「子供」や「赤ちゃん」の顔は、「大人」と比較して、なめらかな肌（なだらかな肌）であることが多い。このように顔の表面がなめらかな肌である場合には、顔の表面の変化が少ない。このため、「子供」または「赤ちゃん」の顔について特徴量を抽出する場合には、高周波数帯域よりも低周波数帯域を重視することによって、さらに高精度な特徴量を抽出することができる。一方、「大人」の顔について特徴量を抽出する場合には、低周波数帯域よりも高周波数帯域を重視することによって、さらに高精度な特徴量を抽出することができる。また、例えば、笑顔の積算結果値が高い場合には、笑顔に最適なガボア・フィルタ帯域、または、最適なガボア・フィルタ角度に切り替える。このように顔の属性の判定結果に基づいて、ガボア・フィルタを変更することにより、さらに高精度な特徴点における特徴量の抽出が可能になる。
【０１１６】
なお、ガボア・フィルタのパラメータの初期値は、内部メモリに保持しておくようにしてもよく、ＣＰＵ１１０から設定するようにしてもよい。
【０１１７】
図１４は、図１２（ａ）に示すガボア・フィルタを用いて、正規化顔画像に設定された特徴点における特徴量が抽出された場合における各特徴量の集合である顔特徴量６５０を模式的に示す図である。
【０１１８】
顔特徴量６５０は、正規化顔画像に２０点の特徴点が設定されている場合において、５種類の帯域と８種類の角度とからなるガボア・フィルタを用いて各特徴点における特徴量が抽出された場合におけるガボア・ジェットの集合を示す。顔特徴量６５０は、例えば、特徴点毎に抽出された２０個のガボア・ジェットを、行６５１乃至６５５と列６５６乃至６５９とからなる行列状に示すものである。また、１個のガボア・ジェットを構成する各特徴量の大きさについては、大小に応じて白黒の色レベルで示す。なお、図１４に示すガボア・ジェットの配置構成は一例であり、保存形式とは無関係である。また、顔特徴量を用いた類似度の算出については、図１８を参照して詳細に説明する。
【０１１９】
図１５は、顔特徴量ＲＡＭ３９０に格納されている各情報を模式的に示す図である。顔特徴量ＲＡＭ３９０には、正規化顔画像の識別番号３９１に関連付けて、その正規化顔画像について抽出されたガボア・ジェットの集合である顔特徴量３９９が格納されるとともに、その正規化顔画像に含まれる顔に関する属性の判定結果が格納される。顔属性として、例えば、笑顔／非笑顔３９２、男性／女性（性別）３９３、大人／子供（世代）３９４、目の開閉３９５、顔の向き３９６、ヒゲの有無３９７、眼鏡の有無３９８が格納される。なお、顔特徴量ＲＡＭ３９０への各特徴量の登録方法については、図２８を参照して詳細に説明する。
【０１２０】
図１６は、類似度算出基準データ保持部３６１に保持されている類似度算出用辞書を模式的に示す図である。類似度算出基準データ保持部３６１は、顔特徴量同士の類似度を算出する場合に最適な類似度算出用辞書を有限個数保持する内部メモリであり、例えば、一般用辞書７０１と、子供用辞書７０２と、大人用辞書７０３と、目閉じ用辞書７０４と、目開き用辞書７０５と、右向き用辞書７０６と、正面向き用辞書７０７と、左向き用辞書７０８と、ヒゲ用辞書７０９と、眼鏡用辞書７１０とが保持される。一般用辞書７０１は、年齢や性別等を全て平均化し、ごく一般的な顔に関して最適となる基準データのみを保持する辞書である。これに対して、子供用辞書７０２乃至眼鏡用辞書７１０は、所定の顔属性に限定して学習させた辞書であり、所定の顔属性に応じた顔に関して最適となる基準データを保持する辞書である。
【０１２１】
図１７は、正規化顔画像に設定された各特徴点から抽出されたガボア・ジェットを用いて、判定対象の顔の類似度を算出する場合に用いられる類似度算出用辞書の構成例を示す図である。本発明の実施の形態では、顔属性判定と同様に、差分での相関性判断手法を用いて顔の類似度を算出する例について説明する。
【０１２２】
類似度算出用辞書６６０を構成する類似度算出基準データは、顔特徴量における２点の位置を示す顔特徴量の座標０（ｘ，ｙ）６６１および座標１（ｘ，ｙ）６６２と、座標０および座標１の差分値に対する閾値（θ）６６３と、座標０および座標１の差分値と閾値（θ）との比較結果に基づいて加算される重み係数である基準データの重み（α）６６４とから構成されている。また、類似度算出用辞書６６０には、これらの各値の組合せからなる基準データがｎ個格納されている。なお、顔特徴量における２点の位置を示す顔特徴量の座標の代わりに、他の位置情報を保持して用いるようにしてもよい。例えば、各ガボア・ジェットに識別番号を付与しておき、ガボア・ジェットの識別番号と、ガボア・ジェットの帯域の種類および角度の種類とを位置情報として用いることができる。
【０１２３】
次に、類似度算出用辞書を用いて判定対象の顔の類似度を算出する例について図面を参照して詳細に説明する。
【０１２４】
図１８は、正規化顔画像に設定された各特徴点から抽出されたガボア・ジェットを用いて、判定対象の顔の類似度を算出する算出方法を概略的に示す図である。
【０１２５】
判定対象の顔特徴量６７０は、正規化顔画像に設定された各特徴点から抽出された複数のガボア・ジェットから構成される顔特徴量である。また、登録顔特徴量６８０は、顔特徴量ＲＡＭ３９０に記憶されている特定人物の顔に関する複数のガボア・ジェットから構成される顔特徴量である。判定対象の顔特徴量６７０および登録顔特徴量６８０は、例えば、図１４に示す顔特徴量６５０に対応するものであり、判定対象の顔特徴量６７０および登録顔特徴量６８０には、同じ形式であるとともに同じ数のガボア・ジェットが格納されているものとする。
【０１２６】
この例では、判定対象の顔特徴量６７０および登録顔特徴量６８０の左上隅を原点として、横軸をｘ軸とし、縦軸をｙ軸として、類似度算出用辞書６６０を用いて、判定対象の顔特徴量６７０と登録顔特徴量６８０との類似度を算出する場合について説明する。
【０１２７】
例えば、類似度算出用辞書６６０の１行目（基準データ０）に格納されている座標０（ｘ，ｙ）６６１の値に対応する判定対象の顔特徴量６７０の位置を位置６７１とし、座標０（ｘ，ｙ）６６１の値に対応する登録顔特徴量６８０の位置を位置６８１とする。また、座標１（ｘ，ｙ）６６２の値に対応する判定対象の顔特徴量６７０の位置を位置６７２とし、座標１（ｘ，ｙ）６６２の値に対応する登録顔特徴量６８０の位置を位置６８２とする。なお、判定対象の顔特徴量６７０および登録顔特徴量６８０において、座標０（ｘ，ｙ）６６１および座標１（ｘ，ｙ）６６２の値に対応する位置は、１個のガボア・ジェットを構成する各特徴量の中の１つの特徴量の位置である。この特徴量の位置は、例えば、図１４に示す顔特徴量６５０において、行６５１および列６５６に対応する１個のガボア・ジェット（左上隅に存在するガボア・ジェット）の中の１つの特徴量（白黒の色レベルで示す四角）６７３の位置である。
【０１２８】
最初に、類似度算出のためのスコアＳ１の値に０がセットされ、類似度算出用辞書６６０の基準データ０に含まれる各値を用いた演算が行われる。具体的には、類似度算出用辞書６６０の基準データ０に含まれる座標０（ｘ，ｙ）６６１の値に対応する判定対象の顔特徴量６７０の位置６７１における特徴量の値Ａ０（０）と、登録顔特徴量６８０の位置６８１における特徴量の値Ｂ０（０）とが取り出され、次式を用いて、取り出された特徴量の値の差の絶対値Ｃ０（０）が算出される（６９１）。
Ｃ０（０）＝｜Ａ０（０）−Ｂ０（０）｜
【０１２９】
続いて、類似度算出用辞書６６０の基準データ０に含まれる座標１（ｘ，ｙ）６６２の値に対応する判定対象の顔特徴量６７０の位置６７２における特徴量の値Ａ１（０）と、登録顔特徴量６８０の位置６８２における特徴量の値Ｂ１（０）とが取り出され、次式を用いて、取り出された特徴量の値の差の絶対値Ｃ１（０）が算出される（６９２）。
Ｃ１（０）＝｜Ａ１（０）−Ｂ１（０）｜
【０１３０】
続いて、次式を用いて、算出された絶対値Ｃ０（０）と絶対値Ｃ１（０）との差の絶対値Ｃ２（０）が算出される（６９３）。
Ｃ２（０）＝｜Ｃ０（０）−Ｃ１（０）｜
【０１３１】
続いて、算出された絶対値Ｃ２（０）と、類似度算出用辞書６６０の基準データ０に含まれる閾値（θ）６６３の値とを比較して、算出された絶対値Ｃ２（０）が閾値（θ）６６３の値よりも大きいか否かが判断される。算出された絶対値Ｃ２（０）が閾値（θ）６６３の値以下である場合には、類似度算出用辞書６６０の基準データ０に含まれる重み（α）４５４の値をスコアＳ１に加算する。一方、算出された値Ｃ（１）が閾値（θ）６６３の値よりも大きい場合には、類似度算出用辞書６６０の基準データ０に含まれる重み（α）４５４の値をスコアＳ１に加算しない。
【０１３２】
続いて、類似度算出用辞書６６０の基準データ２以降、基準データｎ−１までの各値を順次用いて、上述した各演算を繰り返す。
【０１３３】
すなわち、判定対象の顔特徴量６７０および登録顔特徴量６８０について類似度算出用辞書６６０を用いた類似度算出処理をする場合には、類似度算出用辞書６６０の基準データ０乃至ｎ−１に含まれる各値を順次用いて、式５乃至７を用いてＣ２（ｉ）が算出され、算出されたＣ２（ｉ）が式８を満たすか否かが判定される。ここで、変数ｉは整数であり、０からｎ−１の値を示す。
Ｃ０（ｉ）＝｜Ａ０（ｉ）−Ｂ０（ｉ）｜……（式５）
Ｃ１（ｉ）＝｜Ａ１（ｉ）−Ｂ１（ｉ）｜……（式６）
Ｃ２（ｉ）＝｜Ｃ０（ｉ）−Ｃ１（ｉ）｜……（式７）
Ｃ２（ｉ）＞θ（ｉ） ……（式８）
【０１３４】
そして、算出されたＣ２（ｉ）が式８を満たす場合には、α（ｉ）の値がスコアＳ１に加算されず、算出されたＣ２（ｉ）が式８を満たさない場合には、α（ｉ）の値がスコアＳ１に加算される。ここで、基準データｉに含まれる座標０（ｘ，ｙ）６６１に対応する判定対象の顔特徴量６７０の特徴量をＡ０（ｉ）で表すとともに、登録顔特徴量６８０の特徴量をＢ０（ｉ）で表す。また、基準データｉに含まれる座標１（ｘ，ｙ）６６２に対応する判定対象の顔特徴量６７０の特徴量をＡ１（ｉ）で表すとともに、登録顔特徴量６８０の特徴量をＢ１（ｉ）で表す。また、基準データｉに含まれる閾値（θ）６６３の値をθ（ｉ）で表し、基準データｉに含まれる重み（α）４５４の値をα（ｉ）で表す。
【０１３５】
そして、類似度算出用辞書６６０の基準データｎ−１に含まれる各値を用いた各演算が終了した後に、積算結果値であるスコアの値が、類似度を示す値として出力される。このように、ガボア・ジェットの状態で保持されている登録顔特徴量と判定対象の顔特徴量との間で、２段階に渡って類似度を算出する。
【０１３６】
ここで、属性判定用辞書の基準データ０乃至ｎ−１に含まれる各値を用いた各演算の終了後におけるスコアＳ１ｎ（Ｐ）は、次の式９で表すことができる。
【数３】
【０１３７】
ここで、Ｓ１ｎ（Ｐ）は基準データ０乃至ｎ−１の積算結果値を示し、αｉは基準データｉに含まれる重み（α）６６４の値を示し、Ｐ０（ｘｉ０，ｙｉ０）は基準データｉに含まれる座標０（ｘ，ｙ）６６１に対応する判定対象の顔特徴量６７０における特徴量の値を示し、Ｐ１（ｘｉ０，ｙｉ０）は基準データｉに含まれる座標０（ｘ，ｙ）６６１に対応する登録顔特徴量６８０における特徴量の値を示し、Ｐ０（ｘｉ１，ｙｉ１）は基準データｉに含まれる座標１（ｘ，ｙ）６６２に対応する判定対象の顔特徴量６７０における特徴量の値を示し、Ｐ１（ｘｉ１，ｙｉ１）は基準データｉに含まれる座標１（ｘ，ｙ）６６２に対応する登録顔特徴量６８０における特徴量の値を示し、θｉは基準データｉに含まれる閾値（θ）６６３の値を示し、ｎは基準データの数を示す。また、ｈ（ｚ）は、ｚ＞０の場合には０となり、ｚ≦０の場合には１となる関数を表すものとする。
【０１３８】
なお、顔属性の判定結果または顔属性の積算結果値に基づいて、重み（α）６６４の値または閾値（θ）６６３の値を変更して最適化を図るようにしてもよい。例えば、顔属性の判定結果または顔属性の積算結果値に応じた値を、重み（α）６６４の値または閾値（θ）６６３の値に乗算することができる。
【０１３９】
次に、判定対象の顔の類似度を算出する場合に用いられる類似度算出用辞書について図面を参照して詳細に説明する。
【０１４０】
図１９は、判定対象の顔の類似度算出に用いられる類似度算出用辞書の例を示す図である。この例では、年代に関する顔属性の判定結果に応じて類似度算出用辞書を選択する例を示す。
【０１４１】
例えば、同図に示すように、顔属性の判定結果にかかわらず、最初は一般用辞書７０１を用いる。一般用辞書７０１は、一般的な類似度算出の１０００組の類似度算出基準データにより構成されている類似度算出用辞書である。一般用辞書７０１を用いた類似度算出処理が終了した後には、年代に関する顔属性の判定結果が大人であるか子供であるかに応じて、子供用辞書７０２または大人用辞書７０３を用いて類似度算出処理を行う。子供用辞書７０２は、子供の類似度算出に最適な１０００組の類似度算出基準データにより構成されている類似度算出用辞書である。また、大人用辞書７０３は、大人の類似度算出に最適な５００組の類似度算出基準データにより構成されている類似度算出用辞書である。ここで、一般に子供は大人よりも個体差が少なく、特徴量抽出が困難であると考えられているため、大人用辞書７０３では５００組の類似度算出基準データを用いるのに対し、子供用辞書７０２では１０００組の類似度算出基準データを用いる。このように、特徴量抽出の難易度に応じて類似度算出基準データの組数を変えて保持することにより、対象となる顔に最適な類似度算出基準データを、最適な組数だけ用いて類似度算出処理を行うことができ、高精度な人物認識を実現することができる。
【０１４２】
図２０は、判定対象の顔の類似度算出に用いられる類似度算出用辞書の例を示す図である。この例では、目の開閉に関する顔属性の判定結果に応じて類似度算出用辞書を選択する例を示す。
【０１４３】
例えば、同図に示すように、顔属性の判定結果にかかわらず、最初は一般用辞書７０１を用いる。そして、一般用辞書７０１を用いた類似度算出処理が終了した後には、目の開閉に関する顔属性の判定結果に応じて、目開き用辞書７０５または目閉じ用辞書７０４を用いて類似度算出処理を行う。目開き用辞書７０５は、目が開いた状態の顔の類似度算出に最適な３００組の類似度算出基準データにより構成されている類似度算出用辞書である。また、目閉じ用辞書７０４は、目が閉じた状態の顔の類似度算出に最適な３００組の類似度算出基準データにより構成されている類似度算出用辞書である。
【０１４４】
また、顔特徴量ＲＡＭ３９０の目の開閉３９５に「開」が格納されている登録顔について類似度算出をする場合において、判定対象の顔についての目の開閉に関する顔属性の判定結果が「閉」である場合には、例えば、一般用辞書７０１を用いた類似度算出処理が終了した後に、目閉じ用辞書７０４を用いて類似度算出処理を行うものの、目閉じ用辞書７０４を構成する類似度算出基準データの重みを軽減するようにしてもよい。または、一般用辞書７０１を用いた類似度算出処理が終了した後には、目閉じ用辞書７０４を用いた類似度算出処理を行わずに、処理を打ち切るようにしてもよい。このように、登録顔の属性に最適な類似度算出に切り替えることによって、さらに正確な類似度を得ることができる。
【０１４５】
図２１は、判定対象の顔の類似度算出に用いられる類似度算出用辞書の例を示す図である。この例では、顔の向きに関する顔属性の判定結果に応じて類似度算出用辞書を選択する例を示す。
【０１４６】
例えば、同図に示すように、顔属性の判定結果にかかわらず、最初は一般用辞書７０１を用いる。そして、一般用辞書７０１を用いた類似度算出処理が終了した後には、顔の向きに関する顔属性の判定結果に応じて、右向き用辞書７０６、正面向き用辞書７０７または左向き用辞書７０８を用いて類似度算出処理を行う。右向き用辞書７０６は、右を向いた状態の顔の類似度算出に最適な３００組の類似度算出基準データにより構成されている類似度算出用辞書である。また、正面向き用辞書７０７は、正面を向いた状態の顔の類似度算出に最適な３００組の類似度算出基準データにより構成されている類似度算出用辞書である。また、左向き用辞書７０８は、左を向いた状態の顔の類似度算出に最適な３００組の類似度算出基準データにより構成されている類似度算出用辞書である。このように、顔の向きに応じて類似度算出用辞書を選択することにより、登録顔と判定対象となっている顔とが必ずしも同じ方向を向いていなくても、最適な重み付けで類似度算出処理を行うことができるため、さらに正確な類似度を得ることができる。
【０１４７】
図２２は、判定対象の顔の類似度算出に用いられる類似度算出用辞書の例を示す図である。この例では、眼鏡の有無およびヒゲの有無に関する顔属性の判定結果に応じて類似度算出用辞書を選択する例を示す。
【０１４８】
例えば、同図に示すように、顔属性の判定結果にかかわらず、最初は一般用辞書７０１を用いる。そして、一般用辞書７０１を用いた類似度算出処理が終了した後には、眼鏡の有無に関する顔属性の判定結果に応じて、眼鏡用辞書７１０を用いてさらに類似度算出処理を行うか、類似度算出処理を終了するかを選択する。この場合に、眼鏡用辞書７１０を用いて類似度算出処理を行うことが選択されて、眼鏡用辞書７１０を用いた類似度算出処理が終了した後には、ヒゲの有無に関する顔属性の判定結果に応じて、ヒゲ用辞書７０９を用いてさらに類似度算出処理を行うか、類似度算出処理を終了するかを選択する。眼鏡用辞書７１０は、眼鏡をかけた状態の顔の類似度算出に最適な５００組の類似度算出基準データにより構成されている類似度算出用辞書である。ヒゲ用辞書７０９は、ヒゲを生やしている状態の顔の類似度算出に最適な５００組の類似度算出基準データにより構成されている類似度算出用辞書である。このように、顔の向きに応じて類似度算出用辞書を選択することにより、登録顔と判定対象となっている顔とが必ずしも同じ方向を向いていなくても、最適な重み付けで類似度算出処理を行うことができるため、さらに正確な類似度を得ることができる。
【０１４９】
このように、顔属性の判定結果に応じて類似度算出用辞書を選択することにより、判定対象の顔について最適な類似度算出処理を行うことができるため、さらに正確な類似度を得ることができる。また、判定対象の顔について、不要な類似度算出基準データを用いた類似度算出処理を行わないため、処理時間の短縮を実現することができる。
【０１５０】
また、顔属性の中でも、髪型、眼鏡、ヒゲ等のように、同一人物であっても撮影時期や撮影場所によっては変化する要因が高い項目に関しては、対応する各類似度算出基準データの重みを小さく設定しておき、顔属性の差異によって、同一人物の類似度が損なわれないようにすることが可能である。
【０１５１】
また、判定対象の顔の顔属性の判定結果と、顔特徴量ＲＡＭ３９０に記憶されている顔属性とを比較して、顔属性の類似性が明らかに低い場合には、類似度算出処理を打ち切るようにしてもよい。すなわち、属性判定部３３０から出力された顔属性の判定結果と、顔特徴量ＲＡＭ３９０に記憶されている顔属性とを類似度算出部３６０が比較して、顔属性の類似性が明らかに低い場合には、類似度算出処理を打ち切る旨をコントローラ３１０に出力し、コントローラ３１０は、判定対象の顔に関する各処理を停止させる指示を特徴点算出部３４０、顔特徴量抽出部３５０および類似度算出部３６０に出力する。例えば、顔特徴量ＲＡＭ３９０に記憶されている各顔属性が、子供の度合いが十分に高いものである場合において、判定対象の顔の顔属性の判定結果が、子供の度合いが十分に低いと判定された場合には、両者は同一人物ではないと判定することができる。このため、特徴点座標算出処理、顔特徴量抽出処理、類似度算出処理を早い段階で打ち切ることができる。このようにすることによって、処理高速化に寄与することが可能となる。
【０１５２】
次に、本発明の実施の形態における撮像装置１００の動作について図面を参照して説明する。
【０１５３】
図２３は、撮像装置１００による顔認識（人物認識）処理の処理手順を示すフローチャートである。この顔認識処理は、全体の流れを、顔属性判定処理、特徴点座標算出処理、顔特徴量抽出処理、類似度算出処理の４つの処理に大別することができる。
【０１５４】
最初に、顔認識部３００が、顔検出部２００から出力された顔検出結果を取得して、この顔検出結果に含まれる顔領域の座標および大きさに基づいて、画像ＲＡＭ１３０に記憶されている画像から顔画像を読み出す（ステップＳ９０１）。なお、顔認識部３００は、顔検出部２００から出力された顔検出結果をＣＰＵ１１０経由で取得するようにしてもよい。
【０１５５】
続いて、正規化部３２０は、読み出された顔画像について、顔の大きさが一定の大きさとなるとともに、両目がほぼ水平となるよう調整することにより正規化を行う（ステップＳ９０２）。続いて、正規化された顔画像である正規化顔画像について属性判定部３３０が顔属性判定処理を実行する（ステップＳ９１０）。この顔属性判定処理については、図２４および図２５を参照して詳細に説明する。
【０１５６】
続いて、特徴点算出部３４０は、特徴点座標テーブル保持部３４１に保持されている特徴点座標テーブルに含まれる特徴点座標の初期値をロードして、この特徴点座標の初期値を正規化顔画像に設定すべき特徴点の位置として配置する（ステップＳ９０３）。なお、特徴点座標については、ＣＰＵ１１０から設定するようにしてもよい。続いて、特徴点算出部３４０は、属性判定部３３０から出力された顔属性の判定結果に基づいて初期値の特徴点座標を変更または増減することにより、特徴点座標を算出する（ステップＳ９０４）。
【０１５７】
続いて、顔特徴量抽出部３５０は、ガボア・フィルタについてのパラメータの初期値をロードする（ステップＳ９０５）。なお、ガボア・フィルタのパラメータについては、ＣＰＵ１１０から設定するようにしてもよい。続いて、顔特徴量抽出部３５０は、属性判定部３３０から出力された顔属性の判定結果に基づいて、ガボア・フィルタのパラメータである通過帯域または特徴量抽出角度を変更する（ステップＳ９０６）。続いて、顔特徴量抽出部３５０は、ガボア・フィルタを用いて、特徴点算出部３４０により算出された各特徴点における特徴量を抽出する（ステップＳ９０７）。
【０１５８】
続いて、類似度算出部３６０は、類似度算出処理を実行する（ステップＳ９５０）。この類似度算出処理については、図２６および図２７を参照して詳細に説明する。
【０１５９】
図２４は、撮像装置１００による顔認識処理の処理手順のうちの顔属性判定処理手順（図２３に示すステップＳ９１０の処理手順）を示すフローチャートである。ここでは、年代、目の開閉、髪型、眼鏡の有無およびヒゲの有無に関する顔属性について判定する例について説明する。なお、各顔属性の判定処理については、図２５を参照して詳細に説明する。
【０１６０】
最初に、属性判定部３３０が、年代判定用辞書を用いて年代の属性判定処理を実行する（ステップＳ９１１）。続いて、属性判定部３３０が、目の開閉判定用辞書を用いて目の開閉の属性判定処理を実行する（ステップＳ９１２）。続いて、属性判定部３３０が、髪型判定用辞書を用いて髪形の属性判定処理を実行する（ステップＳ９１３）。続いて、属性判定部３３０が、眼鏡判定用辞書を用いて眼鏡の属性判定処理を実行する（ステップＳ９１４）。続いて、属性判定部３３０が、ヒゲ判定用辞書を用いてヒゲの属性判定処理を実行する（ステップＳ９１５）。続いて、属性判定部３３０が、これらの顔属性の判定結果を保持する（ステップＳ９１６）。なお、これらの顔属性の判定結果をＣＰＵ１１０に出力するようにしてもよい。
【０１６１】
続いて、判定対象の顔の顔属性の判定結果と、顔特徴量ＲＡＭ３９０に記憶されている各顔属性の判定結果との間で顔属性の類似度が判断される（ステップＳ９１７およびＳ９１８）。すなわち、判定対象の顔の性別に関する顔属性の判定結果と、顔特徴量ＲＡＭ３９０に記憶されている性別に関する各顔属性の判定結果とが明らかに不一致であるか否かが判断される（ステップＳ９１７）。ここで、性別に関する顔属性の判定結果が明らかに不一致である場合とは、完全に一致する場合、または、あいまいと判定されている場合以外の場合を示す。また、判定対象の顔の年代に関する顔属性の判定結果と、顔特徴量ＲＡＭ３９０に記憶されている年代に関する各顔属性の判定結果とが明らかに不一致であるか否かが判断される（ステップＳ９１８）。
【０１６２】
性別に関する顔属性の判定結果が明らかに不一致である場合（ステップＳ９１７）、または、年代に関する顔属性の判定結果が明らかに不一致である場合には（ステップＳ９１８）、顔認識処理の動作を終了する。一方、性別に関する顔属性の判定結果が明らかに不一致ではなく（ステップＳ９１７）、年代に関する顔属性の判定結果が明らかに不一致ではない場合には（ステップＳ９１８）、判定対象の顔の属性が、顔特徴量ＲＡＭ３９０に記憶されている各顔属性の判定結果との間で類似すると判定される（ステップＳ９１９）。
【０１６３】
なお、この例では、顔属性として性別または年代について顔属性の類似を判断する例について説明したが、他の顔属性についても類似を判断するようにしてもよい。
【０１６４】
このように、例えば、顔特徴量ＲＡＭ３９０に記憶されている性別に関する顔属性の判定結果の全てが女と判定されている場合において、判定対象の顔の性別に関する顔属性の判定結果が男と判定された場合には、判定対象の顔が、同一人物の顔ではない可能性が極めて高い。同様に、顔特徴量ＲＡＭ３９０に記憶されている年代に関する顔属性の判定結果の全てが大人と判定されている場合に、判定対象の顔の年代に関する顔属性の判定結果が子供と判定された場合には、判定対象の顔が、同一人物の顔ではない可能性が極めて高い。このように、登録顔の顔属性と判定対象顔の顔属性とが相反する属性である場合には、顔特徴点座標算出処理、顔特徴量抽出処理、類似度算出処理を実行するまでもなく、同一人物の顔ではない可能性が高い。このように、属性同士の類似度が極めて低い場合には、その後の全ての処理を打ち切ることによって、顔認識処理の高速化を図ることができる。
【０１６５】
図２５は、撮像装置１００による顔属性の判定処理の処理手順を示すフローチャートである。この顔属性の判定処理は、図２４のステップＳ９１１乃至Ｓ９１５に示す各顔属性の判定処理に対応する処理である。ここでは、図６に示す属性判定用辞書４５０を用いて顔属性を判定する例について説明する。
【０１６６】
最初に、スコアＳが「０」に初期化され（ステップＳ９２１）、変数ｉが「０」に初期化される（ステップＳ９２２）。続いて、正規化顔画像から抽出された輝度の値の中から、属性判定用辞書４５０の基準データｉに含まれる座標０（ｘ，ｙ）４５１の値に対応する輝度の値Ａ（ｉ）と、座標１（ｘ，ｙ）４５２の値に対応する輝度の値Ｂ（ｉ）とが取得される（ステップＳ９２３）。続いて、次式を用いて、取得された各輝度の値の差Ｃ（ｉ）が算出される（ステップＳ９２４）。
Ｃ（ｉ）＝Ａ（ｉ）−Ｂ（ｉ）
【０１６７】
続いて、算出された各輝度の差の値Ｃ（ｉ）と、属性判定用辞書４５０基準データｉに含まれる閾値（θ）４５３の値とを比較して、算出された値Ｃ（ｉ）が閾値（θ）４５３の値よりも大きいか否かが判断される（ステップＳ９２５）。算出された値Ｃ（ｉ）が閾値（θ）４５３の値以下である場合には（ステップＳ９２５）、属性判定用辞書４５０の基準データｉに含まれる重み（α）４５４の値をスコアＳに加算する（ステップＳ９２６）。一方、算出された値Ｃ（ｉ）が閾値（θ）４５３の値よりも大きい場合には（ステップＳ９２５）、属性判定用辞書４５０の基準データｉに含まれる重み（α）４５４の値をスコアＳに加算せずに、ステップＳ９２７に進む。
【０１６８】
続いて、変数ｉに「１」が加算され（ステップＳ９２７）、変数ｉがｎ−１よりも大きいか否かが判断される（ステップＳ９２８）。変数ｉがｎ−１よりも大きくない場合には（ステップＳ９２８）、属性判定用辞書４５０の各基準データについての判定処理が終了していないため、ステップＳ９２３に戻り、判定処理を繰り返す（ステップＳ９２３乃至Ｓ９２７）。一方、変数ｉがｎ−１よりも大きい場合には（ステップＳ９２８）、スコアＳの値が閾値１および閾値２の範囲内に存在するか否かが判断される（ステップＳ９２９）。なお、閾値１は、図７に示す閾値４６１、４６３、４６５に対応し、閾値２は、図７に示す閾値４６２、４６４、４６６に対応する。
【０１６９】
スコアＳの値が閾値１および閾値２の範囲内に存在する場合には（ステップＳ９２９）、正規化顔画像は、属性判定用辞書４５０に対応する顔属性に関して「あいまい」であると判定される（ステップＳ９３０）。
【０１７０】
スコアＳの値が閾値１および閾値２の範囲内に存在しない場合には（ステップＳ９２９）、スコアＳの値が閾値２よりも大きいか否かが判断される（ステップＳ９３１）。スコアＳの値が閾値２よりも大きい場合には（ステップＳ９３１）、正規化顔画像は、属性判定用辞書４５０に対応する顔属性に関して目的の画像であると判定される（ステップＳ９３２）。一方、スコアＳの値が、閾値１よりも小さい場合には（ステップＳ９３１）、正規化顔画像は、属性判定用辞書４５０に対応する顔属性に関して目的の画像ではないと判定される（ステップＳ９３３）。
【０１７１】
図２６は、撮像装置１００による顔認識処理の処理手順のうちの顔類似度算出処理手順（図２３に示すステップＳ９５０の処理手順）を示すフローチャートである。
【０１７２】
最初に、類似度算出部３６０は、類似度算出基準データ保持部３６１に保持されている類似度算出用辞書の中から、初期値の類似度算出用辞書を取得する（ステップＳ９５１）。例えば、図１６に示す類似度算出基準データ保持部３６１から一般用辞書７０１が取得される。続いて、属性判定部３３０から出力された顔属性の判定結果に基づいて、類似度算出基準データ保持部３６１に保持されている類似度算出用辞書の中から、類似度算出用辞書を選択する（ステップＳ９５２）。続いて、初期値の類似度算出用辞書および選択された類似度算出用辞書を用いて、類似度算出処理を実行する（ステップＳ９６０）。この類似度算出処理については、図２７を参照して詳細に説明する。
【０１７３】
図２７は、撮像装置１００による顔類似度算出処理の処理手順のうちの類似度算出処理手順（図２６に示すステップＳ９６０の処理手順）を示すフローチャートである。ここでは、図１７に示す類似度算出用辞書６６０を用いて類似度を算出する例について説明する。
【０１７４】
最初に、スコアＳが「０」に初期化され（ステップＳ９６１）、変数ｉが「０」に初期化される（ステップＳ９６２）。続いて、類似度算出用辞書６６０の基準データｉに含まれる座標０（ｘ，ｙ）６６１の値に対応する判定対象の顔特徴量に含まれる特徴量の値Ａ０（ｉ）と、登録顔特徴量に含まれる特徴量の値Ｂ０（ｉ）とが取得されるとともに、類似度算出用辞書６６０の基準データｉに含まれる座標１（ｘ，ｙ）６６２の値に対応する判定対象の顔特徴量に含まれる特徴量の値Ａ１（０）と、登録顔特徴量６８０に含まれる特徴量の値Ｂ１（ｉ）とが取得される（ステップＳ９６３）。
【０１７５】
続いて、次式を用いて、取得された特徴量の値の差の絶対値Ｃ０（ｉ）が算出される（ステップＳ９６４）。
Ｃ０（ｉ）＝｜Ａ０（ｉ）−Ｂ０（ｉ）｜
【０１７６】
続いて、次式を用いて、取得された特徴量の値の差の絶対値Ｃ１（ｉ）が算出される（ステップＳ９６５）。
Ｃ１（ｉ）＝｜Ａ１（ｉ）−Ｂ１（ｉ）｜
【０１７７】
続いて、次式を用いて、算出された絶対値Ｃ０（ｉ）と絶対値Ｃ１（ｉ）との差の絶対値Ｃ２（０）が算出される（ステップＳ９６６）。
Ｃ２（ｉ）＝｜Ｃ０（ｉ）−Ｃ１（ｉ）｜
【０１７８】
続いて、算出された絶対値Ｃ２（ｉ）と、類似度算出用辞書６６０の基準データｉに含まれる閾値（θ）６６３の値とを比較して、算出された絶対値Ｃ２（ｉ）が閾値（θ）６６３の値よりも大きいか否かが判断される（ステップＳ９６７）。算出された絶対値Ｃ２（ｉ）が閾値（θ）６６３の値以下である場合には（ステップＳ９６７）、類似度算出用辞書６６０の基準データｉに含まれる重み（α）４５４の値をスコアＳ１に加算する（ステップＳ９６８）。一方、算出された値Ｃ２（ｉ）が閾値（θ）６６３の値よりも大きい場合には（ステップＳ９６７）、類似度算出用辞書６６０の基準データｉに含まれる重み（α）４５４の値をスコアＳ１に加算せずに、ステップＳ９６９に進む。
【０１７９】
続いて、変数ｉに「１」が加算され（ステップＳ９６９）、変数ｉがｎ−１よりも大きいか否かが判断される（ステップＳ９７０）。変数ｉがｎ−１よりも大きくない場合には（ステップＳ９７０）、類似度算出用辞書６６０の各基準データについての判定処理が終了していないため、ステップＳ９６３に戻り、類似度算出処理を繰り返す（ステップＳ９６３乃至Ｓ９６９）。一方、変数ｉがｎ−１よりも大きい場合には（ステップＳ９７０）、類似度算出処理がされていない類似度算出用辞書が存在するか否かが判断される（ステップＳ９７１）。類似度算出処理がされていない類似度算出用辞書が存在する場合には（ステップＳ９７１）、ステップＳ９６２に戻り、他の類似度算出用辞書を用いた類似度算出処理を繰り返す（ステップＳ９６２乃至Ｓ９６９）。例えば、図１９に示すように、顔属性の判定結果が子供と判定されている場合において、一般用辞書７０１の類似度算出処理が終了した後には、子供用辞書７０２が存在するため、子供用辞書７０２を用いた類似度算出処理を実行する。
【０１８０】
一方、類似度算出処理がされていない類似度算出用辞書が存在しない場合には（ステップＳ９７１）、判定対象の顔特徴量に対応する顔と、登録顔特徴量に対応する顔との類似度を示す値としてスコアＳ１の値がＣＰＵ１１０に出力される（ステップＳ９７２）。
【０１８１】
図２８は、撮像装置１００による顔特徴量登録処理の処理手順を示すフローチャートである。
【０１８２】
顔特徴量登録部３７０は、顔特徴量抽出部３５０からの顔特徴量を入力する（ステップＳ９８１）。続いて、操作受付部１６０によりユーザからの登録指示の操作入力が受け付けられたか否かが判断される（ステップＳ９８２）。ユーザからの登録指示の操作入力が受け付けられていない場合には（ステップＳ９８２）、類似度算出部３６０から出力された類似度に基づいて、顔特徴量抽出部３５０から入力された顔特徴量と、顔特徴量ＲＡＭ３９０に記憶されている顔特徴量との類似度が極めて高いか否かが判断される（ステップＳ９８３）。顔特徴量抽出部３５０から入力された顔特徴量と、顔特徴量ＲＡＭ３９０に記憶されている顔特徴量との類似度が極めて高くない場合には（ステップＳ９８３）、顔特徴量登録処理の動作を終了する。
【０１８３】
一方、顔特徴量抽出部３５０から入力された顔特徴量と、顔特徴量ＲＡＭ３９０に記憶されている顔特徴量との類似度が極めて高い場合には（ステップＳ９８３）、顔検出部２００から出力されてＣＰＵ１１０に保持されている顔検出結果に基づいて、顔特徴量抽出部３５０から入力された顔特徴量に対応する顔（判定対象顔）が、顔特徴量ＲＡＭ３９０に記憶されている顔特徴量に対応する顔（登録顔）よりも顔らしさが高いか否か（人の顔である確からしさが高いか否か）が判断される（ステップＳ９８４）。
【０１８４】
判定対象顔が登録顔よりも顔らしさが高くない場合には（ステップＳ９８４）、同様に、ＣＰＵ１１０に保持されている顔検出結果に基づいて、判定対象顔が登録顔よりも正面向きの顔であるか否か（正面向きの度合いが高いか否か）が判断される（ステップＳ９８５）。判定対象顔が登録顔よりも正面向きの顔ではない場合には（ステップＳ９８５）。判定対象顔の入力時刻が、登録顔の登録時刻から一定以上の時間が経過しているか否かが判断される（ステップＳ９８６）。なお、ステップＳ９８５において、判定対象顔が登録顔よりも正面向きの顔であるか否かを判断する場合には、属性判定部３３０により判定された顔の向きに関する判定結果または積算結果を用いるようにしてもよい。
【０１８５】
また、ユーザからの登録指示の操作入力が受け付けられた場合（ステップＳ９８２）、または、顔特徴量抽出部３５０から入力された顔特徴量が顔特徴量ＲＡＭ３９０に記憶されている顔特徴量と類似する場合において（ステップＳ９８３）、判定対象顔が登録顔よりも顔らしさが高い場合（ステップＳ９８４）、判定対象顔が登録顔よりも正面向きの顔である場合（ステップＳ９８５）、判定対象顔の入力時刻が、登録顔の登録時刻から一定以上の時間が経過している場合（ステップＳ９８６）には、顔特徴量登録部３７０は、顔特徴量抽出部３５０から入力された顔特徴量を顔特徴量ＲＡＭ３９０に追加書き込み、または上書き処理する（ステップＳ９８７）。また、対応する顔属性の判定結果についても、顔特徴量ＲＡＭ３９０に追加書き込み、または上書き処理を行う（ステップＳ９８７）。
【０１８６】
すなわち、顔特徴量抽出部３５０から入力された顔特徴量が、ステップＳ９８３乃至Ｓ９８６に示す顔登録に関する一定の条件を満たす場合には、撮像装置１００内部で自動的に顔特徴量を追加書き込みまたは上書き処理する。これにより、撮像装置１００は、適切で最新の顔特徴量を適切に取得することができる。
【０１８７】
図２９は、撮像装置１００による顔認識処理の処理手順のうちの顔属性判定処理手順を示すフローチャートである。この顔属性判定処理手順は、図２４に示す顔属性判定処理手順を一部変形したものである。なお、ステップＳ９１６乃至Ｓ９１９については、図２４に示すステップＳ９１６乃至Ｓ９１９と同じ処理手順であるため、ここでの説明を省略する。また、ここでは、年代、目の開閉、髪型、眼鏡の有無およびヒゲの有無に関する顔属性について選択的に実行する例について説明する。なお、年代に関する顔属性の判定では、乳幼児であるか乳幼児以外であるかを判定するものとする。また、眼鏡に関する顔属性の判定では、サングラス（透過度の低い眼鏡）であるか否かを判定するものとする。
【０１８８】
最初に、属性判定部３３０が、年代判定用辞書を用いて年代の属性判定処理を実行する（ステップＳ９９１）。続いて、年代に関する顔属性の判定結果として、乳幼児と判定されたか否かが判断される（ステップＳ９９２）。年代に関する顔属性の判定結果として、乳幼児と判定された場合には（ステップＳ９９２）、乳幼児には、「髪型の特徴が少ない」、「眼鏡をかけていない」、「性別が不明確である」、「ヒゲがない」という前提があるため、目の開閉に関する顔属性の判定処理のみを実行して（ステップＳ９９３）、他の顔属性の判定処理を実行しない。
【０１８９】
一方、年代に関する顔属性の判定結果として、乳幼児以外と判定された場合には（ステップＳ９９２）、属性判定部３３０が、髪型判定用辞書を用いて髪形の属性判定処理を実行し（ステップＳ９９４）、眼鏡判定用辞書を用いて眼鏡の属性判定処理を実行する（ステップＳ９９５）。
【０１９０】
続いて、眼鏡に関する顔属性の判定結果として、サングラスと判定されたか否かが判断される（ステップＳ９９６）。眼鏡に関する顔属性の判定結果として、サングラスと判定された場合には（ステップＳ９９６）、サングラスをかけている顔については、目の開閉を判定することが困難であるため、目の開閉に関する顔属性の判定処理を実行せずに、ステップＳ９９８に進む。一方、眼鏡に関する顔属性の判定結果として、サングラスと判定されない場合には（ステップＳ９９６）、目の開閉に関する顔属性の判定処理を実行する（ステップＳ９９７）。
【０１９１】
続いて、性別に関する顔属性の判定結果として、女性と判定された場合には（ステップＳ９９８）、女性には「ヒゲがない」という前提があるため、ヒゲに関する顔属性の判定処理を実行せずに、ステップＳ９１６に進む。一方、性別に関する顔属性の判定結果として、女性と判定されない場合には（ステップＳ９９８）、ヒゲに関する顔属性の判定処理を実行する（ステップＳ９９９）。
【０１９２】
このように、各種の顔属性の中には、子供や女性に対するひげのように、相反する内容や非常にまれな組合せの内容が存在することがある。そこで、既に判定されている顔属性の判定結果に基づいて、相反する顔属性については判定処理を行わないことにより、顔属性の判定処理時間を短縮することができるとともに、精度を改善することができる。
【０１９３】
なお、本発明の実施の形態では、レンズ、イメージセンサ等の撮像部を備える撮像装置を例にして説明したが、撮像部を備えていない画像処理装置においても本発明の実施の形態を適用することができる。例えば、外部の画像記憶媒体から入力された画像データ、または、外部装置から入出力端子を介して入力された画像データについて、上述した顔検出や顔認識の処理を画像処理装置が行うことができる。また、属性判定部３３０により判定された顔属性の判定結果、特徴点算出部３４０により算出された特徴点の位置、顔特徴量抽出部３５０により抽出された顔特徴量、類似度算出部３６０により算出された類似度等を、入出力端子を介して外部装置に出力するようにしてもよい。
【０１９４】
また、本発明の実施の形態では、被写体の対象物として顔を検出して顔認識を行う場合について説明したが、他の対象物を検出して物体認識を行う場合についても、本発明の実施の形態を適用することができる。例えば、猫や犬等のペットや動物、家、乗り物等の様々な対象物について本発明の実施の形態を適用することができる。
【０１９５】
また、本発明の実施の形態では、特徴量抽出フィルタとしてガボア・フィルタを用いた例について説明したが、他の特徴量抽出フィルタを用いて特徴量を抽出する場合についても本発明の実施の形態を適用することができる。
【０１９６】
以上で示したように、本発明の実施の形態によれば、画像に含まれる人の顔の領域に対して、顔属性（例えば、対象となる人の表情、年齢や年代、性別、目の開閉、人種、眼鏡の有無や種類、ヒゲの有無や種類、帽子の有無や種類、アクセサリーの有無や種類、髪型、顔向き）を判定することができる。また、顔属性の判定処理において、既に判定された顔属性と相反する顔属性については、判定処理を行わないことにより、効率的に有効な顔属性の判定結果を得ることができる。
【０１９７】
また、ユーザの希望する人物の顔を撮像装置１００に顔特徴量として登録しておき、人物認識の登録顔として用いることができる。さらに、同一人物の登録顔について、さらに適切な顔特徴量を自動的に選び出し、登録内容を追加または上書きすることによって、登録顔に関する最適な顔特徴量を記憶させることができる。
【０１９８】
また、人物認識をする際の特徴点座標を、顔属性の判定結果に応じて切り替えることによって、判定対象顔に応じた最適な特徴量の抽出が可能となる。
【０１９９】
また、人物認識をする際の特徴量抽出フィルタを、顔属性の判定結果に応じて切り替えることによって、判定対象顔に応じた最適な特徴量の抽出が可能となる。
【０２００】
また、人物認識をする際の類似度算出に用いられる類似度算出基準データを、顔属性の判定結果に応じて切り替えることによって、判定対象顔に応じた最適な類似度算出が可能となり、高精度な人物認識を実現することができる。
【０２０１】
また、人物認識をする際の類似度算出を、顔属性の判定結果に応じて途中で打ち切ることによって、処理時間の短縮を可能とし、高速化を図ることができる。特に、属性同士の類似性に着目し、相反する内容が存在する場合には、登録顔と判定対象顔とが同一人物でないことを早い段階で知ることができ、処理時間は大幅に短縮することができる。
【０２０２】
また、人物認識をする際の類似度算出を、顔属性の判定結果に応じてさらに延長することによって、類似度算出の難しい顔に対しても、さらに高精度な処理が可能となる。
【０２０３】
また、画像内に含まれる複数人の顔から、特定人物の顔を認識することによって、オートフォーカス、オートホワイトバランス、オート露出、オートストロボ発光、オートシャッター等、多様なカメラ制御を、特定人物に対して最適化することができる。
【０２０４】
また、高速で高精度な人物認識を可能とし、撮像装置のようなリアルタイム画像処理でも、特定人物の顔をユーザに知らせることができる。さらに、デジタルスチルカメラやカメラ付き携帯電話機のような小型の撮像装置が、十分なサイズの画像表示装置（液晶パネル等）を有していなくても、撮像装置がユーザに対して特定人物の顔を報知することにより、ユーザは容易に特定人物の顔を視認することができる。
【０２０５】
また、撮像装置以外の画像処理装置に適用することができるため、外部装置から入力された人の顔画像に対しても、顔属性の判定や人物認識処理を行うことが可能となる。
【０２０６】
また、多様な顔属性、顔特徴点座標、顔類似度を画像の付随データとして生成することができ、さらに豊富な情報を自動でユーザに提供することができる。
【０２０７】
また、多様な顔属性、顔特徴点座標、顔類似度を用いて、膨大な動画、または静止画のデータベースから、特定の個人の画像を迅速に検索することができる。
【０２０８】
なお、本発明の実施の形態は本発明を具現化するための一例を示したものであり、以下に示すように特許請求の範囲における発明特定事項とそれぞれ対応関係を有するが、これに限定されるものではなく本発明の要旨を逸脱しない範囲において種々の変形を施すことができる。
【０２０９】
すなわち、請求項１、１６、１７において、対象物特徴量記憶手段は、例えば顔特徴量ＲＡＭ３９０に対応する。また、対象物検出手段は、例えば顔検出部２００に対応する。また、属性判定手段は、例えば属性判定部３３０に対応する。また、類似度算出手段は、例えば類似度算出部３６０に対応する。
【０２１０】
また、請求項１、１６において、画像入力手段は、例えばレンズ群１２１およびイメージセンサ１２２に対応する。
【０２１１】
また、請求項１、１７において、特徴点決定手段は、例えば特徴点算出部３４０に対応する。
【０２１２】
また、請求項２において、特徴点座標テーブル保持手段は、例えば特徴点座標テーブル保持部３４１に対応する。
【０２１３】
また、請求項３において、正規化手段は、例えば正規化部３２０に対応する。
【０２１４】
また、請求項４において、特徴量抽出手段は、例えば顔特徴量抽出部３５０に対応する。
【０２１５】
また、請求項１０において、特徴量登録手段は、例えば顔特徴量登録部３７０に対応する。
【０２１６】
また、請求項１２において、対象物属性記憶手段は、例えば顔特徴量ＲＡＭ３９０に対応する。
【０２１７】
また、請求項１７において、撮像手段は、例えばレンズ群１２１およびイメージセンサ１２２に対応する。
【０２１８】
請求項１８、１９において、画像入力手順は、例えばレンズ群１２１およびイメージセンサ１２２により行われる。また、対象物検出手順は、例えば顔検出部２００により行われる。属性判定手順は、例えばステップＳ９１０またはＳ９９０に対応する。また、特徴点決定手順は、例えばステップＳ９０４に対応する。また、類似度算出手順は、例えばステップＳ９５０に対応する。
【０２１９】
なお、本発明の実施の形態において説明した処理手順は、これら一連の手順を有する方法として捉えてもよく、また、これら一連の手順をコンピュータに実行させるためのプログラム乃至そのプログラムを記憶する記録媒体として捉えてもよい。
【図面の簡単な説明】
【０２２０】
【図１】撮像装置１００の機能構成例を示すブロック図である。
【図２】顔検出部２００の機能構成例を示すブロック図である。
【図３】顔認識部３００の機能構成例、および、画像ＲＡＭ１３０、画像バス１９０および顔特徴量ＲＡＭ３９０との概略関係を示すブロック図である。
【図４】顔検出部２００により検出された顔を含むその周辺画像である顔画像を正規化する場合における正規化の一例を示す図である。
【図５】属性の判定対象となる顔画像を概略的に示す図である。
【図６】正規化顔画像について顔の属性判定を行う場合に用いられる属性判定用辞書の構成例を示す図である。
【図７】正規化顔画像について属性判定用辞書を用いて求められる各顔属性に関する積算結果値の範囲を示す図である。
【図８】各属性に関する判定結果および積算結果値の一例を示す図である。
【図９】正規化部３２０により生成された正規化顔画像に設定すべき特徴点の位置を算出する特徴点位置算出方法の一例を示す図である。
【図１０】正規化部３２０により生成された正規化顔画像に特徴点を設定する場合における配置例を示す図である。
【図１１】正規化部３２０により生成された正規化顔画像に特徴点を設定する場合における配置例を示す図である。
【図１２】特徴点における特徴量の抽出に用いられるガボア・フィルタおよびフィルタの係数の一例を示す図である。
【図１３】正規化顔画像の一例である正規化顔画像６３０を示す図である。
【図１４】ガボア・フィルタを用いて特徴量が抽出された場合における各特徴量の集合である顔特徴量６５０を模式的に示す図である。
【図１５】顔特徴量ＲＡＭ３９０に格納されている各情報を模式的に示す図である。
【図１６】類似度算出基準データ保持部３６１に保持されている類似度算出用辞書を模式的に示す図である。
【図１７】ガボア・ジェットを用いて判定対象の顔の類似度を算出する場合に用いられる類似度算出用辞書の構成例を示す図である。
【図１８】ガボア・ジェットを用いて判定対象の顔の類似度を算出する算出方法を概略的に示す図である。
【図１９】判定対象の顔の類似度算出に用いられる類似度算出用辞書の例を示す図である。
【図２０】判定対象の顔の類似度算出に用いられる類似度算出用辞書の例を示す図である。
【図２１】判定対象の顔の類似度算出に用いられる類似度算出用辞書の例を示す図である。
【図２２】判定対象の顔の類似度算出に用いられる類似度算出用辞書の例を示す図である。
【図２３】撮像装置１００による顔認識（人物認識）処理の処理手順を示すフローチャートである。
【図２４】撮像装置１００による顔認識処理の処理手順のうちの顔属性判定処理手順を示すフローチャートである。
【図２５】撮像装置１００による顔属性の判定処理の処理手順を示すフローチャートである。
【図２６】撮像装置１００による顔認識処理の処理手順のうちの顔類似度算出処理手順を示すフローチャートである。
【図２７】撮像装置１００による顔類似度算出処理の処理手順のうちの類似度算出処理手順を示すフローチャートである。
【図２８】撮像装置１００による顔特徴量登録処理の処理手順を示すフローチャートである。
【図２９】撮像装置１００による顔認識処理の処理手順のうちの顔属性判定処理手順を示すフローチャートである。
【符号の説明】
【０２２１】
１００ 撮像装置
１１０ ＣＰＵ
１２１ レンズ群
１２２ イメージセンサ
１２３ カメラ信号処理部
１３０ 画像ＲＡＭ
１４０ 画像圧縮伸張部
１５０ 表示部
１６０ 操作受付部
１７０ 記憶媒体
１８０ 揮発／不揮発性記憶媒体
１９０ 画像バス
２００ 顔検出部
２１０ コントローラ
２２０ 画像拡大縮小部
２３０ 画像保持部
２４０ 基準顔データ保持部
２５０ 判定部
３００ 顔認識部
３１０ コントローラ
３２０ 正規化部
３３０ 属性判定部
３３１ 属性判定基準データ保持部
３４０ 特徴点算出部
３４１ 特徴点座標テーブル保持部
３５０ 顔特徴量抽出部
３６０ 類似度算出部
３６１ 類似度算出基準データ保持部
３７０ 顔特徴量登録部
３９０ 顔特徴量ＲＡＭ
【技術分野】
【０００１】
本発明は、画像処理装置に関し、特に、画像に含まれる所定の対象物を認識する画像処理装置、撮像装置、および、これらにおける処理方法ならびに当該方法をコンピュータに実行させるプログラムに関する。
【背景技術】
【０００２】
近年、デジタルスチルカメラ、デジタルビデオカメラ、携帯電話機に搭載されている小型カメラ等の撮像装置の高性能化が進んでいる。これらの撮像装置に搭載されている機能として、最近では、被写体が何であるかを認識する被写体認識技術が注目を浴びている。被写体認識技術として、例えば、画像処理によって撮像画像から人物の顔を検出する顔検出技術が提案されている。
【０００３】
この顔検出技術として、例えば、撮像画像の一部分を切り出し、この切り出された画像と、テンプレートと比較することによって、この切り出された画像が人物の顔である確からしさを算出して、人物の顔を検出する顔検出技術が提案されている（例えば、特許文献１参照。）。
【０００４】
このように顔検出技術を用いて検出された顔について、さらに、特定人物の顔であるか否かを識別する技術（いわゆる、顔認識技術）が提案されている。
【０００５】
例えば、入力された画像に含まれる顔上に一定の間隔で離れて位置する画素をその顔の特徴点として検出し、この特徴点の局所的な特徴量をガボア・フィルタにより検出し、この検出された特徴量が、予め登録されている顔の特徴量に対してどの程度類似しているかを演算することにより、人物の顔を識別する画像処理装置が提案されている（例えば、特許文献２参照。）。
【特許文献１】特開２００７−４３１３号公報（図１）
【特許文献２】特開２００６−４００３号公報（図２）
【発明の開示】
【発明が解決しようとする課題】
【０００６】
上述の従来技術によれば、入力された画像に含まれる顔上において一定の間隔で配置された特徴点の局所的な特徴量を検出し、この検出された特徴量を用いて人物の顔を識別することができる。
【０００７】
しかしながら、人物の顔の輪郭に対する目、鼻、口等の顔の器官の位置やその比率について、大人と子供とを比較した場合には、ある程度の差異が生じることが知られている。また、大人の顔は、子供の顔に対して面長となっている傾向が強いことも知られている。さらに、顔の表情、性別、目の開閉、人種、眼鏡の有無や種類、ヒゲの有無や種類、顔向き等についても各個人によって差異が生じる。このように、撮像画像に含まれる人物によって各種の差異が生じる。このため、対象物の類似度算出の精度を高めるには、認識の対象となる人物の顔の属性に応じて適切な特徴点の設定等を行うことが重要となる。
【０００８】
そこで、本発明は、対象物の類似度算出の精度を高めることを目的とする。
【課題を解決するための手段】
【０００９】
本発明は、上記課題を解決するためになされたものであり、その第１の側面は、所定の対象物の特徴量を記憶する対象物特徴量記憶手段と、画像を入力する画像入力手段と、上記入力された画像に含まれる対象物を検出する対象物検出手段と、上記検出された対象物の属性を判定する属性判定手段と、上記判定された属性に基づいて上記入力された画像に設定すべき特徴点の位置を決定する特徴点決定手段と、上記対象物特徴量記憶手段に記憶されている特徴量と上記入力された画像に設定された特徴点における特徴量とを比較することにより上記対象物特徴量記憶手段に記憶されている特徴量に対応する対象物と上記検出された対象物との類似度を算出する類似度算出手段とを具備することを特徴とする画像処理装置およびその処理方法ならびに当該方法をコンピュータに実行させるプログラムである。これにより、入力された画像に含まれる対象物を検出すると、この検出された対象物の属性を判定し、この判定された属性に基づいて、入力された画像に設定すべき特徴点の位置を決定し、対象物特徴量記憶手段に記憶されている特徴量と、入力された画像に設定された特徴点における特徴量とを比較することによって、対象物特徴量記憶手段に記憶されている特徴量に対応する対象物と、検出された対象物との類似度を算出するという作用をもたらす。
【００１０】
また、この第１の側面において、上記入力された画像に設定すべき特徴点の位置の初期値を保持する特徴点座標テーブル保持手段をさらに具備し、上記特徴点決定手段は、上記判定された属性に基づいて上記初期値における特徴点の位置を移動または上記初期値における特徴点の数を増減させることにより上記入力された画像に設定すべき特徴点の位置を決定することができる。これにより、判定された属性に基づいて、初期値における特徴点の位置を移動または初期値における特徴点の数を増減させることによって、入力された画像に設定すべき特徴点の位置を決定するという作用をもたらす。
【００１１】
また、この第１の側面において、上記検出された対象物が一定の位置に配置されるように上記検出された対象物の周辺画像である対象物画像を正規化する正規化手段をさらに具備し、上記特徴点決定手段は、上記判定された属性に基づいて上記正規化された対象物画像に設定すべき特徴点の位置を決定することができる。これにより、検出された対象物が一定の位置に配置されるように対象物画像を正規化して、判定された属性に基づいて、その正規化された対象物画像に設定すべき特徴点の位置を決定するという作用をもたらす。
【００１２】
また、この第１の側面において、上記入力された画像に設定された特徴点における特徴量を抽出する特徴量抽出手段をさらに具備することができる。これにより、入力された画像に設定された特徴点における特徴量を抽出するという作用をもたらす。
【００１３】
また、この第１の側面において、上記特徴量抽出手段は、上記入力された画像に設定された特徴点を含むその周辺画像である近傍画像について特徴量抽出フィルタを用いて上記特徴点毎に特徴量を抽出することができる。これにより、近傍画像について特徴量抽出フィルタを用いて特徴点毎に特徴量を抽出するという作用をもたらす。
【００１４】
また、この第１の側面において、上記特徴量抽出手段は、上記判定された属性に基づいて上記特徴量の抽出に用いられる上記特徴量抽出フィルタのパラメータを変更することができる。これにより、判定された属性に基づいて、特徴量抽出フィルタのパラメータを変更するという作用をもたらす。
【００１５】
また、この第１の側面において、上記特徴量抽出フィルタはガボア・フィルタであり、上記特徴量抽出手段は、上記判定された属性に基づいて上記ガボア・フィルタのパラメータである通過帯域または特徴量抽出角度を変更することができる。これにより、判定された属性に基づいて、ガボア・フィルタのパラメータである通過帯域または特徴量抽出角度を変更するという作用をもたらす。
【００１６】
また、この第１の側面において、上記算出された類似度に基づいて上記入力された画像について抽出された特徴量が一定の条件を満たしているか否かを判定して上記一定の条件を満たしていると判定された場合には上記入力された画像について抽出された特徴量を上記対象物特徴量記憶手段に記憶させる特徴量登録手段をさらに具備することができる。これにより、算出された類似度に基づいて、入力された画像について抽出された特徴量が一定の条件を満たしているか否かを判定し、この一定の条件を満たしていると判定された場合には、入力された画像について抽出された特徴量を、対象物特徴量記憶手段に記憶させるという作用をもたらす。
【００１７】
また、この第１の側面において、上記特徴量登録手段は、上記一定の条件を満たしていると判定された場合には上記入力された画像について抽出された特徴量とともに上記判定された属性を上記対象物特徴量記憶手段に記憶させることができる。これにより、一定の条件を満たしていると判定された場合には、入力された画像について抽出された特徴量とともに、判定された属性を対象物特徴量記憶手段に記憶させるという作用をもたらす。
【００１８】
また、この第１の側面において、上記類似度算出手段は、複数の弱判別器を用いて上記対象物特徴量記憶手段に記憶されている特徴量と上記入力された画像に設定された特徴点における特徴量とを比較することにより上記類似度を算出することができる。これにより、複数の弱判別器を用いて、対象物特徴量記憶手段に記憶されている特徴量と、入力された画像に設定された特徴点における特徴量とを比較することによって、類似度を算出するという作用をもたらす。
【００１９】
また、この第１の側面において、上記類似度算出手段は、上記判定された属性に基づいて上記類似度の算出に用いられる上記弱判別器の数または種類を変更することができる。これにより、判定された属性に基づいて、弱判別器の数または種類を変更するという作用をもたらす。
【００２０】
また、この第１の側面において、所定の対象物に関する属性を記憶する対象物属性記憶手段をさらに具備し、上記類似度算出手段は、上記判定された属性と上記対象物属性記憶手段に記憶されている属性とを比較することにより上記検出された対象物と上記対象物属性記憶手段に属性が記憶されている対象物との属性の類似度を判定して上記属性の類似度の判定結果に基づいて上記検出された対象物についての類似度を算出するか否かを判断することができる。これにより、判定された属性と、対象物属性記憶手段に記憶されている属性とを比較することによって、検出された対象物と対象物属性記憶手段に属性が記憶されている対象物との属性の類似度を判定し、この属性の類似度の判定結果に基づいて、検出された対象物についての類似度を算出するか否かを判断するという作用をもたらす。
【００２１】
また、この第１の側面において、上記対象物検出手段は、上記入力された画像に含まれる人物の顔を検出することができる。これにより、入力された画像に含まれる人物の顔を検出するという作用をもたらす。
【００２２】
また、この第１の側面において、上記属性判定手段は、人物の顔についての表情、年齢もしくは年代、性別、目の開閉、人種、眼鏡の有無もしくは種類、ヒゲの有無もしくは種類、帽子の有無もしくは種類、アクセサリーの有無もしくは種類、髪型、または、顔向きの少なくとも１つを上記検出された人物の顔の属性として判定することができる。これにより、人物の顔についての表情、年齢もしくは年代、性別、目の開閉、人種、眼鏡の有無もしくは種類、ヒゲの有無もしくは種類、帽子の有無もしくは種類、アクセサリーの有無もしくは種類、髪型、または、顔向きの少なくとも１つを、検出された人物の顔の属性として判定するという作用をもたらす。
【００２３】
また、この第１の側面において、上記属性判定手段は、上記検出された対象物について複数の属性を順次判定するとともに既に判定された属性の判定結果に基づいて次に判定すべき属性を選択することができる。これにより、検出された対象物について複数の属性を順次判定するとともに、既に判定された属性の判定結果に基づいて次に判定すべき属性を選択するという作用をもたらす。
【００２４】
また、本発明の第２の側面は、所定の対象物の特徴量を記憶する対象物特徴量記憶手段と、画像を入力する画像入力手段と、上記入力された画像に含まれる対象物を検出する対象物検出手段と、上記検出された対象物の属性を判定する属性判定手段と、上記判定された属性に基づいて数または種類が決定された複数の弱判別器を用いて上記対象物特徴量記憶手段に記憶されている特徴量と上記入力された画像に設定された特徴点における特徴量とを比較することにより上記対象物特徴量記憶手段に記憶されている特徴量に対応する対象物と上記検出された対象物との類似度を算出する類似度算出手段とを具備することを特徴とする画像処理装置およびその処理方法ならびに当該方法をコンピュータに実行させるプログラムである。これにより、入力された画像に含まれる対象物を検出すると、この検出された対象物の属性を判定し、この判定された属性に基づいて数または種類が決定された複数の弱判別器を用いて、対象物特徴量記憶手段に記憶されている特徴量と、入力された画像に設定された特徴点における特徴量とを比較することによって、対象物特徴量記憶手段に記憶されている特徴量に対応する対象物と、検出された対象物との類似度を算出するという作用をもたらす。
【００２５】
また、本発明の第３の側面は、所定の対象物の特徴量を記憶する対象物特徴量記憶手段と、被写体からの入射光を撮像画像に変換する撮像手段と、上記撮像画像に含まれる対象物を検出する対象物検出手段と、上記検出された対象物の属性を判定する属性判定手段と、上記判定された属性に基づいて上記撮像画像に設定すべき特徴点の位置を決定する特徴点決定手段と、上記対象物特徴量記憶手段に記憶されている特徴量と上記撮像画像に設定された特徴点における特徴量とを比較することにより上記対象物特徴量記憶手段に記憶されている特徴量に対応する対象物と上記検出された対象物との類似度を算出する類似度算出手段とを具備することを特徴とする撮像装置およびその処理方法ならびに当該方法をコンピュータに実行させるプログラムである。これにより、撮像画像に含まれる対象物を検出すると、この検出された対象物の属性を判定し、この判定された属性に基づいて、撮像画像に設定すべき特徴点の位置を決定し、対象物特徴量記憶手段に記憶されている特徴量と、撮像画像に設定された特徴点における特徴量とを比較することによって、対象物特徴量記憶手段に記憶されている特徴量に対応する対象物と、検出された対象物との類似度を算出するという作用をもたらす。
【発明の効果】
【００２６】
本発明によれば、対象物の類似度算出の精度を高めるという優れた効果を奏し得る。
【発明を実施するための最良の形態】
【００２７】
次に本発明の実施の形態について図面を参照して詳細に説明する。
【００２８】
図１は、本発明の実施の形態における撮像装置１００の機能構成例を示すブロック図である。撮像装置１００として、デジタルスチルカメラやデジタルビデオカメラ等の撮像装置、または、携帯電話機やパーソナルコンピュータ等の端末装置に付属するカメラ等の撮像装置が例として挙げられる。
【００２９】
撮像装置１００は、ＣＰＵ（Central Processing Unit）１１０と、レンズ群１２１と、イメージセンサ１２２と、カメラ信号処理部１２３と、画像ＲＡＭ（Random Access Memory）１３０と、画像圧縮伸張部１４０と、表示部１５０と、操作受付部１６０と、記憶媒体１７０と、揮発／不揮発性記憶媒体１８０と、画像バス１９０と、顔検出部２００と、顔認識部３００と、顔特徴量ＲＡＭ３９０とを備える。なお、撮像装置１００の各ブロック間における画像信号の送受信は、直接のやりとり、または、共有メモリである画像ＲＡＭ１３０または画像バス１９０を経由したやりとりによって行われる。
【００３０】
ＣＰＵ１１０は、メモリ（図示せず）に格納されている各種制御プログラムに基づいて撮像装置１００の各部を制御するＣＰＵである。
【００３１】
レンズ群１２１は、フォーカスレンズやズームレンズ等の複数のレンズにより構成され、これらのレンズを介して入力された被写体からの入射光をイメージセンサ１２２に出力する。また、レンズ群１２１における絞り制御やフォーカス制御がＣＰＵ１１０により行われる。
【００３２】
イメージセンサ１２２は、レンズ群１２１を通過した被写体からの入射光を電気信号に光電変換し、光電変換された電気信号をカメラ信号処理部１２３に出力するものである。
【００３３】
カメラ信号処理部１２３は、イメージセンサ１２２から出力された電気信号に対して各種の信号処理を施し、信号処理が施された画像データを画像ＲＡＭ１３０、画像圧縮伸張部１４０、表示部１５０および顔検出部２００に出力するものである。カメラ信号処理部１２３における信号処理として、ホワイトバランス調節、ノイズ軽減処理、レベル補正処理、Ａ／Ｄ変換処理および色彩補正処理等の信号処理がある。
【００３４】
画像ＲＡＭ１３０は、撮像装置１００において処理対象となる画像データを記憶するものである。
【００３５】
画像圧縮伸張部１４０は、入力された各種画像データを各画像処理に応じて圧縮または伸張するものである。例えば、画像圧縮伸張部１４０により圧縮処理が施された画像データが記憶媒体１７０に出力されて記録される。また、画像圧縮伸張部１４０により伸張処理が施された画像データが画像ＲＡＭ１３０、表示部１５０および顔検出部２００に出力される。なお、圧縮形式として、例えばＪＰＥＧ（Joint Photographic Experts Group）形式を採用することができる。
【００３６】
表示部１５０は、カメラ信号処理部１２３または画像圧縮伸張部１４０が出力した画像データに対応する画像を表示する表示部である。
【００３７】
操作受付部１６０は、ユーザにより行われた各種の操作を受け付ける操作受付部であり、受け付けられた操作内容をＣＰＵ１１０に出力する。なお、表示部１５０および操作受付部１６０については、タッチパネルとして一体で構成するようにしてもよく、表示部１５０を液晶ディスプレイ（ＬＣＤ）とし、操作受付部１６０を十字キー等のハードキーとして双方を別体で構成するようにしてもよい。
【００３８】
記憶媒体１７０は、画像圧縮伸張部１４０が出力した画像データを記憶するとともに、記憶されている画像データを画像圧縮伸張部１４０に出力する画像記憶媒体である。なお、画像記憶媒体としては、磁気ディスク、光ディスク、半導体記憶媒体、磁気テープ等の画像記憶媒体がある。また、画像記憶媒体は、外部取り外しの可能な記憶媒体または内蔵の記憶媒体とすることができる。
【００３９】
揮発／不揮発性記憶媒体１８０は、各種情報を記憶する揮発／不揮発性の記憶媒体である。
【００４０】
画像バス１９０は、画像データを伝達するための共有バスである。
【００４１】
顔検出部２００は、入力された画像データに対応する画像に含まれる人の顔を検出するものであり、検出された顔を含むその周辺画像である顔画像を画像バス１９０を介して画像ＲＡＭ１３０に出力するとともに、検出された顔に関する情報を顔認識部３００に出力する。なお、顔検出部２００については、図２を参照して詳細に説明する。
【００４２】
顔認識部３００は、顔検出部２００によって検出された顔について、顔特徴量ＲＡＭ３９０に特徴量が記憶されている人物（登録人物）と同一人物の顔であるか否かを示す類似度を算出するものであり、算出された類似度をＣＰＵ１１０に出力する。なお、顔認識部３００および顔特徴量ＲＡＭ３９０については、図３を参照して詳細に説明する。
【００４３】
なお、ＣＰＵ１１０の制御に基づいて、画像圧縮伸張部１４０が出力した画像データを外部記憶媒体等の外部装置に出力するとともに、外部記憶媒体から入力された画像データを画像圧縮伸張部１４０に出力するための入出力端子を、撮像装置１００に設けるようにしてもよい。
【００４４】
図２は、顔検出部２００の機能構成例を示すブロック図である。
【００４５】
顔検出部２００は、コントローラ２１０と、画像拡大縮小部２２０と、画像保持部２３０と、基準顔データ保持部２４０と、判定部２５０とを備える。
【００４６】
コントローラ２１０は、ＣＰＵ１１０からの指示に従って顔検出部２００の各部を制御するものである。
【００４７】
画像拡大縮小部２２０は、カメラ信号処理部１２３または画像圧縮伸張部１４０から出力された画像データ、または、画像ＲＡＭ１３０に記憶されている画像データに対応する画像に対して、顔の検出に適する画像に拡大または縮小処理を実行するものである。なお、画像の拡大率または縮小率は、ＣＰＵ１１０からの指示に基づいて決定される。
【００４８】
画像保持部２３０は、画像拡大縮小部２２０により拡大処理または縮小処理が施された画像を保持する画像メモリであり、保持されている画像を判定部２５０に出力するとともに、画像バス１９０を介して画像ＲＡＭ１３０に出力する。
【００４９】
基準顔データ保持部２４０は、顔検出に用いる際に基準となる顔データを保持するものであり、保持されている顔データを判定部２５０に出力する。ここで基準となる顔データは、例えば、顔画像そのもの、人の顔に関する特徴データベース等である。
【００５０】
判定部２５０は、画像保持部２３０に保持されている画像に顔が含まれているか否かを判定するものであり、顔検出結果をＣＰＵ１１０および顔認識部３００に出力する。具体的には、判定部２５０は、画像保持部２３０に保持されている画像を一定のウィンドウサイズで部分的に取り出し、取り出された画像と、基準顔データ保持部２４０に保持されている顔データとでテンプレートマッチング処理を行い、相関性の高さに基づいて、顔らしさを算出する。そして、算出された顔らしさに基づいて、取り出された画像が顔画像であるか否かを判定する。例えば、算出された顔らしさが十分に高い場合には、取り出された画像が顔画像であると判定される。これらの判定が繰り返し実行され、画像保持部２３０に保持されている画像に含まれている顔が検出される。
【００５１】
また、判定部２５０は、基準顔データ保持部２４０に保持されている顔データとの相関性の高さに基づいて、画像保持部２３０に保持されている画像に含まれている顔に関する各種データを抽出し、抽出された各種データを顔検出結果としてＣＰＵ１１０および顔認識部３００に出力する。この顔検出結果は、顔領域の座標、顔領域の大きさ、顔の向き、顔らしさ等である。これらの顔検出結果はＣＰＵ１１０に蓄えられる。
【００５２】
図３は、顔認識部３００の機能構成例、および、顔認識部３００と、画像ＲＡＭ１３０、画像バス１９０および顔特徴量ＲＡＭ３９０との概略関係を示すブロック図である。
【００５３】
顔認識部３００は、コントローラ３１０と、正規化部３２０と、属性判定部３３０と、属性判定基準データ保持部３３１と、特徴点算出部３４０と、特徴点座標テーブル保持部３４１と、顔特徴量抽出部３５０と、類似度算出部３６０と、類似度算出基準データ保持部３６１と、顔特徴量登録部３７０とを備える。また、顔認識部３００は、画像バス１９０を介して、画像ＲＡＭ１３０に記憶されている画像から、この画像に含まれる顔を含む顔画像を入力する。また、顔認識部３００は、顔特徴量ＲＡＭ３９０に記憶されている顔特徴量を取得して類似度算出を行い、一定の条件を満たす新規な顔特徴量を顔特徴量ＲＡＭ３９０に記録する。
【００５４】
コントローラ３１０は、ＣＰＵ１１０からの指示に従って顔認識部３００の各部を制御するものである。
【００５５】
正規化部３２０は、顔検出部２００から出力された顔検出結果に含まれる顔領域の座標および大きさに基づいて、画像ＲＡＭ１３０に記憶されている画像から顔画像を読み出し、読み出された顔画像について正規化を行うものであり、正規化された顔画像である正規化顔画像を属性判定部３３０および特徴点算出部３４０に出力する。具体的には、正規化部３２０は、例えば、画像ＲＡＭ１３０から読み出された顔画像に含まれる顔が一定の大きさになるように、その顔画像を解像度変換する（例えば、６４×６４画素程度）とともに、その顔に含まれる両目がほぼ水平に保たれるように、その顔画像に回転処理を施して正規化顔画像を生成する。なお、顔画像の正規化については、図４を参照して詳細に説明する。
【００５６】
属性判定部３３０は、属性判定基準データ保持部３３１に保持されている属性判定基準データを用いて、正規化部３２０から出力された正規化顔画像に含まれる顔の属性を判定するものであり、判定結果を特徴点算出部３４０、顔特徴量抽出部３５０および類似度算出部３６０に出力する。例えば、正規化部３２０から出力された正規化顔画像について、属性判定基準データ保持部３３１に保持されている属性判定基準データがどの程度満たされるか否かを算出することにより、各属性についての積算結果値が得られる。ここで、属性判定部３３０により判定される顔の属性は、例えば、顔の表情、年齢や年代、性別、目の開閉、人種、眼鏡の有無や種類、ヒゲの有無や種類、帽子の有無や種類、アクセサリーの有無や種類、髪型、顔の向き等である。なお、顔の表情とは、例えば、笑顔、真剣な顔、悲しい顔、怒った顔等である。なお、顔の属性の判定については、図５乃至図８を参照して詳細に説明する。
【００５７】
属性判定基準データ保持部３３１は、属性判定部３３０による判定に用いられる複数の属性判定基準データから構成されている属性判定用辞書を、顔の属性毎に保持するものである。この属性判定基準データは、属性判定部３３０により判定される顔の属性に関して予め十分に学習をさせた基準データである。なお、属性判定用辞書については、図６を参照して詳細に説明する。
【００５８】
特徴点算出部３４０は、特徴点座標テーブル保持部３４１に保持されている特徴点座標テーブルに含まれる特徴点座標について、属性判定部３３０から出力された判定結果に基づいて変更等を行い、正規化部３２０から出力された正規化顔画像に含まれる顔上に設定すべき特徴点の位置を算出して決定するものであり、算出された特徴点の位置を含む正規化顔画像を顔特徴量抽出部３５０に出力する。なお、正規化顔画像に含まれる顔上に設定すべき特徴点の位置の算出については、図９乃至図１１を参照して詳細に説明する。
【００５９】
特徴点座標テーブル保持部３４１は、特徴点算出部３４０による特徴点の位置の算出に用いられる特徴点座標テーブルを保持するものである。なお、特徴点座標テーブルについては、図９を参照して詳細に説明する。
【００６０】
顔特徴量抽出部３５０は、特徴点算出部３４０から出力された正規化顔画像に含まれる各特徴点における特徴量である顔特徴量を抽出するものであり、抽出された顔特徴量を類似度算出部３６０および顔特徴量登録部３７０に出力する。本発明の実施の形態では、特徴点における特徴量の抽出方法として、ガボア・フィルタを用いた抽出方法を例にして説明する。なお、ガボア・フィルタを用いて抽出された特徴量は、ガボア・ジェットと呼ばれている。また、本発明の実施の形態では、属性判定部３３０から出力された判定結果に基づいてガボア・フィルタの変更等を行う。なお、ガボア・フィルタを用いた特徴量の抽出方法については、図１２乃至図１４を参照して詳細に説明する。
【００６１】
類似度算出部３６０は、類似度算出基準データ保持部３６１に保持されている類似度算出基準データを用いて、顔特徴量抽出部３５０から出力された顔特徴量と顔特徴量ＲＡＭ３９０から読み出された顔特徴量とを比較することにより、これらの顔特徴量の類似度を算出する。この算出された類似度は、顔検出部２００により検出された顔が、顔特徴量ＲＡＭ３９０に顔特徴量が記憶されている特定人物と同一人物の顔であるか否かを示す類似度である。また、類似度算出部３６０は、この算出された類似度をＣＰＵ１１０および顔特徴量登録部３７０に出力する。本発明の実施の形態では、属性判定部３３０から出力された判定結果に基づいて、類似度の算出に用いられる類似度算出基準データの変更等を行う。なお、類似度の算出については、図１５乃至図２２を参照して詳細に説明する。
【００６２】
類似度算出基準データ保持部３６１は、類似度算出部３６０の判定に用いられる複数の類似度算出基準データから構成されている類似度算出用辞書を、顔の属性毎に保持するものである。この類似度算出基準データは、類似度算出部３６０により算出される顔の類似度に関して予め十分に学習をさせた基準データである。類似度算出用辞書については、図１７を参照して詳細に説明する。
【００６３】
顔特徴量登録部３７０は、コントローラ３１０の指示に基づいて、顔特徴量抽出部３５０から出力された顔特徴量の中で一定の条件を満たす顔特徴量を顔特徴量ＲＡＭ３９０に登録するものである。すなわち、ユーザが特定人物の顔特徴量の登録を指示した場合、または、撮像装置１００の内部で一定の顔登録の条件が満たされたと判断された場合に登録処理が実行される。この登録処理については、図２８を参照して詳細に説明する。
【００６４】
顔特徴量ＲＡＭ３９０は、特定人物の顔について抽出された顔特徴量と、この特定人物について判定された顔の属性とを人物毎に関連付けて記憶するものであり、記憶されている顔特徴量および顔の属性を画像バス１９０を介して類似度算出部３６０に供給する。また、顔特徴量ＲＡＭ３９０は、顔特徴量登録部３７０から出力された顔特徴量を人物毎に上書きまたは追加して記録する。なお、顔特徴量ＲＡＭ３９０の記憶内容については、図１５を参照して詳細に説明する。
【００６５】
次に、顔画像を正規化する場合について図面を参照して詳細に説明する。
【００６６】
図４は、顔検出部２００により検出された顔を含むその周辺画像である顔画像を正規化する場合における正規化の一例を示す図である。
【００６７】
図４（ａ）は、カメラ信号処理部１２３から出力された画像データに対応する撮像画像４００を示す図である。撮像画像４００には人物４０１の顔４０２が含まれているものとする。この場合に、顔検出部２００により撮像画像４００から顔４０２が検出されると、顔４０２の検出結果が顔検出部２００から顔認識部３００に出力される。顔認識部３００が顔４０２の検出結果を入力すると、顔４０２を含む顔画像４０３が画像ＲＡＭ１３０から読み出され、この読み出された顔画像４０３が正規化部３２０に入力される。
【００６８】
図４（ｂ）および（ｃ）は、顔検出部２００により検出された顔４０２を含む顔画像４０３を正規化する場合における遷移を示す図である。この例では、顔画像を正規化する際に基準となる基準位置４１０が規定されている。基準位置４１０は、例えば、顔検出部２００により検出された顔に含まれる両目が、ほぼ水平に保たれるとともに、正規化顔画像における一定の位置に配置されるように、顔画像を変換するための基準位置である。
【００６９】
例えば、撮像画像４００から取り出された顔画像４０３について、顔画像４０３に含まれる顔４０２が一定の大きさになるように解像度変換されるとともに、顔４０２に含まれる目４０４および４０５の中心位置が、基準位置４１０の線上に合致するとともに、ほぼ水平に保たれるように、顔画像がアフィン変換等によって回転処理されて、正規化顔画像４２０が生成される。
【００７０】
なお、本発明の実施の形態では、両目の中心位置を基準として正規化を行う場合について説明するが、顔に含まれる両目以外の他の器官の位置を基準として用いるようにしてもよい。
【００７１】
次に、顔の属性判定について図面を参照して詳細に説明する。
【００７２】
図５は、属性の判定対象となる顔画像を概略的に示す図である。図５（ａ）には人物の顔として通常の顔４３１を含む正規化顔画像４３０を示し、図５（ｂ）には人物の顔として笑顔４４１を含む正規化顔画像４４０を示す。ここで、通常の顔と笑顔とを比較した場合、一般的に、笑顔には、目が細くなる、眉尻や目尻が下がる、頬の位置が上がる、鼻の両脇が横に広がる、口が横に広がる、口が開く、口の両端が上がる等の特徴的な点が生じることが多い。そこで、これらの笑顔の特徴的な状態に対応する属性判定基準データを属性判定基準データ保持部３３１に保持しておき、この属性判定基準データを笑顔の属性判定または笑顔の度合い判定に用いる。この属性判定基準データを用いた判定方法については、図６乃至図８を参照して詳細に説明する。また、図５（ｂ）に示す位置４４２乃至４４７については、図６を参照して詳細に説明する。
【００７３】
図６は、正規化顔画像について顔の属性判定を行う場合に用いられる属性判定用辞書の構成例を示す図である。本発明の実施の形態では、画素差分での相関性判断手法を用いて顔の属性判定を行う例について説明する。
【００７４】
属性判定用辞書４５０を構成する属性判定基準データは、正規化顔画像における２点の位置を示す正規化顔画像の座標０（ｘ，ｙ）４５１および正規化顔画像の座標１（ｘ，ｙ）４５２と、座標０および座標１のレベル差（輝度差）に対する閾値（θ）４５３と、座標０および座標１のレベル差の値と閾値（θ）との比較結果に基づいて加算される重み係数である基準データの重み（α）４５４とから構成されている。また、属性判定用辞書４５０には、これらの各値の組合せからなる基準データがｎ個格納されている。なお、本発明の実施の形態で示す基準データは、弱判別器（弱仮説）と称される。
【００７５】
属性判定基準データを構成する各値は、例えば、アダブースト（ＡｄａＢｏｏｓｔ）等の機械学習アルゴリズムにより学習されたもののうちで、最も効果的な上位３００乃至１０００組の組合せを用いて設定される。このように、各属性判定用辞書の形式が同一であるため、複数の判定処理を同一のアルゴリズムで行うことができる。
【００７６】
次に、正規化顔画像について属性判定用辞書を用いて顔の属性判定を行う例について図面を参照して詳細に説明する。この例では、図５（ｂ）に示す正規化顔画像４４０の左上隅を原点として、横軸をｘ軸とし、縦軸をｙ軸として、正規化顔画像４４０について属性判定用辞書４５０を用いた属性判定処理をする場合について説明する。
【００７７】
例えば、属性判定用辞書４５０の１行目（基準データ０）に格納されている座標０（ｘ，ｙ）４５１の値に対応する正規化顔画像４４０の位置を位置４４２とし、座標１（ｘ，ｙ）４５２の値に対応する正規化顔画像４４０の位置を位置４４３とする。また、属性判定用辞書４５０の２行目（基準データ１）に格納されている座標０（ｘ，ｙ）４５１の値に対応する正規化顔画像４４０の位置を位置４４４とし、座標１（ｘ，ｙ）４５２の値に対応する正規化顔画像４４０の位置を位置４４５とする。さらに、属性判定用辞書４５０の３行目（基準データ２）に格納されている座標０（ｘ，ｙ）４５１の値に対応する正規化顔画像４４０の位置を位置４４６とし、座標１（ｘ，ｙ）４５２の値に対応する正規化顔画像４４０の位置を位置４４７とする。
【００７８】
最初に、判定を行うためのスコアＳの値に０がセットされ、属性判定用辞書４５０の基準データ０に含まれる各値を用いた演算が行われる。具体的には、属性判定用辞書４５０基準データ０に含まれる座標０（ｘ，ｙ）４５１の値に対応する位置４４２における輝度の値Ａ（０）と、座標１（ｘ，ｙ）４５２の値に対応する位置４４３における輝度の値Ｂ（０）とが抽出され、次式を用いて、抽出された各輝度の値の差Ｃ（０）が算出される。
Ｃ（０）＝Ａ（０）−Ｂ（０）
【００７９】
続いて、算出された各輝度の差の値Ｃ（０）と、属性判定用辞書４５０基準データ０に含まれる閾値（θ）４５３の値とを比較して、算出された値Ｃ（０）が閾値（θ）４５３の値よりも大きいか否かが判断される。算出された値Ｃ（０）が閾値（θ）４５３の値以下である場合には、属性判定用辞書４５０の基準データ０に含まれる重み（α）４５４の値をスコアＳに加算する。一方、算出された値Ｃ（１）が閾値（θ）４５３の値よりも大きい場合には、属性判定用辞書４５０の基準データ０に含まれる重み（α）４５４の値をスコアＳに加算しない。
【００８０】
続いて、属性判定用辞書４５０の基準データ１に含まれる各値を用いて、上述した各演算を繰り返す。具体的には、属性判定用辞書４５０の基準データ１に含まれる座標０（ｘ，ｙ）４５１の値に対応する位置４４４における輝度の値Ａ（１）と、座標１（ｘ，ｙ）４５２の値に対応する位置４４５における輝度の値Ｂ（１）とが抽出され、次式を用いて、抽出された各輝度の値の差Ｃ（１）が算出される。
Ｃ（１）＝Ａ（１）−Ｂ（１）
【００８１】
続いて、算出された各輝度の差の値Ｃ（１）と、属性判定用辞書４５０の基準データ１に含まれる閾値（θ）４５３の値とを比較して、算出された値Ｃ（１）が閾値（θ）４５３の値よりも大きいか否かが判断される。算出された値Ｃ（１）が閾値（θ）４５３の値以下である場合には、属性判定用辞書４５０の基準データ１に含まれる重み（α）４５４の値をスコアＳに加算する。一方、算出された値Ｃ（１）が閾値（θ）４５３の値よりも大きい場合には、属性判定用辞書４５０の基準データ１に含まれる重み（α）４５４の値をスコアＳに加算しない。
【００８２】
続いて、属性判定用辞書４５０の基準データ３以降、基準データｎ−１までの各値を順次用いて、上述した各演算を繰り返す。
【００８３】
すなわち、正規化顔画像４４０について属性判定用辞書４５０を用いた判定処理をする場合には、属性判定用辞書４５０の基準データ０乃至ｎ−１に含まれる各値を順次用いて、式１を用いてＣ（ｉ）が算出され、算出されたＣ（ｉ）が式２を満たすか否かが判定される。ここで、変数ｉは整数であり、０からｎ−１の値を示す。
Ｃ（ｉ）＝Ａ（ｉ）−Ｂ（ｉ）……（式１）
Ｃ（ｉ）＞θ（ｉ） ……（式２）
【００８４】
そして、算出されたＣ（ｉ）が式２を満たす場合には、α（ｉ）の値がスコアＳに加算されず、算出されたＣ（ｉ）が式２を満たさない場合には、α（ｉ）の値がスコアＳに加算される。ここで、基準データｉに含まれる座標０（ｘ，ｙ）４５１に対応する輝度の値をＡ（ｉ）で表し、基準データｉに含まれる座標１（ｘ，ｙ）４５２に対応する輝度の値をＢ（ｉ）で表し、基準データｉに含まれる閾値（θ）４５３の値をθ（ｉ）で表し、基準データｉに含まれる重み（α）４５４の値をα（ｉ）で表す。
【００８５】
そして、属性判定用辞書４５０の基準データｎ−１に含まれる各値を用いた各演算が終了した後に、積算結果値であるスコアＳの値に基づいて各属性が判定される。
【００８６】
ここで、属性判定用辞書の基準データ０乃至ｎ−１に含まれる各値を用いた各演算の終了後におけるスコアＳｎ（Ｐ）は、次の式３で表すことができる。
【数１】
【００８７】
ここで、Ｓｎ（Ｐ）は基準データ０乃至ｎ−１の積算結果値を示し、αｉは基準データｉに含まれる重み（α）４５４の値を示し、Ｐ（ｘｉ０，ｙｉ０）は基準データｉに含まれる座標０（ｘ，ｙ）４５１に対応する輝度の値を示し、Ｐ（ｘｉ１，ｙｉ１）は基準データｉに含まれる座標１（ｘ，ｙ）４５２に対応する輝度の値を示し、θｉは基準データｉに含まれる閾値（θ）４５３の値を示し、ｎは基準データの数を示す。また、ｈ（ｚ）は、ｚ＞０の場合には０となり、ｚ≦０の場合には１となる関数を表すものとする。
【００８８】
次に、属性判定用辞書の基準データ０乃至ｎ−１に含まれる各値を用いて算出された積算結果値に基づいて顔属性を判定する判定方法について図面を参照して詳細に説明する。
【００８９】
図７は、正規化顔画像について属性判定用辞書を用いて求められる各顔属性に関する積算結果値の範囲を示す図である。図７（ａ）には、顔属性として笑顔に関する積算結果値の範囲を示し、図７（ｂ）には、顔属性として性別に関する積算結果値の範囲を示し、図７（ｃ）には、顔属性として年代に関する積算結果値の範囲を示す。図７（ａ）乃至（ｃ）に示す各属性に関する積算結果値の範囲は、例えば、−１０００〜＋１０００の範囲とする。
【００９０】
例えば、上述の機械学習アルゴリズムによって学習時における笑顔の学習サンプルを正側とし、非笑顔の学習サンプルを負側として学習した場合において、顔属性として笑顔を判定する場合には、図７（ａ）に示す閾値４６１および４６２を用いて、笑顔／非笑顔が判定される。
【００９１】
例えば、図７（ａ）に示す笑顔に関する積算結果値の範囲において、属性判定用辞書の基準データ０乃至ｎ−１に含まれる各値を用いて算出された積算結果値であるスコアＳｎ（Ｐ）が閾値４６１未満である場合には、「非笑顔」であると判定される。一方、スコアＳｎ（Ｐ）が閾値４６２よりも大きい場合には、「笑顔」であると判定される。また、スコアＳｎ（Ｐ）が閾値４６１から閾値４６２の範囲内にある場合には、笑顔／非笑顔の何れにも判定されず、「あいまい」であると判定される。また、図７（ｂ）および（ｃ）に示す各属性についても、図７（ａ）と同様に判定することができる。これらの判定結果および積算結果値が、属性判定部３３０から特徴点算出部３４０、顔特徴量抽出部３５０および類似度算出部３６０に出力される。
【００９２】
図８は、各属性に関する判定結果および積算結果値の一例を示す図である。同図に示すように、各正規化顔画像について判定結果および積算結果値が属性判定部３３０から出力される。例えば、顔の属性として笑顔／非笑顔４７１については、判定結果として「笑顔」、「非笑顔」、「あいまい」が出力されるとともに、積算結果値としてスコアＳｎ（Ｐ）の値が出力される。また、顔の属性として、男性／女性（性別）４７２、大人／子供（年代）４７３についても、同様に判定結果および積算結果値が出力される。
【００９３】
次に、正規化顔画像における特徴点の位置の算出について図面を参照して詳細に説明する。
【００９４】
図９は、正規化部３２０により生成された正規化顔画像に設定すべき特徴点の位置を算出する特徴点位置算出方法の一例を示す図である。図９（ａ）は、正規化顔画像に設定すべき特徴点の位置を算出する場合に用いられる特徴点座標テーブルの一例である特徴点座標テーブル５００を示す図である。特徴点座標テーブル５００は、正規化顔画像に設定すべき特徴点の座標を保持するものであり、特徴点座標テーブル保持部３４１に保持されている。図９（ａ）では、設定の対象となる正規化顔画像の大きさを白塗りの四角で示し、特徴点を設定すべき座標に対応する位置を黒塗りの丸で示す。ここで、例えば、特徴点座標の初期値として、大人の顔画像に合わせて各座標を定めておくものとする。また、図９乃至図１１では、説明のため、特徴点の数を比較的少なくした例を図示する。
【００９５】
図９（ｂ）は、正規化部３２０により生成された正規化顔画像の一例である正規化顔画像５１０を示す図である。ここで、正規化顔画像５１０に含まれる顔５１１は、比較的普通の大人の顔であるものとする。図９（ｃ）は、図９（ｂ）に示す正規化顔画像５１０において、図９（ａ）に示す特徴点座標テーブル５００に含まれる座標に特徴点が設定された場合を示す図である。なお、図９（ｃ）では、正規化顔画像５１０に配置された特徴点を黒塗りの丸で示す。このように、正規化部３２０により生成された正規化顔画像５１０に含まれる顔が、比較的普通の大人の顔である場合には、特徴点座標テーブル５００に含まれる座標に対応する位置に特徴点を設定することにより、比較的適切な位置に特徴点を設定することができる。
【００９６】
しかしながら、類似度算出の対象となる正規化顔画像は、両目の位置に基づいて正規化されているものの、正規化顔画像に含まれる人物の属性によっては各部に差異が生じていることが多い。このため、正規化顔画像に設定すべき特徴点座標を一義的に定めておくことは困難である場合がある。そこで、本発明の実施の形態では、属性判定部３３０により判定された顔属性に基づいて、正規化顔画像に含まれる顔に適するように、特徴点を設定する位置について変更または追加等を行う。
【００９７】
図１０は、正規化部３２０により生成された正規化顔画像に特徴点を設定する場合における配置例を示す図である。図１０（ａ）に示す正規化顔画像５２０は、図９（ｃ）に示す正規化顔画像５２０と同じである。図１０（ｂ）は、子供の顔が含まれる正規化顔画像５３１を示す図であり、図１０（ｃ）は、西洋人の顔が含まれる正規化顔画像５３２を示す図であり、図１０（ｄ）は、東洋人の顔が含まれる正規化顔画像５３３を示す図であり、図１０（ｅ）は、左向きの顔が含まれる正規化顔画像５３４を示す図であり、図１０（ｆ）は、右向きの顔が含まれる正規化顔画像５３５を示す図である。
【００９８】
図１０（ｂ）に示すように、子供の顔は、一般的に、目、鼻、口等の顔の器官が真中寄りに集まっている場合が多い。そこで、年代に関する顔属性の判定結果として、子供が判定されている場合（子供の度合いが比較的高い場合）には、積算結果値である子供の度合いに応じて、子供に比べておおむね面長（おもなが）である大人の特徴点（特徴点座標テーブル５００に含まれる座標に対応する位置）を垂直方向に縮小（または、水平方向に拡大）するように変更する。
【００９９】
また、図１０（ｃ）に示すように、西洋人の顔は、一般的に、比較的面長（おもなが）である場合が多い。これに対して、図１０（ｄ）に示すように、東洋人の顔は、一般的に、比較的丸顔である場合が多い。例えば、正規化顔画像５３２に含まれる西洋人の顔の横幅Ｌ１と、正規化顔画像５３３に含まれる東洋人の顔の横幅Ｌ２とを比較した場合には、東洋人の横幅Ｌ２の値が大きい。そこで、人種に関する顔属性の判定結果に基づいて、特徴点座標テーブル５００に含まれる座標に対応する位置を水平方向に縮小または拡大するように変更する。
【０１００】
また、図１０（ｅ）または（ｆ）に示すように、左向きまたは右向きの顔については、顔の向きに応じて目、鼻、口等の顔の器官が左寄りまたは右寄りとなる。そこで、顔の向きに関する顔属性の判定結果に基づいて、特徴点座標テーブル５００に含まれる座標に対応する位置を水平方向に移動させるように変更する。図１０（ｂ）乃至（ｆ）に示すように、顔属性の判定結果に基づいて、特徴点の位置を変更することによって、類似度算出の対象となる顔に最適な特徴点の設定が可能となり、さらに高精度な特徴点算出が可能になる。これにより、人物認識の精度をさらに向上させることができる。
【０１０１】
図１１は、正規化部３２０により生成された正規化顔画像に特徴点を設定する場合における配置例を示す図である。図１１（ａ）乃至（ｃ）に示す正規化顔画像５２０は、図９（ｃ）に示す正規化顔画像５２０と同じである。
【０１０２】
図１１（ａ）に示す正規化顔画像５４０は、正規化顔画像５２０に含まれる顔５１１に眼鏡５４１が付加された場合における正規化顔画像を示す図である。図１１（ｂ）に示す正規化顔画像５５０は、正規化顔画像５２０に含まれる顔５１１にヒゲ５５１が付加された場合における正規化顔画像を示す図である。図１１（ｃ）に示す正規化顔画像５６０は、正規化顔画像５２０に含まれる顔５１１に帽子５６１が付加された場合における正規化顔画像を示す図である。
【０１０３】
図１１（ａ）に示すように、検出された顔の属性として、眼鏡の積算結果値が高い場合（眼鏡ありと判定された場合等）には、眼鏡の周辺と考えられる位置に特徴点が追加される。例えば、眼鏡５４１の周辺に特徴点５４２乃至５４５が追加して配置される。また、図１１（ｂ）に示すように、検出された顔の属性として、ヒゲの積算結果値が高い場合（ヒゲありと判定された場合等）には、ヒゲの周辺と考えられる位置に特徴点が追加される。例えば、ヒゲ５５１の周辺に特徴点５５２および５５３が追加して配置される。なお、図１１（ａ）および（ｂ）に示すように特徴点を追加する代わりに、他の特徴点を、眼鏡またはヒゲの周辺に移動させるようにしてもよい。眼鏡の種類や形状、ヒゲの位置や広さについても判定することができる場合には、これらの判定結果に応じて、特徴点座標を切り替えるようにしてもよい。
【０１０４】
ここで、帽子は特徴があるものの、変動し易い属性であることが多い。このため、図１１（ｃ）に示すように、検出された顔の属性として、帽子の積算結果値が高い場合（帽子ありと判定された場合等）には、頭の位置に相当すると考えられる範囲に存在する特徴点が削除される。例えば、図１１（ｃ）に示す正規化顔画像５２０において点線５６２で囲まれている特徴点が削除される。また、眼鏡、ヒゲ、帽子等の属性が複数存在する場合には、これらに応じて上述した追加または削除等を行う。図１１（ａ）乃至（ｃ）に示すように、顔属性の判定結果に基づいて、特徴点を追加または削除することによって、類似度算出の対象となる顔に最適な特徴点の設定が可能となり、さらに高精度な特徴点算出が可能になる。これにより、人物認識の精度をさらに向上させることができる。
【０１０５】
これらの特徴点座標の算出は、特徴点座標テーブル保持部３４１に保持されている特徴点座標テーブル５００を初期値として、この初期値の座標を基準として、顔属性の判定結果に基づいて、拡大または縮小等の演算により行う。また、ＣＰＵ１１０から特徴点座標を直接ロードするようにしてもよい。また、両者を組み合わせるようにしてもよい。また、顔属性の判定結果に応じた複数の特徴点座標テーブルを特徴点座標テーブル保持部３４１に保持しておき、顔属性の判定結果に応じて、特徴点座標テーブルを選択するようにしてもよい。また、積算結果値の大小に応じて、特徴点座標の位置の拡大または縮小等の演算を行うようにしてもよい。
【０１０６】
次に、正規化顔画像に設定された特徴点における特徴量の抽出について図面を参照して詳細に説明する。図９乃至図１１に示すように、正規化部３２０により生成された正規化顔画像に各特徴点が設定された後に、各特徴点について特徴量抽出処理を行う。なお、本発明の実施の形態では、特徴量の抽出方法として、ガボア・フィルタ（ｇａｂｏｒ ｆｉｌｔｅｒ）を用いた抽出方法を例にして説明する。なお、ガボア・フィルタは、ガボール・フィルタと称されることもある。
【０１０７】
図１２（ａ）は、特徴点における特徴量の抽出に用いられるガボア・フィルタの一例を示す図である。ガボア・フィルタには、抽出する帯域とフィルタをかける画像上の角度との２つのパラメータが主に存在する。図１２（ａ）に示すガボア・フィルタは、横方向は角度の種類を示し、縦方向は帯域の種類を示す。この例では、帯域の種類は、下から上に進むに従って低い周波数から高い周波数となる。また、角度の種類は、２２．５度ずつ回転させたものである。すなわち、角度の種類として、０度、２２．５度、４５度、６７．５度、９０度、１１２．５度、１３５度、１５７．５度のように等間隔に設定する。このように、本発明の実施の形態では、どのような属性の顔でも特徴量を抽出することができるようなパラメータ設定として、５種類の周波数と８種類の角度とからなる４０種類のフィルタを例にして説明する。なお、本発明の実施の形態では、平均的な顔を広く対象とするパラメータ設定として４０種類のフィルタを例にして説明するが、フィルタの数等について適宜増減するようにしてもよい。例えば、角度の種類としてさらに細かく分割した角度を設定することによって、高精度な特徴量を抽出することができる。例えば、角度の種類を１０種類とする場合には、１８度、３６度、５４度、７２度、…、１６２度のように等間隔に設定することができる。また、角度の種類を１２種類とする場合には、１５度、３０度、４５度、６０度、…、１６５度のように等間隔に設定することができる。ここで、角度の種類として細かく分割した角度を設定する場合には、角度の種類の増加に応じてデータ処理量が増えることになる。そこで、処理速度や処理装置の規模との兼ね合いを考慮して、角度の種類を設定することができる。
【０１０８】
図１２（ｂ）は、図１２（ａ）に示す４０種類のガボア・フィルタの中の１つのフィルタ６００の係数を３次元空間上に表すグラフを示す図である。フィルタ６００は、画像上の４５度の方向に対して、比較的高めの帯域を抽出するフィルタである。また、図１２（ｂ）に示すように、フィルタ６００の係数の特徴点における振幅が頂点となるようなガウス曲線が包絡線となる。
【０１０９】
図１３は、正規化顔画像の一例である正規化顔画像６３０を示す図である。ここでは、正規化顔画像６３０に含まれる顔６４０上に設定されている複数の特徴点の中の３つの特徴点６４１乃至６４３を例にして説明する。
【０１１０】
特徴点６４１乃至６４３は、正規化顔画像６３０に含まれる顔６４０上に設定された特徴点であり、例えば、特徴点６４１は左目の下付近に配置され、特徴点６４２は右目の目尻付近に配置され、特徴点６４３は鼻の頭付近に配置されている。
【０１１１】
ガボア・フィルタを用いて特徴点における特徴量を抽出する場合には、特徴点の画素とその周辺に存在する画素とを含む近傍画素を用いる。この近傍画素として、例えば、特徴点を中心とする２０画素×２０画素を用いることができる。例えば、同図に示す正規化顔画像６３０に設定されている特徴点６４１乃至６４３の近傍画素をそれぞれ近傍画素６４５乃至６４７として、点線の四角で示す。
【０１１２】
そして、特徴点の近傍画像と、ガボア・フィルタに含まれる各帯域および各角度の係数とによって、次の（式４）に示すたたみ込み演算を行う。これにより、特定の人物を認識するための有意な値として、特徴点における特徴量であるガボア・ジェットが得られる。このたたみ込み演算を、各特徴点について順次演算することにより、各特徴点における特徴量（ガボア・ジェット）を得ることができる。
【数２】
【０１１３】
ここで、ｐ（ｘ，ｙ）は近傍画像の輝度を示し、ｇ（ｘ，ｙ）はガボア・フィルタ係数を示し、ｃ（ｘ，ｙ）はたたみ込み結果値を示す。
【０１１４】
ここで、本発明の実施の形態では、顔特徴量抽出部３５０は、ガボア・フィルタのパラメータの初期値をロードして、属性判定部３３０により判定された顔の属性の判定結果に基づいて、初期値のガボア・フィルタのパラメータを変更する。すなわち、属性判定部３３０により判定された顔の属性の判定結果に基づいて、ガボア・フィルタのパラメータである通過帯域や特徴抽出角度を切り替える。
【０１１５】
例えば、属性判定部３３０により判定された顔属性の判定結果として、「子供」または「赤ちゃん」の積算結果値が高い場合（「子供」または「赤ちゃん」であると判定された場合）には、低周波数帯域のフィルタの種類を増やすことによりパラメータを最適化することができる。一方、「大人」の積算結果値が高い場合（「大人」であると判定された場合）には、高周波数帯域のフィルタの種類を増やすことによりパラメータを最適化することができる。ここで、一般的に、「子供」や「赤ちゃん」の顔は、「大人」と比較して、なめらかな肌（なだらかな肌）であることが多い。このように顔の表面がなめらかな肌である場合には、顔の表面の変化が少ない。このため、「子供」または「赤ちゃん」の顔について特徴量を抽出する場合には、高周波数帯域よりも低周波数帯域を重視することによって、さらに高精度な特徴量を抽出することができる。一方、「大人」の顔について特徴量を抽出する場合には、低周波数帯域よりも高周波数帯域を重視することによって、さらに高精度な特徴量を抽出することができる。また、例えば、笑顔の積算結果値が高い場合には、笑顔に最適なガボア・フィルタ帯域、または、最適なガボア・フィルタ角度に切り替える。このように顔の属性の判定結果に基づいて、ガボア・フィルタを変更することにより、さらに高精度な特徴点における特徴量の抽出が可能になる。
【０１１６】
なお、ガボア・フィルタのパラメータの初期値は、内部メモリに保持しておくようにしてもよく、ＣＰＵ１１０から設定するようにしてもよい。
【０１１７】
図１４は、図１２（ａ）に示すガボア・フィルタを用いて、正規化顔画像に設定された特徴点における特徴量が抽出された場合における各特徴量の集合である顔特徴量６５０を模式的に示す図である。
【０１１８】
顔特徴量６５０は、正規化顔画像に２０点の特徴点が設定されている場合において、５種類の帯域と８種類の角度とからなるガボア・フィルタを用いて各特徴点における特徴量が抽出された場合におけるガボア・ジェットの集合を示す。顔特徴量６５０は、例えば、特徴点毎に抽出された２０個のガボア・ジェットを、行６５１乃至６５５と列６５６乃至６５９とからなる行列状に示すものである。また、１個のガボア・ジェットを構成する各特徴量の大きさについては、大小に応じて白黒の色レベルで示す。なお、図１４に示すガボア・ジェットの配置構成は一例であり、保存形式とは無関係である。また、顔特徴量を用いた類似度の算出については、図１８を参照して詳細に説明する。
【０１１９】
図１５は、顔特徴量ＲＡＭ３９０に格納されている各情報を模式的に示す図である。顔特徴量ＲＡＭ３９０には、正規化顔画像の識別番号３９１に関連付けて、その正規化顔画像について抽出されたガボア・ジェットの集合である顔特徴量３９９が格納されるとともに、その正規化顔画像に含まれる顔に関する属性の判定結果が格納される。顔属性として、例えば、笑顔／非笑顔３９２、男性／女性（性別）３９３、大人／子供（世代）３９４、目の開閉３９５、顔の向き３９６、ヒゲの有無３９７、眼鏡の有無３９８が格納される。なお、顔特徴量ＲＡＭ３９０への各特徴量の登録方法については、図２８を参照して詳細に説明する。
【０１２０】
図１６は、類似度算出基準データ保持部３６１に保持されている類似度算出用辞書を模式的に示す図である。類似度算出基準データ保持部３６１は、顔特徴量同士の類似度を算出する場合に最適な類似度算出用辞書を有限個数保持する内部メモリであり、例えば、一般用辞書７０１と、子供用辞書７０２と、大人用辞書７０３と、目閉じ用辞書７０４と、目開き用辞書７０５と、右向き用辞書７０６と、正面向き用辞書７０７と、左向き用辞書７０８と、ヒゲ用辞書７０９と、眼鏡用辞書７１０とが保持される。一般用辞書７０１は、年齢や性別等を全て平均化し、ごく一般的な顔に関して最適となる基準データのみを保持する辞書である。これに対して、子供用辞書７０２乃至眼鏡用辞書７１０は、所定の顔属性に限定して学習させた辞書であり、所定の顔属性に応じた顔に関して最適となる基準データを保持する辞書である。
【０１２１】
図１７は、正規化顔画像に設定された各特徴点から抽出されたガボア・ジェットを用いて、判定対象の顔の類似度を算出する場合に用いられる類似度算出用辞書の構成例を示す図である。本発明の実施の形態では、顔属性判定と同様に、差分での相関性判断手法を用いて顔の類似度を算出する例について説明する。
【０１２２】
類似度算出用辞書６６０を構成する類似度算出基準データは、顔特徴量における２点の位置を示す顔特徴量の座標０（ｘ，ｙ）６６１および座標１（ｘ，ｙ）６６２と、座標０および座標１の差分値に対する閾値（θ）６６３と、座標０および座標１の差分値と閾値（θ）との比較結果に基づいて加算される重み係数である基準データの重み（α）６６４とから構成されている。また、類似度算出用辞書６６０には、これらの各値の組合せからなる基準データがｎ個格納されている。なお、顔特徴量における２点の位置を示す顔特徴量の座標の代わりに、他の位置情報を保持して用いるようにしてもよい。例えば、各ガボア・ジェットに識別番号を付与しておき、ガボア・ジェットの識別番号と、ガボア・ジェットの帯域の種類および角度の種類とを位置情報として用いることができる。
【０１２３】
次に、類似度算出用辞書を用いて判定対象の顔の類似度を算出する例について図面を参照して詳細に説明する。
【０１２４】
図１８は、正規化顔画像に設定された各特徴点から抽出されたガボア・ジェットを用いて、判定対象の顔の類似度を算出する算出方法を概略的に示す図である。
【０１２５】
判定対象の顔特徴量６７０は、正規化顔画像に設定された各特徴点から抽出された複数のガボア・ジェットから構成される顔特徴量である。また、登録顔特徴量６８０は、顔特徴量ＲＡＭ３９０に記憶されている特定人物の顔に関する複数のガボア・ジェットから構成される顔特徴量である。判定対象の顔特徴量６７０および登録顔特徴量６８０は、例えば、図１４に示す顔特徴量６５０に対応するものであり、判定対象の顔特徴量６７０および登録顔特徴量６８０には、同じ形式であるとともに同じ数のガボア・ジェットが格納されているものとする。
【０１２６】
この例では、判定対象の顔特徴量６７０および登録顔特徴量６８０の左上隅を原点として、横軸をｘ軸とし、縦軸をｙ軸として、類似度算出用辞書６６０を用いて、判定対象の顔特徴量６７０と登録顔特徴量６８０との類似度を算出する場合について説明する。
【０１２７】
例えば、類似度算出用辞書６６０の１行目（基準データ０）に格納されている座標０（ｘ，ｙ）６６１の値に対応する判定対象の顔特徴量６７０の位置を位置６７１とし、座標０（ｘ，ｙ）６６１の値に対応する登録顔特徴量６８０の位置を位置６８１とする。また、座標１（ｘ，ｙ）６６２の値に対応する判定対象の顔特徴量６７０の位置を位置６７２とし、座標１（ｘ，ｙ）６６２の値に対応する登録顔特徴量６８０の位置を位置６８２とする。なお、判定対象の顔特徴量６７０および登録顔特徴量６８０において、座標０（ｘ，ｙ）６６１および座標１（ｘ，ｙ）６６２の値に対応する位置は、１個のガボア・ジェットを構成する各特徴量の中の１つの特徴量の位置である。この特徴量の位置は、例えば、図１４に示す顔特徴量６５０において、行６５１および列６５６に対応する１個のガボア・ジェット（左上隅に存在するガボア・ジェット）の中の１つの特徴量（白黒の色レベルで示す四角）６７３の位置である。
【０１２８】
最初に、類似度算出のためのスコアＳ１の値に０がセットされ、類似度算出用辞書６６０の基準データ０に含まれる各値を用いた演算が行われる。具体的には、類似度算出用辞書６６０の基準データ０に含まれる座標０（ｘ，ｙ）６６１の値に対応する判定対象の顔特徴量６７０の位置６７１における特徴量の値Ａ０（０）と、登録顔特徴量６８０の位置６８１における特徴量の値Ｂ０（０）とが取り出され、次式を用いて、取り出された特徴量の値の差の絶対値Ｃ０（０）が算出される（６９１）。
Ｃ０（０）＝｜Ａ０（０）−Ｂ０（０）｜
【０１２９】
続いて、類似度算出用辞書６６０の基準データ０に含まれる座標１（ｘ，ｙ）６６２の値に対応する判定対象の顔特徴量６７０の位置６７２における特徴量の値Ａ１（０）と、登録顔特徴量６８０の位置６８２における特徴量の値Ｂ１（０）とが取り出され、次式を用いて、取り出された特徴量の値の差の絶対値Ｃ１（０）が算出される（６９２）。
Ｃ１（０）＝｜Ａ１（０）−Ｂ１（０）｜
【０１３０】
続いて、次式を用いて、算出された絶対値Ｃ０（０）と絶対値Ｃ１（０）との差の絶対値Ｃ２（０）が算出される（６９３）。
Ｃ２（０）＝｜Ｃ０（０）−Ｃ１（０）｜
【０１３１】
続いて、算出された絶対値Ｃ２（０）と、類似度算出用辞書６６０の基準データ０に含まれる閾値（θ）６６３の値とを比較して、算出された絶対値Ｃ２（０）が閾値（θ）６６３の値よりも大きいか否かが判断される。算出された絶対値Ｃ２（０）が閾値（θ）６６３の値以下である場合には、類似度算出用辞書６６０の基準データ０に含まれる重み（α）４５４の値をスコアＳ１に加算する。一方、算出された値Ｃ（１）が閾値（θ）６６３の値よりも大きい場合には、類似度算出用辞書６６０の基準データ０に含まれる重み（α）４５４の値をスコアＳ１に加算しない。
【０１３２】
続いて、類似度算出用辞書６６０の基準データ２以降、基準データｎ−１までの各値を順次用いて、上述した各演算を繰り返す。
【０１３３】
すなわち、判定対象の顔特徴量６７０および登録顔特徴量６８０について類似度算出用辞書６６０を用いた類似度算出処理をする場合には、類似度算出用辞書６６０の基準データ０乃至ｎ−１に含まれる各値を順次用いて、式５乃至７を用いてＣ２（ｉ）が算出され、算出されたＣ２（ｉ）が式８を満たすか否かが判定される。ここで、変数ｉは整数であり、０からｎ−１の値を示す。
Ｃ０（ｉ）＝｜Ａ０（ｉ）−Ｂ０（ｉ）｜……（式５）
Ｃ１（ｉ）＝｜Ａ１（ｉ）−Ｂ１（ｉ）｜……（式６）
Ｃ２（ｉ）＝｜Ｃ０（ｉ）−Ｃ１（ｉ）｜……（式７）
Ｃ２（ｉ）＞θ（ｉ） ……（式８）
【０１３４】
そして、算出されたＣ２（ｉ）が式８を満たす場合には、α（ｉ）の値がスコアＳ１に加算されず、算出されたＣ２（ｉ）が式８を満たさない場合には、α（ｉ）の値がスコアＳ１に加算される。ここで、基準データｉに含まれる座標０（ｘ，ｙ）６６１に対応する判定対象の顔特徴量６７０の特徴量をＡ０（ｉ）で表すとともに、登録顔特徴量６８０の特徴量をＢ０（ｉ）で表す。また、基準データｉに含まれる座標１（ｘ，ｙ）６６２に対応する判定対象の顔特徴量６７０の特徴量をＡ１（ｉ）で表すとともに、登録顔特徴量６８０の特徴量をＢ１（ｉ）で表す。また、基準データｉに含まれる閾値（θ）６６３の値をθ（ｉ）で表し、基準データｉに含まれる重み（α）４５４の値をα（ｉ）で表す。
【０１３５】
そして、類似度算出用辞書６６０の基準データｎ−１に含まれる各値を用いた各演算が終了した後に、積算結果値であるスコアの値が、類似度を示す値として出力される。このように、ガボア・ジェットの状態で保持されている登録顔特徴量と判定対象の顔特徴量との間で、２段階に渡って類似度を算出する。
【０１３６】
ここで、属性判定用辞書の基準データ０乃至ｎ−１に含まれる各値を用いた各演算の終了後におけるスコアＳ１ｎ（Ｐ）は、次の式９で表すことができる。
【数３】
【０１３７】
ここで、Ｓ１ｎ（Ｐ）は基準データ０乃至ｎ−１の積算結果値を示し、αｉは基準データｉに含まれる重み（α）６６４の値を示し、Ｐ０（ｘｉ０，ｙｉ０）は基準データｉに含まれる座標０（ｘ，ｙ）６６１に対応する判定対象の顔特徴量６７０における特徴量の値を示し、Ｐ１（ｘｉ０，ｙｉ０）は基準データｉに含まれる座標０（ｘ，ｙ）６６１に対応する登録顔特徴量６８０における特徴量の値を示し、Ｐ０（ｘｉ１，ｙｉ１）は基準データｉに含まれる座標１（ｘ，ｙ）６６２に対応する判定対象の顔特徴量６７０における特徴量の値を示し、Ｐ１（ｘｉ１，ｙｉ１）は基準データｉに含まれる座標１（ｘ，ｙ）６６２に対応する登録顔特徴量６８０における特徴量の値を示し、θｉは基準データｉに含まれる閾値（θ）６６３の値を示し、ｎは基準データの数を示す。また、ｈ（ｚ）は、ｚ＞０の場合には０となり、ｚ≦０の場合には１となる関数を表すものとする。
【０１３８】
なお、顔属性の判定結果または顔属性の積算結果値に基づいて、重み（α）６６４の値または閾値（θ）６６３の値を変更して最適化を図るようにしてもよい。例えば、顔属性の判定結果または顔属性の積算結果値に応じた値を、重み（α）６６４の値または閾値（θ）６６３の値に乗算することができる。
【０１３９】
次に、判定対象の顔の類似度を算出する場合に用いられる類似度算出用辞書について図面を参照して詳細に説明する。
【０１４０】
図１９は、判定対象の顔の類似度算出に用いられる類似度算出用辞書の例を示す図である。この例では、年代に関する顔属性の判定結果に応じて類似度算出用辞書を選択する例を示す。
【０１４１】
例えば、同図に示すように、顔属性の判定結果にかかわらず、最初は一般用辞書７０１を用いる。一般用辞書７０１は、一般的な類似度算出の１０００組の類似度算出基準データにより構成されている類似度算出用辞書である。一般用辞書７０１を用いた類似度算出処理が終了した後には、年代に関する顔属性の判定結果が大人であるか子供であるかに応じて、子供用辞書７０２または大人用辞書７０３を用いて類似度算出処理を行う。子供用辞書７０２は、子供の類似度算出に最適な１０００組の類似度算出基準データにより構成されている類似度算出用辞書である。また、大人用辞書７０３は、大人の類似度算出に最適な５００組の類似度算出基準データにより構成されている類似度算出用辞書である。ここで、一般に子供は大人よりも個体差が少なく、特徴量抽出が困難であると考えられているため、大人用辞書７０３では５００組の類似度算出基準データを用いるのに対し、子供用辞書７０２では１０００組の類似度算出基準データを用いる。このように、特徴量抽出の難易度に応じて類似度算出基準データの組数を変えて保持することにより、対象となる顔に最適な類似度算出基準データを、最適な組数だけ用いて類似度算出処理を行うことができ、高精度な人物認識を実現することができる。
【０１４２】
図２０は、判定対象の顔の類似度算出に用いられる類似度算出用辞書の例を示す図である。この例では、目の開閉に関する顔属性の判定結果に応じて類似度算出用辞書を選択する例を示す。
【０１４３】
例えば、同図に示すように、顔属性の判定結果にかかわらず、最初は一般用辞書７０１を用いる。そして、一般用辞書７０１を用いた類似度算出処理が終了した後には、目の開閉に関する顔属性の判定結果に応じて、目開き用辞書７０５または目閉じ用辞書７０４を用いて類似度算出処理を行う。目開き用辞書７０５は、目が開いた状態の顔の類似度算出に最適な３００組の類似度算出基準データにより構成されている類似度算出用辞書である。また、目閉じ用辞書７０４は、目が閉じた状態の顔の類似度算出に最適な３００組の類似度算出基準データにより構成されている類似度算出用辞書である。
【０１４４】
また、顔特徴量ＲＡＭ３９０の目の開閉３９５に「開」が格納されている登録顔について類似度算出をする場合において、判定対象の顔についての目の開閉に関する顔属性の判定結果が「閉」である場合には、例えば、一般用辞書７０１を用いた類似度算出処理が終了した後に、目閉じ用辞書７０４を用いて類似度算出処理を行うものの、目閉じ用辞書７０４を構成する類似度算出基準データの重みを軽減するようにしてもよい。または、一般用辞書７０１を用いた類似度算出処理が終了した後には、目閉じ用辞書７０４を用いた類似度算出処理を行わずに、処理を打ち切るようにしてもよい。このように、登録顔の属性に最適な類似度算出に切り替えることによって、さらに正確な類似度を得ることができる。
【０１４５】
図２１は、判定対象の顔の類似度算出に用いられる類似度算出用辞書の例を示す図である。この例では、顔の向きに関する顔属性の判定結果に応じて類似度算出用辞書を選択する例を示す。
【０１４６】
例えば、同図に示すように、顔属性の判定結果にかかわらず、最初は一般用辞書７０１を用いる。そして、一般用辞書７０１を用いた類似度算出処理が終了した後には、顔の向きに関する顔属性の判定結果に応じて、右向き用辞書７０６、正面向き用辞書７０７または左向き用辞書７０８を用いて類似度算出処理を行う。右向き用辞書７０６は、右を向いた状態の顔の類似度算出に最適な３００組の類似度算出基準データにより構成されている類似度算出用辞書である。また、正面向き用辞書７０７は、正面を向いた状態の顔の類似度算出に最適な３００組の類似度算出基準データにより構成されている類似度算出用辞書である。また、左向き用辞書７０８は、左を向いた状態の顔の類似度算出に最適な３００組の類似度算出基準データにより構成されている類似度算出用辞書である。このように、顔の向きに応じて類似度算出用辞書を選択することにより、登録顔と判定対象となっている顔とが必ずしも同じ方向を向いていなくても、最適な重み付けで類似度算出処理を行うことができるため、さらに正確な類似度を得ることができる。
【０１４７】
図２２は、判定対象の顔の類似度算出に用いられる類似度算出用辞書の例を示す図である。この例では、眼鏡の有無およびヒゲの有無に関する顔属性の判定結果に応じて類似度算出用辞書を選択する例を示す。
【０１４８】
例えば、同図に示すように、顔属性の判定結果にかかわらず、最初は一般用辞書７０１を用いる。そして、一般用辞書７０１を用いた類似度算出処理が終了した後には、眼鏡の有無に関する顔属性の判定結果に応じて、眼鏡用辞書７１０を用いてさらに類似度算出処理を行うか、類似度算出処理を終了するかを選択する。この場合に、眼鏡用辞書７１０を用いて類似度算出処理を行うことが選択されて、眼鏡用辞書７１０を用いた類似度算出処理が終了した後には、ヒゲの有無に関する顔属性の判定結果に応じて、ヒゲ用辞書７０９を用いてさらに類似度算出処理を行うか、類似度算出処理を終了するかを選択する。眼鏡用辞書７１０は、眼鏡をかけた状態の顔の類似度算出に最適な５００組の類似度算出基準データにより構成されている類似度算出用辞書である。ヒゲ用辞書７０９は、ヒゲを生やしている状態の顔の類似度算出に最適な５００組の類似度算出基準データにより構成されている類似度算出用辞書である。このように、顔の向きに応じて類似度算出用辞書を選択することにより、登録顔と判定対象となっている顔とが必ずしも同じ方向を向いていなくても、最適な重み付けで類似度算出処理を行うことができるため、さらに正確な類似度を得ることができる。
【０１４９】
このように、顔属性の判定結果に応じて類似度算出用辞書を選択することにより、判定対象の顔について最適な類似度算出処理を行うことができるため、さらに正確な類似度を得ることができる。また、判定対象の顔について、不要な類似度算出基準データを用いた類似度算出処理を行わないため、処理時間の短縮を実現することができる。
【０１５０】
また、顔属性の中でも、髪型、眼鏡、ヒゲ等のように、同一人物であっても撮影時期や撮影場所によっては変化する要因が高い項目に関しては、対応する各類似度算出基準データの重みを小さく設定しておき、顔属性の差異によって、同一人物の類似度が損なわれないようにすることが可能である。
【０１５１】
また、判定対象の顔の顔属性の判定結果と、顔特徴量ＲＡＭ３９０に記憶されている顔属性とを比較して、顔属性の類似性が明らかに低い場合には、類似度算出処理を打ち切るようにしてもよい。すなわち、属性判定部３３０から出力された顔属性の判定結果と、顔特徴量ＲＡＭ３９０に記憶されている顔属性とを類似度算出部３６０が比較して、顔属性の類似性が明らかに低い場合には、類似度算出処理を打ち切る旨をコントローラ３１０に出力し、コントローラ３１０は、判定対象の顔に関する各処理を停止させる指示を特徴点算出部３４０、顔特徴量抽出部３５０および類似度算出部３６０に出力する。例えば、顔特徴量ＲＡＭ３９０に記憶されている各顔属性が、子供の度合いが十分に高いものである場合において、判定対象の顔の顔属性の判定結果が、子供の度合いが十分に低いと判定された場合には、両者は同一人物ではないと判定することができる。このため、特徴点座標算出処理、顔特徴量抽出処理、類似度算出処理を早い段階で打ち切ることができる。このようにすることによって、処理高速化に寄与することが可能となる。
【０１５２】
次に、本発明の実施の形態における撮像装置１００の動作について図面を参照して説明する。
【０１５３】
図２３は、撮像装置１００による顔認識（人物認識）処理の処理手順を示すフローチャートである。この顔認識処理は、全体の流れを、顔属性判定処理、特徴点座標算出処理、顔特徴量抽出処理、類似度算出処理の４つの処理に大別することができる。
【０１５４】
最初に、顔認識部３００が、顔検出部２００から出力された顔検出結果を取得して、この顔検出結果に含まれる顔領域の座標および大きさに基づいて、画像ＲＡＭ１３０に記憶されている画像から顔画像を読み出す（ステップＳ９０１）。なお、顔認識部３００は、顔検出部２００から出力された顔検出結果をＣＰＵ１１０経由で取得するようにしてもよい。
【０１５５】
続いて、正規化部３２０は、読み出された顔画像について、顔の大きさが一定の大きさとなるとともに、両目がほぼ水平となるよう調整することにより正規化を行う（ステップＳ９０２）。続いて、正規化された顔画像である正規化顔画像について属性判定部３３０が顔属性判定処理を実行する（ステップＳ９１０）。この顔属性判定処理については、図２４および図２５を参照して詳細に説明する。
【０１５６】
続いて、特徴点算出部３４０は、特徴点座標テーブル保持部３４１に保持されている特徴点座標テーブルに含まれる特徴点座標の初期値をロードして、この特徴点座標の初期値を正規化顔画像に設定すべき特徴点の位置として配置する（ステップＳ９０３）。なお、特徴点座標については、ＣＰＵ１１０から設定するようにしてもよい。続いて、特徴点算出部３４０は、属性判定部３３０から出力された顔属性の判定結果に基づいて初期値の特徴点座標を変更または増減することにより、特徴点座標を算出する（ステップＳ９０４）。
【０１５７】
続いて、顔特徴量抽出部３５０は、ガボア・フィルタについてのパラメータの初期値をロードする（ステップＳ９０５）。なお、ガボア・フィルタのパラメータについては、ＣＰＵ１１０から設定するようにしてもよい。続いて、顔特徴量抽出部３５０は、属性判定部３３０から出力された顔属性の判定結果に基づいて、ガボア・フィルタのパラメータである通過帯域または特徴量抽出角度を変更する（ステップＳ９０６）。続いて、顔特徴量抽出部３５０は、ガボア・フィルタを用いて、特徴点算出部３４０により算出された各特徴点における特徴量を抽出する（ステップＳ９０７）。
【０１５８】
続いて、類似度算出部３６０は、類似度算出処理を実行する（ステップＳ９５０）。この類似度算出処理については、図２６および図２７を参照して詳細に説明する。
【０１５９】
図２４は、撮像装置１００による顔認識処理の処理手順のうちの顔属性判定処理手順（図２３に示すステップＳ９１０の処理手順）を示すフローチャートである。ここでは、年代、目の開閉、髪型、眼鏡の有無およびヒゲの有無に関する顔属性について判定する例について説明する。なお、各顔属性の判定処理については、図２５を参照して詳細に説明する。
【０１６０】
最初に、属性判定部３３０が、年代判定用辞書を用いて年代の属性判定処理を実行する（ステップＳ９１１）。続いて、属性判定部３３０が、目の開閉判定用辞書を用いて目の開閉の属性判定処理を実行する（ステップＳ９１２）。続いて、属性判定部３３０が、髪型判定用辞書を用いて髪形の属性判定処理を実行する（ステップＳ９１３）。続いて、属性判定部３３０が、眼鏡判定用辞書を用いて眼鏡の属性判定処理を実行する（ステップＳ９１４）。続いて、属性判定部３３０が、ヒゲ判定用辞書を用いてヒゲの属性判定処理を実行する（ステップＳ９１５）。続いて、属性判定部３３０が、これらの顔属性の判定結果を保持する（ステップＳ９１６）。なお、これらの顔属性の判定結果をＣＰＵ１１０に出力するようにしてもよい。
【０１６１】
続いて、判定対象の顔の顔属性の判定結果と、顔特徴量ＲＡＭ３９０に記憶されている各顔属性の判定結果との間で顔属性の類似度が判断される（ステップＳ９１７およびＳ９１８）。すなわち、判定対象の顔の性別に関する顔属性の判定結果と、顔特徴量ＲＡＭ３９０に記憶されている性別に関する各顔属性の判定結果とが明らかに不一致であるか否かが判断される（ステップＳ９１７）。ここで、性別に関する顔属性の判定結果が明らかに不一致である場合とは、完全に一致する場合、または、あいまいと判定されている場合以外の場合を示す。また、判定対象の顔の年代に関する顔属性の判定結果と、顔特徴量ＲＡＭ３９０に記憶されている年代に関する各顔属性の判定結果とが明らかに不一致であるか否かが判断される（ステップＳ９１８）。
【０１６２】
性別に関する顔属性の判定結果が明らかに不一致である場合（ステップＳ９１７）、または、年代に関する顔属性の判定結果が明らかに不一致である場合には（ステップＳ９１８）、顔認識処理の動作を終了する。一方、性別に関する顔属性の判定結果が明らかに不一致ではなく（ステップＳ９１７）、年代に関する顔属性の判定結果が明らかに不一致ではない場合には（ステップＳ９１８）、判定対象の顔の属性が、顔特徴量ＲＡＭ３９０に記憶されている各顔属性の判定結果との間で類似すると判定される（ステップＳ９１９）。
【０１６３】
なお、この例では、顔属性として性別または年代について顔属性の類似を判断する例について説明したが、他の顔属性についても類似を判断するようにしてもよい。
【０１６４】
このように、例えば、顔特徴量ＲＡＭ３９０に記憶されている性別に関する顔属性の判定結果の全てが女と判定されている場合において、判定対象の顔の性別に関する顔属性の判定結果が男と判定された場合には、判定対象の顔が、同一人物の顔ではない可能性が極めて高い。同様に、顔特徴量ＲＡＭ３９０に記憶されている年代に関する顔属性の判定結果の全てが大人と判定されている場合に、判定対象の顔の年代に関する顔属性の判定結果が子供と判定された場合には、判定対象の顔が、同一人物の顔ではない可能性が極めて高い。このように、登録顔の顔属性と判定対象顔の顔属性とが相反する属性である場合には、顔特徴点座標算出処理、顔特徴量抽出処理、類似度算出処理を実行するまでもなく、同一人物の顔ではない可能性が高い。このように、属性同士の類似度が極めて低い場合には、その後の全ての処理を打ち切ることによって、顔認識処理の高速化を図ることができる。
【０１６５】
図２５は、撮像装置１００による顔属性の判定処理の処理手順を示すフローチャートである。この顔属性の判定処理は、図２４のステップＳ９１１乃至Ｓ９１５に示す各顔属性の判定処理に対応する処理である。ここでは、図６に示す属性判定用辞書４５０を用いて顔属性を判定する例について説明する。
【０１６６】
最初に、スコアＳが「０」に初期化され（ステップＳ９２１）、変数ｉが「０」に初期化される（ステップＳ９２２）。続いて、正規化顔画像から抽出された輝度の値の中から、属性判定用辞書４５０の基準データｉに含まれる座標０（ｘ，ｙ）４５１の値に対応する輝度の値Ａ（ｉ）と、座標１（ｘ，ｙ）４５２の値に対応する輝度の値Ｂ（ｉ）とが取得される（ステップＳ９２３）。続いて、次式を用いて、取得された各輝度の値の差Ｃ（ｉ）が算出される（ステップＳ９２４）。
Ｃ（ｉ）＝Ａ（ｉ）−Ｂ（ｉ）
【０１６７】
続いて、算出された各輝度の差の値Ｃ（ｉ）と、属性判定用辞書４５０基準データｉに含まれる閾値（θ）４５３の値とを比較して、算出された値Ｃ（ｉ）が閾値（θ）４５３の値よりも大きいか否かが判断される（ステップＳ９２５）。算出された値Ｃ（ｉ）が閾値（θ）４５３の値以下である場合には（ステップＳ９２５）、属性判定用辞書４５０の基準データｉに含まれる重み（α）４５４の値をスコアＳに加算する（ステップＳ９２６）。一方、算出された値Ｃ（ｉ）が閾値（θ）４５３の値よりも大きい場合には（ステップＳ９２５）、属性判定用辞書４５０の基準データｉに含まれる重み（α）４５４の値をスコアＳに加算せずに、ステップＳ９２７に進む。
【０１６８】
続いて、変数ｉに「１」が加算され（ステップＳ９２７）、変数ｉがｎ−１よりも大きいか否かが判断される（ステップＳ９２８）。変数ｉがｎ−１よりも大きくない場合には（ステップＳ９２８）、属性判定用辞書４５０の各基準データについての判定処理が終了していないため、ステップＳ９２３に戻り、判定処理を繰り返す（ステップＳ９２３乃至Ｓ９２７）。一方、変数ｉがｎ−１よりも大きい場合には（ステップＳ９２８）、スコアＳの値が閾値１および閾値２の範囲内に存在するか否かが判断される（ステップＳ９２９）。なお、閾値１は、図７に示す閾値４６１、４６３、４６５に対応し、閾値２は、図７に示す閾値４６２、４６４、４６６に対応する。
【０１６９】
スコアＳの値が閾値１および閾値２の範囲内に存在する場合には（ステップＳ９２９）、正規化顔画像は、属性判定用辞書４５０に対応する顔属性に関して「あいまい」であると判定される（ステップＳ９３０）。
【０１７０】
スコアＳの値が閾値１および閾値２の範囲内に存在しない場合には（ステップＳ９２９）、スコアＳの値が閾値２よりも大きいか否かが判断される（ステップＳ９３１）。スコアＳの値が閾値２よりも大きい場合には（ステップＳ９３１）、正規化顔画像は、属性判定用辞書４５０に対応する顔属性に関して目的の画像であると判定される（ステップＳ９３２）。一方、スコアＳの値が、閾値１よりも小さい場合には（ステップＳ９３１）、正規化顔画像は、属性判定用辞書４５０に対応する顔属性に関して目的の画像ではないと判定される（ステップＳ９３３）。
【０１７１】
図２６は、撮像装置１００による顔認識処理の処理手順のうちの顔類似度算出処理手順（図２３に示すステップＳ９５０の処理手順）を示すフローチャートである。
【０１７２】
最初に、類似度算出部３６０は、類似度算出基準データ保持部３６１に保持されている類似度算出用辞書の中から、初期値の類似度算出用辞書を取得する（ステップＳ９５１）。例えば、図１６に示す類似度算出基準データ保持部３６１から一般用辞書７０１が取得される。続いて、属性判定部３３０から出力された顔属性の判定結果に基づいて、類似度算出基準データ保持部３６１に保持されている類似度算出用辞書の中から、類似度算出用辞書を選択する（ステップＳ９５２）。続いて、初期値の類似度算出用辞書および選択された類似度算出用辞書を用いて、類似度算出処理を実行する（ステップＳ９６０）。この類似度算出処理については、図２７を参照して詳細に説明する。
【０１７３】
図２７は、撮像装置１００による顔類似度算出処理の処理手順のうちの類似度算出処理手順（図２６に示すステップＳ９６０の処理手順）を示すフローチャートである。ここでは、図１７に示す類似度算出用辞書６６０を用いて類似度を算出する例について説明する。
【０１７４】
最初に、スコアＳが「０」に初期化され（ステップＳ９６１）、変数ｉが「０」に初期化される（ステップＳ９６２）。続いて、類似度算出用辞書６６０の基準データｉに含まれる座標０（ｘ，ｙ）６６１の値に対応する判定対象の顔特徴量に含まれる特徴量の値Ａ０（ｉ）と、登録顔特徴量に含まれる特徴量の値Ｂ０（ｉ）とが取得されるとともに、類似度算出用辞書６６０の基準データｉに含まれる座標１（ｘ，ｙ）６６２の値に対応する判定対象の顔特徴量に含まれる特徴量の値Ａ１（０）と、登録顔特徴量６８０に含まれる特徴量の値Ｂ１（ｉ）とが取得される（ステップＳ９６３）。
【０１７５】
続いて、次式を用いて、取得された特徴量の値の差の絶対値Ｃ０（ｉ）が算出される（ステップＳ９６４）。
Ｃ０（ｉ）＝｜Ａ０（ｉ）−Ｂ０（ｉ）｜
【０１７６】
続いて、次式を用いて、取得された特徴量の値の差の絶対値Ｃ１（ｉ）が算出される（ステップＳ９６５）。
Ｃ１（ｉ）＝｜Ａ１（ｉ）−Ｂ１（ｉ）｜
【０１７７】
続いて、次式を用いて、算出された絶対値Ｃ０（ｉ）と絶対値Ｃ１（ｉ）との差の絶対値Ｃ２（０）が算出される（ステップＳ９６６）。
Ｃ２（ｉ）＝｜Ｃ０（ｉ）−Ｃ１（ｉ）｜
【０１７８】
続いて、算出された絶対値Ｃ２（ｉ）と、類似度算出用辞書６６０の基準データｉに含まれる閾値（θ）６６３の値とを比較して、算出された絶対値Ｃ２（ｉ）が閾値（θ）６６３の値よりも大きいか否かが判断される（ステップＳ９６７）。算出された絶対値Ｃ２（ｉ）が閾値（θ）６６３の値以下である場合には（ステップＳ９６７）、類似度算出用辞書６６０の基準データｉに含まれる重み（α）４５４の値をスコアＳ１に加算する（ステップＳ９６８）。一方、算出された値Ｃ２（ｉ）が閾値（θ）６６３の値よりも大きい場合には（ステップＳ９６７）、類似度算出用辞書６６０の基準データｉに含まれる重み（α）４５４の値をスコアＳ１に加算せずに、ステップＳ９６９に進む。
【０１７９】
続いて、変数ｉに「１」が加算され（ステップＳ９６９）、変数ｉがｎ−１よりも大きいか否かが判断される（ステップＳ９７０）。変数ｉがｎ−１よりも大きくない場合には（ステップＳ９７０）、類似度算出用辞書６６０の各基準データについての判定処理が終了していないため、ステップＳ９６３に戻り、類似度算出処理を繰り返す（ステップＳ９６３乃至Ｓ９６９）。一方、変数ｉがｎ−１よりも大きい場合には（ステップＳ９７０）、類似度算出処理がされていない類似度算出用辞書が存在するか否かが判断される（ステップＳ９７１）。類似度算出処理がされていない類似度算出用辞書が存在する場合には（ステップＳ９７１）、ステップＳ９６２に戻り、他の類似度算出用辞書を用いた類似度算出処理を繰り返す（ステップＳ９６２乃至Ｓ９６９）。例えば、図１９に示すように、顔属性の判定結果が子供と判定されている場合において、一般用辞書７０１の類似度算出処理が終了した後には、子供用辞書７０２が存在するため、子供用辞書７０２を用いた類似度算出処理を実行する。
【０１８０】
一方、類似度算出処理がされていない類似度算出用辞書が存在しない場合には（ステップＳ９７１）、判定対象の顔特徴量に対応する顔と、登録顔特徴量に対応する顔との類似度を示す値としてスコアＳ１の値がＣＰＵ１１０に出力される（ステップＳ９７２）。
【０１８１】
図２８は、撮像装置１００による顔特徴量登録処理の処理手順を示すフローチャートである。
【０１８２】
顔特徴量登録部３７０は、顔特徴量抽出部３５０からの顔特徴量を入力する（ステップＳ９８１）。続いて、操作受付部１６０によりユーザからの登録指示の操作入力が受け付けられたか否かが判断される（ステップＳ９８２）。ユーザからの登録指示の操作入力が受け付けられていない場合には（ステップＳ９８２）、類似度算出部３６０から出力された類似度に基づいて、顔特徴量抽出部３５０から入力された顔特徴量と、顔特徴量ＲＡＭ３９０に記憶されている顔特徴量との類似度が極めて高いか否かが判断される（ステップＳ９８３）。顔特徴量抽出部３５０から入力された顔特徴量と、顔特徴量ＲＡＭ３９０に記憶されている顔特徴量との類似度が極めて高くない場合には（ステップＳ９８３）、顔特徴量登録処理の動作を終了する。
【０１８３】
一方、顔特徴量抽出部３５０から入力された顔特徴量と、顔特徴量ＲＡＭ３９０に記憶されている顔特徴量との類似度が極めて高い場合には（ステップＳ９８３）、顔検出部２００から出力されてＣＰＵ１１０に保持されている顔検出結果に基づいて、顔特徴量抽出部３５０から入力された顔特徴量に対応する顔（判定対象顔）が、顔特徴量ＲＡＭ３９０に記憶されている顔特徴量に対応する顔（登録顔）よりも顔らしさが高いか否か（人の顔である確からしさが高いか否か）が判断される（ステップＳ９８４）。
【０１８４】
判定対象顔が登録顔よりも顔らしさが高くない場合には（ステップＳ９８４）、同様に、ＣＰＵ１１０に保持されている顔検出結果に基づいて、判定対象顔が登録顔よりも正面向きの顔であるか否か（正面向きの度合いが高いか否か）が判断される（ステップＳ９８５）。判定対象顔が登録顔よりも正面向きの顔ではない場合には（ステップＳ９８５）。判定対象顔の入力時刻が、登録顔の登録時刻から一定以上の時間が経過しているか否かが判断される（ステップＳ９８６）。なお、ステップＳ９８５において、判定対象顔が登録顔よりも正面向きの顔であるか否かを判断する場合には、属性判定部３３０により判定された顔の向きに関する判定結果または積算結果を用いるようにしてもよい。
【０１８５】
また、ユーザからの登録指示の操作入力が受け付けられた場合（ステップＳ９８２）、または、顔特徴量抽出部３５０から入力された顔特徴量が顔特徴量ＲＡＭ３９０に記憶されている顔特徴量と類似する場合において（ステップＳ９８３）、判定対象顔が登録顔よりも顔らしさが高い場合（ステップＳ９８４）、判定対象顔が登録顔よりも正面向きの顔である場合（ステップＳ９８５）、判定対象顔の入力時刻が、登録顔の登録時刻から一定以上の時間が経過している場合（ステップＳ９８６）には、顔特徴量登録部３７０は、顔特徴量抽出部３５０から入力された顔特徴量を顔特徴量ＲＡＭ３９０に追加書き込み、または上書き処理する（ステップＳ９８７）。また、対応する顔属性の判定結果についても、顔特徴量ＲＡＭ３９０に追加書き込み、または上書き処理を行う（ステップＳ９８７）。
【０１８６】
すなわち、顔特徴量抽出部３５０から入力された顔特徴量が、ステップＳ９８３乃至Ｓ９８６に示す顔登録に関する一定の条件を満たす場合には、撮像装置１００内部で自動的に顔特徴量を追加書き込みまたは上書き処理する。これにより、撮像装置１００は、適切で最新の顔特徴量を適切に取得することができる。
【０１８７】
図２９は、撮像装置１００による顔認識処理の処理手順のうちの顔属性判定処理手順を示すフローチャートである。この顔属性判定処理手順は、図２４に示す顔属性判定処理手順を一部変形したものである。なお、ステップＳ９１６乃至Ｓ９１９については、図２４に示すステップＳ９１６乃至Ｓ９１９と同じ処理手順であるため、ここでの説明を省略する。また、ここでは、年代、目の開閉、髪型、眼鏡の有無およびヒゲの有無に関する顔属性について選択的に実行する例について説明する。なお、年代に関する顔属性の判定では、乳幼児であるか乳幼児以外であるかを判定するものとする。また、眼鏡に関する顔属性の判定では、サングラス（透過度の低い眼鏡）であるか否かを判定するものとする。
【０１８８】
最初に、属性判定部３３０が、年代判定用辞書を用いて年代の属性判定処理を実行する（ステップＳ９９１）。続いて、年代に関する顔属性の判定結果として、乳幼児と判定されたか否かが判断される（ステップＳ９９２）。年代に関する顔属性の判定結果として、乳幼児と判定された場合には（ステップＳ９９２）、乳幼児には、「髪型の特徴が少ない」、「眼鏡をかけていない」、「性別が不明確である」、「ヒゲがない」という前提があるため、目の開閉に関する顔属性の判定処理のみを実行して（ステップＳ９９３）、他の顔属性の判定処理を実行しない。
【０１８９】
一方、年代に関する顔属性の判定結果として、乳幼児以外と判定された場合には（ステップＳ９９２）、属性判定部３３０が、髪型判定用辞書を用いて髪形の属性判定処理を実行し（ステップＳ９９４）、眼鏡判定用辞書を用いて眼鏡の属性判定処理を実行する（ステップＳ９９５）。
【０１９０】
続いて、眼鏡に関する顔属性の判定結果として、サングラスと判定されたか否かが判断される（ステップＳ９９６）。眼鏡に関する顔属性の判定結果として、サングラスと判定された場合には（ステップＳ９９６）、サングラスをかけている顔については、目の開閉を判定することが困難であるため、目の開閉に関する顔属性の判定処理を実行せずに、ステップＳ９９８に進む。一方、眼鏡に関する顔属性の判定結果として、サングラスと判定されない場合には（ステップＳ９９６）、目の開閉に関する顔属性の判定処理を実行する（ステップＳ９９７）。
【０１９１】
続いて、性別に関する顔属性の判定結果として、女性と判定された場合には（ステップＳ９９８）、女性には「ヒゲがない」という前提があるため、ヒゲに関する顔属性の判定処理を実行せずに、ステップＳ９１６に進む。一方、性別に関する顔属性の判定結果として、女性と判定されない場合には（ステップＳ９９８）、ヒゲに関する顔属性の判定処理を実行する（ステップＳ９９９）。
【０１９２】
このように、各種の顔属性の中には、子供や女性に対するひげのように、相反する内容や非常にまれな組合せの内容が存在することがある。そこで、既に判定されている顔属性の判定結果に基づいて、相反する顔属性については判定処理を行わないことにより、顔属性の判定処理時間を短縮することができるとともに、精度を改善することができる。
【０１９３】
なお、本発明の実施の形態では、レンズ、イメージセンサ等の撮像部を備える撮像装置を例にして説明したが、撮像部を備えていない画像処理装置においても本発明の実施の形態を適用することができる。例えば、外部の画像記憶媒体から入力された画像データ、または、外部装置から入出力端子を介して入力された画像データについて、上述した顔検出や顔認識の処理を画像処理装置が行うことができる。また、属性判定部３３０により判定された顔属性の判定結果、特徴点算出部３４０により算出された特徴点の位置、顔特徴量抽出部３５０により抽出された顔特徴量、類似度算出部３６０により算出された類似度等を、入出力端子を介して外部装置に出力するようにしてもよい。
【０１９４】
また、本発明の実施の形態では、被写体の対象物として顔を検出して顔認識を行う場合について説明したが、他の対象物を検出して物体認識を行う場合についても、本発明の実施の形態を適用することができる。例えば、猫や犬等のペットや動物、家、乗り物等の様々な対象物について本発明の実施の形態を適用することができる。
【０１９５】
また、本発明の実施の形態では、特徴量抽出フィルタとしてガボア・フィルタを用いた例について説明したが、他の特徴量抽出フィルタを用いて特徴量を抽出する場合についても本発明の実施の形態を適用することができる。
【０１９６】
以上で示したように、本発明の実施の形態によれば、画像に含まれる人の顔の領域に対して、顔属性（例えば、対象となる人の表情、年齢や年代、性別、目の開閉、人種、眼鏡の有無や種類、ヒゲの有無や種類、帽子の有無や種類、アクセサリーの有無や種類、髪型、顔向き）を判定することができる。また、顔属性の判定処理において、既に判定された顔属性と相反する顔属性については、判定処理を行わないことにより、効率的に有効な顔属性の判定結果を得ることができる。
【０１９７】
また、ユーザの希望する人物の顔を撮像装置１００に顔特徴量として登録しておき、人物認識の登録顔として用いることができる。さらに、同一人物の登録顔について、さらに適切な顔特徴量を自動的に選び出し、登録内容を追加または上書きすることによって、登録顔に関する最適な顔特徴量を記憶させることができる。
【０１９８】
また、人物認識をする際の特徴点座標を、顔属性の判定結果に応じて切り替えることによって、判定対象顔に応じた最適な特徴量の抽出が可能となる。
【０１９９】
また、人物認識をする際の特徴量抽出フィルタを、顔属性の判定結果に応じて切り替えることによって、判定対象顔に応じた最適な特徴量の抽出が可能となる。
【０２００】
また、人物認識をする際の類似度算出に用いられる類似度算出基準データを、顔属性の判定結果に応じて切り替えることによって、判定対象顔に応じた最適な類似度算出が可能となり、高精度な人物認識を実現することができる。
【０２０１】
また、人物認識をする際の類似度算出を、顔属性の判定結果に応じて途中で打ち切ることによって、処理時間の短縮を可能とし、高速化を図ることができる。特に、属性同士の類似性に着目し、相反する内容が存在する場合には、登録顔と判定対象顔とが同一人物でないことを早い段階で知ることができ、処理時間は大幅に短縮することができる。
【０２０２】
また、人物認識をする際の類似度算出を、顔属性の判定結果に応じてさらに延長することによって、類似度算出の難しい顔に対しても、さらに高精度な処理が可能となる。
【０２０３】
また、画像内に含まれる複数人の顔から、特定人物の顔を認識することによって、オートフォーカス、オートホワイトバランス、オート露出、オートストロボ発光、オートシャッター等、多様なカメラ制御を、特定人物に対して最適化することができる。
【０２０４】
また、高速で高精度な人物認識を可能とし、撮像装置のようなリアルタイム画像処理でも、特定人物の顔をユーザに知らせることができる。さらに、デジタルスチルカメラやカメラ付き携帯電話機のような小型の撮像装置が、十分なサイズの画像表示装置（液晶パネル等）を有していなくても、撮像装置がユーザに対して特定人物の顔を報知することにより、ユーザは容易に特定人物の顔を視認することができる。
【０２０５】
また、撮像装置以外の画像処理装置に適用することができるため、外部装置から入力された人の顔画像に対しても、顔属性の判定や人物認識処理を行うことが可能となる。
【０２０６】
また、多様な顔属性、顔特徴点座標、顔類似度を画像の付随データとして生成することができ、さらに豊富な情報を自動でユーザに提供することができる。
【０２０７】
また、多様な顔属性、顔特徴点座標、顔類似度を用いて、膨大な動画、または静止画のデータベースから、特定の個人の画像を迅速に検索することができる。
【０２０８】
なお、本発明の実施の形態は本発明を具現化するための一例を示したものであり、以下に示すように特許請求の範囲における発明特定事項とそれぞれ対応関係を有するが、これに限定されるものではなく本発明の要旨を逸脱しない範囲において種々の変形を施すことができる。
【０２０９】
すなわち、請求項１、１６、１７において、対象物特徴量記憶手段は、例えば顔特徴量ＲＡＭ３９０に対応する。また、対象物検出手段は、例えば顔検出部２００に対応する。また、属性判定手段は、例えば属性判定部３３０に対応する。また、類似度算出手段は、例えば類似度算出部３６０に対応する。
【０２１０】
また、請求項１、１６において、画像入力手段は、例えばレンズ群１２１およびイメージセンサ１２２に対応する。
【０２１１】
また、請求項１、１７において、特徴点決定手段は、例えば特徴点算出部３４０に対応する。
【０２１２】
また、請求項２において、特徴点座標テーブル保持手段は、例えば特徴点座標テーブル保持部３４１に対応する。
【０２１３】
また、請求項３において、正規化手段は、例えば正規化部３２０に対応する。
【０２１４】
また、請求項４において、特徴量抽出手段は、例えば顔特徴量抽出部３５０に対応する。
【０２１５】
また、請求項１０において、特徴量登録手段は、例えば顔特徴量登録部３７０に対応する。
【０２１６】
また、請求項１２において、対象物属性記憶手段は、例えば顔特徴量ＲＡＭ３９０に対応する。
【０２１７】
また、請求項１７において、撮像手段は、例えばレンズ群１２１およびイメージセンサ１２２に対応する。
【０２１８】
請求項１８、１９において、画像入力手順は、例えばレンズ群１２１およびイメージセンサ１２２により行われる。また、対象物検出手順は、例えば顔検出部２００により行われる。属性判定手順は、例えばステップＳ９１０またはＳ９９０に対応する。また、特徴点決定手順は、例えばステップＳ９０４に対応する。また、類似度算出手順は、例えばステップＳ９５０に対応する。
【０２１９】
なお、本発明の実施の形態において説明した処理手順は、これら一連の手順を有する方法として捉えてもよく、また、これら一連の手順をコンピュータに実行させるためのプログラム乃至そのプログラムを記憶する記録媒体として捉えてもよい。
【図面の簡単な説明】
【０２２０】
【図１】撮像装置１００の機能構成例を示すブロック図である。
【図２】顔検出部２００の機能構成例を示すブロック図である。
【図３】顔認識部３００の機能構成例、および、画像ＲＡＭ１３０、画像バス１９０および顔特徴量ＲＡＭ３９０との概略関係を示すブロック図である。
【図４】顔検出部２００により検出された顔を含むその周辺画像である顔画像を正規化する場合における正規化の一例を示す図である。
【図５】属性の判定対象となる顔画像を概略的に示す図である。
【図６】正規化顔画像について顔の属性判定を行う場合に用いられる属性判定用辞書の構成例を示す図である。
【図７】正規化顔画像について属性判定用辞書を用いて求められる各顔属性に関する積算結果値の範囲を示す図である。
【図８】各属性に関する判定結果および積算結果値の一例を示す図である。
【図９】正規化部３２０により生成された正規化顔画像に設定すべき特徴点の位置を算出する特徴点位置算出方法の一例を示す図である。
【図１０】正規化部３２０により生成された正規化顔画像に特徴点を設定する場合における配置例を示す図である。
【図１１】正規化部３２０により生成された正規化顔画像に特徴点を設定する場合における配置例を示す図である。
【図１２】特徴点における特徴量の抽出に用いられるガボア・フィルタおよびフィルタの係数の一例を示す図である。
【図１３】正規化顔画像の一例である正規化顔画像６３０を示す図である。
【図１４】ガボア・フィルタを用いて特徴量が抽出された場合における各特徴量の集合である顔特徴量６５０を模式的に示す図である。
【図１５】顔特徴量ＲＡＭ３９０に格納されている各情報を模式的に示す図である。
【図１６】類似度算出基準データ保持部３６１に保持されている類似度算出用辞書を模式的に示す図である。
【図１７】ガボア・ジェットを用いて判定対象の顔の類似度を算出する場合に用いられる類似度算出用辞書の構成例を示す図である。
【図１８】ガボア・ジェットを用いて判定対象の顔の類似度を算出する算出方法を概略的に示す図である。
【図１９】判定対象の顔の類似度算出に用いられる類似度算出用辞書の例を示す図である。
【図２０】判定対象の顔の類似度算出に用いられる類似度算出用辞書の例を示す図である。
【図２１】判定対象の顔の類似度算出に用いられる類似度算出用辞書の例を示す図である。
【図２２】判定対象の顔の類似度算出に用いられる類似度算出用辞書の例を示す図である。
【図２３】撮像装置１００による顔認識（人物認識）処理の処理手順を示すフローチャートである。
【図２４】撮像装置１００による顔認識処理の処理手順のうちの顔属性判定処理手順を示すフローチャートである。
【図２５】撮像装置１００による顔属性の判定処理の処理手順を示すフローチャートである。
【図２６】撮像装置１００による顔認識処理の処理手順のうちの顔類似度算出処理手順を示すフローチャートである。
【図２７】撮像装置１００による顔類似度算出処理の処理手順のうちの類似度算出処理手順を示すフローチャートである。
【図２８】撮像装置１００による顔特徴量登録処理の処理手順を示すフローチャートである。
【図２９】撮像装置１００による顔認識処理の処理手順のうちの顔属性判定処理手順を示すフローチャートである。
【符号の説明】
【０２２１】
１００ 撮像装置
１１０ ＣＰＵ
１２１ レンズ群
１２２ イメージセンサ
１２３ カメラ信号処理部
１３０ 画像ＲＡＭ
１４０ 画像圧縮伸張部
１５０ 表示部
１６０ 操作受付部
１７０ 記憶媒体
１８０ 揮発／不揮発性記憶媒体
１９０ 画像バス
２００ 顔検出部
２１０ コントローラ
２２０ 画像拡大縮小部
２３０ 画像保持部
２４０ 基準顔データ保持部
２５０ 判定部
３００ 顔認識部
３１０ コントローラ
３２０ 正規化部
３３０ 属性判定部
３３１ 属性判定基準データ保持部
３４０ 特徴点算出部
３４１ 特徴点座標テーブル保持部
３５０ 顔特徴量抽出部
３６０ 類似度算出部
３６１ 類似度算出基準データ保持部
３７０ 顔特徴量登録部
３９０ 顔特徴量ＲＡＭ
【特許請求の範囲】
【請求項１】
所定の対象物の特徴量を記憶する対象物特徴量記憶手段と、
画像を入力する画像入力手段と、
前記入力された画像に含まれる対象物を検出する対象物検出手段と、
前記検出された対象物の属性を判定する属性判定手段と、
前記判定された属性に基づいて前記入力された画像に設定すべき特徴点の位置を決定する特徴点決定手段と、
前記対象物特徴量記憶手段に記憶されている特徴量と前記入力された画像に設定された特徴点における特徴量とを比較することにより前記対象物特徴量記憶手段に記憶されている特徴量に対応する対象物と前記検出された対象物との類似度を算出する類似度算出手段と
を具備することを特徴とする画像処理装置。
【請求項２】
前記入力された画像に設定すべき特徴点の位置の初期値を保持する特徴点座標テーブル保持手段をさらに具備し、
前記特徴点決定手段は、前記判定された属性に基づいて前記初期値における特徴点の位置を移動または前記初期値における特徴点の数を増減させることにより前記入力された画像に設定すべき特徴点の位置を決定する
ことを特徴とする請求項１記載の画像処理装置。
【請求項３】
前記検出された対象物が一定の位置に配置されるように前記検出された対象物の周辺画像である対象物画像を正規化する正規化手段をさらに具備し、
前記特徴点決定手段は、前記判定された属性に基づいて前記正規化された対象物画像に設定すべき特徴点の位置を決定する
ことを特徴とする請求項１記載の画像処理装置。
【請求項４】
前記入力された画像に設定された特徴点における特徴量を抽出する特徴量抽出手段をさらに具備する
ことを特徴とする請求項１記載の画像処理装置。
【請求項５】
前記特徴量抽出手段は、前記入力された画像に設定された特徴点を含むその周辺画像である近傍画像について特徴量抽出フィルタを用いて前記特徴点毎に特徴量を抽出する
ことを特徴とする請求項４記載の画像処理装置。
【請求項６】
前記特徴量抽出手段は、前記判定された属性に基づいて前記特徴量の抽出に用いられる前記特徴量抽出フィルタのパラメータを変更する
ことを特徴とする請求項５記載の画像処理装置。
【請求項７】
前記特徴量抽出フィルタはガボア・フィルタであり、
前記特徴量抽出手段は、前記判定された属性に基づいて前記ガボア・フィルタのパラメータである通過帯域または特徴量抽出角度を変更する
ことを特徴とする請求項６記載の画像処理装置。
【請求項８】
前記算出された類似度に基づいて前記入力された画像について抽出された特徴量が一定の条件を満たしているか否かを判定して前記一定の条件を満たしていると判定された場合には前記入力された画像について抽出された特徴量を前記対象物特徴量記憶手段に記憶させる特徴量登録手段をさらに具備する
ことを特徴とする請求項４記載の画像処理装置。
【請求項９】
前記特徴量登録手段は、前記一定の条件を満たしていると判定された場合には前記入力された画像について抽出された特徴量とともに前記判定された属性を前記対象物特徴量記憶手段に記憶させる
ことを特徴とする請求項８記載の画像処理装置。
【請求項１０】
前記類似度算出手段は、複数の弱判別器を用いて前記対象物特徴量記憶手段に記憶されている特徴量と前記入力された画像に設定された特徴点における特徴量とを比較することにより前記類似度を算出する
ことを特徴とする請求項１記載の画像処理装置。
【請求項１１】
前記類似度算出手段は、前記判定された属性に基づいて前記類似度の算出に用いられる前記弱判別器の数または種類を変更する
ことを特徴とする請求項１０記載の画像処理装置。
【請求項１２】
所定の対象物に関する属性を記憶する対象物属性記憶手段をさらに具備し、
前記類似度算出手段は、前記判定された属性と前記対象物属性記憶手段に記憶されている属性とを比較することにより前記検出された対象物と前記対象物属性記憶手段に属性が記憶されている対象物との属性の類似度を判定して前記属性の類似度の判定結果に基づいて前記検出された対象物についての類似度を算出するか否かを判断する
ことを特徴とする請求項１記載の画像処理装置。
【請求項１３】
前記対象物検出手段は、前記入力された画像に含まれる人物の顔を検出する
ことを特徴とする請求項１記載の画像処理装置。
【請求項１４】
前記属性判定手段は、人物の顔についての表情、年齢もしくは年代、性別、目の開閉、人種、眼鏡の有無もしくは種類、ヒゲの有無もしくは種類、帽子の有無もしくは種類、アクセサリーの有無もしくは種類、髪型、または、顔向きの少なくとも１つを前記検出された人物の顔の属性として判定する
ことを特徴とする請求項１３記載の画像処理装置。
【請求項１５】
前記属性判定手段は、前記検出された対象物について複数の属性を順次判定するとともに既に判定された属性の判定結果に基づいて次に判定すべき属性を選択する
ことを特徴とする請求項１記載の画像処理装置。
【請求項１６】
所定の対象物の特徴量を記憶する対象物特徴量記憶手段と、
画像を入力する画像入力手段と、
前記入力された画像に含まれる対象物を検出する対象物検出手段と、
前記検出された対象物の属性を判定する属性判定手段と、
前記判定された属性に基づいて数または種類が決定された複数の弱判別器を用いて前記対象物特徴量記憶手段に記憶されている特徴量と前記入力された画像に設定された特徴点における特徴量とを比較することにより前記対象物特徴量記憶手段に記憶されている特徴量に対応する対象物と前記検出された対象物との類似度を算出する類似度算出手段と
を具備することを特徴とする画像処理装置。
【請求項１７】
所定の対象物の特徴量を記憶する対象物特徴量記憶手段と、
被写体からの入射光を撮像画像に変換する撮像手段と、
前記撮像画像に含まれる対象物を検出する対象物検出手段と、
前記検出された対象物の属性を判定する属性判定手段と、
前記判定された属性に基づいて前記撮像画像に設定すべき特徴点の位置を決定する特徴点決定手段と、
前記対象物特徴量記憶手段に記憶されている特徴量と前記撮像画像に設定された特徴点における特徴量とを比較することにより前記対象物特徴量記憶手段に記憶されている特徴量に対応する対象物と前記検出された対象物との類似度を算出する類似度算出手段と
を具備することを特徴とする撮像装置。
【請求項１８】
所定の対象物の特徴量を記憶する対象物特徴量記憶手段を備える画像処理装置における類似度算出処理方法であって、
画像を入力する画像入力手順と、
前記入力された画像に含まれる対象物を検出する対象物検出手順と、
前記検出された対象物の属性を判定する属性判定手順と、
前記判定された属性に基づいて前記入力された画像に設定すべき特徴点の位置を決定する特徴点決定手順と
前記対象物特徴量記憶手段に記憶されている特徴量と前記入力された画像に設定された特徴点における特徴量とを比較することにより前記対象物特徴量記憶手段に記憶されている特徴量に対応する対象物と前記検出された対象物との類似度を算出する類似度算出手順と
を具備することを特徴とする類似度算出処理方法。
【請求項１９】
所定の対象物の特徴量を記憶する対象物特徴量記憶手段を備える画像処理装置において、
画像を入力する画像入力手順と、
前記入力された画像に含まれる対象物を検出する対象物検出手順と、
前記検出された対象物の属性を判定する属性判定手順と、
前記判定された属性に基づいて前記入力された画像に設定すべき特徴点の位置を決定する特徴点決定手順と
前記対象物特徴量記憶手段に記憶されている特徴量と前記入力された画像に設定された特徴点における特徴量とを比較することにより前記対象物特徴量記憶手段に記憶されている特徴量に対応する対象物と前記検出された対象物との類似度を算出する類似度算出手順と
をコンピュータに実行させることを特徴とするプログラム。
【請求項１】
所定の対象物の特徴量を記憶する対象物特徴量記憶手段と、
画像を入力する画像入力手段と、
前記入力された画像に含まれる対象物を検出する対象物検出手段と、
前記検出された対象物の属性を判定する属性判定手段と、
前記判定された属性に基づいて前記入力された画像に設定すべき特徴点の位置を決定する特徴点決定手段と、
前記対象物特徴量記憶手段に記憶されている特徴量と前記入力された画像に設定された特徴点における特徴量とを比較することにより前記対象物特徴量記憶手段に記憶されている特徴量に対応する対象物と前記検出された対象物との類似度を算出する類似度算出手段と
を具備することを特徴とする画像処理装置。
【請求項２】
前記入力された画像に設定すべき特徴点の位置の初期値を保持する特徴点座標テーブル保持手段をさらに具備し、
前記特徴点決定手段は、前記判定された属性に基づいて前記初期値における特徴点の位置を移動または前記初期値における特徴点の数を増減させることにより前記入力された画像に設定すべき特徴点の位置を決定する
ことを特徴とする請求項１記載の画像処理装置。
【請求項３】
前記検出された対象物が一定の位置に配置されるように前記検出された対象物の周辺画像である対象物画像を正規化する正規化手段をさらに具備し、
前記特徴点決定手段は、前記判定された属性に基づいて前記正規化された対象物画像に設定すべき特徴点の位置を決定する
ことを特徴とする請求項１記載の画像処理装置。
【請求項４】
前記入力された画像に設定された特徴点における特徴量を抽出する特徴量抽出手段をさらに具備する
ことを特徴とする請求項１記載の画像処理装置。
【請求項５】
前記特徴量抽出手段は、前記入力された画像に設定された特徴点を含むその周辺画像である近傍画像について特徴量抽出フィルタを用いて前記特徴点毎に特徴量を抽出する
ことを特徴とする請求項４記載の画像処理装置。
【請求項６】
前記特徴量抽出手段は、前記判定された属性に基づいて前記特徴量の抽出に用いられる前記特徴量抽出フィルタのパラメータを変更する
ことを特徴とする請求項５記載の画像処理装置。
【請求項７】
前記特徴量抽出フィルタはガボア・フィルタであり、
前記特徴量抽出手段は、前記判定された属性に基づいて前記ガボア・フィルタのパラメータである通過帯域または特徴量抽出角度を変更する
ことを特徴とする請求項６記載の画像処理装置。
【請求項８】
前記算出された類似度に基づいて前記入力された画像について抽出された特徴量が一定の条件を満たしているか否かを判定して前記一定の条件を満たしていると判定された場合には前記入力された画像について抽出された特徴量を前記対象物特徴量記憶手段に記憶させる特徴量登録手段をさらに具備する
ことを特徴とする請求項４記載の画像処理装置。
【請求項９】
前記特徴量登録手段は、前記一定の条件を満たしていると判定された場合には前記入力された画像について抽出された特徴量とともに前記判定された属性を前記対象物特徴量記憶手段に記憶させる
ことを特徴とする請求項８記載の画像処理装置。
【請求項１０】
前記類似度算出手段は、複数の弱判別器を用いて前記対象物特徴量記憶手段に記憶されている特徴量と前記入力された画像に設定された特徴点における特徴量とを比較することにより前記類似度を算出する
ことを特徴とする請求項１記載の画像処理装置。
【請求項１１】
前記類似度算出手段は、前記判定された属性に基づいて前記類似度の算出に用いられる前記弱判別器の数または種類を変更する
ことを特徴とする請求項１０記載の画像処理装置。
【請求項１２】
所定の対象物に関する属性を記憶する対象物属性記憶手段をさらに具備し、
前記類似度算出手段は、前記判定された属性と前記対象物属性記憶手段に記憶されている属性とを比較することにより前記検出された対象物と前記対象物属性記憶手段に属性が記憶されている対象物との属性の類似度を判定して前記属性の類似度の判定結果に基づいて前記検出された対象物についての類似度を算出するか否かを判断する
ことを特徴とする請求項１記載の画像処理装置。
【請求項１３】
前記対象物検出手段は、前記入力された画像に含まれる人物の顔を検出する
ことを特徴とする請求項１記載の画像処理装置。
【請求項１４】
前記属性判定手段は、人物の顔についての表情、年齢もしくは年代、性別、目の開閉、人種、眼鏡の有無もしくは種類、ヒゲの有無もしくは種類、帽子の有無もしくは種類、アクセサリーの有無もしくは種類、髪型、または、顔向きの少なくとも１つを前記検出された人物の顔の属性として判定する
ことを特徴とする請求項１３記載の画像処理装置。
【請求項１５】
前記属性判定手段は、前記検出された対象物について複数の属性を順次判定するとともに既に判定された属性の判定結果に基づいて次に判定すべき属性を選択する
ことを特徴とする請求項１記載の画像処理装置。
【請求項１６】
所定の対象物の特徴量を記憶する対象物特徴量記憶手段と、
画像を入力する画像入力手段と、
前記入力された画像に含まれる対象物を検出する対象物検出手段と、
前記検出された対象物の属性を判定する属性判定手段と、
前記判定された属性に基づいて数または種類が決定された複数の弱判別器を用いて前記対象物特徴量記憶手段に記憶されている特徴量と前記入力された画像に設定された特徴点における特徴量とを比較することにより前記対象物特徴量記憶手段に記憶されている特徴量に対応する対象物と前記検出された対象物との類似度を算出する類似度算出手段と
を具備することを特徴とする画像処理装置。
【請求項１７】
所定の対象物の特徴量を記憶する対象物特徴量記憶手段と、
被写体からの入射光を撮像画像に変換する撮像手段と、
前記撮像画像に含まれる対象物を検出する対象物検出手段と、
前記検出された対象物の属性を判定する属性判定手段と、
前記判定された属性に基づいて前記撮像画像に設定すべき特徴点の位置を決定する特徴点決定手段と、
前記対象物特徴量記憶手段に記憶されている特徴量と前記撮像画像に設定された特徴点における特徴量とを比較することにより前記対象物特徴量記憶手段に記憶されている特徴量に対応する対象物と前記検出された対象物との類似度を算出する類似度算出手段と
を具備することを特徴とする撮像装置。
【請求項１８】
所定の対象物の特徴量を記憶する対象物特徴量記憶手段を備える画像処理装置における類似度算出処理方法であって、
画像を入力する画像入力手順と、
前記入力された画像に含まれる対象物を検出する対象物検出手順と、
前記検出された対象物の属性を判定する属性判定手順と、
前記判定された属性に基づいて前記入力された画像に設定すべき特徴点の位置を決定する特徴点決定手順と
前記対象物特徴量記憶手段に記憶されている特徴量と前記入力された画像に設定された特徴点における特徴量とを比較することにより前記対象物特徴量記憶手段に記憶されている特徴量に対応する対象物と前記検出された対象物との類似度を算出する類似度算出手順と
を具備することを特徴とする類似度算出処理方法。
【請求項１９】
所定の対象物の特徴量を記憶する対象物特徴量記憶手段を備える画像処理装置において、
画像を入力する画像入力手順と、
前記入力された画像に含まれる対象物を検出する対象物検出手順と、
前記検出された対象物の属性を判定する属性判定手順と、
前記判定された属性に基づいて前記入力された画像に設定すべき特徴点の位置を決定する特徴点決定手順と
前記対象物特徴量記憶手段に記憶されている特徴量と前記入力された画像に設定された特徴点における特徴量とを比較することにより前記対象物特徴量記憶手段に記憶されている特徴量に対応する対象物と前記検出された対象物との類似度を算出する類似度算出手順と
をコンピュータに実行させることを特徴とするプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１３】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【図２７】
【図２８】
【図２９】
【図１２】
【図１４】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１３】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【図２７】
【図２８】
【図２９】
【図１２】
【図１４】
【公開番号】特開２００９−８７２０９（Ｐ２００９−８７２０９Ａ）
【公開日】平成２１年４月２３日（２００９．４．２３）
【国際特許分類】
【出願番号】特願２００７−２５８６２１（Ｐ２００７−２５８６２１）
【出願日】平成１９年１０月２日（２００７．１０．２）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
【公開日】平成２１年４月２３日（２００９．４．２３）
【国際特許分類】
【出願日】平成１９年１０月２日（２００７．１０．２）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
[ Back to top ]