画像処理装置、撮像装置、画像処理方法およびプログラム
【課題】個人識別を適切に行い、特定人物情報を適切に登録する。
【解決手段】特定人物情報記憶部３８０は、複数の人物の顔に関する特徴量および属性を記憶する。顔検出部２００は画像に含まれる顔を検出する。属性判定部３３０は検出された顔の属性を判定する。顔特徴量抽出部３５０は検出された顔に関する特徴量を抽出する。類似度算出部３６０は、判定された属性に基づいて、特定人物情報記憶部３８０に記憶されている複数の顔に関する特徴量の中から１または複数の特徴量を選択する。そして、この選択された特徴量と、抽出された特徴量とに基づいて、選択された特徴量に係る顔と、検出された顔との類似度を算出する。特定人物情報登録部３７０は、算出された類似度と、判定された属性とが登録条件を満たしていると判定された場合には、抽出された特徴量と判定された属性とを、特定人物情報記憶部３８０に登録させる。
【解決手段】特定人物情報記憶部３８０は、複数の人物の顔に関する特徴量および属性を記憶する。顔検出部２００は画像に含まれる顔を検出する。属性判定部３３０は検出された顔の属性を判定する。顔特徴量抽出部３５０は検出された顔に関する特徴量を抽出する。類似度算出部３６０は、判定された属性に基づいて、特定人物情報記憶部３８０に記憶されている複数の顔に関する特徴量の中から１または複数の特徴量を選択する。そして、この選択された特徴量と、抽出された特徴量とに基づいて、選択された特徴量に係る顔と、検出された顔との類似度を算出する。特定人物情報登録部３７０は、算出された類似度と、判定された属性とが登録条件を満たしていると判定された場合には、抽出された特徴量と判定された属性とを、特定人物情報記憶部３８０に登録させる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置に関し、特に、画像に含まれる特定の対象物を認識する画像処理装置、撮像装置、および、これらにおける処理方法ならびに当該方法をコンピュータに実行させるプログラムに関する。
【背景技術】
【０００２】
近年、デジタルスチルカメラ、デジタルビデオカメラ（例えば、カメラ一体型レコーダ）、携帯電話機に搭載されている小型カメラ等の撮像装置の高性能化が進んでいる。これらの撮像装置に搭載されている機能として、最近では、被写体が何であるかを認識する被写体認識技術が注目を浴びている。被写体認識技術として、例えば、画像処理によって撮像画像から人物の顔を検出する顔検出技術が提案されている。
【０００３】
このように顔検出技術を用いて検出された顔について、さらに、表情、年代や年齢層等の各種の顔属性を画像処理により判定する技術（いわゆる、顔属性判定技術）が提案されている。例えば、被写体として大人と子供が撮像画像に含まれる場合に、判定された顔属性（例えば、顔の年代や年齢層）に基づいて、大人よりも子供を優先的に綺麗に撮像する撮像装置が提案されている。また、例えば、顔検出技術を用いて検出された顔について、特定の表情に関する表情評価値（例えば、笑顔の度合）を算出し、この表情評価値が閾値を超えた場合に、撮像画像の記録動作を自動で行う撮像装置が提案されている（例えば、特許文献１参照。）。
【特許文献１】特開２００８−４２３１９号公報（図２）
【発明の開示】
【発明が解決しようとする課題】
【０００４】
上述の従来技術によれば、検出された顔について判定された顔属性を用いて撮像画像の記録動作を行うことができる。しかしながら、検出された顔が特定人物の顔であるか否かを判定して、その特定人物の顔についての各記録動作を行うことは想定されていない。
【０００５】
ここで、例えば、セキュリティの分野では、特定人物の顔を識別する個人識別技術が提案されている。この個人識別技術を撮像装置に適用すると、例えば、フォーカス合わせ、露出合わせ、肌色調整等の制御を特定人物に最適化して行うことが考えられる。
【０００６】
このような個人識別を行うためには、例えば、識別対象となる特定人物を識別するための特定人物情報（例えば、特定人物の顔に関する特徴量）を撮像装置に登録しておく必要がある。また、個人識別を高い精度で行うためには、適切な特定人物情報を登録しておくことが重要となる。例えば、特定人物の顔の向き、目の開閉状態、顔の表情等の変動要素を標準的な状態にした上で、これらの顔に関する特定人物情報を登録する必要がある。この特定人物情報の登録方法として、例えば、登録すべき人物の撮像動作を行いながら、ユーザが手動操作により撮像装置に登録する登録方法が考えられる。しかしながら、このような登録方法により初心者が適切な特定人物情報を登録することは困難であるおそれがある。
【０００７】
また、例えば、特定人物情報は、時間の経過とともに変化してしまうおそれがある。そこで、適切なタイミングで適切な特定人物情報を更新することが重要となるが、ユーザが手動操作により特定人物情報を登録する場合には、適切なタイミングで更新することができないおそれがある。このため、適切な特定人物情報を登録しておき、個人識別を適切に行うことが重要である。
【０００８】
本発明はこのような状況に鑑みてなされたものであり、個人識別を適切に行うことを目的とする。
【課題を解決するための手段】
【０００９】
本発明は、上記課題を解決するためになされたものであり、その第１の側面は、複数の対象物に関する特徴量および属性を記憶する対象物情報記憶部と、画像に含まれる対象物を検出する対象物検出部と、上記検出された対象物の属性を判定する属性判定部と、上記検出された対象物に関する特徴量を抽出する特徴量抽出部と、上記判定された属性に基づいて上記対象物情報記憶部に記憶されている複数の対象物に関する特徴量の中から１または複数の特徴量を選択して上記選択された特徴量と上記抽出された特徴量とに基づいて上記選択された特徴量に係る対象物と上記検出された対象物との類似度を算出する類似度算出部とを具備する画像処理装置およびこれにおける処理方法ならびに当該方法をコンピュータに実行させるプログラムである。これにより、判定された属性に基づいて、複数の対象物に関する特徴量の中から１または複数の特徴量を選択し、この選択された特徴量と、抽出された特徴量とに基づいて、選択された特徴量に係る対象物と、検出された対象物との類似度を算出するという作用をもたらす。
【００１０】
また、この第１の側面において、上記対象物検出部は、上記画像に含まれる人物の顔を上記対象物として検出し、上記属性判定部は、上記検出された人物の顔の属性として世代および性別の少なくとも１つを判定し、上記類似度算出部は、上記対象物情報記憶部に記憶されている複数の顔の中から上記判定された世代および性別の全てが同一となる顔を選択して上記選択された顔に係る特徴量の中から１または複数の特徴量を選択するようにしてもよい。これにより、対象物情報記憶部に記憶されている複数の顔の中から、判定された世代および性別の全てが同一となる顔を選択し、この選択された顔に係る特徴量の中から１または複数の特徴量を選択するという作用をもたらす。
【００１１】
また、この第１の側面において、上記算出された類似度と上記判定された属性とが登録条件を満たしているか否かを判定して上記登録条件を満たしていると判定された場合には上記抽出された特徴量と上記判定された属性とを上記対象物情報記憶部に記憶させる対象物情報登録部をさらに具備するようにしてもよい。これにより、算出された類似度と、判定された属性とが登録条件を満たしていると判定された場合には、抽出された特徴量と判定された属性とを記憶させるという作用をもたらす。
【００１２】
また、この第１の側面において、上記対象物検出部は、上記画像に含まれる人物の顔を上記対象物として検出し、上記属性判定部は、上記検出された人物の顔の属性として顔らしさの度合い、顔の向きの正面向き度合い、目が開いている度合い、笑顔の度合いの少なくとも１つを判定し、上記対象物情報登録部は、上記算出された類似度が閾値を超えるとともに上記判定された顔らしさの度合い、顔の向きの正面向き度合い、目が開いている度合いの少なくとも１つが閾値を超え、上記判定された笑顔の度合いが閾値を超えないという条件を上記登録条件とし、上記登録条件を満たしていると判定された場合には上記抽出された特徴量と上記判定された属性とを上記対象物情報記憶部に記憶させるようにしてもよい。これにより、算出された類似度が閾値を超えるとともに、判定された顔らしさの度合い、顔の向きの正面向き度合い、目が開いている度合いの少なくとも１つが閾値を超え、判定された笑顔の度合いが閾値を超えないという登録条件を満たしていると判定された場合には、抽出された特徴量と判定された属性とを記憶させるという作用をもたらす。
【００１３】
また、この第１の側面において、上記対象物情報記憶部は、上記対象物に関する特徴量および属性が記憶された日時を上記対象物毎に記憶し、上記対象物情報登録部は、上記登録条件を満たしていると判定された場合には上記対象物情報記憶部に記憶されている上記選択された特徴量に係る日時が一定時間以上経過しているか否かを判定して上記選択された特徴量に係る日時が一定時間以上経過していると判定された場合には上記抽出された特徴量と上記判定された属性とを上記対象物情報記憶部に記憶させるようにしてもよい。これにより、登録条件を満たしていると判定された場合には、対象となる特徴量に係る日時が一定時間以上経過しているか否かを判定し、一定時間以上経過していると判定された場合には、抽出された特徴量と判定された属性とを記憶させるという作用をもたらす。
【００１４】
また、この第１の側面において、上記対象物情報登録部は、上記登録条件を満たしていると判定された類似度の算出対象となった上記対象物情報記憶部に記憶されている特徴量およびこれに係る属性に上記抽出された特徴量と上記判定された属性とを上書きして記憶させるようにしてもよい。これにより、登録条件を満たしていると判定された類似度の算出対象となった特徴量およびこれに係る属性に、抽出された特徴量と判定された属性とを上書きして記憶させるという作用をもたらす。
【００１５】
また、本発明の第２の側面は、複数の対象物に関する特徴量および属性を記憶する対象物情報記憶部と、被写体を撮像して撮像画像を生成する撮像部と、上記撮像画像に含まれる対象物を検出する対象物検出部と、上記検出された対象物の属性を判定する属性判定部と、上記検出された対象物に関する特徴量を抽出する特徴量抽出部と、上記判定された属性が上記撮像画像の記録動作を行うための記録動作条件を満たすか否かを判定して上記記録動作条件を満たしていると判定された場合には上記撮像画像の記録指示を行う記録指示部と、上記判定された属性に基づいて上記対象物情報記憶部に記憶されている複数の対象物に関する特徴量の中から１または複数の特徴量を選択して上記選択された特徴量と上記抽出された特徴量とに基づいて上記選択された特徴量に係る対象物と上記検出された対象物との類似度を算出する類似度算出部と、上記算出された類似度と上記判定された属性とが登録条件を満たしているか否かを判定して上記登録条件を満たしていると判定された場合には上記抽出された特徴量と上記判定された属性とを上記対象物情報記憶部に記憶させる対象物情報登録部とを具備する撮像装置およびこれにおける処理方法ならびに当該方法をコンピュータに実行させるプログラムである。これにより、判定された属性が記録動作条件を満たしていると判定された場合には、撮像画像の記録指示を行い、判定された属性に基づいて、複数の対象物に関する特徴量の中から１または複数の特徴量を選択し、この選択された特徴量と、抽出された特徴量とに基づいて、選択された特徴量に係る対象物と、検出された対象物との類似度を算出し、この算出された類似度と、判定された属性とが登録条件を満たしていると判定された場合には、抽出された特徴量と判定された属性とを記憶させるという作用をもたらす。
【００１６】
また、この第２の側面において、上記判定された属性に関する上記記録動作条件および上記登録条件の設定内容を異なる内容とすることができる。これにより、判定された属性に関する記録動作条件および登録条件の設定内容を異なる内容として、撮像画像の記録指示、および、抽出された特徴量と判定された属性との記憶を行うという作用をもたらす。
【００１７】
また、この第２の側面において、上記対象物検出部は、上記画像に含まれる人物の顔を上記対象物として検出し、上記属性判定部は、上記検出された人物の顔の属性として顔らしさの度合い、笑顔の度合いの少なくとも１つを判定し、上記記録指示部は、上記算出された類似度が閾値を超えるとともに上記判定された顔らしさの度合い、笑顔の度合いが閾値を超えるという条件を上記記録動作条件とし、上記記録動作条件を満たしていると判定された場合には上記撮像画像の記録指示を行うようにしてもよい。これにより、算出された類似度が閾値を超えるとともに、判定された顔らしさの度合い、笑顔の度合いが閾値を超えるという記録動作条件を満たしていると判定された場合には、撮像画像の記録指示を行うという作用をもたらす。
【発明の効果】
【００１８】
本発明によれば、個人識別を適切に行うことができるという優れた効果を奏し得る。
【発明を実施するための最良の形態】
【００１９】
次に本発明の実施の形態について図面を参照して詳細に説明する。
【００２０】
図１は、本発明の実施の形態における撮像装置１００の機能構成例を示すブロック図である。撮像装置１００として、デジタルスチルカメラやデジタルビデオカメラ等の撮像装置、または、携帯電話機やパーソナルコンピュータ等の端末装置に付属するカメラ等の撮像装置が例として挙げられる。
【００２１】
撮像装置１００は、ＣＰＵ（Central Processing Unit）１１０と、レンズ群１２１と、イメージセンサ１２２と、カメラ信号処理部１２３と、画像ＲＡＭ（Random Access Memory）１３０とを備える。また、撮像装置１００は、画像圧縮伸張部１４０と、表示部１５０と、操作受付部１６０と、記憶媒体１７０と、揮発／不揮発性記憶媒体１８０と、画像バス１９０と、ＧＰＳ信号処理部１９５とを備える。また、撮像装置１００は、顔検出部２００と、個人識別部３００と、特定人物情報記憶部３８０とを備える。なお、撮像装置１００の各ブロック間における画像信号の送受信は、直接のやりとり、または、共有メモリである画像ＲＡＭ１３０または画像バス１９０を経由したやりとりによって行われる。
【００２２】
ＣＰＵ１１０は、メモリ（図示せず）に格納されている各種制御プログラムに基づいて撮像装置１００の各部を制御するＣＰＵである。なお、ＣＰＵ１１０は、特許請求の範囲に記載の記録指示部の一例である。
【００２３】
レンズ群１２１は、フォーカスレンズやズームレンズ等の複数のレンズにより構成され、これらのレンズを介して入力された被写体からの入射光をイメージセンサ１２２に出力する。また、レンズ群１２１における絞り制御やフォーカス制御がＣＰＵ１１０により行われる。
【００２４】
イメージセンサ１２２は、レンズ群１２１を通過した被写体からの入射光を電気信号に光電変換し、光電変換された電気信号をカメラ信号処理部１２３に出力するものである。
【００２５】
カメラ信号処理部１２３は、イメージセンサ１２２から出力された電気信号に対して各種の信号処理を施し、信号処理が施された画像データを画像ＲＡＭ１３０、画像圧縮伸張部１４０、表示部１５０および顔検出部２００に出力するものである。カメラ信号処理部１２３における信号処理として、ホワイトバランス調節、ノイズ軽減処理、レベル補正処理、Ａ／Ｄ変換処理および色彩補正処理等の信号処理がある。なお、イメージセンサ１２２およびカメラ信号処理部１２３は、特許請求の範囲に記載の撮像部の一例である。
【００２６】
画像ＲＡＭ１３０は、撮像装置１００において処理対象となる画像データを記憶するものである。
【００２７】
画像圧縮伸張部１４０は、入力された各種画像データを各画像処理に応じて圧縮または伸張するものである。例えば、画像圧縮伸張部１４０により圧縮処理が施された画像データが記憶媒体１７０に出力されて記録される。また、画像圧縮伸張部１４０により伸張処理が施された画像データが画像ＲＡＭ１３０、表示部１５０および顔検出部２００に出力される。なお、圧縮形式として、例えば、ＪＰＥＧ（Joint Photographic Experts Group）形式を採用することができる。
【００２８】
表示部１５０は、カメラ信号処理部１２３または画像圧縮伸張部１４０が出力した画像データに対応する画像を表示する表示部である。
【００２９】
操作受付部１６０は、ユーザにより行われた各種の操作を受け付ける操作受付部であり、受け付けられた操作内容をＣＰＵ１１０に出力する。操作受付部１６０として、例えば、各種の操作部材が撮像装置１００に備えられている。この操作部材として、特定人物情報登録ボタン、特定人物情報自動更新モード設定／解除ボタン、静止画記録モード設定／解除ボタン、シャッターボタン、笑顔静止画記録モード設定／解除ボタン、動画記録モード設定／解除ボタン、録画ボタン等がある。特定人物情報登録ボタンは、現在撮像中の画像に含まれる顔に関する特定人物情報を登録する際に押下されるボタンである。この特定人物情報は、特定の人物に関する情報であり、例えば、特定人物の顔に関する特徴量やその顔の属性（顔属性）等の情報である。特定人物情報自動更新モード設定／解除ボタンは、現在撮像中の画像に含まれる顔が特定人物であるとともに一定条件を満たすと判定された際に、その顔に関する特定人物情報を自動で更新または追加登録する更新モードの設定または解除を行うためのボタンである。静止画記録モード設定／解除ボタンは、静止画の記録を可能な状態にする静止画記録モードの設定または解除を行うためのボタンである。シャッターボタンは、静止画記録モードまたは動画記録モードが設定されている場合に、現在撮像中の画像（静止画）を記録する際に押下されるボタンである。笑顔静止画記録モード設定／解除ボタンは、現在撮像中の画像に含まれる顔が笑顔であると判定された際に、その静止画を自動で記録する笑顔静止画記録モードの設定または解除を行うためのボタンである。動画記録モード設定／解除ボタンは、動画の記録を可能な状態にする動画記録モードの設定または解除を行うためのボタンである。録画ボタンは、動画記録モードに設定されている場合に、動画の記録を開始または終了する際に押下されるボタンである。なお、表示部１５０および操作受付部１６０については、タッチパネルとして一体で構成するようにしてもよく、表示部１５０を液晶ディスプレイ（ＬＣＤ）とし、操作受付部１６０を十字キー等のハードキーとして双方を別体で構成するようにしてもよい。
【００３０】
記憶媒体１７０は、画像圧縮伸張部１４０が出力した画像データを記憶する記憶媒体である。また、記憶媒体１７０は、記憶されている画像データを画像圧縮伸張部１４０に出力する。なお、画像記憶媒体としては、磁気ディスク、光ディスク、半導体記憶媒体、磁気テープ等の画像記憶媒体がある。また、画像記憶媒体は、外部取り外しの可能な記憶媒体または内蔵の記憶媒体とすることができる。
【００３１】
揮発／不揮発性記憶媒体１８０は、各種情報を記憶する揮発／不揮発性の記憶媒体である。
【００３２】
画像バス１９０は、画像データを伝達するための共有バスである。
【００３３】
ＧＰＳ信号処理部１９５は、ＧＰＳ信号受信アンテナ（図示せず）により受信されたＧＰＳ信号に基づいて位置情報を算出するものであり、算出された位置情報をＣＰＵ１１０に出力する。なお、この算出された位置情報には、緯度、経度、高度、方角、時刻等の数値データが含まれる。
【００３４】
顔検出部２００は、入力された画像データに対応する画像に含まれる人の顔を検出するものであり、検出された顔を含むその周辺画像である顔画像を画像バス１９０を介して画像ＲＡＭ１３０に出力する。また、顔検出部２００は、検出された顔に関する情報を個人識別部３００に出力する。なお、顔検出部２００については、図２を参照して詳細に説明する。また、顔検出部２００は、特許請求の範囲に記載の対象物検出部の一例である。
【００３５】
個人識別部３００は、顔検出部２００によって検出された顔について、特定人物情報記憶部３８０に特定人物情報が記憶されている人物（登録人物）と同一人物の顔であるか否かを示す類似度を算出するものであり、算出された類似度をＣＰＵ１１０に出力する。すなわち、個人識別部３００は、顔検出部２００によって検出された顔が登録人物と同一人物の顔であるか否かを判定する。この算出された類似度に基づいて、ＣＰＵ１１０は各制御を行うことができる。例えば、撮像画像において、登録人物と同一人物の顔と判定された顔にマーカを付すことができる。また、例えば、撮像画像において、登録人物と同一人物の顔と判定された顔を最適化するための撮像制御（例えば、フォーカス合わせ、露出合わせ、肌色調整等の撮像制御）を行うことができる。また、個人識別部３００は、現在撮像中の画像に含まれる顔が特定人物であるとともに一定条件を満たすと判定された場合には、その顔に関する特定人物情報を自動で更新または追加登録する。なお、個人識別部３００については、図３を参照して詳細に説明する。
【００３６】
特定人物情報記憶部３８０は、特定人物情報を記憶するものであり、記憶されている特定人物情報を画像バス１９０を介して個人識別部３００に供給する。また、特定人物情報記憶部３８０は、個人識別部３００から出力された特定人物情報を人物毎に上書きまたは追加して記録する。なお、特定人物情報記憶部３８０については、図３および図１５を参照して詳細に説明する。また、特定人物情報記憶部３８０は、特許請求の範囲に記載の対象物情報記憶部の一例である。
【００３７】
ここで、シャッターボタンの押下操作が操作受付部１６０により受け付けられた場合には、ＣＰＵ１１０がイメージセンサ１２２、カメラ信号処理部１２３、画像圧縮伸張部１４０等を制御して静止画の記録動作が行われる。例えば、シャッターボタンが押下された際には、カメラ信号処理部１２３により処理された１フレーム分の画像データが画像圧縮伸張部１４０に供給され、所定の符号化方式に従って画像圧縮伸張部１４０により圧縮符号化される。そして、圧縮処理が施された画像データが記憶媒体１７０に出力されて記録される。また、動画記録モードが設定されている場合に録画ボタンの押下操作が操作受付部１６０により受け付けられた場合には、ＣＰＵ１１０がイメージセンサ１２２、カメラ信号処理部１２３、画像圧縮伸張部１４０等を制御して動画の記録動作が行われる。例えば、録画ボタンが押下された際には、カメラ信号処理部１２３により処理された画像データが画像圧縮伸張部１４０に連続的に供給され、所定の符号化方式に従って画像圧縮伸張部１４０により圧縮符号化される。
【００３８】
なお、ＣＰＵ１１０の制御に基づいて、画像圧縮伸張部１４０が出力した画像データを外部記憶媒体等の外部装置に出力し、外部記憶媒体から入力された画像データを画像圧縮伸張部１４０に出力するための入出力端子を撮像装置１００に設けるようにしてもよい。
【００３９】
図２は、本発明の実施の形態における顔検出部２００の機能構成例を示すブロック図である。顔検出部２００は、コントローラ２１０と、画像拡大縮小部２２０と、画像保持部２３０と、基準顔データ保持部２４０と、判定部２５０とを備える。
【００４０】
コントローラ２１０は、ＣＰＵ１１０からの指示に従って顔検出部２００の各部を制御するものである。
【００４１】
画像拡大縮小部２２０は、カメラ信号処理部１２３または画像圧縮伸張部１４０から出力された画像データ、または、画像ＲＡＭ１３０に記憶されている画像データに対応する画像に対して、顔の検出に適する画像に拡大または縮小処理を実行するものである。なお、画像の拡大率または縮小率は、ＣＰＵ１１０からの指示に基づいて決定される。
【００４２】
画像保持部２３０は、画像拡大縮小部２２０により拡大処理または縮小処理が施された画像を保持する画像メモリであり、保持されている画像を判定部２５０に出力するとともに、画像バス１９０を介して画像ＲＡＭ１３０に出力する。
【００４３】
基準顔データ保持部２４０は、顔検出に用いる際に基準となる顔データを保持するものであり、保持されている顔データを判定部２５０に出力する。ここで基準となる顔データは、例えば、顔画像そのもの、人の顔に関する特徴データベース等である。
【００４４】
判定部２５０は、画像保持部２３０に保持されている画像に顔が含まれているか否かを判定するものであり、顔検出結果をＣＰＵ１１０および個人識別部３００に出力する。具体的には、判定部２５０は、画像保持部２３０に保持されている画像を一定のウィンドウサイズで部分的に取り出し、取り出された画像と、基準顔データ保持部２４０に保持されている顔データとでテンプレートマッチング処理を行う。そして、相関性の高さに基づいて、顔らしさを算出する。そして、算出された顔らしさに基づいて、取り出された画像が顔画像であるか否かを判定する。例えば、算出された顔らしさが十分に高い場合には、取り出された画像が顔画像であると判定される。これらの判定が繰り返し実行され、画像保持部２３０に保持されている画像に含まれている顔が検出される。
【００４５】
また、判定部２５０は、基準顔データ保持部２４０に保持されている顔データとの相関性の高さに基づいて、画像保持部２３０に保持されている画像に含まれている顔に関する各種データを抽出する。そして、抽出された各種データを顔検出結果としてＣＰＵ１１０および個人識別部３００に出力する。この顔検出結果は、顔領域の座標、顔領域の大きさ、顔の向き、顔らしさ等である。これらの顔検出結果はＣＰＵ１１０に蓄えられる。
【００４６】
図３は、本発明の実施の形態における個人識別部３００の機能構成例、および、個人識別部３００と、画像ＲＡＭ１３０、画像バス１９０および特定人物情報記憶部３８０との概略関係を示すブロック図である。
【００４７】
個人識別部３００は、コントローラ３１０と、正規化部３２０と、属性判定部３３０と、属性判定基準データ保持部３３１と、特徴点算出部３４０と、特徴点座標テーブル保持部３４１とを備える。また、個人識別部３００は、顔特徴量抽出部３５０と、類似度算出部３６０と、類似度算出基準データ保持部３６１と、特定人物情報登録部３７０とを備える。また、個人識別部３００は、画像バス１９０を介して、画像ＲＡＭ１３０に記憶されている画像から、この画像に含まれる顔を含む顔画像を入力する。また、個人識別部３００は、特定人物情報記憶部３８０に記憶されている特定人物情報を取得して類似度算出を行い、一定の条件を満たす特定人物情報を特定人物情報記憶部３８０に記録する。
【００４８】
コントローラ３１０は、ＣＰＵ１１０からの指示に従って個人識別部３００の各部を制御するものである。
【００４９】
正規化部３２０は、顔検出部２００から出力された顔検出結果に含まれる顔領域の座標および大きさに基づいて、画像ＲＡＭ１３０に記憶されている画像から顔画像を読み出し、読み出された顔画像について正規化を行うものである。そして、正規化された顔画像である正規化顔画像を属性判定部３３０および特徴点算出部３４０に出力する。具体的には、正規化部３２０は、例えば、画像ＲＡＭ１３０から読み出された顔画像に含まれる顔が一定の大きさになるように、その顔画像を解像度変換する（例えば、６４×６４画素程度）。そして、その顔に含まれる両目がほぼ水平に保たれるように、その顔画像に回転処理を施して正規化顔画像を生成する。なお、顔画像の正規化については、図４を参照して詳細に説明する。
【００５０】
属性判定部３３０は、属性判定基準データ保持部３３１に保持されている属性判定基準データを用いて、正規化部３２０から出力された正規化顔画像に含まれる顔の属性を判定するものである。そして、判定結果（顔属性情報、積算結果値等）を特徴点算出部３４０、顔特徴量抽出部３５０、類似度算出部３６０および特定人物情報登録部３７０に出力する。例えば、正規化部３２０から出力された正規化顔画像について、属性判定基準データ保持部３３１に保持されている属性判定基準データがどの程度満たされるか否かを算出することにより、各属性についての積算結果値が得られる。ここで、属性判定部３３０により判定される顔の属性は、例えば、顔の表情、年齢や年代、性別、目の開閉、人種、眼鏡の有無や種類、ヒゲの有無や種類、帽子の有無や種類、アクセサリーの有無や種類、髪型、顔の向き等である。なお、顔の表情とは、例えば、笑顔、真剣な顔、悲しい顔、怒った顔等である。なお、顔の属性の判定については、図５乃至図８を参照して詳細に説明する。
【００５１】
属性判定基準データ保持部３３１は、属性判定部３３０による判定に用いられる複数の属性判定基準データから構成されている属性判定用辞書を、顔の属性毎に保持するものである。この属性判定基準データは、属性判定部３３０により判定される顔の属性に関して予め十分に学習をさせた基準データである。なお、属性判定用辞書については、図６を参照して詳細に説明する。
【００５２】
特徴点算出部３４０は、正規化部３２０から出力された正規化顔画像に含まれる顔上に設定すべき特徴点の位置を算出して決定するものであり、算出された特徴点の位置を含む正規化顔画像を顔特徴量抽出部３５０に出力する。具体的には、特徴点算出部３４０は、特徴点座標テーブル保持部３４１に保持されている特徴点座標テーブルに含まれる特徴点座標について、属性判定部３３０から出力された判定結果に基づいて変更等を行う。そして、正規化部３２０から出力された正規化顔画像に含まれる顔上に設定すべき特徴点の位置を算出して決定する。なお、正規化顔画像に含まれる顔上に設定すべき特徴点の位置の算出については、図９乃至図１１を参照して詳細に説明する。
【００５３】
特徴点座標テーブル保持部３４１は、特徴点算出部３４０による特徴点の位置の算出に用いられる特徴点座標テーブルを保持するものである。なお、特徴点座標テーブルについては、図９を参照して詳細に説明する。
【００５４】
顔特徴量抽出部３５０は、特徴点算出部３４０から出力された正規化顔画像に含まれる各特徴点における特徴量である顔特徴量を抽出するものであり、抽出された顔特徴量を類似度算出部３６０および特定人物情報登録部３７０に出力する。本発明の実施の形態では、特徴点における特徴量の抽出方法として、ガボア・フィルタを用いた抽出方法を例にして説明する。なお、ガボア・フィルタを用いて抽出された特徴量は、ガボア・ジェットと呼ばれている。また、本発明の実施の形態では、属性判定部３３０から出力された判定結果に基づいてガボア・フィルタの変更等を行う。なお、ガボア・フィルタを用いた特徴量の抽出方法については、図１２乃至図１４を参照して詳細に説明する。また、顔特徴量抽出部３５０は、特許請求の範囲に記載の特徴量抽出部の一例である。
【００５５】
類似度算出部３６０は、顔特徴量抽出部３５０から出力された顔特徴量と、特定人物情報記憶部３８０から読み出された顔特徴量との類似度を算出するものであり、この算出された類似度をＣＰＵ１１０および特定人物情報登録部３７０に出力する。具体的には、類似度算出部３６０は、類似度算出基準データ保持部３６１に保持されている類似度算出基準データを用いて、顔特徴量抽出部３５０から出力された顔特徴量と特定人物情報記憶部３８０から読み出された顔特徴量とを比較する。そして、この比較結果に基づいて、これらの顔特徴量の類似度を算出する。この算出された類似度は、顔検出部２００により検出された顔が、特定人物情報記憶部３８０に顔特徴量が記憶されている特定人物と同一人物の顔であるか否かを示す類似度である。本発明の実施の形態では、属性判定部３３０から出力された判定結果に基づいて、類似度の算出に用いられる類似度算出基準データの変更等を行う。なお、類似度の算出については、図１５乃至図２２等を参照して詳細に説明する。
【００５６】
類似度算出基準データ保持部３６１は、類似度算出部３６０の判定に用いられる複数の類似度算出基準データから構成されている類似度算出用辞書を、顔の属性毎に保持するものである。この類似度算出基準データは、類似度算出部３６０により算出される顔の類似度に関して予め十分に学習をさせた基準データである。類似度算出用辞書については、図１７を参照して詳細に説明する。
【００５７】
特定人物情報登録部３７０は、コントローラ３１０の指示に基づいて、一定の条件を満たす特定人物情報を特定人物情報記憶部３８０に登録するものである。すなわち、ユーザが特定人物情報の登録を指示した場合、または、撮像装置１００の内部で一定の条件が満たされたと判断された場合に登録処理が実行される。この登録処理については、図２３および図２５を参照して詳細に説明する。なお、特定人物情報登録部３７０は、特許請求の範囲に記載の対象物情報登録部の一例である。
【００５８】
特定人物情報記憶部３８０は、特定人物の顔について抽出された顔特徴量と、この特定人物について判定された顔の属性とを人物毎に関連付けて記憶するものであり、記憶されている顔特徴量および顔の属性を画像バス１９０を介して類似度算出部３６０に供給する。また、特定人物情報記憶部３８０は、特定人物情報登録部３７０から出力された顔特徴量を人物毎に上書きまたは追加して記録する。なお、特定人物情報記憶部３８０の記憶内容については、図１５を参照して詳細に説明する。
【００５９】
次に、顔画像を正規化する場合について図面を参照して詳細に説明する。
【００６０】
図４は、本発明の実施の形態における顔検出部２００により検出された顔を含むその周辺画像である顔画像を正規化する場合における正規化の一例を示す図である。
【００６１】
図４（ａ）は、カメラ信号処理部１２３から出力された画像データに対応する撮像画像４００を示す図である。撮像画像４００には人物４０１の顔４０２が含まれているものとする。この場合に、顔検出部２００により撮像画像４００から顔４０２が検出されると、顔４０２の検出結果が顔検出部２００から個人識別部３００に出力される。個人識別部３００が顔４０２の検出結果を入力すると、顔４０２を含む顔画像４０３が画像ＲＡＭ１３０から読み出され、この読み出された顔画像４０３が正規化部３２０に入力される。
【００６２】
図４（ｂ）および（ｃ）は、顔検出部２００により検出された顔４０２を含む顔画像４０３を正規化する場合における遷移を示す図である。この例では、顔画像を正規化する際に基準となる基準位置４１０が規定されている。基準位置４１０は、例えば、顔検出部２００により検出された顔に含まれる両目が、ほぼ水平に保たれるとともに、正規化顔画像における一定の位置に配置されるように、顔画像を変換するための基準位置である。なお、両目の検出方法として、例えば、顔検出方法と同様に、テンプレートマッチング処理による目検出方法等を用いることができる。
【００６３】
例えば、撮像画像４００から取り出された顔画像４０３について、顔画像４０３に含まれる顔４０２が一定の大きさになるように解像度変換される。そして、顔４０２に含まれる目４０４および４０５の中心位置が、基準位置４１０の線上に合致するとともに、ほぼ水平に保たれるように、顔画像がアフィン変換等によって回転処理されて、正規化顔画像４２０が生成される。
【００６４】
なお、本発明の実施の形態では、両目の中心位置を基準として正規化を行う場合について説明するが、顔に含まれる両目以外の他の器官の位置を基準として用いるようにしてもよい。
【００６５】
次に、顔の属性判定について図面を参照して詳細に説明する。
【００６６】
図５は、本発明の実施の形態における属性判定部３３０による顔属性の判定対象となる顔画像を概略的に示す図である。図５（ａ）には人物の顔として通常の顔４３１を含む正規化顔画像４３０を示し、図５（ｂ）には人物の顔として笑顔４４１を含む正規化顔画像４４０を示す。ここで、通常の顔と笑顔とを比較した場合、一般的に、笑顔には、目が細くなる、眉尻や目尻が下がる、頬の位置が上がる、鼻の両脇が横に広がる、口が横に広がる、口が開く、口の両端が上がる等の特徴的な点が生じることが多い。そこで、これらの笑顔の特徴的な状態に対応する属性判定基準データを属性判定基準データ保持部３３１に保持しておき、この属性判定基準データを笑顔の属性判定または笑顔の度合い判定に用いる。この属性判定基準データを用いた判定方法については、図６乃至図８を参照して詳細に説明する。また、図５（ｂ）に示す位置４４２乃至４４７については、図６を参照して詳細に説明する。
【００６７】
図６は、本発明の実施の形態における属性判定部３３０が顔の属性判定を行う際に用いられる属性判定用辞書の構成例を示す図である。本発明の実施の形態では、正規化顔画像における画素差分による相関性判断手法を用いて顔の属性判定を行う例について説明する。
【００６８】
属性判定用辞書４５０を構成する属性判定基準データは、正規化顔画像の座標０（ｘ，ｙ）４５１および座標１（ｘ，ｙ）４５２と、座標０および座標１のレベル差（輝度差）の閾値（θ）４５３と、基準データの重み（α）４５４とから構成されている。正規化顔画像の座標０（ｘ，ｙ）４５１および座標１（ｘ，ｙ）４５２は、正規化顔画像における２点の位置を示す座標である。座標０および座標１のレベル差の閾値（θ）４５３は、座標０および座標１のレベル差（輝度差）に対する閾値である。基準データの重み（α）４５４は、座標０および座標１のレベル差の値と、座標０および座標１のレベル差の閾値（θ）４５３との比較結果に基づいて加算される重み係数である。また、属性判定用辞書４５０には、これらの各値の組合せからなる基準データがｎ個格納されている。なお、本発明の実施の形態で示す基準データは、弱判別器（弱仮説）と称される。
【００６９】
属性判定基準データを構成する各値は、例えば、アダブースト（ＡｄａＢｏｏｓｔ）等の機械学習アルゴリズムにより学習されたもののうちで、最も効果的な上位３００乃至１０００組の組合せを用いて設定される。このように、各属性判定用辞書の形式が同一であるため、複数の判定処理を同一のアルゴリズムで行うことができる。
【００７０】
次に、正規化顔画像について属性判定用辞書を用いて顔の属性判定を行う例について図面を参照して詳細に説明する。この例では、図５（ｂ）に示す正規化顔画像４４０の左上隅を原点として、横軸をｘ軸とし、縦軸をｙ軸として、正規化顔画像４４０について属性判定用辞書４５０を用いた属性判定処理をする場合について説明する。
【００７１】
例えば、属性判定用辞書４５０の１行目（基準データ０）に格納されている座標０（ｘ，ｙ）４５１の値に対応する正規化顔画像４４０の位置を位置４４２とし、座標１（ｘ，ｙ）４５２の値に対応する正規化顔画像４４０の位置を位置４４３とする。また、属性判定用辞書４５０の２行目（基準データ１）に格納されている座標０（ｘ，ｙ）４５１の値に対応する正規化顔画像４４０の位置を位置４４４とし、座標１（ｘ，ｙ）４５２の値に対応する正規化顔画像４４０の位置を位置４４５とする。さらに、属性判定用辞書４５０の３行目（基準データ２）に格納されている座標０（ｘ，ｙ）４５１の値に対応する正規化顔画像４４０の位置を位置４４６とし、座標１（ｘ，ｙ）４５２の値に対応する正規化顔画像４４０の位置を位置４４７とする。
【００７２】
最初に、判定を行うためのスコアＳの値に０がセットされ、属性判定用辞書４５０の基準データ０に含まれる各値を用いた演算が行われる。具体的には、属性判定用辞書４５０基準データ０に含まれる座標０（ｘ，ｙ）４５１の値に対応する位置４４２における輝度の値Ａ（０）と、座標１（ｘ，ｙ）４５２の値に対応する位置４４３における輝度の値Ｂ（０）とが抽出される。そして、次式を用いて、抽出された各輝度の値の差Ｃ（０）が算出される。
Ｃ（０）＝Ａ（０）−Ｂ（０）
【００７３】
続いて、算出された各輝度の差の値Ｃ（０）と、属性判定用辞書４５０基準データ０に含まれる閾値（θ）４５３の値とを比較して、算出された値Ｃ（０）が閾値（θ）４５３の値よりも大きいか否かが判断される。算出された値Ｃ（０）が閾値（θ）４５３の値以下である場合には、属性判定用辞書４５０の基準データ０に含まれる重み（α）４５４の値をスコアＳに加算する。一方、算出された値Ｃ（０）が閾値（θ）４５３の値よりも大きい場合には、属性判定用辞書４５０の基準データ０に含まれる重み（α）４５４の値をスコアＳに加算しない。
【００７４】
続いて、属性判定用辞書４５０の基準データ１に含まれる各値を用いて、上述した各演算を繰り返す。具体的には、属性判定用辞書４５０の基準データ１に含まれる座標０（ｘ，ｙ）４５１の値に対応する位置４４４における輝度の値Ａ（１）と、座標１（ｘ，ｙ）４５２の値に対応する位置４４５における輝度の値Ｂ（１）とが抽出される。そして、次式を用いて、抽出された各輝度の値の差Ｃ（１）が算出される。
Ｃ（１）＝Ａ（１）−Ｂ（１）
【００７５】
続いて、算出された各輝度の差の値Ｃ（１）と、属性判定用辞書４５０の基準データ１に含まれる閾値（θ）４５３の値とを比較して、算出された値Ｃ（１）が閾値（θ）４５３の値よりも大きいか否かが判断される。算出された値Ｃ（１）が閾値（θ）４５３の値以下である場合には、属性判定用辞書４５０の基準データ１に含まれる重み（α）４５４の値をスコアＳに加算する。一方、算出された値Ｃ（１）が閾値（θ）４５３の値よりも大きい場合には、属性判定用辞書４５０の基準データ１に含まれる重み（α）４５４の値をスコアＳに加算しない。
【００７６】
続いて、属性判定用辞書４５０の基準データ２以降、基準データｎ−１までの各値を順次用いて、上述した各演算を繰り返す。
【００７７】
すなわち、正規化顔画像４４０について属性判定用辞書４５０を用いた判定処理をする場合には、属性判定用辞書４５０の基準データ０乃至ｎ−１に含まれる各値を順次用いて、式１を用いてＣ（ｉ）が算出される。そして、算出されたＣ（ｉ）が式２を満たすか否かが判定される。ここで、変数ｉは整数であり、０からｎ−１の値を示す。
Ｃ（ｉ）＝Ａ（ｉ）−Ｂ（ｉ）……（式１）
Ｃ（ｉ）＞θ（ｉ） ……（式２）
【００７８】
そして、算出されたＣ（ｉ）が式２を満たす場合には、α（ｉ）の値がスコアＳに加算されず、算出されたＣ（ｉ）が式２を満たさない場合には、α（ｉ）の値がスコアＳに加算される。ここで、基準データｉに含まれる座標０（ｘ，ｙ）４５１に対応する輝度の値をＡ（ｉ）で表し、基準データｉに含まれる座標１（ｘ，ｙ）４５２に対応する輝度の値をＢ（ｉ）で表す。また、基準データｉに含まれる閾値（θ）４５３の値をθ（ｉ）で表し、基準データｉに含まれる重み（α）４５４の値をα（ｉ）で表す。
【００７９】
そして、属性判定用辞書４５０の基準データｎ−１に含まれる各値を用いた各演算が終了した後に、積算結果値であるスコアＳの値に基づいて各属性が判定される。
【００８０】
ここで、属性判定用辞書の基準データ０乃至ｎ−１に含まれる各値を用いた各演算の終了後におけるスコアＳｎ（Ｐ）は、次の式３で表すことができる。
【数１】
【００８１】
ここで、Ｓｎ（Ｐ）は基準データ０乃至ｎ−１の積算結果値を示し、αｉは基準データｉに含まれる重み（α）４５４の値を示し、Ｐ（ｘｉ０，ｙｉ０）は基準データｉに含まれる座標０（ｘ，ｙ）４５１に対応する輝度の値を示す。また、Ｐ（ｘｉ１，ｙｉ１）は基準データｉに含まれる座標１（ｘ，ｙ）４５２に対応する輝度の値を示し、θｉは基準データｉに含まれる閾値（θ）４５３の値を示し、ｎは基準データの数を示す。また、ｈ（ｚ）は、ｚ＞０の場合には０となり、ｚ≦０の場合には１となる関数を表すものとする。
【００８２】
次に、属性判定用辞書の基準データ０乃至ｎ−１に含まれる各値を用いて算出された積算結果値に基づいて顔属性を判定する判定方法について図面を参照して詳細に説明する。
【００８３】
図７は、本発明の実施の形態における属性判定部３３０により正規化顔画像について属性判定用辞書を用いて求められる各顔属性に関する積算結果値の範囲を示す図である。図７（ａ）には、顔属性として笑顔に関する積算結果値の範囲を示し、図７（ｂ）には、顔属性として性別に関する積算結果値の範囲を示し、図７（ｃ）には、顔属性として年代に関する積算結果値の範囲を示す。図７（ａ）乃至（ｃ）に示す各属性に関する積算結果値の範囲は、例えば、−１０００〜＋１０００の範囲とする。
【００８４】
例えば、上述の機械学習アルゴリズムによって学習時における笑顔の学習サンプルを正側とし、非笑顔の学習サンプルを負側として学習する場合を想定する。この場合において、顔属性として笑顔を判定する場合には、図７（ａ）に示す閾値４６１および４６２を用いて、笑顔／非笑顔が判定される。
【００８５】
例えば、図７（ａ）に示す笑顔に関する積算結果値の範囲において、属性判定用辞書の基準データ０乃至ｎ−１に含まれる各値を用いて算出された積算結果値であるスコアＳｎ（Ｐ）が閾値４６１未満である場合には、「非笑顔」であると判定される。一方、スコアＳｎ（Ｐ）が閾値４６２よりも大きい場合には、「笑顔」であると判定される。また、スコアＳｎ（Ｐ）が閾値４６１から閾値４６２の範囲内にある場合には、笑顔／非笑顔の何れにも判定されず、「あいまい」であると判定される。また、図７（ｂ）および（ｃ）に示す各属性についても、図７（ａ）と同様に判定することができる。これらの判定結果および積算結果値が、属性判定部３３０から特徴点算出部３４０、顔特徴量抽出部３５０および類似度算出部３６０に出力される。
【００８６】
図８は、本発明の実施の形態における属性判定部３３０から出力される各属性に関する判定結果および積算結果値の一例を示す図である。同図では、属性判定部３３０から出力される判定結果および積算結果値を顔属性判定結果４７０として一覧表で模式的に示す。なお、同図に示す識別番号００１、００２、…は、判定対象となる顔画像を識別するための番号である。同図に示すように、各正規化顔画像について判定結果および積算結果値が属性判定部３３０から出力される。例えば、顔の属性として笑顔／非笑顔４７１については、判定結果として「笑顔」、「非笑顔」、「あいまい」が出力されるとともに、積算結果値としてスコアＳｎ（Ｐ）の値が出力される。また、顔の属性として、男性／女性（性別）４７２、大人／子供（年代）４７３についても、同様に判定結果および積算結果値が出力される。
【００８７】
次に、正規化顔画像における特徴点の位置の算出について図面を参照して詳細に説明する。
【００８８】
図９は、本発明の実施の形態における正規化部３２０により生成された正規化顔画像に設定すべき特徴点の位置を算出する特徴点位置算出方法の一例を示す図である。図９（ａ）は、正規化顔画像に設定すべき特徴点の位置を算出する場合に用いられる特徴点座標テーブルの一例である特徴点座標テーブル５００を示す図である。特徴点座標テーブル５００は、正規化顔画像に設定すべき特徴点の座標を保持するものであり、特徴点座標テーブル保持部３４１に保持されている。図９（ａ）では、設定の対象となる正規化顔画像の大きさを白塗りの四角で示し、特徴点を設定すべき座標に対応する位置を黒塗りの丸で示す。ここで、例えば、特徴点座標の初期値として、大人の顔画像に合わせて各座標を定めておくものとする。また、図９乃至図１１では、説明のため、特徴点の数を比較的少なくした例を図示する。
【００８９】
図９（ｂ）は、正規化部３２０により生成された正規化顔画像の一例である正規化顔画像５１０を示す図である。ここで、正規化顔画像５１０に含まれる顔５１１は、比較的普通の大人の顔であるものとする。図９（ｃ）は、図９（ｂ）に示す正規化顔画像５１０において、図９（ａ）に示す特徴点座標テーブル５００に含まれる座標に特徴点が設定された場合を示す図である。なお、図９（ｃ）では、正規化顔画像５２０に配置された特徴点を黒塗りの丸で示す。このように、正規化部３２０により生成された正規化顔画像５１０に含まれる顔が、比較的普通の大人の顔である場合には、特徴点座標テーブル５００に含まれる座標に対応する位置に特徴点を設定することにより、比較的適切な位置に特徴点を設定することができる。
【００９０】
しかしながら、類似度算出の対象となる正規化顔画像は、両目の位置に基づいて正規化されているものの、正規化顔画像に含まれる人物の属性によっては各部に差異が生じていることが多い。このため、正規化顔画像に設定すべき特徴点座標を一義的に定めておくことは困難である場合がある。そこで、本発明の実施の形態では、属性判定部３３０により判定された顔属性に基づいて、正規化顔画像に含まれる顔に適するように、特徴点を設定する位置について変更または追加等を行う。
【００９１】
図１０は、本発明の実施の形態における正規化部３２０により生成された正規化顔画像に特徴点を設定する場合における配置例を示す図である。図１０（ａ）に示す正規化顔画像５２０は、図９（ｃ）に示す正規化顔画像５２０と同じである。図１０（ｂ）は、子供の顔が含まれる正規化顔画像５３１を示す図であり、図１０（ｃ）は、西洋人の顔が含まれる正規化顔画像５３２を示す図である。また、図１０（ｄ）は、東洋人の顔が含まれる正規化顔画像５３３を示す図であり、図１０（ｅ）は、左向きの顔が含まれる正規化顔画像５３４を示す図であり、図１０（ｆ）は、右向きの顔が含まれる正規化顔画像５３５を示す図である。
【００９２】
図１０（ｂ）に示すように、子供の顔は、一般的に、目、鼻、口等の顔の器官が真中寄りに集まっている場合が多い。例えば、年代に関する顔属性の判定結果として、子供が判定されている場合（子供の度合いが比較的高い場合）を想定する。この場合には、積算結果値である子供の度合いに応じて、子供に比べておおむね面長（おもなが）である大人の特徴点（特徴点座標テーブル５００に含まれる座標に対応する位置）を垂直方向に縮小（または、水平方向に拡大）するように変更する。
【００９３】
また、図１０（ｃ）に示すように、西洋人の顔は、一般的に、比較的面長（おもなが）である場合が多い。これに対して、図１０（ｄ）に示すように、東洋人の顔は、一般的に、比較的丸顔である場合が多い。例えば、正規化顔画像５３２に含まれる西洋人の顔の横幅Ｌ１と、正規化顔画像５３３に含まれる東洋人の顔の横幅Ｌ２とを比較した場合には、東洋人の横幅Ｌ２の値が大きい。そこで、人種に関する顔属性の判定結果に基づいて、特徴点座標テーブル５００に含まれる座標に対応する位置を水平方向に縮小または拡大するように変更する。
【００９４】
また、図１０（ｅ）または（ｆ）に示すように、左向きまたは右向きの顔については、顔の向きに応じて目、鼻、口等の顔の器官が左寄りまたは右寄りとなる。そこで、顔の向きに関する顔属性の判定結果に基づいて、特徴点座標テーブル５００に含まれる座標に対応する位置を水平方向に移動させるように変更する。図１０（ｂ）乃至（ｆ）に示すように、顔属性の判定結果に基づいて、特徴点の位置を変更することによって、類似度算出の対象となる顔に最適な特徴点の設定が可能となり、さらに高精度な特徴点算出が可能になる。これにより、個人識別の精度をさらに向上させることができる。
【００９５】
図１１は、本発明の実施の形態における正規化部３２０により生成された正規化顔画像に特徴点を設定する場合における配置例を示す図である。図１１（ａ）乃至（ｃ）に示す正規化顔画像５２０は、図９（ｃ）に示す正規化顔画像５２０と同じである。
【００９６】
図１１（ａ）に示す正規化顔画像５４０は、正規化顔画像５２０に含まれる顔５１１に眼鏡５４１が付加された場合における正規化顔画像である。図１１（ｂ）に示す正規化顔画像５５０は、正規化顔画像５２０に含まれる顔５１１にヒゲ５５１が付加された場合における正規化顔画像である。図１１（ｃ）に示す正規化顔画像５６０は、正規化顔画像５２０に含まれる顔５１１に帽子５６１が付加された場合における正規化顔画像である。
【００９７】
図１１（ａ）に示すように、検出された顔の属性として、眼鏡の積算結果値が高い場合（眼鏡ありと判定された場合等）には、眼鏡の周辺と考えられる位置に特徴点が追加される。例えば、眼鏡５４１の周辺に特徴点５４２乃至５４５が追加して配置される。また、図１１（ｂ）に示すように、検出された顔の属性として、ヒゲの積算結果値が高い場合（ヒゲありと判定された場合等）には、ヒゲの周辺と考えられる位置に特徴点が追加される。例えば、ヒゲ５５１の周辺に特徴点５５２および５５３が追加して配置される。なお、図１１（ａ）および（ｂ）に示すように特徴点を追加する代わりに、他の特徴点を、眼鏡またはヒゲの周辺に移動させるようにしてもよい。眼鏡の種類や形状、ヒゲの位置や広さについても判定することができる場合には、これらの判定結果に応じて、特徴点座標を切り替えるようにしてもよい。
【００９８】
ここで、帽子は特徴があるものの、変動し易い属性であることが多い。このため、図１１（ｃ）に示すように、検出された顔の属性として、帽子の積算結果値が高い場合（帽子ありと判定された場合等）には、頭の位置に相当すると考えられる範囲に存在する特徴点が削除される。例えば、図１１（ｃ）に示す正規化顔画像５２０において点線５６２で囲まれている特徴点が削除される。また、眼鏡、ヒゲ、帽子等の属性が複数存在する場合には、これらに応じて上述した追加または削除等を行う。図１１（ａ）乃至（ｃ）に示すように、顔属性の判定結果に基づいて、特徴点を追加または削除することによって、類似度算出の対象となる顔に最適な特徴点の設定が可能となり、さらに高精度な特徴点算出が可能になる。これにより、個人識別の精度をさらに向上させることができる。
【００９９】
これらの特徴点座標の算出は、特徴点座標テーブル保持部３４１に保持されている特徴点座標テーブル５００を初期値として、この初期値の座標を基準として、顔属性の判定結果に基づいて、拡大または縮小等の演算により行う。また、ＣＰＵ１１０から特徴点座標を直接ロードするようにしてもよい。また、両者を組み合わせるようにしてもよい。また、顔属性の判定結果に応じた複数の特徴点座標テーブルを特徴点座標テーブル保持部３４１に保持しておき、顔属性の判定結果に応じて、特徴点座標テーブルを選択するようにしてもよい。また、積算結果値の大小に応じて、特徴点座標の位置の拡大または縮小等の演算を行うようにしてもよい。
【０１００】
次に、正規化顔画像に設定された特徴点における特徴量の抽出について図面を参照して詳細に説明する。図９乃至図１１に示すように、正規化部３２０により生成された正規化顔画像に各特徴点が設定された後に、各特徴点について特徴量抽出処理を行う。なお、本発明の実施の形態では、特徴量の抽出方法として、ガボア・フィルタ（ｇａｂｏｒ ｆｉｌｔｅｒ）を用いた抽出方法を例にして説明する。なお、ガボア・フィルタは、ガボール・フィルタと称されることもある。
【０１０１】
図１２は、本発明の実施の形態における顔特徴量抽出部３５０により用いられるガボア・フィルタ、および、このガボア・フィルタの中の１つのフィルタの係数を表すグラフの例を示す図である。
【０１０２】
図１２（ａ）には、顔特徴量抽出部３５０により特徴点における特徴量の抽出に用いられるガボア・フィルタの一例を示す。ガボア・フィルタには、抽出する帯域とフィルタをかける画像上の角度との２つのパラメータが主に存在する。図１２（ａ）に示すガボア・フィルタは、横方向は角度の種類を示し、縦方向は帯域の種類を示す。この例では、帯域の種類は、下から上に進むに従って低い周波数から高い周波数となる。また、角度の種類は、２２．５度ずつ回転させたものである。すなわち、角度の種類として、０度、２２．５度、４５度、６７．５度、９０度、１１２．５度、１３５度、１５７．５度のように等間隔に設定する。このように、本発明の実施の形態では、どのような属性の顔でも特徴量を抽出することができるようなパラメータ設定として、５種類の周波数と８種類の角度とからなる４０種類のフィルタを例にして説明する。なお、本発明の実施の形態では、平均的な顔を広く対象とするパラメータ設定として４０種類のフィルタを例にして説明するが、フィルタの数等について適宜増減するようにしてもよい。例えば、角度の種類としてさらに細かく分割した角度を設定することによって、高精度な特徴量を抽出することができる。例えば、角度の種類を１０種類とする場合には、１８度、３６度、５４度、７２度、…、１６２度のように等間隔に設定することができる。また、角度の種類を１２種類とする場合には、１５度、３０度、４５度、６０度、…、１６５度のように等間隔に設定することができる。ここで、角度の種類として細かく分割した角度を設定する場合には、角度の種類の増加に応じてデータ処理量が増えることになる。そこで、処理速度や処理装置の規模との兼ね合いを考慮して、角度の種類を設定することができる。
【０１０３】
図１２（ｂ）には、図１２（ａ）に示す４０種類のガボア・フィルタの中の１つのフィルタ６００の係数を３次元空間上に表すグラフを示す。フィルタ６００は、画像上の４５度の方向に対して、比較的高めの帯域を抽出するフィルタである。また、図１２（ｂ）に示すように、フィルタ６００の係数の特徴点における振幅が頂点となるようなガウス曲線が包絡線となる。
【０１０４】
図１３は、本発明の実施の形態における正規化部３２０により生成される正規化顔画像の一例である正規化顔画像６３０を示す図である。ここでは、正規化顔画像６３０に含まれる顔６４０上に設定されている複数の特徴点の中の３つの特徴点６４１乃至６４３を用いて顔特徴量抽出部３５０が特徴量を抽出する例について説明する。
【０１０５】
特徴点６４１乃至６４３は、正規化顔画像６３０に含まれる顔６４０上に設定された特徴点であり、例えば、特徴点６４１は左目の下付近に配置され、特徴点６４２は右目の目尻付近に配置され、特徴点６４３は鼻の頭付近に配置されている。
【０１０６】
ガボア・フィルタを用いて特徴点における特徴量を抽出する場合には、特徴点の画素とその周辺に存在する画素とを含む近傍画素を用いる。この近傍画素として、例えば、特徴点を中心とする２０画素×２０画素を用いることができる。例えば、同図に示す正規化顔画像６３０に設定されている特徴点６４１乃至６４３の近傍画素をそれぞれ近傍画素６４５乃至６４７として、点線の四角で示す。
【０１０７】
そして、特徴点の近傍画素と、ガボア・フィルタに含まれる各帯域および各角度の係数とによって、次の（式４）に示すたたみ込み演算を行う。これにより、特定の人物を認識するための有意な値として、特徴点における特徴量であるガボア・ジェットが得られる。このたたみ込み演算を、各特徴点について順次演算することにより、各特徴点における特徴量（ガボア・ジェット）を得ることができる。
【数２】
【０１０８】
ここで、ｐ（ｘ，ｙ）は近傍画素の輝度を示し、ｇ（ｘ，ｙ）はガボア・フィルタ係数を示し、ｃ（ｘ，ｙ）はたたみ込み結果値を示す。
【０１０９】
ここで、本発明の実施の形態では、顔特徴量抽出部３５０は、ガボア・フィルタのパラメータの初期値をロードして、属性判定部３３０により判定された顔の属性の判定結果に基づいて、初期値のガボア・フィルタのパラメータを変更する。すなわち、属性判定部３３０により判定された顔の属性の判定結果に基づいて、ガボア・フィルタのパラメータである通過帯域や特徴抽出角度を切り替える。
【０１１０】
例えば、属性判定部３３０による顔属性の判定結果として、「子供」または「赤ちゃん」の積算結果値が高い場合（「子供」または「赤ちゃん」と判定された場合）には、低周波数帯域のフィルタの種類を増やすことによりパラメータを最適化することができる。一方、「大人」の積算結果値が高い場合（「大人」であると判定された場合）には、高周波数帯域のフィルタの種類を増やすことによりパラメータを最適化することができる。ここで、一般的に、「子供」や「赤ちゃん」の顔は、「大人」と比較して、なめらかな肌（なだらかな肌）であることが多い。このように顔の表面がなめらかな肌である場合には、顔の表面の変化が少ない。このため、「子供」または「赤ちゃん」の顔について特徴量を抽出する場合には、高周波数帯域よりも低周波数帯域を重視することによって、さらに高精度な特徴量を抽出することができる。一方、「大人」の顔について特徴量を抽出する場合には、低周波数帯域よりも高周波数帯域を重視することによって、さらに高精度な特徴量を抽出することができる。また、例えば、笑顔の積算結果値が高い場合には、笑顔に最適なガボア・フィルタ帯域、または、最適なガボア・フィルタ角度に切り替える。このように顔の属性の判定結果に基づいて、ガボア・フィルタを変更することにより、さらに高精度な特徴点における特徴量の抽出が可能になる。
【０１１１】
なお、ガボア・フィルタのパラメータの初期値は、内部メモリに保持しておくようにしてもよく、ＣＰＵ１１０から設定するようにしてもよい。
【０１１２】
図１４は、本発明の実施の形態における顔特徴量抽出部３５０により抽出された特徴量の集合である顔特徴量を模式的に示す図である。図１４では、図１２（ａ）に示すガボア・フィルタを用いて、正規化顔画像に設定された特徴点における特徴量が抽出された場合における各特徴量の集合である顔特徴量６５０を模式的に示す。
【０１１３】
顔特徴量６５０は、正規化顔画像に２０点の特徴点が設定されている場合において、５種類の帯域と８種類の角度とからなるガボア・フィルタを用いて各特徴点における特徴量が抽出された場合におけるガボア・ジェットの集合を示す。顔特徴量６５０は、例えば、特徴点毎に抽出された２０個のガボア・ジェットを、行６５１乃至６５５と列６５６乃至６５９とからなる行列状に示すものである。また、１個のガボア・ジェットを構成する各特徴量の大きさについては、大小に応じて白黒の色レベルで示す。なお、図１４に示すガボア・ジェットの配置構成は一例であり、保存形式とは無関係である。また、顔特徴量を用いた類似度の算出については、図１８を参照して詳細に説明する。
【０１１４】
図１５は、本発明の実施の形態における特定人物情報記憶部３８０に記憶されている各情報を模式的に示す図である。特定人物情報記憶部３８０には、特定人物の顔に関する各特定人物情報が記憶されている。具体的には、特定人物の顔に関する顔特徴量と、その顔に関する顔属性情報と、その顔を含む登録顔画像と、これらの各情報に付随する付随情報とが関連付けて記憶されている。例えば、顔属性情報として、笑顔／非笑顔３８２、男性／女性（性別）３８３、大人／子供（世代）３８４、目の開閉３８５、顔の向き３８６、ヒゲの有無３８７、眼鏡の有無３８８が記憶され、付随情報として、登録日時３８９、登録場所３９０が記憶される。
【０１１５】
図１５では、特定人物として３人の人物に関する特定人物情報が特定人物情報記憶部３８０に記憶されている場合を例にして示す。また、各特定人物に関する特定人物情報として、３つの異なる特定人物情報が記憶されているものとする。例えば、識別番号３８１「１００」にはＡ氏に関する３組の特定人物情報が、それぞれ「１０１」、「１０２」、「１０３」に関連付けて記憶されているものとする。同様に、識別番号３８１「２００」にはＢ氏に関する３組の特定人物情報が、それぞれ「２０１」、「２０２」、「２０３」に関連付けて記憶されているものとする。また、識別番号３８１「３００」にはＣ氏に関する３組の特定人物情報が、それぞれ「３０１」、「３０２」、「３０３」に関連付けて記憶されているものとする。
【０１１６】
笑顔／非笑顔３８２、男性／女性（性別）３８３等の顔属性情報として、例えば、属性判定部３３０により算出された積算結果値が記憶される。この積算結果値により各顔属性を特定することができる。図１５では、各積算結果値の下に、その積算結果値により特定される顔属性を括弧内に示す。なお、顔検出部２００から出力された顔の向き、顔らしさを示す数値等を顔属性情報として記憶するようにしてもよい。
【０１１７】
登録日時３８９には、特定人物情報が記憶された際における日時が記憶される。この日時は、例えば、ＣＰＵ１１０から出力される日時情報に基づいて記憶される。また、登録場所３９０には、特定人物情報が記憶された際における場所が記憶される。この場所は、例えば、ＧＰＳ信号処理部１９５により算出された位置情報に基づいてＣＰＵ１１０が場所（例えば、市町村単位）を特定し、この特定された場所が記憶される。
【０１１８】
顔特徴量３９１には、正規化顔画像について抽出されたガボア・ジェットの集合である顔特徴量が記憶される。図１５では、顔特徴量３９１に記憶されている顔特徴量を省略して示す。
【０１１９】
登録顔画像３９２には、特定人物情報が記憶された際における正規化顔画像の画像データ（圧縮または非圧縮）が記憶される。図１５では、登録顔画像３９２に記憶されている正規化顔画像の画像データを図形化して顔画像として示す。なお、登録顔画像３９２に記憶されている正規化顔画像は、例えば、ユーザからの指示操作により表示部１５０に表示させることができる。これにより、登録されている顔をユーザが随時確認することができる。
【０１２０】
このように、１人の特定人物について異なる複数の特定人物情報を記憶しておくことにより、撮像状態や顔の表情が変化したような場合でも適切に個人識別を行うことができる。例えば、笑っているＡ氏が含まれる撮像画像からＡ氏の顔を識別する場合に、Ａ氏に関する３組の特定人物情報のうちの識別番号３８１「１０２」を用いて類似度を算出することができる。また、例えば、通常のＡ氏が含まれる撮像画像からＡ氏の顔を識別する場合に、Ａ氏に関する３組の特定人物情報のうちの識別番号３８１「１０１」を用いて類似度を算出することができる。さらに、例えば、左向きのＡ氏が含まれる撮像画像からＡ氏の顔を識別する場合に、Ａ氏に関する３組の特定人物情報のうちの識別番号３８１「１０３」を用いて類似度を算出することができる。このように、Ａ氏について３組の特定人物情報を記憶しておくことにより、撮像状態や顔の表情が変化したような場合でも適切にＡ氏の顔を識別することができる。なお、この例では、１人の特定人物について３組の特定人物情報を記憶する例を示すが、１人の特定人物について１、２または４組以上の特定人物情報を記憶するようにしてもよい。また、手動設定等により特定人物情報の数を特定人物毎に変更するようにしてもよい。さらに、記憶容量に応じて、特定人物情報の数を適宜変更するようにしてもよい。なお、特定人物情報記憶部３８０への特定人物情報の登録方法については、図２３および図２５を参照して詳細に説明する。
【０１２１】
図１６は、本発明の実施の形態における類似度算出基準データ保持部３６１に保持されている類似度算出用辞書を模式的に示す図である。類似度算出基準データ保持部３６１は、顔特徴量同士の類似度を算出する場合に最適な類似度算出用辞書を有限個数保持する内部メモリである。類似度算出基準データ保持部３６１には、例えば、一般用辞書７０１と、子供用辞書７０２と、大人用辞書７０３と、目閉じ用辞書７０４と、目開き用辞書７０５とが保持される。また、類似度算出基準データ保持部３６１には、例えば、右向き用辞書７０６と、正面向き用辞書７０７と、左向き用辞書７０８と、ヒゲ用辞書７０９と、眼鏡用辞書７１０とが保持される。一般用辞書７０１は、年齢や性別等を全て平均化し、ごく一般的な顔に関して最適となる基準データのみを保持する辞書である。これに対して、子供用辞書７０２乃至眼鏡用辞書７１０は、所定の顔属性に限定して学習させた辞書であり、所定の顔属性に応じた顔に関して最適となる基準データを保持する辞書である。
【０１２２】
図１７は、本発明の実施の形態における類似度算出部３６０が判定対象の顔の類似度を算出する際に用いられる類似度算出用辞書の構成例を示す図である。同図では、正規化顔画像に設定された各特徴点から抽出されたガボア・ジェットを用いて、判定対象の顔の類似度を算出する場合を例にして示す。また、本発明の実施の形態では、顔属性判定と同様に、差分による相関性判断手法を用いて顔の類似度を算出する例について説明する。
【０１２３】
類似度算出用辞書６６０を構成する類似度算出基準データは、顔特徴量の座標０（ｘ，ｙ）６６１および座標１（ｘ，ｙ）６６２と、座標０および座標１のレベル差の閾値（θ）６６３と、基準データの重み（α）６６４とから構成されている。顔特徴量の座標０（ｘ，ｙ）６６１および座標１（ｘ，ｙ）６６２は、顔特徴量における２点の位置を示す座標である。座標０および座標１のレベル差の閾値（θ）６６３は、座標０および座標１の顔特徴量の差分値に対する閾値である。基準データの重み（α）６６４は、座標０および座標１の顔特徴量の差分値と、座標０および座標１のレベル差の閾値（θ）６６３との比較結果に基づいて加算される重み係数である。また、類似度算出用辞書６６０には、これらの各値の組合せからなる基準データがｎ個格納されている。なお、顔特徴量における２点の位置を示す顔特徴量の座標の代わりに、他の位置情報を保持して用いるようにしてもよい。例えば、各ガボア・ジェットに識別番号を付与しておき、ガボア・ジェットの識別番号と、ガボア・ジェットの帯域の種類および角度の種類とを位置情報として用いることができる。
【０１２４】
次に、類似度算出用辞書を用いて判定対象の顔の類似度を算出する例について図面を参照して詳細に説明する。
【０１２５】
図１８は、本発明の実施の形態における類似度算出部３６０が判定対象の顔の類似度を算出する類似度算出方法を概略的に示す図である。同図では、正規化顔画像に設定された各特徴点から抽出されたガボア・ジェットを用いて、判定対象の顔の類似度を算出する算出方法を例にして示す。
【０１２６】
判定対象の顔特徴量６７０は、正規化顔画像に設定された各特徴点から抽出された複数のガボア・ジェットから構成される顔特徴量である。また、登録顔特徴量６８０は、特定人物情報記憶部３８０に記憶されている特定人物の顔に関する複数のガボア・ジェットから構成される顔特徴量である。判定対象の顔特徴量６７０および登録顔特徴量６８０は、例えば、図１４に示す顔特徴量６５０に対応するものであり、判定対象の顔特徴量６７０および登録顔特徴量６８０には、同じ形式であるとともに同じ数のガボア・ジェットが格納されているものとする。
【０１２７】
この例では、判定対象の顔特徴量６７０および登録顔特徴量６８０の左上隅を原点として、横軸をｘ軸とし、縦軸をｙ軸として、類似度算出用辞書６６０を用いて、判定対象の顔特徴量６７０と登録顔特徴量６８０との類似度を算出する場合について説明する。
【０１２８】
例えば、類似度算出用辞書６６０の１行目（基準データ０）に格納されている座標０（ｘ，ｙ）６６１の値に対応する判定対象の顔特徴量６７０の位置を位置６７１とし、座標０（ｘ，ｙ）６６１の値に対応する登録顔特徴量６８０の位置を位置６８１とする。また、座標１（ｘ，ｙ）６６２の値に対応する判定対象の顔特徴量６７０の位置を位置６７２とし、座標１（ｘ，ｙ）６６２の値に対応する登録顔特徴量６８０の位置を位置６８２とする。なお、判定対象の顔特徴量６７０および登録顔特徴量６８０において、座標０（ｘ，ｙ）６６１および座標１（ｘ，ｙ）６６２の値に対応する位置は、１個のガボア・ジェットを構成する各特徴量の中の１つの特徴量の位置である。この特徴量の位置は、例えば、図１４に示す顔特徴量６５０において、行６５１および列６５６に対応する１個のガボア・ジェット（左上隅に存在するガボア・ジェット）の中の１つの特徴量（白黒の色レベルで示す四角）６７３の位置である。
【０１２９】
最初に、類似度算出のためのスコアＳ１の値に０がセットされ、類似度算出用辞書６６０の基準データ０に含まれる各値を用いた演算が行われる。具体的には、類似度算出用辞書６６０の基準データ０に含まれる座標０（ｘ，ｙ）６６１の値に対応する判定対象の顔特徴量６７０の位置６７１における特徴量の値Ａ０（０）と、登録顔特徴量６８０の位置６８１における特徴量の値Ｂ０（０）とが取り出される。そして、次式を用いて、取り出された特徴量の値の差の絶対値Ｃ０（０）が算出される（６９１）。
Ｃ０（０）＝｜Ａ０（０）−Ｂ０（０）｜
【０１３０】
続いて、類似度算出用辞書６６０の基準データ０に含まれる座標１（ｘ，ｙ）６６２の値に対応する判定対象の顔特徴量６７０の位置６７２における特徴量の値Ａ１（０）と、登録顔特徴量６８０の位置６８２における特徴量の値Ｂ１（０）とが取り出される。そして、次式を用いて、取り出された特徴量の値の差の絶対値Ｃ１（０）が算出される（６９２）。
Ｃ１（０）＝｜Ａ１（０）−Ｂ１（０）｜
【０１３１】
続いて、次式を用いて、算出された絶対値Ｃ０（０）と絶対値Ｃ１（０）との差の絶対値Ｃ２（０）が算出される（６９３）。
Ｃ２（０）＝｜Ｃ０（０）−Ｃ１（０）｜
【０１３２】
続いて、算出された絶対値Ｃ２（０）と、類似度算出用辞書６６０の基準データ０に含まれる閾値（θ）６６３の値とを比較して、算出された絶対値Ｃ２（０）が閾値（θ）６６３の値よりも大きいか否かが判断される。算出された絶対値Ｃ２（０）が閾値（θ）６６３の値以下である場合には、類似度算出用辞書６６０の基準データ０に含まれる重み（α）６６４の値をスコアＳ１に加算する。一方、算出された絶対値Ｃ２（０）が閾値（θ）６６３の値よりも大きい場合には、類似度算出用辞書６６０の基準データ０に含まれる重み（α）６６４の値をスコアＳ１に加算しない。
【０１３３】
続いて、類似度算出用辞書６６０の基準データ１以降、基準データｎ−１までの各値を順次用いて、上述した各演算を繰り返す。
【０１３４】
すなわち、判定対象の顔特徴量６７０および登録顔特徴量６８０について類似度算出用辞書６６０を用いた類似度算出処理をする場合には、類似度算出用辞書６６０の基準データ０乃至ｎ−１に含まれる各値を順次用いる。そして、式５乃至７を用いてＣ２（ｉ）が算出され、算出されたＣ２（ｉ）が式８を満たすか否かが判定される。ここで、変数ｉは整数であり、０からｎ−１の値を示す。
Ｃ０（ｉ）＝｜Ａ０（ｉ）−Ｂ０（ｉ）｜……（式５）
Ｃ１（ｉ）＝｜Ａ１（ｉ）−Ｂ１（ｉ）｜……（式６）
Ｃ２（ｉ）＝｜Ｃ０（ｉ）−Ｃ１（ｉ）｜……（式７）
Ｃ２（ｉ）＞θ（ｉ） ……（式８）
【０１３５】
そして、算出されたＣ２（ｉ）が式８を満たす場合には、α（ｉ）の値がスコアＳ１に加算されず、算出されたＣ２（ｉ）が式８を満たさない場合には、α（ｉ）の値がスコアＳ１に加算される。ここで、基準データｉに含まれる座標０（ｘ，ｙ）６６１に対応する判定対象の顔特徴量６７０の特徴量をＡ０（ｉ）で表すとともに、登録顔特徴量６８０の特徴量をＢ０（ｉ）で表す。また、基準データｉに含まれる座標１（ｘ，ｙ）６６２に対応する判定対象の顔特徴量６７０の特徴量をＡ１（ｉ）で表すとともに、登録顔特徴量６８０の特徴量をＢ１（ｉ）で表す。また、基準データｉに含まれる閾値（θ）６６３の値をθ（ｉ）で表し、基準データｉに含まれる重み（α）６６４の値をα（ｉ）で表す。
【０１３６】
そして、類似度算出用辞書６６０の基準データｎ−１に含まれる各値を用いた各演算が終了した後に、積算結果値であるスコアの値が、類似度を示す値として出力される。このように、ガボア・ジェットの状態で保持されている登録顔特徴量と判定対象の顔特徴量との間で、２段階に渡って類似度を算出する。
【０１３７】
ここで、類似度算出用辞書６６０の基準データ０乃至ｎ−１に含まれる各値を用いた各演算の終了後におけるスコアＳ１ｎ（Ｐ）は、次の式９で表すことができる。
【数３】
【０１３８】
ここで、Ｓ１ｎ（Ｐ）は基準データ０乃至ｎ−１の積算結果値を示し、αｉは基準データｉに含まれる重み（α）６６４の値を示す。また、Ｐ０（ｘｉ０，ｙｉ０）は基準データｉに含まれる座標０（ｘ，ｙ）６６１に対応する判定対象の顔特徴量６７０における特徴量の値を示す。また、Ｐ１（ｘｉ０，ｙｉ０）は基準データｉに含まれる座標０（ｘ，ｙ）６６１に対応する登録顔特徴量６８０における特徴量の値を示す。また、Ｐ０（ｘｉ１，ｙｉ１）は基準データｉに含まれる座標１（ｘ，ｙ）６６２に対応する判定対象の顔特徴量６７０における特徴量の値を示す。また、Ｐ１（ｘｉ１，ｙｉ１）は基準データｉに含まれる座標１（ｘ，ｙ）６６２に対応する登録顔特徴量６８０における特徴量の値を示し、θｉは基準データｉに含まれる閾値（θ）６６３の値を示し、ｎは基準データの数を示す。また、ｈ（ｚ）は、ｚ＞０の場合には０となり、ｚ≦０の場合には１となる関数を表すものとする。
【０１３９】
なお、顔属性の判定結果または顔属性の積算結果値に基づいて、重み（α）６６４の値または閾値（θ）６６３の値を変更して最適化を図るようにしてもよい。例えば、顔属性の判定結果または顔属性の積算結果値に応じた値を、重み（α）６６４の値または閾値（θ）６６３の値に乗算することができる。
【０１４０】
次に、判定対象の顔の類似度を算出する場合に用いられる類似度算出用辞書について図面を参照して詳細に説明する。
【０１４１】
図１９は、本発明の実施の形態における類似度算出部３６０による判定対象の顔の類似度算出に用いられる類似度算出用辞書の例を示す図である。この例では、年代に関する顔属性の判定結果に応じて類似度算出用辞書を選択する例を示す。
【０１４２】
例えば、同図に示すように、顔属性の判定結果にかかわらず、最初は一般用辞書７０１を用いる。一般用辞書７０１は、一般的な類似度算出の１０００組の類似度算出基準データにより構成されている類似度算出用辞書である。一般用辞書７０１を用いた類似度算出処理が終了した後には、年代に関する顔属性の判定結果が大人であるか子供であるかに応じて、子供用辞書７０２または大人用辞書７０３を用いて類似度算出処理を行う。子供用辞書７０２は、子供の類似度算出に最適な１０００組の類似度算出基準データにより構成されている類似度算出用辞書である。また、大人用辞書７０３は、大人の類似度算出に最適な５００組の類似度算出基準データにより構成されている類似度算出用辞書である。ここで、一般に子供は大人よりも個体差が少なく、特徴量抽出が困難であると考えられているため、大人用辞書７０３では５００組の類似度算出基準データを用いるのに対し、子供用辞書７０２では１０００組の類似度算出基準データを用いる。このように、特徴量抽出の難易度に応じて類似度算出基準データの組数を変えて保持することにより、対象となる顔に最適な類似度算出基準データを、最適な組数だけ用いて類似度算出処理を行うことができ、高精度な個人識別を実現することができる。
【０１４３】
図２０は、本発明の実施の形態における類似度算出部３６０による判定対象の顔の類似度算出に用いられる類似度算出用辞書の例を示す図である。この例では、目の開閉に関する顔属性の判定結果に応じて類似度算出用辞書を選択する例を示す。
【０１４４】
例えば、同図に示すように、顔属性の判定結果にかかわらず、最初は一般用辞書７０１を用いる。そして、一般用辞書７０１を用いた類似度算出処理が終了した後には、目の開閉に関する顔属性の判定結果に応じて、目開き用辞書７０５または目閉じ用辞書７０４を用いて類似度算出処理を行う。目開き用辞書７０５は、目が開いた状態の顔の類似度算出に最適な３００組の類似度算出基準データにより構成されている類似度算出用辞書である。また、目閉じ用辞書７０４は、目が閉じた状態の顔の類似度算出に最適な３００組の類似度算出基準データにより構成されている類似度算出用辞書である。
【０１４５】
また、特定人物情報記憶部３８０の目の開閉３８５の積算結果値により「開」が特定される登録顔（登録人物の顔）について類似度算出をする場合を考える。例えば、判定対象の顔についての目の開閉に関する顔属性の判定結果が「閉」である場合には、一般用辞書７０１を用いた類似度算出処理が終了した後に、目閉じ用辞書７０４を用いて類似度算出処理を行う。この場合に、例えば、目閉じ用辞書７０４を構成する類似度算出基準データの重みを軽減するようにしてもよい。または、一般用辞書７０１を用いた類似度算出処理が終了した後には、目閉じ用辞書７０４を用いた類似度算出処理を行わずに、処理を打ち切るようにしてもよい。このように、登録顔の属性に最適な類似度算出に切り替えることによって、さらに正確な類似度を得ることができる。
【０１４６】
図２１は、本発明の実施の形態における類似度算出部３６０による判定対象の顔の類似度算出に用いられる類似度算出用辞書の例を示す図である。この例では、顔の向きに関する顔属性の判定結果に応じて類似度算出用辞書を選択する例を示す。
【０１４７】
例えば、同図に示すように、顔属性の判定結果にかかわらず、最初は一般用辞書７０１を用いる。そして、一般用辞書７０１を用いた類似度算出処理が終了した後には、顔の向きに関する顔属性の判定結果に応じて、右向き用辞書７０６、正面向き用辞書７０７または左向き用辞書７０８を用いて類似度算出処理を行う。右向き用辞書７０６は、右を向いた状態の顔の類似度算出に最適な３００組の類似度算出基準データにより構成されている類似度算出用辞書である。また、正面向き用辞書７０７は、正面を向いた状態の顔の類似度算出に最適な３００組の類似度算出基準データにより構成されている類似度算出用辞書である。また、左向き用辞書７０８は、左を向いた状態の顔の類似度算出に最適な３００組の類似度算出基準データにより構成されている類似度算出用辞書である。このように、顔の向きに応じて類似度算出用辞書を選択することにより、登録顔と判定対象となっている顔とが必ずしも同じ方向を向いていなくても、最適な重み付けで類似度算出処理を行うことができるため、さらに正確な類似度を得ることができる。
【０１４８】
図２２は、本発明の実施の形態における類似度算出部３６０による判定対象の顔の類似度算出に用いられる類似度算出用辞書の例を示す図である。この例では、眼鏡の有無およびヒゲの有無に関する顔属性の判定結果に応じて類似度算出用辞書を選択する例を示す。
【０１４９】
例えば、同図に示すように、顔属性の判定結果にかかわらず、最初は一般用辞書７０１を用いる。そして、一般用辞書７０１を用いた類似度算出処理が終了した後には、眼鏡の有無に関する顔属性の判定結果に応じて、眼鏡用辞書７１０を用いてさらに類似度算出処理を行うか、類似度算出処理を終了するかを選択する。この場合に、眼鏡用辞書７１０を用いた類似度算出処理が選択され、この類似度算出処理が終了した後には、ヒゲの有無に関する顔属性の判定結果に応じて、ヒゲ用辞書７０９を用いてさらに類似度算出処理を行うか、類似度算出処理を終了するかを選択する。眼鏡用辞書７１０は、眼鏡をかけた状態の顔の類似度算出に最適な５００組の類似度算出基準データにより構成されている類似度算出用辞書である。ヒゲ用辞書７０９は、ヒゲを生やしている状態の顔の類似度算出に最適な５００組の類似度算出基準データにより構成されている類似度算出用辞書である。このように、眼鏡の有無およびヒゲの有無に応じて類似度算出用辞書を選択することにより、眼鏡の有無およびヒゲの有無に応じた最適な重み付けで類似度算出処理を行うことができるため、さらに正確な類似度を得ることができる。
【０１５０】
このように、顔属性の判定結果に応じて類似度算出用辞書を選択することにより、判定対象の顔について最適な類似度算出処理を行うことができるため、さらに正確な類似度を得ることができる。また、判定対象の顔について、不要な類似度算出基準データを用いた類似度算出処理を行わないため、処理時間の短縮を実現することができる。
【０１５１】
また、顔属性の中でも、髪型、眼鏡、ヒゲ等の顔属性は、同一人物であっても撮影時期や撮影場所によって変化する要因が高いと考えられる。このため、これらの顔属性の項目に関しては、対応する各類似度算出基準データの重みを小さく設定しておき、顔属性の差異によって、同一人物の類似度が損なわれないようにすることが可能である。
【０１５２】
また、判定対象の顔の顔属性の判定結果と、特定人物情報記憶部３８０に記憶されている顔属性とを比較して、顔属性の類似性が明らかに低い場合には、類似度算出処理を打ち切るようにしてもよい。すなわち、属性判定部３３０から出力された顔属性の判定結果と、特定人物情報記憶部３８０に記憶されている顔属性とを類似度算出部３６０が比較して、顔属性の類似性が明らかに低い場合には、類似度算出処理を打ち切る旨をコントローラ３１０に出力する。この出力がされると、コントローラ３１０は、判定対象の顔に関する各処理を停止させる指示を特徴点算出部３４０、顔特徴量抽出部３５０および類似度算出部３６０に出力する。例えば、特定人物情報記憶部３８０に記憶されている各顔属性が、子供の度合いが十分に高いものである場合において、判定対象の顔の顔属性の判定結果が、子供の度合いが十分に低いと判定された場合には、両者は同一人物ではないと判定することができる。このため、特徴点座標算出処理、顔特徴量抽出処理、類似度算出処理を早い段階で打ち切ることができる。これにより、処理高速化に寄与することが可能となる。
【０１５３】
また、特定人物情報記憶部３８０に記憶されている特定人物情報が多数存在する場合には、類似度算出処理の処理時間が長くなるおそれがある。そこで、例えば、属性判定部３３０から出力された判定結果を用いて、特定人物情報記憶部３８０に記憶されている特定人物情報の中から、類似度算出に適した１または複数の特定人物情報を選択する。そして、この選択された１または複数の特定人物情報のみを類似度算出の対象とすることができる。これにより、特定人物情報が多数存在する場合でも、類似度算出処理を迅速に行うことができる。以下では、類似度算出に適した１または複数の特定人物情報を選択して、類似度算出処理を行う例について図面を参照して詳細に説明する。
【０１５４】
図２３は、本発明の実施の形態における類似度算出部３６０による類似度算出の算出方法の概略を示す図である。図２３では、撮像画像８００に含まれる人物８０１乃至８０３の顔８０４乃至８０６について、類似度算出を行う場合を例にして説明する。なお、人物８０１は子供であり、人物８０２および８０３は大人であるものとする。また、人物８０１および８０３は男性であり、人物８０２は女性であるものとする。また、図２３に示す特定人物情報記憶部３８０は、図１５に示す特定人物情報記憶部３８０の一部を省略したものであり、省略した内容については、図１５に示す内容と同一であるものとする。
【０１５５】
例えば、顔検出部２００により撮像画像８００から顔８０４乃至８０６が検出され、これらの顔８０４乃至８０６について、正規化部３２０により正規化顔画像８１１乃至８１３が生成される。この生成された正規化顔画像８１１乃至８１３について属性判定部３３０により各顔属性が判定される。図２３では、正規化顔画像８１１乃至８１３について出力された判定結果の一部を、各正規化顔画像の下部分に示す。
【０１５６】
続いて、類似度算出部３６０が、検出された顔と登録顔との類似度を算出する前に、検出された顔と登録顔との顔属性を比較する。例えば、性別や年代（年齢層）等のように、時間経過に伴った変化が少ない属性を比較し、類似性が高い特定人物情報を選択する。例えば、正規化顔画像８１１に含まれる顔は子供の顔であるため、「大人／子供」の値（世代スコア）が高い値となっている。すなわち、正規化顔画像８１１に含まれる顔について算出された世代スコアは子供と判定される値である。しかしながら、特定人物情報記憶部３８０の大人／子供（世代）３８４に記憶されている各値は低い値であり、全て大人と判定される値である。このため、正規化顔画像８１１については、特定人物情報記憶部３８０に記録されている特定人物情報と類似する可能性が低いため、類似度算出処理を行わない。
【０１５７】
また、正規化顔画像８１２に含まれる顔は大人の女性の顔であるため、「大人／子供」の値（世代スコア）が低い値であるとともに、「男性／女性」の値（性別スコア）が高い値となっている。すなわち、正規化顔画像８１２に含まれる顔について算出された世代スコアは大人と判定される値であり、性別スコアは女性と判定される値である。このため、特定人物情報記憶部３８０の大人／子供（世代）３８４の値が、大人と判定される値である特定人物情報が選択される。例えば、図１５に示すように、識別番号３８１の「１００」乃至「３００」に関連付けられている各特定人物情報が選択される。また、これらの各特定人物情報の中から、特定人物情報記憶部３８０の男性／女性（性別）３８３の値が、女性と判定される値である特定人物情報が選択される。例えば、図１５に示すように、識別番号３８１の「１０１」乃至「１０３」に関連付けられている各特定人物情報が選択される。
【０１５８】
同様に、正規化顔画像８１３に含まれる顔は大人の男性の顔であるため、「大人／子供」の値（世代スコア）が低い値であるとともに、「男性／女性」の値（性別スコア）が低い値となっている。すなわち、正規化顔画像８１３に含まれる顔について算出された世代スコアは大人と判定される値であり、性別スコアは男性と判定される値である。このため、特定人物情報記憶部３８０の大人／子供（世代）３８４の値が、大人と判定される値である特定人物情報が選択される。また、これらの各特定人物情報の中から、特定人物情報記憶部３８０の男性／女性（性別）３８３の値が、男性と判定される値である特定人物情報が選択される。例えば、図１５に示すように、識別番号３８１の「２００」および「３００」に関連付けられている各特定人物情報が選択される。
【０１５９】
このように、性別や年代等のように、時間経過に伴った変化が少ない顔属性を用いることにより、類似度算出の対象となる適切な特定人物情報のみを選択することができる。また、このように選択された特定人物情報の中から、他の顔属性を用いて、類似度算出の対象となる適切な特定人物情報をさらに選択するようにしてもよい。すなわち、検出された顔との属性の類似度が高い登録顔をさらに選択するようにしてもよい。
【０１６０】
例えば、検出された顔について算出された積算結果値と、特定人物情報に含まれる積算結果値との差分値を属性毎に順次算出して、差分値が最小となる特定人物情報を属性毎に選択することができる。また、この差分値が一定範囲内となる特定人物情報のみを選択するようにしてもよい。さらに、属性毎に算出された差分値の合計を求め、この差分値の合計値が最小となる特定人物情報のみを選択することができる。
【０１６１】
また、検出された顔について算出された各積算結果値のうちで、絶対値が最大の積算結果値を抽出し、この抽出された積算結果値との差分値が最小となる特定人物情報を選択するようにしてもよい。この場合には、例えば、既に用いられた属性（例えば、性別や年代の属性）以外の属性を用いるようにする。図２３では、例えば、正規化顔画像８１２について算出された各積算結果値のうちで絶対値が最大の積算結果値（「男性／女性」、「大人／子供」以外）は、目の開閉「５２０」である。そこで、最大の積算結果値「５２０（目の開閉）」と、選択された各特定人物情報（識別番号３８１「１０１」乃至「１０３」）の目の開閉３８５の積算結果値との差分値が最小となる特定人物情報（識別番号３８１「１０１」）を選択することができる。また、例えば、正規化顔画像８１３について算出された各積算結果値のうちで絶対値が最大の積算結果値は、眼鏡の有無「５８９」である。そこで、最大の積算結果値「５８９（眼鏡の有無）」と、選択された各特定人物情報（識別番号３８１「２００」および「３００」）の眼鏡の有無３８８の積算結果値との差分値が最小となる特定人物情報（識別番号３８１「２０２」）を選択することができる。なお、正規化顔画像について算出された各積算結果値のうちで、絶対値が大きい所定数の積算結果値を用いて選択を行うようにしてもよい。
【０１６２】
このように、既に処理が終了している属性判定結果を用いて、類似度算出の対象となる特定人物情報を絞りこんだ後に、類似度算出処理を行うことができる。例えば、図２３に示す例では、類似度算出部３６０が、正規化顔画像８１１乃至８１３について算出された顔特徴量と、特定人物情報記憶部３８０に記録されている全ての顔特徴量との類似度を算出する場合には、２４（３×８）通りの演算を行う必要がある。これに対して、例えば、絶対値が最大の積算結果値との差分値が最小となる特定人物情報を選択し、この特定人物情報の顔特徴量との類似度を算出する場合には、２通りの演算を行うのみでよい。このため、演算対象となる組合せ数を大幅に削減することができ、処理時間を大幅に短縮させることができる。これにより、特定人物情報の常時更新を実現させることができる。
【０１６３】
また、類似度を算出する際に、例えば、検出された顔との顔属性の類似度の値に応じて、高い重み付けを行うようにしてもよい。例えば、検出された顔との顔属性の類似度が高い特定人物情報については高い重み付けを行う。これにより、類似度算出の精度をさらに高めることができる。
【０１６４】
次に、属性判定用辞書を用いて算出された積算結果値に基づいて笑顔を含む静止画の記録動作を行う静止画記録方法について図面を参照して詳細に説明する。
【０１６５】
図２４は、本発明の実施の形態における正規化部３２０により生成された正規化顔画像と、属性判定部３３０により算出された積算結果値との関係を概略的に示す図である。なお、図２４（ａ）に示す正規化顔画像４３０は、図５（ａ）に示す正規化顔画像４３０と同様であり、図２４（ｂ）に示す正規化顔画像４４０は、図５（ｂ）に示す正規化顔画像４４０と同様である。このため、同一の符号を付して詳細な説明を省略する。
【０１６６】
図２４（ａ）には、正規化顔画像４３０について算出された各積算結果値を示し、図２４（ｂ）には、正規化顔画像４４０について算出された各積算結果値を示す。なお、積算結果値を示す棒状の範囲のうちで、算出された各積算結果値を示す範囲を斜線で示す。また、これらの棒状の範囲は、図７に示す積算結果値の範囲に対応する。
【０１６７】
一般に、通常の顔（笑っていない顔）と笑顔とを比較した場合、笑顔スコア（図１５に示す笑顔／非笑顔３８２の値）は、通常の顔よりも笑顔の方が高くなる。このため、笑顔スコア４８２よりも、笑顔スコア４８６が高くなる。また、上述したように、笑顔は、目が細くなる等の特徴的な点が生じることが多いため、目開きスコア（図１５に示す目の開閉３８５の値）は、通常の顔よりも笑顔の方が低くなる。このため、目開きスコア４８４よりも、目開きスコア４８８が低くなる。なお、正規化顔画像４３０および４４０に含まれる各顔は、何れも正面向きであるため、正面向きスコア（図１５に示す顔の向き３８６の値）４８３および４８７は略同じ値となる。また、正規化顔画像４３０および４４０に含まれる各顔は、何れも比較的綺麗に撮像されているため、顔らしさスコア４８１および４８５は略同じ値となる。
【０１６８】
ここで、本発明の実施の形態では、笑顔スコアおよび顔らしさスコアを用いて、笑顔を含む静止画の記録動作を行う例について説明する。また、この例では、笑顔静止画記録モードが設定されているものとする。具体的には、正規化顔画像について算出された顔らしさスコアが閾値Ｔｆ１を超えるとともに、正規化顔画像について算出された笑顔スコアが閾値Ｔｓ１を超えた場合に、ＣＰＵ１１０が静止画の記録動作の開始を指示する。例えば、図２４（ａ）では、顔らしさスコア４８１が閾値Ｔｆ１を超えているが、笑顔スコア４８２が閾値Ｔｓ１を超えていない。このため、図２４（ａ）に示す通常の顔が検出された場合には、静止画の記録動作の開始が指示されない。一方、図２４（ｂ）では、顔らしさスコア４８５が閾値Ｔｆ１を超えているとともに、笑顔スコア４８６が閾値Ｔｓ１を超えている。このため、図２４（ｂ）に示す笑顔４４１が検出された場合には、静止画の記録動作の開始が指示される。
【０１６９】
なお、笑顔スコア、顔らしさスコア以外の他のスコア（顔属性情報）を用いて、笑顔を含む静止画の記録動作を行うようにしてもよい。また、例えば、撮像画像に特定人物が含まれていると判定されるとともに、この特定人物の顔が笑顔であると判定された場合を条件とするようにしてもよい。この場合における判定基準として、特定人物情報を登録する際の判定基準と異なるようにしてもよい。例えば、静止画記録を行う際における特定人物の判定基準を、特定人物情報を登録する際の判定基準よりも緩和することができる。
【０１７０】
次に、属性判定用辞書を用いて算出された積算結果値に基づいて特定人物情報を登録する特定人物情報登録方法について図面を参照して詳細に説明する。
【０１７１】
図２５は、本発明の実施の形態における正規化部３２０により生成された正規化顔画像と、属性判定部３３０により算出された積算結果値との関係を概略的に示す図である。なお、図２５に示す各正規化顔画像および各積算結果値は、図２４に示すものと同一であるが、各閾値のみが異なる。このため、図２４と同一のものについては同一の符号を付して詳細な説明を省略する。
【０１７２】
この例では、顔らしさスコア、笑顔スコア、正面向きスコアおよび目開きスコアを用いて、特定人物情報の更新を行うか否かを判断する場合について説明する。また、この例では、特定人物情報自動更新モードが設定されている場合を例にして説明する。具体的には、特定人物情報登録部３７０が、類似度算出部３６０から出力された類似度に基づいて、顔特徴量抽出部３５０から入力された顔特徴量と、特定人物情報記憶部３８０に記憶されている顔特徴量との類似度が極めて高いか否かを判断する。例えば、類似度が一定値（例えば、類似判定よりも大きい値）以上となっていることを条件とすることができる。続いて、その類似度が極めて高いと判断された場合には、特定人物情報登録部３７０が、類似度が極めて高いと判断された特定人物情報に関連付けて記憶されている登録日時（図１５に示す登録日時３８９）が、一定時間以上前の日時であるか否かを判断する。すなわち、前回の登録または更新時から一定時間が経過しているか否かが判断される。この一定時間として、例えば、１年単位、１ヶ月単位、１日単位、１秒未満の単位（例えば、画像の数フレーム単位等）を設定することができる。例えば、長めの時間を一定時間として設定した場合には、特定人物の経時変化（加齢や容貌変化）に対応することができる。また、例えば、短めの時間を一定時間として設定した場合には、特定人物の本人認証に適した顔を常に定期的に探すことができる。
【０１７３】
続いて、前回の登録または更新時から一定時間が経過していると判断された場合には、特定人物情報登録部３７０が、特定人物情報更新の条件を満たすか否かを判断する。この特定人物情報更新の条件は、例えば、正規化顔画像について算出された顔らしさスコア、正面向きスコアおよび目開きスコアが、それぞれの閾値Ｔｆ２、Ｔｙ２、Ｔｂ２を超えるとともに、笑顔スコアが閾値Ｔｓ２未満であるとすることができる。続いて、特定人物情報更新の条件を満たすと判断された場合には、特定人物情報登録部３７０が、類似度が極めて高いと判断された特定人物情報の更新動作を開始する。すなわち、特定人物情報登録部３７０が、類似度が極めて高いと判断された特定人物情報記憶部３８０の特定人物情報の各項目を、比較対象となった各情報で上書きする。例えば、顔特徴量抽出部３５０から入力された顔特徴量が顔特徴量３９１に上書きされ、属性判定部３３０により算出された各積算結果値が笑顔／非笑顔３８２等の顔属性情報に上書きされる。また、正規化部３２０により生成された正規化顔画像が登録顔画像３９２に上書きされ、この更新時の日時が登録日時３８９に記録され、この更新時に算出された位置情報により特定された場所が登録場所３９０に記録される。なお、更新対象となる特定人物について記憶領域に空きがある場合には、更新対象となる特定人物情報を追加登録するようにしてもよい。また、更新対象となる特定人物について複数組の特定人物情報が存在する場合には、これらの中で、顔らしさスコア、笑顔スコア、正面向きスコア、目開きスコアの各値が各閾値に対して最も低い１組の特定人物情報を更新するようにしてもよい。または、登録日時が最も古い１組の特定人物情報を更新するようにしてもよい。
【０１７４】
また、例えば、図１５に示す登録場所３９０を参照して、現在の場所と同じ場所（または、最も近い場所）が記憶されている特定人物情報を更新するようにしてもよい。例えば、ユーザの職場で撮像動作が行われている場合と、ユーザの自宅付近で撮像動作が行われている場合とでは、顔の表情が大きく異なることが考えられる。そこで、これらの心理的な要因を考慮して、更新処理を行うことができる。これにより、例えば、ユーザの職場で撮像動作が行われている場合と、ユーザの自宅付近で撮像動作が行われている場合とで行われる個人識別の精度を向上させることができる。このように、登録場所等の付随情報を参照して更新処理を行うようにしてもよい。
【０１７５】
このように、特定人物情報を更新（または追加登録）する場合には、例えば、極端な笑顔でなく、平常の顔に近いか否かを判断する。そして、平常の顔に近く、個人識別に適するものであると判断することができた場合には、その特定人物情報の更新を行う。すなわち、笑顔静止画を自動で記録する際の条件と異なる条件とすることができる。
【０１７６】
例えば、図２５（ａ）では、顔らしさスコア４８１が閾値Ｔｆ２を超え、正面向きスコア４８３が閾値Ｔｙ２を超え、目開きスコア４８４が閾値Ｔｂ２を超えるとともに、笑顔スコア４８２が閾値Ｔｓ２未満である。このため、図２５（ａ）に示す通常の顔４３１が検出され、通常の顔４３１について算出された類似度が一定の条件を満たす場合には、特定人物情報の更新が行われる。一方、図２５（ｂ）では、顔らしさスコア４８５が閾値Ｔｆ２を超え、正面向きスコア４８７が閾値Ｔｙ２を超え、目開きスコア４８８が閾値Ｔｂ２を超えているが、笑顔スコア４８２が閾値Ｔｓ２未満ではない。このため、図２５（ｂ）に示す笑顔４４１が検出され、この笑顔４４１について算出された類似度が一定の条件を満たす場合でも、特定人物情報の更新は行われない。
【０１７７】
なお、図２４および図２５に示す各閾値は一例であり、例えば、ユーザの好みに応じて、各閾値を変更することができる。また、顔らしさスコア、笑顔スコア、正面向きスコア、目開きスコア以外の他のスコア（顔属性情報）を用いて、特定人物情報の更新を行うようにしてもよい。また、各閾値を用いて更新の要否を判断する代わりに、更新対象となる特定人物について複数組の特定人物情報の各値と、顔らしさスコア、笑顔スコア、正面向きスコア、目開きスコアの各値とを比較することにより更新の要否を判断するようにしてもよい。
【０１７８】
このように自動的に特定人物情報を更新することができるため、ユーザが登録または更新を手動で指示しなくてもよい。また、自動的に特定人物情報を更新することができるため、最新で最適な特定人物情報を記憶することができる。これにより、個人識別の精度を向上させることができる。また、撮像動作を繰り返し行うほど、個人識別の精度を高めることができる。
【０１７９】
次に、本発明の実施の形態における撮像装置１００の動作について図面を参照して説明する。
【０１８０】
図２６は、本発明の実施の形態における撮像装置１００による個人識別処理の処理手順を示すフローチャートである。この個人識別処理は、全体の流れを、顔属性判定処理、特徴点座標算出処理、顔特徴量抽出処理、類似度算出処理の４つの処理に大別することができる。
【０１８１】
最初に、個人識別部３００が、顔検出部２００から出力された顔検出結果を取得して、この顔検出結果に含まれる顔領域の座標および大きさに基づいて、画像ＲＡＭ１３０に記憶されている画像から顔画像を読み出す（ステップＳ９０１）。なお、個人識別部３００は、顔検出部２００から出力された顔検出結果をＣＰＵ１１０経由で取得するようにしてもよい。
【０１８２】
続いて、正規化部３２０は、読み出された顔画像について、顔の大きさが一定の大きさとなるとともに、両目がほぼ水平となるよう調整することにより正規化を行う（ステップＳ９０２）。続いて、正規化された顔画像である正規化顔画像について属性判定部３３０が顔属性判定処理を実行する（ステップＳ９１０）。この顔属性判定処理については、図２７および図２８を参照して詳細に説明する。なお、ステップＳ９１０は、特許請求の範囲に記載の属性判定手順の一例である。
【０１８３】
続いて、特徴点算出部３４０は、特徴点座標テーブル保持部３４１に保持されている特徴点座標テーブルに含まれる特徴点座標の初期値をロードして、この特徴点座標の初期値を正規化顔画像に設定すべき特徴点の位置として配置する（ステップＳ９０３）。なお、特徴点座標については、ＣＰＵ１１０から設定するようにしてもよい。続いて、特徴点算出部３４０は、属性判定部３３０から出力された顔属性の判定結果に基づいて初期値の特徴点座標を変更または増減することにより、特徴点座標を算出する（ステップＳ９０４）。
【０１８４】
続いて、顔特徴量抽出部３５０は、ガボア・フィルタについてのパラメータの初期値をロードする（ステップＳ９０５）。なお、ガボア・フィルタのパラメータについては、ＣＰＵ１１０から設定するようにしてもよい。続いて、顔特徴量抽出部３５０は、属性判定部３３０から出力された顔属性の判定結果に基づいて、ガボア・フィルタのパラメータである通過帯域または特徴量抽出角度を変更する（ステップＳ９０６）。続いて、顔特徴量抽出部３５０は、ガボア・フィルタを用いて、特徴点算出部３４０により算出された各特徴点における特徴量を抽出する（ステップＳ９０７）。なお、ステップＳ９０７は、特許請求の範囲に記載の特徴量抽出手順の一例である。
【０１８５】
続いて、類似度算出部３６０は、類似度算出処理を実行する（ステップＳ９５０）。この類似度算出処理については、図２９および図３０を参照して詳細に説明する。なお、ステップＳ９５０は、特許請求の範囲に記載の類似度算出手順の一例である。
【０１８６】
図２７は、本発明の実施の形態における撮像装置１００による個人識別処理の処理手順のうちの顔属性判定処理手順（図２６に示すステップＳ９１０の処理手順）を示すフローチャートである。ここでは、年代、目の開閉、髪型、眼鏡の有無およびヒゲの有無に関する顔属性について判定する例について説明する。なお、各顔属性の判定処理については、図２８を参照して詳細に説明する。
【０１８７】
最初に、属性判定部３３０が、年代判定用辞書を用いて年代の属性判定処理を実行する（ステップＳ９１１）。続いて、属性判定部３３０が、目の開閉判定用辞書を用いて目の開閉の属性判定処理を実行する（ステップＳ９１２）。続いて、属性判定部３３０が、髪型判定用辞書を用いて髪形の属性判定処理を実行する（ステップＳ９１３）。続いて、属性判定部３３０が、眼鏡判定用辞書を用いて眼鏡の属性判定処理を実行する（ステップＳ９１４）。続いて、属性判定部３３０が、ヒゲ判定用辞書を用いてヒゲの属性判定処理を実行する（ステップＳ９１５）。続いて、属性判定部３３０が、これらの顔属性の判定結果を保持する（ステップＳ９１６）。なお、これらの顔属性の判定結果をＣＰＵ１１０にも出力する。
【０１８８】
続いて、判定対象の顔の顔属性の判定結果と、特定人物情報記憶部３８０に記憶されている各顔属性の判定結果との間で顔属性の類似度が判断される（ステップＳ９１７およびＳ９１８）。すなわち、判定対象の顔の性別に関する顔属性の判定結果と、特定人物情報記憶部３８０に記憶されている性別に関する各顔属性の判定結果とが明らかに不一致であるか否かが判断される（ステップＳ９１７）。ここで、性別に関する顔属性の判定結果が明らかに不一致である場合とは、完全に一致する場合、または、あいまいと判定されている場合以外の場合を示す。また、判定対象の顔の年代に関する顔属性の判定結果と、特定人物情報記憶部３８０に記憶されている年代に関する各顔属性の判定結果とが明らかに不一致であるか否かが判断される（ステップＳ９１８）。
【０１８９】
性別に関する顔属性の判定結果が明らかに不一致である場合（ステップＳ９１７）、または、年代に関する顔属性の判定結果が明らかに不一致である場合には（ステップＳ９１８）、個人識別処理の動作を終了する。一方、性別に関する顔属性の判定結果が明らかに不一致ではなく（ステップＳ９１７）、年代に関する顔属性の判定結果が明らかに不一致ではない場合には（ステップＳ９１８）、ステップＳ９１９に進む。そして、判定対象の顔の属性が、特定人物情報記憶部３８０に記憶されている各顔属性の判定結果との間で類似すると判定される（ステップＳ９１９）。
【０１９０】
なお、この例では、顔属性として性別または年代について顔属性の類似を判断する例について説明したが、他の顔属性についても類似を判断するようにしてもよい。
【０１９１】
例えば、特定人物情報記憶部３８０に記憶されている性別に関する顔属性の判定結果の全てが女と判定されている場合を想定する。この場合において、判定対象の顔の性別に関する顔属性の判定結果が男と判定された場合には、判定対象の顔が、同一人物の顔ではない可能性が極めて高い。同様に、特定人物情報記憶部３８０に記憶されている年代に関する顔属性の判定結果の全てが大人と判定されている場合に、判定対象の顔の年代に関する顔属性の判定結果が子供と判定された場合には、判定対象の顔が、同一人物の顔ではない可能性が極めて高い。このように、登録顔の顔属性と判定対象顔の顔属性とが相反する属性である場合には、顔特徴点座標算出処理、顔特徴量抽出処理、類似度算出処理を実行するまでもなく、同一人物の顔ではない可能性が高い。このように、属性同士の類似度が極めて低い場合には、その後の全ての処理を打ち切ることによって、個人識別処理の高速化を図ることができる。
【０１９２】
図２８は、本発明の実施の形態における撮像装置１００による顔属性の判定処理の処理手順を示すフローチャートである。この顔属性の判定処理は、図２７のステップＳ９１１乃至Ｓ９１５に示す各顔属性の判定処理に対応する処理である。ここでは、図６に示す属性判定用辞書４５０を用いて顔属性を判定する例について説明する。
【０１９３】
最初に、スコアＳが「０」に初期化され（ステップＳ９２１）、変数ｉが「０」に初期化される（ステップＳ９２２）。続いて、正規化顔画像から抽出された輝度の値の中から、属性判定用辞書４５０の基準データｉに含まれる座標０（ｘ，ｙ）４５１の値に対応する輝度の値Ａ（ｉ）と、座標１（ｘ，ｙ）４５２の値に対応する輝度の値Ｂ（ｉ）とが取得される（ステップＳ９２３）。続いて、次式を用いて、取得された各輝度の値の差Ｃ（ｉ）が算出される（ステップＳ９２４）。
Ｃ（ｉ）＝Ａ（ｉ）−Ｂ（ｉ）
【０１９４】
続いて、算出された各輝度の差の値Ｃ（ｉ）と、属性判定用辞書４５０基準データｉに含まれる閾値（θ）４５３の値とを比較して、算出された値Ｃ（ｉ）が閾値（θ）４５３の値よりも大きいか否かが判断される（ステップＳ９２５）。算出された値Ｃ（ｉ）が閾値（θ）４５３の値以下である場合には（ステップＳ９２５）、属性判定用辞書４５０の基準データｉに含まれる重み（α）４５４の値をスコアＳに加算する（ステップＳ９２６）。一方、算出された値Ｃ（ｉ）が閾値（θ）４５３の値よりも大きい場合には（ステップＳ９２５）、属性判定用辞書４５０の基準データｉに含まれる重み（α）４５４の値をスコアＳに加算せずに、ステップＳ９２７に進む。
【０１９５】
続いて、変数ｉに「１」が加算され（ステップＳ９２７）、変数ｉがｎ−１よりも大きいか否かが判断される（ステップＳ９２８）。変数ｉがｎ−１よりも大きくない場合には（ステップＳ９２８）、属性判定用辞書４５０の各基準データについての判定処理が終了していないため、ステップＳ９２３に戻り、判定処理を繰り返す（ステップＳ９２３乃至Ｓ９２７）。一方、変数ｉがｎ−１よりも大きい場合には（ステップＳ９２８）、スコアＳの値が閾値１および閾値２の範囲内に存在するか否かが判断される（ステップＳ９２９）。なお、閾値１は、図７に示す閾値４６１、４６３、４６５に対応し、閾値２は、図７に示す閾値４６２、４６４、４６６に対応する。
【０１９６】
スコアＳの値が閾値１および閾値２の範囲内に存在する場合には（ステップＳ９２９）、正規化顔画像は、属性判定用辞書４５０に対応する顔属性に関して「あいまい」であると判定される（ステップＳ９３０）。
【０１９７】
スコアＳの値が閾値１および閾値２の範囲内に存在しない場合には（ステップＳ９２９）、スコアＳの値が閾値２よりも大きいか否かが判断される（ステップＳ９３１）。スコアＳの値が閾値２よりも大きい場合には（ステップＳ９３１）、正規化顔画像は、属性判定用辞書４５０に対応する顔属性に関して目的の画像であると判定される（ステップＳ９３２）。一方、スコアＳの値が、閾値１よりも小さい場合には（ステップＳ９３１）、正規化顔画像は、属性判定用辞書４５０に対応する顔属性に関して目的の画像ではないと判定される（ステップＳ９３３）。
【０１９８】
図２９は、本発明の実施の形態における撮像装置１００による個人識別処理の処理手順のうちの顔類似度算出処理手順（図２６に示すステップＳ９５０の処理手順）を示すフローチャートである。
【０１９９】
最初に、類似度算出部３６０は、類似度算出基準データ保持部３６１に保持されている類似度算出用辞書の中から、初期値の類似度算出用辞書を取得する（ステップＳ９５１）。例えば、図１６に示す類似度算出基準データ保持部３６１から一般用辞書７０１が取得される。続いて、属性判定部３３０から出力された顔属性の判定結果に基づいて、類似度算出基準データ保持部３６１に保持されている類似度算出用辞書の中から、類似度算出用辞書を選択する（ステップＳ９５２）。続いて、初期値の類似度算出用辞書および選択された類似度算出用辞書を用いて、類似度算出処理を実行する（ステップＳ９６０）。この類似度算出処理については、図３０を参照して詳細に説明する。
【０２００】
図３０は、本発明の実施の形態における撮像装置１００による顔類似度算出処理の処理手順のうちの類似度算出処理手順（図２９に示すステップＳ９６０の処理手順）を示すフローチャートである。ここでは、図１７に示す類似度算出用辞書６６０を用いて類似度を算出する例について説明する。
【０２０１】
最初に、スコアＳ１が「０」に初期化され（ステップＳ９６１）、変数ｉが「０」に初期化される（ステップＳ９６２）。続いて、類似度算出用辞書６６０の基準データｉに含まれる座標０（ｘ，ｙ）６６１の値に対応する判定対象の顔特徴量に含まれる特徴量の値Ａ０（ｉ）と、登録顔特徴量に含まれる特徴量の値Ｂ０（ｉ）とが取得される。また、類似度算出用辞書６６０の基準データｉに含まれる座標１（ｘ，ｙ）６６２の値に対応する判定対象の顔特徴量に含まれる特徴量の値Ａ１（ｉ）と、登録顔特徴量に含まれる特徴量の値Ｂ１（ｉ）とが取得される（ステップＳ９６３）。
【０２０２】
続いて、次式を用いて、取得された特徴量の値の差の絶対値Ｃ０（ｉ）が算出される（ステップＳ９６４）。
Ｃ０（ｉ）＝｜Ａ０（ｉ）−Ｂ０（ｉ）｜
【０２０３】
続いて、次式を用いて、取得された特徴量の値の差の絶対値Ｃ１（ｉ）が算出される（ステップＳ９６５）。
Ｃ１（ｉ）＝｜Ａ１（ｉ）−Ｂ１（ｉ）｜
【０２０４】
続いて、次式を用いて、算出された絶対値Ｃ０（ｉ）と絶対値Ｃ１（ｉ）との差の絶対値Ｃ２（ｉ）が算出される（ステップＳ９６６）。
Ｃ２（ｉ）＝｜Ｃ０（ｉ）−Ｃ１（ｉ）｜
【０２０５】
続いて、算出された絶対値Ｃ２（ｉ）と、類似度算出用辞書６６０の基準データｉに含まれる閾値（θ）６６３の値とを比較して、算出された絶対値Ｃ２（ｉ）が閾値（θ）６６３の値よりも大きいか否かが判断される（ステップＳ９６７）。算出された絶対値Ｃ２（ｉ）が閾値（θ）６６３の値以下である場合には（ステップＳ９６７）、類似度算出用辞書６６０の基準データｉに含まれる重み（α）６６４の値をスコアＳ１に加算する（ステップＳ９６８）。一方、算出された値Ｃ２（ｉ）が閾値（θ）６６３の値よりも大きい場合には（ステップＳ９６７）、類似度算出用辞書６６０の基準データｉに含まれる重み（α）６６４の値をスコアＳ１に加算せずに、ステップＳ９６９に進む。
【０２０６】
続いて、変数ｉに「１」が加算され（ステップＳ９６９）、変数ｉがｎ−１よりも大きいか否かが判断される（ステップＳ９７０）。変数ｉがｎ−１よりも大きくない場合には（ステップＳ９７０）、類似度算出用辞書６６０の各基準データについての判定処理が終了していないため、ステップＳ９６３に戻り、類似度算出処理を繰り返す（ステップＳ９６３乃至Ｓ９６９）。一方、変数ｉがｎ−１よりも大きい場合には（ステップＳ９７０）、類似度算出処理がされていない類似度算出用辞書が存在するか否かが判断される（ステップＳ９７１）。類似度算出処理がされていない類似度算出用辞書が存在する場合には（ステップＳ９７１）、ステップＳ９６２に戻り、他の類似度算出用辞書を用いた類似度算出処理を繰り返す（ステップＳ９６２乃至Ｓ９６９）。例えば、図１９に示すように、顔属性の判定結果が子供と判定されている場合において、一般用辞書７０１の類似度算出処理が終了した後には、子供用辞書７０２が存在するため、子供用辞書７０２を用いた類似度算出処理を実行する。
【０２０７】
一方、類似度算出処理がされていない類似度算出用辞書が存在しない場合には（ステップＳ９７１）、判定対象の顔特徴量に対応する顔と、登録顔特徴量に対応する顔との類似度を示す値としてスコアＳ１の値がＣＰＵ１１０に出力される（ステップＳ９７２）。
【０２０８】
図３１は、本発明の実施の形態における撮像装置１００による個人識別処理の処理手順のうちの顔属性判定処理手順を示すフローチャートである。この顔属性判定処理手順は、図２７に示す顔属性判定処理手順を一部変形したものである。なお、ステップＳ９１６乃至Ｓ９１９については、図２７に示すステップＳ９１６乃至Ｓ９１９と同じ処理手順であるため、ここでの説明を省略する。また、ここでは、年代、目の開閉、髪型、眼鏡の有無およびヒゲの有無に関する顔属性について選択的に実行する例について説明する。なお、年代に関する顔属性の判定では、乳幼児であるか乳幼児以外であるかを判定するものとする。また、眼鏡に関する顔属性の判定では、サングラス（透過度の低い眼鏡）であるか否かを判定するものとする。
【０２０９】
最初に、属性判定部３３０が、年代判定用辞書を用いて年代の属性判定処理を実行する（ステップＳ９９１）。続いて、年代に関する顔属性の判定結果として、乳幼児と判定されたか否かが判断される（ステップＳ９９２）。年代に関する顔属性の判定結果として、乳幼児と判定された場合には（ステップＳ９９２）、目の開閉に関する顔属性の判定処理のみを実行して（ステップＳ９９３）、他の顔属性の判定処理を実行しない。すなわち、乳幼児には、「髪型の特徴が少ない」、「眼鏡をかけていない」、「性別が不明確である」、「ヒゲがない」ということが予想されるためである。
【０２１０】
一方、年代に関する顔属性の判定結果として、乳幼児以外と判定された場合には（ステップＳ９９２）、属性判定部３３０が、髪型判定用辞書を用いて髪形の属性判定処理を実行する（ステップＳ９９４）。そして、眼鏡判定用辞書を用いて眼鏡の属性判定処理を実行する（ステップＳ９９５）。
【０２１１】
続いて、眼鏡に関する顔属性の判定結果として、サングラスと判定されたか否かが判断される（ステップＳ９９６）。眼鏡に関する顔属性の判定結果として、サングラスと判定された場合には（ステップＳ９９６）、サングラスをかけている顔については、目の開閉を判定することが困難であるため、目の開閉に関する顔属性の判定処理を実行せずに、ステップＳ９９８に進む。一方、眼鏡に関する顔属性の判定結果として、サングラスと判定されない場合には（ステップＳ９９６）、目の開閉に関する顔属性の判定処理を実行する（ステップＳ９９７）。
【０２１２】
続いて、性別に関する顔属性の判定結果として、女性と判定された場合には（ステップＳ９９８）、女性には「ヒゲがない」という前提があるため、ヒゲに関する顔属性の判定処理を実行せずに、ステップＳ９１６に進む。一方、性別に関する顔属性の判定結果として、女性と判定されない場合には（ステップＳ９９８）、ヒゲに関する顔属性の判定処理を実行する（ステップＳ９９９）。
【０２１３】
このように、各種の顔属性の中には、子供や女性に対するひげのように、相反する内容や非常にまれな組合せの内容が存在することがある。そこで、既に判定されている顔属性の判定結果に基づいて、相反する顔属性については判定処理を行わないことにより、顔属性の判定処理時間を短縮することができるとともに、精度を改善することができる。
【０２１４】
図３２は、本発明の実施の形態における撮像装置１００による特定人物情報登録処理の処理手順を示すフローチャートである。この例では、フレーム毎に特定人物情報登録処理を行う例を示す。また、この例では、特定人物情報自動更新モードが設定されている場合を例にして説明する。
【０２１５】
最初に、類似度算出部３６０が、属性判定部３３０からの顔属性判定結果（顔属性情報）を入力し（ステップＳ１００１）、顔特徴量抽出部３５０からの顔特徴量を入力する（ステップＳ１００２）。続いて、ユーザからの登録指示の操作入力が操作受付部１６０により受け付けられたか否かが判断される（ステップＳ１００３）。ユーザからの登録指示の操作入力が受け付けられていない場合には（ステップＳ１００３）、変数ｉが「０」に初期化され（ステップＳ１００４）、変数ｉに「１」が加算される（ステップＳ１００５）。ここで、変数ｉは、特定人物情報記憶部３８０に特定人物情報が記憶されている特定人物に対応させるための値である。例えば、ｉ＝１の場合には識別番号３８１の「１００」が対応し、ｉ＝２の場合には識別番号３８１の「２００」が対応し、ｉ＝３の場合には識別番号３８１の「３００」が対応するものとする。また、以下では、変数ｉに対応する特定人物の顔を登録顔ｉと称する。
【０２１６】
続いて、類似度算出部３６０が、検出された顔と登録顔ｉとの顔属性「性別」が同一であるか否かを判断する（ステップＳ１００６）。検出された顔と登録顔ｉとの顔属性「性別」が同一でない場合には（ステップＳ１００６）、変数ｉが定数Ｎ以上であるか否かが判断される（ステップＳ１０１２）。ここで、定数Ｎは、特定人物情報記憶部３８０に特定人物情報が記憶されている特定人物の数を示す値である。例えば、図１５に示す例では、Ｎ＝３である。変数ｉが定数Ｎ未満である場合には（ステップＳ１０１２）、ステップＳ１００５に戻り、変数ｉに「１」が加算される。一方、変数ｉが定数Ｎ以上である場合には（ステップＳ１０１２）、ステップＳ１０１３に進む。
【０２１７】
また、検出された顔と登録顔ｉとの顔属性「性別」が同一である場合には（ステップＳ１００６）、類似度算出部３６０が、検出された顔と登録顔ｉとの顔属性「世代」が同一であるか否かを判断する（ステップＳ１００７）。検出された顔と登録顔ｉとの顔属性「世代」が同一でない場合には（ステップＳ１００７）、ステップＳ１０１２に進む。一方、検出された顔と登録顔ｉとの顔属性「世代」が同一である場合には（ステップＳ１００７）、類似度算出部３６０が、他の顔属性を用いて、登録顔ｉの特定人物情報の中から、１または複数の特定人物情報を選択する（ステップＳ１００８）。例えば、検出された顔について算出された各積算結果値のうちで、絶対値が最大の積算結果値を抽出し、この抽出された積算結果値との差分値が最小となる登録顔ｉの特定人物情報を選択する。
【０２１８】
続いて、類似度算出部３６０が、選択された特定人物情報の顔特徴量を用いて、類似度算出処理を実行する（ステップＳ１００９）。この類似度算出処理は、図２７に示すステップ９５０と略同じ処理であるため、ここでの説明を省略する。なお、ステップＳ１００９は、特許請求の範囲に記載の類似度算出手順の一例である。続いて、特定人物情報登録部３７０が、類似度算出部３６０により算出された類似度に基づいて、顔特徴量抽出部３５０からの顔特徴量と、特定人物情報記憶部３８０に記憶されている顔特徴量との類似度が極めて高いか否かを判断する（ステップＳ１０１０）。すなわち、検出された顔と登録顔ｉとが類似するか否かが判断される。顔特徴量抽出部３５０から入力された顔特徴量と、特定人物情報記憶部３８０に記憶されている顔特徴量との類似度が極めて高くない場合には（ステップＳ１０１０）、ステップＳ１０１２に進む。
【０２１９】
また、顔特徴量抽出部３５０から入力された顔特徴量と、特定人物情報記憶部３８０に記憶されている顔特徴量との類似度が極めて高い場合には（ステップＳ１０１０）、ステップＳ１０１１に進む。そして、特定人物情報登録部３７０は、登録顔ｉの登録日時３８９の日時が一定時間以上前の日時であるか否かを判断する（ステップＳ１０１１）。登録顔ｉの登録日時３８９の日時が一定時間以上前の日時でない場合には（ステップＳ１０１１）、現在のフレーム内で検出された他の顔が存在するか否かが判断される（ステップＳ１０１３）。そして、現在のフレーム内で検出された他の顔が存在しない場合には（ステップＳ１０１３）、特定人物情報登録処理の動作を終了する。一方、現在のフレーム内で検出された他の顔が存在する場合には（ステップＳ１０１３）、ステップＳ１００１に戻る。
【０２２０】
一方、登録顔ｉの登録日時３８９の日時が一定時間以上前の日時である場合には（ステップＳ１０１１）、特定人物情報登録部３７０は、特定人物情報登録判定処理を行う（ステップＳ１０２０）。この特定人物情報登録判定処理については、図３３を参照して詳細に説明する。
【０２２１】
なお、この例では、ステップＳ１００８で、絶対値が最大の積算結果値を抽出して、登録顔ｉの特定人物情報を選択する例を示したが、例えば、図２３で示した他の特定人物情報選択方法をステップＳ１００８で行うようにしてもよい。
【０２２２】
図３３は、本発明の実施の形態における撮像装置１００による特定人物情報登録処理の処理手順のうちの特定人物情報登録判定処理（図３２に示すステップＳ１０２０の処理手順）を示すフローチャートである。この例では、顔らしさスコア、笑顔スコア、正面向きスコアおよび目開きスコアを用いて、特定人物情報登録の要否を判定する例について説明する。
【０２２３】
最初に、特定人物情報登録部３７０が、検出された顔について算出された顔らしさスコアが閾値よりも高いか否かを判断する（ステップＳ１０２１）。続いて、特定人物情報登録部３７０が、検出された顔について算出された正面向きスコアが閾値よりも高いか否かを判断する（ステップＳ１０２２）。続いて、特定人物情報登録部３７０が、検出された顔について算出された目開きスコアが閾値よりも高いか否かを判断する（ステップＳ１０２３）。続いて、特定人物情報登録部３７０が、検出された顔について算出された笑顔スコアが閾値よりも低いか否かを判断する（ステップＳ１０２４）。そして、検出された顔の顔らしさスコア、正面向きスコアおよび目開きスコアが各閾値よりも高く、笑顔スコアが閾値よりも低い場合には（ステップＳ１０２１乃至Ｓ１０２４）、特定人物情報登録部３７０が、特定人物情報の登録処理を行う（ステップＳ１０２５）。すなわち、顔特徴量抽出部３５０から入力された顔特徴量、属性判定部３３０から入力された顔属性情報等を特定人物情報記憶部３８０に追加書き込みまたは上書き処理する。
【０２２４】
一方、検出された顔について算出された顔らしさスコア、正面向きスコアおよび目開きスコアの少なくとも１つが各閾値よりも高くない場合、または、笑顔スコアが閾値よりも低くない場合には（ステップＳ１０２１乃至Ｓ１０２４）、ステップＳ１０１３に進む。
【０２２５】
図３４は、本発明の実施の形態における撮像装置１００による静止画記録処理の処理手順を示すフローチャートである。この静止画記録処理は、ＣＰＵ１１０により行われる。また、静止画記録動作を行う際における条件として、検出された顔と登録顔とが類似することを条件とする場合を例にして説明する。
【０２２６】
最初に、属性判定部３３０からの顔属性判定結果（顔属性情報）を入力する（ステップＳ１０３１）。続いて、ユーザによるシャッターボタンの押下操作が操作受付部１６０により受け付けられたか否かが判断される（ステップＳ１０３２）。ユーザによるシャッターボタンの押下操作が受け付けられた場合には（ステップＳ１０３２）、この押下操作が受け付けられた際における撮像画像を記録するための記録動作が行われる（ステップＳ１０３６）。一方、ユーザによるシャッターボタンの押下操作が受け付けられていない場合には（ステップＳ１０３２）、笑顔静止画記録モードが設定されているか否かが判断される（ステップＳ１０３３）。笑顔静止画記録モードが設定されていない場合には（ステップＳ１０３３）、静止画記録処理の動作を終了する。
【０２２７】
一方、笑顔静止画記録モードが設定されている場合には（ステップＳ１０３３）、検出された顔と登録顔とが類似するか否かが判断される（ステップＳ１０３４）。この場合、例えば、撮像画像に複数の顔が含まれている場合には、何れかの顔が特定顔であると判定されたことを条件とすることができる。検出された顔と登録顔とが類似しない場合には（ステップＳ１０３４）、静止画記録処理の動作を終了する。
【０２２８】
一方、検出された顔と登録顔とが類似すると判断された場合には（ステップＳ１０３４）、顔らしさスコアが閾値Ｔｆ１を超えているか否かが判断され（ステップＳ１０３５）、笑顔スコアが閾値Ｔｓ１を超えているか否かが判断される（ステップＳ１０３６）。顔らしさスコアが閾値Ｔｆ１を超えているとともに（ステップＳ１０３５）、笑顔スコアが閾値Ｔｓ１を超えている場合には（ステップＳ１０３６）、撮像画像を記録するための記録動作が行われる（ステップＳ１０３７）。一方、顔らしさスコアが閾値Ｔｆ１を超えていない場合（ステップＳ１０３５）、または、笑顔スコアが閾値Ｔｓ１を超えていない場合には（ステップＳ１０３６）、静止画記録処理の動作を終了する。
【０２２９】
なお、この例では、静止画を記録する例を示したが、例えば、ステップＳ１０３４乃至Ｓ１０３６の条件を満たす場合には、ステップＳ１０３７で動画の記録動作を開始するようにしてもよい。
【０２３０】
なお、本発明の実施の形態では、レンズ、イメージセンサ等の撮像部を備える撮像装置を例にして説明したが、撮像部を備えていない画像処理装置においても本発明の実施の形態を適用することができる。例えば、外部の画像記憶媒体から入力された画像データ、または、外部装置から入出力端子を介して入力された画像データについて、上述した顔検出や顔認識の処理を画像処理装置が行うことができる。また、属性判定部３３０により判定された顔属性の判定結果、顔特徴量抽出部３５０により抽出された顔特徴量、類似度算出部３６０により算出された類似度等を、入出力端子を介して外部装置に出力するようにしてもよい。
【０２３１】
また、本発明の実施の形態では、被写体の対象物として顔を検出して個人識別を行う場合について説明したが、他の対象物を検出して物体認識を行う場合についても、本発明の実施の形態を適用することができる。例えば、猫や犬等のペットや動物、家、乗り物等の様々な対象物について本発明の実施の形態を適用することができる。例えば、ペットを個体識別する場合は、色、模様、耳の形等の違いにより、人間を個人識別する場合よりも識別し易い。
【０２３２】
また、本発明の実施の形態では、特徴量抽出フィルタとしてガボア・フィルタを用いて特徴量を抽出し、この特徴量を用いて個人識別を行う例について説明したが、特徴量を用いて個人識別を行う場合についても本発明の実施の形態を適用することができる。例えば、ＧＭＲＦ（ガウシアン・マルコフ確率場）、ＬＢＰ（Local Binary Pattern）特徴、固有顔（Eigenface）法等を用いることができる。
【０２３３】
以上で示したように、本発明の実施の形態によれば、特定人物の登録情報（特定人物情報）を、撮像装置１００内で自動的に高精度化しながら更新し続けることができる。すなわち、ユーザが登録操作を行わなくても、撮像装置１００が自動的に判断して、特定人物情報を高精度で最新な状態へと定期的に更新することができる。この場合に、ユーザが撮像装置１００を使えば使うほど、特定人物情報の精度が高まり、さらに知的な個人識別を行うことが可能となる。また、個人識別を高精度化することができるため、特定人物に対して最適化したカメラのフォーカス合わせや露出合わせ、肌色調整等の制御、手振れ補正、ストロボ調光等、様々なカメラ機能の制御を実現することができる。これにより、特定人物をさらに美しく撮影することが可能となる。
【０２３４】
また、静止画または動画として自動的に記録される画像は、笑顔や、正面の顔、まばたきしていない顔等のように、撮影に適した顔を自動的に選択することができる。これに対して、個人認識用の特定人物情報として自動的に記録されるデータは、例えば、極端な笑顔を回避した真顔や、正面の顔、まばたきしていない顔等のように、登録に適した顔を自動的に選択することができる。また、静止画の自動的な画像記録または動画の自動的な記録開始に最適な顔属性の条件と、個人識別に最適な顔属性の条件との違いを明確にし、それぞれを独立に条件を設けることにより、それぞれの精度を高めることができる。
【０２３５】
また、画像に含まれる人の顔の領域に対して、顔属性（例えば、対象となる人の表情、年齢や年代、性別、目の開閉、人種、眼鏡の有無や種類、ヒゲの有無や種類、帽子の有無や種類、アクセサリーの有無や種類、髪型、顔向き）を判定することができる。また、顔属性の判定処理において、既に判定された顔属性と相反する顔属性については、判定処理を行わないことにより、効率的に有効な顔属性の判定結果を得ることができる。また、個人識別処理においても、既に判定された顔属性を用いることにより、個人認識の精度を高めるとともに、処理スピードを高速化し、効率的に有効な個人識別処理を行うことができる。
【０２３６】
また、個人識別をする際の特徴点座標を、顔属性の判定結果に応じて切り替えることによって、判定対象顔に応じた最適な特徴量の抽出が可能となる。また、個人識別をする際の特徴量抽出フィルタを、顔属性の判定結果に応じて切り替えることによって、判定対象顔に応じた最適な特徴量の抽出が可能となる。また、個人識別をする際の類似度算出に用いられる類似度算出基準データを、顔属性の判定結果に応じて切り替えることによって、判定対象顔に応じた最適な類似度算出が可能となり、高精度な個人識別を実現することができる。
【０２３７】
また、個人識別をする際の類似度算出を、顔属性の判定結果に応じて途中で打ち切ることによって、処理時間の短縮を可能とし、高速化を図ることができる。特に、属性同士の類似性に着目し、相反する内容が存在する場合には、登録顔と判定対象顔とが同一人物でないことを早い段階で知ることができ、処理時間は大幅に短縮することができる。また、個人識別をする際の類似度算出を、顔属性の判定結果に応じてさらに延長することによって、類似度算出の難しい顔に対しても、さらに高精度な処理が可能となる。
【０２３８】
また、高速で高精度な個人識別を可能とし、撮像装置のようなリアルタイム画像処理でも、特定人物の顔をユーザに知らせることができる。さらに、デジタルスチルカメラやカメラ付き携帯電話機のような小型の撮像装置が、十分なサイズの画像表示装置（液晶パネル等）を有していなくても、撮像装置がユーザに対して特定人物の顔を表示することができる。これにより、ユーザが容易に特定人物の顔を視認して確認することができる。
【０２３９】
また、撮像装置以外の画像処理装置に適用することができるため、外部装置から入力された人の顔画像に対しても、顔属性の判定や個人識別処理を行うことが可能となる。また、多様な顔属性、顔特徴点座標、顔類似度を画像の付随データとして生成することができ、さらに豊富な情報を自動でユーザに提供することができる。また、多様な顔属性、顔特徴点座標、顔類似度を用いて、膨大な動画、または静止画のデータベースから、特定の個人の画像を迅速に検索することができる。
【０２４０】
なお、本発明の実施の形態は本発明を具現化するための一例を示したものであり、上述のように特許請求の範囲における発明特定事項とそれぞれ対応関係を有する。ただし、本発明は実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変形を施すことができる。
【０２４１】
また、本発明の実施の形態において説明した処理手順は、これら一連の手順を有する方法として捉えてもよく、また、これら一連の手順をコンピュータに実行させるためのプログラム乃至そのプログラムを記憶する記録媒体として捉えてもよい。この記録媒体として、例えば、ＣＤ（Compact Disc）、ＭＤ（MiniDisc）、ＤＶＤ（Digital Versatile Disk）、メモリカード、ブルーレイディスク（Blu-ray Disc（登録商標））等を用いることができる。
【図面の簡単な説明】
【０２４２】
【図１】本発明の実施の形態における撮像装置１００の機能構成例を示すブロック図である。
【図２】本発明の実施の形態における顔検出部２００の機能構成例を示すブロック図である。
【図３】本発明の実施の形態における個人識別部３００の機能構成例、および、個人識別部３００と、画像ＲＡＭ１３０、画像バス１９０および特定人物情報記憶部３８０との概略関係を示すブロック図である。
【図４】本発明の実施の形態における顔検出部２００により検出された顔を含むその周辺画像である顔画像を正規化する場合における正規化の一例を示す図である。
【図５】本発明の実施の形態における属性判定部３３０による顔属性の判定対象となる顔画像を概略的に示す図である。
【図６】本発明の実施の形態における属性判定部３３０が顔の属性判定を行う際に用いられる属性判定用辞書の構成例を示す図である。
【図７】本発明の実施の形態における属性判定部３３０により正規化顔画像について属性判定用辞書を用いて求められる各顔属性に関する積算結果値の範囲を示す図である。
【図８】本発明の実施の形態における属性判定部３３０から出力される各属性に関する判定結果および積算結果値の一例を示す図である。
【図９】本発明の実施の形態における正規化部３２０により生成された正規化顔画像に設定すべき特徴点の位置を算出する特徴点位置算出方法の一例を示す図である。
【図１０】本発明の実施の形態における正規化部３２０により生成された正規化顔画像に特徴点を設定する場合における配置例を示す図である。
【図１１】本発明の実施の形態における正規化部３２０により生成された正規化顔画像に特徴点を設定する場合における配置例を示す図である。
【図１２】本発明の実施の形態における顔特徴量抽出部３５０により用いられるガボア・フィルタ、および、このガボア・フィルタの中の１つのフィルタの係数を表すグラフの例を示す図である。
【図１３】本発明の実施の形態における正規化部３２０により生成される正規化顔画像の一例である正規化顔画像６３０を示す図である。
【図１４】本発明の実施の形態における顔特徴量抽出部３５０により抽出された特徴量の集合である顔特徴量を模式的に示す図である。
【図１５】本発明の実施の形態における特定人物情報記憶部３８０に記憶されている各情報を模式的に示す図である。
【図１６】本発明の実施の形態における類似度算出基準データ保持部３６１に保持されている類似度算出用辞書を模式的に示す図である。
【図１７】本発明の実施の形態における類似度算出部３６０が判定対象の顔の類似度を算出する際に用いられる類似度算出用辞書の構成例を示す図である。
【図１８】本発明の実施の形態における類似度算出部３６０が判定対象の顔の類似度を算出する類似度算出方法を概略的に示す図である。
【図１９】本発明の実施の形態における類似度算出部３６０による判定対象の顔の類似度算出に用いられる類似度算出用辞書の例を示す図である。
【図２０】本発明の実施の形態における類似度算出部３６０による判定対象の顔の類似度算出に用いられる類似度算出用辞書の例を示す図である。
【図２１】本発明の実施の形態における類似度算出部３６０による判定対象の顔の類似度算出に用いられる類似度算出用辞書の例を示す図である。
【図２２】本発明の実施の形態における類似度算出部３６０による判定対象の顔の類似度算出に用いられる類似度算出用辞書の例を示す図である。
【図２３】本発明の実施の形態における類似度算出部３６０による類似度算出の算出方法の概略を示す図である。
【図２４】本発明の実施の形態における正規化部３２０により生成された正規化顔画像と、属性判定部３３０により算出された積算結果値との関係を概略的に示す図である。
【図２５】本発明の実施の形態における正規化部３２０により生成された正規化顔画像と、属性判定部３３０により算出された積算結果値との関係を概略的に示す図である。
【図２６】本発明の実施の形態における撮像装置１００による個人識別処理の処理手順を示すフローチャートである。
【図２７】本発明の実施の形態における撮像装置１００による個人識別処理の処理手順のうちの顔属性判定処理手順を示すフローチャートである。
【図２８】本発明の実施の形態における撮像装置１００による顔属性の判定処理の処理手順を示すフローチャートである。
【図２９】本発明の実施の形態における撮像装置１００による個人識別処理の処理手順のうちの顔類似度算出処理手順を示すフローチャートである。
【図３０】本発明の実施の形態における撮像装置１００による顔類似度算出処理の処理手順のうちの類似度算出処理手順を示すフローチャートである。
【図３１】本発明の実施の形態における撮像装置１００による個人識別処理の処理手順のうちの顔属性判定処理手順を示すフローチャートである。
【図３２】本発明の実施の形態における撮像装置１００による特定人物情報登録処理の処理手順を示すフローチャートである。
【図３３】本発明の実施の形態における撮像装置１００による特定人物情報登録処理の処理手順のうちの特定人物情報登録判定処理を示すフローチャートである。
【図３４】本発明の実施の形態における撮像装置１００による静止画記録処理の処理手順を示すフローチャートである。
【符号の説明】
【０２４３】
１００ 撮像装置
１１０ＣＰＵ
１２１ レンズ群
１２２ イメージセンサ
１２３ カメラ信号処理部
１３０ 画像ＲＡＭ
１４０ 画像圧縮伸張部
１５０ 表示部
１６０ 操作受付部
１７０ 記憶媒体
１８０ 揮発／不揮発性記憶媒体
１９０ 画像バス
１９５ ＧＰＳ信号処理部
２００ 顔検出部
２１０ コントローラ
２２０ 画像拡大縮小部
２３０ 画像保持部
２４０ 基準顔データ保持部
２５０ 判定部
３００ 個人識別部
３１０ コントローラ
３２０ 正規化部
３３０ 属性判定部
３３１ 属性判定基準データ保持部
３４０ 特徴点算出部
３４１ 特徴点座標テーブル保持部
３５０ 顔特徴量抽出部
３６０ 類似度算出部
３６１ 類似度算出基準データ保持部
３７０ 特定人物情報登録部
３８０ 特定人物情報記憶部
【技術分野】
【０００１】
本発明は、画像処理装置に関し、特に、画像に含まれる特定の対象物を認識する画像処理装置、撮像装置、および、これらにおける処理方法ならびに当該方法をコンピュータに実行させるプログラムに関する。
【背景技術】
【０００２】
近年、デジタルスチルカメラ、デジタルビデオカメラ（例えば、カメラ一体型レコーダ）、携帯電話機に搭載されている小型カメラ等の撮像装置の高性能化が進んでいる。これらの撮像装置に搭載されている機能として、最近では、被写体が何であるかを認識する被写体認識技術が注目を浴びている。被写体認識技術として、例えば、画像処理によって撮像画像から人物の顔を検出する顔検出技術が提案されている。
【０００３】
このように顔検出技術を用いて検出された顔について、さらに、表情、年代や年齢層等の各種の顔属性を画像処理により判定する技術（いわゆる、顔属性判定技術）が提案されている。例えば、被写体として大人と子供が撮像画像に含まれる場合に、判定された顔属性（例えば、顔の年代や年齢層）に基づいて、大人よりも子供を優先的に綺麗に撮像する撮像装置が提案されている。また、例えば、顔検出技術を用いて検出された顔について、特定の表情に関する表情評価値（例えば、笑顔の度合）を算出し、この表情評価値が閾値を超えた場合に、撮像画像の記録動作を自動で行う撮像装置が提案されている（例えば、特許文献１参照。）。
【特許文献１】特開２００８−４２３１９号公報（図２）
【発明の開示】
【発明が解決しようとする課題】
【０００４】
上述の従来技術によれば、検出された顔について判定された顔属性を用いて撮像画像の記録動作を行うことができる。しかしながら、検出された顔が特定人物の顔であるか否かを判定して、その特定人物の顔についての各記録動作を行うことは想定されていない。
【０００５】
ここで、例えば、セキュリティの分野では、特定人物の顔を識別する個人識別技術が提案されている。この個人識別技術を撮像装置に適用すると、例えば、フォーカス合わせ、露出合わせ、肌色調整等の制御を特定人物に最適化して行うことが考えられる。
【０００６】
このような個人識別を行うためには、例えば、識別対象となる特定人物を識別するための特定人物情報（例えば、特定人物の顔に関する特徴量）を撮像装置に登録しておく必要がある。また、個人識別を高い精度で行うためには、適切な特定人物情報を登録しておくことが重要となる。例えば、特定人物の顔の向き、目の開閉状態、顔の表情等の変動要素を標準的な状態にした上で、これらの顔に関する特定人物情報を登録する必要がある。この特定人物情報の登録方法として、例えば、登録すべき人物の撮像動作を行いながら、ユーザが手動操作により撮像装置に登録する登録方法が考えられる。しかしながら、このような登録方法により初心者が適切な特定人物情報を登録することは困難であるおそれがある。
【０００７】
また、例えば、特定人物情報は、時間の経過とともに変化してしまうおそれがある。そこで、適切なタイミングで適切な特定人物情報を更新することが重要となるが、ユーザが手動操作により特定人物情報を登録する場合には、適切なタイミングで更新することができないおそれがある。このため、適切な特定人物情報を登録しておき、個人識別を適切に行うことが重要である。
【０００８】
本発明はこのような状況に鑑みてなされたものであり、個人識別を適切に行うことを目的とする。
【課題を解決するための手段】
【０００９】
本発明は、上記課題を解決するためになされたものであり、その第１の側面は、複数の対象物に関する特徴量および属性を記憶する対象物情報記憶部と、画像に含まれる対象物を検出する対象物検出部と、上記検出された対象物の属性を判定する属性判定部と、上記検出された対象物に関する特徴量を抽出する特徴量抽出部と、上記判定された属性に基づいて上記対象物情報記憶部に記憶されている複数の対象物に関する特徴量の中から１または複数の特徴量を選択して上記選択された特徴量と上記抽出された特徴量とに基づいて上記選択された特徴量に係る対象物と上記検出された対象物との類似度を算出する類似度算出部とを具備する画像処理装置およびこれにおける処理方法ならびに当該方法をコンピュータに実行させるプログラムである。これにより、判定された属性に基づいて、複数の対象物に関する特徴量の中から１または複数の特徴量を選択し、この選択された特徴量と、抽出された特徴量とに基づいて、選択された特徴量に係る対象物と、検出された対象物との類似度を算出するという作用をもたらす。
【００１０】
また、この第１の側面において、上記対象物検出部は、上記画像に含まれる人物の顔を上記対象物として検出し、上記属性判定部は、上記検出された人物の顔の属性として世代および性別の少なくとも１つを判定し、上記類似度算出部は、上記対象物情報記憶部に記憶されている複数の顔の中から上記判定された世代および性別の全てが同一となる顔を選択して上記選択された顔に係る特徴量の中から１または複数の特徴量を選択するようにしてもよい。これにより、対象物情報記憶部に記憶されている複数の顔の中から、判定された世代および性別の全てが同一となる顔を選択し、この選択された顔に係る特徴量の中から１または複数の特徴量を選択するという作用をもたらす。
【００１１】
また、この第１の側面において、上記算出された類似度と上記判定された属性とが登録条件を満たしているか否かを判定して上記登録条件を満たしていると判定された場合には上記抽出された特徴量と上記判定された属性とを上記対象物情報記憶部に記憶させる対象物情報登録部をさらに具備するようにしてもよい。これにより、算出された類似度と、判定された属性とが登録条件を満たしていると判定された場合には、抽出された特徴量と判定された属性とを記憶させるという作用をもたらす。
【００１２】
また、この第１の側面において、上記対象物検出部は、上記画像に含まれる人物の顔を上記対象物として検出し、上記属性判定部は、上記検出された人物の顔の属性として顔らしさの度合い、顔の向きの正面向き度合い、目が開いている度合い、笑顔の度合いの少なくとも１つを判定し、上記対象物情報登録部は、上記算出された類似度が閾値を超えるとともに上記判定された顔らしさの度合い、顔の向きの正面向き度合い、目が開いている度合いの少なくとも１つが閾値を超え、上記判定された笑顔の度合いが閾値を超えないという条件を上記登録条件とし、上記登録条件を満たしていると判定された場合には上記抽出された特徴量と上記判定された属性とを上記対象物情報記憶部に記憶させるようにしてもよい。これにより、算出された類似度が閾値を超えるとともに、判定された顔らしさの度合い、顔の向きの正面向き度合い、目が開いている度合いの少なくとも１つが閾値を超え、判定された笑顔の度合いが閾値を超えないという登録条件を満たしていると判定された場合には、抽出された特徴量と判定された属性とを記憶させるという作用をもたらす。
【００１３】
また、この第１の側面において、上記対象物情報記憶部は、上記対象物に関する特徴量および属性が記憶された日時を上記対象物毎に記憶し、上記対象物情報登録部は、上記登録条件を満たしていると判定された場合には上記対象物情報記憶部に記憶されている上記選択された特徴量に係る日時が一定時間以上経過しているか否かを判定して上記選択された特徴量に係る日時が一定時間以上経過していると判定された場合には上記抽出された特徴量と上記判定された属性とを上記対象物情報記憶部に記憶させるようにしてもよい。これにより、登録条件を満たしていると判定された場合には、対象となる特徴量に係る日時が一定時間以上経過しているか否かを判定し、一定時間以上経過していると判定された場合には、抽出された特徴量と判定された属性とを記憶させるという作用をもたらす。
【００１４】
また、この第１の側面において、上記対象物情報登録部は、上記登録条件を満たしていると判定された類似度の算出対象となった上記対象物情報記憶部に記憶されている特徴量およびこれに係る属性に上記抽出された特徴量と上記判定された属性とを上書きして記憶させるようにしてもよい。これにより、登録条件を満たしていると判定された類似度の算出対象となった特徴量およびこれに係る属性に、抽出された特徴量と判定された属性とを上書きして記憶させるという作用をもたらす。
【００１５】
また、本発明の第２の側面は、複数の対象物に関する特徴量および属性を記憶する対象物情報記憶部と、被写体を撮像して撮像画像を生成する撮像部と、上記撮像画像に含まれる対象物を検出する対象物検出部と、上記検出された対象物の属性を判定する属性判定部と、上記検出された対象物に関する特徴量を抽出する特徴量抽出部と、上記判定された属性が上記撮像画像の記録動作を行うための記録動作条件を満たすか否かを判定して上記記録動作条件を満たしていると判定された場合には上記撮像画像の記録指示を行う記録指示部と、上記判定された属性に基づいて上記対象物情報記憶部に記憶されている複数の対象物に関する特徴量の中から１または複数の特徴量を選択して上記選択された特徴量と上記抽出された特徴量とに基づいて上記選択された特徴量に係る対象物と上記検出された対象物との類似度を算出する類似度算出部と、上記算出された類似度と上記判定された属性とが登録条件を満たしているか否かを判定して上記登録条件を満たしていると判定された場合には上記抽出された特徴量と上記判定された属性とを上記対象物情報記憶部に記憶させる対象物情報登録部とを具備する撮像装置およびこれにおける処理方法ならびに当該方法をコンピュータに実行させるプログラムである。これにより、判定された属性が記録動作条件を満たしていると判定された場合には、撮像画像の記録指示を行い、判定された属性に基づいて、複数の対象物に関する特徴量の中から１または複数の特徴量を選択し、この選択された特徴量と、抽出された特徴量とに基づいて、選択された特徴量に係る対象物と、検出された対象物との類似度を算出し、この算出された類似度と、判定された属性とが登録条件を満たしていると判定された場合には、抽出された特徴量と判定された属性とを記憶させるという作用をもたらす。
【００１６】
また、この第２の側面において、上記判定された属性に関する上記記録動作条件および上記登録条件の設定内容を異なる内容とすることができる。これにより、判定された属性に関する記録動作条件および登録条件の設定内容を異なる内容として、撮像画像の記録指示、および、抽出された特徴量と判定された属性との記憶を行うという作用をもたらす。
【００１７】
また、この第２の側面において、上記対象物検出部は、上記画像に含まれる人物の顔を上記対象物として検出し、上記属性判定部は、上記検出された人物の顔の属性として顔らしさの度合い、笑顔の度合いの少なくとも１つを判定し、上記記録指示部は、上記算出された類似度が閾値を超えるとともに上記判定された顔らしさの度合い、笑顔の度合いが閾値を超えるという条件を上記記録動作条件とし、上記記録動作条件を満たしていると判定された場合には上記撮像画像の記録指示を行うようにしてもよい。これにより、算出された類似度が閾値を超えるとともに、判定された顔らしさの度合い、笑顔の度合いが閾値を超えるという記録動作条件を満たしていると判定された場合には、撮像画像の記録指示を行うという作用をもたらす。
【発明の効果】
【００１８】
本発明によれば、個人識別を適切に行うことができるという優れた効果を奏し得る。
【発明を実施するための最良の形態】
【００１９】
次に本発明の実施の形態について図面を参照して詳細に説明する。
【００２０】
図１は、本発明の実施の形態における撮像装置１００の機能構成例を示すブロック図である。撮像装置１００として、デジタルスチルカメラやデジタルビデオカメラ等の撮像装置、または、携帯電話機やパーソナルコンピュータ等の端末装置に付属するカメラ等の撮像装置が例として挙げられる。
【００２１】
撮像装置１００は、ＣＰＵ（Central Processing Unit）１１０と、レンズ群１２１と、イメージセンサ１２２と、カメラ信号処理部１２３と、画像ＲＡＭ（Random Access Memory）１３０とを備える。また、撮像装置１００は、画像圧縮伸張部１４０と、表示部１５０と、操作受付部１６０と、記憶媒体１７０と、揮発／不揮発性記憶媒体１８０と、画像バス１９０と、ＧＰＳ信号処理部１９５とを備える。また、撮像装置１００は、顔検出部２００と、個人識別部３００と、特定人物情報記憶部３８０とを備える。なお、撮像装置１００の各ブロック間における画像信号の送受信は、直接のやりとり、または、共有メモリである画像ＲＡＭ１３０または画像バス１９０を経由したやりとりによって行われる。
【００２２】
ＣＰＵ１１０は、メモリ（図示せず）に格納されている各種制御プログラムに基づいて撮像装置１００の各部を制御するＣＰＵである。なお、ＣＰＵ１１０は、特許請求の範囲に記載の記録指示部の一例である。
【００２３】
レンズ群１２１は、フォーカスレンズやズームレンズ等の複数のレンズにより構成され、これらのレンズを介して入力された被写体からの入射光をイメージセンサ１２２に出力する。また、レンズ群１２１における絞り制御やフォーカス制御がＣＰＵ１１０により行われる。
【００２４】
イメージセンサ１２２は、レンズ群１２１を通過した被写体からの入射光を電気信号に光電変換し、光電変換された電気信号をカメラ信号処理部１２３に出力するものである。
【００２５】
カメラ信号処理部１２３は、イメージセンサ１２２から出力された電気信号に対して各種の信号処理を施し、信号処理が施された画像データを画像ＲＡＭ１３０、画像圧縮伸張部１４０、表示部１５０および顔検出部２００に出力するものである。カメラ信号処理部１２３における信号処理として、ホワイトバランス調節、ノイズ軽減処理、レベル補正処理、Ａ／Ｄ変換処理および色彩補正処理等の信号処理がある。なお、イメージセンサ１２２およびカメラ信号処理部１２３は、特許請求の範囲に記載の撮像部の一例である。
【００２６】
画像ＲＡＭ１３０は、撮像装置１００において処理対象となる画像データを記憶するものである。
【００２７】
画像圧縮伸張部１４０は、入力された各種画像データを各画像処理に応じて圧縮または伸張するものである。例えば、画像圧縮伸張部１４０により圧縮処理が施された画像データが記憶媒体１７０に出力されて記録される。また、画像圧縮伸張部１４０により伸張処理が施された画像データが画像ＲＡＭ１３０、表示部１５０および顔検出部２００に出力される。なお、圧縮形式として、例えば、ＪＰＥＧ（Joint Photographic Experts Group）形式を採用することができる。
【００２８】
表示部１５０は、カメラ信号処理部１２３または画像圧縮伸張部１４０が出力した画像データに対応する画像を表示する表示部である。
【００２９】
操作受付部１６０は、ユーザにより行われた各種の操作を受け付ける操作受付部であり、受け付けられた操作内容をＣＰＵ１１０に出力する。操作受付部１６０として、例えば、各種の操作部材が撮像装置１００に備えられている。この操作部材として、特定人物情報登録ボタン、特定人物情報自動更新モード設定／解除ボタン、静止画記録モード設定／解除ボタン、シャッターボタン、笑顔静止画記録モード設定／解除ボタン、動画記録モード設定／解除ボタン、録画ボタン等がある。特定人物情報登録ボタンは、現在撮像中の画像に含まれる顔に関する特定人物情報を登録する際に押下されるボタンである。この特定人物情報は、特定の人物に関する情報であり、例えば、特定人物の顔に関する特徴量やその顔の属性（顔属性）等の情報である。特定人物情報自動更新モード設定／解除ボタンは、現在撮像中の画像に含まれる顔が特定人物であるとともに一定条件を満たすと判定された際に、その顔に関する特定人物情報を自動で更新または追加登録する更新モードの設定または解除を行うためのボタンである。静止画記録モード設定／解除ボタンは、静止画の記録を可能な状態にする静止画記録モードの設定または解除を行うためのボタンである。シャッターボタンは、静止画記録モードまたは動画記録モードが設定されている場合に、現在撮像中の画像（静止画）を記録する際に押下されるボタンである。笑顔静止画記録モード設定／解除ボタンは、現在撮像中の画像に含まれる顔が笑顔であると判定された際に、その静止画を自動で記録する笑顔静止画記録モードの設定または解除を行うためのボタンである。動画記録モード設定／解除ボタンは、動画の記録を可能な状態にする動画記録モードの設定または解除を行うためのボタンである。録画ボタンは、動画記録モードに設定されている場合に、動画の記録を開始または終了する際に押下されるボタンである。なお、表示部１５０および操作受付部１６０については、タッチパネルとして一体で構成するようにしてもよく、表示部１５０を液晶ディスプレイ（ＬＣＤ）とし、操作受付部１６０を十字キー等のハードキーとして双方を別体で構成するようにしてもよい。
【００３０】
記憶媒体１７０は、画像圧縮伸張部１４０が出力した画像データを記憶する記憶媒体である。また、記憶媒体１７０は、記憶されている画像データを画像圧縮伸張部１４０に出力する。なお、画像記憶媒体としては、磁気ディスク、光ディスク、半導体記憶媒体、磁気テープ等の画像記憶媒体がある。また、画像記憶媒体は、外部取り外しの可能な記憶媒体または内蔵の記憶媒体とすることができる。
【００３１】
揮発／不揮発性記憶媒体１８０は、各種情報を記憶する揮発／不揮発性の記憶媒体である。
【００３２】
画像バス１９０は、画像データを伝達するための共有バスである。
【００３３】
ＧＰＳ信号処理部１９５は、ＧＰＳ信号受信アンテナ（図示せず）により受信されたＧＰＳ信号に基づいて位置情報を算出するものであり、算出された位置情報をＣＰＵ１１０に出力する。なお、この算出された位置情報には、緯度、経度、高度、方角、時刻等の数値データが含まれる。
【００３４】
顔検出部２００は、入力された画像データに対応する画像に含まれる人の顔を検出するものであり、検出された顔を含むその周辺画像である顔画像を画像バス１９０を介して画像ＲＡＭ１３０に出力する。また、顔検出部２００は、検出された顔に関する情報を個人識別部３００に出力する。なお、顔検出部２００については、図２を参照して詳細に説明する。また、顔検出部２００は、特許請求の範囲に記載の対象物検出部の一例である。
【００３５】
個人識別部３００は、顔検出部２００によって検出された顔について、特定人物情報記憶部３８０に特定人物情報が記憶されている人物（登録人物）と同一人物の顔であるか否かを示す類似度を算出するものであり、算出された類似度をＣＰＵ１１０に出力する。すなわち、個人識別部３００は、顔検出部２００によって検出された顔が登録人物と同一人物の顔であるか否かを判定する。この算出された類似度に基づいて、ＣＰＵ１１０は各制御を行うことができる。例えば、撮像画像において、登録人物と同一人物の顔と判定された顔にマーカを付すことができる。また、例えば、撮像画像において、登録人物と同一人物の顔と判定された顔を最適化するための撮像制御（例えば、フォーカス合わせ、露出合わせ、肌色調整等の撮像制御）を行うことができる。また、個人識別部３００は、現在撮像中の画像に含まれる顔が特定人物であるとともに一定条件を満たすと判定された場合には、その顔に関する特定人物情報を自動で更新または追加登録する。なお、個人識別部３００については、図３を参照して詳細に説明する。
【００３６】
特定人物情報記憶部３８０は、特定人物情報を記憶するものであり、記憶されている特定人物情報を画像バス１９０を介して個人識別部３００に供給する。また、特定人物情報記憶部３８０は、個人識別部３００から出力された特定人物情報を人物毎に上書きまたは追加して記録する。なお、特定人物情報記憶部３８０については、図３および図１５を参照して詳細に説明する。また、特定人物情報記憶部３８０は、特許請求の範囲に記載の対象物情報記憶部の一例である。
【００３７】
ここで、シャッターボタンの押下操作が操作受付部１６０により受け付けられた場合には、ＣＰＵ１１０がイメージセンサ１２２、カメラ信号処理部１２３、画像圧縮伸張部１４０等を制御して静止画の記録動作が行われる。例えば、シャッターボタンが押下された際には、カメラ信号処理部１２３により処理された１フレーム分の画像データが画像圧縮伸張部１４０に供給され、所定の符号化方式に従って画像圧縮伸張部１４０により圧縮符号化される。そして、圧縮処理が施された画像データが記憶媒体１７０に出力されて記録される。また、動画記録モードが設定されている場合に録画ボタンの押下操作が操作受付部１６０により受け付けられた場合には、ＣＰＵ１１０がイメージセンサ１２２、カメラ信号処理部１２３、画像圧縮伸張部１４０等を制御して動画の記録動作が行われる。例えば、録画ボタンが押下された際には、カメラ信号処理部１２３により処理された画像データが画像圧縮伸張部１４０に連続的に供給され、所定の符号化方式に従って画像圧縮伸張部１４０により圧縮符号化される。
【００３８】
なお、ＣＰＵ１１０の制御に基づいて、画像圧縮伸張部１４０が出力した画像データを外部記憶媒体等の外部装置に出力し、外部記憶媒体から入力された画像データを画像圧縮伸張部１４０に出力するための入出力端子を撮像装置１００に設けるようにしてもよい。
【００３９】
図２は、本発明の実施の形態における顔検出部２００の機能構成例を示すブロック図である。顔検出部２００は、コントローラ２１０と、画像拡大縮小部２２０と、画像保持部２３０と、基準顔データ保持部２４０と、判定部２５０とを備える。
【００４０】
コントローラ２１０は、ＣＰＵ１１０からの指示に従って顔検出部２００の各部を制御するものである。
【００４１】
画像拡大縮小部２２０は、カメラ信号処理部１２３または画像圧縮伸張部１４０から出力された画像データ、または、画像ＲＡＭ１３０に記憶されている画像データに対応する画像に対して、顔の検出に適する画像に拡大または縮小処理を実行するものである。なお、画像の拡大率または縮小率は、ＣＰＵ１１０からの指示に基づいて決定される。
【００４２】
画像保持部２３０は、画像拡大縮小部２２０により拡大処理または縮小処理が施された画像を保持する画像メモリであり、保持されている画像を判定部２５０に出力するとともに、画像バス１９０を介して画像ＲＡＭ１３０に出力する。
【００４３】
基準顔データ保持部２４０は、顔検出に用いる際に基準となる顔データを保持するものであり、保持されている顔データを判定部２５０に出力する。ここで基準となる顔データは、例えば、顔画像そのもの、人の顔に関する特徴データベース等である。
【００４４】
判定部２５０は、画像保持部２３０に保持されている画像に顔が含まれているか否かを判定するものであり、顔検出結果をＣＰＵ１１０および個人識別部３００に出力する。具体的には、判定部２５０は、画像保持部２３０に保持されている画像を一定のウィンドウサイズで部分的に取り出し、取り出された画像と、基準顔データ保持部２４０に保持されている顔データとでテンプレートマッチング処理を行う。そして、相関性の高さに基づいて、顔らしさを算出する。そして、算出された顔らしさに基づいて、取り出された画像が顔画像であるか否かを判定する。例えば、算出された顔らしさが十分に高い場合には、取り出された画像が顔画像であると判定される。これらの判定が繰り返し実行され、画像保持部２３０に保持されている画像に含まれている顔が検出される。
【００４５】
また、判定部２５０は、基準顔データ保持部２４０に保持されている顔データとの相関性の高さに基づいて、画像保持部２３０に保持されている画像に含まれている顔に関する各種データを抽出する。そして、抽出された各種データを顔検出結果としてＣＰＵ１１０および個人識別部３００に出力する。この顔検出結果は、顔領域の座標、顔領域の大きさ、顔の向き、顔らしさ等である。これらの顔検出結果はＣＰＵ１１０に蓄えられる。
【００４６】
図３は、本発明の実施の形態における個人識別部３００の機能構成例、および、個人識別部３００と、画像ＲＡＭ１３０、画像バス１９０および特定人物情報記憶部３８０との概略関係を示すブロック図である。
【００４７】
個人識別部３００は、コントローラ３１０と、正規化部３２０と、属性判定部３３０と、属性判定基準データ保持部３３１と、特徴点算出部３４０と、特徴点座標テーブル保持部３４１とを備える。また、個人識別部３００は、顔特徴量抽出部３５０と、類似度算出部３６０と、類似度算出基準データ保持部３６１と、特定人物情報登録部３７０とを備える。また、個人識別部３００は、画像バス１９０を介して、画像ＲＡＭ１３０に記憶されている画像から、この画像に含まれる顔を含む顔画像を入力する。また、個人識別部３００は、特定人物情報記憶部３８０に記憶されている特定人物情報を取得して類似度算出を行い、一定の条件を満たす特定人物情報を特定人物情報記憶部３８０に記録する。
【００４８】
コントローラ３１０は、ＣＰＵ１１０からの指示に従って個人識別部３００の各部を制御するものである。
【００４９】
正規化部３２０は、顔検出部２００から出力された顔検出結果に含まれる顔領域の座標および大きさに基づいて、画像ＲＡＭ１３０に記憶されている画像から顔画像を読み出し、読み出された顔画像について正規化を行うものである。そして、正規化された顔画像である正規化顔画像を属性判定部３３０および特徴点算出部３４０に出力する。具体的には、正規化部３２０は、例えば、画像ＲＡＭ１３０から読み出された顔画像に含まれる顔が一定の大きさになるように、その顔画像を解像度変換する（例えば、６４×６４画素程度）。そして、その顔に含まれる両目がほぼ水平に保たれるように、その顔画像に回転処理を施して正規化顔画像を生成する。なお、顔画像の正規化については、図４を参照して詳細に説明する。
【００５０】
属性判定部３３０は、属性判定基準データ保持部３３１に保持されている属性判定基準データを用いて、正規化部３２０から出力された正規化顔画像に含まれる顔の属性を判定するものである。そして、判定結果（顔属性情報、積算結果値等）を特徴点算出部３４０、顔特徴量抽出部３５０、類似度算出部３６０および特定人物情報登録部３７０に出力する。例えば、正規化部３２０から出力された正規化顔画像について、属性判定基準データ保持部３３１に保持されている属性判定基準データがどの程度満たされるか否かを算出することにより、各属性についての積算結果値が得られる。ここで、属性判定部３３０により判定される顔の属性は、例えば、顔の表情、年齢や年代、性別、目の開閉、人種、眼鏡の有無や種類、ヒゲの有無や種類、帽子の有無や種類、アクセサリーの有無や種類、髪型、顔の向き等である。なお、顔の表情とは、例えば、笑顔、真剣な顔、悲しい顔、怒った顔等である。なお、顔の属性の判定については、図５乃至図８を参照して詳細に説明する。
【００５１】
属性判定基準データ保持部３３１は、属性判定部３３０による判定に用いられる複数の属性判定基準データから構成されている属性判定用辞書を、顔の属性毎に保持するものである。この属性判定基準データは、属性判定部３３０により判定される顔の属性に関して予め十分に学習をさせた基準データである。なお、属性判定用辞書については、図６を参照して詳細に説明する。
【００５２】
特徴点算出部３４０は、正規化部３２０から出力された正規化顔画像に含まれる顔上に設定すべき特徴点の位置を算出して決定するものであり、算出された特徴点の位置を含む正規化顔画像を顔特徴量抽出部３５０に出力する。具体的には、特徴点算出部３４０は、特徴点座標テーブル保持部３４１に保持されている特徴点座標テーブルに含まれる特徴点座標について、属性判定部３３０から出力された判定結果に基づいて変更等を行う。そして、正規化部３２０から出力された正規化顔画像に含まれる顔上に設定すべき特徴点の位置を算出して決定する。なお、正規化顔画像に含まれる顔上に設定すべき特徴点の位置の算出については、図９乃至図１１を参照して詳細に説明する。
【００５３】
特徴点座標テーブル保持部３４１は、特徴点算出部３４０による特徴点の位置の算出に用いられる特徴点座標テーブルを保持するものである。なお、特徴点座標テーブルについては、図９を参照して詳細に説明する。
【００５４】
顔特徴量抽出部３５０は、特徴点算出部３４０から出力された正規化顔画像に含まれる各特徴点における特徴量である顔特徴量を抽出するものであり、抽出された顔特徴量を類似度算出部３６０および特定人物情報登録部３７０に出力する。本発明の実施の形態では、特徴点における特徴量の抽出方法として、ガボア・フィルタを用いた抽出方法を例にして説明する。なお、ガボア・フィルタを用いて抽出された特徴量は、ガボア・ジェットと呼ばれている。また、本発明の実施の形態では、属性判定部３３０から出力された判定結果に基づいてガボア・フィルタの変更等を行う。なお、ガボア・フィルタを用いた特徴量の抽出方法については、図１２乃至図１４を参照して詳細に説明する。また、顔特徴量抽出部３５０は、特許請求の範囲に記載の特徴量抽出部の一例である。
【００５５】
類似度算出部３６０は、顔特徴量抽出部３５０から出力された顔特徴量と、特定人物情報記憶部３８０から読み出された顔特徴量との類似度を算出するものであり、この算出された類似度をＣＰＵ１１０および特定人物情報登録部３７０に出力する。具体的には、類似度算出部３６０は、類似度算出基準データ保持部３６１に保持されている類似度算出基準データを用いて、顔特徴量抽出部３５０から出力された顔特徴量と特定人物情報記憶部３８０から読み出された顔特徴量とを比較する。そして、この比較結果に基づいて、これらの顔特徴量の類似度を算出する。この算出された類似度は、顔検出部２００により検出された顔が、特定人物情報記憶部３８０に顔特徴量が記憶されている特定人物と同一人物の顔であるか否かを示す類似度である。本発明の実施の形態では、属性判定部３３０から出力された判定結果に基づいて、類似度の算出に用いられる類似度算出基準データの変更等を行う。なお、類似度の算出については、図１５乃至図２２等を参照して詳細に説明する。
【００５６】
類似度算出基準データ保持部３６１は、類似度算出部３６０の判定に用いられる複数の類似度算出基準データから構成されている類似度算出用辞書を、顔の属性毎に保持するものである。この類似度算出基準データは、類似度算出部３６０により算出される顔の類似度に関して予め十分に学習をさせた基準データである。類似度算出用辞書については、図１７を参照して詳細に説明する。
【００５７】
特定人物情報登録部３７０は、コントローラ３１０の指示に基づいて、一定の条件を満たす特定人物情報を特定人物情報記憶部３８０に登録するものである。すなわち、ユーザが特定人物情報の登録を指示した場合、または、撮像装置１００の内部で一定の条件が満たされたと判断された場合に登録処理が実行される。この登録処理については、図２３および図２５を参照して詳細に説明する。なお、特定人物情報登録部３７０は、特許請求の範囲に記載の対象物情報登録部の一例である。
【００５８】
特定人物情報記憶部３８０は、特定人物の顔について抽出された顔特徴量と、この特定人物について判定された顔の属性とを人物毎に関連付けて記憶するものであり、記憶されている顔特徴量および顔の属性を画像バス１９０を介して類似度算出部３６０に供給する。また、特定人物情報記憶部３８０は、特定人物情報登録部３７０から出力された顔特徴量を人物毎に上書きまたは追加して記録する。なお、特定人物情報記憶部３８０の記憶内容については、図１５を参照して詳細に説明する。
【００５９】
次に、顔画像を正規化する場合について図面を参照して詳細に説明する。
【００６０】
図４は、本発明の実施の形態における顔検出部２００により検出された顔を含むその周辺画像である顔画像を正規化する場合における正規化の一例を示す図である。
【００６１】
図４（ａ）は、カメラ信号処理部１２３から出力された画像データに対応する撮像画像４００を示す図である。撮像画像４００には人物４０１の顔４０２が含まれているものとする。この場合に、顔検出部２００により撮像画像４００から顔４０２が検出されると、顔４０２の検出結果が顔検出部２００から個人識別部３００に出力される。個人識別部３００が顔４０２の検出結果を入力すると、顔４０２を含む顔画像４０３が画像ＲＡＭ１３０から読み出され、この読み出された顔画像４０３が正規化部３２０に入力される。
【００６２】
図４（ｂ）および（ｃ）は、顔検出部２００により検出された顔４０２を含む顔画像４０３を正規化する場合における遷移を示す図である。この例では、顔画像を正規化する際に基準となる基準位置４１０が規定されている。基準位置４１０は、例えば、顔検出部２００により検出された顔に含まれる両目が、ほぼ水平に保たれるとともに、正規化顔画像における一定の位置に配置されるように、顔画像を変換するための基準位置である。なお、両目の検出方法として、例えば、顔検出方法と同様に、テンプレートマッチング処理による目検出方法等を用いることができる。
【００６３】
例えば、撮像画像４００から取り出された顔画像４０３について、顔画像４０３に含まれる顔４０２が一定の大きさになるように解像度変換される。そして、顔４０２に含まれる目４０４および４０５の中心位置が、基準位置４１０の線上に合致するとともに、ほぼ水平に保たれるように、顔画像がアフィン変換等によって回転処理されて、正規化顔画像４２０が生成される。
【００６４】
なお、本発明の実施の形態では、両目の中心位置を基準として正規化を行う場合について説明するが、顔に含まれる両目以外の他の器官の位置を基準として用いるようにしてもよい。
【００６５】
次に、顔の属性判定について図面を参照して詳細に説明する。
【００６６】
図５は、本発明の実施の形態における属性判定部３３０による顔属性の判定対象となる顔画像を概略的に示す図である。図５（ａ）には人物の顔として通常の顔４３１を含む正規化顔画像４３０を示し、図５（ｂ）には人物の顔として笑顔４４１を含む正規化顔画像４４０を示す。ここで、通常の顔と笑顔とを比較した場合、一般的に、笑顔には、目が細くなる、眉尻や目尻が下がる、頬の位置が上がる、鼻の両脇が横に広がる、口が横に広がる、口が開く、口の両端が上がる等の特徴的な点が生じることが多い。そこで、これらの笑顔の特徴的な状態に対応する属性判定基準データを属性判定基準データ保持部３３１に保持しておき、この属性判定基準データを笑顔の属性判定または笑顔の度合い判定に用いる。この属性判定基準データを用いた判定方法については、図６乃至図８を参照して詳細に説明する。また、図５（ｂ）に示す位置４４２乃至４４７については、図６を参照して詳細に説明する。
【００６７】
図６は、本発明の実施の形態における属性判定部３３０が顔の属性判定を行う際に用いられる属性判定用辞書の構成例を示す図である。本発明の実施の形態では、正規化顔画像における画素差分による相関性判断手法を用いて顔の属性判定を行う例について説明する。
【００６８】
属性判定用辞書４５０を構成する属性判定基準データは、正規化顔画像の座標０（ｘ，ｙ）４５１および座標１（ｘ，ｙ）４５２と、座標０および座標１のレベル差（輝度差）の閾値（θ）４５３と、基準データの重み（α）４５４とから構成されている。正規化顔画像の座標０（ｘ，ｙ）４５１および座標１（ｘ，ｙ）４５２は、正規化顔画像における２点の位置を示す座標である。座標０および座標１のレベル差の閾値（θ）４５３は、座標０および座標１のレベル差（輝度差）に対する閾値である。基準データの重み（α）４５４は、座標０および座標１のレベル差の値と、座標０および座標１のレベル差の閾値（θ）４５３との比較結果に基づいて加算される重み係数である。また、属性判定用辞書４５０には、これらの各値の組合せからなる基準データがｎ個格納されている。なお、本発明の実施の形態で示す基準データは、弱判別器（弱仮説）と称される。
【００６９】
属性判定基準データを構成する各値は、例えば、アダブースト（ＡｄａＢｏｏｓｔ）等の機械学習アルゴリズムにより学習されたもののうちで、最も効果的な上位３００乃至１０００組の組合せを用いて設定される。このように、各属性判定用辞書の形式が同一であるため、複数の判定処理を同一のアルゴリズムで行うことができる。
【００７０】
次に、正規化顔画像について属性判定用辞書を用いて顔の属性判定を行う例について図面を参照して詳細に説明する。この例では、図５（ｂ）に示す正規化顔画像４４０の左上隅を原点として、横軸をｘ軸とし、縦軸をｙ軸として、正規化顔画像４４０について属性判定用辞書４５０を用いた属性判定処理をする場合について説明する。
【００７１】
例えば、属性判定用辞書４５０の１行目（基準データ０）に格納されている座標０（ｘ，ｙ）４５１の値に対応する正規化顔画像４４０の位置を位置４４２とし、座標１（ｘ，ｙ）４５２の値に対応する正規化顔画像４４０の位置を位置４４３とする。また、属性判定用辞書４５０の２行目（基準データ１）に格納されている座標０（ｘ，ｙ）４５１の値に対応する正規化顔画像４４０の位置を位置４４４とし、座標１（ｘ，ｙ）４５２の値に対応する正規化顔画像４４０の位置を位置４４５とする。さらに、属性判定用辞書４５０の３行目（基準データ２）に格納されている座標０（ｘ，ｙ）４５１の値に対応する正規化顔画像４４０の位置を位置４４６とし、座標１（ｘ，ｙ）４５２の値に対応する正規化顔画像４４０の位置を位置４４７とする。
【００７２】
最初に、判定を行うためのスコアＳの値に０がセットされ、属性判定用辞書４５０の基準データ０に含まれる各値を用いた演算が行われる。具体的には、属性判定用辞書４５０基準データ０に含まれる座標０（ｘ，ｙ）４５１の値に対応する位置４４２における輝度の値Ａ（０）と、座標１（ｘ，ｙ）４５２の値に対応する位置４４３における輝度の値Ｂ（０）とが抽出される。そして、次式を用いて、抽出された各輝度の値の差Ｃ（０）が算出される。
Ｃ（０）＝Ａ（０）−Ｂ（０）
【００７３】
続いて、算出された各輝度の差の値Ｃ（０）と、属性判定用辞書４５０基準データ０に含まれる閾値（θ）４５３の値とを比較して、算出された値Ｃ（０）が閾値（θ）４５３の値よりも大きいか否かが判断される。算出された値Ｃ（０）が閾値（θ）４５３の値以下である場合には、属性判定用辞書４５０の基準データ０に含まれる重み（α）４５４の値をスコアＳに加算する。一方、算出された値Ｃ（０）が閾値（θ）４５３の値よりも大きい場合には、属性判定用辞書４５０の基準データ０に含まれる重み（α）４５４の値をスコアＳに加算しない。
【００７４】
続いて、属性判定用辞書４５０の基準データ１に含まれる各値を用いて、上述した各演算を繰り返す。具体的には、属性判定用辞書４５０の基準データ１に含まれる座標０（ｘ，ｙ）４５１の値に対応する位置４４４における輝度の値Ａ（１）と、座標１（ｘ，ｙ）４５２の値に対応する位置４４５における輝度の値Ｂ（１）とが抽出される。そして、次式を用いて、抽出された各輝度の値の差Ｃ（１）が算出される。
Ｃ（１）＝Ａ（１）−Ｂ（１）
【００７５】
続いて、算出された各輝度の差の値Ｃ（１）と、属性判定用辞書４５０の基準データ１に含まれる閾値（θ）４５３の値とを比較して、算出された値Ｃ（１）が閾値（θ）４５３の値よりも大きいか否かが判断される。算出された値Ｃ（１）が閾値（θ）４５３の値以下である場合には、属性判定用辞書４５０の基準データ１に含まれる重み（α）４５４の値をスコアＳに加算する。一方、算出された値Ｃ（１）が閾値（θ）４５３の値よりも大きい場合には、属性判定用辞書４５０の基準データ１に含まれる重み（α）４５４の値をスコアＳに加算しない。
【００７６】
続いて、属性判定用辞書４５０の基準データ２以降、基準データｎ−１までの各値を順次用いて、上述した各演算を繰り返す。
【００７７】
すなわち、正規化顔画像４４０について属性判定用辞書４５０を用いた判定処理をする場合には、属性判定用辞書４５０の基準データ０乃至ｎ−１に含まれる各値を順次用いて、式１を用いてＣ（ｉ）が算出される。そして、算出されたＣ（ｉ）が式２を満たすか否かが判定される。ここで、変数ｉは整数であり、０からｎ−１の値を示す。
Ｃ（ｉ）＝Ａ（ｉ）−Ｂ（ｉ）……（式１）
Ｃ（ｉ）＞θ（ｉ） ……（式２）
【００７８】
そして、算出されたＣ（ｉ）が式２を満たす場合には、α（ｉ）の値がスコアＳに加算されず、算出されたＣ（ｉ）が式２を満たさない場合には、α（ｉ）の値がスコアＳに加算される。ここで、基準データｉに含まれる座標０（ｘ，ｙ）４５１に対応する輝度の値をＡ（ｉ）で表し、基準データｉに含まれる座標１（ｘ，ｙ）４５２に対応する輝度の値をＢ（ｉ）で表す。また、基準データｉに含まれる閾値（θ）４５３の値をθ（ｉ）で表し、基準データｉに含まれる重み（α）４５４の値をα（ｉ）で表す。
【００７９】
そして、属性判定用辞書４５０の基準データｎ−１に含まれる各値を用いた各演算が終了した後に、積算結果値であるスコアＳの値に基づいて各属性が判定される。
【００８０】
ここで、属性判定用辞書の基準データ０乃至ｎ−１に含まれる各値を用いた各演算の終了後におけるスコアＳｎ（Ｐ）は、次の式３で表すことができる。
【数１】
【００８１】
ここで、Ｓｎ（Ｐ）は基準データ０乃至ｎ−１の積算結果値を示し、αｉは基準データｉに含まれる重み（α）４５４の値を示し、Ｐ（ｘｉ０，ｙｉ０）は基準データｉに含まれる座標０（ｘ，ｙ）４５１に対応する輝度の値を示す。また、Ｐ（ｘｉ１，ｙｉ１）は基準データｉに含まれる座標１（ｘ，ｙ）４５２に対応する輝度の値を示し、θｉは基準データｉに含まれる閾値（θ）４５３の値を示し、ｎは基準データの数を示す。また、ｈ（ｚ）は、ｚ＞０の場合には０となり、ｚ≦０の場合には１となる関数を表すものとする。
【００８２】
次に、属性判定用辞書の基準データ０乃至ｎ−１に含まれる各値を用いて算出された積算結果値に基づいて顔属性を判定する判定方法について図面を参照して詳細に説明する。
【００８３】
図７は、本発明の実施の形態における属性判定部３３０により正規化顔画像について属性判定用辞書を用いて求められる各顔属性に関する積算結果値の範囲を示す図である。図７（ａ）には、顔属性として笑顔に関する積算結果値の範囲を示し、図７（ｂ）には、顔属性として性別に関する積算結果値の範囲を示し、図７（ｃ）には、顔属性として年代に関する積算結果値の範囲を示す。図７（ａ）乃至（ｃ）に示す各属性に関する積算結果値の範囲は、例えば、−１０００〜＋１０００の範囲とする。
【００８４】
例えば、上述の機械学習アルゴリズムによって学習時における笑顔の学習サンプルを正側とし、非笑顔の学習サンプルを負側として学習する場合を想定する。この場合において、顔属性として笑顔を判定する場合には、図７（ａ）に示す閾値４６１および４６２を用いて、笑顔／非笑顔が判定される。
【００８５】
例えば、図７（ａ）に示す笑顔に関する積算結果値の範囲において、属性判定用辞書の基準データ０乃至ｎ−１に含まれる各値を用いて算出された積算結果値であるスコアＳｎ（Ｐ）が閾値４６１未満である場合には、「非笑顔」であると判定される。一方、スコアＳｎ（Ｐ）が閾値４６２よりも大きい場合には、「笑顔」であると判定される。また、スコアＳｎ（Ｐ）が閾値４６１から閾値４６２の範囲内にある場合には、笑顔／非笑顔の何れにも判定されず、「あいまい」であると判定される。また、図７（ｂ）および（ｃ）に示す各属性についても、図７（ａ）と同様に判定することができる。これらの判定結果および積算結果値が、属性判定部３３０から特徴点算出部３４０、顔特徴量抽出部３５０および類似度算出部３６０に出力される。
【００８６】
図８は、本発明の実施の形態における属性判定部３３０から出力される各属性に関する判定結果および積算結果値の一例を示す図である。同図では、属性判定部３３０から出力される判定結果および積算結果値を顔属性判定結果４７０として一覧表で模式的に示す。なお、同図に示す識別番号００１、００２、…は、判定対象となる顔画像を識別するための番号である。同図に示すように、各正規化顔画像について判定結果および積算結果値が属性判定部３３０から出力される。例えば、顔の属性として笑顔／非笑顔４７１については、判定結果として「笑顔」、「非笑顔」、「あいまい」が出力されるとともに、積算結果値としてスコアＳｎ（Ｐ）の値が出力される。また、顔の属性として、男性／女性（性別）４７２、大人／子供（年代）４７３についても、同様に判定結果および積算結果値が出力される。
【００８７】
次に、正規化顔画像における特徴点の位置の算出について図面を参照して詳細に説明する。
【００８８】
図９は、本発明の実施の形態における正規化部３２０により生成された正規化顔画像に設定すべき特徴点の位置を算出する特徴点位置算出方法の一例を示す図である。図９（ａ）は、正規化顔画像に設定すべき特徴点の位置を算出する場合に用いられる特徴点座標テーブルの一例である特徴点座標テーブル５００を示す図である。特徴点座標テーブル５００は、正規化顔画像に設定すべき特徴点の座標を保持するものであり、特徴点座標テーブル保持部３４１に保持されている。図９（ａ）では、設定の対象となる正規化顔画像の大きさを白塗りの四角で示し、特徴点を設定すべき座標に対応する位置を黒塗りの丸で示す。ここで、例えば、特徴点座標の初期値として、大人の顔画像に合わせて各座標を定めておくものとする。また、図９乃至図１１では、説明のため、特徴点の数を比較的少なくした例を図示する。
【００８９】
図９（ｂ）は、正規化部３２０により生成された正規化顔画像の一例である正規化顔画像５１０を示す図である。ここで、正規化顔画像５１０に含まれる顔５１１は、比較的普通の大人の顔であるものとする。図９（ｃ）は、図９（ｂ）に示す正規化顔画像５１０において、図９（ａ）に示す特徴点座標テーブル５００に含まれる座標に特徴点が設定された場合を示す図である。なお、図９（ｃ）では、正規化顔画像５２０に配置された特徴点を黒塗りの丸で示す。このように、正規化部３２０により生成された正規化顔画像５１０に含まれる顔が、比較的普通の大人の顔である場合には、特徴点座標テーブル５００に含まれる座標に対応する位置に特徴点を設定することにより、比較的適切な位置に特徴点を設定することができる。
【００９０】
しかしながら、類似度算出の対象となる正規化顔画像は、両目の位置に基づいて正規化されているものの、正規化顔画像に含まれる人物の属性によっては各部に差異が生じていることが多い。このため、正規化顔画像に設定すべき特徴点座標を一義的に定めておくことは困難である場合がある。そこで、本発明の実施の形態では、属性判定部３３０により判定された顔属性に基づいて、正規化顔画像に含まれる顔に適するように、特徴点を設定する位置について変更または追加等を行う。
【００９１】
図１０は、本発明の実施の形態における正規化部３２０により生成された正規化顔画像に特徴点を設定する場合における配置例を示す図である。図１０（ａ）に示す正規化顔画像５２０は、図９（ｃ）に示す正規化顔画像５２０と同じである。図１０（ｂ）は、子供の顔が含まれる正規化顔画像５３１を示す図であり、図１０（ｃ）は、西洋人の顔が含まれる正規化顔画像５３２を示す図である。また、図１０（ｄ）は、東洋人の顔が含まれる正規化顔画像５３３を示す図であり、図１０（ｅ）は、左向きの顔が含まれる正規化顔画像５３４を示す図であり、図１０（ｆ）は、右向きの顔が含まれる正規化顔画像５３５を示す図である。
【００９２】
図１０（ｂ）に示すように、子供の顔は、一般的に、目、鼻、口等の顔の器官が真中寄りに集まっている場合が多い。例えば、年代に関する顔属性の判定結果として、子供が判定されている場合（子供の度合いが比較的高い場合）を想定する。この場合には、積算結果値である子供の度合いに応じて、子供に比べておおむね面長（おもなが）である大人の特徴点（特徴点座標テーブル５００に含まれる座標に対応する位置）を垂直方向に縮小（または、水平方向に拡大）するように変更する。
【００９３】
また、図１０（ｃ）に示すように、西洋人の顔は、一般的に、比較的面長（おもなが）である場合が多い。これに対して、図１０（ｄ）に示すように、東洋人の顔は、一般的に、比較的丸顔である場合が多い。例えば、正規化顔画像５３２に含まれる西洋人の顔の横幅Ｌ１と、正規化顔画像５３３に含まれる東洋人の顔の横幅Ｌ２とを比較した場合には、東洋人の横幅Ｌ２の値が大きい。そこで、人種に関する顔属性の判定結果に基づいて、特徴点座標テーブル５００に含まれる座標に対応する位置を水平方向に縮小または拡大するように変更する。
【００９４】
また、図１０（ｅ）または（ｆ）に示すように、左向きまたは右向きの顔については、顔の向きに応じて目、鼻、口等の顔の器官が左寄りまたは右寄りとなる。そこで、顔の向きに関する顔属性の判定結果に基づいて、特徴点座標テーブル５００に含まれる座標に対応する位置を水平方向に移動させるように変更する。図１０（ｂ）乃至（ｆ）に示すように、顔属性の判定結果に基づいて、特徴点の位置を変更することによって、類似度算出の対象となる顔に最適な特徴点の設定が可能となり、さらに高精度な特徴点算出が可能になる。これにより、個人識別の精度をさらに向上させることができる。
【００９５】
図１１は、本発明の実施の形態における正規化部３２０により生成された正規化顔画像に特徴点を設定する場合における配置例を示す図である。図１１（ａ）乃至（ｃ）に示す正規化顔画像５２０は、図９（ｃ）に示す正規化顔画像５２０と同じである。
【００９６】
図１１（ａ）に示す正規化顔画像５４０は、正規化顔画像５２０に含まれる顔５１１に眼鏡５４１が付加された場合における正規化顔画像である。図１１（ｂ）に示す正規化顔画像５５０は、正規化顔画像５２０に含まれる顔５１１にヒゲ５５１が付加された場合における正規化顔画像である。図１１（ｃ）に示す正規化顔画像５６０は、正規化顔画像５２０に含まれる顔５１１に帽子５６１が付加された場合における正規化顔画像である。
【００９７】
図１１（ａ）に示すように、検出された顔の属性として、眼鏡の積算結果値が高い場合（眼鏡ありと判定された場合等）には、眼鏡の周辺と考えられる位置に特徴点が追加される。例えば、眼鏡５４１の周辺に特徴点５４２乃至５４５が追加して配置される。また、図１１（ｂ）に示すように、検出された顔の属性として、ヒゲの積算結果値が高い場合（ヒゲありと判定された場合等）には、ヒゲの周辺と考えられる位置に特徴点が追加される。例えば、ヒゲ５５１の周辺に特徴点５５２および５５３が追加して配置される。なお、図１１（ａ）および（ｂ）に示すように特徴点を追加する代わりに、他の特徴点を、眼鏡またはヒゲの周辺に移動させるようにしてもよい。眼鏡の種類や形状、ヒゲの位置や広さについても判定することができる場合には、これらの判定結果に応じて、特徴点座標を切り替えるようにしてもよい。
【００９８】
ここで、帽子は特徴があるものの、変動し易い属性であることが多い。このため、図１１（ｃ）に示すように、検出された顔の属性として、帽子の積算結果値が高い場合（帽子ありと判定された場合等）には、頭の位置に相当すると考えられる範囲に存在する特徴点が削除される。例えば、図１１（ｃ）に示す正規化顔画像５２０において点線５６２で囲まれている特徴点が削除される。また、眼鏡、ヒゲ、帽子等の属性が複数存在する場合には、これらに応じて上述した追加または削除等を行う。図１１（ａ）乃至（ｃ）に示すように、顔属性の判定結果に基づいて、特徴点を追加または削除することによって、類似度算出の対象となる顔に最適な特徴点の設定が可能となり、さらに高精度な特徴点算出が可能になる。これにより、個人識別の精度をさらに向上させることができる。
【００９９】
これらの特徴点座標の算出は、特徴点座標テーブル保持部３４１に保持されている特徴点座標テーブル５００を初期値として、この初期値の座標を基準として、顔属性の判定結果に基づいて、拡大または縮小等の演算により行う。また、ＣＰＵ１１０から特徴点座標を直接ロードするようにしてもよい。また、両者を組み合わせるようにしてもよい。また、顔属性の判定結果に応じた複数の特徴点座標テーブルを特徴点座標テーブル保持部３４１に保持しておき、顔属性の判定結果に応じて、特徴点座標テーブルを選択するようにしてもよい。また、積算結果値の大小に応じて、特徴点座標の位置の拡大または縮小等の演算を行うようにしてもよい。
【０１００】
次に、正規化顔画像に設定された特徴点における特徴量の抽出について図面を参照して詳細に説明する。図９乃至図１１に示すように、正規化部３２０により生成された正規化顔画像に各特徴点が設定された後に、各特徴点について特徴量抽出処理を行う。なお、本発明の実施の形態では、特徴量の抽出方法として、ガボア・フィルタ（ｇａｂｏｒ ｆｉｌｔｅｒ）を用いた抽出方法を例にして説明する。なお、ガボア・フィルタは、ガボール・フィルタと称されることもある。
【０１０１】
図１２は、本発明の実施の形態における顔特徴量抽出部３５０により用いられるガボア・フィルタ、および、このガボア・フィルタの中の１つのフィルタの係数を表すグラフの例を示す図である。
【０１０２】
図１２（ａ）には、顔特徴量抽出部３５０により特徴点における特徴量の抽出に用いられるガボア・フィルタの一例を示す。ガボア・フィルタには、抽出する帯域とフィルタをかける画像上の角度との２つのパラメータが主に存在する。図１２（ａ）に示すガボア・フィルタは、横方向は角度の種類を示し、縦方向は帯域の種類を示す。この例では、帯域の種類は、下から上に進むに従って低い周波数から高い周波数となる。また、角度の種類は、２２．５度ずつ回転させたものである。すなわち、角度の種類として、０度、２２．５度、４５度、６７．５度、９０度、１１２．５度、１３５度、１５７．５度のように等間隔に設定する。このように、本発明の実施の形態では、どのような属性の顔でも特徴量を抽出することができるようなパラメータ設定として、５種類の周波数と８種類の角度とからなる４０種類のフィルタを例にして説明する。なお、本発明の実施の形態では、平均的な顔を広く対象とするパラメータ設定として４０種類のフィルタを例にして説明するが、フィルタの数等について適宜増減するようにしてもよい。例えば、角度の種類としてさらに細かく分割した角度を設定することによって、高精度な特徴量を抽出することができる。例えば、角度の種類を１０種類とする場合には、１８度、３６度、５４度、７２度、…、１６２度のように等間隔に設定することができる。また、角度の種類を１２種類とする場合には、１５度、３０度、４５度、６０度、…、１６５度のように等間隔に設定することができる。ここで、角度の種類として細かく分割した角度を設定する場合には、角度の種類の増加に応じてデータ処理量が増えることになる。そこで、処理速度や処理装置の規模との兼ね合いを考慮して、角度の種類を設定することができる。
【０１０３】
図１２（ｂ）には、図１２（ａ）に示す４０種類のガボア・フィルタの中の１つのフィルタ６００の係数を３次元空間上に表すグラフを示す。フィルタ６００は、画像上の４５度の方向に対して、比較的高めの帯域を抽出するフィルタである。また、図１２（ｂ）に示すように、フィルタ６００の係数の特徴点における振幅が頂点となるようなガウス曲線が包絡線となる。
【０１０４】
図１３は、本発明の実施の形態における正規化部３２０により生成される正規化顔画像の一例である正規化顔画像６３０を示す図である。ここでは、正規化顔画像６３０に含まれる顔６４０上に設定されている複数の特徴点の中の３つの特徴点６４１乃至６４３を用いて顔特徴量抽出部３５０が特徴量を抽出する例について説明する。
【０１０５】
特徴点６４１乃至６４３は、正規化顔画像６３０に含まれる顔６４０上に設定された特徴点であり、例えば、特徴点６４１は左目の下付近に配置され、特徴点６４２は右目の目尻付近に配置され、特徴点６４３は鼻の頭付近に配置されている。
【０１０６】
ガボア・フィルタを用いて特徴点における特徴量を抽出する場合には、特徴点の画素とその周辺に存在する画素とを含む近傍画素を用いる。この近傍画素として、例えば、特徴点を中心とする２０画素×２０画素を用いることができる。例えば、同図に示す正規化顔画像６３０に設定されている特徴点６４１乃至６４３の近傍画素をそれぞれ近傍画素６４５乃至６４７として、点線の四角で示す。
【０１０７】
そして、特徴点の近傍画素と、ガボア・フィルタに含まれる各帯域および各角度の係数とによって、次の（式４）に示すたたみ込み演算を行う。これにより、特定の人物を認識するための有意な値として、特徴点における特徴量であるガボア・ジェットが得られる。このたたみ込み演算を、各特徴点について順次演算することにより、各特徴点における特徴量（ガボア・ジェット）を得ることができる。
【数２】
【０１０８】
ここで、ｐ（ｘ，ｙ）は近傍画素の輝度を示し、ｇ（ｘ，ｙ）はガボア・フィルタ係数を示し、ｃ（ｘ，ｙ）はたたみ込み結果値を示す。
【０１０９】
ここで、本発明の実施の形態では、顔特徴量抽出部３５０は、ガボア・フィルタのパラメータの初期値をロードして、属性判定部３３０により判定された顔の属性の判定結果に基づいて、初期値のガボア・フィルタのパラメータを変更する。すなわち、属性判定部３３０により判定された顔の属性の判定結果に基づいて、ガボア・フィルタのパラメータである通過帯域や特徴抽出角度を切り替える。
【０１１０】
例えば、属性判定部３３０による顔属性の判定結果として、「子供」または「赤ちゃん」の積算結果値が高い場合（「子供」または「赤ちゃん」と判定された場合）には、低周波数帯域のフィルタの種類を増やすことによりパラメータを最適化することができる。一方、「大人」の積算結果値が高い場合（「大人」であると判定された場合）には、高周波数帯域のフィルタの種類を増やすことによりパラメータを最適化することができる。ここで、一般的に、「子供」や「赤ちゃん」の顔は、「大人」と比較して、なめらかな肌（なだらかな肌）であることが多い。このように顔の表面がなめらかな肌である場合には、顔の表面の変化が少ない。このため、「子供」または「赤ちゃん」の顔について特徴量を抽出する場合には、高周波数帯域よりも低周波数帯域を重視することによって、さらに高精度な特徴量を抽出することができる。一方、「大人」の顔について特徴量を抽出する場合には、低周波数帯域よりも高周波数帯域を重視することによって、さらに高精度な特徴量を抽出することができる。また、例えば、笑顔の積算結果値が高い場合には、笑顔に最適なガボア・フィルタ帯域、または、最適なガボア・フィルタ角度に切り替える。このように顔の属性の判定結果に基づいて、ガボア・フィルタを変更することにより、さらに高精度な特徴点における特徴量の抽出が可能になる。
【０１１１】
なお、ガボア・フィルタのパラメータの初期値は、内部メモリに保持しておくようにしてもよく、ＣＰＵ１１０から設定するようにしてもよい。
【０１１２】
図１４は、本発明の実施の形態における顔特徴量抽出部３５０により抽出された特徴量の集合である顔特徴量を模式的に示す図である。図１４では、図１２（ａ）に示すガボア・フィルタを用いて、正規化顔画像に設定された特徴点における特徴量が抽出された場合における各特徴量の集合である顔特徴量６５０を模式的に示す。
【０１１３】
顔特徴量６５０は、正規化顔画像に２０点の特徴点が設定されている場合において、５種類の帯域と８種類の角度とからなるガボア・フィルタを用いて各特徴点における特徴量が抽出された場合におけるガボア・ジェットの集合を示す。顔特徴量６５０は、例えば、特徴点毎に抽出された２０個のガボア・ジェットを、行６５１乃至６５５と列６５６乃至６５９とからなる行列状に示すものである。また、１個のガボア・ジェットを構成する各特徴量の大きさについては、大小に応じて白黒の色レベルで示す。なお、図１４に示すガボア・ジェットの配置構成は一例であり、保存形式とは無関係である。また、顔特徴量を用いた類似度の算出については、図１８を参照して詳細に説明する。
【０１１４】
図１５は、本発明の実施の形態における特定人物情報記憶部３８０に記憶されている各情報を模式的に示す図である。特定人物情報記憶部３８０には、特定人物の顔に関する各特定人物情報が記憶されている。具体的には、特定人物の顔に関する顔特徴量と、その顔に関する顔属性情報と、その顔を含む登録顔画像と、これらの各情報に付随する付随情報とが関連付けて記憶されている。例えば、顔属性情報として、笑顔／非笑顔３８２、男性／女性（性別）３８３、大人／子供（世代）３８４、目の開閉３８５、顔の向き３８６、ヒゲの有無３８７、眼鏡の有無３８８が記憶され、付随情報として、登録日時３８９、登録場所３９０が記憶される。
【０１１５】
図１５では、特定人物として３人の人物に関する特定人物情報が特定人物情報記憶部３８０に記憶されている場合を例にして示す。また、各特定人物に関する特定人物情報として、３つの異なる特定人物情報が記憶されているものとする。例えば、識別番号３８１「１００」にはＡ氏に関する３組の特定人物情報が、それぞれ「１０１」、「１０２」、「１０３」に関連付けて記憶されているものとする。同様に、識別番号３８１「２００」にはＢ氏に関する３組の特定人物情報が、それぞれ「２０１」、「２０２」、「２０３」に関連付けて記憶されているものとする。また、識別番号３８１「３００」にはＣ氏に関する３組の特定人物情報が、それぞれ「３０１」、「３０２」、「３０３」に関連付けて記憶されているものとする。
【０１１６】
笑顔／非笑顔３８２、男性／女性（性別）３８３等の顔属性情報として、例えば、属性判定部３３０により算出された積算結果値が記憶される。この積算結果値により各顔属性を特定することができる。図１５では、各積算結果値の下に、その積算結果値により特定される顔属性を括弧内に示す。なお、顔検出部２００から出力された顔の向き、顔らしさを示す数値等を顔属性情報として記憶するようにしてもよい。
【０１１７】
登録日時３８９には、特定人物情報が記憶された際における日時が記憶される。この日時は、例えば、ＣＰＵ１１０から出力される日時情報に基づいて記憶される。また、登録場所３９０には、特定人物情報が記憶された際における場所が記憶される。この場所は、例えば、ＧＰＳ信号処理部１９５により算出された位置情報に基づいてＣＰＵ１１０が場所（例えば、市町村単位）を特定し、この特定された場所が記憶される。
【０１１８】
顔特徴量３９１には、正規化顔画像について抽出されたガボア・ジェットの集合である顔特徴量が記憶される。図１５では、顔特徴量３９１に記憶されている顔特徴量を省略して示す。
【０１１９】
登録顔画像３９２には、特定人物情報が記憶された際における正規化顔画像の画像データ（圧縮または非圧縮）が記憶される。図１５では、登録顔画像３９２に記憶されている正規化顔画像の画像データを図形化して顔画像として示す。なお、登録顔画像３９２に記憶されている正規化顔画像は、例えば、ユーザからの指示操作により表示部１５０に表示させることができる。これにより、登録されている顔をユーザが随時確認することができる。
【０１２０】
このように、１人の特定人物について異なる複数の特定人物情報を記憶しておくことにより、撮像状態や顔の表情が変化したような場合でも適切に個人識別を行うことができる。例えば、笑っているＡ氏が含まれる撮像画像からＡ氏の顔を識別する場合に、Ａ氏に関する３組の特定人物情報のうちの識別番号３８１「１０２」を用いて類似度を算出することができる。また、例えば、通常のＡ氏が含まれる撮像画像からＡ氏の顔を識別する場合に、Ａ氏に関する３組の特定人物情報のうちの識別番号３８１「１０１」を用いて類似度を算出することができる。さらに、例えば、左向きのＡ氏が含まれる撮像画像からＡ氏の顔を識別する場合に、Ａ氏に関する３組の特定人物情報のうちの識別番号３８１「１０３」を用いて類似度を算出することができる。このように、Ａ氏について３組の特定人物情報を記憶しておくことにより、撮像状態や顔の表情が変化したような場合でも適切にＡ氏の顔を識別することができる。なお、この例では、１人の特定人物について３組の特定人物情報を記憶する例を示すが、１人の特定人物について１、２または４組以上の特定人物情報を記憶するようにしてもよい。また、手動設定等により特定人物情報の数を特定人物毎に変更するようにしてもよい。さらに、記憶容量に応じて、特定人物情報の数を適宜変更するようにしてもよい。なお、特定人物情報記憶部３８０への特定人物情報の登録方法については、図２３および図２５を参照して詳細に説明する。
【０１２１】
図１６は、本発明の実施の形態における類似度算出基準データ保持部３６１に保持されている類似度算出用辞書を模式的に示す図である。類似度算出基準データ保持部３６１は、顔特徴量同士の類似度を算出する場合に最適な類似度算出用辞書を有限個数保持する内部メモリである。類似度算出基準データ保持部３６１には、例えば、一般用辞書７０１と、子供用辞書７０２と、大人用辞書７０３と、目閉じ用辞書７０４と、目開き用辞書７０５とが保持される。また、類似度算出基準データ保持部３６１には、例えば、右向き用辞書７０６と、正面向き用辞書７０７と、左向き用辞書７０８と、ヒゲ用辞書７０９と、眼鏡用辞書７１０とが保持される。一般用辞書７０１は、年齢や性別等を全て平均化し、ごく一般的な顔に関して最適となる基準データのみを保持する辞書である。これに対して、子供用辞書７０２乃至眼鏡用辞書７１０は、所定の顔属性に限定して学習させた辞書であり、所定の顔属性に応じた顔に関して最適となる基準データを保持する辞書である。
【０１２２】
図１７は、本発明の実施の形態における類似度算出部３６０が判定対象の顔の類似度を算出する際に用いられる類似度算出用辞書の構成例を示す図である。同図では、正規化顔画像に設定された各特徴点から抽出されたガボア・ジェットを用いて、判定対象の顔の類似度を算出する場合を例にして示す。また、本発明の実施の形態では、顔属性判定と同様に、差分による相関性判断手法を用いて顔の類似度を算出する例について説明する。
【０１２３】
類似度算出用辞書６６０を構成する類似度算出基準データは、顔特徴量の座標０（ｘ，ｙ）６６１および座標１（ｘ，ｙ）６６２と、座標０および座標１のレベル差の閾値（θ）６６３と、基準データの重み（α）６６４とから構成されている。顔特徴量の座標０（ｘ，ｙ）６６１および座標１（ｘ，ｙ）６６２は、顔特徴量における２点の位置を示す座標である。座標０および座標１のレベル差の閾値（θ）６６３は、座標０および座標１の顔特徴量の差分値に対する閾値である。基準データの重み（α）６６４は、座標０および座標１の顔特徴量の差分値と、座標０および座標１のレベル差の閾値（θ）６６３との比較結果に基づいて加算される重み係数である。また、類似度算出用辞書６６０には、これらの各値の組合せからなる基準データがｎ個格納されている。なお、顔特徴量における２点の位置を示す顔特徴量の座標の代わりに、他の位置情報を保持して用いるようにしてもよい。例えば、各ガボア・ジェットに識別番号を付与しておき、ガボア・ジェットの識別番号と、ガボア・ジェットの帯域の種類および角度の種類とを位置情報として用いることができる。
【０１２４】
次に、類似度算出用辞書を用いて判定対象の顔の類似度を算出する例について図面を参照して詳細に説明する。
【０１２５】
図１８は、本発明の実施の形態における類似度算出部３６０が判定対象の顔の類似度を算出する類似度算出方法を概略的に示す図である。同図では、正規化顔画像に設定された各特徴点から抽出されたガボア・ジェットを用いて、判定対象の顔の類似度を算出する算出方法を例にして示す。
【０１２６】
判定対象の顔特徴量６７０は、正規化顔画像に設定された各特徴点から抽出された複数のガボア・ジェットから構成される顔特徴量である。また、登録顔特徴量６８０は、特定人物情報記憶部３８０に記憶されている特定人物の顔に関する複数のガボア・ジェットから構成される顔特徴量である。判定対象の顔特徴量６７０および登録顔特徴量６８０は、例えば、図１４に示す顔特徴量６５０に対応するものであり、判定対象の顔特徴量６７０および登録顔特徴量６８０には、同じ形式であるとともに同じ数のガボア・ジェットが格納されているものとする。
【０１２７】
この例では、判定対象の顔特徴量６７０および登録顔特徴量６８０の左上隅を原点として、横軸をｘ軸とし、縦軸をｙ軸として、類似度算出用辞書６６０を用いて、判定対象の顔特徴量６７０と登録顔特徴量６８０との類似度を算出する場合について説明する。
【０１２８】
例えば、類似度算出用辞書６６０の１行目（基準データ０）に格納されている座標０（ｘ，ｙ）６６１の値に対応する判定対象の顔特徴量６７０の位置を位置６７１とし、座標０（ｘ，ｙ）６６１の値に対応する登録顔特徴量６８０の位置を位置６８１とする。また、座標１（ｘ，ｙ）６６２の値に対応する判定対象の顔特徴量６７０の位置を位置６７２とし、座標１（ｘ，ｙ）６６２の値に対応する登録顔特徴量６８０の位置を位置６８２とする。なお、判定対象の顔特徴量６７０および登録顔特徴量６８０において、座標０（ｘ，ｙ）６６１および座標１（ｘ，ｙ）６６２の値に対応する位置は、１個のガボア・ジェットを構成する各特徴量の中の１つの特徴量の位置である。この特徴量の位置は、例えば、図１４に示す顔特徴量６５０において、行６５１および列６５６に対応する１個のガボア・ジェット（左上隅に存在するガボア・ジェット）の中の１つの特徴量（白黒の色レベルで示す四角）６７３の位置である。
【０１２９】
最初に、類似度算出のためのスコアＳ１の値に０がセットされ、類似度算出用辞書６６０の基準データ０に含まれる各値を用いた演算が行われる。具体的には、類似度算出用辞書６６０の基準データ０に含まれる座標０（ｘ，ｙ）６６１の値に対応する判定対象の顔特徴量６７０の位置６７１における特徴量の値Ａ０（０）と、登録顔特徴量６８０の位置６８１における特徴量の値Ｂ０（０）とが取り出される。そして、次式を用いて、取り出された特徴量の値の差の絶対値Ｃ０（０）が算出される（６９１）。
Ｃ０（０）＝｜Ａ０（０）−Ｂ０（０）｜
【０１３０】
続いて、類似度算出用辞書６６０の基準データ０に含まれる座標１（ｘ，ｙ）６６２の値に対応する判定対象の顔特徴量６７０の位置６７２における特徴量の値Ａ１（０）と、登録顔特徴量６８０の位置６８２における特徴量の値Ｂ１（０）とが取り出される。そして、次式を用いて、取り出された特徴量の値の差の絶対値Ｃ１（０）が算出される（６９２）。
Ｃ１（０）＝｜Ａ１（０）−Ｂ１（０）｜
【０１３１】
続いて、次式を用いて、算出された絶対値Ｃ０（０）と絶対値Ｃ１（０）との差の絶対値Ｃ２（０）が算出される（６９３）。
Ｃ２（０）＝｜Ｃ０（０）−Ｃ１（０）｜
【０１３２】
続いて、算出された絶対値Ｃ２（０）と、類似度算出用辞書６６０の基準データ０に含まれる閾値（θ）６６３の値とを比較して、算出された絶対値Ｃ２（０）が閾値（θ）６６３の値よりも大きいか否かが判断される。算出された絶対値Ｃ２（０）が閾値（θ）６６３の値以下である場合には、類似度算出用辞書６６０の基準データ０に含まれる重み（α）６６４の値をスコアＳ１に加算する。一方、算出された絶対値Ｃ２（０）が閾値（θ）６６３の値よりも大きい場合には、類似度算出用辞書６６０の基準データ０に含まれる重み（α）６６４の値をスコアＳ１に加算しない。
【０１３３】
続いて、類似度算出用辞書６６０の基準データ１以降、基準データｎ−１までの各値を順次用いて、上述した各演算を繰り返す。
【０１３４】
すなわち、判定対象の顔特徴量６７０および登録顔特徴量６８０について類似度算出用辞書６６０を用いた類似度算出処理をする場合には、類似度算出用辞書６６０の基準データ０乃至ｎ−１に含まれる各値を順次用いる。そして、式５乃至７を用いてＣ２（ｉ）が算出され、算出されたＣ２（ｉ）が式８を満たすか否かが判定される。ここで、変数ｉは整数であり、０からｎ−１の値を示す。
Ｃ０（ｉ）＝｜Ａ０（ｉ）−Ｂ０（ｉ）｜……（式５）
Ｃ１（ｉ）＝｜Ａ１（ｉ）−Ｂ１（ｉ）｜……（式６）
Ｃ２（ｉ）＝｜Ｃ０（ｉ）−Ｃ１（ｉ）｜……（式７）
Ｃ２（ｉ）＞θ（ｉ） ……（式８）
【０１３５】
そして、算出されたＣ２（ｉ）が式８を満たす場合には、α（ｉ）の値がスコアＳ１に加算されず、算出されたＣ２（ｉ）が式８を満たさない場合には、α（ｉ）の値がスコアＳ１に加算される。ここで、基準データｉに含まれる座標０（ｘ，ｙ）６６１に対応する判定対象の顔特徴量６７０の特徴量をＡ０（ｉ）で表すとともに、登録顔特徴量６８０の特徴量をＢ０（ｉ）で表す。また、基準データｉに含まれる座標１（ｘ，ｙ）６６２に対応する判定対象の顔特徴量６７０の特徴量をＡ１（ｉ）で表すとともに、登録顔特徴量６８０の特徴量をＢ１（ｉ）で表す。また、基準データｉに含まれる閾値（θ）６６３の値をθ（ｉ）で表し、基準データｉに含まれる重み（α）６６４の値をα（ｉ）で表す。
【０１３６】
そして、類似度算出用辞書６６０の基準データｎ−１に含まれる各値を用いた各演算が終了した後に、積算結果値であるスコアの値が、類似度を示す値として出力される。このように、ガボア・ジェットの状態で保持されている登録顔特徴量と判定対象の顔特徴量との間で、２段階に渡って類似度を算出する。
【０１３７】
ここで、類似度算出用辞書６６０の基準データ０乃至ｎ−１に含まれる各値を用いた各演算の終了後におけるスコアＳ１ｎ（Ｐ）は、次の式９で表すことができる。
【数３】
【０１３８】
ここで、Ｓ１ｎ（Ｐ）は基準データ０乃至ｎ−１の積算結果値を示し、αｉは基準データｉに含まれる重み（α）６６４の値を示す。また、Ｐ０（ｘｉ０，ｙｉ０）は基準データｉに含まれる座標０（ｘ，ｙ）６６１に対応する判定対象の顔特徴量６７０における特徴量の値を示す。また、Ｐ１（ｘｉ０，ｙｉ０）は基準データｉに含まれる座標０（ｘ，ｙ）６６１に対応する登録顔特徴量６８０における特徴量の値を示す。また、Ｐ０（ｘｉ１，ｙｉ１）は基準データｉに含まれる座標１（ｘ，ｙ）６６２に対応する判定対象の顔特徴量６７０における特徴量の値を示す。また、Ｐ１（ｘｉ１，ｙｉ１）は基準データｉに含まれる座標１（ｘ，ｙ）６６２に対応する登録顔特徴量６８０における特徴量の値を示し、θｉは基準データｉに含まれる閾値（θ）６６３の値を示し、ｎは基準データの数を示す。また、ｈ（ｚ）は、ｚ＞０の場合には０となり、ｚ≦０の場合には１となる関数を表すものとする。
【０１３９】
なお、顔属性の判定結果または顔属性の積算結果値に基づいて、重み（α）６６４の値または閾値（θ）６６３の値を変更して最適化を図るようにしてもよい。例えば、顔属性の判定結果または顔属性の積算結果値に応じた値を、重み（α）６６４の値または閾値（θ）６６３の値に乗算することができる。
【０１４０】
次に、判定対象の顔の類似度を算出する場合に用いられる類似度算出用辞書について図面を参照して詳細に説明する。
【０１４１】
図１９は、本発明の実施の形態における類似度算出部３６０による判定対象の顔の類似度算出に用いられる類似度算出用辞書の例を示す図である。この例では、年代に関する顔属性の判定結果に応じて類似度算出用辞書を選択する例を示す。
【０１４２】
例えば、同図に示すように、顔属性の判定結果にかかわらず、最初は一般用辞書７０１を用いる。一般用辞書７０１は、一般的な類似度算出の１０００組の類似度算出基準データにより構成されている類似度算出用辞書である。一般用辞書７０１を用いた類似度算出処理が終了した後には、年代に関する顔属性の判定結果が大人であるか子供であるかに応じて、子供用辞書７０２または大人用辞書７０３を用いて類似度算出処理を行う。子供用辞書７０２は、子供の類似度算出に最適な１０００組の類似度算出基準データにより構成されている類似度算出用辞書である。また、大人用辞書７０３は、大人の類似度算出に最適な５００組の類似度算出基準データにより構成されている類似度算出用辞書である。ここで、一般に子供は大人よりも個体差が少なく、特徴量抽出が困難であると考えられているため、大人用辞書７０３では５００組の類似度算出基準データを用いるのに対し、子供用辞書７０２では１０００組の類似度算出基準データを用いる。このように、特徴量抽出の難易度に応じて類似度算出基準データの組数を変えて保持することにより、対象となる顔に最適な類似度算出基準データを、最適な組数だけ用いて類似度算出処理を行うことができ、高精度な個人識別を実現することができる。
【０１４３】
図２０は、本発明の実施の形態における類似度算出部３６０による判定対象の顔の類似度算出に用いられる類似度算出用辞書の例を示す図である。この例では、目の開閉に関する顔属性の判定結果に応じて類似度算出用辞書を選択する例を示す。
【０１４４】
例えば、同図に示すように、顔属性の判定結果にかかわらず、最初は一般用辞書７０１を用いる。そして、一般用辞書７０１を用いた類似度算出処理が終了した後には、目の開閉に関する顔属性の判定結果に応じて、目開き用辞書７０５または目閉じ用辞書７０４を用いて類似度算出処理を行う。目開き用辞書７０５は、目が開いた状態の顔の類似度算出に最適な３００組の類似度算出基準データにより構成されている類似度算出用辞書である。また、目閉じ用辞書７０４は、目が閉じた状態の顔の類似度算出に最適な３００組の類似度算出基準データにより構成されている類似度算出用辞書である。
【０１４５】
また、特定人物情報記憶部３８０の目の開閉３８５の積算結果値により「開」が特定される登録顔（登録人物の顔）について類似度算出をする場合を考える。例えば、判定対象の顔についての目の開閉に関する顔属性の判定結果が「閉」である場合には、一般用辞書７０１を用いた類似度算出処理が終了した後に、目閉じ用辞書７０４を用いて類似度算出処理を行う。この場合に、例えば、目閉じ用辞書７０４を構成する類似度算出基準データの重みを軽減するようにしてもよい。または、一般用辞書７０１を用いた類似度算出処理が終了した後には、目閉じ用辞書７０４を用いた類似度算出処理を行わずに、処理を打ち切るようにしてもよい。このように、登録顔の属性に最適な類似度算出に切り替えることによって、さらに正確な類似度を得ることができる。
【０１４６】
図２１は、本発明の実施の形態における類似度算出部３６０による判定対象の顔の類似度算出に用いられる類似度算出用辞書の例を示す図である。この例では、顔の向きに関する顔属性の判定結果に応じて類似度算出用辞書を選択する例を示す。
【０１４７】
例えば、同図に示すように、顔属性の判定結果にかかわらず、最初は一般用辞書７０１を用いる。そして、一般用辞書７０１を用いた類似度算出処理が終了した後には、顔の向きに関する顔属性の判定結果に応じて、右向き用辞書７０６、正面向き用辞書７０７または左向き用辞書７０８を用いて類似度算出処理を行う。右向き用辞書７０６は、右を向いた状態の顔の類似度算出に最適な３００組の類似度算出基準データにより構成されている類似度算出用辞書である。また、正面向き用辞書７０７は、正面を向いた状態の顔の類似度算出に最適な３００組の類似度算出基準データにより構成されている類似度算出用辞書である。また、左向き用辞書７０８は、左を向いた状態の顔の類似度算出に最適な３００組の類似度算出基準データにより構成されている類似度算出用辞書である。このように、顔の向きに応じて類似度算出用辞書を選択することにより、登録顔と判定対象となっている顔とが必ずしも同じ方向を向いていなくても、最適な重み付けで類似度算出処理を行うことができるため、さらに正確な類似度を得ることができる。
【０１４８】
図２２は、本発明の実施の形態における類似度算出部３６０による判定対象の顔の類似度算出に用いられる類似度算出用辞書の例を示す図である。この例では、眼鏡の有無およびヒゲの有無に関する顔属性の判定結果に応じて類似度算出用辞書を選択する例を示す。
【０１４９】
例えば、同図に示すように、顔属性の判定結果にかかわらず、最初は一般用辞書７０１を用いる。そして、一般用辞書７０１を用いた類似度算出処理が終了した後には、眼鏡の有無に関する顔属性の判定結果に応じて、眼鏡用辞書７１０を用いてさらに類似度算出処理を行うか、類似度算出処理を終了するかを選択する。この場合に、眼鏡用辞書７１０を用いた類似度算出処理が選択され、この類似度算出処理が終了した後には、ヒゲの有無に関する顔属性の判定結果に応じて、ヒゲ用辞書７０９を用いてさらに類似度算出処理を行うか、類似度算出処理を終了するかを選択する。眼鏡用辞書７１０は、眼鏡をかけた状態の顔の類似度算出に最適な５００組の類似度算出基準データにより構成されている類似度算出用辞書である。ヒゲ用辞書７０９は、ヒゲを生やしている状態の顔の類似度算出に最適な５００組の類似度算出基準データにより構成されている類似度算出用辞書である。このように、眼鏡の有無およびヒゲの有無に応じて類似度算出用辞書を選択することにより、眼鏡の有無およびヒゲの有無に応じた最適な重み付けで類似度算出処理を行うことができるため、さらに正確な類似度を得ることができる。
【０１５０】
このように、顔属性の判定結果に応じて類似度算出用辞書を選択することにより、判定対象の顔について最適な類似度算出処理を行うことができるため、さらに正確な類似度を得ることができる。また、判定対象の顔について、不要な類似度算出基準データを用いた類似度算出処理を行わないため、処理時間の短縮を実現することができる。
【０１５１】
また、顔属性の中でも、髪型、眼鏡、ヒゲ等の顔属性は、同一人物であっても撮影時期や撮影場所によって変化する要因が高いと考えられる。このため、これらの顔属性の項目に関しては、対応する各類似度算出基準データの重みを小さく設定しておき、顔属性の差異によって、同一人物の類似度が損なわれないようにすることが可能である。
【０１５２】
また、判定対象の顔の顔属性の判定結果と、特定人物情報記憶部３８０に記憶されている顔属性とを比較して、顔属性の類似性が明らかに低い場合には、類似度算出処理を打ち切るようにしてもよい。すなわち、属性判定部３３０から出力された顔属性の判定結果と、特定人物情報記憶部３８０に記憶されている顔属性とを類似度算出部３６０が比較して、顔属性の類似性が明らかに低い場合には、類似度算出処理を打ち切る旨をコントローラ３１０に出力する。この出力がされると、コントローラ３１０は、判定対象の顔に関する各処理を停止させる指示を特徴点算出部３４０、顔特徴量抽出部３５０および類似度算出部３６０に出力する。例えば、特定人物情報記憶部３８０に記憶されている各顔属性が、子供の度合いが十分に高いものである場合において、判定対象の顔の顔属性の判定結果が、子供の度合いが十分に低いと判定された場合には、両者は同一人物ではないと判定することができる。このため、特徴点座標算出処理、顔特徴量抽出処理、類似度算出処理を早い段階で打ち切ることができる。これにより、処理高速化に寄与することが可能となる。
【０１５３】
また、特定人物情報記憶部３８０に記憶されている特定人物情報が多数存在する場合には、類似度算出処理の処理時間が長くなるおそれがある。そこで、例えば、属性判定部３３０から出力された判定結果を用いて、特定人物情報記憶部３８０に記憶されている特定人物情報の中から、類似度算出に適した１または複数の特定人物情報を選択する。そして、この選択された１または複数の特定人物情報のみを類似度算出の対象とすることができる。これにより、特定人物情報が多数存在する場合でも、類似度算出処理を迅速に行うことができる。以下では、類似度算出に適した１または複数の特定人物情報を選択して、類似度算出処理を行う例について図面を参照して詳細に説明する。
【０１５４】
図２３は、本発明の実施の形態における類似度算出部３６０による類似度算出の算出方法の概略を示す図である。図２３では、撮像画像８００に含まれる人物８０１乃至８０３の顔８０４乃至８０６について、類似度算出を行う場合を例にして説明する。なお、人物８０１は子供であり、人物８０２および８０３は大人であるものとする。また、人物８０１および８０３は男性であり、人物８０２は女性であるものとする。また、図２３に示す特定人物情報記憶部３８０は、図１５に示す特定人物情報記憶部３８０の一部を省略したものであり、省略した内容については、図１５に示す内容と同一であるものとする。
【０１５５】
例えば、顔検出部２００により撮像画像８００から顔８０４乃至８０６が検出され、これらの顔８０４乃至８０６について、正規化部３２０により正規化顔画像８１１乃至８１３が生成される。この生成された正規化顔画像８１１乃至８１３について属性判定部３３０により各顔属性が判定される。図２３では、正規化顔画像８１１乃至８１３について出力された判定結果の一部を、各正規化顔画像の下部分に示す。
【０１５６】
続いて、類似度算出部３６０が、検出された顔と登録顔との類似度を算出する前に、検出された顔と登録顔との顔属性を比較する。例えば、性別や年代（年齢層）等のように、時間経過に伴った変化が少ない属性を比較し、類似性が高い特定人物情報を選択する。例えば、正規化顔画像８１１に含まれる顔は子供の顔であるため、「大人／子供」の値（世代スコア）が高い値となっている。すなわち、正規化顔画像８１１に含まれる顔について算出された世代スコアは子供と判定される値である。しかしながら、特定人物情報記憶部３８０の大人／子供（世代）３８４に記憶されている各値は低い値であり、全て大人と判定される値である。このため、正規化顔画像８１１については、特定人物情報記憶部３８０に記録されている特定人物情報と類似する可能性が低いため、類似度算出処理を行わない。
【０１５７】
また、正規化顔画像８１２に含まれる顔は大人の女性の顔であるため、「大人／子供」の値（世代スコア）が低い値であるとともに、「男性／女性」の値（性別スコア）が高い値となっている。すなわち、正規化顔画像８１２に含まれる顔について算出された世代スコアは大人と判定される値であり、性別スコアは女性と判定される値である。このため、特定人物情報記憶部３８０の大人／子供（世代）３８４の値が、大人と判定される値である特定人物情報が選択される。例えば、図１５に示すように、識別番号３８１の「１００」乃至「３００」に関連付けられている各特定人物情報が選択される。また、これらの各特定人物情報の中から、特定人物情報記憶部３８０の男性／女性（性別）３８３の値が、女性と判定される値である特定人物情報が選択される。例えば、図１５に示すように、識別番号３８１の「１０１」乃至「１０３」に関連付けられている各特定人物情報が選択される。
【０１５８】
同様に、正規化顔画像８１３に含まれる顔は大人の男性の顔であるため、「大人／子供」の値（世代スコア）が低い値であるとともに、「男性／女性」の値（性別スコア）が低い値となっている。すなわち、正規化顔画像８１３に含まれる顔について算出された世代スコアは大人と判定される値であり、性別スコアは男性と判定される値である。このため、特定人物情報記憶部３８０の大人／子供（世代）３８４の値が、大人と判定される値である特定人物情報が選択される。また、これらの各特定人物情報の中から、特定人物情報記憶部３８０の男性／女性（性別）３８３の値が、男性と判定される値である特定人物情報が選択される。例えば、図１５に示すように、識別番号３８１の「２００」および「３００」に関連付けられている各特定人物情報が選択される。
【０１５９】
このように、性別や年代等のように、時間経過に伴った変化が少ない顔属性を用いることにより、類似度算出の対象となる適切な特定人物情報のみを選択することができる。また、このように選択された特定人物情報の中から、他の顔属性を用いて、類似度算出の対象となる適切な特定人物情報をさらに選択するようにしてもよい。すなわち、検出された顔との属性の類似度が高い登録顔をさらに選択するようにしてもよい。
【０１６０】
例えば、検出された顔について算出された積算結果値と、特定人物情報に含まれる積算結果値との差分値を属性毎に順次算出して、差分値が最小となる特定人物情報を属性毎に選択することができる。また、この差分値が一定範囲内となる特定人物情報のみを選択するようにしてもよい。さらに、属性毎に算出された差分値の合計を求め、この差分値の合計値が最小となる特定人物情報のみを選択することができる。
【０１６１】
また、検出された顔について算出された各積算結果値のうちで、絶対値が最大の積算結果値を抽出し、この抽出された積算結果値との差分値が最小となる特定人物情報を選択するようにしてもよい。この場合には、例えば、既に用いられた属性（例えば、性別や年代の属性）以外の属性を用いるようにする。図２３では、例えば、正規化顔画像８１２について算出された各積算結果値のうちで絶対値が最大の積算結果値（「男性／女性」、「大人／子供」以外）は、目の開閉「５２０」である。そこで、最大の積算結果値「５２０（目の開閉）」と、選択された各特定人物情報（識別番号３８１「１０１」乃至「１０３」）の目の開閉３８５の積算結果値との差分値が最小となる特定人物情報（識別番号３８１「１０１」）を選択することができる。また、例えば、正規化顔画像８１３について算出された各積算結果値のうちで絶対値が最大の積算結果値は、眼鏡の有無「５８９」である。そこで、最大の積算結果値「５８９（眼鏡の有無）」と、選択された各特定人物情報（識別番号３８１「２００」および「３００」）の眼鏡の有無３８８の積算結果値との差分値が最小となる特定人物情報（識別番号３８１「２０２」）を選択することができる。なお、正規化顔画像について算出された各積算結果値のうちで、絶対値が大きい所定数の積算結果値を用いて選択を行うようにしてもよい。
【０１６２】
このように、既に処理が終了している属性判定結果を用いて、類似度算出の対象となる特定人物情報を絞りこんだ後に、類似度算出処理を行うことができる。例えば、図２３に示す例では、類似度算出部３６０が、正規化顔画像８１１乃至８１３について算出された顔特徴量と、特定人物情報記憶部３８０に記録されている全ての顔特徴量との類似度を算出する場合には、２４（３×８）通りの演算を行う必要がある。これに対して、例えば、絶対値が最大の積算結果値との差分値が最小となる特定人物情報を選択し、この特定人物情報の顔特徴量との類似度を算出する場合には、２通りの演算を行うのみでよい。このため、演算対象となる組合せ数を大幅に削減することができ、処理時間を大幅に短縮させることができる。これにより、特定人物情報の常時更新を実現させることができる。
【０１６３】
また、類似度を算出する際に、例えば、検出された顔との顔属性の類似度の値に応じて、高い重み付けを行うようにしてもよい。例えば、検出された顔との顔属性の類似度が高い特定人物情報については高い重み付けを行う。これにより、類似度算出の精度をさらに高めることができる。
【０１６４】
次に、属性判定用辞書を用いて算出された積算結果値に基づいて笑顔を含む静止画の記録動作を行う静止画記録方法について図面を参照して詳細に説明する。
【０１６５】
図２４は、本発明の実施の形態における正規化部３２０により生成された正規化顔画像と、属性判定部３３０により算出された積算結果値との関係を概略的に示す図である。なお、図２４（ａ）に示す正規化顔画像４３０は、図５（ａ）に示す正規化顔画像４３０と同様であり、図２４（ｂ）に示す正規化顔画像４４０は、図５（ｂ）に示す正規化顔画像４４０と同様である。このため、同一の符号を付して詳細な説明を省略する。
【０１６６】
図２４（ａ）には、正規化顔画像４３０について算出された各積算結果値を示し、図２４（ｂ）には、正規化顔画像４４０について算出された各積算結果値を示す。なお、積算結果値を示す棒状の範囲のうちで、算出された各積算結果値を示す範囲を斜線で示す。また、これらの棒状の範囲は、図７に示す積算結果値の範囲に対応する。
【０１６７】
一般に、通常の顔（笑っていない顔）と笑顔とを比較した場合、笑顔スコア（図１５に示す笑顔／非笑顔３８２の値）は、通常の顔よりも笑顔の方が高くなる。このため、笑顔スコア４８２よりも、笑顔スコア４８６が高くなる。また、上述したように、笑顔は、目が細くなる等の特徴的な点が生じることが多いため、目開きスコア（図１５に示す目の開閉３８５の値）は、通常の顔よりも笑顔の方が低くなる。このため、目開きスコア４８４よりも、目開きスコア４８８が低くなる。なお、正規化顔画像４３０および４４０に含まれる各顔は、何れも正面向きであるため、正面向きスコア（図１５に示す顔の向き３８６の値）４８３および４８７は略同じ値となる。また、正規化顔画像４３０および４４０に含まれる各顔は、何れも比較的綺麗に撮像されているため、顔らしさスコア４８１および４８５は略同じ値となる。
【０１６８】
ここで、本発明の実施の形態では、笑顔スコアおよび顔らしさスコアを用いて、笑顔を含む静止画の記録動作を行う例について説明する。また、この例では、笑顔静止画記録モードが設定されているものとする。具体的には、正規化顔画像について算出された顔らしさスコアが閾値Ｔｆ１を超えるとともに、正規化顔画像について算出された笑顔スコアが閾値Ｔｓ１を超えた場合に、ＣＰＵ１１０が静止画の記録動作の開始を指示する。例えば、図２４（ａ）では、顔らしさスコア４８１が閾値Ｔｆ１を超えているが、笑顔スコア４８２が閾値Ｔｓ１を超えていない。このため、図２４（ａ）に示す通常の顔が検出された場合には、静止画の記録動作の開始が指示されない。一方、図２４（ｂ）では、顔らしさスコア４８５が閾値Ｔｆ１を超えているとともに、笑顔スコア４８６が閾値Ｔｓ１を超えている。このため、図２４（ｂ）に示す笑顔４４１が検出された場合には、静止画の記録動作の開始が指示される。
【０１６９】
なお、笑顔スコア、顔らしさスコア以外の他のスコア（顔属性情報）を用いて、笑顔を含む静止画の記録動作を行うようにしてもよい。また、例えば、撮像画像に特定人物が含まれていると判定されるとともに、この特定人物の顔が笑顔であると判定された場合を条件とするようにしてもよい。この場合における判定基準として、特定人物情報を登録する際の判定基準と異なるようにしてもよい。例えば、静止画記録を行う際における特定人物の判定基準を、特定人物情報を登録する際の判定基準よりも緩和することができる。
【０１７０】
次に、属性判定用辞書を用いて算出された積算結果値に基づいて特定人物情報を登録する特定人物情報登録方法について図面を参照して詳細に説明する。
【０１７１】
図２５は、本発明の実施の形態における正規化部３２０により生成された正規化顔画像と、属性判定部３３０により算出された積算結果値との関係を概略的に示す図である。なお、図２５に示す各正規化顔画像および各積算結果値は、図２４に示すものと同一であるが、各閾値のみが異なる。このため、図２４と同一のものについては同一の符号を付して詳細な説明を省略する。
【０１７２】
この例では、顔らしさスコア、笑顔スコア、正面向きスコアおよび目開きスコアを用いて、特定人物情報の更新を行うか否かを判断する場合について説明する。また、この例では、特定人物情報自動更新モードが設定されている場合を例にして説明する。具体的には、特定人物情報登録部３７０が、類似度算出部３６０から出力された類似度に基づいて、顔特徴量抽出部３５０から入力された顔特徴量と、特定人物情報記憶部３８０に記憶されている顔特徴量との類似度が極めて高いか否かを判断する。例えば、類似度が一定値（例えば、類似判定よりも大きい値）以上となっていることを条件とすることができる。続いて、その類似度が極めて高いと判断された場合には、特定人物情報登録部３７０が、類似度が極めて高いと判断された特定人物情報に関連付けて記憶されている登録日時（図１５に示す登録日時３８９）が、一定時間以上前の日時であるか否かを判断する。すなわち、前回の登録または更新時から一定時間が経過しているか否かが判断される。この一定時間として、例えば、１年単位、１ヶ月単位、１日単位、１秒未満の単位（例えば、画像の数フレーム単位等）を設定することができる。例えば、長めの時間を一定時間として設定した場合には、特定人物の経時変化（加齢や容貌変化）に対応することができる。また、例えば、短めの時間を一定時間として設定した場合には、特定人物の本人認証に適した顔を常に定期的に探すことができる。
【０１７３】
続いて、前回の登録または更新時から一定時間が経過していると判断された場合には、特定人物情報登録部３７０が、特定人物情報更新の条件を満たすか否かを判断する。この特定人物情報更新の条件は、例えば、正規化顔画像について算出された顔らしさスコア、正面向きスコアおよび目開きスコアが、それぞれの閾値Ｔｆ２、Ｔｙ２、Ｔｂ２を超えるとともに、笑顔スコアが閾値Ｔｓ２未満であるとすることができる。続いて、特定人物情報更新の条件を満たすと判断された場合には、特定人物情報登録部３７０が、類似度が極めて高いと判断された特定人物情報の更新動作を開始する。すなわち、特定人物情報登録部３７０が、類似度が極めて高いと判断された特定人物情報記憶部３８０の特定人物情報の各項目を、比較対象となった各情報で上書きする。例えば、顔特徴量抽出部３５０から入力された顔特徴量が顔特徴量３９１に上書きされ、属性判定部３３０により算出された各積算結果値が笑顔／非笑顔３８２等の顔属性情報に上書きされる。また、正規化部３２０により生成された正規化顔画像が登録顔画像３９２に上書きされ、この更新時の日時が登録日時３８９に記録され、この更新時に算出された位置情報により特定された場所が登録場所３９０に記録される。なお、更新対象となる特定人物について記憶領域に空きがある場合には、更新対象となる特定人物情報を追加登録するようにしてもよい。また、更新対象となる特定人物について複数組の特定人物情報が存在する場合には、これらの中で、顔らしさスコア、笑顔スコア、正面向きスコア、目開きスコアの各値が各閾値に対して最も低い１組の特定人物情報を更新するようにしてもよい。または、登録日時が最も古い１組の特定人物情報を更新するようにしてもよい。
【０１７４】
また、例えば、図１５に示す登録場所３９０を参照して、現在の場所と同じ場所（または、最も近い場所）が記憶されている特定人物情報を更新するようにしてもよい。例えば、ユーザの職場で撮像動作が行われている場合と、ユーザの自宅付近で撮像動作が行われている場合とでは、顔の表情が大きく異なることが考えられる。そこで、これらの心理的な要因を考慮して、更新処理を行うことができる。これにより、例えば、ユーザの職場で撮像動作が行われている場合と、ユーザの自宅付近で撮像動作が行われている場合とで行われる個人識別の精度を向上させることができる。このように、登録場所等の付随情報を参照して更新処理を行うようにしてもよい。
【０１７５】
このように、特定人物情報を更新（または追加登録）する場合には、例えば、極端な笑顔でなく、平常の顔に近いか否かを判断する。そして、平常の顔に近く、個人識別に適するものであると判断することができた場合には、その特定人物情報の更新を行う。すなわち、笑顔静止画を自動で記録する際の条件と異なる条件とすることができる。
【０１７６】
例えば、図２５（ａ）では、顔らしさスコア４８１が閾値Ｔｆ２を超え、正面向きスコア４８３が閾値Ｔｙ２を超え、目開きスコア４８４が閾値Ｔｂ２を超えるとともに、笑顔スコア４８２が閾値Ｔｓ２未満である。このため、図２５（ａ）に示す通常の顔４３１が検出され、通常の顔４３１について算出された類似度が一定の条件を満たす場合には、特定人物情報の更新が行われる。一方、図２５（ｂ）では、顔らしさスコア４８５が閾値Ｔｆ２を超え、正面向きスコア４８７が閾値Ｔｙ２を超え、目開きスコア４８８が閾値Ｔｂ２を超えているが、笑顔スコア４８２が閾値Ｔｓ２未満ではない。このため、図２５（ｂ）に示す笑顔４４１が検出され、この笑顔４４１について算出された類似度が一定の条件を満たす場合でも、特定人物情報の更新は行われない。
【０１７７】
なお、図２４および図２５に示す各閾値は一例であり、例えば、ユーザの好みに応じて、各閾値を変更することができる。また、顔らしさスコア、笑顔スコア、正面向きスコア、目開きスコア以外の他のスコア（顔属性情報）を用いて、特定人物情報の更新を行うようにしてもよい。また、各閾値を用いて更新の要否を判断する代わりに、更新対象となる特定人物について複数組の特定人物情報の各値と、顔らしさスコア、笑顔スコア、正面向きスコア、目開きスコアの各値とを比較することにより更新の要否を判断するようにしてもよい。
【０１７８】
このように自動的に特定人物情報を更新することができるため、ユーザが登録または更新を手動で指示しなくてもよい。また、自動的に特定人物情報を更新することができるため、最新で最適な特定人物情報を記憶することができる。これにより、個人識別の精度を向上させることができる。また、撮像動作を繰り返し行うほど、個人識別の精度を高めることができる。
【０１７９】
次に、本発明の実施の形態における撮像装置１００の動作について図面を参照して説明する。
【０１８０】
図２６は、本発明の実施の形態における撮像装置１００による個人識別処理の処理手順を示すフローチャートである。この個人識別処理は、全体の流れを、顔属性判定処理、特徴点座標算出処理、顔特徴量抽出処理、類似度算出処理の４つの処理に大別することができる。
【０１８１】
最初に、個人識別部３００が、顔検出部２００から出力された顔検出結果を取得して、この顔検出結果に含まれる顔領域の座標および大きさに基づいて、画像ＲＡＭ１３０に記憶されている画像から顔画像を読み出す（ステップＳ９０１）。なお、個人識別部３００は、顔検出部２００から出力された顔検出結果をＣＰＵ１１０経由で取得するようにしてもよい。
【０１８２】
続いて、正規化部３２０は、読み出された顔画像について、顔の大きさが一定の大きさとなるとともに、両目がほぼ水平となるよう調整することにより正規化を行う（ステップＳ９０２）。続いて、正規化された顔画像である正規化顔画像について属性判定部３３０が顔属性判定処理を実行する（ステップＳ９１０）。この顔属性判定処理については、図２７および図２８を参照して詳細に説明する。なお、ステップＳ９１０は、特許請求の範囲に記載の属性判定手順の一例である。
【０１８３】
続いて、特徴点算出部３４０は、特徴点座標テーブル保持部３４１に保持されている特徴点座標テーブルに含まれる特徴点座標の初期値をロードして、この特徴点座標の初期値を正規化顔画像に設定すべき特徴点の位置として配置する（ステップＳ９０３）。なお、特徴点座標については、ＣＰＵ１１０から設定するようにしてもよい。続いて、特徴点算出部３４０は、属性判定部３３０から出力された顔属性の判定結果に基づいて初期値の特徴点座標を変更または増減することにより、特徴点座標を算出する（ステップＳ９０４）。
【０１８４】
続いて、顔特徴量抽出部３５０は、ガボア・フィルタについてのパラメータの初期値をロードする（ステップＳ９０５）。なお、ガボア・フィルタのパラメータについては、ＣＰＵ１１０から設定するようにしてもよい。続いて、顔特徴量抽出部３５０は、属性判定部３３０から出力された顔属性の判定結果に基づいて、ガボア・フィルタのパラメータである通過帯域または特徴量抽出角度を変更する（ステップＳ９０６）。続いて、顔特徴量抽出部３５０は、ガボア・フィルタを用いて、特徴点算出部３４０により算出された各特徴点における特徴量を抽出する（ステップＳ９０７）。なお、ステップＳ９０７は、特許請求の範囲に記載の特徴量抽出手順の一例である。
【０１８５】
続いて、類似度算出部３６０は、類似度算出処理を実行する（ステップＳ９５０）。この類似度算出処理については、図２９および図３０を参照して詳細に説明する。なお、ステップＳ９５０は、特許請求の範囲に記載の類似度算出手順の一例である。
【０１８６】
図２７は、本発明の実施の形態における撮像装置１００による個人識別処理の処理手順のうちの顔属性判定処理手順（図２６に示すステップＳ９１０の処理手順）を示すフローチャートである。ここでは、年代、目の開閉、髪型、眼鏡の有無およびヒゲの有無に関する顔属性について判定する例について説明する。なお、各顔属性の判定処理については、図２８を参照して詳細に説明する。
【０１８７】
最初に、属性判定部３３０が、年代判定用辞書を用いて年代の属性判定処理を実行する（ステップＳ９１１）。続いて、属性判定部３３０が、目の開閉判定用辞書を用いて目の開閉の属性判定処理を実行する（ステップＳ９１２）。続いて、属性判定部３３０が、髪型判定用辞書を用いて髪形の属性判定処理を実行する（ステップＳ９１３）。続いて、属性判定部３３０が、眼鏡判定用辞書を用いて眼鏡の属性判定処理を実行する（ステップＳ９１４）。続いて、属性判定部３３０が、ヒゲ判定用辞書を用いてヒゲの属性判定処理を実行する（ステップＳ９１５）。続いて、属性判定部３３０が、これらの顔属性の判定結果を保持する（ステップＳ９１６）。なお、これらの顔属性の判定結果をＣＰＵ１１０にも出力する。
【０１８８】
続いて、判定対象の顔の顔属性の判定結果と、特定人物情報記憶部３８０に記憶されている各顔属性の判定結果との間で顔属性の類似度が判断される（ステップＳ９１７およびＳ９１８）。すなわち、判定対象の顔の性別に関する顔属性の判定結果と、特定人物情報記憶部３８０に記憶されている性別に関する各顔属性の判定結果とが明らかに不一致であるか否かが判断される（ステップＳ９１７）。ここで、性別に関する顔属性の判定結果が明らかに不一致である場合とは、完全に一致する場合、または、あいまいと判定されている場合以外の場合を示す。また、判定対象の顔の年代に関する顔属性の判定結果と、特定人物情報記憶部３８０に記憶されている年代に関する各顔属性の判定結果とが明らかに不一致であるか否かが判断される（ステップＳ９１８）。
【０１８９】
性別に関する顔属性の判定結果が明らかに不一致である場合（ステップＳ９１７）、または、年代に関する顔属性の判定結果が明らかに不一致である場合には（ステップＳ９１８）、個人識別処理の動作を終了する。一方、性別に関する顔属性の判定結果が明らかに不一致ではなく（ステップＳ９１７）、年代に関する顔属性の判定結果が明らかに不一致ではない場合には（ステップＳ９１８）、ステップＳ９１９に進む。そして、判定対象の顔の属性が、特定人物情報記憶部３８０に記憶されている各顔属性の判定結果との間で類似すると判定される（ステップＳ９１９）。
【０１９０】
なお、この例では、顔属性として性別または年代について顔属性の類似を判断する例について説明したが、他の顔属性についても類似を判断するようにしてもよい。
【０１９１】
例えば、特定人物情報記憶部３８０に記憶されている性別に関する顔属性の判定結果の全てが女と判定されている場合を想定する。この場合において、判定対象の顔の性別に関する顔属性の判定結果が男と判定された場合には、判定対象の顔が、同一人物の顔ではない可能性が極めて高い。同様に、特定人物情報記憶部３８０に記憶されている年代に関する顔属性の判定結果の全てが大人と判定されている場合に、判定対象の顔の年代に関する顔属性の判定結果が子供と判定された場合には、判定対象の顔が、同一人物の顔ではない可能性が極めて高い。このように、登録顔の顔属性と判定対象顔の顔属性とが相反する属性である場合には、顔特徴点座標算出処理、顔特徴量抽出処理、類似度算出処理を実行するまでもなく、同一人物の顔ではない可能性が高い。このように、属性同士の類似度が極めて低い場合には、その後の全ての処理を打ち切ることによって、個人識別処理の高速化を図ることができる。
【０１９２】
図２８は、本発明の実施の形態における撮像装置１００による顔属性の判定処理の処理手順を示すフローチャートである。この顔属性の判定処理は、図２７のステップＳ９１１乃至Ｓ９１５に示す各顔属性の判定処理に対応する処理である。ここでは、図６に示す属性判定用辞書４５０を用いて顔属性を判定する例について説明する。
【０１９３】
最初に、スコアＳが「０」に初期化され（ステップＳ９２１）、変数ｉが「０」に初期化される（ステップＳ９２２）。続いて、正規化顔画像から抽出された輝度の値の中から、属性判定用辞書４５０の基準データｉに含まれる座標０（ｘ，ｙ）４５１の値に対応する輝度の値Ａ（ｉ）と、座標１（ｘ，ｙ）４５２の値に対応する輝度の値Ｂ（ｉ）とが取得される（ステップＳ９２３）。続いて、次式を用いて、取得された各輝度の値の差Ｃ（ｉ）が算出される（ステップＳ９２４）。
Ｃ（ｉ）＝Ａ（ｉ）−Ｂ（ｉ）
【０１９４】
続いて、算出された各輝度の差の値Ｃ（ｉ）と、属性判定用辞書４５０基準データｉに含まれる閾値（θ）４５３の値とを比較して、算出された値Ｃ（ｉ）が閾値（θ）４５３の値よりも大きいか否かが判断される（ステップＳ９２５）。算出された値Ｃ（ｉ）が閾値（θ）４５３の値以下である場合には（ステップＳ９２５）、属性判定用辞書４５０の基準データｉに含まれる重み（α）４５４の値をスコアＳに加算する（ステップＳ９２６）。一方、算出された値Ｃ（ｉ）が閾値（θ）４５３の値よりも大きい場合には（ステップＳ９２５）、属性判定用辞書４５０の基準データｉに含まれる重み（α）４５４の値をスコアＳに加算せずに、ステップＳ９２７に進む。
【０１９５】
続いて、変数ｉに「１」が加算され（ステップＳ９２７）、変数ｉがｎ−１よりも大きいか否かが判断される（ステップＳ９２８）。変数ｉがｎ−１よりも大きくない場合には（ステップＳ９２８）、属性判定用辞書４５０の各基準データについての判定処理が終了していないため、ステップＳ９２３に戻り、判定処理を繰り返す（ステップＳ９２３乃至Ｓ９２７）。一方、変数ｉがｎ−１よりも大きい場合には（ステップＳ９２８）、スコアＳの値が閾値１および閾値２の範囲内に存在するか否かが判断される（ステップＳ９２９）。なお、閾値１は、図７に示す閾値４６１、４６３、４６５に対応し、閾値２は、図７に示す閾値４６２、４６４、４６６に対応する。
【０１９６】
スコアＳの値が閾値１および閾値２の範囲内に存在する場合には（ステップＳ９２９）、正規化顔画像は、属性判定用辞書４５０に対応する顔属性に関して「あいまい」であると判定される（ステップＳ９３０）。
【０１９７】
スコアＳの値が閾値１および閾値２の範囲内に存在しない場合には（ステップＳ９２９）、スコアＳの値が閾値２よりも大きいか否かが判断される（ステップＳ９３１）。スコアＳの値が閾値２よりも大きい場合には（ステップＳ９３１）、正規化顔画像は、属性判定用辞書４５０に対応する顔属性に関して目的の画像であると判定される（ステップＳ９３２）。一方、スコアＳの値が、閾値１よりも小さい場合には（ステップＳ９３１）、正規化顔画像は、属性判定用辞書４５０に対応する顔属性に関して目的の画像ではないと判定される（ステップＳ９３３）。
【０１９８】
図２９は、本発明の実施の形態における撮像装置１００による個人識別処理の処理手順のうちの顔類似度算出処理手順（図２６に示すステップＳ９５０の処理手順）を示すフローチャートである。
【０１９９】
最初に、類似度算出部３６０は、類似度算出基準データ保持部３６１に保持されている類似度算出用辞書の中から、初期値の類似度算出用辞書を取得する（ステップＳ９５１）。例えば、図１６に示す類似度算出基準データ保持部３６１から一般用辞書７０１が取得される。続いて、属性判定部３３０から出力された顔属性の判定結果に基づいて、類似度算出基準データ保持部３６１に保持されている類似度算出用辞書の中から、類似度算出用辞書を選択する（ステップＳ９５２）。続いて、初期値の類似度算出用辞書および選択された類似度算出用辞書を用いて、類似度算出処理を実行する（ステップＳ９６０）。この類似度算出処理については、図３０を参照して詳細に説明する。
【０２００】
図３０は、本発明の実施の形態における撮像装置１００による顔類似度算出処理の処理手順のうちの類似度算出処理手順（図２９に示すステップＳ９６０の処理手順）を示すフローチャートである。ここでは、図１７に示す類似度算出用辞書６６０を用いて類似度を算出する例について説明する。
【０２０１】
最初に、スコアＳ１が「０」に初期化され（ステップＳ９６１）、変数ｉが「０」に初期化される（ステップＳ９６２）。続いて、類似度算出用辞書６６０の基準データｉに含まれる座標０（ｘ，ｙ）６６１の値に対応する判定対象の顔特徴量に含まれる特徴量の値Ａ０（ｉ）と、登録顔特徴量に含まれる特徴量の値Ｂ０（ｉ）とが取得される。また、類似度算出用辞書６６０の基準データｉに含まれる座標１（ｘ，ｙ）６６２の値に対応する判定対象の顔特徴量に含まれる特徴量の値Ａ１（ｉ）と、登録顔特徴量に含まれる特徴量の値Ｂ１（ｉ）とが取得される（ステップＳ９６３）。
【０２０２】
続いて、次式を用いて、取得された特徴量の値の差の絶対値Ｃ０（ｉ）が算出される（ステップＳ９６４）。
Ｃ０（ｉ）＝｜Ａ０（ｉ）−Ｂ０（ｉ）｜
【０２０３】
続いて、次式を用いて、取得された特徴量の値の差の絶対値Ｃ１（ｉ）が算出される（ステップＳ９６５）。
Ｃ１（ｉ）＝｜Ａ１（ｉ）−Ｂ１（ｉ）｜
【０２０４】
続いて、次式を用いて、算出された絶対値Ｃ０（ｉ）と絶対値Ｃ１（ｉ）との差の絶対値Ｃ２（ｉ）が算出される（ステップＳ９６６）。
Ｃ２（ｉ）＝｜Ｃ０（ｉ）−Ｃ１（ｉ）｜
【０２０５】
続いて、算出された絶対値Ｃ２（ｉ）と、類似度算出用辞書６６０の基準データｉに含まれる閾値（θ）６６３の値とを比較して、算出された絶対値Ｃ２（ｉ）が閾値（θ）６６３の値よりも大きいか否かが判断される（ステップＳ９６７）。算出された絶対値Ｃ２（ｉ）が閾値（θ）６６３の値以下である場合には（ステップＳ９６７）、類似度算出用辞書６６０の基準データｉに含まれる重み（α）６６４の値をスコアＳ１に加算する（ステップＳ９６８）。一方、算出された値Ｃ２（ｉ）が閾値（θ）６６３の値よりも大きい場合には（ステップＳ９６７）、類似度算出用辞書６６０の基準データｉに含まれる重み（α）６６４の値をスコアＳ１に加算せずに、ステップＳ９６９に進む。
【０２０６】
続いて、変数ｉに「１」が加算され（ステップＳ９６９）、変数ｉがｎ−１よりも大きいか否かが判断される（ステップＳ９７０）。変数ｉがｎ−１よりも大きくない場合には（ステップＳ９７０）、類似度算出用辞書６６０の各基準データについての判定処理が終了していないため、ステップＳ９６３に戻り、類似度算出処理を繰り返す（ステップＳ９６３乃至Ｓ９６９）。一方、変数ｉがｎ−１よりも大きい場合には（ステップＳ９７０）、類似度算出処理がされていない類似度算出用辞書が存在するか否かが判断される（ステップＳ９７１）。類似度算出処理がされていない類似度算出用辞書が存在する場合には（ステップＳ９７１）、ステップＳ９６２に戻り、他の類似度算出用辞書を用いた類似度算出処理を繰り返す（ステップＳ９６２乃至Ｓ９６９）。例えば、図１９に示すように、顔属性の判定結果が子供と判定されている場合において、一般用辞書７０１の類似度算出処理が終了した後には、子供用辞書７０２が存在するため、子供用辞書７０２を用いた類似度算出処理を実行する。
【０２０７】
一方、類似度算出処理がされていない類似度算出用辞書が存在しない場合には（ステップＳ９７１）、判定対象の顔特徴量に対応する顔と、登録顔特徴量に対応する顔との類似度を示す値としてスコアＳ１の値がＣＰＵ１１０に出力される（ステップＳ９７２）。
【０２０８】
図３１は、本発明の実施の形態における撮像装置１００による個人識別処理の処理手順のうちの顔属性判定処理手順を示すフローチャートである。この顔属性判定処理手順は、図２７に示す顔属性判定処理手順を一部変形したものである。なお、ステップＳ９１６乃至Ｓ９１９については、図２７に示すステップＳ９１６乃至Ｓ９１９と同じ処理手順であるため、ここでの説明を省略する。また、ここでは、年代、目の開閉、髪型、眼鏡の有無およびヒゲの有無に関する顔属性について選択的に実行する例について説明する。なお、年代に関する顔属性の判定では、乳幼児であるか乳幼児以外であるかを判定するものとする。また、眼鏡に関する顔属性の判定では、サングラス（透過度の低い眼鏡）であるか否かを判定するものとする。
【０２０９】
最初に、属性判定部３３０が、年代判定用辞書を用いて年代の属性判定処理を実行する（ステップＳ９９１）。続いて、年代に関する顔属性の判定結果として、乳幼児と判定されたか否かが判断される（ステップＳ９９２）。年代に関する顔属性の判定結果として、乳幼児と判定された場合には（ステップＳ９９２）、目の開閉に関する顔属性の判定処理のみを実行して（ステップＳ９９３）、他の顔属性の判定処理を実行しない。すなわち、乳幼児には、「髪型の特徴が少ない」、「眼鏡をかけていない」、「性別が不明確である」、「ヒゲがない」ということが予想されるためである。
【０２１０】
一方、年代に関する顔属性の判定結果として、乳幼児以外と判定された場合には（ステップＳ９９２）、属性判定部３３０が、髪型判定用辞書を用いて髪形の属性判定処理を実行する（ステップＳ９９４）。そして、眼鏡判定用辞書を用いて眼鏡の属性判定処理を実行する（ステップＳ９９５）。
【０２１１】
続いて、眼鏡に関する顔属性の判定結果として、サングラスと判定されたか否かが判断される（ステップＳ９９６）。眼鏡に関する顔属性の判定結果として、サングラスと判定された場合には（ステップＳ９９６）、サングラスをかけている顔については、目の開閉を判定することが困難であるため、目の開閉に関する顔属性の判定処理を実行せずに、ステップＳ９９８に進む。一方、眼鏡に関する顔属性の判定結果として、サングラスと判定されない場合には（ステップＳ９９６）、目の開閉に関する顔属性の判定処理を実行する（ステップＳ９９７）。
【０２１２】
続いて、性別に関する顔属性の判定結果として、女性と判定された場合には（ステップＳ９９８）、女性には「ヒゲがない」という前提があるため、ヒゲに関する顔属性の判定処理を実行せずに、ステップＳ９１６に進む。一方、性別に関する顔属性の判定結果として、女性と判定されない場合には（ステップＳ９９８）、ヒゲに関する顔属性の判定処理を実行する（ステップＳ９９９）。
【０２１３】
このように、各種の顔属性の中には、子供や女性に対するひげのように、相反する内容や非常にまれな組合せの内容が存在することがある。そこで、既に判定されている顔属性の判定結果に基づいて、相反する顔属性については判定処理を行わないことにより、顔属性の判定処理時間を短縮することができるとともに、精度を改善することができる。
【０２１４】
図３２は、本発明の実施の形態における撮像装置１００による特定人物情報登録処理の処理手順を示すフローチャートである。この例では、フレーム毎に特定人物情報登録処理を行う例を示す。また、この例では、特定人物情報自動更新モードが設定されている場合を例にして説明する。
【０２１５】
最初に、類似度算出部３６０が、属性判定部３３０からの顔属性判定結果（顔属性情報）を入力し（ステップＳ１００１）、顔特徴量抽出部３５０からの顔特徴量を入力する（ステップＳ１００２）。続いて、ユーザからの登録指示の操作入力が操作受付部１６０により受け付けられたか否かが判断される（ステップＳ１００３）。ユーザからの登録指示の操作入力が受け付けられていない場合には（ステップＳ１００３）、変数ｉが「０」に初期化され（ステップＳ１００４）、変数ｉに「１」が加算される（ステップＳ１００５）。ここで、変数ｉは、特定人物情報記憶部３８０に特定人物情報が記憶されている特定人物に対応させるための値である。例えば、ｉ＝１の場合には識別番号３８１の「１００」が対応し、ｉ＝２の場合には識別番号３８１の「２００」が対応し、ｉ＝３の場合には識別番号３８１の「３００」が対応するものとする。また、以下では、変数ｉに対応する特定人物の顔を登録顔ｉと称する。
【０２１６】
続いて、類似度算出部３６０が、検出された顔と登録顔ｉとの顔属性「性別」が同一であるか否かを判断する（ステップＳ１００６）。検出された顔と登録顔ｉとの顔属性「性別」が同一でない場合には（ステップＳ１００６）、変数ｉが定数Ｎ以上であるか否かが判断される（ステップＳ１０１２）。ここで、定数Ｎは、特定人物情報記憶部３８０に特定人物情報が記憶されている特定人物の数を示す値である。例えば、図１５に示す例では、Ｎ＝３である。変数ｉが定数Ｎ未満である場合には（ステップＳ１０１２）、ステップＳ１００５に戻り、変数ｉに「１」が加算される。一方、変数ｉが定数Ｎ以上である場合には（ステップＳ１０１２）、ステップＳ１０１３に進む。
【０２１７】
また、検出された顔と登録顔ｉとの顔属性「性別」が同一である場合には（ステップＳ１００６）、類似度算出部３６０が、検出された顔と登録顔ｉとの顔属性「世代」が同一であるか否かを判断する（ステップＳ１００７）。検出された顔と登録顔ｉとの顔属性「世代」が同一でない場合には（ステップＳ１００７）、ステップＳ１０１２に進む。一方、検出された顔と登録顔ｉとの顔属性「世代」が同一である場合には（ステップＳ１００７）、類似度算出部３６０が、他の顔属性を用いて、登録顔ｉの特定人物情報の中から、１または複数の特定人物情報を選択する（ステップＳ１００８）。例えば、検出された顔について算出された各積算結果値のうちで、絶対値が最大の積算結果値を抽出し、この抽出された積算結果値との差分値が最小となる登録顔ｉの特定人物情報を選択する。
【０２１８】
続いて、類似度算出部３６０が、選択された特定人物情報の顔特徴量を用いて、類似度算出処理を実行する（ステップＳ１００９）。この類似度算出処理は、図２７に示すステップ９５０と略同じ処理であるため、ここでの説明を省略する。なお、ステップＳ１００９は、特許請求の範囲に記載の類似度算出手順の一例である。続いて、特定人物情報登録部３７０が、類似度算出部３６０により算出された類似度に基づいて、顔特徴量抽出部３５０からの顔特徴量と、特定人物情報記憶部３８０に記憶されている顔特徴量との類似度が極めて高いか否かを判断する（ステップＳ１０１０）。すなわち、検出された顔と登録顔ｉとが類似するか否かが判断される。顔特徴量抽出部３５０から入力された顔特徴量と、特定人物情報記憶部３８０に記憶されている顔特徴量との類似度が極めて高くない場合には（ステップＳ１０１０）、ステップＳ１０１２に進む。
【０２１９】
また、顔特徴量抽出部３５０から入力された顔特徴量と、特定人物情報記憶部３８０に記憶されている顔特徴量との類似度が極めて高い場合には（ステップＳ１０１０）、ステップＳ１０１１に進む。そして、特定人物情報登録部３７０は、登録顔ｉの登録日時３８９の日時が一定時間以上前の日時であるか否かを判断する（ステップＳ１０１１）。登録顔ｉの登録日時３８９の日時が一定時間以上前の日時でない場合には（ステップＳ１０１１）、現在のフレーム内で検出された他の顔が存在するか否かが判断される（ステップＳ１０１３）。そして、現在のフレーム内で検出された他の顔が存在しない場合には（ステップＳ１０１３）、特定人物情報登録処理の動作を終了する。一方、現在のフレーム内で検出された他の顔が存在する場合には（ステップＳ１０１３）、ステップＳ１００１に戻る。
【０２２０】
一方、登録顔ｉの登録日時３８９の日時が一定時間以上前の日時である場合には（ステップＳ１０１１）、特定人物情報登録部３７０は、特定人物情報登録判定処理を行う（ステップＳ１０２０）。この特定人物情報登録判定処理については、図３３を参照して詳細に説明する。
【０２２１】
なお、この例では、ステップＳ１００８で、絶対値が最大の積算結果値を抽出して、登録顔ｉの特定人物情報を選択する例を示したが、例えば、図２３で示した他の特定人物情報選択方法をステップＳ１００８で行うようにしてもよい。
【０２２２】
図３３は、本発明の実施の形態における撮像装置１００による特定人物情報登録処理の処理手順のうちの特定人物情報登録判定処理（図３２に示すステップＳ１０２０の処理手順）を示すフローチャートである。この例では、顔らしさスコア、笑顔スコア、正面向きスコアおよび目開きスコアを用いて、特定人物情報登録の要否を判定する例について説明する。
【０２２３】
最初に、特定人物情報登録部３７０が、検出された顔について算出された顔らしさスコアが閾値よりも高いか否かを判断する（ステップＳ１０２１）。続いて、特定人物情報登録部３７０が、検出された顔について算出された正面向きスコアが閾値よりも高いか否かを判断する（ステップＳ１０２２）。続いて、特定人物情報登録部３７０が、検出された顔について算出された目開きスコアが閾値よりも高いか否かを判断する（ステップＳ１０２３）。続いて、特定人物情報登録部３７０が、検出された顔について算出された笑顔スコアが閾値よりも低いか否かを判断する（ステップＳ１０２４）。そして、検出された顔の顔らしさスコア、正面向きスコアおよび目開きスコアが各閾値よりも高く、笑顔スコアが閾値よりも低い場合には（ステップＳ１０２１乃至Ｓ１０２４）、特定人物情報登録部３７０が、特定人物情報の登録処理を行う（ステップＳ１０２５）。すなわち、顔特徴量抽出部３５０から入力された顔特徴量、属性判定部３３０から入力された顔属性情報等を特定人物情報記憶部３８０に追加書き込みまたは上書き処理する。
【０２２４】
一方、検出された顔について算出された顔らしさスコア、正面向きスコアおよび目開きスコアの少なくとも１つが各閾値よりも高くない場合、または、笑顔スコアが閾値よりも低くない場合には（ステップＳ１０２１乃至Ｓ１０２４）、ステップＳ１０１３に進む。
【０２２５】
図３４は、本発明の実施の形態における撮像装置１００による静止画記録処理の処理手順を示すフローチャートである。この静止画記録処理は、ＣＰＵ１１０により行われる。また、静止画記録動作を行う際における条件として、検出された顔と登録顔とが類似することを条件とする場合を例にして説明する。
【０２２６】
最初に、属性判定部３３０からの顔属性判定結果（顔属性情報）を入力する（ステップＳ１０３１）。続いて、ユーザによるシャッターボタンの押下操作が操作受付部１６０により受け付けられたか否かが判断される（ステップＳ１０３２）。ユーザによるシャッターボタンの押下操作が受け付けられた場合には（ステップＳ１０３２）、この押下操作が受け付けられた際における撮像画像を記録するための記録動作が行われる（ステップＳ１０３６）。一方、ユーザによるシャッターボタンの押下操作が受け付けられていない場合には（ステップＳ１０３２）、笑顔静止画記録モードが設定されているか否かが判断される（ステップＳ１０３３）。笑顔静止画記録モードが設定されていない場合には（ステップＳ１０３３）、静止画記録処理の動作を終了する。
【０２２７】
一方、笑顔静止画記録モードが設定されている場合には（ステップＳ１０３３）、検出された顔と登録顔とが類似するか否かが判断される（ステップＳ１０３４）。この場合、例えば、撮像画像に複数の顔が含まれている場合には、何れかの顔が特定顔であると判定されたことを条件とすることができる。検出された顔と登録顔とが類似しない場合には（ステップＳ１０３４）、静止画記録処理の動作を終了する。
【０２２８】
一方、検出された顔と登録顔とが類似すると判断された場合には（ステップＳ１０３４）、顔らしさスコアが閾値Ｔｆ１を超えているか否かが判断され（ステップＳ１０３５）、笑顔スコアが閾値Ｔｓ１を超えているか否かが判断される（ステップＳ１０３６）。顔らしさスコアが閾値Ｔｆ１を超えているとともに（ステップＳ１０３５）、笑顔スコアが閾値Ｔｓ１を超えている場合には（ステップＳ１０３６）、撮像画像を記録するための記録動作が行われる（ステップＳ１０３７）。一方、顔らしさスコアが閾値Ｔｆ１を超えていない場合（ステップＳ１０３５）、または、笑顔スコアが閾値Ｔｓ１を超えていない場合には（ステップＳ１０３６）、静止画記録処理の動作を終了する。
【０２２９】
なお、この例では、静止画を記録する例を示したが、例えば、ステップＳ１０３４乃至Ｓ１０３６の条件を満たす場合には、ステップＳ１０３７で動画の記録動作を開始するようにしてもよい。
【０２３０】
なお、本発明の実施の形態では、レンズ、イメージセンサ等の撮像部を備える撮像装置を例にして説明したが、撮像部を備えていない画像処理装置においても本発明の実施の形態を適用することができる。例えば、外部の画像記憶媒体から入力された画像データ、または、外部装置から入出力端子を介して入力された画像データについて、上述した顔検出や顔認識の処理を画像処理装置が行うことができる。また、属性判定部３３０により判定された顔属性の判定結果、顔特徴量抽出部３５０により抽出された顔特徴量、類似度算出部３６０により算出された類似度等を、入出力端子を介して外部装置に出力するようにしてもよい。
【０２３１】
また、本発明の実施の形態では、被写体の対象物として顔を検出して個人識別を行う場合について説明したが、他の対象物を検出して物体認識を行う場合についても、本発明の実施の形態を適用することができる。例えば、猫や犬等のペットや動物、家、乗り物等の様々な対象物について本発明の実施の形態を適用することができる。例えば、ペットを個体識別する場合は、色、模様、耳の形等の違いにより、人間を個人識別する場合よりも識別し易い。
【０２３２】
また、本発明の実施の形態では、特徴量抽出フィルタとしてガボア・フィルタを用いて特徴量を抽出し、この特徴量を用いて個人識別を行う例について説明したが、特徴量を用いて個人識別を行う場合についても本発明の実施の形態を適用することができる。例えば、ＧＭＲＦ（ガウシアン・マルコフ確率場）、ＬＢＰ（Local Binary Pattern）特徴、固有顔（Eigenface）法等を用いることができる。
【０２３３】
以上で示したように、本発明の実施の形態によれば、特定人物の登録情報（特定人物情報）を、撮像装置１００内で自動的に高精度化しながら更新し続けることができる。すなわち、ユーザが登録操作を行わなくても、撮像装置１００が自動的に判断して、特定人物情報を高精度で最新な状態へと定期的に更新することができる。この場合に、ユーザが撮像装置１００を使えば使うほど、特定人物情報の精度が高まり、さらに知的な個人識別を行うことが可能となる。また、個人識別を高精度化することができるため、特定人物に対して最適化したカメラのフォーカス合わせや露出合わせ、肌色調整等の制御、手振れ補正、ストロボ調光等、様々なカメラ機能の制御を実現することができる。これにより、特定人物をさらに美しく撮影することが可能となる。
【０２３４】
また、静止画または動画として自動的に記録される画像は、笑顔や、正面の顔、まばたきしていない顔等のように、撮影に適した顔を自動的に選択することができる。これに対して、個人認識用の特定人物情報として自動的に記録されるデータは、例えば、極端な笑顔を回避した真顔や、正面の顔、まばたきしていない顔等のように、登録に適した顔を自動的に選択することができる。また、静止画の自動的な画像記録または動画の自動的な記録開始に最適な顔属性の条件と、個人識別に最適な顔属性の条件との違いを明確にし、それぞれを独立に条件を設けることにより、それぞれの精度を高めることができる。
【０２３５】
また、画像に含まれる人の顔の領域に対して、顔属性（例えば、対象となる人の表情、年齢や年代、性別、目の開閉、人種、眼鏡の有無や種類、ヒゲの有無や種類、帽子の有無や種類、アクセサリーの有無や種類、髪型、顔向き）を判定することができる。また、顔属性の判定処理において、既に判定された顔属性と相反する顔属性については、判定処理を行わないことにより、効率的に有効な顔属性の判定結果を得ることができる。また、個人識別処理においても、既に判定された顔属性を用いることにより、個人認識の精度を高めるとともに、処理スピードを高速化し、効率的に有効な個人識別処理を行うことができる。
【０２３６】
また、個人識別をする際の特徴点座標を、顔属性の判定結果に応じて切り替えることによって、判定対象顔に応じた最適な特徴量の抽出が可能となる。また、個人識別をする際の特徴量抽出フィルタを、顔属性の判定結果に応じて切り替えることによって、判定対象顔に応じた最適な特徴量の抽出が可能となる。また、個人識別をする際の類似度算出に用いられる類似度算出基準データを、顔属性の判定結果に応じて切り替えることによって、判定対象顔に応じた最適な類似度算出が可能となり、高精度な個人識別を実現することができる。
【０２３７】
また、個人識別をする際の類似度算出を、顔属性の判定結果に応じて途中で打ち切ることによって、処理時間の短縮を可能とし、高速化を図ることができる。特に、属性同士の類似性に着目し、相反する内容が存在する場合には、登録顔と判定対象顔とが同一人物でないことを早い段階で知ることができ、処理時間は大幅に短縮することができる。また、個人識別をする際の類似度算出を、顔属性の判定結果に応じてさらに延長することによって、類似度算出の難しい顔に対しても、さらに高精度な処理が可能となる。
【０２３８】
また、高速で高精度な個人識別を可能とし、撮像装置のようなリアルタイム画像処理でも、特定人物の顔をユーザに知らせることができる。さらに、デジタルスチルカメラやカメラ付き携帯電話機のような小型の撮像装置が、十分なサイズの画像表示装置（液晶パネル等）を有していなくても、撮像装置がユーザに対して特定人物の顔を表示することができる。これにより、ユーザが容易に特定人物の顔を視認して確認することができる。
【０２３９】
また、撮像装置以外の画像処理装置に適用することができるため、外部装置から入力された人の顔画像に対しても、顔属性の判定や個人識別処理を行うことが可能となる。また、多様な顔属性、顔特徴点座標、顔類似度を画像の付随データとして生成することができ、さらに豊富な情報を自動でユーザに提供することができる。また、多様な顔属性、顔特徴点座標、顔類似度を用いて、膨大な動画、または静止画のデータベースから、特定の個人の画像を迅速に検索することができる。
【０２４０】
なお、本発明の実施の形態は本発明を具現化するための一例を示したものであり、上述のように特許請求の範囲における発明特定事項とそれぞれ対応関係を有する。ただし、本発明は実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変形を施すことができる。
【０２４１】
また、本発明の実施の形態において説明した処理手順は、これら一連の手順を有する方法として捉えてもよく、また、これら一連の手順をコンピュータに実行させるためのプログラム乃至そのプログラムを記憶する記録媒体として捉えてもよい。この記録媒体として、例えば、ＣＤ（Compact Disc）、ＭＤ（MiniDisc）、ＤＶＤ（Digital Versatile Disk）、メモリカード、ブルーレイディスク（Blu-ray Disc（登録商標））等を用いることができる。
【図面の簡単な説明】
【０２４２】
【図１】本発明の実施の形態における撮像装置１００の機能構成例を示すブロック図である。
【図２】本発明の実施の形態における顔検出部２００の機能構成例を示すブロック図である。
【図３】本発明の実施の形態における個人識別部３００の機能構成例、および、個人識別部３００と、画像ＲＡＭ１３０、画像バス１９０および特定人物情報記憶部３８０との概略関係を示すブロック図である。
【図４】本発明の実施の形態における顔検出部２００により検出された顔を含むその周辺画像である顔画像を正規化する場合における正規化の一例を示す図である。
【図５】本発明の実施の形態における属性判定部３３０による顔属性の判定対象となる顔画像を概略的に示す図である。
【図６】本発明の実施の形態における属性判定部３３０が顔の属性判定を行う際に用いられる属性判定用辞書の構成例を示す図である。
【図７】本発明の実施の形態における属性判定部３３０により正規化顔画像について属性判定用辞書を用いて求められる各顔属性に関する積算結果値の範囲を示す図である。
【図８】本発明の実施の形態における属性判定部３３０から出力される各属性に関する判定結果および積算結果値の一例を示す図である。
【図９】本発明の実施の形態における正規化部３２０により生成された正規化顔画像に設定すべき特徴点の位置を算出する特徴点位置算出方法の一例を示す図である。
【図１０】本発明の実施の形態における正規化部３２０により生成された正規化顔画像に特徴点を設定する場合における配置例を示す図である。
【図１１】本発明の実施の形態における正規化部３２０により生成された正規化顔画像に特徴点を設定する場合における配置例を示す図である。
【図１２】本発明の実施の形態における顔特徴量抽出部３５０により用いられるガボア・フィルタ、および、このガボア・フィルタの中の１つのフィルタの係数を表すグラフの例を示す図である。
【図１３】本発明の実施の形態における正規化部３２０により生成される正規化顔画像の一例である正規化顔画像６３０を示す図である。
【図１４】本発明の実施の形態における顔特徴量抽出部３５０により抽出された特徴量の集合である顔特徴量を模式的に示す図である。
【図１５】本発明の実施の形態における特定人物情報記憶部３８０に記憶されている各情報を模式的に示す図である。
【図１６】本発明の実施の形態における類似度算出基準データ保持部３６１に保持されている類似度算出用辞書を模式的に示す図である。
【図１７】本発明の実施の形態における類似度算出部３６０が判定対象の顔の類似度を算出する際に用いられる類似度算出用辞書の構成例を示す図である。
【図１８】本発明の実施の形態における類似度算出部３６０が判定対象の顔の類似度を算出する類似度算出方法を概略的に示す図である。
【図１９】本発明の実施の形態における類似度算出部３６０による判定対象の顔の類似度算出に用いられる類似度算出用辞書の例を示す図である。
【図２０】本発明の実施の形態における類似度算出部３６０による判定対象の顔の類似度算出に用いられる類似度算出用辞書の例を示す図である。
【図２１】本発明の実施の形態における類似度算出部３６０による判定対象の顔の類似度算出に用いられる類似度算出用辞書の例を示す図である。
【図２２】本発明の実施の形態における類似度算出部３６０による判定対象の顔の類似度算出に用いられる類似度算出用辞書の例を示す図である。
【図２３】本発明の実施の形態における類似度算出部３６０による類似度算出の算出方法の概略を示す図である。
【図２４】本発明の実施の形態における正規化部３２０により生成された正規化顔画像と、属性判定部３３０により算出された積算結果値との関係を概略的に示す図である。
【図２５】本発明の実施の形態における正規化部３２０により生成された正規化顔画像と、属性判定部３３０により算出された積算結果値との関係を概略的に示す図である。
【図２６】本発明の実施の形態における撮像装置１００による個人識別処理の処理手順を示すフローチャートである。
【図２７】本発明の実施の形態における撮像装置１００による個人識別処理の処理手順のうちの顔属性判定処理手順を示すフローチャートである。
【図２８】本発明の実施の形態における撮像装置１００による顔属性の判定処理の処理手順を示すフローチャートである。
【図２９】本発明の実施の形態における撮像装置１００による個人識別処理の処理手順のうちの顔類似度算出処理手順を示すフローチャートである。
【図３０】本発明の実施の形態における撮像装置１００による顔類似度算出処理の処理手順のうちの類似度算出処理手順を示すフローチャートである。
【図３１】本発明の実施の形態における撮像装置１００による個人識別処理の処理手順のうちの顔属性判定処理手順を示すフローチャートである。
【図３２】本発明の実施の形態における撮像装置１００による特定人物情報登録処理の処理手順を示すフローチャートである。
【図３３】本発明の実施の形態における撮像装置１００による特定人物情報登録処理の処理手順のうちの特定人物情報登録判定処理を示すフローチャートである。
【図３４】本発明の実施の形態における撮像装置１００による静止画記録処理の処理手順を示すフローチャートである。
【符号の説明】
【０２４３】
１００ 撮像装置
１１０ＣＰＵ
１２１ レンズ群
１２２ イメージセンサ
１２３ カメラ信号処理部
１３０ 画像ＲＡＭ
１４０ 画像圧縮伸張部
１５０ 表示部
１６０ 操作受付部
１７０ 記憶媒体
１８０ 揮発／不揮発性記憶媒体
１９０ 画像バス
１９５ ＧＰＳ信号処理部
２００ 顔検出部
２１０ コントローラ
２２０ 画像拡大縮小部
２３０ 画像保持部
２４０ 基準顔データ保持部
２５０ 判定部
３００ 個人識別部
３１０ コントローラ
３２０ 正規化部
３３０ 属性判定部
３３１ 属性判定基準データ保持部
３４０ 特徴点算出部
３４１ 特徴点座標テーブル保持部
３５０ 顔特徴量抽出部
３６０ 類似度算出部
３６１ 類似度算出基準データ保持部
３７０ 特定人物情報登録部
３８０ 特定人物情報記憶部
【特許請求の範囲】
【請求項１】
複数の対象物に関する特徴量および属性を記憶する対象物情報記憶部と、
画像に含まれる対象物を検出する対象物検出部と、
前記検出された対象物の属性を判定する属性判定部と、
前記検出された対象物に関する特徴量を抽出する特徴量抽出部と、
前記判定された属性に基づいて前記対象物情報記憶部に記憶されている複数の対象物に関する特徴量の中から１または複数の特徴量を選択して前記選択された特徴量と前記抽出された特徴量とに基づいて前記選択された特徴量に係る対象物と前記検出された対象物との類似度を算出する類似度算出部と
を具備する画像処理装置。
【請求項２】
前記対象物検出部は、前記画像に含まれる人物の顔を前記対象物として検出し、
前記属性判定部は、前記検出された人物の顔の属性として世代および性別の少なくとも１つを判定し、
前記類似度算出部は、前記対象物情報記憶部に記憶されている複数の顔の中から前記判定された世代および性別の全てが同一となる顔を選択して前記選択された顔に係る特徴量の中から１または複数の特徴量を選択する
請求項１記載の画像処理装置。
【請求項３】
前記算出された類似度と前記判定された属性とが登録条件を満たしているか否かを判定して前記登録条件を満たしていると判定された場合には前記抽出された特徴量と前記判定された属性とを前記対象物情報記憶部に記憶させる対象物情報登録部をさらに具備する請求項１記載の画像処理装置。
【請求項４】
前記対象物検出部は、前記画像に含まれる人物の顔を前記対象物として検出し、
前記属性判定部は、前記検出された人物の顔の属性として顔らしさの度合い、顔の向きの正面向き度合い、目が開いている度合い、笑顔の度合いの少なくとも１つを判定し、
前記対象物情報登録部は、前記算出された類似度が閾値を超えるとともに前記判定された顔らしさの度合い、顔の向きの正面向き度合い、目が開いている度合いの少なくとも１つが閾値を超え、前記判定された笑顔の度合いが閾値を超えないという条件を前記登録条件とし、前記登録条件を満たしていると判定された場合には前記抽出された特徴量と前記判定された属性とを前記対象物情報記憶部に記憶させる
請求項３記載の画像処理装置。
【請求項５】
前記対象物情報記憶部は、前記対象物に関する特徴量および属性が記憶された日時を前記対象物毎に記憶し、
前記対象物情報登録部は、前記登録条件を満たしていると判定された場合には前記対象物情報記憶部に記憶されている前記選択された特徴量に係る日時が一定時間以上経過しているか否かを判定して前記選択された特徴量に係る日時が一定時間以上経過していると判定された場合には前記抽出された特徴量と前記判定された属性とを前記対象物情報記憶部に記憶させる
請求項３記載の画像処理装置。
【請求項６】
前記対象物情報登録部は、前記登録条件を満たしていると判定された類似度の算出対象となった前記対象物情報記憶部に記憶されている特徴量およびこれに係る属性に前記抽出された特徴量と前記判定された属性とを上書きして記憶させる
請求項３記載の画像処理装置。
【請求項７】
複数の対象物に関する特徴量および属性を記憶する対象物情報記憶部と、
被写体を撮像して撮像画像を生成する撮像部と、
前記撮像画像に含まれる対象物を検出する対象物検出部と、
前記検出された対象物の属性を判定する属性判定部と、
前記検出された対象物に関する特徴量を抽出する特徴量抽出部と、
前記判定された属性が前記撮像画像の記録動作を行うための記録動作条件を満たすか否かを判定して前記記録動作条件を満たしていると判定された場合には前記撮像画像の記録指示を行う記録指示部と、
前記判定された属性に基づいて前記対象物情報記憶部に記憶されている複数の対象物に関する特徴量の中から１または複数の特徴量を選択して前記選択された特徴量と前記抽出された特徴量とに基づいて前記選択された特徴量に係る対象物と前記検出された対象物との類似度を算出する類似度算出部と、
前記算出された類似度と前記判定された属性とが登録条件を満たしているか否かを判定して前記登録条件を満たしていると判定された場合には前記抽出された特徴量と前記判定された属性とを前記対象物情報記憶部に記憶させる対象物情報登録部と
を具備する撮像装置。
【請求項８】
前記判定された属性に関する前記記録動作条件および前記登録条件の設定内容を異なる内容とする請求項７記載の撮像装置。
【請求項９】
前記対象物検出部は、前記画像に含まれる人物の顔を前記対象物として検出し、
前記属性判定部は、前記検出された人物の顔の属性として顔らしさの度合い、笑顔の度合いの少なくとも１つを判定し、
前記記録指示部は、前記算出された類似度が閾値を超えるとともに前記判定された顔らしさの度合い、笑顔の度合いが閾値を超えるという条件を前記記録動作条件とし、前記記録動作条件を満たしていると判定された場合には前記撮像画像の記録指示を行う
請求項７記載の撮像装置。
【請求項１０】
画像に含まれる対象物を検出する対象物検出手順と、
前記検出された対象物の属性を判定する属性判定手順と、
前記検出された対象物に関する特徴量を抽出する特徴量抽出手順と、
前記判定された属性に基づいて対象物情報記憶部に記憶されている複数の対象物に関する特徴量の中から１または複数の特徴量を選択して前記選択された特徴量と前記抽出された特徴量とに基づいて前記選択された特徴量に係る対象物と前記検出された対象物との類似度を算出する類似度算出手順と
を具備する画像処理方法。
【請求項１１】
画像に含まれる対象物を検出する対象物検出手順と、
前記検出された対象物の属性を判定する属性判定手順と、
前記検出された対象物に関する特徴量を抽出する特徴量抽出手順と、
前記判定された属性に基づいて対象物情報記憶部に記憶されている複数の対象物に関する特徴量の中から１または複数の特徴量を選択して前記選択された特徴量と前記抽出された特徴量とに基づいて前記選択された特徴量に係る対象物と前記検出された対象物との類似度を算出する類似度算出手順と
をコンピュータに実行させるプログラム。
【請求項１】
複数の対象物に関する特徴量および属性を記憶する対象物情報記憶部と、
画像に含まれる対象物を検出する対象物検出部と、
前記検出された対象物の属性を判定する属性判定部と、
前記検出された対象物に関する特徴量を抽出する特徴量抽出部と、
前記判定された属性に基づいて前記対象物情報記憶部に記憶されている複数の対象物に関する特徴量の中から１または複数の特徴量を選択して前記選択された特徴量と前記抽出された特徴量とに基づいて前記選択された特徴量に係る対象物と前記検出された対象物との類似度を算出する類似度算出部と
を具備する画像処理装置。
【請求項２】
前記対象物検出部は、前記画像に含まれる人物の顔を前記対象物として検出し、
前記属性判定部は、前記検出された人物の顔の属性として世代および性別の少なくとも１つを判定し、
前記類似度算出部は、前記対象物情報記憶部に記憶されている複数の顔の中から前記判定された世代および性別の全てが同一となる顔を選択して前記選択された顔に係る特徴量の中から１または複数の特徴量を選択する
請求項１記載の画像処理装置。
【請求項３】
前記算出された類似度と前記判定された属性とが登録条件を満たしているか否かを判定して前記登録条件を満たしていると判定された場合には前記抽出された特徴量と前記判定された属性とを前記対象物情報記憶部に記憶させる対象物情報登録部をさらに具備する請求項１記載の画像処理装置。
【請求項４】
前記対象物検出部は、前記画像に含まれる人物の顔を前記対象物として検出し、
前記属性判定部は、前記検出された人物の顔の属性として顔らしさの度合い、顔の向きの正面向き度合い、目が開いている度合い、笑顔の度合いの少なくとも１つを判定し、
前記対象物情報登録部は、前記算出された類似度が閾値を超えるとともに前記判定された顔らしさの度合い、顔の向きの正面向き度合い、目が開いている度合いの少なくとも１つが閾値を超え、前記判定された笑顔の度合いが閾値を超えないという条件を前記登録条件とし、前記登録条件を満たしていると判定された場合には前記抽出された特徴量と前記判定された属性とを前記対象物情報記憶部に記憶させる
請求項３記載の画像処理装置。
【請求項５】
前記対象物情報記憶部は、前記対象物に関する特徴量および属性が記憶された日時を前記対象物毎に記憶し、
前記対象物情報登録部は、前記登録条件を満たしていると判定された場合には前記対象物情報記憶部に記憶されている前記選択された特徴量に係る日時が一定時間以上経過しているか否かを判定して前記選択された特徴量に係る日時が一定時間以上経過していると判定された場合には前記抽出された特徴量と前記判定された属性とを前記対象物情報記憶部に記憶させる
請求項３記載の画像処理装置。
【請求項６】
前記対象物情報登録部は、前記登録条件を満たしていると判定された類似度の算出対象となった前記対象物情報記憶部に記憶されている特徴量およびこれに係る属性に前記抽出された特徴量と前記判定された属性とを上書きして記憶させる
請求項３記載の画像処理装置。
【請求項７】
複数の対象物に関する特徴量および属性を記憶する対象物情報記憶部と、
被写体を撮像して撮像画像を生成する撮像部と、
前記撮像画像に含まれる対象物を検出する対象物検出部と、
前記検出された対象物の属性を判定する属性判定部と、
前記検出された対象物に関する特徴量を抽出する特徴量抽出部と、
前記判定された属性が前記撮像画像の記録動作を行うための記録動作条件を満たすか否かを判定して前記記録動作条件を満たしていると判定された場合には前記撮像画像の記録指示を行う記録指示部と、
前記判定された属性に基づいて前記対象物情報記憶部に記憶されている複数の対象物に関する特徴量の中から１または複数の特徴量を選択して前記選択された特徴量と前記抽出された特徴量とに基づいて前記選択された特徴量に係る対象物と前記検出された対象物との類似度を算出する類似度算出部と、
前記算出された類似度と前記判定された属性とが登録条件を満たしているか否かを判定して前記登録条件を満たしていると判定された場合には前記抽出された特徴量と前記判定された属性とを前記対象物情報記憶部に記憶させる対象物情報登録部と
を具備する撮像装置。
【請求項８】
前記判定された属性に関する前記記録動作条件および前記登録条件の設定内容を異なる内容とする請求項７記載の撮像装置。
【請求項９】
前記対象物検出部は、前記画像に含まれる人物の顔を前記対象物として検出し、
前記属性判定部は、前記検出された人物の顔の属性として顔らしさの度合い、笑顔の度合いの少なくとも１つを判定し、
前記記録指示部は、前記算出された類似度が閾値を超えるとともに前記判定された顔らしさの度合い、笑顔の度合いが閾値を超えるという条件を前記記録動作条件とし、前記記録動作条件を満たしていると判定された場合には前記撮像画像の記録指示を行う
請求項７記載の撮像装置。
【請求項１０】
画像に含まれる対象物を検出する対象物検出手順と、
前記検出された対象物の属性を判定する属性判定手順と、
前記検出された対象物に関する特徴量を抽出する特徴量抽出手順と、
前記判定された属性に基づいて対象物情報記憶部に記憶されている複数の対象物に関する特徴量の中から１または複数の特徴量を選択して前記選択された特徴量と前記抽出された特徴量とに基づいて前記選択された特徴量に係る対象物と前記検出された対象物との類似度を算出する類似度算出手順と
を具備する画像処理方法。
【請求項１１】
画像に含まれる対象物を検出する対象物検出手順と、
前記検出された対象物の属性を判定する属性判定手順と、
前記検出された対象物に関する特徴量を抽出する特徴量抽出手順と、
前記判定された属性に基づいて対象物情報記憶部に記憶されている複数の対象物に関する特徴量の中から１または複数の特徴量を選択して前記選択された特徴量と前記抽出された特徴量とに基づいて前記選択された特徴量に係る対象物と前記検出された対象物との類似度を算出する類似度算出手順と
をコンピュータに実行させるプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１３】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【図２７】
【図２８】
【図２９】
【図３０】
【図３１】
【図３２】
【図３３】
【図３４】
【図１２】
【図１４】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１３】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【図２７】
【図２８】
【図２９】
【図３０】
【図３１】
【図３２】
【図３３】
【図３４】
【図１２】
【図１４】
【公開番号】特開２０１０−６１４６５（Ｐ２０１０−６１４６５Ａ）
【公開日】平成２２年３月１８日（２０１０．３．１８）
【国際特許分類】
【出願番号】特願２００８−２２７３４０（Ｐ２００８−２２７３４０）
【出願日】平成２０年９月４日（２００８．９．４）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
【公開日】平成２２年３月１８日（２０１０．３．１８）
【国際特許分類】
【出願日】平成２０年９月４日（２００８．９．４）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
[ Back to top ]