人物属性識別方法およびそのシステム
【課題】 顔情報と顔情報以外の情報とを効果的に統合することができ、性別や年齢等の人物属性の識別精度を向上させることができる人物属性識別方法およびそのシステムを提供すること。
【解決手段】 複数種類の人物属性識別用データに対応させてこれらを個別に識別するための人物属性識別用モデル５１〜５８を予め用意しておき、人物属性識別用データ作成処理手段３６により、カメラ２０で人物を撮影して得られた処理対象のフレーム画像から複数種類の人物属性識別用データを作成した後、指標値算出処理手段３７により、人物属性識別用モデル５１〜５８を用いて各人物属性識別用データについて尤度等の指標値を個別に算出し、その後、識別結果情報算出処理手段３８により、複数の指標値を統合する。
【解決手段】 複数種類の人物属性識別用データに対応させてこれらを個別に識別するための人物属性識別用モデル５１〜５８を予め用意しておき、人物属性識別用データ作成処理手段３６により、カメラ２０で人物を撮影して得られた処理対象のフレーム画像から複数種類の人物属性識別用データを作成した後、指標値算出処理手段３７により、人物属性識別用モデル５１〜５８を用いて各人物属性識別用データについて尤度等の指標値を個別に算出し、その後、識別結果情報算出処理手段３８により、複数の指標値を統合する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、カメラで撮影された人物の性別および／または年齢を含む人物属性を識別する人物属性識別方法およびそのシステムに係り、例えば、統計処理、動向調査、データベース検索、セキュリティシステム等に利用できる。
【背景技術】
【０００２】
従来より、人物の性別を識別する方法として、顔情報のみを用いた方法が提案されている。例えば、顔画像を判別分析することにより性別識別を行う方法がある（特許文献１、非特許文献１参照）。また、顔画像についてサポートベクターマシンを使用することにより性別識別を行う方法もある（非特許文献２、非特許文献３参照）。
【０００３】
なお、本発明における人物属性識別用モデルを作成する際に用いられるガウス混合モデルは、公知技術であり、多くの文献に記載されている（例えば、非特許文献４等参照）。
【０００４】
【特許文献１】特開２０００−２２２５７２号公報
【非特許文献１】本郷仁志、石井洋平、丹羽義典、山本和彦、「顔画像からの性別と年齢の統合的推定方法の提案」、信学技報、社団法人電子情報通信学会、２００２年１２月２０日、Ｖｏｌ．１０２、Ｎｏ．５３２、ＰＲＭＵ２００２−１４６、ｐ．１−６
【非特許文献２】ババック・モグハダム（Baback Moghaddam）、ミン・サン・ヤング（Ming-Hsuan Yang）、「ジェンダー・クラシフィケーション・ウィズ・サポート・ベクター・マシンズ（Gender classification with support vector machines）」、ＩＥＥＥインターナショナル・コンファレンス・オン・オートマティック・フェイス・アンド・ジェスチャー・レコグニション（ＩＥＥＥ International Conference on Automatic Face and Gesture Recognition）、米国、ＩＥＥＥ、２０００年３月、ｐ．３０６−３１１
【非特許文献３】細井聖、瀧川えりな、川出雅人、「ガボールウェーブレット変換とサポートベクタマシンによる性別・年代推定システム」、第８回画像センシングシンポジウム講演論文集、画像センシング技術研究会、２００２年７月１８日、ｐ．２４３−２４６
【非特許文献４】ヤン・Ｍ（Yang,M）、アウジャ・Ｎ（Ahuja,N）、「ガウシアン・ミクスチャー・モデル・フォー・ヒューマン・スキン・カラー・アンド・イッツ・アプリケーションズ・イン・イメージ・アンド・ビデオ・データベースイズ（Gaussian mixture model for human skin color and its applications in image and video databases）」、イン・プロスィーディングス・オブ・ＳＰＩＥ−ザ・インターナショナル・ソサイエティ・フォー・オプティカル・エンジニアリング（In Proceedings of SPIE-the International Society for Optical Engineering）：コンファレンス・オン・ストーレッジ・アンド・リトリーバル・フォー・イメージ・アンド・ビデオ・データベースイズ（Conference on Storage and Retrieval for Image and Video Databases）ＶII（１９９９）、米国、１９９９年、ｖｏｌ．３６５６、ｐ．４５８−４６６
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、前述した特許文献１および非特許文献１〜３に記載された性別識別方法では、顔情報しか用いていないため、識別精度には限界がある。人が人物を見て性別を推定しようとしても、顔情報だけでは推定できないという場合も少なくない。実際に人が人物の性別識別を行おうとする場合には、顔情報以外にも、髪型、服装、体型といった様々な情報を、頭の中で統合して識別を行っている。従って、このような人の頭の中で自然に行われる統合処理に相当する性別識別方法あるいは年齢識別方法を確立し、システム化することが望まれる。
【０００６】
本発明の目的は、顔情報と顔情報以外の情報とを効果的に統合することができ、性別や年齢等の人物属性の識別精度を向上させることができる人物属性識別方法およびそのシステムを提供するところにある。
【課題を解決するための手段】
【０００７】
本発明は、カメラで撮影された人物の性別および／または年齢を含む人物属性を識別する人物属性識別方法であって、人物の属性を識別するための顔用データを含む複数種類の人物属性識別用データが識別されるカテゴリを各人物属性識別用データ毎に複数ずつ設定し、これらのカテゴリに含まれるデータの特徴を示す人物属性識別用モデルを、各人物属性識別用データ毎に少なくとも１つずつ予め作成しておき、カメラで人物を撮影して得られた人物属性識別処理対象のフレーム画像から複数種類の人物属性識別用データをそれぞれ作成した後、作成した各人物属性識別用データに対応する各人物属性識別用モデルを用いて、作成した各人物属性識別用データが、いずれのカテゴリに含まれるデータであるかということについての確からしさを指標するための尤度、帰属度合い、確率、割合、またはこれらに類する指標値を、各人物属性識別用データ毎に個別に算出し、その後、各人物属性識別用データ毎に個別に算出した複数の指標値を統合することにより、人物の属性の識別結果を示す情報を算出することを特徴とするものである。
【０００８】
ここで、「人物の性別および／または年齢を含む人物属性」とあるので、本発明を適用して行われる人物属性の識別は、人物の性別のみの識別でもよく、人物の年齢のみの識別でもよく、人物の性別および年齢の同時並行的な識別でもよく、さらには、これら以外の他の人物属性（例えば、職業、人種、国籍、居住地等）と性別との同時並行的な識別でもよく、他の人物属性と年齢との同時並行的な識別でもよく、他の人物属性と性別と年齢との同時並行的な識別でもよい。
【０００９】
また、各人物属性識別用データ毎に複数ずつ設定される「カテゴリ」は、対立カテゴリ（２つのカテゴリ）でもよく、３つ以上のカテゴリでもよい。
【００１０】
さらに、「人物属性識別用モデルを、各人物属性識別用データ毎に少なくとも１つずつ作成しておき」とは、各人物属性識別用データが識別されるカテゴリとして、対立カテゴリ（２つのカテゴリ）が設定される場合には、対立カテゴリの両方について人物属性識別用モデルを作成してもよく、対立カテゴリの一方のみについて人物属性識別用モデルを作成してもよく、３つ以上のカテゴリが設定される場合には、全てのカテゴリについて人物属性識別用モデルを作成してもよく、一部のカテゴリについて人物属性識別用モデルを作成してもよい趣旨である。
【００１１】
そして、「尤度、帰属度合い、確率、割合、またはこれらに類する指標値を、各人物属性識別用データ毎に個別に算出し」における「各人物属性識別用データ毎に」という意味は、各人物属性識別用データが識別されるカテゴリ毎に指標値を算出すること、つまり全てのカテゴリについて指標値を算出することの他、対立カテゴリ（２つのカテゴリ）が設定される場合には、対立カテゴリのうちの一方について指標値を算出すること、３つ以上のカテゴリが設定される場合には、全てのカテゴリについてではなく一部のカテゴリについて指標値を算出することが含まれる。
【００１２】
また、「顔用データ」は、人物の属性を識別する要素情報としての顔情報から作成されるデータを意味し、例えば、後述する実施形態における顔基礎データおよびこれを次元圧縮した顔圧縮データのいずれも含む概念であり、他の種類（「顔用データ」以外）の「人物属性識別用データ」についても同様である。そして、「人物属性識別用データ」は、顔情報等のような人物属性の識別要素となり得る情報を表現することができれば、スカラー、ベクトル、行列、テンソル等、いずれの形態のデータでもよい。
【００１３】
さらに、「人物属性識別用モデル」としては、例えば、ガウス混合モデル（前述した非特許文献４参照）、サポートベクターマシン（ＳＶＭ）、ニューラルネットワーク等を採用することができ、人物属性識別用データを複数のカテゴリに識別することができるものであれば任意である。
【００１４】
そして、「カメラで人物を撮影して得られた人物属性識別処理対象のフレーム画像から複数種類の人物属性識別用データをそれぞれ作成」することが前提となるが、人物属性の識別のための要素情報に、フレーム画像から作成された複数種類の人物属性識別用データが含まれていればよい趣旨であり、本発明の適用にあたっては、フレーム画像から作成された人物属性識別用データ以外の人物属性識別用データを含めてもよい。従って、例えば、臭いセンサから取得した臭い成分のデータ、マイクロホンから取得した音データ、加速度センサから取得した振動データ等を分析して得られる人物属性識別用データについて、複数の識別カテゴリを設定し、対応する人物属性識別用モデルを用意し、この人物属性識別用モデルを用いて算出された尤度等の指標値を統合の対象に含めてもよい。
【００１５】
このような本発明の人物属性識別方法においては、顔用データを含む複数種類の人物属性識別用データについて、これらに対応する人物属性識別用モデルを用意し、これらの各人物属性識別用モデルを用いて、各人物属性識別用データが、いずれのカテゴリに含まれるデータであるかということについての確からしさを指標するための尤度等の指標値を個別に算出した後、得られた複数の指標値を統合することにより、人物の属性の識別結果を示す情報を算出する。このため、従来のように顔情報だけを用いて人物属性の識別を行う場合に比べ、識別精度を向上させることが可能となる。また、単に複数種類の人物属性識別用データに基づく個別の識別結果を集めるのではなく、それらの個別の識別結果として得られた複数の指標値を統合することにより、人物の属性の識別結果を示す情報を算出するので、顔情報を含む複数の情報を効果的に統合させることが可能となり、高い精度の識別が実現され、これらにより前記目的が達成される。
【００１６】
また、前述した人物属性識別方法において、顔用データが識別されるカテゴリとして、男性のカテゴリと女性のカテゴリとを設定し、人物属性識別用モデルとして、男性のカテゴリに含まれるデータの特徴を示す顔用の男モデルと、女性のカテゴリに含まれるデータの特徴を示す顔用の女モデルとを作成しておき、指標値を各人物属性識別用データ毎に個別に算出する際には、顔用の男モデルを用いて、フレーム画像から作成した顔用データが、男性のカテゴリに含まれるデータであることについての確からしさを示す指標値を算出するとともに、顔用の女モデルを用いて、フレーム画像から作成した顔用データが、女性のカテゴリに含まれるデータであることについての確からしさを示す指標値を算出するようにすることが望ましい。
【００１７】
このように顔用データに対して顔用の男モデルと顔用の女モデルとを用意して人物属性を識別するようにした場合には、顔情報から男女を識別する個別識別を行うことが可能となる。
【００１８】
さらに、前述した人物属性識別方法において、人物属性識別用データに、顔用データに加え、髪型用データを含ませ、この髪型用データが識別されるカテゴリとして、男性のカテゴリと女性のカテゴリとを設定し、人物属性識別用モデルとして、男性のカテゴリに含まれるデータの特徴を示す髪型用の男モデルと、女性のカテゴリに含まれるデータの特徴を示す髪型用の女モデルとを作成しておき、指標値を各人物属性識別用データ毎に個別に算出する際には、髪型用の男モデルを用いて、フレーム画像から作成した髪型用データが、男性のカテゴリに含まれるデータであることについての確からしさを示す指標値を算出するとともに、髪型用の女モデルを用いて、フレーム画像から作成した髪型用データが、女性のカテゴリに含まれるデータであることについての確からしさを示す指標値を算出するようにすることが望ましい。
【００１９】
このように髪型用データに対して髪型用の男モデルと髪型用の女モデルとを用意して人物属性を識別するようにした場合には、髪型情報から男女を識別する個別識別を行うことが可能となる。このため、顔情報による男女の個別識別結果と統合することにより、高い精度の識別が実現される。
【００２０】
そして、前述した人物属性識別方法において、人物属性識別用データに、顔用データに加え、ネクタイを締めているか否かを識別するためのネクタイ用データを含ませ、このネクタイ用データが識別されるカテゴリとして、ネクタイありのカテゴリとネクタイ無しのカテゴリとを設定し、人物属性識別用モデルとして、ネクタイありのカテゴリに含まれるデータの特徴を示すネクタイモデルと、ネクタイ無しのカテゴリに含まれるデータの特徴を示す非ネクタイモデルとを作成しておき、指標値を各人物属性識別用データ毎に個別に算出する際には、ネクタイモデルを用いて、フレーム画像から作成したネクタイ用データが、ネクタイありのカテゴリに含まれるデータであることについての確からしさを示す指標値を算出するとともに、非ネクタイモデルを用いて、フレーム画像から作成したネクタイ用データが、ネクタイ無しのカテゴリに含まれるデータであることについての確からしさを示す指標値を算出するようにすることが望ましい。
【００２１】
このようにネクタイ用データに対してネクタイモデルと非ネクタイモデルとを用意して人物属性を識別するようにした場合には、性別の違いが顕著に現れるネクタイの有無情報に基づき人物属性の個別識別を行うことが可能となる。このため、顔情報による男女の個別識別結果と統合することにより、高い精度の識別が実現される。
【００２２】
また、前述した人物属性識別方法において、人物属性識別用データに、顔用データに加え、胸あきのある服を着ているか否かを識別するためのデコルテ用データを含ませ、このデコルテ用データが識別されるカテゴリとして、胸あきありのカテゴリと胸あき無しのカテゴリとを設定し、人物属性識別用モデルとして、胸あきありのカテゴリに含まれるデータの特徴を示すデコルテモデルと、胸あき無しのカテゴリに含まれるデータの特徴を示す非デコルテモデルとを作成しておき、指標値を各人物属性識別用データ毎に個別に算出する際には、デコルテモデルを用いて、フレーム画像から作成したデコルテ用データが、デコルテありのカテゴリに含まれるデータであることについての確からしさを示す指標値を算出するとともに、非デコルテモデルを用いて、フレーム画像から作成したデコルテ用データが、デコルテ無しのカテゴリに含まれるデータであることについての確からしさを示す指標値を算出するようにすることが望ましい。
【００２３】
このようにデコルテ用データに対してデコルテモデルと非デコルテモデルとを用意して人物属性を識別するようにした場合には、性別の違いが顕著に現れるデコルテ（服装の胸あき）の有無情報に基づき人物属性の個別識別を行うことが可能となる。このため、顔情報による男女の個別識別結果と統合することにより、高い精度の識別が実現される。
【００２４】
さらに、前述した髪型用データに対して髪型用の男モデルと髪型用の女モデルとを用意して人物属性を識別するようにした場合において、様々な環境で撮影された画像から抽出した髪色情報、非髪色情報、肌色情報、および非肌色情報を用いて、髪色モデル、非髪色モデル、肌色モデル、および非肌色モデルをそれぞれ予め作成しておき、人物属性識別処理対象のフレーム画像から髪型用データを作成する前に、人物属性識別処理対象のフレーム画像から検出した人物の肌色情報を用いて、肌色モデルの更新を行い、人物属性識別処理対象のフレーム画像から髪型用データを作成する際には、髪色モデル、非髪色モデル、更新後の肌色モデル、および非肌色モデルを用いて、人物属性識別処理対象のフレーム画像を構成する各画素が髪部分か否かを推定することにより髪型を抽出することが望ましい。
【００２５】
このように髪型用データを作成する前に検出人物の肌色情報を用いて肌色モデルの更新を行うようにした場合には、肌色モデルを検出人物に適応させ、個人に適応した髪型抽出を行うことが可能となり、より正確な髪型抽出を行うことが可能となる。
【００２６】
なお、肌色モデルの更新のみならず、非肌色モデルについても、人物属性識別処理対象のフレーム画像から検出した人物の非肌色情報（例えば、服装部分の色情報等）を用いて更新を行い、髪色モデル、非髪色モデル、更新後の肌色モデル、および更新後の非肌色モデルを用いて、髪型用データを作成してもよい。
【００２７】
そして、前述したネクタイ用データに対してネクタイモデルと非ネクタイモデルとを用意して人物属性を識別するようにした場合において、人物属性識別処理対象のフレーム画像からネクタイ用データを作成する際には、輪郭抽出を行ってエッジ画像を作成することが望ましい。
【００２８】
このようにネクタイ用データを作成する際に輪郭抽出を行ってエッジ画像を作成するようにした場合には、ネクタイ／非ネクタイの個別識別の精度を向上させることが可能となる。
【００２９】
また、前述したデコルテ用データに対してデコルテモデルと非デコルテモデルとを用意して人物属性を識別するようにした場合において、様々な環境で撮影された画像から抽出した肌色情報および非肌色情報を用いて、肌色モデルおよび非肌色モデルをそれぞれ予め作成しておき、人物属性識別処理対象のフレーム画像からデコルテ用データを作成する前に、人物属性識別処理対象のフレーム画像から検出した人物の肌色情報を用いて、肌色モデルの更新を行い、人物属性識別処理対象のフレーム画像からデコルテ用データを作成する際には、更新後の肌色モデルおよび非肌色モデルを用いて、人物属性識別処理対象のフレーム画像を構成する各画素が肌色部分か否かを推定することにより肌色部分を抽出することが望ましい。
【００３０】
このようにデコルテ用データを作成する前に検出人物の肌色情報を用いて肌色モデルの更新を行うようにした場合には、肌色モデルを検出人物に適応させ、個人に適応したデコルテ／非デコルテ識別用の肌色抽出を行うことが可能となり、より正確な肌色抽出を行うことが可能となる。
【００３１】
なお、肌色モデルの更新のみならず、非肌色モデルについても、人物属性識別処理対象のフレーム画像から検出した人物の非肌色情報（例えば、服装部分の色情報等）を用いて更新を行い、更新後の肌色モデルおよび更新後の非肌色モデルを用いて、デコルテ用データを作成してもよい。
【００３２】
さらに、以上に述べた人物属性識別方法において、各人物属性識別用モデルは、各人物属性識別用データが識別されるカテゴリ毎に、事前学習として多くのサンプルデータを用いて主成分分析による特徴抽出を行った後、カテゴリに含まれるデータの分布形状を表現するガウス混合モデルを構築することにより作成し、指標値を各人物属性識別用データ毎に個別に算出する際には、人物属性識別処理対象のフレーム画像から作成された顔用データを含む複数種類の人物属性識別用データに基づき、ガウス混合モデルにより構築された各人物属性識別用モデルを用いて、カテゴリ毎に尤度を算出することが望ましい。
【００３３】
このように主成分分析を行った後にガウス混合モデルにより各人物属性識別用モデルを作成するようにした場合には、主成分分析により次元圧縮を行い、この圧縮された次元の空間上に拡がるデータの分布形状を、ガウス混合モデルにより表現することが可能となる。このため、例えば、顔情報の場合には、眼鏡をかけているか否か、髭があるか否かといった様々な顔に対応することが可能となる。また、ガウス混合モデルを用いて尤度を算出するので、この尤度を同一人物について複数フレームで算出すれば、後述するように複数フレームでの尤度の統合もベイズの法則により容易に実現可能となる。
【００３４】
そして、上述したガウス混合モデルにより各人物属性識別用モデルを作成するようにした場合において、人物の属性の識別結果を示す情報を算出する際には、複数の尤度をベイズの定理により統合することが望ましい。
【００３５】
このように複数の尤度をベイズの定理により統合するようにした場合には、性別や年齢等の人物属性を識別するための別の要素（顔情報以外の情報）が得られたときに、この要素から算出される尤度を容易に統合することができる枠組みを構築することが可能となる。
【００３６】
また、前述したガウス混合モデルにより各人物属性識別用モデルを作成するようにした場合において、同一人物が検出された複数のフレームでそれぞれ算出された尤度をベイズの定理により統合することにより、複数のフレームでの人物の属性の識別結果をトータルした情報を算出することが望ましい。
【００３７】
このように複数のフレームで算出された尤度をベイズの定理により統合するようにした場合には、人物属性の識別精度を、より一層向上させることが可能となる。
【００３８】
さらに、前述したガウス混合モデルにより各人物属性識別用モデルを作成するようにした場合において、ベイズの定理により尤度を統合する際に、事前確率を用いることが望ましい。
【００３９】
ここで、「事前確率」は、実環境において統計を取ることにより求めることができる。
【００４０】
このように事前確率を考慮した統合を行う場合には、実環境での識別精度を向上させることが可能となる。
【００４１】
また、以上に述べた本発明の人物属性識別方法を実現するシステムとして、以下のような本発明の人物属性識別システムが挙げられる。
【００４２】
すなわち、本発明は、カメラで撮影された人物の性別および／または年齢を含む人物属性を識別する人物属性識別システムであって、人物の属性を識別するための顔用データを含む複数種類の人物属性識別用データが識別されるカテゴリに含まれるデータの特徴を示す人物属性識別用モデルを、各人物属性識別用データ毎に少なくとも１つずつ記憶する人物属性識別用モデル記憶手段と、カメラで人物を撮影して得られた人物属性識別処理対象のフレーム画像から複数種類の人物属性識別用データをそれぞれ作成する処理を行う人物属性識別用データ作成処理手段と、人物属性識別用モデル記憶手段に記憶された対応する各人物属性識別用モデルを用いて、人物属性識別用データ作成処理手段により作成した各人物属性識別用データが、いずれのカテゴリに含まれるデータであるかということについての確からしさを指標するための尤度、帰属度合い、確率、割合、またはこれらに類する指標値を、各人物属性識別用データ毎に個別に算出する処理を行う指標値算出処理手段と、この指標値算出処理手段により各人物属性識別用データ毎に個別に算出した複数の指標値を統合することにより、人物の属性の識別結果を示す情報を算出する処理を行う識別結果情報算出処理手段とを備えたことを特徴とするものである。
【００４３】
このような本発明の人物属性識別システムにおいては、前述した本発明の人物属性識別方法で得られる作用・効果がそのまま得られ、これにより前記目的が達成される。
【００４４】
また、前述した人物属性識別システムにおいて、人物属性識別用モデル記憶手段には、人物属性識別用モデルとして、顔用データが識別される男性のカテゴリに含まれるデータの特徴を示す顔用の男モデルと、顔用データが識別される女性のカテゴリに含まれるデータの特徴を示す顔用の女モデルとが記憶され、指標値算出処理手段は、顔用の男モデルを用いて、フレーム画像から作成した顔用データが、男性のカテゴリに含まれるデータであることについての確からしさを示す指標値を算出するとともに、顔用の女モデルを用いて、フレーム画像から作成した顔用データが、女性のカテゴリに含まれるデータであることについての確からしさを示す指標値を算出する処理を行う構成とされていることが望ましい。
【００４５】
さらに、前述した人物属性識別システムにおいて、人物属性識別用データには、顔用データに加え、髪型用データが含まれ、人物属性識別用モデル記憶手段には、人物属性識別用モデルとして、髪型用データが識別される男性のカテゴリに含まれるデータの特徴を示す髪型用の男モデルと、髪型用データが識別される女性のカテゴリに含まれるデータの特徴を示す髪型用の女モデルとが記憶され、指標値算出処理手段は、髪型用の男モデルを用いて、フレーム画像から作成した髪型用データが、男性のカテゴリに含まれるデータであることについての確からしさを示す指標値を算出するとともに、髪型用の女モデルを用いて、フレーム画像から作成した髪型用データが、女性のカテゴリに含まれるデータであることについての確からしさを示す指標値を算出する処理を行う構成とされていることが望ましい。
【００４６】
そして、前述した人物属性識別システムにおいて、人物属性識別用データには、顔用データに加え、ネクタイを締めているか否かを識別するためのネクタイ用データが含まれ、人物属性識別用モデル記憶手段には、人物属性識別用モデルとして、ネクタイ用データが識別されるネクタイありのカテゴリに含まれるデータの特徴を示すネクタイモデルと、ネクタイ用データが識別されるネクタイ無しのカテゴリに含まれるデータの特徴を示す非ネクタイモデルとが記憶され、指標値算出処理手段は、ネクタイモデルを用いて、フレーム画像から作成したネクタイ用データが、ネクタイありのカテゴリに含まれるデータであることについての確からしさを示す指標値を算出するとともに、非ネクタイモデルを用いて、フレーム画像から作成したネクタイ用データが、ネクタイ無しのカテゴリに含まれるデータであることについての確からしさを示す指標値を算出する処理を行う構成とされていることが望ましい。
【００４７】
また、前述した人物属性識別システムにおいて、人物属性識別用データには、顔用データに加え、胸あきのある服を着ているか否かを識別するためのデコルテ用データが含まれ、人物属性識別用モデル記憶手段には、人物属性識別用モデルとして、デコルテ用データが識別される胸あきありのカテゴリに含まれるデータの特徴を示すデコルテモデルと、デコルテ用データが識別される胸あき無しのカテゴリに含まれるデータの特徴を示す非デコルテモデルとが記憶され、指標値算出処理手段は、デコルテモデルを用いて、フレーム画像から作成したデコルテ用データが、デコルテありのカテゴリに含まれるデータであることについての確からしさを示す指標値を算出するとともに、非デコルテモデルを用いて、フレーム画像から作成したデコルテ用データが、デコルテ無しのカテゴリに含まれるデータであることについての確からしさを示す指標値を算出する処理を行う構成とされていることが望ましい。
【００４８】
さらに、前述した髪型用データに対して髪型用の男モデルと髪型用の女モデルとを用意して人物属性を識別する構成とした場合において、様々な環境で撮影された画像から抽出した髪色情報、非髪色情報、肌色情報、および非肌色情報を用いてそれぞれ作成された髪色モデル、非髪色モデル、肌色モデル、および非肌色モデルを記憶する髪色モデル記憶手段、非髪色モデル記憶手段、肌色モデル記憶手段、および非肌色モデル記憶手段と、人物属性識別処理対象のフレーム画像から検出した人物の肌色情報を用いて、肌色モデル記憶手段に記憶された肌色モデルの更新処理を行う肌色モデル更新処理手段とを備え、人物属性識別用データ作成処理手段は、人物属性識別処理対象のフレーム画像から髪型用データを作成する際には、髪色モデル記憶手段に記憶された髪色モデル、非髪色モデル記憶手段に記憶された非髪色モデル、肌色モデル記憶手段に記憶された更新後の肌色モデル、および非肌色モデル記憶手段に記憶された非肌色モデルを用いて、人物属性識別処理対象のフレーム画像を構成する各画素が髪部分か否かを推定することにより髪型を抽出する処理を行う構成とされていることが望ましい。
【００４９】
なお、肌色モデル更新処理手段のみならず、非肌色モデル更新処理手段も設け、非肌色モデルについても、人物属性識別処理対象のフレーム画像から検出した人物の非肌色情報（例えば、服装部分の色情報等）を用いて更新を行い、人物属性識別用データ作成処理手段により、髪色モデル、非髪色モデル、更新後の肌色モデル、および更新後の非肌色モデルを用いて、髪型用データを作成する構成としてもよい。
【００５０】
そして、前述したネクタイ用データに対してネクタイモデルと非ネクタイモデルとを用意して人物属性を識別する構成とした場合において、人物属性識別用データ作成処理手段は、人物属性識別処理対象のフレーム画像からネクタイ用データを作成する際には、輪郭抽出を行ってエッジ画像を作成する処理を行う構成とされていることが望ましい。
【００５１】
また、前述したデコルテ用データに対してデコルテモデルと非デコルテモデルとを用意して人物属性を識別する構成とした場合において、様々な環境で撮影された画像から抽出した肌色情報および非肌色情報を用いてそれぞれ作成された肌色モデルおよび非肌色モデルを記憶する肌色モデル記憶手段および非肌色モデル記憶手段と、人物属性識別処理対象のフレーム画像から検出した人物の肌色情報を用いて、肌色モデル記憶手段に記憶された肌色モデルの更新処理を行う肌色モデル更新処理手段とを備え、人物属性識別用データ作成処理手段は、人物属性識別処理対象のフレーム画像からデコルテ用データを作成する際には、肌色モデル記憶手段に記憶された更新後の肌色モデルおよび非肌色モデル記憶手段に記憶された非肌色モデルを用いて、人物属性識別処理対象のフレーム画像を構成する各画素が肌色部分か否かを推定することにより肌色部分を抽出する処理を行う構成とされていることが望ましい。
【００５２】
なお、肌色モデル更新処理手段のみならず、非肌色モデル更新処理手段も設け、非肌色モデルについても、人物属性識別処理対象のフレーム画像から検出した人物の非肌色情報（例えば、服装部分の色情報等）を用いて更新を行い、人物属性識別用データ作成処理手段により、更新後の肌色モデルおよび更新後の非肌色モデルを用いて、デコルテ用データを作成する構成としてもよい。
【００５３】
さらに、以上に述べた人物属性識別システムにおいて、各人物属性識別用モデルは、各人物属性識別用データが識別されるカテゴリ毎に、事前学習として多くのサンプルデータを用いて主成分分析による特徴抽出を行った後、カテゴリに含まれるデータの分布形状をガウス混合モデルにより表現して構築された学習モデルであり、指標値算出処理手段は、人物属性識別用データ作成処理手段により作成された顔用データを含む複数種類の人物属性識別用データに基づき、ガウス混合モデルにより構築された各人物属性識別用モデルを用いて、カテゴリ毎に尤度を算出する処理を行う構成とされていることが望ましい。
【００５４】
そして、上述したガウス混合モデルにより各人物属性識別用モデルを作成した構成とする場合において、識別結果情報算出処理手段は、指標値算出処理手段により算出された複数の尤度をベイズの定理により統合する処理を行う構成とされていることが望ましい。
【００５５】
また、前述したガウス混合モデルにより各人物属性識別用モデルを作成した構成とする場合において、同一人物が検出された複数のフレームでそれぞれ算出された尤度をベイズの定理により統合することにより、複数のフレームでの人物の属性の識別結果をトータルした情報を算出する処理を行う識別結果トータル情報算出処理手段を備えていることが望ましい。
【００５６】
さらに、前述したガウス混合モデルにより各人物属性識別用モデルを作成した構成とする場合において、識別結果情報算出処理手段は、ベイズの定理により尤度を統合する際に、事前確率を用いる処理を行う構成とされていることが望ましい。
【００５７】
そして、前述したガウス混合モデルにより各人物属性識別用モデルを作成した構成とする場合において、識別結果トータル情報算出処理手段は、ベイズの定理により尤度を統合する際に、事前確率を用いる処理を行う構成とされていることが望ましい。
【発明の効果】
【００５８】
以上に述べたように本発明によれば、顔用データを含む複数種類の人物属性識別用データに対して、それぞれ人物属性識別用モデルを用意し、これらの各人物属性識別用モデルを用いて尤度等の指標値を個別に算出した後、得られた複数の指標値を統合するので、従来のように顔情報だけを用いて人物属性の識別を行う場合に比べ、識別精度を向上させることができるうえ、単に複数種類の人物属性識別用データに基づく個別の識別結果を集めるのではなく、それらの個別の識別結果として得られた複数の指標値を統合することにより人物属性の識別結果を示す情報を算出するので、顔情報を含む複数の情報を効果的に統合させることができ、高い精度の識別を実現することができるという効果がある。
【発明を実施するための最良の形態】
【００５９】
以下に本発明の一実施形態について図面を参照して説明する。図１には、本実施形態の人物属性識別システム１０の全体構成が示されている。本実施形態では、人物属性識別システム１０は、専ら人物の性別を識別する処理を行う性別識別システムであるとものとして説明を行う。また、図２には、人物属性識別システム１０による性別識別処理の全体の流れがフローチャートで示され、図３には、人物属性識別システム１０による各人物属性識別用データについての個別識別処理の流れがフローチャートで示され、図４には、髪色判定処理を含む髪型前処理の流れがフローチャートで示されている。さらに、図５は、正規化処理の説明図であり、図６は、髪型前処理における髪型抽出画像の作成処理の説明図であり、図７は、ネクタイ前処理におけるエッジ画像の作成処理の説明図であり、図８は、デコルテ前処理における肌色抽出画像の作成処理の説明図である。
【００６０】
図１において、人物属性識別システム１０は、性別識別対象となる人物を撮影するカメラ２０と、性別識別に関する各種処理を行う処理手段３０と、この処理手段３０に接続された人物属性識別用モデル記憶手段５０、髪色モデル記憶手段６０、非髪色モデル記憶手段７０、肌色モデル記憶手段８０、非肌色モデル記憶手段９０、および識別結果記憶手段９５とを備えている。
【００６１】
カメラ２０は、例えば、ＣＣＤカメラやＣＭＯＳカメラ等のカラーカメラである。
【００６２】
処理手段３０は、フレーム画像取込処理手段３１と、人物検出処理手段３２と、正規化処理手段３３と、肌色モデル更新処理手段３４と、非肌色モデル更新処理手段３５と、人物属性識別用データ作成処理手段３６と、指標値算出処理手段３７と、識別結果情報算出処理手段３８と、識別結果トータル情報算出処理手段３９と、識別結果出力処理手段４０とを含んで構成されている。
【００６３】
フレーム画像取込処理手段３１は、カメラ２０で撮影されてカメラ２０から送られてくるフレーム画像を処理手段３０に取り込む処理を行うものである。このフレーム画像取込処理手段３１により取り込まれるフレーム画像は、性別識別対象となる人物だけではなく背景画像も含んだカラーフレーム画像である。
【００６４】
人物検出処理手段３２は、フレーム画像取込処理手段３１により取り込まれたカラーフレーム画像の中から、背景差分、フレーム差分、テンプレートマッチング等の既存の手法により、人物を抽出する処理を行うものである。この人物検出処理手段３２による処理で得られる画像は、図５の左側部分に示すような背景を取り除いた人物画像１００である。
【００６５】
正規化処理手段３３は、人物検出処理手段３２による処理で得られた人物画像１００を正規化する処理、すなわち人物画像１００に写った人物の大きさ（ピクセル数）にかかわらず、その人物を一定の大きさにする処理を行うものである。この際、正規化処理手段３３は、図５の左側部分に示す人物画像１００において、人物の目や口が含まれる正規化対象顔領域画像１０１を定め、この正規化対象顔領域画像１０１が、ある一定の大きさ（ここでは、横方向をＷピクセル、縦方向をＨピクセルとする。）となるように変換処理を行う。より具体的には、例えば、Ｗ×Ｈ＝３２ピクセル×３２ピクセル等となるように変換する。そして、正規化処理手段３３により人物画像１００を正規化して得られた画像を、図５の右側部分に示す正規化画像２００とする。この正規化画像２００においては、正規化する前の人物画像１００の中の正規化対象顔領域画像１０１に対応する部分が、Ｗピクセル×Ｈピクセルの大きさの顔狭領域画像２０１となっている。
【００６６】
また、正規化処理手段３３は、正規化画像２００の中から、図中の点線で示された顔狭領域画像２０１、図中の一点鎖線で示された顔広領域画像２０２、図中の点線で示された服装領域画像２０３を切り出す処理を行う。
【００６７】
さらに、正規化処理手段３３は、正規化画像２００の中から、後述する肌色モデル更新処理手段３４による更新処理で用いられる検出人物の肌色情報を抽出するための肌色領域画像２０４として、例えば、図中の実線で示された頬の部分の領域画像を切り取るとともに、後述する非肌色モデル更新処理手段３５による更新処理で用いられる検出人物の非肌色情報を抽出するための非肌色領域画像２０５として、例えば、図中の実線で示された胴の部分の領域画像を切り取る処理を行う。
【００６８】
そして、これらの正規化画像２００の中から切り出される顔広領域画像２０２、服装領域画像２０３、肌色領域画像２０４、および非肌色領域画像２０５の切出位置は、切り出す大きさも含め、顔狭領域画像２０１の切出位置に対して相対的に定められている。例えば、顔狭領域画像２０１がＷ×Ｈ＝３２ピクセル×３２ピクセルの場合に、顔広領域画像２０２については、その大きさを６４ピクセル×６４ピクセルとし、その底辺位置を顔狭領域画像２０１の底辺位置よりも８ピクセル下げ、服装領域画像２０３については、その大きさを６４ピクセル×６４ピクセルとし、その上辺位置を顔広領域画像２０２の底辺位置よりも１６ピクセル下げる等である。
【００６９】
肌色モデル更新処理手段３４は、検出人物の肌色情報を用いて肌色モデル記憶手段８０に記憶された肌色モデル８１の更新処理を行うものである。この肌色モデル８１は、本実施形態では、後述するようにガウス混合モデルにより構築されている。より具体的には、肌色モデル更新処理手段３４は、図５の肌色領域画像２０４を構成する各画素の肌色情報を用いてガウス混合モデルを再構築する。
【００７０】
非肌色モデル更新処理手段３５は、検出人物の非肌色情報を用いて非肌色モデル記憶手段９０に記憶された非肌色モデル９１の更新処理を行うものである。この非肌色モデル９１は、本実施形態では、肌色モデル８１と同様に、ガウス混合モデルにより構築されている。より具体的には、非肌色モデル更新処理手段３５は、図５の非肌色領域画像２０５を構成する各画素の非肌色情報を用いてガウス混合モデルを再構築する。
【００７１】
人物属性識別用データ作成処理手段３６は、人物の属性を識別するための要素情報として、本実施形態では、男性の顔か女性の顔かを識別するための顔用データ、男性の髪型か女性の髪型かを識別するための髪型用データ、ネクタイをしめているか否かを識別するためのネクタイ用データ、および胸あきのある服を着ているか否かを識別するためのデコルテ用データの４種類の人物属性識別用データを作成する処理を行うものである。
【００７２】
より具体的には、人物属性識別用データ作成処理手段３６は、顔用データとしての顔基礎データおよび顔圧縮データをそれぞれ作成する顔基礎データ作成処理手段３６Ａおよび顔圧縮データ作成処理手段３６Ｂと、髪型用データとしての髪型基礎データおよび髪型圧縮データをそれぞれ作成する髪型基礎データ作成処理手段３６Ｃおよび髪型圧縮データ作成処理手段３６Ｄと、ネクタイ用データとしてのネクタイ基礎データおよびネクタイ圧縮データをそれぞれ作成するネクタイ基礎データ作成処理手段３６Ｅおよびネクタイ圧縮データ作成処理手段３６Ｆと、デコルテ用データとしてのデコルテ基礎データおよびデコルテ圧縮データをそれぞれ作成するデコルテ基礎データ作成処理手段３６Ｇおよびデコルテ圧縮データ作成処理手段３６Ｈとを備えて構成されている。
【００７３】
顔基礎データ作成処理手段３６Ａは、顔狭領域画像２０１（図５参照）について顔前処理（後述する図３のステップＳ６０３）を施して顔基礎データ５０１を作成する処理を行うものである。この顔前処理では、カラーフレーム画像から切り出された顔狭領域画像２０１のデータを、カメラ２０や撮影環境の違いを吸収するため、モノクロ画像に変換した後、画像中の各階調の分布を略等しい値にする濃度補正法であるヒストグラム平滑化の処理（画像中の各画素の明るさを２５６階調に略均一に分散させる処理）を行い、Ｗ×Ｈ次元（例えば、３２×３２＝１０２４次元）のベクトルを作成する。このベクトルデータが、顔基礎データ５０１である（図３参照）。
【００７４】
顔圧縮データ作成処理手段３６Ｂは、顔基礎データ５０１（図３参照）について主成分分析（ＰＣＡ：プリンシパル・コンポーネント・アナリシス）を行い（後述する図３のステップＳ６０７）、顔圧縮データ６０１を作成する処理を行うものである。このＰＣＡ処理では、例えば、３２×３２＝１０２４次元のベクトルデータである顔基礎データ５０１を、予め多数のサンプルデータを用いて主成分分析を行って求められている主成分の軸（例えば、５０本の軸）で定まる圧縮された次元（例えば、５０次元）の空間上における座標値を有するベクトルデータ（例えば、５０次元のベクトルデータ）に変換する。この低次元のベクトルデータが、顔圧縮データ６０１である（図３参照）。従って、顔圧縮データ６０１の各次元の要素値（各軸方向の座標値）は、各主成分の重み、すなわち各主成分の軸方向を向いた基底ベクトルに対する重みとして定まるスカラー量である。
【００７５】
髪型基礎データ作成処理手段３６Ｃは、顔広領域画像２０２（図５、図６参照）について髪型前処理（後述する図３のステップＳ６０４）を施して髪型基礎データ５０２を作成する処理を行うものである。この髪型前処理では、先ず、顔広領域画像２０２から髪部分を抽出して図６に示すような髪型抽出画像４００を作成する。この髪部分の抽出処理を行う際には、顔広領域画像２０２から顔狭領域画像２０１を取り除いた後、顔狭領域画像２０１を取り除いた残りの部分において、髪色部分を抽出する。次に、得られた髪型抽出画像４００について、顔用データの場合と同様に、モノクロ画像に変換した後、ヒストグラム平滑化処理を行うことにより、カメラ２０や撮影環境の影響を除去し、Ｗ×Ｈ次元（例えば、３２×３２＝１０２４次元）のベクトルを作成する。なお、髪型がわかる程度に画像を縮小し、より低次元のベクトルを作成してもよい。このようにして作成されたベクトルが、髪型基礎データ５０２である（図３参照）。
【００７６】
髪型圧縮データ作成処理手段３６Ｄは、髪型基礎データ５０２（図３参照）について主成分分析（ＰＣＡ）を行い（後述する図３のステップＳ６０８）、髪型圧縮データ６０２を作成する処理を行うものである。このＰＣＡ処理では、顔基礎データ５０１のＰＣＡ処理の場合（図３のステップＳ６０７）と同様に、次元圧縮処理を行い、髪型基礎データ５０２に対して低次元化されたベクトルデータである髪型圧縮データ６０２を作成する。
【００７７】
ネクタイ基礎データ作成処理手段３６Ｅは、服装領域画像２０３（図５、図７参照）についてネクタイ前処理（後述する図３のステップＳ６０５）を施してネクタイ基礎データ５０３を作成する処理を行うものである。このネクタイ前処理では、服装領域画像２０３をモノクロ画像に変換した後、１次微分（グラディエント）や２次微分（ラプラシアン）等の輪郭抽出フィルタ処理を行い、図７に示すようなエッジ画像４１０を作成する。このエッジ画像４１０をベクトルで表したものが、ネクタイ／非ネクタイの識別のために用いられるネクタイ基礎データ５０３である（図３参照）。
【００７８】
ネクタイ圧縮データ作成処理手段３６Ｆは、ネクタイ基礎データ５０３（図３参照）について主成分分析（ＰＣＡ）を行い（後述する図３のステップＳ６０９）、ネクタイ圧縮データ６０３を作成する処理を行うものである。このＰＣＡ処理では、顔基礎データ５０１のＰＣＡ処理の場合（図３のステップＳ６０７）と同様に、次元圧縮処理を行い、ネクタイ基礎データ５０３に対して低次元化されたベクトルデータであるネクタイ圧縮データ６０３を作成する。
【００７９】
デコルテ基礎データ作成処理手段３６Ｇは、服装領域画像２０３（図５、図８参照）についてデコルテ前処理（後述する図３のステップＳ６０６）を施してデコルテ基礎データ５０４を作成する処理を行うものである。このデコルテ前処理では、服装領域画像２０３から肌色抽出を行い、図８に示すような肌色抽出画像４２０を作成する。この肌色抽出画像４２０をベクトルで表したものが、デコルテ／非デコルテの識別のために用いられるデコルテ基礎データ５０４である（図３参照）。
【００８０】
デコルテ圧縮データ作成処理手段３６Ｈは、デコルテ基礎データ５０４（図３参照）について主成分分析（ＰＣＡ）を行い（後述する図３のステップＳ６１０）、デコルテ圧縮データ６０４を作成する処理を行うものである。このＰＣＡ処理では、顔基礎データ５０１のＰＣＡ処理の場合（図３のステップＳ６０７）と同様に、次元圧縮処理を行い、デコルテ基礎データ５０４に対して低次元化されたベクトルデータであるデコルテ圧縮データ６０４を作成する。
【００８１】
指標値算出処理手段３７は、人物属性識別用モデル記憶手段５０に記憶されている対応する各人物属性識別用モデル５１〜５８を用いて、人物属性識別用データ作成処理手段３６により作成した各人物属性識別用データ５０１〜５０４（または６０１〜６０４と考えてもよい。）が、いずれのカテゴリに含まれるデータであるかということについての確からしさを指標するための指標値として、尤度を各人物属性識別用データ毎（本実施形態では、各人物属性識別用データが識別される各カテゴリ毎となる。）に個別に算出する処理を行うものである。この際、本実施形態では、後述する如く、ガウス混合モデルにより人物属性識別用モデル５１〜５８を構築するので、各尤度Ｐｒは、次の式（１）に基づき算出される。なお、ガウス混合モデルは、代表ベクトルおよび分散等で規定されるガウス分布（正規分布）が複数集合して形成されるガウス混合分布により表現されるモデルである。また、指標値算出処理手段３７は、算出した各尤度を識別結果記憶手段９５に保存する処理を行う。
【００８２】
Ｐｒ＝Σi｛πi×ｐi（Ｘ；θ）｝ （ｉ＝１〜ｇ） ・・・・・・・・（１）
【００８３】
ここで、ｉは、各ガウス分布に付された番号であり、ｇは、ガウス混合分布を形成するガウス分布の個数であり、Σiは、ｉ＝１〜ｇの和であり、πiは、各ガウス分布の重みであり、Ｘは、入力するデータ（人物属性識別用データとしての各圧縮データ６０１〜６０４）であり、ｐi（Ｘ；θ）は、Ｘが各ガウス分布から出力される確率であり、θは、各ガウス分布を表すパラメータ（平均値、分散共分散行列）である。
【００８４】
より具体的には、指標値算出処理手段３７は、男性顔尤度算出処理手段３７Ａと、女性顔尤度算出処理手段３７Ｂと、男性髪型尤度算出処理手段３７Ｃと、女性髪型尤度算出処理手段３７Ｄと、ネクタイ尤度算出処理手段３７Ｅと、非ネクタイ尤度算出処理手段３７Ｆと、デコルテ尤度算出処理手段３７Ｇと、非デコルテ尤度算出処理手段３７Ｈとを備えて構成されている。
【００８５】
男性顔尤度算出処理手段３７Ａは、人物属性識別用モデル記憶手段５０に記憶されている顔用の男モデル５１を用いて、顔圧縮データ６０１（従って、顔基礎データ５０１）が、男性の顔のカテゴリに含まれるデータであること（男性の顔が写っている画像から作成されたデータであること）についての確からしさを示す指標値である男性顔尤度７０１（図３参照）を算出する処理を行うものである。
【００８６】
女性顔尤度算出処理手段３７Ｂは、人物属性識別用モデル記憶手段５０に記憶されている顔用の女モデル５２を用いて、顔圧縮データ６０１（従って、顔基礎データ５０１）が、女性の顔のカテゴリに含まれるデータであること（女性の顔が写っている画像から作成されたデータであること）についての確からしさを示す指標値である女性顔尤度７０２（図３参照）を算出する処理を行うものである。
【００８７】
男性髪型尤度算出処理手段３７Ｃは、人物属性識別用モデル記憶手段５０に記憶されている髪型用の男モデル５３を用いて、髪型圧縮データ６０２（従って、髪型基礎データ５０２）が、男性の髪型のカテゴリに含まれるデータであること（男性の髪型が写っている画像から作成されたデータであること）についての確からしさを示す指標値である男性髪型尤度７０３（図３参照）を算出する処理を行うものである。
【００８８】
女性髪型尤度算出処理手段３７Ｄは、人物属性識別用モデル記憶手段５０に記憶されている髪型用の女モデル５４を用いて、髪型圧縮データ６０２（従って、髪型基礎データ５０２）が、女性の髪型のカテゴリに含まれるデータであること（女性の髪型が写っている画像から作成されたデータであること）についての確からしさを示す指標値である女性髪型尤度７０４（図３参照）を算出する処理を行うものである。
【００８９】
ネクタイ尤度算出処理手段３７Ｅは、人物属性識別用モデル記憶手段５０に記憶されているネクタイモデル５５を用いて、ネクタイ圧縮データ６０３（従って、ネクタイ基礎データ５０３）が、ネクタイをしめているカテゴリに含まれるデータであること（ネクタイをしめている人物が写っている画像から作成されたデータであること）についての確からしさを示す指標値であるネクタイ尤度７０５（図３参照）を算出する処理を行うものである。
【００９０】
非ネクタイ尤度算出処理手段３７Ｆは、人物属性識別用モデル記憶手段５０に記憶されている非ネクタイモデル５６を用いて、ネクタイ圧縮データ６０３（従って、ネクタイ基礎データ５０３）が、ネクタイをしめていないカテゴリに含まれるデータであること（ネクタイをしめていない人物が写っている画像から作成されたデータであること）についての確からしさを示す指標値である非ネクタイ尤度７０６（図３参照）を算出する処理を行うものである。
【００９１】
デコルテ尤度算出処理手段３７Ｇは、人物属性識別用モデル記憶手段５０に記憶されているデコルテモデル５７を用いて、デコルテ圧縮データ６０４（従って、デコルテ基礎データ５０４）が、胸あきのある服（デコルテ）を着ているカテゴリに含まれるデータであること（胸あきのある服を着ている人物が写っている画像から作成されたデータであること）についての確からしさを示す指標値であるデコルテ尤度７０７（図３参照）を算出する処理を行うものである。
【００９２】
非デコルテ尤度算出処理手段３７Ｈは、人物属性識別用モデル記憶手段５０に記憶されている非デコルテモデル５８を用いて、デコルテ圧縮データ６０４（従って、デコルテ基礎データ５０４）が、胸あきの無い服（非デコルテ）を着ているカテゴリに含まれるデータであること（胸あきの無い服を着ている人物が写っている画像から作成されたデータであること）についての確からしさを示す指標値である非デコルテ尤度７０８（図３参照）を算出する処理を行うものである。
【００９３】
識別結果情報算出処理手段３８は、次の式（２）に基づき、指標値算出処理手段３７により各人物属性識別用データ毎（ここでは、各人物属性識別用データが識別される各カテゴリ毎）に個別に算出した複数（ここでは、８個）の尤度７０１〜７０８（図３参照）を統合することにより、人物の属性（ここでは、性別）の識別結果を示す情報として、男の確率と女の確率との比（または比の値）を算出する処理を行うものである。なお、次の式（２）は、顔、髪型、ネクタイ、デコルテの各要素情報がそれぞれ独立であると仮定し、ベイズの定理に当てはめることにより求めた式である。また、識別結果情報算出処理手段３８は、算出した男の確率と女の確率との比（または比の値）を識別結果記憶手段９５に保存する処理を行う。
【００９４】
男の確率：女の確率
＝Ｐｒ[男]×Ｐｒ[Ｘ＿face｜Ｍ＿m＿face]×Ｐｒ[Ｘ＿hair｜Ｍ＿m＿hair]
×（Ｐｒ[tie｜男]・Ｐｒ[Ｘ＿tie｜Ｍ＿tie]
＋Ｐｒ[non-tie｜男]・Ｐｒ[Ｘ＿tie｜Ｍ＿non-tie]）
×（Ｐｒ[dec｜男]・Ｐｒ[Ｘ＿dec｜Ｍ＿dec]
＋Ｐｒ[non-dec｜男]・Ｐｒ[Ｘ＿dec｜Ｍ＿non-dec]）
：Ｐｒ[女]×Ｐｒ[Ｘ＿face｜Ｍ＿ｆ＿face]×Ｐｒ[Ｘ＿hair｜Ｍ＿ｆ＿hair]
×（Ｐｒ[tie｜女]・Ｐｒ[Ｘ＿tie｜Ｍ＿tie]
＋Ｐｒ[non-tie｜女]・Ｐｒ[Ｘ＿tie｜Ｍ＿non-tie]）
×（Ｐｒ[dec｜女]・Ｐｒ[Ｘ＿dec｜Ｍ＿dec]
＋Ｐｒ[non-dec｜女]・Ｐｒ[Ｘ＿dec｜Ｍ＿non-dec]）
・・・・・・・（２）
【００９５】
ここで、Ｘ＿faceは、顔圧縮データ作成処理手段３６Ｂにより顔基礎データ５０１について主成分分析（ＰＣＡ）を行って作成された顔圧縮データ６０１である（図３参照）。Ｍ＿ｍ＿faceは、顔用の男モデル５１であり、Ｍ＿ｆ＿faceは、顔用の女モデル５２であり、Ｐｒ[Ｘ＿face｜Ｍ＿ｍ＿face]およびＰｒ[Ｘ＿face｜Ｍ＿ｆ＿face]は、Ｘ＿faceをＭ＿ｍ＿faceおよびＭ＿ｆ＿faceにそれぞれ入力して得られる男性顔尤度７０１および女性顔尤度７０２である（図３参照）。
【００９６】
同様に、Ｘ＿hairは、髪型圧縮データ作成処理手段３６Ｄにより髪型基礎データ５０２について主成分分析（ＰＣＡ）を行って作成された髪型圧縮データ６０２である（図３参照）。Ｍ＿ｍ＿hairは、髪型用の男モデル５３であり、Ｍ＿ｆ＿hairは、髪型用の女モデル５４であり、Ｐｒ[Ｘ＿hair｜Ｍ＿ｍ＿hair]およびＰｒ[Ｘ＿hair｜Ｍ＿ｆ＿hair]は、Ｘ＿hairをＭ＿ｍ＿hairおよびＭ＿ｆ＿hairにそれぞれ入力して得られる男性髪型尤度７０３および女性髪型尤度７０４である（図３参照）。
【００９７】
また、Ｘ＿tieは、ネクタイ圧縮データ作成処理手段３６Ｆによりネクタイ基礎データ５０３について主成分分析（ＰＣＡ）を行って作成されたネクタイ圧縮データ６０３である（図３参照）。Ｍ＿tieは、ネクタイモデル５５であり、Ｍ＿non-tieは、非ネクタイモデル５６であり、Ｐｒ[Ｘ＿tie｜Ｍ＿tie]およびＰｒ[Ｘ＿tie｜Ｍ＿non-tie]は、Ｘ＿tieをＭ＿tieおよびＭ＿non-tieにそれぞれ入力して得られるネクタイ尤度７０５および非ネクタイ尤度７０６である（図３参照）。
【００９８】
同様に、Ｘ＿decは、デコルテ圧縮データ作成処理手段３６Ｈによりデコルテ基礎データ５０４について主成分分析（ＰＣＡ）を行って作成されたデコルテ圧縮データ６０４である（図３参照）。Ｍ＿decは、デコルテモデル５７であり、Ｍ＿non-decは、非デコルテモデル５８であり、Ｐｒ[Ｘ＿dec｜Ｍ＿dec]およびＰｒ[Ｘ＿dec｜Ｍ＿non-dec]）は、Ｘ＿decをＭ＿decおよびＭ＿non-decにそれぞれ入力して得られるデコルテ尤度７０７および非デコルテ尤度７０８である（図３参照）。
【００９９】
さらに、Ｐｒ[男]は、男の出現確率であり、Ｐｒ[tie｜男]は、男のときにネクタイをしている確率であり、Ｐｒ[non-tie｜男]は、男のときにネクタイをしていない確率であり、Ｐｒ[dec｜男]は、男のときにデコルテである（胸あきありの）確率であり、Ｐｒ[non-dec｜男]は、男のときにデコルテではない（胸あき無しの）確率であり、Ｐｒ[女]は、女の出現確率であり、Ｐｒ[tie｜女]は、女のときにネクタイをしている確率であり、Ｐｒ[non-tie｜女]は、女のときにネクタイをしていない確率であり、Ｐｒ[dec｜女]は、女のときにデコルテである（胸あきありの）確率であり、Ｐｒ[non-dec｜女]は、女のときにデコルテではない（胸あき無しの）確率である。これらは、事前確率であり、実環境において統計をとることにより求める。
【０１００】
識別結果トータル情報算出処理手段３９は、同一人物が複数のフレームで連続して検出されたときに、それらの複数のフレームでの人物の属性（ここでは、性別）の識別結果をトータルした情報を算出する処理を行うものである。より具体的には、識別結果トータル情報算出処理手段３９は、現在処理対象とされているフレームから得られたデータと、識別結果記憶手段９５に記憶されている前回フレームまでに得られたデータとを用いて、識別結果情報算出処理手段３８により各フレームについて算出された男の確率の積と、各フレームについて算出された女の確率の積との比（または比の値）を算出する処理を行う。例えば、フレーム番号ｎ＝１，２，３，…，Ｎの各フレームで同一人物が検出されたとき、識別結果情報算出処理手段３８により各フレームについて算出された男の確率をＰｍnとし、女の確率をＰｆnとすると、（Ｐｍ1×Ｐｍ2×Ｐｍ3×…×ＰｍN）：（Ｐｆ1×Ｐｆ2×Ｐｆ3×…×ＰｆN）という比、または（Ｐｍ1×Ｐｍ2×Ｐｍ3×…×ＰｍN）／（Ｐｆ1×Ｐｆ2×Ｐｆ3×…×ＰｆN）という比の値（逆数でもよい。）を算出する。また、後者の如く、比の値を算出する場合には、識別結果情報算出処理手段３８により各フレームについて算出された男の確率と女の確率との比の値（逆数でもよい。）についての積を算出すると考えても同じことである。例えば、上記の例では、（Ｐｍ1／Ｐｆ1）×（Ｐｍ2／Ｐｆ2）×（Ｐｍ3／Ｐｆ3）×…×（ＰｍN／ＰｆN）を算出してもよい。なお、ここでいう男の確率Ｐｍn、女の確率Ｐｆnは、必ずしも足して１になる確率（Ｐｍn＋Ｐｆn＝１）を意味するものではなく、両者の値の大小を比較し、いずれの確率がどれぐらい高いのかを相対的に判断することができる値であればよい。また、識別結果トータル情報算出処理手段３９は、算出した男の確率の積と女の確率の積との比（または比の値）、あるいは算出した男の確率と女の確率との比の値（逆数でもよい。）についての積を識別結果記憶手段９５に保存する処理を行う。
【０１０１】
従って、識別結果トータル情報算出処理手段３９は、同一人物が検出された複数のフレーム（ｎ＝１，２，…，Ｎ）でそれぞれ指標値算出処理手段３７により算出された複数（ここでは、１フレームにつき８個で、Ｎフレームの合計では８×Ｎ個となる。）の尤度７０１〜７０８（図３参照）をベイズの定理により統合する処理を行っていることになる。
【０１０２】
識別結果出力処理手段４０は、識別結果情報算出処理手段３８および／または識別結果トータル情報算出処理手段３９による算出結果を、図示されないＣＲＴディスプレイや液晶ディスプレイ等の表示装置の画面上に表示するか、または図示されないプリンタやプロッタ等の出力装置で出力する処理を行うものである。
【０１０３】
人物属性識別用モデル記憶手段５０は、各人物属性識別用データ毎（本実施形態では、各人物属性識別用データが識別される各カテゴリ毎となる。）に作成された人物属性識別用モデルを記憶するものである。これらの人物属性識別用モデルは、各人物属性識別用データが識別される各カテゴリに含まれるデータの特徴を示すものであり、本実施形態では、各カテゴリに含まれる多数のサンプルデータから得られた分布を、それぞれガウス混合モデルにより表現したものである。
【０１０４】
より具体的には、人物属性識別用モデル記憶手段５０には、顔用データ（顔基礎データ５０１、顔圧縮データ６０１）が識別される男性のカテゴリに含まれるデータの特徴を示す顔用の男モデル５１と、顔用データが識別される女性のカテゴリに含まれるデータの特徴を示す顔用の女モデル５２と、髪型用データ（髪型基礎データ５０２、髪型圧縮データ６０２）が識別される男性のカテゴリに含まれるデータの特徴を示す髪型用の男モデル５３と、髪型用データが識別される女性のカテゴリに含まれるデータの特徴を示す髪型用の女モデル５４と、ネクタイ用データ（ネクタイ基礎データ５０３、ネクタイ圧縮データ６０３）が識別されるネクタイありのカテゴリに含まれるデータの特徴を示すネクタイモデル５５と、ネクタイ用データが識別されるネクタイ無しのカテゴリに含まれるデータの特徴を示す非ネクタイモデル５６と、デコルテ用データ（デコルテ基礎データ５０４、デコルテ圧縮データ６０４）が識別される胸あきありのカテゴリに含まれるデータの特徴を示すデコルテモデル５７と、デコルテ用データが識別される胸あき無しのカテゴリに含まれるデータの特徴を示す非デコルテモデル５８とが記憶されている。
【０１０５】
これらの人物属性識別用モデル記憶手段５０に記憶される各モデル５１〜５８は、人物属性識別システム１０の稼働前に事前学習をして作成されるモデルである。この事前学習では、先ず、識別したいカテゴリに含まれる多数のサンプルデータを収集し、主成分分析（ＰＣＡ）を行うことにより、主成分の軸を決定する。例えば、顔用データの場合を例にとると、様々な男と女の顔用データ（人物属性識別システム１０による処理開始後に行わる図３のステップＳ６０３の顔前処理と同様な処理を行って得られる顔基礎データ、すなわち識別対象のフレーム画像からリアルタイム処理で得られる顔基礎データ５０１に対応する多数のサンプルデータ）について主成分分析（ＰＣＡ）を行うことにより、主成分の軸を決定する。この際、主成分として上位成分（例えば、累積寄与率８０％等）を利用し、顔基礎データの次元圧縮を行い、圧縮された低次元の空間を形成する。例えば、顔基礎データ５０１に対応する多数のサンプルデータが、３２×３２＝１０２４次元のベクトルデータである場合には、各主成分の軸方向を向いた基底ベクトルは、同じ１０２４次元のベクトルとなり、この１０２４次元の基底ベクトルが、例えば５０本立つことにより、５０次元に圧縮された空間が形成される。
【０１０６】
そして、この圧縮された次元の空間上に、顔基礎データ５０１に対応する多数のサンプルデータを用いて、男の顔用データおよび女の顔用データの分布を作成する。この分布の作成は、顔基礎データ５０１に対応する多数のサンプルデータのそれぞれについて、各主成分の重み、すなわち各主成分の軸方向を向いた基底ベクトルに対する重みを算出し、これらの重みを各次元の要素値（各軸方向の座標値）とする低次元のベクトル（顔圧縮データ６０１に対応するベクトルデータ）を求めることにより行われる。その後、圧縮された次元の空間上に作成された男の顔用データおよび女の顔用データの分布形状を、ガウス混合モデルにより表現することにより、顔用の男モデル５１および顔用の女モデル５２を作成する。これにより、顔用の女モデル５２を例にとれば、眼鏡をかけている／眼鏡をかけていないといった様々な女性の顔をガウス混合モデルにより表現することが可能となる。髪型用データ、ネクタイ用データ、およびデコルテ用データの場合も、顔用データの場合と同様である。なお、ガウス混合モデルの構築技術自体は、公知技術であり、前述した非特許文献４等に記載されているので、ここでは詳しい説明を省略する。
【０１０７】
髪色モデル記憶手段６０は、髪型前処理（図３のステップＳ６０４の処理）における髪色判定処理（図４、図６参照）で用いられる髪色モデル６１を記憶するものである。
【０１０８】
非髪色モデル記憶手段７０は、髪型前処理（図３のステップＳ６０４の処理）における髪色判定処理（図４、図６参照）で用いられる非髪色モデル７１を記憶するものである。
【０１０９】
肌色モデル記憶手段８０は、髪型前処理（図３のステップＳ６０４の処理）における髪色判定処理（図４、図６参照）およびデコルテ前処理（図３のステップＳ６０６の処理）における肌色抽出処理（図８参照）で用いられる肌色モデル８１を記憶するものである。
【０１１０】
非肌色モデル記憶手段９０は、髪型前処理（図３のステップＳ６０４の処理）における髪色判定処理（図４、図６参照）およびデコルテ前処理（図３のステップＳ６０６の処理）における肌色抽出処理（図８参照）で用いられる非肌色モデル９１を記憶するものである。
【０１１１】
これらの髪色モデル６１、非髪色モデル７１、肌色モデル８１、および非肌色モデル９１は、人物属性識別システム１０の稼働前に事前学習をして作成されるモデルである。この事前学習では、様々な環境の人物カラー画像から髪色、非髪色、肌色、および非肌色を抽出し、ＲＧＢやＨＳＶ等の色素表現系により形成される３次元色空間にサンプルデータを蓄積し、これらのデータの分布形状をガウス混合モデルにより表現する。
【０１１２】
さらに、肌色モデル８１および非肌色モデル９１については、人物属性識別システム１０の稼働前に準備した色データだけではなく、人物属性識別システム１０による処理開始後に検出された人物の色データも加えることにより、より正確な抽出を実現可能としている。具体的には、人物属性識別システム１０による処理開始後に、肌色モデル更新処理手段３４により、現在処理対象となっている最新のフレーム画像から検出された人物の色データ（図５の肌色領域画像２０４を構成する各画素の肌色情報）を加えてガウス混合モデルを再構築する処理（図３のステップＳ６０２）を行うことにより、その人物に適応した肌色モデル８１を作成することができる。同様に、人物属性識別システム１０による処理開始後に、非肌色モデル更新処理手段３５により、現在処理対象となっている最新のフレーム画像から検出された人物の色データ（図５の非肌色領域画像２０５を構成する各画素の非肌色情報）を加えてガウス混合モデルを再構築する処理（図３のステップＳ６０２）を行うことにより、その人物に適応した非肌色モデル９１を作成することができる。
【０１１３】
識別結果記憶手段９５は、指標値算出処理手段３７により各フレームで算出された各尤度７０１〜７０８（図３参照）、および識別結果情報算出処理手段３８により算出された各フレームでの男の確率と女の確率との比（または比の値）、さらには識別結果トータル情報算出処理手段３９により算出された複数フレームでの男の確率の積と女の確率の積との比（または比の値）、あるいは複数フレームでの男の確率と女の確率との比の値（逆数でもよい。）についての積を、検出人物毎に記憶するものである。
【０１１４】
そして、以上において、処理手段３０に含まれる各処理手段３１〜４０は、人物属性識別システム１０を構成する一台または複数台のコンピュータ（パーソナル・コンピュータのみならず、その上位機種のもの、あるいは汎用機ではなく、人物属性識別処理専用装置、パーソナル・コンピュータ以外の電気製品に組み込まれた計算ユニット等も含む。）の内部に設けられた中央演算処理装置（ＣＰＵ）、およびこのＣＰＵの動作手順を規定する一つまたは複数のプログラムにより実現される。
【０１１５】
また、人物属性識別用モデル記憶手段５０、髪色モデル記憶手段６０、非髪色モデル記憶手段７０、肌色モデル記憶手段８０、非肌色モデル記憶手段９０、および識別結果記憶手段９５としては、例えば、ハードディスク、ＲＯＭ、ＥＥＰＲＯＭ、フラッシュ・メモリ、ＲＡＭ、ＭＯ、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭ、ＦＤ、磁気テープ、あるいはこれらの組合せ等を採用することができる。
【０１１６】
このような本実施形態においては、以下のようにして人物属性識別システム１０により人物の性別識別処理が行われる。
【０１１７】
先ず、人物属性識別システム１０を稼働させる前に、事前学習を行い、髪色モデル６１、非髪色モデル７１、肌色モデル８１、および非肌色モデル９１をそれぞれガウス混合モデルにより作成し、髪色モデル記憶手段６０、非髪色モデル記憶手段７０、肌色モデル記憶手段８０、および非肌色モデル記憶手段９０にそれぞれ記憶させるとともに、顔用の男モデル５１、顔用の女モデル５２、髪型用の男モデル５３、髪型用の女モデル５４、ネクタイモデル５５、非ネクタイモデル５６、デコルテモデル５７、および非デコルテモデル５８をそれぞれガウス混合モデルにより作成し、人物属性識別用モデル記憶手段５０に記憶させておく。
【０１１８】
また、事前確率であるＰｒ[男]、Ｐｒ[tie｜男]、Ｐｒ[non-tie｜男]、Ｐｒ[dec｜男]、Ｐｒ[non-dec｜男]、Ｐｒ[女]、Ｐｒ[tie｜女]、Ｐｒ[non-tie｜女]、Ｐｒ[dec｜女]、Ｐｒ[non-dec｜女]を、実環境において統計をとることにより求めておく。
【０１１９】
次に、図２において、人物属性識別システム１０を起動して人物の性別識別処理を開始し（ステップＳ１）、フレーム画像取込処理手段３１により、カメラ２０で撮影されたカラーフレーム画像を取り込む（ステップＳ２）。
【０１２０】
続いて、人物検出処理手段３２により、フレーム画像取込処理手段３１により取り込まれたカラーフレーム画像の中から、背景差分、フレーム差分、テンプレートマッチング等の既存の手法により、人物を抽出する処理を行う（ステップＳ３）。これにより、フレーム画像に人物が写っていた場合には、図５の左側部分に示すような背景を取り除いた人物画像１００が得られる。
【０１２１】
それから、人物検出処理手段３２による処理で人物が検出されたか否かを判断し（ステップＳ４）、人物が検出されて人物画像１００が得られたと判断した場合には、正規化処理手段３３により、人物検出処理手段３２による処理で得られた人物画像１００を正規化する処理を行う（ステップＳ５）。これにより、図５の右側部分に示す正規化画像２００が得られる。また、正規化処理手段３３は、正規化画像２００の中から、顔狭領域画像２０１、顔広領域画像２０２、服装領域画像２０３を切り出す処理を行うとともに、肌色領域画像２０４および非肌色領域画像２０５を切り出す処理も行う。なお、人物検出処理手段３２による処理でフレーム画像の中に複数の人物が検出された場合には、正規化処理手段３３による正規化処理は、検出人物毎に行う。
【０１２２】
その後、図５の正規化画像２００の中から切り出された各画像２０１〜２０５を用いて、顔情報、髪型情報、ネクタイ情報、およびデコルテ情報の各要素情報毎に個別識別処理を行う（ステップＳ６）。図３には、この個別識別処理の詳細な流れがフローチャートで示されている。なお、人物検出処理手段３２による処理でフレーム画像の中に複数の人物が検出された場合には、図３の個別識別処理は、検出人物毎に行う。
【０１２３】
図３において、先ず、正規化画像２００の中から切り出されて図示されないメモリに格納されている各画像２０１〜２０５を読み込み（ステップＳ６０１）、肌色モデル更新処理手段３４により、検出人物の肌色情報（図５の肌色領域画像２０４を構成する各画素の肌色情報）を用いて、肌色モデル記憶手段８０に記憶されている肌色モデル８１の更新処理を行うとともに、非肌色モデル更新処理手段３５により、検出人物の非肌色情報（図５の非肌色領域画像２０５を構成する各画素の非肌色情報）を用いて、非肌色モデル記憶手段９０に記憶されている非肌色モデル９１の更新処理を行う（ステップＳ６０２）。
【０１２４】
次に、顔基礎データ作成処理手段３６Ａにより、顔狭領域画像２０１を用いて顔前処理を行って顔基礎データ５０１を作成する（ステップＳ６０３）。また、髪型基礎データ作成処理手段３６Ｃにより、顔広領域画像２０２を用いて髪型前処理を行って髪型基礎データ５０２を作成する（ステップＳ６０４）。図４には、この髪型前処理の詳細な流れがフローチャートで示されている。
【０１２５】
図４において、髪型基礎データ作成処理手段３６Ｃは、顔広領域画像２０２から顔狭領域画像２０１を取り除いた後、顔狭領域画像２０１を取り除いた残りの部分において、髪色部分を抽出する。すなわち、顔狭領域画像２０１を取り除いた残りの部分を構成する画素の色情報を読み込み（ステップＳ６０４０１）、この色データを、髪色モデル記憶手段６０に記憶されている髪色モデル６１、非髪色モデル記憶手段７０に記憶されている非髪色モデル７１、肌色モデル記憶手段８０に記憶されている更新後の肌色モデル８１、および非肌色モデル記憶手段９０に記憶されている更新後の非肌色モデル９１にそれぞれ入力し、前述した式（１）に基づき、髪色尤度算出処理（ステップＳ６０４０２）、非髪色尤度算出処理（ステップＳ６０４０３）、肌色尤度算出処理（ステップＳ６０４０４）、および非肌色尤度算出処理（ステップＳ６０４０５）を行って、髪色尤度３０１、非髪色尤度３０２、肌色尤度３０３、および非肌色尤度３０４をそれぞれ算出する処理を行う。
【０１２６】
続いて、髪型基礎データ作成処理手段３６Ｃは、髪色尤度３０１が非髪色尤度３０２よりも大きく、かつ、肌色尤度３０３が非肌色尤度３０４よりも小さいか否かを判断し（ステップＳ６０４０６）、この条件を満たす場合には、現在処理中の画素が髪部分であると推定し（ステップＳ６０４０７）、一方、この条件を満たさない場合には、現在処理中の画素が髪部分以外であると推定する（ステップＳ６０４０８）。
【０１２７】
それから、顔広領域画像２０２から顔狭領域画像２０１を取り除いた残りの部分において処理すべき次の画素があるか否かを判断し（ステップＳ６０４０９）、次の画素があると判断した場合には、再び、ステップＳ６０４０１の処理に戻り、以降、処理すべき画素がなくなるまで、ステップＳ６０４０１〜Ｓ６０４０９の処理を繰り返す。これにより、髪部分であると推定された画素のみを残すことで、図６に示すような髪型抽出画像４００が得られる。
【０１２８】
そして、髪型基礎データ作成処理手段３６Ｃは、得られた髪型抽出画像４００について、顔用データの場合と同様に、モノクロ画像への変換処理を行った後（ステップＳ６０４１０）、ヒストグラム平滑化処理を行う（ステップＳ６０４１１）。これにより、髪型基礎データ５０２が得られる。
【０１２９】
また、図３において、ネクタイ基礎データ作成処理手段３６Ｅにより、服装領域画像２０３を用いてネクタイ前処理を行って、ネクタイ基礎データ５０３を作成する（ステップＳ６０５）。この際、ネクタイ基礎データ作成処理手段３６Ｅは、図７に示すような服装領域画像２０３Ａをモノクロ画像に変換した後、１次微分（グラディエント）や２次微分（ラプラシアン）等の輪郭抽出フィルタ処理を行い、図７に示すようなエッジ画像４１０を作成する。そして、このエッジ画像４１０をベクトルで表すことにより、ネクタイ基礎データ５０３が得られる。
【０１３０】
さらに、図３において、デコルテ基礎データ作成処理手段３６Ｇにより、服装領域画像２０３を用いてデコルテ前処理を行って、デコルテ基礎データ５０４を作成する（ステップＳ６０６）。この際、デコルテ基礎データ作成処理手段３６Ｇは、図８に示すような服装領域画像２０３Ｂを構成する各画素について、肌色モデル記憶手段８０に記憶されている更新後の肌色モデル８１および非肌色モデル記憶手段９０に記憶されている更新後の非肌色モデル９１を用いて、すなわち前述した髪型抽出処理の際に用いた肌色モデル８１および非肌色モデル９１を用いて、前述した式（１）に基づき肌色尤度および非肌色尤度をそれぞれ算出し、肌色モデル８１から出力される肌色尤度が非肌色モデル９１から出力される非肌色尤度よりも大きい画素を肌色画素として抽出することにより、図８に示すような肌色抽出画像４２０を作成する。そして、この肌色抽出画像４２０をベクトルで表すことにより、デコルテ基礎データ５０４が得られる。
【０１３１】
続いて、顔圧縮データ作成処理手段３６Ｂ、髪型圧縮データ作成処理手段３６Ｄ、ネクタイ圧縮データ作成処理手段３６Ｆ、およびデコルテ圧縮データ作成処理手段３６Ｈにより、顔基礎データ５０１、髪型基礎データ５０２、ネクタイ基礎データ５０３、およびデコルテ基礎データ５０４についてそれぞれ主成分分析（ＰＣＡ）処理を行い（ステップＳ６０７〜Ｓ６１０）、顔圧縮データ６０１、髪型圧縮データ６０２、ネクタイ圧縮データ６０３、およびデコルテ圧縮データ６０４をそれぞれ作成する。
【０１３２】
その後、男性顔尤度算出処理手段３７Ａにより、前述した式（１）に基づき、人物属性識別用モデル記憶手段５０に記憶されている顔用の男モデル５１を用いて、顔圧縮データ６０１を入力データとして男性顔尤度算出処理を行い（ステップＳ６１１）、男性顔尤度７０１を算出する。また、女性顔尤度算出処理手段３７Ｂにより、前述した式（１）に基づき、人物属性識別用モデル記憶手段５０に記憶されている顔用の女モデル５２を用いて、顔圧縮データ６０１を入力データとして女性顔尤度算出処理を行い（ステップＳ６１２）、女性顔尤度７０２を算出する。
【０１３３】
同様に、男性髪型尤度算出処理手段３７Ｃにより、前述した式（１）に基づき、人物属性識別用モデル記憶手段５０に記憶されている髪型用の男モデル５３を用いて、髪型圧縮データ６０２を入力データとして男性髪型尤度算出処理を行い（ステップＳ６１３）、男性髪型尤度７０３を算出する。また、女性髪型尤度算出処理手段３７Ｄにより、前述した式（１）に基づき、人物属性識別用モデル記憶手段５０に記憶されている髪型用の女モデル５４を用いて、髪型圧縮データ６０２を入力データとして女性髪型尤度算出処理を行い（ステップＳ６１４）、女性髪型尤度７０４を算出する。
【０１３４】
同様に、ネクタイ尤度算出処理手段３７Ｅにより、前述した式（１）に基づき、人物属性識別用モデル記憶手段５０に記憶されているネクタイモデル５５を用いて、ネクタイ圧縮データ６０３を入力データとしてネクタイ尤度算出処理を行い（ステップＳ６１５）、ネクタイ尤度７０５を算出する。また、非ネクタイ尤度算出処理手段３７Ｆにより、前述した式（１）に基づき、人物属性識別用モデル記憶手段５０に記憶されている非ネクタイモデル５６を用いて、ネクタイ圧縮データ６０３を入力データとして非ネクタイ尤度算出処理を行い（ステップＳ６１６）、非ネクタイ尤度７０６を算出する。
【０１３５】
同様に、デコルテ尤度算出処理手段３７Ｇにより、前述した式（１）に基づき、人物属性識別用モデル記憶手段５０に記憶されているデコルテモデル５７を用いて、デコルテ圧縮データ６０４を入力データとしてデコルテ尤度算出処理を行い（ステップＳ６１７）、デコルテ尤度７０７を算出する。また、非デコルテ尤度算出処理手段３７Ｈにより、前述した式（１）に基づき、人物属性識別用モデル記憶手段５０に記憶されている非デコルテモデル５８を用いて、デコルテ圧縮データ６０４を入力データとして非デコルテ尤度算出処理を行い（ステップＳ６１８）、非デコルテ尤度７０８を算出する。以上で、個別識別処理（図２のステップＳ６：図３のステップＳ６０１〜Ｓ６１８の処理）を終了する。
【０１３６】
続いて、図２において、識別結果情報算出処理手段３８および識別結果トータル情報算出処理手段３９による統合処理を行う（ステップＳ７）。すなわち、識別結果情報算出処理手段３８により、前述した式（２）に基づき、８つの尤度７０１〜７０８を統合し、人物の属性（ここでは、性別）の識別結果を示す情報として、男の確率と女の確率との比（または比の値）を算出する。
【０１３７】
また、同一人物が複数のフレーム（現在処理中のフレームおよびそれ以前に処理したフレーム）で連続して検出されたときには、識別結果トータル情報算出処理手段３９により、識別結果記憶手段９５に記憶されているデータを用いて、それらの複数のフレームでの人物の属性（ここでは、性別）の識別結果をトータルした情報として、識別結果情報算出処理手段３８により各フレームについて算出された男の確率の積と、各フレームについて算出された女の確率の積との比（または比の値）を算出する処理、あるいは識別結果情報算出処理手段３８により各フレームについて算出された男の確率と女の確率との比の値（逆数でもよい。）についての積を算出する処理を行う。この際、各フレームでの検出人物が同一人物か否かは、各フレーム画像中の人物の位置情報、あるいは顔の肌色情報、顔特徴情報等に基づき判断することができる。なお、人物検出処理手段３２による処理でフレーム画像の中に複数の人物が検出された場合には、識別結果情報算出処理手段３８および識別結果トータル情報算出処理手段３９による統合処理は、検出人物毎に行う。
【０１３８】
その後、識別結果出力処理手段４０により、識別結果情報算出処理手段３８による算出結果、および識別結果トータル情報算出処理手段３９による算出結果がある場合にはその算出結果を、図示されないＣＲＴディスプレイや液晶ディスプレイ等の表示装置の画面上に表示するか、または図示されないプリンタやプロッタ等の出力装置で出力する（ステップＳ８）。これらの表示装置の画面上への表示や出力装置への出力は、数値による表示・出力でもよく、グラフによる表示・出力でもよく、それらの組合せでもよく、さらには音声出力を合わせて行ってもよい。なお、人物検出処理手段３２による処理でフレーム画像の中に複数の人物が検出された場合には、識別結果出力処理は、検出人物毎に行う。
【０１３９】
そして、識別結果出力処理手段４０による処理を行った後には、次のフレーム画像の処理に移るため、再び、ステップＳ２の処理に戻り、以降、人物が検出されなくなるまで、ステップＳ２〜Ｓ８の処理が繰り返される。
【０１４０】
一方、ステップＳ４で、人物が検出されないと判断された場合には、前のフレームで人物が検出されていたか否かを判断し（ステップＳ９）、前のフレームで人物が検出されていた場合には、画像中に写っていた人物がカメラ２０の撮影範囲から外に出たと判断し、識別結果出力処理手段４０により、識別結果記憶手段９５に記憶されているデータに基づき、その人物についての最終的な性別識別結果を、図示されないＣＲＴディスプレイや液晶ディスプレイ等の表示装置の画面上に表示するか、または図示されないプリンタやプロッタ等の出力装置で出力する（ステップＳ１０）。そして、次のフレーム画像の処理に移るため、再び、ステップＳ２の処理に戻る。また、ステップＳ９で、前のフレームで人物が検出されていない場合には、単に人物が検出されないフレームが連続しているだけであると判断し、ステップＳ２の処理に戻る。なお、特定の人物についての性別識別処理が目的の場合や、一人の人物についての性別識別処理だけを行うことが目的の場合等には、図２中の点線矢印に示す如く、その人物についてのステップＳ１０の最終的な性別識別結果の出力処理を行った後に、一連の性別識別処理を終了してもよい（ステップＳ１１）。
【０１４１】
このような本実施形態によれば、次のような効果がある。すなわち、人物属性識別システム１０は、指標値算出処理手段３７を備えているので、顔用データ、髪型用データ、ネクタイ用データ、デコルテ用データの４種類の人物属性識別用データに対応させて用意された８つの人物属性識別用モデル５１〜５８を用いて、４種類の人物属性識別用データがそれぞれ識別される対立カテゴリ毎に尤度を個別に算出し、合計８つの尤度を算出することができる。また、人物属性識別システム１０は、識別結果情報算出処理手段３８を備えているので、８つの尤度を統合することにより、人物の性別識別結果を示す情報を算出することができる。
【０１４２】
このため、従来のように顔情報だけを用いて性別識別を行う場合に比べ、識別精度を向上させることができる。また、単に４種類の人物属性識別用データに基づく個別の識別結果を集めるのではなく、それらの個別の識別結果として得られた８つの尤度を統合することにより、人物の性別識別結果を示す情報を算出するので、顔情報を含む複数の情報を効果的に統合させることができ、高い精度の識別を実現することができる。
【０１４３】
また、性別識別を行うための要素情報として、顔情報や髪型情報の他に、性別の違いが顕著に現れるネクタイの有無情報やデコルテ（服装の胸あき）の有無情報を用いるので、尤度の統合による識別精度の向上効果を、より一層高めることができる。
【０１４４】
さらに、人物属性識別システム１０は、肌色モデル更新処理手段３４および非肌色モデル更新処理手段３５を備えているので、髪型用データ（髪型基礎データ５０２、髪型圧縮データ６０２）を作成する前に、検出人物の肌色情報および非肌色情報を用いて肌色モデル８１および非肌色モデル９１の更新処理を行うことができる。このため、肌色モデル８１および非肌色モデル９１を検出人物に適応させ、個人に適応した髪型抽出を行うことができるので、より正確な髪型抽出を行うことができる。
【０１４５】
そして、ネクタイ基礎データ作成処理手段３６Ｅは、処理対象のフレーム画像からネクタイ基礎データ５０３を作成する過程で、輪郭抽出を行ってエッジ画像４１０（図７参照）を作成する処理を行うので、ネクタイ／非ネクタイの個別識別の精度を向上させることができる。このため、尤度の統合による識別精度の向上効果を、より一層高めることができる。
【０１４６】
また、人物属性識別システム１０は、肌色モデル更新処理手段３４および非肌色モデル更新処理手段３５を備えているので、デコルテ用データ（デコルテ基礎データ５０４、デコルテ圧縮データ６０４）を作成する前に、検出人物の肌色情報および非肌色情報を用いて肌色モデル８１および非肌色モデル９１の更新処理を行うことができる。このため、肌色モデル８１および非肌色モデル９１を検出人物に適応させ、個人に適応したデコルテ／非デコルテ識別用の肌色抽出処理を行うことができるので、より正確な肌色抽出を行うことができる。
【０１４７】
さらに、人物属性識別用モデル５１〜５８は、主成分分析により次元圧縮を行い、この圧縮された次元の空間上に拡がるデータの分布形状を、ガウス混合モデルにより表現することにより構築されているので、例えば、顔情報の場合には、眼鏡をかけているか否か、髭があるか否かといった様々な顔に対応することができ、また、髪型情報の場合には、ロングヘアーかショートヘアーか、ハゲているか否かといった様々な髪型に対応することができる。
【０１４８】
また、指標値算出処理手段３７は、ガウス混合モデルを用いて尤度を算出する処理を行うので、この尤度を同一人物について複数フレームで算出することができれば、複数フレームでの尤度の統合をベイズの法則により容易に実現することができる。このため、識別結果トータル情報算出処理手段３９による複数フレームでの性別識別結果のトータル情報の算出処理を容易に実現することができる。
【０１４９】
そして、識別結果情報算出処理手段３８は、人物の性別識別結果を示す情報を算出する際に、複数の尤度をベイズの定理により統合する処理を行うので、性別を識別するための別の要素（顔情報以外の情報）が得られたときに、この要素から算出される尤度を容易に統合することができる枠組みを構築することができる。従って、本実施形態のように、顔情報と、それ以外の髪型情報、ネクタイ情報、およびデコルテ情報とから算出される各尤度を容易に統合することができるのみならず、これらの４種類以外の情報を人物属性識別（ここでは、性別識別）のための要素情報として追加する場合でも、その要素情報から算出される尤度を容易に他の尤度と統合させることができる。
【０１５０】
さらに、人物属性識別システム１０は、識別結果トータル情報算出処理手段３９を備えているので、同一人物が検出された複数のフレームでそれぞれ算出された尤度をベイズの定理により統合することにより、複数のフレームでの性別識別結果をトータルした情報を算出することができる。このため、性別の識別精度を、より一層向上させることができる。
【０１５１】
そして、識別結果情報算出処理手段３８は、ベイズの定理により尤度を統合する際に、実環境において統計を取ることにより求めた事前確率を用いるので、実環境での識別精度を向上させることができる。
【０１５２】
また、識別結果情報算出処理手段３８および識別結果トータル情報算出処理手段３９は、性別識別結果を示す情報として、男女の確率の比（または比の値）を算出するので、人物属性識別システム１０のユーザは、その比（または比の値）を見ることにより、人物属性識別システム１０により最終的に出された識別結果が確かなものなのか否かを容易に判断することができる。
【０１５３】
なお、本発明は前記実施形態に限定されるものではなく、本発明の目的を達成できる範囲内での変形等は本発明に含まれるものである。
【０１５４】
すなわち、前記実施形態では、人物属性識別用モデル５１〜５８は、ガウス混合モデルにより構築されていたが、本発明における人物属性識別用モデルは、ガウス混合モデルに限定されるものではなく、例えば、サポートベクターマシン（ＳＶＭ）やニューラルネットワーク等を採用してもよい。
【０１５５】
また、前記実施形態では、ガウス混合モデルを用いて算出された各尤度７０１〜７０８をベイズの定理により統合していたが、ベイズの定理による統合処理は、ガウス混合モデルを用いて算出される尤度以外の指標値の統合処理にも適用することができる。
【０１５６】
さらに、前記実施形態では、人物属性識別システム１０は、専ら性別識別を行うシステムとされていたが、本発明の人物属性識別システムは、性別識別システムに限定されるものではなく、例えば、性別識別および年齢識別を同時並行的に行うシステム、あるいは専ら年齢識別を行うシステム等でもよい。
【０１５７】
より具体的には、性別識別および年齢識別を同時並行的に行うシステムとする場合には、人物属性識別用モデルとして、例えば、顔用の１０歳未満男モデル、顔用の１０代男モデル、顔用の２０代男モデル、顔用の３０代男モデル、…、顔用の８０歳以上男モデル、および顔用の１０歳未満女モデル、顔用の１０代女モデル、顔用の２０代女モデル、顔用の３０代女モデル、…、顔用の８０歳以上女モデル、並びに顔用の男モデル、顔用の女モデルを用意し、同様に髪型用の各モデル等も用意し、性別および年齢を同時並行的に識別する処理を行うことができる。この際、識別結果の出力は、例えば「男：女＝○：○、１０歳未満：１０代：２０代：３０代：…：８０歳以上＝○：○：○：○：…：○」等としてもよく、あるいは「１０歳未満男：１０代男：２０代男：３０代男：…：８０歳以上男：１０歳未満女：１０代女：２０代女：３０代女：…：８０歳以上女＝○：○：○：○：…：○：○：○：○：○：…：○」等としてもよい。
【産業上の利用可能性】
【０１５８】
以上のように、本発明の人物属性識別方法およびそのシステムは、例えば、統計処理、動向調査、データベース検索、セキュリティシステム等に用いるのに適している。
【図面の簡単な説明】
【０１５９】
【図１】本発明の一実施形態の人物属性識別システムの全体構成図。
【図２】前記実施形態の人物属性識別システムによる性別識別処理の全体の流れを示すフローチャートの図。
【図３】前記実施形態の人物属性識別システムによる各人物属性識別用データについての個別識別処理の流れを示すフローチャートの図。
【図４】前記実施形態の髪色判定処理を含む髪型前処理の流れを示すフローチャートの図。
【図５】前記実施形態の正規化処理の説明図。
【図６】前記実施形態の髪型前処理における髪型抽出画像の作成処理の説明図。
【図７】前記実施形態のネクタイ前処理におけるエッジ画像の作成処理の説明図。
【図８】前記実施形態のデコルテ前処理における肌色抽出画像の作成処理の説明図。
【符号の説明】
【０１６０】
１０ 人物属性識別システム
２０ カメラ
３４ 肌色モデル更新処理手段
３６ 人物属性識別用データ作成処理手段
３６Ａ 人物属性識別用データ作成処理手段を構成する顔基礎データ作成処理手段
３６Ｂ 人物属性識別用データ作成処理手段を構成する顔圧縮データ作成処理手段
３６Ｃ 人物属性識別用データ作成処理手段を構成する髪型基礎データ作成処理手段
３６Ｄ 人物属性識別用データ作成処理手段を構成する髪型圧縮データ作成処理手段
３６Ｅ 人物属性識別用データ作成処理手段を構成するネクタイ基礎データ作成処理手段
３６Ｆ 人物属性識別用データ作成処理手段を構成するネクタイ圧縮データ作成処理手段
３６Ｇ 人物属性識別用データ作成処理手段を構成するデコルテ基礎データ作成処理手段
３６Ｈ 人物属性識別用データ作成処理手段を構成するデコルテ圧縮データ作成処理手段
３７ 指標値算出処理手段
３７Ａ 指標値算出処理手段を構成する男性顔尤度算出処理手段
３７Ｂ 指標値算出処理手段を構成する女性顔尤度算出処理手段
３７Ｃ 指標値算出処理手段を構成する男性髪型尤度算出処理手段
３７Ｄ 指標値算出処理手段を構成する女性髪型尤度算出処理手段
３７Ｅ 指標値算出処理手段を構成するネクタイ尤度算出処理手段
３７Ｆ 指標値算出処理手段を構成する非ネクタイ尤度算出処理手段
３７Ｇ 指標値算出処理手段を構成するデコルテ尤度算出処理手段
３７Ｈ 指標値算出処理手段を構成する非デコルテ尤度算出処理手段
３８ 識別結果情報算出処理手段
３９ 識別結果トータル情報算出処理手段
５０ 人物属性識別用モデル記憶手段
５１ 人物属性識別用モデルである顔用の男モデル
５２ 人物属性識別用モデルである顔用の女モデル
５３ 人物属性識別用モデルである髪型用の男モデル
５４ 人物属性識別用モデルである髪型用の女モデル
５５ 人物属性識別用モデルであるネクタイモデル
５６ 人物属性識別用モデルである非ネクタイモデル
５７ 人物属性識別用モデルであるデコルテモデル
５８ 人物属性識別用モデルである非デコルテモデル
６０ 髪色モデル記憶手段
６１ 髪色モデル
７０ 非髪色モデル記憶手段
７１ 非髪色モデル
８０ 肌色モデル記憶手段
８１ 肌色モデル
９０ 非肌色モデル記憶手段
９１ 非肌色モデル
４１０ エッジ画像
５０１ 人物属性識別用データの一種である顔用データとしての顔基礎データ
５０２ 人物属性識別用データの一種である髪型用データとしての髪型基礎データ
５０３ 人物属性識別用データの一種であるネクタイ用データとしてのネクタイ基礎データ
５０４ 人物属性識別用データの一種であるデコルテ用データとしてのデコルテ基礎データ
６０１ 人物属性識別用データの一種である顔用データとしての顔圧縮データ
６０２ 人物属性識別用データの一種である髪型用データとしての髪型圧縮データ
６０３ 人物属性識別用データの一種であるネクタイ用データとしてのネクタイ圧縮データ
６０４ 人物属性識別用データの一種であるデコルテ用データとしてのデコルテ圧縮データ
７０１ 指標値である男性顔尤度
７０２ 指標値である女性顔尤度
７０３ 指標値である男性髪型尤度
７０４ 指標値である女性髪型尤度
７０５ 指標値であるネクタイ尤度
７０６ 指標値である非ネクタイ尤度
７０７ 指標値であるデコルテ尤度
７０８ 指標値である非デコルテ尤度
【技術分野】
【０００１】
本発明は、カメラで撮影された人物の性別および／または年齢を含む人物属性を識別する人物属性識別方法およびそのシステムに係り、例えば、統計処理、動向調査、データベース検索、セキュリティシステム等に利用できる。
【背景技術】
【０００２】
従来より、人物の性別を識別する方法として、顔情報のみを用いた方法が提案されている。例えば、顔画像を判別分析することにより性別識別を行う方法がある（特許文献１、非特許文献１参照）。また、顔画像についてサポートベクターマシンを使用することにより性別識別を行う方法もある（非特許文献２、非特許文献３参照）。
【０００３】
なお、本発明における人物属性識別用モデルを作成する際に用いられるガウス混合モデルは、公知技術であり、多くの文献に記載されている（例えば、非特許文献４等参照）。
【０００４】
【特許文献１】特開２０００−２２２５７２号公報
【非特許文献１】本郷仁志、石井洋平、丹羽義典、山本和彦、「顔画像からの性別と年齢の統合的推定方法の提案」、信学技報、社団法人電子情報通信学会、２００２年１２月２０日、Ｖｏｌ．１０２、Ｎｏ．５３２、ＰＲＭＵ２００２−１４６、ｐ．１−６
【非特許文献２】ババック・モグハダム（Baback Moghaddam）、ミン・サン・ヤング（Ming-Hsuan Yang）、「ジェンダー・クラシフィケーション・ウィズ・サポート・ベクター・マシンズ（Gender classification with support vector machines）」、ＩＥＥＥインターナショナル・コンファレンス・オン・オートマティック・フェイス・アンド・ジェスチャー・レコグニション（ＩＥＥＥ International Conference on Automatic Face and Gesture Recognition）、米国、ＩＥＥＥ、２０００年３月、ｐ．３０６−３１１
【非特許文献３】細井聖、瀧川えりな、川出雅人、「ガボールウェーブレット変換とサポートベクタマシンによる性別・年代推定システム」、第８回画像センシングシンポジウム講演論文集、画像センシング技術研究会、２００２年７月１８日、ｐ．２４３−２４６
【非特許文献４】ヤン・Ｍ（Yang,M）、アウジャ・Ｎ（Ahuja,N）、「ガウシアン・ミクスチャー・モデル・フォー・ヒューマン・スキン・カラー・アンド・イッツ・アプリケーションズ・イン・イメージ・アンド・ビデオ・データベースイズ（Gaussian mixture model for human skin color and its applications in image and video databases）」、イン・プロスィーディングス・オブ・ＳＰＩＥ−ザ・インターナショナル・ソサイエティ・フォー・オプティカル・エンジニアリング（In Proceedings of SPIE-the International Society for Optical Engineering）：コンファレンス・オン・ストーレッジ・アンド・リトリーバル・フォー・イメージ・アンド・ビデオ・データベースイズ（Conference on Storage and Retrieval for Image and Video Databases）ＶII（１９９９）、米国、１９９９年、ｖｏｌ．３６５６、ｐ．４５８−４６６
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、前述した特許文献１および非特許文献１〜３に記載された性別識別方法では、顔情報しか用いていないため、識別精度には限界がある。人が人物を見て性別を推定しようとしても、顔情報だけでは推定できないという場合も少なくない。実際に人が人物の性別識別を行おうとする場合には、顔情報以外にも、髪型、服装、体型といった様々な情報を、頭の中で統合して識別を行っている。従って、このような人の頭の中で自然に行われる統合処理に相当する性別識別方法あるいは年齢識別方法を確立し、システム化することが望まれる。
【０００６】
本発明の目的は、顔情報と顔情報以外の情報とを効果的に統合することができ、性別や年齢等の人物属性の識別精度を向上させることができる人物属性識別方法およびそのシステムを提供するところにある。
【課題を解決するための手段】
【０００７】
本発明は、カメラで撮影された人物の性別および／または年齢を含む人物属性を識別する人物属性識別方法であって、人物の属性を識別するための顔用データを含む複数種類の人物属性識別用データが識別されるカテゴリを各人物属性識別用データ毎に複数ずつ設定し、これらのカテゴリに含まれるデータの特徴を示す人物属性識別用モデルを、各人物属性識別用データ毎に少なくとも１つずつ予め作成しておき、カメラで人物を撮影して得られた人物属性識別処理対象のフレーム画像から複数種類の人物属性識別用データをそれぞれ作成した後、作成した各人物属性識別用データに対応する各人物属性識別用モデルを用いて、作成した各人物属性識別用データが、いずれのカテゴリに含まれるデータであるかということについての確からしさを指標するための尤度、帰属度合い、確率、割合、またはこれらに類する指標値を、各人物属性識別用データ毎に個別に算出し、その後、各人物属性識別用データ毎に個別に算出した複数の指標値を統合することにより、人物の属性の識別結果を示す情報を算出することを特徴とするものである。
【０００８】
ここで、「人物の性別および／または年齢を含む人物属性」とあるので、本発明を適用して行われる人物属性の識別は、人物の性別のみの識別でもよく、人物の年齢のみの識別でもよく、人物の性別および年齢の同時並行的な識別でもよく、さらには、これら以外の他の人物属性（例えば、職業、人種、国籍、居住地等）と性別との同時並行的な識別でもよく、他の人物属性と年齢との同時並行的な識別でもよく、他の人物属性と性別と年齢との同時並行的な識別でもよい。
【０００９】
また、各人物属性識別用データ毎に複数ずつ設定される「カテゴリ」は、対立カテゴリ（２つのカテゴリ）でもよく、３つ以上のカテゴリでもよい。
【００１０】
さらに、「人物属性識別用モデルを、各人物属性識別用データ毎に少なくとも１つずつ作成しておき」とは、各人物属性識別用データが識別されるカテゴリとして、対立カテゴリ（２つのカテゴリ）が設定される場合には、対立カテゴリの両方について人物属性識別用モデルを作成してもよく、対立カテゴリの一方のみについて人物属性識別用モデルを作成してもよく、３つ以上のカテゴリが設定される場合には、全てのカテゴリについて人物属性識別用モデルを作成してもよく、一部のカテゴリについて人物属性識別用モデルを作成してもよい趣旨である。
【００１１】
そして、「尤度、帰属度合い、確率、割合、またはこれらに類する指標値を、各人物属性識別用データ毎に個別に算出し」における「各人物属性識別用データ毎に」という意味は、各人物属性識別用データが識別されるカテゴリ毎に指標値を算出すること、つまり全てのカテゴリについて指標値を算出することの他、対立カテゴリ（２つのカテゴリ）が設定される場合には、対立カテゴリのうちの一方について指標値を算出すること、３つ以上のカテゴリが設定される場合には、全てのカテゴリについてではなく一部のカテゴリについて指標値を算出することが含まれる。
【００１２】
また、「顔用データ」は、人物の属性を識別する要素情報としての顔情報から作成されるデータを意味し、例えば、後述する実施形態における顔基礎データおよびこれを次元圧縮した顔圧縮データのいずれも含む概念であり、他の種類（「顔用データ」以外）の「人物属性識別用データ」についても同様である。そして、「人物属性識別用データ」は、顔情報等のような人物属性の識別要素となり得る情報を表現することができれば、スカラー、ベクトル、行列、テンソル等、いずれの形態のデータでもよい。
【００１３】
さらに、「人物属性識別用モデル」としては、例えば、ガウス混合モデル（前述した非特許文献４参照）、サポートベクターマシン（ＳＶＭ）、ニューラルネットワーク等を採用することができ、人物属性識別用データを複数のカテゴリに識別することができるものであれば任意である。
【００１４】
そして、「カメラで人物を撮影して得られた人物属性識別処理対象のフレーム画像から複数種類の人物属性識別用データをそれぞれ作成」することが前提となるが、人物属性の識別のための要素情報に、フレーム画像から作成された複数種類の人物属性識別用データが含まれていればよい趣旨であり、本発明の適用にあたっては、フレーム画像から作成された人物属性識別用データ以外の人物属性識別用データを含めてもよい。従って、例えば、臭いセンサから取得した臭い成分のデータ、マイクロホンから取得した音データ、加速度センサから取得した振動データ等を分析して得られる人物属性識別用データについて、複数の識別カテゴリを設定し、対応する人物属性識別用モデルを用意し、この人物属性識別用モデルを用いて算出された尤度等の指標値を統合の対象に含めてもよい。
【００１５】
このような本発明の人物属性識別方法においては、顔用データを含む複数種類の人物属性識別用データについて、これらに対応する人物属性識別用モデルを用意し、これらの各人物属性識別用モデルを用いて、各人物属性識別用データが、いずれのカテゴリに含まれるデータであるかということについての確からしさを指標するための尤度等の指標値を個別に算出した後、得られた複数の指標値を統合することにより、人物の属性の識別結果を示す情報を算出する。このため、従来のように顔情報だけを用いて人物属性の識別を行う場合に比べ、識別精度を向上させることが可能となる。また、単に複数種類の人物属性識別用データに基づく個別の識別結果を集めるのではなく、それらの個別の識別結果として得られた複数の指標値を統合することにより、人物の属性の識別結果を示す情報を算出するので、顔情報を含む複数の情報を効果的に統合させることが可能となり、高い精度の識別が実現され、これらにより前記目的が達成される。
【００１６】
また、前述した人物属性識別方法において、顔用データが識別されるカテゴリとして、男性のカテゴリと女性のカテゴリとを設定し、人物属性識別用モデルとして、男性のカテゴリに含まれるデータの特徴を示す顔用の男モデルと、女性のカテゴリに含まれるデータの特徴を示す顔用の女モデルとを作成しておき、指標値を各人物属性識別用データ毎に個別に算出する際には、顔用の男モデルを用いて、フレーム画像から作成した顔用データが、男性のカテゴリに含まれるデータであることについての確からしさを示す指標値を算出するとともに、顔用の女モデルを用いて、フレーム画像から作成した顔用データが、女性のカテゴリに含まれるデータであることについての確からしさを示す指標値を算出するようにすることが望ましい。
【００１７】
このように顔用データに対して顔用の男モデルと顔用の女モデルとを用意して人物属性を識別するようにした場合には、顔情報から男女を識別する個別識別を行うことが可能となる。
【００１８】
さらに、前述した人物属性識別方法において、人物属性識別用データに、顔用データに加え、髪型用データを含ませ、この髪型用データが識別されるカテゴリとして、男性のカテゴリと女性のカテゴリとを設定し、人物属性識別用モデルとして、男性のカテゴリに含まれるデータの特徴を示す髪型用の男モデルと、女性のカテゴリに含まれるデータの特徴を示す髪型用の女モデルとを作成しておき、指標値を各人物属性識別用データ毎に個別に算出する際には、髪型用の男モデルを用いて、フレーム画像から作成した髪型用データが、男性のカテゴリに含まれるデータであることについての確からしさを示す指標値を算出するとともに、髪型用の女モデルを用いて、フレーム画像から作成した髪型用データが、女性のカテゴリに含まれるデータであることについての確からしさを示す指標値を算出するようにすることが望ましい。
【００１９】
このように髪型用データに対して髪型用の男モデルと髪型用の女モデルとを用意して人物属性を識別するようにした場合には、髪型情報から男女を識別する個別識別を行うことが可能となる。このため、顔情報による男女の個別識別結果と統合することにより、高い精度の識別が実現される。
【００２０】
そして、前述した人物属性識別方法において、人物属性識別用データに、顔用データに加え、ネクタイを締めているか否かを識別するためのネクタイ用データを含ませ、このネクタイ用データが識別されるカテゴリとして、ネクタイありのカテゴリとネクタイ無しのカテゴリとを設定し、人物属性識別用モデルとして、ネクタイありのカテゴリに含まれるデータの特徴を示すネクタイモデルと、ネクタイ無しのカテゴリに含まれるデータの特徴を示す非ネクタイモデルとを作成しておき、指標値を各人物属性識別用データ毎に個別に算出する際には、ネクタイモデルを用いて、フレーム画像から作成したネクタイ用データが、ネクタイありのカテゴリに含まれるデータであることについての確からしさを示す指標値を算出するとともに、非ネクタイモデルを用いて、フレーム画像から作成したネクタイ用データが、ネクタイ無しのカテゴリに含まれるデータであることについての確からしさを示す指標値を算出するようにすることが望ましい。
【００２１】
このようにネクタイ用データに対してネクタイモデルと非ネクタイモデルとを用意して人物属性を識別するようにした場合には、性別の違いが顕著に現れるネクタイの有無情報に基づき人物属性の個別識別を行うことが可能となる。このため、顔情報による男女の個別識別結果と統合することにより、高い精度の識別が実現される。
【００２２】
また、前述した人物属性識別方法において、人物属性識別用データに、顔用データに加え、胸あきのある服を着ているか否かを識別するためのデコルテ用データを含ませ、このデコルテ用データが識別されるカテゴリとして、胸あきありのカテゴリと胸あき無しのカテゴリとを設定し、人物属性識別用モデルとして、胸あきありのカテゴリに含まれるデータの特徴を示すデコルテモデルと、胸あき無しのカテゴリに含まれるデータの特徴を示す非デコルテモデルとを作成しておき、指標値を各人物属性識別用データ毎に個別に算出する際には、デコルテモデルを用いて、フレーム画像から作成したデコルテ用データが、デコルテありのカテゴリに含まれるデータであることについての確からしさを示す指標値を算出するとともに、非デコルテモデルを用いて、フレーム画像から作成したデコルテ用データが、デコルテ無しのカテゴリに含まれるデータであることについての確からしさを示す指標値を算出するようにすることが望ましい。
【００２３】
このようにデコルテ用データに対してデコルテモデルと非デコルテモデルとを用意して人物属性を識別するようにした場合には、性別の違いが顕著に現れるデコルテ（服装の胸あき）の有無情報に基づき人物属性の個別識別を行うことが可能となる。このため、顔情報による男女の個別識別結果と統合することにより、高い精度の識別が実現される。
【００２４】
さらに、前述した髪型用データに対して髪型用の男モデルと髪型用の女モデルとを用意して人物属性を識別するようにした場合において、様々な環境で撮影された画像から抽出した髪色情報、非髪色情報、肌色情報、および非肌色情報を用いて、髪色モデル、非髪色モデル、肌色モデル、および非肌色モデルをそれぞれ予め作成しておき、人物属性識別処理対象のフレーム画像から髪型用データを作成する前に、人物属性識別処理対象のフレーム画像から検出した人物の肌色情報を用いて、肌色モデルの更新を行い、人物属性識別処理対象のフレーム画像から髪型用データを作成する際には、髪色モデル、非髪色モデル、更新後の肌色モデル、および非肌色モデルを用いて、人物属性識別処理対象のフレーム画像を構成する各画素が髪部分か否かを推定することにより髪型を抽出することが望ましい。
【００２５】
このように髪型用データを作成する前に検出人物の肌色情報を用いて肌色モデルの更新を行うようにした場合には、肌色モデルを検出人物に適応させ、個人に適応した髪型抽出を行うことが可能となり、より正確な髪型抽出を行うことが可能となる。
【００２６】
なお、肌色モデルの更新のみならず、非肌色モデルについても、人物属性識別処理対象のフレーム画像から検出した人物の非肌色情報（例えば、服装部分の色情報等）を用いて更新を行い、髪色モデル、非髪色モデル、更新後の肌色モデル、および更新後の非肌色モデルを用いて、髪型用データを作成してもよい。
【００２７】
そして、前述したネクタイ用データに対してネクタイモデルと非ネクタイモデルとを用意して人物属性を識別するようにした場合において、人物属性識別処理対象のフレーム画像からネクタイ用データを作成する際には、輪郭抽出を行ってエッジ画像を作成することが望ましい。
【００２８】
このようにネクタイ用データを作成する際に輪郭抽出を行ってエッジ画像を作成するようにした場合には、ネクタイ／非ネクタイの個別識別の精度を向上させることが可能となる。
【００２９】
また、前述したデコルテ用データに対してデコルテモデルと非デコルテモデルとを用意して人物属性を識別するようにした場合において、様々な環境で撮影された画像から抽出した肌色情報および非肌色情報を用いて、肌色モデルおよび非肌色モデルをそれぞれ予め作成しておき、人物属性識別処理対象のフレーム画像からデコルテ用データを作成する前に、人物属性識別処理対象のフレーム画像から検出した人物の肌色情報を用いて、肌色モデルの更新を行い、人物属性識別処理対象のフレーム画像からデコルテ用データを作成する際には、更新後の肌色モデルおよび非肌色モデルを用いて、人物属性識別処理対象のフレーム画像を構成する各画素が肌色部分か否かを推定することにより肌色部分を抽出することが望ましい。
【００３０】
このようにデコルテ用データを作成する前に検出人物の肌色情報を用いて肌色モデルの更新を行うようにした場合には、肌色モデルを検出人物に適応させ、個人に適応したデコルテ／非デコルテ識別用の肌色抽出を行うことが可能となり、より正確な肌色抽出を行うことが可能となる。
【００３１】
なお、肌色モデルの更新のみならず、非肌色モデルについても、人物属性識別処理対象のフレーム画像から検出した人物の非肌色情報（例えば、服装部分の色情報等）を用いて更新を行い、更新後の肌色モデルおよび更新後の非肌色モデルを用いて、デコルテ用データを作成してもよい。
【００３２】
さらに、以上に述べた人物属性識別方法において、各人物属性識別用モデルは、各人物属性識別用データが識別されるカテゴリ毎に、事前学習として多くのサンプルデータを用いて主成分分析による特徴抽出を行った後、カテゴリに含まれるデータの分布形状を表現するガウス混合モデルを構築することにより作成し、指標値を各人物属性識別用データ毎に個別に算出する際には、人物属性識別処理対象のフレーム画像から作成された顔用データを含む複数種類の人物属性識別用データに基づき、ガウス混合モデルにより構築された各人物属性識別用モデルを用いて、カテゴリ毎に尤度を算出することが望ましい。
【００３３】
このように主成分分析を行った後にガウス混合モデルにより各人物属性識別用モデルを作成するようにした場合には、主成分分析により次元圧縮を行い、この圧縮された次元の空間上に拡がるデータの分布形状を、ガウス混合モデルにより表現することが可能となる。このため、例えば、顔情報の場合には、眼鏡をかけているか否か、髭があるか否かといった様々な顔に対応することが可能となる。また、ガウス混合モデルを用いて尤度を算出するので、この尤度を同一人物について複数フレームで算出すれば、後述するように複数フレームでの尤度の統合もベイズの法則により容易に実現可能となる。
【００３４】
そして、上述したガウス混合モデルにより各人物属性識別用モデルを作成するようにした場合において、人物の属性の識別結果を示す情報を算出する際には、複数の尤度をベイズの定理により統合することが望ましい。
【００３５】
このように複数の尤度をベイズの定理により統合するようにした場合には、性別や年齢等の人物属性を識別するための別の要素（顔情報以外の情報）が得られたときに、この要素から算出される尤度を容易に統合することができる枠組みを構築することが可能となる。
【００３６】
また、前述したガウス混合モデルにより各人物属性識別用モデルを作成するようにした場合において、同一人物が検出された複数のフレームでそれぞれ算出された尤度をベイズの定理により統合することにより、複数のフレームでの人物の属性の識別結果をトータルした情報を算出することが望ましい。
【００３７】
このように複数のフレームで算出された尤度をベイズの定理により統合するようにした場合には、人物属性の識別精度を、より一層向上させることが可能となる。
【００３８】
さらに、前述したガウス混合モデルにより各人物属性識別用モデルを作成するようにした場合において、ベイズの定理により尤度を統合する際に、事前確率を用いることが望ましい。
【００３９】
ここで、「事前確率」は、実環境において統計を取ることにより求めることができる。
【００４０】
このように事前確率を考慮した統合を行う場合には、実環境での識別精度を向上させることが可能となる。
【００４１】
また、以上に述べた本発明の人物属性識別方法を実現するシステムとして、以下のような本発明の人物属性識別システムが挙げられる。
【００４２】
すなわち、本発明は、カメラで撮影された人物の性別および／または年齢を含む人物属性を識別する人物属性識別システムであって、人物の属性を識別するための顔用データを含む複数種類の人物属性識別用データが識別されるカテゴリに含まれるデータの特徴を示す人物属性識別用モデルを、各人物属性識別用データ毎に少なくとも１つずつ記憶する人物属性識別用モデル記憶手段と、カメラで人物を撮影して得られた人物属性識別処理対象のフレーム画像から複数種類の人物属性識別用データをそれぞれ作成する処理を行う人物属性識別用データ作成処理手段と、人物属性識別用モデル記憶手段に記憶された対応する各人物属性識別用モデルを用いて、人物属性識別用データ作成処理手段により作成した各人物属性識別用データが、いずれのカテゴリに含まれるデータであるかということについての確からしさを指標するための尤度、帰属度合い、確率、割合、またはこれらに類する指標値を、各人物属性識別用データ毎に個別に算出する処理を行う指標値算出処理手段と、この指標値算出処理手段により各人物属性識別用データ毎に個別に算出した複数の指標値を統合することにより、人物の属性の識別結果を示す情報を算出する処理を行う識別結果情報算出処理手段とを備えたことを特徴とするものである。
【００４３】
このような本発明の人物属性識別システムにおいては、前述した本発明の人物属性識別方法で得られる作用・効果がそのまま得られ、これにより前記目的が達成される。
【００４４】
また、前述した人物属性識別システムにおいて、人物属性識別用モデル記憶手段には、人物属性識別用モデルとして、顔用データが識別される男性のカテゴリに含まれるデータの特徴を示す顔用の男モデルと、顔用データが識別される女性のカテゴリに含まれるデータの特徴を示す顔用の女モデルとが記憶され、指標値算出処理手段は、顔用の男モデルを用いて、フレーム画像から作成した顔用データが、男性のカテゴリに含まれるデータであることについての確からしさを示す指標値を算出するとともに、顔用の女モデルを用いて、フレーム画像から作成した顔用データが、女性のカテゴリに含まれるデータであることについての確からしさを示す指標値を算出する処理を行う構成とされていることが望ましい。
【００４５】
さらに、前述した人物属性識別システムにおいて、人物属性識別用データには、顔用データに加え、髪型用データが含まれ、人物属性識別用モデル記憶手段には、人物属性識別用モデルとして、髪型用データが識別される男性のカテゴリに含まれるデータの特徴を示す髪型用の男モデルと、髪型用データが識別される女性のカテゴリに含まれるデータの特徴を示す髪型用の女モデルとが記憶され、指標値算出処理手段は、髪型用の男モデルを用いて、フレーム画像から作成した髪型用データが、男性のカテゴリに含まれるデータであることについての確からしさを示す指標値を算出するとともに、髪型用の女モデルを用いて、フレーム画像から作成した髪型用データが、女性のカテゴリに含まれるデータであることについての確からしさを示す指標値を算出する処理を行う構成とされていることが望ましい。
【００４６】
そして、前述した人物属性識別システムにおいて、人物属性識別用データには、顔用データに加え、ネクタイを締めているか否かを識別するためのネクタイ用データが含まれ、人物属性識別用モデル記憶手段には、人物属性識別用モデルとして、ネクタイ用データが識別されるネクタイありのカテゴリに含まれるデータの特徴を示すネクタイモデルと、ネクタイ用データが識別されるネクタイ無しのカテゴリに含まれるデータの特徴を示す非ネクタイモデルとが記憶され、指標値算出処理手段は、ネクタイモデルを用いて、フレーム画像から作成したネクタイ用データが、ネクタイありのカテゴリに含まれるデータであることについての確からしさを示す指標値を算出するとともに、非ネクタイモデルを用いて、フレーム画像から作成したネクタイ用データが、ネクタイ無しのカテゴリに含まれるデータであることについての確からしさを示す指標値を算出する処理を行う構成とされていることが望ましい。
【００４７】
また、前述した人物属性識別システムにおいて、人物属性識別用データには、顔用データに加え、胸あきのある服を着ているか否かを識別するためのデコルテ用データが含まれ、人物属性識別用モデル記憶手段には、人物属性識別用モデルとして、デコルテ用データが識別される胸あきありのカテゴリに含まれるデータの特徴を示すデコルテモデルと、デコルテ用データが識別される胸あき無しのカテゴリに含まれるデータの特徴を示す非デコルテモデルとが記憶され、指標値算出処理手段は、デコルテモデルを用いて、フレーム画像から作成したデコルテ用データが、デコルテありのカテゴリに含まれるデータであることについての確からしさを示す指標値を算出するとともに、非デコルテモデルを用いて、フレーム画像から作成したデコルテ用データが、デコルテ無しのカテゴリに含まれるデータであることについての確からしさを示す指標値を算出する処理を行う構成とされていることが望ましい。
【００４８】
さらに、前述した髪型用データに対して髪型用の男モデルと髪型用の女モデルとを用意して人物属性を識別する構成とした場合において、様々な環境で撮影された画像から抽出した髪色情報、非髪色情報、肌色情報、および非肌色情報を用いてそれぞれ作成された髪色モデル、非髪色モデル、肌色モデル、および非肌色モデルを記憶する髪色モデル記憶手段、非髪色モデル記憶手段、肌色モデル記憶手段、および非肌色モデル記憶手段と、人物属性識別処理対象のフレーム画像から検出した人物の肌色情報を用いて、肌色モデル記憶手段に記憶された肌色モデルの更新処理を行う肌色モデル更新処理手段とを備え、人物属性識別用データ作成処理手段は、人物属性識別処理対象のフレーム画像から髪型用データを作成する際には、髪色モデル記憶手段に記憶された髪色モデル、非髪色モデル記憶手段に記憶された非髪色モデル、肌色モデル記憶手段に記憶された更新後の肌色モデル、および非肌色モデル記憶手段に記憶された非肌色モデルを用いて、人物属性識別処理対象のフレーム画像を構成する各画素が髪部分か否かを推定することにより髪型を抽出する処理を行う構成とされていることが望ましい。
【００４９】
なお、肌色モデル更新処理手段のみならず、非肌色モデル更新処理手段も設け、非肌色モデルについても、人物属性識別処理対象のフレーム画像から検出した人物の非肌色情報（例えば、服装部分の色情報等）を用いて更新を行い、人物属性識別用データ作成処理手段により、髪色モデル、非髪色モデル、更新後の肌色モデル、および更新後の非肌色モデルを用いて、髪型用データを作成する構成としてもよい。
【００５０】
そして、前述したネクタイ用データに対してネクタイモデルと非ネクタイモデルとを用意して人物属性を識別する構成とした場合において、人物属性識別用データ作成処理手段は、人物属性識別処理対象のフレーム画像からネクタイ用データを作成する際には、輪郭抽出を行ってエッジ画像を作成する処理を行う構成とされていることが望ましい。
【００５１】
また、前述したデコルテ用データに対してデコルテモデルと非デコルテモデルとを用意して人物属性を識別する構成とした場合において、様々な環境で撮影された画像から抽出した肌色情報および非肌色情報を用いてそれぞれ作成された肌色モデルおよび非肌色モデルを記憶する肌色モデル記憶手段および非肌色モデル記憶手段と、人物属性識別処理対象のフレーム画像から検出した人物の肌色情報を用いて、肌色モデル記憶手段に記憶された肌色モデルの更新処理を行う肌色モデル更新処理手段とを備え、人物属性識別用データ作成処理手段は、人物属性識別処理対象のフレーム画像からデコルテ用データを作成する際には、肌色モデル記憶手段に記憶された更新後の肌色モデルおよび非肌色モデル記憶手段に記憶された非肌色モデルを用いて、人物属性識別処理対象のフレーム画像を構成する各画素が肌色部分か否かを推定することにより肌色部分を抽出する処理を行う構成とされていることが望ましい。
【００５２】
なお、肌色モデル更新処理手段のみならず、非肌色モデル更新処理手段も設け、非肌色モデルについても、人物属性識別処理対象のフレーム画像から検出した人物の非肌色情報（例えば、服装部分の色情報等）を用いて更新を行い、人物属性識別用データ作成処理手段により、更新後の肌色モデルおよび更新後の非肌色モデルを用いて、デコルテ用データを作成する構成としてもよい。
【００５３】
さらに、以上に述べた人物属性識別システムにおいて、各人物属性識別用モデルは、各人物属性識別用データが識別されるカテゴリ毎に、事前学習として多くのサンプルデータを用いて主成分分析による特徴抽出を行った後、カテゴリに含まれるデータの分布形状をガウス混合モデルにより表現して構築された学習モデルであり、指標値算出処理手段は、人物属性識別用データ作成処理手段により作成された顔用データを含む複数種類の人物属性識別用データに基づき、ガウス混合モデルにより構築された各人物属性識別用モデルを用いて、カテゴリ毎に尤度を算出する処理を行う構成とされていることが望ましい。
【００５４】
そして、上述したガウス混合モデルにより各人物属性識別用モデルを作成した構成とする場合において、識別結果情報算出処理手段は、指標値算出処理手段により算出された複数の尤度をベイズの定理により統合する処理を行う構成とされていることが望ましい。
【００５５】
また、前述したガウス混合モデルにより各人物属性識別用モデルを作成した構成とする場合において、同一人物が検出された複数のフレームでそれぞれ算出された尤度をベイズの定理により統合することにより、複数のフレームでの人物の属性の識別結果をトータルした情報を算出する処理を行う識別結果トータル情報算出処理手段を備えていることが望ましい。
【００５６】
さらに、前述したガウス混合モデルにより各人物属性識別用モデルを作成した構成とする場合において、識別結果情報算出処理手段は、ベイズの定理により尤度を統合する際に、事前確率を用いる処理を行う構成とされていることが望ましい。
【００５７】
そして、前述したガウス混合モデルにより各人物属性識別用モデルを作成した構成とする場合において、識別結果トータル情報算出処理手段は、ベイズの定理により尤度を統合する際に、事前確率を用いる処理を行う構成とされていることが望ましい。
【発明の効果】
【００５８】
以上に述べたように本発明によれば、顔用データを含む複数種類の人物属性識別用データに対して、それぞれ人物属性識別用モデルを用意し、これらの各人物属性識別用モデルを用いて尤度等の指標値を個別に算出した後、得られた複数の指標値を統合するので、従来のように顔情報だけを用いて人物属性の識別を行う場合に比べ、識別精度を向上させることができるうえ、単に複数種類の人物属性識別用データに基づく個別の識別結果を集めるのではなく、それらの個別の識別結果として得られた複数の指標値を統合することにより人物属性の識別結果を示す情報を算出するので、顔情報を含む複数の情報を効果的に統合させることができ、高い精度の識別を実現することができるという効果がある。
【発明を実施するための最良の形態】
【００５９】
以下に本発明の一実施形態について図面を参照して説明する。図１には、本実施形態の人物属性識別システム１０の全体構成が示されている。本実施形態では、人物属性識別システム１０は、専ら人物の性別を識別する処理を行う性別識別システムであるとものとして説明を行う。また、図２には、人物属性識別システム１０による性別識別処理の全体の流れがフローチャートで示され、図３には、人物属性識別システム１０による各人物属性識別用データについての個別識別処理の流れがフローチャートで示され、図４には、髪色判定処理を含む髪型前処理の流れがフローチャートで示されている。さらに、図５は、正規化処理の説明図であり、図６は、髪型前処理における髪型抽出画像の作成処理の説明図であり、図７は、ネクタイ前処理におけるエッジ画像の作成処理の説明図であり、図８は、デコルテ前処理における肌色抽出画像の作成処理の説明図である。
【００６０】
図１において、人物属性識別システム１０は、性別識別対象となる人物を撮影するカメラ２０と、性別識別に関する各種処理を行う処理手段３０と、この処理手段３０に接続された人物属性識別用モデル記憶手段５０、髪色モデル記憶手段６０、非髪色モデル記憶手段７０、肌色モデル記憶手段８０、非肌色モデル記憶手段９０、および識別結果記憶手段９５とを備えている。
【００６１】
カメラ２０は、例えば、ＣＣＤカメラやＣＭＯＳカメラ等のカラーカメラである。
【００６２】
処理手段３０は、フレーム画像取込処理手段３１と、人物検出処理手段３２と、正規化処理手段３３と、肌色モデル更新処理手段３４と、非肌色モデル更新処理手段３５と、人物属性識別用データ作成処理手段３６と、指標値算出処理手段３７と、識別結果情報算出処理手段３８と、識別結果トータル情報算出処理手段３９と、識別結果出力処理手段４０とを含んで構成されている。
【００６３】
フレーム画像取込処理手段３１は、カメラ２０で撮影されてカメラ２０から送られてくるフレーム画像を処理手段３０に取り込む処理を行うものである。このフレーム画像取込処理手段３１により取り込まれるフレーム画像は、性別識別対象となる人物だけではなく背景画像も含んだカラーフレーム画像である。
【００６４】
人物検出処理手段３２は、フレーム画像取込処理手段３１により取り込まれたカラーフレーム画像の中から、背景差分、フレーム差分、テンプレートマッチング等の既存の手法により、人物を抽出する処理を行うものである。この人物検出処理手段３２による処理で得られる画像は、図５の左側部分に示すような背景を取り除いた人物画像１００である。
【００６５】
正規化処理手段３３は、人物検出処理手段３２による処理で得られた人物画像１００を正規化する処理、すなわち人物画像１００に写った人物の大きさ（ピクセル数）にかかわらず、その人物を一定の大きさにする処理を行うものである。この際、正規化処理手段３３は、図５の左側部分に示す人物画像１００において、人物の目や口が含まれる正規化対象顔領域画像１０１を定め、この正規化対象顔領域画像１０１が、ある一定の大きさ（ここでは、横方向をＷピクセル、縦方向をＨピクセルとする。）となるように変換処理を行う。より具体的には、例えば、Ｗ×Ｈ＝３２ピクセル×３２ピクセル等となるように変換する。そして、正規化処理手段３３により人物画像１００を正規化して得られた画像を、図５の右側部分に示す正規化画像２００とする。この正規化画像２００においては、正規化する前の人物画像１００の中の正規化対象顔領域画像１０１に対応する部分が、Ｗピクセル×Ｈピクセルの大きさの顔狭領域画像２０１となっている。
【００６６】
また、正規化処理手段３３は、正規化画像２００の中から、図中の点線で示された顔狭領域画像２０１、図中の一点鎖線で示された顔広領域画像２０２、図中の点線で示された服装領域画像２０３を切り出す処理を行う。
【００６７】
さらに、正規化処理手段３３は、正規化画像２００の中から、後述する肌色モデル更新処理手段３４による更新処理で用いられる検出人物の肌色情報を抽出するための肌色領域画像２０４として、例えば、図中の実線で示された頬の部分の領域画像を切り取るとともに、後述する非肌色モデル更新処理手段３５による更新処理で用いられる検出人物の非肌色情報を抽出するための非肌色領域画像２０５として、例えば、図中の実線で示された胴の部分の領域画像を切り取る処理を行う。
【００６８】
そして、これらの正規化画像２００の中から切り出される顔広領域画像２０２、服装領域画像２０３、肌色領域画像２０４、および非肌色領域画像２０５の切出位置は、切り出す大きさも含め、顔狭領域画像２０１の切出位置に対して相対的に定められている。例えば、顔狭領域画像２０１がＷ×Ｈ＝３２ピクセル×３２ピクセルの場合に、顔広領域画像２０２については、その大きさを６４ピクセル×６４ピクセルとし、その底辺位置を顔狭領域画像２０１の底辺位置よりも８ピクセル下げ、服装領域画像２０３については、その大きさを６４ピクセル×６４ピクセルとし、その上辺位置を顔広領域画像２０２の底辺位置よりも１６ピクセル下げる等である。
【００６９】
肌色モデル更新処理手段３４は、検出人物の肌色情報を用いて肌色モデル記憶手段８０に記憶された肌色モデル８１の更新処理を行うものである。この肌色モデル８１は、本実施形態では、後述するようにガウス混合モデルにより構築されている。より具体的には、肌色モデル更新処理手段３４は、図５の肌色領域画像２０４を構成する各画素の肌色情報を用いてガウス混合モデルを再構築する。
【００７０】
非肌色モデル更新処理手段３５は、検出人物の非肌色情報を用いて非肌色モデル記憶手段９０に記憶された非肌色モデル９１の更新処理を行うものである。この非肌色モデル９１は、本実施形態では、肌色モデル８１と同様に、ガウス混合モデルにより構築されている。より具体的には、非肌色モデル更新処理手段３５は、図５の非肌色領域画像２０５を構成する各画素の非肌色情報を用いてガウス混合モデルを再構築する。
【００７１】
人物属性識別用データ作成処理手段３６は、人物の属性を識別するための要素情報として、本実施形態では、男性の顔か女性の顔かを識別するための顔用データ、男性の髪型か女性の髪型かを識別するための髪型用データ、ネクタイをしめているか否かを識別するためのネクタイ用データ、および胸あきのある服を着ているか否かを識別するためのデコルテ用データの４種類の人物属性識別用データを作成する処理を行うものである。
【００７２】
より具体的には、人物属性識別用データ作成処理手段３６は、顔用データとしての顔基礎データおよび顔圧縮データをそれぞれ作成する顔基礎データ作成処理手段３６Ａおよび顔圧縮データ作成処理手段３６Ｂと、髪型用データとしての髪型基礎データおよび髪型圧縮データをそれぞれ作成する髪型基礎データ作成処理手段３６Ｃおよび髪型圧縮データ作成処理手段３６Ｄと、ネクタイ用データとしてのネクタイ基礎データおよびネクタイ圧縮データをそれぞれ作成するネクタイ基礎データ作成処理手段３６Ｅおよびネクタイ圧縮データ作成処理手段３６Ｆと、デコルテ用データとしてのデコルテ基礎データおよびデコルテ圧縮データをそれぞれ作成するデコルテ基礎データ作成処理手段３６Ｇおよびデコルテ圧縮データ作成処理手段３６Ｈとを備えて構成されている。
【００７３】
顔基礎データ作成処理手段３６Ａは、顔狭領域画像２０１（図５参照）について顔前処理（後述する図３のステップＳ６０３）を施して顔基礎データ５０１を作成する処理を行うものである。この顔前処理では、カラーフレーム画像から切り出された顔狭領域画像２０１のデータを、カメラ２０や撮影環境の違いを吸収するため、モノクロ画像に変換した後、画像中の各階調の分布を略等しい値にする濃度補正法であるヒストグラム平滑化の処理（画像中の各画素の明るさを２５６階調に略均一に分散させる処理）を行い、Ｗ×Ｈ次元（例えば、３２×３２＝１０２４次元）のベクトルを作成する。このベクトルデータが、顔基礎データ５０１である（図３参照）。
【００７４】
顔圧縮データ作成処理手段３６Ｂは、顔基礎データ５０１（図３参照）について主成分分析（ＰＣＡ：プリンシパル・コンポーネント・アナリシス）を行い（後述する図３のステップＳ６０７）、顔圧縮データ６０１を作成する処理を行うものである。このＰＣＡ処理では、例えば、３２×３２＝１０２４次元のベクトルデータである顔基礎データ５０１を、予め多数のサンプルデータを用いて主成分分析を行って求められている主成分の軸（例えば、５０本の軸）で定まる圧縮された次元（例えば、５０次元）の空間上における座標値を有するベクトルデータ（例えば、５０次元のベクトルデータ）に変換する。この低次元のベクトルデータが、顔圧縮データ６０１である（図３参照）。従って、顔圧縮データ６０１の各次元の要素値（各軸方向の座標値）は、各主成分の重み、すなわち各主成分の軸方向を向いた基底ベクトルに対する重みとして定まるスカラー量である。
【００７５】
髪型基礎データ作成処理手段３６Ｃは、顔広領域画像２０２（図５、図６参照）について髪型前処理（後述する図３のステップＳ６０４）を施して髪型基礎データ５０２を作成する処理を行うものである。この髪型前処理では、先ず、顔広領域画像２０２から髪部分を抽出して図６に示すような髪型抽出画像４００を作成する。この髪部分の抽出処理を行う際には、顔広領域画像２０２から顔狭領域画像２０１を取り除いた後、顔狭領域画像２０１を取り除いた残りの部分において、髪色部分を抽出する。次に、得られた髪型抽出画像４００について、顔用データの場合と同様に、モノクロ画像に変換した後、ヒストグラム平滑化処理を行うことにより、カメラ２０や撮影環境の影響を除去し、Ｗ×Ｈ次元（例えば、３２×３２＝１０２４次元）のベクトルを作成する。なお、髪型がわかる程度に画像を縮小し、より低次元のベクトルを作成してもよい。このようにして作成されたベクトルが、髪型基礎データ５０２である（図３参照）。
【００７６】
髪型圧縮データ作成処理手段３６Ｄは、髪型基礎データ５０２（図３参照）について主成分分析（ＰＣＡ）を行い（後述する図３のステップＳ６０８）、髪型圧縮データ６０２を作成する処理を行うものである。このＰＣＡ処理では、顔基礎データ５０１のＰＣＡ処理の場合（図３のステップＳ６０７）と同様に、次元圧縮処理を行い、髪型基礎データ５０２に対して低次元化されたベクトルデータである髪型圧縮データ６０２を作成する。
【００７７】
ネクタイ基礎データ作成処理手段３６Ｅは、服装領域画像２０３（図５、図７参照）についてネクタイ前処理（後述する図３のステップＳ６０５）を施してネクタイ基礎データ５０３を作成する処理を行うものである。このネクタイ前処理では、服装領域画像２０３をモノクロ画像に変換した後、１次微分（グラディエント）や２次微分（ラプラシアン）等の輪郭抽出フィルタ処理を行い、図７に示すようなエッジ画像４１０を作成する。このエッジ画像４１０をベクトルで表したものが、ネクタイ／非ネクタイの識別のために用いられるネクタイ基礎データ５０３である（図３参照）。
【００７８】
ネクタイ圧縮データ作成処理手段３６Ｆは、ネクタイ基礎データ５０３（図３参照）について主成分分析（ＰＣＡ）を行い（後述する図３のステップＳ６０９）、ネクタイ圧縮データ６０３を作成する処理を行うものである。このＰＣＡ処理では、顔基礎データ５０１のＰＣＡ処理の場合（図３のステップＳ６０７）と同様に、次元圧縮処理を行い、ネクタイ基礎データ５０３に対して低次元化されたベクトルデータであるネクタイ圧縮データ６０３を作成する。
【００７９】
デコルテ基礎データ作成処理手段３６Ｇは、服装領域画像２０３（図５、図８参照）についてデコルテ前処理（後述する図３のステップＳ６０６）を施してデコルテ基礎データ５０４を作成する処理を行うものである。このデコルテ前処理では、服装領域画像２０３から肌色抽出を行い、図８に示すような肌色抽出画像４２０を作成する。この肌色抽出画像４２０をベクトルで表したものが、デコルテ／非デコルテの識別のために用いられるデコルテ基礎データ５０４である（図３参照）。
【００８０】
デコルテ圧縮データ作成処理手段３６Ｈは、デコルテ基礎データ５０４（図３参照）について主成分分析（ＰＣＡ）を行い（後述する図３のステップＳ６１０）、デコルテ圧縮データ６０４を作成する処理を行うものである。このＰＣＡ処理では、顔基礎データ５０１のＰＣＡ処理の場合（図３のステップＳ６０７）と同様に、次元圧縮処理を行い、デコルテ基礎データ５０４に対して低次元化されたベクトルデータであるデコルテ圧縮データ６０４を作成する。
【００８１】
指標値算出処理手段３７は、人物属性識別用モデル記憶手段５０に記憶されている対応する各人物属性識別用モデル５１〜５８を用いて、人物属性識別用データ作成処理手段３６により作成した各人物属性識別用データ５０１〜５０４（または６０１〜６０４と考えてもよい。）が、いずれのカテゴリに含まれるデータであるかということについての確からしさを指標するための指標値として、尤度を各人物属性識別用データ毎（本実施形態では、各人物属性識別用データが識別される各カテゴリ毎となる。）に個別に算出する処理を行うものである。この際、本実施形態では、後述する如く、ガウス混合モデルにより人物属性識別用モデル５１〜５８を構築するので、各尤度Ｐｒは、次の式（１）に基づき算出される。なお、ガウス混合モデルは、代表ベクトルおよび分散等で規定されるガウス分布（正規分布）が複数集合して形成されるガウス混合分布により表現されるモデルである。また、指標値算出処理手段３７は、算出した各尤度を識別結果記憶手段９５に保存する処理を行う。
【００８２】
Ｐｒ＝Σi｛πi×ｐi（Ｘ；θ）｝ （ｉ＝１〜ｇ） ・・・・・・・・（１）
【００８３】
ここで、ｉは、各ガウス分布に付された番号であり、ｇは、ガウス混合分布を形成するガウス分布の個数であり、Σiは、ｉ＝１〜ｇの和であり、πiは、各ガウス分布の重みであり、Ｘは、入力するデータ（人物属性識別用データとしての各圧縮データ６０１〜６０４）であり、ｐi（Ｘ；θ）は、Ｘが各ガウス分布から出力される確率であり、θは、各ガウス分布を表すパラメータ（平均値、分散共分散行列）である。
【００８４】
より具体的には、指標値算出処理手段３７は、男性顔尤度算出処理手段３７Ａと、女性顔尤度算出処理手段３７Ｂと、男性髪型尤度算出処理手段３７Ｃと、女性髪型尤度算出処理手段３７Ｄと、ネクタイ尤度算出処理手段３７Ｅと、非ネクタイ尤度算出処理手段３７Ｆと、デコルテ尤度算出処理手段３７Ｇと、非デコルテ尤度算出処理手段３７Ｈとを備えて構成されている。
【００８５】
男性顔尤度算出処理手段３７Ａは、人物属性識別用モデル記憶手段５０に記憶されている顔用の男モデル５１を用いて、顔圧縮データ６０１（従って、顔基礎データ５０１）が、男性の顔のカテゴリに含まれるデータであること（男性の顔が写っている画像から作成されたデータであること）についての確からしさを示す指標値である男性顔尤度７０１（図３参照）を算出する処理を行うものである。
【００８６】
女性顔尤度算出処理手段３７Ｂは、人物属性識別用モデル記憶手段５０に記憶されている顔用の女モデル５２を用いて、顔圧縮データ６０１（従って、顔基礎データ５０１）が、女性の顔のカテゴリに含まれるデータであること（女性の顔が写っている画像から作成されたデータであること）についての確からしさを示す指標値である女性顔尤度７０２（図３参照）を算出する処理を行うものである。
【００８７】
男性髪型尤度算出処理手段３７Ｃは、人物属性識別用モデル記憶手段５０に記憶されている髪型用の男モデル５３を用いて、髪型圧縮データ６０２（従って、髪型基礎データ５０２）が、男性の髪型のカテゴリに含まれるデータであること（男性の髪型が写っている画像から作成されたデータであること）についての確からしさを示す指標値である男性髪型尤度７０３（図３参照）を算出する処理を行うものである。
【００８８】
女性髪型尤度算出処理手段３７Ｄは、人物属性識別用モデル記憶手段５０に記憶されている髪型用の女モデル５４を用いて、髪型圧縮データ６０２（従って、髪型基礎データ５０２）が、女性の髪型のカテゴリに含まれるデータであること（女性の髪型が写っている画像から作成されたデータであること）についての確からしさを示す指標値である女性髪型尤度７０４（図３参照）を算出する処理を行うものである。
【００８９】
ネクタイ尤度算出処理手段３７Ｅは、人物属性識別用モデル記憶手段５０に記憶されているネクタイモデル５５を用いて、ネクタイ圧縮データ６０３（従って、ネクタイ基礎データ５０３）が、ネクタイをしめているカテゴリに含まれるデータであること（ネクタイをしめている人物が写っている画像から作成されたデータであること）についての確からしさを示す指標値であるネクタイ尤度７０５（図３参照）を算出する処理を行うものである。
【００９０】
非ネクタイ尤度算出処理手段３７Ｆは、人物属性識別用モデル記憶手段５０に記憶されている非ネクタイモデル５６を用いて、ネクタイ圧縮データ６０３（従って、ネクタイ基礎データ５０３）が、ネクタイをしめていないカテゴリに含まれるデータであること（ネクタイをしめていない人物が写っている画像から作成されたデータであること）についての確からしさを示す指標値である非ネクタイ尤度７０６（図３参照）を算出する処理を行うものである。
【００９１】
デコルテ尤度算出処理手段３７Ｇは、人物属性識別用モデル記憶手段５０に記憶されているデコルテモデル５７を用いて、デコルテ圧縮データ６０４（従って、デコルテ基礎データ５０４）が、胸あきのある服（デコルテ）を着ているカテゴリに含まれるデータであること（胸あきのある服を着ている人物が写っている画像から作成されたデータであること）についての確からしさを示す指標値であるデコルテ尤度７０７（図３参照）を算出する処理を行うものである。
【００９２】
非デコルテ尤度算出処理手段３７Ｈは、人物属性識別用モデル記憶手段５０に記憶されている非デコルテモデル５８を用いて、デコルテ圧縮データ６０４（従って、デコルテ基礎データ５０４）が、胸あきの無い服（非デコルテ）を着ているカテゴリに含まれるデータであること（胸あきの無い服を着ている人物が写っている画像から作成されたデータであること）についての確からしさを示す指標値である非デコルテ尤度７０８（図３参照）を算出する処理を行うものである。
【００９３】
識別結果情報算出処理手段３８は、次の式（２）に基づき、指標値算出処理手段３７により各人物属性識別用データ毎（ここでは、各人物属性識別用データが識別される各カテゴリ毎）に個別に算出した複数（ここでは、８個）の尤度７０１〜７０８（図３参照）を統合することにより、人物の属性（ここでは、性別）の識別結果を示す情報として、男の確率と女の確率との比（または比の値）を算出する処理を行うものである。なお、次の式（２）は、顔、髪型、ネクタイ、デコルテの各要素情報がそれぞれ独立であると仮定し、ベイズの定理に当てはめることにより求めた式である。また、識別結果情報算出処理手段３８は、算出した男の確率と女の確率との比（または比の値）を識別結果記憶手段９５に保存する処理を行う。
【００９４】
男の確率：女の確率
＝Ｐｒ[男]×Ｐｒ[Ｘ＿face｜Ｍ＿m＿face]×Ｐｒ[Ｘ＿hair｜Ｍ＿m＿hair]
×（Ｐｒ[tie｜男]・Ｐｒ[Ｘ＿tie｜Ｍ＿tie]
＋Ｐｒ[non-tie｜男]・Ｐｒ[Ｘ＿tie｜Ｍ＿non-tie]）
×（Ｐｒ[dec｜男]・Ｐｒ[Ｘ＿dec｜Ｍ＿dec]
＋Ｐｒ[non-dec｜男]・Ｐｒ[Ｘ＿dec｜Ｍ＿non-dec]）
：Ｐｒ[女]×Ｐｒ[Ｘ＿face｜Ｍ＿ｆ＿face]×Ｐｒ[Ｘ＿hair｜Ｍ＿ｆ＿hair]
×（Ｐｒ[tie｜女]・Ｐｒ[Ｘ＿tie｜Ｍ＿tie]
＋Ｐｒ[non-tie｜女]・Ｐｒ[Ｘ＿tie｜Ｍ＿non-tie]）
×（Ｐｒ[dec｜女]・Ｐｒ[Ｘ＿dec｜Ｍ＿dec]
＋Ｐｒ[non-dec｜女]・Ｐｒ[Ｘ＿dec｜Ｍ＿non-dec]）
・・・・・・・（２）
【００９５】
ここで、Ｘ＿faceは、顔圧縮データ作成処理手段３６Ｂにより顔基礎データ５０１について主成分分析（ＰＣＡ）を行って作成された顔圧縮データ６０１である（図３参照）。Ｍ＿ｍ＿faceは、顔用の男モデル５１であり、Ｍ＿ｆ＿faceは、顔用の女モデル５２であり、Ｐｒ[Ｘ＿face｜Ｍ＿ｍ＿face]およびＰｒ[Ｘ＿face｜Ｍ＿ｆ＿face]は、Ｘ＿faceをＭ＿ｍ＿faceおよびＭ＿ｆ＿faceにそれぞれ入力して得られる男性顔尤度７０１および女性顔尤度７０２である（図３参照）。
【００９６】
同様に、Ｘ＿hairは、髪型圧縮データ作成処理手段３６Ｄにより髪型基礎データ５０２について主成分分析（ＰＣＡ）を行って作成された髪型圧縮データ６０２である（図３参照）。Ｍ＿ｍ＿hairは、髪型用の男モデル５３であり、Ｍ＿ｆ＿hairは、髪型用の女モデル５４であり、Ｐｒ[Ｘ＿hair｜Ｍ＿ｍ＿hair]およびＰｒ[Ｘ＿hair｜Ｍ＿ｆ＿hair]は、Ｘ＿hairをＭ＿ｍ＿hairおよびＭ＿ｆ＿hairにそれぞれ入力して得られる男性髪型尤度７０３および女性髪型尤度７０４である（図３参照）。
【００９７】
また、Ｘ＿tieは、ネクタイ圧縮データ作成処理手段３６Ｆによりネクタイ基礎データ５０３について主成分分析（ＰＣＡ）を行って作成されたネクタイ圧縮データ６０３である（図３参照）。Ｍ＿tieは、ネクタイモデル５５であり、Ｍ＿non-tieは、非ネクタイモデル５６であり、Ｐｒ[Ｘ＿tie｜Ｍ＿tie]およびＰｒ[Ｘ＿tie｜Ｍ＿non-tie]は、Ｘ＿tieをＭ＿tieおよびＭ＿non-tieにそれぞれ入力して得られるネクタイ尤度７０５および非ネクタイ尤度７０６である（図３参照）。
【００９８】
同様に、Ｘ＿decは、デコルテ圧縮データ作成処理手段３６Ｈによりデコルテ基礎データ５０４について主成分分析（ＰＣＡ）を行って作成されたデコルテ圧縮データ６０４である（図３参照）。Ｍ＿decは、デコルテモデル５７であり、Ｍ＿non-decは、非デコルテモデル５８であり、Ｐｒ[Ｘ＿dec｜Ｍ＿dec]およびＰｒ[Ｘ＿dec｜Ｍ＿non-dec]）は、Ｘ＿decをＭ＿decおよびＭ＿non-decにそれぞれ入力して得られるデコルテ尤度７０７および非デコルテ尤度７０８である（図３参照）。
【００９９】
さらに、Ｐｒ[男]は、男の出現確率であり、Ｐｒ[tie｜男]は、男のときにネクタイをしている確率であり、Ｐｒ[non-tie｜男]は、男のときにネクタイをしていない確率であり、Ｐｒ[dec｜男]は、男のときにデコルテである（胸あきありの）確率であり、Ｐｒ[non-dec｜男]は、男のときにデコルテではない（胸あき無しの）確率であり、Ｐｒ[女]は、女の出現確率であり、Ｐｒ[tie｜女]は、女のときにネクタイをしている確率であり、Ｐｒ[non-tie｜女]は、女のときにネクタイをしていない確率であり、Ｐｒ[dec｜女]は、女のときにデコルテである（胸あきありの）確率であり、Ｐｒ[non-dec｜女]は、女のときにデコルテではない（胸あき無しの）確率である。これらは、事前確率であり、実環境において統計をとることにより求める。
【０１００】
識別結果トータル情報算出処理手段３９は、同一人物が複数のフレームで連続して検出されたときに、それらの複数のフレームでの人物の属性（ここでは、性別）の識別結果をトータルした情報を算出する処理を行うものである。より具体的には、識別結果トータル情報算出処理手段３９は、現在処理対象とされているフレームから得られたデータと、識別結果記憶手段９５に記憶されている前回フレームまでに得られたデータとを用いて、識別結果情報算出処理手段３８により各フレームについて算出された男の確率の積と、各フレームについて算出された女の確率の積との比（または比の値）を算出する処理を行う。例えば、フレーム番号ｎ＝１，２，３，…，Ｎの各フレームで同一人物が検出されたとき、識別結果情報算出処理手段３８により各フレームについて算出された男の確率をＰｍnとし、女の確率をＰｆnとすると、（Ｐｍ1×Ｐｍ2×Ｐｍ3×…×ＰｍN）：（Ｐｆ1×Ｐｆ2×Ｐｆ3×…×ＰｆN）という比、または（Ｐｍ1×Ｐｍ2×Ｐｍ3×…×ＰｍN）／（Ｐｆ1×Ｐｆ2×Ｐｆ3×…×ＰｆN）という比の値（逆数でもよい。）を算出する。また、後者の如く、比の値を算出する場合には、識別結果情報算出処理手段３８により各フレームについて算出された男の確率と女の確率との比の値（逆数でもよい。）についての積を算出すると考えても同じことである。例えば、上記の例では、（Ｐｍ1／Ｐｆ1）×（Ｐｍ2／Ｐｆ2）×（Ｐｍ3／Ｐｆ3）×…×（ＰｍN／ＰｆN）を算出してもよい。なお、ここでいう男の確率Ｐｍn、女の確率Ｐｆnは、必ずしも足して１になる確率（Ｐｍn＋Ｐｆn＝１）を意味するものではなく、両者の値の大小を比較し、いずれの確率がどれぐらい高いのかを相対的に判断することができる値であればよい。また、識別結果トータル情報算出処理手段３９は、算出した男の確率の積と女の確率の積との比（または比の値）、あるいは算出した男の確率と女の確率との比の値（逆数でもよい。）についての積を識別結果記憶手段９５に保存する処理を行う。
【０１０１】
従って、識別結果トータル情報算出処理手段３９は、同一人物が検出された複数のフレーム（ｎ＝１，２，…，Ｎ）でそれぞれ指標値算出処理手段３７により算出された複数（ここでは、１フレームにつき８個で、Ｎフレームの合計では８×Ｎ個となる。）の尤度７０１〜７０８（図３参照）をベイズの定理により統合する処理を行っていることになる。
【０１０２】
識別結果出力処理手段４０は、識別結果情報算出処理手段３８および／または識別結果トータル情報算出処理手段３９による算出結果を、図示されないＣＲＴディスプレイや液晶ディスプレイ等の表示装置の画面上に表示するか、または図示されないプリンタやプロッタ等の出力装置で出力する処理を行うものである。
【０１０３】
人物属性識別用モデル記憶手段５０は、各人物属性識別用データ毎（本実施形態では、各人物属性識別用データが識別される各カテゴリ毎となる。）に作成された人物属性識別用モデルを記憶するものである。これらの人物属性識別用モデルは、各人物属性識別用データが識別される各カテゴリに含まれるデータの特徴を示すものであり、本実施形態では、各カテゴリに含まれる多数のサンプルデータから得られた分布を、それぞれガウス混合モデルにより表現したものである。
【０１０４】
より具体的には、人物属性識別用モデル記憶手段５０には、顔用データ（顔基礎データ５０１、顔圧縮データ６０１）が識別される男性のカテゴリに含まれるデータの特徴を示す顔用の男モデル５１と、顔用データが識別される女性のカテゴリに含まれるデータの特徴を示す顔用の女モデル５２と、髪型用データ（髪型基礎データ５０２、髪型圧縮データ６０２）が識別される男性のカテゴリに含まれるデータの特徴を示す髪型用の男モデル５３と、髪型用データが識別される女性のカテゴリに含まれるデータの特徴を示す髪型用の女モデル５４と、ネクタイ用データ（ネクタイ基礎データ５０３、ネクタイ圧縮データ６０３）が識別されるネクタイありのカテゴリに含まれるデータの特徴を示すネクタイモデル５５と、ネクタイ用データが識別されるネクタイ無しのカテゴリに含まれるデータの特徴を示す非ネクタイモデル５６と、デコルテ用データ（デコルテ基礎データ５０４、デコルテ圧縮データ６０４）が識別される胸あきありのカテゴリに含まれるデータの特徴を示すデコルテモデル５７と、デコルテ用データが識別される胸あき無しのカテゴリに含まれるデータの特徴を示す非デコルテモデル５８とが記憶されている。
【０１０５】
これらの人物属性識別用モデル記憶手段５０に記憶される各モデル５１〜５８は、人物属性識別システム１０の稼働前に事前学習をして作成されるモデルである。この事前学習では、先ず、識別したいカテゴリに含まれる多数のサンプルデータを収集し、主成分分析（ＰＣＡ）を行うことにより、主成分の軸を決定する。例えば、顔用データの場合を例にとると、様々な男と女の顔用データ（人物属性識別システム１０による処理開始後に行わる図３のステップＳ６０３の顔前処理と同様な処理を行って得られる顔基礎データ、すなわち識別対象のフレーム画像からリアルタイム処理で得られる顔基礎データ５０１に対応する多数のサンプルデータ）について主成分分析（ＰＣＡ）を行うことにより、主成分の軸を決定する。この際、主成分として上位成分（例えば、累積寄与率８０％等）を利用し、顔基礎データの次元圧縮を行い、圧縮された低次元の空間を形成する。例えば、顔基礎データ５０１に対応する多数のサンプルデータが、３２×３２＝１０２４次元のベクトルデータである場合には、各主成分の軸方向を向いた基底ベクトルは、同じ１０２４次元のベクトルとなり、この１０２４次元の基底ベクトルが、例えば５０本立つことにより、５０次元に圧縮された空間が形成される。
【０１０６】
そして、この圧縮された次元の空間上に、顔基礎データ５０１に対応する多数のサンプルデータを用いて、男の顔用データおよび女の顔用データの分布を作成する。この分布の作成は、顔基礎データ５０１に対応する多数のサンプルデータのそれぞれについて、各主成分の重み、すなわち各主成分の軸方向を向いた基底ベクトルに対する重みを算出し、これらの重みを各次元の要素値（各軸方向の座標値）とする低次元のベクトル（顔圧縮データ６０１に対応するベクトルデータ）を求めることにより行われる。その後、圧縮された次元の空間上に作成された男の顔用データおよび女の顔用データの分布形状を、ガウス混合モデルにより表現することにより、顔用の男モデル５１および顔用の女モデル５２を作成する。これにより、顔用の女モデル５２を例にとれば、眼鏡をかけている／眼鏡をかけていないといった様々な女性の顔をガウス混合モデルにより表現することが可能となる。髪型用データ、ネクタイ用データ、およびデコルテ用データの場合も、顔用データの場合と同様である。なお、ガウス混合モデルの構築技術自体は、公知技術であり、前述した非特許文献４等に記載されているので、ここでは詳しい説明を省略する。
【０１０７】
髪色モデル記憶手段６０は、髪型前処理（図３のステップＳ６０４の処理）における髪色判定処理（図４、図６参照）で用いられる髪色モデル６１を記憶するものである。
【０１０８】
非髪色モデル記憶手段７０は、髪型前処理（図３のステップＳ６０４の処理）における髪色判定処理（図４、図６参照）で用いられる非髪色モデル７１を記憶するものである。
【０１０９】
肌色モデル記憶手段８０は、髪型前処理（図３のステップＳ６０４の処理）における髪色判定処理（図４、図６参照）およびデコルテ前処理（図３のステップＳ６０６の処理）における肌色抽出処理（図８参照）で用いられる肌色モデル８１を記憶するものである。
【０１１０】
非肌色モデル記憶手段９０は、髪型前処理（図３のステップＳ６０４の処理）における髪色判定処理（図４、図６参照）およびデコルテ前処理（図３のステップＳ６０６の処理）における肌色抽出処理（図８参照）で用いられる非肌色モデル９１を記憶するものである。
【０１１１】
これらの髪色モデル６１、非髪色モデル７１、肌色モデル８１、および非肌色モデル９１は、人物属性識別システム１０の稼働前に事前学習をして作成されるモデルである。この事前学習では、様々な環境の人物カラー画像から髪色、非髪色、肌色、および非肌色を抽出し、ＲＧＢやＨＳＶ等の色素表現系により形成される３次元色空間にサンプルデータを蓄積し、これらのデータの分布形状をガウス混合モデルにより表現する。
【０１１２】
さらに、肌色モデル８１および非肌色モデル９１については、人物属性識別システム１０の稼働前に準備した色データだけではなく、人物属性識別システム１０による処理開始後に検出された人物の色データも加えることにより、より正確な抽出を実現可能としている。具体的には、人物属性識別システム１０による処理開始後に、肌色モデル更新処理手段３４により、現在処理対象となっている最新のフレーム画像から検出された人物の色データ（図５の肌色領域画像２０４を構成する各画素の肌色情報）を加えてガウス混合モデルを再構築する処理（図３のステップＳ６０２）を行うことにより、その人物に適応した肌色モデル８１を作成することができる。同様に、人物属性識別システム１０による処理開始後に、非肌色モデル更新処理手段３５により、現在処理対象となっている最新のフレーム画像から検出された人物の色データ（図５の非肌色領域画像２０５を構成する各画素の非肌色情報）を加えてガウス混合モデルを再構築する処理（図３のステップＳ６０２）を行うことにより、その人物に適応した非肌色モデル９１を作成することができる。
【０１１３】
識別結果記憶手段９５は、指標値算出処理手段３７により各フレームで算出された各尤度７０１〜７０８（図３参照）、および識別結果情報算出処理手段３８により算出された各フレームでの男の確率と女の確率との比（または比の値）、さらには識別結果トータル情報算出処理手段３９により算出された複数フレームでの男の確率の積と女の確率の積との比（または比の値）、あるいは複数フレームでの男の確率と女の確率との比の値（逆数でもよい。）についての積を、検出人物毎に記憶するものである。
【０１１４】
そして、以上において、処理手段３０に含まれる各処理手段３１〜４０は、人物属性識別システム１０を構成する一台または複数台のコンピュータ（パーソナル・コンピュータのみならず、その上位機種のもの、あるいは汎用機ではなく、人物属性識別処理専用装置、パーソナル・コンピュータ以外の電気製品に組み込まれた計算ユニット等も含む。）の内部に設けられた中央演算処理装置（ＣＰＵ）、およびこのＣＰＵの動作手順を規定する一つまたは複数のプログラムにより実現される。
【０１１５】
また、人物属性識別用モデル記憶手段５０、髪色モデル記憶手段６０、非髪色モデル記憶手段７０、肌色モデル記憶手段８０、非肌色モデル記憶手段９０、および識別結果記憶手段９５としては、例えば、ハードディスク、ＲＯＭ、ＥＥＰＲＯＭ、フラッシュ・メモリ、ＲＡＭ、ＭＯ、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭ、ＦＤ、磁気テープ、あるいはこれらの組合せ等を採用することができる。
【０１１６】
このような本実施形態においては、以下のようにして人物属性識別システム１０により人物の性別識別処理が行われる。
【０１１７】
先ず、人物属性識別システム１０を稼働させる前に、事前学習を行い、髪色モデル６１、非髪色モデル７１、肌色モデル８１、および非肌色モデル９１をそれぞれガウス混合モデルにより作成し、髪色モデル記憶手段６０、非髪色モデル記憶手段７０、肌色モデル記憶手段８０、および非肌色モデル記憶手段９０にそれぞれ記憶させるとともに、顔用の男モデル５１、顔用の女モデル５２、髪型用の男モデル５３、髪型用の女モデル５４、ネクタイモデル５５、非ネクタイモデル５６、デコルテモデル５７、および非デコルテモデル５８をそれぞれガウス混合モデルにより作成し、人物属性識別用モデル記憶手段５０に記憶させておく。
【０１１８】
また、事前確率であるＰｒ[男]、Ｐｒ[tie｜男]、Ｐｒ[non-tie｜男]、Ｐｒ[dec｜男]、Ｐｒ[non-dec｜男]、Ｐｒ[女]、Ｐｒ[tie｜女]、Ｐｒ[non-tie｜女]、Ｐｒ[dec｜女]、Ｐｒ[non-dec｜女]を、実環境において統計をとることにより求めておく。
【０１１９】
次に、図２において、人物属性識別システム１０を起動して人物の性別識別処理を開始し（ステップＳ１）、フレーム画像取込処理手段３１により、カメラ２０で撮影されたカラーフレーム画像を取り込む（ステップＳ２）。
【０１２０】
続いて、人物検出処理手段３２により、フレーム画像取込処理手段３１により取り込まれたカラーフレーム画像の中から、背景差分、フレーム差分、テンプレートマッチング等の既存の手法により、人物を抽出する処理を行う（ステップＳ３）。これにより、フレーム画像に人物が写っていた場合には、図５の左側部分に示すような背景を取り除いた人物画像１００が得られる。
【０１２１】
それから、人物検出処理手段３２による処理で人物が検出されたか否かを判断し（ステップＳ４）、人物が検出されて人物画像１００が得られたと判断した場合には、正規化処理手段３３により、人物検出処理手段３２による処理で得られた人物画像１００を正規化する処理を行う（ステップＳ５）。これにより、図５の右側部分に示す正規化画像２００が得られる。また、正規化処理手段３３は、正規化画像２００の中から、顔狭領域画像２０１、顔広領域画像２０２、服装領域画像２０３を切り出す処理を行うとともに、肌色領域画像２０４および非肌色領域画像２０５を切り出す処理も行う。なお、人物検出処理手段３２による処理でフレーム画像の中に複数の人物が検出された場合には、正規化処理手段３３による正規化処理は、検出人物毎に行う。
【０１２２】
その後、図５の正規化画像２００の中から切り出された各画像２０１〜２０５を用いて、顔情報、髪型情報、ネクタイ情報、およびデコルテ情報の各要素情報毎に個別識別処理を行う（ステップＳ６）。図３には、この個別識別処理の詳細な流れがフローチャートで示されている。なお、人物検出処理手段３２による処理でフレーム画像の中に複数の人物が検出された場合には、図３の個別識別処理は、検出人物毎に行う。
【０１２３】
図３において、先ず、正規化画像２００の中から切り出されて図示されないメモリに格納されている各画像２０１〜２０５を読み込み（ステップＳ６０１）、肌色モデル更新処理手段３４により、検出人物の肌色情報（図５の肌色領域画像２０４を構成する各画素の肌色情報）を用いて、肌色モデル記憶手段８０に記憶されている肌色モデル８１の更新処理を行うとともに、非肌色モデル更新処理手段３５により、検出人物の非肌色情報（図５の非肌色領域画像２０５を構成する各画素の非肌色情報）を用いて、非肌色モデル記憶手段９０に記憶されている非肌色モデル９１の更新処理を行う（ステップＳ６０２）。
【０１２４】
次に、顔基礎データ作成処理手段３６Ａにより、顔狭領域画像２０１を用いて顔前処理を行って顔基礎データ５０１を作成する（ステップＳ６０３）。また、髪型基礎データ作成処理手段３６Ｃにより、顔広領域画像２０２を用いて髪型前処理を行って髪型基礎データ５０２を作成する（ステップＳ６０４）。図４には、この髪型前処理の詳細な流れがフローチャートで示されている。
【０１２５】
図４において、髪型基礎データ作成処理手段３６Ｃは、顔広領域画像２０２から顔狭領域画像２０１を取り除いた後、顔狭領域画像２０１を取り除いた残りの部分において、髪色部分を抽出する。すなわち、顔狭領域画像２０１を取り除いた残りの部分を構成する画素の色情報を読み込み（ステップＳ６０４０１）、この色データを、髪色モデル記憶手段６０に記憶されている髪色モデル６１、非髪色モデル記憶手段７０に記憶されている非髪色モデル７１、肌色モデル記憶手段８０に記憶されている更新後の肌色モデル８１、および非肌色モデル記憶手段９０に記憶されている更新後の非肌色モデル９１にそれぞれ入力し、前述した式（１）に基づき、髪色尤度算出処理（ステップＳ６０４０２）、非髪色尤度算出処理（ステップＳ６０４０３）、肌色尤度算出処理（ステップＳ６０４０４）、および非肌色尤度算出処理（ステップＳ６０４０５）を行って、髪色尤度３０１、非髪色尤度３０２、肌色尤度３０３、および非肌色尤度３０４をそれぞれ算出する処理を行う。
【０１２６】
続いて、髪型基礎データ作成処理手段３６Ｃは、髪色尤度３０１が非髪色尤度３０２よりも大きく、かつ、肌色尤度３０３が非肌色尤度３０４よりも小さいか否かを判断し（ステップＳ６０４０６）、この条件を満たす場合には、現在処理中の画素が髪部分であると推定し（ステップＳ６０４０７）、一方、この条件を満たさない場合には、現在処理中の画素が髪部分以外であると推定する（ステップＳ６０４０８）。
【０１２７】
それから、顔広領域画像２０２から顔狭領域画像２０１を取り除いた残りの部分において処理すべき次の画素があるか否かを判断し（ステップＳ６０４０９）、次の画素があると判断した場合には、再び、ステップＳ６０４０１の処理に戻り、以降、処理すべき画素がなくなるまで、ステップＳ６０４０１〜Ｓ６０４０９の処理を繰り返す。これにより、髪部分であると推定された画素のみを残すことで、図６に示すような髪型抽出画像４００が得られる。
【０１２８】
そして、髪型基礎データ作成処理手段３６Ｃは、得られた髪型抽出画像４００について、顔用データの場合と同様に、モノクロ画像への変換処理を行った後（ステップＳ６０４１０）、ヒストグラム平滑化処理を行う（ステップＳ６０４１１）。これにより、髪型基礎データ５０２が得られる。
【０１２９】
また、図３において、ネクタイ基礎データ作成処理手段３６Ｅにより、服装領域画像２０３を用いてネクタイ前処理を行って、ネクタイ基礎データ５０３を作成する（ステップＳ６０５）。この際、ネクタイ基礎データ作成処理手段３６Ｅは、図７に示すような服装領域画像２０３Ａをモノクロ画像に変換した後、１次微分（グラディエント）や２次微分（ラプラシアン）等の輪郭抽出フィルタ処理を行い、図７に示すようなエッジ画像４１０を作成する。そして、このエッジ画像４１０をベクトルで表すことにより、ネクタイ基礎データ５０３が得られる。
【０１３０】
さらに、図３において、デコルテ基礎データ作成処理手段３６Ｇにより、服装領域画像２０３を用いてデコルテ前処理を行って、デコルテ基礎データ５０４を作成する（ステップＳ６０６）。この際、デコルテ基礎データ作成処理手段３６Ｇは、図８に示すような服装領域画像２０３Ｂを構成する各画素について、肌色モデル記憶手段８０に記憶されている更新後の肌色モデル８１および非肌色モデル記憶手段９０に記憶されている更新後の非肌色モデル９１を用いて、すなわち前述した髪型抽出処理の際に用いた肌色モデル８１および非肌色モデル９１を用いて、前述した式（１）に基づき肌色尤度および非肌色尤度をそれぞれ算出し、肌色モデル８１から出力される肌色尤度が非肌色モデル９１から出力される非肌色尤度よりも大きい画素を肌色画素として抽出することにより、図８に示すような肌色抽出画像４２０を作成する。そして、この肌色抽出画像４２０をベクトルで表すことにより、デコルテ基礎データ５０４が得られる。
【０１３１】
続いて、顔圧縮データ作成処理手段３６Ｂ、髪型圧縮データ作成処理手段３６Ｄ、ネクタイ圧縮データ作成処理手段３６Ｆ、およびデコルテ圧縮データ作成処理手段３６Ｈにより、顔基礎データ５０１、髪型基礎データ５０２、ネクタイ基礎データ５０３、およびデコルテ基礎データ５０４についてそれぞれ主成分分析（ＰＣＡ）処理を行い（ステップＳ６０７〜Ｓ６１０）、顔圧縮データ６０１、髪型圧縮データ６０２、ネクタイ圧縮データ６０３、およびデコルテ圧縮データ６０４をそれぞれ作成する。
【０１３２】
その後、男性顔尤度算出処理手段３７Ａにより、前述した式（１）に基づき、人物属性識別用モデル記憶手段５０に記憶されている顔用の男モデル５１を用いて、顔圧縮データ６０１を入力データとして男性顔尤度算出処理を行い（ステップＳ６１１）、男性顔尤度７０１を算出する。また、女性顔尤度算出処理手段３７Ｂにより、前述した式（１）に基づき、人物属性識別用モデル記憶手段５０に記憶されている顔用の女モデル５２を用いて、顔圧縮データ６０１を入力データとして女性顔尤度算出処理を行い（ステップＳ６１２）、女性顔尤度７０２を算出する。
【０１３３】
同様に、男性髪型尤度算出処理手段３７Ｃにより、前述した式（１）に基づき、人物属性識別用モデル記憶手段５０に記憶されている髪型用の男モデル５３を用いて、髪型圧縮データ６０２を入力データとして男性髪型尤度算出処理を行い（ステップＳ６１３）、男性髪型尤度７０３を算出する。また、女性髪型尤度算出処理手段３７Ｄにより、前述した式（１）に基づき、人物属性識別用モデル記憶手段５０に記憶されている髪型用の女モデル５４を用いて、髪型圧縮データ６０２を入力データとして女性髪型尤度算出処理を行い（ステップＳ６１４）、女性髪型尤度７０４を算出する。
【０１３４】
同様に、ネクタイ尤度算出処理手段３７Ｅにより、前述した式（１）に基づき、人物属性識別用モデル記憶手段５０に記憶されているネクタイモデル５５を用いて、ネクタイ圧縮データ６０３を入力データとしてネクタイ尤度算出処理を行い（ステップＳ６１５）、ネクタイ尤度７０５を算出する。また、非ネクタイ尤度算出処理手段３７Ｆにより、前述した式（１）に基づき、人物属性識別用モデル記憶手段５０に記憶されている非ネクタイモデル５６を用いて、ネクタイ圧縮データ６０３を入力データとして非ネクタイ尤度算出処理を行い（ステップＳ６１６）、非ネクタイ尤度７０６を算出する。
【０１３５】
同様に、デコルテ尤度算出処理手段３７Ｇにより、前述した式（１）に基づき、人物属性識別用モデル記憶手段５０に記憶されているデコルテモデル５７を用いて、デコルテ圧縮データ６０４を入力データとしてデコルテ尤度算出処理を行い（ステップＳ６１７）、デコルテ尤度７０７を算出する。また、非デコルテ尤度算出処理手段３７Ｈにより、前述した式（１）に基づき、人物属性識別用モデル記憶手段５０に記憶されている非デコルテモデル５８を用いて、デコルテ圧縮データ６０４を入力データとして非デコルテ尤度算出処理を行い（ステップＳ６１８）、非デコルテ尤度７０８を算出する。以上で、個別識別処理（図２のステップＳ６：図３のステップＳ６０１〜Ｓ６１８の処理）を終了する。
【０１３６】
続いて、図２において、識別結果情報算出処理手段３８および識別結果トータル情報算出処理手段３９による統合処理を行う（ステップＳ７）。すなわち、識別結果情報算出処理手段３８により、前述した式（２）に基づき、８つの尤度７０１〜７０８を統合し、人物の属性（ここでは、性別）の識別結果を示す情報として、男の確率と女の確率との比（または比の値）を算出する。
【０１３７】
また、同一人物が複数のフレーム（現在処理中のフレームおよびそれ以前に処理したフレーム）で連続して検出されたときには、識別結果トータル情報算出処理手段３９により、識別結果記憶手段９５に記憶されているデータを用いて、それらの複数のフレームでの人物の属性（ここでは、性別）の識別結果をトータルした情報として、識別結果情報算出処理手段３８により各フレームについて算出された男の確率の積と、各フレームについて算出された女の確率の積との比（または比の値）を算出する処理、あるいは識別結果情報算出処理手段３８により各フレームについて算出された男の確率と女の確率との比の値（逆数でもよい。）についての積を算出する処理を行う。この際、各フレームでの検出人物が同一人物か否かは、各フレーム画像中の人物の位置情報、あるいは顔の肌色情報、顔特徴情報等に基づき判断することができる。なお、人物検出処理手段３２による処理でフレーム画像の中に複数の人物が検出された場合には、識別結果情報算出処理手段３８および識別結果トータル情報算出処理手段３９による統合処理は、検出人物毎に行う。
【０１３８】
その後、識別結果出力処理手段４０により、識別結果情報算出処理手段３８による算出結果、および識別結果トータル情報算出処理手段３９による算出結果がある場合にはその算出結果を、図示されないＣＲＴディスプレイや液晶ディスプレイ等の表示装置の画面上に表示するか、または図示されないプリンタやプロッタ等の出力装置で出力する（ステップＳ８）。これらの表示装置の画面上への表示や出力装置への出力は、数値による表示・出力でもよく、グラフによる表示・出力でもよく、それらの組合せでもよく、さらには音声出力を合わせて行ってもよい。なお、人物検出処理手段３２による処理でフレーム画像の中に複数の人物が検出された場合には、識別結果出力処理は、検出人物毎に行う。
【０１３９】
そして、識別結果出力処理手段４０による処理を行った後には、次のフレーム画像の処理に移るため、再び、ステップＳ２の処理に戻り、以降、人物が検出されなくなるまで、ステップＳ２〜Ｓ８の処理が繰り返される。
【０１４０】
一方、ステップＳ４で、人物が検出されないと判断された場合には、前のフレームで人物が検出されていたか否かを判断し（ステップＳ９）、前のフレームで人物が検出されていた場合には、画像中に写っていた人物がカメラ２０の撮影範囲から外に出たと判断し、識別結果出力処理手段４０により、識別結果記憶手段９５に記憶されているデータに基づき、その人物についての最終的な性別識別結果を、図示されないＣＲＴディスプレイや液晶ディスプレイ等の表示装置の画面上に表示するか、または図示されないプリンタやプロッタ等の出力装置で出力する（ステップＳ１０）。そして、次のフレーム画像の処理に移るため、再び、ステップＳ２の処理に戻る。また、ステップＳ９で、前のフレームで人物が検出されていない場合には、単に人物が検出されないフレームが連続しているだけであると判断し、ステップＳ２の処理に戻る。なお、特定の人物についての性別識別処理が目的の場合や、一人の人物についての性別識別処理だけを行うことが目的の場合等には、図２中の点線矢印に示す如く、その人物についてのステップＳ１０の最終的な性別識別結果の出力処理を行った後に、一連の性別識別処理を終了してもよい（ステップＳ１１）。
【０１４１】
このような本実施形態によれば、次のような効果がある。すなわち、人物属性識別システム１０は、指標値算出処理手段３７を備えているので、顔用データ、髪型用データ、ネクタイ用データ、デコルテ用データの４種類の人物属性識別用データに対応させて用意された８つの人物属性識別用モデル５１〜５８を用いて、４種類の人物属性識別用データがそれぞれ識別される対立カテゴリ毎に尤度を個別に算出し、合計８つの尤度を算出することができる。また、人物属性識別システム１０は、識別結果情報算出処理手段３８を備えているので、８つの尤度を統合することにより、人物の性別識別結果を示す情報を算出することができる。
【０１４２】
このため、従来のように顔情報だけを用いて性別識別を行う場合に比べ、識別精度を向上させることができる。また、単に４種類の人物属性識別用データに基づく個別の識別結果を集めるのではなく、それらの個別の識別結果として得られた８つの尤度を統合することにより、人物の性別識別結果を示す情報を算出するので、顔情報を含む複数の情報を効果的に統合させることができ、高い精度の識別を実現することができる。
【０１４３】
また、性別識別を行うための要素情報として、顔情報や髪型情報の他に、性別の違いが顕著に現れるネクタイの有無情報やデコルテ（服装の胸あき）の有無情報を用いるので、尤度の統合による識別精度の向上効果を、より一層高めることができる。
【０１４４】
さらに、人物属性識別システム１０は、肌色モデル更新処理手段３４および非肌色モデル更新処理手段３５を備えているので、髪型用データ（髪型基礎データ５０２、髪型圧縮データ６０２）を作成する前に、検出人物の肌色情報および非肌色情報を用いて肌色モデル８１および非肌色モデル９１の更新処理を行うことができる。このため、肌色モデル８１および非肌色モデル９１を検出人物に適応させ、個人に適応した髪型抽出を行うことができるので、より正確な髪型抽出を行うことができる。
【０１４５】
そして、ネクタイ基礎データ作成処理手段３６Ｅは、処理対象のフレーム画像からネクタイ基礎データ５０３を作成する過程で、輪郭抽出を行ってエッジ画像４１０（図７参照）を作成する処理を行うので、ネクタイ／非ネクタイの個別識別の精度を向上させることができる。このため、尤度の統合による識別精度の向上効果を、より一層高めることができる。
【０１４６】
また、人物属性識別システム１０は、肌色モデル更新処理手段３４および非肌色モデル更新処理手段３５を備えているので、デコルテ用データ（デコルテ基礎データ５０４、デコルテ圧縮データ６０４）を作成する前に、検出人物の肌色情報および非肌色情報を用いて肌色モデル８１および非肌色モデル９１の更新処理を行うことができる。このため、肌色モデル８１および非肌色モデル９１を検出人物に適応させ、個人に適応したデコルテ／非デコルテ識別用の肌色抽出処理を行うことができるので、より正確な肌色抽出を行うことができる。
【０１４７】
さらに、人物属性識別用モデル５１〜５８は、主成分分析により次元圧縮を行い、この圧縮された次元の空間上に拡がるデータの分布形状を、ガウス混合モデルにより表現することにより構築されているので、例えば、顔情報の場合には、眼鏡をかけているか否か、髭があるか否かといった様々な顔に対応することができ、また、髪型情報の場合には、ロングヘアーかショートヘアーか、ハゲているか否かといった様々な髪型に対応することができる。
【０１４８】
また、指標値算出処理手段３７は、ガウス混合モデルを用いて尤度を算出する処理を行うので、この尤度を同一人物について複数フレームで算出することができれば、複数フレームでの尤度の統合をベイズの法則により容易に実現することができる。このため、識別結果トータル情報算出処理手段３９による複数フレームでの性別識別結果のトータル情報の算出処理を容易に実現することができる。
【０１４９】
そして、識別結果情報算出処理手段３８は、人物の性別識別結果を示す情報を算出する際に、複数の尤度をベイズの定理により統合する処理を行うので、性別を識別するための別の要素（顔情報以外の情報）が得られたときに、この要素から算出される尤度を容易に統合することができる枠組みを構築することができる。従って、本実施形態のように、顔情報と、それ以外の髪型情報、ネクタイ情報、およびデコルテ情報とから算出される各尤度を容易に統合することができるのみならず、これらの４種類以外の情報を人物属性識別（ここでは、性別識別）のための要素情報として追加する場合でも、その要素情報から算出される尤度を容易に他の尤度と統合させることができる。
【０１５０】
さらに、人物属性識別システム１０は、識別結果トータル情報算出処理手段３９を備えているので、同一人物が検出された複数のフレームでそれぞれ算出された尤度をベイズの定理により統合することにより、複数のフレームでの性別識別結果をトータルした情報を算出することができる。このため、性別の識別精度を、より一層向上させることができる。
【０１５１】
そして、識別結果情報算出処理手段３８は、ベイズの定理により尤度を統合する際に、実環境において統計を取ることにより求めた事前確率を用いるので、実環境での識別精度を向上させることができる。
【０１５２】
また、識別結果情報算出処理手段３８および識別結果トータル情報算出処理手段３９は、性別識別結果を示す情報として、男女の確率の比（または比の値）を算出するので、人物属性識別システム１０のユーザは、その比（または比の値）を見ることにより、人物属性識別システム１０により最終的に出された識別結果が確かなものなのか否かを容易に判断することができる。
【０１５３】
なお、本発明は前記実施形態に限定されるものではなく、本発明の目的を達成できる範囲内での変形等は本発明に含まれるものである。
【０１５４】
すなわち、前記実施形態では、人物属性識別用モデル５１〜５８は、ガウス混合モデルにより構築されていたが、本発明における人物属性識別用モデルは、ガウス混合モデルに限定されるものではなく、例えば、サポートベクターマシン（ＳＶＭ）やニューラルネットワーク等を採用してもよい。
【０１５５】
また、前記実施形態では、ガウス混合モデルを用いて算出された各尤度７０１〜７０８をベイズの定理により統合していたが、ベイズの定理による統合処理は、ガウス混合モデルを用いて算出される尤度以外の指標値の統合処理にも適用することができる。
【０１５６】
さらに、前記実施形態では、人物属性識別システム１０は、専ら性別識別を行うシステムとされていたが、本発明の人物属性識別システムは、性別識別システムに限定されるものではなく、例えば、性別識別および年齢識別を同時並行的に行うシステム、あるいは専ら年齢識別を行うシステム等でもよい。
【０１５７】
より具体的には、性別識別および年齢識別を同時並行的に行うシステムとする場合には、人物属性識別用モデルとして、例えば、顔用の１０歳未満男モデル、顔用の１０代男モデル、顔用の２０代男モデル、顔用の３０代男モデル、…、顔用の８０歳以上男モデル、および顔用の１０歳未満女モデル、顔用の１０代女モデル、顔用の２０代女モデル、顔用の３０代女モデル、…、顔用の８０歳以上女モデル、並びに顔用の男モデル、顔用の女モデルを用意し、同様に髪型用の各モデル等も用意し、性別および年齢を同時並行的に識別する処理を行うことができる。この際、識別結果の出力は、例えば「男：女＝○：○、１０歳未満：１０代：２０代：３０代：…：８０歳以上＝○：○：○：○：…：○」等としてもよく、あるいは「１０歳未満男：１０代男：２０代男：３０代男：…：８０歳以上男：１０歳未満女：１０代女：２０代女：３０代女：…：８０歳以上女＝○：○：○：○：…：○：○：○：○：○：…：○」等としてもよい。
【産業上の利用可能性】
【０１５８】
以上のように、本発明の人物属性識別方法およびそのシステムは、例えば、統計処理、動向調査、データベース検索、セキュリティシステム等に用いるのに適している。
【図面の簡単な説明】
【０１５９】
【図１】本発明の一実施形態の人物属性識別システムの全体構成図。
【図２】前記実施形態の人物属性識別システムによる性別識別処理の全体の流れを示すフローチャートの図。
【図３】前記実施形態の人物属性識別システムによる各人物属性識別用データについての個別識別処理の流れを示すフローチャートの図。
【図４】前記実施形態の髪色判定処理を含む髪型前処理の流れを示すフローチャートの図。
【図５】前記実施形態の正規化処理の説明図。
【図６】前記実施形態の髪型前処理における髪型抽出画像の作成処理の説明図。
【図７】前記実施形態のネクタイ前処理におけるエッジ画像の作成処理の説明図。
【図８】前記実施形態のデコルテ前処理における肌色抽出画像の作成処理の説明図。
【符号の説明】
【０１６０】
１０ 人物属性識別システム
２０ カメラ
３４ 肌色モデル更新処理手段
３６ 人物属性識別用データ作成処理手段
３６Ａ 人物属性識別用データ作成処理手段を構成する顔基礎データ作成処理手段
３６Ｂ 人物属性識別用データ作成処理手段を構成する顔圧縮データ作成処理手段
３６Ｃ 人物属性識別用データ作成処理手段を構成する髪型基礎データ作成処理手段
３６Ｄ 人物属性識別用データ作成処理手段を構成する髪型圧縮データ作成処理手段
３６Ｅ 人物属性識別用データ作成処理手段を構成するネクタイ基礎データ作成処理手段
３６Ｆ 人物属性識別用データ作成処理手段を構成するネクタイ圧縮データ作成処理手段
３６Ｇ 人物属性識別用データ作成処理手段を構成するデコルテ基礎データ作成処理手段
３６Ｈ 人物属性識別用データ作成処理手段を構成するデコルテ圧縮データ作成処理手段
３７ 指標値算出処理手段
３７Ａ 指標値算出処理手段を構成する男性顔尤度算出処理手段
３７Ｂ 指標値算出処理手段を構成する女性顔尤度算出処理手段
３７Ｃ 指標値算出処理手段を構成する男性髪型尤度算出処理手段
３７Ｄ 指標値算出処理手段を構成する女性髪型尤度算出処理手段
３７Ｅ 指標値算出処理手段を構成するネクタイ尤度算出処理手段
３７Ｆ 指標値算出処理手段を構成する非ネクタイ尤度算出処理手段
３７Ｇ 指標値算出処理手段を構成するデコルテ尤度算出処理手段
３７Ｈ 指標値算出処理手段を構成する非デコルテ尤度算出処理手段
３８ 識別結果情報算出処理手段
３９ 識別結果トータル情報算出処理手段
５０ 人物属性識別用モデル記憶手段
５１ 人物属性識別用モデルである顔用の男モデル
５２ 人物属性識別用モデルである顔用の女モデル
５３ 人物属性識別用モデルである髪型用の男モデル
５４ 人物属性識別用モデルである髪型用の女モデル
５５ 人物属性識別用モデルであるネクタイモデル
５６ 人物属性識別用モデルである非ネクタイモデル
５７ 人物属性識別用モデルであるデコルテモデル
５８ 人物属性識別用モデルである非デコルテモデル
６０ 髪色モデル記憶手段
６１ 髪色モデル
７０ 非髪色モデル記憶手段
７１ 非髪色モデル
８０ 肌色モデル記憶手段
８１ 肌色モデル
９０ 非肌色モデル記憶手段
９１ 非肌色モデル
４１０ エッジ画像
５０１ 人物属性識別用データの一種である顔用データとしての顔基礎データ
５０２ 人物属性識別用データの一種である髪型用データとしての髪型基礎データ
５０３ 人物属性識別用データの一種であるネクタイ用データとしてのネクタイ基礎データ
５０４ 人物属性識別用データの一種であるデコルテ用データとしてのデコルテ基礎データ
６０１ 人物属性識別用データの一種である顔用データとしての顔圧縮データ
６０２ 人物属性識別用データの一種である髪型用データとしての髪型圧縮データ
６０３ 人物属性識別用データの一種であるネクタイ用データとしてのネクタイ圧縮データ
６０４ 人物属性識別用データの一種であるデコルテ用データとしてのデコルテ圧縮データ
７０１ 指標値である男性顔尤度
７０２ 指標値である女性顔尤度
７０３ 指標値である男性髪型尤度
７０４ 指標値である女性髪型尤度
７０５ 指標値であるネクタイ尤度
７０６ 指標値である非ネクタイ尤度
７０７ 指標値であるデコルテ尤度
７０８ 指標値である非デコルテ尤度
【特許請求の範囲】
【請求項１】
カメラで撮影された人物の性別および／または年齢を含む人物属性を識別する人物属性識別方法であって、
前記人物の属性を識別するための顔用データを含む複数種類の人物属性識別用データが識別されるカテゴリを前記各人物属性識別用データ毎に複数ずつ設定し、これらのカテゴリに含まれるデータの特徴を示す人物属性識別用モデルを、前記各人物属性識別用データ毎に少なくとも１つずつ予め作成しておき、
前記カメラで前記人物を撮影して得られた人物属性識別処理対象のフレーム画像から前記複数種類の人物属性識別用データをそれぞれ作成した後、
作成した前記各人物属性識別用データに対応する前記各人物属性識別用モデルを用いて、作成した前記各人物属性識別用データが、いずれの前記カテゴリに含まれるデータであるかということについての確からしさを指標するための尤度、帰属度合い、確率、割合、またはこれらに類する指標値を、前記各人物属性識別用データ毎に個別に算出し、
その後、前記各人物属性識別用データ毎に個別に算出した複数の前記指標値を統合することにより、前記人物の属性の識別結果を示す情報を算出する
ことを特徴とする人物属性識別方法。
【請求項２】
請求項１に記載の人物属性識別方法において、
前記顔用データが識別される前記カテゴリとして、男性のカテゴリと女性のカテゴリとを設定し、
前記人物属性識別用モデルとして、前記男性のカテゴリに含まれるデータの特徴を示す顔用の男モデルと、前記女性のカテゴリに含まれるデータの特徴を示す顔用の女モデルとを作成しておき、
前記指標値を前記各人物属性識別用データ毎に個別に算出する際には、
前記顔用の男モデルを用いて、前記フレーム画像から作成した前記顔用データが、前記男性のカテゴリに含まれるデータであることについての確からしさを示す指標値を算出するとともに、前記顔用の女モデルを用いて、前記フレーム画像から作成した前記顔用データが、前記女性のカテゴリに含まれるデータであることについての確からしさを示す指標値を算出する
ことを特徴とする人物属性識別方法。
【請求項３】
請求項１または２に記載の人物属性識別方法において、
前記人物属性識別用データに、前記顔用データに加え、髪型用データを含ませ、
この髪型用データが識別される前記カテゴリとして、男性のカテゴリと女性のカテゴリとを設定し、
前記人物属性識別用モデルとして、前記男性のカテゴリに含まれるデータの特徴を示す髪型用の男モデルと、前記女性のカテゴリに含まれるデータの特徴を示す髪型用の女モデルとを作成しておき、
前記指標値を前記各人物属性識別用データ毎に個別に算出する際には、
前記髪型用の男モデルを用いて、前記フレーム画像から作成した前記髪型用データが、前記男性のカテゴリに含まれるデータであることについての確からしさを示す指標値を算出するとともに、前記髪型用の女モデルを用いて、前記フレーム画像から作成した前記髪型用データが、前記女性のカテゴリに含まれるデータであることについての確からしさを示す指標値を算出する
ことを特徴とする人物属性識別方法。
【請求項４】
請求項１〜３のいずれかに記載の人物属性識別方法において、
前記人物属性識別用データに、前記顔用データに加え、ネクタイを締めているか否かを識別するためのネクタイ用データを含ませ、
このネクタイ用データが識別される前記カテゴリとして、ネクタイありのカテゴリとネクタイ無しのカテゴリとを設定し、
前記人物属性識別用モデルとして、前記ネクタイありのカテゴリに含まれるデータの特徴を示すネクタイモデルと、前記ネクタイ無しのカテゴリに含まれるデータの特徴を示す非ネクタイモデルとを作成しておき、
前記指標値を前記各人物属性識別用データ毎に個別に算出する際には、
前記ネクタイモデルを用いて、前記フレーム画像から作成した前記ネクタイ用データが、前記ネクタイありのカテゴリに含まれるデータであることについての確からしさを示す指標値を算出するとともに、前記非ネクタイモデルを用いて、前記フレーム画像から作成した前記ネクタイ用データが、前記ネクタイ無しのカテゴリに含まれるデータであることについての確からしさを示す指標値を算出する
ことを特徴とする人物属性識別方法。
【請求項５】
請求項１〜４のいずれかに記載の人物属性識別方法において、
前記人物属性識別用データに、前記顔用データに加え、胸あきのある服を着ているか否かを識別するためのデコルテ用データを含ませ、
このデコルテ用データが識別される前記カテゴリとして、胸あきありのカテゴリと胸あき無しのカテゴリとを設定し、
前記人物属性識別用モデルとして、前記胸あきありのカテゴリに含まれるデータの特徴を示すデコルテモデルと、前記胸あき無しのカテゴリに含まれるデータの特徴を示す非デコルテモデルとを作成しておき、
前記指標値を前記各人物属性識別用データ毎に個別に算出する際には、
前記デコルテモデルを用いて、前記フレーム画像から作成した前記デコルテ用データが、前記デコルテありのカテゴリに含まれるデータであることについての確からしさを示す指標値を算出するとともに、前記非デコルテモデルを用いて、前記フレーム画像から作成した前記デコルテ用データが、前記デコルテ無しのカテゴリに含まれるデータであることについての確からしさを示す指標値を算出する
ことを特徴とする人物属性識別方法。
【請求項６】
請求項３に記載の人物属性識別方法において、
様々な環境で撮影された画像から抽出した髪色情報、非髪色情報、肌色情報、および非肌色情報を用いて、髪色モデル、非髪色モデル、肌色モデル、および非肌色モデルをそれぞれ予め作成しておき、
前記人物属性識別処理対象のフレーム画像から前記髪型用データを作成する前に、
前記人物属性識別処理対象のフレーム画像から検出した人物の肌色情報を用いて、前記肌色モデルの更新を行い、
前記人物属性識別処理対象のフレーム画像から前記髪型用データを作成する際には、
前記髪色モデル、前記非髪色モデル、更新後の前記肌色モデル、および前記非肌色モデルを用いて、前記人物属性識別処理対象のフレーム画像を構成する各画素が髪部分か否かを推定することにより髪型を抽出する
ことを特徴とする人物属性識別方法。
【請求項７】
請求項４に記載の人物属性識別方法において、
前記人物属性識別処理対象のフレーム画像から前記ネクタイ用データを作成する際には、輪郭抽出を行ってエッジ画像を作成することを特徴とする人物属性識別方法。
【請求項８】
請求項５に記載の人物属性識別方法において、
様々な環境で撮影された画像から抽出した肌色情報および非肌色情報を用いて、肌色モデルおよび非肌色モデルをそれぞれ予め作成しておき、
前記人物属性識別処理対象のフレーム画像から前記デコルテ用データを作成する前に、
前記人物属性識別処理対象のフレーム画像から検出した人物の肌色情報を用いて、前記肌色モデルの更新を行い、
前記人物属性識別処理対象のフレーム画像から前記デコルテ用データを作成する際には、
更新後の前記肌色モデルおよび前記非肌色モデルを用いて、前記人物属性識別処理対象のフレーム画像を構成する各画素が肌色部分か否かを推定することにより肌色部分を抽出する
ことを特徴とする人物属性識別方法。
【請求項９】
請求項１〜８のいずれかに記載の人物属性識別方法において、
前記各人物属性識別用モデルは、前記各人物属性識別用データが識別される前記カテゴリ毎に、事前学習として多くのサンプルデータを用いて主成分分析による特徴抽出を行った後、前記カテゴリに含まれるデータの分布形状を表現するガウス混合モデルを構築することにより作成し、
前記指標値を前記各人物属性識別用データ毎に個別に算出する際には、
前記人物属性識別処理対象のフレーム画像から作成された前記顔用データを含む前記複数種類の人物属性識別用データに基づき、前記ガウス混合モデルにより構築された前記各人物属性識別用モデルを用いて、前記カテゴリ毎に尤度を算出する
ことを特徴とする人物属性識別方法。
【請求項１０】
請求項９に記載の人物属性識別方法において、
前記人物の属性の識別結果を示す情報を算出する際には、
複数の前記尤度をベイズの定理により統合することを特徴とする人物属性識別方法。
【請求項１１】
請求項９または１０に記載の人物属性識別方法において、
同一人物が検出された複数のフレームでそれぞれ算出された前記尤度をベイズの定理により統合することにより、前記複数のフレームでの前記人物の属性の識別結果をトータルした情報を算出する
ことを特徴とする人物属性識別方法。
【請求項１２】
請求項１０または１１に記載の人物属性識別方法において、
前記ベイズの定理により前記尤度を統合する際に、事前確率を用いることを特徴とする人物属性識別方法。
【請求項１３】
カメラで撮影された人物の性別および／または年齢を含む人物属性を識別する人物属性識別システムであって、
前記人物の属性を識別するための顔用データを含む複数種類の人物属性識別用データが識別されるカテゴリに含まれるデータの特徴を示す人物属性識別用モデルを、前記各人物属性識別用データ毎に少なくとも１つずつ記憶する人物属性識別用モデル記憶手段と、
前記カメラで前記人物を撮影して得られた人物属性識別処理対象のフレーム画像から前記複数種類の人物属性識別用データをそれぞれ作成する処理を行う人物属性識別用データ作成処理手段と、
前記人物属性識別用モデル記憶手段に記憶された対応する前記各人物属性識別用モデルを用いて、前記人物属性識別用データ作成処理手段により作成した前記各人物属性識別用データが、いずれの前記カテゴリに含まれるデータであるかということについての確からしさを指標するための尤度、帰属度合い、確率、割合、またはこれらに類する指標値を、前記各人物属性識別用データ毎に個別に算出する処理を行う指標値算出処理手段と、
この指標値算出処理手段により前記各人物属性識別用データ毎に個別に算出した複数の前記指標値を統合することにより、前記人物の属性の識別結果を示す情報を算出する処理を行う識別結果情報算出処理手段と
を備えたことを特徴とする人物属性識別システム。
【請求項１４】
請求項１３に記載の人物属性識別システムにおいて、
前記人物属性識別用モデル記憶手段には、前記人物属性識別用モデルとして、前記顔用データが識別される男性のカテゴリに含まれるデータの特徴を示す顔用の男モデルと、前記顔用データが識別される女性のカテゴリに含まれるデータの特徴を示す顔用の女モデルとが記憶され、
前記指標値算出処理手段は、前記顔用の男モデルを用いて、前記フレーム画像から作成した前記顔用データが、前記男性のカテゴリに含まれるデータであることについての確からしさを示す指標値を算出するとともに、前記顔用の女モデルを用いて、前記フレーム画像から作成した前記顔用データが、前記女性のカテゴリに含まれるデータであることについての確からしさを示す指標値を算出する処理を行う構成とされている
ことを特徴とする人物属性識別システム。
【請求項１５】
請求項１３または１４に記載の人物属性識別システムにおいて、
前記人物属性識別用データには、前記顔用データに加え、髪型用データが含まれ、
前記人物属性識別用モデル記憶手段には、前記人物属性識別用モデルとして、前記髪型用データが識別される男性のカテゴリに含まれるデータの特徴を示す髪型用の男モデルと、前記髪型用データが識別される女性のカテゴリに含まれるデータの特徴を示す髪型用の女モデルとが記憶され、
前記指標値算出処理手段は、前記髪型用の男モデルを用いて、前記フレーム画像から作成した前記髪型用データが、前記男性のカテゴリに含まれるデータであることについての確からしさを示す指標値を算出するとともに、前記髪型用の女モデルを用いて、前記フレーム画像から作成した前記髪型用データが、前記女性のカテゴリに含まれるデータであることについての確からしさを示す指標値を算出する処理を行う構成とされている
ことを特徴とする人物属性識別システム。
【請求項１６】
請求項１３〜１５のいずれかに記載の人物属性識別システムにおいて、
前記人物属性識別用データには、前記顔用データに加え、ネクタイを締めているか否かを識別するためのネクタイ用データが含まれ、
前記人物属性識別用モデル記憶手段には、前記人物属性識別用モデルとして、前記ネクタイ用データが識別されるネクタイありのカテゴリに含まれるデータの特徴を示すネクタイモデルと、前記ネクタイ用データが識別されるネクタイ無しのカテゴリに含まれるデータの特徴を示す非ネクタイモデルとが記憶され、
前記指標値算出処理手段は、前記ネクタイモデルを用いて、前記フレーム画像から作成した前記ネクタイ用データが、前記ネクタイありのカテゴリに含まれるデータであることについての確からしさを示す指標値を算出するとともに、前記非ネクタイモデルを用いて、前記フレーム画像から作成した前記ネクタイ用データが、前記ネクタイ無しのカテゴリに含まれるデータであることについての確からしさを示す指標値を算出する処理を行う構成とされている
ことを特徴とする人物属性識別システム。
【請求項１７】
請求項１３〜１６のいずれかに記載の人物属性識別システムにおいて、
前記人物属性識別用データには、前記顔用データに加え、胸あきのある服を着ているか否かを識別するためのデコルテ用データが含まれ、
前記人物属性識別用モデル記憶手段には、前記人物属性識別用モデルとして、前記デコルテ用データが識別される胸あきありのカテゴリに含まれるデータの特徴を示すデコルテモデルと、前記デコルテ用データが識別される胸あき無しのカテゴリに含まれるデータの特徴を示す非デコルテモデルとが記憶され、
前記指標値算出処理手段は、前記デコルテモデルを用いて、前記フレーム画像から作成した前記デコルテ用データが、前記デコルテありのカテゴリに含まれるデータであることについての確からしさを示す指標値を算出するとともに、前記非デコルテモデルを用いて、前記フレーム画像から作成した前記デコルテ用データが、前記デコルテ無しのカテゴリに含まれるデータであることについての確からしさを示す指標値を算出する処理を行う構成とされている
ことを特徴とする人物属性識別システム。
【請求項１８】
請求項１５に記載の人物属性識別システムにおいて、
様々な環境で撮影された画像から抽出した髪色情報、非髪色情報、肌色情報、および非肌色情報を用いてそれぞれ作成された髪色モデル、非髪色モデル、肌色モデル、および非肌色モデルを記憶する髪色モデル記憶手段、非髪色モデル記憶手段、肌色モデル記憶手段、および非肌色モデル記憶手段と、
前記人物属性識別処理対象のフレーム画像から検出した人物の肌色情報を用いて、前記肌色モデル記憶手段に記憶された前記肌色モデルの更新処理を行う肌色モデル更新処理手段とを備え、
前記人物属性識別用データ作成処理手段は、前記人物属性識別処理対象のフレーム画像から前記髪型用データを作成する際には、前記髪色モデル記憶手段に記憶された前記髪色モデル、前記非髪色モデル記憶手段に記憶された前記非髪色モデル、前記肌色モデル記憶手段に記憶された更新後の前記肌色モデル、および前記非肌色モデル記憶手段に記憶された前記非肌色モデルを用いて、前記人物属性識別処理対象のフレーム画像を構成する各画素が髪部分か否かを推定することにより髪型を抽出する処理を行う構成とされている
ことを特徴とする人物属性識別システム。
【請求項１９】
請求項１６に記載の人物属性識別システムにおいて、
前記人物属性識別用データ作成処理手段は、前記人物属性識別処理対象のフレーム画像から前記ネクタイ用データを作成する際には、輪郭抽出を行ってエッジ画像を作成する処理を行う構成とされていることを特徴とする人物属性識別システム。
【請求項２０】
請求項１７に記載の人物属性識別システムにおいて、
様々な環境で撮影された画像から抽出した肌色情報および非肌色情報を用いてそれぞれ作成された肌色モデルおよび非肌色モデルを記憶する肌色モデル記憶手段および非肌色モデル記憶手段と、
前記人物属性識別処理対象のフレーム画像から検出した人物の肌色情報を用いて、前記肌色モデル記憶手段に記憶された前記肌色モデルの更新処理を行う肌色モデル更新処理手段とを備え、
前記人物属性識別用データ作成処理手段は、前記人物属性識別処理対象のフレーム画像から前記デコルテ用データを作成する際には、前記肌色モデル記憶手段に記憶された更新後の前記肌色モデルおよび前記非肌色モデル記憶手段に記憶された前記非肌色モデルを用いて、前記人物属性識別処理対象のフレーム画像を構成する各画素が肌色部分か否かを推定することにより肌色部分を抽出する処理を行う構成とされている
ことを特徴とする人物属性識別システム。
【請求項２１】
請求項１３〜２０のいずれかに記載の人物属性識別システムにおいて、
前記各人物属性識別用モデルは、前記各人物属性識別用データが識別される前記カテゴリ毎に、事前学習として多くのサンプルデータを用いて主成分分析による特徴抽出を行った後、前記カテゴリに含まれるデータの分布形状をガウス混合モデルにより表現して構築された学習モデルであり、
前記指標値算出処理手段は、前記人物属性識別用データ作成処理手段により作成された前記顔用データを含む前記複数種類の人物属性識別用データに基づき、前記ガウス混合モデルにより構築された前記各人物属性識別用モデルを用いて、前記カテゴリ毎に尤度を算出する処理を行う構成とされている
ことを特徴とする人物属性識別システム。
【請求項２２】
請求項２１に記載の人物属性識別システムにおいて、
前記識別結果情報算出処理手段は、前記指標値算出処理手段により算出された複数の前記尤度をベイズの定理により統合する処理を行う構成とされていることを特徴とする人物属性識別システム。
【請求項２３】
請求項２１または２２に記載の人物属性識別システムにおいて、
同一人物が検出された複数のフレームでそれぞれ算出された前記尤度をベイズの定理により統合することにより、前記複数のフレームでの前記人物の属性の識別結果をトータルした情報を算出する処理を行う識別結果トータル情報算出処理手段を備えたことを特徴とする人物属性識別システム。
【請求項２４】
請求項２２に記載の人物属性識別システムにおいて、
前記識別結果情報算出処理手段は、前記ベイズの定理により前記尤度を統合する際に、事前確率を用いる処理を行う構成とされている
ことを特徴とする人物属性識別システム。
【請求項２５】
請求項２３に記載の人物属性識別システムにおいて、
前記識別結果トータル情報算出処理手段は、前記ベイズの定理により前記尤度を統合する際に、事前確率を用いる処理を行う構成とされている
ことを特徴とする人物属性識別システム。
【請求項１】
カメラで撮影された人物の性別および／または年齢を含む人物属性を識別する人物属性識別方法であって、
前記人物の属性を識別するための顔用データを含む複数種類の人物属性識別用データが識別されるカテゴリを前記各人物属性識別用データ毎に複数ずつ設定し、これらのカテゴリに含まれるデータの特徴を示す人物属性識別用モデルを、前記各人物属性識別用データ毎に少なくとも１つずつ予め作成しておき、
前記カメラで前記人物を撮影して得られた人物属性識別処理対象のフレーム画像から前記複数種類の人物属性識別用データをそれぞれ作成した後、
作成した前記各人物属性識別用データに対応する前記各人物属性識別用モデルを用いて、作成した前記各人物属性識別用データが、いずれの前記カテゴリに含まれるデータであるかということについての確からしさを指標するための尤度、帰属度合い、確率、割合、またはこれらに類する指標値を、前記各人物属性識別用データ毎に個別に算出し、
その後、前記各人物属性識別用データ毎に個別に算出した複数の前記指標値を統合することにより、前記人物の属性の識別結果を示す情報を算出する
ことを特徴とする人物属性識別方法。
【請求項２】
請求項１に記載の人物属性識別方法において、
前記顔用データが識別される前記カテゴリとして、男性のカテゴリと女性のカテゴリとを設定し、
前記人物属性識別用モデルとして、前記男性のカテゴリに含まれるデータの特徴を示す顔用の男モデルと、前記女性のカテゴリに含まれるデータの特徴を示す顔用の女モデルとを作成しておき、
前記指標値を前記各人物属性識別用データ毎に個別に算出する際には、
前記顔用の男モデルを用いて、前記フレーム画像から作成した前記顔用データが、前記男性のカテゴリに含まれるデータであることについての確からしさを示す指標値を算出するとともに、前記顔用の女モデルを用いて、前記フレーム画像から作成した前記顔用データが、前記女性のカテゴリに含まれるデータであることについての確からしさを示す指標値を算出する
ことを特徴とする人物属性識別方法。
【請求項３】
請求項１または２に記載の人物属性識別方法において、
前記人物属性識別用データに、前記顔用データに加え、髪型用データを含ませ、
この髪型用データが識別される前記カテゴリとして、男性のカテゴリと女性のカテゴリとを設定し、
前記人物属性識別用モデルとして、前記男性のカテゴリに含まれるデータの特徴を示す髪型用の男モデルと、前記女性のカテゴリに含まれるデータの特徴を示す髪型用の女モデルとを作成しておき、
前記指標値を前記各人物属性識別用データ毎に個別に算出する際には、
前記髪型用の男モデルを用いて、前記フレーム画像から作成した前記髪型用データが、前記男性のカテゴリに含まれるデータであることについての確からしさを示す指標値を算出するとともに、前記髪型用の女モデルを用いて、前記フレーム画像から作成した前記髪型用データが、前記女性のカテゴリに含まれるデータであることについての確からしさを示す指標値を算出する
ことを特徴とする人物属性識別方法。
【請求項４】
請求項１〜３のいずれかに記載の人物属性識別方法において、
前記人物属性識別用データに、前記顔用データに加え、ネクタイを締めているか否かを識別するためのネクタイ用データを含ませ、
このネクタイ用データが識別される前記カテゴリとして、ネクタイありのカテゴリとネクタイ無しのカテゴリとを設定し、
前記人物属性識別用モデルとして、前記ネクタイありのカテゴリに含まれるデータの特徴を示すネクタイモデルと、前記ネクタイ無しのカテゴリに含まれるデータの特徴を示す非ネクタイモデルとを作成しておき、
前記指標値を前記各人物属性識別用データ毎に個別に算出する際には、
前記ネクタイモデルを用いて、前記フレーム画像から作成した前記ネクタイ用データが、前記ネクタイありのカテゴリに含まれるデータであることについての確からしさを示す指標値を算出するとともに、前記非ネクタイモデルを用いて、前記フレーム画像から作成した前記ネクタイ用データが、前記ネクタイ無しのカテゴリに含まれるデータであることについての確からしさを示す指標値を算出する
ことを特徴とする人物属性識別方法。
【請求項５】
請求項１〜４のいずれかに記載の人物属性識別方法において、
前記人物属性識別用データに、前記顔用データに加え、胸あきのある服を着ているか否かを識別するためのデコルテ用データを含ませ、
このデコルテ用データが識別される前記カテゴリとして、胸あきありのカテゴリと胸あき無しのカテゴリとを設定し、
前記人物属性識別用モデルとして、前記胸あきありのカテゴリに含まれるデータの特徴を示すデコルテモデルと、前記胸あき無しのカテゴリに含まれるデータの特徴を示す非デコルテモデルとを作成しておき、
前記指標値を前記各人物属性識別用データ毎に個別に算出する際には、
前記デコルテモデルを用いて、前記フレーム画像から作成した前記デコルテ用データが、前記デコルテありのカテゴリに含まれるデータであることについての確からしさを示す指標値を算出するとともに、前記非デコルテモデルを用いて、前記フレーム画像から作成した前記デコルテ用データが、前記デコルテ無しのカテゴリに含まれるデータであることについての確からしさを示す指標値を算出する
ことを特徴とする人物属性識別方法。
【請求項６】
請求項３に記載の人物属性識別方法において、
様々な環境で撮影された画像から抽出した髪色情報、非髪色情報、肌色情報、および非肌色情報を用いて、髪色モデル、非髪色モデル、肌色モデル、および非肌色モデルをそれぞれ予め作成しておき、
前記人物属性識別処理対象のフレーム画像から前記髪型用データを作成する前に、
前記人物属性識別処理対象のフレーム画像から検出した人物の肌色情報を用いて、前記肌色モデルの更新を行い、
前記人物属性識別処理対象のフレーム画像から前記髪型用データを作成する際には、
前記髪色モデル、前記非髪色モデル、更新後の前記肌色モデル、および前記非肌色モデルを用いて、前記人物属性識別処理対象のフレーム画像を構成する各画素が髪部分か否かを推定することにより髪型を抽出する
ことを特徴とする人物属性識別方法。
【請求項７】
請求項４に記載の人物属性識別方法において、
前記人物属性識別処理対象のフレーム画像から前記ネクタイ用データを作成する際には、輪郭抽出を行ってエッジ画像を作成することを特徴とする人物属性識別方法。
【請求項８】
請求項５に記載の人物属性識別方法において、
様々な環境で撮影された画像から抽出した肌色情報および非肌色情報を用いて、肌色モデルおよび非肌色モデルをそれぞれ予め作成しておき、
前記人物属性識別処理対象のフレーム画像から前記デコルテ用データを作成する前に、
前記人物属性識別処理対象のフレーム画像から検出した人物の肌色情報を用いて、前記肌色モデルの更新を行い、
前記人物属性識別処理対象のフレーム画像から前記デコルテ用データを作成する際には、
更新後の前記肌色モデルおよび前記非肌色モデルを用いて、前記人物属性識別処理対象のフレーム画像を構成する各画素が肌色部分か否かを推定することにより肌色部分を抽出する
ことを特徴とする人物属性識別方法。
【請求項９】
請求項１〜８のいずれかに記載の人物属性識別方法において、
前記各人物属性識別用モデルは、前記各人物属性識別用データが識別される前記カテゴリ毎に、事前学習として多くのサンプルデータを用いて主成分分析による特徴抽出を行った後、前記カテゴリに含まれるデータの分布形状を表現するガウス混合モデルを構築することにより作成し、
前記指標値を前記各人物属性識別用データ毎に個別に算出する際には、
前記人物属性識別処理対象のフレーム画像から作成された前記顔用データを含む前記複数種類の人物属性識別用データに基づき、前記ガウス混合モデルにより構築された前記各人物属性識別用モデルを用いて、前記カテゴリ毎に尤度を算出する
ことを特徴とする人物属性識別方法。
【請求項１０】
請求項９に記載の人物属性識別方法において、
前記人物の属性の識別結果を示す情報を算出する際には、
複数の前記尤度をベイズの定理により統合することを特徴とする人物属性識別方法。
【請求項１１】
請求項９または１０に記載の人物属性識別方法において、
同一人物が検出された複数のフレームでそれぞれ算出された前記尤度をベイズの定理により統合することにより、前記複数のフレームでの前記人物の属性の識別結果をトータルした情報を算出する
ことを特徴とする人物属性識別方法。
【請求項１２】
請求項１０または１１に記載の人物属性識別方法において、
前記ベイズの定理により前記尤度を統合する際に、事前確率を用いることを特徴とする人物属性識別方法。
【請求項１３】
カメラで撮影された人物の性別および／または年齢を含む人物属性を識別する人物属性識別システムであって、
前記人物の属性を識別するための顔用データを含む複数種類の人物属性識別用データが識別されるカテゴリに含まれるデータの特徴を示す人物属性識別用モデルを、前記各人物属性識別用データ毎に少なくとも１つずつ記憶する人物属性識別用モデル記憶手段と、
前記カメラで前記人物を撮影して得られた人物属性識別処理対象のフレーム画像から前記複数種類の人物属性識別用データをそれぞれ作成する処理を行う人物属性識別用データ作成処理手段と、
前記人物属性識別用モデル記憶手段に記憶された対応する前記各人物属性識別用モデルを用いて、前記人物属性識別用データ作成処理手段により作成した前記各人物属性識別用データが、いずれの前記カテゴリに含まれるデータであるかということについての確からしさを指標するための尤度、帰属度合い、確率、割合、またはこれらに類する指標値を、前記各人物属性識別用データ毎に個別に算出する処理を行う指標値算出処理手段と、
この指標値算出処理手段により前記各人物属性識別用データ毎に個別に算出した複数の前記指標値を統合することにより、前記人物の属性の識別結果を示す情報を算出する処理を行う識別結果情報算出処理手段と
を備えたことを特徴とする人物属性識別システム。
【請求項１４】
請求項１３に記載の人物属性識別システムにおいて、
前記人物属性識別用モデル記憶手段には、前記人物属性識別用モデルとして、前記顔用データが識別される男性のカテゴリに含まれるデータの特徴を示す顔用の男モデルと、前記顔用データが識別される女性のカテゴリに含まれるデータの特徴を示す顔用の女モデルとが記憶され、
前記指標値算出処理手段は、前記顔用の男モデルを用いて、前記フレーム画像から作成した前記顔用データが、前記男性のカテゴリに含まれるデータであることについての確からしさを示す指標値を算出するとともに、前記顔用の女モデルを用いて、前記フレーム画像から作成した前記顔用データが、前記女性のカテゴリに含まれるデータであることについての確からしさを示す指標値を算出する処理を行う構成とされている
ことを特徴とする人物属性識別システム。
【請求項１５】
請求項１３または１４に記載の人物属性識別システムにおいて、
前記人物属性識別用データには、前記顔用データに加え、髪型用データが含まれ、
前記人物属性識別用モデル記憶手段には、前記人物属性識別用モデルとして、前記髪型用データが識別される男性のカテゴリに含まれるデータの特徴を示す髪型用の男モデルと、前記髪型用データが識別される女性のカテゴリに含まれるデータの特徴を示す髪型用の女モデルとが記憶され、
前記指標値算出処理手段は、前記髪型用の男モデルを用いて、前記フレーム画像から作成した前記髪型用データが、前記男性のカテゴリに含まれるデータであることについての確からしさを示す指標値を算出するとともに、前記髪型用の女モデルを用いて、前記フレーム画像から作成した前記髪型用データが、前記女性のカテゴリに含まれるデータであることについての確からしさを示す指標値を算出する処理を行う構成とされている
ことを特徴とする人物属性識別システム。
【請求項１６】
請求項１３〜１５のいずれかに記載の人物属性識別システムにおいて、
前記人物属性識別用データには、前記顔用データに加え、ネクタイを締めているか否かを識別するためのネクタイ用データが含まれ、
前記人物属性識別用モデル記憶手段には、前記人物属性識別用モデルとして、前記ネクタイ用データが識別されるネクタイありのカテゴリに含まれるデータの特徴を示すネクタイモデルと、前記ネクタイ用データが識別されるネクタイ無しのカテゴリに含まれるデータの特徴を示す非ネクタイモデルとが記憶され、
前記指標値算出処理手段は、前記ネクタイモデルを用いて、前記フレーム画像から作成した前記ネクタイ用データが、前記ネクタイありのカテゴリに含まれるデータであることについての確からしさを示す指標値を算出するとともに、前記非ネクタイモデルを用いて、前記フレーム画像から作成した前記ネクタイ用データが、前記ネクタイ無しのカテゴリに含まれるデータであることについての確からしさを示す指標値を算出する処理を行う構成とされている
ことを特徴とする人物属性識別システム。
【請求項１７】
請求項１３〜１６のいずれかに記載の人物属性識別システムにおいて、
前記人物属性識別用データには、前記顔用データに加え、胸あきのある服を着ているか否かを識別するためのデコルテ用データが含まれ、
前記人物属性識別用モデル記憶手段には、前記人物属性識別用モデルとして、前記デコルテ用データが識別される胸あきありのカテゴリに含まれるデータの特徴を示すデコルテモデルと、前記デコルテ用データが識別される胸あき無しのカテゴリに含まれるデータの特徴を示す非デコルテモデルとが記憶され、
前記指標値算出処理手段は、前記デコルテモデルを用いて、前記フレーム画像から作成した前記デコルテ用データが、前記デコルテありのカテゴリに含まれるデータであることについての確からしさを示す指標値を算出するとともに、前記非デコルテモデルを用いて、前記フレーム画像から作成した前記デコルテ用データが、前記デコルテ無しのカテゴリに含まれるデータであることについての確からしさを示す指標値を算出する処理を行う構成とされている
ことを特徴とする人物属性識別システム。
【請求項１８】
請求項１５に記載の人物属性識別システムにおいて、
様々な環境で撮影された画像から抽出した髪色情報、非髪色情報、肌色情報、および非肌色情報を用いてそれぞれ作成された髪色モデル、非髪色モデル、肌色モデル、および非肌色モデルを記憶する髪色モデル記憶手段、非髪色モデル記憶手段、肌色モデル記憶手段、および非肌色モデル記憶手段と、
前記人物属性識別処理対象のフレーム画像から検出した人物の肌色情報を用いて、前記肌色モデル記憶手段に記憶された前記肌色モデルの更新処理を行う肌色モデル更新処理手段とを備え、
前記人物属性識別用データ作成処理手段は、前記人物属性識別処理対象のフレーム画像から前記髪型用データを作成する際には、前記髪色モデル記憶手段に記憶された前記髪色モデル、前記非髪色モデル記憶手段に記憶された前記非髪色モデル、前記肌色モデル記憶手段に記憶された更新後の前記肌色モデル、および前記非肌色モデル記憶手段に記憶された前記非肌色モデルを用いて、前記人物属性識別処理対象のフレーム画像を構成する各画素が髪部分か否かを推定することにより髪型を抽出する処理を行う構成とされている
ことを特徴とする人物属性識別システム。
【請求項１９】
請求項１６に記載の人物属性識別システムにおいて、
前記人物属性識別用データ作成処理手段は、前記人物属性識別処理対象のフレーム画像から前記ネクタイ用データを作成する際には、輪郭抽出を行ってエッジ画像を作成する処理を行う構成とされていることを特徴とする人物属性識別システム。
【請求項２０】
請求項１７に記載の人物属性識別システムにおいて、
様々な環境で撮影された画像から抽出した肌色情報および非肌色情報を用いてそれぞれ作成された肌色モデルおよび非肌色モデルを記憶する肌色モデル記憶手段および非肌色モデル記憶手段と、
前記人物属性識別処理対象のフレーム画像から検出した人物の肌色情報を用いて、前記肌色モデル記憶手段に記憶された前記肌色モデルの更新処理を行う肌色モデル更新処理手段とを備え、
前記人物属性識別用データ作成処理手段は、前記人物属性識別処理対象のフレーム画像から前記デコルテ用データを作成する際には、前記肌色モデル記憶手段に記憶された更新後の前記肌色モデルおよび前記非肌色モデル記憶手段に記憶された前記非肌色モデルを用いて、前記人物属性識別処理対象のフレーム画像を構成する各画素が肌色部分か否かを推定することにより肌色部分を抽出する処理を行う構成とされている
ことを特徴とする人物属性識別システム。
【請求項２１】
請求項１３〜２０のいずれかに記載の人物属性識別システムにおいて、
前記各人物属性識別用モデルは、前記各人物属性識別用データが識別される前記カテゴリ毎に、事前学習として多くのサンプルデータを用いて主成分分析による特徴抽出を行った後、前記カテゴリに含まれるデータの分布形状をガウス混合モデルにより表現して構築された学習モデルであり、
前記指標値算出処理手段は、前記人物属性識別用データ作成処理手段により作成された前記顔用データを含む前記複数種類の人物属性識別用データに基づき、前記ガウス混合モデルにより構築された前記各人物属性識別用モデルを用いて、前記カテゴリ毎に尤度を算出する処理を行う構成とされている
ことを特徴とする人物属性識別システム。
【請求項２２】
請求項２１に記載の人物属性識別システムにおいて、
前記識別結果情報算出処理手段は、前記指標値算出処理手段により算出された複数の前記尤度をベイズの定理により統合する処理を行う構成とされていることを特徴とする人物属性識別システム。
【請求項２３】
請求項２１または２２に記載の人物属性識別システムにおいて、
同一人物が検出された複数のフレームでそれぞれ算出された前記尤度をベイズの定理により統合することにより、前記複数のフレームでの前記人物の属性の識別結果をトータルした情報を算出する処理を行う識別結果トータル情報算出処理手段を備えたことを特徴とする人物属性識別システム。
【請求項２４】
請求項２２に記載の人物属性識別システムにおいて、
前記識別結果情報算出処理手段は、前記ベイズの定理により前記尤度を統合する際に、事前確率を用いる処理を行う構成とされている
ことを特徴とする人物属性識別システム。
【請求項２５】
請求項２３に記載の人物属性識別システムにおいて、
前記識別結果トータル情報算出処理手段は、前記ベイズの定理により前記尤度を統合する際に、事前確率を用いる処理を行う構成とされている
ことを特徴とする人物属性識別システム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【公開番号】特開２００５−２５０７１２（Ｐ２００５−２５０７１２Ａ）
【公開日】平成１７年９月１５日（２００５．９．１５）
【国際特許分類】
【出願番号】特願２００４−５８３４２（Ｐ２００４−５８３４２）
【出願日】平成１６年３月３日（２００４．３．３）
【出願人】（８９９００００６８）学校法人早稲田大学 (602)
【Ｆターム（参考）】
【公開日】平成１７年９月１５日（２００５．９．１５）
【国際特許分類】
【出願日】平成１６年３月３日（２００４．３．３）
【出願人】（８９９００００６８）学校法人早稲田大学 (602)
【Ｆターム（参考）】
[ Back to top ]