人物属性推定装置、人物属性推定方法及びプログラム
【課題】シワ形状に係る特徴量を人物属性の推定を行うことができ、加えて、撮影環境の変化に対してロバスト性を有する人物属性推定装置を提供する。
【解決手段】発明の人物属性推定装置1は、広告媒体2aを閲覧する人物を撮影するカメラ2の画像から顔領域を検出する顔検出手段110と、事前に作成された顔モデルを顔領域にあてはめることで顔領域上における顔器官の位置を特定し、特定した顔器官の位置から、人物属性の推定に利用する特徴量を求める関心領域として、シワが発生し易い領域である第1の関心領域を顔領域に設定する関心領域設定手段111と、顔領域の特徴量として、第1の関心領域内のエッジ画像から勾配ヒストグラムを抽出する特徴量抽出手段112と、学習器130を参照し、特徴量抽出手段112が抽出した特徴量が属する人物属性の区分を特定する人物属性推定手段120を備えている。
【解決手段】発明の人物属性推定装置1は、広告媒体2aを閲覧する人物を撮影するカメラ2の画像から顔領域を検出する顔検出手段110と、事前に作成された顔モデルを顔領域にあてはめることで顔領域上における顔器官の位置を特定し、特定した顔器官の位置から、人物属性の推定に利用する特徴量を求める関心領域として、シワが発生し易い領域である第1の関心領域を顔領域に設定する関心領域設定手段111と、顔領域の特徴量として、第1の関心領域内のエッジ画像から勾配ヒストグラムを抽出する特徴量抽出手段112と、学習器130を参照し、特徴量抽出手段112が抽出した特徴量が属する人物属性の区分を特定する人物属性推定手段120を備えている。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、広告媒体の広告効果を測定する際に、該広告媒体を閲覧した人物の人物属性(年齢・性別)を推定するための技術に関する。
【背景技術】
【0002】
液晶ディスプレイやプロジェクタなどのディスプレイを用いて広告を表示するデジタルサイネージ(Digital Signage)が、様々な場所に設置され始めている。デジタルサイネージを用いることで、動画や音声を用いた豊かなコンテンツの提供が可能になるばかりか、デジタルサイネージの設置場所に応じた効率的な広告配信が可能になるため、今後、デジタルサイネージのマーケット拡大が期待されている。
【0003】
デジタルサイネージは広告媒体として利用されるため、テレビの視聴率、新聞・雑誌の販売部数といったように、デジタルサイネージにおいても客観的な広告効果を測定することが必要になり、デジタルサイネージの広告効果を測定する際、特許文献1で開示されているように、デジタルサイネージを閲覧している人物を撮影するカメラで撮影した映像を解析し、デジタルサイネージの広告効果の指標として、デジタルサイネージを閲覧した人物の人数を集計する装置が設置される。
【0004】
人物属性の区分毎にデジタルサイネージを閲覧した人物の人数を集計する際、カメラで撮影した映像に含まれる人物の人物属性(年齢・性別)を推定することが必要になり、映像に撮影されている人物の人物属性を推定する発明としては、例えば、特許文献2において、任意の顔向き方向から撮像した対象人物の顔画像から、その対象人物の性別や年代等の属性を自動で推定する装置が開示されている。
【0005】
特許文献2で開示されている装置では、撮像した人物画像の顔画像から特徴ベクトルを作成し、特徴ベクトルを用いて性別及び年代が類似した属性類似者を複数人推定した後、属性類似者の性別に基づいて該人物画像に対応する人物の性別を推定し、推定した性別に属性類似者を限定して、該人物の性別を推定する。
【0006】
また、特許文献3には、口の両端、目尻、目頭、鼻先などのような顔の特徴となる特徴部から、特徴部の全体もしくは一部の色の濃淡、皺の数などの特徴量を抽出し、予め用意された参照特徴量とのスコアを求めることで人物属性(性別・年齢)を推定する旨が記述されている。
【0007】
更に、非特許文献1では、シワ及びシミに係る肌テクスチャや唇領域及び頬領域における色情報色相情報など、顔の見え方に依存しない性別・年齢推定に有効な特徴量を用い、関数近似能力を持つ多層型Nneural Networkを推定器として用いることで、性別の分類だけではなく、様々な分野への応用を考慮した推定年齢の連続値出力を可能とする手法が提案されている。
【先行技術文献】
【特許文献】
【0008】
【特許文献1】特開2011―70629号公報
【特許文献2】特開2003−242486号公報
【特許文献3】特開2008―282089号公報
【非特許文献】
【0009】
【非特許文献1】滝本裕則、他3名、「姿勢変動に影響されない顔画像からの性別年齢推定」、電学論C、127巻7号、2007号,p.1022−p.1029
【発明の概要】
【発明が解決しようとする課題】
【0010】
確かに、非特許文献1で開示されている手法は有用ではあるが改善の余地が残っている。例えば、非特許文献1に係る肌テクスチャでは、額、目尻、法齢線(豊令線)などの各領域におけるエッジ強度の平均と偏差をシワ特徴量として定義しているが、年齢・性別に応じてシワ形状(シワの向きや深さ)が変化するため、シワ形状に係る特徴量をシワ特徴量とすれば人物属性の推定精度向上が期待できる。また、非特許文献1に係る色相特徴では、撮影環境の変化に対する考慮がなされていないため、撮影環境の変化に対してロバスト性を持たせることができれば人物属性の推定精度向上が期待できる。
【0011】
そこで、本発明は、このような課題に鑑みてなされたもので、その目的とするところは、シワ形状に係る特徴量を人物属性の推定に適用でき、加えて、撮影環境の変化に対してロバスト性を有する人物属性推定装置、人物属性推定方法、及びプログラムを提供することである。
【課題を解決するための手段】
【0012】
上述した課題を解決する第1の発明は、人物を撮影するように設定されたカメラの画像から顔領域を検出する顔検出手段と、事前に作成された顔モデルを前記顔領域にあてはめることで前記顔領域上における顔器官の位置を特定し、特定した顔器官の位置から、人物属性の推定に利用する特徴量を求める関心領域として、シワが発生し易い領域である第1の関心領域を前記顔領域に設定する関心領域設定手段と、前記特徴量として、前記第1の関心領域内のエッジ画像から勾配ヒストグラムを抽出する特徴量抽出手段と、複数の学習用顔画像から抽出した前記特徴量を人物属性の区分に分類した結果である学習器を参照し、前記特徴量抽出手段が抽出した前記特徴量を用いて前記顔領域に対応する人物属性の区分を特定する人物属性推定手段を備えたことを特徴とする人物属性推定装置である。
【0013】
上述した第1の発明において、勾配ヒストグラムとは、エッジの方向を横軸、エッジの強度を縦軸に取り、エッジの強度を累積ヒストグラムとしてあらわしたもので、上述した第1の発明によれば、関心領域内のエッジ画像から生成された勾配ヒストグラムは、関心領域内における物体形状を示すことになり、ここでは、シワが発生し易い顔の第1の領域が関心領域となるため、特徴量抽出層の特徴量抽出手段が生成する勾配ヒストグラムは、第1の関心領域内の画像におけるシワ形状を示すことになり、シワ形状に係る特徴量を人物属性の推定に適用できる。
【0014】
更に、上述した課題を解決する第2の発明は、第1の発明に記載した人物属性推定装置であって、前記関心領域設定手段は、前記第1の関心領域に加え、肌の基準色とする領域である第2の関心領域と唇に対応する第3の関心領域を前記顔領域に設定し、前記特徴量として、前記勾配ヒストグラムに加え、前記第2の関心領域と前記第3の関心領域間の色距離を抽出することを特徴とする人物属性推定装置である。
【0015】
上述した第2の発明によれば、第2の関心領域と第3の関心領域間の色距離は相対的な値になるため、撮影条件が変動しても、第2の関心領域と第3の関心領域間の色距離は変動しないため、本実施形態の人物属性推定装置は、撮影条件の変動に対してロバスト性を有することになる。
【0016】
更に、上述した課題を解決する第3の発明は、第1の発明または第2の発明に記載した人物属性推定装置であって、所望の人物属性の区分毎に用意された複数の学習用顔画像から前記特徴量を抽出し、機械学習により前記学習器を作成する学習器生成手段を備えたことを特徴とする人物属性推定装置である。
【0017】
上述した第3の発明によれば、人物属性の推定に利用する前記学習器を作成できるようになる。なお、前記学習器の作成する手法としては、カーネル関数を用いた非線形分離を利用するSVMを用いるとよい。
【0018】
更に、第4の発明は、人物を撮影するように設定されたカメラの画像から顔領域を検出する顔検出工程と、事前に作成された顔モデルを前記顔領域にあてはめることで前記顔領域上における顔器官の位置を特定し、特定した顔器官の位置から、人物属性の推定に利用する特徴量を求める関心領域として、シワが発生し易い領域である第1の関心領域を前記顔領域に設定する関心領域設定工程と、前記特徴量として、前記第1の関心領域内のエッジ画像から勾配ヒストグラムを抽出する特徴量抽出工程と、複数の学習用顔画像から抽出した前記特徴量を人物属性の区分に分類した結果である学習器を参照し、前記特徴量抽出手段が抽出した前記特徴量を用いて前記顔領域に対応する人物属性の区分を特定する人物属性推定工程を含む処理をコンピュータが実行することを特徴とする人物属性推定方法である。
【0019】
更に、上述した課題を解決する第5の発明は、第4の発明に記載した人物属性推定方法であって、前記関心領域設定工程において、前記第1の関心領域に加え、肌の基準色とする領域である第2の関心領域と唇に対応する第3の関心領域を前記顔領域に設定し、前記特徴量抽出工程において、前記特徴量として、前記勾配ヒストグラムに加え、前記第2の関心領域と前記第3の関心領域間の色距離を抽出することを特徴とする人物属性推定方法である。
【0020】
更に、第6の発明は、人物を撮影するように設定されたカメラの画像から顔領域を検出する顔検出工程と、事前に作成された顔モデルを前記顔領域にあてはめることで前記顔領域上における顔器官の位置を特定し、特定した顔器官の位置から、人物属性の推定に利用する特徴量を求める関心領域として、シワが発生し易い領域である第1の関心領域を前記顔領域に設定する関心領域設定工程と、前記特徴量として、前記第1の関心領域内のエッジ画像から勾配ヒストグラムを抽出する特徴量抽出工程と、複数の学習用顔画像から抽出した前記特徴量を人物属性の区分に分類した結果である学習器を参照し、前記特徴量抽出手段が抽出した前記特徴量を用いて前記顔領域に対応する人物属性の区分を特定する人物属性推定工程を含む処理をコンピュータに実行させるためのコンピュータプログラムである。
【0021】
更に、上述した課題を解決する第7の発明は、第6の発明に記載した人物属性推定方法であって、前記関心領域設定工程において、前記第1の関心領域に加え、肌の基準色とする領域である第2の関心領域と唇に対応する第3の関心領域を前記顔領域に設定し、前記特徴量抽出工程において、前記特徴量として、前記勾配ヒストグラムに加え、前記第2の関心領域と前記第3の関心領域間の色距離を抽出することを特徴とすることを特徴とするコンピュータプログラムである。
【発明の効果】
【0022】
このように、本発明によれば、シワ形状に係る特徴量を人物属性の推定を行うことができ、加えて、撮影環境の変化に対してロバスト性を有する人物属性推定装置、人物属性推定方法、及びプログラムを提供できる。
【図面の簡単な説明】
【0023】
【図1】人物属性推定装置を配置したシステム構成を説明する図。
【図2】人物属性推定装置が有するハードウェアを説明する図。
【図3】人物属性推定装置に実装されるアプリケーションの層の構成を説明する図。
【図4】特徴量抽出層の顔検出手段の動作を説明する図。
【図5】特徴量抽出層の顔検出手段の動作を説明する補足図。
【図6】対象領域の一例を説明する図。
【図7】特徴量抽出手段が勾配ヒストグラムを抽出する動作を説明する図。
【図8】特徴量抽出手段が抽出する勾配ヒストグラムを説明する図。
【図9】特徴量抽出手段が第2の関心領域と第3の関心領域間の色距離を抽出する動作を説明する図。
【図10】本発明の効果を説明する図。
【発明を実施するための形態】
【0024】
ここから、本発明の好適な実施形態について、図面を参照しながら詳細に説明する。なお、これから説明する実施形態は本発明の一実施形態にしか過ぎず、本発明は、これから説明する実施形態に限定されることなく、種々の変形や変更が可能である。
【0025】
図1は、本実施形態に係る人物属性推定装置1を配置したシステム構成を説明する図である。図1で図示した人物属性推定装置1は、広告を表示する広告媒体2a(図1では、デジタルサイネージ)と、広告媒体2aを閲覧している人物3を撮影するカメラ2と、カメラ2が撮影した映像に含まれる人物3の人物属性(年齢・性別)を推定する人物属性推定装置1とから少なくとも構成される。
【0026】
なお、本実施形態において広告媒体2aとは、公の場において大衆に対し広告を提示する媒体で、図1では、液晶ディスプレイを用いて広告を表示するデジタルサイネージ(Digital Signage)として広告媒体2aを図示しているが、広告媒体2aは、ショーウインドウ、広告看板、店舗内の特定の商品陳列棚などとすることもできる。
【0027】
図2は、人物属性推定装置1が有するハードウェアを説明する図である。図2に図示したように、コンピュータを利用して実現される装置である人物属性推定装置1は、ハードウェアとして、メモリインターフェースやグラフィックボードなどが実装されたチップセット1bに接続しているCPU(Central Processing Unit)1aを有し、このチップセット1bには、メモリ1c、ディスプレイ1d、キーボード/マウス1e、LANインターフェース1f、ハードディスク1g及びカメラインターフェース1hが接続されている。
【0028】
人物属性推定装置1のハードディスク1gには、人物属性推定装置1を動作させるためのコンピュータプログラムが実装され、このコンピュータプログラムには、基本的な機能を提供するオペレーティングシステムや該オペレーティングシステム上で動作する画像認識に係るライブラリ(例えば、OpenCV)などの他に、画像認識に係るライブラリを利用して人物属性を推定するための機能を提供するアプリケーションが実装される。
【0029】
図3は、人物属性推定装置1に実装されるアプリケーション層の構成を説明する図である。図3に図示したように、画像認識に係るライブラリを利用して人物属性を推定するための機能を提供するアプリケーションの層の構成には、カメラ2が撮影した画像が入力されるインターフェース層10と、インターフェース層10に入力された画像を解析することで、人物属性の推定に用いる特徴量を該画像から抽出する特徴量抽出層11と、学習用顔画像から得られた特徴量を用いて予め生成された学習器130を有する人物属性学習層13と、人物属性学習層13が有する学習器130を参照し、特徴量抽出層11が抽出した特徴量から人物属性を推定する人物属性推定層12が含まれる。
【0030】
ここから、人物属性推定装置1に実装されるアプリケーションの層の構成についてより詳細に説明する。図3に図示したように、インターフェース層10には、カメラインターフェース1hを利用して実現される画像入力手段100が含まれる。特徴量抽出層11に出力する画像はカメラ2で撮影した動画に含まれる各フレームであってもよいが、一定時間毎(例えば、1分毎)のフレームであってもよい。
【0031】
次に、特徴量抽出層11について説明する。図3に図示したように、特徴量抽出層11には、カメラ2から入力された画像から矩形の顔領域を検出する顔検出手段110と、顔検出手段110が検出した顔領域毎に、特徴量を抽出する対象領域を検出する関心領域設定手段111と、顔検出手段110が検出した顔領域の特徴量を抽出する手段として、関心領域設定手段111が検出した対象領域からシワ特徴量と唇特徴量を顔領域の特徴量として抽出する特徴量抽出手段112が含まれる。
【0032】
ここから、特徴量抽出層11に含まれる各手段について説明する。図4は、特徴量抽出層11の顔検出手段110の動作を説明する図で、図5は、特徴量抽出層11の顔検出手段110の動作を説明する補足図である。
【0033】
本実施形態において、特徴量抽出層11の顔検出手段110は、インターフェース層10から入力された画像から顔領域を検出する際、まず、インターフェース層10の画像入力手段100に入力された画像から背景を除去する処理を行う(S1)。背景を除去する手法としては、背景画像を用意しておき、インターフェース層10から入力された画像のある位置の画素が、背景画像の同じ位置にある画素との差分が閾値未満なら「0」(黒)、閾値以上であれば「1」(白)とする処理を行えばよい。
【0034】
インターフェース層10から入力された画像から背景を除去すると、特徴量抽出層11の顔検出手段110は、図5(a)に図示したように、インターフェース層10から入力された画像から背景が除去された後の領域をblob(小塊)4aとして抽出し、更に、blob4aのサイズに依存する矩形で囲った領域をblob領域4bとして抽出する(S2)。
【0035】
特徴量抽出層11の顔検出手段110は、blob(小塊)4aとblob領域4bを抽出すると、背景を除去する前の画像についてblob領域4bをあてはめ、blob領域4b内の画像から顔検出処理を行い、顔領域の候補を検出する(S3)。なお、顔検出処理については、下記の非特許文献1などで開示されているHaar-Like特徴量を用いた手法を利用するとよい。
<非特許文献1>Paul Viola and Michel J. Jones: "Rapid Object Detection Using a Boosted Cascade of Simple Features", Proceedings of the 2001 IEEE Computer Society Conference on Computer Vision and Pattern Recognition, pp.511-518, (2001)
【0036】
図5(b)に図示したように、背景を除去する前の画像についてblob領域4bをあてはめ、blob領域4b内の画像から顔検出処理を行うと、同一の顔から検出された複数の顔領域4cや、顔以外の物を顔として誤検出した顔領域4dも含まれるため、本実施形態において、特徴量抽出層11の顔検出手段110は、抽出したblob領域4b内の画像にて顔検出処理を行った後、図5(c)に図示したように、2つの顔領域において、一方の顔領域の中心と他方の顔領域の中心との距離≦一方の顔領域の中心から端までの距離+他方の顔領域の中心から端までの距離であるか確認するなどして、顔領域4cの候補の重なりを判定し、重なっていると判定された顔領域の中から最大サイズのものを選択するなどして、同一の顔から検出されたと推測される複数の顔領域4bを一つの顔領域4eにまとめる処理(S4)や、図5(d)に図示したように、顔領域(ここでは、顔領域4e、d)に含まれるblob4aの割合を参照して、顔以外を誤検出した顔領域4dの候補を削除する処理を行い(S5)、最終的に残った顔領域(ここでは、顔領域4e)を顔検出結果とし、最終的に残った顔領域(ここでは、顔領域4e)を所定サイズに正規化して(S6)、この処理を終了する。
【0037】
次に、特徴量抽出層11の関心領域設定手段111について説明する。本実施形態において、特徴量抽出層11の関心領域設定手段111は、事前に作成された顔モデルを顔検出手段110が検出した顔領域に当てはめることで、顔領域における顔器官(目、鼻、唇等)の位置を特定し、特定した顔器官(目、鼻、唇等)の位置を利用し、人物属性の推定に用いる特徴量を求める関心領域として、シワの発生し易い顔の領域である第1の関心領域、肌の基準色とする顔の領域である第2の関心領域及び唇の領域である第3の関心領域を顔領域に設定する処理を行う。なお、顔モデルを顔領域に当てはめる手法としては、下記の非特許文献2などで開示され、Affine変換により顔モデルを顔領域に当てはめるASM(Active Shape Model)を用いるとよい。
<非特許文献2>T.F. Cootes, D. Cooper, C.J. Taylor and J. Graham, "Active Shape Models - Their Training and Application." Computer Vision and Image Understanding. Vol. 61, No. 1, Jan. 1995, pp. 38-59.
【0038】
図6は、関心領域の設定の一例を説明する図である。図6では、シワの発生し易い顔の領域である第1の関心領域として、額領域5a、左右の目下領域5b、c、左右の法齢線領域5d、5eの合計5つが、肌の基準色とする顔の領域である第2の関心領域として鼻領域5fが、そして、唇の領域である第3の関心領域として唇領域5gが設定され、特徴量抽出層11の関心領域設定手段111は、図6で図示した関心領域と顔器官(目、鼻、唇等)との相対的な位置関係から、顔モデルを顔検出手段110が検出した顔領域におけるこれらの関心領域を求める。
【0039】
このように、本実施形態では、事前に作成された顔モデルを顔領域に当てはめ、顔領域における顔器官の位置を検出し、顔器官の位置を利用して関心領域を顔領域に設定するため、正面の顔のみならず斜めの顔に対しても、顔領域における関心領域を正確に検出することができ、本実施形態の人物属性推定装置1は、撮影された顔の向きに対してロバスト性を持つことになる。
【0040】
次に、特徴量抽出層11の特徴量抽出手段112について説明する。非特許文献1では、額、目尻、法齢線(豊令線)などの各領域におけるエッジ強度の平均と偏差をシワ特徴量として定義しているが、本実施形態においては、年齢・性別に応じてシワ形状(シワの向きや深さ)が変化することに着目し、特徴量抽出層11の特徴量抽出手段112は、関心領域設定手段111が検出した第1の関心領域内のエッジ画像から求めた勾配ヒストグラムを、関心領域設定手段111が検出した第1の関心領域内のシワ形状(シワの向きや深さ)を示す特徴量として抽出する。
【0041】
更に、年齢や性別により唇の赤みが異なることに着目し、本実施形態において、特徴量抽出層11の特徴量抽出手段112は、唇の赤みを示す特徴量として、関心領域設定手段111が検出した第2の関心領域と第3の関心領域間の色距離を抽出する。なお、第2の関心領域と第3の関心領域間の色距離は相対的な値になるため、撮影条件が変動しても、第2の関心領域と第3の関心領域間の色距離は変動しないため、本実施形態の人物属性推定装置1は、撮影条件の変動に対してロバスト性を有することになる。
【0042】
図7は、特徴量抽出層11の特徴量抽出手段112が勾配ヒストグラムを抽出する動作を説明する図で、この手順は、顔検出手段110が検出した顔領域毎に実行される。
【0043】
勾配ヒストグラムを抽出する際、特徴量抽出層11のシワ特徴量抽出手段112は、まず、シワの発生し易い顔の対象領域である第1の関心領域内の画像におけるX方向及びY方向のエッジ画像を算出する(S10)。第1の関心領域におけるX方向及びY方向のエッジ画像を算出する手法としては、空間フィルタの一つであるSobelフィルタを用いるとよく、ここでは、X方向及びY方向のエッジ画像を算出するため、Sobelフィルタのオペレータとしては表1のオペレータを用いるとよい。
【表1】
【0044】
シワの発生し易い顔の対象領域である第1の関心領域内の画像におけるX方向及びY方向のエッジ画像を算出すると、特徴量抽出層11の特徴量抽出手段112は、数式1を用いて、X方向及びY方向のエッジ画像の画素毎に勾配強度・勾配方向を算出する(S11)。
【数1】
【0045】
X方向及びY方向のエッジ画像の画素毎に勾配強度・勾配方向を算出すると、特徴量抽出層11の特徴量抽出手段112は、勾配強度・勾配方向を元に、X軸を勾配方向、Y軸を勾配強度とした勾配ヒストグラムを生成し(S12)、この手順を終了する。
【0046】
図8は、特徴量抽出層11の特徴量抽出手段112が抽出する勾配ヒストグラムを説明する図である。勾配ヒストグラムの勾配方向は全方向(0度〜360度)でも良いが、本実施形態において、特徴量抽出層11の特徴量抽出手段112は、全方向(0度〜360度)を10分割した36方向の勾配ヒストグラムを生成する。
【0047】
対象領域内の画像のX方向及びY方向のエッジ画像から生成された勾配ヒストグラムは、対象領域内における物体形状を示すことになり、ここでは、シワが発生し易い第1の関心領域が対象領域となるため、特徴量抽出層11の特徴量抽出手段112が生成する勾配ヒストグラムは、第1の関心領域内の画像におけるシワ形状を示すことになる。
【0048】
次に、特徴量抽出層11の特徴量抽出手段112が、第2の関心領域と第3の関心領域間の色距離を抽出する動作について説明する。図9は、特徴量抽出層11の特徴量抽出手段112第2の関心領域と第3の関心領域間の色距離を抽出する動作を説明する図で、この手順は、顔検出手段110が検出した顔領域毎に実行される。
【0049】
特徴量抽出層11の特徴量抽出手段112は、唇特徴量を抽出する際、基準肌領域内の画像と第3の関心領域内の画像それぞれから、赤み成分を多く含む色空間上での色ヒストグラムを求めた後(S20)、該色ヒストグラム間の差分を色距離として抽出し(S21)、この手順を終了する。なお、本実施形態では、赤み成分を多く含む色空間を、H(色相)、S(彩度)及びR(赤)の3つの色空間とし、色ヒストグラム間の差分として数式2に従いバタチャリヤ距離を算出するが、ヒストグラム間の差分としてマハラノビス距離を算出してもよい。
【数2】
【0050】
このように、特徴量抽出層11の特徴量抽出手段112は、顔画像の特徴量として、合計で5つの第1の関心領域毎に36方向の勾配ヒストグラムを作成し、また、H(色相)、S(彩度)及びR(赤)の3つの色空間毎に、第2の関心領域と第3の関心領域間の色距離(ここでは、バタチャリヤ距離)を抽出するため、一つの顔領域から抽出される特徴量は183次元のベクトルとなる。
【0051】
次に、人物属性学習層13の学習器130について説明する。人物属性学習層13には、特徴量抽出層11から得られた特徴量(ここでは、勾配ヒストグラムと色距離)から人物属性(ここでは、年齢・性別)を推定する際に用いる学習器130と、機械学習により学習器130を作成する学習器生成手段131が設けられる。
【0052】
人物属性学習層13の学習器130は、学習器生成手段131により人物属性を推定する前に予め生成される。本実施形態において、人物属性学習層13の学習器生成手段131は、SVM(Support Vector Machine)により学習器130を生成する。
【0053】
SVM(Support Vector Machine)を利用して学習器130を生成する際、予め、人物属性の区分(ここでは、男女の性別に4つの年齢区分毎に、0歳から19歳、20歳から34歳、35歳から49歳、50歳以上を設定した合計8区分)毎に複数の学習用顔画像を用意し、学習用顔画像毎に上述した183次元の特徴量を抽出し、カーネル関数を用いた非線形分離を利用するSVMにより、それぞれの学習用顔画像から抽出された特徴量を8個の人物属性の区分に分離した結果が学習器130として利用される。
【0054】
次に、人物属性推定層12について説明する。人物属性推定層12の人物属性推定手段は、人物属性学習層13の学習器130を参照し、特徴量抽出層11から得られた特徴量(ここでは、シワ特徴量と唇特徴量)から人物属性(ここでは、年齢・性別)を推定する処理を行う。具体的には、人物属性推定層12の人物属性推定手段は、人物属性(ここでは、年齢・性別)を推定する際、人物属姓学習層の学習器130を参照し、特徴量抽出層11から得られた183次元の特徴量が属するベクトル空間に対応した人物属性の区分を該特徴量の対象となった顔領域の人物属性として特定する。
【0055】
最後に、本発明の効果について説明する。図10は、本発明の効果を説明する図で、図10(a)は年齢推定結果を示し、図10(b)は性別推定結果を示し、図10内のパーセント表示は、図10(a)の番号2であれば、20歳から34歳までの女性を正しく推定できた識別率が各角度で87%、82%・・・であることを示している。
【0056】
図10の年齢推定結果では、若年層(19歳以下)の年齢推定結果が非常に悪い識別率になっているが、これは、人物属性学習器130を生成する際に利用した若年層(19歳以下)の学習用顔画像の数が15人と少ないためと考えられ、より多くの学習用顔画像を用いて学習器130を生成すれば識別率は向上すると思われる。
【符号の説明】
【0057】
1 人物属性推定装置
10 インターフェース層
100 画像入力手段
11 特徴量抽出層
110 顔検出手段
111 関心領域設定手段
112 特徴量抽出手段
12 人物属性推定層
120 人物属性推定手段
13 人物属性学習層
130 学習器
131 学習器生成手段
2 カメラ
2a 広告媒体
3 人物
【技術分野】
【0001】
本発明は、広告媒体の広告効果を測定する際に、該広告媒体を閲覧した人物の人物属性(年齢・性別)を推定するための技術に関する。
【背景技術】
【0002】
液晶ディスプレイやプロジェクタなどのディスプレイを用いて広告を表示するデジタルサイネージ(Digital Signage)が、様々な場所に設置され始めている。デジタルサイネージを用いることで、動画や音声を用いた豊かなコンテンツの提供が可能になるばかりか、デジタルサイネージの設置場所に応じた効率的な広告配信が可能になるため、今後、デジタルサイネージのマーケット拡大が期待されている。
【0003】
デジタルサイネージは広告媒体として利用されるため、テレビの視聴率、新聞・雑誌の販売部数といったように、デジタルサイネージにおいても客観的な広告効果を測定することが必要になり、デジタルサイネージの広告効果を測定する際、特許文献1で開示されているように、デジタルサイネージを閲覧している人物を撮影するカメラで撮影した映像を解析し、デジタルサイネージの広告効果の指標として、デジタルサイネージを閲覧した人物の人数を集計する装置が設置される。
【0004】
人物属性の区分毎にデジタルサイネージを閲覧した人物の人数を集計する際、カメラで撮影した映像に含まれる人物の人物属性(年齢・性別)を推定することが必要になり、映像に撮影されている人物の人物属性を推定する発明としては、例えば、特許文献2において、任意の顔向き方向から撮像した対象人物の顔画像から、その対象人物の性別や年代等の属性を自動で推定する装置が開示されている。
【0005】
特許文献2で開示されている装置では、撮像した人物画像の顔画像から特徴ベクトルを作成し、特徴ベクトルを用いて性別及び年代が類似した属性類似者を複数人推定した後、属性類似者の性別に基づいて該人物画像に対応する人物の性別を推定し、推定した性別に属性類似者を限定して、該人物の性別を推定する。
【0006】
また、特許文献3には、口の両端、目尻、目頭、鼻先などのような顔の特徴となる特徴部から、特徴部の全体もしくは一部の色の濃淡、皺の数などの特徴量を抽出し、予め用意された参照特徴量とのスコアを求めることで人物属性(性別・年齢)を推定する旨が記述されている。
【0007】
更に、非特許文献1では、シワ及びシミに係る肌テクスチャや唇領域及び頬領域における色情報色相情報など、顔の見え方に依存しない性別・年齢推定に有効な特徴量を用い、関数近似能力を持つ多層型Nneural Networkを推定器として用いることで、性別の分類だけではなく、様々な分野への応用を考慮した推定年齢の連続値出力を可能とする手法が提案されている。
【先行技術文献】
【特許文献】
【0008】
【特許文献1】特開2011―70629号公報
【特許文献2】特開2003−242486号公報
【特許文献3】特開2008―282089号公報
【非特許文献】
【0009】
【非特許文献1】滝本裕則、他3名、「姿勢変動に影響されない顔画像からの性別年齢推定」、電学論C、127巻7号、2007号,p.1022−p.1029
【発明の概要】
【発明が解決しようとする課題】
【0010】
確かに、非特許文献1で開示されている手法は有用ではあるが改善の余地が残っている。例えば、非特許文献1に係る肌テクスチャでは、額、目尻、法齢線(豊令線)などの各領域におけるエッジ強度の平均と偏差をシワ特徴量として定義しているが、年齢・性別に応じてシワ形状(シワの向きや深さ)が変化するため、シワ形状に係る特徴量をシワ特徴量とすれば人物属性の推定精度向上が期待できる。また、非特許文献1に係る色相特徴では、撮影環境の変化に対する考慮がなされていないため、撮影環境の変化に対してロバスト性を持たせることができれば人物属性の推定精度向上が期待できる。
【0011】
そこで、本発明は、このような課題に鑑みてなされたもので、その目的とするところは、シワ形状に係る特徴量を人物属性の推定に適用でき、加えて、撮影環境の変化に対してロバスト性を有する人物属性推定装置、人物属性推定方法、及びプログラムを提供することである。
【課題を解決するための手段】
【0012】
上述した課題を解決する第1の発明は、人物を撮影するように設定されたカメラの画像から顔領域を検出する顔検出手段と、事前に作成された顔モデルを前記顔領域にあてはめることで前記顔領域上における顔器官の位置を特定し、特定した顔器官の位置から、人物属性の推定に利用する特徴量を求める関心領域として、シワが発生し易い領域である第1の関心領域を前記顔領域に設定する関心領域設定手段と、前記特徴量として、前記第1の関心領域内のエッジ画像から勾配ヒストグラムを抽出する特徴量抽出手段と、複数の学習用顔画像から抽出した前記特徴量を人物属性の区分に分類した結果である学習器を参照し、前記特徴量抽出手段が抽出した前記特徴量を用いて前記顔領域に対応する人物属性の区分を特定する人物属性推定手段を備えたことを特徴とする人物属性推定装置である。
【0013】
上述した第1の発明において、勾配ヒストグラムとは、エッジの方向を横軸、エッジの強度を縦軸に取り、エッジの強度を累積ヒストグラムとしてあらわしたもので、上述した第1の発明によれば、関心領域内のエッジ画像から生成された勾配ヒストグラムは、関心領域内における物体形状を示すことになり、ここでは、シワが発生し易い顔の第1の領域が関心領域となるため、特徴量抽出層の特徴量抽出手段が生成する勾配ヒストグラムは、第1の関心領域内の画像におけるシワ形状を示すことになり、シワ形状に係る特徴量を人物属性の推定に適用できる。
【0014】
更に、上述した課題を解決する第2の発明は、第1の発明に記載した人物属性推定装置であって、前記関心領域設定手段は、前記第1の関心領域に加え、肌の基準色とする領域である第2の関心領域と唇に対応する第3の関心領域を前記顔領域に設定し、前記特徴量として、前記勾配ヒストグラムに加え、前記第2の関心領域と前記第3の関心領域間の色距離を抽出することを特徴とする人物属性推定装置である。
【0015】
上述した第2の発明によれば、第2の関心領域と第3の関心領域間の色距離は相対的な値になるため、撮影条件が変動しても、第2の関心領域と第3の関心領域間の色距離は変動しないため、本実施形態の人物属性推定装置は、撮影条件の変動に対してロバスト性を有することになる。
【0016】
更に、上述した課題を解決する第3の発明は、第1の発明または第2の発明に記載した人物属性推定装置であって、所望の人物属性の区分毎に用意された複数の学習用顔画像から前記特徴量を抽出し、機械学習により前記学習器を作成する学習器生成手段を備えたことを特徴とする人物属性推定装置である。
【0017】
上述した第3の発明によれば、人物属性の推定に利用する前記学習器を作成できるようになる。なお、前記学習器の作成する手法としては、カーネル関数を用いた非線形分離を利用するSVMを用いるとよい。
【0018】
更に、第4の発明は、人物を撮影するように設定されたカメラの画像から顔領域を検出する顔検出工程と、事前に作成された顔モデルを前記顔領域にあてはめることで前記顔領域上における顔器官の位置を特定し、特定した顔器官の位置から、人物属性の推定に利用する特徴量を求める関心領域として、シワが発生し易い領域である第1の関心領域を前記顔領域に設定する関心領域設定工程と、前記特徴量として、前記第1の関心領域内のエッジ画像から勾配ヒストグラムを抽出する特徴量抽出工程と、複数の学習用顔画像から抽出した前記特徴量を人物属性の区分に分類した結果である学習器を参照し、前記特徴量抽出手段が抽出した前記特徴量を用いて前記顔領域に対応する人物属性の区分を特定する人物属性推定工程を含む処理をコンピュータが実行することを特徴とする人物属性推定方法である。
【0019】
更に、上述した課題を解決する第5の発明は、第4の発明に記載した人物属性推定方法であって、前記関心領域設定工程において、前記第1の関心領域に加え、肌の基準色とする領域である第2の関心領域と唇に対応する第3の関心領域を前記顔領域に設定し、前記特徴量抽出工程において、前記特徴量として、前記勾配ヒストグラムに加え、前記第2の関心領域と前記第3の関心領域間の色距離を抽出することを特徴とする人物属性推定方法である。
【0020】
更に、第6の発明は、人物を撮影するように設定されたカメラの画像から顔領域を検出する顔検出工程と、事前に作成された顔モデルを前記顔領域にあてはめることで前記顔領域上における顔器官の位置を特定し、特定した顔器官の位置から、人物属性の推定に利用する特徴量を求める関心領域として、シワが発生し易い領域である第1の関心領域を前記顔領域に設定する関心領域設定工程と、前記特徴量として、前記第1の関心領域内のエッジ画像から勾配ヒストグラムを抽出する特徴量抽出工程と、複数の学習用顔画像から抽出した前記特徴量を人物属性の区分に分類した結果である学習器を参照し、前記特徴量抽出手段が抽出した前記特徴量を用いて前記顔領域に対応する人物属性の区分を特定する人物属性推定工程を含む処理をコンピュータに実行させるためのコンピュータプログラムである。
【0021】
更に、上述した課題を解決する第7の発明は、第6の発明に記載した人物属性推定方法であって、前記関心領域設定工程において、前記第1の関心領域に加え、肌の基準色とする領域である第2の関心領域と唇に対応する第3の関心領域を前記顔領域に設定し、前記特徴量抽出工程において、前記特徴量として、前記勾配ヒストグラムに加え、前記第2の関心領域と前記第3の関心領域間の色距離を抽出することを特徴とすることを特徴とするコンピュータプログラムである。
【発明の効果】
【0022】
このように、本発明によれば、シワ形状に係る特徴量を人物属性の推定を行うことができ、加えて、撮影環境の変化に対してロバスト性を有する人物属性推定装置、人物属性推定方法、及びプログラムを提供できる。
【図面の簡単な説明】
【0023】
【図1】人物属性推定装置を配置したシステム構成を説明する図。
【図2】人物属性推定装置が有するハードウェアを説明する図。
【図3】人物属性推定装置に実装されるアプリケーションの層の構成を説明する図。
【図4】特徴量抽出層の顔検出手段の動作を説明する図。
【図5】特徴量抽出層の顔検出手段の動作を説明する補足図。
【図6】対象領域の一例を説明する図。
【図7】特徴量抽出手段が勾配ヒストグラムを抽出する動作を説明する図。
【図8】特徴量抽出手段が抽出する勾配ヒストグラムを説明する図。
【図9】特徴量抽出手段が第2の関心領域と第3の関心領域間の色距離を抽出する動作を説明する図。
【図10】本発明の効果を説明する図。
【発明を実施するための形態】
【0024】
ここから、本発明の好適な実施形態について、図面を参照しながら詳細に説明する。なお、これから説明する実施形態は本発明の一実施形態にしか過ぎず、本発明は、これから説明する実施形態に限定されることなく、種々の変形や変更が可能である。
【0025】
図1は、本実施形態に係る人物属性推定装置1を配置したシステム構成を説明する図である。図1で図示した人物属性推定装置1は、広告を表示する広告媒体2a(図1では、デジタルサイネージ)と、広告媒体2aを閲覧している人物3を撮影するカメラ2と、カメラ2が撮影した映像に含まれる人物3の人物属性(年齢・性別)を推定する人物属性推定装置1とから少なくとも構成される。
【0026】
なお、本実施形態において広告媒体2aとは、公の場において大衆に対し広告を提示する媒体で、図1では、液晶ディスプレイを用いて広告を表示するデジタルサイネージ(Digital Signage)として広告媒体2aを図示しているが、広告媒体2aは、ショーウインドウ、広告看板、店舗内の特定の商品陳列棚などとすることもできる。
【0027】
図2は、人物属性推定装置1が有するハードウェアを説明する図である。図2に図示したように、コンピュータを利用して実現される装置である人物属性推定装置1は、ハードウェアとして、メモリインターフェースやグラフィックボードなどが実装されたチップセット1bに接続しているCPU(Central Processing Unit)1aを有し、このチップセット1bには、メモリ1c、ディスプレイ1d、キーボード/マウス1e、LANインターフェース1f、ハードディスク1g及びカメラインターフェース1hが接続されている。
【0028】
人物属性推定装置1のハードディスク1gには、人物属性推定装置1を動作させるためのコンピュータプログラムが実装され、このコンピュータプログラムには、基本的な機能を提供するオペレーティングシステムや該オペレーティングシステム上で動作する画像認識に係るライブラリ(例えば、OpenCV)などの他に、画像認識に係るライブラリを利用して人物属性を推定するための機能を提供するアプリケーションが実装される。
【0029】
図3は、人物属性推定装置1に実装されるアプリケーション層の構成を説明する図である。図3に図示したように、画像認識に係るライブラリを利用して人物属性を推定するための機能を提供するアプリケーションの層の構成には、カメラ2が撮影した画像が入力されるインターフェース層10と、インターフェース層10に入力された画像を解析することで、人物属性の推定に用いる特徴量を該画像から抽出する特徴量抽出層11と、学習用顔画像から得られた特徴量を用いて予め生成された学習器130を有する人物属性学習層13と、人物属性学習層13が有する学習器130を参照し、特徴量抽出層11が抽出した特徴量から人物属性を推定する人物属性推定層12が含まれる。
【0030】
ここから、人物属性推定装置1に実装されるアプリケーションの層の構成についてより詳細に説明する。図3に図示したように、インターフェース層10には、カメラインターフェース1hを利用して実現される画像入力手段100が含まれる。特徴量抽出層11に出力する画像はカメラ2で撮影した動画に含まれる各フレームであってもよいが、一定時間毎(例えば、1分毎)のフレームであってもよい。
【0031】
次に、特徴量抽出層11について説明する。図3に図示したように、特徴量抽出層11には、カメラ2から入力された画像から矩形の顔領域を検出する顔検出手段110と、顔検出手段110が検出した顔領域毎に、特徴量を抽出する対象領域を検出する関心領域設定手段111と、顔検出手段110が検出した顔領域の特徴量を抽出する手段として、関心領域設定手段111が検出した対象領域からシワ特徴量と唇特徴量を顔領域の特徴量として抽出する特徴量抽出手段112が含まれる。
【0032】
ここから、特徴量抽出層11に含まれる各手段について説明する。図4は、特徴量抽出層11の顔検出手段110の動作を説明する図で、図5は、特徴量抽出層11の顔検出手段110の動作を説明する補足図である。
【0033】
本実施形態において、特徴量抽出層11の顔検出手段110は、インターフェース層10から入力された画像から顔領域を検出する際、まず、インターフェース層10の画像入力手段100に入力された画像から背景を除去する処理を行う(S1)。背景を除去する手法としては、背景画像を用意しておき、インターフェース層10から入力された画像のある位置の画素が、背景画像の同じ位置にある画素との差分が閾値未満なら「0」(黒)、閾値以上であれば「1」(白)とする処理を行えばよい。
【0034】
インターフェース層10から入力された画像から背景を除去すると、特徴量抽出層11の顔検出手段110は、図5(a)に図示したように、インターフェース層10から入力された画像から背景が除去された後の領域をblob(小塊)4aとして抽出し、更に、blob4aのサイズに依存する矩形で囲った領域をblob領域4bとして抽出する(S2)。
【0035】
特徴量抽出層11の顔検出手段110は、blob(小塊)4aとblob領域4bを抽出すると、背景を除去する前の画像についてblob領域4bをあてはめ、blob領域4b内の画像から顔検出処理を行い、顔領域の候補を検出する(S3)。なお、顔検出処理については、下記の非特許文献1などで開示されているHaar-Like特徴量を用いた手法を利用するとよい。
<非特許文献1>Paul Viola and Michel J. Jones: "Rapid Object Detection Using a Boosted Cascade of Simple Features", Proceedings of the 2001 IEEE Computer Society Conference on Computer Vision and Pattern Recognition, pp.511-518, (2001)
【0036】
図5(b)に図示したように、背景を除去する前の画像についてblob領域4bをあてはめ、blob領域4b内の画像から顔検出処理を行うと、同一の顔から検出された複数の顔領域4cや、顔以外の物を顔として誤検出した顔領域4dも含まれるため、本実施形態において、特徴量抽出層11の顔検出手段110は、抽出したblob領域4b内の画像にて顔検出処理を行った後、図5(c)に図示したように、2つの顔領域において、一方の顔領域の中心と他方の顔領域の中心との距離≦一方の顔領域の中心から端までの距離+他方の顔領域の中心から端までの距離であるか確認するなどして、顔領域4cの候補の重なりを判定し、重なっていると判定された顔領域の中から最大サイズのものを選択するなどして、同一の顔から検出されたと推測される複数の顔領域4bを一つの顔領域4eにまとめる処理(S4)や、図5(d)に図示したように、顔領域(ここでは、顔領域4e、d)に含まれるblob4aの割合を参照して、顔以外を誤検出した顔領域4dの候補を削除する処理を行い(S5)、最終的に残った顔領域(ここでは、顔領域4e)を顔検出結果とし、最終的に残った顔領域(ここでは、顔領域4e)を所定サイズに正規化して(S6)、この処理を終了する。
【0037】
次に、特徴量抽出層11の関心領域設定手段111について説明する。本実施形態において、特徴量抽出層11の関心領域設定手段111は、事前に作成された顔モデルを顔検出手段110が検出した顔領域に当てはめることで、顔領域における顔器官(目、鼻、唇等)の位置を特定し、特定した顔器官(目、鼻、唇等)の位置を利用し、人物属性の推定に用いる特徴量を求める関心領域として、シワの発生し易い顔の領域である第1の関心領域、肌の基準色とする顔の領域である第2の関心領域及び唇の領域である第3の関心領域を顔領域に設定する処理を行う。なお、顔モデルを顔領域に当てはめる手法としては、下記の非特許文献2などで開示され、Affine変換により顔モデルを顔領域に当てはめるASM(Active Shape Model)を用いるとよい。
<非特許文献2>T.F. Cootes, D. Cooper, C.J. Taylor and J. Graham, "Active Shape Models - Their Training and Application." Computer Vision and Image Understanding. Vol. 61, No. 1, Jan. 1995, pp. 38-59.
【0038】
図6は、関心領域の設定の一例を説明する図である。図6では、シワの発生し易い顔の領域である第1の関心領域として、額領域5a、左右の目下領域5b、c、左右の法齢線領域5d、5eの合計5つが、肌の基準色とする顔の領域である第2の関心領域として鼻領域5fが、そして、唇の領域である第3の関心領域として唇領域5gが設定され、特徴量抽出層11の関心領域設定手段111は、図6で図示した関心領域と顔器官(目、鼻、唇等)との相対的な位置関係から、顔モデルを顔検出手段110が検出した顔領域におけるこれらの関心領域を求める。
【0039】
このように、本実施形態では、事前に作成された顔モデルを顔領域に当てはめ、顔領域における顔器官の位置を検出し、顔器官の位置を利用して関心領域を顔領域に設定するため、正面の顔のみならず斜めの顔に対しても、顔領域における関心領域を正確に検出することができ、本実施形態の人物属性推定装置1は、撮影された顔の向きに対してロバスト性を持つことになる。
【0040】
次に、特徴量抽出層11の特徴量抽出手段112について説明する。非特許文献1では、額、目尻、法齢線(豊令線)などの各領域におけるエッジ強度の平均と偏差をシワ特徴量として定義しているが、本実施形態においては、年齢・性別に応じてシワ形状(シワの向きや深さ)が変化することに着目し、特徴量抽出層11の特徴量抽出手段112は、関心領域設定手段111が検出した第1の関心領域内のエッジ画像から求めた勾配ヒストグラムを、関心領域設定手段111が検出した第1の関心領域内のシワ形状(シワの向きや深さ)を示す特徴量として抽出する。
【0041】
更に、年齢や性別により唇の赤みが異なることに着目し、本実施形態において、特徴量抽出層11の特徴量抽出手段112は、唇の赤みを示す特徴量として、関心領域設定手段111が検出した第2の関心領域と第3の関心領域間の色距離を抽出する。なお、第2の関心領域と第3の関心領域間の色距離は相対的な値になるため、撮影条件が変動しても、第2の関心領域と第3の関心領域間の色距離は変動しないため、本実施形態の人物属性推定装置1は、撮影条件の変動に対してロバスト性を有することになる。
【0042】
図7は、特徴量抽出層11の特徴量抽出手段112が勾配ヒストグラムを抽出する動作を説明する図で、この手順は、顔検出手段110が検出した顔領域毎に実行される。
【0043】
勾配ヒストグラムを抽出する際、特徴量抽出層11のシワ特徴量抽出手段112は、まず、シワの発生し易い顔の対象領域である第1の関心領域内の画像におけるX方向及びY方向のエッジ画像を算出する(S10)。第1の関心領域におけるX方向及びY方向のエッジ画像を算出する手法としては、空間フィルタの一つであるSobelフィルタを用いるとよく、ここでは、X方向及びY方向のエッジ画像を算出するため、Sobelフィルタのオペレータとしては表1のオペレータを用いるとよい。
【表1】
【0044】
シワの発生し易い顔の対象領域である第1の関心領域内の画像におけるX方向及びY方向のエッジ画像を算出すると、特徴量抽出層11の特徴量抽出手段112は、数式1を用いて、X方向及びY方向のエッジ画像の画素毎に勾配強度・勾配方向を算出する(S11)。
【数1】
【0045】
X方向及びY方向のエッジ画像の画素毎に勾配強度・勾配方向を算出すると、特徴量抽出層11の特徴量抽出手段112は、勾配強度・勾配方向を元に、X軸を勾配方向、Y軸を勾配強度とした勾配ヒストグラムを生成し(S12)、この手順を終了する。
【0046】
図8は、特徴量抽出層11の特徴量抽出手段112が抽出する勾配ヒストグラムを説明する図である。勾配ヒストグラムの勾配方向は全方向(0度〜360度)でも良いが、本実施形態において、特徴量抽出層11の特徴量抽出手段112は、全方向(0度〜360度)を10分割した36方向の勾配ヒストグラムを生成する。
【0047】
対象領域内の画像のX方向及びY方向のエッジ画像から生成された勾配ヒストグラムは、対象領域内における物体形状を示すことになり、ここでは、シワが発生し易い第1の関心領域が対象領域となるため、特徴量抽出層11の特徴量抽出手段112が生成する勾配ヒストグラムは、第1の関心領域内の画像におけるシワ形状を示すことになる。
【0048】
次に、特徴量抽出層11の特徴量抽出手段112が、第2の関心領域と第3の関心領域間の色距離を抽出する動作について説明する。図9は、特徴量抽出層11の特徴量抽出手段112第2の関心領域と第3の関心領域間の色距離を抽出する動作を説明する図で、この手順は、顔検出手段110が検出した顔領域毎に実行される。
【0049】
特徴量抽出層11の特徴量抽出手段112は、唇特徴量を抽出する際、基準肌領域内の画像と第3の関心領域内の画像それぞれから、赤み成分を多く含む色空間上での色ヒストグラムを求めた後(S20)、該色ヒストグラム間の差分を色距離として抽出し(S21)、この手順を終了する。なお、本実施形態では、赤み成分を多く含む色空間を、H(色相)、S(彩度)及びR(赤)の3つの色空間とし、色ヒストグラム間の差分として数式2に従いバタチャリヤ距離を算出するが、ヒストグラム間の差分としてマハラノビス距離を算出してもよい。
【数2】
【0050】
このように、特徴量抽出層11の特徴量抽出手段112は、顔画像の特徴量として、合計で5つの第1の関心領域毎に36方向の勾配ヒストグラムを作成し、また、H(色相)、S(彩度)及びR(赤)の3つの色空間毎に、第2の関心領域と第3の関心領域間の色距離(ここでは、バタチャリヤ距離)を抽出するため、一つの顔領域から抽出される特徴量は183次元のベクトルとなる。
【0051】
次に、人物属性学習層13の学習器130について説明する。人物属性学習層13には、特徴量抽出層11から得られた特徴量(ここでは、勾配ヒストグラムと色距離)から人物属性(ここでは、年齢・性別)を推定する際に用いる学習器130と、機械学習により学習器130を作成する学習器生成手段131が設けられる。
【0052】
人物属性学習層13の学習器130は、学習器生成手段131により人物属性を推定する前に予め生成される。本実施形態において、人物属性学習層13の学習器生成手段131は、SVM(Support Vector Machine)により学習器130を生成する。
【0053】
SVM(Support Vector Machine)を利用して学習器130を生成する際、予め、人物属性の区分(ここでは、男女の性別に4つの年齢区分毎に、0歳から19歳、20歳から34歳、35歳から49歳、50歳以上を設定した合計8区分)毎に複数の学習用顔画像を用意し、学習用顔画像毎に上述した183次元の特徴量を抽出し、カーネル関数を用いた非線形分離を利用するSVMにより、それぞれの学習用顔画像から抽出された特徴量を8個の人物属性の区分に分離した結果が学習器130として利用される。
【0054】
次に、人物属性推定層12について説明する。人物属性推定層12の人物属性推定手段は、人物属性学習層13の学習器130を参照し、特徴量抽出層11から得られた特徴量(ここでは、シワ特徴量と唇特徴量)から人物属性(ここでは、年齢・性別)を推定する処理を行う。具体的には、人物属性推定層12の人物属性推定手段は、人物属性(ここでは、年齢・性別)を推定する際、人物属姓学習層の学習器130を参照し、特徴量抽出層11から得られた183次元の特徴量が属するベクトル空間に対応した人物属性の区分を該特徴量の対象となった顔領域の人物属性として特定する。
【0055】
最後に、本発明の効果について説明する。図10は、本発明の効果を説明する図で、図10(a)は年齢推定結果を示し、図10(b)は性別推定結果を示し、図10内のパーセント表示は、図10(a)の番号2であれば、20歳から34歳までの女性を正しく推定できた識別率が各角度で87%、82%・・・であることを示している。
【0056】
図10の年齢推定結果では、若年層(19歳以下)の年齢推定結果が非常に悪い識別率になっているが、これは、人物属性学習器130を生成する際に利用した若年層(19歳以下)の学習用顔画像の数が15人と少ないためと考えられ、より多くの学習用顔画像を用いて学習器130を生成すれば識別率は向上すると思われる。
【符号の説明】
【0057】
1 人物属性推定装置
10 インターフェース層
100 画像入力手段
11 特徴量抽出層
110 顔検出手段
111 関心領域設定手段
112 特徴量抽出手段
12 人物属性推定層
120 人物属性推定手段
13 人物属性学習層
130 学習器
131 学習器生成手段
2 カメラ
2a 広告媒体
3 人物
【特許請求の範囲】
【請求項1】
人物を撮影するように設定されたカメラの画像から顔領域を検出する顔検出手段と、事前に作成された顔モデルを前記顔領域にあてはめることで前記顔領域上における顔器官の位置を特定し、特定した顔器官の位置から、人物属性の推定に利用する特徴量を求める関心領域として、シワが発生し易い領域である第1の関心領域を前記顔領域に設定する関心領域設定手段と、前記特徴量として、前記第1の関心領域内のエッジ画像から勾配ヒストグラムを抽出する特徴量抽出手段と、複数の学習用顔画像から抽出した前記特徴量を人物属性の区分に分類した結果である学習器を参照し、前記特徴量抽出手段が抽出した前記特徴量を用いて前記顔領域に対応する人物属性の区分を特定する人物属性推定手段を備えたことを特徴とする人物属性推定装置。
【請求項2】
前記関心領域設定手段は、前記第1の関心領域に加え、肌の基準色とする領域である第2の関心領域と唇に対応する第3の関心領域を前記顔領域に設定し、前記特徴量として、前記勾配ヒストグラムに加え、前記第2の関心領域と前記第3の関心領域間の色距離を抽出することを特徴とする、請求項1に記載した人物属性推定装置。
【請求項3】
所望の人物属性の区分毎に用意された複数の学習用顔画像から前記特徴量を抽出し、機械学習により前記学習器を作成する学習器生成手段を備えたことを特徴とする、請求項1または請求項2に記載した人物属性推定装置。
【請求項4】
人物を撮影するように設定されたカメラの画像から顔領域を検出する顔検出工程と、事前に作成された顔モデルを前記顔領域にあてはめることで前記顔領域上における顔器官の位置を特定し、特定した顔器官の位置から、人物属性の推定に利用する特徴量を求める関心領域として、シワが発生し易い領域である第1の関心領域を前記顔領域に設定する関心領域設定工程と、前記特徴量として、前記第1の関心領域内のエッジ画像から勾配ヒストグラムを抽出する特徴量抽出工程と、複数の学習用顔画像から抽出した前記特徴量を人物属性の区分に分類した結果である学習器を参照し、前記特徴量抽出手段が抽出した前記特徴量を用いて前記顔領域に対応する人物属性の区分を特定する人物属性推定工程を含む処理をコンピュータが実行することを特徴とする人物属性推定方法。
【請求項5】
前記関心領域設定工程において、前記第1の関心領域に加え、肌の基準色とする領域である第2の関心領域と唇に対応する第3の関心領域を前記顔領域に設定し、前記特徴量抽出工程において、前記特徴量として、前記勾配ヒストグラムに加え、前記第2の関心領域と前記第3の関心領域間の色距離を抽出することを特徴とする、請求項5に記載した人物属性推定方法。
【請求項6】
人物を撮影するように設定されたカメラの画像から顔領域を検出する顔検出工程と、事前に作成された顔モデルを前記顔領域にあてはめることで前記顔領域上における顔器官の位置を特定し、特定した顔器官の位置から、人物属性の推定に利用する特徴量を求める関心領域として、シワが発生し易い領域である第1の関心領域を前記顔領域に設定する関心領域設定工程と、前記特徴量として、前記第1の関心領域内のエッジ画像から勾配ヒストグラムを抽出する特徴量抽出工程と、複数の学習用顔画像から抽出した前記特徴量を人物属性の区分に分類した結果である学習器を参照し、前記特徴量抽出手段が抽出した前記特徴量を用いて前記顔領域に対応する人物属性の区分を特定する人物属性推定工程を含む処理をコンピュータに実行させるためのコンピュータプログラム。
【請求項7】
前記関心領域設定工程において、前記第1の関心領域に加え、肌の基準色とする領域である第2の関心領域と唇に対応する第3の関心領域を前記顔領域に設定し、前記特徴量抽出工程において、前記特徴量として、前記勾配ヒストグラムに加え、前記第2の関心領域と前記第3の関心領域間の色距離を抽出することを特徴とすることを特徴とする、請求項6に記載したコンピュータプログラム
【請求項1】
人物を撮影するように設定されたカメラの画像から顔領域を検出する顔検出手段と、事前に作成された顔モデルを前記顔領域にあてはめることで前記顔領域上における顔器官の位置を特定し、特定した顔器官の位置から、人物属性の推定に利用する特徴量を求める関心領域として、シワが発生し易い領域である第1の関心領域を前記顔領域に設定する関心領域設定手段と、前記特徴量として、前記第1の関心領域内のエッジ画像から勾配ヒストグラムを抽出する特徴量抽出手段と、複数の学習用顔画像から抽出した前記特徴量を人物属性の区分に分類した結果である学習器を参照し、前記特徴量抽出手段が抽出した前記特徴量を用いて前記顔領域に対応する人物属性の区分を特定する人物属性推定手段を備えたことを特徴とする人物属性推定装置。
【請求項2】
前記関心領域設定手段は、前記第1の関心領域に加え、肌の基準色とする領域である第2の関心領域と唇に対応する第3の関心領域を前記顔領域に設定し、前記特徴量として、前記勾配ヒストグラムに加え、前記第2の関心領域と前記第3の関心領域間の色距離を抽出することを特徴とする、請求項1に記載した人物属性推定装置。
【請求項3】
所望の人物属性の区分毎に用意された複数の学習用顔画像から前記特徴量を抽出し、機械学習により前記学習器を作成する学習器生成手段を備えたことを特徴とする、請求項1または請求項2に記載した人物属性推定装置。
【請求項4】
人物を撮影するように設定されたカメラの画像から顔領域を検出する顔検出工程と、事前に作成された顔モデルを前記顔領域にあてはめることで前記顔領域上における顔器官の位置を特定し、特定した顔器官の位置から、人物属性の推定に利用する特徴量を求める関心領域として、シワが発生し易い領域である第1の関心領域を前記顔領域に設定する関心領域設定工程と、前記特徴量として、前記第1の関心領域内のエッジ画像から勾配ヒストグラムを抽出する特徴量抽出工程と、複数の学習用顔画像から抽出した前記特徴量を人物属性の区分に分類した結果である学習器を参照し、前記特徴量抽出手段が抽出した前記特徴量を用いて前記顔領域に対応する人物属性の区分を特定する人物属性推定工程を含む処理をコンピュータが実行することを特徴とする人物属性推定方法。
【請求項5】
前記関心領域設定工程において、前記第1の関心領域に加え、肌の基準色とする領域である第2の関心領域と唇に対応する第3の関心領域を前記顔領域に設定し、前記特徴量抽出工程において、前記特徴量として、前記勾配ヒストグラムに加え、前記第2の関心領域と前記第3の関心領域間の色距離を抽出することを特徴とする、請求項5に記載した人物属性推定方法。
【請求項6】
人物を撮影するように設定されたカメラの画像から顔領域を検出する顔検出工程と、事前に作成された顔モデルを前記顔領域にあてはめることで前記顔領域上における顔器官の位置を特定し、特定した顔器官の位置から、人物属性の推定に利用する特徴量を求める関心領域として、シワが発生し易い領域である第1の関心領域を前記顔領域に設定する関心領域設定工程と、前記特徴量として、前記第1の関心領域内のエッジ画像から勾配ヒストグラムを抽出する特徴量抽出工程と、複数の学習用顔画像から抽出した前記特徴量を人物属性の区分に分類した結果である学習器を参照し、前記特徴量抽出手段が抽出した前記特徴量を用いて前記顔領域に対応する人物属性の区分を特定する人物属性推定工程を含む処理をコンピュータに実行させるためのコンピュータプログラム。
【請求項7】
前記関心領域設定工程において、前記第1の関心領域に加え、肌の基準色とする領域である第2の関心領域と唇に対応する第3の関心領域を前記顔領域に設定し、前記特徴量抽出工程において、前記特徴量として、前記勾配ヒストグラムに加え、前記第2の関心領域と前記第3の関心領域間の色距離を抽出することを特徴とすることを特徴とする、請求項6に記載したコンピュータプログラム
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【公開番号】特開2013−58060(P2013−58060A)
【公開日】平成25年3月28日(2013.3.28)
【国際特許分類】
【出願番号】特願2011−195639(P2011−195639)
【出願日】平成23年9月8日(2011.9.8)
【出願人】(000002897)大日本印刷株式会社 (14,506)
【Fターム(参考)】
【公開日】平成25年3月28日(2013.3.28)
【国際特許分類】
【出願日】平成23年9月8日(2011.9.8)
【出願人】(000002897)大日本印刷株式会社 (14,506)
【Fターム(参考)】
[ Back to top ]