情報端末装置
【課題】撮像画像を元に複数の人物の人間関係を容易かつ高い精度で推定できる情報端末装置を提供すること。
【解決手段】特徴量DB14は、人間関係を推定する判断基準となる顔についての特徴量を人間関係ごとに蓄積する。推定部12は、撮像部11から入力された画像から顔についての複数の特徴量を抽出し、抽出された複数の特徴量の各々における尤度を特徴量DB14に蓄積された顔についての特徴量を用いて人間関係ごとに算出し、算出された複数の尤度を統合して人間関係を推定力する。制御部13は、推定部12での推定結果に従って記憶部15から表示情報を読み出し、表示部16に表示させる。
【解決手段】特徴量DB14は、人間関係を推定する判断基準となる顔についての特徴量を人間関係ごとに蓄積する。推定部12は、撮像部11から入力された画像から顔についての複数の特徴量を抽出し、抽出された複数の特徴量の各々における尤度を特徴量DB14に蓄積された顔についての特徴量を用いて人間関係ごとに算出し、算出された複数の尤度を統合して人間関係を推定力する。制御部13は、推定部12での推定結果に従って記憶部15から表示情報を読み出し、表示部16に表示させる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、情報端末装置に関し、特に、撮像画像を元に該撮像画像内の複数の人物の人間関係を推定する情報端末装置に関する。
【背景技術】
【０００２】
POSシステム(Point of Sales System)は、小売業界における各店舗での販売動向を把握するために幅広く導入されている。また、販売された商品データだけでなく、商品と該商品の購買層とを紐付けたデータは、マーケティングにとって非常に有用な情報として期待されている。特に、商品と複数の顧客からなるグループ、例えば、親子、友人、カップル等といった人間関係との関連をみることが重要になってきている。
【０００３】
顧客に応じて商品やサービスを推薦する場合、個人ではなく複数の人物からなるグループへと対象を広げることで、顧客同士の互いの発言によって相互作用が働き、商品やサービスに対する関心がより深まっていくことが期待できる。すなわち、グループの構成に応じて商品やサービスを推薦することは、購買の行動に大きな影響を与え、マーケティング戦略にも新たな視点を提供することができる。
【０００４】
上記に関連して、以下のような方法が提案されている。
【０００５】
特許文献１には、人の属性情報を取得するPOS端末装置に関し、顧客を撮影して画像情報を取得し、該画像情報に基づき顧客の性別や年齢などを判定して属性情報を取得し、販売情報と属性情報をサーバ側に送信することが提案されている。
【０００６】
特許文献２には、広告配信装置に関し、顔画像情報と性別、年齢などのユーザ属性情報を関連付けた顔特徴テーブルを記憶しておき、ユーザの顔画像情報から抽出される顔特徴情報に対応するユーザ属性情報を顔特徴対応テーブルに基づいて特定し、該ユーザ属性情報に対応する広告データをユーザの情報処理端末に配信することが提案されている。
【０００７】
特許文献３には、グループ属性推定方法に関し、店舗内の場面画像から人物を抽出し、抽出された複数の人物から同一グループを形成する人物を推定し、同一グループを形成すると推定された人物ごとに、性別、年齢などの人物属性を推定し、さらに推定された人物属性に基づいて、親子、カップル、夫婦、友達、兄弟、姉妹、祖父または祖母と孫などのグループ属性を推定することが記載されている。これでは、撮像された場面画像から、背景差分によって顧客の全身に対応する人物領域を求め、距離間隔および重なり状態から複数人物の人間関係(家族、友人等)を推定する。
【先行技術文献】
【特許文献】
【０００８】
【特許文献１】特開２０１０−３３１４３号公報
【特許文献２】特開２００９−１８６６３０号公報
【特許文献３】特開２００４−５４３７６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００９】
特許文献１のPOS端末装置および特許文献２の広告配信装置は、顧客一人一人の属性情報を推定するものであり、画像内の複数の人物の人間関係を推定しない。したがって、これでは、商品やサービスの推薦、あるいは広告などに有用な情報となる複数の人物の人間関係を得ることができないという課題がある。
【００１０】
特許文献３には、同一グループを形成する人物の人間関係(グループ属性)を推定する手法ことが提案されている。しかし、その第１実施形態では、顧客の全身に対応する画像領域である人物領域と顧客の顔部分に対応する画像領域である顔領域が抽出できたときに１人の顧客と認識し、複数の顧客同士の実空間における距離間隔および重なり状態から手を繋いでいると判断された顧客同士を同一グループと推定するので、画像内に顧客の全身が映っていなければならないという課題がある。また、手を繋いでいないと同一グループと推定されないので、同一グループの推定精度に課題がある。また、第２、第３実施形態では、第１実施形態での重なり状態に代え、時間を隔てて撮像された場面画像間での人物の距離変化、あるいは顔向き合い状態を利用して同一グループを推定する。第２実施例では、人物領域の重心を利用して場面画像間での同一人物の距離変化を判断し、第３実施形態では、人物領域の重心から求められた人物位置と顔向き方向から顔向き合い状態を判断するので、第１実施形態と同様に、画像内に顧客の全身が映っていなければならないという課題がある。また、場面画面内の複数の人物について、まず同一グループかどうかを判断し、同一グループと判断された場合に、さらに各人物の属性、グループ属性を推定する必要があるという課題がある。また、いずれの実施形態でも、グループ内の顧客での最高齢と最年少の年齢差や性別の分布を基にしてグループ属性を判定するので、年齢差がある友人関係や異性を含む友人関係を推定できないという課題もある。例えば、グループ内の顧客の人数が２人または３人であり、性別が男のみ又は女のみであり、かつその年齢差が１０歳以内であるとき、そのグループ属性は兄弟、姉妹あるいは友達の何れかであると推定され、異性を含んでいたり、年齢差が１０歳を超えると、兄弟、姉妹あるいは友達とは推定されない。
【００１１】
本発明の目的は、上記課題を解決し、撮像画像を元に複数の人物の人間関係を容易かつ高い精度で推定できる情報端末装置を提供することにある。
【課題を解決するための手段】
【００１２】
上記課題を解決するため、本発明は、画像を元に複数の人物の人間関係を推定する情報端末装置であって、撮像対象を撮像する撮像部と、複数の人物の人間関係を推定する判断基準となる顔についての特徴量を人間関係ごとに蓄積する特徴量データベースと、前記撮像部から入力された画像から顔についての複数の特徴量と前記特徴量データベースに蓄積された特徴量とから前記撮像部から入力された画像内の複数の人物の人間関係を推定する推定部を備え、前記推定部は、前記撮像部から入力された画像から顔についての複数の特徴量を抽出し、抽出された複数の特徴量の各々における尤度を、前記特徴量データベースに蓄積された顔についての特徴量を用いて人間関係ごとに算出し、算出された複数の尤度を統合して前記撮像部から入力された画像内の複数の人物の人間関係の推定結果を出力することを基本的特徴としている。
【発明の効果】
【００１３】
本発明によれば、撮像画像から顔についての複数の特徴量を抽出し、該複数の特徴量と特徴量データベースに蓄積された特徴量とから撮像画像内の複数の人物の人間関係を推定するので、画像内に全身が映っている必要がなく、人間関係を容易に推定することが可能となる。
【００１４】
また、推定部は、撮像画像から顔についての複数の特徴量を抽出し、特徴量データベースに蓄積された顔についての特徴量を用いて、人間関係ごとに、抽出された複数の特徴量の各々における尤度を算出し、算出された複数の尤度を統合して撮像画像内の複数の人物の人間関係の推定結果を出力するので、人間関係を高精度に推定することが可能となる。
【００１５】
これにより、撮像対象となる各場面での人物の人間関係の動向を知ることができ、商品やサービスの推薦、あるいは広告などに有用な情報となる人間関係を取得することができる。また、取得された人間関係に応じて該人間関係に適した情報提供を行うことにより、情報を効率的に提供することができる。例えば、取得された人間関係に応じてデジタルサイネージなどで提供する表示情報を制御すれば、利用者は、人間関係を入力しなくとも自分達の人間関係に適した広告の提供を受けることが可能となる。
【図面の簡単な説明】
【００１６】
【図１】本発明の情報端末装置の一実施形態を示す機能ブロック図である。
【図２】推定部での処理手順を示すフローチャートである。
【図３】年齢量子化の説明図である。
【図４】撮像画像の一例を示す図である。
【図５】特徴量として抽出される顔間距離を示す図である。
【図６】顔から測定される両目間の距離を示す図である。
【図７】顔間距離に対する確率密度の一例を示す図である。
【発明を実施するための形態】
【００１７】
以下、図面を参照して本発明を説明する。以下では、複数の人物の人間関係を推定し、その推定結果に応じて表示情報を制御する情報端末装置について説明するが、撮像画像から推定される人間関係は、デジタルサイネージや商品推薦やエンターテインメントなどで利用でき、それ自体で有用なものであるので、本発明の情報端末装置は、表示や表示制御の機能を含まなくてもよい。
【００１８】
図１は、本発明の情報端末装置の一実施形態を示す機能ブロック図である。本実施形態の情報端末装置は、撮像部11、推定部12、制御部13、特徴量データベース(DB)14、記憶部15および表示部16を備える。
【００１９】
撮像部11は、所定の場面を撮影対象とし、撮像された画像を推定部12および制御部13へ出力する。
【００２０】
推定部12は、撮像部11から入力された画像から顔を検出した上で、顔ごとに性別、年齢を推定し、推定された性別、年齢を顔特徴量として抽出する。同時に、画面内の顔数および顔間距離、顔大きさ、肌色類似度を算出し、これらも顔特徴量として抽出する。さらに、推定部12は、撮像部11から入力された画像から抽出された複数の顔特徴量を、特徴量DB14に蓄積された複数の顔特徴量と比較することで、画像内の複数の人物の人間関係を推定する。推定部12において推定された人間関係は、制御部13へ出力される。推定部12での処理の詳細は、後述する。
【００２１】
特徴量DB14は、人間関係ごとに、推定部14で人間関係を推定するための判断基準となる複数の顔特徴量を蓄積する。人間関係ごとの複数の顔特徴量は、人間関係が既知の複数の人物が映った教師画像から抽出できる。なお、特徴量DB14に蓄積する判断基準は、人間関係ごとに出来るだけ多くのケースから抽出し、一般的に人数が同じ人間関係の間では教師画像をほぼ同数として判断基準を抽出することが好ましい。特徴量DB14は、人間関係と該人間関係における複数の顔特徴量とを対応させて蓄積する。具体的には、特徴量DB14は、人間関係の判断基準として、人間関係ごとに、教師画像の顔領域から抽出された顔数と性別および年齢の組み合わせと、顔間距離、顔大きさ、肌色類似度などについての確率密度関数を蓄積する。特徴量DB14に予め蓄積された人間関係ごとの複数の顔特徴量は、上記したように、推定部12での推定処理での判断基準となる。
【００２２】
記憶部15は、表示部16に表示する複数の表示情報を蓄積する。記憶部15に蓄積する表示情報は、適宜追加したり削除したりすることができる。
【００２３】
制御部13は、記憶部15に蓄積された複数の表示情報の中から、推定部12で推定された人間関係に合ったものを選択し、表示部16へ出力する。なお、人間関係と表示情報の対応関係は、任意に設定・変更可能である。
【００２４】
表示部16は、制御部13から入力された表示情報を表示する。表示部16では、推定部12で推定された人間関係に応じた表示情報が選択されて表示されるので、利用者(複数の人物)は撮像部11に映るだけで、自分に合った表示情報の提示を受けることができる。
【００２５】
図２は、推定部12(図１)での処理手順を示すフローチャートである。推定部12は、顔属性判定処理(S11)、顔間距離判定処理(S12)、顔大きさ判定処理(S13)、肌色類似度判定処理(S14)および判定結果統合処理(S15)を順次実行することで、それぞれの処理において複数の人物の人間関係ごとに尤度を算出し、算出された複数の尤度を、人間関係ごとに統合して、撮像部11から入力された画像内の複数の人物の人間関係を推定する。
【００２６】
顔属性判定処理(S11)では、撮像部11から入力された画像から顔を抽出し、顔属性を表す顔特徴量を抽出する。ここで抽出される顔特徴量には、人数、性別、年齢がある。顔の抽出には、Haar特徴量などの公知の技術を利用できる。顔数は、単に顔の数である。また、顔画像から性別および年齢を抽出する手法は、既知であり、その手法は、特許文献１−３にも記載されている。
【００２７】
算出された顔特徴量は、そのまま用いることもできるが、年齢については、量子化して組み合わせ数を減らすのが好ましい。この量子化の際には、人間関係を形成する人物の年齢層の組み合わせを考慮する。
【００２８】
図３は、年齢と量子化値の関係の一例を示す。ここでは、親子、友人、カップル、夫婦、祖父あるいは祖母と孫などといった人間関係を形成する人物の年齢層の組み合わせを考慮して年齢を量子化し、それぞれに量子化値1,2,・・・,6を割り振っている。
【００２９】
図４は、撮像部11による撮像画像の一例を示す。この画像において、51歳と5歳の女性および28歳の男性が映っているとすると、51歳、5歳、28歳にはそれぞれ量子化値5、1、4が割り振られ、顔特徴量として(女性,5),(女性,1),(男性,4)のパターンが得られる。
【００３０】
次に、これにより得られたパターンを、特徴量DB14に蓄積された特徴量と照合し、一致するパターンを、人間関係ごとに計数する。最後に、それぞれの計数結果を正規化して顔属性における尤度とする。
【００３１】
特徴量DB14に、例えば、人間関係として「家族」が付与されている同一のパターンが3枚存在し、「友人」が付与されている同一のパターンが1枚存在したとすると、「家族」の確率は0.75(=3/(3+1))、「友人」の確率は0.25(=1/(3+1)) となる。
【００３２】
顔間距離判定処理(S12)では、まず、複数の顔の顔間距離を抽出し、これを特徴量とする。顔間距離は、人間関係の親密度を測る上で重要な特徴量であることから、これを特徴量として用いている。
【００３３】
図５は、特徴量として抽出される顔間距離を示す。顔間距離は、両目の位置から求められる顔中心間の距離で算出できる。顔間距離は、画像の大きさにより変わるので、画像上での顔間距離を正規化した値を特徴量とする。そのために、まず、顔から両目の座標を求めて個人個人の両目間の距離を算出し、次に、画像上での顔間距離と両目間の距離を利用して顔間距離を正規化する。図６は、顔から測定される両目間の距離を示す。
【００３４】
例えば、図５における#1と#2の距離は式(1)で与えられる。
【００３５】
【数１】
【００３６】
顔が3つ以上存在する場合は、最も離れた距離を特徴量として利用すればよい。特徴量DB14は、教師画像を用いて求められた顔間距離に対する確率密度を、人間関係ごとに記憶している。
【００３７】
顔間距離判定処理(S12)では、次に、特徴量DB14に記憶されている人間関係ごとの顔間距離に対する確率密度を用いて、それぞれの人間関係における顔間距離に対する確率密度を求め、これを顔間距離における尤度とする。確率密度関数をGaussian分布で近似する場合、顔間距離における尤度は、式(2)で与えられる。
【００３８】
【数２】
【００３９】
ここで、μは平均、σは標準偏差を表す。顔間距離に対する確率密度が、例えば、図７で示されるとすると、図５の、顔間距離が5.98(=231/(39.2+38)/2))の場合は、「家族」の尤度は、0.13、「友人」の尤度は、0.02となる。
【００４０】
顔大きさ判定処理(S13)では、顔間距離判定処理(S12)で算出された各顔の両目間の座標を利用して、人間関係ごとに、顔大きさにおける尤度を求める。そのために、まず、各顔における両目間の距離を算出し、この値を画像の幅で除算して両目間の距離を正規化し、正規化された両目間の距離を顔大きさの特徴量とする。顔が2つ以上存在する場合には、最も大きい値を特徴量とする。
【００４１】
特徴量DB14は、教師画像を用いて人間関係ごとに算出された顔大きさに対する確率密度を蓄積している。最後に、特徴量DB14に蓄積されている、人間関係ごとの顔大きさに対する確率密度を用いて、人間関係ごとに、顔大きさに対する確率密度を求め、これを顔大きさにおける尤度とする。
【００４２】
肌色類似度判定処理(S14)では、各顔のヒストグラムを抽出し、ヒストグラム間距離から肌色類似度における尤度を求める。肌色類似度は、異なる人種で形成される人間関係に対して有効である。肌色類似度における尤度を求めるには、まず、各顔のヒストグラムを抽出して、顔間の肌色類似度を求める。顔のヒストグラムは、HSV色空間において顔から肌色Hue(色相)を抜き出すことで抽出できる。
【００４３】
次に、抽出されたヒストグラム間の距離を求め、この距離を肌色の特徴量とする。顔が3つ以上存在する場合は、ヒストグラムが最も離れている距離を特徴量とする。ヒストグラム間の距離としては、BHATTACHARYYA距離などを利用すればよい。
【００４４】
特徴量DB14は、教師画像を用いて人間関係ごとに算出された肌色類似度に対する確率密度を蓄積している。肌色類似度判定処理(S14)では、最後に、特徴量DB14に記憶されている人間関係ごとの肌色類似度に対する確率密度を用いて、人間関係ごとに、肌色類似度に対する確率密度を求め、これを肌色類似度における尤度とする。
【００４５】
肌色類似度判定処理(S14)では、若年層の人物のヒストグラムは除外するのが好ましい。若年層の人物の肌色は、短期間で大きく変化する可能性があるからである。
【００４６】
判定結果統合処理(S15)では、各判定処理(S11〜S14)において算出された尤度を統合し、その結果を推定部12での推定結果とする。具体的には、人間関係ごとに、各判定処理(S11〜S14)において算出された尤度の積を算出し、該積が最も大きな値を持つ人間関係を、撮像部11で撮像された画像に対する推定結果とする。推定部12で推定された結果は、制御部13へ送られる。
【００４７】
以上、実施形態を説明したが、本発明は、上記実施形態に限定されず、種々に変形されたものも含む。例えば、複数の尤度を統合して判定結果を得るに際し、各尤度に異なる重みを付けたり、複数の尤度のうちから幾つかを適宜選択可能にして統合したりしてもよい。また、人間関係ごとの尤度に顔配置などを含めるようにしてもよい。例えば、友人では一列に並び、家族ではΔ形の並ぶことが多い。
【００４８】
本発明では画像に映っている人数は制限されないが、そのまま人間関係を推定しようとすれば、各人数に対応する判断基準を特徴量DBに蓄積する必要がある。しかし、画像の部分画像、例えば、所定人数が映っている中央の部分画像に着目して人間関係を推定するようにすれば、画像に映っている人数に対応する全ての判断基準を蓄積する必要性をなくすことができる。また、各判定処理において算出された複数の尤度を統合した結果、所定閾値以上の尤度が得られなければ、「推定不可」を報知するようにしてもよい。
【符号の説明】
【００４９】
11・・・撮像部、12・・・推定部、13・・・制御部、14・・・記憶部、15・・・表示部
【技術分野】
【０００１】
本発明は、情報端末装置に関し、特に、撮像画像を元に該撮像画像内の複数の人物の人間関係を推定する情報端末装置に関する。
【背景技術】
【０００２】
POSシステム(Point of Sales System)は、小売業界における各店舗での販売動向を把握するために幅広く導入されている。また、販売された商品データだけでなく、商品と該商品の購買層とを紐付けたデータは、マーケティングにとって非常に有用な情報として期待されている。特に、商品と複数の顧客からなるグループ、例えば、親子、友人、カップル等といった人間関係との関連をみることが重要になってきている。
【０００３】
顧客に応じて商品やサービスを推薦する場合、個人ではなく複数の人物からなるグループへと対象を広げることで、顧客同士の互いの発言によって相互作用が働き、商品やサービスに対する関心がより深まっていくことが期待できる。すなわち、グループの構成に応じて商品やサービスを推薦することは、購買の行動に大きな影響を与え、マーケティング戦略にも新たな視点を提供することができる。
【０００４】
上記に関連して、以下のような方法が提案されている。
【０００５】
特許文献１には、人の属性情報を取得するPOS端末装置に関し、顧客を撮影して画像情報を取得し、該画像情報に基づき顧客の性別や年齢などを判定して属性情報を取得し、販売情報と属性情報をサーバ側に送信することが提案されている。
【０００６】
特許文献２には、広告配信装置に関し、顔画像情報と性別、年齢などのユーザ属性情報を関連付けた顔特徴テーブルを記憶しておき、ユーザの顔画像情報から抽出される顔特徴情報に対応するユーザ属性情報を顔特徴対応テーブルに基づいて特定し、該ユーザ属性情報に対応する広告データをユーザの情報処理端末に配信することが提案されている。
【０００７】
特許文献３には、グループ属性推定方法に関し、店舗内の場面画像から人物を抽出し、抽出された複数の人物から同一グループを形成する人物を推定し、同一グループを形成すると推定された人物ごとに、性別、年齢などの人物属性を推定し、さらに推定された人物属性に基づいて、親子、カップル、夫婦、友達、兄弟、姉妹、祖父または祖母と孫などのグループ属性を推定することが記載されている。これでは、撮像された場面画像から、背景差分によって顧客の全身に対応する人物領域を求め、距離間隔および重なり状態から複数人物の人間関係(家族、友人等)を推定する。
【先行技術文献】
【特許文献】
【０００８】
【特許文献１】特開２０１０−３３１４３号公報
【特許文献２】特開２００９−１８６６３０号公報
【特許文献３】特開２００４−５４３７６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００９】
特許文献１のPOS端末装置および特許文献２の広告配信装置は、顧客一人一人の属性情報を推定するものであり、画像内の複数の人物の人間関係を推定しない。したがって、これでは、商品やサービスの推薦、あるいは広告などに有用な情報となる複数の人物の人間関係を得ることができないという課題がある。
【００１０】
特許文献３には、同一グループを形成する人物の人間関係(グループ属性)を推定する手法ことが提案されている。しかし、その第１実施形態では、顧客の全身に対応する画像領域である人物領域と顧客の顔部分に対応する画像領域である顔領域が抽出できたときに１人の顧客と認識し、複数の顧客同士の実空間における距離間隔および重なり状態から手を繋いでいると判断された顧客同士を同一グループと推定するので、画像内に顧客の全身が映っていなければならないという課題がある。また、手を繋いでいないと同一グループと推定されないので、同一グループの推定精度に課題がある。また、第２、第３実施形態では、第１実施形態での重なり状態に代え、時間を隔てて撮像された場面画像間での人物の距離変化、あるいは顔向き合い状態を利用して同一グループを推定する。第２実施例では、人物領域の重心を利用して場面画像間での同一人物の距離変化を判断し、第３実施形態では、人物領域の重心から求められた人物位置と顔向き方向から顔向き合い状態を判断するので、第１実施形態と同様に、画像内に顧客の全身が映っていなければならないという課題がある。また、場面画面内の複数の人物について、まず同一グループかどうかを判断し、同一グループと判断された場合に、さらに各人物の属性、グループ属性を推定する必要があるという課題がある。また、いずれの実施形態でも、グループ内の顧客での最高齢と最年少の年齢差や性別の分布を基にしてグループ属性を判定するので、年齢差がある友人関係や異性を含む友人関係を推定できないという課題もある。例えば、グループ内の顧客の人数が２人または３人であり、性別が男のみ又は女のみであり、かつその年齢差が１０歳以内であるとき、そのグループ属性は兄弟、姉妹あるいは友達の何れかであると推定され、異性を含んでいたり、年齢差が１０歳を超えると、兄弟、姉妹あるいは友達とは推定されない。
【００１１】
本発明の目的は、上記課題を解決し、撮像画像を元に複数の人物の人間関係を容易かつ高い精度で推定できる情報端末装置を提供することにある。
【課題を解決するための手段】
【００１２】
上記課題を解決するため、本発明は、画像を元に複数の人物の人間関係を推定する情報端末装置であって、撮像対象を撮像する撮像部と、複数の人物の人間関係を推定する判断基準となる顔についての特徴量を人間関係ごとに蓄積する特徴量データベースと、前記撮像部から入力された画像から顔についての複数の特徴量と前記特徴量データベースに蓄積された特徴量とから前記撮像部から入力された画像内の複数の人物の人間関係を推定する推定部を備え、前記推定部は、前記撮像部から入力された画像から顔についての複数の特徴量を抽出し、抽出された複数の特徴量の各々における尤度を、前記特徴量データベースに蓄積された顔についての特徴量を用いて人間関係ごとに算出し、算出された複数の尤度を統合して前記撮像部から入力された画像内の複数の人物の人間関係の推定結果を出力することを基本的特徴としている。
【発明の効果】
【００１３】
本発明によれば、撮像画像から顔についての複数の特徴量を抽出し、該複数の特徴量と特徴量データベースに蓄積された特徴量とから撮像画像内の複数の人物の人間関係を推定するので、画像内に全身が映っている必要がなく、人間関係を容易に推定することが可能となる。
【００１４】
また、推定部は、撮像画像から顔についての複数の特徴量を抽出し、特徴量データベースに蓄積された顔についての特徴量を用いて、人間関係ごとに、抽出された複数の特徴量の各々における尤度を算出し、算出された複数の尤度を統合して撮像画像内の複数の人物の人間関係の推定結果を出力するので、人間関係を高精度に推定することが可能となる。
【００１５】
これにより、撮像対象となる各場面での人物の人間関係の動向を知ることができ、商品やサービスの推薦、あるいは広告などに有用な情報となる人間関係を取得することができる。また、取得された人間関係に応じて該人間関係に適した情報提供を行うことにより、情報を効率的に提供することができる。例えば、取得された人間関係に応じてデジタルサイネージなどで提供する表示情報を制御すれば、利用者は、人間関係を入力しなくとも自分達の人間関係に適した広告の提供を受けることが可能となる。
【図面の簡単な説明】
【００１６】
【図１】本発明の情報端末装置の一実施形態を示す機能ブロック図である。
【図２】推定部での処理手順を示すフローチャートである。
【図３】年齢量子化の説明図である。
【図４】撮像画像の一例を示す図である。
【図５】特徴量として抽出される顔間距離を示す図である。
【図６】顔から測定される両目間の距離を示す図である。
【図７】顔間距離に対する確率密度の一例を示す図である。
【発明を実施するための形態】
【００１７】
以下、図面を参照して本発明を説明する。以下では、複数の人物の人間関係を推定し、その推定結果に応じて表示情報を制御する情報端末装置について説明するが、撮像画像から推定される人間関係は、デジタルサイネージや商品推薦やエンターテインメントなどで利用でき、それ自体で有用なものであるので、本発明の情報端末装置は、表示や表示制御の機能を含まなくてもよい。
【００１８】
図１は、本発明の情報端末装置の一実施形態を示す機能ブロック図である。本実施形態の情報端末装置は、撮像部11、推定部12、制御部13、特徴量データベース(DB)14、記憶部15および表示部16を備える。
【００１９】
撮像部11は、所定の場面を撮影対象とし、撮像された画像を推定部12および制御部13へ出力する。
【００２０】
推定部12は、撮像部11から入力された画像から顔を検出した上で、顔ごとに性別、年齢を推定し、推定された性別、年齢を顔特徴量として抽出する。同時に、画面内の顔数および顔間距離、顔大きさ、肌色類似度を算出し、これらも顔特徴量として抽出する。さらに、推定部12は、撮像部11から入力された画像から抽出された複数の顔特徴量を、特徴量DB14に蓄積された複数の顔特徴量と比較することで、画像内の複数の人物の人間関係を推定する。推定部12において推定された人間関係は、制御部13へ出力される。推定部12での処理の詳細は、後述する。
【００２１】
特徴量DB14は、人間関係ごとに、推定部14で人間関係を推定するための判断基準となる複数の顔特徴量を蓄積する。人間関係ごとの複数の顔特徴量は、人間関係が既知の複数の人物が映った教師画像から抽出できる。なお、特徴量DB14に蓄積する判断基準は、人間関係ごとに出来るだけ多くのケースから抽出し、一般的に人数が同じ人間関係の間では教師画像をほぼ同数として判断基準を抽出することが好ましい。特徴量DB14は、人間関係と該人間関係における複数の顔特徴量とを対応させて蓄積する。具体的には、特徴量DB14は、人間関係の判断基準として、人間関係ごとに、教師画像の顔領域から抽出された顔数と性別および年齢の組み合わせと、顔間距離、顔大きさ、肌色類似度などについての確率密度関数を蓄積する。特徴量DB14に予め蓄積された人間関係ごとの複数の顔特徴量は、上記したように、推定部12での推定処理での判断基準となる。
【００２２】
記憶部15は、表示部16に表示する複数の表示情報を蓄積する。記憶部15に蓄積する表示情報は、適宜追加したり削除したりすることができる。
【００２３】
制御部13は、記憶部15に蓄積された複数の表示情報の中から、推定部12で推定された人間関係に合ったものを選択し、表示部16へ出力する。なお、人間関係と表示情報の対応関係は、任意に設定・変更可能である。
【００２４】
表示部16は、制御部13から入力された表示情報を表示する。表示部16では、推定部12で推定された人間関係に応じた表示情報が選択されて表示されるので、利用者(複数の人物)は撮像部11に映るだけで、自分に合った表示情報の提示を受けることができる。
【００２５】
図２は、推定部12(図１)での処理手順を示すフローチャートである。推定部12は、顔属性判定処理(S11)、顔間距離判定処理(S12)、顔大きさ判定処理(S13)、肌色類似度判定処理(S14)および判定結果統合処理(S15)を順次実行することで、それぞれの処理において複数の人物の人間関係ごとに尤度を算出し、算出された複数の尤度を、人間関係ごとに統合して、撮像部11から入力された画像内の複数の人物の人間関係を推定する。
【００２６】
顔属性判定処理(S11)では、撮像部11から入力された画像から顔を抽出し、顔属性を表す顔特徴量を抽出する。ここで抽出される顔特徴量には、人数、性別、年齢がある。顔の抽出には、Haar特徴量などの公知の技術を利用できる。顔数は、単に顔の数である。また、顔画像から性別および年齢を抽出する手法は、既知であり、その手法は、特許文献１−３にも記載されている。
【００２７】
算出された顔特徴量は、そのまま用いることもできるが、年齢については、量子化して組み合わせ数を減らすのが好ましい。この量子化の際には、人間関係を形成する人物の年齢層の組み合わせを考慮する。
【００２８】
図３は、年齢と量子化値の関係の一例を示す。ここでは、親子、友人、カップル、夫婦、祖父あるいは祖母と孫などといった人間関係を形成する人物の年齢層の組み合わせを考慮して年齢を量子化し、それぞれに量子化値1,2,・・・,6を割り振っている。
【００２９】
図４は、撮像部11による撮像画像の一例を示す。この画像において、51歳と5歳の女性および28歳の男性が映っているとすると、51歳、5歳、28歳にはそれぞれ量子化値5、1、4が割り振られ、顔特徴量として(女性,5),(女性,1),(男性,4)のパターンが得られる。
【００３０】
次に、これにより得られたパターンを、特徴量DB14に蓄積された特徴量と照合し、一致するパターンを、人間関係ごとに計数する。最後に、それぞれの計数結果を正規化して顔属性における尤度とする。
【００３１】
特徴量DB14に、例えば、人間関係として「家族」が付与されている同一のパターンが3枚存在し、「友人」が付与されている同一のパターンが1枚存在したとすると、「家族」の確率は0.75(=3/(3+1))、「友人」の確率は0.25(=1/(3+1)) となる。
【００３２】
顔間距離判定処理(S12)では、まず、複数の顔の顔間距離を抽出し、これを特徴量とする。顔間距離は、人間関係の親密度を測る上で重要な特徴量であることから、これを特徴量として用いている。
【００３３】
図５は、特徴量として抽出される顔間距離を示す。顔間距離は、両目の位置から求められる顔中心間の距離で算出できる。顔間距離は、画像の大きさにより変わるので、画像上での顔間距離を正規化した値を特徴量とする。そのために、まず、顔から両目の座標を求めて個人個人の両目間の距離を算出し、次に、画像上での顔間距離と両目間の距離を利用して顔間距離を正規化する。図６は、顔から測定される両目間の距離を示す。
【００３４】
例えば、図５における#1と#2の距離は式(1)で与えられる。
【００３５】
【数１】
【００３６】
顔が3つ以上存在する場合は、最も離れた距離を特徴量として利用すればよい。特徴量DB14は、教師画像を用いて求められた顔間距離に対する確率密度を、人間関係ごとに記憶している。
【００３７】
顔間距離判定処理(S12)では、次に、特徴量DB14に記憶されている人間関係ごとの顔間距離に対する確率密度を用いて、それぞれの人間関係における顔間距離に対する確率密度を求め、これを顔間距離における尤度とする。確率密度関数をGaussian分布で近似する場合、顔間距離における尤度は、式(2)で与えられる。
【００３８】
【数２】
【００３９】
ここで、μは平均、σは標準偏差を表す。顔間距離に対する確率密度が、例えば、図７で示されるとすると、図５の、顔間距離が5.98(=231/(39.2+38)/2))の場合は、「家族」の尤度は、0.13、「友人」の尤度は、0.02となる。
【００４０】
顔大きさ判定処理(S13)では、顔間距離判定処理(S12)で算出された各顔の両目間の座標を利用して、人間関係ごとに、顔大きさにおける尤度を求める。そのために、まず、各顔における両目間の距離を算出し、この値を画像の幅で除算して両目間の距離を正規化し、正規化された両目間の距離を顔大きさの特徴量とする。顔が2つ以上存在する場合には、最も大きい値を特徴量とする。
【００４１】
特徴量DB14は、教師画像を用いて人間関係ごとに算出された顔大きさに対する確率密度を蓄積している。最後に、特徴量DB14に蓄積されている、人間関係ごとの顔大きさに対する確率密度を用いて、人間関係ごとに、顔大きさに対する確率密度を求め、これを顔大きさにおける尤度とする。
【００４２】
肌色類似度判定処理(S14)では、各顔のヒストグラムを抽出し、ヒストグラム間距離から肌色類似度における尤度を求める。肌色類似度は、異なる人種で形成される人間関係に対して有効である。肌色類似度における尤度を求めるには、まず、各顔のヒストグラムを抽出して、顔間の肌色類似度を求める。顔のヒストグラムは、HSV色空間において顔から肌色Hue(色相)を抜き出すことで抽出できる。
【００４３】
次に、抽出されたヒストグラム間の距離を求め、この距離を肌色の特徴量とする。顔が3つ以上存在する場合は、ヒストグラムが最も離れている距離を特徴量とする。ヒストグラム間の距離としては、BHATTACHARYYA距離などを利用すればよい。
【００４４】
特徴量DB14は、教師画像を用いて人間関係ごとに算出された肌色類似度に対する確率密度を蓄積している。肌色類似度判定処理(S14)では、最後に、特徴量DB14に記憶されている人間関係ごとの肌色類似度に対する確率密度を用いて、人間関係ごとに、肌色類似度に対する確率密度を求め、これを肌色類似度における尤度とする。
【００４５】
肌色類似度判定処理(S14)では、若年層の人物のヒストグラムは除外するのが好ましい。若年層の人物の肌色は、短期間で大きく変化する可能性があるからである。
【００４６】
判定結果統合処理(S15)では、各判定処理(S11〜S14)において算出された尤度を統合し、その結果を推定部12での推定結果とする。具体的には、人間関係ごとに、各判定処理(S11〜S14)において算出された尤度の積を算出し、該積が最も大きな値を持つ人間関係を、撮像部11で撮像された画像に対する推定結果とする。推定部12で推定された結果は、制御部13へ送られる。
【００４７】
以上、実施形態を説明したが、本発明は、上記実施形態に限定されず、種々に変形されたものも含む。例えば、複数の尤度を統合して判定結果を得るに際し、各尤度に異なる重みを付けたり、複数の尤度のうちから幾つかを適宜選択可能にして統合したりしてもよい。また、人間関係ごとの尤度に顔配置などを含めるようにしてもよい。例えば、友人では一列に並び、家族ではΔ形の並ぶことが多い。
【００４８】
本発明では画像に映っている人数は制限されないが、そのまま人間関係を推定しようとすれば、各人数に対応する判断基準を特徴量DBに蓄積する必要がある。しかし、画像の部分画像、例えば、所定人数が映っている中央の部分画像に着目して人間関係を推定するようにすれば、画像に映っている人数に対応する全ての判断基準を蓄積する必要性をなくすことができる。また、各判定処理において算出された複数の尤度を統合した結果、所定閾値以上の尤度が得られなければ、「推定不可」を報知するようにしてもよい。
【符号の説明】
【００４９】
11・・・撮像部、12・・・推定部、13・・・制御部、14・・・記憶部、15・・・表示部
【特許請求の範囲】
【請求項１】
画像を元に複数の人物の人間関係を推定する情報端末装置であって、
撮像対象を撮像する撮像部と、
複数の人物の人間関係を推定する判断基準となる顔についての特徴量を人間関係ごとに蓄積する特徴量データベースと、
前記撮像部から入力された画像から顔についての複数の特徴量と前記特徴量データベースに蓄積された特徴量とから前記撮像部から入力された画像内の複数の人物の人間関係を推定する推定部を備え、
前記推定部は、前記撮像部から入力された画像から顔についての複数の特徴量を抽出し、抽出された複数の特徴量の各々における尤度を、前記特徴量データベースに蓄積された顔についての特徴量を用いて人間関係ごとに算出し、算出された複数の尤度を統合して前記撮像部から入力された画像内の複数の人物の人間関係の推定結果を出力することを特徴とする情報端末装置。
【請求項２】
前記推定部は、複数の特徴量の各々における尤度を、前記撮像部から入力された画像から抽出された複数の特徴量を前記特徴量データベースに蓄積された顔についての特徴量と照合することによって人間関係ごとに算出する機能を有することを特徴とする請求項１に記載の情報端末装置。
【請求項３】
前記特徴量データベースは、人間関係ごとに各特徴量に対する確率密度を特徴量として蓄積し、前記推定部は、前記特徴量データベースに蓄積された確率密度を用いて人間関係ごとに各特徴量に対する確率を算出し、各特徴量における尤度とする機能を有することを特徴とする請求項１に記載の情報端末装置。
【請求項４】
前記推定部は、前記撮像部から入力された画像から顔数と各人物の性別および年齢の組み合わせを特徴量として抽出する機能を有することを特徴とする請求項１に記載の情報端末装置。
【請求項５】
前記推定部は、前記撮像部から入力された画像から複数の顔についての位置関係を特徴量として抽出する機能を有することを特徴とする請求項１に記載の情報端末装置。
【請求項６】
前記推定部は、前記撮像部から入力された画像内の顔の、画面に対する大きさを特徴量として抽出する機能を有することを特徴とする請求項１に記載の情報端末装置。
【請求項７】
前記推定部は、前記撮像部から入力された画像から複数の顔についての肌色類似度を特徴量として抽出する機能を有することを特徴とする請求項１に記載の情報端末装置。
【請求項８】
前記推定部は、顔数と各人物の性別および年齢の組み合わせを特徴量として抽出するに際し、年齢を量子化する機能を有することを特徴とする請求項４に記載の情報端末装置。
【請求項９】
前記推定部は、前記撮像部から入力された画像から抽出された複数の人物についての性別と年齢の組み合わせのパターンを特徴量として抽出し、該特徴量を前記特徴量データベースに蓄積された特徴量と照合し、前記特徴量データベース内の同一パターンの特徴量の数を人間関係ごとに計数し、人間関係ごとの計数結果を正規化した値を尤度として算出する機能を有することを特徴とする請求項４に記載の情報端末装置。
【請求項１０】
前記推定部は、特徴量ごとに複数の値が算出された場合、人物間における差の最大値または最大値を該特徴量として選択する機能を有することを特徴とする請求項５ないし７のいずれかに記載の情報端末装置。
【請求項１１】
前記推定部は、複数の顔間の距離および各顔における両目間の距離を算出し、顔間の距離を両目間の距離で正規化した顔間距離を位置関係の特徴量とする機能を有することを特徴とする請求項５に記載の情報端末装置。
【請求項１２】
前記推定部は、各顔における両目間の距離を計測し、該距離を画像の幅で除算して正規化した値を顔の大きさの特徴量とする機能を有することを特徴とする請求項６に記載の情報端末装置。
【請求項１３】
前記推定部は、顔のヒストグラムを抽出し、各顔の肌色のヒストグラム間の距離を肌色類似度の特徴量とする機能を有することを特徴とする請求項７に記載の情報端末装置。
【請求項１４】
前記特徴量データベースに蓄積された判断基準となる顔についての特徴量は、教師画像から抽出されたものであることを特徴とする請求項１に記載の情報端末装置。
【請求項１５】
前記特徴量データベースは、判断基準となる顔についての特徴量として、教師画像から抽出された顔数と各人物の性別および年齢の組み合わせと、顔間距離、顔大きさおよび肌色類似度についての確率密度関数を人間関係ごとに蓄積することを特徴とする請求項１に記載の情報端末装置。
【請求項１６】
さらに、制御部および表示部を有し、
前記制御部は、前記推定部で推定された人間関係に応じて、前記表示部での表示情報を制御する機能を有することを特徴とする請求項１に記載の情報端末装置。
【請求項１】
画像を元に複数の人物の人間関係を推定する情報端末装置であって、
撮像対象を撮像する撮像部と、
複数の人物の人間関係を推定する判断基準となる顔についての特徴量を人間関係ごとに蓄積する特徴量データベースと、
前記撮像部から入力された画像から顔についての複数の特徴量と前記特徴量データベースに蓄積された特徴量とから前記撮像部から入力された画像内の複数の人物の人間関係を推定する推定部を備え、
前記推定部は、前記撮像部から入力された画像から顔についての複数の特徴量を抽出し、抽出された複数の特徴量の各々における尤度を、前記特徴量データベースに蓄積された顔についての特徴量を用いて人間関係ごとに算出し、算出された複数の尤度を統合して前記撮像部から入力された画像内の複数の人物の人間関係の推定結果を出力することを特徴とする情報端末装置。
【請求項２】
前記推定部は、複数の特徴量の各々における尤度を、前記撮像部から入力された画像から抽出された複数の特徴量を前記特徴量データベースに蓄積された顔についての特徴量と照合することによって人間関係ごとに算出する機能を有することを特徴とする請求項１に記載の情報端末装置。
【請求項３】
前記特徴量データベースは、人間関係ごとに各特徴量に対する確率密度を特徴量として蓄積し、前記推定部は、前記特徴量データベースに蓄積された確率密度を用いて人間関係ごとに各特徴量に対する確率を算出し、各特徴量における尤度とする機能を有することを特徴とする請求項１に記載の情報端末装置。
【請求項４】
前記推定部は、前記撮像部から入力された画像から顔数と各人物の性別および年齢の組み合わせを特徴量として抽出する機能を有することを特徴とする請求項１に記載の情報端末装置。
【請求項５】
前記推定部は、前記撮像部から入力された画像から複数の顔についての位置関係を特徴量として抽出する機能を有することを特徴とする請求項１に記載の情報端末装置。
【請求項６】
前記推定部は、前記撮像部から入力された画像内の顔の、画面に対する大きさを特徴量として抽出する機能を有することを特徴とする請求項１に記載の情報端末装置。
【請求項７】
前記推定部は、前記撮像部から入力された画像から複数の顔についての肌色類似度を特徴量として抽出する機能を有することを特徴とする請求項１に記載の情報端末装置。
【請求項８】
前記推定部は、顔数と各人物の性別および年齢の組み合わせを特徴量として抽出するに際し、年齢を量子化する機能を有することを特徴とする請求項４に記載の情報端末装置。
【請求項９】
前記推定部は、前記撮像部から入力された画像から抽出された複数の人物についての性別と年齢の組み合わせのパターンを特徴量として抽出し、該特徴量を前記特徴量データベースに蓄積された特徴量と照合し、前記特徴量データベース内の同一パターンの特徴量の数を人間関係ごとに計数し、人間関係ごとの計数結果を正規化した値を尤度として算出する機能を有することを特徴とする請求項４に記載の情報端末装置。
【請求項１０】
前記推定部は、特徴量ごとに複数の値が算出された場合、人物間における差の最大値または最大値を該特徴量として選択する機能を有することを特徴とする請求項５ないし７のいずれかに記載の情報端末装置。
【請求項１１】
前記推定部は、複数の顔間の距離および各顔における両目間の距離を算出し、顔間の距離を両目間の距離で正規化した顔間距離を位置関係の特徴量とする機能を有することを特徴とする請求項５に記載の情報端末装置。
【請求項１２】
前記推定部は、各顔における両目間の距離を計測し、該距離を画像の幅で除算して正規化した値を顔の大きさの特徴量とする機能を有することを特徴とする請求項６に記載の情報端末装置。
【請求項１３】
前記推定部は、顔のヒストグラムを抽出し、各顔の肌色のヒストグラム間の距離を肌色類似度の特徴量とする機能を有することを特徴とする請求項７に記載の情報端末装置。
【請求項１４】
前記特徴量データベースに蓄積された判断基準となる顔についての特徴量は、教師画像から抽出されたものであることを特徴とする請求項１に記載の情報端末装置。
【請求項１５】
前記特徴量データベースは、判断基準となる顔についての特徴量として、教師画像から抽出された顔数と各人物の性別および年齢の組み合わせと、顔間距離、顔大きさおよび肌色類似度についての確率密度関数を人間関係ごとに蓄積することを特徴とする請求項１に記載の情報端末装置。
【請求項１６】
さらに、制御部および表示部を有し、
前記制御部は、前記推定部で推定された人間関係に応じて、前記表示部での表示情報を制御する機能を有することを特徴とする請求項１に記載の情報端末装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【公開番号】特開２０１２−６８７０７（Ｐ２０１２−６８７０７Ａ）
【公開日】平成２４年４月５日（２０１２．４．５）
【国際特許分類】
【出願番号】特願２０１０−２１０７０５（Ｐ２０１０−２１０７０５）
【出願日】平成２２年９月２１日（２０１０．９．２１）
【出願人】（０００２０８８９１）ＫＤＤＩ株式会社 (2,700)
【Ｆターム（参考）】
【公開日】平成２４年４月５日（２０１２．４．５）
【国際特許分類】
【出願日】平成２２年９月２１日（２０１０．９．２１）
【出願人】（０００２０８８９１）ＫＤＤＩ株式会社 (2,700)
【Ｆターム（参考）】
[ Back to top ]