レコメンドシステム、レコメンド方法およびプログラム
【課題】取得したユーザ顔画像を用いることにより、ユーザに事前登録作業を行わせることなく、ユーザの属性を利用したレコメンドを行う。
【解決手段】携帯端末が、ユーザの顔画像を取得し、取得したユーザの顔画像から特徴量を抽出する。次に、抽出した特徴量をレコメンドサーバに送信する。レコメンドサーバは、携帯端末から特徴量を受信し、少なくとも複数の特徴量を格納し、受信した特徴量と格納された特徴量とのマッチング処理を行い、マッチング結果に基づいて、アプリケーション等のレコメンドを行って、レコメンド結果を携帯端末に送信する。そして、携帯端末が、レコメンドサーバからレコメンド結果を受信し、受信したレコメンド結果を表示する。
【解決手段】携帯端末が、ユーザの顔画像を取得し、取得したユーザの顔画像から特徴量を抽出する。次に、抽出した特徴量をレコメンドサーバに送信する。レコメンドサーバは、携帯端末から特徴量を受信し、少なくとも複数の特徴量を格納し、受信した特徴量と格納された特徴量とのマッチング処理を行い、マッチング結果に基づいて、アプリケーション等のレコメンドを行って、レコメンド結果を携帯端末に送信する。そして、携帯端末が、レコメンドサーバからレコメンド結果を受信し、受信したレコメンド結果を表示する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ユーザの顔画像を取得し、取得した顔画像を用いることにより、ユーザに事前登録作業を行わせることなく、ユーザの属性を利用したレコメンドを行うレコメンドシステム、レコメンド方法およびプログラムに関する。
【背景技術】
【０００２】
従来より、ユーザの属性情報やユーザの履歴情報および属性が類似するユーザの履歴情報を用いて、ユーザが好むであろうアプリケーションやコンテンツをレコメンドする技術が知られている。
【０００３】
ところで、近年、タブレット端末が目覚ましい勢いで普及している。このように、家庭内でタブレット端末が普及してくると、家族内で１つの端末を共有して利用する形態が増加してくる。
【０００４】
その中で、タブレット端末を利用しているユーザの属性を推定（またはユーザを認識）し、そのユーザ（属性）の操作ログ等の収集や、推定した結果からレコメンドを実施するサービスが考えられ、また、ユーザに特別な操作をさせずに推定するためには、顔画像の利用が考えられる。
【０００５】
ここで、顔画像を利用する技術としては、端末等に内蔵されているカメラを用いて、ユーザの顔画像を取得し、取得した顔画像から特徴量を抽出し、人物を特定しその人物が可能な操作を限定する技術（例えば、特許文献１参照。）や顔画像から特徴量を抽出し、人物の年齢を推定する技術（例えば、特許文献２参照。）や顔画像から特徴量を抽出して、属性推定を実施し、推定結果に応じて顔認識に使用する特徴量を変え、顔認識を行い、人物を特定する技術（例えば、特許文献３参照。）等が知られている。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００１−２５６４９６号公報
【特許文献２】特開２００９−０９３４９０号公報
【特許文献３】特開２００６−２０２０４９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、従来の技術のように、利用しているユーザの属性(性別、年齢)推定の結果のみで行うレコメンドには一定の効果はあるものの、ユーザ個人の趣味趣向にあったレコメンドではないため、効果が限定的であり、また、ログも属性単位での収集や分析となってしまうという問題があった。
【０００８】
また、顔認識を行い、利用しているユーザを特定する上記の技術では、ユーザ個人のプロフィール(年齢、性別、好きな物など)やログの取得が可能であり、趣味趣向にあったレコメンドは可能であるが、そのためには、ユーザが顔写真やプロフィール等の登録といった事前登録作業が必要となり、手続きが煩雑であるという問題があった。
【０００９】
そこで、本発明は、上述の課題に鑑みてなされたものであり、取得したユーザ顔画像を用いることにより、ユーザに事前登録作業を行わせることなく、ユーザの属性を利用したレコメンドを行うレコメンドシステム、レコメンド方法およびプログラムを提供することを目的とする。
【課題を解決するための手段】
【００１０】
本発明は、上述の課題を解決するために、以下の事項を提案している。なお、理解を容易にするために、本発明の実施形態に対応する符号を付して説明するが、これに限定されるものではない。
【００１１】
（１）本発明は、携帯端末（例えば、図１の携帯端末１００に相当）とレコメンドサーバ（例えば、図１のレコメンドサーバ２００に相当）とからなるレコメンドシステムであって、前記携帯端末が、ユーザの顔画像を取得する顔画像取得手段（例えば、図２の画像撮影部１１０に相当）と、該取得したユーザの顔画像から特徴量を抽出する特徴量抽出手段（例えば、図２の特徴量抽出部１４０に相当）と、該抽出した特徴量を前記レコメンドサーバに送信する特徴量送信手段（例えば、図２の送受信部１７０に相当）と、前記レコメンドサーバからレコメンド結果を受信するレコメンド結果受信手段（例えば、図２の送受信部１７０に相当）と、該受信したレコメンド結果を表示する表示手段（例えば、図２の情報表示部１６０に相当）と、を備え、前記取得したユーザの顔画像が、前記携帯端末から特徴量を受信する特徴量受信手段（例えば、図３の通信部２５０に相当）と、少なくとも複数の特徴量を格納する格納手段（例えば、図３の特徴量・属性記憶部２１０に相当）と、前記受信した特徴量と該格納された特徴量とのマッチング処理を行うマッチング処理手段（例えば、図３のマッチング処理部２２０に相当）と、該マッチング処理手段のマッチング結果に基づいて、少なくともアプリケーションを含むレコメンドを行うレコメンド処理手段（例えば、図３のレコメンド部２３０に相当）と、該レコメンド処理手段のレコメンド結果を前記携帯端末に送信するレコメンド結果送信手段（例えば、図３の通信部２５０に相当）と、を備えたことを特徴とするレコメンドシステムを提案している。
【００１２】
この発明によれば、携帯端末の顔画像取得手段は、ユーザの顔画像を取得する。特徴量抽出手段は、取得したユーザの顔画像から特徴量を抽出する。特徴量送信手段は、抽出した特徴量をレコメンドサーバに送信する。レコメンド結果受信手段は、レコメンドサーバからレコメンド結果を受信する。表示手段は、受信したレコメンド結果を表示する。レコメンドサーバの特徴量受信手段は、携帯端末から特徴量を受信する。格納手段は、少なくとも複数の特徴量を格納する。マッチング処理手段は、受信した特徴量と格納された特徴量とのマッチング処理を行う。レコメンド処理手段は、マッチング処理手段のマッチング結果に基づいて、少なくともアプリケーションを含むレコメンドを行う。レコメンド結果送信手段は、レコメンド処理手段のレコメンド結果を携帯端末に送信する。したがって、携帯端末は、顔画像を取得し、特徴量抽出するとともに、抽出した特徴量をレコメンドサーバに送信し、レコメンドサーバでは、顔画像の特徴量データベースを作成しておき、アップロードされたデータとのマッチング(類似度計算)を行い、そのマッチング結果に基づいて、ユーザにレコメンドを行うため、ユーザに煩雑な手続きを要求することなく、ユーザの趣味嗜好にあったアプリケーションやコンテンツをレコメンドすることができる。
【００１３】
（２）本発明は、（１）のレコメンドシステムについて、撮像画像を保存する保存手段（例えば、図２の画像記憶部１２０に相当）を備え、前記顔画像取得手段が前記保存された撮像画像の中から前記ユーザの顔画像を取得することを特徴とするレコメンドシステムを提案している。
【００１４】
この発明によれば、撮像画像を保存し、顔画像取得手段が保存された撮像画像の中からユーザの顔画像を取得する。したがって、保存された撮像画像の中からユーザの顔画像を取得するため、わざわざ、ユーザに自己の顔画像を取得するように促さなくとも、レコメンドを実行できるため、ユーザに煩雑な手続きを行わすことがない。
【００１５】
（３）本発明は、（２）のレコメンドシステムについて、前記顔画像取得手段がパターンマッチングを用いて、前記保存された撮像画像の中から前記ユーザの顔画像を取得することを特徴とするレコメンドシステムを提案している。
【００１６】
この発明によれば、顔画像取得手段がパターンマッチングを用いて、保存された撮像画像の中からユーザの顔画像を取得する。つまり、顔画像取得手段は、テンプレートマッチング(顔や顔を構成する部位)等のパターンマッチングにより、ユーザの顔画像を取得するため、精度よく、ユーザの顔画像を取得することができる。
【００１７】
（４）本発明は、（２）のレコメンドシステムについて、前記顔画像取得手段が肌色を検出して、前記保存された撮像画像の中から前記ユーザの顔画像を取得することを特徴とするレコメンドシステムを提案している。
【００１８】
この発明によれば、顔画像取得手段が肌色を検出して、保存された撮像画像の中からユーザの顔画像を取得する。つまり、顔画像取得手段は、撮像画像から肌色を検出して、ユーザの顔画像を取得するため、精度よく、ユーザの顔画像を取得することができる。
【００１９】
（５）本発明は、（１）のレコメンドシステムについて、前記特徴量抽出手段は、前記取得したユーザの顔画像から顔の構成要素を抽出し、該抽出した構成要素ごとに特徴量を抽出することを特徴とするレコメンドシステムを提案している。
【００２０】
この発明によれば、特徴量抽出手段は、取得したユーザの顔画像から顔の構成要素を抽出し、抽出した構成要素ごとに特徴量を抽出する。つまり、取得したユーザの顔画像から顔の構成要素を抽出し、抽出した構成要素ごとに特徴量を抽出するため、精度よく、ユーザの属性情報を取得することができる。
【００２１】
（６）本発明は、（５）のレコメンドシステムについて、前記特徴量抽出手段は、前記特徴量としてガボールウェーブレット特徴量を抽出することを特徴とするレコメンドシステムを提案している。
【００２２】
この発明によれば、特徴量抽出手段は、特徴量としてガボールウェーブレット特徴量を抽出する。ここで、ガボールウェーブレット特徴量とは、ガボールフィルタを撮像信号に適用することで得られるいわゆるガボール空間から抽出される特徴量であり、これを用いることにより、精度よく、特徴量を得ることができる。
【００２３】
（７）本発明は、（１）から（６）のレコメンドシステムについて、前記携帯端末が、前記顔画像を整形する整形手段（例えば、図７の画像整形部１８０に相当）を備え、該整形手段の処理後に、ユーザの顔画像から特徴量を抽出する処理を行うことを特徴とするレコメンドシステムを提案している。
【００２４】
この発明によれば、携帯端末が、顔画像を整形する整形手段を備え、整形手段の処理後に、ユーザの顔画像から特徴量を抽出する処理を行う。つまり、整形手段として、顔画像の大きさ等を正規化する正規化処理やノイズ除去フィルタを用いた処理を行うことにより、より正確に特徴量を抽出することができる。
【００２５】
（８）本発明は、（１）のレコメンドシステムについて、前記携帯端末が、アプリケーションの操作あるいは利用履歴と前記ユーザ情報とを関連付けて記憶するログ取得手段（例えば、図１のログ取得部１５０に相当）を備えたことを特徴とするレコメンドシステムを提案している。
【００２６】
この発明によれば、携帯端末が、アプリケーションの操作あるいは利用履歴とユーザ情報とを関連付けて記憶するログ取得手段を備えている。したがって、ログを用いることにより、ユーザの趣味趣向に適したレコメンドを実行することができる。
【００２７】
（９）本発明は、（１）のレコメンドシステムについて、前記マッチング処理手段が、類似度を算出する類似度算出手段（例えば、図４の類似度算出部２２１に相当）と、該類似度を所定の閾値と比較する比較手段（例えば、図４の比較部２２３に相当）とを備えることを特徴とするレコメンドシステムを提案している。
【００２８】
この発明によれば、マッチング処理手段が、類似度を算出する類似度算出手段と、類似度を所定の閾値と比較する比較手段とを備えている。したがって、算出した類似度を所定の閾値と比較することにより、マッチングの有無を簡易な方法で検出することができる。
【００２９】
（１０）本発明は、（９）のレコメンドシステムについて、前記類似度算出手段がパターンマッチングにより類似度を算出することを特徴とするレコメンドシステムを提案している。
【００３０】
この発明によれば、類似度算出手段がパターンマッチングにより類似度を算出する。つまり、類似度算出手段は、尤度や、マハラノビス距離、ユーグリッド距離等の計算処理により、類似度を算出するため、精度よく、類似度を算出することができる。
【００３１】
（１１）本発明は、（１）のレコメンドシステムについて、前記格納手段が、前記特徴量と利用履歴と属性情報とを関連付けて格納し、前記マッチング処理手段が、マッチングと判定したときに、前記レコメンド処理手段に、マッチング結果として、前記利用履歴と属性情報とを出力することを特徴とするレコメンドシステムを提案している。
【００３２】
この発明によれば、格納手段が、特徴量と利用履歴と属性情報とを関連付けて格納し、マッチング処理手段が、マッチングと判定したときに、レコメンド処理手段に、マッチング結果として、利用履歴と属性情報とを出力する。したがって、正確に類似度を算出することにより、ユーザの趣味趣向に適したレコメンドを実行することができる。
【００３３】
（１２）本発明は、（１）のレコメンドシステムについて、前記レコメンドサーバが、前記特徴量に基づいて、ユーザの属性を推定する属性推定手段（例えば、図３の属性推定部２６０に相当）を備え、前記マッチング処理手段が、マッチングと判定しなかったときに、前記レコメンド処理手段に、マッチング結果として、前記推定した属性情報とを出力することを特徴とするレコメンドシステムを提案している。
【００３４】
この発明によれば、レコメンドサーバが、特徴量に基づいて、ユーザの属性を推定する属性推定手段を備え、マッチング処理手段が、マッチングする特徴量と判定しなかったときに、レコメンド処理手段に、マッチング結果として、推定した属性情報とを出力する。したがって、マッチングする特徴量を抽出できなかったときでも、ユーザの趣味趣向に応じたレコメンドを実行することができる。
【００３５】
（１３）本発明は、携帯端末とレコメンドサーバとからなるレコメンドシステムにおけるレコメンド方法であって、前記携帯端末が、ユーザの顔画像を取得する第１のステップ（例えば、図５のステップＳ１０５に相当）と、該取得したユーザの顔画像から特徴量を抽出する第２のステップ（例えば、図５のステップＳ１０６に相当）と、該抽出した特徴量を前記レコメンドサーバに送信する第３のステップ（例えば、図５のステップＳ１０７に相当）と、前記レコメンドサーバが、前記携帯端末から特徴量を受信する第４のステップ（例えば、図５のステップＳ１０８に相当）と、少なくとも複数の特徴量を格納し、前記受信した特徴量と該格納された特徴量とのマッチング処理を行う第５のステップ（例えば、図５のステップＳ１０９に相当）と、該第５のステップにおけるマッチング結果に基づいて、少なくともアプリケーションを含むレコメンドを行う第６のステップ（例えば、図５のステップＳ１１１に相当）と、該第６のステップにおけるレコメンド結果を前記携帯端末に送信する第７のステップと、前記携帯端末が、前記レコメンドサーバからレコメンド結果を受信する第８のステップ（例えば、図６のステップＳ１１５に相当）と、該受信したレコメンド結果を表示する第９のステップ（例えば、図６のステップＳ１１６に相当）と、を備えたことを特徴とするレコメンド方法を提案している。
【００３６】
この発明によれば、携帯端末が、ユーザの顔画像を取得し、取得したユーザの顔画像から特徴量を抽出する。次に、抽出した特徴量をレコメンドサーバに送信する。レコメンドサーバは、携帯端末から特徴量を受信し、少なくとも複数の特徴量を格納し、受信した特徴量と格納された特徴量とのマッチング処理を行い、第５のステップにおけるマッチング結果に基づいて、少なくともアプリケーションを含むレコメンドを行って、第６のステップにおけるレコメンド結果を携帯端末に送信する。そして、携帯端末が、レコメンドサーバからレコメンド結果を受信し、受信したレコメンド結果を表示する。したがって、携帯端末は、顔画像を取得し、特徴量抽出するとともに、抽出した特徴量をレコメンドサーバに送信し、レコメンドサーバでは、顔画像の特徴量データベースを作成しておき、アップロードされたデータとのマッチング（類似度計算）を行い、そのマッチング結果に基づいて、ユーザにレコメンドを行うため、ユーザに煩雑な手続きを要求することなく、ユーザの趣味嗜好にあったアプリケーションやコンテンツをレコメンドすることができる。
【００３７】
（１４）本発明は、携帯端末とレコメンドサーバとからなるレコメンドシステムにおけるレコメンド方法をコンピュータに実行させるためのプログラムであって、前記携帯端末が、ユーザの顔画像を取得する第１のステップ（例えば、図５のステップＳ１０５に相当）と、該取得したユーザの顔画像から特徴量を抽出する第２のステップ（例えば、図５のステップＳ１０６に相当）と、該抽出した特徴量を前記レコメンドサーバに送信する第３のステップ（例えば、図５のステップＳ１０７に相当）と、前記レコメンドサーバが、前記携帯端末から特徴量を受信する第４のステップ（例えば、図５のステップＳ１０８に相当）と、少なくとも複数の特徴量を格納し、前記受信した特徴量と該格納された特徴量とのマッチング処理を行う第５のステップ（例えば、図５のステップＳ１０９に相当）と、該第５のステップにおけるマッチング結果に基づいて、少なくともアプリケーションを含むレコメンドを行う第６のステップ（例えば、図５のステップＳ１１１に相当）と、該第６のステップにおけるレコメンド結果を前記携帯端末に送信する第７のステップと、前記携帯端末が、前記レコメンドサーバからレコメンド結果を受信する第８のステップ（例えば、図６のステップＳ１１５に相当）と、該受信したレコメンド結果を表示する第９のステップ（例えば、図６のステップＳ１１６に相当）と、をコンピュータに実行させるためのプログラムを提案している。
【００３８】
この発明によれば、携帯端末が、ユーザの顔画像を取得し、取得したユーザの顔画像から特徴量を抽出する。次に、抽出した特徴量をレコメンドサーバに送信する。レコメンドサーバは、携帯端末から特徴量を受信し、少なくとも複数の特徴量を格納し、受信した特徴量と格納された特徴量とのマッチング処理を行い、第５のステップにおけるマッチング結果に基づいて、少なくともアプリケーションを含むレコメンドを行って、第６のステップにおけるレコメンド結果を携帯端末に送信する。そして、携帯端末が、レコメンドサーバからレコメンド結果を受信し、受信したレコメンド結果を表示する。したがって、携帯端末は、顔画像を取得し、特徴量抽出するとともに、抽出した特徴量をレコメンドサーバに送信し、レコメンドサーバでは、顔画像の特徴量データベースを作成しておき、アップロードされたデータとのマッチング(類似度計算)を行い、そのマッチング結果に基づいて、ユーザにレコメンドを行うため、ユーザに煩雑な手続きを要求することなく、ユーザの趣味嗜好にあったアプリケーション等やコンテンツをレコメンドすることができる。
【発明の効果】
【００３９】
本発明によれば、取得したユーザ顔画像を用いることにより、ユーザに事前登録作業を行わせることなく、ユーザの属性を利用したレコメンドを行うことができるという効果がある。
【図面の簡単な説明】
【００４０】
【図１】本発明の第１の実施形態に係るレコメンドシステムの構成を示す図である。
【図２】本発明の第１の実施形態に係る携帯端末の構成を示す図である。
【図３】本発明の第１の実施形態に係るレコメンドサーバの構成を示す図である。
【図４】本発明の第１の実施形態に係るマッチング処理部の構成を示す図である。
【図５】本発明の第１の実施形態に係るレコメンドシステムの処理を示す図である。
【図６】本発明の第１の実施形態に係るレコメンドシステムの処理を示す図である。
【図７】本発明の第２の実施形態に係る携帯端末の構成を示す図である。
【発明を実施するための形態】
【００４１】
以下、本発明の実施形態について、図面を用いて、詳細に説明する。
なお、本実施形態における構成要素は適宜、既存の構成要素等との置き換えが可能であり、また、他の既存の構成要素との組合せを含む様々なバリエーションが可能である。したがって、本実施形態の記載をもって、特許請求の範囲に記載された発明の内容を限定するものではない。
【００４２】
＜第１の実施形態＞
図１から図６を用いて、本発明の第１の実施形態について説明する。
【００４３】
＜レコメンドシステムの構成＞
本発明に係るレコメンドシステムは、図１に示すように、携帯端末１００と、レコメンドサーバ２００と、携帯端末１００とレコメンドサーバ２００とを接続するためのネットワーク３００とから構成されている。
【００４４】
本発明に係るレコメンドシステムは、携帯端末１００が、顔画像を取得し、特徴量抽出するとともに、抽出した特徴量をレコメンドサーバに送信する。レコメンドサーバでは、顔画像の特徴量データベースを作成しておき、アップロードされたデータとのマッチング（類似度計算）を行い、そのマッチング結果に基づいて、ユーザにレコメンドを行うものである。
【００４５】
＜携帯端末の構成＞
図２を用いて、携帯端末の構成について説明する。
【００４６】
図２に示すように、携帯端末１００は、画像撮影部１１０と、画像記憶部１２０と、顔画像検出部１３０と、特徴量抽出部１４０と、ログ取得部１５０と、情報表示部１６０と、送受信部１７０とから構成されている。
【００４７】
画像撮影部１１０は、例えば、携帯端末１００に内蔵されたインカメラである。画像記憶部１２０は、画像撮影部１１０が撮影した画像を格納、保存する。顔画像検出部１３０は、画像記憶部１２０に格納、保存された画像から顔画像を検出する。具体的には、画像撮影部１１０で画像を撮影し、画像記憶部１２０に一時保存し、保存した画像で顔検出されるまで、撮影・保存を繰り返す。また、顔画像検出部１３０は、例えば、テンプレートマッチング(顔や顔を構成する部位)等のパターンマッチング、肌色検出等により顔画像を検出する。
【００４８】
特徴量抽出部１４０は、顔画像検出部１３０が検出した顔画像から、顔の構成要素、例えば、目、鼻、口、眉等を抽出する。この顔の構成要素の抽出には、例えば、テンプレートマッチング等のパターンマッチング等を使用することができる。なお、抽出する構成要素は任意に設定可能としてもよい。そして、抽出した構成要素における特徴量を抽出する。この特徴量の抽出には、例えば、ガボールウェーブレット特徴量を利用することができるが、これに限られるものではない。そして、抽出した特徴量は、送受信部１７０に出力される。
【００４９】
ログ取得部１５０は、アプリケーションが起動するタイミングでユーザの操作あるいは利用履歴の取得を開始し、アプリケーションが終了するタイミングでユーザの操作あるいは利用履歴の取得を終了する。取得されたログ情報は、ユーザＩＤとともに送受信部１７０に出力される。
【００５０】
情報表示部１６０は、レコメンドサーバ２００から受信したレコメンド結果を液晶表示装置等に表示する。送受信部１７０は、特徴量抽出部１４０が抽出した特徴量、ログ取得部１５０から出力されるログ情報およびユーザＩＤ等をレコメンドサーバ２００に送信するとともに、レコメンドサーバ２００からレコメンド結果を受信する。
【００５１】
＜レコメンドサーバの構成＞
図３または図４を用いて、レコメンドサーバの構成について説明する。
【００５２】
図３に示すように、レコメンドサーバ２００は、特徴量・属性記憶部２１０と、マッチング処理部２２０と、レコメンド部２３０と、ログ記憶部２４０と、通信部２５０と、属性推定部２６０とから構成されている。
【００５３】
特徴量・属性記憶部２１０は、後述するマッチング処理部２２０、属性推定部２６０より送られてくる、特徴量、属性を保存し、ユーザＩＤを割り振る。なお、特徴量の保持方法は、特徴量をすべて保持する、または特徴量の平均、分散等確率分布として保持してもよい。
【００５４】
マッチング処理部２２０は、携帯端末１００から受信した特徴量と、特徴量・属性記憶部２１０に保存された既存の特徴量との比較を行う。具体的には、ここで、マッチング処理部２２０は、図４に示すように、類似度算出部２２１と、閾値記憶部２２２と、比較部２２３とから構成され、特徴量の比較は、パターンマッチング(例えば、尤度、マハラノビス距離、ユーグリッド距離等の計算)し、類似度を算出する。このとき、あらかじめ閾値を設けておき、類似度がこの閾値以上であれば同一人物、閾値以下であれば同一人物でないと判断する。また、同一人物と判断した場合には、特徴量・属性記憶部２１０に保存されたユーザＩＤと属性情報とをレコメンド部２３０へ送る。一方で、同一人物と判断しない場合には、属性推定部２６０へ特徴量を送る。
【００５５】
レコメンド部２３０は、入力されたユーザＩＤをもとに、後述するログ記憶部２４０より過去の操作あるいは利用履歴を取得し、属性情報とあわせレコメンドエンジンに入力しレコメンド結果を得る。このとき、マッチングしなかった場合（ユーザの操作・利用履歴がない場合）には。属性情報のみをレコメンドエンジンに入力しレコメンド結果を得る。ここで、レコメンドエンジンは、多数のユーザの利用履歴、ユーザ属性を集め分析を行い、入力に対しおススメの情報を出力するものであって、既存の手法、技術いずれを用いてもよい。レコメンド処理が完了すると、そのレコメンド結果とユーザＩＤとを通信部２５０を介して携帯端末１００に送信する。
【００５６】
ログ記憶部２４０は、通信部２５０を介して、携帯端末１００から受信したユーザの操作あるいは利用履歴を保存する。なお、このとき、受信した情報は、ユーザＩＤとともに保存する。
【００５７】
通信部２５０は、携帯端末１００にレコメンド結果とユーザＩＤとを送信するとともに、携帯端末１００からユーザの操作あるいは利用履歴とユーザＩＤとを受信する。
【００５８】
属性推定部２６０は、入力された特徴量を、あらかじめ学習された属性(年齢・性別)毎のクラスと比較(例えば、尤度、マハラノビス距離・ユーグリッド距離等の計算)し、最も適合する属性を判定する。そして、推定した属性と特徴量を特徴量・属性記憶部２１０に送り、特徴量・属性記憶部２１０からユーザＩＤを取得する。さらに、推定した属性とユーザＩＤとをレコメンド部２３０へ送る。
【００５９】
＜レコメンドサーバの処理＞
図５および図６を用いて、本実施形態に係るレコメンドシステムの処理について説明する。
【００６０】
まず、携帯端末１００が本実施形態に係るレコメンドシステムのアプリケーションを起動し（ステップＳ１０１）、当該アプリケーションを携帯端末１００の液晶表示画面に表示する（ステップＳ１０２）。
【００６１】
携帯端末１００の制御部は、本実施形態に係るレコメンドシステムのアプリケーションが起動すると、ユーザのログ情報の収集を開始する（ステップＳ１０３）。次いで、携帯端末１００のインカメラで、画像が撮影されると（ステップＳ１０４）、撮影した画像から顔画像の検出を行う（ステップＳ１０５）。
【００６２】
ここで、顔画像の検出ができなかった場合（ステップＳ１０５の「Ｎｏ」）には、ステップＳ１０４に戻って、待機し、顔画像の検出ができた場合（ステップＳ１０５の「Ｙｅｓ」）には、検出した顔画像から特徴量を抽出し（ステップＳ１０６）、抽出した特徴量等をレコメンドサーバ２００に送信する（ステップＳ１０７）。
【００６３】
レコメンドサーバ２００では、携帯端末１００から抽出した特徴量等を受信すると（ステップＳ１０８）、受信した特徴量と既存の特徴量とのマッチング処理を行う（ステップＳ１０９）。
【００６４】
ここで、受信した特徴量が既存の特徴量とマッチングした場合（ステップＳ１０９の「Ｙｅｓ」）には、受信した特徴量を既存の特徴量として保存するとともに、マッチングしたユーザＩＤを抽出し（ステップＳ１１０）、ユーザの履歴や属性に応じたレコメンド処理を実行する（ステップＳ１１１）。
【００６５】
一方で、受信した特徴量が既存の特徴量とマッチングしない場合（ステップＳ１０９の「Ｎｏ」）には、受信した特徴量からユーザの属性を推定し（ステップＳ１１２）、新規ユーザの特徴量として保存し、ユーザＩＤを新たに払いだすとともに（ステップＳ１１３）、推定した属性に応じたレコメンド処理を実行する（ステップＳ１１４）。
【００６６】
ステップＳ１１１あるいはステップＳ１１４のレコメンド処理が終了すると、レコメンドサーバ２００は、いずれかのレコメンド結果とユーザＩＤを携帯端末１００に送信し、携帯端末１００は、レコメンドサーバ２００が送信したレコメンド結果とユーザＩＤを受信する（ステップＳ１１５）。
【００６７】
携帯端末１００が、レコメンドサーバ２００からレコメンド結果を受信すると、そのレコメンド結果が携帯端末１００の液晶表示部に表示される（ステップＳ１１６）。
【００６８】
本実施形態に係るレコメンドシステムのアプリケーションが終了するとき（ステップＳ１１７）、携帯端末１００は、ユーザのログ収集を終了し、収集したユーザのログをユーザＩＤとともにレコメンドサーバ２００に送信する（ステップＳ１１８）。ユーザのログとユーザＩＤを受信したレコメンドサーバ２００は、これを保存する（ステップＳ１１９）。
【００６９】
以上、説明したように、本実施形態によれば、携帯端末は、顔画像を取得し、特徴量抽出するとともに、抽出した特徴量をレコメンドサーバに送信し、レコメンドサーバでは、顔画像の特徴量データベースを作成しておき、アップロードされたデータとのマッチング(類似度計算)を行い、そのマッチング結果に基づいて、ユーザにレコメンドを行うため、ユーザに煩雑な手続きを要求することなく、ユーザの趣味嗜好にあったアプリケーションやコンテンツをレコメンドすることができる。
【００７０】
＜第２の実施形態＞
図７を用いて、本発明に係る第２の実施形態について説明する。なお、本実施形態においては、携帯端末１００において、保存された画像からユーザの顔画像を検出する前に、当該保存された画像について整形処理を行う。
【００７１】
＜携帯端末の構成＞
図７に示すように、本実施形態に係る携帯端末１００は、画像撮影部１１０と、画像記憶部１２０と、顔画像検出部１３０と、特徴量抽出部１４０と、ログ取得部１５０と、情報表示部１６０と、送受信部１７０と、画像整形部１８０とから構成されている。なお、第１の実施形態と同一の符号を付す構成要素については、同様の機能を有することから、その詳細な説明は省略する。
【００７２】
ここで、画像整形部１８０は、画像記憶部１２０に保存された画像に対して、顔画像の大きさ等を正規化する正規化処理やノイズ除去を行う処理等の画像整形処理を行う。
【００７３】
＜レコメンドサーバの処理＞
まず、携帯端末１００が本実施形態に係るレコメンドシステムのアプリケーションを起動し、当該アプリケーションを携帯端末１００の液晶表示画面に表示する。
【００７４】
携帯端末１００の制御部は、本実施形態に係るレコメンドシステムのアプリケーションが起動すると、ユーザのログ情報の収集を開始する。次いで、携帯端末１００のインカメラで、画像が撮影されると、撮影された画像を保存し、当該保存された画像に対して、顔画像の大きさ等を正規化する正規化処理やノイズ除去を行う処理等の画像整形処理を行う。画像整形処理が終了すると、画像整形後の画像から顔画像の検出を行う。
【００７５】
ここで、顔画像の検出ができなかった場合には、待機し、顔画像の検出ができた場合には、検出した顔画像から特徴量を抽出し、抽出した特徴量等をレコメンドサーバ２００に送信する。
【００７６】
レコメンドサーバ２００では、携帯端末１００から抽出した特徴量等を受信すると、受信した特徴量と既存の特徴量とのマッチング処理を行う。
【００７７】
ここで、受信した特徴量が既存の特徴量とマッチングした場合には、受信した特徴量を既存の特徴量として保存するとともに、マッチングしたユーザＩＤを抽出し、ユーザの履歴や属性に応じたレコメンド処理を実行する。
【００７８】
一方で、受信した特徴量が既存の特徴量とマッチングしない場合には、受信した特徴量からユーザの属性を推定し、新規ユーザの特徴量として保存し、ユーザＩＤを新たに払いだすとともに、推定した属性に応じたレコメンド処理を実行する。
【００７９】
レコメンド処理が終了すると、レコメンドサーバ２００は、いずれかのレコメンド結果を携帯端末１００に送信し、携帯端末１００は、レコメンドサーバ２００が送信したレコメンド結果を受信する。
【００８０】
携帯端末１００が、レコメンドサーバ２００からレコメンド結果を受信すると、そのレコメンド結果が携帯端末１００の液晶表示部に表示される。
【００８１】
本実施形態に係るレコメンドシステムのアプリケーションが終了するとき、携帯端末１００は、ユーザのログ収集を終了し、収集したユーザのログをユーザＩＤとともにレコメンドサーバ２００に送信する。ユーザのログとユーザＩＤを受信したレコメンドサーバ２００は、これを保存する。
【００８２】
以上、説明したように、本実施形態によれば、整形手段として、顔画像の大きさ等を正規化する正規化処理やノイズ除去フィルタを用いた処理を行うことにより、より正確に特徴量を抽出することができる。また、携帯端末は、顔画像を取得し、特徴量抽出するとともに、抽出した特徴量をレコメンドサーバに送信し、レコメンドサーバでは、顔画像の特徴量データベースを作成しておき、アップロードされたデータとのマッチング(類似度計算)を行い、そのマッチング結果に基づいて、ユーザにレコメンドを行うため、ユーザに煩雑な手続きを要求することなく、ユーザの趣味嗜好にあったアプリケーションやコンテンツをレコメンドすることができる。
【００８３】
なお、レコメンドシステムの処理をコンピュータ読み取り可能な記録媒体に記録し、この記録媒体に記録されたプログラムをレコメンドシステムに読み込ませ、実行することによって本発明のレコメンドシステムを実現することができる。ここでいうコンピュータシステムとは、ＯＳや周辺装置等のハードウェアを含む。
【００８４】
また、「コンピュータシステム」は、ＷＷＷ（Ｗｏｒｌｄ Ｗｉｄｅ Ｗｅｂ）システムを利用している場合であれば、ホームページ提供環境（あるいは表示環境）も含むものとする。また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。
【００８５】
また、上記プログラムは、前述した機能の一部を実現するためのものであってもよい。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組合せで実現できるもの、いわゆる差分ファイル（差分プログラム）であってもよい。
【００８６】
以上、この発明の実施形態につき、図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。
【符号の説明】
【００８７】
１００；携帯端末
１１０；画像撮影部
１２０；画像記憶部
１３０；顔画像検出部
１４０；特徴量抽出部
１５０；ログ取得部
１６０；情報表示部
１７０；送受信部
１８０；画像整形部
２００；レコメンドサーバ
２１０；特徴量・属性記憶部
２２０；マッチング処理部
２２１；類似度算出部
２２２；閾値記憶部
２２３；比較部
２３０；レコメンド部
２４０；ログ記憶部
２５０；通信部
２６０；属性推定部
３００；ネットワーク
【技術分野】
【０００１】
本発明は、ユーザの顔画像を取得し、取得した顔画像を用いることにより、ユーザに事前登録作業を行わせることなく、ユーザの属性を利用したレコメンドを行うレコメンドシステム、レコメンド方法およびプログラムに関する。
【背景技術】
【０００２】
従来より、ユーザの属性情報やユーザの履歴情報および属性が類似するユーザの履歴情報を用いて、ユーザが好むであろうアプリケーションやコンテンツをレコメンドする技術が知られている。
【０００３】
ところで、近年、タブレット端末が目覚ましい勢いで普及している。このように、家庭内でタブレット端末が普及してくると、家族内で１つの端末を共有して利用する形態が増加してくる。
【０００４】
その中で、タブレット端末を利用しているユーザの属性を推定（またはユーザを認識）し、そのユーザ（属性）の操作ログ等の収集や、推定した結果からレコメンドを実施するサービスが考えられ、また、ユーザに特別な操作をさせずに推定するためには、顔画像の利用が考えられる。
【０００５】
ここで、顔画像を利用する技術としては、端末等に内蔵されているカメラを用いて、ユーザの顔画像を取得し、取得した顔画像から特徴量を抽出し、人物を特定しその人物が可能な操作を限定する技術（例えば、特許文献１参照。）や顔画像から特徴量を抽出し、人物の年齢を推定する技術（例えば、特許文献２参照。）や顔画像から特徴量を抽出して、属性推定を実施し、推定結果に応じて顔認識に使用する特徴量を変え、顔認識を行い、人物を特定する技術（例えば、特許文献３参照。）等が知られている。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００１−２５６４９６号公報
【特許文献２】特開２００９−０９３４９０号公報
【特許文献３】特開２００６−２０２０４９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、従来の技術のように、利用しているユーザの属性(性別、年齢)推定の結果のみで行うレコメンドには一定の効果はあるものの、ユーザ個人の趣味趣向にあったレコメンドではないため、効果が限定的であり、また、ログも属性単位での収集や分析となってしまうという問題があった。
【０００８】
また、顔認識を行い、利用しているユーザを特定する上記の技術では、ユーザ個人のプロフィール(年齢、性別、好きな物など)やログの取得が可能であり、趣味趣向にあったレコメンドは可能であるが、そのためには、ユーザが顔写真やプロフィール等の登録といった事前登録作業が必要となり、手続きが煩雑であるという問題があった。
【０００９】
そこで、本発明は、上述の課題に鑑みてなされたものであり、取得したユーザ顔画像を用いることにより、ユーザに事前登録作業を行わせることなく、ユーザの属性を利用したレコメンドを行うレコメンドシステム、レコメンド方法およびプログラムを提供することを目的とする。
【課題を解決するための手段】
【００１０】
本発明は、上述の課題を解決するために、以下の事項を提案している。なお、理解を容易にするために、本発明の実施形態に対応する符号を付して説明するが、これに限定されるものではない。
【００１１】
（１）本発明は、携帯端末（例えば、図１の携帯端末１００に相当）とレコメンドサーバ（例えば、図１のレコメンドサーバ２００に相当）とからなるレコメンドシステムであって、前記携帯端末が、ユーザの顔画像を取得する顔画像取得手段（例えば、図２の画像撮影部１１０に相当）と、該取得したユーザの顔画像から特徴量を抽出する特徴量抽出手段（例えば、図２の特徴量抽出部１４０に相当）と、該抽出した特徴量を前記レコメンドサーバに送信する特徴量送信手段（例えば、図２の送受信部１７０に相当）と、前記レコメンドサーバからレコメンド結果を受信するレコメンド結果受信手段（例えば、図２の送受信部１７０に相当）と、該受信したレコメンド結果を表示する表示手段（例えば、図２の情報表示部１６０に相当）と、を備え、前記取得したユーザの顔画像が、前記携帯端末から特徴量を受信する特徴量受信手段（例えば、図３の通信部２５０に相当）と、少なくとも複数の特徴量を格納する格納手段（例えば、図３の特徴量・属性記憶部２１０に相当）と、前記受信した特徴量と該格納された特徴量とのマッチング処理を行うマッチング処理手段（例えば、図３のマッチング処理部２２０に相当）と、該マッチング処理手段のマッチング結果に基づいて、少なくともアプリケーションを含むレコメンドを行うレコメンド処理手段（例えば、図３のレコメンド部２３０に相当）と、該レコメンド処理手段のレコメンド結果を前記携帯端末に送信するレコメンド結果送信手段（例えば、図３の通信部２５０に相当）と、を備えたことを特徴とするレコメンドシステムを提案している。
【００１２】
この発明によれば、携帯端末の顔画像取得手段は、ユーザの顔画像を取得する。特徴量抽出手段は、取得したユーザの顔画像から特徴量を抽出する。特徴量送信手段は、抽出した特徴量をレコメンドサーバに送信する。レコメンド結果受信手段は、レコメンドサーバからレコメンド結果を受信する。表示手段は、受信したレコメンド結果を表示する。レコメンドサーバの特徴量受信手段は、携帯端末から特徴量を受信する。格納手段は、少なくとも複数の特徴量を格納する。マッチング処理手段は、受信した特徴量と格納された特徴量とのマッチング処理を行う。レコメンド処理手段は、マッチング処理手段のマッチング結果に基づいて、少なくともアプリケーションを含むレコメンドを行う。レコメンド結果送信手段は、レコメンド処理手段のレコメンド結果を携帯端末に送信する。したがって、携帯端末は、顔画像を取得し、特徴量抽出するとともに、抽出した特徴量をレコメンドサーバに送信し、レコメンドサーバでは、顔画像の特徴量データベースを作成しておき、アップロードされたデータとのマッチング(類似度計算)を行い、そのマッチング結果に基づいて、ユーザにレコメンドを行うため、ユーザに煩雑な手続きを要求することなく、ユーザの趣味嗜好にあったアプリケーションやコンテンツをレコメンドすることができる。
【００１３】
（２）本発明は、（１）のレコメンドシステムについて、撮像画像を保存する保存手段（例えば、図２の画像記憶部１２０に相当）を備え、前記顔画像取得手段が前記保存された撮像画像の中から前記ユーザの顔画像を取得することを特徴とするレコメンドシステムを提案している。
【００１４】
この発明によれば、撮像画像を保存し、顔画像取得手段が保存された撮像画像の中からユーザの顔画像を取得する。したがって、保存された撮像画像の中からユーザの顔画像を取得するため、わざわざ、ユーザに自己の顔画像を取得するように促さなくとも、レコメンドを実行できるため、ユーザに煩雑な手続きを行わすことがない。
【００１５】
（３）本発明は、（２）のレコメンドシステムについて、前記顔画像取得手段がパターンマッチングを用いて、前記保存された撮像画像の中から前記ユーザの顔画像を取得することを特徴とするレコメンドシステムを提案している。
【００１６】
この発明によれば、顔画像取得手段がパターンマッチングを用いて、保存された撮像画像の中からユーザの顔画像を取得する。つまり、顔画像取得手段は、テンプレートマッチング(顔や顔を構成する部位)等のパターンマッチングにより、ユーザの顔画像を取得するため、精度よく、ユーザの顔画像を取得することができる。
【００１７】
（４）本発明は、（２）のレコメンドシステムについて、前記顔画像取得手段が肌色を検出して、前記保存された撮像画像の中から前記ユーザの顔画像を取得することを特徴とするレコメンドシステムを提案している。
【００１８】
この発明によれば、顔画像取得手段が肌色を検出して、保存された撮像画像の中からユーザの顔画像を取得する。つまり、顔画像取得手段は、撮像画像から肌色を検出して、ユーザの顔画像を取得するため、精度よく、ユーザの顔画像を取得することができる。
【００１９】
（５）本発明は、（１）のレコメンドシステムについて、前記特徴量抽出手段は、前記取得したユーザの顔画像から顔の構成要素を抽出し、該抽出した構成要素ごとに特徴量を抽出することを特徴とするレコメンドシステムを提案している。
【００２０】
この発明によれば、特徴量抽出手段は、取得したユーザの顔画像から顔の構成要素を抽出し、抽出した構成要素ごとに特徴量を抽出する。つまり、取得したユーザの顔画像から顔の構成要素を抽出し、抽出した構成要素ごとに特徴量を抽出するため、精度よく、ユーザの属性情報を取得することができる。
【００２１】
（６）本発明は、（５）のレコメンドシステムについて、前記特徴量抽出手段は、前記特徴量としてガボールウェーブレット特徴量を抽出することを特徴とするレコメンドシステムを提案している。
【００２２】
この発明によれば、特徴量抽出手段は、特徴量としてガボールウェーブレット特徴量を抽出する。ここで、ガボールウェーブレット特徴量とは、ガボールフィルタを撮像信号に適用することで得られるいわゆるガボール空間から抽出される特徴量であり、これを用いることにより、精度よく、特徴量を得ることができる。
【００２３】
（７）本発明は、（１）から（６）のレコメンドシステムについて、前記携帯端末が、前記顔画像を整形する整形手段（例えば、図７の画像整形部１８０に相当）を備え、該整形手段の処理後に、ユーザの顔画像から特徴量を抽出する処理を行うことを特徴とするレコメンドシステムを提案している。
【００２４】
この発明によれば、携帯端末が、顔画像を整形する整形手段を備え、整形手段の処理後に、ユーザの顔画像から特徴量を抽出する処理を行う。つまり、整形手段として、顔画像の大きさ等を正規化する正規化処理やノイズ除去フィルタを用いた処理を行うことにより、より正確に特徴量を抽出することができる。
【００２５】
（８）本発明は、（１）のレコメンドシステムについて、前記携帯端末が、アプリケーションの操作あるいは利用履歴と前記ユーザ情報とを関連付けて記憶するログ取得手段（例えば、図１のログ取得部１５０に相当）を備えたことを特徴とするレコメンドシステムを提案している。
【００２６】
この発明によれば、携帯端末が、アプリケーションの操作あるいは利用履歴とユーザ情報とを関連付けて記憶するログ取得手段を備えている。したがって、ログを用いることにより、ユーザの趣味趣向に適したレコメンドを実行することができる。
【００２７】
（９）本発明は、（１）のレコメンドシステムについて、前記マッチング処理手段が、類似度を算出する類似度算出手段（例えば、図４の類似度算出部２２１に相当）と、該類似度を所定の閾値と比較する比較手段（例えば、図４の比較部２２３に相当）とを備えることを特徴とするレコメンドシステムを提案している。
【００２８】
この発明によれば、マッチング処理手段が、類似度を算出する類似度算出手段と、類似度を所定の閾値と比較する比較手段とを備えている。したがって、算出した類似度を所定の閾値と比較することにより、マッチングの有無を簡易な方法で検出することができる。
【００２９】
（１０）本発明は、（９）のレコメンドシステムについて、前記類似度算出手段がパターンマッチングにより類似度を算出することを特徴とするレコメンドシステムを提案している。
【００３０】
この発明によれば、類似度算出手段がパターンマッチングにより類似度を算出する。つまり、類似度算出手段は、尤度や、マハラノビス距離、ユーグリッド距離等の計算処理により、類似度を算出するため、精度よく、類似度を算出することができる。
【００３１】
（１１）本発明は、（１）のレコメンドシステムについて、前記格納手段が、前記特徴量と利用履歴と属性情報とを関連付けて格納し、前記マッチング処理手段が、マッチングと判定したときに、前記レコメンド処理手段に、マッチング結果として、前記利用履歴と属性情報とを出力することを特徴とするレコメンドシステムを提案している。
【００３２】
この発明によれば、格納手段が、特徴量と利用履歴と属性情報とを関連付けて格納し、マッチング処理手段が、マッチングと判定したときに、レコメンド処理手段に、マッチング結果として、利用履歴と属性情報とを出力する。したがって、正確に類似度を算出することにより、ユーザの趣味趣向に適したレコメンドを実行することができる。
【００３３】
（１２）本発明は、（１）のレコメンドシステムについて、前記レコメンドサーバが、前記特徴量に基づいて、ユーザの属性を推定する属性推定手段（例えば、図３の属性推定部２６０に相当）を備え、前記マッチング処理手段が、マッチングと判定しなかったときに、前記レコメンド処理手段に、マッチング結果として、前記推定した属性情報とを出力することを特徴とするレコメンドシステムを提案している。
【００３４】
この発明によれば、レコメンドサーバが、特徴量に基づいて、ユーザの属性を推定する属性推定手段を備え、マッチング処理手段が、マッチングする特徴量と判定しなかったときに、レコメンド処理手段に、マッチング結果として、推定した属性情報とを出力する。したがって、マッチングする特徴量を抽出できなかったときでも、ユーザの趣味趣向に応じたレコメンドを実行することができる。
【００３５】
（１３）本発明は、携帯端末とレコメンドサーバとからなるレコメンドシステムにおけるレコメンド方法であって、前記携帯端末が、ユーザの顔画像を取得する第１のステップ（例えば、図５のステップＳ１０５に相当）と、該取得したユーザの顔画像から特徴量を抽出する第２のステップ（例えば、図５のステップＳ１０６に相当）と、該抽出した特徴量を前記レコメンドサーバに送信する第３のステップ（例えば、図５のステップＳ１０７に相当）と、前記レコメンドサーバが、前記携帯端末から特徴量を受信する第４のステップ（例えば、図５のステップＳ１０８に相当）と、少なくとも複数の特徴量を格納し、前記受信した特徴量と該格納された特徴量とのマッチング処理を行う第５のステップ（例えば、図５のステップＳ１０９に相当）と、該第５のステップにおけるマッチング結果に基づいて、少なくともアプリケーションを含むレコメンドを行う第６のステップ（例えば、図５のステップＳ１１１に相当）と、該第６のステップにおけるレコメンド結果を前記携帯端末に送信する第７のステップと、前記携帯端末が、前記レコメンドサーバからレコメンド結果を受信する第８のステップ（例えば、図６のステップＳ１１５に相当）と、該受信したレコメンド結果を表示する第９のステップ（例えば、図６のステップＳ１１６に相当）と、を備えたことを特徴とするレコメンド方法を提案している。
【００３６】
この発明によれば、携帯端末が、ユーザの顔画像を取得し、取得したユーザの顔画像から特徴量を抽出する。次に、抽出した特徴量をレコメンドサーバに送信する。レコメンドサーバは、携帯端末から特徴量を受信し、少なくとも複数の特徴量を格納し、受信した特徴量と格納された特徴量とのマッチング処理を行い、第５のステップにおけるマッチング結果に基づいて、少なくともアプリケーションを含むレコメンドを行って、第６のステップにおけるレコメンド結果を携帯端末に送信する。そして、携帯端末が、レコメンドサーバからレコメンド結果を受信し、受信したレコメンド結果を表示する。したがって、携帯端末は、顔画像を取得し、特徴量抽出するとともに、抽出した特徴量をレコメンドサーバに送信し、レコメンドサーバでは、顔画像の特徴量データベースを作成しておき、アップロードされたデータとのマッチング（類似度計算）を行い、そのマッチング結果に基づいて、ユーザにレコメンドを行うため、ユーザに煩雑な手続きを要求することなく、ユーザの趣味嗜好にあったアプリケーションやコンテンツをレコメンドすることができる。
【００３７】
（１４）本発明は、携帯端末とレコメンドサーバとからなるレコメンドシステムにおけるレコメンド方法をコンピュータに実行させるためのプログラムであって、前記携帯端末が、ユーザの顔画像を取得する第１のステップ（例えば、図５のステップＳ１０５に相当）と、該取得したユーザの顔画像から特徴量を抽出する第２のステップ（例えば、図５のステップＳ１０６に相当）と、該抽出した特徴量を前記レコメンドサーバに送信する第３のステップ（例えば、図５のステップＳ１０７に相当）と、前記レコメンドサーバが、前記携帯端末から特徴量を受信する第４のステップ（例えば、図５のステップＳ１０８に相当）と、少なくとも複数の特徴量を格納し、前記受信した特徴量と該格納された特徴量とのマッチング処理を行う第５のステップ（例えば、図５のステップＳ１０９に相当）と、該第５のステップにおけるマッチング結果に基づいて、少なくともアプリケーションを含むレコメンドを行う第６のステップ（例えば、図５のステップＳ１１１に相当）と、該第６のステップにおけるレコメンド結果を前記携帯端末に送信する第７のステップと、前記携帯端末が、前記レコメンドサーバからレコメンド結果を受信する第８のステップ（例えば、図６のステップＳ１１５に相当）と、該受信したレコメンド結果を表示する第９のステップ（例えば、図６のステップＳ１１６に相当）と、をコンピュータに実行させるためのプログラムを提案している。
【００３８】
この発明によれば、携帯端末が、ユーザの顔画像を取得し、取得したユーザの顔画像から特徴量を抽出する。次に、抽出した特徴量をレコメンドサーバに送信する。レコメンドサーバは、携帯端末から特徴量を受信し、少なくとも複数の特徴量を格納し、受信した特徴量と格納された特徴量とのマッチング処理を行い、第５のステップにおけるマッチング結果に基づいて、少なくともアプリケーションを含むレコメンドを行って、第６のステップにおけるレコメンド結果を携帯端末に送信する。そして、携帯端末が、レコメンドサーバからレコメンド結果を受信し、受信したレコメンド結果を表示する。したがって、携帯端末は、顔画像を取得し、特徴量抽出するとともに、抽出した特徴量をレコメンドサーバに送信し、レコメンドサーバでは、顔画像の特徴量データベースを作成しておき、アップロードされたデータとのマッチング(類似度計算)を行い、そのマッチング結果に基づいて、ユーザにレコメンドを行うため、ユーザに煩雑な手続きを要求することなく、ユーザの趣味嗜好にあったアプリケーション等やコンテンツをレコメンドすることができる。
【発明の効果】
【００３９】
本発明によれば、取得したユーザ顔画像を用いることにより、ユーザに事前登録作業を行わせることなく、ユーザの属性を利用したレコメンドを行うことができるという効果がある。
【図面の簡単な説明】
【００４０】
【図１】本発明の第１の実施形態に係るレコメンドシステムの構成を示す図である。
【図２】本発明の第１の実施形態に係る携帯端末の構成を示す図である。
【図３】本発明の第１の実施形態に係るレコメンドサーバの構成を示す図である。
【図４】本発明の第１の実施形態に係るマッチング処理部の構成を示す図である。
【図５】本発明の第１の実施形態に係るレコメンドシステムの処理を示す図である。
【図６】本発明の第１の実施形態に係るレコメンドシステムの処理を示す図である。
【図７】本発明の第２の実施形態に係る携帯端末の構成を示す図である。
【発明を実施するための形態】
【００４１】
以下、本発明の実施形態について、図面を用いて、詳細に説明する。
なお、本実施形態における構成要素は適宜、既存の構成要素等との置き換えが可能であり、また、他の既存の構成要素との組合せを含む様々なバリエーションが可能である。したがって、本実施形態の記載をもって、特許請求の範囲に記載された発明の内容を限定するものではない。
【００４２】
＜第１の実施形態＞
図１から図６を用いて、本発明の第１の実施形態について説明する。
【００４３】
＜レコメンドシステムの構成＞
本発明に係るレコメンドシステムは、図１に示すように、携帯端末１００と、レコメンドサーバ２００と、携帯端末１００とレコメンドサーバ２００とを接続するためのネットワーク３００とから構成されている。
【００４４】
本発明に係るレコメンドシステムは、携帯端末１００が、顔画像を取得し、特徴量抽出するとともに、抽出した特徴量をレコメンドサーバに送信する。レコメンドサーバでは、顔画像の特徴量データベースを作成しておき、アップロードされたデータとのマッチング（類似度計算）を行い、そのマッチング結果に基づいて、ユーザにレコメンドを行うものである。
【００４５】
＜携帯端末の構成＞
図２を用いて、携帯端末の構成について説明する。
【００４６】
図２に示すように、携帯端末１００は、画像撮影部１１０と、画像記憶部１２０と、顔画像検出部１３０と、特徴量抽出部１４０と、ログ取得部１５０と、情報表示部１６０と、送受信部１７０とから構成されている。
【００４７】
画像撮影部１１０は、例えば、携帯端末１００に内蔵されたインカメラである。画像記憶部１２０は、画像撮影部１１０が撮影した画像を格納、保存する。顔画像検出部１３０は、画像記憶部１２０に格納、保存された画像から顔画像を検出する。具体的には、画像撮影部１１０で画像を撮影し、画像記憶部１２０に一時保存し、保存した画像で顔検出されるまで、撮影・保存を繰り返す。また、顔画像検出部１３０は、例えば、テンプレートマッチング(顔や顔を構成する部位)等のパターンマッチング、肌色検出等により顔画像を検出する。
【００４８】
特徴量抽出部１４０は、顔画像検出部１３０が検出した顔画像から、顔の構成要素、例えば、目、鼻、口、眉等を抽出する。この顔の構成要素の抽出には、例えば、テンプレートマッチング等のパターンマッチング等を使用することができる。なお、抽出する構成要素は任意に設定可能としてもよい。そして、抽出した構成要素における特徴量を抽出する。この特徴量の抽出には、例えば、ガボールウェーブレット特徴量を利用することができるが、これに限られるものではない。そして、抽出した特徴量は、送受信部１７０に出力される。
【００４９】
ログ取得部１５０は、アプリケーションが起動するタイミングでユーザの操作あるいは利用履歴の取得を開始し、アプリケーションが終了するタイミングでユーザの操作あるいは利用履歴の取得を終了する。取得されたログ情報は、ユーザＩＤとともに送受信部１７０に出力される。
【００５０】
情報表示部１６０は、レコメンドサーバ２００から受信したレコメンド結果を液晶表示装置等に表示する。送受信部１７０は、特徴量抽出部１４０が抽出した特徴量、ログ取得部１５０から出力されるログ情報およびユーザＩＤ等をレコメンドサーバ２００に送信するとともに、レコメンドサーバ２００からレコメンド結果を受信する。
【００５１】
＜レコメンドサーバの構成＞
図３または図４を用いて、レコメンドサーバの構成について説明する。
【００５２】
図３に示すように、レコメンドサーバ２００は、特徴量・属性記憶部２１０と、マッチング処理部２２０と、レコメンド部２３０と、ログ記憶部２４０と、通信部２５０と、属性推定部２６０とから構成されている。
【００５３】
特徴量・属性記憶部２１０は、後述するマッチング処理部２２０、属性推定部２６０より送られてくる、特徴量、属性を保存し、ユーザＩＤを割り振る。なお、特徴量の保持方法は、特徴量をすべて保持する、または特徴量の平均、分散等確率分布として保持してもよい。
【００５４】
マッチング処理部２２０は、携帯端末１００から受信した特徴量と、特徴量・属性記憶部２１０に保存された既存の特徴量との比較を行う。具体的には、ここで、マッチング処理部２２０は、図４に示すように、類似度算出部２２１と、閾値記憶部２２２と、比較部２２３とから構成され、特徴量の比較は、パターンマッチング(例えば、尤度、マハラノビス距離、ユーグリッド距離等の計算)し、類似度を算出する。このとき、あらかじめ閾値を設けておき、類似度がこの閾値以上であれば同一人物、閾値以下であれば同一人物でないと判断する。また、同一人物と判断した場合には、特徴量・属性記憶部２１０に保存されたユーザＩＤと属性情報とをレコメンド部２３０へ送る。一方で、同一人物と判断しない場合には、属性推定部２６０へ特徴量を送る。
【００５５】
レコメンド部２３０は、入力されたユーザＩＤをもとに、後述するログ記憶部２４０より過去の操作あるいは利用履歴を取得し、属性情報とあわせレコメンドエンジンに入力しレコメンド結果を得る。このとき、マッチングしなかった場合（ユーザの操作・利用履歴がない場合）には。属性情報のみをレコメンドエンジンに入力しレコメンド結果を得る。ここで、レコメンドエンジンは、多数のユーザの利用履歴、ユーザ属性を集め分析を行い、入力に対しおススメの情報を出力するものであって、既存の手法、技術いずれを用いてもよい。レコメンド処理が完了すると、そのレコメンド結果とユーザＩＤとを通信部２５０を介して携帯端末１００に送信する。
【００５６】
ログ記憶部２４０は、通信部２５０を介して、携帯端末１００から受信したユーザの操作あるいは利用履歴を保存する。なお、このとき、受信した情報は、ユーザＩＤとともに保存する。
【００５７】
通信部２５０は、携帯端末１００にレコメンド結果とユーザＩＤとを送信するとともに、携帯端末１００からユーザの操作あるいは利用履歴とユーザＩＤとを受信する。
【００５８】
属性推定部２６０は、入力された特徴量を、あらかじめ学習された属性(年齢・性別)毎のクラスと比較(例えば、尤度、マハラノビス距離・ユーグリッド距離等の計算)し、最も適合する属性を判定する。そして、推定した属性と特徴量を特徴量・属性記憶部２１０に送り、特徴量・属性記憶部２１０からユーザＩＤを取得する。さらに、推定した属性とユーザＩＤとをレコメンド部２３０へ送る。
【００５９】
＜レコメンドサーバの処理＞
図５および図６を用いて、本実施形態に係るレコメンドシステムの処理について説明する。
【００６０】
まず、携帯端末１００が本実施形態に係るレコメンドシステムのアプリケーションを起動し（ステップＳ１０１）、当該アプリケーションを携帯端末１００の液晶表示画面に表示する（ステップＳ１０２）。
【００６１】
携帯端末１００の制御部は、本実施形態に係るレコメンドシステムのアプリケーションが起動すると、ユーザのログ情報の収集を開始する（ステップＳ１０３）。次いで、携帯端末１００のインカメラで、画像が撮影されると（ステップＳ１０４）、撮影した画像から顔画像の検出を行う（ステップＳ１０５）。
【００６２】
ここで、顔画像の検出ができなかった場合（ステップＳ１０５の「Ｎｏ」）には、ステップＳ１０４に戻って、待機し、顔画像の検出ができた場合（ステップＳ１０５の「Ｙｅｓ」）には、検出した顔画像から特徴量を抽出し（ステップＳ１０６）、抽出した特徴量等をレコメンドサーバ２００に送信する（ステップＳ１０７）。
【００６３】
レコメンドサーバ２００では、携帯端末１００から抽出した特徴量等を受信すると（ステップＳ１０８）、受信した特徴量と既存の特徴量とのマッチング処理を行う（ステップＳ１０９）。
【００６４】
ここで、受信した特徴量が既存の特徴量とマッチングした場合（ステップＳ１０９の「Ｙｅｓ」）には、受信した特徴量を既存の特徴量として保存するとともに、マッチングしたユーザＩＤを抽出し（ステップＳ１１０）、ユーザの履歴や属性に応じたレコメンド処理を実行する（ステップＳ１１１）。
【００６５】
一方で、受信した特徴量が既存の特徴量とマッチングしない場合（ステップＳ１０９の「Ｎｏ」）には、受信した特徴量からユーザの属性を推定し（ステップＳ１１２）、新規ユーザの特徴量として保存し、ユーザＩＤを新たに払いだすとともに（ステップＳ１１３）、推定した属性に応じたレコメンド処理を実行する（ステップＳ１１４）。
【００６６】
ステップＳ１１１あるいはステップＳ１１４のレコメンド処理が終了すると、レコメンドサーバ２００は、いずれかのレコメンド結果とユーザＩＤを携帯端末１００に送信し、携帯端末１００は、レコメンドサーバ２００が送信したレコメンド結果とユーザＩＤを受信する（ステップＳ１１５）。
【００６７】
携帯端末１００が、レコメンドサーバ２００からレコメンド結果を受信すると、そのレコメンド結果が携帯端末１００の液晶表示部に表示される（ステップＳ１１６）。
【００６８】
本実施形態に係るレコメンドシステムのアプリケーションが終了するとき（ステップＳ１１７）、携帯端末１００は、ユーザのログ収集を終了し、収集したユーザのログをユーザＩＤとともにレコメンドサーバ２００に送信する（ステップＳ１１８）。ユーザのログとユーザＩＤを受信したレコメンドサーバ２００は、これを保存する（ステップＳ１１９）。
【００６９】
以上、説明したように、本実施形態によれば、携帯端末は、顔画像を取得し、特徴量抽出するとともに、抽出した特徴量をレコメンドサーバに送信し、レコメンドサーバでは、顔画像の特徴量データベースを作成しておき、アップロードされたデータとのマッチング(類似度計算)を行い、そのマッチング結果に基づいて、ユーザにレコメンドを行うため、ユーザに煩雑な手続きを要求することなく、ユーザの趣味嗜好にあったアプリケーションやコンテンツをレコメンドすることができる。
【００７０】
＜第２の実施形態＞
図７を用いて、本発明に係る第２の実施形態について説明する。なお、本実施形態においては、携帯端末１００において、保存された画像からユーザの顔画像を検出する前に、当該保存された画像について整形処理を行う。
【００７１】
＜携帯端末の構成＞
図７に示すように、本実施形態に係る携帯端末１００は、画像撮影部１１０と、画像記憶部１２０と、顔画像検出部１３０と、特徴量抽出部１４０と、ログ取得部１５０と、情報表示部１６０と、送受信部１７０と、画像整形部１８０とから構成されている。なお、第１の実施形態と同一の符号を付す構成要素については、同様の機能を有することから、その詳細な説明は省略する。
【００７２】
ここで、画像整形部１８０は、画像記憶部１２０に保存された画像に対して、顔画像の大きさ等を正規化する正規化処理やノイズ除去を行う処理等の画像整形処理を行う。
【００７３】
＜レコメンドサーバの処理＞
まず、携帯端末１００が本実施形態に係るレコメンドシステムのアプリケーションを起動し、当該アプリケーションを携帯端末１００の液晶表示画面に表示する。
【００７４】
携帯端末１００の制御部は、本実施形態に係るレコメンドシステムのアプリケーションが起動すると、ユーザのログ情報の収集を開始する。次いで、携帯端末１００のインカメラで、画像が撮影されると、撮影された画像を保存し、当該保存された画像に対して、顔画像の大きさ等を正規化する正規化処理やノイズ除去を行う処理等の画像整形処理を行う。画像整形処理が終了すると、画像整形後の画像から顔画像の検出を行う。
【００７５】
ここで、顔画像の検出ができなかった場合には、待機し、顔画像の検出ができた場合には、検出した顔画像から特徴量を抽出し、抽出した特徴量等をレコメンドサーバ２００に送信する。
【００７６】
レコメンドサーバ２００では、携帯端末１００から抽出した特徴量等を受信すると、受信した特徴量と既存の特徴量とのマッチング処理を行う。
【００７７】
ここで、受信した特徴量が既存の特徴量とマッチングした場合には、受信した特徴量を既存の特徴量として保存するとともに、マッチングしたユーザＩＤを抽出し、ユーザの履歴や属性に応じたレコメンド処理を実行する。
【００７８】
一方で、受信した特徴量が既存の特徴量とマッチングしない場合には、受信した特徴量からユーザの属性を推定し、新規ユーザの特徴量として保存し、ユーザＩＤを新たに払いだすとともに、推定した属性に応じたレコメンド処理を実行する。
【００７９】
レコメンド処理が終了すると、レコメンドサーバ２００は、いずれかのレコメンド結果を携帯端末１００に送信し、携帯端末１００は、レコメンドサーバ２００が送信したレコメンド結果を受信する。
【００８０】
携帯端末１００が、レコメンドサーバ２００からレコメンド結果を受信すると、そのレコメンド結果が携帯端末１００の液晶表示部に表示される。
【００８１】
本実施形態に係るレコメンドシステムのアプリケーションが終了するとき、携帯端末１００は、ユーザのログ収集を終了し、収集したユーザのログをユーザＩＤとともにレコメンドサーバ２００に送信する。ユーザのログとユーザＩＤを受信したレコメンドサーバ２００は、これを保存する。
【００８２】
以上、説明したように、本実施形態によれば、整形手段として、顔画像の大きさ等を正規化する正規化処理やノイズ除去フィルタを用いた処理を行うことにより、より正確に特徴量を抽出することができる。また、携帯端末は、顔画像を取得し、特徴量抽出するとともに、抽出した特徴量をレコメンドサーバに送信し、レコメンドサーバでは、顔画像の特徴量データベースを作成しておき、アップロードされたデータとのマッチング(類似度計算)を行い、そのマッチング結果に基づいて、ユーザにレコメンドを行うため、ユーザに煩雑な手続きを要求することなく、ユーザの趣味嗜好にあったアプリケーションやコンテンツをレコメンドすることができる。
【００８３】
なお、レコメンドシステムの処理をコンピュータ読み取り可能な記録媒体に記録し、この記録媒体に記録されたプログラムをレコメンドシステムに読み込ませ、実行することによって本発明のレコメンドシステムを実現することができる。ここでいうコンピュータシステムとは、ＯＳや周辺装置等のハードウェアを含む。
【００８４】
また、「コンピュータシステム」は、ＷＷＷ（Ｗｏｒｌｄ Ｗｉｄｅ Ｗｅｂ）システムを利用している場合であれば、ホームページ提供環境（あるいは表示環境）も含むものとする。また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。
【００８５】
また、上記プログラムは、前述した機能の一部を実現するためのものであってもよい。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組合せで実現できるもの、いわゆる差分ファイル（差分プログラム）であってもよい。
【００８６】
以上、この発明の実施形態につき、図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。
【符号の説明】
【００８７】
１００；携帯端末
１１０；画像撮影部
１２０；画像記憶部
１３０；顔画像検出部
１４０；特徴量抽出部
１５０；ログ取得部
１６０；情報表示部
１７０；送受信部
１８０；画像整形部
２００；レコメンドサーバ
２１０；特徴量・属性記憶部
２２０；マッチング処理部
２２１；類似度算出部
２２２；閾値記憶部
２２３；比較部
２３０；レコメンド部
２４０；ログ記憶部
２５０；通信部
２６０；属性推定部
３００；ネットワーク
【特許請求の範囲】
【請求項１】
携帯端末とレコメンドサーバとからなるレコメンドシステムであって、
前記携帯端末が、
ユーザの顔画像を取得する顔画像取得手段と、
該取得したユーザの顔画像から特徴量を抽出する特徴量抽出手段と、
該抽出した特徴量を前記レコメンドサーバに送信する特徴量送信手段と、
前記レコメンドサーバからレコメンド結果を受信するレコメンド結果受信手段と、
該受信したレコメンド結果を表示する表示手段と、
を備え、
前記レコメンドサーバが、
前記携帯端末から特徴量を受信する特徴量受信手段と、
少なくとも複数の特徴量を格納する格納手段と、
前記受信した特徴量と該格納された特徴量とのマッチング処理を行うマッチング処理手段と、
該マッチング処理手段のマッチング結果に基づいて、少なくともアプリケーションを含むレコメンドを行うレコメンド処理手段と、
該レコメンド処理手段のレコメンド結果を前記携帯端末に送信するレコメンド結果送信手段と、
を備えたことを特徴とするレコメンドシステム。
【請求項２】
撮像画像を保存する保存手段を備え、
前記顔画像取得手段が前記保存された撮像画像の中から前記ユーザの顔画像を取得することを特徴とする請求項１に記載のレコメンドシステム。
【請求項３】
前記顔画像取得手段がパターンマッチングを用いて、前記保存された撮像画像の中から前記ユーザの顔画像を取得することを特徴とする請求項２に記載のレコメンドシステム。
【請求項４】
前記顔画像取得手段が肌色を検出して、前記保存された撮像画像の中から前記ユーザの顔画像を取得することを特徴とする請求項２に記載のレコメンドシステム。
【請求項５】
前記特徴量抽出手段は、前記取得したユーザの顔画像から顔の構成要素を抽出し、該抽出した構成要素ごとに特徴量を抽出することを特徴とする請求項１に記載のレコメンドシステム。
【請求項６】
前記特徴量抽出手段は、前記特徴量としてガボールウェーブレット特徴量を抽出することを特徴とする請求項５に記載のレコメンドシステム。
【請求項７】
前記携帯端末が、前記顔画像を整形する整形手段を備え、該整形手段の処理後に、ユーザの顔画像から特徴量を抽出する処理を行うことを特徴とする請求項１から請求項６に記載のレコメンドシステム。
【請求項８】
前記携帯端末が、アプリケーションの操作あるいは利用履歴と前記ユーザ情報とを関連付けて記憶するログ取得手段を備えたことを特徴とする請求項１に記載のレコメンドシステム。
【請求項９】
前記マッチング処理手段が、類似度を算出する類似度算出手段と、該類似度を所定の閾値と比較する比較手段とを備えることを特徴とする請求項１に記載のレコメンドシステム。
【請求項１０】
前記類似度算出手段がパターンマッチングにより類似度を算出することを特徴とする請求項９に記載のレコメンドシステム。
【請求項１１】
前記格納手段が、前記特徴量と利用履歴と属性情報とを関連付けて格納し、
前記マッチング処理手段が、マッチングすると判定したときに、前記レコメンド処理手段に、マッチング結果として、前記利用履歴と属性情報とを出力することを特徴とする請求項１に記載のレコメンドシステム。
【請求項１２】
前記レコメンドサーバが、前記特徴量に基づいて、ユーザの属性を推定する属性推定手段を備え、前記マッチング処理手段が、マッチングすると判定できなかったときに、前記レコメンド処理手段に、マッチング結果として、前記推定した属性情報とを出力することを特徴とする請求項１に記載のレコメンドシステム。
【請求項１３】
携帯端末とレコメンドサーバとからなるレコメンドシステムにおけるレコメンド方法であって、
前記携帯端末が、
ユーザの顔画像を取得する第１のステップと、
該取得したユーザの顔画像から特徴量を抽出する第２のステップと、
該抽出した特徴量を前記レコメンドサーバに送信する第３のステップと、
前記レコメンドサーバが、
前記携帯端末から特徴量を受信する第４のステップと、
少なくとも複数の特徴量を格納し、前記受信した特徴量と該格納された特徴量とのマッチング処理を行う第５のステップと、
該第５のステップにおけるマッチング結果に基づいて、少なくともアプリケーションを含むレコメンドを行う第６のステップと、
該第６のステップにおけるレコメンド結果を前記携帯端末に送信する第７のステップと、
前記携帯端末が、
前記レコメンドサーバからレコメンド結果を受信する第８のステップと、
該受信したレコメンド結果を表示する第９のステップと、
を備えたことを特徴とするレコメンド方法。
【請求項１４】
携帯端末とレコメンドサーバとからなるレコメンドシステムにおけるレコメンド方法をコンピュータに実行させるためのプログラムであって、
前記携帯端末が、
ユーザの顔画像を取得する第１のステップと、
該取得したユーザの顔画像から特徴量を抽出する第２のステップと、
該抽出した特徴量を前記レコメンドサーバに送信する第３のステップと、
前記レコメンドサーバが、
前記携帯端末から特徴量を受信する第４のステップと、
少なくとも複数の特徴量を格納し、前記受信した特徴量と該格納された特徴量とのマッチング処理を行う第５のステップと、
該第５のステップにおけるマッチング結果に基づいて、少なくともアプリケーションを含むレコメンドを行う第６のステップと、
該第６のステップにおけるレコメンド結果を前記携帯端末に送信する第７のステップと、
前記携帯端末が、
前記レコメンドサーバからレコメンド結果を受信する第８のステップと、
該受信したレコメンド結果を表示する第９のステップと、
をコンピュータに実行させるためのプログラム。
【請求項１】
携帯端末とレコメンドサーバとからなるレコメンドシステムであって、
前記携帯端末が、
ユーザの顔画像を取得する顔画像取得手段と、
該取得したユーザの顔画像から特徴量を抽出する特徴量抽出手段と、
該抽出した特徴量を前記レコメンドサーバに送信する特徴量送信手段と、
前記レコメンドサーバからレコメンド結果を受信するレコメンド結果受信手段と、
該受信したレコメンド結果を表示する表示手段と、
を備え、
前記レコメンドサーバが、
前記携帯端末から特徴量を受信する特徴量受信手段と、
少なくとも複数の特徴量を格納する格納手段と、
前記受信した特徴量と該格納された特徴量とのマッチング処理を行うマッチング処理手段と、
該マッチング処理手段のマッチング結果に基づいて、少なくともアプリケーションを含むレコメンドを行うレコメンド処理手段と、
該レコメンド処理手段のレコメンド結果を前記携帯端末に送信するレコメンド結果送信手段と、
を備えたことを特徴とするレコメンドシステム。
【請求項２】
撮像画像を保存する保存手段を備え、
前記顔画像取得手段が前記保存された撮像画像の中から前記ユーザの顔画像を取得することを特徴とする請求項１に記載のレコメンドシステム。
【請求項３】
前記顔画像取得手段がパターンマッチングを用いて、前記保存された撮像画像の中から前記ユーザの顔画像を取得することを特徴とする請求項２に記載のレコメンドシステム。
【請求項４】
前記顔画像取得手段が肌色を検出して、前記保存された撮像画像の中から前記ユーザの顔画像を取得することを特徴とする請求項２に記載のレコメンドシステム。
【請求項５】
前記特徴量抽出手段は、前記取得したユーザの顔画像から顔の構成要素を抽出し、該抽出した構成要素ごとに特徴量を抽出することを特徴とする請求項１に記載のレコメンドシステム。
【請求項６】
前記特徴量抽出手段は、前記特徴量としてガボールウェーブレット特徴量を抽出することを特徴とする請求項５に記載のレコメンドシステム。
【請求項７】
前記携帯端末が、前記顔画像を整形する整形手段を備え、該整形手段の処理後に、ユーザの顔画像から特徴量を抽出する処理を行うことを特徴とする請求項１から請求項６に記載のレコメンドシステム。
【請求項８】
前記携帯端末が、アプリケーションの操作あるいは利用履歴と前記ユーザ情報とを関連付けて記憶するログ取得手段を備えたことを特徴とする請求項１に記載のレコメンドシステム。
【請求項９】
前記マッチング処理手段が、類似度を算出する類似度算出手段と、該類似度を所定の閾値と比較する比較手段とを備えることを特徴とする請求項１に記載のレコメンドシステム。
【請求項１０】
前記類似度算出手段がパターンマッチングにより類似度を算出することを特徴とする請求項９に記載のレコメンドシステム。
【請求項１１】
前記格納手段が、前記特徴量と利用履歴と属性情報とを関連付けて格納し、
前記マッチング処理手段が、マッチングすると判定したときに、前記レコメンド処理手段に、マッチング結果として、前記利用履歴と属性情報とを出力することを特徴とする請求項１に記載のレコメンドシステム。
【請求項１２】
前記レコメンドサーバが、前記特徴量に基づいて、ユーザの属性を推定する属性推定手段を備え、前記マッチング処理手段が、マッチングすると判定できなかったときに、前記レコメンド処理手段に、マッチング結果として、前記推定した属性情報とを出力することを特徴とする請求項１に記載のレコメンドシステム。
【請求項１３】
携帯端末とレコメンドサーバとからなるレコメンドシステムにおけるレコメンド方法であって、
前記携帯端末が、
ユーザの顔画像を取得する第１のステップと、
該取得したユーザの顔画像から特徴量を抽出する第２のステップと、
該抽出した特徴量を前記レコメンドサーバに送信する第３のステップと、
前記レコメンドサーバが、
前記携帯端末から特徴量を受信する第４のステップと、
少なくとも複数の特徴量を格納し、前記受信した特徴量と該格納された特徴量とのマッチング処理を行う第５のステップと、
該第５のステップにおけるマッチング結果に基づいて、少なくともアプリケーションを含むレコメンドを行う第６のステップと、
該第６のステップにおけるレコメンド結果を前記携帯端末に送信する第７のステップと、
前記携帯端末が、
前記レコメンドサーバからレコメンド結果を受信する第８のステップと、
該受信したレコメンド結果を表示する第９のステップと、
を備えたことを特徴とするレコメンド方法。
【請求項１４】
携帯端末とレコメンドサーバとからなるレコメンドシステムにおけるレコメンド方法をコンピュータに実行させるためのプログラムであって、
前記携帯端末が、
ユーザの顔画像を取得する第１のステップと、
該取得したユーザの顔画像から特徴量を抽出する第２のステップと、
該抽出した特徴量を前記レコメンドサーバに送信する第３のステップと、
前記レコメンドサーバが、
前記携帯端末から特徴量を受信する第４のステップと、
少なくとも複数の特徴量を格納し、前記受信した特徴量と該格納された特徴量とのマッチング処理を行う第５のステップと、
該第５のステップにおけるマッチング結果に基づいて、少なくともアプリケーションを含むレコメンドを行う第６のステップと、
該第６のステップにおけるレコメンド結果を前記携帯端末に送信する第７のステップと、
前記携帯端末が、
前記レコメンドサーバからレコメンド結果を受信する第８のステップと、
該受信したレコメンド結果を表示する第９のステップと、
をコンピュータに実行させるためのプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【公開番号】特開２０１３−７３４２０（Ｐ２０１３−７３４２０Ａ）
【公開日】平成２５年４月２２日（２０１３．４．２２）
【国際特許分類】
【出願番号】特願２０１１−２１１９０６（Ｐ２０１１−２１１９０６）
【出願日】平成２３年９月２８日（２０１１．９．２８）
【出願人】（０００２０８８９１）ＫＤＤＩ株式会社 (2,700)
【Ｆターム（参考）】
【公開日】平成２５年４月２２日（２０１３．４．２２）
【国際特許分類】
【出願日】平成２３年９月２８日（２０１１．９．２８）
【出願人】（０００２０８８９１）ＫＤＤＩ株式会社 (2,700)
【Ｆターム（参考）】
[ Back to top ]