コーディネート推薦装置、コーディネート推薦方法及びそのプログラム
【課題】ファッションアイテムの写真から適切なコーディネートを推薦する。
【解決手段】コーディネート推薦装置１は、画像集合である雑誌写真集合６１から複数種別のアイテムの組み合わせからなる全身写真を抽出し、各全身写真について各種別のアイテムの領域を特定し、領域毎に特徴量を抽出し、雑誌全身写真特徴集合６３として記憶する雑誌全身写真特徴抽出部２と、画像集合である所有写真集合６２中から全身写真を抽出し、各全身写真について各種別のアイテムの領域を特定し、領域毎に特徴量を抽出すると共に、所有写真集合中の１種のアイテムからなる画像についても特徴量を抽出し、抽出した特徴量を所有写真特徴集合６４として記憶する所有写真特徴抽出部３と、雑誌全身写真特徴集合６３と所有写真特徴集合６４とを用いて、各アイテムの領域間の関連性を学習し、入力されたアイテムとの組み合わせに適した別の種別のアイテムを提示する推薦部４とを備える。
【解決手段】コーディネート推薦装置１は、画像集合である雑誌写真集合６１から複数種別のアイテムの組み合わせからなる全身写真を抽出し、各全身写真について各種別のアイテムの領域を特定し、領域毎に特徴量を抽出し、雑誌全身写真特徴集合６３として記憶する雑誌全身写真特徴抽出部２と、画像集合である所有写真集合６２中から全身写真を抽出し、各全身写真について各種別のアイテムの領域を特定し、領域毎に特徴量を抽出すると共に、所有写真集合中の１種のアイテムからなる画像についても特徴量を抽出し、抽出した特徴量を所有写真特徴集合６４として記憶する所有写真特徴抽出部３と、雑誌全身写真特徴集合６３と所有写真特徴集合６４とを用いて、各アイテムの領域間の関連性を学習し、入力されたアイテムとの組み合わせに適した別の種別のアイテムを提示する推薦部４とを備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、例えばズボンやシャツなどのファッションアイテムの写真集合が与えられたときに、適切なコーディネートを推薦するコーディネート推薦装置、コーディネート推薦方法及びそのプログラムに関する。
【背景技術】
【０００２】
多くの人がファッションに関心を持つ。彼ら彼女らは、定期的にファッション雑誌でトレンドをチェックし、服を購入する際やコーディネートを決める際の参考にする。ファッション雑誌には、自分が参考にすべきコーディネートをしたモデルの写真が多数掲載されている。例えば、自分が所持する大量の服の中から着る服を選択する場合や、オンラインストアで服を購入する場合に、このようなモデルの写真を参考にすると、容易に理想的なコーディネートを実現することができる。そこで、これら雑誌の写真画像から利用者が所望のコーディネートを推薦する装置が要望されている。
【０００３】
従来、オンラインストアの商品を取り扱い、ユーザに商品を推薦する方法として、ユーザの購買履歴や評点データをもとに推薦する方法が知られている（非特許文献１参照）。
また、Web上の電子商取引において、メタデータを用いて、例えばズボン、シャツ、靴、ネクタイ等の複数種類のアイテムについてのコーディネート推薦手法も知られている（非特許文献２参照）。
【先行技術文献】
【非特許文献】
【０００４】
【非特許文献１】岩田具治、山田武士、上田修功、「購買順序を効率的に用いた協調フィルタリング」情報処理学会論文誌：数理モデル化と応用、Vol.49、No.SIG4(TOM20)、p.125-134、2008
【非特許文献２】E. Shen, H. Lieberman, F. Lam, “What am I gonna wear?: Scenario-Oriented Recommendation.”, In IUI '07, p.365-368, 2007
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、非特許文献１の方法では、履歴データが必要となるという問題点がある。また、非特許文献２の方法では、メタデータを人手で作成しなければならないという問題点がある。
【０００６】
そこで、本発明は、以上のような問題点に鑑みてなされたものであり、模範となるコーディネートの写真画像から、コーディネートに関する情報を自動抽出することで、利用者の所望のアイテムとの組み合わせに適したコーディネートを推薦するコーディネート推薦装置、コーディネート推薦方法及びそのプログラムを提供することを課題とする。
【課題を解決するための手段】
【０００７】
前記課題を解決するため、本発明に係るコーディネート推薦装置は、複数種類のファッションアイテムのコーディネートのために、入力されたアイテムとの組み合わせに適した別の種類のアイテムを推薦するコーディネート推薦装置であって、模範となるコーディネートの画像集合として予め定められた参考用写真集合と、推薦されるアイテムの画像集合として予め定められた推薦用写真集合とを記憶する記憶部と、前記参考用写真集合の中から、複数種類のアイテムが組み合わされた画像を示す全身写真を抽出し、前記抽出された全身写真において各アイテムの領域を特定し、前記特定したアイテムの領域から画像の特徴量をそれぞれ抽出し、前記アイテム毎に抽出した特徴量を参考用全身写真特徴集合として記憶部に記憶する参考用全身写真特徴抽出部と、前記推薦用写真集合の中から、複数種類のアイテムが組み合わされた画像を示す全身写真と、単独のアイテムのみからなる画像を示す単独アイテム写真とを抽出し、前記抽出された全身写真において各アイテムの領域を特定し、前記特定したアイテムの領域から画像の特徴量をそれぞれ抽出すると共に、前記単独アイテム写真から画像の特徴量を抽出し、前記全身写真及び単独アイテム写真についてアイテム毎に抽出した特徴量を推薦用写真特徴集合として記憶部に記憶する推薦用写真特徴抽出部と、前記参考用全身写真特徴集合と前記推薦用写真特徴集合とを用いて、各アイテムの領域間の関連性を学習し、前記領域間の関連性と、前記入力されたアイテムの画像の特徴量とに応じて、前記入力されたアイテムとの組み合わせに適した別の種類のアイテムを前記推薦用写真集合から検索し、推薦するアイテムとして提示する推薦部とを備えることを特徴とする。
【０００８】
かかる構成のコーディネート推薦装置は、記憶部に、参考用写真集合と、推薦用写真集合とを記憶する。参考用写真集合は、模範となるコーディネートの画像集合であり、用途によって、例えば、ファッション雑誌から取得した画像や、ウェブから取得した画像を用いることができる。推薦用写真集合は、推薦されるアイテムの画像集合であり、用途によって、例えば、ユーザが所有するアイテムの画像や、オンラインストアで販売しているアイテムの画像を用いることができる。アイテムの種類は、例えば、上衣、下衣、靴等を挙げることができる。そして、コーディネート推薦装置は、記憶部に記憶された参考用写真集合及び推薦用写真集合についてそれぞれ画像の特徴量を抽出する。ここで、画像の特徴量は、例えば、色、テクスチャ、形状等を示す。そして、コーディネート推薦装置は、参考用写真集合及び推薦用写真集合についてそれぞれ抽出された画像の特徴量の集合を用いて、各アイテムの領域間の関連性を学習する。そして、コーディネート推薦装置は、各アイテムの領域間の関連性を利用して、入力されたアイテムとの組み合わせに適した別の種類のアイテムを検索して提示する。したがって、かかる構成のコーディネート推薦装置によれば、アイテムの購入履歴データやコーディネートに関するメタデータが与えられていなくても、与えられたアイテムに対応して適切なコーディネートとなるような異なる種類のアイテムを推薦することができる。
【０００９】
また、本発明に係るコーディネート推薦装置は、前記推薦部が、前記参考用全身写真特徴集合と前記推薦用写真特徴集合とを用いて、前記参考用写真集合中の全身写真における各アイテムと、前記推薦用写真集合中の各アイテムとの類似度をアイテムの種類毎に計算する類似度計算部と、前記入力されたアイテムと同種のアイテムであって類似度が高いアイテムを含む全身写真を前記参考用写真集合から検索し、検索により得られた全身写真の画像において前記入力されたアイテムと同種のアイテムと組み合わされている別の種類のアイテムを抽出し、当該別の種類のアイテムとの類似度が高いものから順に所定数のアイテムを前記推薦用写真集合から検索し、検索により得られたアイテムを、推薦するアイテムとして提示する提示部とを有することが好ましい。
【００１０】
かかる構成のコーディネート推薦装置によれば、画像から抽出された特徴量を用いて、画像中のアイテムの類似度を計算することができる。これにより、コーディネート推薦装置は、まず、入力されたアイテムと類似する画像として全身写真を参考用写真集合から検索する。これにより、入力されたアイテムに対して理想的なコーディネートが得られる。
次に、コーディネート推薦装置は、得られたコーディネートにおいて組み合わされているアイテムであって、入力されたアイテムとは別の種類のアイテムを抽出する。そして、コーディネート推薦装置は、抽出されたアイテムと類似する画像を推薦用写真集合から検索する。したがって、コーディネート推薦装置は、参考用写真集合と推薦用写真集合との類似度を計算することで、入力されたアイテムとの組み合わせに適した別の種類のアイテムを理想的なコーディネートで推薦することができる。
【００１１】
また、本発明に係るコーディネート推薦装置は、前記推薦部が、前記参考用全身写真特徴集合を用いて、前記参考用写真集合中の全身写真における各アイテムの領域間の関連性を学習し、ある領域の特徴量が与えられたときに、当該特徴量をもつアイテムが当該アイテムに内在する潜在的な意味を示す各トピックを持つ割合を確率値として出力するトピックモデルを学習するモデル学習部と、前記入力されたアイテムの画像の特徴量について前記トピックモデルを用いて、前記入力されたアイテムが各トピックを持つ割合を示す入力アイテムトピック割合を推定すると共に、前記推薦用写真特徴集合中の入力されたアイテムとは異なる種類のアイテムに関する各特徴量について前記トピックモデルを用いて、当該特徴量に対応して前記推薦用写真集合に記憶されたアイテムが各トピックを持つ割合を示す推薦用アイテムトピック割合を推定するトピック推定部と、前記入力されたアイテムとは異なる種類のアイテムとして、前記入力アイテムトピック割合と前記推薦用アイテムトピック割合との類似度が高いものから順に所定数のアイテムを前記推薦用写真集合から検索し、前記検索により得られたアイテムを、推薦するアイテムとして提示する提示部と、を有することが好ましい。
【００１２】
かかる構成のコーディネート推薦装置によれば、参考用全身写真特徴集合から全身写真における各アイテムの領域間の関連性を学習することで、アイテムが各トピックを持つ割合を確率値として出力するトピックモデルを学習する。このトピックモデルを用いることで、入力されたアイテムの特徴量に対して理想的なコーディネートの特徴としてのトピックを得ることができる。このコーディネート推薦装置は、まず、入力されたアイテムと、推薦用写真特徴集合に含まれる異なる種類のアイテムとについてそれぞれトピックモデルを適用することで、トピック割合をそれぞれ推定する。ここで、異なる種類は、入力アイテムの種類とは異なるものであって、予め定めておく。例えば、入力アイテムの種類が上衣のときには、異なる種類が下衣、のように定めておことができる。次に、コーディネート推薦装置は、入力されたアイテムに対して得られたトピック割合に類似したトピック割合を有するアイテムの画像を推薦用写真集合から検索する。したがって、コーディネート推薦装置は、参考用写真集合のトピックモデルを学習することで、入力されたアイテムとの組み合わせに適した別の種類のアイテムを理想的なコーディネートで推薦することができる。
【００１３】
また、本発明に係るコーディネート推薦装置は、前記アイテムの種類が、上衣と下衣であり、前記参考用全身写真特徴抽出部が、前記参考用写真集合に含まれる各画像について、顔領域を抽出し、抽出した顔領域の横幅よりも幅が広く、かつ、当該顔領域の高さよりも大きい領域が当該顔領域の下側に存在する画像を前記全身写真として抽出する全身写真特定部と、前記顔領域の大きさを基準として、前記顔領域の下部に存在する前記顔領域に対して所定の幅及び高さを有する部分領域を上衣のアイテムの領域とし、前記上衣のアイテムの領域の下部に存在する前記顔領域に対して所定の幅及び高さを有する部分領域を下衣のアイテムの領域として特定する領域特定部と、を備え、前記推薦用写真特徴抽出部が、前記推薦用写真集合に含まれる各画像について、顔領域を抽出し、抽出した顔領域の横幅よりも幅が広く、かつ、当該顔領域の高さよりも大きい領域が当該顔領域の下側に存在する画像を前記全身写真として抽出する全身写真特定部と、前記顔領域の大きさを基準として、前記顔領域の下部に存在する前記顔領域に対して所定の幅及び高さを有する部分領域を上衣のアイテムの領域とし、前記上衣のアイテムの領域の下部に存在する前記顔領域に対して所定の幅及び高さを有する部分領域を下衣のアイテムの領域として特定する領域特定部と、を有することが好ましい。
【００１４】
かかる構成のコーディネート推薦装置によれば、抽出する顔領域のサイズや写真中の位置をそれぞれ基準として、全体写真を正確に抽出することができる。そして、コーディネート推薦装置は、全体写真中の顔領域を基準として、顔領域の下部において、上衣のアイテムの領域を設定し、さらにこの上衣のアイテムの領域の下部において、下衣のアイテムの領域を設定する。したがって、コーディネート推薦装置は、上衣のアイテムの領域と、下衣のアイテムの領域とを正確に特定することができる。これにより、上衣のアイテムと、下衣のアイテムとのコーディネートの特徴を正確に抽出することができる。
【００１５】
また、前記課題を解決するため、本発明に係るコーディネート推薦方法は、複数種類のファッションアイテムのコーディネートのために、模範となるコーディネートの画像集合として予め定められた参考用写真集合と、推薦されるアイテムの画像集合として予め定められた推薦用写真集合とを記憶する記憶部と、処理部とを備え、入力されたアイテムとの組み合わせに適した別の種類のアイテムを推薦するコーディネート推薦装置によるコーディネート推薦方法であって、前記処理部が、アイテムの入力を受け付けるステップと、前記参考用写真集合の中から、複数種類のアイテムが組み合わされた画像を示す全身写真を抽出し、前記抽出された全身写真において各アイテムの領域を特定し、前記特定したアイテムの領域から画像の特徴量をそれぞれ抽出し、前記アイテム毎に抽出した特徴量を参考用全身写真特徴集合として記憶部に記憶するステップと、前記推薦用写真集合の中から、複数種類のアイテムが組み合わされた画像を示す全身写真と、単独のアイテムのみからなる画像を示す単独アイテム写真とを抽出し、前記抽出された全身写真において各アイテムの領域を特定し、前記特定したアイテムの領域から画像の特徴量をそれぞれ抽出すると共に、前記単独アイテム写真から画像の特徴量を抽出し、前記全身写真及び単独アイテム写真についてアイテム毎に抽出した特徴量を推薦用写真特徴集合として記憶部に記憶するステップと、前記参考用全身写真特徴集合と前記推薦用写真特徴集合とを用いて、各アイテムの領域間の関連性を学習し、前記領域間の関連性と、前記入力されたアイテムの画像の特徴量とに応じて、前記入力されたアイテムとの組み合わせに適した別の種類のアイテムを前記推薦用写真集合から検索し、アイテムを提示するステップと、を含んで実行することを特徴とする。
【００１６】
また、本発明に係るコーディネート推薦方法は、前記処理部が、前記アイテムを提示するステップにて、前記参考用全身写真特徴集合と前記推薦用写真特徴集合とを用いて、前記参考用写真集合中の全身写真における各アイテムと、前記推薦用写真集合中の各アイテムとの類似度をアイテムの種類毎に計算するステップと、前記入力されたアイテムと同種のアイテムであって類似度が高いアイテムを含む全身写真を前記参考用写真集合から検索するステップと、前記検索により得られた全身写真の画像において前記入力されたアイテムと同種のアイテムと組み合わされている別の種類のアイテムを抽出し、当該別の種類のアイテムとの類似度が高いものから順に所定数のアイテムを前記推薦用写真集合から検索するステップと、前記検索により得られたアイテムを、推薦するアイテムとして提示するステップと、を実行することが好ましい。
【００１７】
また、本発明に係るコーディネート推薦方法は、前記処理部が、前記アイテムを提示するステップにて、前記参考用全身写真特徴集合を用いて、前記参考用写真集合中の全身写真における各アイテムの領域間の関連性を学習し、ある領域の特徴量が与えられたときに、当該特徴量をもつアイテムが当該アイテムに内在する潜在的な意味を示す各トピックを持つ割合を確率値として出力するトピックモデルを学習するステップと、前記入力されたアイテムの画像の特徴量について前記トピックモデルを用いて、前記入力されたアイテムが各トピックを持つ割合を示す入力アイテムトピック割合を推定するステップと、前記推薦用写真特徴集合中の各特徴量について前記トピックモデルを用いて、当該特徴量に対応して前記推薦用写真集合に記憶されたアイテムが各トピックを持つ割合を示す推薦用アイテムトピック割合を推定するステップと、前記入力されたアイテムとは異なる種類のアイテムとして、前記入力アイテムトピック割合と前記推薦用アイテムトピック割合との類似度が高いものから順に所定数のアイテムを前記推薦用写真集合から検索し、検索により得られたアイテムを、推薦するアイテムとして提示するステップと、を実行することが好ましい。
【００１８】
また、本発明に係るコーディネート推薦方法は、前記アイテムの種類が、上衣と下衣であり、前記処理部が、前記参考用全身写真特徴集合を記憶部に記憶するステップにて、前記参考用写真集合に含まれる各画像について、顔領域を抽出し、抽出した顔領域の横幅よりも幅が広く、かつ、当該顔領域の高さよりも大きい領域が当該顔領域の下側に存在する画像を前記全身写真として抽出し、前記顔領域の大きさを基準として、前記顔領域の下部に存在する前記顔領域に対して所定の幅及び高さを有する部分領域を上衣のアイテムの領域とし、前記上衣のアイテムの領域の下部に存在する前記顔領域に対して所定の幅及び高さを有する部分領域を下衣のアイテムの領域として特定し、前記推薦用写真特徴集合を記憶部に記憶するステップにて、前記推薦用写真集合に含まれる各画像について、顔領域を抽出し、抽出した顔領域の横幅よりも幅が広く、かつ、当該顔領域の高さよりも大きい領域が当該顔領域の下側に存在する画像を前記全身写真として抽出し、前記顔領域の大きさを基準として、前記顔領域の下部に存在する前記顔領域に対して所定の幅及び高さを有する部分領域を上衣のアイテムの領域とし、前記上衣のアイテムの領域の下部に存在する前記顔領域に対して所定の幅及び高さを有する部分領域を下衣のアイテムの領域として特定することが好ましい。
【００１９】
また、本発明に係るコーディネート推薦プログラムは、前記コーディネート推薦装置を構成する各手段としてコンピュータを機能させるためのプログラムである。このように構成されることにより、このプログラムをインストールされたコンピュータは、このプログラムに基づいた各機能を実現することができる。
【発明の効果】
【００２０】
本発明によれば、模範となるコーディネートの参考用写真集合から、理想的なコーディネートに関する情報を自動抽出して、利用者の所望のアイテムとの組み合わせに適したコーディネートを推薦することができる。また、本発明によれば、所持する大量の服の中かから着る服を選択する場合や、オンラインストアで服を購入する場合に、購入履歴データやコーディネートに関するメタデータが与えられていなくても、適切なコーディネートを知ることが可能になる。
【図面の簡単な説明】
【００２１】
【図１】本発明の実施形態に係るコーディネート推薦装置の構成を示すブロック図である。
【図２】図１に示したコーディネート推薦装置による処理の流れを示すフローチャートである。
【図３】図１に示した雑誌全身写真特徴抽出部の構成を示すブロック図である。
【図４】図１に示した所有写真特徴抽出部の構成を示すブロック図である。
【図５】図１に示した推薦部の第１の構成例を示すブロック図である。
【図６】図５に示した推薦部による処理の流れを示すフローチャートである。
【図７】図１に示した推薦部の第２の構成例を示すブロック図である。
【図８】図７に示した推薦部による処理の流れを示すフローチャートである。
【図９】本発明の実施形態に係るコーディネート推薦装置により抽出された上下衣領域の一例を示す図である。
【図１０】類似度に基づく手法（Sim）、トピックモデルに基づく手法（Topic）、及び、ランダム提示手法（Random）を比較した結果を示す図である。
【図１１】類似度に基づく手法（Sim）、トピックモデルに基づく手法（Topic）、及び、ランダム提示手法（Random）を比較した結果を示す図である。
【発明を実施するための形態】
【００２２】
次に、本発明のコーディネート推薦装置を実施するための形態について図面を参照して説明する。
コーディネート推薦装置１は、複数種類のファッションアイテムのコーディネートのために、入力されたアイテムとの組み合わせに適した別の種類のアイテムを推薦するものである。以下では、コーディネート推薦装置１は、上半身の服装（上衣：トップス）の写真が与えられたとき、その服装（上衣）に適した下半身の服装（下衣：ボトムス）の写真を提示することを具体的なタスクの一例として説明する。また、逆に、下衣の写真が与えられたとき、その服装（下衣）に適した上衣の写真を提示するタスクも同様に実行できることはもちろんである。なお、上衣や下衣だけでなく、帽子やカバン、靴など複数のアイテムを推薦することも可能である。また、以下では、ユーザが所持する服の画像の中から着る服を選択する場合を想定して説明する。ファッション雑誌に掲載されたモデルの写真（雑誌の写真画像）を参考用写真画像、ユーザが所持する服の画像を推薦用写真画像として、ユーザが所持する大量の服の中から着る服を選択する場合を想定して説明する。
【００２３】
（第１実施形態）
［コーディネート推薦装置の構成の概要］
コーディネート推薦装置１は、図１に示すように、入力部７と、雑誌全身写真特徴抽出部（参考用全身写真特徴抽出部）２と、所有写真特徴抽出部（推薦用写真特徴抽出部）３と、推薦部４と、出力部５と、記憶部６とを備えている。なお、図１は、後記する第２実施形態のコーディネート推薦装置１Ｂと共通の図面であり、符号４Ｂは、第２実施形態に係る推薦部を表している。
【００２４】
入力部７は、例えば、キーボード、マウス、ディスクドライブ装置などから構成され、ユーザの所望のアイテムの情報を入力する。
雑誌全身写真特徴抽出部２、所有写真特徴抽出部３、及び推薦部４は、このコーディネート推薦装置１の処理部として機能する。処理部は、例えば、ＣＰＵ（Central Processing Unit）及びＲＡＭ（Random Access Memory）から構成される主制御装置である。この雑誌全身写真特徴抽出部２、所有写真特徴抽出部３、及び推薦部４の詳細は後記する。
出力部５は、例えば、グラフィックボード（出力インタフェース）及びそれに接続されたモニタである。モニタは、例えば、液晶ディスプレイ等から構成され、推薦されるアイテムの写真を提示する。
【００２５】
記憶部６は、例えば、一般的なハードディスク装置などから構成され、処理部で用いられるプログラム、演算に用いる処理用のデータ、演算処理結果等を記憶する。
図１には、処理用のデータの一例として、雑誌写真集合６１及び所有写真集合６２を示し、演算処理結果の一例として、雑誌全身写真特徴集合６３及び所有写真特徴集合６４を示した。なお、Ｄｍａｇは、後記する式（１）において雑誌全身写真特徴集合６３を示し、Ｄｏｗｎは後記する式（２）において所有写真特徴集合６４を示すものである。
【００２６】
記憶部６には、アイテムの推薦を行う前に予め処理用のデータとして、参考用写真集合である雑誌写真集合６１と、推薦用写真集合である所有写真集合６２とが記憶される。
雑誌写真集合６１は、模範となるコーディネートの画像集合として予め定められた写真集合であって、ここでは、雑誌等から取得した服の写真集合である。
所有写真集合６２は、推薦されるアイテムの画像集合として予め定められた写真集合であって、ここでは、ユーザが所有している服の写真集合である。
【００２７】
なお、雑誌写真は、雑誌に掲載された写真に限定されるものではなく、コーディネートの参考となる写真であれば、ウェブなどにある写真でもよい。
また、雑誌写真集合６１及び所有写真集合６２には、複数種類のアイテムが組み合わされた画像を示す写真（以下、全身写真と呼ぶ）だけではなく、上衣だけの写真や下衣だけの写真といった単独のアイテムを含む写真（以下、単独アイテム写真）が含まれていてもよい。
また、ここでは、所有している服でのコーディネートの推薦を例としているため所有写真集合６２という名称としているが、オンラインストアでの推薦を想定した実施形態の場合には、所有写真集合６２を、販売している服の写真集合に置き換えることで適用できる。なお、雑誌全身写真特徴集合６３及び所有写真特徴集合６４については後記する。
【００２８】
雑誌全身写真特徴抽出部２は、雑誌写真集合６１の中から、全身写真を抽出し、抽出された全身写真において各アイテムの領域を特定し、特定したアイテムの領域から画像の特徴量をそれぞれ抽出し、アイテム毎に抽出した特徴量を雑誌全身写真特徴集合（参考用全身写真特徴集合）６３として記憶部６に記憶するものである。なお、雑誌全身写真特徴抽出部２の詳細については後記する。
【００２９】
所有写真特徴抽出部３は、所有写真集合６２の中から、全身写真と、単独アイテム写真とを抽出し、抽出された全身写真において各アイテムの領域を特定し、特定したアイテムの領域から画像の特徴量をそれぞれ抽出すると共に、単独アイテム写真から画像の特徴量を抽出し、全身写真及び単独アイテム写真についてアイテム毎に抽出した特徴量を所有写真特徴集合（推薦用写真特徴集合）６４として記憶部６に記憶する。なお、所有写真特徴抽出部３の詳細については後記する。
【００３０】
推薦部４は、雑誌全身写真特徴集合６３と所有写真特徴集合６４とを用いて、各アイテムの領域間の関連性を学習し、領域間の関連性と、入力されたアイテムの画像の特徴量とに応じて、入力されたアイテムとの組み合わせに適した別の種類のアイテムを所有写真集合６２から検索し、推薦するアイテムとして提示する。ここで、各アイテムの領域間の関連性を学習する方法は、２通りあり、第１実施形態及び第２実施形態でそれぞれ説明する。なお、推薦部４の詳細については後記する。
【００３１】
［コーディネート推薦装置の動作の概要］
コーディネート推薦装置１の動作の流れについて図２を参照（適宜図１参照）して説明する。
【００３２】
コーディネート推薦装置１は、入力部７によって、ユーザの所望するアイテムとして、コーディネートを見つけたいアイテム（例えば上衣）の写真の入力を受け付ける（ステップＳ１）。
【００３３】
コーディネート推薦装置１は、雑誌全身写真特徴抽出部２によって、読み込んだ雑誌写真集合６１の中から全身が写っている写真（全身写真）を特定し、それぞれの全身写真において各アイテムの領域として、上衣の領域と、下衣の領域とを抽出する。なお、上衣、下衣だけでなく、帽子やカバン、靴を推薦する場合、それらの領域もここで抽出する。そして、雑誌全身写真特徴抽出部２は、全身写真における上衣の領域と下衣の領域とのそれぞれについて、予め定められた画像の特徴量を抽出し、雑誌全身写真特徴集合６３として記憶部６に記憶する（ステップＳ２）。
【００３４】
コーディネート推薦装置１は、所有写真特徴抽出部３によって、読み込んだ所有写真集合６２中から全身写真を特定し、それぞれの全身写真において各アイテムの領域として、上衣の領域と、下衣の領域とを抽出する。そして、所有写真特徴抽出部３は、全身写真において特定した上衣領域及び下衣領域のそれぞれについて、ステップＳ２と同様な予め定められた画像の特徴量を抽出する（ステップＳ３）。
【００３５】
ここで、所有写真集合６２中の上衣のみの単独アイテム写真、または、下衣のみの単独アイテム写真については、全身写真のように領域を特定する必要がない。したがって、所有写真特徴抽出部３は、単独アイテム写真については領域を特定することなく、直接画像の特徴量を抽出する。また、ステップＳ３にて、全身写真または単独アイテム写真から抽出した特徴量は、所有写真特徴集合６４として記憶部６に記憶する。なお、前記したステップＳ１〜ステップＳ３の処理は、この順序に限らず順不同で実行してよい。
【００３６】
コーディネート推薦装置１の推薦部４は、雑誌全身写真特徴抽出部２で抽出された雑誌全身写真特徴集合６３と、所有写真特徴抽出部３で抽出された所有写真特徴集合６４とを用いて、各アイテム間の関連性を計算し、この関連性を用いて、入力部７にて与えられたアイテムとの組み合わせるのに適した他の種類のアイテム（組み合わせアイテム）を検索する（ステップＳ４）。
【００３７】
具体的には、コーディネート推薦装置１は、推薦部４によって、直感的には、与えられた上衣と類似した雑誌写真を抽出し、その抽出写真の下衣と類似した、ユーザの所有している服を提示する。あるいは、逆に、コーディネート推薦装置１は、推薦部４によって、与えられた下衣と類似した雑誌写真を抽出し、その抽出写真の上衣と類似した、ユーザの所有している服を提示する。
そして、コーディネート推薦装置１は、出力部５によって、検索により得られたアイテム（選択したアイテム）を提示（推薦）する（ステップＳ５）。
【００３８】
［コーディネート推薦装置の詳細］
以下では、コーディネート推薦装置１の雑誌全身写真特徴抽出部２、所有写真特徴抽出部３、推薦部４の具体的な処理について説明する。なお、推薦部４については、類似領域に基づく推薦部（第１の実施形態）と、トピックモデルに基づく推薦部（第２の実施形態）とのどちらを用いてもよい。
【００３９】
＜雑誌全身写真特徴抽出部２＞
雑誌全身写真特徴抽出部２の構成について図３を参照して説明する。なお、図３，４，５，７に示すサブブロック図では、図１に示した要素のうち、当該サブブロックでの主たる説明に必要のない要素については図示を省略している。
図３に示すように、雑誌全身写真特徴抽出部２は、写真読込部２１と、全身写真特定部２２と、領域特定部２３と、特徴抽出部２４とを備えている。
【００４０】
まず、写真読込部２１により、記憶部６から雑誌写真集合６１を読み込む。
そして、全身写真特定部２２は、読み込んだ雑誌写真集合６１の各写真について、顔領域を抽出し、顔領域の大きさに基づいて、全身写真を特定する。ここで、顔領域を抽出する方法は特に限定されず、公知の方法を用いることができる。例えば、「Viola, Jones、“Robust Real-time Object Detection” IJCV 2001」に記載された方法により、顔領域を抽出可能である。
【００４１】
また、全身写真を特定するための条件としては、例えば、顔領域が含まれるかという条件や、顔領域の大きさや位置が適切なものを選択するための条件を用いる。ここで、顔領域の大きさや位置が適切なものを選択するための条件とは、例えば、上下衣が写るスペースが存在するかといった条件を指す。つまり、全身画像特定部は、顔領域の横幅よりも幅が広く、かつ、顔領域の高さよりも大きい領域が顔領域の下側に存在する画像を全身画像として抽出する。
【００４２】
本実施形態では、一例として、全身写真特定部２２は、雑誌写真集合６１に含まれる各画像について、例えば下記（ａ）〜（ｈ）のすべての条件を満たす画像を全身写真として抽出することとした。
（ａ）顔領域が存在する
（ｂ）顔領域の横幅が画像の１／３以下のサイズである
（ｃ）顔領域の横幅が画像の１／１０以上のサイズである
（ｄ）画像の上から計測した画像高さ全体の１／４の位置よりも上側に顔領域が存在する
（ｅ）画像の左から計測した画像幅全体の１／４の位置よりも右側に顔領域が存在する
（ｆ）画像の左から計測した画像幅全体の３／４の位置よりも左側に顔領域が存在する
（ｇ）顔領域の下方向に顔領域の高さの７つ分のスペースがある
（ｈ）顔領域各点での色を示すＲＧＢ（Red,Green,Blue）合計値の顔領域全体での平均値が６００以下である
【００４３】
ここで、条件（ａ）として、顔領域の形状は例えば正方形とすることができる。
条件（ｇ）は、上半身や下半身のスペースがある適切な写真を選択するための条件を示している。また、条件（ｈ）については、Ｒ、Ｇ、Ｂの値はそれぞれ０〜２５５であって、ある点のＲＧＢ値の合計が６００よりも大きいと、その点は人の顔としては白過ぎることを反映している。つまり、ＲＧＢ値の顔領域全体についての平均が６００以下であれば、人の顔の色として適切な写真を選択することができる。
【００４４】
なお、ファッション雑誌では、１枚の写真の中に２人の人物がモデルとして写っている場合があり、このような全身写真が雑誌写真集合６１に含まれる場合には、上記（ａ）〜（ｈ）のすべての条件を満たす顔領域が複数抽出されることも想定される。そのような場合には、対象とする画像の高さ方向の縦の中心線に最も近い画像を顔領域として、上記の条件を判定することとする。
【００４５】
次に、領域特定部２３において、上衣領域及び下衣領域を特定する。ここで、上衣領域及び下衣領域の形状は例えば矩形とすることができる。このとき、顔領域よりも下方向に存在する所定の大きさの領域を上衣領域とし、さらに、上衣領域よりも下方向に存在する所定の大きさの領域を下衣領域とする。上衣領域及び下衣領域の大きさは、予め定めた顔領域との比により与えられる。上衣領域のサイズは、例えば、顔領域の２倍の幅、２．５倍の高さで設定する。また、下衣領域のサイズは、例えば、顔領域の２倍の幅、３．５倍の高さで設定する。また、各領域の配置は、例えば、顔領域の下方向に連続して上衣領域を設定し、その下方向に連続して下衣領域として特定することができる。なお、ベルトを他の種類のアイテムとする場合には、上衣領域と、下衣領域とは連続させずに、ベルトに相当する所定の幅を空けて配置すればよい。また、上述上衣領域または下衣領域の幅及び高さはこの値に限定されるものではなく、予め適切な値を設定しておくことができる。例えば、何人かの人の顔領域の大きさと上半身、下半身の大きさを計測したデータをもとに、顔領域と上衣領域（または下衣領域）との幅の比や高さの比を求めておき、その値を用いても良い。また、様々な人の全身写真を学習データとし、顔領域を基準としたときの、顔領域と上衣領域（または下衣領域）との幅の比、及び、高さの比を学習しておき、その値を用いても良い。
【００４６】
上記（ａ）〜（ｈ）のすべての条件を満たす画像の一例を図９に示す。この図９は、後記する実施例にて抽出された上下衣領域抽出例を示す図である。図９において、符号１０１が顔領域、符号１０２が上衣領域、符号１０３が下衣領域をそれぞれ示している。なお、図９の例の場合には、モデルの立ち位置の床と、モデルの背景の壁とのコントラストが大きいので、下衣領域の高さを顔領域の４．５倍の高さで設定した。なお、靴を他の種類のアイテムとする場合には、下衣領域の高さは、顔領域の３．５倍の高さよりも短くしてもよい。
【００４７】
図３に戻って、雑誌全身写真特徴抽出部２の構成について説明を続ける。
次に、特徴抽出部２４は、領域特定部２３にて特定した全身写真中の上衣領域及び下衣領域それぞれの画像の特徴量を抽出する。特徴量として、色、テクスチャ、形状など任意の特徴量を用いることができる。
【００４８】
以下では、各特徴量を区別するために、以下の記号を導入して説明する。
全身写真ｍの上衣の特徴量をｕｍとする。（ｕ：上衣の領域の特徴量）
また、この同じ全身写真ｍの下衣の特徴量をｌｍとする。（ｌ：下衣の領域の特徴量）
特徴量は、例えば、色の特徴だけでも複数あり、特徴量ｕｍ，ｌｍとは、特徴ｖ別に、次の式（ａ）、式（ｂ）のように表される。
【００４９】
ｕｍ＝｛ｕｍｖ｝ｖ∈Ｖ … 式（ａ）
ｌｍ＝｛ｌｍｖ｝ｖ∈Ｖ … 式（ｂ）
ここで、ｕｍｖは全身写真ｍの上衣領域で特徴ｖが出現する回数、ｌｍｖは全身写真ｍの下衣領域で特徴ｖが出現する回数、Ｖは特徴集合を表す。
【００５０】
雑誌全身写真特徴抽出部２は、以上の処理により、雑誌写真集合６１については、全身写真と判定された写真についてのみ、その上衣領域及び下衣領域の特徴量を抽出する。そして、雑誌全身写真特徴抽出部２は、各写真の上衣領域及び下衣領域それぞれの特徴量を、雑誌全身写真特徴集合６３として記憶部６に格納する。
【００５１】
＜所有写真特徴抽出部３＞
所有写真特徴抽出部３の構成について図４を参照して説明する。
図４に示すように、所有写真特徴抽出部３は、写真読込部３１と、全身写真特定部３２と、領域特定部３３と、特徴抽出部３４とを備えている。
【００５２】
写真読込部３１は、記憶部６から所有写真集合６２を読み込む。
全身写真特定部３２と領域特定部３３は、対象とする写真が雑誌写真ではなく所有写真となる点を除いて、前記した雑誌全身写真特徴抽出部２における全身写真特定部２２及び領域特定部２３と同じ処理を行う。したがって、詳細な説明を省略する。
【００５３】
特徴抽出部３４は、領域特定部３３にて特定した全身写真中の上衣領域及び下衣領域の画像の特徴量を抽出する。この点は、前記した雑誌全身写真特徴抽出部２における特徴抽出部２４と同様なので、詳細な説明を省略する。また、この特徴抽出部３４は、さらに加えて、所有写真集合６２に記憶されている全身写真以外の単独アイテム写真（上衣のみの写真、下衣のみの写真）からも画像の特徴量を抽出する点が前記した雑誌全身写真特徴抽出部２における特徴抽出部２４とは異なる。なお、特徴量を抽出する方法は、同様なので詳細な説明を省略する。この特徴抽出部３４にて全身写真及び単独アイテム写真から抽出した特徴量は、所有写真特徴集合６４として記憶部６に格納する。
【００５４】
＜推薦部４の第１の実施形態（類似領域に基づく推薦部）＞
類似領域に基づく推薦部４の構成について図５を参照して説明する。
図５に示すように、推薦部４は、類似度計算部４１と、提示部４２と、を備えている。
【００５５】
類似度計算部４１は、雑誌全身写真特徴集合６３と所有写真特徴集合６４とを用いて、雑誌写真集合６１中の全身写真における各アイテムと、所有写真集合６２中の各アイテムとの類似度をアイテムの種類毎に計算するものである。
【００５６】
まず、類似度計算部４１は、記憶部６に記憶されている雑誌全身写真特徴集合６３、及び、所有写真特徴集合６４を読み込み、アイテムの種別（上衣、下衣）毎に、雑誌写真と所有写真との類似度を計算する。つまり、雑誌写真の上衣（または下衣）と所有写真の上衣（または下衣）との類似度を計算する。類似度としてコサイン類似度など、任意の類似度を用いることができる。
【００５７】
提示部４２は、類似度計算部４１で計算した類似度をもとに、提示する写真を決定するものである。提示部４２は、入力されたアイテムと同種のアイテムであって類似度が高いアイテムを含む全身写真を雑誌写真集合６１から検索し、検索により得られた全身写真の画像において入力されたアイテムと同種のアイテムと組み合わされている別の種類のアイテムを抽出し、当該別の種類のアイテムとの類似度が高いものから順に所定数のアイテムを所有写真集合６２から検索し、検索により得られたアイテムを、推薦するアイテムとして提示する。なお、所定数は予め定められた１以上の整数である。
【００５８】
ここで、後記する式（１），（２）の説明の前提として、記憶部６に記憶されている雑誌全身写真特徴集合６３をＤｍａｇと表記する。また、所有写真特徴集合６４を、Ｄｏｗｎと表記することとする。ここでは上衣が与えられた場合の推薦について説明するが、下衣が与えられた場合の推薦も同様にしてできる。
【００５９】
一例として、入力部７に、特徴量ｕ＊を持つ上衣が与えられたとして図６を参照（適宜図５参照）して説明する。この服装に合う下衣を、記憶部６に記憶された所有写真集合６２の中から選択することをタスクとする。
【００６０】
類似度計算部４１は、まず、与えられた特徴量ｕ＊と、雑誌全身写真特徴集合Ｄｍａｇ（６３）中の全身写真ｍの上衣領域の特徴量ｕｍと、の類似度を計算する。そして、提示部４２は、類似度計算部４１で計算した上衣領域の類似度を取得し（ステップＳ１１）、与えられた特徴量ｕ＊に最も似ている特徴量を持つ全身写真^ｍを、記憶部６の雑誌写真集合６１の中から検索する（ステップＳ１２）。このことは、以下の式（１）を満たす＾ｍを求めることを意味する。なお、本明細書本文において記号「＾」は、式（１）に示すように、右側の文字の上に付された記号の最大値を表すこととする。
【００６１】
【数１】
【００６２】
式（１）において、Ｓ（ｕｍ，ｕ＊）は、雑誌全身写真特徴集合Ｄｍａｇ（６３）中の全身写真ｍの上衣領域の特徴量ｕｍと、与えられた特徴量ｕ＊との類似度を表す。
【００６３】
そして、提示部４２が記憶部６の雑誌写真集合６１の中で特定した雑誌全身写真^ｍについて、類似度計算部４１は、この雑誌全身写真^ｍの下衣領域の特徴量として雑誌全身写真特徴集合Ｄｍａｇ（６４）中に記憶された特徴量ｌ＾ｍと、記憶部６の所有写真特徴集合Ｄｏｗｎ（６４）中に記憶されている下衣領域のそれぞれの特徴量ｌｎとの類似度をそれぞれ計算する。
【００６４】
そして、提示部４２は、類似度計算部４１で計算した下衣領域の類似度を取得し（ステップＳ１３）、所有写真特徴集合Ｄｏｗｎ中から、最も似ている特徴量ｌ＾ｎを持つ下衣の写真ｎから、順番に所定数の写真を、記憶部６の所有写真集合６２の中から検索する（ステップＳ１４）。ここで、例えば、最も似ている特徴量ｌ＾ｎを持つ唯一の下衣の写真^ｎだけを、記憶部６の所有写真集合６２の中から検索する場合には、以下の式（２）を満たす＾ｎを求めればよい。
【００６５】
【数２】
【００６６】
（第２実施形態）
＜推薦部４Ｂの第２の実施形態（トピックモデルに基づく推薦部）＞
第２実施形態のコーディネート推薦装置１Ｂは、推薦部４Ｂの機能が異なる点を除いて、第１実施形態と同様なので、図１を共通の図面とした。以下では、トピックモデルに基づく推薦部の構成について説明する。
【００６７】
トピックモデルとは、データに含まれるトピック（潜在意味）を抽出する手法であり、文書や画像など様々な分野で応用されている。トピックモデルとしては公知の方法を用いることができる。なお、トピックモデルについては、例えば、「岩田具治、斉藤和巳、上田修功、“パラメトリック埋め込み法によるクラス構造の可視化”、情報処理学会論文誌、vol.46、pp.2337-2346（2005）」等に記載されている。
【００６８】
ここでは、雑誌の全身写真からトピックを抽出することで、雑誌等に掲載されている全身コーディネートにおける上衣と下衣との関連を学習し、推薦に応用する。トピックモデルでは、１つの全身写真ｍの上衣及び下衣の特徴量ｕｍ、ｌｍの確率は、式（３）で表される。
【００６９】
【数３】
【００７０】
ここで、ｚはトピック、Ｚはトピック集合、θｍｚは全身写真ｍがトピックｚを持つ割合を表す。
φｕｚｖは、トピックｚにおいて上衣領域で特徴ｖが出現する確率を表す。
φｌｚｖは、トピックｚにおいて下衣領域で特徴ｖが出現する確率を表す。
特徴量ｕｍ，ｌｍは、前記した式（ａ）、式（ｂ）のように表される。
【００７１】
推薦部４Ｂの詳細な構成について図７を参照して説明する。図７に示すように、推薦部４Ｂは、モデル学習部４３と、トピック推定部４４と、提示部４２Ｂと、を備えている。
【００７２】
モデル学習部４３は、雑誌全身写真特徴集合６３を用いて、雑誌写真集合６１中の全身写真における各アイテムの領域間の関連性を学習し、ある領域の特徴量が与えられたときに、当該特徴量を有するアイテムが各トピックを持つ割合を確率値として出力するトピックモデルを学習する。
【００７３】
トピック推定部４４は、入力されたアイテムの画像の特徴量についてトピックモデルを用いて、入力されたアイテムが各トピックを持つ割合を示す入力アイテムトピック割合を推定すると共に、所有写真特徴集合６４中の入力されたアイテムとは異なる種類のアイテムに関する各特徴量についてトピックモデルを用いて、当該特徴量に対応して所有写真集合６２に記憶されたアイテムが各トピックを持つ割合を示す推薦用アイテムトピック割合を推定する。
【００７４】
提示部４２Ｂは、入力されたアイテムとは異なる種類のアイテムとして、入力アイテムトピック割合と推薦用アイテムトピック割合との類似度が高いものから順に所定数のアイテムを所有写真集合６２から検索し、検索により得られたアイテムを、推薦するアイテムとして提示する。
【００７５】
ここで、後記する式（４）の説明の前提として、記憶部６に記憶されている雑誌全身写真特徴集合６３をＤｍａｇと表記する。また、所有写真特徴集合６４を、Ｄｏｗｎと表記することとする。ここでは上衣が与えられた場合の推薦について説明するが、下衣が与えられた場合の推薦も同様にしてできる。
【００７６】
一例として、入力部７に、特徴量ｕ＊を持つ上衣が与えられたとして図８を参照（適宜図７参照）して説明する。この服装に合う下衣を、記憶部６に記憶された所有写真集合６２の中から選択することをタスクとする。したがって、以下では、入力アイテムトピック割合とは、上衣のトピック割合を示し、推薦用アイテムトピック割合とは、下衣のトピック割合を示す。
【００７７】
まず、モデル学習部４３は、雑誌全身写真特徴集合Ｄｍａｇを読み込み、前記した式（３）に示すトピックモデルΘ＝｛θmｚ｝m∈Ｄｍａｇ，z∈Z、Φ＝｛φｕｚｖ，φｌｚｖ｝ｚ∈Z，ｖ∈Ｖを学習する（ステップＳ２１）。これにより、ある特徴量（上衣または下衣の特徴量）を与えたときに、各トピックがどのくらいの確率で出現するか（トピック割合）を求めることができる。学習は、ＥＭアルゴリズム、変分ベイズ、ギブスサンプリングなどの方法により行うことができる。
【００７８】
次に、トピック推定部４４において、学習したトピックモデルΘ、Φを用いて、与えられた上衣写真の特徴量ｕ＊について、与えられた上衣写真のトピック割合θ＊を推定する（ステップＳ２２）。ここでは、トピック割合θ＊は、上衣の特徴量を与えたときに、各トピックがどのくらいの確率で出現するか（トピック割合）を示す。
次に、トピック推定部４４において、学習したトピックモデルΘ、Φを用いて、所有写真特徴集合Ｄｏｗｎ中の特徴量ｌｎについて、下衣写真のトピック割合θｎ＝｛θｎｚ｝ｚ∈Ｚを推定する（ステップＳ２３）。ここでは、トピック割合θｎは、下衣の特徴量を与えたときに、各トピックがどのくらいの確率で出現するか（トピック割合）を示す。
なお、ステップＳ２２とステップＳ２３との処理順序は任意であり、並列に行ってもよい。
【００７９】
そして、提示部４２Ｂにおいて、与えられた上衣写真のトピック割合θ＊と最も似ているトピック割合を持つ下衣写真＾ｎから、順番に所定数の写真を、所有写真集合６２の中から検索し、順に提示する（ステップＳ２４）。ここで、例えば、最も類似するトピック割合を持つ下衣写真＾ｎだけを、所有写真集合６２の中から検索する場合には、以下の式（４）を満たす＾ｎを求めればよい。
【００８０】
【数４】
【００８１】
ここでＤｌｏｗｎ（所有写真特徴集合６４の一部）は、所有している下衣の写真の特徴集合を表す。なお、類似度として、負のＫＬダイバージェンスなど任意の類似度を用いることができる。
【００８２】
以上、本発明の実施形態について説明したが、本発明はこれに限定されるものではなく、その趣旨を変えない範囲で実施することができる。例えば、第1実施形態において、前記した式（２）により最も類似度の高い下衣１つを選択するものとして説明したが、本発明はこれに限定されるものではない。例えば、代わりに、類似度が高いものから所定数の下衣を選択し、順に並べて提示してもよい。また、前記した式（１）のように最大類似度の雑誌の１つの全身写真^ｍを参考にして提示するのではなく、雑誌の複数の全身写真を類似度の大きい順に重み付けし、その重みを前記した式（２）に含めてもよい。そして、このように重みを前記した式（２）に含めて、雑誌の複数の全身写真を参考にすることで、複数の下衣の候補を提示する方法も考えられる。
【実施例】
【００８３】
本発明を評価するために本実施形態に係るコーディネート推薦装置によって実際に入力されたアイテムに対応したコーディネートを推定した。
【００８４】
＜領域抽出＞
本発明の評価のため、女性雑誌３２巻のデータを用いて実験した。このデータには14,813枚の画像が含まれている。また、この中には、コーディネート推薦装置で必要となる全身写真だけではなく、小物や記号、文字の画像も含まれる。コーディネート推薦装置を用いて、全身写真の抽出、及び、上下衣領域の特定を行った結果、2,062枚に絞られた。これらの抽出写真を人で判断したところ、1,502枚（７３％）が適切に領域抽出できていた。本発明のコーディネート推薦方法は、単純であるが、高い精度で領域を抽出できると言える。以後の実験では、適切だと判断された写真集合から重複写真を除いた1,475枚の全身写真を用いた。なお、上下衣領域抽出例は図９に示した通りである。
【００８５】
＜推薦＞
全写真（1,475枚）から１０％をテスト写真としてランダムに選択し、それ以外の写真を学習写真として１００データセットを作成した。画像特徴として、色ヒストグラムを用いた。また、実験は、第１実施形態の推薦部４に対応した類似度に基づく手法（Sim）と、第２実施形態の推薦部４Ｂに対応したトピックモデルに基づく手法（Topic）と、比較のために、特に工夫のないランダム提示手法（Random）とについて行った。これらについて、評価尺度が異なる２種類の実験を行った。ここで、異なる評価尺度としてn-best正答率、及び、類似度を用いた。
【００８６】
ここで、n-best正答率とは、テスト写真の上衣（下衣）を入力しｎ枚推薦したとき、正解が含まれる割合を表す。つまり、n-best正答率とは、テスト写真の上衣（または下衣）を入力しｎ枚推薦したとき、テスト写真の下衣（または上衣）が含まれる割合を表す。また、ここで、類似度とは、テスト写真の上衣（下衣）を入力し１枚推薦したとき、この推薦した服がどれだけ正解に類似しているかを表す。類似度としてコサイン類似度を用いた。
【００８７】
類似度に基づく手法（Sim）、トピックモデルに基づく手法（Topic）、及び、ランダム提示手法（Random）を比較した結果を、図１０、図１１に示す。なお、図１０の「Topic」の結果は、トピック数を２０としたときのモデルの結果である。図１０に示す正答率とは、例えば、推薦した１０枚の画像を１セットとしてその中に１枚の正解（テスト写真の下衣ＡＬ）が含まれていれば、そのセットは正解と判定して算出したものである。例えば、正答率が仮に「０．５」であれば、１００セットの実験で５０セットに対して正解と判定されたことを示す。
【００８８】
Sim、Topicともに、Randomに比べ高い性能を示しており、第１及び第２実施形態に係るコーディネート推薦装置は両方ともに効果があると言える。中でも、TopicはSimに比べ高い。これは、第２実施形態に係るコーディネート推薦装置は、トピックを抽出することにより、上下衣の関連を適切に学習できているためと考えられる。実際に推薦された服を見てみると、入力した服に関連する写真が適切に推薦されていた。
【符号の説明】
【００８９】
１，１Ｂ コーディネート推薦装置
２ 雑誌全身写真特徴抽出部（参考用全身写真特徴抽出部）
２１ 写真読込部
２２ 全身写真特定部
２３ 領域特定部
２４ 特徴抽出部
３ 所有写真特徴抽出部（推薦用写真特徴抽出部）
３１ 写真読込部
３２ 全身写真特定部
３３ 領域特定部
３４ 特徴抽出部
４，４Ｂ 推薦部
４１ 類似度計算部
４２，４２Ｂ 提示部
４３ モデル学習部
４４ トピック推定部
５ 出力部
６ 記憶部
６１ 雑誌写真集合（参考用写真集合）
６２ 所有写真集合（推薦用写真集合）
６３ 雑誌全身写真特徴集合（参考用全身写真特徴集合）
６４ 所有写真特徴集合（推薦用写真特徴集合）
７ 入力部
【技術分野】
【０００１】
本発明は、例えばズボンやシャツなどのファッションアイテムの写真集合が与えられたときに、適切なコーディネートを推薦するコーディネート推薦装置、コーディネート推薦方法及びそのプログラムに関する。
【背景技術】
【０００２】
多くの人がファッションに関心を持つ。彼ら彼女らは、定期的にファッション雑誌でトレンドをチェックし、服を購入する際やコーディネートを決める際の参考にする。ファッション雑誌には、自分が参考にすべきコーディネートをしたモデルの写真が多数掲載されている。例えば、自分が所持する大量の服の中から着る服を選択する場合や、オンラインストアで服を購入する場合に、このようなモデルの写真を参考にすると、容易に理想的なコーディネートを実現することができる。そこで、これら雑誌の写真画像から利用者が所望のコーディネートを推薦する装置が要望されている。
【０００３】
従来、オンラインストアの商品を取り扱い、ユーザに商品を推薦する方法として、ユーザの購買履歴や評点データをもとに推薦する方法が知られている（非特許文献１参照）。
また、Web上の電子商取引において、メタデータを用いて、例えばズボン、シャツ、靴、ネクタイ等の複数種類のアイテムについてのコーディネート推薦手法も知られている（非特許文献２参照）。
【先行技術文献】
【非特許文献】
【０００４】
【非特許文献１】岩田具治、山田武士、上田修功、「購買順序を効率的に用いた協調フィルタリング」情報処理学会論文誌：数理モデル化と応用、Vol.49、No.SIG4(TOM20)、p.125-134、2008
【非特許文献２】E. Shen, H. Lieberman, F. Lam, “What am I gonna wear?: Scenario-Oriented Recommendation.”, In IUI '07, p.365-368, 2007
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、非特許文献１の方法では、履歴データが必要となるという問題点がある。また、非特許文献２の方法では、メタデータを人手で作成しなければならないという問題点がある。
【０００６】
そこで、本発明は、以上のような問題点に鑑みてなされたものであり、模範となるコーディネートの写真画像から、コーディネートに関する情報を自動抽出することで、利用者の所望のアイテムとの組み合わせに適したコーディネートを推薦するコーディネート推薦装置、コーディネート推薦方法及びそのプログラムを提供することを課題とする。
【課題を解決するための手段】
【０００７】
前記課題を解決するため、本発明に係るコーディネート推薦装置は、複数種類のファッションアイテムのコーディネートのために、入力されたアイテムとの組み合わせに適した別の種類のアイテムを推薦するコーディネート推薦装置であって、模範となるコーディネートの画像集合として予め定められた参考用写真集合と、推薦されるアイテムの画像集合として予め定められた推薦用写真集合とを記憶する記憶部と、前記参考用写真集合の中から、複数種類のアイテムが組み合わされた画像を示す全身写真を抽出し、前記抽出された全身写真において各アイテムの領域を特定し、前記特定したアイテムの領域から画像の特徴量をそれぞれ抽出し、前記アイテム毎に抽出した特徴量を参考用全身写真特徴集合として記憶部に記憶する参考用全身写真特徴抽出部と、前記推薦用写真集合の中から、複数種類のアイテムが組み合わされた画像を示す全身写真と、単独のアイテムのみからなる画像を示す単独アイテム写真とを抽出し、前記抽出された全身写真において各アイテムの領域を特定し、前記特定したアイテムの領域から画像の特徴量をそれぞれ抽出すると共に、前記単独アイテム写真から画像の特徴量を抽出し、前記全身写真及び単独アイテム写真についてアイテム毎に抽出した特徴量を推薦用写真特徴集合として記憶部に記憶する推薦用写真特徴抽出部と、前記参考用全身写真特徴集合と前記推薦用写真特徴集合とを用いて、各アイテムの領域間の関連性を学習し、前記領域間の関連性と、前記入力されたアイテムの画像の特徴量とに応じて、前記入力されたアイテムとの組み合わせに適した別の種類のアイテムを前記推薦用写真集合から検索し、推薦するアイテムとして提示する推薦部とを備えることを特徴とする。
【０００８】
かかる構成のコーディネート推薦装置は、記憶部に、参考用写真集合と、推薦用写真集合とを記憶する。参考用写真集合は、模範となるコーディネートの画像集合であり、用途によって、例えば、ファッション雑誌から取得した画像や、ウェブから取得した画像を用いることができる。推薦用写真集合は、推薦されるアイテムの画像集合であり、用途によって、例えば、ユーザが所有するアイテムの画像や、オンラインストアで販売しているアイテムの画像を用いることができる。アイテムの種類は、例えば、上衣、下衣、靴等を挙げることができる。そして、コーディネート推薦装置は、記憶部に記憶された参考用写真集合及び推薦用写真集合についてそれぞれ画像の特徴量を抽出する。ここで、画像の特徴量は、例えば、色、テクスチャ、形状等を示す。そして、コーディネート推薦装置は、参考用写真集合及び推薦用写真集合についてそれぞれ抽出された画像の特徴量の集合を用いて、各アイテムの領域間の関連性を学習する。そして、コーディネート推薦装置は、各アイテムの領域間の関連性を利用して、入力されたアイテムとの組み合わせに適した別の種類のアイテムを検索して提示する。したがって、かかる構成のコーディネート推薦装置によれば、アイテムの購入履歴データやコーディネートに関するメタデータが与えられていなくても、与えられたアイテムに対応して適切なコーディネートとなるような異なる種類のアイテムを推薦することができる。
【０００９】
また、本発明に係るコーディネート推薦装置は、前記推薦部が、前記参考用全身写真特徴集合と前記推薦用写真特徴集合とを用いて、前記参考用写真集合中の全身写真における各アイテムと、前記推薦用写真集合中の各アイテムとの類似度をアイテムの種類毎に計算する類似度計算部と、前記入力されたアイテムと同種のアイテムであって類似度が高いアイテムを含む全身写真を前記参考用写真集合から検索し、検索により得られた全身写真の画像において前記入力されたアイテムと同種のアイテムと組み合わされている別の種類のアイテムを抽出し、当該別の種類のアイテムとの類似度が高いものから順に所定数のアイテムを前記推薦用写真集合から検索し、検索により得られたアイテムを、推薦するアイテムとして提示する提示部とを有することが好ましい。
【００１０】
かかる構成のコーディネート推薦装置によれば、画像から抽出された特徴量を用いて、画像中のアイテムの類似度を計算することができる。これにより、コーディネート推薦装置は、まず、入力されたアイテムと類似する画像として全身写真を参考用写真集合から検索する。これにより、入力されたアイテムに対して理想的なコーディネートが得られる。
次に、コーディネート推薦装置は、得られたコーディネートにおいて組み合わされているアイテムであって、入力されたアイテムとは別の種類のアイテムを抽出する。そして、コーディネート推薦装置は、抽出されたアイテムと類似する画像を推薦用写真集合から検索する。したがって、コーディネート推薦装置は、参考用写真集合と推薦用写真集合との類似度を計算することで、入力されたアイテムとの組み合わせに適した別の種類のアイテムを理想的なコーディネートで推薦することができる。
【００１１】
また、本発明に係るコーディネート推薦装置は、前記推薦部が、前記参考用全身写真特徴集合を用いて、前記参考用写真集合中の全身写真における各アイテムの領域間の関連性を学習し、ある領域の特徴量が与えられたときに、当該特徴量をもつアイテムが当該アイテムに内在する潜在的な意味を示す各トピックを持つ割合を確率値として出力するトピックモデルを学習するモデル学習部と、前記入力されたアイテムの画像の特徴量について前記トピックモデルを用いて、前記入力されたアイテムが各トピックを持つ割合を示す入力アイテムトピック割合を推定すると共に、前記推薦用写真特徴集合中の入力されたアイテムとは異なる種類のアイテムに関する各特徴量について前記トピックモデルを用いて、当該特徴量に対応して前記推薦用写真集合に記憶されたアイテムが各トピックを持つ割合を示す推薦用アイテムトピック割合を推定するトピック推定部と、前記入力されたアイテムとは異なる種類のアイテムとして、前記入力アイテムトピック割合と前記推薦用アイテムトピック割合との類似度が高いものから順に所定数のアイテムを前記推薦用写真集合から検索し、前記検索により得られたアイテムを、推薦するアイテムとして提示する提示部と、を有することが好ましい。
【００１２】
かかる構成のコーディネート推薦装置によれば、参考用全身写真特徴集合から全身写真における各アイテムの領域間の関連性を学習することで、アイテムが各トピックを持つ割合を確率値として出力するトピックモデルを学習する。このトピックモデルを用いることで、入力されたアイテムの特徴量に対して理想的なコーディネートの特徴としてのトピックを得ることができる。このコーディネート推薦装置は、まず、入力されたアイテムと、推薦用写真特徴集合に含まれる異なる種類のアイテムとについてそれぞれトピックモデルを適用することで、トピック割合をそれぞれ推定する。ここで、異なる種類は、入力アイテムの種類とは異なるものであって、予め定めておく。例えば、入力アイテムの種類が上衣のときには、異なる種類が下衣、のように定めておことができる。次に、コーディネート推薦装置は、入力されたアイテムに対して得られたトピック割合に類似したトピック割合を有するアイテムの画像を推薦用写真集合から検索する。したがって、コーディネート推薦装置は、参考用写真集合のトピックモデルを学習することで、入力されたアイテムとの組み合わせに適した別の種類のアイテムを理想的なコーディネートで推薦することができる。
【００１３】
また、本発明に係るコーディネート推薦装置は、前記アイテムの種類が、上衣と下衣であり、前記参考用全身写真特徴抽出部が、前記参考用写真集合に含まれる各画像について、顔領域を抽出し、抽出した顔領域の横幅よりも幅が広く、かつ、当該顔領域の高さよりも大きい領域が当該顔領域の下側に存在する画像を前記全身写真として抽出する全身写真特定部と、前記顔領域の大きさを基準として、前記顔領域の下部に存在する前記顔領域に対して所定の幅及び高さを有する部分領域を上衣のアイテムの領域とし、前記上衣のアイテムの領域の下部に存在する前記顔領域に対して所定の幅及び高さを有する部分領域を下衣のアイテムの領域として特定する領域特定部と、を備え、前記推薦用写真特徴抽出部が、前記推薦用写真集合に含まれる各画像について、顔領域を抽出し、抽出した顔領域の横幅よりも幅が広く、かつ、当該顔領域の高さよりも大きい領域が当該顔領域の下側に存在する画像を前記全身写真として抽出する全身写真特定部と、前記顔領域の大きさを基準として、前記顔領域の下部に存在する前記顔領域に対して所定の幅及び高さを有する部分領域を上衣のアイテムの領域とし、前記上衣のアイテムの領域の下部に存在する前記顔領域に対して所定の幅及び高さを有する部分領域を下衣のアイテムの領域として特定する領域特定部と、を有することが好ましい。
【００１４】
かかる構成のコーディネート推薦装置によれば、抽出する顔領域のサイズや写真中の位置をそれぞれ基準として、全体写真を正確に抽出することができる。そして、コーディネート推薦装置は、全体写真中の顔領域を基準として、顔領域の下部において、上衣のアイテムの領域を設定し、さらにこの上衣のアイテムの領域の下部において、下衣のアイテムの領域を設定する。したがって、コーディネート推薦装置は、上衣のアイテムの領域と、下衣のアイテムの領域とを正確に特定することができる。これにより、上衣のアイテムと、下衣のアイテムとのコーディネートの特徴を正確に抽出することができる。
【００１５】
また、前記課題を解決するため、本発明に係るコーディネート推薦方法は、複数種類のファッションアイテムのコーディネートのために、模範となるコーディネートの画像集合として予め定められた参考用写真集合と、推薦されるアイテムの画像集合として予め定められた推薦用写真集合とを記憶する記憶部と、処理部とを備え、入力されたアイテムとの組み合わせに適した別の種類のアイテムを推薦するコーディネート推薦装置によるコーディネート推薦方法であって、前記処理部が、アイテムの入力を受け付けるステップと、前記参考用写真集合の中から、複数種類のアイテムが組み合わされた画像を示す全身写真を抽出し、前記抽出された全身写真において各アイテムの領域を特定し、前記特定したアイテムの領域から画像の特徴量をそれぞれ抽出し、前記アイテム毎に抽出した特徴量を参考用全身写真特徴集合として記憶部に記憶するステップと、前記推薦用写真集合の中から、複数種類のアイテムが組み合わされた画像を示す全身写真と、単独のアイテムのみからなる画像を示す単独アイテム写真とを抽出し、前記抽出された全身写真において各アイテムの領域を特定し、前記特定したアイテムの領域から画像の特徴量をそれぞれ抽出すると共に、前記単独アイテム写真から画像の特徴量を抽出し、前記全身写真及び単独アイテム写真についてアイテム毎に抽出した特徴量を推薦用写真特徴集合として記憶部に記憶するステップと、前記参考用全身写真特徴集合と前記推薦用写真特徴集合とを用いて、各アイテムの領域間の関連性を学習し、前記領域間の関連性と、前記入力されたアイテムの画像の特徴量とに応じて、前記入力されたアイテムとの組み合わせに適した別の種類のアイテムを前記推薦用写真集合から検索し、アイテムを提示するステップと、を含んで実行することを特徴とする。
【００１６】
また、本発明に係るコーディネート推薦方法は、前記処理部が、前記アイテムを提示するステップにて、前記参考用全身写真特徴集合と前記推薦用写真特徴集合とを用いて、前記参考用写真集合中の全身写真における各アイテムと、前記推薦用写真集合中の各アイテムとの類似度をアイテムの種類毎に計算するステップと、前記入力されたアイテムと同種のアイテムであって類似度が高いアイテムを含む全身写真を前記参考用写真集合から検索するステップと、前記検索により得られた全身写真の画像において前記入力されたアイテムと同種のアイテムと組み合わされている別の種類のアイテムを抽出し、当該別の種類のアイテムとの類似度が高いものから順に所定数のアイテムを前記推薦用写真集合から検索するステップと、前記検索により得られたアイテムを、推薦するアイテムとして提示するステップと、を実行することが好ましい。
【００１７】
また、本発明に係るコーディネート推薦方法は、前記処理部が、前記アイテムを提示するステップにて、前記参考用全身写真特徴集合を用いて、前記参考用写真集合中の全身写真における各アイテムの領域間の関連性を学習し、ある領域の特徴量が与えられたときに、当該特徴量をもつアイテムが当該アイテムに内在する潜在的な意味を示す各トピックを持つ割合を確率値として出力するトピックモデルを学習するステップと、前記入力されたアイテムの画像の特徴量について前記トピックモデルを用いて、前記入力されたアイテムが各トピックを持つ割合を示す入力アイテムトピック割合を推定するステップと、前記推薦用写真特徴集合中の各特徴量について前記トピックモデルを用いて、当該特徴量に対応して前記推薦用写真集合に記憶されたアイテムが各トピックを持つ割合を示す推薦用アイテムトピック割合を推定するステップと、前記入力されたアイテムとは異なる種類のアイテムとして、前記入力アイテムトピック割合と前記推薦用アイテムトピック割合との類似度が高いものから順に所定数のアイテムを前記推薦用写真集合から検索し、検索により得られたアイテムを、推薦するアイテムとして提示するステップと、を実行することが好ましい。
【００１８】
また、本発明に係るコーディネート推薦方法は、前記アイテムの種類が、上衣と下衣であり、前記処理部が、前記参考用全身写真特徴集合を記憶部に記憶するステップにて、前記参考用写真集合に含まれる各画像について、顔領域を抽出し、抽出した顔領域の横幅よりも幅が広く、かつ、当該顔領域の高さよりも大きい領域が当該顔領域の下側に存在する画像を前記全身写真として抽出し、前記顔領域の大きさを基準として、前記顔領域の下部に存在する前記顔領域に対して所定の幅及び高さを有する部分領域を上衣のアイテムの領域とし、前記上衣のアイテムの領域の下部に存在する前記顔領域に対して所定の幅及び高さを有する部分領域を下衣のアイテムの領域として特定し、前記推薦用写真特徴集合を記憶部に記憶するステップにて、前記推薦用写真集合に含まれる各画像について、顔領域を抽出し、抽出した顔領域の横幅よりも幅が広く、かつ、当該顔領域の高さよりも大きい領域が当該顔領域の下側に存在する画像を前記全身写真として抽出し、前記顔領域の大きさを基準として、前記顔領域の下部に存在する前記顔領域に対して所定の幅及び高さを有する部分領域を上衣のアイテムの領域とし、前記上衣のアイテムの領域の下部に存在する前記顔領域に対して所定の幅及び高さを有する部分領域を下衣のアイテムの領域として特定することが好ましい。
【００１９】
また、本発明に係るコーディネート推薦プログラムは、前記コーディネート推薦装置を構成する各手段としてコンピュータを機能させるためのプログラムである。このように構成されることにより、このプログラムをインストールされたコンピュータは、このプログラムに基づいた各機能を実現することができる。
【発明の効果】
【００２０】
本発明によれば、模範となるコーディネートの参考用写真集合から、理想的なコーディネートに関する情報を自動抽出して、利用者の所望のアイテムとの組み合わせに適したコーディネートを推薦することができる。また、本発明によれば、所持する大量の服の中かから着る服を選択する場合や、オンラインストアで服を購入する場合に、購入履歴データやコーディネートに関するメタデータが与えられていなくても、適切なコーディネートを知ることが可能になる。
【図面の簡単な説明】
【００２１】
【図１】本発明の実施形態に係るコーディネート推薦装置の構成を示すブロック図である。
【図２】図１に示したコーディネート推薦装置による処理の流れを示すフローチャートである。
【図３】図１に示した雑誌全身写真特徴抽出部の構成を示すブロック図である。
【図４】図１に示した所有写真特徴抽出部の構成を示すブロック図である。
【図５】図１に示した推薦部の第１の構成例を示すブロック図である。
【図６】図５に示した推薦部による処理の流れを示すフローチャートである。
【図７】図１に示した推薦部の第２の構成例を示すブロック図である。
【図８】図７に示した推薦部による処理の流れを示すフローチャートである。
【図９】本発明の実施形態に係るコーディネート推薦装置により抽出された上下衣領域の一例を示す図である。
【図１０】類似度に基づく手法（Sim）、トピックモデルに基づく手法（Topic）、及び、ランダム提示手法（Random）を比較した結果を示す図である。
【図１１】類似度に基づく手法（Sim）、トピックモデルに基づく手法（Topic）、及び、ランダム提示手法（Random）を比較した結果を示す図である。
【発明を実施するための形態】
【００２２】
次に、本発明のコーディネート推薦装置を実施するための形態について図面を参照して説明する。
コーディネート推薦装置１は、複数種類のファッションアイテムのコーディネートのために、入力されたアイテムとの組み合わせに適した別の種類のアイテムを推薦するものである。以下では、コーディネート推薦装置１は、上半身の服装（上衣：トップス）の写真が与えられたとき、その服装（上衣）に適した下半身の服装（下衣：ボトムス）の写真を提示することを具体的なタスクの一例として説明する。また、逆に、下衣の写真が与えられたとき、その服装（下衣）に適した上衣の写真を提示するタスクも同様に実行できることはもちろんである。なお、上衣や下衣だけでなく、帽子やカバン、靴など複数のアイテムを推薦することも可能である。また、以下では、ユーザが所持する服の画像の中から着る服を選択する場合を想定して説明する。ファッション雑誌に掲載されたモデルの写真（雑誌の写真画像）を参考用写真画像、ユーザが所持する服の画像を推薦用写真画像として、ユーザが所持する大量の服の中から着る服を選択する場合を想定して説明する。
【００２３】
（第１実施形態）
［コーディネート推薦装置の構成の概要］
コーディネート推薦装置１は、図１に示すように、入力部７と、雑誌全身写真特徴抽出部（参考用全身写真特徴抽出部）２と、所有写真特徴抽出部（推薦用写真特徴抽出部）３と、推薦部４と、出力部５と、記憶部６とを備えている。なお、図１は、後記する第２実施形態のコーディネート推薦装置１Ｂと共通の図面であり、符号４Ｂは、第２実施形態に係る推薦部を表している。
【００２４】
入力部７は、例えば、キーボード、マウス、ディスクドライブ装置などから構成され、ユーザの所望のアイテムの情報を入力する。
雑誌全身写真特徴抽出部２、所有写真特徴抽出部３、及び推薦部４は、このコーディネート推薦装置１の処理部として機能する。処理部は、例えば、ＣＰＵ（Central Processing Unit）及びＲＡＭ（Random Access Memory）から構成される主制御装置である。この雑誌全身写真特徴抽出部２、所有写真特徴抽出部３、及び推薦部４の詳細は後記する。
出力部５は、例えば、グラフィックボード（出力インタフェース）及びそれに接続されたモニタである。モニタは、例えば、液晶ディスプレイ等から構成され、推薦されるアイテムの写真を提示する。
【００２５】
記憶部６は、例えば、一般的なハードディスク装置などから構成され、処理部で用いられるプログラム、演算に用いる処理用のデータ、演算処理結果等を記憶する。
図１には、処理用のデータの一例として、雑誌写真集合６１及び所有写真集合６２を示し、演算処理結果の一例として、雑誌全身写真特徴集合６３及び所有写真特徴集合６４を示した。なお、Ｄｍａｇは、後記する式（１）において雑誌全身写真特徴集合６３を示し、Ｄｏｗｎは後記する式（２）において所有写真特徴集合６４を示すものである。
【００２６】
記憶部６には、アイテムの推薦を行う前に予め処理用のデータとして、参考用写真集合である雑誌写真集合６１と、推薦用写真集合である所有写真集合６２とが記憶される。
雑誌写真集合６１は、模範となるコーディネートの画像集合として予め定められた写真集合であって、ここでは、雑誌等から取得した服の写真集合である。
所有写真集合６２は、推薦されるアイテムの画像集合として予め定められた写真集合であって、ここでは、ユーザが所有している服の写真集合である。
【００２７】
なお、雑誌写真は、雑誌に掲載された写真に限定されるものではなく、コーディネートの参考となる写真であれば、ウェブなどにある写真でもよい。
また、雑誌写真集合６１及び所有写真集合６２には、複数種類のアイテムが組み合わされた画像を示す写真（以下、全身写真と呼ぶ）だけではなく、上衣だけの写真や下衣だけの写真といった単独のアイテムを含む写真（以下、単独アイテム写真）が含まれていてもよい。
また、ここでは、所有している服でのコーディネートの推薦を例としているため所有写真集合６２という名称としているが、オンラインストアでの推薦を想定した実施形態の場合には、所有写真集合６２を、販売している服の写真集合に置き換えることで適用できる。なお、雑誌全身写真特徴集合６３及び所有写真特徴集合６４については後記する。
【００２８】
雑誌全身写真特徴抽出部２は、雑誌写真集合６１の中から、全身写真を抽出し、抽出された全身写真において各アイテムの領域を特定し、特定したアイテムの領域から画像の特徴量をそれぞれ抽出し、アイテム毎に抽出した特徴量を雑誌全身写真特徴集合（参考用全身写真特徴集合）６３として記憶部６に記憶するものである。なお、雑誌全身写真特徴抽出部２の詳細については後記する。
【００２９】
所有写真特徴抽出部３は、所有写真集合６２の中から、全身写真と、単独アイテム写真とを抽出し、抽出された全身写真において各アイテムの領域を特定し、特定したアイテムの領域から画像の特徴量をそれぞれ抽出すると共に、単独アイテム写真から画像の特徴量を抽出し、全身写真及び単独アイテム写真についてアイテム毎に抽出した特徴量を所有写真特徴集合（推薦用写真特徴集合）６４として記憶部６に記憶する。なお、所有写真特徴抽出部３の詳細については後記する。
【００３０】
推薦部４は、雑誌全身写真特徴集合６３と所有写真特徴集合６４とを用いて、各アイテムの領域間の関連性を学習し、領域間の関連性と、入力されたアイテムの画像の特徴量とに応じて、入力されたアイテムとの組み合わせに適した別の種類のアイテムを所有写真集合６２から検索し、推薦するアイテムとして提示する。ここで、各アイテムの領域間の関連性を学習する方法は、２通りあり、第１実施形態及び第２実施形態でそれぞれ説明する。なお、推薦部４の詳細については後記する。
【００３１】
［コーディネート推薦装置の動作の概要］
コーディネート推薦装置１の動作の流れについて図２を参照（適宜図１参照）して説明する。
【００３２】
コーディネート推薦装置１は、入力部７によって、ユーザの所望するアイテムとして、コーディネートを見つけたいアイテム（例えば上衣）の写真の入力を受け付ける（ステップＳ１）。
【００３３】
コーディネート推薦装置１は、雑誌全身写真特徴抽出部２によって、読み込んだ雑誌写真集合６１の中から全身が写っている写真（全身写真）を特定し、それぞれの全身写真において各アイテムの領域として、上衣の領域と、下衣の領域とを抽出する。なお、上衣、下衣だけでなく、帽子やカバン、靴を推薦する場合、それらの領域もここで抽出する。そして、雑誌全身写真特徴抽出部２は、全身写真における上衣の領域と下衣の領域とのそれぞれについて、予め定められた画像の特徴量を抽出し、雑誌全身写真特徴集合６３として記憶部６に記憶する（ステップＳ２）。
【００３４】
コーディネート推薦装置１は、所有写真特徴抽出部３によって、読み込んだ所有写真集合６２中から全身写真を特定し、それぞれの全身写真において各アイテムの領域として、上衣の領域と、下衣の領域とを抽出する。そして、所有写真特徴抽出部３は、全身写真において特定した上衣領域及び下衣領域のそれぞれについて、ステップＳ２と同様な予め定められた画像の特徴量を抽出する（ステップＳ３）。
【００３５】
ここで、所有写真集合６２中の上衣のみの単独アイテム写真、または、下衣のみの単独アイテム写真については、全身写真のように領域を特定する必要がない。したがって、所有写真特徴抽出部３は、単独アイテム写真については領域を特定することなく、直接画像の特徴量を抽出する。また、ステップＳ３にて、全身写真または単独アイテム写真から抽出した特徴量は、所有写真特徴集合６４として記憶部６に記憶する。なお、前記したステップＳ１〜ステップＳ３の処理は、この順序に限らず順不同で実行してよい。
【００３６】
コーディネート推薦装置１の推薦部４は、雑誌全身写真特徴抽出部２で抽出された雑誌全身写真特徴集合６３と、所有写真特徴抽出部３で抽出された所有写真特徴集合６４とを用いて、各アイテム間の関連性を計算し、この関連性を用いて、入力部７にて与えられたアイテムとの組み合わせるのに適した他の種類のアイテム（組み合わせアイテム）を検索する（ステップＳ４）。
【００３７】
具体的には、コーディネート推薦装置１は、推薦部４によって、直感的には、与えられた上衣と類似した雑誌写真を抽出し、その抽出写真の下衣と類似した、ユーザの所有している服を提示する。あるいは、逆に、コーディネート推薦装置１は、推薦部４によって、与えられた下衣と類似した雑誌写真を抽出し、その抽出写真の上衣と類似した、ユーザの所有している服を提示する。
そして、コーディネート推薦装置１は、出力部５によって、検索により得られたアイテム（選択したアイテム）を提示（推薦）する（ステップＳ５）。
【００３８】
［コーディネート推薦装置の詳細］
以下では、コーディネート推薦装置１の雑誌全身写真特徴抽出部２、所有写真特徴抽出部３、推薦部４の具体的な処理について説明する。なお、推薦部４については、類似領域に基づく推薦部（第１の実施形態）と、トピックモデルに基づく推薦部（第２の実施形態）とのどちらを用いてもよい。
【００３９】
＜雑誌全身写真特徴抽出部２＞
雑誌全身写真特徴抽出部２の構成について図３を参照して説明する。なお、図３，４，５，７に示すサブブロック図では、図１に示した要素のうち、当該サブブロックでの主たる説明に必要のない要素については図示を省略している。
図３に示すように、雑誌全身写真特徴抽出部２は、写真読込部２１と、全身写真特定部２２と、領域特定部２３と、特徴抽出部２４とを備えている。
【００４０】
まず、写真読込部２１により、記憶部６から雑誌写真集合６１を読み込む。
そして、全身写真特定部２２は、読み込んだ雑誌写真集合６１の各写真について、顔領域を抽出し、顔領域の大きさに基づいて、全身写真を特定する。ここで、顔領域を抽出する方法は特に限定されず、公知の方法を用いることができる。例えば、「Viola, Jones、“Robust Real-time Object Detection” IJCV 2001」に記載された方法により、顔領域を抽出可能である。
【００４１】
また、全身写真を特定するための条件としては、例えば、顔領域が含まれるかという条件や、顔領域の大きさや位置が適切なものを選択するための条件を用いる。ここで、顔領域の大きさや位置が適切なものを選択するための条件とは、例えば、上下衣が写るスペースが存在するかといった条件を指す。つまり、全身画像特定部は、顔領域の横幅よりも幅が広く、かつ、顔領域の高さよりも大きい領域が顔領域の下側に存在する画像を全身画像として抽出する。
【００４２】
本実施形態では、一例として、全身写真特定部２２は、雑誌写真集合６１に含まれる各画像について、例えば下記（ａ）〜（ｈ）のすべての条件を満たす画像を全身写真として抽出することとした。
（ａ）顔領域が存在する
（ｂ）顔領域の横幅が画像の１／３以下のサイズである
（ｃ）顔領域の横幅が画像の１／１０以上のサイズである
（ｄ）画像の上から計測した画像高さ全体の１／４の位置よりも上側に顔領域が存在する
（ｅ）画像の左から計測した画像幅全体の１／４の位置よりも右側に顔領域が存在する
（ｆ）画像の左から計測した画像幅全体の３／４の位置よりも左側に顔領域が存在する
（ｇ）顔領域の下方向に顔領域の高さの７つ分のスペースがある
（ｈ）顔領域各点での色を示すＲＧＢ（Red,Green,Blue）合計値の顔領域全体での平均値が６００以下である
【００４３】
ここで、条件（ａ）として、顔領域の形状は例えば正方形とすることができる。
条件（ｇ）は、上半身や下半身のスペースがある適切な写真を選択するための条件を示している。また、条件（ｈ）については、Ｒ、Ｇ、Ｂの値はそれぞれ０〜２５５であって、ある点のＲＧＢ値の合計が６００よりも大きいと、その点は人の顔としては白過ぎることを反映している。つまり、ＲＧＢ値の顔領域全体についての平均が６００以下であれば、人の顔の色として適切な写真を選択することができる。
【００４４】
なお、ファッション雑誌では、１枚の写真の中に２人の人物がモデルとして写っている場合があり、このような全身写真が雑誌写真集合６１に含まれる場合には、上記（ａ）〜（ｈ）のすべての条件を満たす顔領域が複数抽出されることも想定される。そのような場合には、対象とする画像の高さ方向の縦の中心線に最も近い画像を顔領域として、上記の条件を判定することとする。
【００４５】
次に、領域特定部２３において、上衣領域及び下衣領域を特定する。ここで、上衣領域及び下衣領域の形状は例えば矩形とすることができる。このとき、顔領域よりも下方向に存在する所定の大きさの領域を上衣領域とし、さらに、上衣領域よりも下方向に存在する所定の大きさの領域を下衣領域とする。上衣領域及び下衣領域の大きさは、予め定めた顔領域との比により与えられる。上衣領域のサイズは、例えば、顔領域の２倍の幅、２．５倍の高さで設定する。また、下衣領域のサイズは、例えば、顔領域の２倍の幅、３．５倍の高さで設定する。また、各領域の配置は、例えば、顔領域の下方向に連続して上衣領域を設定し、その下方向に連続して下衣領域として特定することができる。なお、ベルトを他の種類のアイテムとする場合には、上衣領域と、下衣領域とは連続させずに、ベルトに相当する所定の幅を空けて配置すればよい。また、上述上衣領域または下衣領域の幅及び高さはこの値に限定されるものではなく、予め適切な値を設定しておくことができる。例えば、何人かの人の顔領域の大きさと上半身、下半身の大きさを計測したデータをもとに、顔領域と上衣領域（または下衣領域）との幅の比や高さの比を求めておき、その値を用いても良い。また、様々な人の全身写真を学習データとし、顔領域を基準としたときの、顔領域と上衣領域（または下衣領域）との幅の比、及び、高さの比を学習しておき、その値を用いても良い。
【００４６】
上記（ａ）〜（ｈ）のすべての条件を満たす画像の一例を図９に示す。この図９は、後記する実施例にて抽出された上下衣領域抽出例を示す図である。図９において、符号１０１が顔領域、符号１０２が上衣領域、符号１０３が下衣領域をそれぞれ示している。なお、図９の例の場合には、モデルの立ち位置の床と、モデルの背景の壁とのコントラストが大きいので、下衣領域の高さを顔領域の４．５倍の高さで設定した。なお、靴を他の種類のアイテムとする場合には、下衣領域の高さは、顔領域の３．５倍の高さよりも短くしてもよい。
【００４７】
図３に戻って、雑誌全身写真特徴抽出部２の構成について説明を続ける。
次に、特徴抽出部２４は、領域特定部２３にて特定した全身写真中の上衣領域及び下衣領域それぞれの画像の特徴量を抽出する。特徴量として、色、テクスチャ、形状など任意の特徴量を用いることができる。
【００４８】
以下では、各特徴量を区別するために、以下の記号を導入して説明する。
全身写真ｍの上衣の特徴量をｕｍとする。（ｕ：上衣の領域の特徴量）
また、この同じ全身写真ｍの下衣の特徴量をｌｍとする。（ｌ：下衣の領域の特徴量）
特徴量は、例えば、色の特徴だけでも複数あり、特徴量ｕｍ，ｌｍとは、特徴ｖ別に、次の式（ａ）、式（ｂ）のように表される。
【００４９】
ｕｍ＝｛ｕｍｖ｝ｖ∈Ｖ … 式（ａ）
ｌｍ＝｛ｌｍｖ｝ｖ∈Ｖ … 式（ｂ）
ここで、ｕｍｖは全身写真ｍの上衣領域で特徴ｖが出現する回数、ｌｍｖは全身写真ｍの下衣領域で特徴ｖが出現する回数、Ｖは特徴集合を表す。
【００５０】
雑誌全身写真特徴抽出部２は、以上の処理により、雑誌写真集合６１については、全身写真と判定された写真についてのみ、その上衣領域及び下衣領域の特徴量を抽出する。そして、雑誌全身写真特徴抽出部２は、各写真の上衣領域及び下衣領域それぞれの特徴量を、雑誌全身写真特徴集合６３として記憶部６に格納する。
【００５１】
＜所有写真特徴抽出部３＞
所有写真特徴抽出部３の構成について図４を参照して説明する。
図４に示すように、所有写真特徴抽出部３は、写真読込部３１と、全身写真特定部３２と、領域特定部３３と、特徴抽出部３４とを備えている。
【００５２】
写真読込部３１は、記憶部６から所有写真集合６２を読み込む。
全身写真特定部３２と領域特定部３３は、対象とする写真が雑誌写真ではなく所有写真となる点を除いて、前記した雑誌全身写真特徴抽出部２における全身写真特定部２２及び領域特定部２３と同じ処理を行う。したがって、詳細な説明を省略する。
【００５３】
特徴抽出部３４は、領域特定部３３にて特定した全身写真中の上衣領域及び下衣領域の画像の特徴量を抽出する。この点は、前記した雑誌全身写真特徴抽出部２における特徴抽出部２４と同様なので、詳細な説明を省略する。また、この特徴抽出部３４は、さらに加えて、所有写真集合６２に記憶されている全身写真以外の単独アイテム写真（上衣のみの写真、下衣のみの写真）からも画像の特徴量を抽出する点が前記した雑誌全身写真特徴抽出部２における特徴抽出部２４とは異なる。なお、特徴量を抽出する方法は、同様なので詳細な説明を省略する。この特徴抽出部３４にて全身写真及び単独アイテム写真から抽出した特徴量は、所有写真特徴集合６４として記憶部６に格納する。
【００５４】
＜推薦部４の第１の実施形態（類似領域に基づく推薦部）＞
類似領域に基づく推薦部４の構成について図５を参照して説明する。
図５に示すように、推薦部４は、類似度計算部４１と、提示部４２と、を備えている。
【００５５】
類似度計算部４１は、雑誌全身写真特徴集合６３と所有写真特徴集合６４とを用いて、雑誌写真集合６１中の全身写真における各アイテムと、所有写真集合６２中の各アイテムとの類似度をアイテムの種類毎に計算するものである。
【００５６】
まず、類似度計算部４１は、記憶部６に記憶されている雑誌全身写真特徴集合６３、及び、所有写真特徴集合６４を読み込み、アイテムの種別（上衣、下衣）毎に、雑誌写真と所有写真との類似度を計算する。つまり、雑誌写真の上衣（または下衣）と所有写真の上衣（または下衣）との類似度を計算する。類似度としてコサイン類似度など、任意の類似度を用いることができる。
【００５７】
提示部４２は、類似度計算部４１で計算した類似度をもとに、提示する写真を決定するものである。提示部４２は、入力されたアイテムと同種のアイテムであって類似度が高いアイテムを含む全身写真を雑誌写真集合６１から検索し、検索により得られた全身写真の画像において入力されたアイテムと同種のアイテムと組み合わされている別の種類のアイテムを抽出し、当該別の種類のアイテムとの類似度が高いものから順に所定数のアイテムを所有写真集合６２から検索し、検索により得られたアイテムを、推薦するアイテムとして提示する。なお、所定数は予め定められた１以上の整数である。
【００５８】
ここで、後記する式（１），（２）の説明の前提として、記憶部６に記憶されている雑誌全身写真特徴集合６３をＤｍａｇと表記する。また、所有写真特徴集合６４を、Ｄｏｗｎと表記することとする。ここでは上衣が与えられた場合の推薦について説明するが、下衣が与えられた場合の推薦も同様にしてできる。
【００５９】
一例として、入力部７に、特徴量ｕ＊を持つ上衣が与えられたとして図６を参照（適宜図５参照）して説明する。この服装に合う下衣を、記憶部６に記憶された所有写真集合６２の中から選択することをタスクとする。
【００６０】
類似度計算部４１は、まず、与えられた特徴量ｕ＊と、雑誌全身写真特徴集合Ｄｍａｇ（６３）中の全身写真ｍの上衣領域の特徴量ｕｍと、の類似度を計算する。そして、提示部４２は、類似度計算部４１で計算した上衣領域の類似度を取得し（ステップＳ１１）、与えられた特徴量ｕ＊に最も似ている特徴量を持つ全身写真^ｍを、記憶部６の雑誌写真集合６１の中から検索する（ステップＳ１２）。このことは、以下の式（１）を満たす＾ｍを求めることを意味する。なお、本明細書本文において記号「＾」は、式（１）に示すように、右側の文字の上に付された記号の最大値を表すこととする。
【００６１】
【数１】
【００６２】
式（１）において、Ｓ（ｕｍ，ｕ＊）は、雑誌全身写真特徴集合Ｄｍａｇ（６３）中の全身写真ｍの上衣領域の特徴量ｕｍと、与えられた特徴量ｕ＊との類似度を表す。
【００６３】
そして、提示部４２が記憶部６の雑誌写真集合６１の中で特定した雑誌全身写真^ｍについて、類似度計算部４１は、この雑誌全身写真^ｍの下衣領域の特徴量として雑誌全身写真特徴集合Ｄｍａｇ（６４）中に記憶された特徴量ｌ＾ｍと、記憶部６の所有写真特徴集合Ｄｏｗｎ（６４）中に記憶されている下衣領域のそれぞれの特徴量ｌｎとの類似度をそれぞれ計算する。
【００６４】
そして、提示部４２は、類似度計算部４１で計算した下衣領域の類似度を取得し（ステップＳ１３）、所有写真特徴集合Ｄｏｗｎ中から、最も似ている特徴量ｌ＾ｎを持つ下衣の写真ｎから、順番に所定数の写真を、記憶部６の所有写真集合６２の中から検索する（ステップＳ１４）。ここで、例えば、最も似ている特徴量ｌ＾ｎを持つ唯一の下衣の写真^ｎだけを、記憶部６の所有写真集合６２の中から検索する場合には、以下の式（２）を満たす＾ｎを求めればよい。
【００６５】
【数２】
【００６６】
（第２実施形態）
＜推薦部４Ｂの第２の実施形態（トピックモデルに基づく推薦部）＞
第２実施形態のコーディネート推薦装置１Ｂは、推薦部４Ｂの機能が異なる点を除いて、第１実施形態と同様なので、図１を共通の図面とした。以下では、トピックモデルに基づく推薦部の構成について説明する。
【００６７】
トピックモデルとは、データに含まれるトピック（潜在意味）を抽出する手法であり、文書や画像など様々な分野で応用されている。トピックモデルとしては公知の方法を用いることができる。なお、トピックモデルについては、例えば、「岩田具治、斉藤和巳、上田修功、“パラメトリック埋め込み法によるクラス構造の可視化”、情報処理学会論文誌、vol.46、pp.2337-2346（2005）」等に記載されている。
【００６８】
ここでは、雑誌の全身写真からトピックを抽出することで、雑誌等に掲載されている全身コーディネートにおける上衣と下衣との関連を学習し、推薦に応用する。トピックモデルでは、１つの全身写真ｍの上衣及び下衣の特徴量ｕｍ、ｌｍの確率は、式（３）で表される。
【００６９】
【数３】
【００７０】
ここで、ｚはトピック、Ｚはトピック集合、θｍｚは全身写真ｍがトピックｚを持つ割合を表す。
φｕｚｖは、トピックｚにおいて上衣領域で特徴ｖが出現する確率を表す。
φｌｚｖは、トピックｚにおいて下衣領域で特徴ｖが出現する確率を表す。
特徴量ｕｍ，ｌｍは、前記した式（ａ）、式（ｂ）のように表される。
【００７１】
推薦部４Ｂの詳細な構成について図７を参照して説明する。図７に示すように、推薦部４Ｂは、モデル学習部４３と、トピック推定部４４と、提示部４２Ｂと、を備えている。
【００７２】
モデル学習部４３は、雑誌全身写真特徴集合６３を用いて、雑誌写真集合６１中の全身写真における各アイテムの領域間の関連性を学習し、ある領域の特徴量が与えられたときに、当該特徴量を有するアイテムが各トピックを持つ割合を確率値として出力するトピックモデルを学習する。
【００７３】
トピック推定部４４は、入力されたアイテムの画像の特徴量についてトピックモデルを用いて、入力されたアイテムが各トピックを持つ割合を示す入力アイテムトピック割合を推定すると共に、所有写真特徴集合６４中の入力されたアイテムとは異なる種類のアイテムに関する各特徴量についてトピックモデルを用いて、当該特徴量に対応して所有写真集合６２に記憶されたアイテムが各トピックを持つ割合を示す推薦用アイテムトピック割合を推定する。
【００７４】
提示部４２Ｂは、入力されたアイテムとは異なる種類のアイテムとして、入力アイテムトピック割合と推薦用アイテムトピック割合との類似度が高いものから順に所定数のアイテムを所有写真集合６２から検索し、検索により得られたアイテムを、推薦するアイテムとして提示する。
【００７５】
ここで、後記する式（４）の説明の前提として、記憶部６に記憶されている雑誌全身写真特徴集合６３をＤｍａｇと表記する。また、所有写真特徴集合６４を、Ｄｏｗｎと表記することとする。ここでは上衣が与えられた場合の推薦について説明するが、下衣が与えられた場合の推薦も同様にしてできる。
【００７６】
一例として、入力部７に、特徴量ｕ＊を持つ上衣が与えられたとして図８を参照（適宜図７参照）して説明する。この服装に合う下衣を、記憶部６に記憶された所有写真集合６２の中から選択することをタスクとする。したがって、以下では、入力アイテムトピック割合とは、上衣のトピック割合を示し、推薦用アイテムトピック割合とは、下衣のトピック割合を示す。
【００７７】
まず、モデル学習部４３は、雑誌全身写真特徴集合Ｄｍａｇを読み込み、前記した式（３）に示すトピックモデルΘ＝｛θmｚ｝m∈Ｄｍａｇ，z∈Z、Φ＝｛φｕｚｖ，φｌｚｖ｝ｚ∈Z，ｖ∈Ｖを学習する（ステップＳ２１）。これにより、ある特徴量（上衣または下衣の特徴量）を与えたときに、各トピックがどのくらいの確率で出現するか（トピック割合）を求めることができる。学習は、ＥＭアルゴリズム、変分ベイズ、ギブスサンプリングなどの方法により行うことができる。
【００７８】
次に、トピック推定部４４において、学習したトピックモデルΘ、Φを用いて、与えられた上衣写真の特徴量ｕ＊について、与えられた上衣写真のトピック割合θ＊を推定する（ステップＳ２２）。ここでは、トピック割合θ＊は、上衣の特徴量を与えたときに、各トピックがどのくらいの確率で出現するか（トピック割合）を示す。
次に、トピック推定部４４において、学習したトピックモデルΘ、Φを用いて、所有写真特徴集合Ｄｏｗｎ中の特徴量ｌｎについて、下衣写真のトピック割合θｎ＝｛θｎｚ｝ｚ∈Ｚを推定する（ステップＳ２３）。ここでは、トピック割合θｎは、下衣の特徴量を与えたときに、各トピックがどのくらいの確率で出現するか（トピック割合）を示す。
なお、ステップＳ２２とステップＳ２３との処理順序は任意であり、並列に行ってもよい。
【００７９】
そして、提示部４２Ｂにおいて、与えられた上衣写真のトピック割合θ＊と最も似ているトピック割合を持つ下衣写真＾ｎから、順番に所定数の写真を、所有写真集合６２の中から検索し、順に提示する（ステップＳ２４）。ここで、例えば、最も類似するトピック割合を持つ下衣写真＾ｎだけを、所有写真集合６２の中から検索する場合には、以下の式（４）を満たす＾ｎを求めればよい。
【００８０】
【数４】
【００８１】
ここでＤｌｏｗｎ（所有写真特徴集合６４の一部）は、所有している下衣の写真の特徴集合を表す。なお、類似度として、負のＫＬダイバージェンスなど任意の類似度を用いることができる。
【００８２】
以上、本発明の実施形態について説明したが、本発明はこれに限定されるものではなく、その趣旨を変えない範囲で実施することができる。例えば、第1実施形態において、前記した式（２）により最も類似度の高い下衣１つを選択するものとして説明したが、本発明はこれに限定されるものではない。例えば、代わりに、類似度が高いものから所定数の下衣を選択し、順に並べて提示してもよい。また、前記した式（１）のように最大類似度の雑誌の１つの全身写真^ｍを参考にして提示するのではなく、雑誌の複数の全身写真を類似度の大きい順に重み付けし、その重みを前記した式（２）に含めてもよい。そして、このように重みを前記した式（２）に含めて、雑誌の複数の全身写真を参考にすることで、複数の下衣の候補を提示する方法も考えられる。
【実施例】
【００８３】
本発明を評価するために本実施形態に係るコーディネート推薦装置によって実際に入力されたアイテムに対応したコーディネートを推定した。
【００８４】
＜領域抽出＞
本発明の評価のため、女性雑誌３２巻のデータを用いて実験した。このデータには14,813枚の画像が含まれている。また、この中には、コーディネート推薦装置で必要となる全身写真だけではなく、小物や記号、文字の画像も含まれる。コーディネート推薦装置を用いて、全身写真の抽出、及び、上下衣領域の特定を行った結果、2,062枚に絞られた。これらの抽出写真を人で判断したところ、1,502枚（７３％）が適切に領域抽出できていた。本発明のコーディネート推薦方法は、単純であるが、高い精度で領域を抽出できると言える。以後の実験では、適切だと判断された写真集合から重複写真を除いた1,475枚の全身写真を用いた。なお、上下衣領域抽出例は図９に示した通りである。
【００８５】
＜推薦＞
全写真（1,475枚）から１０％をテスト写真としてランダムに選択し、それ以外の写真を学習写真として１００データセットを作成した。画像特徴として、色ヒストグラムを用いた。また、実験は、第１実施形態の推薦部４に対応した類似度に基づく手法（Sim）と、第２実施形態の推薦部４Ｂに対応したトピックモデルに基づく手法（Topic）と、比較のために、特に工夫のないランダム提示手法（Random）とについて行った。これらについて、評価尺度が異なる２種類の実験を行った。ここで、異なる評価尺度としてn-best正答率、及び、類似度を用いた。
【００８６】
ここで、n-best正答率とは、テスト写真の上衣（下衣）を入力しｎ枚推薦したとき、正解が含まれる割合を表す。つまり、n-best正答率とは、テスト写真の上衣（または下衣）を入力しｎ枚推薦したとき、テスト写真の下衣（または上衣）が含まれる割合を表す。また、ここで、類似度とは、テスト写真の上衣（下衣）を入力し１枚推薦したとき、この推薦した服がどれだけ正解に類似しているかを表す。類似度としてコサイン類似度を用いた。
【００８７】
類似度に基づく手法（Sim）、トピックモデルに基づく手法（Topic）、及び、ランダム提示手法（Random）を比較した結果を、図１０、図１１に示す。なお、図１０の「Topic」の結果は、トピック数を２０としたときのモデルの結果である。図１０に示す正答率とは、例えば、推薦した１０枚の画像を１セットとしてその中に１枚の正解（テスト写真の下衣ＡＬ）が含まれていれば、そのセットは正解と判定して算出したものである。例えば、正答率が仮に「０．５」であれば、１００セットの実験で５０セットに対して正解と判定されたことを示す。
【００８８】
Sim、Topicともに、Randomに比べ高い性能を示しており、第１及び第２実施形態に係るコーディネート推薦装置は両方ともに効果があると言える。中でも、TopicはSimに比べ高い。これは、第２実施形態に係るコーディネート推薦装置は、トピックを抽出することにより、上下衣の関連を適切に学習できているためと考えられる。実際に推薦された服を見てみると、入力した服に関連する写真が適切に推薦されていた。
【符号の説明】
【００８９】
１，１Ｂ コーディネート推薦装置
２ 雑誌全身写真特徴抽出部（参考用全身写真特徴抽出部）
２１ 写真読込部
２２ 全身写真特定部
２３ 領域特定部
２４ 特徴抽出部
３ 所有写真特徴抽出部（推薦用写真特徴抽出部）
３１ 写真読込部
３２ 全身写真特定部
３３ 領域特定部
３４ 特徴抽出部
４，４Ｂ 推薦部
４１ 類似度計算部
４２，４２Ｂ 提示部
４３ モデル学習部
４４ トピック推定部
５ 出力部
６ 記憶部
６１ 雑誌写真集合（参考用写真集合）
６２ 所有写真集合（推薦用写真集合）
６３ 雑誌全身写真特徴集合（参考用全身写真特徴集合）
６４ 所有写真特徴集合（推薦用写真特徴集合）
７ 入力部
【特許請求の範囲】
【請求項１】
複数種類のファッションアイテムのコーディネートのために、入力されたアイテムとの組み合わせに適した別の種類のアイテムを推薦するコーディネート推薦装置であって、
模範となるコーディネートの画像集合として予め定められた参考用写真集合と、推薦されるアイテムの画像集合として予め定められた推薦用写真集合とを記憶する記憶部と、
前記参考用写真集合の中から、複数種類のアイテムが組み合わされた画像を示す全身写真を抽出し、前記抽出された全身写真において各アイテムの領域を特定し、前記特定したアイテムの領域から画像の特徴量をそれぞれ抽出し、前記アイテム毎に抽出した特徴量を参考用全身写真特徴集合として記憶部に記憶する参考用全身写真特徴抽出部と、
前記推薦用写真集合の中から、複数種類のアイテムが組み合わされた画像を示す全身写真と、単独のアイテムのみからなる画像を示す単独アイテム写真とを抽出し、前記抽出された全身写真において各アイテムの領域を特定し、前記特定したアイテムの領域から画像の特徴量をそれぞれ抽出すると共に、前記単独アイテム写真から画像の特徴量を抽出し、前記全身写真及び単独アイテム写真についてアイテム毎に抽出した特徴量を推薦用写真特徴集合として記憶部に記憶する推薦用写真特徴抽出部と、
前記参考用全身写真特徴集合と前記推薦用写真特徴集合とを用いて、各アイテムの領域間の関連性を学習し、前記領域間の関連性と、前記入力されたアイテムの画像の特徴量とに応じて、前記入力されたアイテムとの組み合わせに適した別の種類のアイテムを前記推薦用写真集合から検索し、推薦するアイテムとして提示する推薦部と、
を備えることを特徴とするコーディネート推薦装置。
【請求項２】
前記推薦部は、
前記参考用全身写真特徴集合と前記推薦用写真特徴集合とを用いて、前記参考用写真集合中の全身写真における各アイテムと、前記推薦用写真集合中の各アイテムとの類似度をアイテムの種類毎に計算する類似度計算部と、
前記入力されたアイテムと同種のアイテムであって類似度が高いアイテムを含む全身写真を前記参考用写真集合から検索し、検索により得られた全身写真の画像において前記入力されたアイテムと同種のアイテムと組み合わされている別の種類のアイテムを抽出し、当該別の種類のアイテムとの類似度が高いものから順に所定数のアイテムを前記推薦用写真集合から検索し、検索により得られたアイテムを、推薦するアイテムとして提示する提示部と、
を有することを特徴とする請求項１に記載のコーディネート推薦装置。
【請求項３】
前記推薦部は、
前記参考用全身写真特徴集合を用いて、前記参考用写真集合中の全身写真における各アイテムの領域間の関連性を学習し、ある領域の特徴量が与えられたときに、当該特徴量をもつアイテムが当該アイテムに内在する潜在的な意味を示す各トピックを持つ割合を確率値として出力するトピックモデルを学習するモデル学習部と、
前記入力されたアイテムの画像の特徴量について前記トピックモデルを用いて、前記入力されたアイテムが各トピックを持つ割合を示す入力アイテムトピック割合を推定すると共に、前記推薦用写真特徴集合中の入力されたアイテムとは異なる種類のアイテムに関する各特徴量について前記トピックモデルを用いて、当該特徴量に対応して前記推薦用写真集合に記憶されたアイテムが各トピックを持つ割合を示す推薦用アイテムトピック割合を推定するトピック推定部と、
前記入力されたアイテムとは異なる種類のアイテムとして、前記入力アイテムトピック割合と前記推薦用アイテムトピック割合との類似度が高いものから順に所定数のアイテムを前記推薦用写真集合から検索し、前記検索により得られたアイテムを、推薦するアイテムとして提示する提示部と、
を有することを特徴とする請求項１に記載のコーディネート推薦装置。
【請求項４】
前記アイテムの種類は、上衣と下衣であり、
前記参考用全身写真特徴抽出部は、
前記参考用写真集合に含まれる各画像について、顔領域を抽出し、抽出した顔領域の横幅よりも幅が広く、かつ、当該顔領域の高さよりも大きい領域が当該顔領域の下側に存在する画像を前記全身写真として抽出する全身写真特定部と、
前記顔領域の大きさを基準として、前記顔領域の下部に存在する前記顔領域に対して所定の幅及び高さを有する部分領域を上衣のアイテムの領域とし、前記上衣のアイテムの領域の下部に存在する前記顔領域に対して所定の幅及び高さを有する部分領域を下衣のアイテムの領域として特定する領域特定部と、を備え、
前記推薦用写真特徴抽出部は、
前記推薦用写真集合に含まれる各画像について、顔領域を抽出し、抽出した顔領域の横幅よりも幅が広く、かつ、当該顔領域の高さよりも大きい領域が当該顔領域の下側に存在する画像を前記全身写真として抽出する全身写真特定部と、
前記顔領域の大きさを基準として、前記顔領域の下部に存在する前記顔領域に対して所定の幅及び高さを有する部分領域を上衣のアイテムの領域とし、前記上衣のアイテムの領域の下部に存在する前記顔領域に対して所定の幅及び高さを有する部分領域を下衣のアイテムの領域として特定する領域特定部と、を有することを特徴とする請求項１乃至３のいずれか一項に記載のコーディネート推薦装置。
【請求項５】
複数種類のファッションアイテムのコーディネートのために、模範となるコーディネートの画像集合として予め定められた参考用写真集合と、推薦されるアイテムの画像集合として予め定められた推薦用写真集合とを記憶する記憶部と、処理部とを備え、入力されたアイテムとの組み合わせに適した別の種類のアイテムを推薦するコーディネート推薦装置によるコーディネート推薦方法であって、
前記処理部は、
アイテムの入力を受け付けるステップと、
前記参考用写真集合の中から、複数種類のアイテムが組み合わされた画像を示す全身写真を抽出し、前記抽出された全身写真において各アイテムの領域を特定し、前記特定したアイテムの領域から画像の特徴量をそれぞれ抽出し、前記アイテム毎に抽出した特徴量を参考用全身写真特徴集合として記憶部に記憶するステップと、
前記推薦用写真集合の中から、複数種類のアイテムが組み合わされた画像を示す全身写真と、単独のアイテムのみからなる画像を示す単独アイテム写真とを抽出し、前記抽出された全身写真において各アイテムの領域を特定し、前記特定したアイテムの領域から画像の特徴量をそれぞれ抽出すると共に、前記単独アイテム写真から画像の特徴量を抽出し、前記全身写真及び単独アイテム写真についてアイテム毎に抽出した特徴量を推薦用写真特徴集合として記憶部に記憶するステップと、
前記参考用全身写真特徴集合と前記推薦用写真特徴集合とを用いて、各アイテムの領域間の関連性を学習し、前記領域間の関連性と、前記入力されたアイテムの画像の特徴量とに応じて、前記入力されたアイテムとの組み合わせに適した別の種類のアイテムを前記推薦用写真集合から検索し、アイテムを提示するステップと、
を含んで実行することを特徴とするコーディネート推薦方法。
【請求項６】
前記処理部は、
前記アイテムを提示するステップにて、
前記参考用全身写真特徴集合と前記推薦用写真特徴集合とを用いて、前記参考用写真集合中の全身写真における各アイテムと、前記推薦用写真集合中の各アイテムとの類似度をアイテムの種類毎に計算するステップと、
前記入力されたアイテムと同種のアイテムであって類似度が高いアイテムを含む全身写真を前記参考用写真集合から検索するステップと、
前記検索により得られた全身写真の画像において前記入力されたアイテムと同種のアイテムと組み合わされている別の種類のアイテムを抽出し、当該別の種類のアイテムとの類似度が高いものから順に所定数のアイテムを前記推薦用写真集合から検索するステップと、
検索により得られたアイテムを、推薦するアイテムとして提示するステップと、
を実行することを特徴とする請求項５に記載のコーディネート推薦方法。
【請求項７】
前記処理部は、
前記アイテムを提示するステップにて、
前記参考用全身写真特徴集合を用いて、前記参考用写真集合中の全身写真における各アイテムの領域間の関連性を学習し、ある領域の特徴量が与えられたときに、当該特徴量をもつアイテムが当該アイテムに内在する潜在的な意味を示す各トピックを持つ割合を確率値として出力するトピックモデルを学習するステップと、
前記入力されたアイテムの画像の特徴量について前記トピックモデルを用いて、前記入力されたアイテムが各トピックを持つ割合を示す入力アイテムトピック割合を推定するステップと、
前記推薦用写真特徴集合中の入力されたアイテムとは異なる種類のアイテムに関する各特徴量について前記トピックモデルを用いて、当該特徴量に対応して前記推薦用写真集合に記憶されたアイテムが各トピックを持つ割合を示す推薦用アイテムトピック割合を推定するステップと、
前記入力されたアイテムとは異なる種類のアイテムとして、前記入力アイテムトピック割合と前記推薦用アイテムトピック割合との類似度が高いものから順に所定数のアイテムを前記推薦用写真集合から検索し、前記検索により得られたアイテムを、推薦するアイテムとして提示するステップと、
を実行することを特徴とする請求項５に記載のコーディネート推薦方法。
【請求項８】
前記アイテムの種類は、上衣と下衣であり、
前記処理部は、
前記参考用全身写真特徴集合を記憶部に記憶するステップにて、
前記参考用写真集合に含まれる各画像について、顔領域を抽出し、抽出した顔領域の横幅よりも幅が広く、かつ、当該顔領域の高さよりも大きい領域が当該顔領域の下側に存在する画像を前記全身写真として抽出し、
前記顔領域の大きさを基準として、前記顔領域の下部に存在する前記顔領域に対して所定の幅及び高さを有する部分領域を上衣のアイテムの領域とし、前記上衣のアイテムの領域の下部に存在する前記顔領域に対して所定の幅及び高さを有する部分領域を下衣のアイテムの領域として特定し、
前記推薦用写真特徴集合を記憶部に記憶するステップにて、
前記推薦用写真集合に含まれる各画像について、顔領域を抽出し、抽出した顔領域の横幅よりも幅が広く、かつ、当該顔領域の高さよりも大きい領域が当該顔領域の下側に存在する画像を前記全身写真として抽出し、
前記顔領域の大きさを基準として、前記顔領域の下部に存在する前記顔領域に対して所定の幅及び高さを有する部分領域を上衣のアイテムの領域とし、前記上衣のアイテムの領域の下部に存在する前記顔領域に対して所定の幅及び高さを有する部分領域を下衣のアイテムの領域として特定する、
ことを特徴とする請求項５乃至７のいずれか一項に記載のコーディネート推薦方法。
【請求項９】
請求項１乃至請求項４のいずれか一項に記載のコーディネート推薦装置を構成する各手段としてコンピュータを機能させるためのコーディネート推薦プログラム。
【請求項１】
複数種類のファッションアイテムのコーディネートのために、入力されたアイテムとの組み合わせに適した別の種類のアイテムを推薦するコーディネート推薦装置であって、
模範となるコーディネートの画像集合として予め定められた参考用写真集合と、推薦されるアイテムの画像集合として予め定められた推薦用写真集合とを記憶する記憶部と、
前記参考用写真集合の中から、複数種類のアイテムが組み合わされた画像を示す全身写真を抽出し、前記抽出された全身写真において各アイテムの領域を特定し、前記特定したアイテムの領域から画像の特徴量をそれぞれ抽出し、前記アイテム毎に抽出した特徴量を参考用全身写真特徴集合として記憶部に記憶する参考用全身写真特徴抽出部と、
前記推薦用写真集合の中から、複数種類のアイテムが組み合わされた画像を示す全身写真と、単独のアイテムのみからなる画像を示す単独アイテム写真とを抽出し、前記抽出された全身写真において各アイテムの領域を特定し、前記特定したアイテムの領域から画像の特徴量をそれぞれ抽出すると共に、前記単独アイテム写真から画像の特徴量を抽出し、前記全身写真及び単独アイテム写真についてアイテム毎に抽出した特徴量を推薦用写真特徴集合として記憶部に記憶する推薦用写真特徴抽出部と、
前記参考用全身写真特徴集合と前記推薦用写真特徴集合とを用いて、各アイテムの領域間の関連性を学習し、前記領域間の関連性と、前記入力されたアイテムの画像の特徴量とに応じて、前記入力されたアイテムとの組み合わせに適した別の種類のアイテムを前記推薦用写真集合から検索し、推薦するアイテムとして提示する推薦部と、
を備えることを特徴とするコーディネート推薦装置。
【請求項２】
前記推薦部は、
前記参考用全身写真特徴集合と前記推薦用写真特徴集合とを用いて、前記参考用写真集合中の全身写真における各アイテムと、前記推薦用写真集合中の各アイテムとの類似度をアイテムの種類毎に計算する類似度計算部と、
前記入力されたアイテムと同種のアイテムであって類似度が高いアイテムを含む全身写真を前記参考用写真集合から検索し、検索により得られた全身写真の画像において前記入力されたアイテムと同種のアイテムと組み合わされている別の種類のアイテムを抽出し、当該別の種類のアイテムとの類似度が高いものから順に所定数のアイテムを前記推薦用写真集合から検索し、検索により得られたアイテムを、推薦するアイテムとして提示する提示部と、
を有することを特徴とする請求項１に記載のコーディネート推薦装置。
【請求項３】
前記推薦部は、
前記参考用全身写真特徴集合を用いて、前記参考用写真集合中の全身写真における各アイテムの領域間の関連性を学習し、ある領域の特徴量が与えられたときに、当該特徴量をもつアイテムが当該アイテムに内在する潜在的な意味を示す各トピックを持つ割合を確率値として出力するトピックモデルを学習するモデル学習部と、
前記入力されたアイテムの画像の特徴量について前記トピックモデルを用いて、前記入力されたアイテムが各トピックを持つ割合を示す入力アイテムトピック割合を推定すると共に、前記推薦用写真特徴集合中の入力されたアイテムとは異なる種類のアイテムに関する各特徴量について前記トピックモデルを用いて、当該特徴量に対応して前記推薦用写真集合に記憶されたアイテムが各トピックを持つ割合を示す推薦用アイテムトピック割合を推定するトピック推定部と、
前記入力されたアイテムとは異なる種類のアイテムとして、前記入力アイテムトピック割合と前記推薦用アイテムトピック割合との類似度が高いものから順に所定数のアイテムを前記推薦用写真集合から検索し、前記検索により得られたアイテムを、推薦するアイテムとして提示する提示部と、
を有することを特徴とする請求項１に記載のコーディネート推薦装置。
【請求項４】
前記アイテムの種類は、上衣と下衣であり、
前記参考用全身写真特徴抽出部は、
前記参考用写真集合に含まれる各画像について、顔領域を抽出し、抽出した顔領域の横幅よりも幅が広く、かつ、当該顔領域の高さよりも大きい領域が当該顔領域の下側に存在する画像を前記全身写真として抽出する全身写真特定部と、
前記顔領域の大きさを基準として、前記顔領域の下部に存在する前記顔領域に対して所定の幅及び高さを有する部分領域を上衣のアイテムの領域とし、前記上衣のアイテムの領域の下部に存在する前記顔領域に対して所定の幅及び高さを有する部分領域を下衣のアイテムの領域として特定する領域特定部と、を備え、
前記推薦用写真特徴抽出部は、
前記推薦用写真集合に含まれる各画像について、顔領域を抽出し、抽出した顔領域の横幅よりも幅が広く、かつ、当該顔領域の高さよりも大きい領域が当該顔領域の下側に存在する画像を前記全身写真として抽出する全身写真特定部と、
前記顔領域の大きさを基準として、前記顔領域の下部に存在する前記顔領域に対して所定の幅及び高さを有する部分領域を上衣のアイテムの領域とし、前記上衣のアイテムの領域の下部に存在する前記顔領域に対して所定の幅及び高さを有する部分領域を下衣のアイテムの領域として特定する領域特定部と、を有することを特徴とする請求項１乃至３のいずれか一項に記載のコーディネート推薦装置。
【請求項５】
複数種類のファッションアイテムのコーディネートのために、模範となるコーディネートの画像集合として予め定められた参考用写真集合と、推薦されるアイテムの画像集合として予め定められた推薦用写真集合とを記憶する記憶部と、処理部とを備え、入力されたアイテムとの組み合わせに適した別の種類のアイテムを推薦するコーディネート推薦装置によるコーディネート推薦方法であって、
前記処理部は、
アイテムの入力を受け付けるステップと、
前記参考用写真集合の中から、複数種類のアイテムが組み合わされた画像を示す全身写真を抽出し、前記抽出された全身写真において各アイテムの領域を特定し、前記特定したアイテムの領域から画像の特徴量をそれぞれ抽出し、前記アイテム毎に抽出した特徴量を参考用全身写真特徴集合として記憶部に記憶するステップと、
前記推薦用写真集合の中から、複数種類のアイテムが組み合わされた画像を示す全身写真と、単独のアイテムのみからなる画像を示す単独アイテム写真とを抽出し、前記抽出された全身写真において各アイテムの領域を特定し、前記特定したアイテムの領域から画像の特徴量をそれぞれ抽出すると共に、前記単独アイテム写真から画像の特徴量を抽出し、前記全身写真及び単独アイテム写真についてアイテム毎に抽出した特徴量を推薦用写真特徴集合として記憶部に記憶するステップと、
前記参考用全身写真特徴集合と前記推薦用写真特徴集合とを用いて、各アイテムの領域間の関連性を学習し、前記領域間の関連性と、前記入力されたアイテムの画像の特徴量とに応じて、前記入力されたアイテムとの組み合わせに適した別の種類のアイテムを前記推薦用写真集合から検索し、アイテムを提示するステップと、
を含んで実行することを特徴とするコーディネート推薦方法。
【請求項６】
前記処理部は、
前記アイテムを提示するステップにて、
前記参考用全身写真特徴集合と前記推薦用写真特徴集合とを用いて、前記参考用写真集合中の全身写真における各アイテムと、前記推薦用写真集合中の各アイテムとの類似度をアイテムの種類毎に計算するステップと、
前記入力されたアイテムと同種のアイテムであって類似度が高いアイテムを含む全身写真を前記参考用写真集合から検索するステップと、
前記検索により得られた全身写真の画像において前記入力されたアイテムと同種のアイテムと組み合わされている別の種類のアイテムを抽出し、当該別の種類のアイテムとの類似度が高いものから順に所定数のアイテムを前記推薦用写真集合から検索するステップと、
検索により得られたアイテムを、推薦するアイテムとして提示するステップと、
を実行することを特徴とする請求項５に記載のコーディネート推薦方法。
【請求項７】
前記処理部は、
前記アイテムを提示するステップにて、
前記参考用全身写真特徴集合を用いて、前記参考用写真集合中の全身写真における各アイテムの領域間の関連性を学習し、ある領域の特徴量が与えられたときに、当該特徴量をもつアイテムが当該アイテムに内在する潜在的な意味を示す各トピックを持つ割合を確率値として出力するトピックモデルを学習するステップと、
前記入力されたアイテムの画像の特徴量について前記トピックモデルを用いて、前記入力されたアイテムが各トピックを持つ割合を示す入力アイテムトピック割合を推定するステップと、
前記推薦用写真特徴集合中の入力されたアイテムとは異なる種類のアイテムに関する各特徴量について前記トピックモデルを用いて、当該特徴量に対応して前記推薦用写真集合に記憶されたアイテムが各トピックを持つ割合を示す推薦用アイテムトピック割合を推定するステップと、
前記入力されたアイテムとは異なる種類のアイテムとして、前記入力アイテムトピック割合と前記推薦用アイテムトピック割合との類似度が高いものから順に所定数のアイテムを前記推薦用写真集合から検索し、前記検索により得られたアイテムを、推薦するアイテムとして提示するステップと、
を実行することを特徴とする請求項５に記載のコーディネート推薦方法。
【請求項８】
前記アイテムの種類は、上衣と下衣であり、
前記処理部は、
前記参考用全身写真特徴集合を記憶部に記憶するステップにて、
前記参考用写真集合に含まれる各画像について、顔領域を抽出し、抽出した顔領域の横幅よりも幅が広く、かつ、当該顔領域の高さよりも大きい領域が当該顔領域の下側に存在する画像を前記全身写真として抽出し、
前記顔領域の大きさを基準として、前記顔領域の下部に存在する前記顔領域に対して所定の幅及び高さを有する部分領域を上衣のアイテムの領域とし、前記上衣のアイテムの領域の下部に存在する前記顔領域に対して所定の幅及び高さを有する部分領域を下衣のアイテムの領域として特定し、
前記推薦用写真特徴集合を記憶部に記憶するステップにて、
前記推薦用写真集合に含まれる各画像について、顔領域を抽出し、抽出した顔領域の横幅よりも幅が広く、かつ、当該顔領域の高さよりも大きい領域が当該顔領域の下側に存在する画像を前記全身写真として抽出し、
前記顔領域の大きさを基準として、前記顔領域の下部に存在する前記顔領域に対して所定の幅及び高さを有する部分領域を上衣のアイテムの領域とし、前記上衣のアイテムの領域の下部に存在する前記顔領域に対して所定の幅及び高さを有する部分領域を下衣のアイテムの領域として特定する、
ことを特徴とする請求項５乃至７のいずれか一項に記載のコーディネート推薦方法。
【請求項９】
請求項１乃至請求項４のいずれか一項に記載のコーディネート推薦装置を構成する各手段としてコンピュータを機能させるためのコーディネート推薦プログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【公開番号】特開２０１２−１４５４４（Ｐ２０１２−１４５４４Ａ）
【公開日】平成２４年１月１９日（２０１２．１．１９）
【国際特許分類】
【出願番号】特願２０１０−１５１６８４（Ｐ２０１０−１５１６８４）
【出願日】平成２２年７月２日（２０１０．７．２）
【出願人】（０００００４２２６）日本電信電話株式会社 (13,992)
【Ｆターム（参考）】
【公開日】平成２４年１月１９日（２０１２．１．１９）
【国際特許分類】
【出願日】平成２２年７月２日（２０１０．７．２）
【出願人】（０００００４２２６）日本電信電話株式会社 (13,992)
【Ｆターム（参考）】
[ Back to top ]