携帯端末を用いたファッションチェックシステム
【課題】ユーザの画像データから自動的にファッションチェックを行うことができる携帯端末を用いたファッションチェックシステムを提供する。
【解決手段】ファッションチェックシステムは、少なくとも1つの携帯端末と、少なくとも1つの携帯端末に網を介して接続可能に構成されたサーバとを備えている。このサーバは、少なくとも1つの携帯端末から送られてきた人物像の画像データを受け取る手段と、受け取った画像データを記憶する記憶手段と、コンピュータ手段と、コンピュータ手段が出力する評価情報を少なくとも1つの携帯端末へ送る手段とを備えている。このコンピュータ手段は、記憶手段に記憶された画像データから人物像の輪郭線像を抽出する抽出手段と、抽出手段が抽出した輪郭線像から人物像の特徴点位置を求める特徴点解析手段と、特徴点解析手段が求めた特徴点位置から人物像のファッション度合を評価した評価情報を出力する評価手段とを備えている。
【解決手段】ファッションチェックシステムは、少なくとも1つの携帯端末と、少なくとも1つの携帯端末に網を介して接続可能に構成されたサーバとを備えている。このサーバは、少なくとも1つの携帯端末から送られてきた人物像の画像データを受け取る手段と、受け取った画像データを記憶する記憶手段と、コンピュータ手段と、コンピュータ手段が出力する評価情報を少なくとも1つの携帯端末へ送る手段とを備えている。このコンピュータ手段は、記憶手段に記憶された画像データから人物像の輪郭線像を抽出する抽出手段と、抽出手段が抽出した輪郭線像から人物像の特徴点位置を求める特徴点解析手段と、特徴点解析手段が求めた特徴点位置から人物像のファッション度合を評価した評価情報を出力する評価手段とを備えている。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、カメラ付携帯電話機やスマートフォン等の携帯端末を用いて撮像した人物画像についてファッション評価を行うファッションチェックシステムに関する。
【背景技術】
【0002】
ユーザを撮像して得た画像から、そのユーザの容姿等について評価を行うシステムについては、いくつかの提案が既になされている。
【0003】
例えば、特許文献1には、ユーザの顔又は身体を撮像した画像のデータをネットワークを介してサービス事業者へ送信し、サービス事業者においては化粧アドバイザやスタイリスト等の専門家がその画像を見て容姿に関するアドバイスを行うシステムが開示されている。
【0004】
特許文献2には、ユーザの写真画像をデジタルカメラで撮像し、その画像データをネットワークを介して販売者システムへ送信し、販売者システムはこの画像データ等からユーザの体型サイズを求め、そのユーザにフィットした寸法の商品による合成画像を作成し、これをユーザ端末へ返送するシステムが開示されている。
【0005】
特許文献3には、携帯電話機である利用者端末によって利用者の容姿画像を撮像し、その画像データをネットワークを介して管理サーバへ送信し、利用者端末又は管理サーバはこの画像データから体型代表点を自動認識し、この認識した体型代表点を利用して服の試着を行い、試着した状態の画像を利用者端末へ返送するシステムが開示されている。さらに、試着した状態のファッションの診断を専門家が行うことも開示されている。
【0006】
特許文献4には、カメラによって人物を撮像し、その撮像画像から各部の特徴を数値化した特徴データを登録しておき、顔形状、髪形状、肌色等の容姿の判定に用いるシステムが開示されている。
【先行技術文献】
【特許文献】
【0007】
【特許文献1】特開2001−078178号公報
【特許文献2】特開2002−373266号公報
【特許文献3】特開2004−086662号公報
【特許文献4】特開2008−009560号公報
【発明の概要】
【発明が解決しようとする課題】
【0008】
しかしながら、特許文献1のシステムは、化粧アドバイザやスタイリスト等の専門家が画像を見て容姿に関するアドバイスを行うものであり、このような専門家なしに自動的にユーザのファッションチェックを行うものではない。
【0009】
また、特許文献2のシステムは、画像データから体型サイズを求めてフィットした商品の選択を行っているが、ユーザのファッションチェックは全く行っていない。
【0010】
特許文献3のシステムは、服試着を行うものであり、利用者のファッションチェックを画像データから自動的に行うものではない。
【0011】
さらに、特許文献4のシステムは、容姿の画像データからその人物のファッションチェックは行うものではない。
【0012】
このように、従来公知のいずれのシステムも、画像データからユーザのファッションチェックを行わないか、行うとしても専門家がその画像を見て判断するものであり、コンピュータが自動的にファッションをチェックするものではない。
【0013】
このため、簡易にかつ素早く、しかも、低コストでユーザのファッションチェックを行うことができなかった。また、ユーザも、気軽にかつ容易にファッションチェックを依頼することができなかった。
【0014】
従って本発明の目的は、ユーザの画像データから自動的にファッションチェックを行うことができる携帯端末を用いたファッションチェックシステムを提供することにある。
【課題を解決するための手段】
【0015】
本発明の携帯端末を用いたファッションチェックシステムは、少なくとも1つの携帯端末と、少なくとも1つの携帯端末に網を介して接続可能に構成されたサーバとを備えている。このサーバは、少なくとも1つの携帯端末から送られてきた人物像の画像データを受け取る手段と、受け取った画像データを記憶する記憶手段と、コンピュータ手段と、コンピュータ手段が出力する評価情報を少なくとも1つの携帯端末へ送る手段とを備えている。このコンピュータ手段は、記憶手段に記憶された画像データから人物像の輪郭線像を抽出する抽出手段と、抽出手段が抽出した輪郭線像から人物像の特徴点位置を求める特徴点解析手段と、特徴点解析手段が求めた特徴点位置から人物像のファッション度合を評価した評価情報を出力する評価手段とを備えている。
【0016】
サーバのコンピュータ手段は、携帯端末から送られてきた画像データから人物像の輪郭線像を抽出し、抽出した輪郭線像から人物像の特徴点位置を求め、この特徴点位置から人物像のファッション度合を評価するように構成されており、この評価結果が携帯端末に送られる。このように、コンピュータにより、画像データが自動的に解析されてファッション度合が評価されるため、簡易にかつ素早く、しかも、低コストでファッションチェックを行うことができる。また、コンピュータによる自動解析であるため、ユーザも気軽にかつ容易にファッションチェックを依頼することができる。
【0017】
少なくとも1つの携帯端末が少なくとも1つのカメラ付携帯電話機であり、網がインターネット網であり、サーバが携帯サイトのサーバであることが好ましい。
【0018】
抽出手段が、画像データから人物像のエッジ検出を行うエッジ検出手段を備えていることも好ましい。このエッジ検出手段が、微分フィルタを用いたエッジ検出演算手段であるか、又はCanny法を用いたエッジ検出演算手段であることがより好ましい。
【0019】
特徴点解析手段が、抽出手段が抽出した輪郭線像から、人物像における、少なくとも、体部右側端の横方向位置、体部左側端の横方向位置、頭部上端の縦方向位置、 顎部の縦方向位置、肩部上端の縦方向位置、上半身の服の裾の縦方向位置、下半身の服の裾の縦方向位置、及び足部下端の縦方向位置を特徴点位置として求める手段を含んでいることも好ましい。
【0020】
受け取る手段が少なくとも1つの携帯端末から送られてきた人物像の性別及びファッションの適用環境を含むプロフィール情報を受け取るように構成されており、特徴点解析手段が、受け取ったプロフィール情報における人物像の性別を参照して人物像の特徴点位置を求める手段を含んでいることも好ましい。
【0021】
評価手段が、受け取ったプロフィール情報におけるファッションの適用環境と、特徴点解析手段が求めた特徴点位置とから人物像のファッション度合を評価した評価情報を出力する手段を含んでいることも好ましい。
【0022】
評価手段が、特徴点解析手段が求めた特徴点位置と抽出手段が抽出した輪郭線像とから、首付近における幅Nwidthと肩付近における幅Swidthとを求めると共に、これら2つの幅の比率Nwidth/Swidthに基づいて、首周りの清潔感に関する評価情報を出力する手段を含んでいることも好ましい。
【0023】
この評価情報を出力する手段が、評価情報である清潔感指数Pcを
Pc=−a(Nwidth/Swidth)+b
(ただし、a及びbは定数)から算出して出力するように構成されていることが好ましい。
【0024】
評価手段が、特徴点解析手段が求めた特徴点位置と抽出手段が抽出した輪郭線像と記憶手段に記憶された画像データとから、輪郭線像内に位置する人物像が有する濃淡の分布を算出する濃淡分布算出手段と、濃淡分布算出手段によって算出された濃淡分布から、明暗(色合い)のめりはり度に関する評価情報を出力する手段を含んでいることも好ましい。
【0025】
この評価情報を出力する手段が、算出された濃淡分布の極値を結ぶ三角形の面積の総和から、評価情報であるめりはり度指数Psを
Ps=c(三角形の面積の総和)+d
(ただし、c及びdは定数)から算出して出力するように構成されていることが好ましい。
【0026】
評価手段が、特徴点解析手段が求めた特徴点位置から、人物像の形状のバランスを算出するバランス算出手段と、バランス算出手段によって算出されたバランスから、形状バランスに関する評価情報を出力する手段を含んでいることも好ましい。
【0027】
この評価情報を出力する手段が、人物像のパーツの組合せにおける寸法の比率から、評価情報である形状のバランス指数Pbを算出して出力するように構成されていることが好ましい。この場合、評価情報を出力する手段が、人物像の1つのパーツと他のパーツとの寸法の比率の、あらかじめ定められた比率の基準値に対する類似度から、評価情報である形状のバランス指数Pbを算出して出力するように構成されていることがより好ましい。
【0028】
特徴点解析手段が求めた特徴点位置を記憶手段に記憶された画像データに付加した特徴点位置付画像データを少なくとも1つの携帯端末へ送る手段と、少なくとも1つの携帯端末において微調整された特徴点位置を受け取る手段とをさらに備えており、評価手段は微調整された特徴点位置から人物像のファッション度合を評価した評価情報を出力するように構成されていることも好ましい。
【0029】
特徴点解析手段が、抽出手段が抽出した輪郭線像から、人物像における顔下部の輪郭カーブと、襟部の輪郭カーブとを求め、求めた顔下部の輪郭カーブ及び襟部の輪郭カーブを比較する手段を含んでいることが好ましい。
【0030】
この場合、特徴点解析手段が、抽出手段が抽出した輪郭線像から、人物像における首の長さを求める手段を含んでいることが好ましい。
【発明の効果】
【0031】
本発明によれば、コンピュータにより、画像データが自動的に解析されてファッション度合が評価されるため、簡易にかつ素早く、しかも、低コストでファッションチェックを行うことができる。また、コンピュータによる自動解析であるため、ユーザも気軽にかつ容易にファッションチェックを依頼することができる。
【図面の簡単な説明】
【0032】
【図1】本発明のファッションチェックシステムの一実施形態の構成を概略的に説明するブロック図である。
【図2】図1の実施形態における携帯電話機側の処理内容の概略的な流れを説明するフローチャートである。
【図3】図1の実施形態におけるサーバ側の処理内容の概略的な流れを説明するフローチャートである。
【図4】撮像した人物像の2つの例を示す図である。
【図5】抽出手段による抽出処理の流れを詳細に説明するフローチャートである。
【図6】Canny法を用いてエッジ検出して得た輪郭線画像の2つの例を示す図である。
【図7】1次微分フィルタ用いてエッジ検出して得た輪郭線画像の例を示す図である。
【図8】特徴点解析手段による解析処理の流れを詳細に説明するフローチャートである。
【図9】ラインL1、L2、L3及びL4を検出する動作を説明する図である。
【図10】ラインS、J、B1及びB2を検出する動作を説明する図である。
【図11】携帯電話機に表示される画像例及びパーツ情報のリストを示す図である。
【図12】微調整を行う際のライン付画像の例を表わす図である。
【図13】評価手段によるファッション評価処理の一例として首周りの清潔感の評価処理の流れを詳細に説明するフローチャートである。
【図14】種々の人物像について算出した比率Nwidth/Swidthを示す図である。
【図15】評価手段によるファッション評価処理の一例として色合いのめりはり度の評価処理の流れを詳細に説明するフローチャートである。
【図16】色合いのめりはり度の評価処理における動作の一部を説明する図である。
【図17】画素値のヒストグラムをカーネル型密度関数推定により平滑化した濃淡ヒストグラム曲線を表わす図である。
【図18】評価手段によるファッション評価処理の一例として形状バランスの評価処理の流れを詳細に説明するフローチャートである。
【図19】本発明のファッションチェックシステムの他の実施形態における特徴点解析手段による解析処理の流れを詳細に説明するフローチャートである。
【図20】図19の実施形態における顔下部の輪郭カーブ及び襟部の輪郭カーブを検出する動作を説明する図である。
【図21】顔の輪郭の種々の例を示す図である。
【発明を実施するための形態】
【0033】
図1は本発明におけるファッションチェックシステムの一実施形態の構成を概略的に説明するブロック図である。本実施形態は、ユーザがカメラ付携帯電話機、スマートフォン等の携帯端末によって自分自身の全身像を撮像し、この画像データをインターネット網を介して携帯サイトのサーバへアップロードすることにより、このサーバがファッションの評価を行い、その結果をユーザの携帯端末にダウンロードするようにしたファッションチェックシステムである。
【0034】
同図において、10は携帯サイトのサーバ、11はインターネット(IP)網、121、122、・・・、12nはIP網11を介して又は携帯電話網及びIP網11を介してこのサーバ10に接続可能な複数のユーザのカメラ付携帯電話機、カメラ付PHS、i−Phone(登録商標)を含むスマートフォン、又は例えばカメラ付のi−Pad(登録商標)のようにカメラ機能を有し携帯サイトにアクセス可能なその他の端末等の携帯端末(ただしnは自然数)をそれぞれ示している。
【0035】
サーバ10は、ハードウエアとしては、CPU(中央処理装置)、RAM(ランダムアクセスメモリ)、ROM(リードオンリメモリ)、ディスプレイ装置、及びプリンタやキーボード、マウス等の入出力装置を含むコンピュータ10aと、ユーザ毎の画像データやプロフィール情報を記憶するデータベース(DB)10bと、IP網11との入出力を制御する通信インタフェース10cとから主として構成されている。
【0036】
コンピュータ10aは、機能的には、画像データから輪郭線像を抽出する抽出手段10a1と、輪郭線像から人物像や顔の特徴点位置を求める特徴点解析手段10a2と、特徴点位置から人物像のファッション度合を評価した評価情報を出力する評価手段10a3とを備えている。
【0037】
図2は図1の実施形態における携帯端末側の処理内容の概略的な流れを説明するフローチャートであり、図3は図1の実施形態におけるサーバ側の処理内容の概略的な流れを説明するフローチャートである。以下、これらのフローチャートを用いて本実施形態におけるファッションチェックシステムの構成、動作及び作用効果について詳細に説明する。
【0038】
まず、ユーザは、携帯端末、例えばカメラ付携帯電話機121に付帯されているカメラ機能によって、ファッションチェックすべき人物像(例えばユーザ自身の人物像、顔を含む)を撮像する(図2のステップS1)。この場合、撮像された人物像はカラー画像である。
【0039】
図4はカメラ付携帯電話機121によって撮像した人物像(カラー画像)の2つの例を示す図である。この人物像の撮像では、つぎのような条件を満たす必要がある。
(a)まず、人物像の足先(足部下端)から頭の頂部(頭部上端)まで、全身を収めるように撮像した画像であること(身体の一部がはみ出ていると解析に支障が生じる)、
(b)人物像を、図4(A)に示すように画像の上方向に頭が、下方向に足が位置するように、又は図4(B)に示すように画像の左方向に頭が、右方向に足が位置するように撮像した画像であること(頭の位置を正確に測定するため)、
(c)画像の縦及び横の長さは、人物像の頭から足にかけての方向(以後、縦方向)における画像の幅が、人物像の右手から左手にかけての方向(以後、横方向)における画像の幅より長い画像であること(通常に撮像すればこの条件は満たされる)、
(d)図4(A)に示すように、画像の横方向の端から、画像の横幅の10%の範囲内には人物像を収めないこと(端部は不要な像が写り易いためこの部分を避ける)、
(e)人物像の背景は、人物の服装となるべくは異なる色とすること(輪郭線の検出精度が下がることから人物像の認識に支障の生じる恐れがある)、
(f)人物像は、両腕を身体の横につけ、足を閉じ、直立した姿勢で撮像すること(特殊な姿勢やポーズを取ると、シルエットの自動作成と比率の計算に支障の出る恐れがある)。
【0040】
撮像した人物像が、上述した条件を満たしているかどうか確認し、満たしていない場合は、画像データをユーザサイドで加工する(図2のステップS2)。
【0041】
次いで、この画像データとプロフィール情報とを、IP網11を介して携帯サイトのサーバ10へアップロードする(図2のステップS3)。このプロフィール情報とは、ユーザの基本情報と、撮像した画像データの情報とからなる。ユーザの基本情報は、例えばユーザの性別や身長等を含んでおり、画像データの情報は、撮像した人物の「性別」と、その人物像のファッションが「ビジネス」、「カジュアル」、又は「パーティー」シーンを目的とするものであるか等を示す「ファッションの適用環境」とを少なくとも表わすものである。
【0042】
一方、サーバ10側において、コンピュータ10aは、携帯電話機からアップロードされてきた画像データとプロフィール情報とをDB10bに、そのユーザ対応で記憶する(図3のステップS11)。
【0043】
次いで、コンピュータ10aはこの画像データから輪郭線画像を抽出する(図3のステップS12)。この抽出処理は、抽出手段10a1によって行われる。図5はこの抽出手段10a1による抽出処理の流れを詳細に説明するフローチャートである。
【0044】
抽出手段10a1は、まず、DB10bから対象とする画像データとプロフィール情報とを読出す(図5のステップS121)。
【0045】
次いで、抽出手段10a1は、このカラー画像である画像データをグレースケール化する(図5のステップS122)。グレースケール化は、各画素のRGB値R、G、Bを輝度値Yに換算する。この輝度値Yへの換算は、次の(1)式に基づいて行う。
Y=0.30R+0.59G+0.11B (1)
【0046】
次いで、抽出手段10a1は、このグレースケール化された画素データからエッジ検出を行う(図5のステップS123)。エッジ検出方法としては、本実施形態では、Canny法又はPrewitt法等の1次微分フィルタを用いる方法を用いている。いずれの方法、又はその他のエッジ検出法を用いても良い。なお、必要であれば、エッジ検出の前までに、画像の縦方向を行、横方向を列となるように画像を回転する。
【0047】
エッジ検出の際、エッジの画素値を「1」、それ以外の画素値を「0」とする。図6(A)及び(B)はCanny法を用いてエッジ検出して得た輪郭線画像の2つの例を示す図である。このCanny法を使用するにあたって、標準偏差σ=0.7、下側閾値Thlow=10、上側閾値Thhigh=20なるパラメータを用いている。なお、背景と人物像との境界部において、背景の色と人物像の色とが近いと、即ち輝度値の差が小さいと、エッジの検出精度が低下する。
【0048】
次に、Prewittフィルタを利用してエッジを検出する方法について説明する。ここでは、フィルタの要素和を「0」とする従来法ではなく、下記の(2)式のように例えば5行5列の大きさとする正方行列の中心を「−0.5」とするフィルタマトリックスFL及びFRを用いて畳み込み積分するものであり、これにより、このシステムで用いられる画像に対する横方向のエッジ検出能力を向上させることができる。即ち、フィルタを2つに分解して考えた場合、行列の中心を「−0.5」として画素値を−0.5倍することで重み付けと反転を行い、Prewittフィルタを用いて畳み込み積分を行っている。なお、3行3列や、7行7列等の他のサイズの正方行列を用いても良いことは明らかである。
【数1】
【数2】
【0049】
なお、各画素値EL及びERを加算した画素値ELRについて、
{(ELR−min(ELR))/(max(ELR)−min(ELR))}/2、又は例えば75等の適当な閾値を設定し、閾値以上の要素に「0」、閾値未満の要素に「1」を代入して2値化を行い、あらためて画素値ELRとする。
【0050】
画素値ELRは主に横方向におけるエッジを検出する.そこで、FL及びFRの転置行列を窓関数として畳み込み積分を行い、同様な演算を行うことで得られる各画素値EUDと、各画素値ELRとを加算すれば、上下左右方向に特化したエッジ検出を行うことができる。図7はこの様子を表わしており、同図(A)は画素値ELRで表わしたエッジ画像、同図(B)は画素値EUDで表わしたエッジ画像、同図(C)はこれらを加算した画素値ELR+EUDで表わしたエッジ画像をそれぞれ示している。
【0051】
このようなPrewitt法を応用したエッジ検出方法は、場合によってはCanny法よりも良好にエッジを検出することができる。ただし、Canny法に比べて演算速度が遅くなる可能性がある。また、エッジが細くなるような処理過程があるCanny法に比して、輪郭線が太くなる可能性がある。
【0052】
その後、抽出手段10a1は、このようにして抽出したエッジ画像データを、DB10bに記憶する(図5のステップS124)。
【0053】
再び、図3の処理に戻り、コンピュータ10aは、このようにして得たエッジ画像データから特徴点を解析する(図3のステップS13)。この特徴点解析処理は、特徴点解析手段10a2によって行われる。図8はこの特徴点解析手段10a2による解析処理の流れを詳細に説明するフローチャートである。
【0054】
特徴点解析手段10a2は、まず、DB10bから対象とするエッジ画像データとプロフィール情報とを読出す(図8のステップS131)。
【0055】
特徴点解析手段10a2は、次いで、体部右側端の横方向位置のラインL1及び体部左側端の横方向位置のラインL2を検出する(図8のステップS132)。この検出は、図9(A)及び(B)に示すように、まず、エッジ画像データにおいて、縦方向の検出したエッジ数の和、即ち縦方向の各行上で「1」となる画素の数の和、を求めてこれをエッジの行和とする。次いで、画像の横方向の左端より画像の横幅の10%となる位置から、行和が最初に全エッジ数(行和の総計)の0.2%等の閾値を超えた位置を体部右側端の横方向位置のラインL1として検出する。同様に、画像の横方向の右端より画像の横幅の10%となる位置から、行和が最初に全エッジ数(行和の総計)の閾値を超えた位置を体部左側端の横方向位置のラインL2として検出する。さらに、ラインL1からラインL2までの幅をL12とする。
【0056】
次に、特徴点解析手段10a2は、頭部上端の縦方向位置のラインL3及び足部下端の縦方向位置のラインL4を検出する(図8のステップS133)。この検出は、図9(C)及び(D)に示すように、まず、エッジ画像データのラインL1からラインL2までの範囲において、横方向の検出したエッジ数の和、即ち横方向の各列上で「1」となる画素の数の和、を求めてこれをエッジの列和とする。次いで、画像の上端から、列和が最初に全エッジ数(行和の総計)の0.5%等の閾値を超えた位置を頭部上端の縦方向位置のラインL3として検出する。同様に、画像の下端から、列和が最初に全エッジ数(行和の総計)の閾値を超えた位置を足部下端の縦方向位置のラインL4として検出する。さらに、ラインL3からラインL4までの幅をL34とする。
【0057】
次に、特徴点解析手段10a2は、肩部上端の縦方向位置のラインS及び顎部の縦方向位置のラインJを検出する(図8のステップS134)。この検出は、図10(A)及び(C)に示すように、まず、エッジ画像データのラインL1から幅L12の10%の距離だけ画像にて右側にある縦のラインをScol1、幅L12の90%の距離だけ画像にて右側にある縦のラインをScol2とし、ラインScol1とラインScol2とのいずれかが下方向に向かって最初にエッジ検出点とぶつかる位置を肩部上端の縦方向位置のラインSとして検出する。さらに、プロフィール情報から性別を知り、男性の場合はラインL3とラインSとの幅の85%だけラインL3から下方の位置を、女性の場合はラインL3とラインSとの幅の75%だけラインL3から下方の位置をそれぞれ顎部の縦方向位置のラインJとして検出する。
【0058】
その後、特徴点解析手段10a2は、上半身の服の裾の縦方向位置のラインB1及び下半身の服の裾の縦方向位置のラインB2を検出する(図8のステップS135)。この検出は、図10(B)及び(C)に示すように、まず、ラインL3から幅L34の45%の距離だけ画像にて下方向にある位置と、65%の距離だけ画像にて下方向にある位置との間の範囲において、エッジの列和が最大となる位置を、上半身の服における裾の縦方向位置のラインB1として検出する。また、ラインL3から幅L34の70%の距離だけ画像にて下方向にある位置と、92.5%の距離だけ画像にて下方向にある位置との間の範囲において、エッジの列和が最大となる位置を、下半身の服における裾の縦方向位置のラインB2として検出する。このように、服装の裾ラインは、本実施形態では、ラインB1とラインB2との2本のみを検出している。
【0059】
以上の処理により、図10(D)に示すようなラインL1、L2、L3、L4、S、J、B1及びB2を検出して、シルエットを作成する。ただし、ラインが検出できない場合や、ラインL1、L2、L3及びL4で囲まれる領域の画像データにおける画素数が画像データ全体の画素数1/3を超える場合は、あらかじめ定めた位置にラインのテンプレートを表示することで代用する。
【0060】
その後、特徴点解析手段10a2は、このようにして検出したラインL1、L2、L3、L4、S、J、B1及びB2をDB10bに記憶させる(図8のステップS136)。
【0061】
再び、図3の処理に戻り、コンピュータ10aは、このようにして検出した各位置のラインL1、L2、L3、L4、S、J、B1及びB2をユーザに微調整させると共に、服装(例えばインナー、コート等)の裾に対応する縦方向位置等の単数又は複数の必要とするラインが存在する場合には単数又は複数のラインBi(ただし、iは3以上の自然数)をユーザが追加し、さらに、ラインL1、L2、L3、L4、S、J、B1及びB2並びに追加したラインBiによって規定される領域がどのような服装又は身体(パーツ)であるか等を表わす情報(以下、パーツ情報)をユーザが指示するように、これらラインを画像データに付加して該当する携帯電話機へ送信する(図3のステップS14)。
【0062】
一方、カメラ付携帯電話機121は、サーバ10からラインの微調整及び追加の依頼が来たかどうか監視しており(図2のステップS4)、依頼が来た場合(YESの場合)は、サーバ10から送られてきたライン付の画像データを画面に表示し、ラインの微調整を行うと共に必要であれば、単数又は複数のラインBiの追加を行い、微調整及びライン追加後のライン付画像データと、上述したパーツ情報とをサーバ10へ再アップロードする(図2のステップS5)。即ち、ユーザはカメラ付携帯電話機121に表示されたにライン付画像データを見て各ラインを微調整すると共に必要な単数又は複数のラインBiを追加し、さらに、ラインL1、L2、L3、L4、S、J、B1及びB2並びに追加したラインBiに関する領域がどのような服装又は身体(パーツ)であるか等を表わすパーツ情報を選択して送信する。
【0063】
微調整は、具体的には、調整すべきラインを選択し、横のラインL3、L4、S、J、B1又はB2であれば選択後に上下方向へ移動させる処理である。縦のラインL1又はL2であれば選択後に左右方向に移動させる処理がユーザによって行われる。なお、この際に服装の裾ラインを削除することが可能である。即ち、ワンピースの場合は、下半身の服における裾の縦方向位置のラインB2が不必要となる可能性があるためである。
【0064】
パーツ情報の選択は以下のように行われる。図11はこの場合にカメラ付携帯電話機121に表示される画像例及びパーツ情報のリストを示す図である。即ち、ユーザはカメラ付携帯電話機121に表示された画像から領域を選択しその領域が表示されたリストのどれに該当するかを選択する。例えば、図11(A)の場合はハッチングの付された領域について、「インナー」であると選択し、一方、図11(B)の場合はハッチングの付された領域について、「アウター」であると選択する。なお、図11のリストは、「アウター」、「インナー」等と広義の単語を利用してリスト化した例であり、この図には4項目しか表わされていないが、ユーザの操作によって、さらに多くの項目を表示して選択するように構成されている。
【0065】
表1は、図11よりさらに詳細なパーツ情報のリストの一例を示している。図11のリストに代えて、この表1に示されたリストを順次提示しても良い。
【表1】
【0066】
ここでユーザに提示するパーツ情報リストの順序は、事前にユーザが入力した「ビジネス」、「カジュアル」又は「パーティー」シーン等の「ファッションの適用環境」に応じて変化し、各シーンに着用される可能性が高い項目を優先して表示する。例えば、「ビジネス」シーンであれば、「スーツの上着」、「スーツのズボン・パンツ」及び「スーツのスカート」等が先に表示されるようにする。また、画像の上方に存在する領域を選択した場合は、「頭部」、「スーツの上着」等の項目が優先されるなど、選択領域の位置によってもユーザに提示するリストの順序を変えることが可能である。なお、「ロングコート」のように、複数の領域にまたがってパーツ情報が付されることも許容する。
【0067】
図12は微調整を行う際のライン付画像の例を表わしており、同図(A)はラインを調整する必要が無い例、同図(B)は腕の袖口を上着(ジャケット)の裾であるラインB1と誤検出しているので、このラインB1を微調整する必要がある例、同図(C)も腕の袖口を上着(ジャケット)の裾であるラインB1と誤検出しているのでこのラインB1を微調整する必要がある例、同図(D)はサンダルをズボンの裾であるラインB2と誤検出しているのでこのラインB2を微調整すること、及びチュニックシャツの裾を検出していないのでラインB1を追加する必要がある例である。
【0068】
再び、図3の処理に戻り、コンピュータ10aは、カメラ付携帯電話機121から微調整及びライン追加後のライン付画像データ、並びに各ライン及び追加ラインの領域のパーツ情報が再アップロードされたかどうか監視しており(図3のステップS15)、再アップロードされた場合(YESの場合)は、この微調整及びライン追加後のライン付画像データと各ライン及び追加ラインの領域のパーツ情報とをDB10bへ記憶させると共にこの画像データ及びパーツ情報からファッション評価を行う(図3のステップS16)。この評価処理は、評価手段10a3によって行われる。
【0069】
図13はこの評価手段10a3によるファッション評価処理の一例として首周りの清潔感の評価処理の流れを詳細に説明するフローチャートである。
【0070】
この首周りの清潔感の評価処理として、評価手段10a3は、まず、DB10bから、エッジ画像データと、肩部上端の縦方向位置のラインSと、顎部の縦方向位置のラインJと、ラインL1と、ラインL2と、ラインScol1と、ラインScol2とを読出す(図13のステップS1601)。
【0071】
次いで、評価手段10a3は、首付近における幅Nwidthを検出する(図13のステップS1602)。この検出は、ラインSとラインJとの間で、エッジ検出点間の距離が最も小さい値を首付近における幅Nwidthとして検出する。即ち、エッジ検出点間の幅が最も小さい位置を首位置として、その幅を首付近における幅Nwidthとする。
【0072】
次いで、評価手段10a3は、肩付近における幅Swidthを検出する(図13のステップS1603)。この検出は、ラインScol1とラインScol2との間の距離を肩付近における幅Swidthとして検出する。
【0073】
次いで、評価手段10a3は、これら2つの幅の比率Nwidth/Swidthを用いて、下式から首周りの清潔感(すっきり感)を表わす清潔感指数Pcを算出する(図13のステップS1604)。
Pc=−a(Nwidth/Swidth)+b
【0074】
この清潔感指数Pcがそのまま首周りの清潔感(すっきり感)を表わしている。ここで、a及びbは定数であり、通常はa=50、b=95に設定されている。ただし、この定数a及びbは、ユーザから取得した「ビジネス」、「カジュアル」又は「パーティー」等のファッションの適用環境の情報や、「男性」又は「女性」等の性別情報に応じて修正されることが望ましい。即ち、「男性」の場合は短髪である可能性が「女性」の場合より高いため、清潔感指数Pcが高くなる傾向にあり、これを補償する必要がある。また、「カジュアル」及び「女性」の場合は、首元にストールを巻く可能性があるため、清潔感指数Pcが低くなる傾向にあり、これを補償する必要がある。さらに、「パーティー」及び「女性」の場合は、髪をアップする可能性が高いため、清潔感指数Pcが低くなる傾向にあり、これを補償する必要がある。例えば、「ビジネス」及び「男性」の場合にa=45、b=100等と修正される。
【0075】
清潔感指数Pcは、最も清潔感が高い場合はPc=bとなり、この清潔感指数Pcが低くなるにつれ、清潔感が低いこととなる。最低の場合は清潔感指数Pcがマイナスとなることもある。具体的には、この清潔感指数Pcは5(最高)、4、3、2、1、0(最低)の目盛りを有するレーダーチャートで表示するが、そのためには、求めた清潔感指数Pcをレーダーチャート表示用の数値5〜0に変換する。ただし、清潔感指数Pcがマイナスの場合はPc=0とする。
【0076】
図14は種々の人物像について算出した比率Nwidth/Swidthを示す図である。同図(A)では比率Nwidth/Swidth=0.7241であるため、清潔感指数Pcは約59であり、同図(B)では比率Nwidth/Swidth=0.4746であるため、清潔感指数Pcは約71であり、同図(C)では比率Nwidth/Swidth=0.3333であるため、清潔感指数Pcは約78であり、同図(D)では比率Nwidth/Swidth=0.3148であるため、清潔感指数Pcは約79である。ただし、a=50、b=95とした。即ち、同図(A)は首周りの清潔感(すっきり感)が最も低く、同図(D)は首周りの清潔感(すっきり感)が最も高いと評価される。
【0077】
その後、評価手段10a3は、このようにして求めた首周りの清潔感の評価結果である清潔感指数Pc及びそのレーダーチャート表示用の数値をDB10bに記憶する(図13のステップS1605)。
【0078】
図15は評価手段10a3によるファッション評価処理の一例として色合いのめりはり度の評価処理の流れを詳細に説明するフローチャートである。
【0079】
この色合い(明暗)のめりはり度の評価処理として、評価手段10a3は、まず、DB10bから、画像データと、エッジ画像データと、ラインL1と、ラインL2と、ラインL3と、ラインL4とを読出す(図15のステップS1611)。
【0080】
次いで、評価手段10a3は、図16(A)に示すように、ラインL1、L2、L3及びL4に囲まれた領域内のエッジ画像データについて、ラインL1、L2、L3及びL4の各々から横方向、縦方向に進んで最初にエッジ検出点とぶつかる位置までに存在する画素にフラグを立て、フラグが立っている全ての画素に画素値「255」を代入する(図15のステップS1612)。これにより、ラインL1、L2、L3及びL4に囲まれた領域内で、エッジの外側の全画素の画素値が「255」を有することとなる。
【0081】
次いで、評価手段10a3は、図16(B)に示すような、ラインL1、L2、L3及びL4に囲まれた領域内の画像データに関して、画素値「0」から「254」までの値を持つ画素xiを抽出し、抽出した全画素数をNとし、式(5)によるカーネル型密度関数推定を行うことで、ヒストグラムを平滑化する(図15のステップS1613)。カーネルとする関数は式(6)に示すガウス関数とする。ここで、平滑化バンド幅はh=5、推定する点の数は256とする。
【数3】
【0082】
このようにして求めた画素値のヒストグラムをガウス関数をカーネルとする密度関数推定により平滑化した濃淡ヒストグラム曲線の一例が図17に示されている。図17に示した例では、5つの山P1、P2、P3、P4及びP5と、4つの谷B1、B2、B3及びB4からなる極値が存在している。評価手段10a3は、このような全ての山の組合わせと、2つの山の間にある最も密度値が低い谷とを結ぶ線で囲まれる三角形の面積を算出する(図15のステップS1614)。具体的には、図17において、山P1、山P2及び谷B1を結ぶ三角形P1P2B1の面積を求め、山P1、山P3及び谷B1を結ぶ三角形P1P3B1の面積を求め、山P1、山P2及び谷B1を結ぶ三角形の面積を求め、山P1、山P4及び谷B1を結ぶ三角形の面積を求め、山P1、山P5及び谷B1を結ぶ三角形の面積を求め、山P2、山P3及び谷B2を結ぶ三角形の面積を求め、山P2、山P4及び谷B2を結ぶ三角形の面積を求め、山P2、山P5及び谷B2を結ぶ三角形の面積を求め、山P3、山P4及び谷B3を結ぶ三角形の面積を求め、山P3、山P5及び谷B3を結ぶ三角形の面積を求め、山P4、山P5及び谷B4を結ぶ三角形の面積を求めることを行う。
【0083】
次いで、評価手段10a3は、このようにして求めた全ての三角形の面積の総和を用いて、下式から輝度に基づく色合い(明暗)のめりはり度を表わすめりはり度指数Psを算出する(図15のステップS1615)。
Ps=c(三角形の面積の総和)+d
【0084】
このめりはり度指数Psがそのまま色合い(明暗)のめりはり度を表わしている。ここで、c及びdは定数であり、通常はc=15、d=40に設定されている。ただし、この定数c及びdは、ユーザから取得した「ビジネス」、「カジュアル」又は「パーティー」等のファッションの適用環境の情報に応じて修正されることが望ましい。即ち、「ビジネス」及び「パーティー」の場合は、多色使いしていないことが予想されるため、山の数が少ないことが想定され、めりはり度指数Psが低くなる傾向にあり、これを補償する必要がある。また、「カジュアル」の場合は、色の数が多く使われており、山の数が多く山の面積バランスも良いので、めりはり度指数Psが高くなる傾向にあり、これを補償する必要がある。
【0085】
最もめりはり度が高い場合はめりはり度指数Psが100を超え(c=15、d=40の場合)、このめりはり度指数Psが低くなるにつれ、めりはり度が低いこととなる。最低の場合はめりはり度指数PsがPs=dとなる。具体的には、このめりはり度指数Psは5(最高)、4、3、2、1、0(最低)の目盛りを有するレーダーチャートで表示するが、そのためには、求めためりはり度指数Psをレーダーチャート表示用の数値5〜0に変換する。
【0086】
その後、評価手段10a3は、このようにして求めた色合い(明暗)のめりはり度の評価結果であるめりはり度指数Ps及びそのレーダーチャート表示用の数値をDB10bに記憶させる(図15のステップS1616)。
【0087】
図18は評価手段10a3によるファッション評価処理の一例として形状のバランスの評価処理の流れを詳細に説明するフローチャートである。
【0088】
この形状バランスの評価処理として、評価手段10a3は、まず、DB10bから、ラインL1と、ラインL2と、ラインL3と、ラインL4と、ラインSと、ラインJと、ラインB1と、ラインB2と、ユーザによって追加された単数又は複数のラインBiと、これら各ライン及び追加ラインBiで区分される領域がそれぞれどのようなパーツに関するラインであるかについてユーザから送信されたパーツ情報とを読出す(図18のステップS1621)。
【0089】
次いで、評価手段10a3は、これらデータから、服装や身体の各パーツの長さや幅等の寸法を算出する(図18のステップS1622)。例えば、身長はラインL3からラインL4までの幅L34から得られ、ジャケットの丈は肩部上端のラインSからジャケットの裾に対応するラインB1までの長さから得られ、インナーの丈は肩部上端のラインSからインナーの裾に対応する追加ラインB3までの長さから得られ、コート(ロングコート)の丈は肩部上端のラインSからコートの裾に対応する追加ラインB4までの長さから得られる。どのパーツの寸法を算出するかは、ユーザがどのパーツ情報を入力したかに応じて決められる。
【0090】
次いで、評価手段10a3は、算出した各パーツの寸法から全ての組合せパターンについてパーツの比率を算出する(図18のステップS1623)。即ち、ユーザが入力したパーツ情報から、次の表2に示すようなあらかじめ定められたパーツの組合せパターンに相当する全ての組合せパターンについて、パーツの比率を算出する。
【表2】
即ち、C1=(カーディガン)/(身長)、C2=(カーディガン)/(インナー)、・・・、Ci、Cmというm個の組合せパターンの比率を算出する(ただし、mは自然数)。
【0091】
次いで、評価手段10a3は、このようにして算出した組合せパターンの比率Ciと、各組合せパターンについてあらかじめ定められた比率の基準値Ci′とから、下式を用いて形状のバランス指数Pbを算出する(図18のステップS1624)。
【数4】
上式は、算出した各組合せパターンの比率Ciのその基準値Ci′に対する類似度の総和を求めるものであり、100からの減点で算出したものが、形状のバランス指数Pbとなる。以上、求めたバランス指数の算出方法は、過去の膨大な量のコーディネート及び写真情報の検証によって得られたものである。
【0092】
その後、評価手段10a3は、算出した形状のバランス指数PbをDB10bに記憶させる(図18のステップS1625)。
【0093】
形状のバランス指数Pbは、最もバランスの良好な場合はPb=100となり、このバランス指数Pbが低くなるにつれ、バランスが悪いこととなる。具体的には、この形状のバランス指数Pbは5(最高)、4、3、2、1、0(最低)の目盛りを有するレーダーチャートで表示するが、そのためには、求めた形状のバランス指数Pbをレーダーチャート表示用の数値5〜0に変換する。ただし、算出したバランス指数Pbがマイナスの場合はPb=0とする。
【0094】
再び、図3の処理に戻り、コンピュータ10aは、このようにして求めたファッション評価結果をDB10bから読出し、該当する携帯電話機へ送信する(図3のステップS17)。ファッション評価結果としては、各評価結果である、清潔感指数、めりはり度指数及びバランス指数の得点を、5〜0の目盛りを有するレーダーチャートで表示する。
【0095】
一方、カメラ付携帯電話機121は、サーバ10から評価結果を受信したかどうか監視しており(図2のステップS6)、受信した場合(YESの場合)は、そのファッション評価結果をレーダーチャートとして、画面に表示する(図2のステップS7)。これによって、ユーザは、撮像した人物像のファッション評価結果を自己のカメラ付携帯電話機121によって確認することができる。
【0096】
以上説明したように、本実施形態によれば、サーバ10のコンピュータ10aが、ファッションセンスの評価を望むユーザのカメラ付携帯電話機121から携帯電話サイトを介してアップロードされてきた画像データから人物像のエッジ画像を抽出し、抽出したエッジ画像から人物像の特徴点位置である種々のラインを求め、これらライン及び画像データに基づいて、人物像の首周りの清潔感、色合いのめりはり度、及び形状バランス等のファッション度合を評価するように構成されており、この評価結果がユーザのカメラ付携帯電話機121に送られる。このように、コンピュータ10aにより、画像データが自動的に解析されてファッション度合が評価されるため、簡易にかつ素早く、しかも、低コストでファッションチェックを行うことができる。また、コンピュータ10aによる自動解析であるため、しかもこの評価の課程にユーザ以外の人物による直接的な操作はなされないため、ユーザも気軽にかつ容易にしかも安心してファッションチェックを依頼することができる。しかも、ユーザに対してレーダーチャートで示すことにより、ユーザに ファッション性の得点の提示と助言を行うことができる。
【0097】
さらに、人物像のファッション性を数値化する際に、ユーザから取得した「ビジネス」、「カジュアル」、又は「パーティー」等の「ファッションの適用環境」情報や「性別」を反映させることで、画像に写る人物像のファッション性における「清潔感」、「めりはり度」及び「バランス」を得点化している。具体的には、例えば「清潔感」に関しては、男性の方が女性よりも短い髪型の場合が多いため、清潔感指数が女性よりも高くなる可能性があり、また、「パーティー」では、女性は髪型をアップにすることが多いため、他の環境の場合よりも清潔感指数が高くなる可能性あるので、「ファッションの適用環境」や「性別」を反映させることが望ましい。また、例えば「めりはり度」に関しては、「ビジネス」や「パーティー」では、色の数が少なくなることが予想されるので、「ファッションの適用環境」を反映させることが望ましい。さらに、例えば「バランス」に関しては、「カジュアル」では、ジャケット、インナーボトムス等の組み合わせ数が多いため、他の適用環境よりも有利となることが予想されるので、「ファッションの適用環境」を反映させることが望ましい。
【0098】
なお、上述した実施形態では、人物像の首周りの清潔感、色合いのめりはり度、及び形状バランスの3つについてのファッションチェックを行っているが、例えば色合いのバランス等の他のチェック内容を追加して、4つ以上のファッションチェックを行っても良いことはもちろんである。
【0099】
図19は本発明のファッションチェックシステムの他の実施形態における特徴点解析手段10a2による解析処理の流れを詳細に説明するフローチャートである。
【0100】
本実施形態は、携帯サイトのサーバへアップロードされた画像データから、サーバがユーザの顔下部及び襟部の特徴点位置を抽出し顔下部の輪郭カーブ及び襟部輪郭カーブを検出してファッションの評価を行い、その結果をユーザの携帯端末にダウンロードするようにしたファッションチェックシステムである。本実施形態におけるサーバ側及びユーザ側のハードウェアの構成は図1の実施形態の場合と同じであるが、サーバ側及びユーザ側のソフトウェアの構成は図1の実施形態の場合と一部異なっている。特に、特徴点解析手段10a2による特徴点解析処理(図3のステップS13)及びそれ以降の処理内容が異なっている。
【0101】
図19に示すように、特徴点解析手段10a2は、まず、DB10bから、顔及び襟部のエッジ画像データを読出す(図19のステップS231)。
【0102】
特徴点解析手段10a2は、次いで、顔の輪郭を表すエッジ画像データから、顎部分の2点C1及びC2並びに左右のえら部分の4点B1、B2、B3及びB4(図20(A)参照)の位置を特徴点として検出し、顔下部の輪郭カーブを求めてそのパターンを決定する(図19のステップS232)。これら特徴点の検出方法として種々の方法が適用可能であるが、例えば、頭部上端ライン及び頭部下端ラインから顔の長さを求め、その長さの所定割合だけ頭部下端ラインから上がった位置のラインと頭部の側方ラインとの交点を左右のえら部分の特徴点B1、B2、B3及びB4として求める方法であっても良い。また、顔の幅の所定割合だけ中心から離れた位置のラインと頭部下端ラインとの交点を顎部分の特徴点C1及びC2として求める方法であっても良い。次いで、これら求めた複数の特徴点から定まる輪郭カーブが、あらかじめ定めた輪郭パターンのいずれに属するか決定する。輪郭パターンとしては、図21に示すように、例えば6つのパターンが想定できる。即ち、同図(A)のラウンド、(B)のオーバル、(C)のロング、(D)のスクェア、(E)のロンバス、(F)のトライアングルの6つの輪郭パターンが想定できる。輪郭パターンの決定は、輪郭カーブにおける曲率の変化の大きな曲がり角の部分に着目し、これら6つの輪郭パターンのいずれに属するかを決める。なお、求めた特徴点を通る輪郭カーブの数式を求めて、これら輪郭パターンの数式のいずれに近いかを求めて決定しても良い。
【0103】
次いで、特徴点解析手段10a2は、襟部の輪郭を表すエッジ画像データから、数点の位置を特徴点として検出し、襟部の輪郭カーブを求めてそのパターンを決定する(図19のステップS233)。襟部の特徴点、輪郭カーブ及び輪郭パターンは、顔下部の特徴点、輪郭カーブ及び輪郭パターンと同様に求めることができる。
【0104】
さらに、特徴点解析手段10a2は、頭部下端ラインと肩のラインとから、首の長さを検出する(図19のステップS234)。
【0105】
次いで、特徴点解析手段10a2は、このようにして検出した顔下部の輪郭パターン、襟部の輪郭パターン及び首の長さをDB10bに記憶させる(図19のステップS235)。
【0106】
その後、特徴点解析手段10a2は、DB10bに記憶されている顔下部の輪郭パターンと襟部の輪郭パターンとを読出して両者を比較し、得点を付ける(図19のステップS236)。得点の付け方としては、例えば、顔下部の輪郭パターンと襟部の輪郭パターンとが同じパターンであれば100点、パターンは異なるが同じ系統のパターンであれば90点、それ以外は0点という付け方を行う。同じ系統のパターンとは、図21において、(A)〜(C)の曲線形の同じ系統のパターン、(D)〜(F)の直線形の同じ系統のパターンをそれぞれ指している。即ち、顔下部の輪郭パターンが(A)〜(C)の曲線形のパターンを有する場合は、柔らかい印象を与える襟ぐりの服(ラウンドネック、丸襟、ヘチマ襟、フリル襟、ウィングカラー等)であれば好印象となり、顔下部の輪郭パターンが(D)〜(F)の直線形のパターンを有する場合は、直線のラインを持つシャープな印象の服(Vネック、シャツカラー、スクエアネック、マオカラー等)が好印象となるためである。
【0107】
図20の例で説明すると、例えば、同図(A)の場合は、顔下部の輪郭パターンが(A)ラウンドであるが、襟部の輪郭パターンが(B)オーバル又は(C)ロングであるため、曲線形の同じ系統のパターンとなり、得点は90点となる。同図(B)の場合は、顔下部の輪郭パターン及び襟部の輪郭パターンが共に(A)ラウンドであるため、得点は100点となる。同図(C)の場合は、顔下部の輪郭パターン及び襟部の輪郭パターンが共に(B)オーバルであるため、得点は100点となるが、タートルネックであるため、次の首の長さに関して大きく減点される。同図(D)の場合は、顔下部の輪郭パターンが(F)トライアングルであるが、襟部の輪郭パターンが(A)ラウンドであるため、異なる系統のパターンとなり、得点は0点となる。同図(E)の場合は、顔下部の輪郭パターンが(D)スクェアであるが、襟部の輪郭パターンが(B)オーバルであるため、異なる系統のパターンとなり、得点は0点となる。同図(F)の場合は、顔下部の輪郭パターン及び襟部の輪郭パターンが共に(D)スクェアであるため、得点は100点となる。
【0108】
次いで、特徴点解析手段10a2は、DB10bに記憶されている首の長さを読出して、この首の長さに応じて、得点を減点する(図19のステップS237)。読み出した首の長さが長いほど、存在感を感じさせるので減点が少ない。読み出した首の長さが短い場合やタートルネックの場合は、存在感を感じさせないため、減点が大きくなる。
【0109】
次いで、このようにして得られた得点をDB10bに記憶させる(図19のステップS238)。
【0110】
その後、図3の処理に戻り、コンピュータ10aは、このようにして求めた得点をファッション評価結果としてDB10bから読出し、該当する携帯電話機へ送信する(図3のステップS17)。ファッション評価結果としては、前述したものと同様に、得点を5〜0の目盛りを有するレーダーチャートで表示する。
【0111】
なお、本実施形態のユーザの顔下部及び襟部の特徴点位置を抽出し、顔下部の輪郭カーブ及び襟部輪郭カーブを検出して行うファッションの評価は、この評価のみを単独で行っても良いし、図1の実施形態におけるファッションの評価と共に行っても良い。
【0112】
以上述べた実施形態は全て本発明を例示的に示すものであって限定的に示すものではなく、本発明は他の種々の変形態様及び変更態様で実施することができる。従って本発明の範囲は特許請求の範囲及びその均等範囲によってのみ規定されるものである。
【符号の説明】
【0113】
10 サーバ
10a コンピュータ
10a1 抽出手段
10a2 特徴点解析手段
10a3 評価手段
10b データベース(DB)
10c 通信インタフェース
11 インターネット(IP)網
121 カメラ付携帯電話機
122、12n スマートフォン
【技術分野】
【0001】
本発明は、カメラ付携帯電話機やスマートフォン等の携帯端末を用いて撮像した人物画像についてファッション評価を行うファッションチェックシステムに関する。
【背景技術】
【0002】
ユーザを撮像して得た画像から、そのユーザの容姿等について評価を行うシステムについては、いくつかの提案が既になされている。
【0003】
例えば、特許文献1には、ユーザの顔又は身体を撮像した画像のデータをネットワークを介してサービス事業者へ送信し、サービス事業者においては化粧アドバイザやスタイリスト等の専門家がその画像を見て容姿に関するアドバイスを行うシステムが開示されている。
【0004】
特許文献2には、ユーザの写真画像をデジタルカメラで撮像し、その画像データをネットワークを介して販売者システムへ送信し、販売者システムはこの画像データ等からユーザの体型サイズを求め、そのユーザにフィットした寸法の商品による合成画像を作成し、これをユーザ端末へ返送するシステムが開示されている。
【0005】
特許文献3には、携帯電話機である利用者端末によって利用者の容姿画像を撮像し、その画像データをネットワークを介して管理サーバへ送信し、利用者端末又は管理サーバはこの画像データから体型代表点を自動認識し、この認識した体型代表点を利用して服の試着を行い、試着した状態の画像を利用者端末へ返送するシステムが開示されている。さらに、試着した状態のファッションの診断を専門家が行うことも開示されている。
【0006】
特許文献4には、カメラによって人物を撮像し、その撮像画像から各部の特徴を数値化した特徴データを登録しておき、顔形状、髪形状、肌色等の容姿の判定に用いるシステムが開示されている。
【先行技術文献】
【特許文献】
【0007】
【特許文献1】特開2001−078178号公報
【特許文献2】特開2002−373266号公報
【特許文献3】特開2004−086662号公報
【特許文献4】特開2008−009560号公報
【発明の概要】
【発明が解決しようとする課題】
【0008】
しかしながら、特許文献1のシステムは、化粧アドバイザやスタイリスト等の専門家が画像を見て容姿に関するアドバイスを行うものであり、このような専門家なしに自動的にユーザのファッションチェックを行うものではない。
【0009】
また、特許文献2のシステムは、画像データから体型サイズを求めてフィットした商品の選択を行っているが、ユーザのファッションチェックは全く行っていない。
【0010】
特許文献3のシステムは、服試着を行うものであり、利用者のファッションチェックを画像データから自動的に行うものではない。
【0011】
さらに、特許文献4のシステムは、容姿の画像データからその人物のファッションチェックは行うものではない。
【0012】
このように、従来公知のいずれのシステムも、画像データからユーザのファッションチェックを行わないか、行うとしても専門家がその画像を見て判断するものであり、コンピュータが自動的にファッションをチェックするものではない。
【0013】
このため、簡易にかつ素早く、しかも、低コストでユーザのファッションチェックを行うことができなかった。また、ユーザも、気軽にかつ容易にファッションチェックを依頼することができなかった。
【0014】
従って本発明の目的は、ユーザの画像データから自動的にファッションチェックを行うことができる携帯端末を用いたファッションチェックシステムを提供することにある。
【課題を解決するための手段】
【0015】
本発明の携帯端末を用いたファッションチェックシステムは、少なくとも1つの携帯端末と、少なくとも1つの携帯端末に網を介して接続可能に構成されたサーバとを備えている。このサーバは、少なくとも1つの携帯端末から送られてきた人物像の画像データを受け取る手段と、受け取った画像データを記憶する記憶手段と、コンピュータ手段と、コンピュータ手段が出力する評価情報を少なくとも1つの携帯端末へ送る手段とを備えている。このコンピュータ手段は、記憶手段に記憶された画像データから人物像の輪郭線像を抽出する抽出手段と、抽出手段が抽出した輪郭線像から人物像の特徴点位置を求める特徴点解析手段と、特徴点解析手段が求めた特徴点位置から人物像のファッション度合を評価した評価情報を出力する評価手段とを備えている。
【0016】
サーバのコンピュータ手段は、携帯端末から送られてきた画像データから人物像の輪郭線像を抽出し、抽出した輪郭線像から人物像の特徴点位置を求め、この特徴点位置から人物像のファッション度合を評価するように構成されており、この評価結果が携帯端末に送られる。このように、コンピュータにより、画像データが自動的に解析されてファッション度合が評価されるため、簡易にかつ素早く、しかも、低コストでファッションチェックを行うことができる。また、コンピュータによる自動解析であるため、ユーザも気軽にかつ容易にファッションチェックを依頼することができる。
【0017】
少なくとも1つの携帯端末が少なくとも1つのカメラ付携帯電話機であり、網がインターネット網であり、サーバが携帯サイトのサーバであることが好ましい。
【0018】
抽出手段が、画像データから人物像のエッジ検出を行うエッジ検出手段を備えていることも好ましい。このエッジ検出手段が、微分フィルタを用いたエッジ検出演算手段であるか、又はCanny法を用いたエッジ検出演算手段であることがより好ましい。
【0019】
特徴点解析手段が、抽出手段が抽出した輪郭線像から、人物像における、少なくとも、体部右側端の横方向位置、体部左側端の横方向位置、頭部上端の縦方向位置、 顎部の縦方向位置、肩部上端の縦方向位置、上半身の服の裾の縦方向位置、下半身の服の裾の縦方向位置、及び足部下端の縦方向位置を特徴点位置として求める手段を含んでいることも好ましい。
【0020】
受け取る手段が少なくとも1つの携帯端末から送られてきた人物像の性別及びファッションの適用環境を含むプロフィール情報を受け取るように構成されており、特徴点解析手段が、受け取ったプロフィール情報における人物像の性別を参照して人物像の特徴点位置を求める手段を含んでいることも好ましい。
【0021】
評価手段が、受け取ったプロフィール情報におけるファッションの適用環境と、特徴点解析手段が求めた特徴点位置とから人物像のファッション度合を評価した評価情報を出力する手段を含んでいることも好ましい。
【0022】
評価手段が、特徴点解析手段が求めた特徴点位置と抽出手段が抽出した輪郭線像とから、首付近における幅Nwidthと肩付近における幅Swidthとを求めると共に、これら2つの幅の比率Nwidth/Swidthに基づいて、首周りの清潔感に関する評価情報を出力する手段を含んでいることも好ましい。
【0023】
この評価情報を出力する手段が、評価情報である清潔感指数Pcを
Pc=−a(Nwidth/Swidth)+b
(ただし、a及びbは定数)から算出して出力するように構成されていることが好ましい。
【0024】
評価手段が、特徴点解析手段が求めた特徴点位置と抽出手段が抽出した輪郭線像と記憶手段に記憶された画像データとから、輪郭線像内に位置する人物像が有する濃淡の分布を算出する濃淡分布算出手段と、濃淡分布算出手段によって算出された濃淡分布から、明暗(色合い)のめりはり度に関する評価情報を出力する手段を含んでいることも好ましい。
【0025】
この評価情報を出力する手段が、算出された濃淡分布の極値を結ぶ三角形の面積の総和から、評価情報であるめりはり度指数Psを
Ps=c(三角形の面積の総和)+d
(ただし、c及びdは定数)から算出して出力するように構成されていることが好ましい。
【0026】
評価手段が、特徴点解析手段が求めた特徴点位置から、人物像の形状のバランスを算出するバランス算出手段と、バランス算出手段によって算出されたバランスから、形状バランスに関する評価情報を出力する手段を含んでいることも好ましい。
【0027】
この評価情報を出力する手段が、人物像のパーツの組合せにおける寸法の比率から、評価情報である形状のバランス指数Pbを算出して出力するように構成されていることが好ましい。この場合、評価情報を出力する手段が、人物像の1つのパーツと他のパーツとの寸法の比率の、あらかじめ定められた比率の基準値に対する類似度から、評価情報である形状のバランス指数Pbを算出して出力するように構成されていることがより好ましい。
【0028】
特徴点解析手段が求めた特徴点位置を記憶手段に記憶された画像データに付加した特徴点位置付画像データを少なくとも1つの携帯端末へ送る手段と、少なくとも1つの携帯端末において微調整された特徴点位置を受け取る手段とをさらに備えており、評価手段は微調整された特徴点位置から人物像のファッション度合を評価した評価情報を出力するように構成されていることも好ましい。
【0029】
特徴点解析手段が、抽出手段が抽出した輪郭線像から、人物像における顔下部の輪郭カーブと、襟部の輪郭カーブとを求め、求めた顔下部の輪郭カーブ及び襟部の輪郭カーブを比較する手段を含んでいることが好ましい。
【0030】
この場合、特徴点解析手段が、抽出手段が抽出した輪郭線像から、人物像における首の長さを求める手段を含んでいることが好ましい。
【発明の効果】
【0031】
本発明によれば、コンピュータにより、画像データが自動的に解析されてファッション度合が評価されるため、簡易にかつ素早く、しかも、低コストでファッションチェックを行うことができる。また、コンピュータによる自動解析であるため、ユーザも気軽にかつ容易にファッションチェックを依頼することができる。
【図面の簡単な説明】
【0032】
【図1】本発明のファッションチェックシステムの一実施形態の構成を概略的に説明するブロック図である。
【図2】図1の実施形態における携帯電話機側の処理内容の概略的な流れを説明するフローチャートである。
【図3】図1の実施形態におけるサーバ側の処理内容の概略的な流れを説明するフローチャートである。
【図4】撮像した人物像の2つの例を示す図である。
【図5】抽出手段による抽出処理の流れを詳細に説明するフローチャートである。
【図6】Canny法を用いてエッジ検出して得た輪郭線画像の2つの例を示す図である。
【図7】1次微分フィルタ用いてエッジ検出して得た輪郭線画像の例を示す図である。
【図8】特徴点解析手段による解析処理の流れを詳細に説明するフローチャートである。
【図9】ラインL1、L2、L3及びL4を検出する動作を説明する図である。
【図10】ラインS、J、B1及びB2を検出する動作を説明する図である。
【図11】携帯電話機に表示される画像例及びパーツ情報のリストを示す図である。
【図12】微調整を行う際のライン付画像の例を表わす図である。
【図13】評価手段によるファッション評価処理の一例として首周りの清潔感の評価処理の流れを詳細に説明するフローチャートである。
【図14】種々の人物像について算出した比率Nwidth/Swidthを示す図である。
【図15】評価手段によるファッション評価処理の一例として色合いのめりはり度の評価処理の流れを詳細に説明するフローチャートである。
【図16】色合いのめりはり度の評価処理における動作の一部を説明する図である。
【図17】画素値のヒストグラムをカーネル型密度関数推定により平滑化した濃淡ヒストグラム曲線を表わす図である。
【図18】評価手段によるファッション評価処理の一例として形状バランスの評価処理の流れを詳細に説明するフローチャートである。
【図19】本発明のファッションチェックシステムの他の実施形態における特徴点解析手段による解析処理の流れを詳細に説明するフローチャートである。
【図20】図19の実施形態における顔下部の輪郭カーブ及び襟部の輪郭カーブを検出する動作を説明する図である。
【図21】顔の輪郭の種々の例を示す図である。
【発明を実施するための形態】
【0033】
図1は本発明におけるファッションチェックシステムの一実施形態の構成を概略的に説明するブロック図である。本実施形態は、ユーザがカメラ付携帯電話機、スマートフォン等の携帯端末によって自分自身の全身像を撮像し、この画像データをインターネット網を介して携帯サイトのサーバへアップロードすることにより、このサーバがファッションの評価を行い、その結果をユーザの携帯端末にダウンロードするようにしたファッションチェックシステムである。
【0034】
同図において、10は携帯サイトのサーバ、11はインターネット(IP)網、121、122、・・・、12nはIP網11を介して又は携帯電話網及びIP網11を介してこのサーバ10に接続可能な複数のユーザのカメラ付携帯電話機、カメラ付PHS、i−Phone(登録商標)を含むスマートフォン、又は例えばカメラ付のi−Pad(登録商標)のようにカメラ機能を有し携帯サイトにアクセス可能なその他の端末等の携帯端末(ただしnは自然数)をそれぞれ示している。
【0035】
サーバ10は、ハードウエアとしては、CPU(中央処理装置)、RAM(ランダムアクセスメモリ)、ROM(リードオンリメモリ)、ディスプレイ装置、及びプリンタやキーボード、マウス等の入出力装置を含むコンピュータ10aと、ユーザ毎の画像データやプロフィール情報を記憶するデータベース(DB)10bと、IP網11との入出力を制御する通信インタフェース10cとから主として構成されている。
【0036】
コンピュータ10aは、機能的には、画像データから輪郭線像を抽出する抽出手段10a1と、輪郭線像から人物像や顔の特徴点位置を求める特徴点解析手段10a2と、特徴点位置から人物像のファッション度合を評価した評価情報を出力する評価手段10a3とを備えている。
【0037】
図2は図1の実施形態における携帯端末側の処理内容の概略的な流れを説明するフローチャートであり、図3は図1の実施形態におけるサーバ側の処理内容の概略的な流れを説明するフローチャートである。以下、これらのフローチャートを用いて本実施形態におけるファッションチェックシステムの構成、動作及び作用効果について詳細に説明する。
【0038】
まず、ユーザは、携帯端末、例えばカメラ付携帯電話機121に付帯されているカメラ機能によって、ファッションチェックすべき人物像(例えばユーザ自身の人物像、顔を含む)を撮像する(図2のステップS1)。この場合、撮像された人物像はカラー画像である。
【0039】
図4はカメラ付携帯電話機121によって撮像した人物像(カラー画像)の2つの例を示す図である。この人物像の撮像では、つぎのような条件を満たす必要がある。
(a)まず、人物像の足先(足部下端)から頭の頂部(頭部上端)まで、全身を収めるように撮像した画像であること(身体の一部がはみ出ていると解析に支障が生じる)、
(b)人物像を、図4(A)に示すように画像の上方向に頭が、下方向に足が位置するように、又は図4(B)に示すように画像の左方向に頭が、右方向に足が位置するように撮像した画像であること(頭の位置を正確に測定するため)、
(c)画像の縦及び横の長さは、人物像の頭から足にかけての方向(以後、縦方向)における画像の幅が、人物像の右手から左手にかけての方向(以後、横方向)における画像の幅より長い画像であること(通常に撮像すればこの条件は満たされる)、
(d)図4(A)に示すように、画像の横方向の端から、画像の横幅の10%の範囲内には人物像を収めないこと(端部は不要な像が写り易いためこの部分を避ける)、
(e)人物像の背景は、人物の服装となるべくは異なる色とすること(輪郭線の検出精度が下がることから人物像の認識に支障の生じる恐れがある)、
(f)人物像は、両腕を身体の横につけ、足を閉じ、直立した姿勢で撮像すること(特殊な姿勢やポーズを取ると、シルエットの自動作成と比率の計算に支障の出る恐れがある)。
【0040】
撮像した人物像が、上述した条件を満たしているかどうか確認し、満たしていない場合は、画像データをユーザサイドで加工する(図2のステップS2)。
【0041】
次いで、この画像データとプロフィール情報とを、IP網11を介して携帯サイトのサーバ10へアップロードする(図2のステップS3)。このプロフィール情報とは、ユーザの基本情報と、撮像した画像データの情報とからなる。ユーザの基本情報は、例えばユーザの性別や身長等を含んでおり、画像データの情報は、撮像した人物の「性別」と、その人物像のファッションが「ビジネス」、「カジュアル」、又は「パーティー」シーンを目的とするものであるか等を示す「ファッションの適用環境」とを少なくとも表わすものである。
【0042】
一方、サーバ10側において、コンピュータ10aは、携帯電話機からアップロードされてきた画像データとプロフィール情報とをDB10bに、そのユーザ対応で記憶する(図3のステップS11)。
【0043】
次いで、コンピュータ10aはこの画像データから輪郭線画像を抽出する(図3のステップS12)。この抽出処理は、抽出手段10a1によって行われる。図5はこの抽出手段10a1による抽出処理の流れを詳細に説明するフローチャートである。
【0044】
抽出手段10a1は、まず、DB10bから対象とする画像データとプロフィール情報とを読出す(図5のステップS121)。
【0045】
次いで、抽出手段10a1は、このカラー画像である画像データをグレースケール化する(図5のステップS122)。グレースケール化は、各画素のRGB値R、G、Bを輝度値Yに換算する。この輝度値Yへの換算は、次の(1)式に基づいて行う。
Y=0.30R+0.59G+0.11B (1)
【0046】
次いで、抽出手段10a1は、このグレースケール化された画素データからエッジ検出を行う(図5のステップS123)。エッジ検出方法としては、本実施形態では、Canny法又はPrewitt法等の1次微分フィルタを用いる方法を用いている。いずれの方法、又はその他のエッジ検出法を用いても良い。なお、必要であれば、エッジ検出の前までに、画像の縦方向を行、横方向を列となるように画像を回転する。
【0047】
エッジ検出の際、エッジの画素値を「1」、それ以外の画素値を「0」とする。図6(A)及び(B)はCanny法を用いてエッジ検出して得た輪郭線画像の2つの例を示す図である。このCanny法を使用するにあたって、標準偏差σ=0.7、下側閾値Thlow=10、上側閾値Thhigh=20なるパラメータを用いている。なお、背景と人物像との境界部において、背景の色と人物像の色とが近いと、即ち輝度値の差が小さいと、エッジの検出精度が低下する。
【0048】
次に、Prewittフィルタを利用してエッジを検出する方法について説明する。ここでは、フィルタの要素和を「0」とする従来法ではなく、下記の(2)式のように例えば5行5列の大きさとする正方行列の中心を「−0.5」とするフィルタマトリックスFL及びFRを用いて畳み込み積分するものであり、これにより、このシステムで用いられる画像に対する横方向のエッジ検出能力を向上させることができる。即ち、フィルタを2つに分解して考えた場合、行列の中心を「−0.5」として画素値を−0.5倍することで重み付けと反転を行い、Prewittフィルタを用いて畳み込み積分を行っている。なお、3行3列や、7行7列等の他のサイズの正方行列を用いても良いことは明らかである。
【数1】
【数2】
【0049】
なお、各画素値EL及びERを加算した画素値ELRについて、
{(ELR−min(ELR))/(max(ELR)−min(ELR))}/2、又は例えば75等の適当な閾値を設定し、閾値以上の要素に「0」、閾値未満の要素に「1」を代入して2値化を行い、あらためて画素値ELRとする。
【0050】
画素値ELRは主に横方向におけるエッジを検出する.そこで、FL及びFRの転置行列を窓関数として畳み込み積分を行い、同様な演算を行うことで得られる各画素値EUDと、各画素値ELRとを加算すれば、上下左右方向に特化したエッジ検出を行うことができる。図7はこの様子を表わしており、同図(A)は画素値ELRで表わしたエッジ画像、同図(B)は画素値EUDで表わしたエッジ画像、同図(C)はこれらを加算した画素値ELR+EUDで表わしたエッジ画像をそれぞれ示している。
【0051】
このようなPrewitt法を応用したエッジ検出方法は、場合によってはCanny法よりも良好にエッジを検出することができる。ただし、Canny法に比べて演算速度が遅くなる可能性がある。また、エッジが細くなるような処理過程があるCanny法に比して、輪郭線が太くなる可能性がある。
【0052】
その後、抽出手段10a1は、このようにして抽出したエッジ画像データを、DB10bに記憶する(図5のステップS124)。
【0053】
再び、図3の処理に戻り、コンピュータ10aは、このようにして得たエッジ画像データから特徴点を解析する(図3のステップS13)。この特徴点解析処理は、特徴点解析手段10a2によって行われる。図8はこの特徴点解析手段10a2による解析処理の流れを詳細に説明するフローチャートである。
【0054】
特徴点解析手段10a2は、まず、DB10bから対象とするエッジ画像データとプロフィール情報とを読出す(図8のステップS131)。
【0055】
特徴点解析手段10a2は、次いで、体部右側端の横方向位置のラインL1及び体部左側端の横方向位置のラインL2を検出する(図8のステップS132)。この検出は、図9(A)及び(B)に示すように、まず、エッジ画像データにおいて、縦方向の検出したエッジ数の和、即ち縦方向の各行上で「1」となる画素の数の和、を求めてこれをエッジの行和とする。次いで、画像の横方向の左端より画像の横幅の10%となる位置から、行和が最初に全エッジ数(行和の総計)の0.2%等の閾値を超えた位置を体部右側端の横方向位置のラインL1として検出する。同様に、画像の横方向の右端より画像の横幅の10%となる位置から、行和が最初に全エッジ数(行和の総計)の閾値を超えた位置を体部左側端の横方向位置のラインL2として検出する。さらに、ラインL1からラインL2までの幅をL12とする。
【0056】
次に、特徴点解析手段10a2は、頭部上端の縦方向位置のラインL3及び足部下端の縦方向位置のラインL4を検出する(図8のステップS133)。この検出は、図9(C)及び(D)に示すように、まず、エッジ画像データのラインL1からラインL2までの範囲において、横方向の検出したエッジ数の和、即ち横方向の各列上で「1」となる画素の数の和、を求めてこれをエッジの列和とする。次いで、画像の上端から、列和が最初に全エッジ数(行和の総計)の0.5%等の閾値を超えた位置を頭部上端の縦方向位置のラインL3として検出する。同様に、画像の下端から、列和が最初に全エッジ数(行和の総計)の閾値を超えた位置を足部下端の縦方向位置のラインL4として検出する。さらに、ラインL3からラインL4までの幅をL34とする。
【0057】
次に、特徴点解析手段10a2は、肩部上端の縦方向位置のラインS及び顎部の縦方向位置のラインJを検出する(図8のステップS134)。この検出は、図10(A)及び(C)に示すように、まず、エッジ画像データのラインL1から幅L12の10%の距離だけ画像にて右側にある縦のラインをScol1、幅L12の90%の距離だけ画像にて右側にある縦のラインをScol2とし、ラインScol1とラインScol2とのいずれかが下方向に向かって最初にエッジ検出点とぶつかる位置を肩部上端の縦方向位置のラインSとして検出する。さらに、プロフィール情報から性別を知り、男性の場合はラインL3とラインSとの幅の85%だけラインL3から下方の位置を、女性の場合はラインL3とラインSとの幅の75%だけラインL3から下方の位置をそれぞれ顎部の縦方向位置のラインJとして検出する。
【0058】
その後、特徴点解析手段10a2は、上半身の服の裾の縦方向位置のラインB1及び下半身の服の裾の縦方向位置のラインB2を検出する(図8のステップS135)。この検出は、図10(B)及び(C)に示すように、まず、ラインL3から幅L34の45%の距離だけ画像にて下方向にある位置と、65%の距離だけ画像にて下方向にある位置との間の範囲において、エッジの列和が最大となる位置を、上半身の服における裾の縦方向位置のラインB1として検出する。また、ラインL3から幅L34の70%の距離だけ画像にて下方向にある位置と、92.5%の距離だけ画像にて下方向にある位置との間の範囲において、エッジの列和が最大となる位置を、下半身の服における裾の縦方向位置のラインB2として検出する。このように、服装の裾ラインは、本実施形態では、ラインB1とラインB2との2本のみを検出している。
【0059】
以上の処理により、図10(D)に示すようなラインL1、L2、L3、L4、S、J、B1及びB2を検出して、シルエットを作成する。ただし、ラインが検出できない場合や、ラインL1、L2、L3及びL4で囲まれる領域の画像データにおける画素数が画像データ全体の画素数1/3を超える場合は、あらかじめ定めた位置にラインのテンプレートを表示することで代用する。
【0060】
その後、特徴点解析手段10a2は、このようにして検出したラインL1、L2、L3、L4、S、J、B1及びB2をDB10bに記憶させる(図8のステップS136)。
【0061】
再び、図3の処理に戻り、コンピュータ10aは、このようにして検出した各位置のラインL1、L2、L3、L4、S、J、B1及びB2をユーザに微調整させると共に、服装(例えばインナー、コート等)の裾に対応する縦方向位置等の単数又は複数の必要とするラインが存在する場合には単数又は複数のラインBi(ただし、iは3以上の自然数)をユーザが追加し、さらに、ラインL1、L2、L3、L4、S、J、B1及びB2並びに追加したラインBiによって規定される領域がどのような服装又は身体(パーツ)であるか等を表わす情報(以下、パーツ情報)をユーザが指示するように、これらラインを画像データに付加して該当する携帯電話機へ送信する(図3のステップS14)。
【0062】
一方、カメラ付携帯電話機121は、サーバ10からラインの微調整及び追加の依頼が来たかどうか監視しており(図2のステップS4)、依頼が来た場合(YESの場合)は、サーバ10から送られてきたライン付の画像データを画面に表示し、ラインの微調整を行うと共に必要であれば、単数又は複数のラインBiの追加を行い、微調整及びライン追加後のライン付画像データと、上述したパーツ情報とをサーバ10へ再アップロードする(図2のステップS5)。即ち、ユーザはカメラ付携帯電話機121に表示されたにライン付画像データを見て各ラインを微調整すると共に必要な単数又は複数のラインBiを追加し、さらに、ラインL1、L2、L3、L4、S、J、B1及びB2並びに追加したラインBiに関する領域がどのような服装又は身体(パーツ)であるか等を表わすパーツ情報を選択して送信する。
【0063】
微調整は、具体的には、調整すべきラインを選択し、横のラインL3、L4、S、J、B1又はB2であれば選択後に上下方向へ移動させる処理である。縦のラインL1又はL2であれば選択後に左右方向に移動させる処理がユーザによって行われる。なお、この際に服装の裾ラインを削除することが可能である。即ち、ワンピースの場合は、下半身の服における裾の縦方向位置のラインB2が不必要となる可能性があるためである。
【0064】
パーツ情報の選択は以下のように行われる。図11はこの場合にカメラ付携帯電話機121に表示される画像例及びパーツ情報のリストを示す図である。即ち、ユーザはカメラ付携帯電話機121に表示された画像から領域を選択しその領域が表示されたリストのどれに該当するかを選択する。例えば、図11(A)の場合はハッチングの付された領域について、「インナー」であると選択し、一方、図11(B)の場合はハッチングの付された領域について、「アウター」であると選択する。なお、図11のリストは、「アウター」、「インナー」等と広義の単語を利用してリスト化した例であり、この図には4項目しか表わされていないが、ユーザの操作によって、さらに多くの項目を表示して選択するように構成されている。
【0065】
表1は、図11よりさらに詳細なパーツ情報のリストの一例を示している。図11のリストに代えて、この表1に示されたリストを順次提示しても良い。
【表1】
【0066】
ここでユーザに提示するパーツ情報リストの順序は、事前にユーザが入力した「ビジネス」、「カジュアル」又は「パーティー」シーン等の「ファッションの適用環境」に応じて変化し、各シーンに着用される可能性が高い項目を優先して表示する。例えば、「ビジネス」シーンであれば、「スーツの上着」、「スーツのズボン・パンツ」及び「スーツのスカート」等が先に表示されるようにする。また、画像の上方に存在する領域を選択した場合は、「頭部」、「スーツの上着」等の項目が優先されるなど、選択領域の位置によってもユーザに提示するリストの順序を変えることが可能である。なお、「ロングコート」のように、複数の領域にまたがってパーツ情報が付されることも許容する。
【0067】
図12は微調整を行う際のライン付画像の例を表わしており、同図(A)はラインを調整する必要が無い例、同図(B)は腕の袖口を上着(ジャケット)の裾であるラインB1と誤検出しているので、このラインB1を微調整する必要がある例、同図(C)も腕の袖口を上着(ジャケット)の裾であるラインB1と誤検出しているのでこのラインB1を微調整する必要がある例、同図(D)はサンダルをズボンの裾であるラインB2と誤検出しているのでこのラインB2を微調整すること、及びチュニックシャツの裾を検出していないのでラインB1を追加する必要がある例である。
【0068】
再び、図3の処理に戻り、コンピュータ10aは、カメラ付携帯電話機121から微調整及びライン追加後のライン付画像データ、並びに各ライン及び追加ラインの領域のパーツ情報が再アップロードされたかどうか監視しており(図3のステップS15)、再アップロードされた場合(YESの場合)は、この微調整及びライン追加後のライン付画像データと各ライン及び追加ラインの領域のパーツ情報とをDB10bへ記憶させると共にこの画像データ及びパーツ情報からファッション評価を行う(図3のステップS16)。この評価処理は、評価手段10a3によって行われる。
【0069】
図13はこの評価手段10a3によるファッション評価処理の一例として首周りの清潔感の評価処理の流れを詳細に説明するフローチャートである。
【0070】
この首周りの清潔感の評価処理として、評価手段10a3は、まず、DB10bから、エッジ画像データと、肩部上端の縦方向位置のラインSと、顎部の縦方向位置のラインJと、ラインL1と、ラインL2と、ラインScol1と、ラインScol2とを読出す(図13のステップS1601)。
【0071】
次いで、評価手段10a3は、首付近における幅Nwidthを検出する(図13のステップS1602)。この検出は、ラインSとラインJとの間で、エッジ検出点間の距離が最も小さい値を首付近における幅Nwidthとして検出する。即ち、エッジ検出点間の幅が最も小さい位置を首位置として、その幅を首付近における幅Nwidthとする。
【0072】
次いで、評価手段10a3は、肩付近における幅Swidthを検出する(図13のステップS1603)。この検出は、ラインScol1とラインScol2との間の距離を肩付近における幅Swidthとして検出する。
【0073】
次いで、評価手段10a3は、これら2つの幅の比率Nwidth/Swidthを用いて、下式から首周りの清潔感(すっきり感)を表わす清潔感指数Pcを算出する(図13のステップS1604)。
Pc=−a(Nwidth/Swidth)+b
【0074】
この清潔感指数Pcがそのまま首周りの清潔感(すっきり感)を表わしている。ここで、a及びbは定数であり、通常はa=50、b=95に設定されている。ただし、この定数a及びbは、ユーザから取得した「ビジネス」、「カジュアル」又は「パーティー」等のファッションの適用環境の情報や、「男性」又は「女性」等の性別情報に応じて修正されることが望ましい。即ち、「男性」の場合は短髪である可能性が「女性」の場合より高いため、清潔感指数Pcが高くなる傾向にあり、これを補償する必要がある。また、「カジュアル」及び「女性」の場合は、首元にストールを巻く可能性があるため、清潔感指数Pcが低くなる傾向にあり、これを補償する必要がある。さらに、「パーティー」及び「女性」の場合は、髪をアップする可能性が高いため、清潔感指数Pcが低くなる傾向にあり、これを補償する必要がある。例えば、「ビジネス」及び「男性」の場合にa=45、b=100等と修正される。
【0075】
清潔感指数Pcは、最も清潔感が高い場合はPc=bとなり、この清潔感指数Pcが低くなるにつれ、清潔感が低いこととなる。最低の場合は清潔感指数Pcがマイナスとなることもある。具体的には、この清潔感指数Pcは5(最高)、4、3、2、1、0(最低)の目盛りを有するレーダーチャートで表示するが、そのためには、求めた清潔感指数Pcをレーダーチャート表示用の数値5〜0に変換する。ただし、清潔感指数Pcがマイナスの場合はPc=0とする。
【0076】
図14は種々の人物像について算出した比率Nwidth/Swidthを示す図である。同図(A)では比率Nwidth/Swidth=0.7241であるため、清潔感指数Pcは約59であり、同図(B)では比率Nwidth/Swidth=0.4746であるため、清潔感指数Pcは約71であり、同図(C)では比率Nwidth/Swidth=0.3333であるため、清潔感指数Pcは約78であり、同図(D)では比率Nwidth/Swidth=0.3148であるため、清潔感指数Pcは約79である。ただし、a=50、b=95とした。即ち、同図(A)は首周りの清潔感(すっきり感)が最も低く、同図(D)は首周りの清潔感(すっきり感)が最も高いと評価される。
【0077】
その後、評価手段10a3は、このようにして求めた首周りの清潔感の評価結果である清潔感指数Pc及びそのレーダーチャート表示用の数値をDB10bに記憶する(図13のステップS1605)。
【0078】
図15は評価手段10a3によるファッション評価処理の一例として色合いのめりはり度の評価処理の流れを詳細に説明するフローチャートである。
【0079】
この色合い(明暗)のめりはり度の評価処理として、評価手段10a3は、まず、DB10bから、画像データと、エッジ画像データと、ラインL1と、ラインL2と、ラインL3と、ラインL4とを読出す(図15のステップS1611)。
【0080】
次いで、評価手段10a3は、図16(A)に示すように、ラインL1、L2、L3及びL4に囲まれた領域内のエッジ画像データについて、ラインL1、L2、L3及びL4の各々から横方向、縦方向に進んで最初にエッジ検出点とぶつかる位置までに存在する画素にフラグを立て、フラグが立っている全ての画素に画素値「255」を代入する(図15のステップS1612)。これにより、ラインL1、L2、L3及びL4に囲まれた領域内で、エッジの外側の全画素の画素値が「255」を有することとなる。
【0081】
次いで、評価手段10a3は、図16(B)に示すような、ラインL1、L2、L3及びL4に囲まれた領域内の画像データに関して、画素値「0」から「254」までの値を持つ画素xiを抽出し、抽出した全画素数をNとし、式(5)によるカーネル型密度関数推定を行うことで、ヒストグラムを平滑化する(図15のステップS1613)。カーネルとする関数は式(6)に示すガウス関数とする。ここで、平滑化バンド幅はh=5、推定する点の数は256とする。
【数3】
【0082】
このようにして求めた画素値のヒストグラムをガウス関数をカーネルとする密度関数推定により平滑化した濃淡ヒストグラム曲線の一例が図17に示されている。図17に示した例では、5つの山P1、P2、P3、P4及びP5と、4つの谷B1、B2、B3及びB4からなる極値が存在している。評価手段10a3は、このような全ての山の組合わせと、2つの山の間にある最も密度値が低い谷とを結ぶ線で囲まれる三角形の面積を算出する(図15のステップS1614)。具体的には、図17において、山P1、山P2及び谷B1を結ぶ三角形P1P2B1の面積を求め、山P1、山P3及び谷B1を結ぶ三角形P1P3B1の面積を求め、山P1、山P2及び谷B1を結ぶ三角形の面積を求め、山P1、山P4及び谷B1を結ぶ三角形の面積を求め、山P1、山P5及び谷B1を結ぶ三角形の面積を求め、山P2、山P3及び谷B2を結ぶ三角形の面積を求め、山P2、山P4及び谷B2を結ぶ三角形の面積を求め、山P2、山P5及び谷B2を結ぶ三角形の面積を求め、山P3、山P4及び谷B3を結ぶ三角形の面積を求め、山P3、山P5及び谷B3を結ぶ三角形の面積を求め、山P4、山P5及び谷B4を結ぶ三角形の面積を求めることを行う。
【0083】
次いで、評価手段10a3は、このようにして求めた全ての三角形の面積の総和を用いて、下式から輝度に基づく色合い(明暗)のめりはり度を表わすめりはり度指数Psを算出する(図15のステップS1615)。
Ps=c(三角形の面積の総和)+d
【0084】
このめりはり度指数Psがそのまま色合い(明暗)のめりはり度を表わしている。ここで、c及びdは定数であり、通常はc=15、d=40に設定されている。ただし、この定数c及びdは、ユーザから取得した「ビジネス」、「カジュアル」又は「パーティー」等のファッションの適用環境の情報に応じて修正されることが望ましい。即ち、「ビジネス」及び「パーティー」の場合は、多色使いしていないことが予想されるため、山の数が少ないことが想定され、めりはり度指数Psが低くなる傾向にあり、これを補償する必要がある。また、「カジュアル」の場合は、色の数が多く使われており、山の数が多く山の面積バランスも良いので、めりはり度指数Psが高くなる傾向にあり、これを補償する必要がある。
【0085】
最もめりはり度が高い場合はめりはり度指数Psが100を超え(c=15、d=40の場合)、このめりはり度指数Psが低くなるにつれ、めりはり度が低いこととなる。最低の場合はめりはり度指数PsがPs=dとなる。具体的には、このめりはり度指数Psは5(最高)、4、3、2、1、0(最低)の目盛りを有するレーダーチャートで表示するが、そのためには、求めためりはり度指数Psをレーダーチャート表示用の数値5〜0に変換する。
【0086】
その後、評価手段10a3は、このようにして求めた色合い(明暗)のめりはり度の評価結果であるめりはり度指数Ps及びそのレーダーチャート表示用の数値をDB10bに記憶させる(図15のステップS1616)。
【0087】
図18は評価手段10a3によるファッション評価処理の一例として形状のバランスの評価処理の流れを詳細に説明するフローチャートである。
【0088】
この形状バランスの評価処理として、評価手段10a3は、まず、DB10bから、ラインL1と、ラインL2と、ラインL3と、ラインL4と、ラインSと、ラインJと、ラインB1と、ラインB2と、ユーザによって追加された単数又は複数のラインBiと、これら各ライン及び追加ラインBiで区分される領域がそれぞれどのようなパーツに関するラインであるかについてユーザから送信されたパーツ情報とを読出す(図18のステップS1621)。
【0089】
次いで、評価手段10a3は、これらデータから、服装や身体の各パーツの長さや幅等の寸法を算出する(図18のステップS1622)。例えば、身長はラインL3からラインL4までの幅L34から得られ、ジャケットの丈は肩部上端のラインSからジャケットの裾に対応するラインB1までの長さから得られ、インナーの丈は肩部上端のラインSからインナーの裾に対応する追加ラインB3までの長さから得られ、コート(ロングコート)の丈は肩部上端のラインSからコートの裾に対応する追加ラインB4までの長さから得られる。どのパーツの寸法を算出するかは、ユーザがどのパーツ情報を入力したかに応じて決められる。
【0090】
次いで、評価手段10a3は、算出した各パーツの寸法から全ての組合せパターンについてパーツの比率を算出する(図18のステップS1623)。即ち、ユーザが入力したパーツ情報から、次の表2に示すようなあらかじめ定められたパーツの組合せパターンに相当する全ての組合せパターンについて、パーツの比率を算出する。
【表2】
即ち、C1=(カーディガン)/(身長)、C2=(カーディガン)/(インナー)、・・・、Ci、Cmというm個の組合せパターンの比率を算出する(ただし、mは自然数)。
【0091】
次いで、評価手段10a3は、このようにして算出した組合せパターンの比率Ciと、各組合せパターンについてあらかじめ定められた比率の基準値Ci′とから、下式を用いて形状のバランス指数Pbを算出する(図18のステップS1624)。
【数4】
上式は、算出した各組合せパターンの比率Ciのその基準値Ci′に対する類似度の総和を求めるものであり、100からの減点で算出したものが、形状のバランス指数Pbとなる。以上、求めたバランス指数の算出方法は、過去の膨大な量のコーディネート及び写真情報の検証によって得られたものである。
【0092】
その後、評価手段10a3は、算出した形状のバランス指数PbをDB10bに記憶させる(図18のステップS1625)。
【0093】
形状のバランス指数Pbは、最もバランスの良好な場合はPb=100となり、このバランス指数Pbが低くなるにつれ、バランスが悪いこととなる。具体的には、この形状のバランス指数Pbは5(最高)、4、3、2、1、0(最低)の目盛りを有するレーダーチャートで表示するが、そのためには、求めた形状のバランス指数Pbをレーダーチャート表示用の数値5〜0に変換する。ただし、算出したバランス指数Pbがマイナスの場合はPb=0とする。
【0094】
再び、図3の処理に戻り、コンピュータ10aは、このようにして求めたファッション評価結果をDB10bから読出し、該当する携帯電話機へ送信する(図3のステップS17)。ファッション評価結果としては、各評価結果である、清潔感指数、めりはり度指数及びバランス指数の得点を、5〜0の目盛りを有するレーダーチャートで表示する。
【0095】
一方、カメラ付携帯電話機121は、サーバ10から評価結果を受信したかどうか監視しており(図2のステップS6)、受信した場合(YESの場合)は、そのファッション評価結果をレーダーチャートとして、画面に表示する(図2のステップS7)。これによって、ユーザは、撮像した人物像のファッション評価結果を自己のカメラ付携帯電話機121によって確認することができる。
【0096】
以上説明したように、本実施形態によれば、サーバ10のコンピュータ10aが、ファッションセンスの評価を望むユーザのカメラ付携帯電話機121から携帯電話サイトを介してアップロードされてきた画像データから人物像のエッジ画像を抽出し、抽出したエッジ画像から人物像の特徴点位置である種々のラインを求め、これらライン及び画像データに基づいて、人物像の首周りの清潔感、色合いのめりはり度、及び形状バランス等のファッション度合を評価するように構成されており、この評価結果がユーザのカメラ付携帯電話機121に送られる。このように、コンピュータ10aにより、画像データが自動的に解析されてファッション度合が評価されるため、簡易にかつ素早く、しかも、低コストでファッションチェックを行うことができる。また、コンピュータ10aによる自動解析であるため、しかもこの評価の課程にユーザ以外の人物による直接的な操作はなされないため、ユーザも気軽にかつ容易にしかも安心してファッションチェックを依頼することができる。しかも、ユーザに対してレーダーチャートで示すことにより、ユーザに ファッション性の得点の提示と助言を行うことができる。
【0097】
さらに、人物像のファッション性を数値化する際に、ユーザから取得した「ビジネス」、「カジュアル」、又は「パーティー」等の「ファッションの適用環境」情報や「性別」を反映させることで、画像に写る人物像のファッション性における「清潔感」、「めりはり度」及び「バランス」を得点化している。具体的には、例えば「清潔感」に関しては、男性の方が女性よりも短い髪型の場合が多いため、清潔感指数が女性よりも高くなる可能性があり、また、「パーティー」では、女性は髪型をアップにすることが多いため、他の環境の場合よりも清潔感指数が高くなる可能性あるので、「ファッションの適用環境」や「性別」を反映させることが望ましい。また、例えば「めりはり度」に関しては、「ビジネス」や「パーティー」では、色の数が少なくなることが予想されるので、「ファッションの適用環境」を反映させることが望ましい。さらに、例えば「バランス」に関しては、「カジュアル」では、ジャケット、インナーボトムス等の組み合わせ数が多いため、他の適用環境よりも有利となることが予想されるので、「ファッションの適用環境」を反映させることが望ましい。
【0098】
なお、上述した実施形態では、人物像の首周りの清潔感、色合いのめりはり度、及び形状バランスの3つについてのファッションチェックを行っているが、例えば色合いのバランス等の他のチェック内容を追加して、4つ以上のファッションチェックを行っても良いことはもちろんである。
【0099】
図19は本発明のファッションチェックシステムの他の実施形態における特徴点解析手段10a2による解析処理の流れを詳細に説明するフローチャートである。
【0100】
本実施形態は、携帯サイトのサーバへアップロードされた画像データから、サーバがユーザの顔下部及び襟部の特徴点位置を抽出し顔下部の輪郭カーブ及び襟部輪郭カーブを検出してファッションの評価を行い、その結果をユーザの携帯端末にダウンロードするようにしたファッションチェックシステムである。本実施形態におけるサーバ側及びユーザ側のハードウェアの構成は図1の実施形態の場合と同じであるが、サーバ側及びユーザ側のソフトウェアの構成は図1の実施形態の場合と一部異なっている。特に、特徴点解析手段10a2による特徴点解析処理(図3のステップS13)及びそれ以降の処理内容が異なっている。
【0101】
図19に示すように、特徴点解析手段10a2は、まず、DB10bから、顔及び襟部のエッジ画像データを読出す(図19のステップS231)。
【0102】
特徴点解析手段10a2は、次いで、顔の輪郭を表すエッジ画像データから、顎部分の2点C1及びC2並びに左右のえら部分の4点B1、B2、B3及びB4(図20(A)参照)の位置を特徴点として検出し、顔下部の輪郭カーブを求めてそのパターンを決定する(図19のステップS232)。これら特徴点の検出方法として種々の方法が適用可能であるが、例えば、頭部上端ライン及び頭部下端ラインから顔の長さを求め、その長さの所定割合だけ頭部下端ラインから上がった位置のラインと頭部の側方ラインとの交点を左右のえら部分の特徴点B1、B2、B3及びB4として求める方法であっても良い。また、顔の幅の所定割合だけ中心から離れた位置のラインと頭部下端ラインとの交点を顎部分の特徴点C1及びC2として求める方法であっても良い。次いで、これら求めた複数の特徴点から定まる輪郭カーブが、あらかじめ定めた輪郭パターンのいずれに属するか決定する。輪郭パターンとしては、図21に示すように、例えば6つのパターンが想定できる。即ち、同図(A)のラウンド、(B)のオーバル、(C)のロング、(D)のスクェア、(E)のロンバス、(F)のトライアングルの6つの輪郭パターンが想定できる。輪郭パターンの決定は、輪郭カーブにおける曲率の変化の大きな曲がり角の部分に着目し、これら6つの輪郭パターンのいずれに属するかを決める。なお、求めた特徴点を通る輪郭カーブの数式を求めて、これら輪郭パターンの数式のいずれに近いかを求めて決定しても良い。
【0103】
次いで、特徴点解析手段10a2は、襟部の輪郭を表すエッジ画像データから、数点の位置を特徴点として検出し、襟部の輪郭カーブを求めてそのパターンを決定する(図19のステップS233)。襟部の特徴点、輪郭カーブ及び輪郭パターンは、顔下部の特徴点、輪郭カーブ及び輪郭パターンと同様に求めることができる。
【0104】
さらに、特徴点解析手段10a2は、頭部下端ラインと肩のラインとから、首の長さを検出する(図19のステップS234)。
【0105】
次いで、特徴点解析手段10a2は、このようにして検出した顔下部の輪郭パターン、襟部の輪郭パターン及び首の長さをDB10bに記憶させる(図19のステップS235)。
【0106】
その後、特徴点解析手段10a2は、DB10bに記憶されている顔下部の輪郭パターンと襟部の輪郭パターンとを読出して両者を比較し、得点を付ける(図19のステップS236)。得点の付け方としては、例えば、顔下部の輪郭パターンと襟部の輪郭パターンとが同じパターンであれば100点、パターンは異なるが同じ系統のパターンであれば90点、それ以外は0点という付け方を行う。同じ系統のパターンとは、図21において、(A)〜(C)の曲線形の同じ系統のパターン、(D)〜(F)の直線形の同じ系統のパターンをそれぞれ指している。即ち、顔下部の輪郭パターンが(A)〜(C)の曲線形のパターンを有する場合は、柔らかい印象を与える襟ぐりの服(ラウンドネック、丸襟、ヘチマ襟、フリル襟、ウィングカラー等)であれば好印象となり、顔下部の輪郭パターンが(D)〜(F)の直線形のパターンを有する場合は、直線のラインを持つシャープな印象の服(Vネック、シャツカラー、スクエアネック、マオカラー等)が好印象となるためである。
【0107】
図20の例で説明すると、例えば、同図(A)の場合は、顔下部の輪郭パターンが(A)ラウンドであるが、襟部の輪郭パターンが(B)オーバル又は(C)ロングであるため、曲線形の同じ系統のパターンとなり、得点は90点となる。同図(B)の場合は、顔下部の輪郭パターン及び襟部の輪郭パターンが共に(A)ラウンドであるため、得点は100点となる。同図(C)の場合は、顔下部の輪郭パターン及び襟部の輪郭パターンが共に(B)オーバルであるため、得点は100点となるが、タートルネックであるため、次の首の長さに関して大きく減点される。同図(D)の場合は、顔下部の輪郭パターンが(F)トライアングルであるが、襟部の輪郭パターンが(A)ラウンドであるため、異なる系統のパターンとなり、得点は0点となる。同図(E)の場合は、顔下部の輪郭パターンが(D)スクェアであるが、襟部の輪郭パターンが(B)オーバルであるため、異なる系統のパターンとなり、得点は0点となる。同図(F)の場合は、顔下部の輪郭パターン及び襟部の輪郭パターンが共に(D)スクェアであるため、得点は100点となる。
【0108】
次いで、特徴点解析手段10a2は、DB10bに記憶されている首の長さを読出して、この首の長さに応じて、得点を減点する(図19のステップS237)。読み出した首の長さが長いほど、存在感を感じさせるので減点が少ない。読み出した首の長さが短い場合やタートルネックの場合は、存在感を感じさせないため、減点が大きくなる。
【0109】
次いで、このようにして得られた得点をDB10bに記憶させる(図19のステップS238)。
【0110】
その後、図3の処理に戻り、コンピュータ10aは、このようにして求めた得点をファッション評価結果としてDB10bから読出し、該当する携帯電話機へ送信する(図3のステップS17)。ファッション評価結果としては、前述したものと同様に、得点を5〜0の目盛りを有するレーダーチャートで表示する。
【0111】
なお、本実施形態のユーザの顔下部及び襟部の特徴点位置を抽出し、顔下部の輪郭カーブ及び襟部輪郭カーブを検出して行うファッションの評価は、この評価のみを単独で行っても良いし、図1の実施形態におけるファッションの評価と共に行っても良い。
【0112】
以上述べた実施形態は全て本発明を例示的に示すものであって限定的に示すものではなく、本発明は他の種々の変形態様及び変更態様で実施することができる。従って本発明の範囲は特許請求の範囲及びその均等範囲によってのみ規定されるものである。
【符号の説明】
【0113】
10 サーバ
10a コンピュータ
10a1 抽出手段
10a2 特徴点解析手段
10a3 評価手段
10b データベース(DB)
10c 通信インタフェース
11 インターネット(IP)網
121 カメラ付携帯電話機
122、12n スマートフォン
【特許請求の範囲】
【請求項1】
少なくとも1つの携帯端末と、該少なくとも1つの携帯端末に網を介して接続可能に構成されたサーバとを備えており、
前記サーバは、前記少なくとも1つの携帯端末から送られてきた人物像の画像データを受け取る手段と、該受け取った画像データを記憶する記憶手段と、コンピュータ手段と、該コンピュータ手段が出力する評価情報を前記少なくとも1つの携帯端末へ送る手段とを備えており、
前記コンピュータ手段は、前記記憶手段に記憶された画像データから前記人物像の輪郭線像を抽出する抽出手段と、該抽出手段が抽出した輪郭線像から前記人物像の特徴点位置を求める特徴点解析手段と、該特徴点解析手段が求めた特徴点位置から前記人物像のファッション度合を評価した評価情報を出力する評価手段とを備えていることを特徴とする携帯端末を用いたファッションチェックシステム。
【請求項2】
前記少なくとも1つの携帯端末が少なくとも1つのカメラ付携帯電話機であり、前記網がインターネット網であり、前記サーバが携帯サイトのサーバであることを特徴とする請求項1に記載のファッションチェックシステム。
【請求項3】
前記抽出手段が、画像データから前記人物像のエッジ検出を行うエッジ検出手段を備えていることを特徴とする請求項1又は2に記載のファッションチェックシステム。
【請求項4】
前記エッジ検出手段が、微分フィルタを用いたエッジ検出演算手段であることを特徴とする請求項3に記載のファッションチェックシステム。
【請求項5】
前記エッジ検出手段が、Canny法を用いたエッジ検出演算手段であることを特徴とする請求項3に記載のファッションチェックシステム。
【請求項6】
前記特徴点解析手段が、前記抽出手段が抽出した輪郭線像から、前記人物像における、少なくとも、体部右側端の横方向位置、体部左側端の横方向位置、頭部上端の縦方向位置、顎部の縦方向位置、肩部上端の縦方向位置、上半身の服の裾の縦方向位置、下半身の服の裾の縦方向位置、及び足部下端の縦方向位置を特徴点位置として求める手段を含んでいることを特徴とする請求項1から5のいずれか1項に記載のファッションチェックシステム。
【請求項7】
前記受け取る手段が前記少なくとも1つの携帯端末から送られてきた人物像の性別及びファッションの適用環境を含むプロフィール情報を受け取るように構成されており、前記特徴点解析手段が該受け取ったプロフィール情報における人物像の性別を参照して前記人物像の特徴点位置を求める手段を含んでいることを特徴とする請求項1から6のいずれか1項に記載のファッションチェックシステム。
【請求項8】
前記評価手段が、前記受け取ったプロフィール情報におけるファッションの適用環境と、前記特徴点解析手段が求めた特徴点位置とから前記人物像のファッション度合を評価した評価情報を出力する手段を含んでいることを特徴とする請求項7に記載のファッションチェックシステム。
【請求項9】
前記評価手段が、前記特徴点解析手段が求めた特徴点位置と前記抽出手段が抽出した輪郭線像とから、首付近における幅Nwidthと肩付近における幅Swidthとを求めると共に、該2つの幅の比率Nwidth/Swidthに基づいて、首周りの清潔感に関する評価情報を出力する手段を含んでいることを特徴とする請求項1から8のいずれか1項に記載のファッションチェックシステム。
【請求項10】
前記評価情報を出力する手段が、前記評価情報である清潔感指数Pcを
Pc=−a(Nwidth/Swidth)+b
(ただし、a及びbは定数)から算出して出力するように構成されていることを特徴とする請求項9に記載のファッションチェックシステム。
【請求項11】
前記評価手段が、前記特徴点解析手段が求めた特徴点位置と前記抽出手段が抽出した輪郭線像と前記記憶手段に記憶された画像データとから、該輪郭線像内に位置する前記人物像が有する濃淡の分布を算出する濃淡分布算出手段と、該濃淡分布算出手段によって算出された濃淡分布から、明暗のめりはり度に関する評価情報を出力する手段を含んでいることを特徴とする請求項1から10のいずれか1項に記載のファッションチェックシステム。
【請求項12】
前記評価情報を出力する手段が、算出された濃淡分布の極値を結ぶ三角形の面積の総和から、前記評価情報であるめりはり度指数Psを
Ps=c(三角形の面積の総和)+d
(ただし、c及びdは定数)から算出して出力するように構成されていることを特徴とする請求項11に記載のファッションチェックシステム。
【請求項13】
前記評価手段が、前記特徴点解析手段が求めた特徴点位置から、前記人物像の形状のバランスを算出するバランス算出手段と、該バランス算出手段によって算出されたバランスから、形状バランスに関する評価情報を出力する手段を含んでいることを特徴とする請求項1から12のいずれか1項に記載のファッションチェックシステム。
【請求項14】
前記評価情報を出力する手段が、前記人物像のパーツの組合せにおける寸法の比率から、前記評価情報である形状のバランス指数Pbを算出して出力するように構成されていることを特徴とする請求項13に記載のファッションチェックシステム。
【請求項15】
前記評価情報を出力する手段が、前記人物像の1つのパーツと他のパーツとの寸法の比率の、あらかじめ定められた比率の基準値に対する類似度から、前記評価情報である形状のバランス指数Pbを算出して出力するように構成されていることを特徴とする請求項14に記載のファッションチェックシステム。
【請求項16】
前記特徴点解析手段が求めた特徴点位置を前記記憶手段に記憶された画像データに付加した特徴点位置付画像データを前記少なくとも1つの携帯端末へ送る手段と、該少なくとも1つの携帯端末において微調整された特徴点位置を受け取る手段とをさらに備えており、前記評価手段は該微調整された特徴点位置から前記人物像のファッション度合を評価した評価情報を出力するように構成されていることを特徴とする請求項1から15のいずれか1項に記載のファッションチェックシステム。
【請求項17】
前記特徴点解析手段が、前記抽出手段が抽出した輪郭線像から、前記人物像における顔下部の輪郭カーブと、襟部の輪郭カーブとを求め、該求めた顔下部の輪郭カーブ及び襟部の輪郭カーブを比較する手段を含んでいることを特徴とする請求項1から5のいずれか1項に記載のファッションチェックシステム。
【請求項18】
前記特徴点解析手段が、前記抽出手段が抽出した輪郭線像から、前記人物像における首の長さを求める手段を含んでいることを特徴とする請求項17に記載のファッションチェックシステム。
【請求項1】
少なくとも1つの携帯端末と、該少なくとも1つの携帯端末に網を介して接続可能に構成されたサーバとを備えており、
前記サーバは、前記少なくとも1つの携帯端末から送られてきた人物像の画像データを受け取る手段と、該受け取った画像データを記憶する記憶手段と、コンピュータ手段と、該コンピュータ手段が出力する評価情報を前記少なくとも1つの携帯端末へ送る手段とを備えており、
前記コンピュータ手段は、前記記憶手段に記憶された画像データから前記人物像の輪郭線像を抽出する抽出手段と、該抽出手段が抽出した輪郭線像から前記人物像の特徴点位置を求める特徴点解析手段と、該特徴点解析手段が求めた特徴点位置から前記人物像のファッション度合を評価した評価情報を出力する評価手段とを備えていることを特徴とする携帯端末を用いたファッションチェックシステム。
【請求項2】
前記少なくとも1つの携帯端末が少なくとも1つのカメラ付携帯電話機であり、前記網がインターネット網であり、前記サーバが携帯サイトのサーバであることを特徴とする請求項1に記載のファッションチェックシステム。
【請求項3】
前記抽出手段が、画像データから前記人物像のエッジ検出を行うエッジ検出手段を備えていることを特徴とする請求項1又は2に記載のファッションチェックシステム。
【請求項4】
前記エッジ検出手段が、微分フィルタを用いたエッジ検出演算手段であることを特徴とする請求項3に記載のファッションチェックシステム。
【請求項5】
前記エッジ検出手段が、Canny法を用いたエッジ検出演算手段であることを特徴とする請求項3に記載のファッションチェックシステム。
【請求項6】
前記特徴点解析手段が、前記抽出手段が抽出した輪郭線像から、前記人物像における、少なくとも、体部右側端の横方向位置、体部左側端の横方向位置、頭部上端の縦方向位置、顎部の縦方向位置、肩部上端の縦方向位置、上半身の服の裾の縦方向位置、下半身の服の裾の縦方向位置、及び足部下端の縦方向位置を特徴点位置として求める手段を含んでいることを特徴とする請求項1から5のいずれか1項に記載のファッションチェックシステム。
【請求項7】
前記受け取る手段が前記少なくとも1つの携帯端末から送られてきた人物像の性別及びファッションの適用環境を含むプロフィール情報を受け取るように構成されており、前記特徴点解析手段が該受け取ったプロフィール情報における人物像の性別を参照して前記人物像の特徴点位置を求める手段を含んでいることを特徴とする請求項1から6のいずれか1項に記載のファッションチェックシステム。
【請求項8】
前記評価手段が、前記受け取ったプロフィール情報におけるファッションの適用環境と、前記特徴点解析手段が求めた特徴点位置とから前記人物像のファッション度合を評価した評価情報を出力する手段を含んでいることを特徴とする請求項7に記載のファッションチェックシステム。
【請求項9】
前記評価手段が、前記特徴点解析手段が求めた特徴点位置と前記抽出手段が抽出した輪郭線像とから、首付近における幅Nwidthと肩付近における幅Swidthとを求めると共に、該2つの幅の比率Nwidth/Swidthに基づいて、首周りの清潔感に関する評価情報を出力する手段を含んでいることを特徴とする請求項1から8のいずれか1項に記載のファッションチェックシステム。
【請求項10】
前記評価情報を出力する手段が、前記評価情報である清潔感指数Pcを
Pc=−a(Nwidth/Swidth)+b
(ただし、a及びbは定数)から算出して出力するように構成されていることを特徴とする請求項9に記載のファッションチェックシステム。
【請求項11】
前記評価手段が、前記特徴点解析手段が求めた特徴点位置と前記抽出手段が抽出した輪郭線像と前記記憶手段に記憶された画像データとから、該輪郭線像内に位置する前記人物像が有する濃淡の分布を算出する濃淡分布算出手段と、該濃淡分布算出手段によって算出された濃淡分布から、明暗のめりはり度に関する評価情報を出力する手段を含んでいることを特徴とする請求項1から10のいずれか1項に記載のファッションチェックシステム。
【請求項12】
前記評価情報を出力する手段が、算出された濃淡分布の極値を結ぶ三角形の面積の総和から、前記評価情報であるめりはり度指数Psを
Ps=c(三角形の面積の総和)+d
(ただし、c及びdは定数)から算出して出力するように構成されていることを特徴とする請求項11に記載のファッションチェックシステム。
【請求項13】
前記評価手段が、前記特徴点解析手段が求めた特徴点位置から、前記人物像の形状のバランスを算出するバランス算出手段と、該バランス算出手段によって算出されたバランスから、形状バランスに関する評価情報を出力する手段を含んでいることを特徴とする請求項1から12のいずれか1項に記載のファッションチェックシステム。
【請求項14】
前記評価情報を出力する手段が、前記人物像のパーツの組合せにおける寸法の比率から、前記評価情報である形状のバランス指数Pbを算出して出力するように構成されていることを特徴とする請求項13に記載のファッションチェックシステム。
【請求項15】
前記評価情報を出力する手段が、前記人物像の1つのパーツと他のパーツとの寸法の比率の、あらかじめ定められた比率の基準値に対する類似度から、前記評価情報である形状のバランス指数Pbを算出して出力するように構成されていることを特徴とする請求項14に記載のファッションチェックシステム。
【請求項16】
前記特徴点解析手段が求めた特徴点位置を前記記憶手段に記憶された画像データに付加した特徴点位置付画像データを前記少なくとも1つの携帯端末へ送る手段と、該少なくとも1つの携帯端末において微調整された特徴点位置を受け取る手段とをさらに備えており、前記評価手段は該微調整された特徴点位置から前記人物像のファッション度合を評価した評価情報を出力するように構成されていることを特徴とする請求項1から15のいずれか1項に記載のファッションチェックシステム。
【請求項17】
前記特徴点解析手段が、前記抽出手段が抽出した輪郭線像から、前記人物像における顔下部の輪郭カーブと、襟部の輪郭カーブとを求め、該求めた顔下部の輪郭カーブ及び襟部の輪郭カーブを比較する手段を含んでいることを特徴とする請求項1から5のいずれか1項に記載のファッションチェックシステム。
【請求項18】
前記特徴点解析手段が、前記抽出手段が抽出した輪郭線像から、前記人物像における首の長さを求める手段を含んでいることを特徴とする請求項17に記載のファッションチェックシステム。
【図1】
【図2】
【図3】
【図5】
【図6】
【図7】
【図8】
【図13】
【図14】
【図15】
【図17】
【図18】
【図19】
【図20】
【図21】
【図4】
【図9】
【図10】
【図11】
【図12】
【図16】
【図2】
【図3】
【図5】
【図6】
【図7】
【図8】
【図13】
【図14】
【図15】
【図17】
【図18】
【図19】
【図20】
【図21】
【図4】
【図9】
【図10】
【図11】
【図12】
【図16】
【公開番号】特開2011−76596(P2011−76596A)
【公開日】平成23年4月14日(2011.4.14)
【国際特許分類】
【出願番号】特願2010−188550(P2010−188550)
【出願日】平成22年8月25日(2010.8.25)
【出願人】(508012585)ノイムジィーク有限会社 (1)
【Fターム(参考)】
【公開日】平成23年4月14日(2011.4.14)
【国際特許分類】
【出願日】平成22年8月25日(2010.8.25)
【出願人】(508012585)ノイムジィーク有限会社 (1)
【Fターム(参考)】
[ Back to top ]