化粧評価プログラム、化粧評価方法および化粧評価装置
【課題】ユーザが自分自身の化粧結果を客観的に評価する。
【解決手段】撮像部１１は、ユーザの操作に応じて、ユーザの顔の画像データを取得する。顔要素抽出部１３は、この画像データに基づいて、顔の各要素を抽出する。評価部１５は、対となる要素同士の対称性および類似度の少なくとも一方を評価する。この評価結果は出力部１７から出力される。好ましくは、顔の画像を表示する際には顔の画像を左右反転する。
【解決手段】撮像部１１は、ユーザの操作に応じて、ユーザの顔の画像データを取得する。顔要素抽出部１３は、この画像データに基づいて、顔の各要素を抽出する。評価部１５は、対となる要素同士の対称性および類似度の少なくとも一方を評価する。この評価結果は出力部１７から出力される。好ましくは、顔の画像を表示する際には顔の画像を左右反転する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ユーザが自分自身の化粧結果を客観的に評価することができる化粧評価プログラム、方法および装置に関する。
【背景技術】
【０００２】
専門家によりなされた化粧（メークアップ）は、化粧を受けた人の見た目を向上させ、社会における尊厳を増加させる。その結果、その人は自信を取り戻すことができる。
【０００３】
しかし、自分自身がした化粧をチェックすることは、観察者と被観察者が同一人であることから、必ずしも容易ではない。このような場合、最も容易な方法は、自分がした化粧の評価に関して助言すなわち第三者の意見を求めることである。この方法には、次のような幾つかの問題がある。
【０００４】
１．第三者の意見は首尾一貫したものであることが期待されるが、複数の評価者が関与する場合、その意見には主観的な評価基準が大きく影響し、現れがちとなる。
２．化粧をチェックして貰うための第三者がいつも見つかるとは限らない。
３．第三者の意見を受けることは、各自のある種のプライベートな事実を明らかにすることになるので、好ましくない場合もある。
【０００５】
特許文献１には、判定対象の顔を撮像して得た顔画像に画像強調処理を施すことにより、その者の顔の美形度や老化度を判定する方法および装置が開示されている。
【特許文献１】特開２００６−３３４４２７号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
上記特許文献１に記載の従来技術は、その利用方法の一つとして「化粧の仕方について助言」することが挙げられている。
【０００７】
しかし、これは化粧の前後の顔を撮像してこの処理を施した結果の出力画像を見比べることが開示されているのみで、特定の顔要素について化粧の評価やその仕方についての助言に関してはそれ以上の具体的な記述は見られない。
【０００８】
本願発明は、このような背景において、ユーザが自分自身の化粧結果を客観的に評価することができる化粧評価プログラム、方法および装置を提供するものである。
【課題を解決するための手段】
【０００９】
本発明による化粧評価プログラムおよび方法におけるステップは、取得された顔の画像データに基づいて、顔の各要素を抽出するステップと、対となる要素同士の対称性および類似度の少なくとも一方を評価するステップと、評価結果を出力するステップとを含む。
【００１０】
実際に撮影した顔の画像データに基づいて、対となる要素同士の対称性および類似度の少なくとも一方を評価することにより、客観的な評価結果が得られる。
【００１１】
好ましくは、前記評価結果を出力するステップは、前記画像データの顔の画像を表示するステップと、表示された顔の画像を参照して前記評価結果を表示画面上に出力するステップとを含む。
【００１２】
前記表示するステップは、好ましくは、顔の画像を左右反転するステップを含む。
【００１３】
また、本発明による化粧評価装置は、取得された顔の画像データに基づいて、顔の各要素を抽出する撮影手段と、対となる要素同士の対称性および類似度の少なくとも一方を評価する評価手段と、評価結果を出力する出力手段とを備えたことを特徴とする。
【００１４】
本発明の他の構成および作用効果については以下に詳細に説明する。
【発明の効果】
【００１５】
本発明の化粧評価装置によれば、ユーザは、自分がした化粧について第三者を依存することなく、客観的に評価した結果を得ることができる。また、その結果に基づいて、自分の化粧のくせを認識したり、化粧の仕方についての支援情報を得ることができる。
【発明を実施するための最良の形態】
【００１６】
以下、本発明の好適な実施の形態について図面を参照しながら詳細に説明する。
【００１７】
図１は、本発明の化粧評価方法を実現するための化粧評価装置２００の概略機能を表したブロック図である。
【００１８】
化粧評価装置２００は、顔の画像データを取得する撮像部１１と、取得された画像データに基づいてその画像上で顔の各要素（パーツ）を抽出する顔要素抽出部１３と、抽出された顔要素について、対となる要素同士の対称性および類似度の少なくとも一方を評価する評価部１５と、評価結果をユーザに知らしめるように出力する出力部１７と、これらの各部をユーザが操作するための操作部１９とを備える。本明細書において、「対となる要素」は典型的には眉毛や目のように１対の顔要素であるが、唇や鼻のような単一の顔要素の左半分と右半分についても含むものとする。
【００１９】
撮像部１１としては典型的にはデジタル画像データを得ることができるデジタルカメラを利用することができる。ある程度以上の解像度があれば携帯電話端末に付属したカメラでも足りる。出力部１７の一例は、表示画面上に顔画像やテキスト情報を表示することができるＬＣＤ、有機ＥＬ、ＣＲＴ等の表示装置である。その他、出力部１７はスピーカなどの音声出力装置や振動装置等の他の出力装置を含んでもよい。操作部１９は、ユーザが装置に対して指示やデータ等を入力するための、テンキー、キーボード、ポインティングデバイスなどを含む操作デバイスにより構成される。
【００２０】
図２（ａ）（ｂ）は、それぞれ、化粧評価装置２００として利用可能な既存の装置例としての携帯電話端末２００ａ、および、パーソナルコンピュータ（ＰＣ）２００ｂを示している。いずれも、出力部１７としての表示部２０４、操作部１９としてのキー入力部２０５、および撮像部１１としてのカメラ部２１３を備えている。このような既存のコンピュータ装置に本発明の化粧評価プログラムをインストールすることにより化粧評価装置が構成される。勿論、既存のコンピュータ装置を利用する代わりに、専用の化粧評価装置を構成してもよい。
【００２１】
図３は、本実施の形態における化粧評価装置の内部の概略ハードウェア構成を示したブロック図である。
【００２２】
化粧評価装置２００は、バス２１５で相互に接続された、制御部２０１、通信部２０３、表示部２０４、キー入力部２０５、記憶部２０６、音声処理部２１０、この音声処理部２１０に接続されたスピーカ２１１、マイク２１２、およびカメラ部２１３を備えている。
【００２３】
制御部２０１は、ＣＰＵ等を含み、化粧評価装置２００の各部を制御する。本実施の形態では、この制御部２０１が後述する各種の画像処理を行う画像処理部としても機能する。勿論、制御部２０１と独立した画像処理部を備えてもよい。
【００２４】
通信部２０３は、本実施の形態において必須の構成要素ではないが、この化粧評価装置２００が携帯電話端末で構成される場合、ＲＦ部、変調回路等を含み、アンテナ２０２を介して基地局との間で、通話およびメールやＷＥＢデータ等のための無線通信を行う。その他、無線ＬＡＮやＢｌｕｅｔｏｏｔｈ（登録商標）のような近距離無線通信部であってもよい。本実施の形態では、顔の画像データはこの化粧評価装置２００に備えられたカメラ部２１３から取得することを想定しているが、通信部２０３を介して外部から得られた画像データに対して化粧評価を行うことも可能である。
【００２５】
表示部２０４およびキー入力部２０５は、それぞれ、図１の出力部１７および操作部１９に相当し、その構成および機能は上述したとおりである。
【００２６】
記憶部２０６は、ＲＯＭ，ＲＡＭ，ＨＤＤ等の記憶装置を含み、ＣＰＵが実行するＯＳや各種アプリケーション等のプログラムやデータを記憶する。ＲＯＭには、フラッシュメモリのような再書き込み可能な不揮発性メモリを含みうる。
【００２７】
音声処理部２１０は、音声のエンコーダ、デコーダ、ＤＡ変換器、ＡＤ変換器等を含み、スピーカ２１１（イヤホン含む）に対する音声出力およびマイクからの音声入力を行う。
【００２８】
カメラ部２１３は、図１の撮像部１１に相当し、ＣＭＯＳ、ＣＣＤ等の撮像素子を有し、撮像した被写体のデジタル画像データを得ることができる。
【００２９】
以下、この化粧評価装置２００の動作を説明する。
【００３０】
化粧評価装置２００は、典型的には、ユーザが自分自身の顔をカメラ部２１３で撮像することにより、自分自身がした化粧について、その結果を客観的に評価することができる。そのために、例えば、対となる顔要素同士の対称性や類似度を定量的に解析し、スコア（評価値）を算出し、ユーザに知らしめる。あるいは、非対称性や非類似度を、顔画像を表示した表示画面上に顔画像と併せて表示することができる。また、評価結果をテキストで表示することもできる。さらに、ユーザに対してその評価結果に応じて化粧に関する所定の助言等の支援情報を与えることもできる。
【００３１】
この化粧評価装置は、化粧をしていない顔に対して適用されることにより化粧の方向性を提案することも可能である。
【００３２】
非対称性については各種顔要素の輪郭を抽出して対比することにより検査することができる。非類似度については要素の全体の領域を複数のサブ領域に分割して、各サブ領域内の画像データ（画素データ）の色特性等（色の彩度、明度、色変化、色分布、色成分のヒストグラム等）を分析し、対比することにより検査することができる。
【００３３】
図４は、撮像により得られた顔の画像に基づいて、各種の顔要素を抽出した後の当該要素の輪郭を模式的に表示したものである。このような要素画像はその元となる実際の顔画像に重ね合わせて示してもよいし、顔画像とは独立に表示してもよい。あるいは、重ね合わせるか独立に表示するかをユーザが選択できるようにしてもよい。
【００３４】
図４の例では、ここでの顔要素として、眉（眉毛）Ｔ、目Ｅ、鼻Ｎ、口（唇）Ｌ、さらには額Ｈ、頬Ｚを示している。眉毛や目のような左右１対の顔要素の左右の区別、あるいは、鼻や唇などの一つの要素の左右半分の区別のため、添字のｌとｒを付加している。額や頬の領域は他の顔要素が確定された後の残りの所定領域として定めることができる。
【００３５】
なお、図４の要素画像およびその元となる顔画像は、撮像に得られた画像を左右反転したものである。通常、ユーザが化粧をする際には鏡を見ながら行う。周知のように鏡の映像は左右が反転するのに対し、カメラ撮影で得られ表示部に表示される画像は左右反転しない。したがって、図５（ａ）に示すように、鏡４５に映った自身の顔と、自身の顔を撮影して得られた表示部２０４上の表示画像とは左右の関係が一致しない。（表示部２０４に現れているように、現実世界では右頬にほくろがあるユーザが映った鏡４５の中のユーザについては左頬にほくろがある。）表示画面に表示された自身の顔に対して化粧の評価結果が重ねて表示されるような場合、表示画像と鏡４５の中の映像との左右の関係が逆であるため、表示画像を参考にする際に混乱しかねない。また、化粧の際には自身の顔と向き合った表示画像とは、鏡の場合のように、同じ要素が左右の同じ側に存在することが望ましい。
【００３６】
そこで、図５（ｂ）に示すように、表示部２０４に表示される自身の顔画像は左右反転したものとする。これにより、鏡４５の中の自身の顔と左右が一致する。例えば、図４において、添字ｌが付加された要素（または要素部分）は実際のユーザの左側要素の鏡像である。同様に、添字ｒが付加された要素（または要素部分）は実際のユーザの右側要素の鏡像である。
【００３７】
なお、表示部２０４において反転されるのは撮影画像であり、重ねて表示されるテキスト情報などのイメージは反転されない。
【００３８】
図６に、本実施の形態における化粧評価装置２００の化粧評価処理の動作手順を示す。この処理は制御部２０１（図３）が、記憶部２０６に格納された化粧評価プログラムを読み出して実行することにより実現される。
【００３９】
制御部は、まず、カメラ部でユーザの顔の撮影画像を取得する（Ｓ１１）。この撮影行為はユーザの操作に従って行われる。
【００４０】
撮影画像が取得されたら、制御部は、その画像を左右反転し、輪郭判定処理を行い、図４に示したように、抽出対象となる顔要素を抽出し、その輪郭を抽出する（Ｓ１２）。輪郭の判定処理を的確に行うために、顔要素に応じて検出対象とする色を予め限定するようにしてもよい。例えば、眉毛は黒、唇は赤系統、というように、検出対象の色を決めておくようにすることができる。また、唇などでは使用する化粧材（口紅）の色に合わせて、検出対象の色をユーザが選択肢の中から指定可能とすることもできる。撮影画像の左右反転は、表示前であれば、この段階ではなく、より遅い段階であってもよい。（但し、左右反転前の画像から顔要素を抽出した場合には、顔画像の左右反転時に顔画像とともにその抽出画像も左右反転する。）ついで、予め定められた３ポイントＡ，Ｂ，Ｃを検出する（Ｓ１３）。本実施の形態において、ポイントＡ，Ｂは両目の内側の端部であり、ポイントＣは上唇の中央上端部である。
【００４１】
これらの３ポイントＡ，Ｂ，Ｃの位置関係に基づいて、顔画像が傾いているか否かをチェックする（Ｓ１４）。顔画像が傾いていれば、傾き補正処理を実行する（Ｓ１５）。具体的には、顔画像上でポイントＡ，Ｂ，Ｃを検出し、線分ＡＢがＸ軸（水平線）に一致するように画像を回転する。なお、その前提として、線分ＡＢに対してポイントＣが下側にあることを確認する。
【００４２】
顔画像の傾きが補正された後、各種の顔要素について、非対称性および／または非類似領域を見つけ出すための対称性・類似性判定処理を適用する（Ｓ１６）。そのために、まず、後続の対称性チェックのために顔の中心軸を検出する。この結果得られたデータに基づいて、その非対称性および／または非類似領域をユーザに知らしめる所定の出力処理を行う（Ｓ１７）。
【００４３】
非対称性および／または非類似領域をユーザに知らしめることにより、化粧の方向またはその修正の方向が暗黙的に示されるが、さらにユーザに対して積極的にそのような方向を提案するようにしてもよい。
【００４４】
図７は、表示画面上に撮影された顔画像とともに、評価結果をテキストで表示した例を示している。この表示された顔画像７２は上述したように左右反転されたものである。画面の一部（図では下側領域）に、化粧に関する助言をテキストで表示するテキスト表示領域７１を設けている。各顔要素の抽出結果を顔画像に重ねて表示する場合には、後述するように、非対称性や非類似性が検出された顔要素の該当箇所を識別して表示するようにしてもよい。
【００４５】
ステップＳ１６における顔要素毎の評価は、次のような処理を用いて、領域間の差違や対称性を検出することにより行える。
【００４６】
＜領域折り返し対称性判定処理＞
まず、領域折り返し対称性判定処理と名付けた処理について説明する。この処理は、対称性が問題となる顔要素について適用することができる。ここでも眉毛を例として説明するが、眉毛に限るものではない。また、単一の顔要素の１対の半分同士の間に適用してもよい。
【００４７】
図８（ａ）は、左右の眉毛の撮影画像を模式的に示したものである。眉毛の類似性／対称性を確認するには、二つの眉毛領域（輪郭）の間の差分を検出し、画像上でどの部分が異なっている（非対称である）かを検出し、この結果をユーザに対して示す。
【００４８】
そのために、図８（ｂ）に示すように、顔画像上で、顔の垂直中心線を基準として、検査対象の１対の顔要素の一方を折り返して他方の顔要素に重ねる。両顔要素が完全に左右対称であれば、両顔要素は完全に重なり合って一致する。
【００４９】
完全な左右対称でなければ、図８（ｃ）に示すように、両者が重なり合った共通部分とそこからはみ出したはみ出し部分が生じる。はみ出した部分は、その側の顔要素が他方の顔要素に照らして足りない不足分８１と、他方のの顔要素から超過した超過分８２とがある。
【００５０】
図８の例では、左眉毛Ｔｌの領域が右眉毛Ｔｒの領域に完全に包含される場合を示したが、実際には、一方が他方を完全に包含するのではなく、それぞれが他方からはみ出す部分を有する場合もある。図９はそのような場合の折り返しの説明図である。
【００５１】
図９の例では、ＴｌはＴｒに照らして不足分８１と超過分８３を有する。ＴｒはＴｌに照らして超過分８２と不足分８４とを有する。図から分かるように一方の超過分は他方の不足分に対応する。ユーザは、例えば、不足分を化粧で補うか、または、可能な場合には超過分を除去することにより、当該顔要素が完全な左右対称となる。なお、はみ出し部分の実際の表示の態様は、不足分と超過分を区別して表示することが好ましい。
【００５２】
化粧評価装置は、図１０のような表示を行うことにより、ユーザに対して化粧の方向性を助言することができる。図１０は図８に示した眉毛の評価結果に対応するものであり、検査対象の１対の顔要素の一方を折り返して他方の顔要素に重ねた際の両顔要素の不一致時のはみ出し部分を元の顔画像に重ねて表示したものである。すなわち、評価結果として不足分８１および超過分８２を画像として顔画像７２に重ねて表示している。また、テキスト表示領域に、「左右のまゆが非対称です」等のテキストメッセージを表示出力している。図８では、顔全体の評価結果を出力する例を示したが、図１０のように、所定の動作モードにおけるユーザの指示に応じて、一部の顔要素についてのみの評価結果を出力することもできる。そのためのユーザの指示は、例えばカーソル８３で目的の顔要素を指示することにより行える。（各顔要素の位置（座標）はこの時点では既知である。）
【００５３】
＜位置的輪郭対称性判定処理＞
次に、位置的輪郭対称性判定処理と名付けた処理について説明する。
【００５４】
この処理は１対の顔要素についてそれらの輪郭に基づいて対称性を求めるものである。ここでも眉毛を例として説明するが、眉毛に限るものではない。また、１対の顔要素ではなく、１つの顔要素の１対の半分同士の間に適用してもよい。
（１）一つの顔要素の輪郭上のすべての画素の座標点の中から、複数の座標点を特徴点を取り出す。図１１の眉毛の例では４つの特徴点Ｔ１，Ｔ２，Ｔ３，Ｔ４を抽出している。特徴点の条件は、Ｘ座標が最大の点、Ｘ座標が最小の点、およびＹ座標が最大の点およびＹ座標が最小の点の４点である。これらの点のいずれかは一致する場合もありうる。したがって、特徴点の個数は４個とは限らない。
【００５５】
他方の顔要素についても同様に複数の特徴点Ｔ１，Ｔ２，Ｔ３，Ｔ４を求める。
（２）各顔要素について、その複数の特徴点Ｔ１，Ｔ２，Ｔ３，Ｔ４に基づいて、その中点（または重心点）Ｍを求める。このＭ点は、Ｍ点から他の各特徴点までのそれぞれの距離の和が最小となるような点として求めることができる。両顔要素の中点をＭｌ，Ｍｒとする。
（３）中点Ｍｌ，Ｍｒの各々から垂直中心線までの距離をそれぞれＱｍｌ，Ｑｍｒとして、対称性評価値Symmetry_Scoreを次式で求める。
Symmetry_Score＝Abs（Qml-Qmr)／Max（Qml,Qmr）
ここに、Abs（Qml-Qmr)は距離Ｑｍｌと距離Ｑｍｒの差の絶対値であり、Max（Qml,Qmr）は距離Ｑｍｌと距離Ｑｍｒの大きい方を表す。この対称性評価値は０と１の間の数値である。距離Ｑｍｌと距離Ｑｍｒとが等しいとき、対称性評価値Symmetry_Scoreが０となり、完全な対称と判断される。この値は大きいほど対称性が低いことになる。
【００５６】
＜類似性判定処理＞
次に、顔要素の類似性判定処理の一例を説明する。ここでは、カラーヒストグラムを利用した類似性判定処理を例として挙げる。カラーヒストグラムとは、各サブ領域内の画像データに基づいてそのサブ領域内の画像部分の各画素の色を色成分（例えばＲ，Ｇ，Ｂ）に色分解したときの各色成分の量の分布状態に相当する。通常、柱状グラフとして表すことができる。カラーヒストグラムによる類似性判定処理は、１対の顔要素（または顔要素部分）の領域について、両領域の色の分布に基づいて、両領域の類似度を求める。例えば、頬（ほお）領域の全体に亘ってファウンデーションが均一に塗られているかどうかを確かめるために、図１２に示すように、カラーヒストグラムの類似性をチェックする。具体的には、領域を複数のサブ領域に分割し、非類似のサブ領域を検出して、画像上で類似度が所定値より小さい（換言すれば非類似度が所定値より大きい）サブ領域をユーザに示す。また、色（や濃度）の変化率を計算して、急峻な変化を検出することも可能である。具体的な処理手順は次のとおりである。
（１）検査対象となる１対の領域の各々を複数のサブ領域に分割する。
（２）各サブ領域についてカラーヒストグラムを求める。
（３）各サブ領域について、コサイン類似度によりカラーヒストグラムの類似性を求める。コサイン類似度とは、周知のように、ベクトル同士の類似度を測定するための指標である。二つのベクトルが作る角のコサイン値で表される。このコサイン値は、０と１の間の数値であり、二つのベクトルが完全に一致する（類似度が最高）時に最大値１となり、両ベクトルが直交する（類似度が最低）時に最小値０となる。ベクトルの長さは類似度には影響しない。１つの領域のカラーヒストグラムはV（R,G,B)というベクトルで表される。
（４）左顔要素の複数のサブ領域のコサイン類似度により構成されるベクトルVzlと、右顔要素の複数のサブ領域のコサイン類似度により構成されるベクトルVzrとのコサイン類似度cos（Vzl，Vzr）を求める。
【００５７】
カラーヒストグラムの利用の仕方としては、各サブ領域のヒストグラム自体をグラフとして表示してもよいし、対応するサブ領域のコサイン類似度を数値（または数値がどの範囲の属するかにより決まるランク）として示してもよい。ランクは、例えばＡ，Ｂ，Ｃ，Ｄのようなグレードを表す符号で表すことができる。各サブ領域の表示に加えて、またはこれに代えて、左顔要素と右顔要素の間のコサイン類似度を数値（または数値がどの範囲の属するかにより決まるランク）として示してもよい。
【００５８】
評価結果の出力の態様としては、図１３に示すように、顔画像上で、左右の対応するサブ領域においてコサイン類似度の差分が所定値を越えるサブ領域９１，９２を強調して表示するようにしてもよい。任意の強調表示を行うことができる。強調表示の方法としては、そのサブ領域の枠表示、点滅、高輝度化、反転等が考えられる。
【００５９】
また、図１４に示すように、ユーザが表示画面上で、任意のサブ領域をカーソル８３等で指示することにより、それらのヒストグラムを、例えば顔画像７２の表示領域とともに（図では下側に）設けられた表示領域７３に表示するようにしてもよい。
【００６０】
その他、色の傾斜、色の濃さ（彩度）、明るさ（明度）等を評価して、その結果を顔画像に重ねて表示したり、テキスト情報を表示したりしてもよい。
【００６１】
このように、本実施の形態によれば、化粧前の評価結果に基づいて化粧を行ったり、化粧後の評価結果に基づいて化粧を修正したりすることができる。また、化粧を行った後に再度、評価処理を行って、その化粧の結果を確認することができる。
【００６２】
以上、本発明の好適な実施の形態について説明したが、上記で言及した以外にも種々の変形、変更を行うことが可能である。
【００６３】
例えば、上記の構成では、カメラ部による撮影は静止画を想定した。しかし、処理速度の条件が満たされれば、いわゆるカメラスルー表示状態で得られる逐次の映像に対して逐次処理を実行して、化粧の進行過程においても評価結果を動的に更新表示するようにしてもよい。この場合、反転した顔画像の表示により、実質的に、表示部の表示画面が鏡の代わりとなりうる。のみならず、表示された顔表示に対して上述したような評価結果を画像やテキスト等で反映させることができる。
【図面の簡単な説明】
【００６４】
【図１】本発明の化粧評価方法を実現するための化粧評価装置の概略機能を表したブロック図である。
【図２】本発明の化粧評価装置として利用可能な既存の装置例を示した図である。
【図３】本発明の実施の形態における化粧評価装置の内部の概略ハードウェア構成を示したブロック図である。
【図４】撮像により得られた顔の画像に基づいて、各種の顔要素すなわち顔要素を抽出した後の当該要素の輪郭を模式的に表示した図である。
【図５】鏡に映った自身の顔と、自身の顔を撮影して得られた表示画像との関係を示す図である。
【図６】本発明の実施の形態における化粧評価装置の化粧評価処理の動作手順を示すフローチャートである。
【図７】本発明の実施の形態における評価結果の出力の態様の一例を示す図である。
【図８】本発明の実施の形態における領域折り返し対称性判定処理の説明図である。
【図９】本発明の実施の形態における領域折り返し対称性判定処理の他の説明図である。
【図１０】本発明の実施の形態における評価結果の出力の態様の他の例を示す図である。
【図１１】本発明の実施の形態における顔要素の特徴点等の説明図である。
【図１２】本発明の実施の形態における顔要素のカラーヒストグラムの説明図である。
【図１３】本発明の実施の形態における評価結果の出力の態様の更に他の例を示す図である。
【図１４】本発明の実施の形態における評価結果の出力の態様の別の例を示す図である。
【符号の説明】
【００６５】
１１…撮像部、１３…顔要素抽出部、１５…評価部、１７…出力部、１９…操作部、４５…鏡、７１…テキスト表示領域、７２…顔画像、７３…表示領域、８１…不足分、８２…超過分、８３…カーソル、９１，９２…サブ領域、２００…化粧評価装置、２００ａ…携帯電話端末、２００ｂ…パーソナルコンピュータ（ＰＣ）、２０１…制御部、２０２…アンテナ、２０３…通信部、２０４…表示部、２０５…キー入力部、２０６…記憶部、２１３…カメラ部
【技術分野】
【０００１】
本発明は、ユーザが自分自身の化粧結果を客観的に評価することができる化粧評価プログラム、方法および装置に関する。
【背景技術】
【０００２】
専門家によりなされた化粧（メークアップ）は、化粧を受けた人の見た目を向上させ、社会における尊厳を増加させる。その結果、その人は自信を取り戻すことができる。
【０００３】
しかし、自分自身がした化粧をチェックすることは、観察者と被観察者が同一人であることから、必ずしも容易ではない。このような場合、最も容易な方法は、自分がした化粧の評価に関して助言すなわち第三者の意見を求めることである。この方法には、次のような幾つかの問題がある。
【０００４】
１．第三者の意見は首尾一貫したものであることが期待されるが、複数の評価者が関与する場合、その意見には主観的な評価基準が大きく影響し、現れがちとなる。
２．化粧をチェックして貰うための第三者がいつも見つかるとは限らない。
３．第三者の意見を受けることは、各自のある種のプライベートな事実を明らかにすることになるので、好ましくない場合もある。
【０００５】
特許文献１には、判定対象の顔を撮像して得た顔画像に画像強調処理を施すことにより、その者の顔の美形度や老化度を判定する方法および装置が開示されている。
【特許文献１】特開２００６−３３４４２７号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
上記特許文献１に記載の従来技術は、その利用方法の一つとして「化粧の仕方について助言」することが挙げられている。
【０００７】
しかし、これは化粧の前後の顔を撮像してこの処理を施した結果の出力画像を見比べることが開示されているのみで、特定の顔要素について化粧の評価やその仕方についての助言に関してはそれ以上の具体的な記述は見られない。
【０００８】
本願発明は、このような背景において、ユーザが自分自身の化粧結果を客観的に評価することができる化粧評価プログラム、方法および装置を提供するものである。
【課題を解決するための手段】
【０００９】
本発明による化粧評価プログラムおよび方法におけるステップは、取得された顔の画像データに基づいて、顔の各要素を抽出するステップと、対となる要素同士の対称性および類似度の少なくとも一方を評価するステップと、評価結果を出力するステップとを含む。
【００１０】
実際に撮影した顔の画像データに基づいて、対となる要素同士の対称性および類似度の少なくとも一方を評価することにより、客観的な評価結果が得られる。
【００１１】
好ましくは、前記評価結果を出力するステップは、前記画像データの顔の画像を表示するステップと、表示された顔の画像を参照して前記評価結果を表示画面上に出力するステップとを含む。
【００１２】
前記表示するステップは、好ましくは、顔の画像を左右反転するステップを含む。
【００１３】
また、本発明による化粧評価装置は、取得された顔の画像データに基づいて、顔の各要素を抽出する撮影手段と、対となる要素同士の対称性および類似度の少なくとも一方を評価する評価手段と、評価結果を出力する出力手段とを備えたことを特徴とする。
【００１４】
本発明の他の構成および作用効果については以下に詳細に説明する。
【発明の効果】
【００１５】
本発明の化粧評価装置によれば、ユーザは、自分がした化粧について第三者を依存することなく、客観的に評価した結果を得ることができる。また、その結果に基づいて、自分の化粧のくせを認識したり、化粧の仕方についての支援情報を得ることができる。
【発明を実施するための最良の形態】
【００１６】
以下、本発明の好適な実施の形態について図面を参照しながら詳細に説明する。
【００１７】
図１は、本発明の化粧評価方法を実現するための化粧評価装置２００の概略機能を表したブロック図である。
【００１８】
化粧評価装置２００は、顔の画像データを取得する撮像部１１と、取得された画像データに基づいてその画像上で顔の各要素（パーツ）を抽出する顔要素抽出部１３と、抽出された顔要素について、対となる要素同士の対称性および類似度の少なくとも一方を評価する評価部１５と、評価結果をユーザに知らしめるように出力する出力部１７と、これらの各部をユーザが操作するための操作部１９とを備える。本明細書において、「対となる要素」は典型的には眉毛や目のように１対の顔要素であるが、唇や鼻のような単一の顔要素の左半分と右半分についても含むものとする。
【００１９】
撮像部１１としては典型的にはデジタル画像データを得ることができるデジタルカメラを利用することができる。ある程度以上の解像度があれば携帯電話端末に付属したカメラでも足りる。出力部１７の一例は、表示画面上に顔画像やテキスト情報を表示することができるＬＣＤ、有機ＥＬ、ＣＲＴ等の表示装置である。その他、出力部１７はスピーカなどの音声出力装置や振動装置等の他の出力装置を含んでもよい。操作部１９は、ユーザが装置に対して指示やデータ等を入力するための、テンキー、キーボード、ポインティングデバイスなどを含む操作デバイスにより構成される。
【００２０】
図２（ａ）（ｂ）は、それぞれ、化粧評価装置２００として利用可能な既存の装置例としての携帯電話端末２００ａ、および、パーソナルコンピュータ（ＰＣ）２００ｂを示している。いずれも、出力部１７としての表示部２０４、操作部１９としてのキー入力部２０５、および撮像部１１としてのカメラ部２１３を備えている。このような既存のコンピュータ装置に本発明の化粧評価プログラムをインストールすることにより化粧評価装置が構成される。勿論、既存のコンピュータ装置を利用する代わりに、専用の化粧評価装置を構成してもよい。
【００２１】
図３は、本実施の形態における化粧評価装置の内部の概略ハードウェア構成を示したブロック図である。
【００２２】
化粧評価装置２００は、バス２１５で相互に接続された、制御部２０１、通信部２０３、表示部２０４、キー入力部２０５、記憶部２０６、音声処理部２１０、この音声処理部２１０に接続されたスピーカ２１１、マイク２１２、およびカメラ部２１３を備えている。
【００２３】
制御部２０１は、ＣＰＵ等を含み、化粧評価装置２００の各部を制御する。本実施の形態では、この制御部２０１が後述する各種の画像処理を行う画像処理部としても機能する。勿論、制御部２０１と独立した画像処理部を備えてもよい。
【００２４】
通信部２０３は、本実施の形態において必須の構成要素ではないが、この化粧評価装置２００が携帯電話端末で構成される場合、ＲＦ部、変調回路等を含み、アンテナ２０２を介して基地局との間で、通話およびメールやＷＥＢデータ等のための無線通信を行う。その他、無線ＬＡＮやＢｌｕｅｔｏｏｔｈ（登録商標）のような近距離無線通信部であってもよい。本実施の形態では、顔の画像データはこの化粧評価装置２００に備えられたカメラ部２１３から取得することを想定しているが、通信部２０３を介して外部から得られた画像データに対して化粧評価を行うことも可能である。
【００２５】
表示部２０４およびキー入力部２０５は、それぞれ、図１の出力部１７および操作部１９に相当し、その構成および機能は上述したとおりである。
【００２６】
記憶部２０６は、ＲＯＭ，ＲＡＭ，ＨＤＤ等の記憶装置を含み、ＣＰＵが実行するＯＳや各種アプリケーション等のプログラムやデータを記憶する。ＲＯＭには、フラッシュメモリのような再書き込み可能な不揮発性メモリを含みうる。
【００２７】
音声処理部２１０は、音声のエンコーダ、デコーダ、ＤＡ変換器、ＡＤ変換器等を含み、スピーカ２１１（イヤホン含む）に対する音声出力およびマイクからの音声入力を行う。
【００２８】
カメラ部２１３は、図１の撮像部１１に相当し、ＣＭＯＳ、ＣＣＤ等の撮像素子を有し、撮像した被写体のデジタル画像データを得ることができる。
【００２９】
以下、この化粧評価装置２００の動作を説明する。
【００３０】
化粧評価装置２００は、典型的には、ユーザが自分自身の顔をカメラ部２１３で撮像することにより、自分自身がした化粧について、その結果を客観的に評価することができる。そのために、例えば、対となる顔要素同士の対称性や類似度を定量的に解析し、スコア（評価値）を算出し、ユーザに知らしめる。あるいは、非対称性や非類似度を、顔画像を表示した表示画面上に顔画像と併せて表示することができる。また、評価結果をテキストで表示することもできる。さらに、ユーザに対してその評価結果に応じて化粧に関する所定の助言等の支援情報を与えることもできる。
【００３１】
この化粧評価装置は、化粧をしていない顔に対して適用されることにより化粧の方向性を提案することも可能である。
【００３２】
非対称性については各種顔要素の輪郭を抽出して対比することにより検査することができる。非類似度については要素の全体の領域を複数のサブ領域に分割して、各サブ領域内の画像データ（画素データ）の色特性等（色の彩度、明度、色変化、色分布、色成分のヒストグラム等）を分析し、対比することにより検査することができる。
【００３３】
図４は、撮像により得られた顔の画像に基づいて、各種の顔要素を抽出した後の当該要素の輪郭を模式的に表示したものである。このような要素画像はその元となる実際の顔画像に重ね合わせて示してもよいし、顔画像とは独立に表示してもよい。あるいは、重ね合わせるか独立に表示するかをユーザが選択できるようにしてもよい。
【００３４】
図４の例では、ここでの顔要素として、眉（眉毛）Ｔ、目Ｅ、鼻Ｎ、口（唇）Ｌ、さらには額Ｈ、頬Ｚを示している。眉毛や目のような左右１対の顔要素の左右の区別、あるいは、鼻や唇などの一つの要素の左右半分の区別のため、添字のｌとｒを付加している。額や頬の領域は他の顔要素が確定された後の残りの所定領域として定めることができる。
【００３５】
なお、図４の要素画像およびその元となる顔画像は、撮像に得られた画像を左右反転したものである。通常、ユーザが化粧をする際には鏡を見ながら行う。周知のように鏡の映像は左右が反転するのに対し、カメラ撮影で得られ表示部に表示される画像は左右反転しない。したがって、図５（ａ）に示すように、鏡４５に映った自身の顔と、自身の顔を撮影して得られた表示部２０４上の表示画像とは左右の関係が一致しない。（表示部２０４に現れているように、現実世界では右頬にほくろがあるユーザが映った鏡４５の中のユーザについては左頬にほくろがある。）表示画面に表示された自身の顔に対して化粧の評価結果が重ねて表示されるような場合、表示画像と鏡４５の中の映像との左右の関係が逆であるため、表示画像を参考にする際に混乱しかねない。また、化粧の際には自身の顔と向き合った表示画像とは、鏡の場合のように、同じ要素が左右の同じ側に存在することが望ましい。
【００３６】
そこで、図５（ｂ）に示すように、表示部２０４に表示される自身の顔画像は左右反転したものとする。これにより、鏡４５の中の自身の顔と左右が一致する。例えば、図４において、添字ｌが付加された要素（または要素部分）は実際のユーザの左側要素の鏡像である。同様に、添字ｒが付加された要素（または要素部分）は実際のユーザの右側要素の鏡像である。
【００３７】
なお、表示部２０４において反転されるのは撮影画像であり、重ねて表示されるテキスト情報などのイメージは反転されない。
【００３８】
図６に、本実施の形態における化粧評価装置２００の化粧評価処理の動作手順を示す。この処理は制御部２０１（図３）が、記憶部２０６に格納された化粧評価プログラムを読み出して実行することにより実現される。
【００３９】
制御部は、まず、カメラ部でユーザの顔の撮影画像を取得する（Ｓ１１）。この撮影行為はユーザの操作に従って行われる。
【００４０】
撮影画像が取得されたら、制御部は、その画像を左右反転し、輪郭判定処理を行い、図４に示したように、抽出対象となる顔要素を抽出し、その輪郭を抽出する（Ｓ１２）。輪郭の判定処理を的確に行うために、顔要素に応じて検出対象とする色を予め限定するようにしてもよい。例えば、眉毛は黒、唇は赤系統、というように、検出対象の色を決めておくようにすることができる。また、唇などでは使用する化粧材（口紅）の色に合わせて、検出対象の色をユーザが選択肢の中から指定可能とすることもできる。撮影画像の左右反転は、表示前であれば、この段階ではなく、より遅い段階であってもよい。（但し、左右反転前の画像から顔要素を抽出した場合には、顔画像の左右反転時に顔画像とともにその抽出画像も左右反転する。）ついで、予め定められた３ポイントＡ，Ｂ，Ｃを検出する（Ｓ１３）。本実施の形態において、ポイントＡ，Ｂは両目の内側の端部であり、ポイントＣは上唇の中央上端部である。
【００４１】
これらの３ポイントＡ，Ｂ，Ｃの位置関係に基づいて、顔画像が傾いているか否かをチェックする（Ｓ１４）。顔画像が傾いていれば、傾き補正処理を実行する（Ｓ１５）。具体的には、顔画像上でポイントＡ，Ｂ，Ｃを検出し、線分ＡＢがＸ軸（水平線）に一致するように画像を回転する。なお、その前提として、線分ＡＢに対してポイントＣが下側にあることを確認する。
【００４２】
顔画像の傾きが補正された後、各種の顔要素について、非対称性および／または非類似領域を見つけ出すための対称性・類似性判定処理を適用する（Ｓ１６）。そのために、まず、後続の対称性チェックのために顔の中心軸を検出する。この結果得られたデータに基づいて、その非対称性および／または非類似領域をユーザに知らしめる所定の出力処理を行う（Ｓ１７）。
【００４３】
非対称性および／または非類似領域をユーザに知らしめることにより、化粧の方向またはその修正の方向が暗黙的に示されるが、さらにユーザに対して積極的にそのような方向を提案するようにしてもよい。
【００４４】
図７は、表示画面上に撮影された顔画像とともに、評価結果をテキストで表示した例を示している。この表示された顔画像７２は上述したように左右反転されたものである。画面の一部（図では下側領域）に、化粧に関する助言をテキストで表示するテキスト表示領域７１を設けている。各顔要素の抽出結果を顔画像に重ねて表示する場合には、後述するように、非対称性や非類似性が検出された顔要素の該当箇所を識別して表示するようにしてもよい。
【００４５】
ステップＳ１６における顔要素毎の評価は、次のような処理を用いて、領域間の差違や対称性を検出することにより行える。
【００４６】
＜領域折り返し対称性判定処理＞
まず、領域折り返し対称性判定処理と名付けた処理について説明する。この処理は、対称性が問題となる顔要素について適用することができる。ここでも眉毛を例として説明するが、眉毛に限るものではない。また、単一の顔要素の１対の半分同士の間に適用してもよい。
【００４７】
図８（ａ）は、左右の眉毛の撮影画像を模式的に示したものである。眉毛の類似性／対称性を確認するには、二つの眉毛領域（輪郭）の間の差分を検出し、画像上でどの部分が異なっている（非対称である）かを検出し、この結果をユーザに対して示す。
【００４８】
そのために、図８（ｂ）に示すように、顔画像上で、顔の垂直中心線を基準として、検査対象の１対の顔要素の一方を折り返して他方の顔要素に重ねる。両顔要素が完全に左右対称であれば、両顔要素は完全に重なり合って一致する。
【００４９】
完全な左右対称でなければ、図８（ｃ）に示すように、両者が重なり合った共通部分とそこからはみ出したはみ出し部分が生じる。はみ出した部分は、その側の顔要素が他方の顔要素に照らして足りない不足分８１と、他方のの顔要素から超過した超過分８２とがある。
【００５０】
図８の例では、左眉毛Ｔｌの領域が右眉毛Ｔｒの領域に完全に包含される場合を示したが、実際には、一方が他方を完全に包含するのではなく、それぞれが他方からはみ出す部分を有する場合もある。図９はそのような場合の折り返しの説明図である。
【００５１】
図９の例では、ＴｌはＴｒに照らして不足分８１と超過分８３を有する。ＴｒはＴｌに照らして超過分８２と不足分８４とを有する。図から分かるように一方の超過分は他方の不足分に対応する。ユーザは、例えば、不足分を化粧で補うか、または、可能な場合には超過分を除去することにより、当該顔要素が完全な左右対称となる。なお、はみ出し部分の実際の表示の態様は、不足分と超過分を区別して表示することが好ましい。
【００５２】
化粧評価装置は、図１０のような表示を行うことにより、ユーザに対して化粧の方向性を助言することができる。図１０は図８に示した眉毛の評価結果に対応するものであり、検査対象の１対の顔要素の一方を折り返して他方の顔要素に重ねた際の両顔要素の不一致時のはみ出し部分を元の顔画像に重ねて表示したものである。すなわち、評価結果として不足分８１および超過分８２を画像として顔画像７２に重ねて表示している。また、テキスト表示領域に、「左右のまゆが非対称です」等のテキストメッセージを表示出力している。図８では、顔全体の評価結果を出力する例を示したが、図１０のように、所定の動作モードにおけるユーザの指示に応じて、一部の顔要素についてのみの評価結果を出力することもできる。そのためのユーザの指示は、例えばカーソル８３で目的の顔要素を指示することにより行える。（各顔要素の位置（座標）はこの時点では既知である。）
【００５３】
＜位置的輪郭対称性判定処理＞
次に、位置的輪郭対称性判定処理と名付けた処理について説明する。
【００５４】
この処理は１対の顔要素についてそれらの輪郭に基づいて対称性を求めるものである。ここでも眉毛を例として説明するが、眉毛に限るものではない。また、１対の顔要素ではなく、１つの顔要素の１対の半分同士の間に適用してもよい。
（１）一つの顔要素の輪郭上のすべての画素の座標点の中から、複数の座標点を特徴点を取り出す。図１１の眉毛の例では４つの特徴点Ｔ１，Ｔ２，Ｔ３，Ｔ４を抽出している。特徴点の条件は、Ｘ座標が最大の点、Ｘ座標が最小の点、およびＹ座標が最大の点およびＹ座標が最小の点の４点である。これらの点のいずれかは一致する場合もありうる。したがって、特徴点の個数は４個とは限らない。
【００５５】
他方の顔要素についても同様に複数の特徴点Ｔ１，Ｔ２，Ｔ３，Ｔ４を求める。
（２）各顔要素について、その複数の特徴点Ｔ１，Ｔ２，Ｔ３，Ｔ４に基づいて、その中点（または重心点）Ｍを求める。このＭ点は、Ｍ点から他の各特徴点までのそれぞれの距離の和が最小となるような点として求めることができる。両顔要素の中点をＭｌ，Ｍｒとする。
（３）中点Ｍｌ，Ｍｒの各々から垂直中心線までの距離をそれぞれＱｍｌ，Ｑｍｒとして、対称性評価値Symmetry_Scoreを次式で求める。
Symmetry_Score＝Abs（Qml-Qmr)／Max（Qml,Qmr）
ここに、Abs（Qml-Qmr)は距離Ｑｍｌと距離Ｑｍｒの差の絶対値であり、Max（Qml,Qmr）は距離Ｑｍｌと距離Ｑｍｒの大きい方を表す。この対称性評価値は０と１の間の数値である。距離Ｑｍｌと距離Ｑｍｒとが等しいとき、対称性評価値Symmetry_Scoreが０となり、完全な対称と判断される。この値は大きいほど対称性が低いことになる。
【００５６】
＜類似性判定処理＞
次に、顔要素の類似性判定処理の一例を説明する。ここでは、カラーヒストグラムを利用した類似性判定処理を例として挙げる。カラーヒストグラムとは、各サブ領域内の画像データに基づいてそのサブ領域内の画像部分の各画素の色を色成分（例えばＲ，Ｇ，Ｂ）に色分解したときの各色成分の量の分布状態に相当する。通常、柱状グラフとして表すことができる。カラーヒストグラムによる類似性判定処理は、１対の顔要素（または顔要素部分）の領域について、両領域の色の分布に基づいて、両領域の類似度を求める。例えば、頬（ほお）領域の全体に亘ってファウンデーションが均一に塗られているかどうかを確かめるために、図１２に示すように、カラーヒストグラムの類似性をチェックする。具体的には、領域を複数のサブ領域に分割し、非類似のサブ領域を検出して、画像上で類似度が所定値より小さい（換言すれば非類似度が所定値より大きい）サブ領域をユーザに示す。また、色（や濃度）の変化率を計算して、急峻な変化を検出することも可能である。具体的な処理手順は次のとおりである。
（１）検査対象となる１対の領域の各々を複数のサブ領域に分割する。
（２）各サブ領域についてカラーヒストグラムを求める。
（３）各サブ領域について、コサイン類似度によりカラーヒストグラムの類似性を求める。コサイン類似度とは、周知のように、ベクトル同士の類似度を測定するための指標である。二つのベクトルが作る角のコサイン値で表される。このコサイン値は、０と１の間の数値であり、二つのベクトルが完全に一致する（類似度が最高）時に最大値１となり、両ベクトルが直交する（類似度が最低）時に最小値０となる。ベクトルの長さは類似度には影響しない。１つの領域のカラーヒストグラムはV（R,G,B)というベクトルで表される。
（４）左顔要素の複数のサブ領域のコサイン類似度により構成されるベクトルVzlと、右顔要素の複数のサブ領域のコサイン類似度により構成されるベクトルVzrとのコサイン類似度cos（Vzl，Vzr）を求める。
【００５７】
カラーヒストグラムの利用の仕方としては、各サブ領域のヒストグラム自体をグラフとして表示してもよいし、対応するサブ領域のコサイン類似度を数値（または数値がどの範囲の属するかにより決まるランク）として示してもよい。ランクは、例えばＡ，Ｂ，Ｃ，Ｄのようなグレードを表す符号で表すことができる。各サブ領域の表示に加えて、またはこれに代えて、左顔要素と右顔要素の間のコサイン類似度を数値（または数値がどの範囲の属するかにより決まるランク）として示してもよい。
【００５８】
評価結果の出力の態様としては、図１３に示すように、顔画像上で、左右の対応するサブ領域においてコサイン類似度の差分が所定値を越えるサブ領域９１，９２を強調して表示するようにしてもよい。任意の強調表示を行うことができる。強調表示の方法としては、そのサブ領域の枠表示、点滅、高輝度化、反転等が考えられる。
【００５９】
また、図１４に示すように、ユーザが表示画面上で、任意のサブ領域をカーソル８３等で指示することにより、それらのヒストグラムを、例えば顔画像７２の表示領域とともに（図では下側に）設けられた表示領域７３に表示するようにしてもよい。
【００６０】
その他、色の傾斜、色の濃さ（彩度）、明るさ（明度）等を評価して、その結果を顔画像に重ねて表示したり、テキスト情報を表示したりしてもよい。
【００６１】
このように、本実施の形態によれば、化粧前の評価結果に基づいて化粧を行ったり、化粧後の評価結果に基づいて化粧を修正したりすることができる。また、化粧を行った後に再度、評価処理を行って、その化粧の結果を確認することができる。
【００６２】
以上、本発明の好適な実施の形態について説明したが、上記で言及した以外にも種々の変形、変更を行うことが可能である。
【００６３】
例えば、上記の構成では、カメラ部による撮影は静止画を想定した。しかし、処理速度の条件が満たされれば、いわゆるカメラスルー表示状態で得られる逐次の映像に対して逐次処理を実行して、化粧の進行過程においても評価結果を動的に更新表示するようにしてもよい。この場合、反転した顔画像の表示により、実質的に、表示部の表示画面が鏡の代わりとなりうる。のみならず、表示された顔表示に対して上述したような評価結果を画像やテキスト等で反映させることができる。
【図面の簡単な説明】
【００６４】
【図１】本発明の化粧評価方法を実現するための化粧評価装置の概略機能を表したブロック図である。
【図２】本発明の化粧評価装置として利用可能な既存の装置例を示した図である。
【図３】本発明の実施の形態における化粧評価装置の内部の概略ハードウェア構成を示したブロック図である。
【図４】撮像により得られた顔の画像に基づいて、各種の顔要素すなわち顔要素を抽出した後の当該要素の輪郭を模式的に表示した図である。
【図５】鏡に映った自身の顔と、自身の顔を撮影して得られた表示画像との関係を示す図である。
【図６】本発明の実施の形態における化粧評価装置の化粧評価処理の動作手順を示すフローチャートである。
【図７】本発明の実施の形態における評価結果の出力の態様の一例を示す図である。
【図８】本発明の実施の形態における領域折り返し対称性判定処理の説明図である。
【図９】本発明の実施の形態における領域折り返し対称性判定処理の他の説明図である。
【図１０】本発明の実施の形態における評価結果の出力の態様の他の例を示す図である。
【図１１】本発明の実施の形態における顔要素の特徴点等の説明図である。
【図１２】本発明の実施の形態における顔要素のカラーヒストグラムの説明図である。
【図１３】本発明の実施の形態における評価結果の出力の態様の更に他の例を示す図である。
【図１４】本発明の実施の形態における評価結果の出力の態様の別の例を示す図である。
【符号の説明】
【００６５】
１１…撮像部、１３…顔要素抽出部、１５…評価部、１７…出力部、１９…操作部、４５…鏡、７１…テキスト表示領域、７２…顔画像、７３…表示領域、８１…不足分、８２…超過分、８３…カーソル、９１，９２…サブ領域、２００…化粧評価装置、２００ａ…携帯電話端末、２００ｂ…パーソナルコンピュータ（ＰＣ）、２０１…制御部、２０２…アンテナ、２０３…通信部、２０４…表示部、２０５…キー入力部、２０６…記憶部、２１３…カメラ部
【特許請求の範囲】
【請求項１】
取得された顔の画像データに基づいて、顔の各要素を抽出するステップと、
対となる要素同士の対称性および類似度の少なくとも一方を評価するステップと、
評価結果を出力するステップと
をコンピュータに実行させることを特徴とする化粧評価プログラム。
【請求項２】
前記評価結果を出力するステップは、
前記画像データの顔の画像を表示するステップと、
表示された顔の画像を参照して前記評価結果を表示画面上に出力するステップと
を含む請求項１に記載の化粧評価プログラム。
【請求項３】
前記評価するステップの実行の前に、画像データにおける顔の傾きを検出し、補正するステップをさらに備えた請求項１に記載の化粧評価プログラム。
【請求項４】
前記評価するステップは、
画像データにおける顔の垂直中心線を求めるステップと、
顔の垂直中心線を基準として、検査対象の１対の顔要素の一方を折り返して他方の顔要素に重ねるステップと
を備えた請求項２に記載の化粧評価プログラム。
【請求項５】
前記評価するステップは、前記検査対象の１対の顔要素の一方を折り返して他方の顔要素に重ねた際の両顔要素の不一致時のはみ出し部分を元の顔画像に重ねて表示するステップをさらに備えた請求項４に記載の化粧評価プログラム。
【請求項６】
前記表示するステップは、顔の画像を左右反転するステップを含む請求項２または５に記載の化粧評価プログラム。
【請求項７】
前記検査対象の１対の顔要素の相互の類似度を算出するステップと、
算出された類似度を出力するステップと
をさらに備えた請求項１に記載の化粧評価プログラム。
【請求項８】
前記検査対象の１対の顔要素のそれぞれの領域を複数のサブ領域に分割するステップと、
各サブ領域内の画像データに基づいてそのサブ領域内の画像部分の各画素の色を色成分に色分解したときの各色成分の量の分布状態を求めるステップと、
その分布状態を出力するステップと
をさらに備えた請求項１に記載の化粧評価プログラム。
【請求項９】
顔の画像データを取得するステップと、
顔の各要素を抽出するステップと、
対となる要素同士の対称性および類似度の少なくとも一方を評価するステップと、
評価結果を出力するステップと
を備えたことを特徴とする化粧評価方法。
【請求項１０】
取得された顔の画像データに基づいて、顔の各要素を抽出する撮影手段と、
対となる要素同士の対称性および類似度の少なくとも一方を評価する評価手段と、
評価結果を出力する出力手段と
を備えたことを特徴とする化粧評価装置。
【請求項１１】
前記出力手段は、前記画像データの顔の画像を表示するとともに、表示された顔の画像を参照して前記評価結果を表示画面上に出力する表示手段を有することを特徴とする請求項１０に記載の化粧評価装置。
【請求項１２】
前記評価手段は、前記評価を行う前に、画像データにおける顔の傾きを検出し、補正することを特徴とする請求項１０に記載の化粧評価装置。
【請求項１３】
前記評価手段は、画像データにおける顔の垂直中心線を求め、この垂直中心線を基準として、検査対象の１対の顔要素の一方を折り返して他方の顔要素に重ねることを特徴とする請求項１１に記載の化粧評価装置。
【請求項１４】
前記表示手段は、前記検査対象の１対の顔要素の一方を折り返して他方の顔要素に重ねた際の両顔要素の不一致時のはみ出し部分を元の顔画像に重ねて表示することを特徴とする請求項１３に記載の化粧評価装置。
【請求項１５】
前記表示手段は、顔の画像を左右反転することを特徴とする請求項１１または１４に記載の化粧評価装置。
【請求項１６】
前記評価手段は、前記検査対象の１対の顔要素の相互の類似度を算出する手段を有し、
前記出力手段は、算出された類似度を出力する
ことを特徴とする請求項１０に記載の化粧評価装置。
【請求項１７】
前記評価手段は、前記検査対象の１対の顔要素のそれぞれの領域を複数のサブ領域に分割し、各サブ領域内の画像データに基づいてそのサブ領域内の画像部分の各画素の色を色成分に色分解したときの各色成分の量の分布状態を求める手段を有し、
前記出力手段はその分布状態を出力する
ことを特徴とする請求項１０に記載の化粧評価装置。
【請求項１】
取得された顔の画像データに基づいて、顔の各要素を抽出するステップと、
対となる要素同士の対称性および類似度の少なくとも一方を評価するステップと、
評価結果を出力するステップと
をコンピュータに実行させることを特徴とする化粧評価プログラム。
【請求項２】
前記評価結果を出力するステップは、
前記画像データの顔の画像を表示するステップと、
表示された顔の画像を参照して前記評価結果を表示画面上に出力するステップと
を含む請求項１に記載の化粧評価プログラム。
【請求項３】
前記評価するステップの実行の前に、画像データにおける顔の傾きを検出し、補正するステップをさらに備えた請求項１に記載の化粧評価プログラム。
【請求項４】
前記評価するステップは、
画像データにおける顔の垂直中心線を求めるステップと、
顔の垂直中心線を基準として、検査対象の１対の顔要素の一方を折り返して他方の顔要素に重ねるステップと
を備えた請求項２に記載の化粧評価プログラム。
【請求項５】
前記評価するステップは、前記検査対象の１対の顔要素の一方を折り返して他方の顔要素に重ねた際の両顔要素の不一致時のはみ出し部分を元の顔画像に重ねて表示するステップをさらに備えた請求項４に記載の化粧評価プログラム。
【請求項６】
前記表示するステップは、顔の画像を左右反転するステップを含む請求項２または５に記載の化粧評価プログラム。
【請求項７】
前記検査対象の１対の顔要素の相互の類似度を算出するステップと、
算出された類似度を出力するステップと
をさらに備えた請求項１に記載の化粧評価プログラム。
【請求項８】
前記検査対象の１対の顔要素のそれぞれの領域を複数のサブ領域に分割するステップと、
各サブ領域内の画像データに基づいてそのサブ領域内の画像部分の各画素の色を色成分に色分解したときの各色成分の量の分布状態を求めるステップと、
その分布状態を出力するステップと
をさらに備えた請求項１に記載の化粧評価プログラム。
【請求項９】
顔の画像データを取得するステップと、
顔の各要素を抽出するステップと、
対となる要素同士の対称性および類似度の少なくとも一方を評価するステップと、
評価結果を出力するステップと
を備えたことを特徴とする化粧評価方法。
【請求項１０】
取得された顔の画像データに基づいて、顔の各要素を抽出する撮影手段と、
対となる要素同士の対称性および類似度の少なくとも一方を評価する評価手段と、
評価結果を出力する出力手段と
を備えたことを特徴とする化粧評価装置。
【請求項１１】
前記出力手段は、前記画像データの顔の画像を表示するとともに、表示された顔の画像を参照して前記評価結果を表示画面上に出力する表示手段を有することを特徴とする請求項１０に記載の化粧評価装置。
【請求項１２】
前記評価手段は、前記評価を行う前に、画像データにおける顔の傾きを検出し、補正することを特徴とする請求項１０に記載の化粧評価装置。
【請求項１３】
前記評価手段は、画像データにおける顔の垂直中心線を求め、この垂直中心線を基準として、検査対象の１対の顔要素の一方を折り返して他方の顔要素に重ねることを特徴とする請求項１１に記載の化粧評価装置。
【請求項１４】
前記表示手段は、前記検査対象の１対の顔要素の一方を折り返して他方の顔要素に重ねた際の両顔要素の不一致時のはみ出し部分を元の顔画像に重ねて表示することを特徴とする請求項１３に記載の化粧評価装置。
【請求項１５】
前記表示手段は、顔の画像を左右反転することを特徴とする請求項１１または１４に記載の化粧評価装置。
【請求項１６】
前記評価手段は、前記検査対象の１対の顔要素の相互の類似度を算出する手段を有し、
前記出力手段は、算出された類似度を出力する
ことを特徴とする請求項１０に記載の化粧評価装置。
【請求項１７】
前記評価手段は、前記検査対象の１対の顔要素のそれぞれの領域を複数のサブ領域に分割し、各サブ領域内の画像データに基づいてそのサブ領域内の画像部分の各画素の色を色成分に色分解したときの各色成分の量の分布状態を求める手段を有し、
前記出力手段はその分布状態を出力する
ことを特徴とする請求項１０に記載の化粧評価装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図８】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図８】
【公開番号】特開２００９−２１３７５１（Ｐ２００９−２１３７５１Ａ）
【公開日】平成２１年９月２４日（２００９．９．２４）
【国際特許分類】
【出願番号】特願２００８−６２２９４（Ｐ２００８−６２２９４）
【出願日】平成２０年３月１２日（２００８．３．１２）
【出願人】（５０１４３１０７３）ソニー・エリクソン・モバイルコミュニケーションズ株式会社 (810)
【Ｆターム（参考）】
【公開日】平成２１年９月２４日（２００９．９．２４）
【国際特許分類】
【出願日】平成２０年３月１２日（２００８．３．１２）
【出願人】（５０１４３１０７３）ソニー・エリクソン・モバイルコミュニケーションズ株式会社 (810)
【Ｆターム（参考）】
[ Back to top ]