ミラー付什器
【課題】使用者の顔の美容に関する美容情報を使用者に提供する。
【解決手段】洗面化粧台は、使用者の顔を映すミラー３と、ミラー３に対向する位置に存在する使用者の顔を非接触で撮像する撮像部４とを備える。また、洗面化粧台は、撮像部４で撮像された顔画像の一部に対する形状および色の少なくとも１つを特徴量として抽出する特徴抽出部５４と、特徴抽出部５４で抽出された特徴量に応じて、使用者の顔の美容に関する情報を美容情報として求める分析部５５とを備える。さらに、洗面化粧台は、分析部５５で求められた美容情報を提示する表示部７を備える。
【解決手段】洗面化粧台は、使用者の顔を映すミラー３と、ミラー３に対向する位置に存在する使用者の顔を非接触で撮像する撮像部４とを備える。また、洗面化粧台は、撮像部４で撮像された顔画像の一部に対する形状および色の少なくとも１つを特徴量として抽出する特徴抽出部５４と、特徴抽出部５４で抽出された特徴量に応じて、使用者の顔の美容に関する情報を美容情報として求める分析部５５とを備える。さらに、洗面化粧台は、分析部５５で求められた美容情報を提示する表示部７を備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、鏡面部を有するミラー付什器に関する。
【背景技術】
【０００２】
従来から、種々の洗面化粧台が開発され市販されている。特許文献１には、使用者の画像とともに使用者に対応した情報を表示する洗面化粧台が開示されている。特許文献１に記載された洗面化粧台は、使用者を撮像し、使用者の画像により使用者を特定し、上記使用者に応じて、天気予報またはニュースなどの情報をモニタ画面に表示させることができる。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特許第３５０５５７５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ところで、使用者は、洗面化粧台において、自己の顔の状態を確認したり、自己の顔の状態を向上させるためにマッサージまたは化粧をしたりするというような美容行為を行うことが多い。
【０００５】
しかしながら、特許文献１に記載された従来の洗面化粧台は、使用者に対して、天気予報またはニュースなど美容行為とは無関係の情報を提供することができるものの、使用者の顔の美容に関する美容情報を提供することはできなかった。
【０００６】
なお、上記美容情報を提供する際に使用者の顔に器具を直接接触させることは、使用者に不快感を与えたり、使用者の美容行為を阻害したりするため、好ましくない。
【０００７】
本発明は上記の点に鑑みて為され、本発明の目的は、使用者の顔の美容に関する美容情報を使用者に提供することができるミラー付什器を提供することにある。
【課題を解決するための手段】
【０００８】
本発明のミラー付什器は、使用者の顔を映す鏡面部と、前記鏡面部に対向する位置に存在する前記使用者の顔の少なくとも一部を非接触で撮像する撮像部と、前記撮像部で撮像された顔画像における形状および色の少なくとも１つを特徴量として抽出する特徴抽出部と、前記特徴抽出部で抽出された前記特徴量に応じて、前記使用者の顔の美容に関する情報を美容情報として求める分析部と、前記分析部で求められた前記美容情報を提示する提示部とを備えることを特徴とする。
【０００９】
このミラー付什器において、前記提示部は、前記美容情報に応じて前記使用者の対処方法を提示することが好ましい。
【００１０】
このミラー付什器において、前記分析部は、前記美容情報として、前記使用者の顔に表われている当該使用者の疲れ度を求めることが好ましい。
【００１１】
このミラー付什器において、前記分析部は、前記美容情報として、前記使用者の顔の形態に関する情報を求めることが好ましい。
【００１２】
このミラー付什器において、前記分析部は、前記美容情報として、前記使用者の顔に存在する化粧品の状態を表わす情報を求めることが好ましい。
【００１３】
このミラー付什器において、前記分析部は、前記美容情報として、前記使用者の顔の色彩に関する情報を求めることが好ましい。
【００１４】
このミラー付什器において、前記撮像部は、前記使用者の歯を非接触で撮像し、前記分析部は、前記美容情報として、前記使用者の歯の汚れ状態を表わす情報を求めることが好ましい。
【００１５】
このミラー付什器において、前記顔画像の一部を抽出する領域抽出部を備え、前記提示部は、前記領域抽出部で抽出された部分を拡大表示することが好ましい。
【００１６】
このミラー付什器において、複数の前記顔画像を合成して３次元顔画像を生成する画像生成部を備え、前記提示部は、前記画像生成部で生成された前記３次元顔画像を提示することが好ましい。
【発明の効果】
【００１７】
本発明によれば、顔画像を用いて使用者の顔の美容に関する美容情報を求めて提示することによって、上記美容情報を使用者に提供することができる。これにより、使用者に対して自己の顔の美容を確認させることができる。
【図面の簡単な説明】
【００１８】
【図１】実施形態１，２に係る洗面化粧台の構成を示すブロック図である。
【図２】同上に係る洗面化粧台の外観図である。
【図３】同上に係る洗面化粧台において、（ａ）は顔画像を示す図、（ｂ）は顔画像に顔モデルをあてはめた図、（ｃ）は特徴点を抽出するときの図である。
【図４】同上に係る洗面化粧台において、目元の画像を示す図である。
【図５】同上に係る洗面化粧台における表示部の表示画面の一例を示す図である。
【図６】同上に係る洗面化粧台における表示部の表示画面の一例を示す図である。
【図７】同上に係る洗面化粧台において、（ａ）〜（ｄ）は化粧下地クリームを塗ったときの顔画像を示す図、（ｅ）〜（ｈ）は日焼け止めクリームを塗ったときの顔画像を示す図である。
【図８】同上に係る洗面化粧台の動作の一例を示すフローチャートである。
【発明を実施するための形態】
【００１９】
以下の実施形態１，２では、使用者の顔の美容に関する情報を美容情報として表示する洗面化粧台について説明する。
【００２０】
（実施形態１）
実施形態１に係る洗面化粧台は、図２に示すように、洗面ボウル１１を有する洗面台本体１と、洗面台本体１の上方位置に配置されたキャビネット２と、キャビネット２の前面に配置された複数枚（図示例では３枚）のミラー（鏡面部）３とを備えている。また、本実施形態の洗面化粧台は、図１に示すように、使用者の顔を撮像する撮像部４と、使用者の顔画像を用いた処理を行う処理装置５と、各種情報を記憶する記憶部６と、各種情報を表示する表示部（提示部）７と、使用者が入力操作するための操作部８とを備えている。図２に示すように、キャビネット２の上方位置には、可視光を照射する照明部２１と、ＵＶＡ波長（３１５〜４００ｎｍ）の紫外線を使用者に照射するＵＶＡ照射部９とが設けられている。
【００２１】
本実施形態の美容情報は、使用者の顔の見た目を現状よりも向上させるための美容行為を支援する情報であり、例えば病気または虫歯など健康に関する情報とは異なる。美容情報としては、使用者の顔に表われている使用者の疲れ度と、使用者の顔の形態に関する情報と、使用者の顔に存在する化粧品の状態を表わす情報と、使用者の顔の色彩に関する情報とがある。使用者の顔の形態に関する情報としては、例えば顔のフェースライン、たるみまたはしわなどがある。使用者の顔の化粧品の状態を表わす情報としては、例えば化粧品の塗りむらまたは化粧品の落とし具合などがある。本実施形態では、化粧品は、化粧下地クリーム、日焼け止めクリームおよびファンデーションなどを含む。使用者の顔の色彩に関する情報としては、例えば顔のクマ、しみ、色むらまたは透明感などがある。
【００２２】
本実施形態の洗面化粧台は、以下に示す第１〜第４の分析モードを選択可能に有している。第１の分析モードとは、使用者の顔に表われている使用者の疲れ度を求めて表示するモードである。第２の分析モードとは、使用者の顔の形態に関する情報を求めて表示するモードである。第３の分析モードとは、使用者の顔に存在する化粧品の状態を表わす情報を求めて表示するモードである。第４の分析モードとは、使用者の顔の色彩に関する情報を求めて表示するモードである。第１〜第４の分析モードの詳細については後述する。
【００２３】
ミラー３は、図２に示すように、使用者の顔を映すようにキャビネット２の前面に配置されている。
【００２４】
撮像部４は、例えばＣＣＤ（Charge Coupled Device）イメージセンサまたはＣＭＯＳ（ComplementaryMetal Oxide Semiconductor）イメージセンサなどを用いたエリアセンサカメラであり、ミラー３に埋め込んで設けられている。ミラー３は、撮像部４の前方を覆う部位がマジックミラーで構成されている。撮像部４は、ミラー３に対向する位置に存在する使用者の顔を非接触で撮像する。使用者の顔が撮像された撮像画像の画像データは、撮像部４から処理装置５に出力される。
【００２５】
図１に示す処理装置５は、コンピュータに搭載された中央処理装置（ＣＰＵ：Central Processing Unit）であり、記憶部６に格納されているプログラムに従って動作する。これにより、処理装置５は、後述の顔画像取得部５１と認証部５２と属性取得部５３と特徴抽出部５４と分析部５５と制御部５６と領域抽出部５７と画像生成部５８との各機能を実行することができる。以下、処理装置５によって実行される各機能について説明する。なお、処理装置５は、全ての機能または一部の機能を中央処理装置とは別のマイクロプロセッサ（ＭＰＵ：Micro Processing Unit）で実行してもよい。
【００２６】
顔画像取得部５１は、撮像部４で得られた撮像画像を撮像部４から取り込む。撮像画像を取り込んだ顔画像取得部５１は、上記撮像画像から、使用者の顔部分に相当する顔画像を抽出する。つまり、顔画像取得部５１は、撮像部４で得られた撮像画像から使用者の顔画像を取得する。使用者の顔画像は記憶部６に記憶される。
【００２７】
認証部５２は、顔画像取得部５１で取得された顔画像と各個人の顔画像とを照合することによって、使用者を個人認証する。各個人の顔画像は、記憶部６に予め記憶されている。なお、認証部５２は、指紋認証によって使用者を個人認証してもよい。操作部８に、使用者の指紋を入力するための指紋入力機能があればよい。具体的には、認証部５２は、使用者の指紋と各個人の指紋とを照合することによって、使用者を個人認証する。この場合、記憶部６には、各個人の指紋の情報が予め記憶されている。また、認証部５２は、顔認証または指紋認証ではなく、使用者の体重または体型などの情報から個人認証してもよい。具体的には、認証部５２は、使用者の体重（または体型）と各個人の体重（または体型）とを照合することによって、使用者を認証する。この場合、記憶部６には、各個人の体重（または体型）の情報が予め記憶されている。例えば家族などのような、限られた特定集団の場合に容易に実現することができる。
【００２８】
属性取得部５３は、使用者の属性を取得する。属性取得部５３で取得される属性としては、例えば人種・性別・年齢（年代）などがある。属性取得部５３が使用者の属性を取得する手法としては、顔画像を用いてサポートベクターマシン（ＳＶＭ：Support Vector Machine）によって使用者の属性を推定する第１の手法と、使用者が操作部８を用いて使用者の属性を申告する第２の手法とがある。第１の手法と第２の手法とは、使用者による操作部８からの操作によって切換選択可能である。なお、属性取得部５３が使用者の属性を取得する手法としては、第１の手法と第２の手法の少なくともいずれか一方の手法があればよい。
【００２９】
特徴抽出部５４は、顔画像取得部５１で取得された顔画像における形状および色の少なくとも１つを特徴量として抽出する。つまり、特徴抽出部５４は、顔画像取得部５１で取得された顔画像から使用者の顔の状態を特徴付ける特徴量を抽出する。特徴抽出部５４で抽出される特徴量は、第１〜第４の分析モードによって異なる。
【００３０】
分析部５５は、特徴抽出部５４で抽出された特徴量に応じて、使用者の顔の美容に関する情報を美容情報として求める。分析部５５は、特徴抽出部５４で抽出された特徴量と閾値とを比較する比較機能と、比較結果を用いて使用者の顔の状態を判定する判定機能とを有している。また、分析部５５は、操作部８に入力された主観評価に応じて判定結果を補正する補正機能を有している。
【００３１】
制御部５６は、撮像部４と表示部７とＵＶＡ照射部９との動作を制御する。制御部５６は、分析部５５で求められた美容情報を表示部７が表示するように表示部７を制御する。また、制御部５６は、美容情報に応じた使用者の対処方法を表示部７が表示するように表示部７を制御する。上述のように対処方法を表示部７に表示させる場合、制御部５６は、使用者の対処部位の画像を対処方法とともに表示部７に表示させることができる。他にも、制御部５６は、例えば口角、目尻またはしわの程度などを時系列に表示部７に表示させることができる。
【００３２】
領域抽出部５７は、特徴抽出部５４で抽出された特徴点を用いて、操作部８で選択された部分を顔画像から抽出する。操作部８で選択される部分は、例えば目元または口元などである。拡大部分の位置およびサイズを正規化することによって、使用者が顔の位置を合わせる必要がない拡大鏡を提供することができる。
【００３３】
画像生成部５８は、記憶部６の記憶されている複数の顔画像を合成して３次元顔画像を生成する。複数の顔画像は、使用者の正面顔の画像と、使用者の左顔の画像と、使用者の右顔の画像とからなる。
【００３４】
記憶部６は、撮像部４で得られた撮像画像を記憶しているともに、第１〜第４の分析モードに応じて、処理装置５の処理に必要な情報と、処理装置５の処理によって得られた情報とを記憶している。また、記憶部６は、処理装置５が画像処理を行うためのプログラムを格納している。つまり、記憶部６は、顔画像取得部５１と認証部５２と属性取得部５３と特徴抽出部５４と分析部５５と制御部５６と領域抽出部５７と画像生成部５８との各機能を処理装置５に実現させるためのプログラムを格納している。
【００３５】
表示部７は、例えば液晶ディスプレイまたは有機ＥＬ（Electro-Luminescence）ディスプレイなどであり、制御部５６の指示に従って、各種情報を表示する表示機能を有している。表示部７は、ミラー３の一部を切り欠くなどして内装されている（図２参照）。表示部７は、分析部５５で求められた美容情報を表示する。また、表示部７は、美容情報に応じて使用者の対処方法を提示する。さらに、表示部７は、領域抽出部５７で抽出された部分を拡大表示する。
【００３６】
操作部８は、例えば複数の操作ボタンまたはタッチパネルなどであり、使用者が処理装置５に情報を入力する際に用いられる。例えば、操作部８は、第１〜第４の分析モードを使用者が選択できるように構成されている。また、操作部８は、各分析モードにおいて、複数の対処モードを使用者が選択できるように構成されている。使用者は、操作部８を操作することによって、第１〜第４の分析モードの中から所望の分析モードを選択し、さらに、複数の対処モードの中から所望の対処モードを選択することができる。さらに、操作部８は、使用者が顔画像の中から拡大表示させたい部分を選択できるように構成されている。操作部８に入力された情報は、操作部８から処理装置５に出力される。
【００３７】
また、操作部８は、他の例として、使用者が非接触で操作できるように、使用者と洗面化粧台との間の空間における使用者の指の空間位置を検出し、空間位置に応じて操作内容を判断するような構成であってもよい。
【００３８】
ＵＶＡ照射部９は、例えばＬＥＤ（Light Emitting Diode）などの光源９１と、ＤＭＤ（DigitalMirror Device）９２と、光源９１およびＤＭＤ９２を制御する照射制御部９３とを備えている。
【００３９】
次に、第１〜第４の分析モードのそれぞれにおける処理装置５の動作について順に説明する。
【００４０】
まず、第１の分析モード（使用者の顔に表われている使用者の疲れ度を求めて表示するモード）について説明する。
【００４１】
顔画像取得部５１は、撮像部４で得られた撮像画像から使用者の顔画像を取得する。属性取得部５３は、使用者の属性を取得する。
【００４２】
特徴抽出部５４は、顔画像取得部５１で取得された顔画像から、使用者の疲れ度を特徴付ける特徴量を抽出する。まず、特徴抽出部５４は、例えばＡＳＭ（Active Shape Model）、ＡＣＭ（Active Contour Model）またはＡＡＭ（Active Appearance Model）などの特徴点抽出手法により、顔画像に顔モデルを照合し、顔画像の特徴点を抽出する。
【００４３】
具体的には、特徴抽出部５４は、図３（ｂ）に示すように顔画像（図３（ａ）参照）に顔モデルを照合する。記憶部６には、例えば人種・性別・年代ごとに顔モデルが対応して記憶されている。各属性の顔モデルは、属性が同じである複数の顔写真を用いて事前に学習された顔モデルである。学習時に用いる顔写真は、例えば世界中の大学、研究機関または企業などで管理されている顔認識用データベースなどから予め取得される。
【００４４】
続いて、特徴抽出部５４は、図３（ｃ）に示すように、例えば目または口など、顔画像における顔器官（特定部位）の特徴点を抽出する。
【００４５】
特徴点を抽出した特徴抽出部５４は、図４に示す目元の画像を用いて、目尻の下がり具合を表わす角θと、目の開き具合を表わす距離Ｌとを特徴量として抽出する。また、特徴抽出部５４は、口元の画像を用いて、口の開き具合を特徴量として抽出する。さらに、特徴抽出部５４は、顔画像から目の下のクマの色情報を数値化し、特徴量として抽出する。
【００４６】
分析部５５は、特徴抽出部５４で抽出された特徴量を推定式にあてはめて、使用者の顔に表われている使用者の疲れ度を求める。疲れ度の推定式は、例えば、疲れ度＝Ａ１×（目尻の下がり）＋Ａ２×（口の開き）＋Ａ３×（目の開き）＋Ａ４×（目の下のクマの色）＋Ａ５などである。Ａ１〜Ａ５は定数である。上記推定式は、例えば性別・年代ごとに予め作成されている。疲れ度は、０〜１００％で表わされる。分析部５５で求められた疲れ度の情報は、制御部５６に出力されるとともに、記憶部６に記憶される。
【００４７】
一般的に、人に疲労の負荷が加わると、顔の筋肉がたるむと考えられている。したがって、分析部５５が使用者の疲れ度を求める際に、使用者の目尻の下がり、口の開き、目の開きおよび目の下のクマの色が用いられる。
【００４８】
また、分析部５５は、推定式で用いた部位のうち最も疲れ度に寄与する部位を疲れ部位として求める。分析部５５で分析された疲れ部位の情報は、制御部５６に出力されるとともに、記憶部６に記憶される。
【００４９】
なお、分析部５５は、推定式を用いるのではなく、例えば自己組織化マップ（ＳＯＭ：Self Organization Map）などで数段階（例えば「疲れあり」・「少し疲れあり」・「疲れなし」の３段階）に仕分けることによって、使用者の疲れ度を求めてもよい。
【００５０】
制御部５６は、疲れ度の情報と疲れ部位の情報と顔画像の画像データとを含む制御信号を表示部７に出力する。表示部７には、図５に示すように、疲れ度と疲れ部位と顔画像とが表示される。顔画像には、疲れ部位が示されている（図５の○印）。また、制御部５６は、使用者の対処方法の映像を表示部７に表示させることができる。使用者の対処方法としては、例えばメイク支援または美顔器を用いた顔のマッサージ方法などがある。使用者の対処方法の映像データは、記憶部６に記憶されている。記憶部６には、マッサージ方法の映像データが部位ごとに記憶されている。
【００５１】
第１の分析モードが選択されるシーンとしては、例えば使用者が朝起きて疲れ度を確認し、対処のためのメイクをして、再度、疲れ度を確認するシーンがある。他の例としては、使用者が就寝前に疲れ度を確認し、疲れ部位への対処マッサージをして、再度、疲れ度を確認するシーンがある。
【００５２】
続いて、第２の分析モード（使用者の顔の形態に関する情報を求めて表示するモード）について説明する。なお、第１の分析モードと同様の機能については説明を省略する。
【００５３】
図１に示す顔画像取得部５１は、撮像部４で得られた撮像画像から使用者の顔画像を取得する。認証部５２は、使用者を個人認証する。属性取得部５３は、使用者の属性を取得する。
【００５４】
特徴抽出部５４は、例えばＡＳＭ、ＡＣＭまたはＡＡＭなどの特徴点抽出手法により、顔画像取得部５１で取得された顔画像に顔モデルを照合し、使用者の顔のフェースラインＰ１（図６参照）を抽出する。
【００５５】
分析部５５は、今回抽出されたフェースラインＰ１と過去に抽出されたフェースラインＰ２，Ｐ３（図６参照）とを比較して、使用者の顔のフェースラインの変化を分析する。
【００５６】
制御部５６は、図６に示すように、今回抽出されたフェースラインＰ１と過去に抽出されたフェースラインＰ２，Ｐ３とを重ね合わせて表示するように表示部７を制御する。また、制御部５６は、表示部７がマッサージ前の顔画像とマッサージ後の顔画像とを並べて表示するように表示部７を制御してもよい。使用者は、表示部７に表示された２つの顔画像を見比べることによって、マッサージの効果を確認することができる。
【００５７】
なお、処理装置５は、３次元の顔画像を取得することができる場合、使用者の顔の形態に関する情報として、使用者の顔のたるみまたはしわを抽出し、たるみまたはしわに関する情報を表示部７に表示させることができる。
【００５８】
続いて、第３の分析モード（使用者の顔に存在する化粧品の状態を表わす情報を美容情報として求めて表示するモード）について説明する。なお、第１の分析モードと同様の機能については説明を省略する。
【００５９】
図１に示す顔画像取得部５１は、撮像部４で得られた撮像画像から使用者の顔画像を取得する。属性取得部５３は、使用者の属性を取得する。
【００６０】
特徴抽出部５４は、第１の分析モードの場合と同様に、顔画像に顔モデルを照合する。特徴抽出部５４は、使用者の目の位置を特徴点として抽出する。
【００６１】
その後、制御部５６は、ＵＶＡ照射部９が使用者の顔のうち目の部分以外に紫外線を照射するようにＵＶＡ照射部９を制御する。これにより、使用者の目に対する安全性を確保することができる。使用者の顔に紫外線を照射した後、制御部５６は、使用者の顔を撮像部４が撮像するように撮像部４を制御する。この場合、撮像部４では、紫外線領域を透過するフィルタが用いられ、紫外線が照射されている顔が撮像される。
【００６２】
顔画像取得部５１は、撮像部４で得られた撮像画像から使用者の顔画像を取得する。図７（ａ）〜（ｄ）は、化粧下地クリームを塗ったときの顔画像を示し、図７（ｅ）〜（ｈ）は、日焼け止めクリームを塗ったときの顔画像を示す。
【００６３】
特徴抽出部５４は、コントラスト変換機能と領域抽出機能とを有している。コントラスト変換機能とは、顔画像における画素値の分布を表わした濃度ヒストグラムまたはトーンカーブを用いて、顔画像の明るさおよびコントラストを変換する機能である。領域抽出機能とは、コントラスト変換機能によって明るさおよびコントラストが変換された顔画像から、化粧品が存在する領域を抽出する機能である。化粧品が存在する領域は他の領域とは異なる色であるため、特徴抽出部５４は、予め設定された閾値と各画素値とを比較して、化粧品が存在する領域を特徴量として抽出することができる。
【００６４】
分析部５５は、特徴抽出部５４で抽出された領域から、使用者の顔に存在する化粧品の状態を表わす情報を美容情報として求める。
【００６５】
制御部５６は、特徴抽出部５４で明るさおよびコントラストが変換された顔画像と、分析部５５で求められた美容情報とを表示部７が表示するように表示部７を制御する。
【００６６】
ところで、画像生成部５８を用いて３次元画像を生成することができる。使用者の横顔を撮像する場合、使用者が操作部８を用いて撮像タイマのボタン（例えば５秒後に撮像するためのボタン）を押し、上記ボタンを押してから撮像されるまでの間に正面顔の姿勢から右の横顔の姿勢に変更することによって、右の横顔を撮像することができる。図７（ｂ），（ｆ）は、右の横顔の顔画像を示す。左の横顔も同様の方法で撮像することができる。図７（ｄ），（ｈ）は、左の横顔の顔画像を示す。図７（ｂ）〜（ｄ），（ｆ）〜（ｈ）に示すような正面顔と右の横顔と左の横顔との３枚の顔画像ができた時点で、使用者が操作部８の３次元合成ボタンを押すことによって、画像生成部５８は３次元顔画像を生成する。使用者は、表示部７の画面上にある３次元顔画像を使用者の指で自由に角度を変えることができる。なお、図７（ａ），（ｅ）は、通常に撮像された場合の顔画像を示す。
【００６７】
続いて、第４の分析モード（使用者の顔の色彩に関する情報を求めて表示するモード）について説明する。なお、第１の分析モードでの処理装置５と同様の機能については説明を省略する。
【００６８】
顔画像取得部５１は、撮像部４で得られた撮像画像から使用者の顔画像を取得する。
【００６９】
特徴抽出部５４は、顔画像取得部５１で取得された顔画像の画素値の色分布を求める。この際、昼夜または照明の有無によって顔画像の各画素の画素値が異なるため、特徴抽出部５４は、カラーマーカー（色基準）を用いて顔画像の各画素の画素値を補正し、補正後の顔画像の画素値の色分布を求める。
【００７０】
分析部５５は、顔画像の画素値の色分布から、使用者の顔の色彩に関する情報を求める。
【００７１】
制御部５６は、顔画像および分析部５５の分析結果を表示部７が表示するように表示部７を制御する。
【００７２】
なお、第４の分析モードにおいて、均一照明を行うことができる場合、特徴抽出部５４は、画素値の補正を省略することができる。
【００７３】
次に、本実施形態に係る洗面化粧台の使用例について図８を用いて説明する。まず、使用者は操作部８を用いて分析モードを選択する（図８のＳ１）。第１の分析モードが選択された場合、洗面化粧台の前方に立っている使用者の顔を撮像部４が撮像し、処理装置５の顔画像取得部５１が、撮像部４で得られた撮像画像から使用者の顔画像を取得する（Ｓ２）。その後、属性取得部５３が使用者の属性を取得し、特徴抽出部５４が使用者の属性に対応する顔モデルを記憶部６から読み込んで顔画像にあてはめて、顔画像から顔器官の特徴点を抽出する（Ｓ３）。その後、処理装置５は、疲れ度に寄与する特徴量を抽出する（Ｓ４）。その後、分析部５５は、疲れ度の推定式を用いて、疲れ度を求め、疲れ部位を決定する（Ｓ５）。その後、表示部７は、撮像部４で撮像された顔画像とともに、現状の疲れ度および疲れ部位を表示する（Ｓ６）。
【００７４】
その後、対処モードへ切り替えるための操作が使用者によって行われた場合（Ｓ７）、対処モードに切り替わり、対処モードに応じて表示部７が対処方法を表示する（Ｓ８）。例えば、美顔器を用いたマッサージに関するアドバイスの映像が表示された場合、使用者は、表示部７に表示された映像を見ながら、美顔器を用いて疲労部位を中心に顔をマッサージすることができる。
【００７５】
その後、操作部８の終了ボタンが押されると終了する（Ｓ９）。ステップＳ７において、使用者が対処モードへ切り替えるための操作が行われなかった場合、終了ボタンが押されると終了する（Ｓ９）。
【００７６】
以上、本実施形態の洗面化粧台によれば、顔画像を用いて使用者の顔の美容に関する美容情報を求めて提示することによって、使用者に対して自己の顔の美容を把握させることができる。このときに、撮像部４が使用者の顔を非接触で撮像することができるので、使用者の行為を阻害することなく、上記美容情報を求めて提示することができる。
【００７７】
また、本実施形態の洗面化粧台によれば、美容情報に応じて使用者の対処方法を使用者に提示することによって、使用者に対して自己の顔の美容を積極的かつ効果的に改善させることができる。
【００７８】
さらに、本実施形態の洗面化粧台によれば、使用者が操作部８を用いて使用時にモードを選択することができるので、使い勝手がよい。
【００７９】
本実施形態の洗面化粧台は、第１の分析モードの場合に、使用者に対して自己の疲れ度を知らせることができ、第２の分析モードの場合に、使用者に対して自己の顔の形態を知らせることができる。また、第３の分析モードの場合に、使用者に対して自己の顔に存在する化粧品の状態を知らせることができ、第４の分析モードの場合に、使用者に対して自己の顔の色彩に関する情報を知らせることができる。
【００８０】
また、本実施形態の洗面化粧台によれば、撮像部４で撮像された顔画像の一部を拡大表示することができるので、使用者は、拡大部分を詳細に見ることができ、美容行為をより効果的に行うことができる。
【００８１】
さらに、本実施形態の洗面化粧台によれば、操作部８を用いて使用者が入力した主観評価に応じて補正した美容情報を表示部７に表示させることによって、使用者は主観評価を反映した美容情報を視認することができる。
【００８２】
（実施形態２）
実施形態２に係る洗面化粧台は、使用者の歯の汚れ状態を分析するモード（第５の分析モード）を有している点で、実施形態１に係る洗面化粧台と相違する。以下、第５の分析モードについて説明する。実施形態１の洗面化粧台と同様の構成要素および第１〜第４の分析モードでの動作については、説明を省略する。
【００８３】
本実施形態の撮像部４は、青色光を発する青色発光源を備え、キャビネット２から取り出し可能に設けられている。本実施形態の撮像部４は、使用者によってキャビネット２から取り出された状態で、青色発光源を用いて青色光を発しながら使用者の歯を非接触で撮像する。なお、実施形態１の撮像部４と同様の機能については説明を省略する。
【００８４】
本実施形態の顔画像取得部５１は、撮像部４で得られた撮像画像を使用者の顔画像として取得する。
【００８５】
本実施形態の特徴抽出部５４は、顔画像取得部５１で取得された顔画像から、他の領域と異なる色の領域（例えばピンク色の領域）の位置および面積を特徴量として抽出する。
【００８６】
本実施形態の分析部５５は、特徴抽出部５４で抽出された面積と閾値とを比較する。閾値は、予め設定されている。その後、分析部５５は、比較結果を用いて、使用者の歯の汚れ状態を表わす情報を美容情報として求める。具体的には、分析部５５は、特徴抽出部５４で抽出された領域の面積が閾値以上である場合、使用者の歯が汚れていると判定する。一方、特徴抽出部５４で抽出された領域の面積が閾値未満である場合、分析部５５は、使用者の歯は汚れていないと判定する。
【００８７】
本実施形態の制御部５６は、使用者の歯が汚れていると分析部５５で判定された場合、歯の汚れている領域の位置を表示部７が表示するように表示部７を制御する。使用者の歯が汚れていないと分析部５５で判定された場合、使用者の歯が汚れていない旨のコメントを表示部７が表示するように表示部７を制御する。また、制御部５６は、使用者の対処方法として歯磨きのアドバイスの映像を表示部７に表示させることができる。歯磨きのアドバイスの映像データは、記憶部６に記憶されている。
【００８８】
上記より、本実施形態の洗面化粧台は、第５の分析モードの場合に、使用者の歯に青色光を照射した状態で撮像された歯の画像を用いて、使用者の歯の汚れ状態を表わす情報を求めることによって、使用者に対して自己の歯の汚れ状態を知らせることができる。
【００８９】
なお、実施形態１の場合、洗面化粧台は、必ずしも第１〜第４の分析モードの全てを有していなくてもよく、第１〜第４の分析モードのうち１つ〜３つの分析モードを有しているのみであってもよい。また、実施形態２の場合、洗面化粧台は、必ずしも第１〜第５の分析モードの全てを有していなくてもよく、第１〜第５の分析モードのうち１つ〜４つの分析モードを有しているのみであってもよい。洗面化粧台は、第３の分析モードを有していない場合、ＵＶＡ照射部９を備えていなくてもよい。
【００９０】
なお、処理装置５の特徴抽出部５４は、第１の分析モードまたは第２の分析モードの場合に、属性取得部５３で取得された属性に応じて特徴量の抽出手法を変更してもよい。特徴抽出部５４が使用者の属性に応じて特徴量の抽出手法を変更することによって、特徴量の抽出精度を高めることができるので、使用者の顔の状態をさらに精度よく判定することができる。
【００９１】
また、特徴抽出部５４は、第１の分析モードまたは第２の分析モードの場合に、特徴量の抽出手法を個人ごとに変更してもよい。この場合、記憶部６は、特徴量を抽出する際に顔画像に照合させる顔モデルを個人ごとに記憶する。特徴抽出部５４は、認証部５２で個人認証された使用者に応じて特徴量の抽出手法を変更する。
【００９２】
使用者の顔画像は、各画素の画素値が明るさおよび色ではなく熱に関する値である熱画像などであってもよい。
【００９３】
なお、各実施形態ではミラー付什器として洗面化粧台について説明しているが、必ずしもミラー付什器が洗面化粧台である必要はない。各実施形態の変形例として、ミラー付什器が化粧台、姿見または風呂鏡などであってもよい。ミラー什器が化粧台、姿見または風呂鏡などであっても何ら問題はなく、各実施形態の洗面化粧台と同様の効果を得ることができる。
【符号の説明】
【００９４】
３ ミラー（鏡面部）
４ 撮像部
５４ 特徴抽出部
５５ 分析部
５７ 領域抽出部
７ 表示部（提示部）
【技術分野】
【０００１】
本発明は、鏡面部を有するミラー付什器に関する。
【背景技術】
【０００２】
従来から、種々の洗面化粧台が開発され市販されている。特許文献１には、使用者の画像とともに使用者に対応した情報を表示する洗面化粧台が開示されている。特許文献１に記載された洗面化粧台は、使用者を撮像し、使用者の画像により使用者を特定し、上記使用者に応じて、天気予報またはニュースなどの情報をモニタ画面に表示させることができる。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特許第３５０５５７５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ところで、使用者は、洗面化粧台において、自己の顔の状態を確認したり、自己の顔の状態を向上させるためにマッサージまたは化粧をしたりするというような美容行為を行うことが多い。
【０００５】
しかしながら、特許文献１に記載された従来の洗面化粧台は、使用者に対して、天気予報またはニュースなど美容行為とは無関係の情報を提供することができるものの、使用者の顔の美容に関する美容情報を提供することはできなかった。
【０００６】
なお、上記美容情報を提供する際に使用者の顔に器具を直接接触させることは、使用者に不快感を与えたり、使用者の美容行為を阻害したりするため、好ましくない。
【０００７】
本発明は上記の点に鑑みて為され、本発明の目的は、使用者の顔の美容に関する美容情報を使用者に提供することができるミラー付什器を提供することにある。
【課題を解決するための手段】
【０００８】
本発明のミラー付什器は、使用者の顔を映す鏡面部と、前記鏡面部に対向する位置に存在する前記使用者の顔の少なくとも一部を非接触で撮像する撮像部と、前記撮像部で撮像された顔画像における形状および色の少なくとも１つを特徴量として抽出する特徴抽出部と、前記特徴抽出部で抽出された前記特徴量に応じて、前記使用者の顔の美容に関する情報を美容情報として求める分析部と、前記分析部で求められた前記美容情報を提示する提示部とを備えることを特徴とする。
【０００９】
このミラー付什器において、前記提示部は、前記美容情報に応じて前記使用者の対処方法を提示することが好ましい。
【００１０】
このミラー付什器において、前記分析部は、前記美容情報として、前記使用者の顔に表われている当該使用者の疲れ度を求めることが好ましい。
【００１１】
このミラー付什器において、前記分析部は、前記美容情報として、前記使用者の顔の形態に関する情報を求めることが好ましい。
【００１２】
このミラー付什器において、前記分析部は、前記美容情報として、前記使用者の顔に存在する化粧品の状態を表わす情報を求めることが好ましい。
【００１３】
このミラー付什器において、前記分析部は、前記美容情報として、前記使用者の顔の色彩に関する情報を求めることが好ましい。
【００１４】
このミラー付什器において、前記撮像部は、前記使用者の歯を非接触で撮像し、前記分析部は、前記美容情報として、前記使用者の歯の汚れ状態を表わす情報を求めることが好ましい。
【００１５】
このミラー付什器において、前記顔画像の一部を抽出する領域抽出部を備え、前記提示部は、前記領域抽出部で抽出された部分を拡大表示することが好ましい。
【００１６】
このミラー付什器において、複数の前記顔画像を合成して３次元顔画像を生成する画像生成部を備え、前記提示部は、前記画像生成部で生成された前記３次元顔画像を提示することが好ましい。
【発明の効果】
【００１７】
本発明によれば、顔画像を用いて使用者の顔の美容に関する美容情報を求めて提示することによって、上記美容情報を使用者に提供することができる。これにより、使用者に対して自己の顔の美容を確認させることができる。
【図面の簡単な説明】
【００１８】
【図１】実施形態１，２に係る洗面化粧台の構成を示すブロック図である。
【図２】同上に係る洗面化粧台の外観図である。
【図３】同上に係る洗面化粧台において、（ａ）は顔画像を示す図、（ｂ）は顔画像に顔モデルをあてはめた図、（ｃ）は特徴点を抽出するときの図である。
【図４】同上に係る洗面化粧台において、目元の画像を示す図である。
【図５】同上に係る洗面化粧台における表示部の表示画面の一例を示す図である。
【図６】同上に係る洗面化粧台における表示部の表示画面の一例を示す図である。
【図７】同上に係る洗面化粧台において、（ａ）〜（ｄ）は化粧下地クリームを塗ったときの顔画像を示す図、（ｅ）〜（ｈ）は日焼け止めクリームを塗ったときの顔画像を示す図である。
【図８】同上に係る洗面化粧台の動作の一例を示すフローチャートである。
【発明を実施するための形態】
【００１９】
以下の実施形態１，２では、使用者の顔の美容に関する情報を美容情報として表示する洗面化粧台について説明する。
【００２０】
（実施形態１）
実施形態１に係る洗面化粧台は、図２に示すように、洗面ボウル１１を有する洗面台本体１と、洗面台本体１の上方位置に配置されたキャビネット２と、キャビネット２の前面に配置された複数枚（図示例では３枚）のミラー（鏡面部）３とを備えている。また、本実施形態の洗面化粧台は、図１に示すように、使用者の顔を撮像する撮像部４と、使用者の顔画像を用いた処理を行う処理装置５と、各種情報を記憶する記憶部６と、各種情報を表示する表示部（提示部）７と、使用者が入力操作するための操作部８とを備えている。図２に示すように、キャビネット２の上方位置には、可視光を照射する照明部２１と、ＵＶＡ波長（３１５〜４００ｎｍ）の紫外線を使用者に照射するＵＶＡ照射部９とが設けられている。
【００２１】
本実施形態の美容情報は、使用者の顔の見た目を現状よりも向上させるための美容行為を支援する情報であり、例えば病気または虫歯など健康に関する情報とは異なる。美容情報としては、使用者の顔に表われている使用者の疲れ度と、使用者の顔の形態に関する情報と、使用者の顔に存在する化粧品の状態を表わす情報と、使用者の顔の色彩に関する情報とがある。使用者の顔の形態に関する情報としては、例えば顔のフェースライン、たるみまたはしわなどがある。使用者の顔の化粧品の状態を表わす情報としては、例えば化粧品の塗りむらまたは化粧品の落とし具合などがある。本実施形態では、化粧品は、化粧下地クリーム、日焼け止めクリームおよびファンデーションなどを含む。使用者の顔の色彩に関する情報としては、例えば顔のクマ、しみ、色むらまたは透明感などがある。
【００２２】
本実施形態の洗面化粧台は、以下に示す第１〜第４の分析モードを選択可能に有している。第１の分析モードとは、使用者の顔に表われている使用者の疲れ度を求めて表示するモードである。第２の分析モードとは、使用者の顔の形態に関する情報を求めて表示するモードである。第３の分析モードとは、使用者の顔に存在する化粧品の状態を表わす情報を求めて表示するモードである。第４の分析モードとは、使用者の顔の色彩に関する情報を求めて表示するモードである。第１〜第４の分析モードの詳細については後述する。
【００２３】
ミラー３は、図２に示すように、使用者の顔を映すようにキャビネット２の前面に配置されている。
【００２４】
撮像部４は、例えばＣＣＤ（Charge Coupled Device）イメージセンサまたはＣＭＯＳ（ComplementaryMetal Oxide Semiconductor）イメージセンサなどを用いたエリアセンサカメラであり、ミラー３に埋め込んで設けられている。ミラー３は、撮像部４の前方を覆う部位がマジックミラーで構成されている。撮像部４は、ミラー３に対向する位置に存在する使用者の顔を非接触で撮像する。使用者の顔が撮像された撮像画像の画像データは、撮像部４から処理装置５に出力される。
【００２５】
図１に示す処理装置５は、コンピュータに搭載された中央処理装置（ＣＰＵ：Central Processing Unit）であり、記憶部６に格納されているプログラムに従って動作する。これにより、処理装置５は、後述の顔画像取得部５１と認証部５２と属性取得部５３と特徴抽出部５４と分析部５５と制御部５６と領域抽出部５７と画像生成部５８との各機能を実行することができる。以下、処理装置５によって実行される各機能について説明する。なお、処理装置５は、全ての機能または一部の機能を中央処理装置とは別のマイクロプロセッサ（ＭＰＵ：Micro Processing Unit）で実行してもよい。
【００２６】
顔画像取得部５１は、撮像部４で得られた撮像画像を撮像部４から取り込む。撮像画像を取り込んだ顔画像取得部５１は、上記撮像画像から、使用者の顔部分に相当する顔画像を抽出する。つまり、顔画像取得部５１は、撮像部４で得られた撮像画像から使用者の顔画像を取得する。使用者の顔画像は記憶部６に記憶される。
【００２７】
認証部５２は、顔画像取得部５１で取得された顔画像と各個人の顔画像とを照合することによって、使用者を個人認証する。各個人の顔画像は、記憶部６に予め記憶されている。なお、認証部５２は、指紋認証によって使用者を個人認証してもよい。操作部８に、使用者の指紋を入力するための指紋入力機能があればよい。具体的には、認証部５２は、使用者の指紋と各個人の指紋とを照合することによって、使用者を個人認証する。この場合、記憶部６には、各個人の指紋の情報が予め記憶されている。また、認証部５２は、顔認証または指紋認証ではなく、使用者の体重または体型などの情報から個人認証してもよい。具体的には、認証部５２は、使用者の体重（または体型）と各個人の体重（または体型）とを照合することによって、使用者を認証する。この場合、記憶部６には、各個人の体重（または体型）の情報が予め記憶されている。例えば家族などのような、限られた特定集団の場合に容易に実現することができる。
【００２８】
属性取得部５３は、使用者の属性を取得する。属性取得部５３で取得される属性としては、例えば人種・性別・年齢（年代）などがある。属性取得部５３が使用者の属性を取得する手法としては、顔画像を用いてサポートベクターマシン（ＳＶＭ：Support Vector Machine）によって使用者の属性を推定する第１の手法と、使用者が操作部８を用いて使用者の属性を申告する第２の手法とがある。第１の手法と第２の手法とは、使用者による操作部８からの操作によって切換選択可能である。なお、属性取得部５３が使用者の属性を取得する手法としては、第１の手法と第２の手法の少なくともいずれか一方の手法があればよい。
【００２９】
特徴抽出部５４は、顔画像取得部５１で取得された顔画像における形状および色の少なくとも１つを特徴量として抽出する。つまり、特徴抽出部５４は、顔画像取得部５１で取得された顔画像から使用者の顔の状態を特徴付ける特徴量を抽出する。特徴抽出部５４で抽出される特徴量は、第１〜第４の分析モードによって異なる。
【００３０】
分析部５５は、特徴抽出部５４で抽出された特徴量に応じて、使用者の顔の美容に関する情報を美容情報として求める。分析部５５は、特徴抽出部５４で抽出された特徴量と閾値とを比較する比較機能と、比較結果を用いて使用者の顔の状態を判定する判定機能とを有している。また、分析部５５は、操作部８に入力された主観評価に応じて判定結果を補正する補正機能を有している。
【００３１】
制御部５６は、撮像部４と表示部７とＵＶＡ照射部９との動作を制御する。制御部５６は、分析部５５で求められた美容情報を表示部７が表示するように表示部７を制御する。また、制御部５６は、美容情報に応じた使用者の対処方法を表示部７が表示するように表示部７を制御する。上述のように対処方法を表示部７に表示させる場合、制御部５６は、使用者の対処部位の画像を対処方法とともに表示部７に表示させることができる。他にも、制御部５６は、例えば口角、目尻またはしわの程度などを時系列に表示部７に表示させることができる。
【００３２】
領域抽出部５７は、特徴抽出部５４で抽出された特徴点を用いて、操作部８で選択された部分を顔画像から抽出する。操作部８で選択される部分は、例えば目元または口元などである。拡大部分の位置およびサイズを正規化することによって、使用者が顔の位置を合わせる必要がない拡大鏡を提供することができる。
【００３３】
画像生成部５８は、記憶部６の記憶されている複数の顔画像を合成して３次元顔画像を生成する。複数の顔画像は、使用者の正面顔の画像と、使用者の左顔の画像と、使用者の右顔の画像とからなる。
【００３４】
記憶部６は、撮像部４で得られた撮像画像を記憶しているともに、第１〜第４の分析モードに応じて、処理装置５の処理に必要な情報と、処理装置５の処理によって得られた情報とを記憶している。また、記憶部６は、処理装置５が画像処理を行うためのプログラムを格納している。つまり、記憶部６は、顔画像取得部５１と認証部５２と属性取得部５３と特徴抽出部５４と分析部５５と制御部５６と領域抽出部５７と画像生成部５８との各機能を処理装置５に実現させるためのプログラムを格納している。
【００３５】
表示部７は、例えば液晶ディスプレイまたは有機ＥＬ（Electro-Luminescence）ディスプレイなどであり、制御部５６の指示に従って、各種情報を表示する表示機能を有している。表示部７は、ミラー３の一部を切り欠くなどして内装されている（図２参照）。表示部７は、分析部５５で求められた美容情報を表示する。また、表示部７は、美容情報に応じて使用者の対処方法を提示する。さらに、表示部７は、領域抽出部５７で抽出された部分を拡大表示する。
【００３６】
操作部８は、例えば複数の操作ボタンまたはタッチパネルなどであり、使用者が処理装置５に情報を入力する際に用いられる。例えば、操作部８は、第１〜第４の分析モードを使用者が選択できるように構成されている。また、操作部８は、各分析モードにおいて、複数の対処モードを使用者が選択できるように構成されている。使用者は、操作部８を操作することによって、第１〜第４の分析モードの中から所望の分析モードを選択し、さらに、複数の対処モードの中から所望の対処モードを選択することができる。さらに、操作部８は、使用者が顔画像の中から拡大表示させたい部分を選択できるように構成されている。操作部８に入力された情報は、操作部８から処理装置５に出力される。
【００３７】
また、操作部８は、他の例として、使用者が非接触で操作できるように、使用者と洗面化粧台との間の空間における使用者の指の空間位置を検出し、空間位置に応じて操作内容を判断するような構成であってもよい。
【００３８】
ＵＶＡ照射部９は、例えばＬＥＤ（Light Emitting Diode）などの光源９１と、ＤＭＤ（DigitalMirror Device）９２と、光源９１およびＤＭＤ９２を制御する照射制御部９３とを備えている。
【００３９】
次に、第１〜第４の分析モードのそれぞれにおける処理装置５の動作について順に説明する。
【００４０】
まず、第１の分析モード（使用者の顔に表われている使用者の疲れ度を求めて表示するモード）について説明する。
【００４１】
顔画像取得部５１は、撮像部４で得られた撮像画像から使用者の顔画像を取得する。属性取得部５３は、使用者の属性を取得する。
【００４２】
特徴抽出部５４は、顔画像取得部５１で取得された顔画像から、使用者の疲れ度を特徴付ける特徴量を抽出する。まず、特徴抽出部５４は、例えばＡＳＭ（Active Shape Model）、ＡＣＭ（Active Contour Model）またはＡＡＭ（Active Appearance Model）などの特徴点抽出手法により、顔画像に顔モデルを照合し、顔画像の特徴点を抽出する。
【００４３】
具体的には、特徴抽出部５４は、図３（ｂ）に示すように顔画像（図３（ａ）参照）に顔モデルを照合する。記憶部６には、例えば人種・性別・年代ごとに顔モデルが対応して記憶されている。各属性の顔モデルは、属性が同じである複数の顔写真を用いて事前に学習された顔モデルである。学習時に用いる顔写真は、例えば世界中の大学、研究機関または企業などで管理されている顔認識用データベースなどから予め取得される。
【００４４】
続いて、特徴抽出部５４は、図３（ｃ）に示すように、例えば目または口など、顔画像における顔器官（特定部位）の特徴点を抽出する。
【００４５】
特徴点を抽出した特徴抽出部５４は、図４に示す目元の画像を用いて、目尻の下がり具合を表わす角θと、目の開き具合を表わす距離Ｌとを特徴量として抽出する。また、特徴抽出部５４は、口元の画像を用いて、口の開き具合を特徴量として抽出する。さらに、特徴抽出部５４は、顔画像から目の下のクマの色情報を数値化し、特徴量として抽出する。
【００４６】
分析部５５は、特徴抽出部５４で抽出された特徴量を推定式にあてはめて、使用者の顔に表われている使用者の疲れ度を求める。疲れ度の推定式は、例えば、疲れ度＝Ａ１×（目尻の下がり）＋Ａ２×（口の開き）＋Ａ３×（目の開き）＋Ａ４×（目の下のクマの色）＋Ａ５などである。Ａ１〜Ａ５は定数である。上記推定式は、例えば性別・年代ごとに予め作成されている。疲れ度は、０〜１００％で表わされる。分析部５５で求められた疲れ度の情報は、制御部５６に出力されるとともに、記憶部６に記憶される。
【００４７】
一般的に、人に疲労の負荷が加わると、顔の筋肉がたるむと考えられている。したがって、分析部５５が使用者の疲れ度を求める際に、使用者の目尻の下がり、口の開き、目の開きおよび目の下のクマの色が用いられる。
【００４８】
また、分析部５５は、推定式で用いた部位のうち最も疲れ度に寄与する部位を疲れ部位として求める。分析部５５で分析された疲れ部位の情報は、制御部５６に出力されるとともに、記憶部６に記憶される。
【００４９】
なお、分析部５５は、推定式を用いるのではなく、例えば自己組織化マップ（ＳＯＭ：Self Organization Map）などで数段階（例えば「疲れあり」・「少し疲れあり」・「疲れなし」の３段階）に仕分けることによって、使用者の疲れ度を求めてもよい。
【００５０】
制御部５６は、疲れ度の情報と疲れ部位の情報と顔画像の画像データとを含む制御信号を表示部７に出力する。表示部７には、図５に示すように、疲れ度と疲れ部位と顔画像とが表示される。顔画像には、疲れ部位が示されている（図５の○印）。また、制御部５６は、使用者の対処方法の映像を表示部７に表示させることができる。使用者の対処方法としては、例えばメイク支援または美顔器を用いた顔のマッサージ方法などがある。使用者の対処方法の映像データは、記憶部６に記憶されている。記憶部６には、マッサージ方法の映像データが部位ごとに記憶されている。
【００５１】
第１の分析モードが選択されるシーンとしては、例えば使用者が朝起きて疲れ度を確認し、対処のためのメイクをして、再度、疲れ度を確認するシーンがある。他の例としては、使用者が就寝前に疲れ度を確認し、疲れ部位への対処マッサージをして、再度、疲れ度を確認するシーンがある。
【００５２】
続いて、第２の分析モード（使用者の顔の形態に関する情報を求めて表示するモード）について説明する。なお、第１の分析モードと同様の機能については説明を省略する。
【００５３】
図１に示す顔画像取得部５１は、撮像部４で得られた撮像画像から使用者の顔画像を取得する。認証部５２は、使用者を個人認証する。属性取得部５３は、使用者の属性を取得する。
【００５４】
特徴抽出部５４は、例えばＡＳＭ、ＡＣＭまたはＡＡＭなどの特徴点抽出手法により、顔画像取得部５１で取得された顔画像に顔モデルを照合し、使用者の顔のフェースラインＰ１（図６参照）を抽出する。
【００５５】
分析部５５は、今回抽出されたフェースラインＰ１と過去に抽出されたフェースラインＰ２，Ｐ３（図６参照）とを比較して、使用者の顔のフェースラインの変化を分析する。
【００５６】
制御部５６は、図６に示すように、今回抽出されたフェースラインＰ１と過去に抽出されたフェースラインＰ２，Ｐ３とを重ね合わせて表示するように表示部７を制御する。また、制御部５６は、表示部７がマッサージ前の顔画像とマッサージ後の顔画像とを並べて表示するように表示部７を制御してもよい。使用者は、表示部７に表示された２つの顔画像を見比べることによって、マッサージの効果を確認することができる。
【００５７】
なお、処理装置５は、３次元の顔画像を取得することができる場合、使用者の顔の形態に関する情報として、使用者の顔のたるみまたはしわを抽出し、たるみまたはしわに関する情報を表示部７に表示させることができる。
【００５８】
続いて、第３の分析モード（使用者の顔に存在する化粧品の状態を表わす情報を美容情報として求めて表示するモード）について説明する。なお、第１の分析モードと同様の機能については説明を省略する。
【００５９】
図１に示す顔画像取得部５１は、撮像部４で得られた撮像画像から使用者の顔画像を取得する。属性取得部５３は、使用者の属性を取得する。
【００６０】
特徴抽出部５４は、第１の分析モードの場合と同様に、顔画像に顔モデルを照合する。特徴抽出部５４は、使用者の目の位置を特徴点として抽出する。
【００６１】
その後、制御部５６は、ＵＶＡ照射部９が使用者の顔のうち目の部分以外に紫外線を照射するようにＵＶＡ照射部９を制御する。これにより、使用者の目に対する安全性を確保することができる。使用者の顔に紫外線を照射した後、制御部５６は、使用者の顔を撮像部４が撮像するように撮像部４を制御する。この場合、撮像部４では、紫外線領域を透過するフィルタが用いられ、紫外線が照射されている顔が撮像される。
【００６２】
顔画像取得部５１は、撮像部４で得られた撮像画像から使用者の顔画像を取得する。図７（ａ）〜（ｄ）は、化粧下地クリームを塗ったときの顔画像を示し、図７（ｅ）〜（ｈ）は、日焼け止めクリームを塗ったときの顔画像を示す。
【００６３】
特徴抽出部５４は、コントラスト変換機能と領域抽出機能とを有している。コントラスト変換機能とは、顔画像における画素値の分布を表わした濃度ヒストグラムまたはトーンカーブを用いて、顔画像の明るさおよびコントラストを変換する機能である。領域抽出機能とは、コントラスト変換機能によって明るさおよびコントラストが変換された顔画像から、化粧品が存在する領域を抽出する機能である。化粧品が存在する領域は他の領域とは異なる色であるため、特徴抽出部５４は、予め設定された閾値と各画素値とを比較して、化粧品が存在する領域を特徴量として抽出することができる。
【００６４】
分析部５５は、特徴抽出部５４で抽出された領域から、使用者の顔に存在する化粧品の状態を表わす情報を美容情報として求める。
【００６５】
制御部５６は、特徴抽出部５４で明るさおよびコントラストが変換された顔画像と、分析部５５で求められた美容情報とを表示部７が表示するように表示部７を制御する。
【００６６】
ところで、画像生成部５８を用いて３次元画像を生成することができる。使用者の横顔を撮像する場合、使用者が操作部８を用いて撮像タイマのボタン（例えば５秒後に撮像するためのボタン）を押し、上記ボタンを押してから撮像されるまでの間に正面顔の姿勢から右の横顔の姿勢に変更することによって、右の横顔を撮像することができる。図７（ｂ），（ｆ）は、右の横顔の顔画像を示す。左の横顔も同様の方法で撮像することができる。図７（ｄ），（ｈ）は、左の横顔の顔画像を示す。図７（ｂ）〜（ｄ），（ｆ）〜（ｈ）に示すような正面顔と右の横顔と左の横顔との３枚の顔画像ができた時点で、使用者が操作部８の３次元合成ボタンを押すことによって、画像生成部５８は３次元顔画像を生成する。使用者は、表示部７の画面上にある３次元顔画像を使用者の指で自由に角度を変えることができる。なお、図７（ａ），（ｅ）は、通常に撮像された場合の顔画像を示す。
【００６７】
続いて、第４の分析モード（使用者の顔の色彩に関する情報を求めて表示するモード）について説明する。なお、第１の分析モードでの処理装置５と同様の機能については説明を省略する。
【００６８】
顔画像取得部５１は、撮像部４で得られた撮像画像から使用者の顔画像を取得する。
【００６９】
特徴抽出部５４は、顔画像取得部５１で取得された顔画像の画素値の色分布を求める。この際、昼夜または照明の有無によって顔画像の各画素の画素値が異なるため、特徴抽出部５４は、カラーマーカー（色基準）を用いて顔画像の各画素の画素値を補正し、補正後の顔画像の画素値の色分布を求める。
【００７０】
分析部５５は、顔画像の画素値の色分布から、使用者の顔の色彩に関する情報を求める。
【００７１】
制御部５６は、顔画像および分析部５５の分析結果を表示部７が表示するように表示部７を制御する。
【００７２】
なお、第４の分析モードにおいて、均一照明を行うことができる場合、特徴抽出部５４は、画素値の補正を省略することができる。
【００７３】
次に、本実施形態に係る洗面化粧台の使用例について図８を用いて説明する。まず、使用者は操作部８を用いて分析モードを選択する（図８のＳ１）。第１の分析モードが選択された場合、洗面化粧台の前方に立っている使用者の顔を撮像部４が撮像し、処理装置５の顔画像取得部５１が、撮像部４で得られた撮像画像から使用者の顔画像を取得する（Ｓ２）。その後、属性取得部５３が使用者の属性を取得し、特徴抽出部５４が使用者の属性に対応する顔モデルを記憶部６から読み込んで顔画像にあてはめて、顔画像から顔器官の特徴点を抽出する（Ｓ３）。その後、処理装置５は、疲れ度に寄与する特徴量を抽出する（Ｓ４）。その後、分析部５５は、疲れ度の推定式を用いて、疲れ度を求め、疲れ部位を決定する（Ｓ５）。その後、表示部７は、撮像部４で撮像された顔画像とともに、現状の疲れ度および疲れ部位を表示する（Ｓ６）。
【００７４】
その後、対処モードへ切り替えるための操作が使用者によって行われた場合（Ｓ７）、対処モードに切り替わり、対処モードに応じて表示部７が対処方法を表示する（Ｓ８）。例えば、美顔器を用いたマッサージに関するアドバイスの映像が表示された場合、使用者は、表示部７に表示された映像を見ながら、美顔器を用いて疲労部位を中心に顔をマッサージすることができる。
【００７５】
その後、操作部８の終了ボタンが押されると終了する（Ｓ９）。ステップＳ７において、使用者が対処モードへ切り替えるための操作が行われなかった場合、終了ボタンが押されると終了する（Ｓ９）。
【００７６】
以上、本実施形態の洗面化粧台によれば、顔画像を用いて使用者の顔の美容に関する美容情報を求めて提示することによって、使用者に対して自己の顔の美容を把握させることができる。このときに、撮像部４が使用者の顔を非接触で撮像することができるので、使用者の行為を阻害することなく、上記美容情報を求めて提示することができる。
【００７７】
また、本実施形態の洗面化粧台によれば、美容情報に応じて使用者の対処方法を使用者に提示することによって、使用者に対して自己の顔の美容を積極的かつ効果的に改善させることができる。
【００７８】
さらに、本実施形態の洗面化粧台によれば、使用者が操作部８を用いて使用時にモードを選択することができるので、使い勝手がよい。
【００７９】
本実施形態の洗面化粧台は、第１の分析モードの場合に、使用者に対して自己の疲れ度を知らせることができ、第２の分析モードの場合に、使用者に対して自己の顔の形態を知らせることができる。また、第３の分析モードの場合に、使用者に対して自己の顔に存在する化粧品の状態を知らせることができ、第４の分析モードの場合に、使用者に対して自己の顔の色彩に関する情報を知らせることができる。
【００８０】
また、本実施形態の洗面化粧台によれば、撮像部４で撮像された顔画像の一部を拡大表示することができるので、使用者は、拡大部分を詳細に見ることができ、美容行為をより効果的に行うことができる。
【００８１】
さらに、本実施形態の洗面化粧台によれば、操作部８を用いて使用者が入力した主観評価に応じて補正した美容情報を表示部７に表示させることによって、使用者は主観評価を反映した美容情報を視認することができる。
【００８２】
（実施形態２）
実施形態２に係る洗面化粧台は、使用者の歯の汚れ状態を分析するモード（第５の分析モード）を有している点で、実施形態１に係る洗面化粧台と相違する。以下、第５の分析モードについて説明する。実施形態１の洗面化粧台と同様の構成要素および第１〜第４の分析モードでの動作については、説明を省略する。
【００８３】
本実施形態の撮像部４は、青色光を発する青色発光源を備え、キャビネット２から取り出し可能に設けられている。本実施形態の撮像部４は、使用者によってキャビネット２から取り出された状態で、青色発光源を用いて青色光を発しながら使用者の歯を非接触で撮像する。なお、実施形態１の撮像部４と同様の機能については説明を省略する。
【００８４】
本実施形態の顔画像取得部５１は、撮像部４で得られた撮像画像を使用者の顔画像として取得する。
【００８５】
本実施形態の特徴抽出部５４は、顔画像取得部５１で取得された顔画像から、他の領域と異なる色の領域（例えばピンク色の領域）の位置および面積を特徴量として抽出する。
【００８６】
本実施形態の分析部５５は、特徴抽出部５４で抽出された面積と閾値とを比較する。閾値は、予め設定されている。その後、分析部５５は、比較結果を用いて、使用者の歯の汚れ状態を表わす情報を美容情報として求める。具体的には、分析部５５は、特徴抽出部５４で抽出された領域の面積が閾値以上である場合、使用者の歯が汚れていると判定する。一方、特徴抽出部５４で抽出された領域の面積が閾値未満である場合、分析部５５は、使用者の歯は汚れていないと判定する。
【００８７】
本実施形態の制御部５６は、使用者の歯が汚れていると分析部５５で判定された場合、歯の汚れている領域の位置を表示部７が表示するように表示部７を制御する。使用者の歯が汚れていないと分析部５５で判定された場合、使用者の歯が汚れていない旨のコメントを表示部７が表示するように表示部７を制御する。また、制御部５６は、使用者の対処方法として歯磨きのアドバイスの映像を表示部７に表示させることができる。歯磨きのアドバイスの映像データは、記憶部６に記憶されている。
【００８８】
上記より、本実施形態の洗面化粧台は、第５の分析モードの場合に、使用者の歯に青色光を照射した状態で撮像された歯の画像を用いて、使用者の歯の汚れ状態を表わす情報を求めることによって、使用者に対して自己の歯の汚れ状態を知らせることができる。
【００８９】
なお、実施形態１の場合、洗面化粧台は、必ずしも第１〜第４の分析モードの全てを有していなくてもよく、第１〜第４の分析モードのうち１つ〜３つの分析モードを有しているのみであってもよい。また、実施形態２の場合、洗面化粧台は、必ずしも第１〜第５の分析モードの全てを有していなくてもよく、第１〜第５の分析モードのうち１つ〜４つの分析モードを有しているのみであってもよい。洗面化粧台は、第３の分析モードを有していない場合、ＵＶＡ照射部９を備えていなくてもよい。
【００９０】
なお、処理装置５の特徴抽出部５４は、第１の分析モードまたは第２の分析モードの場合に、属性取得部５３で取得された属性に応じて特徴量の抽出手法を変更してもよい。特徴抽出部５４が使用者の属性に応じて特徴量の抽出手法を変更することによって、特徴量の抽出精度を高めることができるので、使用者の顔の状態をさらに精度よく判定することができる。
【００９１】
また、特徴抽出部５４は、第１の分析モードまたは第２の分析モードの場合に、特徴量の抽出手法を個人ごとに変更してもよい。この場合、記憶部６は、特徴量を抽出する際に顔画像に照合させる顔モデルを個人ごとに記憶する。特徴抽出部５４は、認証部５２で個人認証された使用者に応じて特徴量の抽出手法を変更する。
【００９２】
使用者の顔画像は、各画素の画素値が明るさおよび色ではなく熱に関する値である熱画像などであってもよい。
【００９３】
なお、各実施形態ではミラー付什器として洗面化粧台について説明しているが、必ずしもミラー付什器が洗面化粧台である必要はない。各実施形態の変形例として、ミラー付什器が化粧台、姿見または風呂鏡などであってもよい。ミラー什器が化粧台、姿見または風呂鏡などであっても何ら問題はなく、各実施形態の洗面化粧台と同様の効果を得ることができる。
【符号の説明】
【００９４】
３ ミラー（鏡面部）
４ 撮像部
５４ 特徴抽出部
５５ 分析部
５７ 領域抽出部
７ 表示部（提示部）
【特許請求の範囲】
【請求項１】
使用者の顔を映す鏡面部と、
前記鏡面部に対向する位置に存在する前記使用者の顔の少なくとも一部を非接触で撮像する撮像部と、
前記撮像部で撮像された顔画像における形状および色の少なくとも１つを特徴量として抽出する特徴抽出部と、
前記特徴抽出部で抽出された前記特徴量に応じて、前記使用者の顔の美容に関する情報を美容情報として求める分析部と、
前記分析部で求められた前記美容情報を提示する提示部と
を備えることを特徴とするミラー付什器。
【請求項２】
前記提示部は、前記美容情報に応じて前記使用者の対処方法を提示することを特徴とする請求項１記載のミラー付什器。
【請求項３】
前記分析部は、前記美容情報として、前記使用者の顔に表われている当該使用者の疲れ度を求めることを特徴とする請求項１または２記載のミラー付什器。
【請求項４】
前記分析部は、前記美容情報として、前記使用者の顔の形態に関する情報を求めることを特徴とする請求項１または２記載のミラー付什器。
【請求項５】
前記分析部は、前記美容情報として、前記使用者の顔に存在する化粧品の状態を表わす情報を求めることを特徴とする請求項１または２記載のミラー付什器。
【請求項６】
前記分析部は、前記美容情報として、前記使用者の顔の色彩に関する情報を求めることを特徴とする請求項１または２記載のミラー付什器。
【請求項７】
前記撮像部は、前記使用者の歯を非接触で撮像し、
前記分析部は、前記美容情報として、前記使用者の歯の汚れ状態を表わす情報を求める
ことを特徴とする請求項１または２記載のミラー付什器。
【請求項８】
前記顔画像の一部を抽出する領域抽出部を備え、
前記提示部は、前記領域抽出部で抽出された部分を拡大表示する
ことを特徴とする請求項１〜７のいずれか１項に記載のミラー付什器。
【請求項９】
複数の前記顔画像を合成して３次元顔画像を生成する画像生成部を備え、
前記提示部は、前記画像生成部で生成された前記３次元顔画像を提示する
ことを特徴とする請求項１〜７のいずれか１項に記載のミラー付什器。
【請求項１】
使用者の顔を映す鏡面部と、
前記鏡面部に対向する位置に存在する前記使用者の顔の少なくとも一部を非接触で撮像する撮像部と、
前記撮像部で撮像された顔画像における形状および色の少なくとも１つを特徴量として抽出する特徴抽出部と、
前記特徴抽出部で抽出された前記特徴量に応じて、前記使用者の顔の美容に関する情報を美容情報として求める分析部と、
前記分析部で求められた前記美容情報を提示する提示部と
を備えることを特徴とするミラー付什器。
【請求項２】
前記提示部は、前記美容情報に応じて前記使用者の対処方法を提示することを特徴とする請求項１記載のミラー付什器。
【請求項３】
前記分析部は、前記美容情報として、前記使用者の顔に表われている当該使用者の疲れ度を求めることを特徴とする請求項１または２記載のミラー付什器。
【請求項４】
前記分析部は、前記美容情報として、前記使用者の顔の形態に関する情報を求めることを特徴とする請求項１または２記載のミラー付什器。
【請求項５】
前記分析部は、前記美容情報として、前記使用者の顔に存在する化粧品の状態を表わす情報を求めることを特徴とする請求項１または２記載のミラー付什器。
【請求項６】
前記分析部は、前記美容情報として、前記使用者の顔の色彩に関する情報を求めることを特徴とする請求項１または２記載のミラー付什器。
【請求項７】
前記撮像部は、前記使用者の歯を非接触で撮像し、
前記分析部は、前記美容情報として、前記使用者の歯の汚れ状態を表わす情報を求める
ことを特徴とする請求項１または２記載のミラー付什器。
【請求項８】
前記顔画像の一部を抽出する領域抽出部を備え、
前記提示部は、前記領域抽出部で抽出された部分を拡大表示する
ことを特徴とする請求項１〜７のいずれか１項に記載のミラー付什器。
【請求項９】
複数の前記顔画像を合成して３次元顔画像を生成する画像生成部を備え、
前記提示部は、前記画像生成部で生成された前記３次元顔画像を提示する
ことを特徴とする請求項１〜７のいずれか１項に記載のミラー付什器。
【図１】
【図２】
【図６】
【図８】
【図３】
【図４】
【図５】
【図７】
【図２】
【図６】
【図８】
【図３】
【図４】
【図５】
【図７】
【公開番号】特開２０１２−１５２３８９（Ｐ２０１２−１５２３８９Ａ）
【公開日】平成２４年８月１６日（２０１２．８．１６）
【国際特許分類】
【出願番号】特願２０１１−１４３６９（Ｐ２０１１−１４３６９）
【出願日】平成２３年１月２６日（２０１１．１．２６）
【出願人】（０００００５８２１）パナソニック株式会社 (73,050)
【公開日】平成２４年８月１６日（２０１２．８．１６）
【国際特許分類】
【出願日】平成２３年１月２６日（２０１１．１．２６）
【出願人】（０００００５８２１）パナソニック株式会社 (73,050)
[ Back to top ]