説明

肌色測定装置および肌色診断装置ならびに顔画像処理装置

【課題】 肌色に寄与するメラニン成分、ヘモグロビン成分等の色素成分の精度の高い計測を行う。測定に基づいて被験者の肌色の診断を行う診断装置および所望の化粧をした後の顔画像を表示することができるメイクアップシステムを実現する。測定に基づいて顧客に対してアドバイスを与えることができるアドバイズシステムを実現する。
【解決手段】 ノイズ成分となる表面反射光成分を偏光を用いて除去し、内部光成分についてメラニン成分、ヘモグロビン成分等の色素成分を求める。

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は、皮膚、特に顔の肌色の観測を行う技術に関する。本発明は、顧客の肌色を観測して顧客の肌の状態を診断し、その診断結果を出力するとともに、この診断結果に基づいて基礎化粧を行ったときの結果を出力したりどのような基礎化粧を行ったらよいかのアドバイスを行う装置に関する。
【0002】
【従来の技術】人の肌色が主としてメラニンの成分量とヘモグロビンの成分量とによって左右されることが知られている。褐色の肌はメラニン成分量が多く、白い肌はヘモグロビン成分量が少ない。また血色のよい肌はヘモグロビン、特に酸素分圧の高いヘモグロビン成分量が多く、血色の悪い肌はヘモグロビン成分量が少なく、肌色が血液の循環の度合いにより違ってくることが知られている。
【0003】出願人は、このようなメラニン成分量とヘモグロビン成分量とを測定する方法として、所定の波長の光を肌(皮膚)にあて、その反射光を検出する方法を提案している(特開平10−127585号公報)。この公報提案の方法は、異なる3つ以上の波長を肌に当ててその反射光を検出し、波長ごとに異なるメラニン、ヘモグロビンによる吸光係数によって肌のメラニン成分量に基づく特性、ヘモグロビン成分量および酸素飽和度に基づく特性を求めて、肌の状態を診断しようとするものである。
【0004】
【発明が解決しようとする課題】この出願人提案の技術は、まず、3つの異なる波長を照射してそれぞれの波長領域で反射光の強度を検出する必要がある。特に、それぞれの波長の光源を準備する必要があり、装置構成が膨大なものとなる。また、この提案では表面反射光成分をノイズとして扱うように測定系を構成するとの記載はあるが、具体的にどのようにして表面反射光を取り除き、内部散乱反射光を検出するかの提案はない。
【0005】また、津村らのグループは、肌をメラニンとヘモグロビンとが層状に分布し、その2成分が相互に独立してLambert−Beerの法則に基づいているというモデルにより、顔画像を独立成分分析によって解析し、色素成分を算出する方法を提案している(「肌画像の独立成分分析に基づく顔色の変化予測」1997年日本光学会講演予稿集30aE02および「肌の色素成分に基づく顔色合成とその評価」カラーフォーラムJAPAN2000第5〜8頁)。
【0006】しかし、この提案でも、肌の表面で反射される表面反射光は、皮膚の表皮および真皮に含まれるメラニンおよびヘモグロビンによる肌色を表すものではないので、単に撮影した顔画像を処理するだけでは、表面反射光の影響を受けて正確なメラニンおよびヘモグロビンの成分を計測することができない問題がある。
【0007】また、この画像処理によって処理された顔画像のメラニン成分量、ヘモグロビン成分量に基づいて基礎化粧を行ったり、あるいはどのような化粧顔にするのか等のアドバイスを行うことについては何ら言及がない。
【0008】本発明は、肌色に寄与するメラニン成分、ヘモグロビン成分等の色素成分の精度の高い計測を行うことができる肌色測定装置を提供することを目的とする。また、測定に基づいて被験者の肌色の診断を行う肌色診断装置および所望の化粧をした後の顔画像を表示することができる顔画像処理装置を提供することを目的とする。また、測定に基づいて顧客に対して化粧アドバイスを与えることができるアドバイスシステムを提供することを目的とする。
【0009】
【課題を解決するための手段】皮膚を表皮側の層にメラニン、真皮側の層にヘモグロビンを含むとした層状モデルとし、各成分が独立でLambert−Beerの法則に基づくとして、独立成分分析または主成分分析などを行うことにより、メラニン成分、ヘモグロビン成分とその相対係数(量)を算出できる。独立成分分析は、互いに独立な情報源からの信号が混合した信号を解析して、元の独立な信号を分離して抽出する手法であり、生体のような種々の情報源からの信号を分析するのに用いられている。また、主成分分析は、測定されたデータの相互関連を分析していくつかの主成分への要約、あるいは主成分に合成する分析方法をいう。
【0010】分光された肌色の色成分ベクトルについて考えると、−log(C)=q(1)・C(1)+q(2)・C(2)+C(3)ここで、C:ある座標(l,m)における色成分ベクトルC(1)、C(2):第1成分、第2成分色素の色成分ベクトルq(1)、q(2):第1成分、第2成分色素の相対係数C(3):皮膚構造や他の色素によって発生する定常ベクトルで表すことができる。
【0011】これをRGBの色信号についてそれぞれR、G、Bの色ベクトルをr、g、bとするとき、ある点の画素の色ベクトルCはC=[-logr、-logg、-logb]
となる。ここで、独立成分分析、主成分分析または因子分析を行い、色成分ベクトルとその相対係数を算出し、それぞれC(1)、C(2)、q(1)、q(2)を求めて、被験者の肌色におけるメラニン成分量、ヘモグロビン成分量を得ることができ、それにより、被験者の肌を評価することが可能である。なお、検出する色信号の数を増加させれば、それに応じて、上記C(3)から第3成分(およびより高次の成分)の色素の色成分ベクトルおよび相対係数を抽出することができる。
【0012】ここで、肌の表面で反射する表面反射光成分は、肌表面の凹凸に起因するもので、上述のメラニン成分とヘモグロビン成分とを分離する分析ではノイズとなってしまう。これは、表面反射光は色濃度表現系では加法的に扱うことができないためである。
【0013】本発明は、ノイズ成分となる表面反射光成分を偏光を用いて除去している。
【0014】皮膚の表面で反射する表面反射光は、入射光の偏光面が維持された状態で反射する。これに対して皮膚の内部で散乱した内部反射光は様々な偏光面の光を含む。
【0015】ここで、入射光を偏光板により、縦方向の偏光面の光として入射したとすると、皮膚の表面反射光はこの入射された縦方向の偏光面を維持して反射する。一方皮膚の内部反射光は、様々な偏光面の光を含んで反射する。このため、反射光を縦方向の偏光のみを通過させる偏光板を通過させると、表面反射光と内部反射光とを含んだ反射光を検出できる。一方、横方向の偏光のみを通過させる偏光板を通過させると、入射光と同じ偏光面の光を遮るので、内部反射光のみを検出できる。これにより、入射光と反射光とをそれぞれ偏光板を通過させて反射光を検出することにより、皮膚の表面で反射される表面反射光を除外することができる。
【0016】偏光を利用して表面反射光を除外した内部反射光によるメラニン、ヘモグロビン成分の抽出は、次のようになる。
【0017】偏光を利用して表面反射光を除外したR、G、Bの各色の強度ベクトルをそれぞれR、G、Bの色ベクトルをr′、g′、b′とするとき、ある点の画素の色成分ベクトルCはC=[-logr′、-logg′、-logb′]
で表され、これを独立成分分析、主成分分析または因子分析を行うことにより、内部反射光のみによる、メラニン成分、ヘモグロビン成分とその相対係数を算出することができる。
【0018】なお、表面反射光の除去は、偏光板を用いた方法の他に、拡散光照明によって表面反射光を除去することが可能であるが、皮膚のような起伏の大きい凹凸があるような場合は、より簡便で安定的に表面反射光を除外できる偏光板を用いる方法が実用的である。
【0019】このように表面反射光を除外することで、被験者の肌のメラニン成分量、ヘモグロビン成分量を精度よく検出できる。本発明の手法は必要に応じてメラニン成分およびヘモグロビン成分以外の他の色素成分、例えばビルビリン成分およびカロチン成分にも適用される。肌色を構成する色素成分はそれぞれ特徴的な吸収スペクトルを示すことが公知であり、所望の色素成分に対応する波長において反射光を検出することで、その成分量と相対係数とを求めることができる。これに基づいて被験者の肌の評価診断、化粧シミュレーションおよびアドバイスを行う。
【0020】上記の方法により少なくともメラニン成分量、ヘモグロビン成分量とその相対係数が求められるので、検出された肌色に対するメラニン成分量、ヘモグロビン成分量の寄与分から肌色の評価、診断を行うことができる。例えば、被験者を撮影した顔画像からメラニン成分量、ヘモグロビン成分量を求め、データベースにある平均的な値と比較することで、色白の肌か、色黒の肌であるかを判定できる。また、ヘモグロビン成分量は、その分光特性から、酸素分圧が高いヘモグロビンが多いのか(動脈血型)、酸素分圧が低いヘモグロビンが多いのか(静脈型)がわかるので、健康診断としても利用できる。また、肌色が黒っぽい場合も、メラニン成分量が多いのか、あるいは酸素分圧が低いヘモグロビン成分量が多いのかを判定して、日焼け等によるメラニン成分量が多いのか、疲れによる色黒に見えるのか等の判定ができる。
【0021】また、求められた被験者のメラニン成分量とヘモグロビン成分量に基づいて化粧アドバイスを与えることができる。
【0022】被験者の肌色測定によりメラニン成分量、ヘモグロビン成分量が求められる。これとは別に被験者に対する問診により、被験者の希望を聞く。この問診は、例えば、より白い色、より褐色の色などどのような肌色になりたいかを聞くものである。ところで、どのような基礎化粧品を使用すれば、どのような肌色となるかのデータがデータベースとして構築されている。このデータは、どの基礎化粧品を皮膚に塗布するとどのように肌色におけるメラニン成分量とヘモグロビン成分量とが変化するかというデータ、あるいは経時変化として、この基礎化粧品を使うと1月後、2月後、3月後にはどのように肌色が変化するかのデータなどであり、画像処理装置は、このようなデータと被験者の希望および被験者の測定データとに基づいて、変化する肌色を予測として表示する。また、測定した被験者の肌色の情報に基づいて他のどのような基礎化粧品を用いたらよいかのアドバイスができる。
【0023】すなわち、本発明の第一の観点は、肌色測定装置であって、本発明の特徴とするところは、光源からの光が皮膚によって反射した反射光の分光データを、偏光を用いて、皮膚の表面で反射した表面反射光成分と皮膚の内部で反射した内部反射光成分とに分けて検出する反射光検出手段と、内部反射光成分から、被験者の肌色を構成する少なくとも一つの色素成分を求める処理手段と、この求められた色素成分を出力する手段とを備えたところにある。
【0024】例えば、前記色素成分は、メラニン成分、ヘモグロビン成分、ビルビリン成分およびカロチン成分からなる群から選択される。
【0025】本発明の第二の観点は、肌色診断装置であって、本発明の特徴とするところは、光源からの光が皮膚によって反射した反射光の分光データを、偏光を用いて、皮膚の表面で反射した表面反射光成分と皮膚の内部で反射した内部反射光成分とに分けて検出する反射光検出手段と、内部反射光成分から、被験者の肌色を構成するメラニン成分およびヘモグロビン成分を求める処理手段と、この求められたメラニン成分とヘモグロビン成分との関係から被験者の肌状態を評価して評価結果を出力する評価手段とを備えたところにある。
【0026】前記評価手段が、被験者から求められたメラニン成分およびヘモグロビン成分を既存のデータと比較し、比較結果に基づいて被験者の肌状態を評価することが望ましい。既存のデータは被験者と同年代の集団についての平均測定値が望ましいが、同一被験者の過去の測定値であってもよい。
【0027】本発明の第三の観点は、顔画像処理装置であって、本発明の特徴とするところは、光源からの光が皮膚によって反射した反射光の分光データを、偏光を用いて、皮膚の表面で反射した表面反射光成分と皮膚の内部で反射した内部反射光成分とに分けて、被験者の顔画像データとして検出する撮影手段と、内部反射光成分から、被験者の肌色を構成するメラニン成分およびヘモグロビン成分を求める処理手段と、肌色に対する被験者の希望を入力する手段と、基礎化粧を施したときのメラニン成分およびヘモグロビン成分の変化に関するデータが格納されたデータベースと、入力された被験者の希望に沿って前記データベースから選択されたデータに基づいて、被験者の顔画像データを処理する画像処理手段と、画像処理手段から出力された顔画像を表示する表示手段とを備えたところにある。
【0028】入力された被験者の希望に沿って前記データベースから選択されたデータに対応する基礎化粧を実施するための基礎化粧品のデータを出力する手段をさらに備えることが望ましい。
【0029】なお、基礎化粧とは、肌自体の色を変える美白剤、血行促進剤等の成分を含む乳液、化粧水等による化粧のことをいう。これに対し、ファンデーション等を用いて見かけ上の肌色を変える化粧をメイクアップという。
【0030】
【発明の実施の形態】本発明実施例の肌色測定装置および肌色診断装置ならびに顔画像処理装置を図1ないし図5を参照して説明する。図1は本発明第一実施例の肌色測定装置のブロック構成図である。図2は本発明第一実施例の肌色測定装置における内部光の検出を説明するための図である。図3は本発明第一実施例の肌色測定装置における表面光の検出を説明するための図である。図4は本発明第二実施例の肌色診断装置のブロック構成図である。図5は本発明第三実施例の顔画像処理装置のブロック構成図である。
【0031】本発明第一実施例は、肌色測定装置であって、図1に示すように、光源からの光が皮膚によって反射した反射光の分光データを、偏光を用いて、皮膚の表面で反射した表面反射光成分と皮膚の内部で散乱して反射した内部反射光成分とに分けて検出する反射光検出手段としての偏光板50、51、52およびカメラ装置1および内部光検出部2と、内部反射光成分から、被験者の肌色を構成するメラニン成分またはヘモグロビン成分を求める処理手段としての分析部3とを備え、この求められたメラニン成分またはヘモグロビン成分を出力する肌色測定装置10である。
【0032】本発明第二実施例は、肌色診断装置であって、図4に示すように、第一実施例の肌色測定装置10から出力されたメラニン成分とヘモグロビン成分との関係から被験者の肌状態を評価して評価結果を出力する評価手段としての評価部12を備えた肌色診断装置20である。評価部12が、被験者から求められたメラニン成分およびヘモグロビン成分を平均値データベース11に記録された既存のデータと比較し、比較結果に基づいて被験者の肌状態を評価する。
【0033】本発明第三実施例は、顔画像処理装置であって、図5に示すように、第一実施例の肌色測定装置10を用いて被験者の肌色を構成するメラニン成分およびヘモグロビン成分を求め、肌色に対する被験者の希望を入力し、基礎化粧を施したときのメラニン成分およびヘモグロビン成分の変化に関するデータが格納されたデータベースである変化状態データベース21と、入力された被験者の希望に沿って変化状態データベース21から選択されたデータに基づいて、被験者の顔画像データを処理する画像処理手段としての変化シミュレーション部22と、変化シミュレーション部22から出力された顔画像を表示する表示手段としての表示部23とを備えた顔画像処理装置30である。入力された被験者の希望に沿って変化状態データベース21から選択されたデータに対応する基礎化粧を実施するための基礎化粧品のデータを出力する。
【0034】以下では、本発明実施例をさらに詳細に説明する。
【0035】(第一実施例)本発明第一実施例を図1ないし図3を参照して説明する。本発明第一実施例の肌色測定装置10は、測定の妨げとなっていたメラニン成分量およびヘモグロビン成分量の測定におけるノイズ成分となる肌の表面光成分を除去し、内部光成分による測定を行なうことができるため、正確な値を得ることができる。
【0036】すなわち、図2に示すように、偏光板50を透過することにより偏光面が整えられた光が肌の表面を通過し、内部で散乱を複数回繰り返した後に外に出てくる場合には、偏光板50で整えられた光は内部反射することにより、様々な偏光を有する光すなわち、内部光となって外に出ていく。
【0037】また、図3に示すように、偏光板50を透過することにより偏光面が整えられた光が肌の表面で反射した場合には、偏光板50で整えられた偏光方向は保存される。図3の例では、偏光板50により縦方向の偏光に整えられた光が表面反射することにより、再び縦方向の偏光を有する光すなわち、表面光となって反射される。
【0038】このように偏光により表面光と内部光とを区別できる性質を利用して、図2に示すように、偏光板51および52を透過した光をカメラ装置1によりそれぞれ撮影する。偏光板51を透過して撮影された画像を画像aとする。偏光板52を透過して撮影された画像を画像bとする。ここで、内部光画像を得たいときには、2×画像bとして画像合成を行う。すなわち、画像bには、内部光の要素しか含まれていないので、画像bとしてとらえられる光はそのまま全て内部光画像となる。しかし、内部光の約半分は、偏光板52によって遮光されるので、遮光分を補う目的で、画像bの光量を2倍にする。
【0039】このようにしてノイズ成分となる肌の表面反射成分を除去した内部光成分に対し、分析部3では、前述したメラニン成分量およびヘモグロビン成分量の分析を行なうことにより、これらの正確な値を得ることができる。
【0040】(第二実施例)本発明第二実施例の肌色診断装置について説明する。図4に示す肌色診断装置20は、平均値データベース11と評価部12とから構成される。肌色測定装置10の分析部3から出力されたメラニン成分量およびヘモグロビン成分量に着目し、メラニン成分量が多ければ色黒であり、また、ヘモグロビン成分量が少なければ、肌に赤みが少ないということができる。これにより、評価部12は、被験者の肌色をメラニン成分量およびヘモグロビン成分量の平均値との差から評価することができる。この平均値は平均値データベース11に蓄積しておく。
【0041】例えば、目の下のクマが、単にメラニンが多いだけなのか、疲れて酸素分圧が低いヘモグロビンが多いのか(静脈血型)、あるいは打撲のためか、単なる陰影にすぎないのか等を画像解析により判定することができる。これにより、肌の健康診断を行なうこともできる。メラニン成分量およびヘモグロビン成分量に基づく肌色診断の具体例を表1に示す。
【0042】
【表1】


【0043】(第三実施例)本発明第三実施例の顔画像処理装置について説明する。図5に示す顔画像処理装置30は、変化状態データベース21と変化シミュレーション部22と表示部23とから構成される。変化シミュレーション部22には、被験者の素顔画像と、肌色測定装置10の分析部3により出力されたメラニン成分量およびヘモグロビン成分量と、肌色に対する被験者の希望とが入力される。
【0044】顔画像の印象データベースは、表2に示すように、被験者のなりたい希望の肌を言葉とそれに対応する画像処理の方向とを既定するための情報が記録されたデータベースであり、被験者からの「きれいな」「澄んだ」「生き生きした」「健康的な」等の肌の印象に対する希望に応じて、オペレータは、メラニン成分およびヘモグロビン成分の変化比率を変えることにより、画像表示されるシミュレーション結果の肌色の印象を変えることができる。以下に変化比率の具体例を示す。
【0045】
【表2】


【0046】変化シミュレーション部22では、変化状態データベース21の生体変化データベースを参照し、生体変化情報を得る。この生体変化情報は、規定された画像処理の方向に適合するタイプの基礎化粧品を所定期間使用した場合に発生するメラニン成分量およびヘモグロビン成分量の変化の情報であり、所定期間とは、例えば、1ヶ月、2ヶ月、3ヶ月といった期間である。ここで、表3に生体変化データベースの具体例を示す。各成分画像の所定領域の平均値濃度の変化比率(基準は0ヶ月)を示している。
【0047】
【表3】


【0048】このような生体変化データベースに基づき、どの基礎化粧品を使うと生体変化がどの程度なされるかをシミュレーションにて画像表示し、希望に合致するか否かを画面を見ながら対話的に判断して決定する。
【0049】メイクアップ効果データベースは、様々な化粧品を用いてメイクアップを施した場合のメイクアップ効果についての情報が記録されているデータベースであり、変化状態データベースの一部として任意に追加される。必要に応じて、このメイクアップ効果データベースを参照し、所定期間基礎化粧品を使用した後のメラニン成分量およびヘモグロビン成分量の増減に応じて変化した肌色に、さらにメイクアップを施した場合のメイクアップ効果情報を得て、基礎化粧による肌自体の色の変化では未だ不足している肌色の見かけ上の補正を行う。
【0050】変化シミュレーション部22は、シミュレーション結果を表示部23に表示する。オペレータは、被験者との対話により、希望との差異を分析する。表示されたシミュレーション結果が被験者の希望どおりであれば、シミュレーションに用いた基礎化粧品を被験者に適した基礎化粧品として決定する。シミュレーション結果が被験者の希望とは異なれば、使用基礎化粧品データを変更して再度変化シミュレーションを実行する。このようにして、被験者の希望に沿う基礎化粧品が決定される。
【0051】
【発明の効果】以上説明したように、本発明によれば、肌色に寄与するメラニン成分、ヘモグロビン成分等の色素成分の精度の高い計測を行うことができる。また、測定に基づいて被験者の肌色の診断を行う診断装置および所望の化粧をした後の顔画像を表示することができるメイクアップシステムを実現することができる。また、測定に基づいて顧客に対してアドバイスを与えることができるアドバイズシステムを実現することができる。
【図面の簡単な説明】
【図1】本発明第一実施例の肌色測定装置のブロック構成図。
【図2】本発明第一実施例の肌色測定装置における内部光の検出を説明するための図。
【図3】本発明第一実施例の肌色測定装置における表面光の検出を説明するための図。
【図4】本発明第二実施例の肌色診断装置のブロック構成図。
【図5】本発明第三実施例の顔画像処理装置のブロック構成図。
【符号の説明】
1 カメラ装置
2 内部光検出部
3 分析部
10 肌色測定装置
11 平均値データベース
12 評価部
20 肌色診断装置
21 変化状態データベース
22 変化シミュレーション部
23 表示部
30 顔画像処理装置
50、51、52 偏光板

【特許請求の範囲】
【請求項1】 光源からの光が皮膚によって反射した反射光の分光データを、偏光を用いて、皮膚の表面で反射した表面反射光成分と皮膚の内部で反射した内部反射光成分とに分けて検出する反射光検出手段と、内部反射光成分から、被験者の肌色を構成する少なくとも一つの色素成分を求める処理手段と、この求められた色素成分を出力する手段とを備えた肌色測定装置。
【請求項2】 前記色素成分が、メラニン成分、ヘモグロビン成分、ビルビリン成分およびカロチン成分からなる群から選択される請求項1記載の肌色測定装置。
【請求項3】 光源からの光が皮膚によって反射した反射光の分光データを、偏光を用いて、皮膚の表面で反射した表面反射光成分と皮膚の内部で反射した内部反射光成分とに分けて検出する反射光検出手段と、内部反射光成分から、被験者の肌色を構成するメラニン成分およびヘモグロビン成分を求める処理手段と、この求められたメラニン成分とヘモグロビン成分との関係から被験者の肌状態を評価して評価結果を出力する評価手段とを備えた肌色診断装置。
【請求項4】 前記評価手段が、被験者から求められたメラニン成分およびヘモグロビン成分を既存のデータと比較し、比較結果に基づいて被験者の肌状態を評価する請求項3記載の肌色診断装置。
【請求項5】 光源からの光が皮膚によって反射した反射光の分光データを、偏光を用いて、皮膚の表面で反射した表面反射光成分と皮膚の内部で反射した内部反射光成分とに分けて、被験者の顔画像データとして検出する撮影手段と、内部反射光成分から、被験者の肌色を構成するメラニン成分およびヘモグロビン成分を求める処理手段と、肌色に対する被験者の希望を入力する手段と、基礎化粧を施したときのメラニン成分およびヘモグロビン成分の変化に関するデータが格納されたデータベースと、入力された被験者の希望に沿って前記データベースから選択されたデータに基づいて、被験者の顔画像データを処理する画像処理手段と、画像処理手段から出力された顔画像を表示する表示手段とを備えた顔画像処理装置。
【請求項6】 入力された被験者の希望に沿って前記データベースから選択されたデータに対応する基礎化粧を実施するための基礎化粧品のデータを出力する手段をさらに備えた請求項5記載の顔画像処理装置。

【図1】
image rotate


【図2】
image rotate


【図3】
image rotate


【図4】
image rotate


【図5】
image rotate