顔画像の表示方法および顔画像の処理装置
【課題】 撮影時の明るさ等の条件が変動した場合にも、ディスプレイに表示する画像を常に一定の明るさに補正する。顔の肌色を好ましい「見え」に補正する。
【解決手段】 カメラによる撮影時に、顔画像を撮影するのと同じ環境下で、測色値輝度（反射率）が既知の色票を撮影する。カメラからコンピュータ装置に出力された色票画像のＲＧＢ値から、撮影環境下の照度補正係数Ｑ１を計算し、撮影された顔画像をコンピュータ装置に取り込み、照度補正係数Ｑ１で画像全体の各画素のＲＧＢ成分を測色値輝度への換算出力レベルに変換して照度補正を行う。撮影環境下の照度補正係数Ｑ１によって、測色値輝度への換算出力レベルに変換された顔画像に対して、あらかじめ調整された「顔（肌色）が好ましい明るさに見える」照度補正係数Ｑ２を用いて、カメラから出力レベルに補正してディスプレイに出力する。
【解決手段】 カメラによる撮影時に、顔画像を撮影するのと同じ環境下で、測色値輝度（反射率）が既知の色票を撮影する。カメラからコンピュータ装置に出力された色票画像のＲＧＢ値から、撮影環境下の照度補正係数Ｑ１を計算し、撮影された顔画像をコンピュータ装置に取り込み、照度補正係数Ｑ１で画像全体の各画素のＲＧＢ成分を測色値輝度への換算出力レベルに変換して照度補正を行う。撮影環境下の照度補正係数Ｑ１によって、測色値輝度への換算出力レベルに変換された顔画像に対して、あらかじめ調整された「顔（肌色）が好ましい明るさに見える」照度補正係数Ｑ２を用いて、カメラから出力レベルに補正してディスプレイに出力する。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】本発明は、顧客の顔を撮影し、この顔画像にファンデーションや眉、あるいは口紅等の化粧のメイクシミュレーションを行うメイクアップ処理を行い、その顔画像をディスプレイに表示して化粧方法などのアドバイスを行うメイクアップアドバイスシステムに利用する。
【０００２】また、上記メイクアップアドバイスシステムは、顧客の顔を撮影し、髪型のシミュレーションやヘアカラーのシミュレーション、また服装や装飾品のシミュレーションを含めるものとする。
【０００３】本発明は、そのようなシステムにおいて、顧客（対象者）の顔画像を表示するときに、顔画像の肌色の表示に適する明るさで表示するための補正方法およびそのための処理装置に関する。
【０００４】
【従来の技術】店頭における化粧品の販売には、従来より実演販売が広く行われている。その一般的な形態は、販売員が客である対象者の要望を聞き、化粧方法および化粧品を選択し、対象者の顔に実際に化粧を施すことにより行われる。実演販売は対象者の顔を用いて化粧を施すので、対象者にその効果を知らしめる上で有効な手段であるが、仕上がりが対象者の要望に沿わない場合には、化粧を落とし、再度、やり直すことが必要になる。
【０００５】このように、従来の実演販売では、対象者に化粧を施したり化粧をやり直したりする時間が多くかかり、効率の良い販売を行うことが困難である。
【０００６】そこで、本願出願人は、対象者の顔の画像を表示装置に表示させ、コンピュータ装置による画像処理技術を駆使し、化粧のメイクシミュレーションを行う技術を特願平１０−３７３９７５号、特願２０００−５４０３４（いずれも本願出願時に未公開）により提案した。以下では、この技術を簡単に説明する。
【０００７】まず、対象者は、モデルに化粧を施した写真により所望の化粧方法および化粧品を選択する。次に、対象者が選択したモデルの化粧データを対象者の顔の画像に合成することにより、対象者が化粧を施した場合の状態をシミュレートすることができる。
【０００８】このとき、モデルに施した化粧データをそのまま対象者の顔の画像に合成することは困難であるから、この化粧データを対象者の顔の画像に適合するようにモデルの顔形状から対象者の顔形状に変形する。
【０００９】これにより、対象者は、化粧を施したモデルの写真等によりあらかじめ化粧の仕上がり具合を確認した上で、自分の顔にその化粧を施した場合の状態を確認することができるため、販売員と対象者との感覚の相異により対象者の希望するものとは異なる化粧を販売員が施してしまうことを回避することができる。したがって、的確に化粧の仕上がり具合を把握することができるとともに、効率良く化粧品の販売を行うことができる。
【００１０】顔の画像処理の技術については、参考文献（一松信、村岡洋一監修、日本学際会議編「感性と情報処理」、電子情報通信学会論文誌、AUG,1997.Vol.J80-A NO.8,pp.1231-1249）に詳しい。
【００１１】また、顔型、化粧品の種類その他の要素にしたがって化粧データをあらかじめ分類してメモリに記憶しておくことにより、多数の化粧データの中から対象者の要望する化粧データを速やかに選択することができる。
【００１２】
【発明が解決しようとする課題】上記化粧のメイクシミュレーションを行う場合に、画像中のある部分の輝度信号の平均値が、適正なレベルになるように露出量を制御する必要がある。例えば、人物の肌色の輝度信号レベルが、５５〜７５ＩＲＥになる等の望ましい画像の明るさの基準を設け、画像全体、または画像中央の顔が占めると予測される領域の一部分や、色信号より肌色と判別される部分の平均輝度が、目安となる輝度レベルに合うように、絞りなどで露出量を制御する必要がある。しかし、いわゆる色白とか色黒とか、人によって異なる肌色を基準にしているため、ある特定の色が常に同じレベルに出力されるとは限らない。
【００１３】また、画像の輝度分布をカメラの出力範囲にあった状態にすることで、高輝度、低輝度領域の飽和や、コントラストの低下を防ぐ必要がある。しかし、服装などに応じて著しく明るい領域や暗い領域がある場合には、顔の明るさが変化する。
【００１４】また、自然界の物体の測色値の明度範囲である反射率（明度）３〜９６％（黒〜白）が、フィルムのラチチュード（有効露光域）にほぼ一致するように露出量を制御する必要がある。しかし、ハイライト領域を有効露光域に収めると、肌色の明度は、見る側に好ましい印象を与えることができると考えられる明度よりもやや暗く表現される。
【００１５】このように、メイクシミュレーションに使用する顧客の顔画像をカメラで撮影する際に、表示された画像の顔の肌色が暗過ぎる場合、または明る過ぎる場合に、メイクシミュレーション（ファンデーション、口紅、眉）の色再現性が劣化する。
【００１６】撮影した顔画像をディスプレイに表示する際に、表示された画像の顔の肌色部分が暗過ぎる場合、または明る過ぎる場合、顧客に対して好ましい「見え」の印象を与えられないため、化粧アドバイスに利用できない場合がある。
【００１７】そこで、本発明は、撮影時の明るさ等の条件が変動した場合にも、ディスプレイに表示する画像を常に一定の明るさに補正することができる顔画像の表示方法および顔画像の表示装置を提供することを目的とする。本発明は、画像の顔の肌色を好ましい「見え」に補正することができる顔画像の表示方法および顔画像の表示装置を提供することを目的とする。
【００１８】
【課題を解決するための手段】顔画像を撮影するのと同じ環境下で、測色値輝度（反射率）が既知である色票をカメラで撮影する。この撮影によりカメラからコンピュータ装置に入力された色票画像のＲＧＢ値から、撮影環境下の照度補正係数Ｑ１を計算し、撮影された顔画像をコンピュータ装置に出力し、照度補正係数Ｑ１で画像全体の各画素のＲＧＢ成分を測色値輝度への換算出力レベルに変換し、照度補正を行う。
【００１９】撮影環境下の照度補正係数Ｑ１によって、測色値輝度への換算出力レベルに変換された顔画像に対して、あらかじめ補正された「顔（肌色）が好ましい明るさに見える」照度補正係数Ｑ２を用いて、カメラから出力レベルに補正してディスプレイに出力する。撮影環境の照度補正係数Ｑ１がＱ２に等しい場合には、カメラ出力をそのままディスプレイに出力してもよい。
【００２０】これにより、撮影時の明るさ等の条件が変動した場合にも、ディスプレイに表示する画像を常に一定の明るさに補正することができる。したがって、顔の肌色を好ましい「見え」に補正することができる。
【００２１】すなわち、本発明の第一の観点は、対象者の顔を撮影し、この撮影された顔画像にメイク処理やヘアメイク処理、時には服装、装飾品を含むメイクアップ処理を施し表示手段に表示するディジタルカラー顔画像の表示方法であり、前記表示手段で表示される顔画像の明るさを、撮影対象物の測色値の反射率Ｙに対して画像のＲＧＢ値のＧｒｅｅｎ画素値が単調増加となる関係を満たすような補正関数で定め、マクベスカラーチェッカ２２番を撮影した画像の黒を０、白を２５５とする２５６階調のＲＧＢ値のＧｒｅｅｎ画素値が１４５以上１７０以下相当となる明るさ（または、最大輝度値の５７％以上６７％以下の明るさ）に補正されることを特徴とする。好ましくは、マクベスカラーチェッカ２２番のＲＧＢのＧｒｅｅｎ画素値が１５０以上１６５以下となる明るさに補正される。表１に示すように、マクベスカラーチェッカ２２番のＲＧＢのＧｒｅｅｎ画素値が１４５未満では対象者の顔の肌色が暗過ぎると感じられる。また、１７０を超えると対象者の顔の肌色が明る過ぎると感じられる。
【００２２】対象者の撮影を行うのと同じ撮影条件で、マクベスカラーチェッカ２２番を撮影し、撮影したマクベスカラーチェッカ２２番のＧｒｅｅｎ画素値から、撮影した対象者の顔画像の輝度値を基準撮影条件での明るさに補正するための補正係数（Ｑ１）を求める段階と、この補正係数（Ｑ１）に基づき、撮影した対象者の顔画像の輝度値を基準撮影条件での明るさに変換する段階と、表示手段に表示する対象者の顔画像の輝度値を、基準撮影条件での明るさから、表示用の明るさとしてマクベスカラーチェッカ２２番を撮影した画像の黒を０、白を２５５とする２５６階調のＲＧＢ値のＧｒｅｅｎ画素値が１４５以上１７０以下相当となる明るさ（または、最大輝度値の５７％以上６７％以下の明るさ）の輝度値に補正する段階とを含むことが望ましい。
【００２３】本発明の第二の観点は、対象者の顔画像を撮影するカメラと、この撮影された対象者の顔画像の明るさ補正処理およびメイクアップやヘアメイク等のシミュレーションを行う画像処理手段と、この画像処理を行った対象者の顔画像を表示する表示手段とを備え、前記画像処理手段は、前記カメラで基準カラーチェッカのグレーチャートを撮影してそのＲＧＢ値を求めて、そのＲＧＢ値が基準撮影条件での明るさとなるような補正係数を求める手段と、この補正係数に基づき入力された対象者の撮影画像の輝度値を基準条件の輝度値に変換する手段と、画像処理を行った後の対象者の顔画像をあらかじめ定めた表示用の補正係数に基づき輝度値を明るい方向に補正する手段とを備えたことを特徴とする顔画像の処理装置である。
【００２４】
【発明の実施の形態】本発明実施例の顔画像の処理装置の構成を図１を参照して説明する。図１は本発明実施例の顔画像の処理装置のブロック構成図である。
【００２５】本発明は、図１に示すように、対象者の顔画像を撮影するカメラ１と、この撮影された対象者の顔画像に明るさ補正処理およびメイクアップやヘヤメイクのシミュレーションを行う画像処理装置２と、この画像処理を行った対象者の顔画像を表示する表示装置３とを備え、画像処理装置２は、カメラ１でマクベスカラーチェッカ２２番を撮影してその領域のＲＧＢ値を計算して、画像の画素のＲＧＢ値が基準撮影条件の明るさになるような補正係数Ｑ１を求める照度補正係数計算部４と、この補正係数Ｑ１に基づき入力された対象者の撮影画像の輝度値を基準条件の輝度値に変換する輝度値変換部５と、メイクシミュレーション部６でメイクシミュレーションを行った後の対象者の顔画像をマクベスカラーチェッカ２２番の画像の２５６階調ＲＧＢ値のＧｒｅｅｎ画素値が１４５以上１７０以下となる明るさ（または、最大輝度値の５７％以上６７％以下の明るさ）に相当する輝度値に補正するための補正係数Ｑ２に基づき輝度値を明るい方向に補正する輝度値変換部５とを備えた顔画像の処理装置である。以下では、本発明実施例をさらに詳細に説明する。
【００２６】カメラ出力画像の明るさ補正を行うために、あらかじめ撮影に使用するカメラについて出力特性関数を求めておく。例えば、偏光板を使用して対象物の表面反射光が除去された状態としてマクベスカラーチェッカを撮影し、グレーチャート（＃１９〜２４）の輝度値（既知）とカメラ出力レベルの関係を調べる。特性関数が例えば２次式で近似できることを確認し、最小自乗法でＲＧＢそれぞれの特性関数を求める。また、このときの撮影条件を基準撮影条件とする。図２にカメラ１からの画像のＧｒｅｅｎ出力レベルＩｇとグレーチャートの測色値輝度Ｏｉとの関係を示す。
【００２７】照明用ライトは、マクベスカラーチェッカまたはアドバイス対象者の方向に向けて設置する。例えば、ライトは２灯使用して、それぞれの照明用ライトの明るさは、対象者の顔位置における照度が１０００Ｌｘ程度になるように調節する（２灯で１８００〜２０００Ｌｘ）。カメラの高さは、例えば、マクベスカラーチェッカまたはアドバイス対象者の目線高さとほぼ等しくなるように設置する。ライトと対象者との距離は約１３０ｃｍとし、カメラと対象者との距離は約１００ｃｍとする。アドバイス対象者の上方と左右の空間はブースなどで覆われた状態にして撮影時の外光の影響を減らす。
【００２８】撮影条件が整った後に、カメラのホワイトバランスをとっておく。撮影環境は、夏期は温度２０〜３０°Ｃ（設定の基準値：２６〜２７°Ｃ）、湿度４０〜８０％（基準５０〜６０％）、冬期は温度１５〜２５°Ｃ（基準２０〜２２°Ｃ）、湿度２０〜６０％（基準４０〜５０％）となるようにする。中間期は温度、湿度とも夏期、冬期の中間の値にする。例えば、６月上旬に撮影を行ったときの温度と湿度は、それぞれ３０°Ｃ、４０％であった。
【００２９】マクベスカラーチェッカを所定の位置に設置してカメラで撮影する。撮影画像は画像処理装置２に出力される。照度補正係数計算部４では、画像中の色票２１番、２２番、２３番に相当する領域のＧｒｅｅｎ画素の平均値を計算した後、照度補正係数Ｑ１を計算する。
【００３０】撮影画像より得られた２１番、２２番、２３番のカメラ出力のＧｒｅｅｎ画素の平均値Ｉｇｉ（ｉ＝２１、２２、２３）を、出力特性関数の逆関数で入光量のＧｒｅｅｎ成分への換算出力レベルＩｇｉ’に変換する。図３に換算出力レベルＩｇ’と画像のＧｒｅｅｎ成分出力レベルＩｇとの関係を示す。
Ｉｇｉ’＝（−Ｃ１＋√（Ｃ１２−４Ｃ２（Ｃ０−Ｉｇｉ）））／（２Ｃ２）
（ただし、Ｃ２、Ｃ１、Ｃ０はＧｒｅｅｎ成分の特性関数の２、１、０次の係数）
【００３１】色票の測色輝度Ｏｉ−換算出力レベルＩｇ’空間で、｛Ｇ２１’、Ｇ２２’、Ｇ２３’｝を通る直線の傾きαを最小自乗法から求める。このαと、出力特性関数を求めた撮影条件で同様に得た直線の傾きα０の比（光量の比に相当）、α／α０を、照度補正係数Ｑ１とする。よりよい色再現性を得るには、照度補正係数Ｑ１が１．０に近い値となるようにカメラの露出量を調節することが望ましい。図４に直線の傾きと絞り値との関係を示す。図４の例では、絞りＦ８．０の方が絞りＦ５．６の場合よりも基準撮影条件の傾きに近いので、絞り値はＦ８．０とすることが望ましい。
【００３２】続いて、アドバイス対象者の顔画像を撮影する。撮影画像は画像処理装置２に出力される。画像の各画素の値Ｉｒ、Ｉｇ、Ｉｂを、それぞれの特性関数の逆関数と先に決定した照度補正係数Ｑ１を用いて換算出力レベルＩｒ’、Ｉｇ’、Ｉｂ’に変換する。図５に照度補正係数Ｑ１による換算出力レベルＩｇ’の補正例を示す。図５の細い実線は実際に撮影された出力レベルであり、この出力レベルを基準撮影条件の出力レベルに近付けるために１／Ｑ１倍している。すなわち、Ｉｋ’＝（（Ｃ１ｋ＋√（Ｃ１ｋ２−４Ｃ２ｋ（Ｃ０ｋ−Ｉｋ）））／（２Ｃ２ｋ））・ｍ／Ｑ１ｋ＝Ｒ、Ｇ、Ｂとする。この補正によって、撮影時の照度やカメラの露出量にかかわらず、変換された画像の明るさは基準撮影条件（出力特性関数を求めたときの条件）で撮影された明るさに等しくなる。
【００３３】照度補正された顔画像に対してメイクシミュレーションを行う。すなわち、（１）顔画像に対し、眉、目、鼻、唇の特徴点の位置を決定する。（２）眉シミュレーションを行う。（３）ファンデーションのメイクシミュレーションを行う。（４）口紅シミュレーションを行う。
【００３４】メイクシミュレーション後の顔画像（明るさ換算出力レベルＩｒ’、Ｉｇ’、Ｉｂ’）を、あらかじめ決められた表示用の照度補正係数Ｑ２を用いて、ＲＧＢそれぞれの特性関数よりカメラの出力レベルＩｒ、Ｉｇ、Ｉｂに変換する。照度補正係数Ｑ２を決定するためには、対象者を撮影し、メイクシミュレーション後に表示用の照度補正を行った画像を表示装置３に表示し、対象者自身または第三者による表示画像の印象評価を行った。その結果を表１に示す。
【００３５】
【表１】
【００３６】上記の結果により「どのような顔色の対象者でも好ましく見える明るさ」から「やや明るく感じられる明るさ」までの範囲であるマクベスカラーチェッカ２２番のＧｒｅｅｎ画素値が１５０以上１６５以下となる明るさ（照度補正係数Ｑ２が１．９≦Ｑ２≦２．１）を表示用の明るさとした。
【００３７】ディジタルカラー画像の「好ましく見える明るさ」は、例えば銀塩写真でマクベスカラーチェッカ２２番にほぼ等しい反射率を持つ１８％グレー板の明るさをフィルムのラチチュードの中央（ＢＭＰの階調０〜２５５の中央１２８に相当）に合わせた場合の明るさよりも２割以上明るい。また、カメラの自動露出制御装置で露出量を調節する目安とされる人（日本人）の肌色が「ＩＲＥ＝５５〜７５」という明るさは、ＢＭＰのＲＧＢのＧｒｅｅｎ値の約１１０〜１５０に相当すると考えられるが、前述の「好ましく見える明るさ」はこれよりも明るい。これは、写実的に撮影される場合に確認できる肌のくすみやシミなどが、明るく補正されることで目立たなくなり、「好ましい」という印象を与えるものと考えられる。
【００３８】図６にカメラ１からの画像出力レベルと換算出力レベルＩｇ’との関係を示す。すなわち、Ｉｋ＝Ｃ０ｋ＋Ｃ１ｋ（Ｉｋ’・Ｑ２／ｍ）＋Ｃ２ｋ（Ｉｋ’・Ｑ２／ｍ）２ｋ＝Ｒ、Ｇ、Ｂ
【００３９】この照度補正係数Ｑ２は、マクベスカラーチェッカ２２番のＧｒｅｅｎ画素値が、おおよそ１５０以上１６５以下に変換されるような範囲（実施例で使用したカメラの補正式を使った場合、１．９≦Ｑ２≦２．１）で決めるのが望ましい。図７に照度補正係数Ｑ２による換算出力レベルＩｇ’の補正例を示す。図５の例で示したように、照度補正係数Ｑ１によって撮影時に基準撮影条件に変換された出力レベルは、表示時に、照度補正係数Ｑ２によってＱ２倍されて表示される。
【００４０】照度補正係数Ｑ２により照度補正された画像はディスプレイに出力される。このとき、ディスプレイの条件（色温度、γ等）は一定の条件に固定しておく（色温度、γ等の既定値は、顔画像が好ましく見える値とする）。
【００４１】以上のような手法により、撮影時の明るさ等の条件が変動した場合にも、ディスプレイに表示する画像の自動的に一定の明るさに補正することができる。また、補正関数を用いる場合には、表示するときの照度補正係数を１．９〜２．１とすれば、顔の肌色が好ましい「見え」になるように顔画像を表示することができる。このとき、平均的な日本人の顔の頬の部分のＧｒｅｅｎ画素値は、おおよそ１６３〜１８０程度になる。また、ここで述べた照度補正係数の値は日本人など黄色人種の対象者を想定したものであるが、より肌色の明度の高い白人の対象者の場合は補正係数を０．８〜０．９倍にして画像の明るさを下げ、肌色の明度の低い黒人の対象者には補正係数を１．２〜１．５倍にして画像の明るさを上げたりすることで、それぞれの肌色に適した明るさに補正することができる。
【００４２】以上の実施例では、メイクシミュレーションシステムについて説明したが、髪型のメイクシミュレーションやヘアカラーのメイクシミュレーションを行い、また服装や装飾品のメイクシミュレーションを行ってその結果を表示し、アドバイスを行うコーディネートシステムにおいても本実施例で説明した照度補正を適用することができる。これにより、顔の肌色が好ましい「見え」になるように顔画像を表示することによって、メイクシミュレーションシステムの場合と同様に、顧客（対象者）に好印象を与えることができる。
【００４３】
【発明の効果】以上説明したように、本発明によれば、撮影時の明るさ等の条件が変動した場合にも、ディスプレイに表示する画像を常に一定の明るさに補正することができる。さらに、顔の肌色を好ましい「見え」に補正することができる。
【図面の簡単な説明】
【図１】本発明実施例の顔画像の処理装置のブロック構成図。
【図２】カメラからの画像のＧｒｅｅｎ出力レベルとグレーチャートの測色値輝度との関係を示す図。
【図３】換算出力レベルと画像のＧｒｅｅｎ成分出力レベルとの関係を示す図。
【図４】直線の傾きと絞り値との関係を示す図。
【図５】照度補正係数Ｑ１による換算出力レベルＩｇ’の補正例を示す図。
【図６】カメラからの画像出力レベルと換算出力レベルとの関係を示す図。
【図７】照度補正係数Ｑ２による換算出力レベルＩｇ’の補正例を示す図。
【符号の説明】
１ カメラ
２ 画像処理装置
３ 表示装置
４ 照度補正係数計算部
５ 輝度値変換部
６ メイクシミュレーション部
【０００１】
【発明の属する技術分野】本発明は、顧客の顔を撮影し、この顔画像にファンデーションや眉、あるいは口紅等の化粧のメイクシミュレーションを行うメイクアップ処理を行い、その顔画像をディスプレイに表示して化粧方法などのアドバイスを行うメイクアップアドバイスシステムに利用する。
【０００２】また、上記メイクアップアドバイスシステムは、顧客の顔を撮影し、髪型のシミュレーションやヘアカラーのシミュレーション、また服装や装飾品のシミュレーションを含めるものとする。
【０００３】本発明は、そのようなシステムにおいて、顧客（対象者）の顔画像を表示するときに、顔画像の肌色の表示に適する明るさで表示するための補正方法およびそのための処理装置に関する。
【０００４】
【従来の技術】店頭における化粧品の販売には、従来より実演販売が広く行われている。その一般的な形態は、販売員が客である対象者の要望を聞き、化粧方法および化粧品を選択し、対象者の顔に実際に化粧を施すことにより行われる。実演販売は対象者の顔を用いて化粧を施すので、対象者にその効果を知らしめる上で有効な手段であるが、仕上がりが対象者の要望に沿わない場合には、化粧を落とし、再度、やり直すことが必要になる。
【０００５】このように、従来の実演販売では、対象者に化粧を施したり化粧をやり直したりする時間が多くかかり、効率の良い販売を行うことが困難である。
【０００６】そこで、本願出願人は、対象者の顔の画像を表示装置に表示させ、コンピュータ装置による画像処理技術を駆使し、化粧のメイクシミュレーションを行う技術を特願平１０−３７３９７５号、特願２０００−５４０３４（いずれも本願出願時に未公開）により提案した。以下では、この技術を簡単に説明する。
【０００７】まず、対象者は、モデルに化粧を施した写真により所望の化粧方法および化粧品を選択する。次に、対象者が選択したモデルの化粧データを対象者の顔の画像に合成することにより、対象者が化粧を施した場合の状態をシミュレートすることができる。
【０００８】このとき、モデルに施した化粧データをそのまま対象者の顔の画像に合成することは困難であるから、この化粧データを対象者の顔の画像に適合するようにモデルの顔形状から対象者の顔形状に変形する。
【０００９】これにより、対象者は、化粧を施したモデルの写真等によりあらかじめ化粧の仕上がり具合を確認した上で、自分の顔にその化粧を施した場合の状態を確認することができるため、販売員と対象者との感覚の相異により対象者の希望するものとは異なる化粧を販売員が施してしまうことを回避することができる。したがって、的確に化粧の仕上がり具合を把握することができるとともに、効率良く化粧品の販売を行うことができる。
【００１０】顔の画像処理の技術については、参考文献（一松信、村岡洋一監修、日本学際会議編「感性と情報処理」、電子情報通信学会論文誌、AUG,1997.Vol.J80-A NO.8,pp.1231-1249）に詳しい。
【００１１】また、顔型、化粧品の種類その他の要素にしたがって化粧データをあらかじめ分類してメモリに記憶しておくことにより、多数の化粧データの中から対象者の要望する化粧データを速やかに選択することができる。
【００１２】
【発明が解決しようとする課題】上記化粧のメイクシミュレーションを行う場合に、画像中のある部分の輝度信号の平均値が、適正なレベルになるように露出量を制御する必要がある。例えば、人物の肌色の輝度信号レベルが、５５〜７５ＩＲＥになる等の望ましい画像の明るさの基準を設け、画像全体、または画像中央の顔が占めると予測される領域の一部分や、色信号より肌色と判別される部分の平均輝度が、目安となる輝度レベルに合うように、絞りなどで露出量を制御する必要がある。しかし、いわゆる色白とか色黒とか、人によって異なる肌色を基準にしているため、ある特定の色が常に同じレベルに出力されるとは限らない。
【００１３】また、画像の輝度分布をカメラの出力範囲にあった状態にすることで、高輝度、低輝度領域の飽和や、コントラストの低下を防ぐ必要がある。しかし、服装などに応じて著しく明るい領域や暗い領域がある場合には、顔の明るさが変化する。
【００１４】また、自然界の物体の測色値の明度範囲である反射率（明度）３〜９６％（黒〜白）が、フィルムのラチチュード（有効露光域）にほぼ一致するように露出量を制御する必要がある。しかし、ハイライト領域を有効露光域に収めると、肌色の明度は、見る側に好ましい印象を与えることができると考えられる明度よりもやや暗く表現される。
【００１５】このように、メイクシミュレーションに使用する顧客の顔画像をカメラで撮影する際に、表示された画像の顔の肌色が暗過ぎる場合、または明る過ぎる場合に、メイクシミュレーション（ファンデーション、口紅、眉）の色再現性が劣化する。
【００１６】撮影した顔画像をディスプレイに表示する際に、表示された画像の顔の肌色部分が暗過ぎる場合、または明る過ぎる場合、顧客に対して好ましい「見え」の印象を与えられないため、化粧アドバイスに利用できない場合がある。
【００１７】そこで、本発明は、撮影時の明るさ等の条件が変動した場合にも、ディスプレイに表示する画像を常に一定の明るさに補正することができる顔画像の表示方法および顔画像の表示装置を提供することを目的とする。本発明は、画像の顔の肌色を好ましい「見え」に補正することができる顔画像の表示方法および顔画像の表示装置を提供することを目的とする。
【００１８】
【課題を解決するための手段】顔画像を撮影するのと同じ環境下で、測色値輝度（反射率）が既知である色票をカメラで撮影する。この撮影によりカメラからコンピュータ装置に入力された色票画像のＲＧＢ値から、撮影環境下の照度補正係数Ｑ１を計算し、撮影された顔画像をコンピュータ装置に出力し、照度補正係数Ｑ１で画像全体の各画素のＲＧＢ成分を測色値輝度への換算出力レベルに変換し、照度補正を行う。
【００１９】撮影環境下の照度補正係数Ｑ１によって、測色値輝度への換算出力レベルに変換された顔画像に対して、あらかじめ補正された「顔（肌色）が好ましい明るさに見える」照度補正係数Ｑ２を用いて、カメラから出力レベルに補正してディスプレイに出力する。撮影環境の照度補正係数Ｑ１がＱ２に等しい場合には、カメラ出力をそのままディスプレイに出力してもよい。
【００２０】これにより、撮影時の明るさ等の条件が変動した場合にも、ディスプレイに表示する画像を常に一定の明るさに補正することができる。したがって、顔の肌色を好ましい「見え」に補正することができる。
【００２１】すなわち、本発明の第一の観点は、対象者の顔を撮影し、この撮影された顔画像にメイク処理やヘアメイク処理、時には服装、装飾品を含むメイクアップ処理を施し表示手段に表示するディジタルカラー顔画像の表示方法であり、前記表示手段で表示される顔画像の明るさを、撮影対象物の測色値の反射率Ｙに対して画像のＲＧＢ値のＧｒｅｅｎ画素値が単調増加となる関係を満たすような補正関数で定め、マクベスカラーチェッカ２２番を撮影した画像の黒を０、白を２５５とする２５６階調のＲＧＢ値のＧｒｅｅｎ画素値が１４５以上１７０以下相当となる明るさ（または、最大輝度値の５７％以上６７％以下の明るさ）に補正されることを特徴とする。好ましくは、マクベスカラーチェッカ２２番のＲＧＢのＧｒｅｅｎ画素値が１５０以上１６５以下となる明るさに補正される。表１に示すように、マクベスカラーチェッカ２２番のＲＧＢのＧｒｅｅｎ画素値が１４５未満では対象者の顔の肌色が暗過ぎると感じられる。また、１７０を超えると対象者の顔の肌色が明る過ぎると感じられる。
【００２２】対象者の撮影を行うのと同じ撮影条件で、マクベスカラーチェッカ２２番を撮影し、撮影したマクベスカラーチェッカ２２番のＧｒｅｅｎ画素値から、撮影した対象者の顔画像の輝度値を基準撮影条件での明るさに補正するための補正係数（Ｑ１）を求める段階と、この補正係数（Ｑ１）に基づき、撮影した対象者の顔画像の輝度値を基準撮影条件での明るさに変換する段階と、表示手段に表示する対象者の顔画像の輝度値を、基準撮影条件での明るさから、表示用の明るさとしてマクベスカラーチェッカ２２番を撮影した画像の黒を０、白を２５５とする２５６階調のＲＧＢ値のＧｒｅｅｎ画素値が１４５以上１７０以下相当となる明るさ（または、最大輝度値の５７％以上６７％以下の明るさ）の輝度値に補正する段階とを含むことが望ましい。
【００２３】本発明の第二の観点は、対象者の顔画像を撮影するカメラと、この撮影された対象者の顔画像の明るさ補正処理およびメイクアップやヘアメイク等のシミュレーションを行う画像処理手段と、この画像処理を行った対象者の顔画像を表示する表示手段とを備え、前記画像処理手段は、前記カメラで基準カラーチェッカのグレーチャートを撮影してそのＲＧＢ値を求めて、そのＲＧＢ値が基準撮影条件での明るさとなるような補正係数を求める手段と、この補正係数に基づき入力された対象者の撮影画像の輝度値を基準条件の輝度値に変換する手段と、画像処理を行った後の対象者の顔画像をあらかじめ定めた表示用の補正係数に基づき輝度値を明るい方向に補正する手段とを備えたことを特徴とする顔画像の処理装置である。
【００２４】
【発明の実施の形態】本発明実施例の顔画像の処理装置の構成を図１を参照して説明する。図１は本発明実施例の顔画像の処理装置のブロック構成図である。
【００２５】本発明は、図１に示すように、対象者の顔画像を撮影するカメラ１と、この撮影された対象者の顔画像に明るさ補正処理およびメイクアップやヘヤメイクのシミュレーションを行う画像処理装置２と、この画像処理を行った対象者の顔画像を表示する表示装置３とを備え、画像処理装置２は、カメラ１でマクベスカラーチェッカ２２番を撮影してその領域のＲＧＢ値を計算して、画像の画素のＲＧＢ値が基準撮影条件の明るさになるような補正係数Ｑ１を求める照度補正係数計算部４と、この補正係数Ｑ１に基づき入力された対象者の撮影画像の輝度値を基準条件の輝度値に変換する輝度値変換部５と、メイクシミュレーション部６でメイクシミュレーションを行った後の対象者の顔画像をマクベスカラーチェッカ２２番の画像の２５６階調ＲＧＢ値のＧｒｅｅｎ画素値が１４５以上１７０以下となる明るさ（または、最大輝度値の５７％以上６７％以下の明るさ）に相当する輝度値に補正するための補正係数Ｑ２に基づき輝度値を明るい方向に補正する輝度値変換部５とを備えた顔画像の処理装置である。以下では、本発明実施例をさらに詳細に説明する。
【００２６】カメラ出力画像の明るさ補正を行うために、あらかじめ撮影に使用するカメラについて出力特性関数を求めておく。例えば、偏光板を使用して対象物の表面反射光が除去された状態としてマクベスカラーチェッカを撮影し、グレーチャート（＃１９〜２４）の輝度値（既知）とカメラ出力レベルの関係を調べる。特性関数が例えば２次式で近似できることを確認し、最小自乗法でＲＧＢそれぞれの特性関数を求める。また、このときの撮影条件を基準撮影条件とする。図２にカメラ１からの画像のＧｒｅｅｎ出力レベルＩｇとグレーチャートの測色値輝度Ｏｉとの関係を示す。
【００２７】照明用ライトは、マクベスカラーチェッカまたはアドバイス対象者の方向に向けて設置する。例えば、ライトは２灯使用して、それぞれの照明用ライトの明るさは、対象者の顔位置における照度が１０００Ｌｘ程度になるように調節する（２灯で１８００〜２０００Ｌｘ）。カメラの高さは、例えば、マクベスカラーチェッカまたはアドバイス対象者の目線高さとほぼ等しくなるように設置する。ライトと対象者との距離は約１３０ｃｍとし、カメラと対象者との距離は約１００ｃｍとする。アドバイス対象者の上方と左右の空間はブースなどで覆われた状態にして撮影時の外光の影響を減らす。
【００２８】撮影条件が整った後に、カメラのホワイトバランスをとっておく。撮影環境は、夏期は温度２０〜３０°Ｃ（設定の基準値：２６〜２７°Ｃ）、湿度４０〜８０％（基準５０〜６０％）、冬期は温度１５〜２５°Ｃ（基準２０〜２２°Ｃ）、湿度２０〜６０％（基準４０〜５０％）となるようにする。中間期は温度、湿度とも夏期、冬期の中間の値にする。例えば、６月上旬に撮影を行ったときの温度と湿度は、それぞれ３０°Ｃ、４０％であった。
【００２９】マクベスカラーチェッカを所定の位置に設置してカメラで撮影する。撮影画像は画像処理装置２に出力される。照度補正係数計算部４では、画像中の色票２１番、２２番、２３番に相当する領域のＧｒｅｅｎ画素の平均値を計算した後、照度補正係数Ｑ１を計算する。
【００３０】撮影画像より得られた２１番、２２番、２３番のカメラ出力のＧｒｅｅｎ画素の平均値Ｉｇｉ（ｉ＝２１、２２、２３）を、出力特性関数の逆関数で入光量のＧｒｅｅｎ成分への換算出力レベルＩｇｉ’に変換する。図３に換算出力レベルＩｇ’と画像のＧｒｅｅｎ成分出力レベルＩｇとの関係を示す。
Ｉｇｉ’＝（−Ｃ１＋√（Ｃ１２−４Ｃ２（Ｃ０−Ｉｇｉ）））／（２Ｃ２）
（ただし、Ｃ２、Ｃ１、Ｃ０はＧｒｅｅｎ成分の特性関数の２、１、０次の係数）
【００３１】色票の測色輝度Ｏｉ−換算出力レベルＩｇ’空間で、｛Ｇ２１’、Ｇ２２’、Ｇ２３’｝を通る直線の傾きαを最小自乗法から求める。このαと、出力特性関数を求めた撮影条件で同様に得た直線の傾きα０の比（光量の比に相当）、α／α０を、照度補正係数Ｑ１とする。よりよい色再現性を得るには、照度補正係数Ｑ１が１．０に近い値となるようにカメラの露出量を調節することが望ましい。図４に直線の傾きと絞り値との関係を示す。図４の例では、絞りＦ８．０の方が絞りＦ５．６の場合よりも基準撮影条件の傾きに近いので、絞り値はＦ８．０とすることが望ましい。
【００３２】続いて、アドバイス対象者の顔画像を撮影する。撮影画像は画像処理装置２に出力される。画像の各画素の値Ｉｒ、Ｉｇ、Ｉｂを、それぞれの特性関数の逆関数と先に決定した照度補正係数Ｑ１を用いて換算出力レベルＩｒ’、Ｉｇ’、Ｉｂ’に変換する。図５に照度補正係数Ｑ１による換算出力レベルＩｇ’の補正例を示す。図５の細い実線は実際に撮影された出力レベルであり、この出力レベルを基準撮影条件の出力レベルに近付けるために１／Ｑ１倍している。すなわち、Ｉｋ’＝（（Ｃ１ｋ＋√（Ｃ１ｋ２−４Ｃ２ｋ（Ｃ０ｋ−Ｉｋ）））／（２Ｃ２ｋ））・ｍ／Ｑ１ｋ＝Ｒ、Ｇ、Ｂとする。この補正によって、撮影時の照度やカメラの露出量にかかわらず、変換された画像の明るさは基準撮影条件（出力特性関数を求めたときの条件）で撮影された明るさに等しくなる。
【００３３】照度補正された顔画像に対してメイクシミュレーションを行う。すなわち、（１）顔画像に対し、眉、目、鼻、唇の特徴点の位置を決定する。（２）眉シミュレーションを行う。（３）ファンデーションのメイクシミュレーションを行う。（４）口紅シミュレーションを行う。
【００３４】メイクシミュレーション後の顔画像（明るさ換算出力レベルＩｒ’、Ｉｇ’、Ｉｂ’）を、あらかじめ決められた表示用の照度補正係数Ｑ２を用いて、ＲＧＢそれぞれの特性関数よりカメラの出力レベルＩｒ、Ｉｇ、Ｉｂに変換する。照度補正係数Ｑ２を決定するためには、対象者を撮影し、メイクシミュレーション後に表示用の照度補正を行った画像を表示装置３に表示し、対象者自身または第三者による表示画像の印象評価を行った。その結果を表１に示す。
【００３５】
【表１】
【００３６】上記の結果により「どのような顔色の対象者でも好ましく見える明るさ」から「やや明るく感じられる明るさ」までの範囲であるマクベスカラーチェッカ２２番のＧｒｅｅｎ画素値が１５０以上１６５以下となる明るさ（照度補正係数Ｑ２が１．９≦Ｑ２≦２．１）を表示用の明るさとした。
【００３７】ディジタルカラー画像の「好ましく見える明るさ」は、例えば銀塩写真でマクベスカラーチェッカ２２番にほぼ等しい反射率を持つ１８％グレー板の明るさをフィルムのラチチュードの中央（ＢＭＰの階調０〜２５５の中央１２８に相当）に合わせた場合の明るさよりも２割以上明るい。また、カメラの自動露出制御装置で露出量を調節する目安とされる人（日本人）の肌色が「ＩＲＥ＝５５〜７５」という明るさは、ＢＭＰのＲＧＢのＧｒｅｅｎ値の約１１０〜１５０に相当すると考えられるが、前述の「好ましく見える明るさ」はこれよりも明るい。これは、写実的に撮影される場合に確認できる肌のくすみやシミなどが、明るく補正されることで目立たなくなり、「好ましい」という印象を与えるものと考えられる。
【００３８】図６にカメラ１からの画像出力レベルと換算出力レベルＩｇ’との関係を示す。すなわち、Ｉｋ＝Ｃ０ｋ＋Ｃ１ｋ（Ｉｋ’・Ｑ２／ｍ）＋Ｃ２ｋ（Ｉｋ’・Ｑ２／ｍ）２ｋ＝Ｒ、Ｇ、Ｂ
【００３９】この照度補正係数Ｑ２は、マクベスカラーチェッカ２２番のＧｒｅｅｎ画素値が、おおよそ１５０以上１６５以下に変換されるような範囲（実施例で使用したカメラの補正式を使った場合、１．９≦Ｑ２≦２．１）で決めるのが望ましい。図７に照度補正係数Ｑ２による換算出力レベルＩｇ’の補正例を示す。図５の例で示したように、照度補正係数Ｑ１によって撮影時に基準撮影条件に変換された出力レベルは、表示時に、照度補正係数Ｑ２によってＱ２倍されて表示される。
【００４０】照度補正係数Ｑ２により照度補正された画像はディスプレイに出力される。このとき、ディスプレイの条件（色温度、γ等）は一定の条件に固定しておく（色温度、γ等の既定値は、顔画像が好ましく見える値とする）。
【００４１】以上のような手法により、撮影時の明るさ等の条件が変動した場合にも、ディスプレイに表示する画像の自動的に一定の明るさに補正することができる。また、補正関数を用いる場合には、表示するときの照度補正係数を１．９〜２．１とすれば、顔の肌色が好ましい「見え」になるように顔画像を表示することができる。このとき、平均的な日本人の顔の頬の部分のＧｒｅｅｎ画素値は、おおよそ１６３〜１８０程度になる。また、ここで述べた照度補正係数の値は日本人など黄色人種の対象者を想定したものであるが、より肌色の明度の高い白人の対象者の場合は補正係数を０．８〜０．９倍にして画像の明るさを下げ、肌色の明度の低い黒人の対象者には補正係数を１．２〜１．５倍にして画像の明るさを上げたりすることで、それぞれの肌色に適した明るさに補正することができる。
【００４２】以上の実施例では、メイクシミュレーションシステムについて説明したが、髪型のメイクシミュレーションやヘアカラーのメイクシミュレーションを行い、また服装や装飾品のメイクシミュレーションを行ってその結果を表示し、アドバイスを行うコーディネートシステムにおいても本実施例で説明した照度補正を適用することができる。これにより、顔の肌色が好ましい「見え」になるように顔画像を表示することによって、メイクシミュレーションシステムの場合と同様に、顧客（対象者）に好印象を与えることができる。
【００４３】
【発明の効果】以上説明したように、本発明によれば、撮影時の明るさ等の条件が変動した場合にも、ディスプレイに表示する画像を常に一定の明るさに補正することができる。さらに、顔の肌色を好ましい「見え」に補正することができる。
【図面の簡単な説明】
【図１】本発明実施例の顔画像の処理装置のブロック構成図。
【図２】カメラからの画像のＧｒｅｅｎ出力レベルとグレーチャートの測色値輝度との関係を示す図。
【図３】換算出力レベルと画像のＧｒｅｅｎ成分出力レベルとの関係を示す図。
【図４】直線の傾きと絞り値との関係を示す図。
【図５】照度補正係数Ｑ１による換算出力レベルＩｇ’の補正例を示す図。
【図６】カメラからの画像出力レベルと換算出力レベルとの関係を示す図。
【図７】照度補正係数Ｑ２による換算出力レベルＩｇ’の補正例を示す図。
【符号の説明】
１ カメラ
２ 画像処理装置
３ 表示装置
４ 照度補正係数計算部
５ 輝度値変換部
６ メイクシミュレーション部
【特許請求の範囲】
【請求項１】 対象者の顔を撮影し、この撮影された顔画像に画像処理によりメイク処理やヘアメイク処理を施し表示手段に表示するディジタルカラー顔画像の表示方法において、前記表示手段で表示される顔画像の明るさを、撮影対象物の測色値の反射率に対して画像のＲＧＢ値のＧｒｅｅｎ画素値が単調増加となる関係を満たすような補正関数を定め、マクベスカラーチェッカ２２番を撮影した画像の黒を０、白を２５５とする２５６階調のＲＧＢ値のＧｒｅｅｎ画素値が１４５以上１７０以下相当となる明るさに補正することを特徴とする顔画像の表示方法。
【請求項２】 対象者の撮影を行うのと同じ撮影条件で、マクベスカラーチェッカ２２番を撮影し、撮影したマクベスカラーチェッカ２２番のＧｒｅｅｎ画素値から、撮影した対象者の顔画像の輝度値を基準撮影条件での明るさに補正するための補正係数（Ｑ１）を求める段階と、この補正係数（Ｑ１）に基づき、撮影した対象者の顔画像の輝度値を基準撮影条件での明るさに変換する段階と、表示手段に表示する対象者の顔画像の輝度値を、基準撮影条件での明るさから、表示用の明るさとしてマクベスカラーチェッカ２２番を撮影した画像の黒を０、白を２５５とする２５６階調のＲＧＢ値のＧｒｅｅｎ画素値が１４５以上１７０以下相当となる明るさの輝度値に補正する段階とを含む請求項１記載の顔画像の表示方法。
【請求項３】 対象者の顔画像を撮影するカメラと、この撮影された対象者の顔画像の明るさ補正処理およびメイクアップやヘアメイク等のシミュレーションを行う画像処理手段と、この画像処理を行った対象者の顔画像を表示する表示手段とを備え、前記画像処理手段は、前記カメラで基準カラーチェッカのグレーチャートを撮影してそのＲＧＢ値を求めて、そのＲＧＢ値が基準撮影条件での明るさとなるような補正係数を求める手段と、この補正係数に基づき入力された対象者の撮影画像の輝度値を基準条件の輝度値に変換する手段と、画像処理を行った後の対象者の顔画像をあらかじめ定めた表示用の補正係数に基づき輝度値を明るい方向に補正する手段とを備えたことを特徴とする顔画像の処理装置。
【請求項１】 対象者の顔を撮影し、この撮影された顔画像に画像処理によりメイク処理やヘアメイク処理を施し表示手段に表示するディジタルカラー顔画像の表示方法において、前記表示手段で表示される顔画像の明るさを、撮影対象物の測色値の反射率に対して画像のＲＧＢ値のＧｒｅｅｎ画素値が単調増加となる関係を満たすような補正関数を定め、マクベスカラーチェッカ２２番を撮影した画像の黒を０、白を２５５とする２５６階調のＲＧＢ値のＧｒｅｅｎ画素値が１４５以上１７０以下相当となる明るさに補正することを特徴とする顔画像の表示方法。
【請求項２】 対象者の撮影を行うのと同じ撮影条件で、マクベスカラーチェッカ２２番を撮影し、撮影したマクベスカラーチェッカ２２番のＧｒｅｅｎ画素値から、撮影した対象者の顔画像の輝度値を基準撮影条件での明るさに補正するための補正係数（Ｑ１）を求める段階と、この補正係数（Ｑ１）に基づき、撮影した対象者の顔画像の輝度値を基準撮影条件での明るさに変換する段階と、表示手段に表示する対象者の顔画像の輝度値を、基準撮影条件での明るさから、表示用の明るさとしてマクベスカラーチェッカ２２番を撮影した画像の黒を０、白を２５５とする２５６階調のＲＧＢ値のＧｒｅｅｎ画素値が１４５以上１７０以下相当となる明るさの輝度値に補正する段階とを含む請求項１記載の顔画像の表示方法。
【請求項３】 対象者の顔画像を撮影するカメラと、この撮影された対象者の顔画像の明るさ補正処理およびメイクアップやヘアメイク等のシミュレーションを行う画像処理手段と、この画像処理を行った対象者の顔画像を表示する表示手段とを備え、前記画像処理手段は、前記カメラで基準カラーチェッカのグレーチャートを撮影してそのＲＧＢ値を求めて、そのＲＧＢ値が基準撮影条件での明るさとなるような補正係数を求める手段と、この補正係数に基づき入力された対象者の撮影画像の輝度値を基準条件の輝度値に変換する手段と、画像処理を行った後の対象者の顔画像をあらかじめ定めた表示用の補正係数に基づき輝度値を明るい方向に補正する手段とを備えたことを特徴とする顔画像の処理装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【公開番号】特開２００２−１０２８３（Ｐ２００２−１０２８３Ａ）
【公開日】平成１４年１月１１日（２００２．１．１１）
【国際特許分類】
【出願番号】特願２０００−１８７９４２（Ｐ２０００−１８７９４２）
【出願日】平成１２年６月２２日（２０００．６．２２）
【出願人】（００００００９１８）花王株式会社 (8,290)
【Ｆターム（参考）】
【公開日】平成１４年１月１１日（２００２．１．１１）
【国際特許分類】
【出願日】平成１２年６月２２日（２０００．６．２２）
【出願人】（００００００９１８）花王株式会社 (8,290)
【Ｆターム（参考）】
[ Back to top ]