メイクアップシミュレーションシステム、メイクアップシミュレーション装置、メイクアップシミュレーション方法およびメイクアップシミュレーションプログラム
【課題】動画像に含まれるユーザの顔を少ない処理負担で正確にメイクアップできるメイクアップシミュレーションシステム、メイクアップシミュレーション装置、メイクアップシミュレーション方法およびメイクアップシミュレーションプログラムを提供することを目的とする。
【解決手段】メイクアップシミュレーションシステムであって、撮影した動画像を出力する撮影手段２と、出力された動画像を画像処理して出力する制御手段８と、制御手段８から出力された動画像を表示する表示手段７とを備え、制御手段８は動画像からユーザの顔を所定のトラッキングポイントに基づいて認識する顔認識処理手段と、トラッキングポイントに基づいて動画像に含まれるユーザの顔に所定のメイクアップを施して表示手段に出力するメイクアップ処理手段とを備えることにより上記課題を解決する。
【解決手段】メイクアップシミュレーションシステムであって、撮影した動画像を出力する撮影手段２と、出力された動画像を画像処理して出力する制御手段８と、制御手段８から出力された動画像を表示する表示手段７とを備え、制御手段８は動画像からユーザの顔を所定のトラッキングポイントに基づいて認識する顔認識処理手段と、トラッキングポイントに基づいて動画像に含まれるユーザの顔に所定のメイクアップを施して表示手段に出力するメイクアップ処理手段とを備えることにより上記課題を解決する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、メイクアップシミュレーションシステム、メイクアップシミュレーション装置、メイクアップシミュレーション方法およびメイクアップシミュレーションプログラムに係り、特に動画像に含まれるユーザの顔にメイクアップを施すメイクアップシミュレーションシステム、メイクアップシミュレーション装置、メイクアップシミュレーション方法およびメイクアップシミュレーションプログラムに関する。
【背景技術】
【０００２】
従来、メイクアップを施す為の商品の販売等のため、実際にメイクアップを施すことなくコンピュータ上でメイクアップ後の顔をシミュレーションする技術が知られている（例えば特許文献１参照）。しかしながら、特許文献１ではシミュレーション結果が静止画で表示されるため、ユーザの表情が変化した際のメイクアップ後の顔を容易に確認することができなかった。そこで、ユーザの表情の変化を捕らえた動画像内で化粧をシミュレートする技術の開発が進められている（例えば特許文献２参照）。
【特許文献１】特開２００１−３４６６２７号公報
【特許文献２】特開２００３−４４８３７号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかしながら、特許文献２に記載の化粧シミュレーション装置はユーザの表情の変化を口および両目に対応する画素領域で特定し、その画素領域をテンプレートマッチングにより追跡することで、フェースメークを施す化粧領域を算出している（例えば、段落［００２８］参照）。このように、ユーザの表情の変化を口および両目に対応する画素領域で追跡することはコンピュータの処理負担が大きく、目を閉じた場合等への正確な対処が難しいという問題があった。
【０００４】
本発明は、上記の点に鑑みなされたもので、動画像に含まれるユーザの顔を少ない処理負担で正確にメイクアップすることができるメイクアップシミュレーションシステム、メイクアップシミュレーション装置、メイクアップシミュレーション方法およびメイクアップシミュレーションプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００５】
上記の課題を解決するため、本発明は、ユーザの顔を撮影した動画像にメイクアップを施すメイクアップシミュレーションシステムであって、ユーザの顔を撮影して動画像を出力する撮影手段と、前記撮影手段から出力された動画像を受信し、前記動画像を画像処理して出力する制御手段と、前記制御手段から出力された動画像を表示する表示手段とを備え、前記制御手段は、前記動画像からユーザの顔を所定のトラッキングポイントに基づいて認識する顔認識処理手段と、前記トラッキングポイントに基づいて前記動画像に含まれるユーザの顔に所定のメイクアップを施して前記表示手段に出力するメイクアップ処理手段とを備え、前記メイクアップ処理手段に含まれる口紅処理手段は、前記トラッキングポイントに含まれる上唇の山と谷の位置、口の左右端、下唇の下端の他、下唇における左端から口幅の１／３の位置及び下唇における右端から口幅の１／３の位置に基づいて、前記動画像に含まれるユーザの顔に口紅処理を施すことを特徴とする。
【０００６】
本発明では、動画像からユーザの顔を所定のトラッキングポイントに基づいて認識する顔認識処理手段と、トラッキングポイントに基づいて動画像に含まれるユーザの顔に所定のメイクアップを施して表示手段に出力するメイクアップ処理手段とを備えることで、少ない処理負担で動画像からユーザの顔をトラッキングポイントに基づいて認識し、そのトラッキングポイントに基づいて動画像に含まれるユーザの顔に正確なメイクアップを施すことができる。
【０００７】
なお、本発明の構成要素、表現または構成要素の任意の組合せを、方法、装置、システム、コンピュータプログラム、記録媒体、データ構造などに適用したものも本発明の態様として有効である。
【発明の効果】
【０００８】
本発明によれば、動画像に含まれるユーザの顔を少ない処理負担で正確にメイクアップすることができるメイクアップシミュレーションシステム、メイクアップシミュレーション装置、メイクアップシミュレーション方法およびメイクアップシミュレーションプログラムを提供可能である。
【発明を実施するための最良の形態】
【０００９】
次に、本発明を実施するための最良の形態を、以下の実施例に基づき図面を参照しつつ説明していく。図１は本発明によるメイクアップシミュレーション装置の第一実施例の外観図である。メイクアップシミュレーション装置１は、カメラ２，操作パネル４，プリンタ５，照明６及びモニタ７を含む構成である。
【００１０】
カメラ２は、メイクアップシミュレーション装置１の前方に立ったユーザを撮影して動画像を出力する。操作パネル４は、操作画像を表示すると共に、ユーザからの操作を受け付けて操作情報を出力する。プリンタ５は、モニタに表示される画像（例えばメイクアップ後のイメージ画像等）及び情報（例えばイメージ画像のようにメイクアップする為の商品情報等）を印刷する。照明６は、例えばメイクアップシミュレーションが開始されたあとで調光を行う。
【００１１】
図２はメイクアップシミュレーション装置の第一実施例の断面図である。メイクアップシミュレーション装置１は、カメラ２，操作パネル４，プリンタ５，モニタ７，制御部８を含む構成である。
【００１２】
カメラ２は、撮影した動画像を制御部８に出力する。操作パネル４は、制御部８から出力された操作画像を表示すると共に、ユーザからの操作を受け付けて操作情報を制御部８に出力する。プリンタ５は、制御部８から出力された画像及び情報を印刷する。モニタ７は制御部８から出力された動画像（メイン画像）を表示する。制御部８は、カメラ２から出力された動画像を受信し、その動画像を後述するように画像処理することにより、動画像に含まれるユーザの顔にメイクアップを施してモニタ７に出力する。
【００１３】
図１及び図２のメイクアップシミュレーション装置１は鏡というメイクアップに必要不可欠なアイテムをコンセプトとし、ユーザとのインタラクティブな機能を持つ。即ちメイクアップシミュレーション装置１は、ユーザがあたかも鏡を見ながら自然にメイクアップをしている気分にさせる特徴を持つ。
【００１４】
メイクアップシミュレーション装置１はカメラ２から出力された動画像等を制御部８で画像処理し、動画像に含まれるユーザの顔にメイクアップを施して、デジタルの鏡であるモニタ７に表示する。メイクアップシミュレーション装置１は、様々な商品情報、美容情報およびユーザの顔にメイクアップを施したイメージ画像をモニタ７に表示できる。
【００１５】
また、図３は本発明によるメイクアップシミュレーション装置の第二実施例の外観図である。なお、図１と同一部分については同一符号を付している。
【００１６】
図３のメイクアップシミュレーション装置１は、操作パネル４，プリンタ５，照明６及び透明板９を含む構成である。透明板９は、メイクアップシミュレーション装置１の外側からの光を透過すると共に、メイクアップシミュレーション装置１の内側からの光を透過する。
【００１７】
図４はメイクアップシミュレーション装置の第二実施例の断面図である。なお、図２と同一部分については同一符号を付している。図４のメイクアップシミュレーション装置１は、カメラ２，ハーフミラー３，操作パネル４，プリンタ５，モニタ７，制御部８及び透明板９を含む構成である。
【００１８】
ハーフミラー（半透明鏡）３は当たった光を反射させると共に、当たった光の一部を透過させる。カメラ２はハーフミラー３，透明板９を介してメイクアップシミュレーション装置１の前方に立ったユーザを撮影可能な位置に設置されている。カメラ２は、ユーザの目線の高さに設置される。カメラ２は、ハーフミラー３，透明板９を介してメイクアップシミュレーション装置１の前方に立ったユーザを撮影して動画像を出力する。
【００１９】
モニタ７はハーフミラー３，透明板９を介してメイクアップシミュレーション装置１の前方に立ったユーザが見ることのできる位置に設置されている。モニタ７から出力された光はハーフミラー３により反射し、透明板９を介してメイクアップシミュレーション装置１の外側に出力される。したがって、ユーザはモニタ７に表示されている動画像をメイクアップシミュレーション装置１の外側から見ることができる。
【００２０】
図３及び図４のメイクアップシミュレーション装置１は鏡というメイクアップに必要不可欠なアイテムをコンセプトとし、ユーザとのインタラクティブな機能を持つ。即ちメイクアップシミュレーション装置１は、ユーザがあたかも鏡を見ながら自然にメイクアップをしている気分にさせる特徴を持つ。
【００２１】
メイクアップシミュレーション装置１はカメラ２を目線の高さに設置している為、第一実施例のカメラ２の位置に設置するよりも、メイクアップシミュレーション装置１の前方に立ったユーザの顔を自然に撮影できる。
【００２２】
メイクアップシミュレーション装置１はカメラ２から出力された動画像等を制御部８で画像処理し、動画像に含まれるユーザの顔にメイクアップを施して、デジタルの鏡であるモニタ７に表示する。メイクアップシミュレーション装置１は、様々な商品情報、美容情報およびユーザの顔にメイクアップを施したイメージ画像をモニタ７に表示できる。
【００２３】
また、図５は、本発明によるメイクアップシミュレーション装置の第三実施例の外観図である。なお、前図と同一部分については同一符号を付している。図５のメイクアップシミュレーション装置１は、カメラ２，ハーフミラー３，操作パネル４，プリンタ５及び照明６を含む構成である。
【００２４】
ハーフミラー３は、明るい方からの光の一部（例えば５０％）を透過すると共に、明るい方からの光の残り（例えば５０％）を手前に反射する。暗い方に光が無いため、ハーフミラー３は暗い方からの光の透過も反射もしない。
【００２５】
照明６はメイクアップシミュレーションが開始されたあと、ハーフミラー３のモニタ７側が明るくなるように調光する。したがって、モニタ７の表示方向側に設けられたハーフミラー３は、メイクアップシミュレーションが開始される前、ユーザ側（メイクアップシミュレーション装置１の外側）からの光を反射して鏡として機能する。
【００２６】
ハーフミラー３はメイクアップシミュレーションが開始された後、モニタ７側（メイクアップシミュレーション装置１の内側）からの光を透過してガラスとして機能する。したがって、ユーザはハーフミラー３を通してモニタ７に表示されている動画像を見ることができる。
【００２７】
図６はメイクアップシミュレーション装置の第三実施例の断面図である。図６のメイクアップシミュレーション装置１は、カメラ２，ハーフミラー３，操作パネル４，プリンタ５，モニタ７，制御部８を含む構成である。なお、前図と同一部分については同一符号を付している。モニタ７に表示された動画像はガラスとして機能しているハーフミラー３を透過する。ユーザは、モニタ７に表示されている動画像をメイクアップシミュレーション装置１の外側から見ることができる。
【００２８】
図５及び図６のメイクアップシミュレーション装置１は鏡というメイクアップに必要不可欠なアイテムをコンセプトとし、ユーザとのインタラクティブな機能を持つ。即ちメイクアップシミュレーション装置１は、ユーザがあたかも鏡を見ながら自然にメイクアップをしている気分にさせる特徴を持つ。
【００２９】
メイクアップシミュレーション装置１はカメラ２から出力された動画像等を制御部８で画像処理し、動画像に含まれるユーザの顔にメイクアップを施して、デジタルの鏡であるモニタ７に表示する。メイクアップシミュレーション装置１は、様々な商品情報、美容情報およびユーザの顔にメイクアップを施したイメージ画像をモニタ７に表示できる。
【００３０】
また、図７は本発明によるメイクアップシミュレーション装置の第四実施例の外観図である。図８はメイクアップシミュレーション装置の第四実施例の断面図である。なお、前図と同一部分については同一符号を付している。メイクアップシミュレーション装置１はカメラ２，プリンタ５，照明６，タッチパネルモニタ１５を含む構成である。
【００３１】
図７及び図８のメイクアップシミュレーション装置１は、操作パネル４及びモニタ７の替わりにタッチパネルモニタ１５を含む構成である点で、図１及び図２のメイクアップシミュレーション装置１と異なっている。タッチパネルモニタ１５は、操作パネル４及びモニタ７として機能する。
【００３２】
タッチパネルモニタ１５は、操作画像を表示すると共に、ユーザからの操作を受け付けて操作情報を出力する。タッチパネルモニタ１５は、制御部８から出力された操作画像を表示すると共に、ユーザからの操作を受け付けて操作情報を制御部８に出力する。タッチパネルモニタ１５は制御部８から出力された動画像（メイン画像）を表示する。制御部８はカメラ２から出力された動画像を受信し、その動画像を後述するように画像処理することにより、動画像に含まれるユーザの顔にメイクアップを施してタッチパネルモニタ１５に出力する。
【００３３】
図７及び図８のメイクアップシミュレーション装置１は鏡というメイクアップに必要不可欠なアイテムをコンセプトとし、ユーザとのインタラクティブな機能を持つ。即ちメイクアップシミュレーション装置１は、ユーザがあたかも鏡を見ながら自然にメイクアップをしている気分にさせる特徴を持つ。
【００３４】
メイクアップシミュレーション装置１はカメラ２から出力された動画像等を制御部８で画像処理し、動画像に含まれるユーザの顔にメイクアップを施して、デジタルの鏡であるタッチパネルモニタ１５に表示する。メイクアップシミュレーション装置１は、様々な商品情報、美容情報およびユーザの顔にメイクアップを施したイメージ画像をタッチパネルモニタ１５に表示できる。
【００３５】
第四実施例のメイクアップシミュレーション装置１は、例えばユーザが使って試すテスター用の商品（以下、テスター品という）を陳列する陳列ケースを、図９及び図１０のように備えるようにしてセルフ販売用の筐体として利用することもできる。図９は、本発明によるメイクアップシミュレーション装置の第五実施例の外観図である。図１０は、メイクアップシミュレーション装置の第五実施例の断面図である。なお、前図と同一部分については同一符号を付している。
【００３６】
メイクアップシミュレーション装置１は、カメラ２，プリンタ５，照明６，タッチパネルモニタ１５，陳列ケース１６及びＩＣタグリーダライタ１７を含む構成である。図９及び図１０のメイクアップシミュレーション装置１は、陳列ケース１６及びＩＣタグリーダライタ１７を含む構成である点で、図７及び図８のメイクアップシミュレーション装置１と異なっている。
【００３７】
陳列ケース１６は、複数のテスター品を陳列するものである。なお、テスター品にはＩＣ（ＲＦＩＤ）タグが添付されている。テスター品に添付されたＩＣタグにはテスター品を識別可能な識別情報が格納されている。ユーザが陳列ケース１６からテスター品を取り出してＩＣタグリーダライタ１７に近づけることで、ＩＣタグリーダライタ１７はＩＣタグからテスター品の識別情報を読み取る。
【００３８】
ＩＣタグリーダライタ１７はＩＣタグから読み取ったテスター品の識別情報を制御部８に送信する。制御部８はカメラ２から出力された動画像を受信し、その動画像を後述するように画像処理することにより、ＩＣタグから読み取った識別情報に対応するテスター品を用いて、動画像に含まれるユーザの顔にメイクアップを施したイメージ画像をタッチパネルモニタ１５に出力する。
【００３９】
なお、テスター品と識別情報とを対応付ける対応表はメイクアップシミュレーション装置１に備えておいてもよいし、メイクアップシミュレーション装置１からネットワーク経由で取得可能な他の装置に備えておいてもよい。
【００４０】
また、図９及び図１０のメイクアップシミュレーション装置１ではテスター品の識別にＩＣタグを利用する例を示したが、バーコード，二次元コード，ラベル等を利用するようにしてもよい。さらに、図９及び図１０のメイクアップシミュレーション装置１は取り出したテスター品が分かるような仕組み（例えば光センサなどのセンサを利用した位置認識など）を陳列ケース１６に設けておき、陳列ケース１６から制御部８に通知するようにしてもよい。
【００４１】
図９及び図１０のメイクアップシミュレーション装置１は鏡というメイクアップに必要不可欠なアイテムをコンセプトとし、ユーザとのインタラクティブな機能を持つ。即ちメイクアップシミュレーション装置１は、ユーザがあたかも鏡を見ながら自然にメイクアップをしている気分にさせる特徴を持つ。
【００４２】
メイクアップシミュレーション装置１はカメラ２から出力された動画像等を制御部８で画像処理し、動画像に含まれるユーザの顔に、ユーザが陳列ケース１６から選択したテスター品を用いてメイクアップを施したイメージ画像を、デジタルの鏡であるタッチパネルモニタ１５に表示する。メイクアップシミュレーション装置１は、様々な商品情報、美容情報およびユーザの顔にメイクアップを施したイメージ画像をタッチパネルモニタ１５に表示できる。ユーザが陳列ケース１６から選択したテスター品のログを取ることで、メイクアップシミュレーション装置１はユーザの嗜好等のデータを取得できる。
【００４３】
なお、例えばテスター品だけでなく、商品を陳列するための棚を備えたメイクアップシミュレーション装置１であれば、タッチパネルモニタ１５に表示される商品を棚に陳列しておくことにより、セルフ販売用の筐体として効果的に利用できる。
【００４４】
以下、第一実施例のメイクアップシミュレーション装置１を例に説明する。図１１はメイクアップシミュレーション装置の一実施例のハードウェア構成図である。なお、図１及び図２と同一部分については同一符号を付している。
【００４５】
図１１のメイクアップシミュレーション装置１は、それぞれバスＢで相互に接続されているカメラ２，操作パネル４，プリンタ５，モニタ７，演算処理装置１０，メモリ装置１１，ドライブ装置１２および補助記憶装置１３で構成される。なお、図１１の演算処理装置１０，メモリ装置１１，ドライブ装置１２および補助記憶装置１３は、図２の制御部８を構成する。
【００４６】
本発明のメイクアップシミュレーションプログラムは、メイクアップシミュレーション装置１を制御する各種プログラムの少なくとも一部である。メイクアップシミュレーションプログラムは例えば記録媒体１４の配布などによって提供される。
【００４７】
なお、メイクアップシミュレーションプログラムを記録した記録媒体１４は、ＣＤ−ＲＯＭ、フレキシブルディスク、光磁気ディスク等の様に情報を光学的，電気的或いは磁気的に記録する記録媒体、ＲＯＭ、フラッシュメモリ等の様に情報を電気的に記録する半導体メモリ等、様々なタイプの記録媒体を用いることができる。
【００４８】
また、メイクアップシミュレーションプログラムを記録した記録媒体１４がドライブ装置１２にセットされると、メイクアップシミュレーションプログラムは記録媒体１４からドライブ装置１２を介して補助記憶装置１３にインストールされる。補助記憶装置１３はインストールされたメイクアップシミュレーションプログラムを格納すると共に、必要なファイル，データ等を格納する。メモリ装置１１は、起動時に補助記憶装置１３からメイクアップシミュレーションプログラムを読み出して格納する。そして、演算処理装置１０はメモリ装置１１に格納されたメイクアップシミュレーションプログラムに従って、後述するような各種処理を実現している。
【００４９】
図１２はメイクアップシミュレーション装置が行なう処理の概略を表した一実施例のフローチャートである。図１３はモニタに表示されるメイン画面及び操作パネルに表示される操作画面の一例のイメージ図である。図１３の画面イメージ１００〜１１１はモニタ７に表示されるメイン画面のものである。画面イメージ２００〜２１０は操作パネル４に表示される操作画面のものである。
【００５０】
制御部８は、カメラ２が撮影した動画像を継続して受信している。このとき、制御部８はモニタ７に画面イメージ１００を表示し、操作パネル４に画面イメージ２００を表示している。画面イメージ１００及び２００はスクリーンセーバーを表示している例を表している。
【００５１】
ステップＳ１に進み、制御部８は受信している動画像にユーザの顔が含まれているか否かを継続して判定している。制御部８は動画像にユーザの顔が含まれていることを認識するまでステップＳ１の処理を繰り返し行う（Ｓ１においてＮＯ）。
【００５２】
動画像にユーザの顔が含まれていることを認識すると（Ｓ１においてＹＥＳ）、制御部８はステップＳ２に進み、メイクアップシミュレーションを行なう為のメイクアップシミュレーションプログラムを含むソフトを起動する。このとき、制御部８はモニタ７に画面イメージ１０１を表示し、操作パネル４に画面イメージ２０１を表示する。
【００５３】
画面イメージ１０１はカメラ２でユーザの顔を撮影した動画像を表示している例を表している。画面イメージ２０１は、横に移動する歓迎のコメントを表示している例を表している。
【００５４】
ステップＳ３に進み、制御部８はステップＳ２で起動したソフトに基づいてメイクアップシミュレーションを開始する。このとき、制御部８はモニタ７に画面イメージ１０２を表示し、操作パネル４に画面イメージ２０２を表示する。画面イメージ１０２は、カメラ２でユーザの顔を撮影した動画像に、魔法の鏡的な演出を施して表示している例を表している。画面イメージ２０２は、画面イメージ２０１と同様、横に移動する歓迎のコメントを表示している例を表している。
【００５５】
ステップＳ４に進み、制御部８はメイクアップシミュレーションを後述するように実行する。このとき、制御部８はモニタ７に画面イメージ１０３〜１０６を順次表示し、操作パネル４に画面イメージ２０３〜２０６を表示する。
【００５６】
画面イメージ１０３〜１０６は、メイクアップシミュレーションにより４つのメイクアップパターン（イメージ）が施されたユーザの顔を表示している例を表している。画面イメージ２０３〜２０６は、そのときモニタ７に表示されている画面イメージ１０３〜１０６のメイクアップパターンの内容（例えば名称等）を表示している例を表している。所定時間が経過するか、又はユーザが操作パネル４にタッチするまで、制御部８はモニタ７に画面イメージ１０３〜１０６を順次表示し、操作パネル４に画面イメージ２０３〜２０６を表示する。
【００５７】
所定時間が経過するか、又はユーザが操作パネル４にタッチすると、制御部８はステップＳ５に進み、モニタ７に画面イメージ１０７を表示し、操作パネル４に画面イメージ２０７を表示する。画面イメージ１０７は、画面イメージ１０１と同様、カメラ２でユーザの顔を撮影した動画像を表示している例を表している。画面イメージ２０７は、４つのメイクアップパターン（イメージ）から１つのイメージを選択可能なイメージ選択画面を表示している例を表している。ユーザは、操作パネル４を操作することで、イメージ選択画面から１つのイメージを選択することができる。
【００５８】
ステップＳ６に進み、制御部８はイメージ選択画面から１つのイメージが選択されるまでステップＳ６の処理を繰り返し行う（Ｓ６においてＮＯ）。ユーザがイメージ選択画面から１つのイメージを選択すると、操作パネル４はユーザからの操作を受け付けて操作情報を制御部８に出力する。
【００５９】
ユーザがイメージ選択画面から１つのイメージを選択したと判定すると（Ｓ６においてＹＥＳ）、制御部８はステップＳ７に進み、選択されたイメージのイメージ画面をモニタ７及び操作パネル４に表示する。このとき、制御部８はモニタ７に画面イメージ１０８を表示し、操作パネル４に画面イメージ２０８を表示する。
【００６０】
画面イメージ１０８は、イメージ選択画面から選択された１つのイメージに基づき、異なるカラーパターンが施されたメイクアップ後のユーザの顔のイメージ画像と、イメージ画像のようにメイクアップする為の商品情報とを順次表示している例を表している。画面イメージ２０８は、イメージ選択画面から選択された１つのイメージの内容と、そのときモニタ７に表示されている画面イメージ１０８のイメージ画像のようにメイクアップする為の商品情報とを表示している例を表している。
【００６１】
なお、ユーザは操作パネル４を操作することによりプリントアウトを指示することもできる。ユーザからのプリントアウト指示を受け付けると、制御部８は画面イメージ１０９をモニタ７に表示し、画面イメージ２０９を操作パネル４に表示する。画面イメージ１０９は、プリントアウトするイメージ画像を表示している例を表している。画面イメージ２０９は、プリントアウト中のコメントを表示している例を表している。制御部８はプリンタ５を制御してモニタ７に表示されているイメージ画像をプリントアウトする。
【００６２】
また、ユーザは操作パネル４を操作することにより、メイクアップ前及び後のイメージ画像から成る比較画面の表示およびプリントアウトを指示することもできる。ユーザからの比較画面の表示指示を受け付けると、制御部８は画面イメージ１１０をモニタ７に表示する。画面イメージ１１０は、メイクアップ前及び後のイメージ画像から成る比較画面を表示している例を表している。比較画面を表示している状態で、ユーザからのプリントアウト指示を受け付けると、制御部８はプリンタ５を制御してモニタ７に表示されている比較画面をプリントアウトする。
【００６３】
ユーザによるメイクアップシミュレーションが終了すると、制御部８はモニタ７及び操作パネル４にスクリーンセーバーである画面イメージ１１１及び２１０を表示して、処理を終了する。
【００６４】
なお、図１２及び図１３の例ではメイクアップシミュレーションにより４つのイメージを表示しているが、４つ以外のイメージを表示するものであってもよい。また、メイクアップシミュレーション装置１はカメラ２から出力された動画像に含まれるユーザの顔にメイクアップを施す例を示しているが、予め撮影した動画像を動画ファイルとして補助記憶装置１３等に記憶しておき、その動画ファイルに含まれるユーザの顔にメイクアップを施すものであってもよい。
【００６５】
メイクアップシミュレーション装置１はカメラ２から出力された動画像をメイクアップシミュレーション以外に利用することもできる。図１４はメイクアップシミュレーション装置が行なうメイクアップシミュレーション以外の処理を表すイメージ図である。
【００６６】
画面イメージ３００は、カメラ２で撮影したユーザの顔の動画像を表示している例を表している。メイクアップシミュレーション装置１は動画像に含まれているユーザの顔を認識し、ユーザの顔の静止画３０１を切り出す。
【００６７】
メイクアップシミュレーション装置１は、顔立ち分析ロジックおよび肌分析ロジックにより静止画３０１の顔立ち診断および肌色診断を行い、その結果を表す画面イメージ３０２をモニタ７に表示できる。なお、顔立ち分析ロジックおよび肌分析ロジックにより静止画３０１の顔立ち診断および肌色診断を行なう処理は、例えば特開２００１−３４６６２７号公報に記載されている公知技術である。
【００６８】
また、メイクアップシミュレーション装置１は画面イメージ３０３のようなコース選択画面３０３をモニタ７に表示して、各コース（例えばトレンド、ベーシック、フリー）をユーザに選択させることもできる。メイクアップシミュレーション装置１は、ユーザにより選択されたコースに基づく画面イメージ３０４〜３０９をモニタ７に表示して、シミュレーション及びアドバイスを行なう。
【００６９】
画面イメージ３０４〜３０６は、各コースのシミュレーション画面を表示している例を表している。画面イメージ３０７〜３０９は、各コースのアドバイス画面を表示している例を表している。
【００７０】
例えばベーシックコースとは、顔立ち診断および肌色診断の結果に基づいて、最適なメイクアップテクニックをシミュレーション及びアドバイスするものである。また、トレンドコースとは最新のトレンドメイクアップのシミュレーション及びアドバイスするものである。また、フリーメイクアップコースとは目元，口元，ほお，眉，個々のパーツに対応したアイテムのシミュレーション及びアドバイスするものである。
【００７１】
シミュレーション画面又はアドバイス画面を表示している状態で、ユーザからのプリントアウト指示を受け付けると、制御部８はプリンタ５を制御してモニタ７に表示されているシミュレーション画面又はアドバイス画面をプリントアウトすることもできる。
【００７２】
次に、上記のようなメイクアップシミュレーション装置１を実現する為のメイクアップシミュレーションシステムの詳細について説明する。図１５は、本発明によるメイクアップシミュレーションシステムの一実施例のシステム構成図である。
【００７３】
図１５のメイクアップシミュレーションシステム２０は、アナログカメラ２１，ＵＳＢキャプチャデバイス２２，動画ファイル２３，メイクアップカメラ２４，静止画システム２５，動画ファイル２６，共有メモリ２７，シミュレータメインアプリ２８及びインターフェースアプリ２９を含む構成である。
【００７４】
アナログカメラ２１は撮影した例えばＮＴＳＣ方式の動画像をＵＳＢキャプチャデバイス２２経由で出力する。ＵＳＢキャプチャデバイス２２から出力された動画像は、例えばＡＰＩ（application programming interface）の一例としてのＤｉｒｅｃｔＸ３１を利用してシミュレータメインアプリ２８に入力される。また、動画ファイル２３もＤｉｒｅｃｔＸ３１を利用してシミュレータメインアプリ２８に入力される。
【００７５】
メイクアップカメラ２４は撮影した動画像をシリアルインターフェースの一例としてのＩＥＥＥ１３９４経由で出力する。メイクアップカメラ２４から出力された動画像は専用ＡＰＩ３２を利用してシミュレータメインアプリ２８に入力される。シミュレータメインアプリ２８は専用ＡＰＩ３２を利用して入力された動画像から動画像用解像度の原画像と静止画用解像度の静止画像とを得る。
【００７６】
シミュレータメインアプリ２８はＤｉｒｅｃｔＸ３１を利用して入力された動画像及び動画ファイル２３と、専用ＡＰＩ３２を利用して入力された動画像から得られた動画像用解像度の動画像とを原画像とし、原画像に対してトリミング及び縮小処理を行う。
【００７７】
シミュレータメインアプリ２８は原画像に対してトリミングを行ってメイクアップ前画像を得る。また、シミュレータメインアプリ２８は原画像に対して縮小処理を行って顔認識処理用画像を得る。顔認識処理部３３は、顔認識処理用画像からユーザの顔を認識するための後述するようなトラッキングポイント３４を、ＦＦＴ（高速フーリエ変換）により得る。
【００７８】
メイクアップ処理部３５は、トラッキングポイント３４に基づき、メイクアップ前画像に含まれるユーザの顔に、ファンデーション，眉，シャドウ，口紅，チークから成るメイクアップを施してメイクアップ後画像を得る。メイクアップ処理部３５は、ファンデーション処理部３６，眉処理部３７，シャドウ処理部３８，口紅処理部３９，チーク処理部４０を含む構成である。
【００７９】
なお、メイクアップ処理部３５はメイクアップ後画像のようにメイクアップする為の商品情報４１をメイクアップ後画像に含ませることができる。動画サーバ４２は、メイクアップ前画像およびメイクアップ後画像を共有メモリ２７に書き込むと共に、メイクアップ前画像およびメイクアップ後画像を動画ファイル２６として出力することもできる。
【００８０】
インターフェースアプリ２９は、ＡｃｔｉｖｅＸコントローラ５０及びＡｃｔｉｖｅＸビュアー５１を利用する、動画コントロールオブジェクト５２，動画表示オブジェクト５３及びその他のコントローラ５４を含む構成である。なお、インターフェースアプリ２９とシミュレータメインアプリ２８とはＡｃｔｉｖｅＸ＆Ｓｏｃｋｅｔによる連携を図っている。
【００８１】
インターフェースアプリ２９はＡｃｔｉｖｅＸビュアー５１を利用して、供給メモリ２７に書き込まれているメイクアップ前画像およびメイクアップ後画像を前述したモニタ７に表示することができる。
【００８２】
シミュレータメインアプリ２８は、専用ＡＰＩ３２を利用して入力された動画像から得られた静止画用解像度の静止画像に対してトリミング及び縮小処理を行う。シミュレータメインアプリ２８は静止画用解像度の静止画像に対してトリミングを行なう。さらに、シミュレータメインアプリ２８は静止画用解像度の静止画像に対して縮小処理を行って顔認識処理用画像を得る。顔認識処理部４３は、顔認識処理用画像からユーザの顔を認識する為の後述するようなトラッキングポイント４４を得る。
【００８３】
シミュレータメインアプリ２８はトラッキングポイント４４に基づき、トリミングを行った動画像に含まれるユーザの顔から詳細部位を抽出し、その詳細部位から顔立ち診断および肌色診断に用いるタイプ、肌色等の追加情報を得て、トラッキングポイント４４に追加情報を付加したトラッキングポイント４５と、専用ＡＰＩ３２を利用して入力された動画像から得られた静止画用解像度の静止画像とを静止画システム２５に出力する。
【００８４】
静止画システム２５は、トラッキングポイント４５を使用し、前述した顔立ち分析ロジックおよび肌分析ロジックにより静止画３０１の顔立ち診断および肌色診断を行い、その結果を表す画面イメージ３０２をモニタ７に表示できる。その他、静止画システム２５は画面イメージ３０３〜３０９をモニタ７に表示することもできる。
【００８５】
図１６は、シミュレータメインアプリが行なう処理を表す画面イメージ図である。画面イメージ４００はメイクアップ前画像を表示した例を表している。画面イメージ４０１は顔認識処理用画像から得たトラッキングポイント３４をメイクアップ前画像に重ねて表示した例を表している。また、画面イメージ４０２はトラッキングポイント３４に基づいてメイクアップ前画像に含まれるユーザの顔にメイクアップを施したメイクアップ後画像を表示した例を表している。
【００８６】
以下、シミュレータメインアプリ２８が行なう処理のうち、顔認識処理，メイクアップ処理の詳細について図面を参照しつつ順番に説明していく。なお、本実施例では、メイクアップ処理の一例として、ファンデーション処理，眉処理，シャドウ処理，口紅処理及びチーク処理から成るメイクアップ処理を説明するが、他の組み合わせであってもよい。
【００８７】
（顔認識処理）
図１７はメイクアップ前画像に含まれるユーザの顔のイメージ画像である。図１８はトラッキングポイントを表す一例のイメージ図である。シミュレータメインアプリ２８の顔認識処理部３３は、図１７のようなイメージ画像からユーザの顔を認識する為の図１８のような４５点のトラッキングポイント３４を得る。図１８のトラッキングポイント３４は一例であって、制御部８の処理能力やモニタ７の精細度に応じて調整してもよい。
【００８８】
このように、メイクアップ前画像に含まれるユーザの顔からトラッキングポイント３４を得ることにより、メイクアップ処理部３５はトラッキングポイント３４と関連付けてメイクアップの施し方や色を図１９のようなメイクアップ処理パラメータファイルに設定しておくことができる。
【００８９】
図１９はメイクアップ処理パラメータファイルの一例の構成図である。図１９のメイクアップ処理パラメータファイルは、目元，口元，チーク等ごとにトラッキングポイント３４と関連付けてメイクアップの施し方や色が設定されているものである。
【００９０】
メイクアップ処理パラメータファイルはメイクアップパターン（イメージ）毎に設定されている。図１９のメイクアップ処理パラメータファイルは、クラスエレガンスの例を表している。なお、上記した４つのメイクアップパターン（イメージ）は一例であって、他のメイクアップパターン（イメージ）であってもよい。
【実施例１】
【００９１】
（口紅処理）
シミュレータメインアプリ２８に含まれる口紅処理部３９は図２０に示すように唇８点及び鼻３点のトラッキングポイント３４を参照し、口紅処理を行う。図２０は口紅処理により参照されるトラッキングポイントを示すイメージ図である。
【００９２】
図２１は口紅処理を示す一例のフローチャートである。口紅処理は大別するとステップＳ１０の前準備処理とステップＳ２０の色塗り処理とで構成される。前準備処理は、ステップＳ１１の切出し＆回転処理，ステップＳ１２の輪郭抽出用画像の作成処理，ステップＳ１３の輪郭抽出処理，ステップＳ１４のスプライン曲線生成処理，ステップＳ１５の回転戻し処理，ステップＳ１６の色塗りマップ生成処理とで構成される。色塗り処理は、ステップＳ２１の色塗りマップに基づく色塗り処理，ステップＳ２２のデバック＆デザイン用描画処理とで構成される。
【００９３】
ステップＳ１１の切出し＆回転処理に進み、口紅処理部３９は、顔認識処理用画像からユーザの顔の唇を含む部分画像５００を切り出し、その部分画像５００を処理用の姿勢に回転させて部分画像５０１を得る。
【００９４】
ステップＳ１２の輪郭抽出用画像の作成処理に進み、口紅処理部３９は部分画像５０１から輪郭抽出用画像を作成する。ステップＳ１３の輪郭抽出処理に進み、口紅処理部３９は輪郭抽出用画像から唇の輪郭を部分画像５０２に示すようにポイントで抽出する。
【００９５】
図２２は輪郭抽出処理を表す一例のイメージ図である。輪郭抽出用画像６００は唇８点及び鼻３点のトラッキングポイントが重ねて表示されている。口紅処理部３９は、唇８点及び鼻３点のトラッキングポイントを元に再探索して輪郭抽出用画像６０１のポイントを抽出する。
【００９６】
図２３は輪郭抽出用画像６００の唇８点及び鼻３点のトラッキングポイントと、唇８点及び鼻３点のトラッキングポイントを元に再探索して抽出した輪郭抽出用画像６０１のポイントとの比較画面である。なお、上記再探索が不調な場合は輪郭抽出用画像６００の唇８点及び鼻３点のトラッキングポイントから算出した図２４のようなデフォルトポイントを採用する。
【００９７】
図２４は唇８点及び鼻３点のトラッキングポイントからデフォルトポイントを求める処理を表した一例のイメージ図である。口紅処理部３９は鼻の３点のトラッキングポイントを参照し、上唇５点に対してデフォルトポイントを求める。
【００９８】
ステップＳ１４のスプライン曲線生成処理に進み、口紅処理部３９は輪郭抽出用画像６０１のポイント又は図２４のようなデフォルトポイントを２次スプラインで補間し、図２５に示すような輪郭を完成させる。図２５は、ポイント又はデフォルトポイントから輪郭を完成させる処理を表したイメージ図である。部分画像５０３のように唇の輪郭が完成すると、口紅処理部３９はステップＳ１５に進み、ステップＳ１１の切出し＆回転処理で行った回転を元に戻す回転戻し処理を行なう。
【００９９】
ステップＳ１６の色塗りマップ生成処理に進み、口紅処理部３９は部分画像７００の明度および彩度から色塗りの強さを決める色塗りマップを生成する。図２６は色塗りマップ生成処理を表した一例のイメージ図である。具体的に、口紅処理部３９は明度および彩度から色塗りの強さを表すグレースケール画像７０１を生成する。口紅処理部３９は、ステップＳ１４のスプライン曲線生成処理で完成させた唇の輪郭で囲まれた部分画像７０２のみを色塗りマップ５０４としてグレースケール画像７０１から切り出す。
【０１００】
ステップＳ２１の色塗りマップに基づく色塗り処理に進み、口紅処理部３９はステップＳ１６の色塗りマップ生成処理で生成した色塗りマップ５０４と、図１９のようなメイクアップ処理パラメータファイルに設定されているメイクアップの施し方や指定色に基づいてメイクアップ前画像に対して着色を行なう。
【０１０１】
図２７は色塗りマップに基づく色塗り処理を表した一例のイメージ図である。口紅処理部３９は図１９のようなメイクアップ処理パラメータファイル８０１に設定されているメイクアップの施し方や指定色と、ステップＳ１６の色塗りマップ生成処理で生成した色塗りマップ８０２とに基づいて、メイクアップ前画像８０３に対して着色を行い、メイクアップ後画像８０４を得る。
【０１０２】
そして、ステップＳ２２のデバック＆デザイン用描画処理に進み、口紅処理部３９はデバック＆デザイン用描画の処理を行ったあと、口紅処理を終了する。
【０１０３】
（シャドウ処理）
シミュレータメインアプリ２８に含まれるシャドウ処理部３８は図２８に示すように左右別に目３点及び眉１点のトラッキングポイント３４を参照し、シャドウ処理を行う。図２８はシャドウ処理により参照されるトラッキングポイントを示すイメージ図である。
【０１０４】
図２９はシャドウ処理を示す一例のフローチャートである。シャドウ処理は大別するとステップＳ３０の前準備処理とステップＳ４０の色塗り処理とで構成される。前準備処理は、ステップＳ３１の基本輪郭の生成処理で構成される。
【０１０５】
色塗り処理は、色塗りパターン分繰り返し行なう、ステップＳ４１の色塗り輪郭の生成処理，ステップＳ４２の色塗り中心の生成処理，ステップＳ４３の色塗りマップの生成処理，ステップＳ４４の色塗りマップに基づく色塗り処理，ステップＳ４５のデバック＆デザイン用描画処理とで構成される。
【０１０６】
ステップＳ３１の基本輪郭の生成処理に進み、シャドウ処理部３８は、顔認識処理用画像からユーザの顔の目の形状を部分画像９００のように得る。図３０は、基本輪郭の生成処理を表す一例のイメージ図である。
【０１０７】
シャドウ処理部３８は色塗り輪郭の基本となる輪郭を生成するため、部分画像１００１に示すように、目の中心から上下方向を探索して目の輪郭（上辺境界＆下辺境界）を２点認識する。シャドウ処理部３８は、認識した目の輪郭２点，目尻及び目頭の４点に、スプライン補間で生成した４点を追加して、計８点によるポリゴンを部分画像１００２のように生成する。
【０１０８】
ステップＳ４１の色塗り輪郭の生成処理に進み、シャドウ処理部３８は色塗り輪郭を部分画像９０１のように生成する。図３１は色塗り輪郭の生成処理を表す一例のイメージ図である。シャドウ処理部３８は色塗り輪郭を生成するため、部分画像１１０１に示すように、目尻及び目頭を基準に色塗り輪郭を生成する。なお、輪郭の拡張、頂点のシフト等についてはＧＵＩでパラメータ指定するようにしてもよい。
【０１０９】
ステップＳ４２の色塗り中心の生成処理に進み、シャドウ処理部３８は色塗り中心位置を部分画像９０２の「●」ように生成する。ステップＳ４３の色塗りマップの生成処理に進み、シャドウ処理部３８は部分画像９０３のように、色塗りの強さを決める色塗りマップを生成する。
【０１１０】
具体的に、色塗りマップ生成処理は色塗り中心からポリゴンの辺までの距離に対応して塗りの強さを決定する。例えばシャドウ処理部３８は辺に近いほど塗りの強さを弱めるように色塗りマップを決定する。なお、色塗りマップ生成処理は色塗り輪郭から基本輪郭を除いた部分を対象としている。
【０１１１】
シャドウ処理部３８は生成した色塗りマップに対し、図３２に示すように、ぼかし処理を掛けることで更に滑らかなグラデーションを生成する。図３２は、ぼかし処理を掛けていない色塗りマップと、ぼかし処理を掛けている色塗りマップとを表した一例のイメージ図である。
【０１１２】
ステップＳ４４の色塗りマップに基づく色塗り処理に進み、シャドウ処理部３８はステップＳ４３の色塗りマップの生成処理で生成した色塗りマップ９０３と、図１９のようなメイクアップ処理パラメータファイルに設定されているメイクアップの施し方や指定色に基づいてメイクアップ前画像に対して着色を行ない、メイクアップ後画像を得る。
【０１１３】
そして、ステップＳ４５のデバック＆デザイン用描画処理に進み、シャドウ処理部３８はデバック＆デザイン用描画の処理を行ったあと、シャドウ処理を終了する。なお、シャドウ処理部３８はステップＳ４１〜Ｓ４５の処理を色塗りパターン分だけ繰り返し行なうことで、多色塗りを実現することもできる。
【０１１４】
（チーク処理）
シミュレータメインアプリ２８に含まれるチーク処理部４０は図３３に示すように目尻＆口角（左右別）、眼間＆鼻中心（スタビライズ用）のトラッキングポイント３４を参照して、チーク処理を行う。図３３はチーク処理により参照されるトラッキングポイントを示すイメージ図である。
【０１１５】
図３４はチーク処理を示す一例のフローチャートである。チーク処理は、ステップＳ５０の色塗り輪郭の生成処理，ステップＳ５１の色塗り処理，ステップＳ５２のデバック＆デザイン用描画処理とで構成される。
【０１１６】
ステップＳ５０の色塗り輪郭の生成処理に進み、チーク処理部４０は色塗り輪郭を生成するため、目尻及び口角を基準に色塗り輪郭として輪郭ポリゴンを生成する。図３５は色塗り輪郭を表した一例のイメージ図である。なお、輪郭ポリゴンの点数，大きさ，形状または位置等はＧＵＩでパラメータ指定するようにしてもよい。
【０１１７】
ステップＳ５１の色塗り処理に進み、チーク処理部４０は色塗り中心から輪郭ポリゴンの辺までの距離に対応して塗りの強さを決定する。なお、塗りの強さの決定に処理コストが掛かりすぎる場合は、解像度（ＧＵＩでパラメータ指定）を落として（モザイク状に間引きして）塗りの強さを決定してもよい。チーク処理部４０は決定した塗りの強さと、図１９のようなメイクアップ処理パラメータファイルに設定されているメイクアップの施し方や指定色に基づいてメイクアップ前画像に対して着色を行ない、メイクアップ後画像を得る。
【０１１８】
そして、ステップＳ５２のデバック＆デザイン用描画処理に進み、チーク処理部４０はデバック＆デザイン用描画の処理を行ったあと、チーク処理を終了する。
【０１１９】
（眉処理）
シミュレータメインアプリ２８に含まれる眉処理部３７は図３６に示すように左右別に目尻，目中心および眉２点のトラッキングポイント３４を参照し、眉処理を行う。図３６は眉処理により参照されるトラッキングポイントを示すイメージ図である。
【０１２０】
図３７は眉処理を示す一例のフローチャートである。眉処理は大別するとステップＳ６０の眉輪郭抽出処理，ステップＳ７０の元眉領域の消去処理，ステップＳ８０の眉形状の変形処理，ステップＳ９０の変形眉の貼付け処理で構成される。
【０１２１】
元眉領域の消去処理は、ステップＳ７１の領域の膨張処理，ステップＳ７２の眉の消去処理で構成される。眉形状の変形処理は、ステップＳ８１の変形指定に対応した指示曲線の作成処理，ステップＳ８２の変形眉の生成処理で構成される。
【０１２２】
ステップＳ６０の眉輪郭抽出処理に進み、眉処理部３７は顔認識処理用画像からユーザの顔の眉の形状を部分画像２００１のように得る。図３８は、眉輪郭抽出処理を表す一例のイメージ図である。眉処理部３７は眉の輪郭を抽出するため、部分画像２１０１に示すように、眉尻（実際には眉の中心付近）を中心に左右に眉を探索する。眉処理部３７は部分画像２１０２に示すように、探索結果から眉の輪郭形状を認識する。
【０１２３】
ステップＳ７１の領域の膨張処理に進み、眉処理部３７は認識した眉の輪郭形状を表す領域を膨張させる。ステップＳ７２の眉の消去処理に進み、眉処理部３７は膨張させた領域を付近の肌色を使って塗りつぶすことで眉を消去する。また、眉処理部３７は膨張させた領域の境界部分に、なじませる処理を施す。
【０１２４】
ステップＳ８１の変形指定に対応した指示曲線の作成処理に進み、眉処理部３７は認識した眉の輪郭形状を表す領域（スケルトン）を指定に従って変形させる。図３９は変形指定に対応した指示曲線の作成処理を表す一例のイメージ図である。
【０１２５】
眉処理部３７は、部分画像２２０１に示すように、認識した眉の輪郭形状を表す領域を横方向の軸線と縦方向の複数のタンザクから成るスケルトン２２０２に置き換え、軸線の形状とタンザクの高さを変えることで、例えばスケルトン２２０３のように変形処理を施すことができる。
【０１２６】
ステップＳ８２の変形眉の生成処理に進み、眉処理部３７はスケルトン２２０３から変形眉を生成する。ステップＳ９０の変形眉の貼付け処理に進み、眉処理部３７は変形眉をメイクアップ前画像に対して貼付けて、メイクアップ後画像を得る。
【０１２７】
（ファンデーション処理）
シミュレータメインアプリ２８に含まれるファンデーション処理部３６は図４０に示すように左右別に目尻，目頭および眉１点、眼間および鼻中心のトラッキングポイント３４を参照し、ファンデーション処理を行う。図４０はファンデーション処理により参照されるトラッキングポイントを示すイメージ図である。
【０１２８】
図４１はファンデーション処理を示す一例のフローチャートである。ファンデーション処理は、ステップＳ１０１の輪郭の生成処理，ステップＳ１０２の対象画像へのぼかし処理，ステップＳ１０３の画像の貼り付け処理で構成される。なお、ステップＳ１０１〜Ｓ１０３の処理は対象エリア分、繰り返し行われる。
【０１２９】
ステップＳ１０１の輪郭の生成処理に進み、ファンデーション処理部３６は図４２のイメージ画像に示すように、額，鼻，頬（左右）の３種類（４箇所）の輪郭を生成する。図４２は輪郭を表した一例のイメージ画像である。なお、各輪郭のサイズ，位置等はＧＵＩでパラメータ指定するようにしてもよい。
【０１３０】
ステップＳ１０２の対象画像へのぼかし処理に進み、ファンデーション処理部３６は生成した輪郭に対応する対象画像へのぼかし処理を図４３のように行なう。図４３は、ぼかし処理前の元画像と、ぼかし処理後の元画像とを表した一例のイメージ図である。対象画像へのぼかし処理により、ファンデーション処理部３６は肌の細かい荒れ等を平滑化することができる。
【０１３１】
ステップＳ１０３の画像の貼り付け処理に進み、ファンデーション処理部３６は、ぼかし処理後の対象画像をメイクアップ前画像の額，鼻，頬（左右）の３種類（４箇所）の輪郭に貼り付け、メイクアップ後画像を得る。
【実施例２】
【０１３２】
実施例２では、口紅処理，シャドウ処理，チーク処理，眉処理，ファンデーション処理の他の例について説明していく。
【０１３３】
（口紅処理）
シミュレータメインアプリ２８に含まれる口紅処理部３９は以下のようにトラッキングポイント３４を参照し、口紅処理を行う。
【０１３４】
図４４及び図４５は、口紅処理（リップペン描画処理）の一実施例のフローチャートである。図４５において、先ず、ステップＳ３０１で口を囲む矩形領域の顔画像を取得すると共に、口の輪郭データを取得する。この口の輪郭データは、トラッキングポイント（特徴点）３４によって得られたものである。
【０１３５】
次のステップＳ３０２ではユーザが選択したメイクアップパターンに応じて曲線描画区間と直線描画区間とを設定する。図４６は、口を囲む矩形領域の顔画像の一例のイメージ図である。
【０１３６】
この図では、口（上唇）の上端Ｍ２，Ｍ４、口の左右端Ｍ１，Ｍ５、口（下唇）の下端Ｍ６、それぞれの特徴点（トラッキングポイント）の他に、口（下唇）の下縁における左端Ｍ１から口幅（Ｍ１，Ｍ５間距離）の１／３の距離にある点Ｍ７と、口（下唇）の下縁における右端Ｍ５から口幅（Ｍ１，Ｍ５間距離）の１／３の距離にある点Ｍ８とを示している。
【０１３７】
選択されたメイクアップパターンがフレッシュの場合、口紅処理部３９は区間Ｍ１〜Ｍ２、区間Ｍ４〜Ｍ５それぞれを曲線で描画し、区間Ｍ２〜Ｍ３、区間Ｍ３〜Ｍ４それぞれを直線で描画する。これによって、図４７（Ａ）の描画イメージに示すように、上唇に丸みを持たせるリップペン描画が行われ、下唇についてはリップペン描画を行われない。
【０１３８】
選択されたメイクアップパターンがスイートの場合、口紅処理部３９は、区間Ｍ１〜Ｍ２、区間Ｍ４〜Ｍ５、区間Ｍ１〜Ｍ６〜Ｍ５それぞれを曲線で描画し、区間Ｍ２〜Ｍ３、区間Ｍ３〜Ｍ４それぞれを直線で描画する。これによって、図４７（Ｂ）の描画イメージに示すように、上唇及び下唇に丸みを持たせるリップペン描画が行われる。
【０１３９】
選択されたメイクアップパターンがキュートの場合、口紅処理部３９は、区間Ｍ１〜Ｍ７、区間Ｍ７〜Ｍ８、区間Ｍ８〜Ｍ５それぞれを直線で描画する。これによって、図４７（Ｃ）の描画イメージに示すように、下唇を直線的にするリップペン描画が行われ、上唇についてはリップペン描画を行われない。
【０１４０】
選択されたメイクアップパターンがクールの場合、口紅処理部３９は区間Ｍ２〜Ｍ４を曲線で描画し、区間Ｍ１〜Ｍ２、区間Ｍ４〜Ｍ５、区間Ｍ１〜Ｍ７、区間Ｍ７〜Ｍ８、区間Ｍ８〜Ｍ５それぞれを直線で描画する。これによって、図４７（Ｄ）の描画イメージに示すように、上唇及び下唇を直線的にするリップペン描画が行われる。
【０１４１】
次のステップＳ３０３のループ処理で口紅処理部３９は、ｘ座標値を０（口の左端Ｍ１位置）から画素単位で最大値（口の右端Ｍ５位置）まで順次増加させる。なお、ｘ座標は図４６に示す口を囲む矩形領域において右側に増加し、ｙ座標は上側に増加するものとする。このループ内のステップＳ３０４で口紅処理部３９は曲線描画区間か否かを判別し、曲線描画区間でなければ、ステップＳ３０３に戻りｘ座標値を増加させる。
【０１４２】
曲線描画区間であれば、ステップＳ３０５に進み、口紅処理部３９は図４８に示すオフセット曲線をｘ座標値で参照して、当該ｘ座標に対するオフセット値を求める。この図４８に示すオフセットは上唇の上縁を上に（鼻側に）持ち上げて口を大きく見せるために用いられ、下唇の下縁についてはオフセット値＝０とされている。
【０１４３】
次に、口紅処理部３９はステップＳ３０６のループ処理を行う。ここでは、口紅処理部３９が、ｙ座標値を、口の輪郭データのｙ座標＋オフセット値−βから口の輪郭データのｙ座標＋オフセット値＋βまで、画素単位で順次増加させて、以下の処理を行う。このβは、リップペンのペン幅の１／２（例えば数ｍｍに相当）である。
【０１４４】
ステップＳ３０６のループ内のステップＳ３０７では、口紅処理部３９が当該ｘｙ座標に対応する画素のＲＧＢ値から所定の演算式を用いて彩度（Ｓ），色相（Ｈ），明度（Ｖ）それぞれを算出する。
【０１４５】
そして、ステップＳ３０８で、口紅処理部３９が口の輪郭データのｙ座標と当該ｙ座標との差（最大でオフセット値＋β）に基づいて、リップペンの色のＨＳＶ値を上記差に比例して薄くなるように補正してグラデュエーションをつけた後、ステップＳ３０７で得た当該ｘｙ座標に対応する画素のＨＳＶ値に加算する。
【０１４６】
この後、口紅処理部３９はステップＳ３０９で上記当該ｘｙ座標に対応する画素のＨＳＶ値をＲＧＢ値に変換し、ステップＳ３１０でこのＲＧＢ値を用いて当該ｘｙ座標に対応する画素を上書きして更新することによりリップペンの描画を行う。
【０１４７】
なお、このステップＳ３０６は図４７（Ａ）の描画イメージでは曲線描画区間が上唇の上縁だけであるため１回しか実行されないが、図４７（Ｂ）の描画イメージでは曲線描画区間が上唇の上縁と下唇の下縁とがあるため２回実行される。下唇の下縁を描画する際には図４８のオフセット値は負の値として取り扱う。ステップＳ３０３のループ処理を終了すると、口紅処理部３９はステップＳ３１１に進んで各直線描画区間の直線の関数を求める。次のステップＳ３１２のループ処理で口紅処理部３９はｘ座標値を０（口の左端Ｍ１位置）から画素単位で最大値（口の右端Ｍ５位置）まで順次増加させる。
【０１４８】
このループ内のステップＳ３１３で口紅処理部３９は直線描画区間か否かを判別し、直線描画区間でなければ、ステップＳ３１２に戻りｘ座標値を増加させる。直線描画区間であれば、ステップＳ３１４に進み、口紅処理部３９は直線の関数を用いて、当該ｘ座標に対応する直線のｙ座標Ｙ（Ｌ）を求める。
【０１４９】
次に、口紅処理部３９はステップＳ３１５のループ処理を行う。ここでは口紅処理部３９がｙ座標値を、Ｙ（Ｌ）−βからＹ（Ｌ）＋βまで、画素単位で順次増加させて、以下の処理を行う。このβはリップペンのペン幅の１／２（例えば数ｍｍに相当）である。
【０１５０】
ステップＳ３１５のループ内のステップＳ３１６では、口紅処理部３９が当該ｘｙ座標に対応する画素のＲＧＢ値から所定の演算式を用いて彩度（Ｓ），色相（Ｈ），明度（Ｖ）それぞれを算出する。そして、ステップＳ３１７で、口紅処理部３９はＹ（Ｌ）と当該ｙ座標との差（最大でβ）に基づいて、リップペンの色のＨＳＶ値を上記差に比例して薄くなるように補正してグラデュエーションをつけた後、ステップＳ３１６で得た当該ｘｙ座標に対応する画素のＨＳＶ値に加算する。
【０１５１】
この後、口紅処理部３９はステップＳ３１８で上記当該ｘｙ座標に対応する画素のＨＳＶ値をＲＧＢ値に変換し、ステップＳ３１９でこのＲＧＢ値を用いて当該ｘｙ座標に対応する画素を上書きして更新することによりリップペンの描画を行う。
【０１５２】
なお、このステップＳ３１５は図４７（Ｃ）の描画イメージでは曲線描画区間が上唇の上縁だけであるため１回しか実行されないが、図４７（Ｄ）の描画イメージでは曲線描画区間が上唇の上縁と下唇の下縁とがあるため２回実行される。ステップＳ３１２のループ処理を終了すると、口紅処理部３９は口紅処理を終了する。
【０１５３】
このように、口紅処理部３９は複数のメイクアップパターンから所望のタイプが選択されると、選択されたメイクアップパターンに応じてリップペンで描画（色塗り処理）する形状を設定し、設定された形状でリップペンによる描画を行うため、所望のタイプを選択するだけで、選択したメイクアップパターンに応じて口の輪郭近傍をリップペンで描画して表示することができる。
【０１５４】
また、口紅処理部３９は口の輪郭からの縦方向距離が大なるほどリップペンの色を薄くするグラデュエーションをつけるため、描画したリップペンの色が顔画像の肌色となじんで違和感のないリップペンの色を表示できる。
【０１５５】
シミュレータメインアプリ２８に含まれる口紅処理部３９はトラッキングポイント３４から以下のようなポイントを算出し、そのポイントを参照して実施例１又は２の口紅処理を行うようにしてもよい。
【０１５６】
唇の形態的特徴を把握するために予め設定した複数のポイントの位置は、トラッキングポイント３４から算出できる。図４９は唇の形態的特徴を把握するために予め設定した複数のポイントの位置を表した一例のイメージ図である。図４９は以下の１４ポイントを表している。
【０１５７】
図４９に示す１４ポイントは、鼻の両側の位置(２ポイント)、鼻孔の中心位置(２ポイント)、上唇の山の位置(２ポイント)、上唇の谷の位置、唇の中心位置、口角の位置(２ポイント)、下唇の下端中心位置、あごの中心位置、あごの両側位置(２ポイント)の１４ポイントである。尚、このポイントの位置と数は特に限定されるものではなく、唇の形態的特徴を把握することが出来、且、化粧情報を作成するのに好適であれば、位置や数は適宜変更することが出来る。
【０１５８】
口紅処理部３９は、１４ポイントの位置により分析された平面的な特徴を次の５項目について判定し、対象者の唇全体のバランスを把握する。口紅処理部３９は把握された対象者の唇全体のバランスを、基準とする最適なバランスと対比してその差異を測定し、基準と相違する部分を修正する。なお、基準とする唇のバランスは、美しいと評価される唇のプロポーションに依拠している。
【０１５９】
唇の形態のバランスを判定する５項目は、口角の位置、上唇の位置、下唇の位置、上唇の山の位置、上唇の山と谷の角度である。最適なバランスにおける５項目の基準は、口角の位置は黒目の内側を下に下ろした位置、上唇の位置は鼻下から唇の中心位置までの距離の１／３の位置、下唇の位置はあごの中心位置から唇の中心位置までの距離の１／３の位置、上唇の山の位置は鼻孔の中心を下ろした位置、上唇の山と谷の角度は山から谷に向かって１０度下げる角度を基準とする。
【０１６０】
かかる最適な唇の基準バランスに従って、口紅処理部３９は化粧対象唇のバランスを対比して両者の相違を把握し、対象唇を基準バランスに修正する。ここでは修正の手法を説明する。先ず、口紅処理部３９は唇の中心から水平線を引き、口角の位置が水平線より上にあるか下にあるかを測定する。口角の位置が水平線より上にある場合、口紅処理部３９は修正を特に行わない。下にある場合、唇に締まりがなく、だらしなく見えるので、口紅処理部３９は２mmを限度として口角の位置を上方に修正する様に、補正化粧を施す。
【０１６１】
なお、調整限度を２mmとする理由は、調整の結果が不自然となるのを回避するためである。例えば、美容コンサルタントが店頭等で顧客に唇のメーキャップについてアドバイスを行い、標準の唇に近づけるメーキャップ法を提案する場合は、約２mm程度の範囲内で変化させているのが通常である。このように、修正範囲が２mmを越えると、修正の幅が大きくなり過ぎて、化粧が不自然となるため好ましくない。尚、当初の口角のポイント位置がずれている場合、最適バランスのポイントもずれてしまうので、口角のポイントをマニュアルで調整する。この修正の範囲２mmは、他の部分についても同様とする。
【０１６２】
次に、口紅処理部３９は上唇の山と谷の形状を修正する。口紅処理部３９は上唇の山の位置を鼻下から唇の中心位置までの距離の１／３の位置と鼻孔の中心から下ろした位置の基準に基づいて割り出して位置を設定し、該割り出された位置に上唇の山が来るように化粧のポイントを画面上に設定する。
【０１６３】
次に、口紅処理部３９は上唇の谷の位置を山から谷に向かって１０度下げる角度を基準に基づいて設定する。この角度は、例えば１０〜１５度の範囲とするが、例えば１０度を予め設定しておく。しかしながら、この角度は１０度に限定されるものでなく、１０〜１５度の範囲に任意に設定可能である。
【０１６４】
次に、口紅処理部３９は唇の中心線からあごの中心位置までの距離の１／３の位置に下唇の位置を設定し、更に下あごのラインを中心位置とその両側の３点のポイント位置を円弧で連結して描き、該下あごの円弧形状と相似形に下唇のラインを描く。この下あごのラインの描写は、コンピュータの画面上において基本のフォルムを下あごのラインに倣って変形させることにより、自動的に描くことが可能である。
【０１６５】
このようにして、口紅処理部３９は、対象者の唇全体のバランスについて、５項目の基準に基づいて最適なバランスと対比してその差異を把握し、最適なバランスに修正するためのラインを求めることができる。
【０１６６】
（シャドウ処理）
シミュレータメインアプリ２８に含まれるシャドウ処理部３８は以下のようにトラッキングポイント３４を参照し、シャドウ処理を行う。なお、シャドウ処理は、アイライン検索処理，アイライン描画処理，アイシャドウ塗布処理の順番に実行される。
【０１６７】
図５０は、アイライン検索処理の一実施例のフローチャートである。同図中、先ず、ステップＳ４０１で目及び眉を囲む矩形領域の顔画像を取得し、ステップＳ４０２で２値画像を保持する領域をメモリ装置１１等に確保する。次のステップＳ４０３のループ処理で閾値ＴＨを最低値から所定値の増分で最大値まで順次増加させ、ループ内のステップＳ４０４で閾値ＴＨを用いて目及び眉を囲む矩形領域の顔画像の２値化を行う。このように閾値ＴＨを可変して２値化を行うのは、アイラインを正確に検出するためである。
【０１６８】
次のステップＳ４０５では２値化で得たエッジ画像について、メディアンフィルタ処理を行ってノイズを除去する。これはまつげ等で発生するノイズを除去するために行っている。そして、ステップＳ４０６でエッジ画像について、目幅方向（矩形領域におけるｙ方向）に連続して延在する複数のエッジ画素、即ち輪郭線形成画素があるか否かを判別する。上記輪郭線形成画素がなければ閾値ＴＨを所定値の増分だけ増加させてステップＳ４０４に戻る。上記輪郭線形成画素があればステップＳ４０７に進む。
【０１６９】
ステップＳ４０７では、上記の２値画像から輪郭線を抽出する。次に、シャドウ処理部３８は、ステップＳ４０８で抽出した輪郭線における不連続の箇所を直線補間（または曲線補間）し、更にステップＳ４０９で補間後の輪郭線についてメディアンフィルタ処理を行ってノイズを除去し、この処理を終了する。
【０１７０】
図５１はアイライン描画処理の一実施例のフローチャートである。この処理は、目頭ＥＬ４，ＥＲ４と目尻ＥＬ１，ＥＲ１を結ぶ上瞼の輪郭線から上側（眉側）の上瞼の領域について行われる。
【０１７１】
同図中、先ず、ステップＳ４１０でアイライン描画パターンを設定する。このアイライン描画パターンは、メイクアップパターンとしてクールが選択された場合、図５２に示すように、上瞼の目頭から目尻までの幅のアイラインであり、斜線を付した領域Ｉａでｘ方向目尻側にアイラインのぼかしを行うアイライン描画パターンが設定される。
【０１７２】
また、メイクアップパターンとしてフレッシュが選択された場合には、図５３に示すように、上瞼の中央（目頭と目尻との中間点）から目尻までの幅のアイラインであり、斜線を付した領域Ｉｂでｘ方向目尻側にアイラインのぼかしを行うアイライン描画パターンが設定される。
【０１７３】
また、メイクアップパターンとしてスイートが選択された場合には、図５４に示すように、上瞼の目頭から目尻までの幅のアイラインであり、アイラインのぼかしを行わないアイライン描画パターンが設定される。
【０１７４】
更に、メイクアップパターンとしてキュートが選択された場合には、図５５に示すように、上瞼の目頭から目尻までの幅のアイラインであり、斜線を付した領域Ｉｄでｙ方向眉側にアイラインのぼかしを行うアイライン描画パターンが設定される。
【０１７５】
上記のメイクアップパターンに対応したアイライン描画パターンは、アイラインの選択ボックスにタッチしない場合のデフォルト値であり、アイラインの選択ボックスにタッチしたとき表示される４つのアイライン描画パターンから所望のパターンを選択することも可能である。
【０１７６】
次に、ステップＳ４１１のループ処理でｘ座標値を０（目頭位置）から画素単位で最大値（目尻位置）まで順次増加させる。このループ内で各ｘ座標値毎にステップＳ４１２のループ処理を行う。ここでは、ｙ座標値を０（輪郭線のｙ座標）から画素単位で最大値（目の高さ幅：上瞼と下瞼の最大離間距離）まで順次増加させて、以下の処理を行う。
【０１７７】
ステップＳ４１３では、上記のｘ座標及びｙ座標で指示される画素の明度を計算し、ステップＳ４１４で、この画素の明度がアイラインの明度と同一か否かを判別する。ここで同一でない場合は、ｙ座標値を増加させてステップＳ４１３に戻る。
【０１７８】
この画素の明度がアイラインの明度と同一の場合には、ステップＳ４１５に進み、この画素の明度を現在の明度より所定値だけ低下させる。これによって、輪郭線上の画素の明度が低下して濃くなり、結果的にアイラインを目立たせることができる。この後、ステップＳ４１６でｘ座標及びｙ座標から、図５２の領域Ｉａであるか（スイートの場合）または図５３の領域Ｉｂであるか（クールの場合）を判別し、上記の領域Ｉａ，Ｉｂの場合にはステップＳ４１７でｘ方向目尻側にアイラインのぼかしを行う。
【０１７９】
更に、ステップＳ４１８でｘ座標及びｙ座標から、図５５の領域Ｉｄであるか（フレッシュの場合）を判別し、上記の領域Ｉｄの場合にはステップＳ４１９でｙ方向眉側にアイラインのぼかしを行う。この後、上記のステップＳ４１１，Ｓ４１２のループ処理が終了すると、シャドウ処理部３８はアイライン検索処理を終了する。
【０１８０】
図５６はアイシャドウ塗布処理の一実施例のフローチャートである。同図中、先ず、ステップＳ４３０でアイシャドウ塗布領域を設定する。ここでは、図５７に示す、上瞼の輪郭線から眉の輪郭線までのｙ方向の最大距離Ｙｍａｘを求め、最大塗布サイズＭｙ＝Ｙｍａｘ／αを求める。なお、メイクアップパターンがスイートまたはキュートの場合はα＝２であり、クールの場合はα＝３、フレッシュの場合はα＝６である。
【０１８１】
更に、図５８（Ａ），（Ｂ）に示す曲線を用いて、メイクアップパターン毎にアイシャドウ塗布領域の上限（眉側）を求める。この際に、上記の最大塗布サイズＭｙを使用する。ここで、スイートまたはクールまたはキュートの場合は図５８（Ａ）に示す目頭から目尻に至る曲線を用い、フレッシュの場合は図５８（Ｂ）に示す目頭より所定長だけ離れた上瞼の輪郭線上の一点から目尻に至る曲線を用いる。また、アイシャドウ塗布領域の下限は上瞼の輪郭線とする。
【０１８２】
また、ステップＳ４３１で開始点の移動軌跡を設定し、ステップＳ４３２でアイシャドウ塗布の開始点における塗布サイズを設定する。図５９は、図５８（Ａ）に対応するアイシャドウ塗布領域を示しているが、アイシャドウ塗布領域の下限（上瞼の輪郭線）の略中央位置Ｐ０をアイシャドウ塗布の開始点とする。また、開始点を中心としアイシャドウ塗布領域の上限に接する円の半径を塗布サイズとし、更に、アイシャドウ塗布領域の下限に重ねて示す矢印Ａ１及びＡ２を開始点の移動軌跡としている。
【０１８３】
次に、ステップＳ４３３でユーザの肌色データと選択されたアイシャドウの色から所定の演算式を用いて開始点におけるアイシャドウの濃度を演算し、得られたアイシャドウの色を開始点に塗布する。そして、ステップＳ４３４で開始点を中心とし、塗布サイズを半径とする円内で、開始点に塗布されたアイシャドウの色の濃度を開始点からの距離に比例して薄くする（ぼかす）エアブラシ処理を行い、これにより得られた各画素位置の濃度のアイシャドウの色を、その位置の画素の肌色に加算することによりアイシャドウを肌に重ねた各画素の色を求め、これで各画素の色を更新する。
【０１８４】
なお、上記のエアブラシ処理では、アイシャドウ塗布領域における塗布サイズを半径とする円内のみが処理対象であり、アイシャドウ塗布領域の下限より下の半円部分では処理がなされない。また、エアブラシ処理における中心からの距離と濃度との関係は、メイクアップパターンがキュート又はフレッシュの場合は図６０（Ａ）に示すように中心からの距離に比例して濃度が薄くなる特性を用い、スイート又はクールの場合は図６０（Ｂ）に示すように中心からの距離が小さいときに濃度の薄くなる度合いが大きく、中心からの距離が大きいときに濃度の薄くなる度合いが小さい特性を用いる。
【０１８５】
この後、ステップＳ４３５では、矢印Ａ１，Ａ２で示す開始点の移動軌跡に従って、開始点を所定距離だけ移動する。なお、開始点は、位置Ｐ０から矢印Ａ１方向に所定距離だけ移動することを繰り返して、移動した開始点がアイシャドウ塗布の領域外となると、位置Ｐ０に戻って矢印Ａ２方向に所定距離だけ移動する。この移動距離は例えば塗布サイズの数１０パーセントである。
【０１８６】
更に、ステップＳ４３６で新たな塗布サイズを計算する。新たな塗布サイズは、開始点が位置Ｐ０から矢印Ａ１，Ａ２方向に移動するにつれて、数パーセントから数１０パーセントの割合で減少する。
【０１８７】
次にステップＳ４３７でアイシャドウ塗布の終点か否かを判別し、終点でない場合は上記のステップＳ４３３からＳ４３６を繰り返し、終点であればシャドウ処理部３８はアイシャドウ塗布処理を終了する。アイシャドウ塗布の終点の判定は、開始点が矢印Ａ２方向に移動してアイシャドウ塗布の領域外となったときアイシャドウ塗布の終点とする。
【０１８８】
このように、複数のメイクアップパターンから所望のタイプを選択すると、選択されたメイクアップパターンに応じて顔画像の目元部分におけるアイシャドウを塗布する領域を設定し、アイシャドウを塗布する領域の顔画像の色に、アイシャドウの色を重ねることによりアイシャドウを塗布する為、所望のタイプを選択するだけで、選択したメイクアップパターンに応じて顔画像の目元部分にアイシャドウを塗布して表示できる。
【０１８９】
また、目の輪郭を検出して検出された目の輪郭及びその近傍を、選択されたメイクアップパターンに応じて描画するため、所望のタイプを選択するだけで、選択したメイクアップパターンに応じて顔画像の目元部分にアイラインを描画して表示することができる。
【０１９０】
また、アイシャドウを塗布する領域内の塗布の開始点から離間するほどアイシャドウの濃度を低下させてぼかしているため、塗布したアイシャドウが顔画像の肌色となじんで違和感のないアイシャドウを表示でき、アイシャドウを塗布する領域内で塗布の開始点を順次移動させるため、顔画像におけるアイシャドウを塗布する領域の形状に拘わらず、塗布したアイシャドウが顔画像の肌色となじんで違和感のないアイシャドウを表示できる。
【０１９１】
シミュレータメインアプリ２８に含まれるシャドウ処理部３８は分類され把握された被化粧対象者の目の形態を、標準バランスの目の形態と対比して、標準バランスの目の形態に近づけて、目を大きく見せるとともに均整を整えて魅力的に見せるアイメーキャップを行うようにしてもよい。
【０１９２】
目の形態特徴は、眼裂の形状を示すフレーム軸、目の凹凸形状を示すフォルム軸、目の角度形態を示す角度軸及び標準バランスの目の形態の４つの要素を指標として、分類することができる。フレーム形態は、まつげの生え際を目安とする上下まぶたによってできる眼裂の輪郭形状である。フレーム軸は眼裂の上下径と左右径の比率に従って軸上に配列したものである。フレーム軸は例えば垂直軸として設けられる。後述する標準バランスの目の形態はフレーム軸の中央に配置される。フレーム軸の一方、すなわち上側には、眼裂の上下径と左右径の比率を１：３とする標準バランスの目よりも、上下径が長く、左右径が短い目の形態を配置される。軸の他方、すなわち下側には、上下径が短く、左右径が長い目の形態を配置される。
【０１９３】
また、目の凹凸形状をしめすフォルム形態は、例えば瞼溝と上下まぶたの隆起の凹凸形状によって把握する。フォルム軸は前記フレーム軸と直交する水平方向の軸として構成される。フォルム軸の中心には標準バランスの目の形態が配置される。フォルム軸の一方、すなわち左側には、標準バランスの目の形態よりも、上まぶたの隆起が平面的（一重や奥二重に一般的なまぶたの肉付きのよい隆起形状）で、下まぶたの肉付きは薄く、眼球の曲面は目立たたない目の形態が配置される。軸の他方、すなわち右側には、上まぶたの隆起が立体的（二重や三重に一般的に見られる彫りの深い状態。眉弓骨との眼窩の境界に窪みがあり、眼球の隆起が顕著に見られる）で、下まぶたは、眼球の顕著な曲面が現れ、又は眼窩脂肪のふくらみにより立体的である目の形態が配置される。
【０１９４】
また、目の角度形態は、目頭を通る水平線と、目頭と目尻を結ぶ対角線のなす角度とするものである。標準バランスの目の角度形態は、９度より大きく１１度より小さい角度であり、最も好ましくは１０度の角度である。シャドウ処理部３８は、この標準バランスの目の角度形態を基準として、角度が９度より大きく１１度より小さければ標準、９度以下であれば目尻下降、１１度以上であれば目尻上昇と判断する。目の角度形態の上下を示す角度軸は、前記フレーム軸、フォルム軸を平面に投影したとき、二つの軸で区切られる４つの象限内に個別に存在するように表現される。
【０１９５】
標準バランスの目の形態の特徴は図６１に示すように、ａ．眼裂の上下径（虹彩の中心を通る垂線）と左右径の比率が１：３のフレーム形態を有し、ｂ．顔を側面から見たときの上下まぶたの形状には顕著な凹凸がなく、眉弓骨（眉の生えている部分の下にあるやや隆起した骨）から、ほお骨にかけての曲線がなだらかであるフォルム形態を有し、ｃ．目頭を通る水平線と、目頭と目尻を結ぶ直線がなす角度が１０度であり、ｄ．瞼溝は二重と奥二重の中間的形状を示し、目頭側の溝は狭く、目尻側の溝は目頭側より広く、ｅ．眼裂の上下径の幅と眼裂の上縁から眉までの幅が、１対１のバランスのフォルム形態を有している。図６１は標準バランスの目の形態を示す正面図である。
【０１９６】
（チーク処理）
シミュレータメインアプリ２８に含まれるチーク処理部４０は以下のようにトラッキングポイント３４を参照し、チーク処理を行う。
【０１９７】
図６２は頬紅塗布処理（チーク処理）の一実施例のフローチャートである。同図中、先ず、ステップＳ５０１で頬紅塗布の領域及び開始点を設定し、ステップＳ５０２で開始点の移動軌跡を設定し、ステップＳ５０３で頬紅塗布の開始点における塗布サイズを設定する。上記のステップＳ５０１〜５０３は、ユーザが選択したメイクアップパターンによって処理が異なる。
【０１９８】
メイクアップパターンがスイートの場合、図６３に示すように、顔領域内で、目尻ＥＬ１，ＥＲ１の特徴点のｙ座標をｙ１とし、鼻の左右端Ｎ１，Ｎ３の特徴点のｙ座標をｙ２とし、口の左右端Ｍ１，Ｍ５の特徴点のｙ座標をｙ３とし、目頭ＥＬ４，ＥＲ４の特徴点のｘ座標をｘ１とし、目尻ＥＬ１，ＥＲ１の特徴点のｘ座標をｘ３としたとき、ｙ座標が（ｙ１＋ｙ２）／２から（ｙ２＋ｙ３）／２までの範囲で、かつ、ｘ座標がｘ１からｘ３間での範囲を頬紅塗布の領域とし、この領域の略中心の位置Ｐ０を頬紅塗布の開始点とする。また、この領域の縦幅の１／２を塗布サイズとし、更に矢印Ａ１及びＡ２を開始点の移動軌跡として設定する。
【０１９９】
メイクアップパターンがクールの場合、図６４に示すように、顔領域内で、目尻ＥＬ１，ＥＲ１の特徴点のｙ座標をｙ１とし、口の左右端Ｍ１，Ｍ５の特徴点のｙ座標をｙ３とし、瞳ＰＬ，ＰＲの特徴点のｘ座標をｘ２とし、目尻ＥＬ１，ＥＲ１の特徴点のｘ座標をｘ２とし、目尻ＥＬ１，ＥＲ１と同一ｙ座標の顔の輪郭上の特徴点Ｆ６，Ｆ７のｘ座標をｘ４としたとき、点（ｘ２，ｙ３）と点（ｘ４，ｙ１）とを結ぶ直線と、ｙ＝ｙ３の直線と、顔の輪郭で囲まれる範囲を頬紅塗布の領域とし、この領域内の位置Ｐ０を頬紅塗布の開始点とする。また、位置Ｐ０を中心として頬紅塗布領域に内接する円の半径を塗布サイズと設定し、矢印Ａ１及びＡ２を開始点の移動軌跡として設定する。
【０２００】
メイクアップパターンがキュートの場合、図６５に示すように、顔領域内で、目尻ＥＬ１，ＥＲ１の特徴点のｙ座標をｙ１とし、鼻の左右端Ｎ１，Ｎ３の特徴点のｙ座標をｙ２とし、口の左右端Ｍ１，Ｍ５の特徴点のｙ座標をｙ３とし、瞳ＰＬ，ＰＲの特徴点のｘ座標をｘ２とし、目尻ＥＬ１，ＥＲ１の特徴点のｘ座標をｘ２とし、目尻ＥＬ１，ＥＲ１と同一ｙ座標の顔の輪郭上の特徴点Ｆ６，Ｆ７のｘ座標をｘ４とし、口の左右端Ｍ１，Ｍ５と同一ｙ座標の顔の輪郭上の特徴点Ｆ１０，Ｆ１１のｘ座標をｘ５としたとき、点（ｘ２，ｙ２）と点（ｘ４，ｙ１）とを結ぶ直線と、点（ｘ２，ｙ２）と点（ｘ５，ｙ３）とを結ぶ直線と、顔の輪郭で囲まれる範囲を頬紅塗布の領域とし、この領域内の位置Ｐ０を頬紅塗布の開始点とする。また、位置Ｐ０を中心として頬紅塗布領域に内接する円の半径を塗布サイズと設定し、矢印Ａ１及びＡ２を開始点の移動軌跡として設定する。
【０２０１】
メイクアップパターンがフレッシュの場合、図６６に示すように、顔領域内で、目尻ＥＬ１，ＥＲ１の特徴点のｙ座標をｙ１とし、口の左右端Ｍ１，Ｍ５の特徴点のｙ座標をｙ３とし、目頭ＥＬ４，ＥＲ４の特徴点のｘ座標をｘ１としたとき、ｙ座標がｙ３から（ｙ１＋ｙ３）／２までの範囲で、かつ、ｘ座標がｘ１から顔の輪郭までの範囲を頬紅塗布の領域とし、この領域内の位置Ｐ０を頬紅塗布の開始点とする。また、この領域の縦幅の１／２を塗布サイズと設定し、矢印Ａ１及びＡ２を開始点の移動軌跡として設定する。
【０２０２】
次に、頬紅の塗布を実行する。ここでは、先ず、ステップＳ５０４でユーザの肌色データと選択された頬紅の色から所定の演算式を用いて開始点における頬紅の濃度を演算し、得られた頬紅の色を開始点に塗布する。そして、ステップＳ５０５で開始点を中心とし、塗布サイズを半径とする円内で、開始点に塗布された頬紅の色の濃度を開始点からの距離に比例して薄くする（ぼかす）エアブラシ処理を行い、これにより得られた各画素位置の濃度の頬紅の色を、その位置の画素の肌色に加算することにより頬紅を肌に重ねた各画素の色を求め、これで各画素の色を更新する。図６７に上記のエアブラシ処理における、中心からの距離と濃度との関係を示す。
【０２０３】
この後、ステップＳ５０６では、矢印Ａ１，Ａ２で示す開始点の移動軌跡に従って、開始点を所定距離だけ移動する。なお、開始点は、位置Ｐ０から矢印Ａ１方向に所定距離だけ移動することを繰り返して、移動した開始点が頬紅塗布の領域外となると、位置Ｐ０に戻って矢印Ａ２方向に所定距離だけ移動する。この移動距離は例えば塗布サイズの数１０パーセントである。更に、ステップＳ５０７で新たな塗布サイズを計算する。メイクアップパターンがスイートまたはフレッシュの場合、新たな塗布サイズは前回と同一であるが、メイクアップパターンがクールまたはキュートの場合は、開始点が位置Ｐ０から矢印Ａ１，Ａ２方向に移動するにつれて、新たな塗布サイズは数パーセントから数１０パーセントの割合で減少する。
【０２０４】
次にステップＳ５０８で頬紅塗布の終点か否かを判別し、終点でない場合は上記のステップＳ５０４からＳ５０７を繰り返し、終点であれば頬紅塗布処理を終了する。頬紅塗布の終点の判定は、開始点が矢印Ａ２方向に移動して頬紅塗布の領域外となったとき頬紅塗布の終点とする。
【０２０５】
このように、複数のメイクアップパターンから所望のタイプを選択すると、選択されたメイクアップパターンに応じて顔画像における頬紅を塗布する領域を設定し、頬紅を塗布する領域の顔画像の色に、頬紅の色を重ねることにより頬紅を塗布するため、所望のタイプを選択するだけで、選択したメイクアップパターンに応じて顔画像の頬部分に頬紅を塗布して表示することができる。
【０２０６】
また、頬紅を塗布する領域内の塗布の開始点から離間するほど頬紅の濃度を低下させてぼかしている為、塗布した頬紅が顔画像の肌色となじんで違和感のない頬紅を表示でき、更に、頬紅を塗布する領域内で塗布の開始点を順次移動させるため、顔画像における頬紅を塗布する領域の形状に拘わらず、塗布した頬紅が顔画像の肌色となじんで違和感のない頬紅を表示できる。
【０２０７】
シミュレータメインアプリ２８に含まれるシャドウ処理部３８は分類され把握された被化粧対象者のほおの形態的特徴に応じたチークメーキャップを行うようにしてもよい。一般にチークメーキャップは、演出するイメージによって施す方法が異なる。そこで、本発明では、「血色の演出」に絞って検討を行った。
【０２０８】
なお、血色に着目した理由は以下の３点に基づくものである。まず１つ目は、血色というのは健康な状態である場合、本来は誰でもが持っている要素であるため、個々に持つ本来の健康的な美しさを自然に引き出すことに通じると考えたからである。
【０２０９】
また、血色が良好であるほおの例としては、例えば乳児のほおが自明な例であるが「血色が良く好ましい」と感じられる例では、血色は目、鼻、口、耳を結ぶエリア内に現れる。そこで、血色に着目した理由の２つ目は、目、鼻、口、耳をガイドラインとして、全ての人に共通した法則で、チークメーキャップを施す位置を導出せるのではないかと考えたからである。更に、血色に着目した理由の３つ目は、血色の演出は多くの人がチークを使用する目的としており、かつ、美しいと感じるほおの要素であるため、多くの人の要望に合致するからである。
【０２１０】
また、チークを使用する目的について、普段チークメーキャップを行う２０代と３０代の女性６８名を対象としてアンケートを行った。その結果、「血色をよく見せるため」が最も多く選択された。また、美しいと思うほおについて、普段チークメーキャップを行う２０代女性４０名を対象としてアンケートを行った結果、回答の多い順に、「はりがある」、「ほどよくふっくら」、「血色が良い」であった。
【０２１１】
また、一般に化粧をする際は、化粧下地やファンデーション等を用い、素肌の色むらを整える。この際、素肌では自然にあった血色がほとんど消されてしまう。したがって、チークメーキャップで血色を加えることは、本来持っている血色の要素を取り戻すという自然な演出方法であるといえる。
【０２１２】
美容技術者が施すチークメーキャップは、一般の人が自分自身で施すものよりも美しい仕上がりとなる。これは、美容技術者は経験則と専門知識によって個々の顔の特徴をとらえ、各々に似合って美しい仕上がりとなる方法を身につけているからだと考えられる。そこで、美容技術者のチークメーキャップの施し方を分析し、法則性を抽出することを試みた。
【０２１３】
まず、ほおの特徴が異なるモデル１０名の顔写真を使用し、美容技術者２７名に「自然な血色をチークメーキャップで表現するとしたら、どの辺りを中心にどこまでぼかしますか？」というアンケートを実施した。また、チークメーキャップを施す位置の中心と範囲は、各顔を印刷した紙に直接、書き込みをしてもらった。
【０２１４】
図６８は被化粧対象者のほおの形態的特徴に応じたチークメーキャップの一例を説明する為のイメージ図である。図６８では、あるモデル（モデルＡ）に対して、チークメーキャップの中心を導く線を表している。
【０２１５】
まず、血色を表現するチークメーキャップの中心の位置は、目、鼻、口、耳を結ぶエリアの中心付近である。更に、その箇所を顔の特定し易い要素を基準として導くことを検討した結果、図６８に示すように鼻先からアリキュラ（耳の前の口を開けると窪む箇所）を線２５００で結び、目の中心から引いた水平線２５０１が顔の輪郭と交わる点から口角に線２５０２を引くと、両者の交点が美容技術者の回答と一致することがわかった。
【０２１６】
次に、チークメーキャップをぼかす範囲について説明する。メーキャップをぼかす範囲は、目、鼻、口、耳を結ぶエリアの中にある。更に、この範囲は先程のチークメーキャップを施す中心を導く線を利用して描かれる平行四辺形の中に入る。
【０２１７】
具体的には、まずチークメーキャップの中心を導く際に引いた目の中心を通る水平線２５０１が顔の輪郭と交わる点から鼻先に引いた線（第１の線）２５０３を平行に口角まで下ろした線（第２の線）２５０４を設ける。更に、口角から上に向かって垂直線（第３の線）２５０５を引き、その垂直線２５０５を目の中心を通る水平線２５０１が顔の輪郭と交わるところまで平行に移動させた線（第４の線）２５０６を設ける。図６８では、これらの線２５０３〜２５０６により、平行四辺形を構成することができる。また、美容技術者が書き込んだチークメーキャップをぼかす範囲は、この平行四辺形の中に収まっていることがわかる。
【０２１８】
上述により、全ての顔に対して共通の方法でチークを施す起点の位置と、ぼかす範囲の目安を顔のスペースを決める三大要素である目・口・鼻により導出することが可能となった。なお、以下の説明において、チークメーキャップを施す起点の位置を「ベストポイント」と呼ぶこととする。
【０２１９】
つまり、血色演出チークメーキャップの起点は、鼻先からアリキュラを結んだ線と、目の中心から引いた水平線と顔の輪郭と交わる点から口角に引いた線の交点である。また、ぼかしの範囲はベストポイントをガイドラインとして描いた平行四辺形である。具体的には、目の中心を通る水平線と顔の輪郭との交点から鼻先に線を引き、次にその線を平行に口角まで下ろす。更に、口角から上に向かって垂直な線を引き、その垂直線を目の中心を通る水平線と交わる地点まで平行に移動したときにできる平行四辺形である。
【０２２０】
このように、チークを施す起点のベストポイントとぼかしの範囲は、どのタイプにも共通の方法で導出することができることがわかった。
【０２２１】
美容技術者の経験則からは、ほおの特徴を考慮してチークメーキャップの形を操作することがその人に似合って美しい仕上がりとなるという予測があった。実際に、導かれたチークを施す起点及びぼかす範囲の条件を満たしても、似合わない仕上がりとなることがある。
【０２２２】
そこで、ほおの形態的特徴によって調整の方向を考慮し、チークメーキャップの形もその方向性に合わせて変えるという仮説を立てた。すなわち、ほおが短い人は長く見えるように、長い人は短く見えるようにする、また、骨格感の目立つ人はふっくらと、肉付き感の目立つ人はすっきりと見えるように調整する。
【０２２３】
ここで、上述の仮説を検証するためアンケートを行った。アンケートでは、ほおの形態的特徴の異なるモデル４名に対して、２種類のチークメーキャップを施した。チークメーキャップの一つは、ベストポイントとぼかしの範囲の目安の法則を使い、更にほおの特徴に合わせてぼかしの形を変えて入れた「ＯＫチーク」である。もう一方は、ぼかしの形を考慮せずに入れた「ＮＧチーク」である。この２種類について、「ＯＫ」と「ＮＧ」の情報は隠しておき、一般女性（２０代女性４０名）に評価をしてもらった。
【０２２４】
具体的には、各写真を１枚ずつ見てもらい、それぞれのチークメーキャップの仕上がりについて両極５段階尺度で評価してもらった。また、評価項目は、「自然な−不自然な」、「合っている−合っていない」等であった。４名のモデルに対する４０名の評価の平均値を算出し検討した。
【０２２５】
評価について統計的な検定を行ったところ、「ＯＫチーク」は、「ＮＧチーク」よりも、自然な仕上がりでほおの立体感が整いほおの肉付きがややふっくらと見えることがわかった。この結果は、上述した美しいほおの要素である「ハリがあり、ほどよくふっくら」にも合致する。また、このチークメーキャップをすることで、顔全体のバランスまでもが整って見えることがわかった。つまり、上述した「ＯＫチーク」により、ほおが立体的に見え、ほどよくふっくらとした肌のハリを感じることができ、本来その人が持っている自然で健康的な血色の美しさを取り戻すことができる。また、血色演出は、個々の美しさを自然に引き出しながら、バランスを調整することができる。上述のアンケートで各モデルに施したチークメーキャップの形は、ほおの長さと骨格・肉付きの見え方を調整する考えに基づいたものである。
【０２２６】
図６８は、ほおの形態的特徴別のチークメーキャップの形状と範囲を表している。図６８において、標準顔に対応するチーク形状は、目安となる平行四辺形に内接する内接楕円２５０７となる。
【０２２７】
ここで、図６８の内接楕円２５０７は、長軸Ａをぼかしの目安の平行四辺形の縦の辺の中点２５０８−１，２５０８−２を結ぶ直線とし、短軸Ｂを長軸Ａの中点２５０９と直交し、平行四辺形の上下の辺に接する直線とする。更に、各軸Ａ，Ｂのそれぞれの半分の長さをａ，ｂとするとき、内接楕円は、（ｘ２／ａ２）＋（ｙ２／ｂ２）＝１で表すことができる。また、平均顔の場合、ａ：ｂ＝１：０．５５±０．０２の関係となる。
【０２２８】
なお、チークメーキャップのぼかし方法については、基本的には実際には起点がもっとも濃く、ぼかしの形の境界に向かって淡くなり、境界部分のぼかしは肌に自然に溶け込むように塗布する。
【０２２９】
（眉処理）
シミュレータメインアプリ２８に含まれる眉処理部３７は実施例１におけるステップＳ８０の眉形状の変形処理を以下の美容理論に基づいて行うことで、あらゆるユーザの顔にあった美しい眉に変形できる。
【０２３０】
一般的に、形の良い眉というのは、次の要素からなることが知られている。１．眉頭は目頭の真上から始まる。２．眉尻は小鼻と目尻を結んだ延長線上にある。３．眉山は眉頭から２／３の位置にある。このような眉が形の良い眉と言われている。更に、詳細に図６９に基づいてこれらの要素を説明する。
【０２３１】
図６９は理想的な眉の形を説明する説明図である。図６９では目頭３００１から垂直に立ち上がる目頭線３００２上に眉頭３００３があり、小鼻３００４から目尻３００５に向かって傾斜する小鼻眉尻線３００６上に眉尻３００７があり、眉頭３００３と眉尻３００７とを結ぶ眉基線３００８の眉頭３００３から眉尻３００７に向かう約２／３の位置（目尻側の白目の端部とほぼ一致する）の垂直な眉山線３００９上には、眉山３０１０が存在している。
【０２３２】
このような眉が形の良い眉であるが、最近の我々の研究から、形の良い眉をいろいろなユーザに描いても全体的に似合わないケースが多く、更に他の要素が関係していることが判明した。そして、その新たな要素を加味することにより、一人一人の顔立ちにあった美しい眉に変形することが可能になった。
【０２３３】
その要素は、４．顔全体における眉の眉山３０１０の位置と、５．眉頭３００３から眉山３０１０を形成する角度とで、これらの新たな要素を追加することで、バランスのとれた美しい眉に変形できる。
【０２３４】
ここでは、眉頭３００３、眉山３０１０などの部位の名称を使用していくが、眉処理部３７は前述したトラッキングポイント３４のうち、眉頭３００３に対応する特徴点（ＢＲ１）、眉山３０１０に対応する特徴点（ＢＲ２）を利用する。
【０２３５】
次に、顔とのバランスがとれた美しい眉の位置について説明する。顔とのバランスがとれた眉については、４．顔全体における眉の眉山３０１０の位置と、５．眉頭３００３から眉山３０１０を形成する角度とが重要である。これらの点について、図７０に基づき説明を行う。図６７は眉の位置の状態を説明する説明図である。
【０２３６】
図７０の（Ａ）、（Ｂ）、（Ｃ）は、顔全体に対して眉の占める位置を表している。図７０の（Ａ）、（Ｂ）、（Ｃ）に書かれている実線で示される仮想の横線イは、顔を正面から見た場合の顔の最大幅を示す線で、通常は下瞼に接する線になる。縦線ロは、顔の最大幅を示す前記横線イを顎の下部から垂直に立てた場合の仮想の線である。横線イと縦線ロとは顔のほぼ中心で直角に交差し、これらの横線イと縦線ロの端をａ、ｂ、ｃ、ｄからなる４つの点線で表した辺で囲んで仮想の正方形を形成している。
【０２３７】
ここで図７０の（Ａ）の眉の位置を見ると、眉の眉山３０１０が前述した仮想の正方形の辺ａに接しており、顔全体で見ると美しい位置に眉があり、バランスがとれていることが判る。また、図７０の（Ｂ）では、仮想の正方形の辺ａから眉の眉山３０１０が下方に離れて存在していて、顔全体から見ると中心に目、鼻、眉が纏まってしまい、顔が短く見え、バランスがとれていない。また、図７０の（Ｃ）では、仮想の正方形辺ａから眉の眉山３０１０が飛び出てしまい、顔全体から見ると顔が長く見え、全体的なバランスが良くない。
【０２３８】
一般的に、顔全体が丸い人は、図７０の（Ｂ）のように辺ａの下方に眉山３０１０が位置しやすく、顔全体が長い人は図７０の（Ｃ）のように辺ａの上方に眉山３０１０が飛び出てしまう傾向にあり、眉の描き方によってこれらの顔の傾向を増長してしまうケースが散見される。
【０２３９】
ここで図７０の（Ａ）の状態を詳細に観察すると、眉頭３００３から眉山３０１０を形成する角度は、眉頭３００３から眉尻３００７を結ぶ眉基線３００８に対して約１０度であり、眉山３０１０は辺ａに接している。また、図７０の（Ｂ）では、眉頭３００３から眉山３０１０を形成する角度は、眉頭３００３から眉尻３００７を結ぶ眉基線３００８に対して約５度であり、眉山３０１０は辺ａから下方に離れて存在している。
【０２４０】
また、図７０の（Ｃ）では、眉頭３００３から眉山３０１０を形成する角度は、眉頭３００３から眉尻３００７を結ぶ眉基線３００８に対して約２０度であり、眉山３０１０は辺ａから眉山３０１０が飛び出ている。図７０の（Ｂ）又は（Ｃ）のような状態の眉をできるだけ図７０の（Ａ）の状態に近づくように眉を描くことによって顔とのバランスがとれた美しい眉になることが判る。
【０２４１】
この眉の描き方の手順について、図６９と図７０に基づき更に詳細に説明する。まず、被施術者の顔正面の最大横幅（通常は下瞼を通る直線になる）を測定し、その横幅からなる仮想の横線イを顔の下瞼に沿って作成する。続いて、横線イと同一の長さを顎の最下点から立設させて仮想の縦線ロを作り、顔の正面で横線イと縦線ロを直交させ、横線イと縦線ロのそれぞれの端部を通る仮想の辺ａ、ｂ、ｃ、ｄで仮想の正方形を形成する。こうして作られた辺ａと被施術者の眉山３０１０の位置を比較し、眉山３０１０が正方形の辺ａに一致するか、辺ａより高い位置にあるか、低い位置にあるかを判定する。
【０２４２】
図７０の（Ａ）のように眉山３０１０が辺ａに一致する場合、眉の角度が眉基線３００８に対して１０度になる場合が多いので、眉頭３００３から眉山３０１０までの目安線を設定する。目安線は、アイブローで眉頭３００３と眉山３０１０の２点をポイントで示しても、薄い線を引いても良い。また、目安線は眉の下側に設定しても、眉の中心、眉の上側に設定してもよい。これらのいずれの場合でも、眉山３０１０は眉山線３００９上にあり、眉山３０１０の上縁は辺ａと接するように眉を描いていく。眉は目安線に沿って一定の幅で眉山３０１０まで描かれるが、眉山３０１０から眉尻３００７までは、被施術者の好みに応じて自由な曲線を作り、眉を完成させる。
【０２４３】
次に、図７０の（Ｂ）のように、眉山３０１０が辺ａに対して低い位置にくる場合は、眉山３０１０の位置を辺ａになるべく近づけるように眉を描いていく。この場合に、図７０の（Ｂ）の眉頭３００３から眉山３０１０の角度は５度と低いので、眉山３０１０を辺ａに近づけるために、１５度の角度の描写部を有する眉スケールを用いて、眉頭３００３から眉山３０１０までの目安線を設定する。しかしながら、目安線の角度があまり大きくなりすぎ、被施術者の元々ある眉山３０１０の位置より大きくずれてしまうような場合には、被施術者が違和感を感じる場合が多いので、元の眉山３０１０の位置から最大２ｍｍの範囲で眉山線３００９上方に新しい眉山３０１０を設定するのが好ましい。眉を剃った状態で全く新しい眉を描く場合は、このような制限を設けなくとも良い。目安線をアイブローで軽く描き、その後、目安線に沿って眉頭３００３から眉山３０１０まで描き上げ、眉尻３００７を描いて理想的な眉を完成させる。眉を剃っていない場合は、もともとある眉の上から前述したように眉を描き上げ、はみ出た部分については、眉を剃って整えることができる。
【０２４４】
また、図７０の（Ｃ）のように、眉山３０１０が辺ａに対して高い位置にくる場合は、眉山３０１０の位置を辺ａになるべく戻すように眉を描いていく。図７０の（Ｃ）の場合の眉頭３００３から眉山３０１０の角度は２０度と高いので、８度の角度で眉頭３００３から眉山３０１０までの目安線を設定する。この場合においても、被施術者の元々ある眉山３０１０の位置より大きくずれてしまうような場合には、被施術者が違和感を感じる場合が多いので、元の眉山３０１０の位置から最大２ｍｍの範囲で眉山線３００９下方に新しい眉山３０１０を設定するのが好ましい。前述した方法と同様に眉を描いていくと顔全体とのバランスがとれた美しい眉ができあがる。
【０２４５】
眉頭３００３と眉山３０１０を結ぶ眉の描き方で顔のイメージを調整できる。例えば、眉を太く描いた場合は「大人っぽく」、眉を細く描いた場合は「かわいらしく」、眉を直線的に描いた場合は「すっきり」、眉を曲線的に描いた場合は「やさしい」などの選択を被施術者の要望に応じて、使い分けることができる。
【０２４６】
このように、シミュレータメインアプリ２８に含まれる眉処理部３７は実施例１におけるステップＳ８０の眉形状の変形処理を上記の美容理論に基づいて行うことで、あらゆるユーザの顔にあった美しい眉に変形できる。
【０２４７】
（ファンデーション処理）
シミュレーションアプリ２８に含まれるファンデーション処理部３６は前処理として以下のような処理を行うこともできる。
【０２４８】
ファンデーション処理の前処理としての肌色評価処理手順について説明する。図７１は、前処理としての肌色評価処理手順の一例を示すフローチャートである。
【０２４９】
図７１に示す肌色評価処理は、まずカメラ等の撮像手段により撮影された顔を含む評価対象画像を入力し（Ｓ６０１）、入力した顔画像を予め設定された分割手法により所定数に分割する（Ｓ６０２）。なお、Ｓ６０１により得られる画像は、例えば、全体が均一に照明された顔をデジタルカメラ等の撮影装置で撮影された画像を用いることができる。
【０２５０】
具体的には、顔画像を同一条件で取り込むための照明ボックスを使用し、照明ボックス内で顔面を均一に照明するために、照明ボックスの前面に複数のハロゲン電球を配置し、ＴＶカメラにより顔面を撮影し、撮影した顔画像を取得する。なお、本発明において用いられる画像ついては、特にこれに制限されるものではなく、例えば蛍光灯等の一般的な照明環境で撮影された画像を用いることもできる。
【０２５１】
次に、所定の領域毎に分割した画像から肌色分布を生成し（Ｓ６０３）、また予め蓄積されている各種データ等を用いて、例えば比較用肌色分布を生成する（Ｓ６０４）。また、Ｓ６０３の処理で得られた個人の肌色分布と、Ｓ６０４の処理で得られた比較用肌色分布とを用いて肌色等を比較して（Ｓ６０５）、肌色分布プロファイルによる評価を行う（Ｓ６０６）。また、Ｓ６０６の処理により得られた評価結果からユーザ等に表示する画面等を生成し（Ｓ６０７）、生成した画面（評価結果内容等）を出力する（Ｓ６０８）。
【０２５２】
ここで、肌色評価を継続するか否かを判断し（Ｓ６０９）、肌色評価を継続する場合（Ｓ６０９において、ＹＥＳ）、Ｓ６０２の処理に戻り、例えば前回とは異なる分割手法による分割を行い、後述する処理を行う。Ｓ６０９の処理において、肌色評価を継続しない場合（Ｓ６０９において、ＮＯ）、処理を終了する。次に、上述した肌色評価処理の詳細について説明する。
【０２５３】
＜顔分割処理：Ｓ６０２＞
次に、上述した顔分割処理について具体的に説明する。顔分割処理は、入力される顔を含むデジタル画像に対して所定の分割を行う。図７２は、特徴点と分割された領域の一例を示す図である。図７２では、一例として顔全体を９３個の領域に分割し、分割した各領域の平均肌色を求め、９３個の肌色データにより顔肌色の分布を表現し、その分布等から肌色評価を行う。
【０２５４】
従来手法の長所である一定の部位に対し、多くのデータを取得することで、例えばその部位の日本人女性（なお、外国人（他人種）でもよく、また男性でもよい。）の分布範囲や平均値を算出でき、その結果個人の肌色データをこれらの指標と比較することで評価することができる。また、例えば同一人物による化粧料の使用前後の肌色比較や他人との二者間での肌色の比較等も可能となる。
【０２５５】
ここで、図７２に示す分割手法は、一例として１０９個の特徴点を有している。また、図７２に示す分割領域は、一例として３個又は４個の特徴点により構成された３角形又は４角形の形状を有する９３個の領域（例えば、図７２において番号１〜９３で示された領域）である。
【０２５６】
また、図７３は、上述した図７２に対応した１０９個の特徴点の顔内の位置関係の一例を示す図である。また、図７４は、上述した図７２に対応する各領域を構成する特徴点の組合せの一例を示す図である。なお、図７３に示されている各特徴点の「Ｎｏ．」、「名称」、図７４に示されている各領域の「領域Ｎｏ．」、「構成点」の名称は、上述した図７２に示された内容に対応している。
【０２５７】
ここで、分割内容を設定する際には、顔分割処理は、例えば図７３に示す特徴点のうち、最初にＮｏ．１〜３７の特徴点（例えば、図７２において「●」で示された点）を第１特徴点として設定する。なお、この３７個の特徴点は、例えば全顔領域のうち、額部分に５点、左右目付近に１０点、鼻に７点、口に９点、目より下のフェースラインに６点設けることが好ましい。
【０２５８】
次に、顔分割処理は、上述した３７の特徴点（第１特徴点）を基準として、例えば図７３に示すＮｏ．３８〜１０９の特徴点（例えば、図７２において「△」で示された点）を第２特徴点として設定する。
【０２５９】
例えば、図７３に示すように、Ｎｏ．１〜３７の予め定義される特徴点１〜３７と、その特徴点のうち少なくとも２つの特徴点間を通る複数の直線の交点により求まる点３８〜４９と、２点間の線分を所定の比率で内分する点５０〜５７，６７〜１０９と、２つの特徴点間を通る直線上にあり、ある特定の点と同一の縦座標又は横座標を持つ点５８〜６６等により、合計１０９点が得られる。
【０２６０】
また、第１及び第２特徴点（１０９点）のうち、図７４に示すように少なくとも３個を構成点として囲まれる領域に分割する。なお、領域を構成する点の数は、図７４に示すように３点又は４点でもよく、また５点以上でもよい。
【０２６１】
ここで、図７２に示す各領域（領域Ｎｏ．１〜９３）は、多くの肌色を観察した経験を元に生理学的に意味のある分割になるよう設定されている。つまり、図７２に示すような設定を行うことにより、色むらが起こり易い部分は領域が狭くなるように分割し、そうでない部分は領域が広くなるように分割している。
【０２６２】
具体的には、図７２〜７４に示す分割例において、例えば額の部分は分割される領域を広く設定し、目の回りや口元、頬等は領域を狭く設定している。このように、設定される分割領域は、肌色を評価する上で重要な部分（領域）について、その領域を狭く設定することで、より詳細に高精度な評価を行うことができる。
【０２６３】
なお、分割領域は、その領域がそれぞれどのような肌色が出易いかを予め過去のデータ等により判断し、その色の度合い等を基準に集約（グループ分け）することができる。これにより、そのグループ毎に容易に評価することができる。
【０２６４】
ここで、上述した図７２〜７４の例では、予め定義される特徴点を３７個（Ｎｏ．１〜３７）としているが、これに限定されるものではなく、例えば少なくとも２５個の特徴点（第１特徴点）を設定することで、同様の分割を行うことができる。
【０２６５】
＜顔の分割と顔肌色分布図の生成＞
次に、分割した顔について顔肌色分布の生成について具体的に説明する。なお、顔全体を均一に照明する照明装置とデジタルカメラを用いた撮影装置は、例えば、「舛田他、画像解析を用いたしみ・そばかす定量化システムの開発、粧技誌、Ｖ２８、Ｎ２、１９９４．」等を用いて取得した顔画像に対して肌色分布図を生成する例について説明するが、本発明において用いられる撮影されたデジタル画像の撮影方法については、特にこれに制限されるものではない。
【０２６６】
所定の位置にセットされた被験者を撮影し、上述したように顔分割処理により例えば３７個の第１特徴点を指定することで、合計１０９個の特徴点を算出することができる。また、顔分割処理は、１０９個の特徴点から上述した図７４に示すような設定により９３個の領域に分割する。なお、この肌色分布は、領域毎に領域毎に、Ｌ＊ａ＊ｂ＊表色系におけるＬ＊，ａ＊，ｂ＊、Ｃａｂ＊、ｈａｂ、ＸＹＺ表色系における三刺激値Ｘ、Ｙ、Ｚ、ＲＧＢの各値、色相Ｈ、明度Ｖ、彩度Ｃ、メラニン量、及びヘモグロビン量のうち、少なくとも１つを用いて平均値により生成される。なお、この場合には、例えば、Ｌ＊ａ＊ｂ＊表色系、ＸＹＺ表色系、及び色相Ｈ，明度V，彩度Cの３要素を採用して画像を生成する。
【０２６７】
全領域の外部及び領域内でも肌色ではない部分は評価対象外となるため、例えば肌色から大きく離れたシアン色等のある特定の色で着色されている。更に、皮膚の細かい情報が消えて顔肌色の分布が把握し易くなっており、例えばモデルＡの「目まわりの肌色が濃い」という特徴がわかる。なお、肌色評価処理において、撮影された顔の周辺部は照明の均一性が低いことがあるため、肌色分布評価処理では、周辺部のデータを除外することができる。
【０２６８】
また、同様の手法で「平均顔」を領域に分割し、得られたモデルＡの９３個の肌色により各領域を着色すると、モデルの顔形状情報を除外した純粋な色情報を把握することができる。
【０２６９】
上述した処理を行うことで、分割した領域を基準に評価することができるため、人物の顔形状情報が除外でき、顔形状が異なる人同士の肌色分布の比較を容易に行うことができる。したがって、この特徴を活かして、例えばモデルＡの顔肌色分布を同年代の平均値と比較を行って評価することもできる。
【０２７０】
＜比較用の顔肌色分布の生成例：Ｓ６０４＞
次に、肌色分布評価処理における比較用の顔肌色分布の生成例について説明する。年代毎の平均肌色分布として、対応する年代の人物が撮影されている顔画像を領域分解し、その後、例えばＬ＊ａ＊ｂ＊表色系におけるＬ＊，ａ＊，ｂ＊、Ｃａｂ＊、ｈａｂ、ＸＹＺ表色系における三刺激値Ｘ、Ｙ、Ｚ、ＲＧＢの各値、色相Ｈ、明度Ｖ、彩度Ｃ、メラニン量、及びヘモグロビン量のうち、少なくとも１つを用いて平均値による肌色分布を求め、年代毎に平均値を算出することで平均肌色分布を求める。
【０２７１】
なお、求めた２０代から６０代までの各年代日本人女性の平均肌色分布のデータを用いて平均顔の各領域を着色する。このように、直色して表示することで、年代毎の平均肌色分布を生成することができ、このデータと比較することで、評価対象画像の高精度な肌色評価を行うことができる。
【０２７２】
＜肌色分布の比較＞
次に、肌色分布の比較例について具体的に説明する。肌色分布評価処理は、差分を取ることによる肌色分布の比較を行う。顔画像を所定の各領域に分割することで顔肌色分布が把握でき、また平均顔等の標準的な顔にその色を置き換えることで、顔の形状を除外した色情報のみのわかり易い表現が可能となる。あるカテゴリー（年齢別、職業別、性別）に属する人々の平均値データや、タレント等の理想的な人のデータ、個人の過去のデータ、他人のデータ等の二者間の差分値の取得が可能となるため、化粧品販売時のカウンセリング等に役立たせることができる。
【０２７３】
＜肌色分布の集約（グルーピング）と肌色分布プロファイル生成例＞
ここで、本実施形態において、肌色分布評価処理は、肌色の領域において、色の傾向が類似する領域を、過去のデータ等を主成分分析し、主成分を求めることで集約（グループ分け）することができる。これにより、そのグループ毎に容易に評価することができる。図７５は、各グループの色の特徴と、各グループを構成する領域番号の一例を示す図である。なお、７５に示す領域を構成する特徴点は、上述した図７２〜７４に対応している。
【０２７４】
図７５に示す例では、部位（１）ほお下、（２）ほお正面、（３）まぶた・くま部位、（４）額、（５）鼻まわり、（６）口まわりがグループ分けされている。また、色の特徴として、「（１）ほお下」は高明度であり、「（２）ほお正面」は赤みよりでやや高明度であり、「（３）まぶた・くま部位」は黄みよりでやや低明度であり、「（４）額」は黄みよりでやや高明度であり、「（５）鼻まわり」は赤みよりでやや低明度であり、「（６）口まわり」は赤みよりで低明度である。
【０２７５】
ここで、一例として２０〜６７歳の５９名における唇の４領域を除いた有効５７個の領域について色相Ｈの主成分分析を実施した結果、６個の主成分で５７個のデータの９０．１％が説明可能であるとわかった。
【０２７６】
そこで、上述した主成分を基に５７個の領域を上述した（１）ほお下、（２）ほお正面、（３）まぶた・くま部位、（４）額、（５）鼻まわり、（６）口まわりの６種に分類する。また、その主成分得点のバランス（肌色プロファイル）で肌色分布を評価することもできる。
【０２７７】
次に、ファンデーション処理の前処理としての顔分類処理手順について説明する。ここでは、立体感を調整し、美しさを演出する方法を抽出するため、どのような立体感が美しいと評価されるのかについて検討を行った。検討に際しては、（ａ）素顔、（ｂ）肌の色むらを自然に整えた素顔風ベースメーク、（ｃ）顔全体が平均顔のバランスに見えるよう立体感を調整した卵型ベースメークの各顔を用いる。
【０２７８】
ここでは、上述した（ａ）〜（ｃ）の３タイプのベースメークを、顔の特徴の異なる６名のモデルに施し、それらを撮影した顔写真を用い、２０代女性２０名を対象としてアンケートを実施した。
【０２７９】
顔の見え方に関する８項目（ひたいの見え方、ひたいの立体感、鼻筋のとおり具合、ほおの肉付き、ほおの長さ、フェースライン、あごの出具合、目鼻立ちのバランス）と、顔全体の立体感、美しさ、好ましさの全体的な印象に関する３項目（顔全体の立体感、美しさ、好ましさ）で評価を行った。また、顔の見え方については、適度かどうかも合わせて回答してもらった。
【０２８０】
その結果、ベースメークを施すことで、目鼻立ちのバランスが整って見え、立体的に見えることがわかった。美しさ、好ましさの評価も高まった。その評価は、卵型ベースメークで最も高かった。卵型ベースに立体感を調整すると、素顔や素顔風ベースよりも顔の評価を高めることが明らかとなった。更に、卵型ベースメークについて詳細な分析を行ったところ、平均顔の輪郭形状と相似の楕円が眉尻を通る顔の内側に浮かび上がるようにベースメークが施されたことがわかった。
【０２８１】
＜標準バランスの顔による検討＞
一般的な美人顔の条件として、卵型のフェースラインと黄金バランスがある。その黄金バランスでは、例えば目の位置は全頭高の約１／２、髪の生え際からあご先までのうち、生え際から１／３の位置に眉頭が、生え際から２／３の位置に小鼻が位置する。
【０２８２】
ここで、従来の画像合成技術等により複数名の顔写真の寸法情報と色彩情報を平均化することで作成される「平均顔」のバランスは、この黄金バランスの値に近づくことが知られている。また、平均顔の作成には、１０人分を用いれば、異なる１０人分の顔写真から作成したものとほぼ印象が変わらないことが示されている（例えば、西谷美和他、「平均顔の特徴を探る」、日本心理学会第６３回大会発表論文集、１９９９年８月発行等）。女性４０名分の顔写真を用いて作成した「平均顔」は、上述した黄金バランスを満たす。後述では、この黄金バランスを標準バランスとする。
【０２８３】
また、「平均顔」から（肌色の情報を除去し）奥行きと骨格肉付き感の情報を除去した顔写真を参照すると、奥行きと骨格肉付き感とは、顔の印象に大きく影響を与えることがわかる。また、平均顔について上述した画像解析（モノクロ化ポスタリゼーション処理）を施したところ、フェースラインの内側にも、フェースラインと相似形の卵型が抽出できることがわかった。
【０２８４】
ここで、図７６は、平均顔の画像（又は立体感）解析結果の一例を示す図である。図７６に示すように、顔のフェースラインに対応する外側のフェースライン（アウターフェースライン）４０００の内側にもアウターフェースライン４０００を相似縮小させたフェースライン（インナーフェースライン）４００１が存在することがわかった。このことからも、顔の内側の立体感を卵型に見せることは、新たな美しさの演出法の一つであることが示された。
【０２８５】
＜立体感の調整−ベストオーバル調整法−＞
次に、フェースラインの内側の立体感、すなわちインナーフェースラインを卵型に整える美容法を作成するため、調整仮説を立てた。ここで、平均顔で得られるアウターフェースラインとインナーフェースラインの形状を「ベストオーバル」と定義する。アウターフェースラインは、横幅対縦幅比がほぼ１：１．４の卵型形状（標準アウターフェースライン）である。「平均顔」のインナーフェースラインは、この標準アウターフェースラインと相似し、所定比率で縮小させた形状であり、横幅対縦幅比もほぼ１：１．４である。
【０２８６】
アウターフェースライン４０００は、上述したように「顔の横幅：縦幅比＝１：１．４」の関係で示される形状である。なお、アウターフェースラインバランスは、顔全体スペース調整の方向性を見極めるポイントとなる。また、インナーフェースライン４００１を個々の顔に当て嵌める場合には、図７６に示すように、まず個々の顔の左右のほお骨の横幅を１とする。次に、その横幅を基準に縦幅がほぼ１．４の標準インナーフェースライン４００１、すなわちベストオーバルを描き、各顔の眉尻（小鼻の横から目尻を通る延長線上を目安）に接するように位置付ける。なお、インナーフェースラインバランスは、骨格・肉付きによる立体感とスペースの調整ゾーンとなる。
【０２８７】
また、アウターフェースライン４０００とインナーフェースライン４００１の間は、自然な奥行き感をつけるゾーン（図７６の斜線部分）４００２とした。また、このゾーン４００２は、奥行きを出すと同時にアウターフェースライン４０００とインナーフェースライン４００１の形を整えて見せる奥行きの調整ゾーンである。
【０２８８】
前述したファンデーション処理の前処理は、ベースメーキャップの為に利用することができる。
【０２８９】
以上、本発明によれば、動画像に含まれるユーザの顔に、少ない処理負担で正確にメイクアップを施すことができる。なお、特許請求の範囲に記載した撮影手段はカメラ２に相当し、制御手段は制御部８に相当し、表示手段はモニタ７に相当し、顔認識処理手段は顔認識処理部３３に相当し、メイクアップ処理手段はメイクアップ処理部３５に相当し、操作手段は操作パネル４に相当し、ハーフミラー手段はハーフミラー３に相当し、印刷手段はプリンタ５に相当する。
【０２９０】
また、本発明は、具体的に開示された実施例に限定されるものでなく、特許請求の範囲から逸脱することなく、種々の変形や変更が可能である。
【０２９１】
本発明のメイクアップシミュレーション装置１はリアルタイムシミュレーションである為、静止画によるものや従来のメイクアップシミュレーション装置１と異なり、瞬時に顔のトラッキングポイントを認識し、そのトラッキングポイントをもとにシミュレーションを行うことができるので、これまでできなかった以下のことも可能にしている。
【０２９２】
本発明のメイクアップシミュレーション装置１はリアルタイムなシミュレーションが可能である。本発明のメイクアップシミュレーション装置１は、これまでのように正面顔だけでなく、横顔からのシミュレーション等も可能なため、頬紅等のシミュレーション効果やテクニックの確認が容易である。
【０２９３】
本発明のメイクアップシミュレーション装置１は、リアルタイムなシミュレーションになったことで、これまでの平面的な表現から、顔を立体としてとらえた分析や、立体感や質感の表現も可能になった。
【０２９４】
また、本発明のメイクアップシミュレーション装置１は、同時に何人もの顔認識が可能であるため、同時に何人ものリアルタイムなシミュレーションが可能である。本発明のメイクアップシミュレーション装置１は顔認識機能が優れていることから、個々の顔立ちにあわせて、あるいは男性、女性を自動的に分類し、顔立ちや分類にあわせたメイクアップが可能である。例えば本発明のメイクアップシミュレーション装置１は、カップルで同時に、それぞれのメイクアップシミュレーションが可能である。
【図面の簡単な説明】
【０２９５】
【図１】本発明によるメイクアップシミュレーション装置の第一実施例の外観図である。
【図２】メイクアップシミュレーション装置の第一実施例の断面図である。
【図３】本発明によるメイクアップシミュレーション装置の第二実施例の外観図である。
【図４】メイクアップシミュレーション装置の第二実施例の断面図である。
【図５】本発明によるメイクアップシミュレーション装置の第三実施例の外観図である。
【図６】メイクアップシミュレーション装置の第三実施例の断面図である。
【図７】本発明によるメイクアップシミュレーション装置の第四実施例の外観図である。
【図８】メイクアップシミュレーション装置の第四実施例の断面図である。
【図９】本発明によるメイクアップシミュレーション装置の第五実施例の外観図である。
【図１０】メイクアップシミュレーション装置の第五実施例の断面図である。
【図１１】メイクアップシミュレーション装置の第五実施例のハードウェア構成図である。
【図１２】メイクアップシミュレーション装置が行なう処理の概略を表したフローチャートである。
【図１３】モニタに表示されるメイン画面及び操作パネルに表示される操作画面の一例のイメージ図である。
【図１４】メイクアップシミュレーション装置が行なうメイクアップシミュレーション以外の処理を表すイメージ図である。
【図１５】本発明によるメイクアップシミュレーションシステムの一実施例のシステム構成図である。
【図１６】シミュレータメインアプリが行なう処理を表す画面イメージ図である。
【図１７】メイクアップ前画像に含まれるユーザの顔のイメージ画像である。
【図１８】トラッキングポイントを表す一例のイメージ図である。
【図１９】メイクアップ処理パラメータファイルの一例の構成図である。
【図２０】口紅処理により参照されるトラッキングポイントを示すイメージ図である。
【図２１】口紅処理を示す一例のフローチャートである。
【図２２】輪郭抽出処理を表す一例のイメージ図である。
【図２３】輪郭抽出用画像６００の唇８点及び鼻３点のトラッキングポイントと、唇８点及び鼻３点のトラッキングポイントを元に再探索して抽出した輪郭抽出用画像６０１のポイントとの比較画面である。
【図２４】唇８点及び鼻３点のトラッキングポイントからデフォルトポイントを求める処理を表した一例のイメージ図である。
【図２５】ポイント又はデフォルトポイントから輪郭を完成させる処理を表したイメージ図である。
【図２６】色塗りマップ生成処理を表した一例のイメージ図である。
【図２７】色塗りマップに基づく色塗り処理を表した一例のイメージ図である。
【図２８】シャドウ処理により参照されるトラッキングポイントを示すイメージ図である。
【図２９】シャドウ処理を示す一例のフローチャートである。
【図３０】基本輪郭の生成処理を表す一例のイメージ図である。
【図３１】色塗り輪郭の生成処理を表す一例のイメージ図である。
【図３２】ぼかし処理を掛けていない色塗りマップと、ぼかし処理を掛けている色塗りマップとを表した一例のイメージ図である。
【図３３】チーク処理により参照されるトラッキングポイントを示すイメージ図である。
【図３４】チーク処理を示す一例のフローチャートである。
【図３５】色塗り輪郭を表した一例のイメージ図である。
【図３６】眉処理により参照されるトラッキングポイントを示すイメージ図である。
【図３７】眉処理を示す一例のフローチャートである。
【図３８】眉輪郭抽出処理を表す一例のイメージ図である。
【図３９】変形指定に対応した指示曲線の作成処理を表す一例のイメージ図である。
【図４０】ファンデーション処理により参照されるトラッキングポイントを示すイメージ図である。
【図４１】ファンデーション処理を示す一例のフローチャートである。
【図４２】輪郭を表した一例のイメージ画像である。
【図４３】ぼかし処理前の元画像と、ぼかし処理後の元画像とを表した一例のイメージ図である。
【図４４】口紅処理（リップペン描画処理）の一実施例のフローチャートである。
【図４５】口紅処理（リップペン描画処理）の一実施例のフローチャートである。
【図４６】口を囲む矩形領域の顔画像の一例のイメージ図である。
【図４７】描画イメージを示す図である。
【図４８】オフセット曲線を示す図である。
【図４９】唇の形態的特徴を把握するために予め設定した複数のポイントの位置を表した一例のイメージ図である。
【図５０】アイライン検索処理の一実施例のフローチャートである。
【図５１】アイライン描画処理の一実施例のフローチャートである。
【図５２】アイライン描画パターンを示す図である。
【図５３】アイライン描画パターンを示す図である。
【図５４】アイライン描画パターンを示す図である。
【図５５】アイライン描画パターンを示す図である。
【図５６】アイシャドウ塗布処理の一実施例のフローチャートである。
【図５７】アイシャドウ塗布領域の設定を説明するための図である。
【図５８】アイシャドウ塗布領域の上限を示す図である。
【図５９】アイシャドウ塗布を説明するための図である。
【図６０】エアブラシ処理における中心からの距離と濃度との関係を示す図である。
【図６１】標準バランスの目の形態を示す正面図である。
【図６２】頬紅塗布処理（チーク処理）の一実施例のフローチャートである。
【図６３】メイクアップパターンがスイートの場合の頬紅塗布処理を説明するための図である。
【図６４】メイクアップパターンがクールの場合の頬紅塗布処理を説明するための図である。
【図６５】メイクアップパターンがキュートの場合の頬紅塗布処理を説明するための図である。
【図６６】メイクアップパターンがフレッシュの場合の頬紅塗布処理を説明するための図である。
【図６７】エアブラシ処理における中心からの距離と濃度との関係を示す図である。
【図６８】被化粧対象者のほおの形態的特徴に応じたチークメーキャップの一例を説明する為のイメージ図である。
【図６９】理想的な眉の形を説明する説明図である。
【図７０】眉の位置の状態を説明する説明図である。
【図７１】前処理としての肌色評価処理手順の一例を示すフローチャートである。
【図７２】特徴点と分割された領域の一例を示す図である。
【図７３】上述した図７２に対応した１０９個の特徴点の顔内の位置関係の一例を示す図である。
【図７４】上述した図７２に対応する各領域を構成する特徴点の組合せの一例を示す図である。
【図７５】各グループの色の特徴と、各グループを構成する領域番号の一例を示す図である。
【図７６】平均顔の画像（又は立体感）解析結果の一例を示す図である。
【符号の説明】
【０２９６】
１ メイクアップシミュレーション装置
２ カメラ
３ ハーフミラー
４ 操作パネル
５ プリンタ
６ 照明
７ モニタ
８ 制御部
９ 透明板
１０ 演算処理装置
１１ メモリ装置
１２ ドライブ装置
１３ 補助記憶装置
１４ 記録媒体
１５ タッチパネルモニタ
１６ 陳列ケース
１７ ＩＣタグリーダライタ
２５ 静止画システム
２７ 共有メモリ
２８ シミュレータメインアプリ
２９ インターフェースアプリ
３３ 顔認識処理部
３４ トラッキングポイント
３５ メイクアップ処理部
３６ ファンデーション処理部
３７ 眉処理部
３８ シャドウ処理部
３９ 口紅処理部
４０ チーク処理部
４１ 商品情報
【技術分野】
【０００１】
本発明は、メイクアップシミュレーションシステム、メイクアップシミュレーション装置、メイクアップシミュレーション方法およびメイクアップシミュレーションプログラムに係り、特に動画像に含まれるユーザの顔にメイクアップを施すメイクアップシミュレーションシステム、メイクアップシミュレーション装置、メイクアップシミュレーション方法およびメイクアップシミュレーションプログラムに関する。
【背景技術】
【０００２】
従来、メイクアップを施す為の商品の販売等のため、実際にメイクアップを施すことなくコンピュータ上でメイクアップ後の顔をシミュレーションする技術が知られている（例えば特許文献１参照）。しかしながら、特許文献１ではシミュレーション結果が静止画で表示されるため、ユーザの表情が変化した際のメイクアップ後の顔を容易に確認することができなかった。そこで、ユーザの表情の変化を捕らえた動画像内で化粧をシミュレートする技術の開発が進められている（例えば特許文献２参照）。
【特許文献１】特開２００１−３４６６２７号公報
【特許文献２】特開２００３−４４８３７号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかしながら、特許文献２に記載の化粧シミュレーション装置はユーザの表情の変化を口および両目に対応する画素領域で特定し、その画素領域をテンプレートマッチングにより追跡することで、フェースメークを施す化粧領域を算出している（例えば、段落［００２８］参照）。このように、ユーザの表情の変化を口および両目に対応する画素領域で追跡することはコンピュータの処理負担が大きく、目を閉じた場合等への正確な対処が難しいという問題があった。
【０００４】
本発明は、上記の点に鑑みなされたもので、動画像に含まれるユーザの顔を少ない処理負担で正確にメイクアップすることができるメイクアップシミュレーションシステム、メイクアップシミュレーション装置、メイクアップシミュレーション方法およびメイクアップシミュレーションプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００５】
上記の課題を解決するため、本発明は、ユーザの顔を撮影した動画像にメイクアップを施すメイクアップシミュレーションシステムであって、ユーザの顔を撮影して動画像を出力する撮影手段と、前記撮影手段から出力された動画像を受信し、前記動画像を画像処理して出力する制御手段と、前記制御手段から出力された動画像を表示する表示手段とを備え、前記制御手段は、前記動画像からユーザの顔を所定のトラッキングポイントに基づいて認識する顔認識処理手段と、前記トラッキングポイントに基づいて前記動画像に含まれるユーザの顔に所定のメイクアップを施して前記表示手段に出力するメイクアップ処理手段とを備え、前記メイクアップ処理手段に含まれる口紅処理手段は、前記トラッキングポイントに含まれる上唇の山と谷の位置、口の左右端、下唇の下端の他、下唇における左端から口幅の１／３の位置及び下唇における右端から口幅の１／３の位置に基づいて、前記動画像に含まれるユーザの顔に口紅処理を施すことを特徴とする。
【０００６】
本発明では、動画像からユーザの顔を所定のトラッキングポイントに基づいて認識する顔認識処理手段と、トラッキングポイントに基づいて動画像に含まれるユーザの顔に所定のメイクアップを施して表示手段に出力するメイクアップ処理手段とを備えることで、少ない処理負担で動画像からユーザの顔をトラッキングポイントに基づいて認識し、そのトラッキングポイントに基づいて動画像に含まれるユーザの顔に正確なメイクアップを施すことができる。
【０００７】
なお、本発明の構成要素、表現または構成要素の任意の組合せを、方法、装置、システム、コンピュータプログラム、記録媒体、データ構造などに適用したものも本発明の態様として有効である。
【発明の効果】
【０００８】
本発明によれば、動画像に含まれるユーザの顔を少ない処理負担で正確にメイクアップすることができるメイクアップシミュレーションシステム、メイクアップシミュレーション装置、メイクアップシミュレーション方法およびメイクアップシミュレーションプログラムを提供可能である。
【発明を実施するための最良の形態】
【０００９】
次に、本発明を実施するための最良の形態を、以下の実施例に基づき図面を参照しつつ説明していく。図１は本発明によるメイクアップシミュレーション装置の第一実施例の外観図である。メイクアップシミュレーション装置１は、カメラ２，操作パネル４，プリンタ５，照明６及びモニタ７を含む構成である。
【００１０】
カメラ２は、メイクアップシミュレーション装置１の前方に立ったユーザを撮影して動画像を出力する。操作パネル４は、操作画像を表示すると共に、ユーザからの操作を受け付けて操作情報を出力する。プリンタ５は、モニタに表示される画像（例えばメイクアップ後のイメージ画像等）及び情報（例えばイメージ画像のようにメイクアップする為の商品情報等）を印刷する。照明６は、例えばメイクアップシミュレーションが開始されたあとで調光を行う。
【００１１】
図２はメイクアップシミュレーション装置の第一実施例の断面図である。メイクアップシミュレーション装置１は、カメラ２，操作パネル４，プリンタ５，モニタ７，制御部８を含む構成である。
【００１２】
カメラ２は、撮影した動画像を制御部８に出力する。操作パネル４は、制御部８から出力された操作画像を表示すると共に、ユーザからの操作を受け付けて操作情報を制御部８に出力する。プリンタ５は、制御部８から出力された画像及び情報を印刷する。モニタ７は制御部８から出力された動画像（メイン画像）を表示する。制御部８は、カメラ２から出力された動画像を受信し、その動画像を後述するように画像処理することにより、動画像に含まれるユーザの顔にメイクアップを施してモニタ７に出力する。
【００１３】
図１及び図２のメイクアップシミュレーション装置１は鏡というメイクアップに必要不可欠なアイテムをコンセプトとし、ユーザとのインタラクティブな機能を持つ。即ちメイクアップシミュレーション装置１は、ユーザがあたかも鏡を見ながら自然にメイクアップをしている気分にさせる特徴を持つ。
【００１４】
メイクアップシミュレーション装置１はカメラ２から出力された動画像等を制御部８で画像処理し、動画像に含まれるユーザの顔にメイクアップを施して、デジタルの鏡であるモニタ７に表示する。メイクアップシミュレーション装置１は、様々な商品情報、美容情報およびユーザの顔にメイクアップを施したイメージ画像をモニタ７に表示できる。
【００１５】
また、図３は本発明によるメイクアップシミュレーション装置の第二実施例の外観図である。なお、図１と同一部分については同一符号を付している。
【００１６】
図３のメイクアップシミュレーション装置１は、操作パネル４，プリンタ５，照明６及び透明板９を含む構成である。透明板９は、メイクアップシミュレーション装置１の外側からの光を透過すると共に、メイクアップシミュレーション装置１の内側からの光を透過する。
【００１７】
図４はメイクアップシミュレーション装置の第二実施例の断面図である。なお、図２と同一部分については同一符号を付している。図４のメイクアップシミュレーション装置１は、カメラ２，ハーフミラー３，操作パネル４，プリンタ５，モニタ７，制御部８及び透明板９を含む構成である。
【００１８】
ハーフミラー（半透明鏡）３は当たった光を反射させると共に、当たった光の一部を透過させる。カメラ２はハーフミラー３，透明板９を介してメイクアップシミュレーション装置１の前方に立ったユーザを撮影可能な位置に設置されている。カメラ２は、ユーザの目線の高さに設置される。カメラ２は、ハーフミラー３，透明板９を介してメイクアップシミュレーション装置１の前方に立ったユーザを撮影して動画像を出力する。
【００１９】
モニタ７はハーフミラー３，透明板９を介してメイクアップシミュレーション装置１の前方に立ったユーザが見ることのできる位置に設置されている。モニタ７から出力された光はハーフミラー３により反射し、透明板９を介してメイクアップシミュレーション装置１の外側に出力される。したがって、ユーザはモニタ７に表示されている動画像をメイクアップシミュレーション装置１の外側から見ることができる。
【００２０】
図３及び図４のメイクアップシミュレーション装置１は鏡というメイクアップに必要不可欠なアイテムをコンセプトとし、ユーザとのインタラクティブな機能を持つ。即ちメイクアップシミュレーション装置１は、ユーザがあたかも鏡を見ながら自然にメイクアップをしている気分にさせる特徴を持つ。
【００２１】
メイクアップシミュレーション装置１はカメラ２を目線の高さに設置している為、第一実施例のカメラ２の位置に設置するよりも、メイクアップシミュレーション装置１の前方に立ったユーザの顔を自然に撮影できる。
【００２２】
メイクアップシミュレーション装置１はカメラ２から出力された動画像等を制御部８で画像処理し、動画像に含まれるユーザの顔にメイクアップを施して、デジタルの鏡であるモニタ７に表示する。メイクアップシミュレーション装置１は、様々な商品情報、美容情報およびユーザの顔にメイクアップを施したイメージ画像をモニタ７に表示できる。
【００２３】
また、図５は、本発明によるメイクアップシミュレーション装置の第三実施例の外観図である。なお、前図と同一部分については同一符号を付している。図５のメイクアップシミュレーション装置１は、カメラ２，ハーフミラー３，操作パネル４，プリンタ５及び照明６を含む構成である。
【００２４】
ハーフミラー３は、明るい方からの光の一部（例えば５０％）を透過すると共に、明るい方からの光の残り（例えば５０％）を手前に反射する。暗い方に光が無いため、ハーフミラー３は暗い方からの光の透過も反射もしない。
【００２５】
照明６はメイクアップシミュレーションが開始されたあと、ハーフミラー３のモニタ７側が明るくなるように調光する。したがって、モニタ７の表示方向側に設けられたハーフミラー３は、メイクアップシミュレーションが開始される前、ユーザ側（メイクアップシミュレーション装置１の外側）からの光を反射して鏡として機能する。
【００２６】
ハーフミラー３はメイクアップシミュレーションが開始された後、モニタ７側（メイクアップシミュレーション装置１の内側）からの光を透過してガラスとして機能する。したがって、ユーザはハーフミラー３を通してモニタ７に表示されている動画像を見ることができる。
【００２７】
図６はメイクアップシミュレーション装置の第三実施例の断面図である。図６のメイクアップシミュレーション装置１は、カメラ２，ハーフミラー３，操作パネル４，プリンタ５，モニタ７，制御部８を含む構成である。なお、前図と同一部分については同一符号を付している。モニタ７に表示された動画像はガラスとして機能しているハーフミラー３を透過する。ユーザは、モニタ７に表示されている動画像をメイクアップシミュレーション装置１の外側から見ることができる。
【００２８】
図５及び図６のメイクアップシミュレーション装置１は鏡というメイクアップに必要不可欠なアイテムをコンセプトとし、ユーザとのインタラクティブな機能を持つ。即ちメイクアップシミュレーション装置１は、ユーザがあたかも鏡を見ながら自然にメイクアップをしている気分にさせる特徴を持つ。
【００２９】
メイクアップシミュレーション装置１はカメラ２から出力された動画像等を制御部８で画像処理し、動画像に含まれるユーザの顔にメイクアップを施して、デジタルの鏡であるモニタ７に表示する。メイクアップシミュレーション装置１は、様々な商品情報、美容情報およびユーザの顔にメイクアップを施したイメージ画像をモニタ７に表示できる。
【００３０】
また、図７は本発明によるメイクアップシミュレーション装置の第四実施例の外観図である。図８はメイクアップシミュレーション装置の第四実施例の断面図である。なお、前図と同一部分については同一符号を付している。メイクアップシミュレーション装置１はカメラ２，プリンタ５，照明６，タッチパネルモニタ１５を含む構成である。
【００３１】
図７及び図８のメイクアップシミュレーション装置１は、操作パネル４及びモニタ７の替わりにタッチパネルモニタ１５を含む構成である点で、図１及び図２のメイクアップシミュレーション装置１と異なっている。タッチパネルモニタ１５は、操作パネル４及びモニタ７として機能する。
【００３２】
タッチパネルモニタ１５は、操作画像を表示すると共に、ユーザからの操作を受け付けて操作情報を出力する。タッチパネルモニタ１５は、制御部８から出力された操作画像を表示すると共に、ユーザからの操作を受け付けて操作情報を制御部８に出力する。タッチパネルモニタ１５は制御部８から出力された動画像（メイン画像）を表示する。制御部８はカメラ２から出力された動画像を受信し、その動画像を後述するように画像処理することにより、動画像に含まれるユーザの顔にメイクアップを施してタッチパネルモニタ１５に出力する。
【００３３】
図７及び図８のメイクアップシミュレーション装置１は鏡というメイクアップに必要不可欠なアイテムをコンセプトとし、ユーザとのインタラクティブな機能を持つ。即ちメイクアップシミュレーション装置１は、ユーザがあたかも鏡を見ながら自然にメイクアップをしている気分にさせる特徴を持つ。
【００３４】
メイクアップシミュレーション装置１はカメラ２から出力された動画像等を制御部８で画像処理し、動画像に含まれるユーザの顔にメイクアップを施して、デジタルの鏡であるタッチパネルモニタ１５に表示する。メイクアップシミュレーション装置１は、様々な商品情報、美容情報およびユーザの顔にメイクアップを施したイメージ画像をタッチパネルモニタ１５に表示できる。
【００３５】
第四実施例のメイクアップシミュレーション装置１は、例えばユーザが使って試すテスター用の商品（以下、テスター品という）を陳列する陳列ケースを、図９及び図１０のように備えるようにしてセルフ販売用の筐体として利用することもできる。図９は、本発明によるメイクアップシミュレーション装置の第五実施例の外観図である。図１０は、メイクアップシミュレーション装置の第五実施例の断面図である。なお、前図と同一部分については同一符号を付している。
【００３６】
メイクアップシミュレーション装置１は、カメラ２，プリンタ５，照明６，タッチパネルモニタ１５，陳列ケース１６及びＩＣタグリーダライタ１７を含む構成である。図９及び図１０のメイクアップシミュレーション装置１は、陳列ケース１６及びＩＣタグリーダライタ１７を含む構成である点で、図７及び図８のメイクアップシミュレーション装置１と異なっている。
【００３７】
陳列ケース１６は、複数のテスター品を陳列するものである。なお、テスター品にはＩＣ（ＲＦＩＤ）タグが添付されている。テスター品に添付されたＩＣタグにはテスター品を識別可能な識別情報が格納されている。ユーザが陳列ケース１６からテスター品を取り出してＩＣタグリーダライタ１７に近づけることで、ＩＣタグリーダライタ１７はＩＣタグからテスター品の識別情報を読み取る。
【００３８】
ＩＣタグリーダライタ１７はＩＣタグから読み取ったテスター品の識別情報を制御部８に送信する。制御部８はカメラ２から出力された動画像を受信し、その動画像を後述するように画像処理することにより、ＩＣタグから読み取った識別情報に対応するテスター品を用いて、動画像に含まれるユーザの顔にメイクアップを施したイメージ画像をタッチパネルモニタ１５に出力する。
【００３９】
なお、テスター品と識別情報とを対応付ける対応表はメイクアップシミュレーション装置１に備えておいてもよいし、メイクアップシミュレーション装置１からネットワーク経由で取得可能な他の装置に備えておいてもよい。
【００４０】
また、図９及び図１０のメイクアップシミュレーション装置１ではテスター品の識別にＩＣタグを利用する例を示したが、バーコード，二次元コード，ラベル等を利用するようにしてもよい。さらに、図９及び図１０のメイクアップシミュレーション装置１は取り出したテスター品が分かるような仕組み（例えば光センサなどのセンサを利用した位置認識など）を陳列ケース１６に設けておき、陳列ケース１６から制御部８に通知するようにしてもよい。
【００４１】
図９及び図１０のメイクアップシミュレーション装置１は鏡というメイクアップに必要不可欠なアイテムをコンセプトとし、ユーザとのインタラクティブな機能を持つ。即ちメイクアップシミュレーション装置１は、ユーザがあたかも鏡を見ながら自然にメイクアップをしている気分にさせる特徴を持つ。
【００４２】
メイクアップシミュレーション装置１はカメラ２から出力された動画像等を制御部８で画像処理し、動画像に含まれるユーザの顔に、ユーザが陳列ケース１６から選択したテスター品を用いてメイクアップを施したイメージ画像を、デジタルの鏡であるタッチパネルモニタ１５に表示する。メイクアップシミュレーション装置１は、様々な商品情報、美容情報およびユーザの顔にメイクアップを施したイメージ画像をタッチパネルモニタ１５に表示できる。ユーザが陳列ケース１６から選択したテスター品のログを取ることで、メイクアップシミュレーション装置１はユーザの嗜好等のデータを取得できる。
【００４３】
なお、例えばテスター品だけでなく、商品を陳列するための棚を備えたメイクアップシミュレーション装置１であれば、タッチパネルモニタ１５に表示される商品を棚に陳列しておくことにより、セルフ販売用の筐体として効果的に利用できる。
【００４４】
以下、第一実施例のメイクアップシミュレーション装置１を例に説明する。図１１はメイクアップシミュレーション装置の一実施例のハードウェア構成図である。なお、図１及び図２と同一部分については同一符号を付している。
【００４５】
図１１のメイクアップシミュレーション装置１は、それぞれバスＢで相互に接続されているカメラ２，操作パネル４，プリンタ５，モニタ７，演算処理装置１０，メモリ装置１１，ドライブ装置１２および補助記憶装置１３で構成される。なお、図１１の演算処理装置１０，メモリ装置１１，ドライブ装置１２および補助記憶装置１３は、図２の制御部８を構成する。
【００４６】
本発明のメイクアップシミュレーションプログラムは、メイクアップシミュレーション装置１を制御する各種プログラムの少なくとも一部である。メイクアップシミュレーションプログラムは例えば記録媒体１４の配布などによって提供される。
【００４７】
なお、メイクアップシミュレーションプログラムを記録した記録媒体１４は、ＣＤ−ＲＯＭ、フレキシブルディスク、光磁気ディスク等の様に情報を光学的，電気的或いは磁気的に記録する記録媒体、ＲＯＭ、フラッシュメモリ等の様に情報を電気的に記録する半導体メモリ等、様々なタイプの記録媒体を用いることができる。
【００４８】
また、メイクアップシミュレーションプログラムを記録した記録媒体１４がドライブ装置１２にセットされると、メイクアップシミュレーションプログラムは記録媒体１４からドライブ装置１２を介して補助記憶装置１３にインストールされる。補助記憶装置１３はインストールされたメイクアップシミュレーションプログラムを格納すると共に、必要なファイル，データ等を格納する。メモリ装置１１は、起動時に補助記憶装置１３からメイクアップシミュレーションプログラムを読み出して格納する。そして、演算処理装置１０はメモリ装置１１に格納されたメイクアップシミュレーションプログラムに従って、後述するような各種処理を実現している。
【００４９】
図１２はメイクアップシミュレーション装置が行なう処理の概略を表した一実施例のフローチャートである。図１３はモニタに表示されるメイン画面及び操作パネルに表示される操作画面の一例のイメージ図である。図１３の画面イメージ１００〜１１１はモニタ７に表示されるメイン画面のものである。画面イメージ２００〜２１０は操作パネル４に表示される操作画面のものである。
【００５０】
制御部８は、カメラ２が撮影した動画像を継続して受信している。このとき、制御部８はモニタ７に画面イメージ１００を表示し、操作パネル４に画面イメージ２００を表示している。画面イメージ１００及び２００はスクリーンセーバーを表示している例を表している。
【００５１】
ステップＳ１に進み、制御部８は受信している動画像にユーザの顔が含まれているか否かを継続して判定している。制御部８は動画像にユーザの顔が含まれていることを認識するまでステップＳ１の処理を繰り返し行う（Ｓ１においてＮＯ）。
【００５２】
動画像にユーザの顔が含まれていることを認識すると（Ｓ１においてＹＥＳ）、制御部８はステップＳ２に進み、メイクアップシミュレーションを行なう為のメイクアップシミュレーションプログラムを含むソフトを起動する。このとき、制御部８はモニタ７に画面イメージ１０１を表示し、操作パネル４に画面イメージ２０１を表示する。
【００５３】
画面イメージ１０１はカメラ２でユーザの顔を撮影した動画像を表示している例を表している。画面イメージ２０１は、横に移動する歓迎のコメントを表示している例を表している。
【００５４】
ステップＳ３に進み、制御部８はステップＳ２で起動したソフトに基づいてメイクアップシミュレーションを開始する。このとき、制御部８はモニタ７に画面イメージ１０２を表示し、操作パネル４に画面イメージ２０２を表示する。画面イメージ１０２は、カメラ２でユーザの顔を撮影した動画像に、魔法の鏡的な演出を施して表示している例を表している。画面イメージ２０２は、画面イメージ２０１と同様、横に移動する歓迎のコメントを表示している例を表している。
【００５５】
ステップＳ４に進み、制御部８はメイクアップシミュレーションを後述するように実行する。このとき、制御部８はモニタ７に画面イメージ１０３〜１０６を順次表示し、操作パネル４に画面イメージ２０３〜２０６を表示する。
【００５６】
画面イメージ１０３〜１０６は、メイクアップシミュレーションにより４つのメイクアップパターン（イメージ）が施されたユーザの顔を表示している例を表している。画面イメージ２０３〜２０６は、そのときモニタ７に表示されている画面イメージ１０３〜１０６のメイクアップパターンの内容（例えば名称等）を表示している例を表している。所定時間が経過するか、又はユーザが操作パネル４にタッチするまで、制御部８はモニタ７に画面イメージ１０３〜１０６を順次表示し、操作パネル４に画面イメージ２０３〜２０６を表示する。
【００５７】
所定時間が経過するか、又はユーザが操作パネル４にタッチすると、制御部８はステップＳ５に進み、モニタ７に画面イメージ１０７を表示し、操作パネル４に画面イメージ２０７を表示する。画面イメージ１０７は、画面イメージ１０１と同様、カメラ２でユーザの顔を撮影した動画像を表示している例を表している。画面イメージ２０７は、４つのメイクアップパターン（イメージ）から１つのイメージを選択可能なイメージ選択画面を表示している例を表している。ユーザは、操作パネル４を操作することで、イメージ選択画面から１つのイメージを選択することができる。
【００５８】
ステップＳ６に進み、制御部８はイメージ選択画面から１つのイメージが選択されるまでステップＳ６の処理を繰り返し行う（Ｓ６においてＮＯ）。ユーザがイメージ選択画面から１つのイメージを選択すると、操作パネル４はユーザからの操作を受け付けて操作情報を制御部８に出力する。
【００５９】
ユーザがイメージ選択画面から１つのイメージを選択したと判定すると（Ｓ６においてＹＥＳ）、制御部８はステップＳ７に進み、選択されたイメージのイメージ画面をモニタ７及び操作パネル４に表示する。このとき、制御部８はモニタ７に画面イメージ１０８を表示し、操作パネル４に画面イメージ２０８を表示する。
【００６０】
画面イメージ１０８は、イメージ選択画面から選択された１つのイメージに基づき、異なるカラーパターンが施されたメイクアップ後のユーザの顔のイメージ画像と、イメージ画像のようにメイクアップする為の商品情報とを順次表示している例を表している。画面イメージ２０８は、イメージ選択画面から選択された１つのイメージの内容と、そのときモニタ７に表示されている画面イメージ１０８のイメージ画像のようにメイクアップする為の商品情報とを表示している例を表している。
【００６１】
なお、ユーザは操作パネル４を操作することによりプリントアウトを指示することもできる。ユーザからのプリントアウト指示を受け付けると、制御部８は画面イメージ１０９をモニタ７に表示し、画面イメージ２０９を操作パネル４に表示する。画面イメージ１０９は、プリントアウトするイメージ画像を表示している例を表している。画面イメージ２０９は、プリントアウト中のコメントを表示している例を表している。制御部８はプリンタ５を制御してモニタ７に表示されているイメージ画像をプリントアウトする。
【００６２】
また、ユーザは操作パネル４を操作することにより、メイクアップ前及び後のイメージ画像から成る比較画面の表示およびプリントアウトを指示することもできる。ユーザからの比較画面の表示指示を受け付けると、制御部８は画面イメージ１１０をモニタ７に表示する。画面イメージ１１０は、メイクアップ前及び後のイメージ画像から成る比較画面を表示している例を表している。比較画面を表示している状態で、ユーザからのプリントアウト指示を受け付けると、制御部８はプリンタ５を制御してモニタ７に表示されている比較画面をプリントアウトする。
【００６３】
ユーザによるメイクアップシミュレーションが終了すると、制御部８はモニタ７及び操作パネル４にスクリーンセーバーである画面イメージ１１１及び２１０を表示して、処理を終了する。
【００６４】
なお、図１２及び図１３の例ではメイクアップシミュレーションにより４つのイメージを表示しているが、４つ以外のイメージを表示するものであってもよい。また、メイクアップシミュレーション装置１はカメラ２から出力された動画像に含まれるユーザの顔にメイクアップを施す例を示しているが、予め撮影した動画像を動画ファイルとして補助記憶装置１３等に記憶しておき、その動画ファイルに含まれるユーザの顔にメイクアップを施すものであってもよい。
【００６５】
メイクアップシミュレーション装置１はカメラ２から出力された動画像をメイクアップシミュレーション以外に利用することもできる。図１４はメイクアップシミュレーション装置が行なうメイクアップシミュレーション以外の処理を表すイメージ図である。
【００６６】
画面イメージ３００は、カメラ２で撮影したユーザの顔の動画像を表示している例を表している。メイクアップシミュレーション装置１は動画像に含まれているユーザの顔を認識し、ユーザの顔の静止画３０１を切り出す。
【００６７】
メイクアップシミュレーション装置１は、顔立ち分析ロジックおよび肌分析ロジックにより静止画３０１の顔立ち診断および肌色診断を行い、その結果を表す画面イメージ３０２をモニタ７に表示できる。なお、顔立ち分析ロジックおよび肌分析ロジックにより静止画３０１の顔立ち診断および肌色診断を行なう処理は、例えば特開２００１−３４６６２７号公報に記載されている公知技術である。
【００６８】
また、メイクアップシミュレーション装置１は画面イメージ３０３のようなコース選択画面３０３をモニタ７に表示して、各コース（例えばトレンド、ベーシック、フリー）をユーザに選択させることもできる。メイクアップシミュレーション装置１は、ユーザにより選択されたコースに基づく画面イメージ３０４〜３０９をモニタ７に表示して、シミュレーション及びアドバイスを行なう。
【００６９】
画面イメージ３０４〜３０６は、各コースのシミュレーション画面を表示している例を表している。画面イメージ３０７〜３０９は、各コースのアドバイス画面を表示している例を表している。
【００７０】
例えばベーシックコースとは、顔立ち診断および肌色診断の結果に基づいて、最適なメイクアップテクニックをシミュレーション及びアドバイスするものである。また、トレンドコースとは最新のトレンドメイクアップのシミュレーション及びアドバイスするものである。また、フリーメイクアップコースとは目元，口元，ほお，眉，個々のパーツに対応したアイテムのシミュレーション及びアドバイスするものである。
【００７１】
シミュレーション画面又はアドバイス画面を表示している状態で、ユーザからのプリントアウト指示を受け付けると、制御部８はプリンタ５を制御してモニタ７に表示されているシミュレーション画面又はアドバイス画面をプリントアウトすることもできる。
【００７２】
次に、上記のようなメイクアップシミュレーション装置１を実現する為のメイクアップシミュレーションシステムの詳細について説明する。図１５は、本発明によるメイクアップシミュレーションシステムの一実施例のシステム構成図である。
【００７３】
図１５のメイクアップシミュレーションシステム２０は、アナログカメラ２１，ＵＳＢキャプチャデバイス２２，動画ファイル２３，メイクアップカメラ２４，静止画システム２５，動画ファイル２６，共有メモリ２７，シミュレータメインアプリ２８及びインターフェースアプリ２９を含む構成である。
【００７４】
アナログカメラ２１は撮影した例えばＮＴＳＣ方式の動画像をＵＳＢキャプチャデバイス２２経由で出力する。ＵＳＢキャプチャデバイス２２から出力された動画像は、例えばＡＰＩ（application programming interface）の一例としてのＤｉｒｅｃｔＸ３１を利用してシミュレータメインアプリ２８に入力される。また、動画ファイル２３もＤｉｒｅｃｔＸ３１を利用してシミュレータメインアプリ２８に入力される。
【００７５】
メイクアップカメラ２４は撮影した動画像をシリアルインターフェースの一例としてのＩＥＥＥ１３９４経由で出力する。メイクアップカメラ２４から出力された動画像は専用ＡＰＩ３２を利用してシミュレータメインアプリ２８に入力される。シミュレータメインアプリ２８は専用ＡＰＩ３２を利用して入力された動画像から動画像用解像度の原画像と静止画用解像度の静止画像とを得る。
【００７６】
シミュレータメインアプリ２８はＤｉｒｅｃｔＸ３１を利用して入力された動画像及び動画ファイル２３と、専用ＡＰＩ３２を利用して入力された動画像から得られた動画像用解像度の動画像とを原画像とし、原画像に対してトリミング及び縮小処理を行う。
【００７７】
シミュレータメインアプリ２８は原画像に対してトリミングを行ってメイクアップ前画像を得る。また、シミュレータメインアプリ２８は原画像に対して縮小処理を行って顔認識処理用画像を得る。顔認識処理部３３は、顔認識処理用画像からユーザの顔を認識するための後述するようなトラッキングポイント３４を、ＦＦＴ（高速フーリエ変換）により得る。
【００７８】
メイクアップ処理部３５は、トラッキングポイント３４に基づき、メイクアップ前画像に含まれるユーザの顔に、ファンデーション，眉，シャドウ，口紅，チークから成るメイクアップを施してメイクアップ後画像を得る。メイクアップ処理部３５は、ファンデーション処理部３６，眉処理部３７，シャドウ処理部３８，口紅処理部３９，チーク処理部４０を含む構成である。
【００７９】
なお、メイクアップ処理部３５はメイクアップ後画像のようにメイクアップする為の商品情報４１をメイクアップ後画像に含ませることができる。動画サーバ４２は、メイクアップ前画像およびメイクアップ後画像を共有メモリ２７に書き込むと共に、メイクアップ前画像およびメイクアップ後画像を動画ファイル２６として出力することもできる。
【００８０】
インターフェースアプリ２９は、ＡｃｔｉｖｅＸコントローラ５０及びＡｃｔｉｖｅＸビュアー５１を利用する、動画コントロールオブジェクト５２，動画表示オブジェクト５３及びその他のコントローラ５４を含む構成である。なお、インターフェースアプリ２９とシミュレータメインアプリ２８とはＡｃｔｉｖｅＸ＆Ｓｏｃｋｅｔによる連携を図っている。
【００８１】
インターフェースアプリ２９はＡｃｔｉｖｅＸビュアー５１を利用して、供給メモリ２７に書き込まれているメイクアップ前画像およびメイクアップ後画像を前述したモニタ７に表示することができる。
【００８２】
シミュレータメインアプリ２８は、専用ＡＰＩ３２を利用して入力された動画像から得られた静止画用解像度の静止画像に対してトリミング及び縮小処理を行う。シミュレータメインアプリ２８は静止画用解像度の静止画像に対してトリミングを行なう。さらに、シミュレータメインアプリ２８は静止画用解像度の静止画像に対して縮小処理を行って顔認識処理用画像を得る。顔認識処理部４３は、顔認識処理用画像からユーザの顔を認識する為の後述するようなトラッキングポイント４４を得る。
【００８３】
シミュレータメインアプリ２８はトラッキングポイント４４に基づき、トリミングを行った動画像に含まれるユーザの顔から詳細部位を抽出し、その詳細部位から顔立ち診断および肌色診断に用いるタイプ、肌色等の追加情報を得て、トラッキングポイント４４に追加情報を付加したトラッキングポイント４５と、専用ＡＰＩ３２を利用して入力された動画像から得られた静止画用解像度の静止画像とを静止画システム２５に出力する。
【００８４】
静止画システム２５は、トラッキングポイント４５を使用し、前述した顔立ち分析ロジックおよび肌分析ロジックにより静止画３０１の顔立ち診断および肌色診断を行い、その結果を表す画面イメージ３０２をモニタ７に表示できる。その他、静止画システム２５は画面イメージ３０３〜３０９をモニタ７に表示することもできる。
【００８５】
図１６は、シミュレータメインアプリが行なう処理を表す画面イメージ図である。画面イメージ４００はメイクアップ前画像を表示した例を表している。画面イメージ４０１は顔認識処理用画像から得たトラッキングポイント３４をメイクアップ前画像に重ねて表示した例を表している。また、画面イメージ４０２はトラッキングポイント３４に基づいてメイクアップ前画像に含まれるユーザの顔にメイクアップを施したメイクアップ後画像を表示した例を表している。
【００８６】
以下、シミュレータメインアプリ２８が行なう処理のうち、顔認識処理，メイクアップ処理の詳細について図面を参照しつつ順番に説明していく。なお、本実施例では、メイクアップ処理の一例として、ファンデーション処理，眉処理，シャドウ処理，口紅処理及びチーク処理から成るメイクアップ処理を説明するが、他の組み合わせであってもよい。
【００８７】
（顔認識処理）
図１７はメイクアップ前画像に含まれるユーザの顔のイメージ画像である。図１８はトラッキングポイントを表す一例のイメージ図である。シミュレータメインアプリ２８の顔認識処理部３３は、図１７のようなイメージ画像からユーザの顔を認識する為の図１８のような４５点のトラッキングポイント３４を得る。図１８のトラッキングポイント３４は一例であって、制御部８の処理能力やモニタ７の精細度に応じて調整してもよい。
【００８８】
このように、メイクアップ前画像に含まれるユーザの顔からトラッキングポイント３４を得ることにより、メイクアップ処理部３５はトラッキングポイント３４と関連付けてメイクアップの施し方や色を図１９のようなメイクアップ処理パラメータファイルに設定しておくことができる。
【００８９】
図１９はメイクアップ処理パラメータファイルの一例の構成図である。図１９のメイクアップ処理パラメータファイルは、目元，口元，チーク等ごとにトラッキングポイント３４と関連付けてメイクアップの施し方や色が設定されているものである。
【００９０】
メイクアップ処理パラメータファイルはメイクアップパターン（イメージ）毎に設定されている。図１９のメイクアップ処理パラメータファイルは、クラスエレガンスの例を表している。なお、上記した４つのメイクアップパターン（イメージ）は一例であって、他のメイクアップパターン（イメージ）であってもよい。
【実施例１】
【００９１】
（口紅処理）
シミュレータメインアプリ２８に含まれる口紅処理部３９は図２０に示すように唇８点及び鼻３点のトラッキングポイント３４を参照し、口紅処理を行う。図２０は口紅処理により参照されるトラッキングポイントを示すイメージ図である。
【００９２】
図２１は口紅処理を示す一例のフローチャートである。口紅処理は大別するとステップＳ１０の前準備処理とステップＳ２０の色塗り処理とで構成される。前準備処理は、ステップＳ１１の切出し＆回転処理，ステップＳ１２の輪郭抽出用画像の作成処理，ステップＳ１３の輪郭抽出処理，ステップＳ１４のスプライン曲線生成処理，ステップＳ１５の回転戻し処理，ステップＳ１６の色塗りマップ生成処理とで構成される。色塗り処理は、ステップＳ２１の色塗りマップに基づく色塗り処理，ステップＳ２２のデバック＆デザイン用描画処理とで構成される。
【００９３】
ステップＳ１１の切出し＆回転処理に進み、口紅処理部３９は、顔認識処理用画像からユーザの顔の唇を含む部分画像５００を切り出し、その部分画像５００を処理用の姿勢に回転させて部分画像５０１を得る。
【００９４】
ステップＳ１２の輪郭抽出用画像の作成処理に進み、口紅処理部３９は部分画像５０１から輪郭抽出用画像を作成する。ステップＳ１３の輪郭抽出処理に進み、口紅処理部３９は輪郭抽出用画像から唇の輪郭を部分画像５０２に示すようにポイントで抽出する。
【００９５】
図２２は輪郭抽出処理を表す一例のイメージ図である。輪郭抽出用画像６００は唇８点及び鼻３点のトラッキングポイントが重ねて表示されている。口紅処理部３９は、唇８点及び鼻３点のトラッキングポイントを元に再探索して輪郭抽出用画像６０１のポイントを抽出する。
【００９６】
図２３は輪郭抽出用画像６００の唇８点及び鼻３点のトラッキングポイントと、唇８点及び鼻３点のトラッキングポイントを元に再探索して抽出した輪郭抽出用画像６０１のポイントとの比較画面である。なお、上記再探索が不調な場合は輪郭抽出用画像６００の唇８点及び鼻３点のトラッキングポイントから算出した図２４のようなデフォルトポイントを採用する。
【００９７】
図２４は唇８点及び鼻３点のトラッキングポイントからデフォルトポイントを求める処理を表した一例のイメージ図である。口紅処理部３９は鼻の３点のトラッキングポイントを参照し、上唇５点に対してデフォルトポイントを求める。
【００９８】
ステップＳ１４のスプライン曲線生成処理に進み、口紅処理部３９は輪郭抽出用画像６０１のポイント又は図２４のようなデフォルトポイントを２次スプラインで補間し、図２５に示すような輪郭を完成させる。図２５は、ポイント又はデフォルトポイントから輪郭を完成させる処理を表したイメージ図である。部分画像５０３のように唇の輪郭が完成すると、口紅処理部３９はステップＳ１５に進み、ステップＳ１１の切出し＆回転処理で行った回転を元に戻す回転戻し処理を行なう。
【００９９】
ステップＳ１６の色塗りマップ生成処理に進み、口紅処理部３９は部分画像７００の明度および彩度から色塗りの強さを決める色塗りマップを生成する。図２６は色塗りマップ生成処理を表した一例のイメージ図である。具体的に、口紅処理部３９は明度および彩度から色塗りの強さを表すグレースケール画像７０１を生成する。口紅処理部３９は、ステップＳ１４のスプライン曲線生成処理で完成させた唇の輪郭で囲まれた部分画像７０２のみを色塗りマップ５０４としてグレースケール画像７０１から切り出す。
【０１００】
ステップＳ２１の色塗りマップに基づく色塗り処理に進み、口紅処理部３９はステップＳ１６の色塗りマップ生成処理で生成した色塗りマップ５０４と、図１９のようなメイクアップ処理パラメータファイルに設定されているメイクアップの施し方や指定色に基づいてメイクアップ前画像に対して着色を行なう。
【０１０１】
図２７は色塗りマップに基づく色塗り処理を表した一例のイメージ図である。口紅処理部３９は図１９のようなメイクアップ処理パラメータファイル８０１に設定されているメイクアップの施し方や指定色と、ステップＳ１６の色塗りマップ生成処理で生成した色塗りマップ８０２とに基づいて、メイクアップ前画像８０３に対して着色を行い、メイクアップ後画像８０４を得る。
【０１０２】
そして、ステップＳ２２のデバック＆デザイン用描画処理に進み、口紅処理部３９はデバック＆デザイン用描画の処理を行ったあと、口紅処理を終了する。
【０１０３】
（シャドウ処理）
シミュレータメインアプリ２８に含まれるシャドウ処理部３８は図２８に示すように左右別に目３点及び眉１点のトラッキングポイント３４を参照し、シャドウ処理を行う。図２８はシャドウ処理により参照されるトラッキングポイントを示すイメージ図である。
【０１０４】
図２９はシャドウ処理を示す一例のフローチャートである。シャドウ処理は大別するとステップＳ３０の前準備処理とステップＳ４０の色塗り処理とで構成される。前準備処理は、ステップＳ３１の基本輪郭の生成処理で構成される。
【０１０５】
色塗り処理は、色塗りパターン分繰り返し行なう、ステップＳ４１の色塗り輪郭の生成処理，ステップＳ４２の色塗り中心の生成処理，ステップＳ４３の色塗りマップの生成処理，ステップＳ４４の色塗りマップに基づく色塗り処理，ステップＳ４５のデバック＆デザイン用描画処理とで構成される。
【０１０６】
ステップＳ３１の基本輪郭の生成処理に進み、シャドウ処理部３８は、顔認識処理用画像からユーザの顔の目の形状を部分画像９００のように得る。図３０は、基本輪郭の生成処理を表す一例のイメージ図である。
【０１０７】
シャドウ処理部３８は色塗り輪郭の基本となる輪郭を生成するため、部分画像１００１に示すように、目の中心から上下方向を探索して目の輪郭（上辺境界＆下辺境界）を２点認識する。シャドウ処理部３８は、認識した目の輪郭２点，目尻及び目頭の４点に、スプライン補間で生成した４点を追加して、計８点によるポリゴンを部分画像１００２のように生成する。
【０１０８】
ステップＳ４１の色塗り輪郭の生成処理に進み、シャドウ処理部３８は色塗り輪郭を部分画像９０１のように生成する。図３１は色塗り輪郭の生成処理を表す一例のイメージ図である。シャドウ処理部３８は色塗り輪郭を生成するため、部分画像１１０１に示すように、目尻及び目頭を基準に色塗り輪郭を生成する。なお、輪郭の拡張、頂点のシフト等についてはＧＵＩでパラメータ指定するようにしてもよい。
【０１０９】
ステップＳ４２の色塗り中心の生成処理に進み、シャドウ処理部３８は色塗り中心位置を部分画像９０２の「●」ように生成する。ステップＳ４３の色塗りマップの生成処理に進み、シャドウ処理部３８は部分画像９０３のように、色塗りの強さを決める色塗りマップを生成する。
【０１１０】
具体的に、色塗りマップ生成処理は色塗り中心からポリゴンの辺までの距離に対応して塗りの強さを決定する。例えばシャドウ処理部３８は辺に近いほど塗りの強さを弱めるように色塗りマップを決定する。なお、色塗りマップ生成処理は色塗り輪郭から基本輪郭を除いた部分を対象としている。
【０１１１】
シャドウ処理部３８は生成した色塗りマップに対し、図３２に示すように、ぼかし処理を掛けることで更に滑らかなグラデーションを生成する。図３２は、ぼかし処理を掛けていない色塗りマップと、ぼかし処理を掛けている色塗りマップとを表した一例のイメージ図である。
【０１１２】
ステップＳ４４の色塗りマップに基づく色塗り処理に進み、シャドウ処理部３８はステップＳ４３の色塗りマップの生成処理で生成した色塗りマップ９０３と、図１９のようなメイクアップ処理パラメータファイルに設定されているメイクアップの施し方や指定色に基づいてメイクアップ前画像に対して着色を行ない、メイクアップ後画像を得る。
【０１１３】
そして、ステップＳ４５のデバック＆デザイン用描画処理に進み、シャドウ処理部３８はデバック＆デザイン用描画の処理を行ったあと、シャドウ処理を終了する。なお、シャドウ処理部３８はステップＳ４１〜Ｓ４５の処理を色塗りパターン分だけ繰り返し行なうことで、多色塗りを実現することもできる。
【０１１４】
（チーク処理）
シミュレータメインアプリ２８に含まれるチーク処理部４０は図３３に示すように目尻＆口角（左右別）、眼間＆鼻中心（スタビライズ用）のトラッキングポイント３４を参照して、チーク処理を行う。図３３はチーク処理により参照されるトラッキングポイントを示すイメージ図である。
【０１１５】
図３４はチーク処理を示す一例のフローチャートである。チーク処理は、ステップＳ５０の色塗り輪郭の生成処理，ステップＳ５１の色塗り処理，ステップＳ５２のデバック＆デザイン用描画処理とで構成される。
【０１１６】
ステップＳ５０の色塗り輪郭の生成処理に進み、チーク処理部４０は色塗り輪郭を生成するため、目尻及び口角を基準に色塗り輪郭として輪郭ポリゴンを生成する。図３５は色塗り輪郭を表した一例のイメージ図である。なお、輪郭ポリゴンの点数，大きさ，形状または位置等はＧＵＩでパラメータ指定するようにしてもよい。
【０１１７】
ステップＳ５１の色塗り処理に進み、チーク処理部４０は色塗り中心から輪郭ポリゴンの辺までの距離に対応して塗りの強さを決定する。なお、塗りの強さの決定に処理コストが掛かりすぎる場合は、解像度（ＧＵＩでパラメータ指定）を落として（モザイク状に間引きして）塗りの強さを決定してもよい。チーク処理部４０は決定した塗りの強さと、図１９のようなメイクアップ処理パラメータファイルに設定されているメイクアップの施し方や指定色に基づいてメイクアップ前画像に対して着色を行ない、メイクアップ後画像を得る。
【０１１８】
そして、ステップＳ５２のデバック＆デザイン用描画処理に進み、チーク処理部４０はデバック＆デザイン用描画の処理を行ったあと、チーク処理を終了する。
【０１１９】
（眉処理）
シミュレータメインアプリ２８に含まれる眉処理部３７は図３６に示すように左右別に目尻，目中心および眉２点のトラッキングポイント３４を参照し、眉処理を行う。図３６は眉処理により参照されるトラッキングポイントを示すイメージ図である。
【０１２０】
図３７は眉処理を示す一例のフローチャートである。眉処理は大別するとステップＳ６０の眉輪郭抽出処理，ステップＳ７０の元眉領域の消去処理，ステップＳ８０の眉形状の変形処理，ステップＳ９０の変形眉の貼付け処理で構成される。
【０１２１】
元眉領域の消去処理は、ステップＳ７１の領域の膨張処理，ステップＳ７２の眉の消去処理で構成される。眉形状の変形処理は、ステップＳ８１の変形指定に対応した指示曲線の作成処理，ステップＳ８２の変形眉の生成処理で構成される。
【０１２２】
ステップＳ６０の眉輪郭抽出処理に進み、眉処理部３７は顔認識処理用画像からユーザの顔の眉の形状を部分画像２００１のように得る。図３８は、眉輪郭抽出処理を表す一例のイメージ図である。眉処理部３７は眉の輪郭を抽出するため、部分画像２１０１に示すように、眉尻（実際には眉の中心付近）を中心に左右に眉を探索する。眉処理部３７は部分画像２１０２に示すように、探索結果から眉の輪郭形状を認識する。
【０１２３】
ステップＳ７１の領域の膨張処理に進み、眉処理部３７は認識した眉の輪郭形状を表す領域を膨張させる。ステップＳ７２の眉の消去処理に進み、眉処理部３７は膨張させた領域を付近の肌色を使って塗りつぶすことで眉を消去する。また、眉処理部３７は膨張させた領域の境界部分に、なじませる処理を施す。
【０１２４】
ステップＳ８１の変形指定に対応した指示曲線の作成処理に進み、眉処理部３７は認識した眉の輪郭形状を表す領域（スケルトン）を指定に従って変形させる。図３９は変形指定に対応した指示曲線の作成処理を表す一例のイメージ図である。
【０１２５】
眉処理部３７は、部分画像２２０１に示すように、認識した眉の輪郭形状を表す領域を横方向の軸線と縦方向の複数のタンザクから成るスケルトン２２０２に置き換え、軸線の形状とタンザクの高さを変えることで、例えばスケルトン２２０３のように変形処理を施すことができる。
【０１２６】
ステップＳ８２の変形眉の生成処理に進み、眉処理部３７はスケルトン２２０３から変形眉を生成する。ステップＳ９０の変形眉の貼付け処理に進み、眉処理部３７は変形眉をメイクアップ前画像に対して貼付けて、メイクアップ後画像を得る。
【０１２７】
（ファンデーション処理）
シミュレータメインアプリ２８に含まれるファンデーション処理部３６は図４０に示すように左右別に目尻，目頭および眉１点、眼間および鼻中心のトラッキングポイント３４を参照し、ファンデーション処理を行う。図４０はファンデーション処理により参照されるトラッキングポイントを示すイメージ図である。
【０１２８】
図４１はファンデーション処理を示す一例のフローチャートである。ファンデーション処理は、ステップＳ１０１の輪郭の生成処理，ステップＳ１０２の対象画像へのぼかし処理，ステップＳ１０３の画像の貼り付け処理で構成される。なお、ステップＳ１０１〜Ｓ１０３の処理は対象エリア分、繰り返し行われる。
【０１２９】
ステップＳ１０１の輪郭の生成処理に進み、ファンデーション処理部３６は図４２のイメージ画像に示すように、額，鼻，頬（左右）の３種類（４箇所）の輪郭を生成する。図４２は輪郭を表した一例のイメージ画像である。なお、各輪郭のサイズ，位置等はＧＵＩでパラメータ指定するようにしてもよい。
【０１３０】
ステップＳ１０２の対象画像へのぼかし処理に進み、ファンデーション処理部３６は生成した輪郭に対応する対象画像へのぼかし処理を図４３のように行なう。図４３は、ぼかし処理前の元画像と、ぼかし処理後の元画像とを表した一例のイメージ図である。対象画像へのぼかし処理により、ファンデーション処理部３６は肌の細かい荒れ等を平滑化することができる。
【０１３１】
ステップＳ１０３の画像の貼り付け処理に進み、ファンデーション処理部３６は、ぼかし処理後の対象画像をメイクアップ前画像の額，鼻，頬（左右）の３種類（４箇所）の輪郭に貼り付け、メイクアップ後画像を得る。
【実施例２】
【０１３２】
実施例２では、口紅処理，シャドウ処理，チーク処理，眉処理，ファンデーション処理の他の例について説明していく。
【０１３３】
（口紅処理）
シミュレータメインアプリ２８に含まれる口紅処理部３９は以下のようにトラッキングポイント３４を参照し、口紅処理を行う。
【０１３４】
図４４及び図４５は、口紅処理（リップペン描画処理）の一実施例のフローチャートである。図４５において、先ず、ステップＳ３０１で口を囲む矩形領域の顔画像を取得すると共に、口の輪郭データを取得する。この口の輪郭データは、トラッキングポイント（特徴点）３４によって得られたものである。
【０１３５】
次のステップＳ３０２ではユーザが選択したメイクアップパターンに応じて曲線描画区間と直線描画区間とを設定する。図４６は、口を囲む矩形領域の顔画像の一例のイメージ図である。
【０１３６】
この図では、口（上唇）の上端Ｍ２，Ｍ４、口の左右端Ｍ１，Ｍ５、口（下唇）の下端Ｍ６、それぞれの特徴点（トラッキングポイント）の他に、口（下唇）の下縁における左端Ｍ１から口幅（Ｍ１，Ｍ５間距離）の１／３の距離にある点Ｍ７と、口（下唇）の下縁における右端Ｍ５から口幅（Ｍ１，Ｍ５間距離）の１／３の距離にある点Ｍ８とを示している。
【０１３７】
選択されたメイクアップパターンがフレッシュの場合、口紅処理部３９は区間Ｍ１〜Ｍ２、区間Ｍ４〜Ｍ５それぞれを曲線で描画し、区間Ｍ２〜Ｍ３、区間Ｍ３〜Ｍ４それぞれを直線で描画する。これによって、図４７（Ａ）の描画イメージに示すように、上唇に丸みを持たせるリップペン描画が行われ、下唇についてはリップペン描画を行われない。
【０１３８】
選択されたメイクアップパターンがスイートの場合、口紅処理部３９は、区間Ｍ１〜Ｍ２、区間Ｍ４〜Ｍ５、区間Ｍ１〜Ｍ６〜Ｍ５それぞれを曲線で描画し、区間Ｍ２〜Ｍ３、区間Ｍ３〜Ｍ４それぞれを直線で描画する。これによって、図４７（Ｂ）の描画イメージに示すように、上唇及び下唇に丸みを持たせるリップペン描画が行われる。
【０１３９】
選択されたメイクアップパターンがキュートの場合、口紅処理部３９は、区間Ｍ１〜Ｍ７、区間Ｍ７〜Ｍ８、区間Ｍ８〜Ｍ５それぞれを直線で描画する。これによって、図４７（Ｃ）の描画イメージに示すように、下唇を直線的にするリップペン描画が行われ、上唇についてはリップペン描画を行われない。
【０１４０】
選択されたメイクアップパターンがクールの場合、口紅処理部３９は区間Ｍ２〜Ｍ４を曲線で描画し、区間Ｍ１〜Ｍ２、区間Ｍ４〜Ｍ５、区間Ｍ１〜Ｍ７、区間Ｍ７〜Ｍ８、区間Ｍ８〜Ｍ５それぞれを直線で描画する。これによって、図４７（Ｄ）の描画イメージに示すように、上唇及び下唇を直線的にするリップペン描画が行われる。
【０１４１】
次のステップＳ３０３のループ処理で口紅処理部３９は、ｘ座標値を０（口の左端Ｍ１位置）から画素単位で最大値（口の右端Ｍ５位置）まで順次増加させる。なお、ｘ座標は図４６に示す口を囲む矩形領域において右側に増加し、ｙ座標は上側に増加するものとする。このループ内のステップＳ３０４で口紅処理部３９は曲線描画区間か否かを判別し、曲線描画区間でなければ、ステップＳ３０３に戻りｘ座標値を増加させる。
【０１４２】
曲線描画区間であれば、ステップＳ３０５に進み、口紅処理部３９は図４８に示すオフセット曲線をｘ座標値で参照して、当該ｘ座標に対するオフセット値を求める。この図４８に示すオフセットは上唇の上縁を上に（鼻側に）持ち上げて口を大きく見せるために用いられ、下唇の下縁についてはオフセット値＝０とされている。
【０１４３】
次に、口紅処理部３９はステップＳ３０６のループ処理を行う。ここでは、口紅処理部３９が、ｙ座標値を、口の輪郭データのｙ座標＋オフセット値−βから口の輪郭データのｙ座標＋オフセット値＋βまで、画素単位で順次増加させて、以下の処理を行う。このβは、リップペンのペン幅の１／２（例えば数ｍｍに相当）である。
【０１４４】
ステップＳ３０６のループ内のステップＳ３０７では、口紅処理部３９が当該ｘｙ座標に対応する画素のＲＧＢ値から所定の演算式を用いて彩度（Ｓ），色相（Ｈ），明度（Ｖ）それぞれを算出する。
【０１４５】
そして、ステップＳ３０８で、口紅処理部３９が口の輪郭データのｙ座標と当該ｙ座標との差（最大でオフセット値＋β）に基づいて、リップペンの色のＨＳＶ値を上記差に比例して薄くなるように補正してグラデュエーションをつけた後、ステップＳ３０７で得た当該ｘｙ座標に対応する画素のＨＳＶ値に加算する。
【０１４６】
この後、口紅処理部３９はステップＳ３０９で上記当該ｘｙ座標に対応する画素のＨＳＶ値をＲＧＢ値に変換し、ステップＳ３１０でこのＲＧＢ値を用いて当該ｘｙ座標に対応する画素を上書きして更新することによりリップペンの描画を行う。
【０１４７】
なお、このステップＳ３０６は図４７（Ａ）の描画イメージでは曲線描画区間が上唇の上縁だけであるため１回しか実行されないが、図４７（Ｂ）の描画イメージでは曲線描画区間が上唇の上縁と下唇の下縁とがあるため２回実行される。下唇の下縁を描画する際には図４８のオフセット値は負の値として取り扱う。ステップＳ３０３のループ処理を終了すると、口紅処理部３９はステップＳ３１１に進んで各直線描画区間の直線の関数を求める。次のステップＳ３１２のループ処理で口紅処理部３９はｘ座標値を０（口の左端Ｍ１位置）から画素単位で最大値（口の右端Ｍ５位置）まで順次増加させる。
【０１４８】
このループ内のステップＳ３１３で口紅処理部３９は直線描画区間か否かを判別し、直線描画区間でなければ、ステップＳ３１２に戻りｘ座標値を増加させる。直線描画区間であれば、ステップＳ３１４に進み、口紅処理部３９は直線の関数を用いて、当該ｘ座標に対応する直線のｙ座標Ｙ（Ｌ）を求める。
【０１４９】
次に、口紅処理部３９はステップＳ３１５のループ処理を行う。ここでは口紅処理部３９がｙ座標値を、Ｙ（Ｌ）−βからＹ（Ｌ）＋βまで、画素単位で順次増加させて、以下の処理を行う。このβはリップペンのペン幅の１／２（例えば数ｍｍに相当）である。
【０１５０】
ステップＳ３１５のループ内のステップＳ３１６では、口紅処理部３９が当該ｘｙ座標に対応する画素のＲＧＢ値から所定の演算式を用いて彩度（Ｓ），色相（Ｈ），明度（Ｖ）それぞれを算出する。そして、ステップＳ３１７で、口紅処理部３９はＹ（Ｌ）と当該ｙ座標との差（最大でβ）に基づいて、リップペンの色のＨＳＶ値を上記差に比例して薄くなるように補正してグラデュエーションをつけた後、ステップＳ３１６で得た当該ｘｙ座標に対応する画素のＨＳＶ値に加算する。
【０１５１】
この後、口紅処理部３９はステップＳ３１８で上記当該ｘｙ座標に対応する画素のＨＳＶ値をＲＧＢ値に変換し、ステップＳ３１９でこのＲＧＢ値を用いて当該ｘｙ座標に対応する画素を上書きして更新することによりリップペンの描画を行う。
【０１５２】
なお、このステップＳ３１５は図４７（Ｃ）の描画イメージでは曲線描画区間が上唇の上縁だけであるため１回しか実行されないが、図４７（Ｄ）の描画イメージでは曲線描画区間が上唇の上縁と下唇の下縁とがあるため２回実行される。ステップＳ３１２のループ処理を終了すると、口紅処理部３９は口紅処理を終了する。
【０１５３】
このように、口紅処理部３９は複数のメイクアップパターンから所望のタイプが選択されると、選択されたメイクアップパターンに応じてリップペンで描画（色塗り処理）する形状を設定し、設定された形状でリップペンによる描画を行うため、所望のタイプを選択するだけで、選択したメイクアップパターンに応じて口の輪郭近傍をリップペンで描画して表示することができる。
【０１５４】
また、口紅処理部３９は口の輪郭からの縦方向距離が大なるほどリップペンの色を薄くするグラデュエーションをつけるため、描画したリップペンの色が顔画像の肌色となじんで違和感のないリップペンの色を表示できる。
【０１５５】
シミュレータメインアプリ２８に含まれる口紅処理部３９はトラッキングポイント３４から以下のようなポイントを算出し、そのポイントを参照して実施例１又は２の口紅処理を行うようにしてもよい。
【０１５６】
唇の形態的特徴を把握するために予め設定した複数のポイントの位置は、トラッキングポイント３４から算出できる。図４９は唇の形態的特徴を把握するために予め設定した複数のポイントの位置を表した一例のイメージ図である。図４９は以下の１４ポイントを表している。
【０１５７】
図４９に示す１４ポイントは、鼻の両側の位置(２ポイント)、鼻孔の中心位置(２ポイント)、上唇の山の位置(２ポイント)、上唇の谷の位置、唇の中心位置、口角の位置(２ポイント)、下唇の下端中心位置、あごの中心位置、あごの両側位置(２ポイント)の１４ポイントである。尚、このポイントの位置と数は特に限定されるものではなく、唇の形態的特徴を把握することが出来、且、化粧情報を作成するのに好適であれば、位置や数は適宜変更することが出来る。
【０１５８】
口紅処理部３９は、１４ポイントの位置により分析された平面的な特徴を次の５項目について判定し、対象者の唇全体のバランスを把握する。口紅処理部３９は把握された対象者の唇全体のバランスを、基準とする最適なバランスと対比してその差異を測定し、基準と相違する部分を修正する。なお、基準とする唇のバランスは、美しいと評価される唇のプロポーションに依拠している。
【０１５９】
唇の形態のバランスを判定する５項目は、口角の位置、上唇の位置、下唇の位置、上唇の山の位置、上唇の山と谷の角度である。最適なバランスにおける５項目の基準は、口角の位置は黒目の内側を下に下ろした位置、上唇の位置は鼻下から唇の中心位置までの距離の１／３の位置、下唇の位置はあごの中心位置から唇の中心位置までの距離の１／３の位置、上唇の山の位置は鼻孔の中心を下ろした位置、上唇の山と谷の角度は山から谷に向かって１０度下げる角度を基準とする。
【０１６０】
かかる最適な唇の基準バランスに従って、口紅処理部３９は化粧対象唇のバランスを対比して両者の相違を把握し、対象唇を基準バランスに修正する。ここでは修正の手法を説明する。先ず、口紅処理部３９は唇の中心から水平線を引き、口角の位置が水平線より上にあるか下にあるかを測定する。口角の位置が水平線より上にある場合、口紅処理部３９は修正を特に行わない。下にある場合、唇に締まりがなく、だらしなく見えるので、口紅処理部３９は２mmを限度として口角の位置を上方に修正する様に、補正化粧を施す。
【０１６１】
なお、調整限度を２mmとする理由は、調整の結果が不自然となるのを回避するためである。例えば、美容コンサルタントが店頭等で顧客に唇のメーキャップについてアドバイスを行い、標準の唇に近づけるメーキャップ法を提案する場合は、約２mm程度の範囲内で変化させているのが通常である。このように、修正範囲が２mmを越えると、修正の幅が大きくなり過ぎて、化粧が不自然となるため好ましくない。尚、当初の口角のポイント位置がずれている場合、最適バランスのポイントもずれてしまうので、口角のポイントをマニュアルで調整する。この修正の範囲２mmは、他の部分についても同様とする。
【０１６２】
次に、口紅処理部３９は上唇の山と谷の形状を修正する。口紅処理部３９は上唇の山の位置を鼻下から唇の中心位置までの距離の１／３の位置と鼻孔の中心から下ろした位置の基準に基づいて割り出して位置を設定し、該割り出された位置に上唇の山が来るように化粧のポイントを画面上に設定する。
【０１６３】
次に、口紅処理部３９は上唇の谷の位置を山から谷に向かって１０度下げる角度を基準に基づいて設定する。この角度は、例えば１０〜１５度の範囲とするが、例えば１０度を予め設定しておく。しかしながら、この角度は１０度に限定されるものでなく、１０〜１５度の範囲に任意に設定可能である。
【０１６４】
次に、口紅処理部３９は唇の中心線からあごの中心位置までの距離の１／３の位置に下唇の位置を設定し、更に下あごのラインを中心位置とその両側の３点のポイント位置を円弧で連結して描き、該下あごの円弧形状と相似形に下唇のラインを描く。この下あごのラインの描写は、コンピュータの画面上において基本のフォルムを下あごのラインに倣って変形させることにより、自動的に描くことが可能である。
【０１６５】
このようにして、口紅処理部３９は、対象者の唇全体のバランスについて、５項目の基準に基づいて最適なバランスと対比してその差異を把握し、最適なバランスに修正するためのラインを求めることができる。
【０１６６】
（シャドウ処理）
シミュレータメインアプリ２８に含まれるシャドウ処理部３８は以下のようにトラッキングポイント３４を参照し、シャドウ処理を行う。なお、シャドウ処理は、アイライン検索処理，アイライン描画処理，アイシャドウ塗布処理の順番に実行される。
【０１６７】
図５０は、アイライン検索処理の一実施例のフローチャートである。同図中、先ず、ステップＳ４０１で目及び眉を囲む矩形領域の顔画像を取得し、ステップＳ４０２で２値画像を保持する領域をメモリ装置１１等に確保する。次のステップＳ４０３のループ処理で閾値ＴＨを最低値から所定値の増分で最大値まで順次増加させ、ループ内のステップＳ４０４で閾値ＴＨを用いて目及び眉を囲む矩形領域の顔画像の２値化を行う。このように閾値ＴＨを可変して２値化を行うのは、アイラインを正確に検出するためである。
【０１６８】
次のステップＳ４０５では２値化で得たエッジ画像について、メディアンフィルタ処理を行ってノイズを除去する。これはまつげ等で発生するノイズを除去するために行っている。そして、ステップＳ４０６でエッジ画像について、目幅方向（矩形領域におけるｙ方向）に連続して延在する複数のエッジ画素、即ち輪郭線形成画素があるか否かを判別する。上記輪郭線形成画素がなければ閾値ＴＨを所定値の増分だけ増加させてステップＳ４０４に戻る。上記輪郭線形成画素があればステップＳ４０７に進む。
【０１６９】
ステップＳ４０７では、上記の２値画像から輪郭線を抽出する。次に、シャドウ処理部３８は、ステップＳ４０８で抽出した輪郭線における不連続の箇所を直線補間（または曲線補間）し、更にステップＳ４０９で補間後の輪郭線についてメディアンフィルタ処理を行ってノイズを除去し、この処理を終了する。
【０１７０】
図５１はアイライン描画処理の一実施例のフローチャートである。この処理は、目頭ＥＬ４，ＥＲ４と目尻ＥＬ１，ＥＲ１を結ぶ上瞼の輪郭線から上側（眉側）の上瞼の領域について行われる。
【０１７１】
同図中、先ず、ステップＳ４１０でアイライン描画パターンを設定する。このアイライン描画パターンは、メイクアップパターンとしてクールが選択された場合、図５２に示すように、上瞼の目頭から目尻までの幅のアイラインであり、斜線を付した領域Ｉａでｘ方向目尻側にアイラインのぼかしを行うアイライン描画パターンが設定される。
【０１７２】
また、メイクアップパターンとしてフレッシュが選択された場合には、図５３に示すように、上瞼の中央（目頭と目尻との中間点）から目尻までの幅のアイラインであり、斜線を付した領域Ｉｂでｘ方向目尻側にアイラインのぼかしを行うアイライン描画パターンが設定される。
【０１７３】
また、メイクアップパターンとしてスイートが選択された場合には、図５４に示すように、上瞼の目頭から目尻までの幅のアイラインであり、アイラインのぼかしを行わないアイライン描画パターンが設定される。
【０１７４】
更に、メイクアップパターンとしてキュートが選択された場合には、図５５に示すように、上瞼の目頭から目尻までの幅のアイラインであり、斜線を付した領域Ｉｄでｙ方向眉側にアイラインのぼかしを行うアイライン描画パターンが設定される。
【０１７５】
上記のメイクアップパターンに対応したアイライン描画パターンは、アイラインの選択ボックスにタッチしない場合のデフォルト値であり、アイラインの選択ボックスにタッチしたとき表示される４つのアイライン描画パターンから所望のパターンを選択することも可能である。
【０１７６】
次に、ステップＳ４１１のループ処理でｘ座標値を０（目頭位置）から画素単位で最大値（目尻位置）まで順次増加させる。このループ内で各ｘ座標値毎にステップＳ４１２のループ処理を行う。ここでは、ｙ座標値を０（輪郭線のｙ座標）から画素単位で最大値（目の高さ幅：上瞼と下瞼の最大離間距離）まで順次増加させて、以下の処理を行う。
【０１７７】
ステップＳ４１３では、上記のｘ座標及びｙ座標で指示される画素の明度を計算し、ステップＳ４１４で、この画素の明度がアイラインの明度と同一か否かを判別する。ここで同一でない場合は、ｙ座標値を増加させてステップＳ４１３に戻る。
【０１７８】
この画素の明度がアイラインの明度と同一の場合には、ステップＳ４１５に進み、この画素の明度を現在の明度より所定値だけ低下させる。これによって、輪郭線上の画素の明度が低下して濃くなり、結果的にアイラインを目立たせることができる。この後、ステップＳ４１６でｘ座標及びｙ座標から、図５２の領域Ｉａであるか（スイートの場合）または図５３の領域Ｉｂであるか（クールの場合）を判別し、上記の領域Ｉａ，Ｉｂの場合にはステップＳ４１７でｘ方向目尻側にアイラインのぼかしを行う。
【０１７９】
更に、ステップＳ４１８でｘ座標及びｙ座標から、図５５の領域Ｉｄであるか（フレッシュの場合）を判別し、上記の領域Ｉｄの場合にはステップＳ４１９でｙ方向眉側にアイラインのぼかしを行う。この後、上記のステップＳ４１１，Ｓ４１２のループ処理が終了すると、シャドウ処理部３８はアイライン検索処理を終了する。
【０１８０】
図５６はアイシャドウ塗布処理の一実施例のフローチャートである。同図中、先ず、ステップＳ４３０でアイシャドウ塗布領域を設定する。ここでは、図５７に示す、上瞼の輪郭線から眉の輪郭線までのｙ方向の最大距離Ｙｍａｘを求め、最大塗布サイズＭｙ＝Ｙｍａｘ／αを求める。なお、メイクアップパターンがスイートまたはキュートの場合はα＝２であり、クールの場合はα＝３、フレッシュの場合はα＝６である。
【０１８１】
更に、図５８（Ａ），（Ｂ）に示す曲線を用いて、メイクアップパターン毎にアイシャドウ塗布領域の上限（眉側）を求める。この際に、上記の最大塗布サイズＭｙを使用する。ここで、スイートまたはクールまたはキュートの場合は図５８（Ａ）に示す目頭から目尻に至る曲線を用い、フレッシュの場合は図５８（Ｂ）に示す目頭より所定長だけ離れた上瞼の輪郭線上の一点から目尻に至る曲線を用いる。また、アイシャドウ塗布領域の下限は上瞼の輪郭線とする。
【０１８２】
また、ステップＳ４３１で開始点の移動軌跡を設定し、ステップＳ４３２でアイシャドウ塗布の開始点における塗布サイズを設定する。図５９は、図５８（Ａ）に対応するアイシャドウ塗布領域を示しているが、アイシャドウ塗布領域の下限（上瞼の輪郭線）の略中央位置Ｐ０をアイシャドウ塗布の開始点とする。また、開始点を中心としアイシャドウ塗布領域の上限に接する円の半径を塗布サイズとし、更に、アイシャドウ塗布領域の下限に重ねて示す矢印Ａ１及びＡ２を開始点の移動軌跡としている。
【０１８３】
次に、ステップＳ４３３でユーザの肌色データと選択されたアイシャドウの色から所定の演算式を用いて開始点におけるアイシャドウの濃度を演算し、得られたアイシャドウの色を開始点に塗布する。そして、ステップＳ４３４で開始点を中心とし、塗布サイズを半径とする円内で、開始点に塗布されたアイシャドウの色の濃度を開始点からの距離に比例して薄くする（ぼかす）エアブラシ処理を行い、これにより得られた各画素位置の濃度のアイシャドウの色を、その位置の画素の肌色に加算することによりアイシャドウを肌に重ねた各画素の色を求め、これで各画素の色を更新する。
【０１８４】
なお、上記のエアブラシ処理では、アイシャドウ塗布領域における塗布サイズを半径とする円内のみが処理対象であり、アイシャドウ塗布領域の下限より下の半円部分では処理がなされない。また、エアブラシ処理における中心からの距離と濃度との関係は、メイクアップパターンがキュート又はフレッシュの場合は図６０（Ａ）に示すように中心からの距離に比例して濃度が薄くなる特性を用い、スイート又はクールの場合は図６０（Ｂ）に示すように中心からの距離が小さいときに濃度の薄くなる度合いが大きく、中心からの距離が大きいときに濃度の薄くなる度合いが小さい特性を用いる。
【０１８５】
この後、ステップＳ４３５では、矢印Ａ１，Ａ２で示す開始点の移動軌跡に従って、開始点を所定距離だけ移動する。なお、開始点は、位置Ｐ０から矢印Ａ１方向に所定距離だけ移動することを繰り返して、移動した開始点がアイシャドウ塗布の領域外となると、位置Ｐ０に戻って矢印Ａ２方向に所定距離だけ移動する。この移動距離は例えば塗布サイズの数１０パーセントである。
【０１８６】
更に、ステップＳ４３６で新たな塗布サイズを計算する。新たな塗布サイズは、開始点が位置Ｐ０から矢印Ａ１，Ａ２方向に移動するにつれて、数パーセントから数１０パーセントの割合で減少する。
【０１８７】
次にステップＳ４３７でアイシャドウ塗布の終点か否かを判別し、終点でない場合は上記のステップＳ４３３からＳ４３６を繰り返し、終点であればシャドウ処理部３８はアイシャドウ塗布処理を終了する。アイシャドウ塗布の終点の判定は、開始点が矢印Ａ２方向に移動してアイシャドウ塗布の領域外となったときアイシャドウ塗布の終点とする。
【０１８８】
このように、複数のメイクアップパターンから所望のタイプを選択すると、選択されたメイクアップパターンに応じて顔画像の目元部分におけるアイシャドウを塗布する領域を設定し、アイシャドウを塗布する領域の顔画像の色に、アイシャドウの色を重ねることによりアイシャドウを塗布する為、所望のタイプを選択するだけで、選択したメイクアップパターンに応じて顔画像の目元部分にアイシャドウを塗布して表示できる。
【０１８９】
また、目の輪郭を検出して検出された目の輪郭及びその近傍を、選択されたメイクアップパターンに応じて描画するため、所望のタイプを選択するだけで、選択したメイクアップパターンに応じて顔画像の目元部分にアイラインを描画して表示することができる。
【０１９０】
また、アイシャドウを塗布する領域内の塗布の開始点から離間するほどアイシャドウの濃度を低下させてぼかしているため、塗布したアイシャドウが顔画像の肌色となじんで違和感のないアイシャドウを表示でき、アイシャドウを塗布する領域内で塗布の開始点を順次移動させるため、顔画像におけるアイシャドウを塗布する領域の形状に拘わらず、塗布したアイシャドウが顔画像の肌色となじんで違和感のないアイシャドウを表示できる。
【０１９１】
シミュレータメインアプリ２８に含まれるシャドウ処理部３８は分類され把握された被化粧対象者の目の形態を、標準バランスの目の形態と対比して、標準バランスの目の形態に近づけて、目を大きく見せるとともに均整を整えて魅力的に見せるアイメーキャップを行うようにしてもよい。
【０１９２】
目の形態特徴は、眼裂の形状を示すフレーム軸、目の凹凸形状を示すフォルム軸、目の角度形態を示す角度軸及び標準バランスの目の形態の４つの要素を指標として、分類することができる。フレーム形態は、まつげの生え際を目安とする上下まぶたによってできる眼裂の輪郭形状である。フレーム軸は眼裂の上下径と左右径の比率に従って軸上に配列したものである。フレーム軸は例えば垂直軸として設けられる。後述する標準バランスの目の形態はフレーム軸の中央に配置される。フレーム軸の一方、すなわち上側には、眼裂の上下径と左右径の比率を１：３とする標準バランスの目よりも、上下径が長く、左右径が短い目の形態を配置される。軸の他方、すなわち下側には、上下径が短く、左右径が長い目の形態を配置される。
【０１９３】
また、目の凹凸形状をしめすフォルム形態は、例えば瞼溝と上下まぶたの隆起の凹凸形状によって把握する。フォルム軸は前記フレーム軸と直交する水平方向の軸として構成される。フォルム軸の中心には標準バランスの目の形態が配置される。フォルム軸の一方、すなわち左側には、標準バランスの目の形態よりも、上まぶたの隆起が平面的（一重や奥二重に一般的なまぶたの肉付きのよい隆起形状）で、下まぶたの肉付きは薄く、眼球の曲面は目立たたない目の形態が配置される。軸の他方、すなわち右側には、上まぶたの隆起が立体的（二重や三重に一般的に見られる彫りの深い状態。眉弓骨との眼窩の境界に窪みがあり、眼球の隆起が顕著に見られる）で、下まぶたは、眼球の顕著な曲面が現れ、又は眼窩脂肪のふくらみにより立体的である目の形態が配置される。
【０１９４】
また、目の角度形態は、目頭を通る水平線と、目頭と目尻を結ぶ対角線のなす角度とするものである。標準バランスの目の角度形態は、９度より大きく１１度より小さい角度であり、最も好ましくは１０度の角度である。シャドウ処理部３８は、この標準バランスの目の角度形態を基準として、角度が９度より大きく１１度より小さければ標準、９度以下であれば目尻下降、１１度以上であれば目尻上昇と判断する。目の角度形態の上下を示す角度軸は、前記フレーム軸、フォルム軸を平面に投影したとき、二つの軸で区切られる４つの象限内に個別に存在するように表現される。
【０１９５】
標準バランスの目の形態の特徴は図６１に示すように、ａ．眼裂の上下径（虹彩の中心を通る垂線）と左右径の比率が１：３のフレーム形態を有し、ｂ．顔を側面から見たときの上下まぶたの形状には顕著な凹凸がなく、眉弓骨（眉の生えている部分の下にあるやや隆起した骨）から、ほお骨にかけての曲線がなだらかであるフォルム形態を有し、ｃ．目頭を通る水平線と、目頭と目尻を結ぶ直線がなす角度が１０度であり、ｄ．瞼溝は二重と奥二重の中間的形状を示し、目頭側の溝は狭く、目尻側の溝は目頭側より広く、ｅ．眼裂の上下径の幅と眼裂の上縁から眉までの幅が、１対１のバランスのフォルム形態を有している。図６１は標準バランスの目の形態を示す正面図である。
【０１９６】
（チーク処理）
シミュレータメインアプリ２８に含まれるチーク処理部４０は以下のようにトラッキングポイント３４を参照し、チーク処理を行う。
【０１９７】
図６２は頬紅塗布処理（チーク処理）の一実施例のフローチャートである。同図中、先ず、ステップＳ５０１で頬紅塗布の領域及び開始点を設定し、ステップＳ５０２で開始点の移動軌跡を設定し、ステップＳ５０３で頬紅塗布の開始点における塗布サイズを設定する。上記のステップＳ５０１〜５０３は、ユーザが選択したメイクアップパターンによって処理が異なる。
【０１９８】
メイクアップパターンがスイートの場合、図６３に示すように、顔領域内で、目尻ＥＬ１，ＥＲ１の特徴点のｙ座標をｙ１とし、鼻の左右端Ｎ１，Ｎ３の特徴点のｙ座標をｙ２とし、口の左右端Ｍ１，Ｍ５の特徴点のｙ座標をｙ３とし、目頭ＥＬ４，ＥＲ４の特徴点のｘ座標をｘ１とし、目尻ＥＬ１，ＥＲ１の特徴点のｘ座標をｘ３としたとき、ｙ座標が（ｙ１＋ｙ２）／２から（ｙ２＋ｙ３）／２までの範囲で、かつ、ｘ座標がｘ１からｘ３間での範囲を頬紅塗布の領域とし、この領域の略中心の位置Ｐ０を頬紅塗布の開始点とする。また、この領域の縦幅の１／２を塗布サイズとし、更に矢印Ａ１及びＡ２を開始点の移動軌跡として設定する。
【０１９９】
メイクアップパターンがクールの場合、図６４に示すように、顔領域内で、目尻ＥＬ１，ＥＲ１の特徴点のｙ座標をｙ１とし、口の左右端Ｍ１，Ｍ５の特徴点のｙ座標をｙ３とし、瞳ＰＬ，ＰＲの特徴点のｘ座標をｘ２とし、目尻ＥＬ１，ＥＲ１の特徴点のｘ座標をｘ２とし、目尻ＥＬ１，ＥＲ１と同一ｙ座標の顔の輪郭上の特徴点Ｆ６，Ｆ７のｘ座標をｘ４としたとき、点（ｘ２，ｙ３）と点（ｘ４，ｙ１）とを結ぶ直線と、ｙ＝ｙ３の直線と、顔の輪郭で囲まれる範囲を頬紅塗布の領域とし、この領域内の位置Ｐ０を頬紅塗布の開始点とする。また、位置Ｐ０を中心として頬紅塗布領域に内接する円の半径を塗布サイズと設定し、矢印Ａ１及びＡ２を開始点の移動軌跡として設定する。
【０２００】
メイクアップパターンがキュートの場合、図６５に示すように、顔領域内で、目尻ＥＬ１，ＥＲ１の特徴点のｙ座標をｙ１とし、鼻の左右端Ｎ１，Ｎ３の特徴点のｙ座標をｙ２とし、口の左右端Ｍ１，Ｍ５の特徴点のｙ座標をｙ３とし、瞳ＰＬ，ＰＲの特徴点のｘ座標をｘ２とし、目尻ＥＬ１，ＥＲ１の特徴点のｘ座標をｘ２とし、目尻ＥＬ１，ＥＲ１と同一ｙ座標の顔の輪郭上の特徴点Ｆ６，Ｆ７のｘ座標をｘ４とし、口の左右端Ｍ１，Ｍ５と同一ｙ座標の顔の輪郭上の特徴点Ｆ１０，Ｆ１１のｘ座標をｘ５としたとき、点（ｘ２，ｙ２）と点（ｘ４，ｙ１）とを結ぶ直線と、点（ｘ２，ｙ２）と点（ｘ５，ｙ３）とを結ぶ直線と、顔の輪郭で囲まれる範囲を頬紅塗布の領域とし、この領域内の位置Ｐ０を頬紅塗布の開始点とする。また、位置Ｐ０を中心として頬紅塗布領域に内接する円の半径を塗布サイズと設定し、矢印Ａ１及びＡ２を開始点の移動軌跡として設定する。
【０２０１】
メイクアップパターンがフレッシュの場合、図６６に示すように、顔領域内で、目尻ＥＬ１，ＥＲ１の特徴点のｙ座標をｙ１とし、口の左右端Ｍ１，Ｍ５の特徴点のｙ座標をｙ３とし、目頭ＥＬ４，ＥＲ４の特徴点のｘ座標をｘ１としたとき、ｙ座標がｙ３から（ｙ１＋ｙ３）／２までの範囲で、かつ、ｘ座標がｘ１から顔の輪郭までの範囲を頬紅塗布の領域とし、この領域内の位置Ｐ０を頬紅塗布の開始点とする。また、この領域の縦幅の１／２を塗布サイズと設定し、矢印Ａ１及びＡ２を開始点の移動軌跡として設定する。
【０２０２】
次に、頬紅の塗布を実行する。ここでは、先ず、ステップＳ５０４でユーザの肌色データと選択された頬紅の色から所定の演算式を用いて開始点における頬紅の濃度を演算し、得られた頬紅の色を開始点に塗布する。そして、ステップＳ５０５で開始点を中心とし、塗布サイズを半径とする円内で、開始点に塗布された頬紅の色の濃度を開始点からの距離に比例して薄くする（ぼかす）エアブラシ処理を行い、これにより得られた各画素位置の濃度の頬紅の色を、その位置の画素の肌色に加算することにより頬紅を肌に重ねた各画素の色を求め、これで各画素の色を更新する。図６７に上記のエアブラシ処理における、中心からの距離と濃度との関係を示す。
【０２０３】
この後、ステップＳ５０６では、矢印Ａ１，Ａ２で示す開始点の移動軌跡に従って、開始点を所定距離だけ移動する。なお、開始点は、位置Ｐ０から矢印Ａ１方向に所定距離だけ移動することを繰り返して、移動した開始点が頬紅塗布の領域外となると、位置Ｐ０に戻って矢印Ａ２方向に所定距離だけ移動する。この移動距離は例えば塗布サイズの数１０パーセントである。更に、ステップＳ５０７で新たな塗布サイズを計算する。メイクアップパターンがスイートまたはフレッシュの場合、新たな塗布サイズは前回と同一であるが、メイクアップパターンがクールまたはキュートの場合は、開始点が位置Ｐ０から矢印Ａ１，Ａ２方向に移動するにつれて、新たな塗布サイズは数パーセントから数１０パーセントの割合で減少する。
【０２０４】
次にステップＳ５０８で頬紅塗布の終点か否かを判別し、終点でない場合は上記のステップＳ５０４からＳ５０７を繰り返し、終点であれば頬紅塗布処理を終了する。頬紅塗布の終点の判定は、開始点が矢印Ａ２方向に移動して頬紅塗布の領域外となったとき頬紅塗布の終点とする。
【０２０５】
このように、複数のメイクアップパターンから所望のタイプを選択すると、選択されたメイクアップパターンに応じて顔画像における頬紅を塗布する領域を設定し、頬紅を塗布する領域の顔画像の色に、頬紅の色を重ねることにより頬紅を塗布するため、所望のタイプを選択するだけで、選択したメイクアップパターンに応じて顔画像の頬部分に頬紅を塗布して表示することができる。
【０２０６】
また、頬紅を塗布する領域内の塗布の開始点から離間するほど頬紅の濃度を低下させてぼかしている為、塗布した頬紅が顔画像の肌色となじんで違和感のない頬紅を表示でき、更に、頬紅を塗布する領域内で塗布の開始点を順次移動させるため、顔画像における頬紅を塗布する領域の形状に拘わらず、塗布した頬紅が顔画像の肌色となじんで違和感のない頬紅を表示できる。
【０２０７】
シミュレータメインアプリ２８に含まれるシャドウ処理部３８は分類され把握された被化粧対象者のほおの形態的特徴に応じたチークメーキャップを行うようにしてもよい。一般にチークメーキャップは、演出するイメージによって施す方法が異なる。そこで、本発明では、「血色の演出」に絞って検討を行った。
【０２０８】
なお、血色に着目した理由は以下の３点に基づくものである。まず１つ目は、血色というのは健康な状態である場合、本来は誰でもが持っている要素であるため、個々に持つ本来の健康的な美しさを自然に引き出すことに通じると考えたからである。
【０２０９】
また、血色が良好であるほおの例としては、例えば乳児のほおが自明な例であるが「血色が良く好ましい」と感じられる例では、血色は目、鼻、口、耳を結ぶエリア内に現れる。そこで、血色に着目した理由の２つ目は、目、鼻、口、耳をガイドラインとして、全ての人に共通した法則で、チークメーキャップを施す位置を導出せるのではないかと考えたからである。更に、血色に着目した理由の３つ目は、血色の演出は多くの人がチークを使用する目的としており、かつ、美しいと感じるほおの要素であるため、多くの人の要望に合致するからである。
【０２１０】
また、チークを使用する目的について、普段チークメーキャップを行う２０代と３０代の女性６８名を対象としてアンケートを行った。その結果、「血色をよく見せるため」が最も多く選択された。また、美しいと思うほおについて、普段チークメーキャップを行う２０代女性４０名を対象としてアンケートを行った結果、回答の多い順に、「はりがある」、「ほどよくふっくら」、「血色が良い」であった。
【０２１１】
また、一般に化粧をする際は、化粧下地やファンデーション等を用い、素肌の色むらを整える。この際、素肌では自然にあった血色がほとんど消されてしまう。したがって、チークメーキャップで血色を加えることは、本来持っている血色の要素を取り戻すという自然な演出方法であるといえる。
【０２１２】
美容技術者が施すチークメーキャップは、一般の人が自分自身で施すものよりも美しい仕上がりとなる。これは、美容技術者は経験則と専門知識によって個々の顔の特徴をとらえ、各々に似合って美しい仕上がりとなる方法を身につけているからだと考えられる。そこで、美容技術者のチークメーキャップの施し方を分析し、法則性を抽出することを試みた。
【０２１３】
まず、ほおの特徴が異なるモデル１０名の顔写真を使用し、美容技術者２７名に「自然な血色をチークメーキャップで表現するとしたら、どの辺りを中心にどこまでぼかしますか？」というアンケートを実施した。また、チークメーキャップを施す位置の中心と範囲は、各顔を印刷した紙に直接、書き込みをしてもらった。
【０２１４】
図６８は被化粧対象者のほおの形態的特徴に応じたチークメーキャップの一例を説明する為のイメージ図である。図６８では、あるモデル（モデルＡ）に対して、チークメーキャップの中心を導く線を表している。
【０２１５】
まず、血色を表現するチークメーキャップの中心の位置は、目、鼻、口、耳を結ぶエリアの中心付近である。更に、その箇所を顔の特定し易い要素を基準として導くことを検討した結果、図６８に示すように鼻先からアリキュラ（耳の前の口を開けると窪む箇所）を線２５００で結び、目の中心から引いた水平線２５０１が顔の輪郭と交わる点から口角に線２５０２を引くと、両者の交点が美容技術者の回答と一致することがわかった。
【０２１６】
次に、チークメーキャップをぼかす範囲について説明する。メーキャップをぼかす範囲は、目、鼻、口、耳を結ぶエリアの中にある。更に、この範囲は先程のチークメーキャップを施す中心を導く線を利用して描かれる平行四辺形の中に入る。
【０２１７】
具体的には、まずチークメーキャップの中心を導く際に引いた目の中心を通る水平線２５０１が顔の輪郭と交わる点から鼻先に引いた線（第１の線）２５０３を平行に口角まで下ろした線（第２の線）２５０４を設ける。更に、口角から上に向かって垂直線（第３の線）２５０５を引き、その垂直線２５０５を目の中心を通る水平線２５０１が顔の輪郭と交わるところまで平行に移動させた線（第４の線）２５０６を設ける。図６８では、これらの線２５０３〜２５０６により、平行四辺形を構成することができる。また、美容技術者が書き込んだチークメーキャップをぼかす範囲は、この平行四辺形の中に収まっていることがわかる。
【０２１８】
上述により、全ての顔に対して共通の方法でチークを施す起点の位置と、ぼかす範囲の目安を顔のスペースを決める三大要素である目・口・鼻により導出することが可能となった。なお、以下の説明において、チークメーキャップを施す起点の位置を「ベストポイント」と呼ぶこととする。
【０２１９】
つまり、血色演出チークメーキャップの起点は、鼻先からアリキュラを結んだ線と、目の中心から引いた水平線と顔の輪郭と交わる点から口角に引いた線の交点である。また、ぼかしの範囲はベストポイントをガイドラインとして描いた平行四辺形である。具体的には、目の中心を通る水平線と顔の輪郭との交点から鼻先に線を引き、次にその線を平行に口角まで下ろす。更に、口角から上に向かって垂直な線を引き、その垂直線を目の中心を通る水平線と交わる地点まで平行に移動したときにできる平行四辺形である。
【０２２０】
このように、チークを施す起点のベストポイントとぼかしの範囲は、どのタイプにも共通の方法で導出することができることがわかった。
【０２２１】
美容技術者の経験則からは、ほおの特徴を考慮してチークメーキャップの形を操作することがその人に似合って美しい仕上がりとなるという予測があった。実際に、導かれたチークを施す起点及びぼかす範囲の条件を満たしても、似合わない仕上がりとなることがある。
【０２２２】
そこで、ほおの形態的特徴によって調整の方向を考慮し、チークメーキャップの形もその方向性に合わせて変えるという仮説を立てた。すなわち、ほおが短い人は長く見えるように、長い人は短く見えるようにする、また、骨格感の目立つ人はふっくらと、肉付き感の目立つ人はすっきりと見えるように調整する。
【０２２３】
ここで、上述の仮説を検証するためアンケートを行った。アンケートでは、ほおの形態的特徴の異なるモデル４名に対して、２種類のチークメーキャップを施した。チークメーキャップの一つは、ベストポイントとぼかしの範囲の目安の法則を使い、更にほおの特徴に合わせてぼかしの形を変えて入れた「ＯＫチーク」である。もう一方は、ぼかしの形を考慮せずに入れた「ＮＧチーク」である。この２種類について、「ＯＫ」と「ＮＧ」の情報は隠しておき、一般女性（２０代女性４０名）に評価をしてもらった。
【０２２４】
具体的には、各写真を１枚ずつ見てもらい、それぞれのチークメーキャップの仕上がりについて両極５段階尺度で評価してもらった。また、評価項目は、「自然な−不自然な」、「合っている−合っていない」等であった。４名のモデルに対する４０名の評価の平均値を算出し検討した。
【０２２５】
評価について統計的な検定を行ったところ、「ＯＫチーク」は、「ＮＧチーク」よりも、自然な仕上がりでほおの立体感が整いほおの肉付きがややふっくらと見えることがわかった。この結果は、上述した美しいほおの要素である「ハリがあり、ほどよくふっくら」にも合致する。また、このチークメーキャップをすることで、顔全体のバランスまでもが整って見えることがわかった。つまり、上述した「ＯＫチーク」により、ほおが立体的に見え、ほどよくふっくらとした肌のハリを感じることができ、本来その人が持っている自然で健康的な血色の美しさを取り戻すことができる。また、血色演出は、個々の美しさを自然に引き出しながら、バランスを調整することができる。上述のアンケートで各モデルに施したチークメーキャップの形は、ほおの長さと骨格・肉付きの見え方を調整する考えに基づいたものである。
【０２２６】
図６８は、ほおの形態的特徴別のチークメーキャップの形状と範囲を表している。図６８において、標準顔に対応するチーク形状は、目安となる平行四辺形に内接する内接楕円２５０７となる。
【０２２７】
ここで、図６８の内接楕円２５０７は、長軸Ａをぼかしの目安の平行四辺形の縦の辺の中点２５０８−１，２５０８−２を結ぶ直線とし、短軸Ｂを長軸Ａの中点２５０９と直交し、平行四辺形の上下の辺に接する直線とする。更に、各軸Ａ，Ｂのそれぞれの半分の長さをａ，ｂとするとき、内接楕円は、（ｘ２／ａ２）＋（ｙ２／ｂ２）＝１で表すことができる。また、平均顔の場合、ａ：ｂ＝１：０．５５±０．０２の関係となる。
【０２２８】
なお、チークメーキャップのぼかし方法については、基本的には実際には起点がもっとも濃く、ぼかしの形の境界に向かって淡くなり、境界部分のぼかしは肌に自然に溶け込むように塗布する。
【０２２９】
（眉処理）
シミュレータメインアプリ２８に含まれる眉処理部３７は実施例１におけるステップＳ８０の眉形状の変形処理を以下の美容理論に基づいて行うことで、あらゆるユーザの顔にあった美しい眉に変形できる。
【０２３０】
一般的に、形の良い眉というのは、次の要素からなることが知られている。１．眉頭は目頭の真上から始まる。２．眉尻は小鼻と目尻を結んだ延長線上にある。３．眉山は眉頭から２／３の位置にある。このような眉が形の良い眉と言われている。更に、詳細に図６９に基づいてこれらの要素を説明する。
【０２３１】
図６９は理想的な眉の形を説明する説明図である。図６９では目頭３００１から垂直に立ち上がる目頭線３００２上に眉頭３００３があり、小鼻３００４から目尻３００５に向かって傾斜する小鼻眉尻線３００６上に眉尻３００７があり、眉頭３００３と眉尻３００７とを結ぶ眉基線３００８の眉頭３００３から眉尻３００７に向かう約２／３の位置（目尻側の白目の端部とほぼ一致する）の垂直な眉山線３００９上には、眉山３０１０が存在している。
【０２３２】
このような眉が形の良い眉であるが、最近の我々の研究から、形の良い眉をいろいろなユーザに描いても全体的に似合わないケースが多く、更に他の要素が関係していることが判明した。そして、その新たな要素を加味することにより、一人一人の顔立ちにあった美しい眉に変形することが可能になった。
【０２３３】
その要素は、４．顔全体における眉の眉山３０１０の位置と、５．眉頭３００３から眉山３０１０を形成する角度とで、これらの新たな要素を追加することで、バランスのとれた美しい眉に変形できる。
【０２３４】
ここでは、眉頭３００３、眉山３０１０などの部位の名称を使用していくが、眉処理部３７は前述したトラッキングポイント３４のうち、眉頭３００３に対応する特徴点（ＢＲ１）、眉山３０１０に対応する特徴点（ＢＲ２）を利用する。
【０２３５】
次に、顔とのバランスがとれた美しい眉の位置について説明する。顔とのバランスがとれた眉については、４．顔全体における眉の眉山３０１０の位置と、５．眉頭３００３から眉山３０１０を形成する角度とが重要である。これらの点について、図７０に基づき説明を行う。図６７は眉の位置の状態を説明する説明図である。
【０２３６】
図７０の（Ａ）、（Ｂ）、（Ｃ）は、顔全体に対して眉の占める位置を表している。図７０の（Ａ）、（Ｂ）、（Ｃ）に書かれている実線で示される仮想の横線イは、顔を正面から見た場合の顔の最大幅を示す線で、通常は下瞼に接する線になる。縦線ロは、顔の最大幅を示す前記横線イを顎の下部から垂直に立てた場合の仮想の線である。横線イと縦線ロとは顔のほぼ中心で直角に交差し、これらの横線イと縦線ロの端をａ、ｂ、ｃ、ｄからなる４つの点線で表した辺で囲んで仮想の正方形を形成している。
【０２３７】
ここで図７０の（Ａ）の眉の位置を見ると、眉の眉山３０１０が前述した仮想の正方形の辺ａに接しており、顔全体で見ると美しい位置に眉があり、バランスがとれていることが判る。また、図７０の（Ｂ）では、仮想の正方形の辺ａから眉の眉山３０１０が下方に離れて存在していて、顔全体から見ると中心に目、鼻、眉が纏まってしまい、顔が短く見え、バランスがとれていない。また、図７０の（Ｃ）では、仮想の正方形辺ａから眉の眉山３０１０が飛び出てしまい、顔全体から見ると顔が長く見え、全体的なバランスが良くない。
【０２３８】
一般的に、顔全体が丸い人は、図７０の（Ｂ）のように辺ａの下方に眉山３０１０が位置しやすく、顔全体が長い人は図７０の（Ｃ）のように辺ａの上方に眉山３０１０が飛び出てしまう傾向にあり、眉の描き方によってこれらの顔の傾向を増長してしまうケースが散見される。
【０２３９】
ここで図７０の（Ａ）の状態を詳細に観察すると、眉頭３００３から眉山３０１０を形成する角度は、眉頭３００３から眉尻３００７を結ぶ眉基線３００８に対して約１０度であり、眉山３０１０は辺ａに接している。また、図７０の（Ｂ）では、眉頭３００３から眉山３０１０を形成する角度は、眉頭３００３から眉尻３００７を結ぶ眉基線３００８に対して約５度であり、眉山３０１０は辺ａから下方に離れて存在している。
【０２４０】
また、図７０の（Ｃ）では、眉頭３００３から眉山３０１０を形成する角度は、眉頭３００３から眉尻３００７を結ぶ眉基線３００８に対して約２０度であり、眉山３０１０は辺ａから眉山３０１０が飛び出ている。図７０の（Ｂ）又は（Ｃ）のような状態の眉をできるだけ図７０の（Ａ）の状態に近づくように眉を描くことによって顔とのバランスがとれた美しい眉になることが判る。
【０２４１】
この眉の描き方の手順について、図６９と図７０に基づき更に詳細に説明する。まず、被施術者の顔正面の最大横幅（通常は下瞼を通る直線になる）を測定し、その横幅からなる仮想の横線イを顔の下瞼に沿って作成する。続いて、横線イと同一の長さを顎の最下点から立設させて仮想の縦線ロを作り、顔の正面で横線イと縦線ロを直交させ、横線イと縦線ロのそれぞれの端部を通る仮想の辺ａ、ｂ、ｃ、ｄで仮想の正方形を形成する。こうして作られた辺ａと被施術者の眉山３０１０の位置を比較し、眉山３０１０が正方形の辺ａに一致するか、辺ａより高い位置にあるか、低い位置にあるかを判定する。
【０２４２】
図７０の（Ａ）のように眉山３０１０が辺ａに一致する場合、眉の角度が眉基線３００８に対して１０度になる場合が多いので、眉頭３００３から眉山３０１０までの目安線を設定する。目安線は、アイブローで眉頭３００３と眉山３０１０の２点をポイントで示しても、薄い線を引いても良い。また、目安線は眉の下側に設定しても、眉の中心、眉の上側に設定してもよい。これらのいずれの場合でも、眉山３０１０は眉山線３００９上にあり、眉山３０１０の上縁は辺ａと接するように眉を描いていく。眉は目安線に沿って一定の幅で眉山３０１０まで描かれるが、眉山３０１０から眉尻３００７までは、被施術者の好みに応じて自由な曲線を作り、眉を完成させる。
【０２４３】
次に、図７０の（Ｂ）のように、眉山３０１０が辺ａに対して低い位置にくる場合は、眉山３０１０の位置を辺ａになるべく近づけるように眉を描いていく。この場合に、図７０の（Ｂ）の眉頭３００３から眉山３０１０の角度は５度と低いので、眉山３０１０を辺ａに近づけるために、１５度の角度の描写部を有する眉スケールを用いて、眉頭３００３から眉山３０１０までの目安線を設定する。しかしながら、目安線の角度があまり大きくなりすぎ、被施術者の元々ある眉山３０１０の位置より大きくずれてしまうような場合には、被施術者が違和感を感じる場合が多いので、元の眉山３０１０の位置から最大２ｍｍの範囲で眉山線３００９上方に新しい眉山３０１０を設定するのが好ましい。眉を剃った状態で全く新しい眉を描く場合は、このような制限を設けなくとも良い。目安線をアイブローで軽く描き、その後、目安線に沿って眉頭３００３から眉山３０１０まで描き上げ、眉尻３００７を描いて理想的な眉を完成させる。眉を剃っていない場合は、もともとある眉の上から前述したように眉を描き上げ、はみ出た部分については、眉を剃って整えることができる。
【０２４４】
また、図７０の（Ｃ）のように、眉山３０１０が辺ａに対して高い位置にくる場合は、眉山３０１０の位置を辺ａになるべく戻すように眉を描いていく。図７０の（Ｃ）の場合の眉頭３００３から眉山３０１０の角度は２０度と高いので、８度の角度で眉頭３００３から眉山３０１０までの目安線を設定する。この場合においても、被施術者の元々ある眉山３０１０の位置より大きくずれてしまうような場合には、被施術者が違和感を感じる場合が多いので、元の眉山３０１０の位置から最大２ｍｍの範囲で眉山線３００９下方に新しい眉山３０１０を設定するのが好ましい。前述した方法と同様に眉を描いていくと顔全体とのバランスがとれた美しい眉ができあがる。
【０２４５】
眉頭３００３と眉山３０１０を結ぶ眉の描き方で顔のイメージを調整できる。例えば、眉を太く描いた場合は「大人っぽく」、眉を細く描いた場合は「かわいらしく」、眉を直線的に描いた場合は「すっきり」、眉を曲線的に描いた場合は「やさしい」などの選択を被施術者の要望に応じて、使い分けることができる。
【０２４６】
このように、シミュレータメインアプリ２８に含まれる眉処理部３７は実施例１におけるステップＳ８０の眉形状の変形処理を上記の美容理論に基づいて行うことで、あらゆるユーザの顔にあった美しい眉に変形できる。
【０２４７】
（ファンデーション処理）
シミュレーションアプリ２８に含まれるファンデーション処理部３６は前処理として以下のような処理を行うこともできる。
【０２４８】
ファンデーション処理の前処理としての肌色評価処理手順について説明する。図７１は、前処理としての肌色評価処理手順の一例を示すフローチャートである。
【０２４９】
図７１に示す肌色評価処理は、まずカメラ等の撮像手段により撮影された顔を含む評価対象画像を入力し（Ｓ６０１）、入力した顔画像を予め設定された分割手法により所定数に分割する（Ｓ６０２）。なお、Ｓ６０１により得られる画像は、例えば、全体が均一に照明された顔をデジタルカメラ等の撮影装置で撮影された画像を用いることができる。
【０２５０】
具体的には、顔画像を同一条件で取り込むための照明ボックスを使用し、照明ボックス内で顔面を均一に照明するために、照明ボックスの前面に複数のハロゲン電球を配置し、ＴＶカメラにより顔面を撮影し、撮影した顔画像を取得する。なお、本発明において用いられる画像ついては、特にこれに制限されるものではなく、例えば蛍光灯等の一般的な照明環境で撮影された画像を用いることもできる。
【０２５１】
次に、所定の領域毎に分割した画像から肌色分布を生成し（Ｓ６０３）、また予め蓄積されている各種データ等を用いて、例えば比較用肌色分布を生成する（Ｓ６０４）。また、Ｓ６０３の処理で得られた個人の肌色分布と、Ｓ６０４の処理で得られた比較用肌色分布とを用いて肌色等を比較して（Ｓ６０５）、肌色分布プロファイルによる評価を行う（Ｓ６０６）。また、Ｓ６０６の処理により得られた評価結果からユーザ等に表示する画面等を生成し（Ｓ６０７）、生成した画面（評価結果内容等）を出力する（Ｓ６０８）。
【０２５２】
ここで、肌色評価を継続するか否かを判断し（Ｓ６０９）、肌色評価を継続する場合（Ｓ６０９において、ＹＥＳ）、Ｓ６０２の処理に戻り、例えば前回とは異なる分割手法による分割を行い、後述する処理を行う。Ｓ６０９の処理において、肌色評価を継続しない場合（Ｓ６０９において、ＮＯ）、処理を終了する。次に、上述した肌色評価処理の詳細について説明する。
【０２５３】
＜顔分割処理：Ｓ６０２＞
次に、上述した顔分割処理について具体的に説明する。顔分割処理は、入力される顔を含むデジタル画像に対して所定の分割を行う。図７２は、特徴点と分割された領域の一例を示す図である。図７２では、一例として顔全体を９３個の領域に分割し、分割した各領域の平均肌色を求め、９３個の肌色データにより顔肌色の分布を表現し、その分布等から肌色評価を行う。
【０２５４】
従来手法の長所である一定の部位に対し、多くのデータを取得することで、例えばその部位の日本人女性（なお、外国人（他人種）でもよく、また男性でもよい。）の分布範囲や平均値を算出でき、その結果個人の肌色データをこれらの指標と比較することで評価することができる。また、例えば同一人物による化粧料の使用前後の肌色比較や他人との二者間での肌色の比較等も可能となる。
【０２５５】
ここで、図７２に示す分割手法は、一例として１０９個の特徴点を有している。また、図７２に示す分割領域は、一例として３個又は４個の特徴点により構成された３角形又は４角形の形状を有する９３個の領域（例えば、図７２において番号１〜９３で示された領域）である。
【０２５６】
また、図７３は、上述した図７２に対応した１０９個の特徴点の顔内の位置関係の一例を示す図である。また、図７４は、上述した図７２に対応する各領域を構成する特徴点の組合せの一例を示す図である。なお、図７３に示されている各特徴点の「Ｎｏ．」、「名称」、図７４に示されている各領域の「領域Ｎｏ．」、「構成点」の名称は、上述した図７２に示された内容に対応している。
【０２５７】
ここで、分割内容を設定する際には、顔分割処理は、例えば図７３に示す特徴点のうち、最初にＮｏ．１〜３７の特徴点（例えば、図７２において「●」で示された点）を第１特徴点として設定する。なお、この３７個の特徴点は、例えば全顔領域のうち、額部分に５点、左右目付近に１０点、鼻に７点、口に９点、目より下のフェースラインに６点設けることが好ましい。
【０２５８】
次に、顔分割処理は、上述した３７の特徴点（第１特徴点）を基準として、例えば図７３に示すＮｏ．３８〜１０９の特徴点（例えば、図７２において「△」で示された点）を第２特徴点として設定する。
【０２５９】
例えば、図７３に示すように、Ｎｏ．１〜３７の予め定義される特徴点１〜３７と、その特徴点のうち少なくとも２つの特徴点間を通る複数の直線の交点により求まる点３８〜４９と、２点間の線分を所定の比率で内分する点５０〜５７，６７〜１０９と、２つの特徴点間を通る直線上にあり、ある特定の点と同一の縦座標又は横座標を持つ点５８〜６６等により、合計１０９点が得られる。
【０２６０】
また、第１及び第２特徴点（１０９点）のうち、図７４に示すように少なくとも３個を構成点として囲まれる領域に分割する。なお、領域を構成する点の数は、図７４に示すように３点又は４点でもよく、また５点以上でもよい。
【０２６１】
ここで、図７２に示す各領域（領域Ｎｏ．１〜９３）は、多くの肌色を観察した経験を元に生理学的に意味のある分割になるよう設定されている。つまり、図７２に示すような設定を行うことにより、色むらが起こり易い部分は領域が狭くなるように分割し、そうでない部分は領域が広くなるように分割している。
【０２６２】
具体的には、図７２〜７４に示す分割例において、例えば額の部分は分割される領域を広く設定し、目の回りや口元、頬等は領域を狭く設定している。このように、設定される分割領域は、肌色を評価する上で重要な部分（領域）について、その領域を狭く設定することで、より詳細に高精度な評価を行うことができる。
【０２６３】
なお、分割領域は、その領域がそれぞれどのような肌色が出易いかを予め過去のデータ等により判断し、その色の度合い等を基準に集約（グループ分け）することができる。これにより、そのグループ毎に容易に評価することができる。
【０２６４】
ここで、上述した図７２〜７４の例では、予め定義される特徴点を３７個（Ｎｏ．１〜３７）としているが、これに限定されるものではなく、例えば少なくとも２５個の特徴点（第１特徴点）を設定することで、同様の分割を行うことができる。
【０２６５】
＜顔の分割と顔肌色分布図の生成＞
次に、分割した顔について顔肌色分布の生成について具体的に説明する。なお、顔全体を均一に照明する照明装置とデジタルカメラを用いた撮影装置は、例えば、「舛田他、画像解析を用いたしみ・そばかす定量化システムの開発、粧技誌、Ｖ２８、Ｎ２、１９９４．」等を用いて取得した顔画像に対して肌色分布図を生成する例について説明するが、本発明において用いられる撮影されたデジタル画像の撮影方法については、特にこれに制限されるものではない。
【０２６６】
所定の位置にセットされた被験者を撮影し、上述したように顔分割処理により例えば３７個の第１特徴点を指定することで、合計１０９個の特徴点を算出することができる。また、顔分割処理は、１０９個の特徴点から上述した図７４に示すような設定により９３個の領域に分割する。なお、この肌色分布は、領域毎に領域毎に、Ｌ＊ａ＊ｂ＊表色系におけるＬ＊，ａ＊，ｂ＊、Ｃａｂ＊、ｈａｂ、ＸＹＺ表色系における三刺激値Ｘ、Ｙ、Ｚ、ＲＧＢの各値、色相Ｈ、明度Ｖ、彩度Ｃ、メラニン量、及びヘモグロビン量のうち、少なくとも１つを用いて平均値により生成される。なお、この場合には、例えば、Ｌ＊ａ＊ｂ＊表色系、ＸＹＺ表色系、及び色相Ｈ，明度V，彩度Cの３要素を採用して画像を生成する。
【０２６７】
全領域の外部及び領域内でも肌色ではない部分は評価対象外となるため、例えば肌色から大きく離れたシアン色等のある特定の色で着色されている。更に、皮膚の細かい情報が消えて顔肌色の分布が把握し易くなっており、例えばモデルＡの「目まわりの肌色が濃い」という特徴がわかる。なお、肌色評価処理において、撮影された顔の周辺部は照明の均一性が低いことがあるため、肌色分布評価処理では、周辺部のデータを除外することができる。
【０２６８】
また、同様の手法で「平均顔」を領域に分割し、得られたモデルＡの９３個の肌色により各領域を着色すると、モデルの顔形状情報を除外した純粋な色情報を把握することができる。
【０２６９】
上述した処理を行うことで、分割した領域を基準に評価することができるため、人物の顔形状情報が除外でき、顔形状が異なる人同士の肌色分布の比較を容易に行うことができる。したがって、この特徴を活かして、例えばモデルＡの顔肌色分布を同年代の平均値と比較を行って評価することもできる。
【０２７０】
＜比較用の顔肌色分布の生成例：Ｓ６０４＞
次に、肌色分布評価処理における比較用の顔肌色分布の生成例について説明する。年代毎の平均肌色分布として、対応する年代の人物が撮影されている顔画像を領域分解し、その後、例えばＬ＊ａ＊ｂ＊表色系におけるＬ＊，ａ＊，ｂ＊、Ｃａｂ＊、ｈａｂ、ＸＹＺ表色系における三刺激値Ｘ、Ｙ、Ｚ、ＲＧＢの各値、色相Ｈ、明度Ｖ、彩度Ｃ、メラニン量、及びヘモグロビン量のうち、少なくとも１つを用いて平均値による肌色分布を求め、年代毎に平均値を算出することで平均肌色分布を求める。
【０２７１】
なお、求めた２０代から６０代までの各年代日本人女性の平均肌色分布のデータを用いて平均顔の各領域を着色する。このように、直色して表示することで、年代毎の平均肌色分布を生成することができ、このデータと比較することで、評価対象画像の高精度な肌色評価を行うことができる。
【０２７２】
＜肌色分布の比較＞
次に、肌色分布の比較例について具体的に説明する。肌色分布評価処理は、差分を取ることによる肌色分布の比較を行う。顔画像を所定の各領域に分割することで顔肌色分布が把握でき、また平均顔等の標準的な顔にその色を置き換えることで、顔の形状を除外した色情報のみのわかり易い表現が可能となる。あるカテゴリー（年齢別、職業別、性別）に属する人々の平均値データや、タレント等の理想的な人のデータ、個人の過去のデータ、他人のデータ等の二者間の差分値の取得が可能となるため、化粧品販売時のカウンセリング等に役立たせることができる。
【０２７３】
＜肌色分布の集約（グルーピング）と肌色分布プロファイル生成例＞
ここで、本実施形態において、肌色分布評価処理は、肌色の領域において、色の傾向が類似する領域を、過去のデータ等を主成分分析し、主成分を求めることで集約（グループ分け）することができる。これにより、そのグループ毎に容易に評価することができる。図７５は、各グループの色の特徴と、各グループを構成する領域番号の一例を示す図である。なお、７５に示す領域を構成する特徴点は、上述した図７２〜７４に対応している。
【０２７４】
図７５に示す例では、部位（１）ほお下、（２）ほお正面、（３）まぶた・くま部位、（４）額、（５）鼻まわり、（６）口まわりがグループ分けされている。また、色の特徴として、「（１）ほお下」は高明度であり、「（２）ほお正面」は赤みよりでやや高明度であり、「（３）まぶた・くま部位」は黄みよりでやや低明度であり、「（４）額」は黄みよりでやや高明度であり、「（５）鼻まわり」は赤みよりでやや低明度であり、「（６）口まわり」は赤みよりで低明度である。
【０２７５】
ここで、一例として２０〜６７歳の５９名における唇の４領域を除いた有効５７個の領域について色相Ｈの主成分分析を実施した結果、６個の主成分で５７個のデータの９０．１％が説明可能であるとわかった。
【０２７６】
そこで、上述した主成分を基に５７個の領域を上述した（１）ほお下、（２）ほお正面、（３）まぶた・くま部位、（４）額、（５）鼻まわり、（６）口まわりの６種に分類する。また、その主成分得点のバランス（肌色プロファイル）で肌色分布を評価することもできる。
【０２７７】
次に、ファンデーション処理の前処理としての顔分類処理手順について説明する。ここでは、立体感を調整し、美しさを演出する方法を抽出するため、どのような立体感が美しいと評価されるのかについて検討を行った。検討に際しては、（ａ）素顔、（ｂ）肌の色むらを自然に整えた素顔風ベースメーク、（ｃ）顔全体が平均顔のバランスに見えるよう立体感を調整した卵型ベースメークの各顔を用いる。
【０２７８】
ここでは、上述した（ａ）〜（ｃ）の３タイプのベースメークを、顔の特徴の異なる６名のモデルに施し、それらを撮影した顔写真を用い、２０代女性２０名を対象としてアンケートを実施した。
【０２７９】
顔の見え方に関する８項目（ひたいの見え方、ひたいの立体感、鼻筋のとおり具合、ほおの肉付き、ほおの長さ、フェースライン、あごの出具合、目鼻立ちのバランス）と、顔全体の立体感、美しさ、好ましさの全体的な印象に関する３項目（顔全体の立体感、美しさ、好ましさ）で評価を行った。また、顔の見え方については、適度かどうかも合わせて回答してもらった。
【０２８０】
その結果、ベースメークを施すことで、目鼻立ちのバランスが整って見え、立体的に見えることがわかった。美しさ、好ましさの評価も高まった。その評価は、卵型ベースメークで最も高かった。卵型ベースに立体感を調整すると、素顔や素顔風ベースよりも顔の評価を高めることが明らかとなった。更に、卵型ベースメークについて詳細な分析を行ったところ、平均顔の輪郭形状と相似の楕円が眉尻を通る顔の内側に浮かび上がるようにベースメークが施されたことがわかった。
【０２８１】
＜標準バランスの顔による検討＞
一般的な美人顔の条件として、卵型のフェースラインと黄金バランスがある。その黄金バランスでは、例えば目の位置は全頭高の約１／２、髪の生え際からあご先までのうち、生え際から１／３の位置に眉頭が、生え際から２／３の位置に小鼻が位置する。
【０２８２】
ここで、従来の画像合成技術等により複数名の顔写真の寸法情報と色彩情報を平均化することで作成される「平均顔」のバランスは、この黄金バランスの値に近づくことが知られている。また、平均顔の作成には、１０人分を用いれば、異なる１０人分の顔写真から作成したものとほぼ印象が変わらないことが示されている（例えば、西谷美和他、「平均顔の特徴を探る」、日本心理学会第６３回大会発表論文集、１９９９年８月発行等）。女性４０名分の顔写真を用いて作成した「平均顔」は、上述した黄金バランスを満たす。後述では、この黄金バランスを標準バランスとする。
【０２８３】
また、「平均顔」から（肌色の情報を除去し）奥行きと骨格肉付き感の情報を除去した顔写真を参照すると、奥行きと骨格肉付き感とは、顔の印象に大きく影響を与えることがわかる。また、平均顔について上述した画像解析（モノクロ化ポスタリゼーション処理）を施したところ、フェースラインの内側にも、フェースラインと相似形の卵型が抽出できることがわかった。
【０２８４】
ここで、図７６は、平均顔の画像（又は立体感）解析結果の一例を示す図である。図７６に示すように、顔のフェースラインに対応する外側のフェースライン（アウターフェースライン）４０００の内側にもアウターフェースライン４０００を相似縮小させたフェースライン（インナーフェースライン）４００１が存在することがわかった。このことからも、顔の内側の立体感を卵型に見せることは、新たな美しさの演出法の一つであることが示された。
【０２８５】
＜立体感の調整−ベストオーバル調整法−＞
次に、フェースラインの内側の立体感、すなわちインナーフェースラインを卵型に整える美容法を作成するため、調整仮説を立てた。ここで、平均顔で得られるアウターフェースラインとインナーフェースラインの形状を「ベストオーバル」と定義する。アウターフェースラインは、横幅対縦幅比がほぼ１：１．４の卵型形状（標準アウターフェースライン）である。「平均顔」のインナーフェースラインは、この標準アウターフェースラインと相似し、所定比率で縮小させた形状であり、横幅対縦幅比もほぼ１：１．４である。
【０２８６】
アウターフェースライン４０００は、上述したように「顔の横幅：縦幅比＝１：１．４」の関係で示される形状である。なお、アウターフェースラインバランスは、顔全体スペース調整の方向性を見極めるポイントとなる。また、インナーフェースライン４００１を個々の顔に当て嵌める場合には、図７６に示すように、まず個々の顔の左右のほお骨の横幅を１とする。次に、その横幅を基準に縦幅がほぼ１．４の標準インナーフェースライン４００１、すなわちベストオーバルを描き、各顔の眉尻（小鼻の横から目尻を通る延長線上を目安）に接するように位置付ける。なお、インナーフェースラインバランスは、骨格・肉付きによる立体感とスペースの調整ゾーンとなる。
【０２８７】
また、アウターフェースライン４０００とインナーフェースライン４００１の間は、自然な奥行き感をつけるゾーン（図７６の斜線部分）４００２とした。また、このゾーン４００２は、奥行きを出すと同時にアウターフェースライン４０００とインナーフェースライン４００１の形を整えて見せる奥行きの調整ゾーンである。
【０２８８】
前述したファンデーション処理の前処理は、ベースメーキャップの為に利用することができる。
【０２８９】
以上、本発明によれば、動画像に含まれるユーザの顔に、少ない処理負担で正確にメイクアップを施すことができる。なお、特許請求の範囲に記載した撮影手段はカメラ２に相当し、制御手段は制御部８に相当し、表示手段はモニタ７に相当し、顔認識処理手段は顔認識処理部３３に相当し、メイクアップ処理手段はメイクアップ処理部３５に相当し、操作手段は操作パネル４に相当し、ハーフミラー手段はハーフミラー３に相当し、印刷手段はプリンタ５に相当する。
【０２９０】
また、本発明は、具体的に開示された実施例に限定されるものでなく、特許請求の範囲から逸脱することなく、種々の変形や変更が可能である。
【０２９１】
本発明のメイクアップシミュレーション装置１はリアルタイムシミュレーションである為、静止画によるものや従来のメイクアップシミュレーション装置１と異なり、瞬時に顔のトラッキングポイントを認識し、そのトラッキングポイントをもとにシミュレーションを行うことができるので、これまでできなかった以下のことも可能にしている。
【０２９２】
本発明のメイクアップシミュレーション装置１はリアルタイムなシミュレーションが可能である。本発明のメイクアップシミュレーション装置１は、これまでのように正面顔だけでなく、横顔からのシミュレーション等も可能なため、頬紅等のシミュレーション効果やテクニックの確認が容易である。
【０２９３】
本発明のメイクアップシミュレーション装置１は、リアルタイムなシミュレーションになったことで、これまでの平面的な表現から、顔を立体としてとらえた分析や、立体感や質感の表現も可能になった。
【０２９４】
また、本発明のメイクアップシミュレーション装置１は、同時に何人もの顔認識が可能であるため、同時に何人ものリアルタイムなシミュレーションが可能である。本発明のメイクアップシミュレーション装置１は顔認識機能が優れていることから、個々の顔立ちにあわせて、あるいは男性、女性を自動的に分類し、顔立ちや分類にあわせたメイクアップが可能である。例えば本発明のメイクアップシミュレーション装置１は、カップルで同時に、それぞれのメイクアップシミュレーションが可能である。
【図面の簡単な説明】
【０２９５】
【図１】本発明によるメイクアップシミュレーション装置の第一実施例の外観図である。
【図２】メイクアップシミュレーション装置の第一実施例の断面図である。
【図３】本発明によるメイクアップシミュレーション装置の第二実施例の外観図である。
【図４】メイクアップシミュレーション装置の第二実施例の断面図である。
【図５】本発明によるメイクアップシミュレーション装置の第三実施例の外観図である。
【図６】メイクアップシミュレーション装置の第三実施例の断面図である。
【図７】本発明によるメイクアップシミュレーション装置の第四実施例の外観図である。
【図８】メイクアップシミュレーション装置の第四実施例の断面図である。
【図９】本発明によるメイクアップシミュレーション装置の第五実施例の外観図である。
【図１０】メイクアップシミュレーション装置の第五実施例の断面図である。
【図１１】メイクアップシミュレーション装置の第五実施例のハードウェア構成図である。
【図１２】メイクアップシミュレーション装置が行なう処理の概略を表したフローチャートである。
【図１３】モニタに表示されるメイン画面及び操作パネルに表示される操作画面の一例のイメージ図である。
【図１４】メイクアップシミュレーション装置が行なうメイクアップシミュレーション以外の処理を表すイメージ図である。
【図１５】本発明によるメイクアップシミュレーションシステムの一実施例のシステム構成図である。
【図１６】シミュレータメインアプリが行なう処理を表す画面イメージ図である。
【図１７】メイクアップ前画像に含まれるユーザの顔のイメージ画像である。
【図１８】トラッキングポイントを表す一例のイメージ図である。
【図１９】メイクアップ処理パラメータファイルの一例の構成図である。
【図２０】口紅処理により参照されるトラッキングポイントを示すイメージ図である。
【図２１】口紅処理を示す一例のフローチャートである。
【図２２】輪郭抽出処理を表す一例のイメージ図である。
【図２３】輪郭抽出用画像６００の唇８点及び鼻３点のトラッキングポイントと、唇８点及び鼻３点のトラッキングポイントを元に再探索して抽出した輪郭抽出用画像６０１のポイントとの比較画面である。
【図２４】唇８点及び鼻３点のトラッキングポイントからデフォルトポイントを求める処理を表した一例のイメージ図である。
【図２５】ポイント又はデフォルトポイントから輪郭を完成させる処理を表したイメージ図である。
【図２６】色塗りマップ生成処理を表した一例のイメージ図である。
【図２７】色塗りマップに基づく色塗り処理を表した一例のイメージ図である。
【図２８】シャドウ処理により参照されるトラッキングポイントを示すイメージ図である。
【図２９】シャドウ処理を示す一例のフローチャートである。
【図３０】基本輪郭の生成処理を表す一例のイメージ図である。
【図３１】色塗り輪郭の生成処理を表す一例のイメージ図である。
【図３２】ぼかし処理を掛けていない色塗りマップと、ぼかし処理を掛けている色塗りマップとを表した一例のイメージ図である。
【図３３】チーク処理により参照されるトラッキングポイントを示すイメージ図である。
【図３４】チーク処理を示す一例のフローチャートである。
【図３５】色塗り輪郭を表した一例のイメージ図である。
【図３６】眉処理により参照されるトラッキングポイントを示すイメージ図である。
【図３７】眉処理を示す一例のフローチャートである。
【図３８】眉輪郭抽出処理を表す一例のイメージ図である。
【図３９】変形指定に対応した指示曲線の作成処理を表す一例のイメージ図である。
【図４０】ファンデーション処理により参照されるトラッキングポイントを示すイメージ図である。
【図４１】ファンデーション処理を示す一例のフローチャートである。
【図４２】輪郭を表した一例のイメージ画像である。
【図４３】ぼかし処理前の元画像と、ぼかし処理後の元画像とを表した一例のイメージ図である。
【図４４】口紅処理（リップペン描画処理）の一実施例のフローチャートである。
【図４５】口紅処理（リップペン描画処理）の一実施例のフローチャートである。
【図４６】口を囲む矩形領域の顔画像の一例のイメージ図である。
【図４７】描画イメージを示す図である。
【図４８】オフセット曲線を示す図である。
【図４９】唇の形態的特徴を把握するために予め設定した複数のポイントの位置を表した一例のイメージ図である。
【図５０】アイライン検索処理の一実施例のフローチャートである。
【図５１】アイライン描画処理の一実施例のフローチャートである。
【図５２】アイライン描画パターンを示す図である。
【図５３】アイライン描画パターンを示す図である。
【図５４】アイライン描画パターンを示す図である。
【図５５】アイライン描画パターンを示す図である。
【図５６】アイシャドウ塗布処理の一実施例のフローチャートである。
【図５７】アイシャドウ塗布領域の設定を説明するための図である。
【図５８】アイシャドウ塗布領域の上限を示す図である。
【図５９】アイシャドウ塗布を説明するための図である。
【図６０】エアブラシ処理における中心からの距離と濃度との関係を示す図である。
【図６１】標準バランスの目の形態を示す正面図である。
【図６２】頬紅塗布処理（チーク処理）の一実施例のフローチャートである。
【図６３】メイクアップパターンがスイートの場合の頬紅塗布処理を説明するための図である。
【図６４】メイクアップパターンがクールの場合の頬紅塗布処理を説明するための図である。
【図６５】メイクアップパターンがキュートの場合の頬紅塗布処理を説明するための図である。
【図６６】メイクアップパターンがフレッシュの場合の頬紅塗布処理を説明するための図である。
【図６７】エアブラシ処理における中心からの距離と濃度との関係を示す図である。
【図６８】被化粧対象者のほおの形態的特徴に応じたチークメーキャップの一例を説明する為のイメージ図である。
【図６９】理想的な眉の形を説明する説明図である。
【図７０】眉の位置の状態を説明する説明図である。
【図７１】前処理としての肌色評価処理手順の一例を示すフローチャートである。
【図７２】特徴点と分割された領域の一例を示す図である。
【図７３】上述した図７２に対応した１０９個の特徴点の顔内の位置関係の一例を示す図である。
【図７４】上述した図７２に対応する各領域を構成する特徴点の組合せの一例を示す図である。
【図７５】各グループの色の特徴と、各グループを構成する領域番号の一例を示す図である。
【図７６】平均顔の画像（又は立体感）解析結果の一例を示す図である。
【符号の説明】
【０２９６】
１ メイクアップシミュレーション装置
２ カメラ
３ ハーフミラー
４ 操作パネル
５ プリンタ
６ 照明
７ モニタ
８ 制御部
９ 透明板
１０ 演算処理装置
１１ メモリ装置
１２ ドライブ装置
１３ 補助記憶装置
１４ 記録媒体
１５ タッチパネルモニタ
１６ 陳列ケース
１７ ＩＣタグリーダライタ
２５ 静止画システム
２７ 共有メモリ
２８ シミュレータメインアプリ
２９ インターフェースアプリ
３３ 顔認識処理部
３４ トラッキングポイント
３５ メイクアップ処理部
３６ ファンデーション処理部
３７ 眉処理部
３８ シャドウ処理部
３９ 口紅処理部
４０ チーク処理部
４１ 商品情報
【特許請求の範囲】
【請求項１】
ユーザの顔を撮影した動画像にメイクアップを施すメイクアップシミュレーションシステムであって、
ユーザの顔を撮影して動画像を出力する撮影手段と、
前記撮影手段から出力された動画像を受信し、前記動画像を画像処理して出力する制御手段と、
前記制御手段から出力された動画像を表示する表示手段とを備え、
前記制御手段は、前記動画像からユーザの顔を所定のトラッキングポイントに基づいて認識する顔認識処理手段と、
前記トラッキングポイントに基づいて前記動画像に含まれるユーザの顔に所定のメイクアップを施して前記表示手段に出力するメイクアップ処理手段とを備え、
前記メイクアップ処理手段に含まれる口紅処理手段は、前記トラッキングポイントに含まれる上唇の山と谷の位置、口の左右端、下唇の下端の他、下唇における左端から口幅の１／３の位置及び下唇における右端から口幅の１／３の位置に基づいて、前記動画像に含まれるユーザの顔に口紅処理を施すこと
を特徴とするメイクアップシミュレーションシステム。
【請求項２】
前記メイクアップ処理手段に含まれるシャドウ処理手段は、前記トラッキングポイントに含まれる目頭の位置、目尻の位置の他、前記動画像に含まれるユーザの顔の目元部分から検出した目の輪郭に基づいて、前記動画像に含まれるユーザの顔にシャドウ処理を施すことを特徴とする請求項１記載のメイクアップシミュレーションシステム。
【請求項３】
前記シャドウ処理手段は、前記動画像に含まれるユーザの顔の目元部分で目の輪郭を検出する輪郭検出手段と、
検出された前記目の輪郭及びその近傍に描画するアイライン描画手段とを有することを特徴とする請求項２記載のメイクアップシミュレーションシステム。
【請求項４】
前記アイライン描画手段は、前記アイライン又はアイシャドウを塗布する領域内の塗布の開始点から離間するほどアイシャドウの濃度を低下させることを特徴とする請求項３記載のメイクアップシミュレーションシステム。
【請求項５】
前記メイクアップ処理手段に含まれるチーク処理手段は、前記トラッキングポイントに含まれる目頭の位置、目尻の位置、鼻の左右端、口の左右端の他、瞳の位置に基づいて、前記動画像に含まれるユーザの顔にチーク処理を施すことを特徴とする請求項１記載のメイクアップシミュレーションシステム。
【請求項６】
前記チーク処理手段は、前記チーク処理として頬紅を塗布する領域内の塗布の開始点から離間するほど頬紅の濃度を低下させることを特徴とする請求項５記載のメイクアップシミュレーションシステム。
【請求項７】
前記メイクアップ処理手段に含まれる眉処理手段は、前記トラッキングポイントに含まれる目頭の位置、目尻の位置、小鼻の位置、眉頭の位置、眉尻の位置、眉山の位置、顎の下部、下瞼の下端に基づいて、前記動画像に含まれるユーザの顔に眉処理を施すことを特徴とする請求項１記載のメイクアップシミュレーションシステム。
【請求項８】
前記眉処理手段は、前記動画像に含まれるユーザの顔の最大横幅を示す横線と、前記横線の長さと同一の長さからなる顎の最下点から立設させた縦線とに接する辺からなる仮想の正方形を想定し、前記正方形の上辺に対する眉山の位置を判定し、その判定結果に基づいて眉頭から眉山までの目安線を設定し、前記目安線に基づいて眉処理を施すことを特徴とする請求項７記載のメイクアップシミュレーションシステム。
【請求項９】
前記眉処理手段は、眉山が前記正方形の上辺より上にあるとの判定に基づき、眉頭下部と眉尻とを結ぶ眉基線に対して１０度の角度で目安線を設定することを特徴とする請求項８記載のメイクアップシミュレーションシステム。
【請求項１０】
ユーザの顔を撮影した動画像にメイクアップを施すメイクアップシミュレーション装置であって、
ユーザの顔を撮影して動画像を出力する撮影手段と、
前記撮影手段から出力された動画像を受信し、前記動画像を画像処理して出力する制御手段と、
前記制御手段から出力された動画像を表示する表示手段とを備え、
前記制御手段は、前記動画像からユーザの顔を所定のトラッキングポイントに基づいて認識する顔認識処理手段と、
前記トラッキングポイントに基づいて前記動画像に含まれるユーザの顔に所定のメイクアップを施して前記表示手段に出力するメイクアップ処理手段とを備え、
前記メイクアップ処理手段に含まれる口紅処理手段は、前記トラッキングポイントに含まれる上唇の山と谷の位置、口の左右端、下唇の下端の他、下唇における左端から口幅の１／３の位置及び下唇における右端から口幅の１／３の位置に基づいて、前記動画像に含まれるユーザの顔に口紅処理を施すこと
を特徴とするメイクアップシミュレーション装置。
【請求項１１】
ユーザの顔を撮影した動画像にメイクアップを施すメイクアップシミュレーションシステムにおけるメイクアップシミュレーション方法であって、
制御手段が、撮影手段の撮影した動画像からユーザの顔を認識し、メイクアップシミュレーションを開始するステップと、
前記制御手段が、前記動画像に含まれるユーザの顔を所定のトラッキングポイントに基づいて認識するステップと、
前記制御手段が、前記トラッキングポイントに基づいて前記動画像に含まれるユーザの顔に所定のメイクアップを施して前記表示手段に出力するステップと
を有し、
前記制御手段は、前記トラッキングポイントに含まれる上唇の山と谷の位置、口の左右端、下唇の下端の他、下唇における左端から口幅の１／３の位置及び下唇における右端から口幅の１／３の位置に基づいて、前記動画像に含まれるユーザの顔に口紅処理を施すことを特徴とするメイクアップシミュレーション方法。
【請求項１２】
少なくとも演算処理装置，記憶装置および出力装置を備えたコンピュータにおいて実行されるユーザの顔を撮影した動画像にメイクアップを施すメイクアップシミュレーションプログラムであって、
前記演算処理装置に、撮影手段の撮影した動画像からユーザの顔を認識し、メイクアップシミュレーションを開始するステップと、
前記動画像に含まれるユーザの顔を所定のトラッキングポイントに基づいて認識するステップと、
前記トラッキングポイントに基づいて前記動画像に含まれるユーザの顔に所定のメイクアップを施して前記出力装置に出力するステップとを実行させ、
前記演算処理装置に、前記トラッキングポイントに含まれる上唇の山と谷の位置、口の左右端、下唇の下端の他、下唇における左端から口幅の１／３の位置及び下唇における右端から口幅の１／３の位置に基づいて、前記動画像に含まれるユーザの顔に口紅処理を施すように実行させるメイクアップシミュレーションプログラム。
【請求項１】
ユーザの顔を撮影した動画像にメイクアップを施すメイクアップシミュレーションシステムであって、
ユーザの顔を撮影して動画像を出力する撮影手段と、
前記撮影手段から出力された動画像を受信し、前記動画像を画像処理して出力する制御手段と、
前記制御手段から出力された動画像を表示する表示手段とを備え、
前記制御手段は、前記動画像からユーザの顔を所定のトラッキングポイントに基づいて認識する顔認識処理手段と、
前記トラッキングポイントに基づいて前記動画像に含まれるユーザの顔に所定のメイクアップを施して前記表示手段に出力するメイクアップ処理手段とを備え、
前記メイクアップ処理手段に含まれる口紅処理手段は、前記トラッキングポイントに含まれる上唇の山と谷の位置、口の左右端、下唇の下端の他、下唇における左端から口幅の１／３の位置及び下唇における右端から口幅の１／３の位置に基づいて、前記動画像に含まれるユーザの顔に口紅処理を施すこと
を特徴とするメイクアップシミュレーションシステム。
【請求項２】
前記メイクアップ処理手段に含まれるシャドウ処理手段は、前記トラッキングポイントに含まれる目頭の位置、目尻の位置の他、前記動画像に含まれるユーザの顔の目元部分から検出した目の輪郭に基づいて、前記動画像に含まれるユーザの顔にシャドウ処理を施すことを特徴とする請求項１記載のメイクアップシミュレーションシステム。
【請求項３】
前記シャドウ処理手段は、前記動画像に含まれるユーザの顔の目元部分で目の輪郭を検出する輪郭検出手段と、
検出された前記目の輪郭及びその近傍に描画するアイライン描画手段とを有することを特徴とする請求項２記載のメイクアップシミュレーションシステム。
【請求項４】
前記アイライン描画手段は、前記アイライン又はアイシャドウを塗布する領域内の塗布の開始点から離間するほどアイシャドウの濃度を低下させることを特徴とする請求項３記載のメイクアップシミュレーションシステム。
【請求項５】
前記メイクアップ処理手段に含まれるチーク処理手段は、前記トラッキングポイントに含まれる目頭の位置、目尻の位置、鼻の左右端、口の左右端の他、瞳の位置に基づいて、前記動画像に含まれるユーザの顔にチーク処理を施すことを特徴とする請求項１記載のメイクアップシミュレーションシステム。
【請求項６】
前記チーク処理手段は、前記チーク処理として頬紅を塗布する領域内の塗布の開始点から離間するほど頬紅の濃度を低下させることを特徴とする請求項５記載のメイクアップシミュレーションシステム。
【請求項７】
前記メイクアップ処理手段に含まれる眉処理手段は、前記トラッキングポイントに含まれる目頭の位置、目尻の位置、小鼻の位置、眉頭の位置、眉尻の位置、眉山の位置、顎の下部、下瞼の下端に基づいて、前記動画像に含まれるユーザの顔に眉処理を施すことを特徴とする請求項１記載のメイクアップシミュレーションシステム。
【請求項８】
前記眉処理手段は、前記動画像に含まれるユーザの顔の最大横幅を示す横線と、前記横線の長さと同一の長さからなる顎の最下点から立設させた縦線とに接する辺からなる仮想の正方形を想定し、前記正方形の上辺に対する眉山の位置を判定し、その判定結果に基づいて眉頭から眉山までの目安線を設定し、前記目安線に基づいて眉処理を施すことを特徴とする請求項７記載のメイクアップシミュレーションシステム。
【請求項９】
前記眉処理手段は、眉山が前記正方形の上辺より上にあるとの判定に基づき、眉頭下部と眉尻とを結ぶ眉基線に対して１０度の角度で目安線を設定することを特徴とする請求項８記載のメイクアップシミュレーションシステム。
【請求項１０】
ユーザの顔を撮影した動画像にメイクアップを施すメイクアップシミュレーション装置であって、
ユーザの顔を撮影して動画像を出力する撮影手段と、
前記撮影手段から出力された動画像を受信し、前記動画像を画像処理して出力する制御手段と、
前記制御手段から出力された動画像を表示する表示手段とを備え、
前記制御手段は、前記動画像からユーザの顔を所定のトラッキングポイントに基づいて認識する顔認識処理手段と、
前記トラッキングポイントに基づいて前記動画像に含まれるユーザの顔に所定のメイクアップを施して前記表示手段に出力するメイクアップ処理手段とを備え、
前記メイクアップ処理手段に含まれる口紅処理手段は、前記トラッキングポイントに含まれる上唇の山と谷の位置、口の左右端、下唇の下端の他、下唇における左端から口幅の１／３の位置及び下唇における右端から口幅の１／３の位置に基づいて、前記動画像に含まれるユーザの顔に口紅処理を施すこと
を特徴とするメイクアップシミュレーション装置。
【請求項１１】
ユーザの顔を撮影した動画像にメイクアップを施すメイクアップシミュレーションシステムにおけるメイクアップシミュレーション方法であって、
制御手段が、撮影手段の撮影した動画像からユーザの顔を認識し、メイクアップシミュレーションを開始するステップと、
前記制御手段が、前記動画像に含まれるユーザの顔を所定のトラッキングポイントに基づいて認識するステップと、
前記制御手段が、前記トラッキングポイントに基づいて前記動画像に含まれるユーザの顔に所定のメイクアップを施して前記表示手段に出力するステップと
を有し、
前記制御手段は、前記トラッキングポイントに含まれる上唇の山と谷の位置、口の左右端、下唇の下端の他、下唇における左端から口幅の１／３の位置及び下唇における右端から口幅の１／３の位置に基づいて、前記動画像に含まれるユーザの顔に口紅処理を施すことを特徴とするメイクアップシミュレーション方法。
【請求項１２】
少なくとも演算処理装置，記憶装置および出力装置を備えたコンピュータにおいて実行されるユーザの顔を撮影した動画像にメイクアップを施すメイクアップシミュレーションプログラムであって、
前記演算処理装置に、撮影手段の撮影した動画像からユーザの顔を認識し、メイクアップシミュレーションを開始するステップと、
前記動画像に含まれるユーザの顔を所定のトラッキングポイントに基づいて認識するステップと、
前記トラッキングポイントに基づいて前記動画像に含まれるユーザの顔に所定のメイクアップを施して前記出力装置に出力するステップとを実行させ、
前記演算処理装置に、前記トラッキングポイントに含まれる上唇の山と谷の位置、口の左右端、下唇の下端の他、下唇における左端から口幅の１／３の位置及び下唇における右端から口幅の１／３の位置に基づいて、前記動画像に含まれるユーザの顔に口紅処理を施すように実行させるメイクアップシミュレーションプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２３】
【図２５】
【図３４】
【図４１】
【図４４】
【図４５】
【図４６】
【図４７】
【図４８】
【図４９】
【図５０】
【図５１】
【図５２】
【図５３】
【図５４】
【図５５】
【図５６】
【図５７】
【図５８】
【図５９】
【図６０】
【図６１】
【図６２】
【図６３】
【図６４】
【図６５】
【図６６】
【図６７】
【図６９】
【図７０】
【図７１】
【図７２】
【図７３】
【図７４】
【図７５】
【図１３】
【図１４】
【図２０】
【図２１】
【図２２】
【図２４】
【図２６】
【図２７】
【図２８】
【図２９】
【図３０】
【図３１】
【図３２】
【図３３】
【図３５】
【図３６】
【図３７】
【図３８】
【図３９】
【図４０】
【図４２】
【図４３】
【図６８】
【図７６】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２３】
【図２５】
【図３４】
【図４１】
【図４４】
【図４５】
【図４６】
【図４７】
【図４８】
【図４９】
【図５０】
【図５１】
【図５２】
【図５３】
【図５４】
【図５５】
【図５６】
【図５７】
【図５８】
【図５９】
【図６０】
【図６１】
【図６２】
【図６３】
【図６４】
【図６５】
【図６６】
【図６７】
【図６９】
【図７０】
【図７１】
【図７２】
【図７３】
【図７４】
【図７５】
【図１３】
【図１４】
【図２０】
【図２１】
【図２２】
【図２４】
【図２６】
【図２７】
【図２８】
【図２９】
【図３０】
【図３１】
【図３２】
【図３３】
【図３５】
【図３６】
【図３７】
【図３８】
【図３９】
【図４０】
【図４２】
【図４３】
【図６８】
【図７６】
【公開番号】特開２００９−６４４２３（Ｐ２００９−６４４２３Ａ）
【公開日】平成２１年３月２６日（２００９．３．２６）
【国際特許分類】
【出願番号】特願２００８−２０２４４９（Ｐ２００８−２０２４４９）
【出願日】平成２０年８月５日（２００８．８．５）
【出願人】（０００００１９５９）株式会社資生堂 (1,748)
【Ｆターム（参考）】
【公開日】平成２１年３月２６日（２００９．３．２６）
【国際特許分類】
【出願日】平成２０年８月５日（２００８．８．５）
【出願人】（０００００１９５９）株式会社資生堂 (1,748)
【Ｆターム（参考）】
[ Back to top ]