メイクアップシミュレーションシステム
【課題】動画像に含まれるユーザの顔を少ない処理負担で正確にメイクアップできるメイクアップシミュレーションシステムを提供することを目的とする。
【解決手段】メイクアップシミュレーションシステムであって、撮影した動画像を出力する撮影手段２と、出力された動画像を画像処理して出力する制御手段８と、制御手段８から出力された動画像を表示する表示手段７とを備え、制御手段８は動画像からユーザの顔を所定のトラッキングポイントに基づいて認識する顔認識処理手段と、トラッキングポイントに基づいて動画像に含まれるユーザの顔に所定のメイクアップを施して表示手段に出力するメイクアップ処理手段とを備えることにより上記課題を解決する。
【解決手段】メイクアップシミュレーションシステムであって、撮影した動画像を出力する撮影手段２と、出力された動画像を画像処理して出力する制御手段８と、制御手段８から出力された動画像を表示する表示手段７とを備え、制御手段８は動画像からユーザの顔を所定のトラッキングポイントに基づいて認識する顔認識処理手段と、トラッキングポイントに基づいて動画像に含まれるユーザの顔に所定のメイクアップを施して表示手段に出力するメイクアップ処理手段とを備えることにより上記課題を解決する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明はメイクアップシミュレーションシステムに係り、特に動画像に含まれるユーザの顔にメイクアップを施すメイクアップシミュレーションシステムに関する。
【背景技術】
【０００２】
従来、メイクアップを施す為の商品の販売等のため、実際にメイクアップを施すことなくコンピュータ上でメイクアップ後の顔をシミュレーションする技術が知られている（例えば特許文献１参照）。しかしながら、特許文献１ではシミュレーション結果が静止画で表示されるため、ユーザの表情が変化した際のメイクアップ後の顔を容易に確認することができなかった。そこで、ユーザの表情の変化を捕らえた動画像内で化粧をシミュレートする技術の開発が進められている（例えば特許文献２参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００１−３４６６２７号公報
【特許文献２】特開２００３−４４８３７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、特許文献２に記載の化粧シミュレーション装置はユーザの表情の変化を口および両目に対応する画素領域で特定し、その画素領域をテンプレートマッチングにより追跡することで、フェースメークを施す化粧領域を算出している（例えば、段落［００２８］参照）。このように、ユーザの表情の変化を口および両目に対応する画素領域で追跡することはコンピュータの処理負担が大きく、目を閉じた場合等への正確な対処が難しいという問題があった。
【０００５】
本発明は、上記の点に鑑みなされたもので、動画像に含まれるユーザの顔を少ない処理負担で正確にメイクアップすることができるメイクアップシミュレーションシステムを提供することを目的とする。
【課題を解決するための手段】
【０００６】
上記の課題を解決するため、本発明は、ユーザの顔を撮影した動画像にメイクアップを施すメイクアップシミュレーションシステムであって、ユーザの顔を撮影して動画像を出力する撮影手段と、前記撮影手段から出力された動画像を受信し、前記動画像を画像処理して出力する制御手段と、前記制御手段から出力された動画像を表示する表示手段とを備え、前記制御手段は、前記動画像からユーザの顔を所定のトラッキングポイントに基づいて認識する顔認識処理手段と、前記トラッキングポイントに基づいて前記動画像に含まれるユーザの顔に所定のメイクアップを施して前記表示手段に出力するメイクアップ処理手段とを備えることを特徴とする。
【０００７】
なお、本発明の構成要素、表現または構成要素の任意の組合せを、方法、装置、システム、コンピュータプログラム、記録媒体、データ構造などに適用したものも本発明の態様として有効である。
【発明の効果】
【０００８】
本発明によれば、動画像に含まれるユーザの顔を少ない処理負担で正確にメイクアップすることができるメイクアップシミュレーションシステムを提供可能である。
【図面の簡単な説明】
【０００９】
【図１】本発明によるメイクアップシミュレーション装置の第一実施例の外観図である。
【図２】メイクアップシミュレーション装置の第一実施例の断面図である。
【図３】本発明によるメイクアップシミュレーション装置の第二実施例の外観図である。
【図４】メイクアップシミュレーション装置の第二実施例の断面図である。
【図５】本発明によるメイクアップシミュレーション装置の第三実施例の外観図である。
【図６】メイクアップシミュレーション装置の第三実施例の断面図である。
【図７】本発明によるメイクアップシミュレーション装置の第四実施例の外観図である。
【図８】メイクアップシミュレーション装置の第四実施例の断面図である。
【図９】本発明によるメイクアップシミュレーション装置の第五実施例の外観図である。
【図１０】メイクアップシミュレーション装置の第五実施例の断面図である。
【図１１】メイクアップシミュレーション装置の第五実施例のハードウェア構成図である。
【図１２】メイクアップシミュレーション装置が行なう処理の概略を表したフローチャートである。
【図１３】モニタに表示されるメイン画面及び操作パネルに表示される操作画面の一例のイメージ図である。
【図１４】メイクアップシミュレーション装置が行なうメイクアップシミュレーション以外の処理を表すイメージ図である。
【図１５】本発明によるメイクアップシミュレーションシステムの一実施例のシステム構成図である。
【図１６】シミュレータメインアプリが行なう処理を表す画面イメージ図である。
【図１７】メイクアップ前画像に含まれるユーザの顔のイメージ画像である。
【図１８】トラッキングポイントを表す一例のイメージ図である。
【図１９】メイクアップ処理パラメータファイルの一例の構成図である。
【図２０】口紅処理により参照されるトラッキングポイントを示すイメージ図である。
【図２１】口紅処理を示す一例のフローチャートである。
【図２２】輪郭抽出処理を表す一例のイメージ図である。
【図２３】輪郭抽出用画像６００の唇８点及び鼻３点のトラッキングポイントと、唇８点及び鼻３点のトラッキングポイントを元に再探索して抽出した輪郭抽出用画像６０１のポイントとの比較画面である。
【図２４】唇８点及び鼻３点のトラッキングポイントからデフォルトポイントを求める処理を表した一例のイメージ図である。
【図２５】ポイント又はデフォルトポイントから輪郭を完成させる処理を表したイメージ図である。
【図２６】色塗りマップ生成処理を表した一例のイメージ図である。
【図２７】色塗りマップに基づく色塗り処理を表した一例のイメージ図である。
【図２８】シャドウ処理により参照されるトラッキングポイントを示すイメージ図である。
【図２９】シャドウ処理を示す一例のフローチャートである。
【図３０】基本輪郭の生成処理を表す一例のイメージ図である。
【図３１】色塗り輪郭の生成処理を表す一例のイメージ図である。
【図３２】ぼかし処理を掛けていない色塗りマップと、ぼかし処理を掛けている色塗りマップとを表した一例のイメージ図である。
【図３３】チーク処理により参照されるトラッキングポイントを示すイメージ図である。
【図３４】チーク処理を示す一例のフローチャートである。
【図３５】色塗り輪郭を表した一例のイメージ図である。
【図３６】眉処理により参照されるトラッキングポイントを示すイメージ図である。
【図３７】眉処理を示す一例のフローチャートである。
【図３８】眉輪郭抽出処理を表す一例のイメージ図である。
【図３９】変形指定に対応した指示曲線の作成処理を表す一例のイメージ図である。
【図４０】ファンデーション処理により参照されるトラッキングポイントを示すイメージ図である。
【図４１】ファンデーション処理を示す一例のフローチャートである。
【図４２】輪郭を表した一例のイメージ画像である。
【図４３】ぼかし処理前の元画像と、ぼかし処理後の元画像とを表した一例のイメージ図である。
【発明を実施するための形態】
【００１０】
次に、本発明を実施するための最良の形態を、以下の実施例に基づき図面を参照しつつ説明していく。図１は本発明によるメイクアップシミュレーション装置の第一実施例の外観図である。メイクアップシミュレーション装置１は、カメラ２，操作パネル４，プリンタ５，照明６及びモニタ７を含む構成である。
【００１１】
カメラ２は、メイクアップシミュレーション装置１の前方に立ったユーザを撮影して動画像を出力する。操作パネル４は、操作画像を表示すると共に、ユーザからの操作を受け付けて操作情報を出力する。プリンタ５は、モニタに表示される画像（例えばメイクアップ後のイメージ画像等）及び情報（例えばイメージ画像のようにメイクアップする為の商品情報等）を印刷する。照明６は、例えばメイクアップシミュレーションが開始されたあとで調光を行う。
【００１２】
図２はメイクアップシミュレーション装置の第一実施例の断面図である。メイクアップシミュレーション装置１は、カメラ２，操作パネル４，プリンタ５，モニタ７，制御部８を含む構成である。
【００１３】
カメラ２は、撮影した動画像を制御部８に出力する。操作パネル４は、制御部８から出力された操作画像を表示すると共に、ユーザからの操作を受け付けて操作情報を制御部８に出力する。プリンタ５は、制御部８から出力された画像及び情報を印刷する。モニタ７は制御部８から出力された動画像（メイン画像）を表示する。制御部８は、カメラ２から出力された動画像を受信し、その動画像を後述するように画像処理することにより、動画像に含まれるユーザの顔にメイクアップを施してモニタ７に出力する。
【００１４】
図１及び図２のメイクアップシミュレーション装置１は鏡というメイクアップに必要不可欠なアイテムをコンセプトとし、ユーザとのインタラクティブな機能を持つ。即ちメイクアップシミュレーション装置１は、ユーザがあたかも鏡を見ながら自然にメイクアップをしている気分にさせる特徴を持つ。
【００１５】
メイクアップシミュレーション装置１はカメラ２から出力された動画像等を制御部８で画像処理し、動画像に含まれるユーザの顔にメイクアップを施して、デジタルの鏡であるモニタ７に表示する。メイクアップシミュレーション装置１は、様々な商品情報、美容情報およびユーザの顔にメイクアップを施したイメージ画像をモニタ７に表示できる。
【００１６】
また、図３は本発明によるメイクアップシミュレーション装置の第二実施例の外観図である。なお、図１と同一部分については同一符号を付している。
【００１７】
図３のメイクアップシミュレーション装置１は、操作パネル４，プリンタ５，照明６及び透明板９を含む構成である。透明板９は、メイクアップシミュレーション装置１の外側からの光を透過すると共に、メイクアップシミュレーション装置１の内側からの光を透過する。
【００１８】
図４はメイクアップシミュレーション装置の第二実施例の断面図である。なお、図２と同一部分については同一符号を付している。図４のメイクアップシミュレーション装置１は、カメラ２，ハーフミラー３，操作パネル４，プリンタ５，モニタ７，制御部８及び透明板９を含む構成である。
【００１９】
ハーフミラー（半透明鏡）３は当たった光を反射させると共に、当たった光の一部を透過させる。カメラ２はハーフミラー３，透明板９を介してメイクアップシミュレーション装置１の前方に立ったユーザを撮影可能な位置に設置されている。カメラ２は、ユーザの目線の高さに設置される。カメラ２は、ハーフミラー３，透明板９を介してメイクアップシミュレーション装置１の前方に立ったユーザを撮影して動画像を出力する。
【００２０】
モニタ７はハーフミラー３，透明板９を介してメイクアップシミュレーション装置１の前方に立ったユーザが見ることのできる位置に設置されている。モニタ７から出力された光はハーフミラー３により反射し、透明板９を介してメイクアップシミュレーション装置１の外側に出力される。したがって、ユーザはモニタ７に表示されている動画像をメイクアップシミュレーション装置１の外側から見ることができる。
【００２１】
図３及び図４のメイクアップシミュレーション装置１は鏡というメイクアップに必要不可欠なアイテムをコンセプトとし、ユーザとのインタラクティブな機能を持つ。即ちメイクアップシミュレーション装置１は、ユーザがあたかも鏡を見ながら自然にメイクアップをしている気分にさせる特徴を持つ。
【００２２】
メイクアップシミュレーション装置１はカメラ２を目線の高さに設置している為、実施例１のカメラ２の位置に設置するよりも、メイクアップシミュレーション装置１の前方に立ったユーザの顔を自然に撮影できる。
【００２３】
メイクアップシミュレーション装置１はカメラ２から出力された動画像等を制御部８で画像処理し、動画像に含まれるユーザの顔にメイクアップを施して、デジタルの鏡であるモニタ７に表示する。メイクアップシミュレーション装置１は、様々な商品情報、美容情報およびユーザの顔にメイクアップを施したイメージ画像をモニタ７に表示できる。
【００２４】
また、図５は、本発明によるメイクアップシミュレーション装置の第三実施例の外観図である。なお、前図と同一部分については同一符号を付している。図５のメイクアップシミュレーション装置１は、カメラ２，ハーフミラー３，操作パネル４，プリンタ５及び照明６を含む構成である。
【００２５】
ハーフミラー３は、明るい方からの光の一部（例えば５０％）を透過すると共に、明るい方からの光の残り（例えば５０％）を手前に反射する。暗い方に光が無いため、ハーフミラー３は暗い方からの光の透過も反射もしない。
【００２６】
照明６はメイクアップシミュレーションが開始されたあと、ハーフミラー３のモニタ７側が明るくなるように調光する。したがって、モニタ７の表示方向側に設けられたハーフミラー３は、メイクアップシミュレーションが開始される前、ユーザ側（メイクアップシミュレーション装置１の外側）からの光を反射して鏡として機能する。
【００２７】
ハーフミラー３はメイクアップシミュレーションが開始された後、モニタ７側（メイクアップシミュレーション装置１の内側）からの光を透過してガラスとして機能する。したがって、ユーザはハーフミラー３を通してモニタ７に表示されている動画像を見ることができる。
【００２８】
図６はメイクアップシミュレーション装置の第三実施例の断面図である。図６のメイクアップシミュレーション装置１は、カメラ２，ハーフミラー３，操作パネル４，プリンタ５，モニタ７，制御部８を含む構成である。なお、前図と同一部分については同一符号を付している。モニタ７に表示された動画像はガラスとして機能しているハーフミラー３を透過する。ユーザは、モニタ７に表示されている動画像をメイクアップシミュレーション装置１の外側から見ることができる。
【００２９】
図５及び図６のメイクアップシミュレーション装置１は鏡というメイクアップに必要不可欠なアイテムをコンセプトとし、ユーザとのインタラクティブな機能を持つ。即ちメイクアップシミュレーション装置１は、ユーザがあたかも鏡を見ながら自然にメイクアップをしている気分にさせる特徴を持つ。
【００３０】
メイクアップシミュレーション装置１はカメラ２から出力された動画像等を制御部８で画像処理し、動画像に含まれるユーザの顔にメイクアップを施して、デジタルの鏡であるモニタ７に表示する。メイクアップシミュレーション装置１は、様々な商品情報、美容情報およびユーザの顔にメイクアップを施したイメージ画像をモニタ７に表示できる。
【００３１】
また、図７は本発明によるメイクアップシミュレーション装置の第四実施例の外観図である。図８はメイクアップシミュレーション装置の第四実施例の断面図である。なお、前図と同一部分については同一符号を付している。メイクアップシミュレーション装置１はカメラ２，プリンタ５，照明６，タッチパネルモニタ１５を含む構成である。
【００３２】
図７及び図８のメイクアップシミュレーション装置１は、操作パネル４及びモニタ７の替わりにタッチパネルモニタ１５を含む構成である点で、図１及び図２のメイクアップシミュレーション装置１と異なっている。タッチパネルモニタ１５は、操作パネル４及びモニタ７として機能する。
【００３３】
タッチパネルモニタ１５は、操作画像を表示すると共に、ユーザからの操作を受け付けて操作情報を出力する。タッチパネルモニタ１５は、制御部８から出力された操作画像を表示すると共に、ユーザからの操作を受け付けて操作情報を制御部８に出力する。タッチパネルモニタ１５は制御部８から出力された動画像（メイン画像）を表示する。制御部８はカメラ２から出力された動画像を受信し、その動画像を後述するように画像処理することにより、動画像に含まれるユーザの顔にメイクアップを施してタッチパネルモニタ１５に出力する。
【００３４】
図７及び図８のメイクアップシミュレーション装置１は鏡というメイクアップに必要不可欠なアイテムをコンセプトとし、ユーザとのインタラクティブな機能を持つ。即ちメイクアップシミュレーション装置１は、ユーザがあたかも鏡を見ながら自然にメイクアップをしている気分にさせる特徴を持つ。
【００３５】
メイクアップシミュレーション装置１はカメラ２から出力された動画像等を制御部８で画像処理し、動画像に含まれるユーザの顔にメイクアップを施して、デジタルの鏡であるタッチパネルモニタ１５に表示する。メイクアップシミュレーション装置１は、様々な商品情報、美容情報およびユーザの顔にメイクアップを施したイメージ画像をタッチパネルモニタ１５に表示できる。
【００３６】
第四実施例のメイクアップシミュレーション装置１は、例えばユーザが使って試すテスター用の商品（以下、テスター品という）を陳列する陳列ケースを、図９及び図１０のように備えるようにしてセルフ販売用の筐体として利用することもできる。図９は、本発明によるメイクアップシミュレーション装置の第五実施例の外観図である。図１０は、メイクアップシミュレーション装置の第五実施例の断面図である。なお、前図と同一部分については同一符号を付している。
【００３７】
メイクアップシミュレーション装置１は、カメラ２，プリンタ５，照明６，タッチパネルモニタ１５，陳列ケース１６及びＩＣタグリーダライタ１７を含む構成である。図９及び図１０のメイクアップシミュレーション装置１は、陳列ケース１６及びＩＣタグリーダライタ１７を含む構成である点で、図７及び図８のメイクアップシミュレーション装置１と異なっている。
【００３８】
陳列ケース１６は、複数のテスター品を陳列するものである。なお、テスター品にはＩＣ（ＲＦＩＤ）タグが添付されている。テスター品に添付されたＩＣタグにはテスター品を識別可能な識別情報が格納されている。ユーザが陳列ケース１６からテスター品を取り出してＩＣタグリーダライタ１７に近づけることで、ＩＣタグリーダライタ１７はＩＣタグからテスター品の識別情報を読み取る。
【００３９】
ＩＣタグリーダライタ１７はＩＣタグから読み取ったテスター品の識別情報を制御部８に送信する。制御部８はカメラ２から出力された動画像を受信し、その動画像を後述するように画像処理することにより、ＩＣタグから読み取った識別情報に対応するテスター品を用いて、動画像に含まれるユーザの顔にメイクアップを施したイメージ画像をタッチパネルモニタ１５に出力する。
【００４０】
なお、テスター品と識別情報とを対応付ける対応表はメイクアップシミュレーション装置１に備えておいてもよいし、メイクアップシミュレーション装置１からネットワーク経由で取得可能な他の装置に備えておいてもよい。
【００４１】
また、図９及び図１０のメイクアップシミュレーション装置１ではテスター品の識別にＩＣタグを利用する例を示したが、バーコード，二次元コード，ラベル等を利用するようにしてもよい。さらに、図９及び図１０のメイクアップシミュレーション装置１は取り出したテスター品が分かるような仕組み（例えば光センサなどのセンサを利用した位置認識など）を陳列ケース１６に設けておき、陳列ケース１６から制御部８に通知するようにしてもよい。
【００４２】
図９及び図１０のメイクアップシミュレーション装置１は鏡というメイクアップに必要不可欠なアイテムをコンセプトとし、ユーザとのインタラクティブな機能を持つ。即ちメイクアップシミュレーション装置１は、ユーザがあたかも鏡を見ながら自然にメイクアップをしている気分にさせる特徴を持つ。
【００４３】
メイクアップシミュレーション装置１はカメラ２から出力された動画像等を制御部８で画像処理し、動画像に含まれるユーザの顔に、ユーザが陳列ケース１６から選択したテスター品を用いてメイクアップを施したイメージ画像を、デジタルの鏡であるタッチパネルモニタ１５に表示する。メイクアップシミュレーション装置１は、様々な商品情報、美容情報およびユーザの顔にメイクアップを施したイメージ画像をタッチパネルモニタ１５に表示できる。ユーザが陳列ケース１６から選択したテスター品のログを取ることで、メイクアップシミュレーション装置１はユーザの嗜好等のデータを取得できる。
【００４４】
なお、例えばテスター品だけでなく、商品を陳列するための棚を備えたメイクアップシミュレーション装置１であれば、タッチパネルモニタ１５に表示される商品を棚に陳列しておくことにより、セルフ販売用の筐体として効果的に利用できる。
【００４５】
以下、第一実施例のメイクアップシミュレーション装置１を例に説明する。図１１はメイクアップシミュレーション装置の一実施例のハードウェア構成図である。なお、図１及び図２と同一部分については同一符号を付している。
【００４６】
図１１のメイクアップシミュレーション装置１は、それぞれバスＢで相互に接続されているカメラ２，操作パネル４，プリンタ５，モニタ７，演算処理装置１０，メモリ装置１１，ドライブ装置１２および補助記憶装置１３で構成される。なお、図１１の演算処理装置１０，メモリ装置１１，ドライブ装置１２および補助記憶装置１３は、図２の制御部８を構成する。
【００４７】
本発明のメイクアップシミュレーションプログラムは、メイクアップシミュレーション装置１を制御する各種プログラムの少なくとも一部である。メイクアップシミュレーションプログラムは例えば記録媒体１４の配布などによって提供される。
【００４８】
なお、メイクアップシミュレーションプログラムを記録した記録媒体１４は、ＣＤ−ＲＯＭ、フレキシブルディスク、光磁気ディスク等の様に情報を光学的，電気的或いは磁気的に記録する記録媒体、ＲＯＭ、フラッシュメモリ等の様に情報を電気的に記録する半導体メモリ等、様々なタイプの記録媒体を用いることができる。
【００４９】
また、メイクアップシミュレーションプログラムを記録した記録媒体１４がドライブ装置１２にセットされると、メイクアップシミュレーションプログラムは記録媒体１４からドライブ装置１２を介して補助記憶装置１３にインストールされる。補助記憶装置１３はインストールされたメイクアップシミュレーションプログラムを格納すると共に、必要なファイル，データ等を格納する。メモリ装置１１は、起動時に補助記憶装置１３からメイクアップシミュレーションプログラムを読み出して格納する。そして、演算処理装置１０はメモリ装置１１に格納されたメイクアップシミュレーションプログラムに従って、後述するような各種処理を実現している。
【００５０】
図１２はメイクアップシミュレーション装置が行なう処理の概略を表した一実施例のフローチャートである。図１３はモニタに表示されるメイン画面及び操作パネルに表示される操作画面の一例のイメージ図である。図１３の画面イメージ１００〜１１１はモニタ７に表示されるメイン画面のものである。画面イメージ２００〜２１０は操作パネル４に表示される操作画面のものである。
【００５１】
制御部８は、カメラ２が撮影した動画像を継続して受信している。このとき、制御部８はモニタ７に画面イメージ１００を表示し、操作パネル４に画面イメージ２００を表示している。画面イメージ１００及び２００はスクリーンセーバーを表示している例を表している。
【００５２】
ステップＳ１に進み、制御部８は受信している動画像にユーザの顔が含まれているか否かを継続して判定している。制御部８は動画像にユーザの顔が含まれていることを認識するまでステップＳ１の処理を繰り返し行う（Ｓ１においてＮＯ）。
【００５３】
動画像にユーザの顔が含まれていることを認識すると（Ｓ１においてＹＥＳ）、制御部８はステップＳ２に進み、メイクアップシミュレーションを行なう為のメイクアップシミュレーションプログラムを含むソフトを起動する。このとき、制御部８はモニタ７に画面イメージ１０１を表示し、操作パネル４に画面イメージ２０１を表示する。
【００５４】
画面イメージ１０１はカメラ２でユーザの顔を撮影した動画像を表示している例を表している。画面イメージ２０１は、横に移動する歓迎のコメントを表示している例を表している。
【００５５】
ステップＳ３に進み、制御部８はステップＳ２で起動したソフトに基づいてメイクアップシミュレーションを開始する。このとき、制御部８はモニタ７に画面イメージ１０２を表示し、操作パネル４に画面イメージ２０２を表示する。画面イメージ１０２は、カメラ２でユーザの顔を撮影した動画像に、魔法の鏡的な演出を施して表示している例を表している。画面イメージ２０２は、画面イメージ２０１と同様、横に移動する歓迎のコメントを表示している例を表している。
【００５６】
ステップＳ４に進み、制御部８はメイクアップシミュレーションを後述するように実行する。このとき、制御部８はモニタ７に画面イメージ１０３〜１０６を順次表示し、操作パネル４に画面イメージ２０３〜２０６を表示する。
【００５７】
画面イメージ１０３〜１０６は、メイクアップシミュレーションにより４つのメイクアップパターン（イメージ）が施されたユーザの顔を表示している例を表している。画面イメージ２０３〜２０６は、そのときモニタ７に表示されている画面イメージ１０３〜１０６のメイクアップパターンの内容（例えば名称等）を表示している例を表している。所定時間が経過するか、又はユーザが操作パネル４にタッチするまで、制御部８はモニタ７に画面イメージ１０３〜１０６を順次表示し、操作パネル４に画面イメージ２０３〜２０６を表示する。
【００５８】
所定時間が経過するか、又はユーザが操作パネル４にタッチすると、制御部８はステップＳ５に進み、モニタ７に画面イメージ１０７を表示し、操作パネル４に画面イメージ２０７を表示する。画面イメージ１０７は、画面イメージ１０１と同様、カメラ２でユーザの顔を撮影した動画像を表示している例を表している。画面イメージ２０７は、４つのメイクアップパターン（イメージ）から１つのイメージを選択可能なイメージ選択画面を表示している例を表している。ユーザは、操作パネル４を操作することで、イメージ選択画面から１つのイメージを選択することができる。
【００５９】
ステップＳ６に進み、制御部８はイメージ選択画面から１つのイメージが選択されるまでステップＳ６の処理を繰り返し行う（Ｓ６においてＮＯ）。ユーザがイメージ選択画面から１つのイメージを選択すると、操作パネル４はユーザからの操作を受け付けて操作情報を制御部８に出力する。
【００６０】
ユーザがイメージ選択画面から１つのイメージを選択したと判定すると（Ｓ６においてＹＥＳ）、制御部８はステップＳ７に進み、選択されたイメージのイメージ画面をモニタ７及び操作パネル４に表示する。このとき、制御部８はモニタ７に画面イメージ１０８を表示し、操作パネル４に画面イメージ２０８を表示する。
【００６１】
画面イメージ１０８は、イメージ選択画面から選択された１つのイメージに基づき、異なるカラーパターンが施されたメイクアップ後のユーザの顔のイメージ画像と、イメージ画像のようにメイクアップする為の商品情報とを順次表示している例を表している。画面イメージ２０８は、イメージ選択画面から選択された１つのイメージの内容と、そのときモニタ７に表示されている画面イメージ１０８のイメージ画像のようにメイクアップする為の商品情報とを表示している例を表している。
【００６２】
なお、ユーザは操作パネル４を操作することによりプリントアウトを指示することもできる。ユーザからのプリントアウト指示を受け付けると、制御部８は画面イメージ１０９をモニタ７に表示し、画面イメージ２０９を操作パネル４に表示する。画面イメージ１０９は、プリントアウトするイメージ画像を表示している例を表している。画面イメージ２０９は、プリントアウト中のコメントを表示している例を表している。制御部８はプリンタ５を制御してモニタ７に表示されているイメージ画像をプリントアウトする。
【００６３】
また、ユーザは操作パネル４を操作することにより、メイクアップ前及び後のイメージ画像から成る比較画面の表示およびプリントアウトを指示することもできる。ユーザからの比較画面の表示指示を受け付けると、制御部８は画面イメージ１１０をモニタ７に表示する。画面イメージ１１０は、メイクアップ前及び後のイメージ画像から成る比較画面を表示している例を表している。比較画面を表示している状態で、ユーザからのプリントアウト指示を受け付けると、制御部８はプリンタ５を制御してモニタ７に表示されている比較画面をプリントアウトする。
【００６４】
ユーザによるメイクアップシミュレーションが終了すると、制御部８はモニタ７及び操作パネル４にスクリーンセーバーである画面イメージ１１１及び２１０を表示して、処理を終了する。
【００６５】
なお、図１２及び図１３の例ではメイクアップシミュレーションにより４つのイメージを表示しているが、４つ以外のイメージを表示するものであってもよい。また、メイクアップシミュレーション装置１はカメラ２から出力された動画像に含まれるユーザの顔にメイクアップを施す例を示しているが、予め撮影した動画像を動画ファイルとして補助記憶装置１３等に記憶しておき、その動画ファイルに含まれるユーザの顔にメイクアップを施すものであってもよい。
【００６６】
メイクアップシミュレーション装置１はカメラ２から出力された動画像をメイクアップシミュレーション以外に利用することもできる。図１４はメイクアップシミュレーション装置が行なうメイクアップシミュレーション以外の処理を表すイメージ図である。
【００６７】
画面イメージ３００は、カメラ２で撮影したユーザの顔の動画像を表示している例を表している。メイクアップシミュレーション装置１は動画像に含まれているユーザの顔を認識し、ユーザの顔の静止画３０１を切り出す。
【００６８】
メイクアップシミュレーション装置１は、顔立ち分析ロジックおよび肌分析ロジックにより静止画３０１の顔立ち診断および肌色診断を行い、その結果を表す画面イメージ３０２をモニタ７に表示できる。なお、顔立ち分析ロジックおよび肌分析ロジックにより静止画３０１の顔立ち診断および肌色診断を行なう処理は、例えば特開２００１−３４６６２７号公報に記載されている公知技術である。
【００６９】
また、メイクアップシミュレーション装置１は画面イメージ３０３のようなコース選択画面３０３をモニタ７に表示して、各コース（例えばトレンド、ベーシック、フリー）をユーザに選択させることもできる。メイクアップシミュレーション装置１は、ユーザにより選択されたコースに基づく画面イメージ３０４〜３０９をモニタ７に表示して、シミュレーション及びアドバイスを行なう。
【００７０】
画面イメージ３０４〜３０６は、各コースのシミュレーション画面を表示している例を表している。画面イメージ３０７〜３０９は、各コースのアドバイス画面を表示している例を表している。
【００７１】
例えばベーシックコースとは、顔立ち診断および肌色診断の結果に基づいて、最適なメイクアップテクニックをシミュレーション及びアドバイスするものである。また、トレンドコースとは最新のトレンドメイクアップのシミュレーション及びアドバイスするものである。また、フリーメイクアップコースとは目元，口元，ほお，眉，個々のパーツに対応したアイテムのシミュレーション及びアドバイスするものである。
【００７２】
シミュレーション画面又はアドバイス画面を表示している状態で、ユーザからのプリントアウト指示を受け付けると、制御部８はプリンタ５を制御してモニタ７に表示されているシミュレーション画面又はアドバイス画面をプリントアウトすることもできる。
【００７３】
次に、上記のようなメイクアップシミュレーション装置１を実現する為のメイクアップシミュレーションシステムの詳細について説明する。図１５は、本発明によるメイクアップシミュレーションシステムの一実施例のシステム構成図である。
【００７４】
図１５のメイクアップシミュレーションシステム２０は、アナログカメラ２１，ＵＳＢキャプチャデバイス２２，動画ファイル２３，メイクアップカメラ２４，静止画システム２５，動画ファイル２６，共有メモリ２７，シミュレータメインアプリ２８及びインターフェースアプリ２９を含む構成である。
【００７５】
アナログカメラ２１は撮影した例えばＮＴＳＣ方式の動画像をＵＳＢキャプチャデバイス２２経由で出力する。ＵＳＢキャプチャデバイス２２から出力された動画像は、例えばＡＰＩ（application programming interface）の一例としてのＤｉｒｅｃｔＸ３１を利用してシミュレータメインアプリ２８に入力される。また、動画ファイル２３もＤｉｒｅｃｔＸ３１を利用してシミュレータメインアプリ２８に入力される。
【００７６】
メイクアップカメラ２４は撮影した動画像をシリアルインターフェースの一例としてのＩＥＥＥ１３９４経由で出力する。メイクアップカメラ２４から出力された動画像は専用ＡＰＩ３２を利用してシミュレータメインアプリ２８に入力される。シミュレータメインアプリ２８は専用ＡＰＩ３２を利用して入力された動画像から動画像用解像度の原画像と静止画用解像度の静止画像とを得る。
【００７７】
シミュレータメインアプリ２８はＤｉｒｅｃｔＸ３１を利用して入力された動画像及び動画ファイル２３と、専用ＡＰＩ３２を利用して入力された動画像から得られた動画像用解像度の動画像とを原画像とし、原画像に対してトリミング及び縮小処理を行う。
【００７８】
シミュレータメインアプリ２８は原画像に対してトリミングを行ってメイクアップ前画像を得る。また、シミュレータメインアプリ２８は原画像に対して縮小処理を行って顔認識処理用画像を得る。顔認識処理部３３は、顔認識処理用画像からユーザの顔を認識するための後述するようなトラッキングポイント３４を、ＦＦＴ（高速フーリエ変換）により得る。
【００７９】
メイクアップ処理部３５は、トラッキングポイント３４に基づき、メイクアップ前画像に含まれるユーザの顔に、ファンデーション，眉，シャドウ，口紅，チークから成るメイクアップを施してメイクアップ後画像を得る。メイクアップ処理部３５は、ファンデーション処理部３６，眉処理部３７，シャドウ処理部３８，口紅処理部３９，チーク処理部４０を含む構成である。
【００８０】
なお、メイクアップ処理部３５はメイクアップ後画像のようにメイクアップする為の商品情報４１をメイクアップ後画像に含ませることができる。動画サーバ４２は、メイクアップ前画像およびメイクアップ後画像を共有メモリ２７に書き込むと共に、メイクアップ前画像およびメイクアップ後画像を動画ファイル２６として出力することもできる。
【００８１】
インターフェースアプリ２９は、ＡｃｔｉｖｅＸコントローラ５０及びＡｃｔｉｖｅＸビュアー５１を利用する、動画コントロールオブジェクト５２，動画表示オブジェクト５３及びその他のコントローラ５４を含む構成である。なお、インターフェースアプリ２９とシミュレータメインアプリ２８とはＡｃｔｉｖｅＸ＆Ｓｏｃｋｅｔによる連携を図っている。
【００８２】
インターフェースアプリ２９はＡｃｔｉｖｅＸビュアー５１を利用して、供給メモリ２７に書き込まれているメイクアップ前画像およびメイクアップ後画像を前述したモニタ７に表示することができる。
【００８３】
シミュレータメインアプリ２８は、専用ＡＰＩ３２を利用して入力された動画像から得られた静止画用解像度の静止画像に対してトリミング及び縮小処理を行う。シミュレータメインアプリ２８は静止画用解像度の静止画像に対してトリミングを行なう。さらに、シミュレータメインアプリ２８は静止画用解像度の静止画像に対して縮小処理を行って顔認識処理用画像を得る。顔認識処理部４３は、顔認識処理用画像からユーザの顔を認識する為の後述するようなトラッキングポイント４４を得る。
【００８４】
シミュレータメインアプリ２８はトラッキングポイント４４に基づき、トリミングを行った動画像に含まれるユーザの顔から詳細部位を抽出し、その詳細部位から顔立ち診断および肌色診断に用いるタイプ、肌色等の追加情報を得て、トラッキングポイント４４に追加情報を付加したトラッキングポイント４５と、専用ＡＰＩ３２を利用して入力された動画像から得られた静止画用解像度の静止画像とを静止画システム２５に出力する。
【００８５】
静止画システム２５は、トラッキングポイント４５を使用し、前述した顔立ち分析ロジックおよび肌分析ロジックにより静止画３０１の顔立ち診断および肌色診断を行い、その結果を表す画面イメージ３０２をモニタ７に表示できる。その他、静止画システム２５は画面イメージ３０３〜３０９をモニタ７に表示することもできる。
【００８６】
図１６は、シミュレータメインアプリが行なう処理を表す画面イメージ図である。画面イメージ４００はメイクアップ前画像を表示した例を表している。画面イメージ４０１は顔認識処理用画像から得たトラッキングポイント３４をメイクアップ前画像に重ねて表示した例を表している。また、画面イメージ４０２はトラッキングポイント３４に基づいてメイクアップ前画像に含まれるユーザの顔にメイクアップを施したメイクアップ後画像を表示した例を表している。
【００８７】
以下、シミュレータメインアプリ２８が行なう処理のうち、顔認識処理，メイクアップ処理の詳細について図面を参照しつつ順番に説明していく。なお、本実施例では、メイクアップ処理の一例として、ファンデーション処理，眉処理，シャドウ処理，口紅処理及びチーク処理から成るメイクアップ処理を説明するが、他の組み合わせであってもよい。
【００８８】
（顔認識処理）
図１７はメイクアップ前画像に含まれるユーザの顔のイメージ画像である。図１８はトラッキングポイントを表す一例のイメージ図である。シミュレータメインアプリ２８の顔認識処理部３３は、図１７のようなイメージ画像からユーザの顔を認識する為の図１８のような４５点のトラッキングポイント３４を得る。図１８のトラッキングポイント３４は一例であって、制御部８の処理能力やモニタ７の精細度に応じて調整してもよい。
【００８９】
このように、メイクアップ前画像に含まれるユーザの顔からトラッキングポイント３４を得ることにより、メイクアップ処理部３５はトラッキングポイント３４と関連付けてメイクアップの施し方や色を図１９のようなメイクアップ処理パラメータファイルに設定しておくことができる。
【００９０】
図１９はメイクアップ処理パラメータファイルの一例の構成図である。図１９のメイクアップ処理パラメータファイルは、目元，口元，チーク等ごとにトラッキングポイント３４と関連付けてメイクアップの施し方や色が設定されているものである。なお、メイクアップ処理パラメータファイルはメイクアップパターン（イメージ）毎に設定されるものである。図１９のメイクアップ処理パラメータファイルは、クラスエレガンスの例を表している。
【００９１】
（口紅処理）
シミュレータメインアプリ２８に含まれる口紅処理部３９は図２０に示すように唇８点及び鼻３点のトラッキングポイント３４を参照し、口紅処理を行う。図２０は口紅処理により参照されるトラッキングポイントを示すイメージ図である。
【００９２】
図２１は口紅処理を示す一例のフローチャートである。口紅処理は大別するとステップＳ１０の前準備処理とステップＳ２０の色塗り処理とで構成される。前準備処理は、ステップＳ１１の切出し＆回転処理，ステップＳ１２の輪郭抽出用画像の作成処理，ステップＳ１３の輪郭抽出処理，ステップＳ１４のスプライン曲線生成処理，ステップＳ１５の回転戻し処理，ステップＳ１６の色塗りマップ生成処理とで構成される。色塗り処理は、ステップＳ２１の色塗りマップに基づく色塗り処理，ステップＳ２２のデバック＆デザイン用描画処理とで構成される。
【００９３】
ステップＳ１１の切出し＆回転処理に進み、口紅処理部３９は、顔認識処理用画像からユーザの顔の唇を含む部分画像５００を切り出し、その部分画像５００を処理用の姿勢に回転させて部分画像５０１を得る。
【００９４】
ステップＳ１２の輪郭抽出用画像の作成処理に進み、口紅処理部３９は部分画像５０１から輪郭抽出用画像を作成する。ステップＳ１３の輪郭抽出処理に進み、口紅処理部３９は輪郭抽出用画像から唇の輪郭を部分画像５０２に示すようにポイントで抽出する。
【００９５】
図２２は輪郭抽出処理を表す一例のイメージ図である。輪郭抽出用画像６００は唇８点及び鼻３点のトラッキングポイントが重ねて表示されている。口紅処理部３９は、唇８点及び鼻３点のトラッキングポイントを元に再探索して輪郭抽出用画像６０１のポイントを抽出する。
【００９６】
図２３は輪郭抽出用画像６００の唇８点及び鼻３点のトラッキングポイントと、唇８点及び鼻３点のトラッキングポイントを元に再探索して抽出した輪郭抽出用画像６０１のポイントとの比較画面である。なお、上記再探索が不調な場合は輪郭抽出用画像６００の唇８点及び鼻３点のトラッキングポイントから算出した図２４のようなデフォルトポイントを採用する。
【００９７】
図２４は唇８点及び鼻３点のトラッキングポイントからデフォルトポイントを求める処理を表した一例のイメージ図である。口紅処理部３９は鼻の３点のトラッキングポイントを参照し、上唇５点に対してデフォルトポイントを求める。
【００９８】
ステップＳ１４のスプライン曲線生成処理に進み、口紅処理部３９は輪郭抽出用画像６０１のポイント又は図２４のようなデフォルトポイントを２次スプラインで補間し、図２５に示すような輪郭を完成させる。図２５は、ポイント又はデフォルトポイントから輪郭を完成させる処理を表したイメージ図である。部分画像５０３のように唇の輪郭が完成すると、口紅処理部３９はステップＳ１５に進み、ステップＳ１１の切出し＆回転処理で行った回転を元に戻す回転戻し処理を行なう。
【００９９】
ステップＳ１６の色塗りマップ生成処理に進み、口紅処理部３９は部分画像７００の明度および彩度から色塗りの強さを決める色塗りマップを生成する。図２６は色塗りマップ生成処理を表した一例のイメージ図である。具体的に、口紅処理部３９は明度および彩度から色塗りの強さを表すグレースケール画像７０１を生成する。口紅処理部３９は、ステップＳ１４のスプライン曲線生成処理で完成させた唇の輪郭で囲まれた部分画像７０２のみを色塗りマップ５０４としてグレースケール画像７０１から切り出す。
【０１００】
ステップＳ２１の色塗りマップに基づく色塗り処理に進み、口紅処理部３９はステップＳ１６の色塗りマップ生成処理で生成した色塗りマップ５０４と、図１９のようなメイクアップ処理パラメータファイルに設定されているメイクアップの施し方や指定色に基づいてメイクアップ前画像に対して着色を行なう。
【０１０１】
図２７は色塗りマップに基づく色塗り処理を表した一例のイメージ図である。口紅処理部３９は図１９のようなメイクアップ処理パラメータファイル８０１に設定されているメイクアップの施し方や指定色と、ステップＳ１６の色塗りマップ生成処理で生成した色塗りマップ８０２とに基づいて、メイクアップ前画像８０３に対して着色を行い、メイクアップ後画像８０４を得る。
【０１０２】
そして、ステップＳ２２のデバック＆デザイン用描画処理に進み、口紅処理部３９はデバック＆デザイン用描画の処理を行ったあと、口紅処理を終了する。
【０１０３】
（シャドウ処理）
シミュレータメインアプリ２８に含まれるシャドウ処理部３８は図２８に示すように左右別に目３点及び眉１点のトラッキングポイント３４を参照し、シャドウ処理を行う。図２８はシャドウ処理により参照されるトラッキングポイントを示すイメージ図である。
【０１０４】
図２９はシャドウ処理を示す一例のフローチャートである。シャドウ処理は大別するとステップＳ３０の前準備処理とステップＳ４０の色塗り処理とで構成される。前準備処理は、ステップＳ３１の基本輪郭の生成処理で構成される。
【０１０５】
色塗り処理は、色塗りパターン分繰り返し行なう、ステップＳ４１の色塗り輪郭の生成処理，ステップＳ４２の色塗り中心の生成処理，ステップＳ４３の色塗りマップの生成処理，ステップＳ４４の色塗りマップに基づく色塗り処理，ステップＳ４５のデバック＆デザイン用描画処理とで構成される。
【０１０６】
ステップＳ３１の基本輪郭の生成処理に進み、シャドウ処理部３８は、顔認識処理用画像からユーザの顔の目の形状を部分画像９００のように得る。図３０は、基本輪郭の生成処理を表す一例のイメージ図である。
【０１０７】
シャドウ処理部３８は色塗り輪郭の基本となる輪郭を生成するため、部分画像１００１に示すように、目の中心から上下方向を探索して目の輪郭（上辺境界＆下辺境界）を２点認識する。シャドウ処理部３８は、認識した目の輪郭２点，目尻及び目頭の４点に、スプライン補間で生成した４点を追加して、計８点によるポリゴンを部分画像１００２のように生成する。
【０１０８】
ステップＳ４１の色塗り輪郭の生成処理に進み、シャドウ処理部３８は色塗り輪郭を部分画像９０１のように生成する。図３１は色塗り輪郭の生成処理を表す一例のイメージ図である。シャドウ処理部３８は色塗り輪郭を生成するため、部分画像１１０１に示すように、目尻及び目頭を基準に色塗り輪郭を生成する。なお、輪郭の拡張、頂点のシフト等についてはＧＵＩでパラメータ指定するようにしてもよい。
【０１０９】
ステップＳ４２の色塗り中心の生成処理に進み、シャドウ処理部３８は色塗り中心位置を部分画像９０２の「●」ように生成する。ステップＳ４３の色塗りマップの生成処理に進み、シャドウ処理部３８は部分画像９０３のように、色塗りの強さを決める色塗りマップを生成する。
【０１１０】
具体的に、色塗りマップ生成処理は色塗り中心からポリゴンの辺までの距離に対応して塗りの強さを決定する。例えばシャドウ処理部３８は辺に近いほど塗りの強さを弱めるように色塗りマップを決定する。なお、色塗りマップ生成処理は色塗り輪郭から基本輪郭を除いた部分を対象としている。
【０１１１】
シャドウ処理部３８は生成した色塗りマップに対し、図３２に示すように、ぼかし処理を掛けることで更に滑らかなグラデーションを生成する。図３２は、ぼかし処理を掛けていない色塗りマップと、ぼかし処理を掛けている色塗りマップとを表した一例のイメージ図である。
【０１１２】
ステップＳ４４の色塗りマップに基づく色塗り処理に進み、シャドウ処理部３８はステップＳ４３の色塗りマップの生成処理で生成した色塗りマップ９０３と、図１９のようなメイクアップ処理パラメータファイルに設定されているメイクアップの施し方や指定色に基づいてメイクアップ前画像に対して着色を行ない、メイクアップ後画像を得る。
【０１１３】
そして、ステップＳ４５のデバック＆デザイン用描画処理に進み、シャドウ処理部３８はデバック＆デザイン用描画の処理を行ったあと、シャドウ処理を終了する。なお、シャドウ処理部３８はステップＳ４１〜Ｓ４５の処理を色塗りパターン分だけ繰り返し行なうことで、多色塗りを実現することもできる。
【０１１４】
（チーク処理）
シミュレータメインアプリ２８に含まれるチーク処理部４０は図３３に示すように目尻＆口角（左右別）、眼間＆鼻中心（スタビライズ用）のトラッキングポイント３４を参照して、チーク処理を行う。図３３はチーク処理により参照されるトラッキングポイントを示すイメージ図である。
【０１１５】
図３４はチーク処理を示す一例のフローチャートである。チーク処理は、ステップＳ５０の色塗り輪郭の生成処理，ステップＳ５１の色塗り処理，ステップＳ５２のデバック＆デザイン用描画処理とで構成される。
【０１１６】
ステップＳ５０の色塗り輪郭の生成処理に進み、チーク処理部４０は色塗り輪郭を生成するため、目尻及び口角を基準に色塗り輪郭として輪郭ポリゴンを生成する。図３５は色塗り輪郭を表した一例のイメージ図である。なお、輪郭ポリゴンの点数，大きさ，形状または位置等はＧＵＩでパラメータ指定するようにしてもよい。
【０１１７】
ステップＳ５１の色塗り処理に進み、チーク処理部４０は色塗り中心から輪郭ポリゴンの辺までの距離に対応して塗りの強さを決定する。なお、塗りの強さの決定に処理コストが掛かりすぎる場合は、解像度（ＧＵＩでパラメータ指定）を落として（モザイク状に間引きして）塗りの強さを決定してもよい。チーク処理部４０は決定した塗りの強さと、図１９のようなメイクアップ処理パラメータファイルに設定されているメイクアップの施し方や指定色に基づいてメイクアップ前画像に対して着色を行ない、メイクアップ後画像を得る。
【０１１８】
そして、ステップＳ５２のデバック＆デザイン用描画処理に進み、チーク処理部４０はデバック＆デザイン用描画の処理を行ったあと、チーク処理を終了する。
【０１１９】
（眉処理）
シミュレータメインアプリ２８に含まれる眉処理部３７は図３６に示すように左右別に目尻，目中心および眉２点のトラッキングポイント３４を参照し、眉処理を行う。図３６は眉処理により参照されるトラッキングポイントを示すイメージ図である。
【０１２０】
図３７は眉処理を示す一例のフローチャートである。眉処理は大別するとステップＳ６０の眉輪郭抽出処理，ステップＳ７０の元眉領域の消去処理，ステップＳ８０の眉形状の変形処理，ステップＳ９０の変形眉の貼付け処理で構成される。
【０１２１】
元眉領域の消去処理は、ステップＳ７１の領域の膨張処理，ステップＳ７２の眉の消去処理で構成される。眉形状の変形処理は、ステップＳ８１の変形指定に対応した指示曲線の作成処理，ステップＳ８２の変形眉の生成処理で構成される。
【０１２２】
ステップＳ６０の眉輪郭抽出処理に進み、眉処理部３７は顔認識処理用画像からユーザの顔の眉の形状を部分画像２００１のように得る。図３８は、眉輪郭抽出処理を表す一例のイメージ図である。眉処理部３７は眉の輪郭を抽出するため、部分画像２１０１に示すように、眉尻（実際には眉の中心付近）を中心に左右に眉を探索する。眉処理部３７は部分画像２１０２に示すように、探索結果から眉の輪郭形状を認識する。
【０１２３】
ステップＳ７１の領域の膨張処理に進み、眉処理部３７は認識した眉の輪郭形状を表す領域を膨張させる。ステップＳ７２の眉の消去処理に進み、眉処理部３７は膨張させた領域を付近の肌色を使って塗りつぶすことで眉を消去する。また、眉処理部３７は膨張させた領域の境界部分に、なじませる処理を施す。
【０１２４】
ステップＳ８１の変形指定に対応した指示曲線の作成処理に進み、眉処理部３７は認識した眉の輪郭形状を表す領域（スケルトン）を指定に従って変形させる。図３９は変形指定に対応した指示曲線の作成処理を表す一例のイメージ図である。
【０１２５】
眉処理部３７は、部分画像２２０１に示すように、認識した眉の輪郭形状を表す領域を横方向の軸線と縦方向の複数のタンザクから成るスケルトン２２０２に置き換え、軸線の形状とタンザクの高さを変えることで、例えばスケルトン２２０３のように変形処理を施すことができる。
【０１２６】
ステップＳ８２の変形眉の生成処理に進み、眉処理部３７はスケルトン２２０３から変形眉を生成する。ステップＳ９０の変形眉の貼付け処理に進み、眉処理部３７は変形眉をメイクアップ前画像に対して貼付けて、メイクアップ後画像を得る。
【０１２７】
（ファンデーション処理）
シミュレータメインアプリ２８に含まれるファンデーション処理部３６は図４０に示すように左右別に目尻，目頭および眉１点、眼間および鼻中心のトラッキングポイント３４を参照し、ファンデーション処理を行う。図４０はファンデーション処理により参照されるトラッキングポイントを示すイメージ図である。
【０１２８】
図４１はファンデーション処理を示す一例のフローチャートである。ファンデーション処理は、ステップＳ１０１の輪郭の生成処理，ステップＳ１０２の対象画像へのぼかし処理，ステップＳ１０３の画像の貼り付け処理で構成される。なお、ステップＳ１０１〜Ｓ１０３の処理は対象エリア分、繰り返し行われる。
【０１２９】
ステップＳ１０１の輪郭の生成処理に進み、ファンデーション処理部３６は図４２のイメージ画像に示すように、額，鼻，頬（左右）の３種類（４箇所）の輪郭を生成する。図４２は輪郭を表した一例のイメージ画像である。なお、各輪郭のサイズ，位置等はＧＵＩでパラメータ指定するようにしてもよい。
【０１３０】
ステップＳ１０２の対象画像へのぼかし処理に進み、ファンデーション処理部３６は生成した輪郭に対応する対象画像へのぼかし処理を図４３のように行なう。図４３は、ぼかし処理前の元画像と、ぼかし処理後の元画像とを表した一例のイメージ図である。対象画像へのぼかし処理により、ファンデーション処理部３６は肌の細かい荒れ等を平滑化することができる。
【０１３１】
ステップＳ１０３の画像の貼り付け処理に進み、ファンデーション処理部３６は、ぼかし処理後の対象画像をメイクアップ前画像の額，鼻，頬（左右）の３種類（４箇所）の輪郭に貼り付け、メイクアップ後画像を得る。
【０１３２】
以上、本発明によれば、動画像に含まれるユーザの顔に、少ない処理負担で正確にメイクアップを施すことができる。なお、特許請求の範囲に記載した撮影手段はカメラ２に相当し、制御手段は制御部８に相当し、表示手段はモニタ７に相当し、顔認識処理手段は顔認識処理部３３に相当し、メイクアップ処理手段はメイクアップ処理部３５に相当し、操作手段は操作パネル４に相当し、ハーフミラー手段はハーフミラー３に相当し、印刷手段はプリンタ５に相当する。
【０１３３】
また、本発明は、具体的に開示された実施例に限定されるものでなく、特許請求の範囲から逸脱することなく、種々の変形や変更が可能である。
【０１３４】
本発明のメイクアップシミュレーション装置１はリアルタイムシミュレーションである為、静止画によるものや従来のメイクアップシミュレーション装置１と異なり、瞬時に顔のトラッキングポイントを認識し、そのトラッキングポイントをもとにシミュレーションを行うことができるので、これまでできなかった以下のことも可能にしている。
【０１３５】
本発明のメイクアップシミュレーション装置１はリアルタイムなシミュレーションが可能である。本発明のメイクアップシミュレーション装置１は、これまでのように正面顔だけでなく、横顔からのシミュレーション等も可能なため、頬紅等のシミュレーション効果やテクニックの確認が容易である。
【０１３６】
本発明のメイクアップシミュレーション装置１は、リアルタイムなシミュレーションになったことで、これまでの平面的な表現から、顔を立体としてとらえた分析や、立体感や質感の表現も可能になった。
【０１３７】
また、本発明のメイクアップシミュレーション装置１は、同時に何人もの顔認識が可能であるため、同時に何人ものリアルタイムなシミュレーションが可能である。本発明のメイクアップシミュレーション装置１は顔認識機能が優れていることから、個々の顔立ちにあわせて、あるいは男性、女性を自動的に分類し、顔立ちや分類にあわせたメイクアップが可能である。例えば本発明のメイクアップシミュレーション装置１は、カップルで同時に、それぞれのメイクアップシミュレーションが可能である。
【符号の説明】
【０１３８】
１ メイクアップシミュレーション装置
２ カメラ
３ ハーフミラー
４ 操作パネル
５ プリンタ
６ 照明
７ モニタ
８ 制御部
９ 透明板
１０ 演算処理装置
１１ メモリ装置
１２ ドライブ装置
１３ 補助記憶装置
１４ 記録媒体
１５ タッチパネルモニタ
１６ 陳列ケース
１７ ＩＣタグリーダライタ
２５ 静止画システム
２７ 共有メモリ
２８ シミュレータメインアプリ
２９ インターフェースアプリ
３３ 顔認識処理部
３４ トラッキングポイント
３５ メイクアップ処理部
３６ ファンデーション処理部
３７ 眉処理部
３８ シャドウ処理部
３９ 口紅処理部
４０ チーク処理部
４１ 商品情報
【技術分野】
【０００１】
本発明はメイクアップシミュレーションシステムに係り、特に動画像に含まれるユーザの顔にメイクアップを施すメイクアップシミュレーションシステムに関する。
【背景技術】
【０００２】
従来、メイクアップを施す為の商品の販売等のため、実際にメイクアップを施すことなくコンピュータ上でメイクアップ後の顔をシミュレーションする技術が知られている（例えば特許文献１参照）。しかしながら、特許文献１ではシミュレーション結果が静止画で表示されるため、ユーザの表情が変化した際のメイクアップ後の顔を容易に確認することができなかった。そこで、ユーザの表情の変化を捕らえた動画像内で化粧をシミュレートする技術の開発が進められている（例えば特許文献２参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００１−３４６６２７号公報
【特許文献２】特開２００３−４４８３７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、特許文献２に記載の化粧シミュレーション装置はユーザの表情の変化を口および両目に対応する画素領域で特定し、その画素領域をテンプレートマッチングにより追跡することで、フェースメークを施す化粧領域を算出している（例えば、段落［００２８］参照）。このように、ユーザの表情の変化を口および両目に対応する画素領域で追跡することはコンピュータの処理負担が大きく、目を閉じた場合等への正確な対処が難しいという問題があった。
【０００５】
本発明は、上記の点に鑑みなされたもので、動画像に含まれるユーザの顔を少ない処理負担で正確にメイクアップすることができるメイクアップシミュレーションシステムを提供することを目的とする。
【課題を解決するための手段】
【０００６】
上記の課題を解決するため、本発明は、ユーザの顔を撮影した動画像にメイクアップを施すメイクアップシミュレーションシステムであって、ユーザの顔を撮影して動画像を出力する撮影手段と、前記撮影手段から出力された動画像を受信し、前記動画像を画像処理して出力する制御手段と、前記制御手段から出力された動画像を表示する表示手段とを備え、前記制御手段は、前記動画像からユーザの顔を所定のトラッキングポイントに基づいて認識する顔認識処理手段と、前記トラッキングポイントに基づいて前記動画像に含まれるユーザの顔に所定のメイクアップを施して前記表示手段に出力するメイクアップ処理手段とを備えることを特徴とする。
【０００７】
なお、本発明の構成要素、表現または構成要素の任意の組合せを、方法、装置、システム、コンピュータプログラム、記録媒体、データ構造などに適用したものも本発明の態様として有効である。
【発明の効果】
【０００８】
本発明によれば、動画像に含まれるユーザの顔を少ない処理負担で正確にメイクアップすることができるメイクアップシミュレーションシステムを提供可能である。
【図面の簡単な説明】
【０００９】
【図１】本発明によるメイクアップシミュレーション装置の第一実施例の外観図である。
【図２】メイクアップシミュレーション装置の第一実施例の断面図である。
【図３】本発明によるメイクアップシミュレーション装置の第二実施例の外観図である。
【図４】メイクアップシミュレーション装置の第二実施例の断面図である。
【図５】本発明によるメイクアップシミュレーション装置の第三実施例の外観図である。
【図６】メイクアップシミュレーション装置の第三実施例の断面図である。
【図７】本発明によるメイクアップシミュレーション装置の第四実施例の外観図である。
【図８】メイクアップシミュレーション装置の第四実施例の断面図である。
【図９】本発明によるメイクアップシミュレーション装置の第五実施例の外観図である。
【図１０】メイクアップシミュレーション装置の第五実施例の断面図である。
【図１１】メイクアップシミュレーション装置の第五実施例のハードウェア構成図である。
【図１２】メイクアップシミュレーション装置が行なう処理の概略を表したフローチャートである。
【図１３】モニタに表示されるメイン画面及び操作パネルに表示される操作画面の一例のイメージ図である。
【図１４】メイクアップシミュレーション装置が行なうメイクアップシミュレーション以外の処理を表すイメージ図である。
【図１５】本発明によるメイクアップシミュレーションシステムの一実施例のシステム構成図である。
【図１６】シミュレータメインアプリが行なう処理を表す画面イメージ図である。
【図１７】メイクアップ前画像に含まれるユーザの顔のイメージ画像である。
【図１８】トラッキングポイントを表す一例のイメージ図である。
【図１９】メイクアップ処理パラメータファイルの一例の構成図である。
【図２０】口紅処理により参照されるトラッキングポイントを示すイメージ図である。
【図２１】口紅処理を示す一例のフローチャートである。
【図２２】輪郭抽出処理を表す一例のイメージ図である。
【図２３】輪郭抽出用画像６００の唇８点及び鼻３点のトラッキングポイントと、唇８点及び鼻３点のトラッキングポイントを元に再探索して抽出した輪郭抽出用画像６０１のポイントとの比較画面である。
【図２４】唇８点及び鼻３点のトラッキングポイントからデフォルトポイントを求める処理を表した一例のイメージ図である。
【図２５】ポイント又はデフォルトポイントから輪郭を完成させる処理を表したイメージ図である。
【図２６】色塗りマップ生成処理を表した一例のイメージ図である。
【図２７】色塗りマップに基づく色塗り処理を表した一例のイメージ図である。
【図２８】シャドウ処理により参照されるトラッキングポイントを示すイメージ図である。
【図２９】シャドウ処理を示す一例のフローチャートである。
【図３０】基本輪郭の生成処理を表す一例のイメージ図である。
【図３１】色塗り輪郭の生成処理を表す一例のイメージ図である。
【図３２】ぼかし処理を掛けていない色塗りマップと、ぼかし処理を掛けている色塗りマップとを表した一例のイメージ図である。
【図３３】チーク処理により参照されるトラッキングポイントを示すイメージ図である。
【図３４】チーク処理を示す一例のフローチャートである。
【図３５】色塗り輪郭を表した一例のイメージ図である。
【図３６】眉処理により参照されるトラッキングポイントを示すイメージ図である。
【図３７】眉処理を示す一例のフローチャートである。
【図３８】眉輪郭抽出処理を表す一例のイメージ図である。
【図３９】変形指定に対応した指示曲線の作成処理を表す一例のイメージ図である。
【図４０】ファンデーション処理により参照されるトラッキングポイントを示すイメージ図である。
【図４１】ファンデーション処理を示す一例のフローチャートである。
【図４２】輪郭を表した一例のイメージ画像である。
【図４３】ぼかし処理前の元画像と、ぼかし処理後の元画像とを表した一例のイメージ図である。
【発明を実施するための形態】
【００１０】
次に、本発明を実施するための最良の形態を、以下の実施例に基づき図面を参照しつつ説明していく。図１は本発明によるメイクアップシミュレーション装置の第一実施例の外観図である。メイクアップシミュレーション装置１は、カメラ２，操作パネル４，プリンタ５，照明６及びモニタ７を含む構成である。
【００１１】
カメラ２は、メイクアップシミュレーション装置１の前方に立ったユーザを撮影して動画像を出力する。操作パネル４は、操作画像を表示すると共に、ユーザからの操作を受け付けて操作情報を出力する。プリンタ５は、モニタに表示される画像（例えばメイクアップ後のイメージ画像等）及び情報（例えばイメージ画像のようにメイクアップする為の商品情報等）を印刷する。照明６は、例えばメイクアップシミュレーションが開始されたあとで調光を行う。
【００１２】
図２はメイクアップシミュレーション装置の第一実施例の断面図である。メイクアップシミュレーション装置１は、カメラ２，操作パネル４，プリンタ５，モニタ７，制御部８を含む構成である。
【００１３】
カメラ２は、撮影した動画像を制御部８に出力する。操作パネル４は、制御部８から出力された操作画像を表示すると共に、ユーザからの操作を受け付けて操作情報を制御部８に出力する。プリンタ５は、制御部８から出力された画像及び情報を印刷する。モニタ７は制御部８から出力された動画像（メイン画像）を表示する。制御部８は、カメラ２から出力された動画像を受信し、その動画像を後述するように画像処理することにより、動画像に含まれるユーザの顔にメイクアップを施してモニタ７に出力する。
【００１４】
図１及び図２のメイクアップシミュレーション装置１は鏡というメイクアップに必要不可欠なアイテムをコンセプトとし、ユーザとのインタラクティブな機能を持つ。即ちメイクアップシミュレーション装置１は、ユーザがあたかも鏡を見ながら自然にメイクアップをしている気分にさせる特徴を持つ。
【００１５】
メイクアップシミュレーション装置１はカメラ２から出力された動画像等を制御部８で画像処理し、動画像に含まれるユーザの顔にメイクアップを施して、デジタルの鏡であるモニタ７に表示する。メイクアップシミュレーション装置１は、様々な商品情報、美容情報およびユーザの顔にメイクアップを施したイメージ画像をモニタ７に表示できる。
【００１６】
また、図３は本発明によるメイクアップシミュレーション装置の第二実施例の外観図である。なお、図１と同一部分については同一符号を付している。
【００１７】
図３のメイクアップシミュレーション装置１は、操作パネル４，プリンタ５，照明６及び透明板９を含む構成である。透明板９は、メイクアップシミュレーション装置１の外側からの光を透過すると共に、メイクアップシミュレーション装置１の内側からの光を透過する。
【００１８】
図４はメイクアップシミュレーション装置の第二実施例の断面図である。なお、図２と同一部分については同一符号を付している。図４のメイクアップシミュレーション装置１は、カメラ２，ハーフミラー３，操作パネル４，プリンタ５，モニタ７，制御部８及び透明板９を含む構成である。
【００１９】
ハーフミラー（半透明鏡）３は当たった光を反射させると共に、当たった光の一部を透過させる。カメラ２はハーフミラー３，透明板９を介してメイクアップシミュレーション装置１の前方に立ったユーザを撮影可能な位置に設置されている。カメラ２は、ユーザの目線の高さに設置される。カメラ２は、ハーフミラー３，透明板９を介してメイクアップシミュレーション装置１の前方に立ったユーザを撮影して動画像を出力する。
【００２０】
モニタ７はハーフミラー３，透明板９を介してメイクアップシミュレーション装置１の前方に立ったユーザが見ることのできる位置に設置されている。モニタ７から出力された光はハーフミラー３により反射し、透明板９を介してメイクアップシミュレーション装置１の外側に出力される。したがって、ユーザはモニタ７に表示されている動画像をメイクアップシミュレーション装置１の外側から見ることができる。
【００２１】
図３及び図４のメイクアップシミュレーション装置１は鏡というメイクアップに必要不可欠なアイテムをコンセプトとし、ユーザとのインタラクティブな機能を持つ。即ちメイクアップシミュレーション装置１は、ユーザがあたかも鏡を見ながら自然にメイクアップをしている気分にさせる特徴を持つ。
【００２２】
メイクアップシミュレーション装置１はカメラ２を目線の高さに設置している為、実施例１のカメラ２の位置に設置するよりも、メイクアップシミュレーション装置１の前方に立ったユーザの顔を自然に撮影できる。
【００２３】
メイクアップシミュレーション装置１はカメラ２から出力された動画像等を制御部８で画像処理し、動画像に含まれるユーザの顔にメイクアップを施して、デジタルの鏡であるモニタ７に表示する。メイクアップシミュレーション装置１は、様々な商品情報、美容情報およびユーザの顔にメイクアップを施したイメージ画像をモニタ７に表示できる。
【００２４】
また、図５は、本発明によるメイクアップシミュレーション装置の第三実施例の外観図である。なお、前図と同一部分については同一符号を付している。図５のメイクアップシミュレーション装置１は、カメラ２，ハーフミラー３，操作パネル４，プリンタ５及び照明６を含む構成である。
【００２５】
ハーフミラー３は、明るい方からの光の一部（例えば５０％）を透過すると共に、明るい方からの光の残り（例えば５０％）を手前に反射する。暗い方に光が無いため、ハーフミラー３は暗い方からの光の透過も反射もしない。
【００２６】
照明６はメイクアップシミュレーションが開始されたあと、ハーフミラー３のモニタ７側が明るくなるように調光する。したがって、モニタ７の表示方向側に設けられたハーフミラー３は、メイクアップシミュレーションが開始される前、ユーザ側（メイクアップシミュレーション装置１の外側）からの光を反射して鏡として機能する。
【００２７】
ハーフミラー３はメイクアップシミュレーションが開始された後、モニタ７側（メイクアップシミュレーション装置１の内側）からの光を透過してガラスとして機能する。したがって、ユーザはハーフミラー３を通してモニタ７に表示されている動画像を見ることができる。
【００２８】
図６はメイクアップシミュレーション装置の第三実施例の断面図である。図６のメイクアップシミュレーション装置１は、カメラ２，ハーフミラー３，操作パネル４，プリンタ５，モニタ７，制御部８を含む構成である。なお、前図と同一部分については同一符号を付している。モニタ７に表示された動画像はガラスとして機能しているハーフミラー３を透過する。ユーザは、モニタ７に表示されている動画像をメイクアップシミュレーション装置１の外側から見ることができる。
【００２９】
図５及び図６のメイクアップシミュレーション装置１は鏡というメイクアップに必要不可欠なアイテムをコンセプトとし、ユーザとのインタラクティブな機能を持つ。即ちメイクアップシミュレーション装置１は、ユーザがあたかも鏡を見ながら自然にメイクアップをしている気分にさせる特徴を持つ。
【００３０】
メイクアップシミュレーション装置１はカメラ２から出力された動画像等を制御部８で画像処理し、動画像に含まれるユーザの顔にメイクアップを施して、デジタルの鏡であるモニタ７に表示する。メイクアップシミュレーション装置１は、様々な商品情報、美容情報およびユーザの顔にメイクアップを施したイメージ画像をモニタ７に表示できる。
【００３１】
また、図７は本発明によるメイクアップシミュレーション装置の第四実施例の外観図である。図８はメイクアップシミュレーション装置の第四実施例の断面図である。なお、前図と同一部分については同一符号を付している。メイクアップシミュレーション装置１はカメラ２，プリンタ５，照明６，タッチパネルモニタ１５を含む構成である。
【００３２】
図７及び図８のメイクアップシミュレーション装置１は、操作パネル４及びモニタ７の替わりにタッチパネルモニタ１５を含む構成である点で、図１及び図２のメイクアップシミュレーション装置１と異なっている。タッチパネルモニタ１５は、操作パネル４及びモニタ７として機能する。
【００３３】
タッチパネルモニタ１５は、操作画像を表示すると共に、ユーザからの操作を受け付けて操作情報を出力する。タッチパネルモニタ１５は、制御部８から出力された操作画像を表示すると共に、ユーザからの操作を受け付けて操作情報を制御部８に出力する。タッチパネルモニタ１５は制御部８から出力された動画像（メイン画像）を表示する。制御部８はカメラ２から出力された動画像を受信し、その動画像を後述するように画像処理することにより、動画像に含まれるユーザの顔にメイクアップを施してタッチパネルモニタ１５に出力する。
【００３４】
図７及び図８のメイクアップシミュレーション装置１は鏡というメイクアップに必要不可欠なアイテムをコンセプトとし、ユーザとのインタラクティブな機能を持つ。即ちメイクアップシミュレーション装置１は、ユーザがあたかも鏡を見ながら自然にメイクアップをしている気分にさせる特徴を持つ。
【００３５】
メイクアップシミュレーション装置１はカメラ２から出力された動画像等を制御部８で画像処理し、動画像に含まれるユーザの顔にメイクアップを施して、デジタルの鏡であるタッチパネルモニタ１５に表示する。メイクアップシミュレーション装置１は、様々な商品情報、美容情報およびユーザの顔にメイクアップを施したイメージ画像をタッチパネルモニタ１５に表示できる。
【００３６】
第四実施例のメイクアップシミュレーション装置１は、例えばユーザが使って試すテスター用の商品（以下、テスター品という）を陳列する陳列ケースを、図９及び図１０のように備えるようにしてセルフ販売用の筐体として利用することもできる。図９は、本発明によるメイクアップシミュレーション装置の第五実施例の外観図である。図１０は、メイクアップシミュレーション装置の第五実施例の断面図である。なお、前図と同一部分については同一符号を付している。
【００３７】
メイクアップシミュレーション装置１は、カメラ２，プリンタ５，照明６，タッチパネルモニタ１５，陳列ケース１６及びＩＣタグリーダライタ１７を含む構成である。図９及び図１０のメイクアップシミュレーション装置１は、陳列ケース１６及びＩＣタグリーダライタ１７を含む構成である点で、図７及び図８のメイクアップシミュレーション装置１と異なっている。
【００３８】
陳列ケース１６は、複数のテスター品を陳列するものである。なお、テスター品にはＩＣ（ＲＦＩＤ）タグが添付されている。テスター品に添付されたＩＣタグにはテスター品を識別可能な識別情報が格納されている。ユーザが陳列ケース１６からテスター品を取り出してＩＣタグリーダライタ１７に近づけることで、ＩＣタグリーダライタ１７はＩＣタグからテスター品の識別情報を読み取る。
【００３９】
ＩＣタグリーダライタ１７はＩＣタグから読み取ったテスター品の識別情報を制御部８に送信する。制御部８はカメラ２から出力された動画像を受信し、その動画像を後述するように画像処理することにより、ＩＣタグから読み取った識別情報に対応するテスター品を用いて、動画像に含まれるユーザの顔にメイクアップを施したイメージ画像をタッチパネルモニタ１５に出力する。
【００４０】
なお、テスター品と識別情報とを対応付ける対応表はメイクアップシミュレーション装置１に備えておいてもよいし、メイクアップシミュレーション装置１からネットワーク経由で取得可能な他の装置に備えておいてもよい。
【００４１】
また、図９及び図１０のメイクアップシミュレーション装置１ではテスター品の識別にＩＣタグを利用する例を示したが、バーコード，二次元コード，ラベル等を利用するようにしてもよい。さらに、図９及び図１０のメイクアップシミュレーション装置１は取り出したテスター品が分かるような仕組み（例えば光センサなどのセンサを利用した位置認識など）を陳列ケース１６に設けておき、陳列ケース１６から制御部８に通知するようにしてもよい。
【００４２】
図９及び図１０のメイクアップシミュレーション装置１は鏡というメイクアップに必要不可欠なアイテムをコンセプトとし、ユーザとのインタラクティブな機能を持つ。即ちメイクアップシミュレーション装置１は、ユーザがあたかも鏡を見ながら自然にメイクアップをしている気分にさせる特徴を持つ。
【００４３】
メイクアップシミュレーション装置１はカメラ２から出力された動画像等を制御部８で画像処理し、動画像に含まれるユーザの顔に、ユーザが陳列ケース１６から選択したテスター品を用いてメイクアップを施したイメージ画像を、デジタルの鏡であるタッチパネルモニタ１５に表示する。メイクアップシミュレーション装置１は、様々な商品情報、美容情報およびユーザの顔にメイクアップを施したイメージ画像をタッチパネルモニタ１５に表示できる。ユーザが陳列ケース１６から選択したテスター品のログを取ることで、メイクアップシミュレーション装置１はユーザの嗜好等のデータを取得できる。
【００４４】
なお、例えばテスター品だけでなく、商品を陳列するための棚を備えたメイクアップシミュレーション装置１であれば、タッチパネルモニタ１５に表示される商品を棚に陳列しておくことにより、セルフ販売用の筐体として効果的に利用できる。
【００４５】
以下、第一実施例のメイクアップシミュレーション装置１を例に説明する。図１１はメイクアップシミュレーション装置の一実施例のハードウェア構成図である。なお、図１及び図２と同一部分については同一符号を付している。
【００４６】
図１１のメイクアップシミュレーション装置１は、それぞれバスＢで相互に接続されているカメラ２，操作パネル４，プリンタ５，モニタ７，演算処理装置１０，メモリ装置１１，ドライブ装置１２および補助記憶装置１３で構成される。なお、図１１の演算処理装置１０，メモリ装置１１，ドライブ装置１２および補助記憶装置１３は、図２の制御部８を構成する。
【００４７】
本発明のメイクアップシミュレーションプログラムは、メイクアップシミュレーション装置１を制御する各種プログラムの少なくとも一部である。メイクアップシミュレーションプログラムは例えば記録媒体１４の配布などによって提供される。
【００４８】
なお、メイクアップシミュレーションプログラムを記録した記録媒体１４は、ＣＤ−ＲＯＭ、フレキシブルディスク、光磁気ディスク等の様に情報を光学的，電気的或いは磁気的に記録する記録媒体、ＲＯＭ、フラッシュメモリ等の様に情報を電気的に記録する半導体メモリ等、様々なタイプの記録媒体を用いることができる。
【００４９】
また、メイクアップシミュレーションプログラムを記録した記録媒体１４がドライブ装置１２にセットされると、メイクアップシミュレーションプログラムは記録媒体１４からドライブ装置１２を介して補助記憶装置１３にインストールされる。補助記憶装置１３はインストールされたメイクアップシミュレーションプログラムを格納すると共に、必要なファイル，データ等を格納する。メモリ装置１１は、起動時に補助記憶装置１３からメイクアップシミュレーションプログラムを読み出して格納する。そして、演算処理装置１０はメモリ装置１１に格納されたメイクアップシミュレーションプログラムに従って、後述するような各種処理を実現している。
【００５０】
図１２はメイクアップシミュレーション装置が行なう処理の概略を表した一実施例のフローチャートである。図１３はモニタに表示されるメイン画面及び操作パネルに表示される操作画面の一例のイメージ図である。図１３の画面イメージ１００〜１１１はモニタ７に表示されるメイン画面のものである。画面イメージ２００〜２１０は操作パネル４に表示される操作画面のものである。
【００５１】
制御部８は、カメラ２が撮影した動画像を継続して受信している。このとき、制御部８はモニタ７に画面イメージ１００を表示し、操作パネル４に画面イメージ２００を表示している。画面イメージ１００及び２００はスクリーンセーバーを表示している例を表している。
【００５２】
ステップＳ１に進み、制御部８は受信している動画像にユーザの顔が含まれているか否かを継続して判定している。制御部８は動画像にユーザの顔が含まれていることを認識するまでステップＳ１の処理を繰り返し行う（Ｓ１においてＮＯ）。
【００５３】
動画像にユーザの顔が含まれていることを認識すると（Ｓ１においてＹＥＳ）、制御部８はステップＳ２に進み、メイクアップシミュレーションを行なう為のメイクアップシミュレーションプログラムを含むソフトを起動する。このとき、制御部８はモニタ７に画面イメージ１０１を表示し、操作パネル４に画面イメージ２０１を表示する。
【００５４】
画面イメージ１０１はカメラ２でユーザの顔を撮影した動画像を表示している例を表している。画面イメージ２０１は、横に移動する歓迎のコメントを表示している例を表している。
【００５５】
ステップＳ３に進み、制御部８はステップＳ２で起動したソフトに基づいてメイクアップシミュレーションを開始する。このとき、制御部８はモニタ７に画面イメージ１０２を表示し、操作パネル４に画面イメージ２０２を表示する。画面イメージ１０２は、カメラ２でユーザの顔を撮影した動画像に、魔法の鏡的な演出を施して表示している例を表している。画面イメージ２０２は、画面イメージ２０１と同様、横に移動する歓迎のコメントを表示している例を表している。
【００５６】
ステップＳ４に進み、制御部８はメイクアップシミュレーションを後述するように実行する。このとき、制御部８はモニタ７に画面イメージ１０３〜１０６を順次表示し、操作パネル４に画面イメージ２０３〜２０６を表示する。
【００５７】
画面イメージ１０３〜１０６は、メイクアップシミュレーションにより４つのメイクアップパターン（イメージ）が施されたユーザの顔を表示している例を表している。画面イメージ２０３〜２０６は、そのときモニタ７に表示されている画面イメージ１０３〜１０６のメイクアップパターンの内容（例えば名称等）を表示している例を表している。所定時間が経過するか、又はユーザが操作パネル４にタッチするまで、制御部８はモニタ７に画面イメージ１０３〜１０６を順次表示し、操作パネル４に画面イメージ２０３〜２０６を表示する。
【００５８】
所定時間が経過するか、又はユーザが操作パネル４にタッチすると、制御部８はステップＳ５に進み、モニタ７に画面イメージ１０７を表示し、操作パネル４に画面イメージ２０７を表示する。画面イメージ１０７は、画面イメージ１０１と同様、カメラ２でユーザの顔を撮影した動画像を表示している例を表している。画面イメージ２０７は、４つのメイクアップパターン（イメージ）から１つのイメージを選択可能なイメージ選択画面を表示している例を表している。ユーザは、操作パネル４を操作することで、イメージ選択画面から１つのイメージを選択することができる。
【００５９】
ステップＳ６に進み、制御部８はイメージ選択画面から１つのイメージが選択されるまでステップＳ６の処理を繰り返し行う（Ｓ６においてＮＯ）。ユーザがイメージ選択画面から１つのイメージを選択すると、操作パネル４はユーザからの操作を受け付けて操作情報を制御部８に出力する。
【００６０】
ユーザがイメージ選択画面から１つのイメージを選択したと判定すると（Ｓ６においてＹＥＳ）、制御部８はステップＳ７に進み、選択されたイメージのイメージ画面をモニタ７及び操作パネル４に表示する。このとき、制御部８はモニタ７に画面イメージ１０８を表示し、操作パネル４に画面イメージ２０８を表示する。
【００６１】
画面イメージ１０８は、イメージ選択画面から選択された１つのイメージに基づき、異なるカラーパターンが施されたメイクアップ後のユーザの顔のイメージ画像と、イメージ画像のようにメイクアップする為の商品情報とを順次表示している例を表している。画面イメージ２０８は、イメージ選択画面から選択された１つのイメージの内容と、そのときモニタ７に表示されている画面イメージ１０８のイメージ画像のようにメイクアップする為の商品情報とを表示している例を表している。
【００６２】
なお、ユーザは操作パネル４を操作することによりプリントアウトを指示することもできる。ユーザからのプリントアウト指示を受け付けると、制御部８は画面イメージ１０９をモニタ７に表示し、画面イメージ２０９を操作パネル４に表示する。画面イメージ１０９は、プリントアウトするイメージ画像を表示している例を表している。画面イメージ２０９は、プリントアウト中のコメントを表示している例を表している。制御部８はプリンタ５を制御してモニタ７に表示されているイメージ画像をプリントアウトする。
【００６３】
また、ユーザは操作パネル４を操作することにより、メイクアップ前及び後のイメージ画像から成る比較画面の表示およびプリントアウトを指示することもできる。ユーザからの比較画面の表示指示を受け付けると、制御部８は画面イメージ１１０をモニタ７に表示する。画面イメージ１１０は、メイクアップ前及び後のイメージ画像から成る比較画面を表示している例を表している。比較画面を表示している状態で、ユーザからのプリントアウト指示を受け付けると、制御部８はプリンタ５を制御してモニタ７に表示されている比較画面をプリントアウトする。
【００６４】
ユーザによるメイクアップシミュレーションが終了すると、制御部８はモニタ７及び操作パネル４にスクリーンセーバーである画面イメージ１１１及び２１０を表示して、処理を終了する。
【００６５】
なお、図１２及び図１３の例ではメイクアップシミュレーションにより４つのイメージを表示しているが、４つ以外のイメージを表示するものであってもよい。また、メイクアップシミュレーション装置１はカメラ２から出力された動画像に含まれるユーザの顔にメイクアップを施す例を示しているが、予め撮影した動画像を動画ファイルとして補助記憶装置１３等に記憶しておき、その動画ファイルに含まれるユーザの顔にメイクアップを施すものであってもよい。
【００６６】
メイクアップシミュレーション装置１はカメラ２から出力された動画像をメイクアップシミュレーション以外に利用することもできる。図１４はメイクアップシミュレーション装置が行なうメイクアップシミュレーション以外の処理を表すイメージ図である。
【００６７】
画面イメージ３００は、カメラ２で撮影したユーザの顔の動画像を表示している例を表している。メイクアップシミュレーション装置１は動画像に含まれているユーザの顔を認識し、ユーザの顔の静止画３０１を切り出す。
【００６８】
メイクアップシミュレーション装置１は、顔立ち分析ロジックおよび肌分析ロジックにより静止画３０１の顔立ち診断および肌色診断を行い、その結果を表す画面イメージ３０２をモニタ７に表示できる。なお、顔立ち分析ロジックおよび肌分析ロジックにより静止画３０１の顔立ち診断および肌色診断を行なう処理は、例えば特開２００１−３４６６２７号公報に記載されている公知技術である。
【００６９】
また、メイクアップシミュレーション装置１は画面イメージ３０３のようなコース選択画面３０３をモニタ７に表示して、各コース（例えばトレンド、ベーシック、フリー）をユーザに選択させることもできる。メイクアップシミュレーション装置１は、ユーザにより選択されたコースに基づく画面イメージ３０４〜３０９をモニタ７に表示して、シミュレーション及びアドバイスを行なう。
【００７０】
画面イメージ３０４〜３０６は、各コースのシミュレーション画面を表示している例を表している。画面イメージ３０７〜３０９は、各コースのアドバイス画面を表示している例を表している。
【００７１】
例えばベーシックコースとは、顔立ち診断および肌色診断の結果に基づいて、最適なメイクアップテクニックをシミュレーション及びアドバイスするものである。また、トレンドコースとは最新のトレンドメイクアップのシミュレーション及びアドバイスするものである。また、フリーメイクアップコースとは目元，口元，ほお，眉，個々のパーツに対応したアイテムのシミュレーション及びアドバイスするものである。
【００７２】
シミュレーション画面又はアドバイス画面を表示している状態で、ユーザからのプリントアウト指示を受け付けると、制御部８はプリンタ５を制御してモニタ７に表示されているシミュレーション画面又はアドバイス画面をプリントアウトすることもできる。
【００７３】
次に、上記のようなメイクアップシミュレーション装置１を実現する為のメイクアップシミュレーションシステムの詳細について説明する。図１５は、本発明によるメイクアップシミュレーションシステムの一実施例のシステム構成図である。
【００７４】
図１５のメイクアップシミュレーションシステム２０は、アナログカメラ２１，ＵＳＢキャプチャデバイス２２，動画ファイル２３，メイクアップカメラ２４，静止画システム２５，動画ファイル２６，共有メモリ２７，シミュレータメインアプリ２８及びインターフェースアプリ２９を含む構成である。
【００７５】
アナログカメラ２１は撮影した例えばＮＴＳＣ方式の動画像をＵＳＢキャプチャデバイス２２経由で出力する。ＵＳＢキャプチャデバイス２２から出力された動画像は、例えばＡＰＩ（application programming interface）の一例としてのＤｉｒｅｃｔＸ３１を利用してシミュレータメインアプリ２８に入力される。また、動画ファイル２３もＤｉｒｅｃｔＸ３１を利用してシミュレータメインアプリ２８に入力される。
【００７６】
メイクアップカメラ２４は撮影した動画像をシリアルインターフェースの一例としてのＩＥＥＥ１３９４経由で出力する。メイクアップカメラ２４から出力された動画像は専用ＡＰＩ３２を利用してシミュレータメインアプリ２８に入力される。シミュレータメインアプリ２８は専用ＡＰＩ３２を利用して入力された動画像から動画像用解像度の原画像と静止画用解像度の静止画像とを得る。
【００７７】
シミュレータメインアプリ２８はＤｉｒｅｃｔＸ３１を利用して入力された動画像及び動画ファイル２３と、専用ＡＰＩ３２を利用して入力された動画像から得られた動画像用解像度の動画像とを原画像とし、原画像に対してトリミング及び縮小処理を行う。
【００７８】
シミュレータメインアプリ２８は原画像に対してトリミングを行ってメイクアップ前画像を得る。また、シミュレータメインアプリ２８は原画像に対して縮小処理を行って顔認識処理用画像を得る。顔認識処理部３３は、顔認識処理用画像からユーザの顔を認識するための後述するようなトラッキングポイント３４を、ＦＦＴ（高速フーリエ変換）により得る。
【００７９】
メイクアップ処理部３５は、トラッキングポイント３４に基づき、メイクアップ前画像に含まれるユーザの顔に、ファンデーション，眉，シャドウ，口紅，チークから成るメイクアップを施してメイクアップ後画像を得る。メイクアップ処理部３５は、ファンデーション処理部３６，眉処理部３７，シャドウ処理部３８，口紅処理部３９，チーク処理部４０を含む構成である。
【００８０】
なお、メイクアップ処理部３５はメイクアップ後画像のようにメイクアップする為の商品情報４１をメイクアップ後画像に含ませることができる。動画サーバ４２は、メイクアップ前画像およびメイクアップ後画像を共有メモリ２７に書き込むと共に、メイクアップ前画像およびメイクアップ後画像を動画ファイル２６として出力することもできる。
【００８１】
インターフェースアプリ２９は、ＡｃｔｉｖｅＸコントローラ５０及びＡｃｔｉｖｅＸビュアー５１を利用する、動画コントロールオブジェクト５２，動画表示オブジェクト５３及びその他のコントローラ５４を含む構成である。なお、インターフェースアプリ２９とシミュレータメインアプリ２８とはＡｃｔｉｖｅＸ＆Ｓｏｃｋｅｔによる連携を図っている。
【００８２】
インターフェースアプリ２９はＡｃｔｉｖｅＸビュアー５１を利用して、供給メモリ２７に書き込まれているメイクアップ前画像およびメイクアップ後画像を前述したモニタ７に表示することができる。
【００８３】
シミュレータメインアプリ２８は、専用ＡＰＩ３２を利用して入力された動画像から得られた静止画用解像度の静止画像に対してトリミング及び縮小処理を行う。シミュレータメインアプリ２８は静止画用解像度の静止画像に対してトリミングを行なう。さらに、シミュレータメインアプリ２８は静止画用解像度の静止画像に対して縮小処理を行って顔認識処理用画像を得る。顔認識処理部４３は、顔認識処理用画像からユーザの顔を認識する為の後述するようなトラッキングポイント４４を得る。
【００８４】
シミュレータメインアプリ２８はトラッキングポイント４４に基づき、トリミングを行った動画像に含まれるユーザの顔から詳細部位を抽出し、その詳細部位から顔立ち診断および肌色診断に用いるタイプ、肌色等の追加情報を得て、トラッキングポイント４４に追加情報を付加したトラッキングポイント４５と、専用ＡＰＩ３２を利用して入力された動画像から得られた静止画用解像度の静止画像とを静止画システム２５に出力する。
【００８５】
静止画システム２５は、トラッキングポイント４５を使用し、前述した顔立ち分析ロジックおよび肌分析ロジックにより静止画３０１の顔立ち診断および肌色診断を行い、その結果を表す画面イメージ３０２をモニタ７に表示できる。その他、静止画システム２５は画面イメージ３０３〜３０９をモニタ７に表示することもできる。
【００８６】
図１６は、シミュレータメインアプリが行なう処理を表す画面イメージ図である。画面イメージ４００はメイクアップ前画像を表示した例を表している。画面イメージ４０１は顔認識処理用画像から得たトラッキングポイント３４をメイクアップ前画像に重ねて表示した例を表している。また、画面イメージ４０２はトラッキングポイント３４に基づいてメイクアップ前画像に含まれるユーザの顔にメイクアップを施したメイクアップ後画像を表示した例を表している。
【００８７】
以下、シミュレータメインアプリ２８が行なう処理のうち、顔認識処理，メイクアップ処理の詳細について図面を参照しつつ順番に説明していく。なお、本実施例では、メイクアップ処理の一例として、ファンデーション処理，眉処理，シャドウ処理，口紅処理及びチーク処理から成るメイクアップ処理を説明するが、他の組み合わせであってもよい。
【００８８】
（顔認識処理）
図１７はメイクアップ前画像に含まれるユーザの顔のイメージ画像である。図１８はトラッキングポイントを表す一例のイメージ図である。シミュレータメインアプリ２８の顔認識処理部３３は、図１７のようなイメージ画像からユーザの顔を認識する為の図１８のような４５点のトラッキングポイント３４を得る。図１８のトラッキングポイント３４は一例であって、制御部８の処理能力やモニタ７の精細度に応じて調整してもよい。
【００８９】
このように、メイクアップ前画像に含まれるユーザの顔からトラッキングポイント３４を得ることにより、メイクアップ処理部３５はトラッキングポイント３４と関連付けてメイクアップの施し方や色を図１９のようなメイクアップ処理パラメータファイルに設定しておくことができる。
【００９０】
図１９はメイクアップ処理パラメータファイルの一例の構成図である。図１９のメイクアップ処理パラメータファイルは、目元，口元，チーク等ごとにトラッキングポイント３４と関連付けてメイクアップの施し方や色が設定されているものである。なお、メイクアップ処理パラメータファイルはメイクアップパターン（イメージ）毎に設定されるものである。図１９のメイクアップ処理パラメータファイルは、クラスエレガンスの例を表している。
【００９１】
（口紅処理）
シミュレータメインアプリ２８に含まれる口紅処理部３９は図２０に示すように唇８点及び鼻３点のトラッキングポイント３４を参照し、口紅処理を行う。図２０は口紅処理により参照されるトラッキングポイントを示すイメージ図である。
【００９２】
図２１は口紅処理を示す一例のフローチャートである。口紅処理は大別するとステップＳ１０の前準備処理とステップＳ２０の色塗り処理とで構成される。前準備処理は、ステップＳ１１の切出し＆回転処理，ステップＳ１２の輪郭抽出用画像の作成処理，ステップＳ１３の輪郭抽出処理，ステップＳ１４のスプライン曲線生成処理，ステップＳ１５の回転戻し処理，ステップＳ１６の色塗りマップ生成処理とで構成される。色塗り処理は、ステップＳ２１の色塗りマップに基づく色塗り処理，ステップＳ２２のデバック＆デザイン用描画処理とで構成される。
【００９３】
ステップＳ１１の切出し＆回転処理に進み、口紅処理部３９は、顔認識処理用画像からユーザの顔の唇を含む部分画像５００を切り出し、その部分画像５００を処理用の姿勢に回転させて部分画像５０１を得る。
【００９４】
ステップＳ１２の輪郭抽出用画像の作成処理に進み、口紅処理部３９は部分画像５０１から輪郭抽出用画像を作成する。ステップＳ１３の輪郭抽出処理に進み、口紅処理部３９は輪郭抽出用画像から唇の輪郭を部分画像５０２に示すようにポイントで抽出する。
【００９５】
図２２は輪郭抽出処理を表す一例のイメージ図である。輪郭抽出用画像６００は唇８点及び鼻３点のトラッキングポイントが重ねて表示されている。口紅処理部３９は、唇８点及び鼻３点のトラッキングポイントを元に再探索して輪郭抽出用画像６０１のポイントを抽出する。
【００９６】
図２３は輪郭抽出用画像６００の唇８点及び鼻３点のトラッキングポイントと、唇８点及び鼻３点のトラッキングポイントを元に再探索して抽出した輪郭抽出用画像６０１のポイントとの比較画面である。なお、上記再探索が不調な場合は輪郭抽出用画像６００の唇８点及び鼻３点のトラッキングポイントから算出した図２４のようなデフォルトポイントを採用する。
【００９７】
図２４は唇８点及び鼻３点のトラッキングポイントからデフォルトポイントを求める処理を表した一例のイメージ図である。口紅処理部３９は鼻の３点のトラッキングポイントを参照し、上唇５点に対してデフォルトポイントを求める。
【００９８】
ステップＳ１４のスプライン曲線生成処理に進み、口紅処理部３９は輪郭抽出用画像６０１のポイント又は図２４のようなデフォルトポイントを２次スプラインで補間し、図２５に示すような輪郭を完成させる。図２５は、ポイント又はデフォルトポイントから輪郭を完成させる処理を表したイメージ図である。部分画像５０３のように唇の輪郭が完成すると、口紅処理部３９はステップＳ１５に進み、ステップＳ１１の切出し＆回転処理で行った回転を元に戻す回転戻し処理を行なう。
【００９９】
ステップＳ１６の色塗りマップ生成処理に進み、口紅処理部３９は部分画像７００の明度および彩度から色塗りの強さを決める色塗りマップを生成する。図２６は色塗りマップ生成処理を表した一例のイメージ図である。具体的に、口紅処理部３９は明度および彩度から色塗りの強さを表すグレースケール画像７０１を生成する。口紅処理部３９は、ステップＳ１４のスプライン曲線生成処理で完成させた唇の輪郭で囲まれた部分画像７０２のみを色塗りマップ５０４としてグレースケール画像７０１から切り出す。
【０１００】
ステップＳ２１の色塗りマップに基づく色塗り処理に進み、口紅処理部３９はステップＳ１６の色塗りマップ生成処理で生成した色塗りマップ５０４と、図１９のようなメイクアップ処理パラメータファイルに設定されているメイクアップの施し方や指定色に基づいてメイクアップ前画像に対して着色を行なう。
【０１０１】
図２７は色塗りマップに基づく色塗り処理を表した一例のイメージ図である。口紅処理部３９は図１９のようなメイクアップ処理パラメータファイル８０１に設定されているメイクアップの施し方や指定色と、ステップＳ１６の色塗りマップ生成処理で生成した色塗りマップ８０２とに基づいて、メイクアップ前画像８０３に対して着色を行い、メイクアップ後画像８０４を得る。
【０１０２】
そして、ステップＳ２２のデバック＆デザイン用描画処理に進み、口紅処理部３９はデバック＆デザイン用描画の処理を行ったあと、口紅処理を終了する。
【０１０３】
（シャドウ処理）
シミュレータメインアプリ２８に含まれるシャドウ処理部３８は図２８に示すように左右別に目３点及び眉１点のトラッキングポイント３４を参照し、シャドウ処理を行う。図２８はシャドウ処理により参照されるトラッキングポイントを示すイメージ図である。
【０１０４】
図２９はシャドウ処理を示す一例のフローチャートである。シャドウ処理は大別するとステップＳ３０の前準備処理とステップＳ４０の色塗り処理とで構成される。前準備処理は、ステップＳ３１の基本輪郭の生成処理で構成される。
【０１０５】
色塗り処理は、色塗りパターン分繰り返し行なう、ステップＳ４１の色塗り輪郭の生成処理，ステップＳ４２の色塗り中心の生成処理，ステップＳ４３の色塗りマップの生成処理，ステップＳ４４の色塗りマップに基づく色塗り処理，ステップＳ４５のデバック＆デザイン用描画処理とで構成される。
【０１０６】
ステップＳ３１の基本輪郭の生成処理に進み、シャドウ処理部３８は、顔認識処理用画像からユーザの顔の目の形状を部分画像９００のように得る。図３０は、基本輪郭の生成処理を表す一例のイメージ図である。
【０１０７】
シャドウ処理部３８は色塗り輪郭の基本となる輪郭を生成するため、部分画像１００１に示すように、目の中心から上下方向を探索して目の輪郭（上辺境界＆下辺境界）を２点認識する。シャドウ処理部３８は、認識した目の輪郭２点，目尻及び目頭の４点に、スプライン補間で生成した４点を追加して、計８点によるポリゴンを部分画像１００２のように生成する。
【０１０８】
ステップＳ４１の色塗り輪郭の生成処理に進み、シャドウ処理部３８は色塗り輪郭を部分画像９０１のように生成する。図３１は色塗り輪郭の生成処理を表す一例のイメージ図である。シャドウ処理部３８は色塗り輪郭を生成するため、部分画像１１０１に示すように、目尻及び目頭を基準に色塗り輪郭を生成する。なお、輪郭の拡張、頂点のシフト等についてはＧＵＩでパラメータ指定するようにしてもよい。
【０１０９】
ステップＳ４２の色塗り中心の生成処理に進み、シャドウ処理部３８は色塗り中心位置を部分画像９０２の「●」ように生成する。ステップＳ４３の色塗りマップの生成処理に進み、シャドウ処理部３８は部分画像９０３のように、色塗りの強さを決める色塗りマップを生成する。
【０１１０】
具体的に、色塗りマップ生成処理は色塗り中心からポリゴンの辺までの距離に対応して塗りの強さを決定する。例えばシャドウ処理部３８は辺に近いほど塗りの強さを弱めるように色塗りマップを決定する。なお、色塗りマップ生成処理は色塗り輪郭から基本輪郭を除いた部分を対象としている。
【０１１１】
シャドウ処理部３８は生成した色塗りマップに対し、図３２に示すように、ぼかし処理を掛けることで更に滑らかなグラデーションを生成する。図３２は、ぼかし処理を掛けていない色塗りマップと、ぼかし処理を掛けている色塗りマップとを表した一例のイメージ図である。
【０１１２】
ステップＳ４４の色塗りマップに基づく色塗り処理に進み、シャドウ処理部３８はステップＳ４３の色塗りマップの生成処理で生成した色塗りマップ９０３と、図１９のようなメイクアップ処理パラメータファイルに設定されているメイクアップの施し方や指定色に基づいてメイクアップ前画像に対して着色を行ない、メイクアップ後画像を得る。
【０１１３】
そして、ステップＳ４５のデバック＆デザイン用描画処理に進み、シャドウ処理部３８はデバック＆デザイン用描画の処理を行ったあと、シャドウ処理を終了する。なお、シャドウ処理部３８はステップＳ４１〜Ｓ４５の処理を色塗りパターン分だけ繰り返し行なうことで、多色塗りを実現することもできる。
【０１１４】
（チーク処理）
シミュレータメインアプリ２８に含まれるチーク処理部４０は図３３に示すように目尻＆口角（左右別）、眼間＆鼻中心（スタビライズ用）のトラッキングポイント３４を参照して、チーク処理を行う。図３３はチーク処理により参照されるトラッキングポイントを示すイメージ図である。
【０１１５】
図３４はチーク処理を示す一例のフローチャートである。チーク処理は、ステップＳ５０の色塗り輪郭の生成処理，ステップＳ５１の色塗り処理，ステップＳ５２のデバック＆デザイン用描画処理とで構成される。
【０１１６】
ステップＳ５０の色塗り輪郭の生成処理に進み、チーク処理部４０は色塗り輪郭を生成するため、目尻及び口角を基準に色塗り輪郭として輪郭ポリゴンを生成する。図３５は色塗り輪郭を表した一例のイメージ図である。なお、輪郭ポリゴンの点数，大きさ，形状または位置等はＧＵＩでパラメータ指定するようにしてもよい。
【０１１７】
ステップＳ５１の色塗り処理に進み、チーク処理部４０は色塗り中心から輪郭ポリゴンの辺までの距離に対応して塗りの強さを決定する。なお、塗りの強さの決定に処理コストが掛かりすぎる場合は、解像度（ＧＵＩでパラメータ指定）を落として（モザイク状に間引きして）塗りの強さを決定してもよい。チーク処理部４０は決定した塗りの強さと、図１９のようなメイクアップ処理パラメータファイルに設定されているメイクアップの施し方や指定色に基づいてメイクアップ前画像に対して着色を行ない、メイクアップ後画像を得る。
【０１１８】
そして、ステップＳ５２のデバック＆デザイン用描画処理に進み、チーク処理部４０はデバック＆デザイン用描画の処理を行ったあと、チーク処理を終了する。
【０１１９】
（眉処理）
シミュレータメインアプリ２８に含まれる眉処理部３７は図３６に示すように左右別に目尻，目中心および眉２点のトラッキングポイント３４を参照し、眉処理を行う。図３６は眉処理により参照されるトラッキングポイントを示すイメージ図である。
【０１２０】
図３７は眉処理を示す一例のフローチャートである。眉処理は大別するとステップＳ６０の眉輪郭抽出処理，ステップＳ７０の元眉領域の消去処理，ステップＳ８０の眉形状の変形処理，ステップＳ９０の変形眉の貼付け処理で構成される。
【０１２１】
元眉領域の消去処理は、ステップＳ７１の領域の膨張処理，ステップＳ７２の眉の消去処理で構成される。眉形状の変形処理は、ステップＳ８１の変形指定に対応した指示曲線の作成処理，ステップＳ８２の変形眉の生成処理で構成される。
【０１２２】
ステップＳ６０の眉輪郭抽出処理に進み、眉処理部３７は顔認識処理用画像からユーザの顔の眉の形状を部分画像２００１のように得る。図３８は、眉輪郭抽出処理を表す一例のイメージ図である。眉処理部３７は眉の輪郭を抽出するため、部分画像２１０１に示すように、眉尻（実際には眉の中心付近）を中心に左右に眉を探索する。眉処理部３７は部分画像２１０２に示すように、探索結果から眉の輪郭形状を認識する。
【０１２３】
ステップＳ７１の領域の膨張処理に進み、眉処理部３７は認識した眉の輪郭形状を表す領域を膨張させる。ステップＳ７２の眉の消去処理に進み、眉処理部３７は膨張させた領域を付近の肌色を使って塗りつぶすことで眉を消去する。また、眉処理部３７は膨張させた領域の境界部分に、なじませる処理を施す。
【０１２４】
ステップＳ８１の変形指定に対応した指示曲線の作成処理に進み、眉処理部３７は認識した眉の輪郭形状を表す領域（スケルトン）を指定に従って変形させる。図３９は変形指定に対応した指示曲線の作成処理を表す一例のイメージ図である。
【０１２５】
眉処理部３７は、部分画像２２０１に示すように、認識した眉の輪郭形状を表す領域を横方向の軸線と縦方向の複数のタンザクから成るスケルトン２２０２に置き換え、軸線の形状とタンザクの高さを変えることで、例えばスケルトン２２０３のように変形処理を施すことができる。
【０１２６】
ステップＳ８２の変形眉の生成処理に進み、眉処理部３７はスケルトン２２０３から変形眉を生成する。ステップＳ９０の変形眉の貼付け処理に進み、眉処理部３７は変形眉をメイクアップ前画像に対して貼付けて、メイクアップ後画像を得る。
【０１２７】
（ファンデーション処理）
シミュレータメインアプリ２８に含まれるファンデーション処理部３６は図４０に示すように左右別に目尻，目頭および眉１点、眼間および鼻中心のトラッキングポイント３４を参照し、ファンデーション処理を行う。図４０はファンデーション処理により参照されるトラッキングポイントを示すイメージ図である。
【０１２８】
図４１はファンデーション処理を示す一例のフローチャートである。ファンデーション処理は、ステップＳ１０１の輪郭の生成処理，ステップＳ１０２の対象画像へのぼかし処理，ステップＳ１０３の画像の貼り付け処理で構成される。なお、ステップＳ１０１〜Ｓ１０３の処理は対象エリア分、繰り返し行われる。
【０１２９】
ステップＳ１０１の輪郭の生成処理に進み、ファンデーション処理部３６は図４２のイメージ画像に示すように、額，鼻，頬（左右）の３種類（４箇所）の輪郭を生成する。図４２は輪郭を表した一例のイメージ画像である。なお、各輪郭のサイズ，位置等はＧＵＩでパラメータ指定するようにしてもよい。
【０１３０】
ステップＳ１０２の対象画像へのぼかし処理に進み、ファンデーション処理部３６は生成した輪郭に対応する対象画像へのぼかし処理を図４３のように行なう。図４３は、ぼかし処理前の元画像と、ぼかし処理後の元画像とを表した一例のイメージ図である。対象画像へのぼかし処理により、ファンデーション処理部３６は肌の細かい荒れ等を平滑化することができる。
【０１３１】
ステップＳ１０３の画像の貼り付け処理に進み、ファンデーション処理部３６は、ぼかし処理後の対象画像をメイクアップ前画像の額，鼻，頬（左右）の３種類（４箇所）の輪郭に貼り付け、メイクアップ後画像を得る。
【０１３２】
以上、本発明によれば、動画像に含まれるユーザの顔に、少ない処理負担で正確にメイクアップを施すことができる。なお、特許請求の範囲に記載した撮影手段はカメラ２に相当し、制御手段は制御部８に相当し、表示手段はモニタ７に相当し、顔認識処理手段は顔認識処理部３３に相当し、メイクアップ処理手段はメイクアップ処理部３５に相当し、操作手段は操作パネル４に相当し、ハーフミラー手段はハーフミラー３に相当し、印刷手段はプリンタ５に相当する。
【０１３３】
また、本発明は、具体的に開示された実施例に限定されるものでなく、特許請求の範囲から逸脱することなく、種々の変形や変更が可能である。
【０１３４】
本発明のメイクアップシミュレーション装置１はリアルタイムシミュレーションである為、静止画によるものや従来のメイクアップシミュレーション装置１と異なり、瞬時に顔のトラッキングポイントを認識し、そのトラッキングポイントをもとにシミュレーションを行うことができるので、これまでできなかった以下のことも可能にしている。
【０１３５】
本発明のメイクアップシミュレーション装置１はリアルタイムなシミュレーションが可能である。本発明のメイクアップシミュレーション装置１は、これまでのように正面顔だけでなく、横顔からのシミュレーション等も可能なため、頬紅等のシミュレーション効果やテクニックの確認が容易である。
【０１３６】
本発明のメイクアップシミュレーション装置１は、リアルタイムなシミュレーションになったことで、これまでの平面的な表現から、顔を立体としてとらえた分析や、立体感や質感の表現も可能になった。
【０１３７】
また、本発明のメイクアップシミュレーション装置１は、同時に何人もの顔認識が可能であるため、同時に何人ものリアルタイムなシミュレーションが可能である。本発明のメイクアップシミュレーション装置１は顔認識機能が優れていることから、個々の顔立ちにあわせて、あるいは男性、女性を自動的に分類し、顔立ちや分類にあわせたメイクアップが可能である。例えば本発明のメイクアップシミュレーション装置１は、カップルで同時に、それぞれのメイクアップシミュレーションが可能である。
【符号の説明】
【０１３８】
１ メイクアップシミュレーション装置
２ カメラ
３ ハーフミラー
４ 操作パネル
５ プリンタ
６ 照明
７ モニタ
８ 制御部
９ 透明板
１０ 演算処理装置
１１ メモリ装置
１２ ドライブ装置
１３ 補助記憶装置
１４ 記録媒体
１５ タッチパネルモニタ
１６ 陳列ケース
１７ ＩＣタグリーダライタ
２５ 静止画システム
２７ 共有メモリ
２８ シミュレータメインアプリ
２９ インターフェースアプリ
３３ 顔認識処理部
３４ トラッキングポイント
３５ メイクアップ処理部
３６ ファンデーション処理部
３７ 眉処理部
３８ シャドウ処理部
３９ 口紅処理部
４０ チーク処理部
４１ 商品情報
【特許請求の範囲】
【請求項１】
ユーザの顔を撮影した動画像にメイクアップを施すメイクアップシミュレーションシステムであって、
ユーザの顔を撮影して動画像を出力する撮影手段と、
前記撮影手段から出力された動画像を受信し、前記動画像を画像処理して出力する制御手段と、
前記制御手段から出力された動画像を表示する表示手段とを備え、
前記制御手段は、前記動画像からユーザの顔を所定のトラッキングポイントに基づいて認識する顔認識処理手段と、
前記トラッキングポイントに基づいて前記動画像に含まれるユーザの顔に所定のメイクアップを施して前記表示手段に出力するメイクアップ処理手段と
を備えることを特徴とするメイクアップシミュレーションシステム。
【請求項１】
ユーザの顔を撮影した動画像にメイクアップを施すメイクアップシミュレーションシステムであって、
ユーザの顔を撮影して動画像を出力する撮影手段と、
前記撮影手段から出力された動画像を受信し、前記動画像を画像処理して出力する制御手段と、
前記制御手段から出力された動画像を表示する表示手段とを備え、
前記制御手段は、前記動画像からユーザの顔を所定のトラッキングポイントに基づいて認識する顔認識処理手段と、
前記トラッキングポイントに基づいて前記動画像に含まれるユーザの顔に所定のメイクアップを施して前記表示手段に出力するメイクアップ処理手段と
を備えることを特徴とするメイクアップシミュレーションシステム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２３】
【図２５】
【図３４】
【図４１】
【図１３】
【図１４】
【図２０】
【図２１】
【図２２】
【図２４】
【図２６】
【図２７】
【図２８】
【図２９】
【図３０】
【図３１】
【図３２】
【図３３】
【図３５】
【図３６】
【図３７】
【図３８】
【図３９】
【図４０】
【図４２】
【図４３】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２３】
【図２５】
【図３４】
【図４１】
【図１３】
【図１４】
【図２０】
【図２１】
【図２２】
【図２４】
【図２６】
【図２７】
【図２８】
【図２９】
【図３０】
【図３１】
【図３２】
【図３３】
【図３５】
【図３６】
【図３７】
【図３８】
【図３９】
【図４０】
【図４２】
【図４３】
【公開番号】特開２０１３−１０１６３３（Ｐ２０１３−１０１６３３Ａ）
【公開日】平成２５年５月２３日（２０１３．５．２３）
【国際特許分類】
【出願番号】特願２０１２−２７０８３８（Ｐ２０１２−２７０８３８）
【出願日】平成２４年１２月１１日（２０１２．１２．１１）
【分割の表示】特願２００７−５０９８（Ｐ２００７−５０９８）の分割
【原出願日】平成１９年１月１２日（２００７．１．１２）
【出願人】（０００００１９５９）株式会社 資生堂 (1,748)
【Ｆターム（参考）】
【公開日】平成２５年５月２３日（２０１３．５．２３）
【国際特許分類】
【出願日】平成２４年１２月１１日（２０１２．１２．１１）
【分割の表示】特願２００７−５０９８（Ｐ２００７−５０９８）の分割
【原出願日】平成１９年１月１２日（２００７．１．１２）
【出願人】（０００００１９５９）株式会社 資生堂 (1,748)
【Ｆターム（参考）】
[ Back to top ]