情報処理装置、情報処理方法、情報処理システムおよびプログラム
【課題】化粧支援技術を向上させる情報処理装置、情報処理方法、情報処理システムおよびプログラムを提供する。
【解決手段】画像を撮像する撮像部と、前記撮像部から順次画像を取得し、前記取得した画像内の顔パーツを認識する画像認識部と、前記画像認識部から出力される認識結果に含まれる前記顔パーツの位置に基づいて、前記画像内の顔にトラッキングする仮想的な化粧画像を、前記画像に重畳させて表示する表示制御部と、を備える、情報処理装置。
【解決手段】画像を撮像する撮像部と、前記撮像部から順次画像を取得し、前記取得した画像内の顔パーツを認識する画像認識部と、前記画像認識部から出力される認識結果に含まれる前記顔パーツの位置に基づいて、前記画像内の顔にトラッキングする仮想的な化粧画像を、前記画像に重畳させて表示する表示制御部と、を備える、情報処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、情報処理装置、情報処理方法、情報処理システムおよびプログラムに関する。
【背景技術】
【０００２】
化粧を支援する技術として、化粧完成後の状態をシミュレーションする化粧シミュレーションが様々提案されている。
【０００３】
例えば、特許文献１では、ユーザの肌画像において小じわや毛穴等の肌の表面凹凸状態を変化させたシミュレーション画像を表示する方法が提案されている。これにより、特定の化粧品を使用することにより改善される小じわや毛穴の目立ち具合を提示することができる。また、特許文献２では、屋内の人工光下と屋外の自然光下では化粧の印象が異なることを考慮し、様々な光の状態の下で化粧の印象を映像化する補助装置が提案されている。これによりユーザは任意のイベントに最適な化粧を選ぶことができる。
【０００４】
さらに、特許文献３では、被写体の二次元の顔画像を取得し、標準塗布形状を被写体の顔画像に変形合成することにより、所望する化粧品を塗布した状態を生成する化粧シミュレーション装置が提案されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００６−１３３８５６号公報
【特許文献２】特開２００１−１８６９２３号公報
【特許文献３】特開２００９−５３９８１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかし、上記化粧シミュレーションにより生成される合成画像は、顔正面からの静止画像であるため、リアルタイムに様々な角度からの化粧シミュレーションを確認することが出来ないという問題があった。また、化粧完成後の状態を確認できても、実際にユーザ自ら化粧を実践してシミュレーションされた状態にすることは困難であった。したがって、化粧シミュレーションなどの化粧支援技術をさらに向上することが求められる。
そこで、本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、化粧支援技術を向上させることが可能な、新規かつ改良された情報処理装置、情報処理方法、情報処理システムおよびプログラムを提供することにある。
【課題を解決するための手段】
【０００７】
上記課題を解決するために、本発明のある観点によれば、画像を撮像する撮像部と、前記撮像部から順次画像を取得し、前記取得した画像内の顔パーツを認識する画像認識部と、前記画像認識部から出力される認識結果に含まれる前記顔パーツの位置に基づいて、前記画像内の顔にトラッキングする仮想的な化粧画像を、前記画像に重畳させて表示する表示制御部と、を備える情報処理装置が提供される。
【０００８】
また、前記表示制御部は、前記仮想的な化粧画像として化粧完成画像を表示してもよい。
【０００９】
また、前記表示制御部は、前記仮想的な化粧画像として化粧動作画像を表示してもよい。
【００１０】
また、前記情報処理装置は、前記仮想的な化粧画像を、化粧技術情報に基づいて生成する画像生成部をさらに備えてもよい。
【００１１】
また、前記情報処理装置は、前記画像認識部から出力される認識結果に基づいて、顔情報を分析する分析部と、前記分析部から出力される分析結果に応じて、推薦する化粧パターンを判断する推薦化粧パターン判断部と、をさらに備え、前記化粧パターンは、前記化粧技術情報から構成され、前記画像生成部は、前記推薦化粧パターン判断部により推薦化粧パターンと判断された化粧パターンの化粧技術情報に基づいて前記仮想的な化粧画像を生成してもよい。
【００１２】
また、前記情報処理装置は、前記撮像部で撮像された画像と予め生成された化粧完成画像とを比較することにより、化粧の進行度を判断する化粧進行度判断部をさらに備え、前記表示制御部は、前記化粧進行度判断部による判断結果に応じて変化する化粧動作画像を前記画像に順次重畳表示してもよい。
【００１３】
また、前記表示制御部により順次表示される化粧動作画像の順序は、ユーザの操作に応じて変更されてもよい。
【００１４】
また、上記課題を解決するために、本発明の別の観点によれば、画像を撮像するステップと、前記撮像するステップにより順次画像を取得し、前記取得した画像内の顔パーツを認識するステップと、前記認識するステップにより出力される認識結果に含まれる前記顔パーツの位置に基づいて、前記画像内の顔にトラッキングする仮想的な化粧画像を、前記画像に重畳させて表示するステップと、を含む情報処理方法が提供される。
【００１５】
また、上記課題を解決するために、本発明の別の観点によれば、画像を撮像する撮像部と、前記撮像部から順次画像を取得し、前記取得した画像内の顔パーツを認識する画像認識部と、前記画像認識部から出力される認識結果に含まれる前記顔パーツの位置に基づいて、前記画像内の顔にトラッキングする仮想的な化粧画像を、前記画像に重畳させて表示する表示制御部と、を備える、情報処理装置と；前記画像認識部から出力される認識結果に基づいて、顔情報を分析する分析部と、前記分析部から出力される分析結果に応じて、推薦する化粧パターンを判断する推薦化粧パターン判断部と、を備える、サーバと；を備え、前記情報処理装置は、前記サーバから取得した推薦化粧パターンの化粧技術情報に基づいて前記仮想的な化粧画像を生成する情報処理システムが提供される。
【００１６】
また、上記課題を解決するために、本発明の別の観点によれば、コンピュータを、画像を撮像する撮像部と、前記撮像部から順次画像を取得し、前記取得した画像内の顔パーツを認識する画像認識部と、前記画像認識部から出力される認識結果に含まれる前記顔パーツの位置に基づいて、前記画像内の顔にトラッキングする仮想的な化粧画像を、前記画像に重畳させて表示する表示制御部と、を備える情報処理装置として機能させるためのプログラムが提供される。
【発明の効果】
【００１７】
以上説明したように本発明によれば、化粧支援技術を向上させることが可能である。
【図面の簡単な説明】
【００１８】
【図１】第１の実施形態に係る化粧支援装置の概要を示す図である。
【図２】第１の実施形態に係る化粧支援装置の構成の一例を示すブロック図である。
【図３】第１の実施形態に係る化粧支援装置により実行される化粧支援処理を示すフローチャートである。
【図４】図３に示すシミュレーション提示処理について説明するためのフローチャートである。
【図５】第１の実施形態に係る化粧支援装置の表示制御の一例を説明するための図である。
【図６】第１の実施形態に係る化粧支援装置とユーザとの位置関係を示す図である。
【図７】化粧技術情報の一例を示す図である。
【図８】第１の実施形態に係る化粧支援装置の表示制御の一例を説明するための図である。
【図９】変形例１の化粧支援装置の構成の一例を示すブロック図である。
【図１０】変形例２の化粧支援装置の表示画面を示す図である。
【図１１】第２の実施形態に係る化粧支援システムの概要を示す図である。
【図１２】第２の実施形態に係る化粧支援装置の構成の一例を示す図である。
【図１３】第３の実施形態に係る化粧支援システムの概要を示す図である。
【図１４】第３の実施形態に係る化粧支援装置の構成の一例を示す図である。
【図１５】第４の実施形態に係る化粧支援システムの概要を示す図である。
【図１６】第４の実施形態に係る化粧支援装置の構成の一例を示す図である。
【発明を実施するための形態】
【００１９】
以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
【００２０】
なお、説明は以下の順序で行うものとする。
１．第１の実施の形態
（１−１）化粧支援装置の概要
（１−２）化粧支援装置の構成例
（１−３）処理の流れの例
（１−４）ＡＲ画像の例
（１−５）変形例
２．第２の実施の形態
３．第３の実施の形態
４．第４の実施の形態
５．第５の実施の形態
６．第６の実施の形態
７．まとめ
【００２１】
近年、実世界に付加的な情報を重畳してユーザに呈示する拡張現実（ＡＲ：Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ）と呼ばれる技術が注目されている。ＡＲ技術においてユーザに呈示される情報は、テキスト、アイコン又はアニメーションなどの様々な形態の仮想的なオブジェクトを用いて可視化され得る。ＡＲ技術の主要な適用分野の１つは、実世界でのユーザ活動の支援である。以下では、このＡＲ技術を化粧支援技術に適用する。これによれば、ユーザの化粧技術を向上させることができる。
【００２２】
ＡＲ技術を利用した化粧支援技術は、化粧完成後の状態をシミュレーションしてユーザに示す化粧支援のためのシステムに適用可能である。また、前記システムでは、実際にシミュレーション通りに化粧を行うことは一般のユーザにとって困難であることを考慮して、ＡＲ技術を利用した化粧支援技術は、化粧完成後だけでなく化粧途中の手順を表示し、これにより、化粧支援技術をさらに向上させることが可能である。
【００２３】
以下の＜１．第１の実施形態＞〜＜６．第６の実施形態＞の説明では、情報処理装置の一例である化粧支援装置を用いて、化粧技術を向上させるシステムについて説明する。
【００２４】
＜１．第１の実施形態＞
（１−１）化粧支援装置の概要
まず、第１実施形態に係る化粧支援装置１の概要を、図１を参照しながら説明する。図１に示すように、本実施形態に係る化粧支援装置１は、タッチパネルディスプレイを備えたタブレット型の端末である。よって、表示部１８は、表示機能だけでなく、ユーザからの操作入力を受け付ける操作部１９としても機能する。図１に示す例では、化粧支援装置１に設けられるカメラ１０によりユーザの顔画像を撮像する。表示部１８には当該顔画像に仮想的な化粧画像が重畳されたＡＲ画像が表示される。ここでは、ユーザの顔画像が実空間の映像であり、化粧画像が、実空間の映像に重畳される仮想的なオブジェクトである。
【００２５】
仮想的な化粧画像とは、例えば化粧完成の状態を示す化粧完成画像や、化粧の途中において化粧の手順や仕方を示すために使用される化粧動作画像を含む。ユーザは、自分の顔画像に化粧完成画像が重畳されたＡＲ画像を見ることで、事前に化粧完成後の状態を確認することができる。特に、化粧動作画像は、化粧の手順や仕方を静的又は動的に表示するために、化粧の途中においてユーザの実際の顔パーツに重畳して表示される。化粧の手順を、ユーザの顔パーツに重畳して動的に表示することにより、ユーザは化粧の際の手の動きを知ることができる。よって、ユーザは、自分の顔画像に化粧動作画像が重畳されたＡＲ画像を見ながら、化粧動作画像と同様に手を動かすだけで容易に自ら化粧を行うことができる。これにより、言語での化粧アドバイスに比べて、ユーザの化粧技術がより向上する。ここで、表示部１８には、カメラ１０で撮像した画像の左右が反転して表示される。これにより、ユーザは自分の顔を化粧鏡で写したように見える。なお、表示部１８に表示されるＡＲ画像については、後述する「（１−４）ＡＲ画像の例」において図６〜図８を参照して詳細に説明する。
【００２６】
（１−２）化粧支援装置の構成例
次に、図２を参照して、本実施形態に係る化粧支援装置１の構成の一例について説明する。図２に示すように、化粧支援装置１は、カメラ１０、画像認識部１１、ユーザ顔情報分析部１２、推薦化粧パターン判断部１３、化粧技術ＤＢ１４、化粧画像生成部１５、表示制御部１７、表示部１８および操作部１９を有する。画像認識部１１は、顔・パーツ認識部１１０とＳＬＡＭ処理部１１１を有する。
【００２７】
カメラ１０は、実空間を撮像することにより画像（映像）を取得する撮像部の一例である。カメラ１０は、ユーザの顔画像を撮像する。ユーザは、化粧支援装置１を利用して化粧を行う際、化粧支援装置１に顔を向ける。よって、化粧支援装置１に設けられたカメラ１０は、ユーザの顔を撮像することになる。カメラ１０は、撮像した画像を画像認識部１１へ出力する。例えばユーザの顔を撮像した画像の一例として、図５の左図に示した画像（映像）１８１を画像認識部１１へ出力する。
【００２８】
画像認識部１１は、カメラ１０から取得した撮像画像に対して画像認識処理を実行する。具体的には、画像認識部１１の顔・パーツ認識部１１０により、まず撮像画像内の顔を認識し、顔を認識できた場合は、次いで、顔パーツを認識する。顔・パーツ認識部１１０は、パターン認識などの公知の画像認識手法を用いて顔および顔パーツを認識してもよい。顔・パーツ認識部１１０は、認識結果（顔パーツ、顔パーツ位置情報）をユーザ顔情報分析部１２に出力する。なお、顔・パーツ認識部１１０は、撮像画像内にユーザの顔の一部や肩や首、頭、髪等が存在することを認識した場合にも、撮像画像内の顔を認識したと判断することができる。
【００２９】
また、画像認識部１１のＳＬＡＭ処理部１１１により、例えば、Andrew J.Davisonによる“Real-Time Simultaneous Localization and Mapping with a Single Camera”（Proceedings of the 9th IEEE International Conference on Computer Vision Volume 2, 2003, pp.1403-1410）に記載されているＳＬＡＭ（Simultaneous Localization and Mapping）技術の原理に従って、顔・顔パーツの３次元位置、姿勢や、カメラ１０の３次元位置、姿勢が認識される。これにより、ユーザが自ら化粧を行う間、目や口などの顔パーツが手で隠れたり、顔の向きを変えたりした場合でも、ＳＬＡＭ処理部１１１は、最初やその後に認識された目や口などの顔パーツが、次の画像でどこに移動したかをトラッキングすることにより、顔の動きに追従して顔パーツの位置を認識することができる。
【００３０】
ユーザ顔情報分析部１２は、顔・パーツ認識部１１０から出力された認識結果（顔パーツ情報）に基づいて、顔情報を分析する。具体的には、顔パーツ情報に含まれる顔パーツ位置および顔パーツ画像から、肌の質、肌理および髪質などの質感に関する情報や、輪郭、パーツの配置および髪型などの形状に関する情報を分析する。ユーザ顔情報分析部１２は、分析した顔情報を推薦化粧パターン判断部１３に出力する。
【００３１】
化粧技術ＤＢ１４には、パターン毎に化粧技術情報が格納されている。推薦化粧パターン判断部１３は、化粧技術ＤＢ（データベース）１４に格納されている化粧技術情報に基づいて、ユーザ顔情報分析部１２から取得した顔情報に対して推薦する化粧パターンを判断する。
【００３２】
推薦する化粧パターンは、一般的な流行だけでなく、地域的、年代的など、ユーザの所属する小規模なコミュニティにふさわしい化粧パターンを推薦することも可能である。ユーザが所属する地域、年代等はユーザ自らユーザ情報として入力する。また、性別を入力し、男性に適した化粧パターンを推薦することも可能である。
【００３３】
図３は、化粧技術情報の一例を示す図である。化粧技術情報は、図３に示すように、Ｐａｔｔｅｒｎ ＩＤ：化粧パターンのＩＤ、Ｃｏｎｔｅｘｔ ＩＤ：Ｕｓｕａｌ、Ｐａｒｔｙ、Ｏｕｔｄｏｏｒなど化粧目的や環境などのＩＤ、Ｐｒｏｃｅｓｓ：手順の番号、Ｉｔｅｍ ＩＤ: 化粧品（商品）のＩＤ、Ｔｏｏｌ ＩＤ:パフ、筆のような道具のＩＤ、Ａｃｔｉｏｎ ＩＤ：道具につける、描く、はたく、押しつけるなどの動作ＩＤ、Ｐａｒｔｓ ＩＤ：目、眉毛など、顔上にあるパーツのＩＤ、Ｐｒｅｓｓｕｒｅ：道具への圧力、Ｄｉｒｅｃｔｉｏｎ：道具の動作方向、Ｍｏｔｉｏｎ：道具の動き、Ｄｉｓｔａｎｃｅ：基準となる顔パーツからのズレ、Ｌｅｎｇｔｈ：化粧品を付ける長さ（距離）のデータを有する。
【００３４】
Ｃｏｎｔｅｘｔ ＩＤは、ユーザが予め化粧目的や環境を設定するモード設定を行った場合に利用される情報であり、推薦化粧パターン判断部１３は、顔情報に加えて設定されたモードを参照して推薦化粧パターンを判断する。なお、推薦化粧パターンの判断は、推薦の順序を決める判断でもよい。この場合、例えば上位３つの化粧パターンを推薦化粧パターンとしてユーザに提示し、ユーザがいずれの化粧パターンも選択しなかった場合にさらに次の３つの化粧パターンを推薦化粧パターンとして提示する。
【００３５】
図３に示す化粧技術情報は化粧の仕方（動作）を示す情報であるが、これらは化粧完成画像の生成にも利用され得る。推薦化粧パターン判断部１３は、推薦化粧パターンの化粧技術情報を画像生成部１５に出力する。若しくは、推薦化粧パターンのＩＤを出力し、画像生成部１５が当該ＩＤに基づいて化粧技術ＤＢから推薦化粧パターンの化粧技術情報を取得してもよい。
【００３６】
画像生成部１５は、推薦化粧パターンの化粧技術情報に基づいて撮像画像に重畳する仮想情報である化粧画像を描画し、ＳＬＡＭ処理部１１１の認識結果（３次元位置・姿勢）に含まれる顔パーツの位置、姿勢に対応させて化粧画像を変形させる。また、画像生成部１５は、顔・パーツ認識部１１０から出力される認識結果（顔パーツ情報）を利用して化粧画像を変形させてもよい。画像生成部１５が生成する化粧画像については、「（１−４）ＡＲ画像の例」で詳述する。画像生成部１５は、生成した化粧画像を表示制御部１７に出力する。
【００３７】
表示制御部１７は、実空間を撮像した画像に、仮想的な化粧画像を重畳したＡＲ画像を表示部１８に表示させる。これにより、ユーザは表示部１８に表示される自分の顔画像に対して行われる化粧の動作や、化粧後の自分の顔を見ることができる。
【００３８】
（１−３）処理の流れの例
次に、図４および図５のフローチャートを用いて、第１実施形態に係る化粧支援装置１における処理の流れを説明する。
【００３９】
まず、ステップＳ６２において、カメラ１０によりユーザの顔を撮像した画像（撮像画像）が入力される。次いで、ステップＳ６４において、撮像画像が表示部１８に表示される。次いで、ステップＳ６５において、ユーザによるモード設定を行ってもよい。モード設定により、Ｕｓｕａｌ、Ｐａｒｔｙ、Ｏｕｔｄｏｏｒ、Ｄａｔｅなど化粧目的や環境などの情報を入力することで（ステップＳ６６）、ユーザの所望するモードに適した化粧パターンが推薦されるよう設定する。
【００４０】
一方、ユーザによるモード設定が行われなかった場合は（ステップＳ６５／Ｎｏ）、ステップＳ６７において、画像認識部１１により撮像画像から顔パーツが認識される。続いて、ステップＳ６８において、ユーザ顔情報分析部１２は、画像認識部１１で認識された顔パーツから顔情報を分析する。
【００４１】
次に、ステップＳ７０において、推薦化粧パターン判断部１３により推薦する化粧パターンを判断し、ユーザの顔に重畳して提示する。推薦化粧パターン判断部１３は、ユーザ顔情報分析部１２から出力された顔情報、又はユーザによりモード設定が行われた場合は設定されたモードを考慮し、化粧技術ＤＢ１４に格納される各化粧パターンからユーザに適する化粧パターンを推薦化粧パターンとして判断する。推薦化粧パターンは、表示部１８に表示されることによりユーザに提示される。ここで、表示部１８に提示される化粧推薦パターンは、図６に示す見本画像１８２ａ〜ｃのように、予め生成されたモデルの顔に化粧が施された画像でもよい。
【００４２】
ステップＳ７２で複数の推薦化粧パターンが提示された場合は（ステップＳ７２／Ｙｅｓ）、ステップＳ７４においてユーザにより任意の推薦化粧パターンが選択される。
【００４３】
次に、ステップＳ７６において、化粧支援装置１は、推薦化粧パターンから生成される仮想的な化粧画像を実空間の顔を撮像した画像に重畳したＡＲ画像を表示部１８に表示させる処理を行う（図６に示すＡＲ画像１８３参照）。かかるシミュレーション提示処理（ＡＲ画像表示処理）については、図５のフローチャートを用いて後述する。
【００４４】
次に、ステップＳ７８において、シミュレーション提示された推薦化粧パターンの決定確認がユーザによりＯＫされると、ステップＳ８０において、決定された化粧パターンの化粧動作画像が提示される。化粧動作画像については図８を参照して後述する。
【００４５】
一方、提示された推薦化粧パターン中に好みの化粧パターンが無かった場合は（ステップＳ７８／Ｎｏ）、次の推薦化粧パターンが提示される（ステップＳ７０）。例えば推薦化粧パターン判断部１３により推薦リストが生成されている場合は、リストの上位から順に推薦化粧パターンとして提示される。ステップＳ７０〜Ｓ７８は、好みの化粧パターンが選択されるまで繰り返し処理される。なお、ステップＳ６６におけるモード設定からやりなおしてもよい。
【００４６】
以上、本実施形態に係る化粧支援装置１における処理について説明した。続いて、上述したステップＳ７６に示すシミュレーション提示処理について図５を参照して説明する。
【００４７】
まず、図５に示すように、ステップＳ８４において、顔・パーツ認識部１１０により撮像画像から顔パーツ位置を認識する処理が行われる。顔パーツ位置が認識された場合は（ステップＳ８６／Ｙｅｓ）、ステップＳ８８において、顔特徴点の属性が更新される。顔特徴点とは、ＳＬＡＭ処理で３次元認識のために追跡する画像中の認識対象であるオブジェクト（本実施形態では、顔・顔パーツ）上のランドマークである。
【００４８】
さらに、ステップＳ９０において、ＳＬＡＭ処理部１１１により撮像画像中の認識対象である顔パーツの３次元位置、姿勢を認識する処理を行う。
【００４９】
上記各認識処理によって撮像画像中の顔パーツの位置が認識出来ると（ステップＳ９２／Ｙｅｓ）、続いてステップＳ９４において、化粧画像生成部１５により仮想的な化粧画像を生成する。次いで、ステップＳ９６において、実空間の撮像画像であるユーザの顔に仮想情報である化粧画像を重畳させたＡＲ画像を表示する。
【００５０】
以上、本実施形態に係る化粧支援装置１におけるシミュレーション提示処理について説明した。次に、本実施形態に係る化粧支援装置１の表示部１８に表示されるＡＲ画像の例について図面を参照して説明する。
【００５１】
（１−４）ＡＲ画像の例
本実施形態に係るＡＲ画像は、実空間を撮像した撮像画像に仮想的な化粧画像を重畳させた画像である。重畳させる化粧画像は、化粧パターンの化粧技術情報に基づいて生成される化粧完成画像でもよい。例えば、図６のＡＲ画像１８３のように、仮想的な化粧完成画像１８５がユーザの顔画像１８１に重畳される。これにより、ユーザは推薦化粧パターンで化粧を行った場合の完成状態を事前に確認することができる。
【００５２】
さらに、ユーザは様々な角度からＡＲ画像を確認することが可能である。以下、図６および図７を参照して説明する。
【００５３】
ユーザは、図６のＡＲ画像１８３で顔正面からの化粧状態を確認した後、次に横顔の化粧状態を確認したい場合は、例えば図７に示すように横を向く。これにより、カメラ１０で撮像する画像中のユーザの顔の位置、姿勢が変化する。ここで、図４に示すシミュレーション提示処理は繰り返し行われているため、画像内のユーザの顔の位置、姿勢が変化した場合には、その変化をリアルタイムにトラッキングすることができ、これにより、画像内のユーザの変化に伴って仮想情報である化粧画像を重畳する位置や形状を変化させることができる。したがって図６のＡＲ画像１８４に示すように、仮想的な化粧完成画像は、認識される顔パーツの位置をトラッキングして形状を変化させながら表示される。よって、ユーザはリアルタイムに様々な角度からＡＲ画像を確認することができる。
【００５４】
また、重畳させる仮想的な化粧画像は、化粧パターンの化粧技術情報に基づいて生成される化粧動作画像でもよい。例えば図３に示す化粧技術情報のパターンＩＤ「Ｐ−００００１」の化粧パターンの場合は、プロセス００１；Ｔ−２２１の道具に、２０の圧で、Ｉ−２０１の化粧品を付け、次に、プロセス００２；Ｐ−００２の顔パーツ（例えば頬）に、ズレなしで（Ｄｉｓｔａｎｃｅ＝０）、１２の圧力で、直線（Ｍｏｔｉｏｎ＝２）で、長さ（Ｌｅｎｇｔｈ）２１でＩ−２０１の化粧品を塗る手順を示す化粧動作画像が重畳表示される。重畳表示される化粧動作画像は上記プロセスの番号順に表示されるが、次の手順の化粧動作画像を表示するタイミングについては後述する変形例で一例を説明する。
【００５５】
化粧動作画像は、図６を用いて説明した化粧完成画像と同様に、画像内のユーザの顔パーツの位置、姿勢の変化に応じて重畳位置が変化する（トラッキング表示）。したがって、例えば図８に示すように、アイブローペンシルを持った手が点線で示された化粧領域に沿って動く化粧動作画像１８７ａは、画像内のユーザの顔パーツの位置、姿勢の変化に応じて、化粧動作画像１８７ｂに変化する。すなわち、化粧動作画像は顔パーツにトラッキングする。よって、ユーザはリアルタイムに様々な角度から化粧手本とする化粧動作画像を確認することができ、より忠実に化粧を行うことができる。
【００５６】
以上、ＡＲ画像の例について説明した。なお、仮想的な化粧画像は２次元情報でもよいし、３次元情報でもよい。
【００５７】
（１−５）変形例
次に、上述した第１の実施形態に係る化粧支援装置１の変形例について図９を参照して説明する。図９は、本変形例に係る化粧支援装置の構成を示すブロック図である。本変形例に係る化粧支援装置は、図９に示すように、カメラ１０、画像認識部１１、ユーザ顔情報分析部１２、推薦化粧パターン判断部１３、化粧技術ＤＢ１４、化粧画像生成部１５、化粧進行度判断部１６、表示制御部１７、表示部１８および操作部１９を有する。画像認識部１１は、顔・パーツ認識部１１０とＳＬＡＭ処理部１１１を有する。
【００５８】
化粧進行度判断部１６は、画像認識部１１から出力された認識結果と、予め生成された化粧完成画像とを比較することにより、ユーザによる現実の化粧進行度を判断する。化粧画像生成部１５は、化粧進行度判断部１６から出力された進行度に応じて、重畳表示する化粧動作画像を変化させる。その他の構成は前述と同様であるため、詳細な説明は省略する。
【００５９】
上記構成により、例えば、ユーザが行っている化粧が完成に近付くほど、化粧動作画像を透明化させることができる。これにより、ユーザは現在行っている化粧がどの程度完成に近付いているか視覚的に確認することができる。また、次の手順の化粧動作画像を表示するタイミングを、ユーザが行った化粧の進行度に応じて決定してもよい。これにより、示した手順による化粧が完成すると自動的に次の手順の化粧動作画像が表示される。
【００６０】
上述した次の手順の化粧動作画像を表示するタイミングは、ユーザの操作をトリガとしてもよい。例えば、次の手順の表示が指示された場合は、強制的に次の手順の化粧動作画像を表示する。また、ユーザの操作により手順をスキップすることも可能である。さらに、ユーザの手が近付いた顔パーツの化粧動作画像を表示してもよい。なお、化粧手順的に手順を変更することが好ましくない場合は、その旨の警告を表示してもよい。
【００６１】
また、図１０に示すように、化粧動作画像を重畳させたＡＲ画像１９０に加えて、化粧完成画像を重畳した画像１９１を表示していてもよい。これにより、ユーザは化粧完成状態も確認しながら化粧を行うことができる。
【００６２】
＜２．第２の実施形態＞
次に、本発明の第２の実施形態による化粧支援システムについて図１１および図１２を参照して説明する。本実施形態により、所望するメークアップアーティストの化粧サービスを受けることができる。
【００６３】
図１１は、本実施形態による化粧支援システムの概要を示す図である。図１１に示すように、本実施形態による化粧支援システムは、化粧支援装置１、サーバ３０および化粧技術取得装置４がネットワーク６を介して接続されて構成される。
【００６４】
化粧技術取得装置４は、カメラ４０、モーションセンサ４１および圧力センサ４２などの各種情報取得部を有する。かかる化粧技術取得装置４により、メークアップアーティストの化粧技術を取得し、サーバ３０が有する化粧技術ＤＢ３０２に格納する。具体的には、メークアップアーティストの腕や手指に各種センサを付けて、化粧道具を化粧品に付ける時の圧力、顔に化粧を施すときの圧力、軌跡などの情報を取得する。また、カメラ４０で化粧手順を撮像する。さらに、化粧品や化粧道具、マネキンに各種センサを付けて、メークアップアーティストの化粧技術情報を取得してもよい。また、使用する化粧品ＩＤや、複数の化粧品を混合して使う場合はその旨も入力する。
【００６５】
サーバ３０は、技術解析部３０１と化粧技術ＤＢ３０２を有する。技術解析部３０１は、化粧技術取得装置４で取得した各種情報から化粧技術を解析し、一般化した顔画像を基準として化粧技術を数値化する。化粧技術ＤＢ３０２は、技術解析部３０１で解析された化粧技術情報を格納する。
【００６６】
次に、本実施形態による化粧支援装置１の構成を図１２に示す。図１２に示すように、本実施形態による化粧支援装置１は、カメラ１０、画像認識部１１、ユーザ顔情報分析部１２、推薦化粧パターン判断部１３、化粧画像生成部１５、表示制御部１７、表示部１８、操作部１９および通信部２０を有する。画像認識部１１は、顔・パーツ認識部１１０とＳＬＡＭ処理部１１１を有する。
【００６７】
通信部２０はサーバ３０と通信接続を確立する。通信部２０による通信は、有線でも無線でもよいが、通常は無線ＬＡＮやＢｌｕｅｔｏｏｔｈ（登録商標）等の無線通信によりサーバ３０との間で情報をやり取りする。これにより、ユーザが所望するメークアップアーティストによる化粧サービスを受けるための通信が可能となる。具体的には、通信部２０は、サーバ３０から化粧技術情報を受信する。その他の構成の説明は上記第１の実施形態による化粧支援装置１の構成と同様であるため省略する。
【００６８】
上述したように、サーバ３０の化粧技術ＤＢ３０２には、各メークアップアーティストから取得した化粧技術情報が格納されている。一方、化粧支援装置１では、図１１に示すように、選択可能なメークアップアーティストのリストを表示部１８に表示し、ユーザに選択されたアーティストの化粧技術情報をサーバ３０から取得する。したがって、化粧支援装置１の推薦化粧パターン判断部は、ユーザが所望するメークアップアーティストの化粧技術情報に基づいた化粧パターンからユーザに適した化粧パターンを判断することができる。
【００６９】
なお、本実施形態では少なくとも化粧技術ＤＢにメークアップアーティストから取得した化粧技術情報が格納されていればよいため、図１１に示す化粧技術取得装置４は必ずしも必須の構成ではない。
【００７０】
＜３．第３の実施形態＞
次に、本発明の第３の実施形態による化粧支援システムについて図１３および図１４を参照して説明する。本実施形態により、ユーザ間で化粧技術情報を交換することができる。
【００７１】
図１３は、本実施形態による化粧支援システムの概要を示す図である。図１３に示すように、本実施形態による化粧支援システムは、各ユーザの化粧支援装置１Ａ〜１Ｄおよびサーバ３１がネットワーク６を介して接続されて構成される。
【００７２】
本実施形態による化粧支援装置１の構成を図１４に示す。図１４に示すように、本実施形態による化粧支援装置１は、カメラ１０、画像認識部１１、ユーザ顔情報分析部１２、推薦化粧パターン判断部１３、化粧画像生成部１５、表示制御部１７、表示部１８、操作部１９および通信部２０を有する。画像認識部１１は、顔・パーツ認識部１１０とＳＬＡＭ処理部１１１を有する。
【００７３】
カメラ１０は、ユーザが自ら化粧を行っている画像を取得し通信部２０に出力する。通信部２０はサーバ３０と通信接続を確立し、カメラ１０から出力された撮像画像をサーバ３０に送信する。さらに通信部２０は、サーバ３０の化粧技術ＤＢ３１２から他ユーザの化粧技術情報を受信する。これにより、他ユーザと化粧技術情報を交換することができる。推薦化粧パターン判断部１３は、通信部２０が取得した他ユーザの化粧技術情報に基づいた化粧パターンからユーザに適した化粧パターンを判断する。その他の構成の説明は上記第１の実施形態による化粧支援装置１の構成と同様であるため省略する。
【００７４】
サーバ３１は、技術解析部３１１と化粧技術ＤＢ３１２を有する。技術解析部３１１は、各化粧支援装置１から送信されたユーザの化粧動作を撮像した撮像画像から化粧技術を解析し、一般化した顔画像を基準として化粧技術を数値化する。技術解析部３１１は、例えばプロの化粧動作画像や基準とする化粧動作画像とユーザの化粧動作画像を比較することにより、その差分を算出して化粧技術を数値化する。化粧技術ＤＢ３１２は、技術解析部３１１で解析された化粧技術情報を格納する。
【００７５】
なお、化粧支援装置１が、モーションセンサ、圧力センサなどの各種センサを備え、ユーザが自ら化粧を行った際に各種センサで取得した情報をサーバ３１に送信してもよい。この場合、技術解析部３１１は、化粧支援装置１から送信された各種情報から化粧技術を解析し、一般化した顔画像を基準として化粧技術を数値化する。
【００７６】
上述したように、サーバ３１の化粧技術ＤＢ３１２には、各ユーザから取得した化粧技術情報が格納されている。一方、化粧支援装置１Ａでは、図１３に示すように、選択可能な他ユーザのリストを表示部１８に表示し、ユーザに選択された他のユーザの化粧技術情報をサーバ３１から取得する。したがって、化粧支援装置１の推薦化粧パターン判断部は、ユーザの友人など他ユーザの化粧技術情報に基づいた化粧パターンからユーザに適した化粧パターンを判断することができる。これにより、友人と化粧技術を切磋琢磨したり、他ユーザの化粧技術を真似したり、プロでなくともアマチュア間で有名になれるなど、化粧支援システムをより活用することができる。
【００７７】
＜４．第４の実施形態＞
次に、本発明の第４の実施形態による化粧支援システムについて図１５および図１６を参照して説明する。本実施形態により、適切な化粧品の情報と化粧品の販売サービスを提供することができる。
【００７８】
図１５は、本実施形態による化粧支援システムの概要を示す図である。図１５に示すように、本実施形態による化粧支援システムは、化粧支援装置１、サーバ３２および各化粧品販売店の売買管理装置５が、ネットワーク６を介して接続されて構成される。
【００７９】
本実施形態による化粧支援装置１の構成を図１６に示す。図１６に示すように、本実施形態による化粧支援装置１は、カメラ１０、画像認識部１１、ユーザ顔情報分析部１２、推薦化粧パターン判断部１３、化粧画像生成部１５、表示制御部１７、表示部１８、操作部１９、通信部２０および化粧品情報提供部２１を有する。画像認識部１１は、顔・パーツ認識部１１０とＳＬＡＭ処理部１１１を有する。
【００８０】
通信部２０はサーバ３２と通信接続を確立し、サーバ３２との間で情報をやり取りする。具体的には、化粧技術情報の受信、化粧ＩＤの送信および化粧品情報の受信をサーバ３２との間で行う。
【００８１】
推薦化粧パターン判断部１３は、通信部２０が受信した化粧技術情報に基づいて推薦化粧パターンを判断する。また、推薦化粧パターン判断部１３は、推薦化粧パターンと判断した化粧パターンの化粧品ＩＤ（図７参照）を、通信部２０を介してサーバ３２に出力する。
【００８２】
化粧品情報提供部２１は、化粧推薦パターン判断部１３から出力された化粧品ＩＤに応じてサーバ３２から送信された化粧品情報をユーザに提供する。例えば、図１５に示すように、表示部１８に化粧品情報として、メーカ、ブランド名、商品名、価格、商品説明などを表示する。これにより、推薦化粧パターンによる化粧をユーザが実施する際に使用すべき適切な化粧品の情報が提供される。さらに、図１５に示すように、表示部１８に化粧品情報と共に購入ボタン１９２を表示することで、ユーザは容易に適切な化粧品の購入手続きを行なうことができる。
【００８３】
なお、本実施形態に係る化粧支援装置１のその他の構成の説明は上記第１の実施形態による化粧支援装置１の構成と同様であるため省略する。
【００８４】
サーバ３２は、化粧技術ＤＢ３２２と化粧品情報ＤＢ３２３を有する。化粧技術ＤＢ３２２は、上記各実施形態における化粧技術ＤＢと同様に化粧技術情報を格納する。化粧情報ＤＢ３２３は、化粧技術ＤＢ３２２に格納される化粧技術情報に含まれる化粧品ＩＤ毎の化粧品情報を格納する。
【００８５】
売買管理装置５は、化粧支援装置１からの化粧品購入要求に応じて商品売買の管理を行う。売買管理装置５は各化粧品販売店が有してもいてもよい。なお、通常のネット販売システム（オンラインショッピング）を利用してもよい。
【００８６】
以上説明したように、本実施形態による化粧支援装置１は、ユーザが推薦化粧パターンを実施するのに必要な化粧品を販売することで化粧支援を行う。
【００８７】
＜５．第５の実施形態＞
次に、本発明の第５の実施形態による化粧支援システムについて説明する。本実施形態による化粧支援装置１は、化粧による肌への影響を考慮して推薦化粧パターンが判断される。
【００８８】
具体的には、５年後、１０年後等に理想とする肌の質感、肌理等を設定し（将来の顔画像予測値）、現在の顔情報から予想される５年後、１０年後等の肌の質感、肌理等（現状のままによる顔画像予測値）を算出し、その差分を埋められる化粧パターンを推薦化粧パターンとして判断する。なお、現在の顔情報の他、年齢、性別、人種、生活パターンなど肌に影響のある情報をユーザ自ら入力してもよい。
【００８９】
これにより、長期的な視野に立ち、肌の経年変化を考慮した化粧パターンを推薦することができる。
【００９０】
＜６．第６の実施形態＞
次に、本発明の第６の実施形態による化粧支援システムについて説明する。本実施形態による化粧支援装置１は、ユーザがタレントの顔写真などユーザの好む顔画像を入力し、かかる顔画像の分析結果と、ユーザの顔情報から、ユーザの顔がなるべくユーザの好む顔に近付く化粧パターンを推薦化粧パターンと判断する。
【００９１】
これにより、ユーザの好む顔に近付く化粧パターンを推薦することができる。
【００９２】
＜７．まとめ＞
以上説明したように、本発明の実施形態による化粧支援装置１は、ＡＲ技術を利用し、化粧完成後の状態のシミュレーションを行うことにより、化粧支援技術を向上させる。また、ＡＲ技術を利用し、化粧途中の手順を表示することで化粧支援技術をさらに向上させる。
【００９３】
以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。
【００９４】
例えば、上記各実施形態では、化粧支援装置１においてすべての処理を実行することとしたが、本発明はかかる例に限定されない。例えば、化粧支援装置１において実行される処理のうち、負荷の高い処理をネットワークで接続されたサーバで実行するようにしてもよい。例えば、カメラ１０で撮像された撮像画像を化粧支援装置１からサーバへ送信して、サーバにより撮像画像のユーザ顔情報分析を行い、推薦化粧パターン判断を行うようにしてもよい。この場合、サーバは、化粧支援装置１から送信された撮像画像から、推薦化粧パターンと判断された化粧パターンの化粧技術情報を化粧支援装置１に送信する。また、サーバで推薦化粧パターンから化粧画像を生成して化粧支援装置１に送信してもよい。また、化粧技術情報を記憶する化粧技術ＤＢ１４をサーバに配置してもよい。
【００９５】
このように、負荷の高い処理をサーバで実行することにより、化粧支援装置１の消費電力を削減することができ、化粧支援装置１で必要となるハードウェア資源を圧縮することができる。また、化粧技術を記憶する化粧技術ＤＢ１４をサーバに配置した場合には、化粧支援装置１の記憶容量を圧縮できるとともに、化粧支援装置間で同一の化粧技術情報を利用したり管理したりすることが容易になる。
【符号の説明】
【００９６】
１ 化粧支援装置
１０ カメラ
１１ 画像認識部
１２ ユーザ顔情報分析部
１３ 推薦化粧パターン判断部
１４ 化粧技術ＤＢ
１５ 化粧画像生成部
１６ 化粧進行度判断部
１７ 表示制御部
１８ 表示部
１９ 操作部
２０ 通信部
２１ 化粧品情報提供部
３０、３１、３２ サーバ
３０１、３１１ 技術解析部
３０２、３１２、３２２ 化粧技術ＤＢ
３２３ 化粧品技術ＤＢ
４ 化粧技術取得装置
４０ カメラ
４１ モーションセンサ
４２ 圧力センサ
５ 売買管理装置
６ ネットワーク
【技術分野】
【０００１】
本発明は、情報処理装置、情報処理方法、情報処理システムおよびプログラムに関する。
【背景技術】
【０００２】
化粧を支援する技術として、化粧完成後の状態をシミュレーションする化粧シミュレーションが様々提案されている。
【０００３】
例えば、特許文献１では、ユーザの肌画像において小じわや毛穴等の肌の表面凹凸状態を変化させたシミュレーション画像を表示する方法が提案されている。これにより、特定の化粧品を使用することにより改善される小じわや毛穴の目立ち具合を提示することができる。また、特許文献２では、屋内の人工光下と屋外の自然光下では化粧の印象が異なることを考慮し、様々な光の状態の下で化粧の印象を映像化する補助装置が提案されている。これによりユーザは任意のイベントに最適な化粧を選ぶことができる。
【０００４】
さらに、特許文献３では、被写体の二次元の顔画像を取得し、標準塗布形状を被写体の顔画像に変形合成することにより、所望する化粧品を塗布した状態を生成する化粧シミュレーション装置が提案されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００６−１３３８５６号公報
【特許文献２】特開２００１−１８６９２３号公報
【特許文献３】特開２００９−５３９８１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかし、上記化粧シミュレーションにより生成される合成画像は、顔正面からの静止画像であるため、リアルタイムに様々な角度からの化粧シミュレーションを確認することが出来ないという問題があった。また、化粧完成後の状態を確認できても、実際にユーザ自ら化粧を実践してシミュレーションされた状態にすることは困難であった。したがって、化粧シミュレーションなどの化粧支援技術をさらに向上することが求められる。
そこで、本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、化粧支援技術を向上させることが可能な、新規かつ改良された情報処理装置、情報処理方法、情報処理システムおよびプログラムを提供することにある。
【課題を解決するための手段】
【０００７】
上記課題を解決するために、本発明のある観点によれば、画像を撮像する撮像部と、前記撮像部から順次画像を取得し、前記取得した画像内の顔パーツを認識する画像認識部と、前記画像認識部から出力される認識結果に含まれる前記顔パーツの位置に基づいて、前記画像内の顔にトラッキングする仮想的な化粧画像を、前記画像に重畳させて表示する表示制御部と、を備える情報処理装置が提供される。
【０００８】
また、前記表示制御部は、前記仮想的な化粧画像として化粧完成画像を表示してもよい。
【０００９】
また、前記表示制御部は、前記仮想的な化粧画像として化粧動作画像を表示してもよい。
【００１０】
また、前記情報処理装置は、前記仮想的な化粧画像を、化粧技術情報に基づいて生成する画像生成部をさらに備えてもよい。
【００１１】
また、前記情報処理装置は、前記画像認識部から出力される認識結果に基づいて、顔情報を分析する分析部と、前記分析部から出力される分析結果に応じて、推薦する化粧パターンを判断する推薦化粧パターン判断部と、をさらに備え、前記化粧パターンは、前記化粧技術情報から構成され、前記画像生成部は、前記推薦化粧パターン判断部により推薦化粧パターンと判断された化粧パターンの化粧技術情報に基づいて前記仮想的な化粧画像を生成してもよい。
【００１２】
また、前記情報処理装置は、前記撮像部で撮像された画像と予め生成された化粧完成画像とを比較することにより、化粧の進行度を判断する化粧進行度判断部をさらに備え、前記表示制御部は、前記化粧進行度判断部による判断結果に応じて変化する化粧動作画像を前記画像に順次重畳表示してもよい。
【００１３】
また、前記表示制御部により順次表示される化粧動作画像の順序は、ユーザの操作に応じて変更されてもよい。
【００１４】
また、上記課題を解決するために、本発明の別の観点によれば、画像を撮像するステップと、前記撮像するステップにより順次画像を取得し、前記取得した画像内の顔パーツを認識するステップと、前記認識するステップにより出力される認識結果に含まれる前記顔パーツの位置に基づいて、前記画像内の顔にトラッキングする仮想的な化粧画像を、前記画像に重畳させて表示するステップと、を含む情報処理方法が提供される。
【００１５】
また、上記課題を解決するために、本発明の別の観点によれば、画像を撮像する撮像部と、前記撮像部から順次画像を取得し、前記取得した画像内の顔パーツを認識する画像認識部と、前記画像認識部から出力される認識結果に含まれる前記顔パーツの位置に基づいて、前記画像内の顔にトラッキングする仮想的な化粧画像を、前記画像に重畳させて表示する表示制御部と、を備える、情報処理装置と；前記画像認識部から出力される認識結果に基づいて、顔情報を分析する分析部と、前記分析部から出力される分析結果に応じて、推薦する化粧パターンを判断する推薦化粧パターン判断部と、を備える、サーバと；を備え、前記情報処理装置は、前記サーバから取得した推薦化粧パターンの化粧技術情報に基づいて前記仮想的な化粧画像を生成する情報処理システムが提供される。
【００１６】
また、上記課題を解決するために、本発明の別の観点によれば、コンピュータを、画像を撮像する撮像部と、前記撮像部から順次画像を取得し、前記取得した画像内の顔パーツを認識する画像認識部と、前記画像認識部から出力される認識結果に含まれる前記顔パーツの位置に基づいて、前記画像内の顔にトラッキングする仮想的な化粧画像を、前記画像に重畳させて表示する表示制御部と、を備える情報処理装置として機能させるためのプログラムが提供される。
【発明の効果】
【００１７】
以上説明したように本発明によれば、化粧支援技術を向上させることが可能である。
【図面の簡単な説明】
【００１８】
【図１】第１の実施形態に係る化粧支援装置の概要を示す図である。
【図２】第１の実施形態に係る化粧支援装置の構成の一例を示すブロック図である。
【図３】第１の実施形態に係る化粧支援装置により実行される化粧支援処理を示すフローチャートである。
【図４】図３に示すシミュレーション提示処理について説明するためのフローチャートである。
【図５】第１の実施形態に係る化粧支援装置の表示制御の一例を説明するための図である。
【図６】第１の実施形態に係る化粧支援装置とユーザとの位置関係を示す図である。
【図７】化粧技術情報の一例を示す図である。
【図８】第１の実施形態に係る化粧支援装置の表示制御の一例を説明するための図である。
【図９】変形例１の化粧支援装置の構成の一例を示すブロック図である。
【図１０】変形例２の化粧支援装置の表示画面を示す図である。
【図１１】第２の実施形態に係る化粧支援システムの概要を示す図である。
【図１２】第２の実施形態に係る化粧支援装置の構成の一例を示す図である。
【図１３】第３の実施形態に係る化粧支援システムの概要を示す図である。
【図１４】第３の実施形態に係る化粧支援装置の構成の一例を示す図である。
【図１５】第４の実施形態に係る化粧支援システムの概要を示す図である。
【図１６】第４の実施形態に係る化粧支援装置の構成の一例を示す図である。
【発明を実施するための形態】
【００１９】
以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
【００２０】
なお、説明は以下の順序で行うものとする。
１．第１の実施の形態
（１−１）化粧支援装置の概要
（１−２）化粧支援装置の構成例
（１−３）処理の流れの例
（１−４）ＡＲ画像の例
（１−５）変形例
２．第２の実施の形態
３．第３の実施の形態
４．第４の実施の形態
５．第５の実施の形態
６．第６の実施の形態
７．まとめ
【００２１】
近年、実世界に付加的な情報を重畳してユーザに呈示する拡張現実（ＡＲ：Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ）と呼ばれる技術が注目されている。ＡＲ技術においてユーザに呈示される情報は、テキスト、アイコン又はアニメーションなどの様々な形態の仮想的なオブジェクトを用いて可視化され得る。ＡＲ技術の主要な適用分野の１つは、実世界でのユーザ活動の支援である。以下では、このＡＲ技術を化粧支援技術に適用する。これによれば、ユーザの化粧技術を向上させることができる。
【００２２】
ＡＲ技術を利用した化粧支援技術は、化粧完成後の状態をシミュレーションしてユーザに示す化粧支援のためのシステムに適用可能である。また、前記システムでは、実際にシミュレーション通りに化粧を行うことは一般のユーザにとって困難であることを考慮して、ＡＲ技術を利用した化粧支援技術は、化粧完成後だけでなく化粧途中の手順を表示し、これにより、化粧支援技術をさらに向上させることが可能である。
【００２３】
以下の＜１．第１の実施形態＞〜＜６．第６の実施形態＞の説明では、情報処理装置の一例である化粧支援装置を用いて、化粧技術を向上させるシステムについて説明する。
【００２４】
＜１．第１の実施形態＞
（１−１）化粧支援装置の概要
まず、第１実施形態に係る化粧支援装置１の概要を、図１を参照しながら説明する。図１に示すように、本実施形態に係る化粧支援装置１は、タッチパネルディスプレイを備えたタブレット型の端末である。よって、表示部１８は、表示機能だけでなく、ユーザからの操作入力を受け付ける操作部１９としても機能する。図１に示す例では、化粧支援装置１に設けられるカメラ１０によりユーザの顔画像を撮像する。表示部１８には当該顔画像に仮想的な化粧画像が重畳されたＡＲ画像が表示される。ここでは、ユーザの顔画像が実空間の映像であり、化粧画像が、実空間の映像に重畳される仮想的なオブジェクトである。
【００２５】
仮想的な化粧画像とは、例えば化粧完成の状態を示す化粧完成画像や、化粧の途中において化粧の手順や仕方を示すために使用される化粧動作画像を含む。ユーザは、自分の顔画像に化粧完成画像が重畳されたＡＲ画像を見ることで、事前に化粧完成後の状態を確認することができる。特に、化粧動作画像は、化粧の手順や仕方を静的又は動的に表示するために、化粧の途中においてユーザの実際の顔パーツに重畳して表示される。化粧の手順を、ユーザの顔パーツに重畳して動的に表示することにより、ユーザは化粧の際の手の動きを知ることができる。よって、ユーザは、自分の顔画像に化粧動作画像が重畳されたＡＲ画像を見ながら、化粧動作画像と同様に手を動かすだけで容易に自ら化粧を行うことができる。これにより、言語での化粧アドバイスに比べて、ユーザの化粧技術がより向上する。ここで、表示部１８には、カメラ１０で撮像した画像の左右が反転して表示される。これにより、ユーザは自分の顔を化粧鏡で写したように見える。なお、表示部１８に表示されるＡＲ画像については、後述する「（１−４）ＡＲ画像の例」において図６〜図８を参照して詳細に説明する。
【００２６】
（１−２）化粧支援装置の構成例
次に、図２を参照して、本実施形態に係る化粧支援装置１の構成の一例について説明する。図２に示すように、化粧支援装置１は、カメラ１０、画像認識部１１、ユーザ顔情報分析部１２、推薦化粧パターン判断部１３、化粧技術ＤＢ１４、化粧画像生成部１５、表示制御部１７、表示部１８および操作部１９を有する。画像認識部１１は、顔・パーツ認識部１１０とＳＬＡＭ処理部１１１を有する。
【００２７】
カメラ１０は、実空間を撮像することにより画像（映像）を取得する撮像部の一例である。カメラ１０は、ユーザの顔画像を撮像する。ユーザは、化粧支援装置１を利用して化粧を行う際、化粧支援装置１に顔を向ける。よって、化粧支援装置１に設けられたカメラ１０は、ユーザの顔を撮像することになる。カメラ１０は、撮像した画像を画像認識部１１へ出力する。例えばユーザの顔を撮像した画像の一例として、図５の左図に示した画像（映像）１８１を画像認識部１１へ出力する。
【００２８】
画像認識部１１は、カメラ１０から取得した撮像画像に対して画像認識処理を実行する。具体的には、画像認識部１１の顔・パーツ認識部１１０により、まず撮像画像内の顔を認識し、顔を認識できた場合は、次いで、顔パーツを認識する。顔・パーツ認識部１１０は、パターン認識などの公知の画像認識手法を用いて顔および顔パーツを認識してもよい。顔・パーツ認識部１１０は、認識結果（顔パーツ、顔パーツ位置情報）をユーザ顔情報分析部１２に出力する。なお、顔・パーツ認識部１１０は、撮像画像内にユーザの顔の一部や肩や首、頭、髪等が存在することを認識した場合にも、撮像画像内の顔を認識したと判断することができる。
【００２９】
また、画像認識部１１のＳＬＡＭ処理部１１１により、例えば、Andrew J.Davisonによる“Real-Time Simultaneous Localization and Mapping with a Single Camera”（Proceedings of the 9th IEEE International Conference on Computer Vision Volume 2, 2003, pp.1403-1410）に記載されているＳＬＡＭ（Simultaneous Localization and Mapping）技術の原理に従って、顔・顔パーツの３次元位置、姿勢や、カメラ１０の３次元位置、姿勢が認識される。これにより、ユーザが自ら化粧を行う間、目や口などの顔パーツが手で隠れたり、顔の向きを変えたりした場合でも、ＳＬＡＭ処理部１１１は、最初やその後に認識された目や口などの顔パーツが、次の画像でどこに移動したかをトラッキングすることにより、顔の動きに追従して顔パーツの位置を認識することができる。
【００３０】
ユーザ顔情報分析部１２は、顔・パーツ認識部１１０から出力された認識結果（顔パーツ情報）に基づいて、顔情報を分析する。具体的には、顔パーツ情報に含まれる顔パーツ位置および顔パーツ画像から、肌の質、肌理および髪質などの質感に関する情報や、輪郭、パーツの配置および髪型などの形状に関する情報を分析する。ユーザ顔情報分析部１２は、分析した顔情報を推薦化粧パターン判断部１３に出力する。
【００３１】
化粧技術ＤＢ１４には、パターン毎に化粧技術情報が格納されている。推薦化粧パターン判断部１３は、化粧技術ＤＢ（データベース）１４に格納されている化粧技術情報に基づいて、ユーザ顔情報分析部１２から取得した顔情報に対して推薦する化粧パターンを判断する。
【００３２】
推薦する化粧パターンは、一般的な流行だけでなく、地域的、年代的など、ユーザの所属する小規模なコミュニティにふさわしい化粧パターンを推薦することも可能である。ユーザが所属する地域、年代等はユーザ自らユーザ情報として入力する。また、性別を入力し、男性に適した化粧パターンを推薦することも可能である。
【００３３】
図３は、化粧技術情報の一例を示す図である。化粧技術情報は、図３に示すように、Ｐａｔｔｅｒｎ ＩＤ：化粧パターンのＩＤ、Ｃｏｎｔｅｘｔ ＩＤ：Ｕｓｕａｌ、Ｐａｒｔｙ、Ｏｕｔｄｏｏｒなど化粧目的や環境などのＩＤ、Ｐｒｏｃｅｓｓ：手順の番号、Ｉｔｅｍ ＩＤ: 化粧品（商品）のＩＤ、Ｔｏｏｌ ＩＤ:パフ、筆のような道具のＩＤ、Ａｃｔｉｏｎ ＩＤ：道具につける、描く、はたく、押しつけるなどの動作ＩＤ、Ｐａｒｔｓ ＩＤ：目、眉毛など、顔上にあるパーツのＩＤ、Ｐｒｅｓｓｕｒｅ：道具への圧力、Ｄｉｒｅｃｔｉｏｎ：道具の動作方向、Ｍｏｔｉｏｎ：道具の動き、Ｄｉｓｔａｎｃｅ：基準となる顔パーツからのズレ、Ｌｅｎｇｔｈ：化粧品を付ける長さ（距離）のデータを有する。
【００３４】
Ｃｏｎｔｅｘｔ ＩＤは、ユーザが予め化粧目的や環境を設定するモード設定を行った場合に利用される情報であり、推薦化粧パターン判断部１３は、顔情報に加えて設定されたモードを参照して推薦化粧パターンを判断する。なお、推薦化粧パターンの判断は、推薦の順序を決める判断でもよい。この場合、例えば上位３つの化粧パターンを推薦化粧パターンとしてユーザに提示し、ユーザがいずれの化粧パターンも選択しなかった場合にさらに次の３つの化粧パターンを推薦化粧パターンとして提示する。
【００３５】
図３に示す化粧技術情報は化粧の仕方（動作）を示す情報であるが、これらは化粧完成画像の生成にも利用され得る。推薦化粧パターン判断部１３は、推薦化粧パターンの化粧技術情報を画像生成部１５に出力する。若しくは、推薦化粧パターンのＩＤを出力し、画像生成部１５が当該ＩＤに基づいて化粧技術ＤＢから推薦化粧パターンの化粧技術情報を取得してもよい。
【００３６】
画像生成部１５は、推薦化粧パターンの化粧技術情報に基づいて撮像画像に重畳する仮想情報である化粧画像を描画し、ＳＬＡＭ処理部１１１の認識結果（３次元位置・姿勢）に含まれる顔パーツの位置、姿勢に対応させて化粧画像を変形させる。また、画像生成部１５は、顔・パーツ認識部１１０から出力される認識結果（顔パーツ情報）を利用して化粧画像を変形させてもよい。画像生成部１５が生成する化粧画像については、「（１−４）ＡＲ画像の例」で詳述する。画像生成部１５は、生成した化粧画像を表示制御部１７に出力する。
【００３７】
表示制御部１７は、実空間を撮像した画像に、仮想的な化粧画像を重畳したＡＲ画像を表示部１８に表示させる。これにより、ユーザは表示部１８に表示される自分の顔画像に対して行われる化粧の動作や、化粧後の自分の顔を見ることができる。
【００３８】
（１−３）処理の流れの例
次に、図４および図５のフローチャートを用いて、第１実施形態に係る化粧支援装置１における処理の流れを説明する。
【００３９】
まず、ステップＳ６２において、カメラ１０によりユーザの顔を撮像した画像（撮像画像）が入力される。次いで、ステップＳ６４において、撮像画像が表示部１８に表示される。次いで、ステップＳ６５において、ユーザによるモード設定を行ってもよい。モード設定により、Ｕｓｕａｌ、Ｐａｒｔｙ、Ｏｕｔｄｏｏｒ、Ｄａｔｅなど化粧目的や環境などの情報を入力することで（ステップＳ６６）、ユーザの所望するモードに適した化粧パターンが推薦されるよう設定する。
【００４０】
一方、ユーザによるモード設定が行われなかった場合は（ステップＳ６５／Ｎｏ）、ステップＳ６７において、画像認識部１１により撮像画像から顔パーツが認識される。続いて、ステップＳ６８において、ユーザ顔情報分析部１２は、画像認識部１１で認識された顔パーツから顔情報を分析する。
【００４１】
次に、ステップＳ７０において、推薦化粧パターン判断部１３により推薦する化粧パターンを判断し、ユーザの顔に重畳して提示する。推薦化粧パターン判断部１３は、ユーザ顔情報分析部１２から出力された顔情報、又はユーザによりモード設定が行われた場合は設定されたモードを考慮し、化粧技術ＤＢ１４に格納される各化粧パターンからユーザに適する化粧パターンを推薦化粧パターンとして判断する。推薦化粧パターンは、表示部１８に表示されることによりユーザに提示される。ここで、表示部１８に提示される化粧推薦パターンは、図６に示す見本画像１８２ａ〜ｃのように、予め生成されたモデルの顔に化粧が施された画像でもよい。
【００４２】
ステップＳ７２で複数の推薦化粧パターンが提示された場合は（ステップＳ７２／Ｙｅｓ）、ステップＳ７４においてユーザにより任意の推薦化粧パターンが選択される。
【００４３】
次に、ステップＳ７６において、化粧支援装置１は、推薦化粧パターンから生成される仮想的な化粧画像を実空間の顔を撮像した画像に重畳したＡＲ画像を表示部１８に表示させる処理を行う（図６に示すＡＲ画像１８３参照）。かかるシミュレーション提示処理（ＡＲ画像表示処理）については、図５のフローチャートを用いて後述する。
【００４４】
次に、ステップＳ７８において、シミュレーション提示された推薦化粧パターンの決定確認がユーザによりＯＫされると、ステップＳ８０において、決定された化粧パターンの化粧動作画像が提示される。化粧動作画像については図８を参照して後述する。
【００４５】
一方、提示された推薦化粧パターン中に好みの化粧パターンが無かった場合は（ステップＳ７８／Ｎｏ）、次の推薦化粧パターンが提示される（ステップＳ７０）。例えば推薦化粧パターン判断部１３により推薦リストが生成されている場合は、リストの上位から順に推薦化粧パターンとして提示される。ステップＳ７０〜Ｓ７８は、好みの化粧パターンが選択されるまで繰り返し処理される。なお、ステップＳ６６におけるモード設定からやりなおしてもよい。
【００４６】
以上、本実施形態に係る化粧支援装置１における処理について説明した。続いて、上述したステップＳ７６に示すシミュレーション提示処理について図５を参照して説明する。
【００４７】
まず、図５に示すように、ステップＳ８４において、顔・パーツ認識部１１０により撮像画像から顔パーツ位置を認識する処理が行われる。顔パーツ位置が認識された場合は（ステップＳ８６／Ｙｅｓ）、ステップＳ８８において、顔特徴点の属性が更新される。顔特徴点とは、ＳＬＡＭ処理で３次元認識のために追跡する画像中の認識対象であるオブジェクト（本実施形態では、顔・顔パーツ）上のランドマークである。
【００４８】
さらに、ステップＳ９０において、ＳＬＡＭ処理部１１１により撮像画像中の認識対象である顔パーツの３次元位置、姿勢を認識する処理を行う。
【００４９】
上記各認識処理によって撮像画像中の顔パーツの位置が認識出来ると（ステップＳ９２／Ｙｅｓ）、続いてステップＳ９４において、化粧画像生成部１５により仮想的な化粧画像を生成する。次いで、ステップＳ９６において、実空間の撮像画像であるユーザの顔に仮想情報である化粧画像を重畳させたＡＲ画像を表示する。
【００５０】
以上、本実施形態に係る化粧支援装置１におけるシミュレーション提示処理について説明した。次に、本実施形態に係る化粧支援装置１の表示部１８に表示されるＡＲ画像の例について図面を参照して説明する。
【００５１】
（１−４）ＡＲ画像の例
本実施形態に係るＡＲ画像は、実空間を撮像した撮像画像に仮想的な化粧画像を重畳させた画像である。重畳させる化粧画像は、化粧パターンの化粧技術情報に基づいて生成される化粧完成画像でもよい。例えば、図６のＡＲ画像１８３のように、仮想的な化粧完成画像１８５がユーザの顔画像１８１に重畳される。これにより、ユーザは推薦化粧パターンで化粧を行った場合の完成状態を事前に確認することができる。
【００５２】
さらに、ユーザは様々な角度からＡＲ画像を確認することが可能である。以下、図６および図７を参照して説明する。
【００５３】
ユーザは、図６のＡＲ画像１８３で顔正面からの化粧状態を確認した後、次に横顔の化粧状態を確認したい場合は、例えば図７に示すように横を向く。これにより、カメラ１０で撮像する画像中のユーザの顔の位置、姿勢が変化する。ここで、図４に示すシミュレーション提示処理は繰り返し行われているため、画像内のユーザの顔の位置、姿勢が変化した場合には、その変化をリアルタイムにトラッキングすることができ、これにより、画像内のユーザの変化に伴って仮想情報である化粧画像を重畳する位置や形状を変化させることができる。したがって図６のＡＲ画像１８４に示すように、仮想的な化粧完成画像は、認識される顔パーツの位置をトラッキングして形状を変化させながら表示される。よって、ユーザはリアルタイムに様々な角度からＡＲ画像を確認することができる。
【００５４】
また、重畳させる仮想的な化粧画像は、化粧パターンの化粧技術情報に基づいて生成される化粧動作画像でもよい。例えば図３に示す化粧技術情報のパターンＩＤ「Ｐ−００００１」の化粧パターンの場合は、プロセス００１；Ｔ−２２１の道具に、２０の圧で、Ｉ−２０１の化粧品を付け、次に、プロセス００２；Ｐ−００２の顔パーツ（例えば頬）に、ズレなしで（Ｄｉｓｔａｎｃｅ＝０）、１２の圧力で、直線（Ｍｏｔｉｏｎ＝２）で、長さ（Ｌｅｎｇｔｈ）２１でＩ−２０１の化粧品を塗る手順を示す化粧動作画像が重畳表示される。重畳表示される化粧動作画像は上記プロセスの番号順に表示されるが、次の手順の化粧動作画像を表示するタイミングについては後述する変形例で一例を説明する。
【００５５】
化粧動作画像は、図６を用いて説明した化粧完成画像と同様に、画像内のユーザの顔パーツの位置、姿勢の変化に応じて重畳位置が変化する（トラッキング表示）。したがって、例えば図８に示すように、アイブローペンシルを持った手が点線で示された化粧領域に沿って動く化粧動作画像１８７ａは、画像内のユーザの顔パーツの位置、姿勢の変化に応じて、化粧動作画像１８７ｂに変化する。すなわち、化粧動作画像は顔パーツにトラッキングする。よって、ユーザはリアルタイムに様々な角度から化粧手本とする化粧動作画像を確認することができ、より忠実に化粧を行うことができる。
【００５６】
以上、ＡＲ画像の例について説明した。なお、仮想的な化粧画像は２次元情報でもよいし、３次元情報でもよい。
【００５７】
（１−５）変形例
次に、上述した第１の実施形態に係る化粧支援装置１の変形例について図９を参照して説明する。図９は、本変形例に係る化粧支援装置の構成を示すブロック図である。本変形例に係る化粧支援装置は、図９に示すように、カメラ１０、画像認識部１１、ユーザ顔情報分析部１２、推薦化粧パターン判断部１３、化粧技術ＤＢ１４、化粧画像生成部１５、化粧進行度判断部１６、表示制御部１７、表示部１８および操作部１９を有する。画像認識部１１は、顔・パーツ認識部１１０とＳＬＡＭ処理部１１１を有する。
【００５８】
化粧進行度判断部１６は、画像認識部１１から出力された認識結果と、予め生成された化粧完成画像とを比較することにより、ユーザによる現実の化粧進行度を判断する。化粧画像生成部１５は、化粧進行度判断部１６から出力された進行度に応じて、重畳表示する化粧動作画像を変化させる。その他の構成は前述と同様であるため、詳細な説明は省略する。
【００５９】
上記構成により、例えば、ユーザが行っている化粧が完成に近付くほど、化粧動作画像を透明化させることができる。これにより、ユーザは現在行っている化粧がどの程度完成に近付いているか視覚的に確認することができる。また、次の手順の化粧動作画像を表示するタイミングを、ユーザが行った化粧の進行度に応じて決定してもよい。これにより、示した手順による化粧が完成すると自動的に次の手順の化粧動作画像が表示される。
【００６０】
上述した次の手順の化粧動作画像を表示するタイミングは、ユーザの操作をトリガとしてもよい。例えば、次の手順の表示が指示された場合は、強制的に次の手順の化粧動作画像を表示する。また、ユーザの操作により手順をスキップすることも可能である。さらに、ユーザの手が近付いた顔パーツの化粧動作画像を表示してもよい。なお、化粧手順的に手順を変更することが好ましくない場合は、その旨の警告を表示してもよい。
【００６１】
また、図１０に示すように、化粧動作画像を重畳させたＡＲ画像１９０に加えて、化粧完成画像を重畳した画像１９１を表示していてもよい。これにより、ユーザは化粧完成状態も確認しながら化粧を行うことができる。
【００６２】
＜２．第２の実施形態＞
次に、本発明の第２の実施形態による化粧支援システムについて図１１および図１２を参照して説明する。本実施形態により、所望するメークアップアーティストの化粧サービスを受けることができる。
【００６３】
図１１は、本実施形態による化粧支援システムの概要を示す図である。図１１に示すように、本実施形態による化粧支援システムは、化粧支援装置１、サーバ３０および化粧技術取得装置４がネットワーク６を介して接続されて構成される。
【００６４】
化粧技術取得装置４は、カメラ４０、モーションセンサ４１および圧力センサ４２などの各種情報取得部を有する。かかる化粧技術取得装置４により、メークアップアーティストの化粧技術を取得し、サーバ３０が有する化粧技術ＤＢ３０２に格納する。具体的には、メークアップアーティストの腕や手指に各種センサを付けて、化粧道具を化粧品に付ける時の圧力、顔に化粧を施すときの圧力、軌跡などの情報を取得する。また、カメラ４０で化粧手順を撮像する。さらに、化粧品や化粧道具、マネキンに各種センサを付けて、メークアップアーティストの化粧技術情報を取得してもよい。また、使用する化粧品ＩＤや、複数の化粧品を混合して使う場合はその旨も入力する。
【００６５】
サーバ３０は、技術解析部３０１と化粧技術ＤＢ３０２を有する。技術解析部３０１は、化粧技術取得装置４で取得した各種情報から化粧技術を解析し、一般化した顔画像を基準として化粧技術を数値化する。化粧技術ＤＢ３０２は、技術解析部３０１で解析された化粧技術情報を格納する。
【００６６】
次に、本実施形態による化粧支援装置１の構成を図１２に示す。図１２に示すように、本実施形態による化粧支援装置１は、カメラ１０、画像認識部１１、ユーザ顔情報分析部１２、推薦化粧パターン判断部１３、化粧画像生成部１５、表示制御部１７、表示部１８、操作部１９および通信部２０を有する。画像認識部１１は、顔・パーツ認識部１１０とＳＬＡＭ処理部１１１を有する。
【００６７】
通信部２０はサーバ３０と通信接続を確立する。通信部２０による通信は、有線でも無線でもよいが、通常は無線ＬＡＮやＢｌｕｅｔｏｏｔｈ（登録商標）等の無線通信によりサーバ３０との間で情報をやり取りする。これにより、ユーザが所望するメークアップアーティストによる化粧サービスを受けるための通信が可能となる。具体的には、通信部２０は、サーバ３０から化粧技術情報を受信する。その他の構成の説明は上記第１の実施形態による化粧支援装置１の構成と同様であるため省略する。
【００６８】
上述したように、サーバ３０の化粧技術ＤＢ３０２には、各メークアップアーティストから取得した化粧技術情報が格納されている。一方、化粧支援装置１では、図１１に示すように、選択可能なメークアップアーティストのリストを表示部１８に表示し、ユーザに選択されたアーティストの化粧技術情報をサーバ３０から取得する。したがって、化粧支援装置１の推薦化粧パターン判断部は、ユーザが所望するメークアップアーティストの化粧技術情報に基づいた化粧パターンからユーザに適した化粧パターンを判断することができる。
【００６９】
なお、本実施形態では少なくとも化粧技術ＤＢにメークアップアーティストから取得した化粧技術情報が格納されていればよいため、図１１に示す化粧技術取得装置４は必ずしも必須の構成ではない。
【００７０】
＜３．第３の実施形態＞
次に、本発明の第３の実施形態による化粧支援システムについて図１３および図１４を参照して説明する。本実施形態により、ユーザ間で化粧技術情報を交換することができる。
【００７１】
図１３は、本実施形態による化粧支援システムの概要を示す図である。図１３に示すように、本実施形態による化粧支援システムは、各ユーザの化粧支援装置１Ａ〜１Ｄおよびサーバ３１がネットワーク６を介して接続されて構成される。
【００７２】
本実施形態による化粧支援装置１の構成を図１４に示す。図１４に示すように、本実施形態による化粧支援装置１は、カメラ１０、画像認識部１１、ユーザ顔情報分析部１２、推薦化粧パターン判断部１３、化粧画像生成部１５、表示制御部１７、表示部１８、操作部１９および通信部２０を有する。画像認識部１１は、顔・パーツ認識部１１０とＳＬＡＭ処理部１１１を有する。
【００７３】
カメラ１０は、ユーザが自ら化粧を行っている画像を取得し通信部２０に出力する。通信部２０はサーバ３０と通信接続を確立し、カメラ１０から出力された撮像画像をサーバ３０に送信する。さらに通信部２０は、サーバ３０の化粧技術ＤＢ３１２から他ユーザの化粧技術情報を受信する。これにより、他ユーザと化粧技術情報を交換することができる。推薦化粧パターン判断部１３は、通信部２０が取得した他ユーザの化粧技術情報に基づいた化粧パターンからユーザに適した化粧パターンを判断する。その他の構成の説明は上記第１の実施形態による化粧支援装置１の構成と同様であるため省略する。
【００７４】
サーバ３１は、技術解析部３１１と化粧技術ＤＢ３１２を有する。技術解析部３１１は、各化粧支援装置１から送信されたユーザの化粧動作を撮像した撮像画像から化粧技術を解析し、一般化した顔画像を基準として化粧技術を数値化する。技術解析部３１１は、例えばプロの化粧動作画像や基準とする化粧動作画像とユーザの化粧動作画像を比較することにより、その差分を算出して化粧技術を数値化する。化粧技術ＤＢ３１２は、技術解析部３１１で解析された化粧技術情報を格納する。
【００７５】
なお、化粧支援装置１が、モーションセンサ、圧力センサなどの各種センサを備え、ユーザが自ら化粧を行った際に各種センサで取得した情報をサーバ３１に送信してもよい。この場合、技術解析部３１１は、化粧支援装置１から送信された各種情報から化粧技術を解析し、一般化した顔画像を基準として化粧技術を数値化する。
【００７６】
上述したように、サーバ３１の化粧技術ＤＢ３１２には、各ユーザから取得した化粧技術情報が格納されている。一方、化粧支援装置１Ａでは、図１３に示すように、選択可能な他ユーザのリストを表示部１８に表示し、ユーザに選択された他のユーザの化粧技術情報をサーバ３１から取得する。したがって、化粧支援装置１の推薦化粧パターン判断部は、ユーザの友人など他ユーザの化粧技術情報に基づいた化粧パターンからユーザに適した化粧パターンを判断することができる。これにより、友人と化粧技術を切磋琢磨したり、他ユーザの化粧技術を真似したり、プロでなくともアマチュア間で有名になれるなど、化粧支援システムをより活用することができる。
【００７７】
＜４．第４の実施形態＞
次に、本発明の第４の実施形態による化粧支援システムについて図１５および図１６を参照して説明する。本実施形態により、適切な化粧品の情報と化粧品の販売サービスを提供することができる。
【００７８】
図１５は、本実施形態による化粧支援システムの概要を示す図である。図１５に示すように、本実施形態による化粧支援システムは、化粧支援装置１、サーバ３２および各化粧品販売店の売買管理装置５が、ネットワーク６を介して接続されて構成される。
【００７９】
本実施形態による化粧支援装置１の構成を図１６に示す。図１６に示すように、本実施形態による化粧支援装置１は、カメラ１０、画像認識部１１、ユーザ顔情報分析部１２、推薦化粧パターン判断部１３、化粧画像生成部１５、表示制御部１７、表示部１８、操作部１９、通信部２０および化粧品情報提供部２１を有する。画像認識部１１は、顔・パーツ認識部１１０とＳＬＡＭ処理部１１１を有する。
【００８０】
通信部２０はサーバ３２と通信接続を確立し、サーバ３２との間で情報をやり取りする。具体的には、化粧技術情報の受信、化粧ＩＤの送信および化粧品情報の受信をサーバ３２との間で行う。
【００８１】
推薦化粧パターン判断部１３は、通信部２０が受信した化粧技術情報に基づいて推薦化粧パターンを判断する。また、推薦化粧パターン判断部１３は、推薦化粧パターンと判断した化粧パターンの化粧品ＩＤ（図７参照）を、通信部２０を介してサーバ３２に出力する。
【００８２】
化粧品情報提供部２１は、化粧推薦パターン判断部１３から出力された化粧品ＩＤに応じてサーバ３２から送信された化粧品情報をユーザに提供する。例えば、図１５に示すように、表示部１８に化粧品情報として、メーカ、ブランド名、商品名、価格、商品説明などを表示する。これにより、推薦化粧パターンによる化粧をユーザが実施する際に使用すべき適切な化粧品の情報が提供される。さらに、図１５に示すように、表示部１８に化粧品情報と共に購入ボタン１９２を表示することで、ユーザは容易に適切な化粧品の購入手続きを行なうことができる。
【００８３】
なお、本実施形態に係る化粧支援装置１のその他の構成の説明は上記第１の実施形態による化粧支援装置１の構成と同様であるため省略する。
【００８４】
サーバ３２は、化粧技術ＤＢ３２２と化粧品情報ＤＢ３２３を有する。化粧技術ＤＢ３２２は、上記各実施形態における化粧技術ＤＢと同様に化粧技術情報を格納する。化粧情報ＤＢ３２３は、化粧技術ＤＢ３２２に格納される化粧技術情報に含まれる化粧品ＩＤ毎の化粧品情報を格納する。
【００８５】
売買管理装置５は、化粧支援装置１からの化粧品購入要求に応じて商品売買の管理を行う。売買管理装置５は各化粧品販売店が有してもいてもよい。なお、通常のネット販売システム（オンラインショッピング）を利用してもよい。
【００８６】
以上説明したように、本実施形態による化粧支援装置１は、ユーザが推薦化粧パターンを実施するのに必要な化粧品を販売することで化粧支援を行う。
【００８７】
＜５．第５の実施形態＞
次に、本発明の第５の実施形態による化粧支援システムについて説明する。本実施形態による化粧支援装置１は、化粧による肌への影響を考慮して推薦化粧パターンが判断される。
【００８８】
具体的には、５年後、１０年後等に理想とする肌の質感、肌理等を設定し（将来の顔画像予測値）、現在の顔情報から予想される５年後、１０年後等の肌の質感、肌理等（現状のままによる顔画像予測値）を算出し、その差分を埋められる化粧パターンを推薦化粧パターンとして判断する。なお、現在の顔情報の他、年齢、性別、人種、生活パターンなど肌に影響のある情報をユーザ自ら入力してもよい。
【００８９】
これにより、長期的な視野に立ち、肌の経年変化を考慮した化粧パターンを推薦することができる。
【００９０】
＜６．第６の実施形態＞
次に、本発明の第６の実施形態による化粧支援システムについて説明する。本実施形態による化粧支援装置１は、ユーザがタレントの顔写真などユーザの好む顔画像を入力し、かかる顔画像の分析結果と、ユーザの顔情報から、ユーザの顔がなるべくユーザの好む顔に近付く化粧パターンを推薦化粧パターンと判断する。
【００９１】
これにより、ユーザの好む顔に近付く化粧パターンを推薦することができる。
【００９２】
＜７．まとめ＞
以上説明したように、本発明の実施形態による化粧支援装置１は、ＡＲ技術を利用し、化粧完成後の状態のシミュレーションを行うことにより、化粧支援技術を向上させる。また、ＡＲ技術を利用し、化粧途中の手順を表示することで化粧支援技術をさらに向上させる。
【００９３】
以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。
【００９４】
例えば、上記各実施形態では、化粧支援装置１においてすべての処理を実行することとしたが、本発明はかかる例に限定されない。例えば、化粧支援装置１において実行される処理のうち、負荷の高い処理をネットワークで接続されたサーバで実行するようにしてもよい。例えば、カメラ１０で撮像された撮像画像を化粧支援装置１からサーバへ送信して、サーバにより撮像画像のユーザ顔情報分析を行い、推薦化粧パターン判断を行うようにしてもよい。この場合、サーバは、化粧支援装置１から送信された撮像画像から、推薦化粧パターンと判断された化粧パターンの化粧技術情報を化粧支援装置１に送信する。また、サーバで推薦化粧パターンから化粧画像を生成して化粧支援装置１に送信してもよい。また、化粧技術情報を記憶する化粧技術ＤＢ１４をサーバに配置してもよい。
【００９５】
このように、負荷の高い処理をサーバで実行することにより、化粧支援装置１の消費電力を削減することができ、化粧支援装置１で必要となるハードウェア資源を圧縮することができる。また、化粧技術を記憶する化粧技術ＤＢ１４をサーバに配置した場合には、化粧支援装置１の記憶容量を圧縮できるとともに、化粧支援装置間で同一の化粧技術情報を利用したり管理したりすることが容易になる。
【符号の説明】
【００９６】
１ 化粧支援装置
１０ カメラ
１１ 画像認識部
１２ ユーザ顔情報分析部
１３ 推薦化粧パターン判断部
１４ 化粧技術ＤＢ
１５ 化粧画像生成部
１６ 化粧進行度判断部
１７ 表示制御部
１８ 表示部
１９ 操作部
２０ 通信部
２１ 化粧品情報提供部
３０、３１、３２ サーバ
３０１、３１１ 技術解析部
３０２、３１２、３２２ 化粧技術ＤＢ
３２３ 化粧品技術ＤＢ
４ 化粧技術取得装置
４０ カメラ
４１ モーションセンサ
４２ 圧力センサ
５ 売買管理装置
６ ネットワーク
【特許請求の範囲】
【請求項１】
画像を撮像する撮像部と、
前記撮像部から順次画像を取得し、前記取得した画像内の顔パーツを認識する画像認識部と、
前記画像認識部から出力される認識結果に含まれる前記顔パーツの位置に基づいて、前記画像内の顔にトラッキングする仮想的な化粧画像を、前記画像に重畳させて表示する表示制御部と、
を備える、情報処理装置。
【請求項２】
前記表示制御部は、前記仮想的な化粧画像として化粧完成画像を表示する、請求項１記載の情報処理装置。
【請求項３】
前記表示制御部は、前記仮想的な化粧画像として化粧動作画像を表示する、請求項１記載の情報処理装置。
【請求項４】
前記情報処理装置は、
前記仮想的な化粧画像を、化粧技術情報に基づいて生成する画像生成部をさらに備える、請求項１記載の情報処理装置。
【請求項５】
前記情報処理装置は、
前記画像認識部から出力される認識結果に基づいて、顔情報を分析する分析部と、
前記分析部から出力される分析結果に応じて、推薦する化粧パターンを判断する推薦化粧パターン判断部と、
をさらに備え、
前記化粧パターンは、前記化粧技術情報から構成され、
前記画像生成部は、前記推薦化粧パターン判断部により推薦化粧パターンと判断された化粧パターンの化粧技術情報に基づいて前記仮想的な化粧画像を生成する、請求項４記載の情報処理装置。
【請求項６】
前記情報処理装置は、
前記撮像部で撮像された画像と予め生成された化粧完成画像とを比較することにより、化粧の進行度を判断する化粧進行度判断部をさらに備え、
前記表示制御部は、前記化粧進行度判断部による判断結果に応じて変化する化粧動作画像を前記画像に順次重畳表示する、請求項４記載の情報処理装置。
【請求項７】
前記表示制御部により順次表示される化粧動作画像の順序は、ユーザの操作に応じて変更される、請求項６記載の情報処理装置。
【請求項８】
画像を撮像するステップと、
前記撮像するステップにより順次画像を取得し、前記取得した画像内の顔パーツを認識するステップと、
前記認識するステップにより出力される認識結果に含まれる前記顔パーツの位置に基づいて、前記画像内の顔にトラッキングする仮想的な化粧画像を、前記画像に重畳させて表示するステップと、
を含む、情報処理方法。
【請求項９】
画像を撮像する撮像部と、
前記撮像部から順次画像を取得し、前記取得した画像内の顔パーツを認識する画像認識部と、
前記画像認識部から出力される認識結果に含まれる前記顔パーツの位置に基づいて、前記画像内の顔にトラッキングする仮想的な化粧画像を、前記画像に重畳させて表示する表示制御部と、を備える、情報処理装置と；
前記画像認識部から出力される認識結果に基づいて、顔情報を分析する分析部と、
前記分析部から出力される分析結果に応じて、推薦する化粧パターンを判断する推薦化粧パターン判断部と、を備える、サーバと；
を備え、
前記情報処理装置は、前記サーバから取得した推薦化粧パターンの化粧技術情報に基づいて前記仮想的な化粧画像を生成する、情報処理システム。
【請求項１０】
コンピュータを、
画像を撮像する撮像部と、
前記撮像部から順次画像を取得し、前記取得した画像内の顔パーツを認識する画像認識部と、
前記画像認識部から出力される認識結果に含まれる前記顔パーツの位置に基づいて、前記画像内の顔にトラッキングする仮想的な化粧画像を、前記画像に重畳させて表示する表示制御部と、を備える、情報処理装置として機能させるためのプログラム。
【請求項１】
画像を撮像する撮像部と、
前記撮像部から順次画像を取得し、前記取得した画像内の顔パーツを認識する画像認識部と、
前記画像認識部から出力される認識結果に含まれる前記顔パーツの位置に基づいて、前記画像内の顔にトラッキングする仮想的な化粧画像を、前記画像に重畳させて表示する表示制御部と、
を備える、情報処理装置。
【請求項２】
前記表示制御部は、前記仮想的な化粧画像として化粧完成画像を表示する、請求項１記載の情報処理装置。
【請求項３】
前記表示制御部は、前記仮想的な化粧画像として化粧動作画像を表示する、請求項１記載の情報処理装置。
【請求項４】
前記情報処理装置は、
前記仮想的な化粧画像を、化粧技術情報に基づいて生成する画像生成部をさらに備える、請求項１記載の情報処理装置。
【請求項５】
前記情報処理装置は、
前記画像認識部から出力される認識結果に基づいて、顔情報を分析する分析部と、
前記分析部から出力される分析結果に応じて、推薦する化粧パターンを判断する推薦化粧パターン判断部と、
をさらに備え、
前記化粧パターンは、前記化粧技術情報から構成され、
前記画像生成部は、前記推薦化粧パターン判断部により推薦化粧パターンと判断された化粧パターンの化粧技術情報に基づいて前記仮想的な化粧画像を生成する、請求項４記載の情報処理装置。
【請求項６】
前記情報処理装置は、
前記撮像部で撮像された画像と予め生成された化粧完成画像とを比較することにより、化粧の進行度を判断する化粧進行度判断部をさらに備え、
前記表示制御部は、前記化粧進行度判断部による判断結果に応じて変化する化粧動作画像を前記画像に順次重畳表示する、請求項４記載の情報処理装置。
【請求項７】
前記表示制御部により順次表示される化粧動作画像の順序は、ユーザの操作に応じて変更される、請求項６記載の情報処理装置。
【請求項８】
画像を撮像するステップと、
前記撮像するステップにより順次画像を取得し、前記取得した画像内の顔パーツを認識するステップと、
前記認識するステップにより出力される認識結果に含まれる前記顔パーツの位置に基づいて、前記画像内の顔にトラッキングする仮想的な化粧画像を、前記画像に重畳させて表示するステップと、
を含む、情報処理方法。
【請求項９】
画像を撮像する撮像部と、
前記撮像部から順次画像を取得し、前記取得した画像内の顔パーツを認識する画像認識部と、
前記画像認識部から出力される認識結果に含まれる前記顔パーツの位置に基づいて、前記画像内の顔にトラッキングする仮想的な化粧画像を、前記画像に重畳させて表示する表示制御部と、を備える、情報処理装置と；
前記画像認識部から出力される認識結果に基づいて、顔情報を分析する分析部と、
前記分析部から出力される分析結果に応じて、推薦する化粧パターンを判断する推薦化粧パターン判断部と、を備える、サーバと；
を備え、
前記情報処理装置は、前記サーバから取得した推薦化粧パターンの化粧技術情報に基づいて前記仮想的な化粧画像を生成する、情報処理システム。
【請求項１０】
コンピュータを、
画像を撮像する撮像部と、
前記撮像部から順次画像を取得し、前記取得した画像内の顔パーツを認識する画像認識部と、
前記画像認識部から出力される認識結果に含まれる前記顔パーツの位置に基づいて、前記画像内の顔にトラッキングする仮想的な化粧画像を、前記画像に重畳させて表示する表示制御部と、を備える、情報処理装置として機能させるためのプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【公開番号】特開２０１２−１８１６８８（Ｐ２０１２−１８１６８８Ａ）
【公開日】平成２４年９月２０日（２０１２．９．２０）
【国際特許分類】
【出願番号】特願２０１１−４４２７４（Ｐ２０１１−４４２７４）
【出願日】平成２３年３月１日（２０１１．３．１）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
【公開日】平成２４年９月２０日（２０１２．９．２０）
【国際特許分類】
【出願日】平成２３年３月１日（２０１１．３．１）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
[ Back to top ]