化粧支援システム
【課題】顔の奥行きに係る情報に基づいて、被験者の化粧の仕上がり具合などを客観的に判定することが可能な化粧支援システム１００を提供する。
【解決手段】本発明の化粧支援システム１００は、顔画像データを取得する顔画像データ取得部１０２と、該顔画像データ取得部１０２により取得された顔画像データから正面顔画像データを生成する正面顔画像データ生成部１１１と、該正面顔画像データ生成部１１１により得られた正面顔画像データの所定の線上の擬似奥行き情報を算出する擬似奥行き情報算出部１１２と、理想的な擬似奥行き分布情報を記憶する理想擬似奥行き分布情報記憶部１０４と、該擬似奥行き情報算出部１１２により算出された擬似奥行き情報と、該理想擬似奥行き分布情報記憶部１０４に記憶された理想的な擬似奥行き分布情報とを比較する擬似奥行き情報比較部１１３と、該擬似奥行き情報比較部１１３の比較結果に基づいて取得された顔画像データの適否を判定する顔画像データ適否判定部１１４と、からなることを特徴とする。
【解決手段】本発明の化粧支援システム１００は、顔画像データを取得する顔画像データ取得部１０２と、該顔画像データ取得部１０２により取得された顔画像データから正面顔画像データを生成する正面顔画像データ生成部１１１と、該正面顔画像データ生成部１１１により得られた正面顔画像データの所定の線上の擬似奥行き情報を算出する擬似奥行き情報算出部１１２と、理想的な擬似奥行き分布情報を記憶する理想擬似奥行き分布情報記憶部１０４と、該擬似奥行き情報算出部１１２により算出された擬似奥行き情報と、該理想擬似奥行き分布情報記憶部１０４に記憶された理想的な擬似奥行き分布情報とを比較する擬似奥行き情報比較部１１３と、該擬似奥行き情報比較部１１３の比較結果に基づいて取得された顔画像データの適否を判定する顔画像データ適否判定部１１４と、からなることを特徴とする。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、化粧方法のアドバイスおよび化粧品選択のためのアドバイスに利用することが可能な化粧支援システムに関する。
【背景技術】
【０００２】
従来、化粧支援システムとしては、被験者の顔の画像を表示装置に表示させ、コンピュータによる画像処理技術を駆使し、化粧のシミュレーションを行うシステムが知られている。
【０００３】
例えば、特許文献１（特開２０００−１９４８３５号公報）には、被験者の顔の色画像をカメラにより撮影し、この撮影した画像に、被験者が希望するタイプの化粧による顔の変化を表す化粧データを被験者の顔画像に適合するように変形して合成し、被験者の化粧した場合の顔の様子を表示する化粧アドバイスシステムが開示されている。
【０００４】
また、特許文献２（特開２００３−５７０１７号公報）には、複数の撮影装置を用いて被験者の顔の色情報に加えて、3次元形状に係る情報も同時に取得し、それらの情報をもとに、リアリティのある画像を表示するメイクシミュレーション装置が開示されている。
【特許文献１】特開２０００−１９４８３５号公報
【特許文献２】特開２００３−５７０１７号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
特許文献１に記載されている化粧アドバイスシステムでは、カメラにより取得した被験者の顔画像に化粧データを合成するシステムであり、被験者の顔の奥行き情報についてまでは考慮されるものではない。被験者の顔の奥行きに係る情報は、審美的な観点から非常に重要な情報であるにもかかわらず、特許文献１に記載のシステムでは、単一のカメラで撮影するので原理的にこのような情報を取り扱うことはできない。これに対して、特許文献２に記載のメイクシミュレーション装置は、複数の撮影装置を用いるものなので、被験者の顔の奥行きに係る３次元情報を扱い得るものである。
【０００６】
しかしながら、特許文献２に記載されているメイクシミュレーション装置は、複数の撮影装置を使用し、３次元物体の色および形状の情報を抽出することは提案しているが、被測定三次元物体の色情報、形状情報および形状の変位量を必要とするため、必ずしも簡易なシステムとはいえず、システムのコストおよび設置スペースを小さくすることは難しい。
【０００７】
化粧支援システムは、デパートの化粧品売り場などの比較的狭小なスペースに設置することが多く、また、全国規模に販売活動を展開することを考えると多数設置する必要があり、システムが小型で簡単であり、また、低コストであることが重要である。また、デパートの化粧品売り場などで化粧シミュレーションを実施する場合には、顧客との対話の中で実施する必要があり、顔画像処理がリアルタイムに行われることが重要である。
【０００８】
また、特許文献１及び特許文献２のいずれに記載のものも、被験者の化粧の仕上がり具合を客観的に判定するものではない。すなわち、特許文献１及び特許文献２のいずれに記載のシステムも被験者の顔データに化粧データを合成するようなシステムであり、言わば、塗り絵の域を出ないものであり、被験者が客観的にみて適正な化粧を施しているのか、といったことを判定することはできない。
【課題を解決するための手段】
【０００９】
上記のような種々の課題を解決するために、本発明の請求項１に係る発明は、顔画像データを取得する顔画像データ取得手段と、該顔画像データ取得手段により取得された顔画像データから正面顔画像データを生成する正面顔画像データ生成手段と、該正面顔画像データ生成手段により得られた正面顔画像データの所定の線上の擬似奥行き情報を算出する擬似奥行き情報算出手段と、理想的な擬似奥行き分布情報を記憶する理想擬似奥行き分布情報記憶手段と、該擬似奥行き情報算出手段により算出された擬似奥行き情報と、該理想擬似奥行き分布情報記憶手段に記憶された理想的な擬似奥行き分布情報とを比較する擬似奥行き情報比較手段と、該擬似奥行き情報比較手段の比較結果に基づいて取得された顔画像データの適否を判定する顔画像データ適否判定手段と、からなることを特徴とする化粧支援システムである。
【００１０】
また、請求項２に係る発明は、請求項１に記載の化粧支援システムにおいて、該顔画像データ取得手段は、カメラ又はスキャナ又は記憶媒体読み取り装置のいずれかであることを特徴とする。
【００１１】
また、請求項３に係る発明は、請求項１又は請求項２に記載の化粧支援システムにおいて、該正面顔画像データ生成手段は顔画像データの両目の位置及び鼻孔の位置を基準に顔画像データから正面顔画像データを生成することを特徴とする。
【００１２】
また、請求項４に係る発明は、請求項１乃至請求項３のいずれかに記載の化粧支援システムにおいて、該擬似奥行き情報算出手段は濃淡（陰影）からの形状復元法によって擬似奥行き情報を算出することを特徴とする。
【００１３】
また、請求項５に係る発明は、請求項１乃至請求項４のいずれかに記載の化粧支援システムにおいて、正面顔画像データの所定の線とは両頬と鼻を通る線であることを特徴とする。
【発明の効果】
【００１４】
本発明の化粧支援システムによれば、審美的な観点から非常に重要な情報である顔の奥行きに係る情報を、コストや設置スペースが不要な簡易なシステム構成で取り扱うことができる。また、顔の奥行きに係る情報に基づいて、被験者の化粧の仕上がり具合などを客観的に判定することが可能となる。
【発明を実施するための最良の形態】
【００１５】
以下、本発明の実施の形態を図面を参照しつつ説明する。図１は本発明の実施の形態に係る化粧支援システムのシステム構成を示す図である。図１において、１００は化粧支援システム、１０１は主演算部、１０２は顔画像データ取得部、１０３は判定結果出力部、１０４は理想擬似奥行き分布情報記憶部、１１１は正面顔画像データ生成部、１１２は擬似奥行き情報算出部、１１３は擬似奥行き情報比較部、１１４は顔画像データ適否判定部をそれぞれ示している。
【００１６】
化粧支援システム１００は、概略、主要な演算を行う主演算部１０１、化粧支援システム１００に顔画像データを入力する顔画像データ取得部１０２、化粧支援システム１００による判定の結果等をユーザーに対して出力する判定結果出力部１０３、判定の判断基準となるデータベースである理想擬似奥行き分布情報記憶部１０４とから構成されている。
【００１７】
主演算部１０１の情報処理機構は、例えば汎用的なコンピュータシステムにより構成され、個々の構成要素または機能は、例えば、不図示の記憶手段に書き込まれたコンピュータプログラムを実行することにより実現される。
【００１８】
顔画像データ取得部１０２は、化粧支援システム１００に、例えば化粧を施した後の顔画像データを入力するための構成であり、顔画像データをシステム側に入力できるような構成であればどのようなものを用いても構わないが、一般的には、デジタルカメラや、スキャナや、記憶媒体読み取り装置を挙げることができる。ここで、記憶媒体読み取り装置とは、フレキシブルディスクやＣＤ−ＲＯＭ、ＤＶＤ―ＲＯＭ、フラッシュメモリーなどの記憶媒体に記憶される内容を読み取る装置である。
【００１９】
判定結果出力部１０３は、化粧支援システム１００の出力ユーザーインターフェイスであり、具体的には、モニタ、液晶表示パネルやプリンタなどである。判定結果出力部１０３は、顔画像データ適否判定部１１４による判定結果を主として出力する。なお、図示しないが化粧支援システム１００の設定などを行うために入力ユーザーインターフェイス部を設けておくこともできる。
【００２０】
理想擬似奥行き分布情報記憶部１０４には、理想的な擬似奥行き分布とされる複数の化粧後の顔画像データによって構築されたデータが記憶されており、擬似奥行き情報比較部１１３は、入力された顔画像データに基づいて算出された擬似奥行き情報（データ）と、理想擬似奥行き分布情報記憶部１０４に記憶されている理想擬似奥行き分布データとを比較する。
【００２１】
顔画像データ取得部１０２で入力された顔画像データは、必ずしも後述の擬似奥行き情報を算出するために最適な画像であるとは限らない。そこで、正面顔画像データ生成部１１１では、顔画像データ取得部１０２で取得された顔画像データを、正面顔画像データへと変換する（正規化する）。なお、このときの画像変換手法としては、アフィン変換を用いる。
【００２２】
擬似奥行き情報算出部１１２は、二次元画像データである正面顔画像データの一部から奥行き情報を算出する算出部である。ここで、このような奥行き情報は、実際の奥行き情報ではなく、画像解析技術によって推測される奥行き情報であるので、擬似奥行き情報算出部１１２による算出で得られる情報は、本明細書においては「擬似奥行き情報」として表現する。なお、二次元画像データから、三次元形状を再構築する手法としては、ｓｈａｐｅ ｆｒｏｍ Ｘ（Ｘとしては、ｓｈａｄｉｎｇ、ｓｔｅｒｅｏ、ｓｉｌｈｏｕｅｔｔｅ、ｍｏｔｉｏｎ、ｔｅｘｔｕｒｅ）などがあり、種々の研究がなされているが、本発明の擬似奥行き情報算出部１１２で用いる手法は、「濃淡（陰影）からの形状復元法」（ｓｈａｐｅ ｆｒｏｍ ｓｈａｄｉｎｇ法）である。以上のようにして擬似奥行き情報算出部１１２では、顔画像データ取得部１０２で取得された顔画像データの擬似奥行きデータを算出するわけである。
【００２３】
擬似奥行き情報比較部１１３は、擬似奥行き情報算出部１１２で算出された擬似奥行きデータと、理想擬似奥行き分布情報記憶部１０４に記憶されている理想擬似奥行き分布データとを比較して、その差分データを出力する。
【００２４】
顔画像データ適否判定部１１４は、当該差分データに応じて、顔画像データ取得部１０２で取得された顔画像データが擬似奥行き的な観点から、適当なものか、不適当なものかを判定する。
【００２５】
ここで、本発明が、以上のように顔画像データの擬似奥行きデータから、化粧具合の適不適を判定する理由を説明する。顔に化粧を施すということは、化粧によって見かけ上の顔の立体感を変化させる、ということが言える。すなわち、化粧とは陰影を変化させ、人間が知覚する奥行感（立体感）を変化させる技術である、という言い方ができる。実際、プロのメイクアップアーティストは、化粧によって明度の濃淡を変化させることで、見た目の奥行き情報を変化させている。
【００２６】
本発明は、以上のような化粧による効果から、化粧具合の適不適を判定する。すなわち、本発明の化粧支援システムでは、システムに入力された顔画像データの擬似奥行きデータを求め、この擬似奥行きデータが理想擬似奥行き分布データとどの程度の差があるのかを判定するものである。
【００２７】
次に、図２乃至図６を参照しつつ本発明の化粧支援システムのより具体的な処理について説明する。図２は本発明の実施の形態に係る化粧支援システムにおける処理のフローを示す図である。また、図３は顔画像データ取得部１０２が取得した顔画像データを示す図であり、図４は正面顔画像データ生成部１１１がアフィン変換を行う際に用いる顔の特徴点を示す図であり、図５は正面顔画像データ生成部１１１が生成する正面顔画像データを示す図であり、図６は擬似奥行き情報算出部１１２が算出する擬似奥行きデータを陰影により示す図である。
【００２８】
ステップＳ１０１では、顔画像データ取得部１０２により化粧支援システム１００は被験者の顔画像データを取得する。ここでは顔画像データ取得部１０２がステップＳ１０１で取得する顔画像データは例えば図３に示すようなものであるとする。
【００２９】
ステップＳ１０２では、正面顔画像データ生成部１１１が、顔画像データ取得部１０２で得られた顔画像データからアフィン変換を用いて正面顔画像データを生成する。ここで、アフィン変換を行う場合には、顔画像データにおける目の２点と、鼻孔の中点の計３点を顔の特徴点として、これを基準にアフィン変換を行う。顔画像データにおける目の２点と、鼻孔の中点の計３点を特徴点としている様子は例えば図４に示される。
【００３０】
なお、このような顔画像データの特徴点を抽出する際には、これを人手で行ってもよいし、システムが自動的に行うようにしてもよい。人手で行うようにする場合には、化粧支援システム１００に適当な入力インターフェイスを設けるようにする。また、顔画像データの自動的に顔画像データにおける目の２点と、鼻孔の中点の計３点を捕捉するためには、従来周知の画像解析技術を用いることができる。ステップＳ１０２において、生成される正面画像データは図５に示すようなものとなる。
【００３１】
正面顔画像データ生成部１１１におけるアフィン変換に係る技術は周知のものを利用することができる。このような周知技術としては、例えば、特開２００３−２６３６３９号公報、特開２０００−１６３５９２号公報、特開２０００−２６８１７２号公報などがある。
【００３２】
ステップＳ１０３では、擬似奥行き情報算出部１１２が、正面顔画像データ生成部１１１が生成した正面画像データに基づいて、濃淡（陰影）からの形状復元法（ｓｈａｐｅ ｆｒｏｍ ｓｈａｄｉｎｇ法）を用いて正面画像データの擬似奥行きデータを算出する。なお、擬似奥行き情報算出部１１２が算出することができるのは、顔全体の擬似奥行きであり、このような擬似奥行き情報算出部１１２の算出した擬似奥行きデータを濃淡により図面に表現したものが図６である。一方、本発明においては、このような擬似奥行き情報算出部１１２が算出した顔全体の擬似奥行きデータを用いることはせず、両頬と鼻を通るＡ−Ａ’により示される線に着目する。すなわち、本発明においては、化粧の適否の判定の基準として用いる線は、両頬と鼻を通るＡ−Ａ’線とし、このＡ−Ａ’線上の擬似奥行きデータが理想擬似奥行き分布データの範囲にどの程度収まっているかで、化粧の適不適を判定する。
【００３３】
ここで、濃淡（陰影）からの形状復元法（ｓｈａｐｅ ｆｒｏｍ ｓｈａｄｉｎｇ法）については、“Ｎｕｍｅｒｉｃａｌ ｓｈａｐｅ ｆｒｏｍ ｓｈａｄｉｎｇ ａｎｄ ｏｃｃｌｕｄ
ｉｎｇ ｂｏｕｎｄａｒｉｅｓ”， Ｋ．Ｉｋｅｕｃｈｉ ａｎｄ Ｂ．Ｋ．Ｐ．Ｈｏｒｎ，
Ａｒｔｉｆｉｃｉａｌ Ｉｎｔｅｌｌｉｇｅｎｃｅ，ｖｏｌ．１７，ｐｐ．１４１−１８４，１９８１；“ヒトの濃淡画像からの３次元形状推定に関する一つのモデル”、マナス サンワラジ他、信学論（Ｄ−ＩＩ），Ｊ−７３−Ｄ−ＩＩ，ｐｐ．１７８９−１７９１，１９９０などに記載されたものを用いることができる。
【００３４】
ステップＳ１０４では、擬似奥行き情報比較部１１３が擬似奥行き情報算出部１１２で算出された擬似奥行きデータと、理想擬似奥行き分布情報記憶部１０４に記憶されている理想擬似奥行き分布データとを比較して、その差分データを出力する。
【００３５】
このような差分データとしては種々の形態が考えられるが、一例としては、Ａ−Ａ’線上の擬似奥行きデータが理想擬似奥行き分布データの範囲内にある長さ、及び、Ａ−Ａ’線上の擬似奥行きデータが理想擬似奥行き分布データの範囲外にある長さのセットが挙げられる。
【００３６】
ステップＳ１０５では、顔画像データ適否判定部１１４が上記のような差分データに基づいて、顔画像データにおける化粧の仕上がり具合が適当なものか、不適当なものであるのかを判定する。顔画像データ適否判定部１１４における判定基準としては種々考えられるが、例えば、Ａ−Ａ’線上の擬似奥行きデータが理想擬似奥行き分布データの範囲内にある長さと、Ａ−Ａ’線上の擬似奥行きデータが理想擬似奥行き分布データの範囲外にある長さとの割合に応じて、化粧の仕上がり具合の適否を判定することなどが考えられる。なお、このような判定基準は、化粧支援システム１００に適当な入力インターフェイスを設けておき、適宜調整変更することができるようにしておいてもよい。
【００３７】
ステップＳ１０６では、顔画像データ適否判定部１１４における判定の結果を判定結果出力部１０３の表示パネルなどに出力する。以上が本発明の化粧支援システム１００が実行する、顔画像データを取得してから、化粧の仕上がり具合の適否を判定するまでの一連の流れである。
【００３８】
次に、本発明の実施の形態に係る化粧支援システム１００が利用する擬似奥行きデータに基づいて化粧の仕上がり具合を判定することに対する検証について説明する。図７は本発明の実施の形態に係る化粧支援システム１００の検証結果について説明する図である。
【００３９】
図７において、縦軸は擬似奥行き（単位は長さ）を示しており、また横軸は顔画像データのＡ−Ａ’線（単位はピクセル）を示している。２本の実線に挟まれた領域が、理想擬似奥行き分布データの範囲である。この理想擬似奥行き分布データの範囲は、プロのメイクアップアーティストによってなされた化粧後の顔画像データの擬似奥行きデータが９５％の信頼度でその範囲に存在する、という条件によって求められている。図７において、一点鎖線で示されている擬似奥行きデータは、ある被験者の化粧前の擬似奥行きデータである。これに対して、点線で示されている擬似奥行きデータは、同一人物の化粧後の擬似奥行きデータである。図７からもわかるように、化粧後の擬似奥行きデータの方が化粧前の擬似奥行きデータに比べて、理想擬似奥行き分布データの範囲内にある領域がより多くなっている。このように、本発明の実施の形態に係る化粧支援システム１００が利用する擬似奥行きデータに基づいて、化粧の仕上がり具合の適否を判定することが有効であることが理解できる。
【００４０】
以上、本発明の化粧支援システムによれば、審美的な観点から非常に重要な情報である顔の奥行きに係る情報を、複数台の撮像装置や複雑な計測系を用いることなく、簡便に算出することができる。すなわち、本発明によれば、コストや設置スペースが不要な簡易なシステム構成で化粧支援システムを構築することができる。
【００４１】
また、本発明の化粧支援システムによれば、顔の奥行きに係る情報に基づいて、被験者の化粧の仕上がり具合などを客観的に判定することが可能となり、従来の画像合成システムに留まっていた化粧支援システムに比べて、大幅な改善を図ることができる。
【図面の簡単な説明】
【００４２】
【図１】本発明の実施の形態に係る化粧支援システムのシステム構成を示す図である。
【図２】本発明の実施の形態に係る化粧支援システムにおける処理の流れを示す図である。
【図３】顔画像データ取得部１０２が取得した顔画像データを示す図である。
【図４】正面顔画像データ生成部１１１がアフィン変換を行う際に用いる顔の特徴点を示す図である。
【図５】正面顔画像データ生成部１１１が生成する正面顔画像データを示す図である。
【図６】擬似奥行き情報算出部１１２が算出する擬似奥行きデータを陰影に表現した示す図である。
【図７】本発明の実施の形態に係る化粧支援システム１００の検証結果について説明する図である。
【符号の説明】
【００４３】
１００・・・化粧支援システム、１０１・・・主演算部、１０２・・・顔画像データ取得部、１０３・・・判定結果出力部、１０４・・・理想擬似奥行き分布情報記憶部、１１１・・・正面顔画像データ生成部、１１２・・・擬似奥行き情報算出部、１１３・・・擬似奥行き情報比較部、１１４・・・顔画像データ適否判定部
【技術分野】
【０００１】
本発明は、化粧方法のアドバイスおよび化粧品選択のためのアドバイスに利用することが可能な化粧支援システムに関する。
【背景技術】
【０００２】
従来、化粧支援システムとしては、被験者の顔の画像を表示装置に表示させ、コンピュータによる画像処理技術を駆使し、化粧のシミュレーションを行うシステムが知られている。
【０００３】
例えば、特許文献１（特開２０００−１９４８３５号公報）には、被験者の顔の色画像をカメラにより撮影し、この撮影した画像に、被験者が希望するタイプの化粧による顔の変化を表す化粧データを被験者の顔画像に適合するように変形して合成し、被験者の化粧した場合の顔の様子を表示する化粧アドバイスシステムが開示されている。
【０００４】
また、特許文献２（特開２００３−５７０１７号公報）には、複数の撮影装置を用いて被験者の顔の色情報に加えて、3次元形状に係る情報も同時に取得し、それらの情報をもとに、リアリティのある画像を表示するメイクシミュレーション装置が開示されている。
【特許文献１】特開２０００−１９４８３５号公報
【特許文献２】特開２００３−５７０１７号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
特許文献１に記載されている化粧アドバイスシステムでは、カメラにより取得した被験者の顔画像に化粧データを合成するシステムであり、被験者の顔の奥行き情報についてまでは考慮されるものではない。被験者の顔の奥行きに係る情報は、審美的な観点から非常に重要な情報であるにもかかわらず、特許文献１に記載のシステムでは、単一のカメラで撮影するので原理的にこのような情報を取り扱うことはできない。これに対して、特許文献２に記載のメイクシミュレーション装置は、複数の撮影装置を用いるものなので、被験者の顔の奥行きに係る３次元情報を扱い得るものである。
【０００６】
しかしながら、特許文献２に記載されているメイクシミュレーション装置は、複数の撮影装置を使用し、３次元物体の色および形状の情報を抽出することは提案しているが、被測定三次元物体の色情報、形状情報および形状の変位量を必要とするため、必ずしも簡易なシステムとはいえず、システムのコストおよび設置スペースを小さくすることは難しい。
【０００７】
化粧支援システムは、デパートの化粧品売り場などの比較的狭小なスペースに設置することが多く、また、全国規模に販売活動を展開することを考えると多数設置する必要があり、システムが小型で簡単であり、また、低コストであることが重要である。また、デパートの化粧品売り場などで化粧シミュレーションを実施する場合には、顧客との対話の中で実施する必要があり、顔画像処理がリアルタイムに行われることが重要である。
【０００８】
また、特許文献１及び特許文献２のいずれに記載のものも、被験者の化粧の仕上がり具合を客観的に判定するものではない。すなわち、特許文献１及び特許文献２のいずれに記載のシステムも被験者の顔データに化粧データを合成するようなシステムであり、言わば、塗り絵の域を出ないものであり、被験者が客観的にみて適正な化粧を施しているのか、といったことを判定することはできない。
【課題を解決するための手段】
【０００９】
上記のような種々の課題を解決するために、本発明の請求項１に係る発明は、顔画像データを取得する顔画像データ取得手段と、該顔画像データ取得手段により取得された顔画像データから正面顔画像データを生成する正面顔画像データ生成手段と、該正面顔画像データ生成手段により得られた正面顔画像データの所定の線上の擬似奥行き情報を算出する擬似奥行き情報算出手段と、理想的な擬似奥行き分布情報を記憶する理想擬似奥行き分布情報記憶手段と、該擬似奥行き情報算出手段により算出された擬似奥行き情報と、該理想擬似奥行き分布情報記憶手段に記憶された理想的な擬似奥行き分布情報とを比較する擬似奥行き情報比較手段と、該擬似奥行き情報比較手段の比較結果に基づいて取得された顔画像データの適否を判定する顔画像データ適否判定手段と、からなることを特徴とする化粧支援システムである。
【００１０】
また、請求項２に係る発明は、請求項１に記載の化粧支援システムにおいて、該顔画像データ取得手段は、カメラ又はスキャナ又は記憶媒体読み取り装置のいずれかであることを特徴とする。
【００１１】
また、請求項３に係る発明は、請求項１又は請求項２に記載の化粧支援システムにおいて、該正面顔画像データ生成手段は顔画像データの両目の位置及び鼻孔の位置を基準に顔画像データから正面顔画像データを生成することを特徴とする。
【００１２】
また、請求項４に係る発明は、請求項１乃至請求項３のいずれかに記載の化粧支援システムにおいて、該擬似奥行き情報算出手段は濃淡（陰影）からの形状復元法によって擬似奥行き情報を算出することを特徴とする。
【００１３】
また、請求項５に係る発明は、請求項１乃至請求項４のいずれかに記載の化粧支援システムにおいて、正面顔画像データの所定の線とは両頬と鼻を通る線であることを特徴とする。
【発明の効果】
【００１４】
本発明の化粧支援システムによれば、審美的な観点から非常に重要な情報である顔の奥行きに係る情報を、コストや設置スペースが不要な簡易なシステム構成で取り扱うことができる。また、顔の奥行きに係る情報に基づいて、被験者の化粧の仕上がり具合などを客観的に判定することが可能となる。
【発明を実施するための最良の形態】
【００１５】
以下、本発明の実施の形態を図面を参照しつつ説明する。図１は本発明の実施の形態に係る化粧支援システムのシステム構成を示す図である。図１において、１００は化粧支援システム、１０１は主演算部、１０２は顔画像データ取得部、１０３は判定結果出力部、１０４は理想擬似奥行き分布情報記憶部、１１１は正面顔画像データ生成部、１１２は擬似奥行き情報算出部、１１３は擬似奥行き情報比較部、１１４は顔画像データ適否判定部をそれぞれ示している。
【００１６】
化粧支援システム１００は、概略、主要な演算を行う主演算部１０１、化粧支援システム１００に顔画像データを入力する顔画像データ取得部１０２、化粧支援システム１００による判定の結果等をユーザーに対して出力する判定結果出力部１０３、判定の判断基準となるデータベースである理想擬似奥行き分布情報記憶部１０４とから構成されている。
【００１７】
主演算部１０１の情報処理機構は、例えば汎用的なコンピュータシステムにより構成され、個々の構成要素または機能は、例えば、不図示の記憶手段に書き込まれたコンピュータプログラムを実行することにより実現される。
【００１８】
顔画像データ取得部１０２は、化粧支援システム１００に、例えば化粧を施した後の顔画像データを入力するための構成であり、顔画像データをシステム側に入力できるような構成であればどのようなものを用いても構わないが、一般的には、デジタルカメラや、スキャナや、記憶媒体読み取り装置を挙げることができる。ここで、記憶媒体読み取り装置とは、フレキシブルディスクやＣＤ−ＲＯＭ、ＤＶＤ―ＲＯＭ、フラッシュメモリーなどの記憶媒体に記憶される内容を読み取る装置である。
【００１９】
判定結果出力部１０３は、化粧支援システム１００の出力ユーザーインターフェイスであり、具体的には、モニタ、液晶表示パネルやプリンタなどである。判定結果出力部１０３は、顔画像データ適否判定部１１４による判定結果を主として出力する。なお、図示しないが化粧支援システム１００の設定などを行うために入力ユーザーインターフェイス部を設けておくこともできる。
【００２０】
理想擬似奥行き分布情報記憶部１０４には、理想的な擬似奥行き分布とされる複数の化粧後の顔画像データによって構築されたデータが記憶されており、擬似奥行き情報比較部１１３は、入力された顔画像データに基づいて算出された擬似奥行き情報（データ）と、理想擬似奥行き分布情報記憶部１０４に記憶されている理想擬似奥行き分布データとを比較する。
【００２１】
顔画像データ取得部１０２で入力された顔画像データは、必ずしも後述の擬似奥行き情報を算出するために最適な画像であるとは限らない。そこで、正面顔画像データ生成部１１１では、顔画像データ取得部１０２で取得された顔画像データを、正面顔画像データへと変換する（正規化する）。なお、このときの画像変換手法としては、アフィン変換を用いる。
【００２２】
擬似奥行き情報算出部１１２は、二次元画像データである正面顔画像データの一部から奥行き情報を算出する算出部である。ここで、このような奥行き情報は、実際の奥行き情報ではなく、画像解析技術によって推測される奥行き情報であるので、擬似奥行き情報算出部１１２による算出で得られる情報は、本明細書においては「擬似奥行き情報」として表現する。なお、二次元画像データから、三次元形状を再構築する手法としては、ｓｈａｐｅ ｆｒｏｍ Ｘ（Ｘとしては、ｓｈａｄｉｎｇ、ｓｔｅｒｅｏ、ｓｉｌｈｏｕｅｔｔｅ、ｍｏｔｉｏｎ、ｔｅｘｔｕｒｅ）などがあり、種々の研究がなされているが、本発明の擬似奥行き情報算出部１１２で用いる手法は、「濃淡（陰影）からの形状復元法」（ｓｈａｐｅ ｆｒｏｍ ｓｈａｄｉｎｇ法）である。以上のようにして擬似奥行き情報算出部１１２では、顔画像データ取得部１０２で取得された顔画像データの擬似奥行きデータを算出するわけである。
【００２３】
擬似奥行き情報比較部１１３は、擬似奥行き情報算出部１１２で算出された擬似奥行きデータと、理想擬似奥行き分布情報記憶部１０４に記憶されている理想擬似奥行き分布データとを比較して、その差分データを出力する。
【００２４】
顔画像データ適否判定部１１４は、当該差分データに応じて、顔画像データ取得部１０２で取得された顔画像データが擬似奥行き的な観点から、適当なものか、不適当なものかを判定する。
【００２５】
ここで、本発明が、以上のように顔画像データの擬似奥行きデータから、化粧具合の適不適を判定する理由を説明する。顔に化粧を施すということは、化粧によって見かけ上の顔の立体感を変化させる、ということが言える。すなわち、化粧とは陰影を変化させ、人間が知覚する奥行感（立体感）を変化させる技術である、という言い方ができる。実際、プロのメイクアップアーティストは、化粧によって明度の濃淡を変化させることで、見た目の奥行き情報を変化させている。
【００２６】
本発明は、以上のような化粧による効果から、化粧具合の適不適を判定する。すなわち、本発明の化粧支援システムでは、システムに入力された顔画像データの擬似奥行きデータを求め、この擬似奥行きデータが理想擬似奥行き分布データとどの程度の差があるのかを判定するものである。
【００２７】
次に、図２乃至図６を参照しつつ本発明の化粧支援システムのより具体的な処理について説明する。図２は本発明の実施の形態に係る化粧支援システムにおける処理のフローを示す図である。また、図３は顔画像データ取得部１０２が取得した顔画像データを示す図であり、図４は正面顔画像データ生成部１１１がアフィン変換を行う際に用いる顔の特徴点を示す図であり、図５は正面顔画像データ生成部１１１が生成する正面顔画像データを示す図であり、図６は擬似奥行き情報算出部１１２が算出する擬似奥行きデータを陰影により示す図である。
【００２８】
ステップＳ１０１では、顔画像データ取得部１０２により化粧支援システム１００は被験者の顔画像データを取得する。ここでは顔画像データ取得部１０２がステップＳ１０１で取得する顔画像データは例えば図３に示すようなものであるとする。
【００２９】
ステップＳ１０２では、正面顔画像データ生成部１１１が、顔画像データ取得部１０２で得られた顔画像データからアフィン変換を用いて正面顔画像データを生成する。ここで、アフィン変換を行う場合には、顔画像データにおける目の２点と、鼻孔の中点の計３点を顔の特徴点として、これを基準にアフィン変換を行う。顔画像データにおける目の２点と、鼻孔の中点の計３点を特徴点としている様子は例えば図４に示される。
【００３０】
なお、このような顔画像データの特徴点を抽出する際には、これを人手で行ってもよいし、システムが自動的に行うようにしてもよい。人手で行うようにする場合には、化粧支援システム１００に適当な入力インターフェイスを設けるようにする。また、顔画像データの自動的に顔画像データにおける目の２点と、鼻孔の中点の計３点を捕捉するためには、従来周知の画像解析技術を用いることができる。ステップＳ１０２において、生成される正面画像データは図５に示すようなものとなる。
【００３１】
正面顔画像データ生成部１１１におけるアフィン変換に係る技術は周知のものを利用することができる。このような周知技術としては、例えば、特開２００３−２６３６３９号公報、特開２０００−１６３５９２号公報、特開２０００−２６８１７２号公報などがある。
【００３２】
ステップＳ１０３では、擬似奥行き情報算出部１１２が、正面顔画像データ生成部１１１が生成した正面画像データに基づいて、濃淡（陰影）からの形状復元法（ｓｈａｐｅ ｆｒｏｍ ｓｈａｄｉｎｇ法）を用いて正面画像データの擬似奥行きデータを算出する。なお、擬似奥行き情報算出部１１２が算出することができるのは、顔全体の擬似奥行きであり、このような擬似奥行き情報算出部１１２の算出した擬似奥行きデータを濃淡により図面に表現したものが図６である。一方、本発明においては、このような擬似奥行き情報算出部１１２が算出した顔全体の擬似奥行きデータを用いることはせず、両頬と鼻を通るＡ−Ａ’により示される線に着目する。すなわち、本発明においては、化粧の適否の判定の基準として用いる線は、両頬と鼻を通るＡ−Ａ’線とし、このＡ−Ａ’線上の擬似奥行きデータが理想擬似奥行き分布データの範囲にどの程度収まっているかで、化粧の適不適を判定する。
【００３３】
ここで、濃淡（陰影）からの形状復元法（ｓｈａｐｅ ｆｒｏｍ ｓｈａｄｉｎｇ法）については、“Ｎｕｍｅｒｉｃａｌ ｓｈａｐｅ ｆｒｏｍ ｓｈａｄｉｎｇ ａｎｄ ｏｃｃｌｕｄ
ｉｎｇ ｂｏｕｎｄａｒｉｅｓ”， Ｋ．Ｉｋｅｕｃｈｉ ａｎｄ Ｂ．Ｋ．Ｐ．Ｈｏｒｎ，
Ａｒｔｉｆｉｃｉａｌ Ｉｎｔｅｌｌｉｇｅｎｃｅ，ｖｏｌ．１７，ｐｐ．１４１−１８４，１９８１；“ヒトの濃淡画像からの３次元形状推定に関する一つのモデル”、マナス サンワラジ他、信学論（Ｄ−ＩＩ），Ｊ−７３−Ｄ−ＩＩ，ｐｐ．１７８９−１７９１，１９９０などに記載されたものを用いることができる。
【００３４】
ステップＳ１０４では、擬似奥行き情報比較部１１３が擬似奥行き情報算出部１１２で算出された擬似奥行きデータと、理想擬似奥行き分布情報記憶部１０４に記憶されている理想擬似奥行き分布データとを比較して、その差分データを出力する。
【００３５】
このような差分データとしては種々の形態が考えられるが、一例としては、Ａ−Ａ’線上の擬似奥行きデータが理想擬似奥行き分布データの範囲内にある長さ、及び、Ａ−Ａ’線上の擬似奥行きデータが理想擬似奥行き分布データの範囲外にある長さのセットが挙げられる。
【００３６】
ステップＳ１０５では、顔画像データ適否判定部１１４が上記のような差分データに基づいて、顔画像データにおける化粧の仕上がり具合が適当なものか、不適当なものであるのかを判定する。顔画像データ適否判定部１１４における判定基準としては種々考えられるが、例えば、Ａ−Ａ’線上の擬似奥行きデータが理想擬似奥行き分布データの範囲内にある長さと、Ａ−Ａ’線上の擬似奥行きデータが理想擬似奥行き分布データの範囲外にある長さとの割合に応じて、化粧の仕上がり具合の適否を判定することなどが考えられる。なお、このような判定基準は、化粧支援システム１００に適当な入力インターフェイスを設けておき、適宜調整変更することができるようにしておいてもよい。
【００３７】
ステップＳ１０６では、顔画像データ適否判定部１１４における判定の結果を判定結果出力部１０３の表示パネルなどに出力する。以上が本発明の化粧支援システム１００が実行する、顔画像データを取得してから、化粧の仕上がり具合の適否を判定するまでの一連の流れである。
【００３８】
次に、本発明の実施の形態に係る化粧支援システム１００が利用する擬似奥行きデータに基づいて化粧の仕上がり具合を判定することに対する検証について説明する。図７は本発明の実施の形態に係る化粧支援システム１００の検証結果について説明する図である。
【００３９】
図７において、縦軸は擬似奥行き（単位は長さ）を示しており、また横軸は顔画像データのＡ−Ａ’線（単位はピクセル）を示している。２本の実線に挟まれた領域が、理想擬似奥行き分布データの範囲である。この理想擬似奥行き分布データの範囲は、プロのメイクアップアーティストによってなされた化粧後の顔画像データの擬似奥行きデータが９５％の信頼度でその範囲に存在する、という条件によって求められている。図７において、一点鎖線で示されている擬似奥行きデータは、ある被験者の化粧前の擬似奥行きデータである。これに対して、点線で示されている擬似奥行きデータは、同一人物の化粧後の擬似奥行きデータである。図７からもわかるように、化粧後の擬似奥行きデータの方が化粧前の擬似奥行きデータに比べて、理想擬似奥行き分布データの範囲内にある領域がより多くなっている。このように、本発明の実施の形態に係る化粧支援システム１００が利用する擬似奥行きデータに基づいて、化粧の仕上がり具合の適否を判定することが有効であることが理解できる。
【００４０】
以上、本発明の化粧支援システムによれば、審美的な観点から非常に重要な情報である顔の奥行きに係る情報を、複数台の撮像装置や複雑な計測系を用いることなく、簡便に算出することができる。すなわち、本発明によれば、コストや設置スペースが不要な簡易なシステム構成で化粧支援システムを構築することができる。
【００４１】
また、本発明の化粧支援システムによれば、顔の奥行きに係る情報に基づいて、被験者の化粧の仕上がり具合などを客観的に判定することが可能となり、従来の画像合成システムに留まっていた化粧支援システムに比べて、大幅な改善を図ることができる。
【図面の簡単な説明】
【００４２】
【図１】本発明の実施の形態に係る化粧支援システムのシステム構成を示す図である。
【図２】本発明の実施の形態に係る化粧支援システムにおける処理の流れを示す図である。
【図３】顔画像データ取得部１０２が取得した顔画像データを示す図である。
【図４】正面顔画像データ生成部１１１がアフィン変換を行う際に用いる顔の特徴点を示す図である。
【図５】正面顔画像データ生成部１１１が生成する正面顔画像データを示す図である。
【図６】擬似奥行き情報算出部１１２が算出する擬似奥行きデータを陰影に表現した示す図である。
【図７】本発明の実施の形態に係る化粧支援システム１００の検証結果について説明する図である。
【符号の説明】
【００４３】
１００・・・化粧支援システム、１０１・・・主演算部、１０２・・・顔画像データ取得部、１０３・・・判定結果出力部、１０４・・・理想擬似奥行き分布情報記憶部、１１１・・・正面顔画像データ生成部、１１２・・・擬似奥行き情報算出部、１１３・・・擬似奥行き情報比較部、１１４・・・顔画像データ適否判定部
【特許請求の範囲】
【請求項１】
顔画像データを取得する顔画像データ取得手段と、
該顔画像データ取得手段により取得された顔画像データから正面顔画像データを生成する正面顔画像データ生成手段と、
該正面顔画像データ生成手段により得られた正面顔画像データの所定の線上の擬似奥行き情報を算出する擬似奥行き情報算出手段と、
理想的な擬似奥行き分布情報を記憶する理想擬似奥行き分布情報記憶手段と、
該擬似奥行き情報算出手段により算出された擬似奥行き情報と、該理想擬似奥行き分布情報記憶手段に記憶された理想的な擬似奥行き分布情報とを比較する擬似奥行き情報比較手段と、
該擬似奥行き情報比較手段の比較結果に基づいて取得された顔画像データの適否を判定する顔画像データ適否判定手段と、からなることを特徴とする化粧支援システム。
【請求項２】
該顔画像データ取得手段は、カメラ又はスキャナ又は記憶媒体読み取り装置のいずれかであることを特徴とする請求項１に記載の化粧支援システム。
【請求項３】
該正面顔画像データ生成手段は顔画像データの両目の位置及び鼻孔の位置を基準に顔画像データから正面顔画像データを生成することを特徴とする請求項１又は請求項２に記載の化粧支援システム。
【請求項４】
該擬似奥行き情報算出手段は濃淡（陰影）からの形状復元法によって擬似奥行き情報を算出することを特徴とする請求項１乃至請求項３のいずれかに記載の化粧支援システム。
【請求項５】
正面顔画像データの所定の線とは両頬と鼻を通る線であることを特徴とする請求項１乃至請求項４のいずれかに記載の化粧支援システム。
【請求項１】
顔画像データを取得する顔画像データ取得手段と、
該顔画像データ取得手段により取得された顔画像データから正面顔画像データを生成する正面顔画像データ生成手段と、
該正面顔画像データ生成手段により得られた正面顔画像データの所定の線上の擬似奥行き情報を算出する擬似奥行き情報算出手段と、
理想的な擬似奥行き分布情報を記憶する理想擬似奥行き分布情報記憶手段と、
該擬似奥行き情報算出手段により算出された擬似奥行き情報と、該理想擬似奥行き分布情報記憶手段に記憶された理想的な擬似奥行き分布情報とを比較する擬似奥行き情報比較手段と、
該擬似奥行き情報比較手段の比較結果に基づいて取得された顔画像データの適否を判定する顔画像データ適否判定手段と、からなることを特徴とする化粧支援システム。
【請求項２】
該顔画像データ取得手段は、カメラ又はスキャナ又は記憶媒体読み取り装置のいずれかであることを特徴とする請求項１に記載の化粧支援システム。
【請求項３】
該正面顔画像データ生成手段は顔画像データの両目の位置及び鼻孔の位置を基準に顔画像データから正面顔画像データを生成することを特徴とする請求項１又は請求項２に記載の化粧支援システム。
【請求項４】
該擬似奥行き情報算出手段は濃淡（陰影）からの形状復元法によって擬似奥行き情報を算出することを特徴とする請求項１乃至請求項３のいずれかに記載の化粧支援システム。
【請求項５】
正面顔画像データの所定の線とは両頬と鼻を通る線であることを特徴とする請求項１乃至請求項４のいずれかに記載の化粧支援システム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【公開番号】特開２００８−２１７５８６（Ｐ２００８−２１７５８６Ａ）
【公開日】平成２０年９月１８日（２００８．９．１８）
【国際特許分類】
【出願番号】特願２００７−５６０２９（Ｐ２００７−５６０２９）
【出願日】平成１９年３月６日（２００７．３．６）
【出願人】（８９９００００７９）学校法人慶應義塾 (742)
【Ｆターム（参考）】
【公開日】平成２０年９月１８日（２００８．９．１８）
【国際特許分類】
【出願日】平成１９年３月６日（２００７．３．６）
【出願人】（８９９００００７９）学校法人慶應義塾 (742)
【Ｆターム（参考）】
[ Back to top ]