情報処理装置、情報処理方法、およびそのプログラム
【課題】 修正の手間を軽減し、個人に合ったバランスのよい化粧を支援する装置を提供することである。
【解決手段】 上記の課題を解決するために、人物の顔を含む映像を撮像し、前記撮像した映像から複数の部分領域を抽出し、前記抽出した複数の部分領域の各々の評価値を算出し、前記複数の評価値を互いに比較することにより、バランス補正値を算出し、前記バランス補正値に基づいて、前記人物の外見のバランスを補正する手法を示すバランス補正情報を生成し、前記バランス補正情報を出力する。
【解決手段】 上記の課題を解決するために、人物の顔を含む映像を撮像し、前記撮像した映像から複数の部分領域を抽出し、前記抽出した複数の部分領域の各々の評価値を算出し、前記複数の評価値を互いに比較することにより、バランス補正値を算出し、前記バランス補正値に基づいて、前記人物の外見のバランスを補正する手法を示すバランス補正情報を生成し、前記バランス補正情報を出力する。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、対象者に合わせたバランスのよい化粧を対象者自身で行うための情報処理装置に関する。
【背景技術】
【0002】
従来、化粧の仕方は、販売員やメイクの講師に教えてもらったり、雑誌やインターネットで調べたりすることで覚えていた。近年、化粧を支援する方法として、顔画像に見本となる理想的な化粧ラインを重畳表示し、それをトレースすることで化粧支援を行うものが考えられている。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開2010−73008号公報
【特許文献2】特開2001−216386号公報
【非特許文献】
【0004】
【非特許文献1】C.P.Papageorgiou,M.Oren,and T.Poggio,A general framework for object detection, IEEE Computer Vision and Pattern Recognition,pp.511−562,1998.
【非特許文献2】N.Dalal and B.Triggs,Histograms of Oriented Gradients for Human Detection,IEEE Computer Vision and Pattern Recognition,pp.886−893,2005.
【非特許文献3】C.Harris and M.Stephens,A combined corner and edge detector, Proc.4th Alvey Vision Conference,pp.147−151,Manchester,U.K.,Aug.1988.
【発明の概要】
【発明が解決しようとする課題】
【0005】
特許文献1では、見本となる理想的な化粧ラインを変更できるように、見本画像を取り込む手段を持っている。
【0006】
特許文献2では、入力した顔画像に対して見本画像を重ねて合成するとともに、化粧の塗り方に関するアドバイスの表示も行う。
【0007】
化粧を修正する方法としては、化粧を部分的もしくは全部落とす方法、ファンデーションなどを重ねることで隠す方法、見本自体を変更して化粧を続ける方法が考えられる。まず、化粧を全部落とす場合、一旦全部落として再度化粧するということはかなり手間がかかる。次に、化粧を部分的に落とす場合とファンデーションなどを重ねて隠す場合、淡い色のわずかなずれを除いては、色むらができやすく、きちんと修正するのは素人では難しく手間もかかる。最後に見本自体を変更する場合は、化粧を続けることが可能な見本が存在している必要がある。
【0008】
しかしながら、上記の方法では、理想ラインが基本的には固定であり、化粧中に、見本とずれた場合に修正に手間がかかるという課題があった。
【0009】
また、理想ラインが存在する場合、個人差による理想ラインの違いを考慮していない、という課題があった。本来、人は個人により顔のパーツの配置や形状が異なり、顔は完全な左右対称ではない。このように個々により違う配置や形状を持つ顔に対して、ある見本を用意し、それを個人の顔に適用したとしても、それがその個人にあったよい化粧であるとは限らない。
【0010】
上記課題を解決するため、本発明は、バランスのよい化粧を行うことに着目することで、修正の手間を軽減し、個人に合ったバランスのよい化粧を支援する装置を提供することを目的とする。
【課題を解決するための手段】
【0011】
上記の目的は以下の装置によって達成される。
人物の顔を含む映像を撮像する撮像手段と、前記撮像した映像から複数の部分領域を抽出する抽出手段と、前記抽出した複数の部分領域の各々の評価値を算出する評価手段と、前記複数の評価値を互いに比較することにより、バランス補正値を算出する算出手段と、前記バランス補正値に基づいて、前記人物の外見のバランスを補正する手法を示すバランス補正情報を生成する生成手段と、前記バランス補正情報を出力する出力手段とを有することを特徴とする情報処理装置。
【発明の効果】
【0012】
本発明による化粧バランス支援装置では、修正の手間を軽減し、かつ個人に合ったバランスのよい化粧が可能となる。
【図面の簡単な説明】
【0013】
【図1】第一の実施形態に係る情報処理装置の構成を示す図である。
【図2】第一の実施形態に係る情報処理装置の処理を示す図である。
【図3】第二の実施形態に係る情報処理装置の構成を示す図である。
【図4】第二の実施形態に係る情報処理装置の処理を示す図である。
【図5】第一の実施形態における評価部103にて評価値の算出例1を示す図である。
【図6】第一の実施形態における評価部103にて評価値の算出例2を示す図である。
【図7】第三の実施形態における評価部103にて評価値を算出例を示す図である。
【図8】第一の実施形態にて説明する算出部104にて髪型を含めたバランス補正を行う際のバランス補正情報の出力例を示す図である。
【図9】第一の実施形態にて説明する算出部104にてファッションを含めたバランス補正を行う際のバランス補正情報の出力例を示す図である。
【図10】第一の実施形態にて説明する出力部106にて、バランス補正情報として補正すべき情報を重畳した画像の出力例を示す図である。
【図11】操作部204にて対象者が好みの化粧を設定する際に、表示するユーザ・インタフェースの一例を示す図である。
【図12】コンピュータの構成例を示す図である。
【発明を実施するための形態】
【0014】
以下、添付図面を参照して本発明を実施形態に従って詳細に説明する。
【0015】
〔第1の実施形態〕
(概要)
本実施形態に係る情報処理装置は、化粧をする際に、化粧による外見のバランスを改善するためのバランス補正情報を出力する。本実施形態に係る情報処理装置は、まず人物の顔を含む映像をカメラで撮像する。そして、カメラで撮像した映像から、部分領域を抽出する。そして、その複数の部分領域に基づいて複数の部分領域の評価値を算出する。そして、その評価値からバランスを改善するためのバランス補正値を算出し、そのバランス補正値を出力部に出力する。
【0016】
(構成)
図1は本実施形態に係る情報処理装置の概略を示す図である。図1に沿って、本実施形態の情報処理装置の構成を説明する。情報処理装置は、撮像部101、抽出部102、評価部103、算出部104、生成部105、出力部106から構成されている。
【0017】
撮像部101は、対象者の顔を含む映像を撮像する。図1において撮像部は1つであるが、特に1つに限定せず、複数持っていてもよい。複数持つことにより、奥行きの情報を得ることができ、3次元に拡張することが可能となる。
【0018】
抽出部102は、撮像部101から送られる映像から、部分領域とその部分領域情報を抽出する。本実施例では、部分領域とは顔領域およびパーツ領域である。パーツとは、目、眉、鼻、口、頬などの顔の一部分を指す。部分領域情報は、顔領域やパーツ領域の位置、形状、色の情報である。
【0019】
顔領域およびパーツ領域の抽出は、例えばHaar−like特徴量(非特許文献1参照)やHOG特徴量(非特許文献2参照)などの手法を使用する。また、顔領域の抽出に関しては肌色検出などの簡易な手法でも可能である。また、対象者に顔領域を入力してもよい。化粧領域の抽出は化粧をしていない状態との差分にて求めることができる。
【0020】
化粧をしていない状態との差分を求める際には、化粧をしていない映像と現在の映像との対応付けをする必要がある。特徴点の対応付けの方法は、例えば、対応付けたい2枚の画像に対して、Harris作用素(非特許文献3参照)などの特徴点抽出フィルタにより特徴点を抽出する。例えば、各点を中心とする局所領域間の正規化相関値に基づいて相関の高い2点を対応させることで対応付けが可能である。
【0021】
評価部103は、抽出部102で抽出したパーツ領域の評価値を算出する。評価値とは、各パーツ領域の各々の特徴を評価する値である。例えば、どの程度、外見のバランスが悪いかを表す値になる場合もあり、例えば、パーツごとの回転、大きさ、形状、位置、色分布などや、それらの組み合わせにおいてバランスを表す。
【0022】
評価値を求める方法として、例えば、図5のように評価値を算出するために基準となる基準テンプレートを用意する。抽出部102で抽出したパーツの特徴点を抽出する。そして、用意した基準テンプレートの対応するパーツの特徴点との対応付けを行う。更に、基準テンプレートに対しての回転度θ、倍率α、変形度βを算出し、位置Px、Pyを取得し、それらを評価値とする。変形度βは例えば、変形の仕方を見るためのアフィン変換パラメータである。
【0023】
例えば、図5のように左目の評価値を算出する例を考える。まず、目頭と目尻を抽出し、線で結ぶ。この線とテンプレートの同様の線との傾きの差が、回転度θとして算出できる。次に、目頭と目尻を結ぶ線の垂直二等分線を求め、目の輪郭との接点を求めることで、目の幅と高さを算出できる。これらとテンプレートの目の幅と高さから、目の幅と高さの倍率αw、αhが算出できる。目頭と目尻、そしてそれらを結ぶ線の垂直二等分線と目の輪郭との2つの接点を求める。これらの点の位置をアフィン変換前の値とし、テンプレートにおける同様の点の位置をアフィン変換後の値とすることで、変形度であるアフィン変換パラメータβが算出できる。
【0024】
基準テンプレートを使用しない方法として、例えば、図6のように、抽出部102で抽出したパーツのうち、左右で対応するパーツがあるパーツに関しては、片側のパーツを反転させ、逆側のパーツと比較する。例えば、すでに述べた方法と同様の方法で逆側のパーツに対しての回転度θ、倍率α、変形度βを算出し、位置Px、Pyを取得する。左右で対応するパーツがないものに関しては、そのパーツの中心線を求め、現在の顔の中心線に対しての回転度θ、中心線の片側を左右反転させたものの逆側に対する倍率α、変形度βを算出し、位置Px、Pyを取得し、評価値とする。
【0025】
このとき、顔の中心線は、抽出部102にて抽出した顔領域およびパーツの位置から求める。顔の中心線の求め方は、例えば、中心線の左右にある顔の領域ができるだけ同じ面積になるように分ける直線を算出してもよいし、中心線と左右のパーツの位置までの距離ができるだけ同じになるように分ける直線を算出してもよい。パーツの中心線についても、同様に例えば、パーツの中心線の左右で、パーツの領域ができるだけ同じ面積になるように分ける直線を算出することで求まる。
【0026】
算出部104は、その算出した評価値が、例えば左右対称になるように外見のバランスを補正するための、バランス補正値を求める。
【0027】
バランス補正値とは、化粧を施すことで、外見のバランスがとれた状態になるようにするために、化粧を追加もしくは更新すべき領域での補正量を示す値で、回転、大きさ、変形、色などの値がある。各パーツにつき、例えば、バランスのとれた左右対称になるように、それらの値を求める。
【0028】
左右のパーツでそれらの位置が非対称である場合、大きさや変形の補正値に含ませて補正することもできる。例えば、顔の中心線から眉の位置までの間隔が左右で違う場合、顔の中心線から眉の位置までの間隔が大きいほうの眉の幅について補正する大きさ、ここでは補正する眉の幅を、顔の中心線から逆側の眉と同じ間隔になるような補正量にする。これにより、補正することができる。化粧を追加して補正する場合の例は、片側にチークが塗られた場合などである。
【0029】
バランス補正値として、逆側の頬に、例えば左右対称となるように、化粧を施す部位の、位置、大きさ、形、色の値を算出する。化粧を更新して補正する場合の例は、先にも挙げた眉など、既にあるものを現在の状態からさらに上書きする場合などである。バランス補正値として、逆側の眉を、例えば左右対称となるように、位置、大きさ、形、色の値に更新する。なお、バランスの補正は左右対称になることだけに限定しない。評価値で算出した位置や位置の差分を利用して、顔の中心線からの距離で評価値に対する重みを変え、重み付きの左右対称を算出するように使用することもできる。
【0030】
こうすることで、化粧だけでなく、髪型などまでを含んだバランスを考えることも可能である。例えば、図8で図中(a)の顔のようにもともとの顔の輪郭が対称でなく片側が広くなっている歪みを持つような場合、あえて、髪型のバランスに偏りをもたすことで、全体としてバランスがよくなる。この場合、算出部104は、髪も含む評価値から、バランス補正値を算出する。髪の補正値に関しては、パーツ同様に、補正する大きさや変形度などの値を求めてもよい。
【0031】
しかし、髪の補正は化粧ほどの正確性は求められない上に、正確に算出してもその通りに実現するのは非常に困難なので、左右をどの程度の割合にするか、前髪を分ける場合は割合をどうするか、などの値を大まかに表示だけでもよい。バランス補正値を算出する際に、化粧の重みに対して、髪型を低い重みで扱うことで、髪型については化粧に比べて大まかな値で扱うことが可能となる。
【0032】
さらに、ファッション、服装、装飾品等に関してのバランスを考えてもよい。図9で図中(a)のように、化粧のバランスがとれていて、髪型に偏りがある場合、逆側にアクセントがあると、バランスがよくなる。この場合、バランスをよくするアドバイスとして、ファッション関するアドバイス、例えば、逆側の肩にリボンなどのアクセントのある服を着る、逆側の目元にラメを追加する、などの指示を出す。
【0033】
ファッションについての指示も髪型同様に、厳密な値より目安となる程度の指示がよいと思われるので、どの辺りにどの程度の何を追加するか、というような簡易な指示がよいと思われる。バランス補正値算出の際に、化粧の重みに対して、髪型同様にファッションを低い重みで扱うことで、ファッションについて、化粧に比べて大まかな値で扱うことが可能となる。
【0034】
生成部105は、バランス補正値に基づいて、バランスを改善するためのバランス補正情報を生成する。バランス補正情報が画像である場合、以下のようになる。算出部104にて算出したバランス補正値に基づき、図10(b)のようなバランス補正画像を生成する。生成したバランス補正画像と撮像部101で撮像した映像とを顔の部位の位置を合わせて重畳する。位置合わせは、例えば、バランス補正画像の目の位置と撮像した画像の目の位置が一致するように行う。
【0035】
このような方法で、図10(a)(b)の2つの画像を足し合わせ、図10(c)のように重畳した画像を作成する。バランス補正重畳画像を作成する際は、バランスが取れるような補正位置、補正量を強調して作成してもよい。また、左右の色の濃淡に差がある場合など、現在の色の濃淡を数値的に表して、画像に表示してもよい。
出力部106は、生成された補正情報を、例えば表示部に、出力する。
【0036】
なお、生成部105は画像を生成することに限定しない。例えば、補正手法を音声による案内の情報として生成し、出力部106が、出力してもよい。また、補正情報をロボットに送信して、補正指示のとおりにロボットが補正を行ってもよい。
【0037】
対象者は、出力部106で出力した補正情報を確認して、化粧を行う。対象者が新たに化粧を行うと、撮像部101にて再度撮像を行って出力部106にて補正情報を出力するまでの前述した処理を繰り返し行う。補正情報は一定時間ごとに更新される。
【0038】
(処理)
続いて、図2に示したフローチャートを用いて、本実施形態の情報処理装置が行う処理について説明する。
【0039】
対象者の顔が撮像部101により撮像される範囲に入った状態にてステップS100にて処理が開始される。この説明では化粧をしていない状態からの処理開始について説明する。
【0040】
ステップS101では、撮像部101による顔映像の撮像が行われる。その撮像した映像が抽出部102へと送られると、処理はステップS102へと進む。
【0041】
ステップS102では、抽出部102において、撮像部101により送られる映像より、顔領域やパーツ領域などの部分領域が抽出される。その抽出した部分領域が評価部103に送られると、処理はステップS110へと進む。
【0042】
ステップS110では、抽出部102により送られる顔領域やパーツ領域などの部分領域が評価部103へと送られることでバランス補正量設定処理が開始される。バランス補正量設定処理が開始されると、ステップS111へと進む。
【0043】
ステップS111では、評価部103において、抽出部102により送られた部分領域より、部分領域の評価値を算出する。その評価値が算出部104に送られると、処理はステップS112へと進む。
【0044】
ステップS112では、算出部104において、評価部103により送られる評価値より、バランスを改善するためのバランス補正値を算出する。その算出したバランス補正値が出力部106に送られると、処理はステップS113へと進む。
【0045】
ステップS113では、生成部105において、算出部104により送られるバランス補正値より、バランス補正画像を生成すると、処理はステップS114へと進む。
【0046】
ステップS114では、生成部105において、撮像部101により送られる映像とバランス補正画像とを重畳し、バランス補正重畳画像を生成すると、処理はステップS115へと進む。
【0047】
ステップS115は、出力部106において、バランス補正重畳画像を表示部に出力する。表示部にバランス補正重畳画像が表示されると、処理はステップS116へと進む。
【0048】
ステップS116では、バランス補正量設定処理ステップが終了し、処理はステップS103へと進む。
【0049】
ステップS103では、出力部106よりバランス補正重畳画像が実際の人物の顔の向き等に応じて実時間で追従して表示されたこと受け、対象者である人物は化粧を開始し、処理はステップS104へと進む。
【0050】
実際には、化粧前であるこの時点では、対象者が歪み等のバランスの不均等さを持たない場合、補正すべき情報は表示されておらず、出力部106には対象者の顔の画像が表示されているのみである。本装置は、部分的に化粧が施されてから、よりよいバランス状態へ導くために、補正すべき情報を提示することを目的としている。
【0051】
ステップS104では、撮像部101による顔映像の撮像が再度行われる。その撮像した映像が抽出部102へと送られると、処理はステップS105へと進む。
【0052】
ステップS105では、抽出部102において、撮像部101により送られる映像より、顔領域やパーツ領域に加え、化粧領域などの部分領域が抽出される。その抽出した部分領域が評価部103に送られると、処理はステップS110へと進む。
【0053】
ステップS110内での処理はすでに述べたものと同様で、化粧領域が部分領域に追加されていることのみが違い、その違いのため、ステップS110内の終了時の処理ステップS116で表示されるバランス補正重畳画像は異なる。
【0054】
バランス補正重畳画像が更新される際、更新には、以下2つの内容を含む。1つは、前回表示したバランス補正重畳画像の通りに対象者が化粧を施したことにより、化粧が施された箇所の補正量は補正済みのためになくなり、まだ化粧を施されていない補正箇所の補正量のみが補正すべき箇所として表示されるように更新することである。
【0055】
このとき、今回と前回とのバランス補正重畳画像の対応付けを行う必要がある。これは対象者の顔画像の特徴点を追跡してもよいし、Harris作用素などの特徴点抽出フィルタにより特徴点を抽出し、各点を中心とする局所領域間の正規化相関値に基づいて相関の高い2点を対応させることで対応付けてもよい。
【0056】
もう1つは、前回表示したバランス補正重畳画像とは違う部分に対象者が化粧を施したことにより、バランス補正値が変わり、補正すべき部分を新たに追加、もしくは補正内容を変更するように今回表示するバランス補正重畳画像を更新することである。
【0057】
ステップS110からS116のバランス補正量設定処理ステップが終了し、処理はステップS106へと進む。
【0058】
ステップS106では、出力部106よりバランス補正重畳画像が更新して表示されたこと受け、化粧を完了するかどうか判断する。このときの判断は対象者にまかせてもよいし、バランス補正値がある範囲内に収まる場合を補正終了とする処理を行ってもよい。この判断において、化粧を完了する場合は、処理はステップS107に進み、処理終了となる。また、この判断において、化粧を完了しない場合は、処理はステップS104へ進み、化粧を続け、ステップS104からS106を繰り返す。
【0059】
〔第2の実施形態〕
本実施形態に係る情報処理装置は、実施例1として示した情報処理装置に個人情報記憶部もしくは好適バランス情報記憶部、もしくはその両方を含める。これにより、以前使用した情報などを使った補正を行うことができる。さらに、通信部および操作部を加えることで、より多様な機能を追加できる。
以下、図を用いて本実施形態にかかる情報処理装置の構成および処理について説明する。
【0060】
(構成)
図3は、本実施形態に係る情報処理装置の概略を示す図である。図3に示すように、情報処理装置は、図1に示した第一の実施形態に係る情報処理装置に、個人情報記憶部201および好適バランス情報記憶部202および通信部203および操作部204を加えた構成になっている。図1の情報処理装置と共通する構成部分は、第一の実施形態とほぼ同様であるので、詳しい説明は割愛する。
【0061】
撮像部101は、対象者の顔を含む映像を撮像する。
抽出部102は、撮像部101から送られる映像から、顔領域およびパーツ領域を抽出する。
【0062】
個人情報記憶部201は、個人固有の特徴に関する情報を記憶する。例えば、実施例1の評価部103で算出される固有の評価値のことである。この固有評価値は個人固有のもので、例えば、パーツの非対称性や、顔の歪みなどの情報を含んだ値である。
【0063】
あらかじめ記憶する際には、以下の手順で記憶する。対象者の顔を含む映像から顔領域やパーツ領域などの部分領域を抽出する。部分領域から対象者固有の評価値を算出する。この値を個人固有のバランス情報とし、個人情報記憶部201に記憶する。この記憶しておいた固有のバランス情報を使用する際には、対象者が個人情報記憶部201にて記憶されているどの人物かを特定する必要がある。
【0064】
これを実現するためには例えば以下の方法がある。例えば、個人情報記憶部201にて対象者の評価値に加えて顔画像や特徴量も一緒に記憶しておき、顔認証の技術を使用することで特定する方法がある。例えば、個人情報記憶部201にて対象者の評価値に加えて対象者の名前やIDを記憶しておき、操作部204にて対象者に自分の名前やIDなどを入力してもらうことで、記憶した情報の中でどれを使用するかを特定する方法もある。
【0065】
好適バランス情報記憶部202は、例えば対象者の化粧完了時における評価値の履歴を記憶する。なお、好適バランス情報記憶部202に記憶するものは、履歴だけに限定せず、例えば、通信部203を介して外部から好適なバランス情報を取り込むことも可能である。通信部はネットワーク越しに情報を受けてもよいし、CD−RやUSBメモリなどのメディアから読み込み装置で情報を読み込んでもよい。
【0066】
好適なバランス情報とは、例えば、過去に化粧の講師に施してもらった化粧、雑誌などに載っている化粧、対象者好みの化粧から算出した評価値である。好適バランス情報記憶部202に記憶された好適なバランス情報を使用するにあたり、対象者が好適バランス情報記憶部202にて記憶されているどの人物かを特定する必要がある。この方法については、個人情報記憶部201にて人物を特定した方法と同じ方法が使用できる。
【0067】
さらに、1個人に対して複数の好適なバランス情報が候補として存在する場合には、例えば、操作部204を介して対象者に希望の好適なバランス情報を選んでもらう方法が使用できる。例えば、対象者に分かりやすくするために、記憶されている好適なバランス情報に対応した化粧を施したモデルの顔画像を表示するとよい。
【0068】
この表示された顔画像から自分の好みの化粧の状態のものを選択するユーザ・インタフェースを用いて、対象者からの入力をうけつける方法がある。他の方法としては、好適なバランス情報の他に、その好適なバランス情報の選択回数を合わせて記憶することで、デフォルト値として最も多い選択回数の好適なバランス情報を設定する方法がある。
【0069】
また、希望のバランス状態を対象者に入力してもらい、好適な評価値を算出し、それを好適なバランス情報として好適バランス情報記憶部202に記憶するとともに、現在の評価値を算出するために使用してもよい。希望のバランス状態を対象者に入力してもらう方法としては、例えば、図11のようなユーザ・インタフェースを利用して対象者にインジケータを調整してもらう方法がある。なお、希望のバランス状態とは図11に表示した項目だけに限定するものではない。
【0070】
さらに、好適バランス情報記憶部202に記憶するものとして、髪型やファッションの流行に関する情報も含めることで、髪型やファッションのバランスに関する指示を多様にすることができる。例えば出力部106にて図8や図9のような指示を出す際に、流行にあわせた指示に更新することができる。
【0071】
評価部103は、抽出部102で抽出したパーツ領域の評価値を算出する。評価値の算出方法は、例えば、図5を用いて説明する。好適なバランス情報をもとに、基準テンプレートの各パーツを前回同等になるようなテンプレートに更新し、すでに説明した手順で各評価値を求める、といった方法をとる。
【0072】
算出部104は、
個人情報記憶部201で記憶している対象者固有のバランス情報および好適バランス情報記憶部202で記憶している好適なバランス情報からバランス補正値を算出する。個人情報記憶部201を持つことで、評価部103にて、化粧をしていない部分の評価値を算出する必要がなくなる。
【0073】
また、前回化粧時と同じような化粧をする場合、評価部103にて評価値を算出において、好適バランス情報記憶部202で記憶している前回の最終的な評価値である好適なバランス情報を考慮してバランス補正値を算出する。
【0074】
生成部105は、算出したバランス補正値に基づき、バランス補正画像を生成し、生成されたバランス補正画像を撮像部101で撮像した映像と重畳する。
出力部106は、重畳された画像を表示部に出力する。
【0075】
なお、個人情報記憶部201および好適バランス情報記憶部202はどちらかだけを持つ構成、両方をもっている構成のいずれでもよい。また、通信部203と操作部204については、どちらかだけを持っている構成、両方持っている構成、両方持っていない構成のいずれでもよい。
【0076】
さらに、好適バランス情報記憶部202については、図3のような構成ではなく、算出部104に内包してもよい。その場合の例を説明する。
【0077】
好適バランス情報記憶部202に記憶するものは先の説明と同様である。ここでは、説明のため、対象者の前回化粧完了時における評価値の履歴とする。
【0078】
評価部103にて評価値を算出する際は、抽出部102にて抽出した部分領域から評価値を算出する。もしくは、抽出部102にて抽出した部分領域および個人情報記憶部201から取得した固有バランス情報から評価値を算出する。
【0079】
算出部104にて、この評価値と記憶している評価値の履歴である好適なバランス情報とを比較して、バランス補正値を算出する。ここでのバランス補正値の算出方法は、例えば、評価部103にて算出した評価値と記憶している好適な評価値との差を計算し、好適な評価値になるような補正値を算出する。
【0080】
ただし、現在化粧を施している領域が前回の履歴で化粧を施した領域に比べて広いなどの理由で、差のみの計算では実現不可能な場合、例えば実現不可能な箇所は履歴を参考にせず、その箇所が例えば左右対称になるように補正値を算出してもよい。もしくは、実現不可能な箇所についても、履歴ではどのような評価値だったか、つまり左右対称だったか、他のパーツに対して相対的な位置はどこかなどの値を参考に、実現可能な中で履歴に最も近い補正値を算出してもよい。
【0081】
算出部104に好適バランス情報記憶部を内包した場合も、個人情報記憶部201と通信部203と操作部204の有無については問わない。通信部203と操作部204を有する場合、それらとのデータの送受信は、先に説明した図3の好適バランス情報記憶部202とではなく、算出部104内の好適バランス情報記憶部と行う。
【0082】
(処理)
続いて、図4に示したフローチャートを用いて、本実施形態の情報処理装置が行う処理について説明する。実施例1で説明したフローと比較し、いくつかのステップが異なるのみで、他は同様であるため、共通の処理については詳しい説明は割愛する。
【0083】
対象者の顔が撮像部101により撮像される範囲に入った状態にてステップS200にて処理が開始される。
【0084】
ステップS201では、対象者による情報入力が行われる。情報入力とは、例えば、操作部204にて、好適バランス情報記憶部202で記憶している好適なバランス情報の選択などである。他にも、個人情報記憶部201および好適バランス情報記憶部202で記憶している固有バランス情報や好適バランス情報のうちのどれを使うかを特定するためのIDや名前の入力などである。その入力情報が個人情報記憶部201と好適バランス情報記憶部202の両方、もしくはどちらかに送られると、処理はステップS101へと進む。ステップS101からS102までは実施例1と同様の処理が行われる。続いて処理はステップS210へと進む。
【0085】
ステップS210では、抽出部102により送られる顔領域やパーツ領域などの部分領域が評価部103へと送られることでバランス補正量設定処理が開始される。バランス補正量設定処理が開始されると、ステップS211へと進み、評価部103にて、個人情報記憶部201にて記憶している固有バランス情報、および好適バランス情報記憶部202に記憶している好適なバランス情報を特定する。これらが特定されると、処理はステップS111へと進む。
【0086】
ステップS111では、部分領域の評価値を算出する。このとき、評価部103において、抽出部102により送られた部分領域、および個人情報記憶部201にて記憶している固有バランス情報、および好適バランス情報記憶部202にて記憶している好適なバランス情報を用いる。その評価値が算出部104に送られると、処理はステップS112へと進む。
【0087】
ステップS112からS212までは実施例1と同様の処理が行われる。続いて処理はステップS103へと進む。さらに、ステップS103からS105までは実施例1と同様の処理が行われる。続いて処理はステップS210へと進む。S210内での処理はすでに説明したものと同様である。さらに処理はステップS106へと進み、実施例1と同様の処理が行われる。ただし、実施例1と違い、ステップ106にて化粧を完了する場合、ステップS202へと進む。
【0088】
ステップS202は、現在の評価値を好適バランス情報記憶部202に記憶し、ステップS203へと進み、処理は終了する。
【0089】
〔第3の実施形態〕
本実施形態に係る情報処理装置は、実施例1および実施例2で説明した構成と同様のものを使用する。本実施形態では、顔の部分領域としてある部分領域内の色情報およびその位置のみを使用することである。
【0090】
(構成)
本実施例の構成は上記で説明した実施例1を使用して説明する。実施例1との差異は、抽出部102と評価部103と算出部104である。これらの部分について下記で詳細に説明する。
撮像部101は、対象者の顔を含む映像を撮像する。
【0091】
抽出部102は、顔領域とその色情報を抽出する。顔領域を抽出する方法としては、すでに述べた。その顔領域を、例えば、図7のように細かく分割し、それぞれを部分領域とする。パーツという概念は使わず、形状以外のシミ、しわなどの情報も含んでいる。
【0092】
評価部103は、抽出部102で抽出した顔領域内の各部分領域について色情報、例えば色の分布およびその部分領域の位置を取得し、それ自体を評価値とする。
【0093】
算出部104は、評価部103で算出した評価値が全体としてバランスがよくなるようにバランス補正値を算出する。例えば、図7である部分領域の色分布C1が得られた場合、バランスよく左右対称になるような位置に、C1と同じ値を補正値として算出する。また、バランスをよくするために、単純に左右対称にするだけでなく、色により重みを変えて、重みつきの左右対称としてもよい。これは例えば、目立つ色の重みを重くすることで、目立つ色の補正をきつく、目立たない色の補正をゆるくするなど、部位により補正のバランスを調整することができる。
【0094】
生成部105は、算出したバランス補正値に基づき、バランス補正画像を生成し、実施例1と同様に撮像部101で撮像した映像と重畳する。
【0095】
出力部106は、重畳した映像を表示部に出力する。
【0096】
(処理)
本実施形態の情報処理装置が行う処理については、実施例1で使用したものと同じ図2に示したフローチャートにて説明する。実施例1で説明したフローと比較し、いくつかのステップが異なるのみで、他は同様であるため、共通の処理については詳しい説明は割愛する。
【0097】
対象者の顔が撮像部101により撮像される範囲に入った状態にてステップS100にて処理が開始される。処理を開始すると、まず、ステップS101へと進んで、撮像部101による顔映像の撮像が行われる。その撮像した映像が抽出部102へと送られると、処理はステップS102へと進む。
【0098】
ステップS102では、抽出部102において、撮像部101により送られる映像より、図7で示すような顔領域内の各部分領域が抽出される。その抽出した部分領域が評価部103に送られると、処理はステップS110へと進む。
【0099】
ステップS110では、抽出部102により送られる顔領域内の各部分領域が評価部103へと送られることでバランス補正量設定処理が開始される。バランス補正量設定処理が開始されると、ステップS111へと進み、評価部103において、抽出部102により送られた各部分領域より、部分領域の評価値を算出する。その評価値が算出部104に送られると、処理はステップS112へと進む。ステップS112からS116およびステップS103からS104までは実施例1と同様の処理を行う。続いて処理はステップS105へ進む。
【0100】
ステップS105では、抽出部102において、撮像部101により送られる映像より、化粧領域を含む顔領域内の各部分領域が抽出される。その抽出した部分領域が評価部103に送られると、処理はステップS110へと進む。ステップS110からS106は実施例1と同様の処理を行う。S106にて化粧完了の判断を行うと、処理はステップS107へ進み、完了する。
【0101】
〔その他の実施形態〕
図12は、コンピュータの構成例を示す図である。
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア(プログラム)を、ネットワーク1204、1207又は各種記憶媒体1202、1203を介してシステム或いは装置に供給する。そして、そのシステム或いは装置のコンピュータ1201(CPUやMPU等)がプログラムを読み出して実行する処理である。また、そのプログラムをコンピュータ読み取り可能な記憶媒体に記憶して提供してもよい。なお、本装置のコンピュータには、入力部1205から処理を実行する指示を入力し、表示部1206で指示した処理の結果を表示してもよい。
【技術分野】
【0001】
本発明は、対象者に合わせたバランスのよい化粧を対象者自身で行うための情報処理装置に関する。
【背景技術】
【0002】
従来、化粧の仕方は、販売員やメイクの講師に教えてもらったり、雑誌やインターネットで調べたりすることで覚えていた。近年、化粧を支援する方法として、顔画像に見本となる理想的な化粧ラインを重畳表示し、それをトレースすることで化粧支援を行うものが考えられている。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開2010−73008号公報
【特許文献2】特開2001−216386号公報
【非特許文献】
【0004】
【非特許文献1】C.P.Papageorgiou,M.Oren,and T.Poggio,A general framework for object detection, IEEE Computer Vision and Pattern Recognition,pp.511−562,1998.
【非特許文献2】N.Dalal and B.Triggs,Histograms of Oriented Gradients for Human Detection,IEEE Computer Vision and Pattern Recognition,pp.886−893,2005.
【非特許文献3】C.Harris and M.Stephens,A combined corner and edge detector, Proc.4th Alvey Vision Conference,pp.147−151,Manchester,U.K.,Aug.1988.
【発明の概要】
【発明が解決しようとする課題】
【0005】
特許文献1では、見本となる理想的な化粧ラインを変更できるように、見本画像を取り込む手段を持っている。
【0006】
特許文献2では、入力した顔画像に対して見本画像を重ねて合成するとともに、化粧の塗り方に関するアドバイスの表示も行う。
【0007】
化粧を修正する方法としては、化粧を部分的もしくは全部落とす方法、ファンデーションなどを重ねることで隠す方法、見本自体を変更して化粧を続ける方法が考えられる。まず、化粧を全部落とす場合、一旦全部落として再度化粧するということはかなり手間がかかる。次に、化粧を部分的に落とす場合とファンデーションなどを重ねて隠す場合、淡い色のわずかなずれを除いては、色むらができやすく、きちんと修正するのは素人では難しく手間もかかる。最後に見本自体を変更する場合は、化粧を続けることが可能な見本が存在している必要がある。
【0008】
しかしながら、上記の方法では、理想ラインが基本的には固定であり、化粧中に、見本とずれた場合に修正に手間がかかるという課題があった。
【0009】
また、理想ラインが存在する場合、個人差による理想ラインの違いを考慮していない、という課題があった。本来、人は個人により顔のパーツの配置や形状が異なり、顔は完全な左右対称ではない。このように個々により違う配置や形状を持つ顔に対して、ある見本を用意し、それを個人の顔に適用したとしても、それがその個人にあったよい化粧であるとは限らない。
【0010】
上記課題を解決するため、本発明は、バランスのよい化粧を行うことに着目することで、修正の手間を軽減し、個人に合ったバランスのよい化粧を支援する装置を提供することを目的とする。
【課題を解決するための手段】
【0011】
上記の目的は以下の装置によって達成される。
人物の顔を含む映像を撮像する撮像手段と、前記撮像した映像から複数の部分領域を抽出する抽出手段と、前記抽出した複数の部分領域の各々の評価値を算出する評価手段と、前記複数の評価値を互いに比較することにより、バランス補正値を算出する算出手段と、前記バランス補正値に基づいて、前記人物の外見のバランスを補正する手法を示すバランス補正情報を生成する生成手段と、前記バランス補正情報を出力する出力手段とを有することを特徴とする情報処理装置。
【発明の効果】
【0012】
本発明による化粧バランス支援装置では、修正の手間を軽減し、かつ個人に合ったバランスのよい化粧が可能となる。
【図面の簡単な説明】
【0013】
【図1】第一の実施形態に係る情報処理装置の構成を示す図である。
【図2】第一の実施形態に係る情報処理装置の処理を示す図である。
【図3】第二の実施形態に係る情報処理装置の構成を示す図である。
【図4】第二の実施形態に係る情報処理装置の処理を示す図である。
【図5】第一の実施形態における評価部103にて評価値の算出例1を示す図である。
【図6】第一の実施形態における評価部103にて評価値の算出例2を示す図である。
【図7】第三の実施形態における評価部103にて評価値を算出例を示す図である。
【図8】第一の実施形態にて説明する算出部104にて髪型を含めたバランス補正を行う際のバランス補正情報の出力例を示す図である。
【図9】第一の実施形態にて説明する算出部104にてファッションを含めたバランス補正を行う際のバランス補正情報の出力例を示す図である。
【図10】第一の実施形態にて説明する出力部106にて、バランス補正情報として補正すべき情報を重畳した画像の出力例を示す図である。
【図11】操作部204にて対象者が好みの化粧を設定する際に、表示するユーザ・インタフェースの一例を示す図である。
【図12】コンピュータの構成例を示す図である。
【発明を実施するための形態】
【0014】
以下、添付図面を参照して本発明を実施形態に従って詳細に説明する。
【0015】
〔第1の実施形態〕
(概要)
本実施形態に係る情報処理装置は、化粧をする際に、化粧による外見のバランスを改善するためのバランス補正情報を出力する。本実施形態に係る情報処理装置は、まず人物の顔を含む映像をカメラで撮像する。そして、カメラで撮像した映像から、部分領域を抽出する。そして、その複数の部分領域に基づいて複数の部分領域の評価値を算出する。そして、その評価値からバランスを改善するためのバランス補正値を算出し、そのバランス補正値を出力部に出力する。
【0016】
(構成)
図1は本実施形態に係る情報処理装置の概略を示す図である。図1に沿って、本実施形態の情報処理装置の構成を説明する。情報処理装置は、撮像部101、抽出部102、評価部103、算出部104、生成部105、出力部106から構成されている。
【0017】
撮像部101は、対象者の顔を含む映像を撮像する。図1において撮像部は1つであるが、特に1つに限定せず、複数持っていてもよい。複数持つことにより、奥行きの情報を得ることができ、3次元に拡張することが可能となる。
【0018】
抽出部102は、撮像部101から送られる映像から、部分領域とその部分領域情報を抽出する。本実施例では、部分領域とは顔領域およびパーツ領域である。パーツとは、目、眉、鼻、口、頬などの顔の一部分を指す。部分領域情報は、顔領域やパーツ領域の位置、形状、色の情報である。
【0019】
顔領域およびパーツ領域の抽出は、例えばHaar−like特徴量(非特許文献1参照)やHOG特徴量(非特許文献2参照)などの手法を使用する。また、顔領域の抽出に関しては肌色検出などの簡易な手法でも可能である。また、対象者に顔領域を入力してもよい。化粧領域の抽出は化粧をしていない状態との差分にて求めることができる。
【0020】
化粧をしていない状態との差分を求める際には、化粧をしていない映像と現在の映像との対応付けをする必要がある。特徴点の対応付けの方法は、例えば、対応付けたい2枚の画像に対して、Harris作用素(非特許文献3参照)などの特徴点抽出フィルタにより特徴点を抽出する。例えば、各点を中心とする局所領域間の正規化相関値に基づいて相関の高い2点を対応させることで対応付けが可能である。
【0021】
評価部103は、抽出部102で抽出したパーツ領域の評価値を算出する。評価値とは、各パーツ領域の各々の特徴を評価する値である。例えば、どの程度、外見のバランスが悪いかを表す値になる場合もあり、例えば、パーツごとの回転、大きさ、形状、位置、色分布などや、それらの組み合わせにおいてバランスを表す。
【0022】
評価値を求める方法として、例えば、図5のように評価値を算出するために基準となる基準テンプレートを用意する。抽出部102で抽出したパーツの特徴点を抽出する。そして、用意した基準テンプレートの対応するパーツの特徴点との対応付けを行う。更に、基準テンプレートに対しての回転度θ、倍率α、変形度βを算出し、位置Px、Pyを取得し、それらを評価値とする。変形度βは例えば、変形の仕方を見るためのアフィン変換パラメータである。
【0023】
例えば、図5のように左目の評価値を算出する例を考える。まず、目頭と目尻を抽出し、線で結ぶ。この線とテンプレートの同様の線との傾きの差が、回転度θとして算出できる。次に、目頭と目尻を結ぶ線の垂直二等分線を求め、目の輪郭との接点を求めることで、目の幅と高さを算出できる。これらとテンプレートの目の幅と高さから、目の幅と高さの倍率αw、αhが算出できる。目頭と目尻、そしてそれらを結ぶ線の垂直二等分線と目の輪郭との2つの接点を求める。これらの点の位置をアフィン変換前の値とし、テンプレートにおける同様の点の位置をアフィン変換後の値とすることで、変形度であるアフィン変換パラメータβが算出できる。
【0024】
基準テンプレートを使用しない方法として、例えば、図6のように、抽出部102で抽出したパーツのうち、左右で対応するパーツがあるパーツに関しては、片側のパーツを反転させ、逆側のパーツと比較する。例えば、すでに述べた方法と同様の方法で逆側のパーツに対しての回転度θ、倍率α、変形度βを算出し、位置Px、Pyを取得する。左右で対応するパーツがないものに関しては、そのパーツの中心線を求め、現在の顔の中心線に対しての回転度θ、中心線の片側を左右反転させたものの逆側に対する倍率α、変形度βを算出し、位置Px、Pyを取得し、評価値とする。
【0025】
このとき、顔の中心線は、抽出部102にて抽出した顔領域およびパーツの位置から求める。顔の中心線の求め方は、例えば、中心線の左右にある顔の領域ができるだけ同じ面積になるように分ける直線を算出してもよいし、中心線と左右のパーツの位置までの距離ができるだけ同じになるように分ける直線を算出してもよい。パーツの中心線についても、同様に例えば、パーツの中心線の左右で、パーツの領域ができるだけ同じ面積になるように分ける直線を算出することで求まる。
【0026】
算出部104は、その算出した評価値が、例えば左右対称になるように外見のバランスを補正するための、バランス補正値を求める。
【0027】
バランス補正値とは、化粧を施すことで、外見のバランスがとれた状態になるようにするために、化粧を追加もしくは更新すべき領域での補正量を示す値で、回転、大きさ、変形、色などの値がある。各パーツにつき、例えば、バランスのとれた左右対称になるように、それらの値を求める。
【0028】
左右のパーツでそれらの位置が非対称である場合、大きさや変形の補正値に含ませて補正することもできる。例えば、顔の中心線から眉の位置までの間隔が左右で違う場合、顔の中心線から眉の位置までの間隔が大きいほうの眉の幅について補正する大きさ、ここでは補正する眉の幅を、顔の中心線から逆側の眉と同じ間隔になるような補正量にする。これにより、補正することができる。化粧を追加して補正する場合の例は、片側にチークが塗られた場合などである。
【0029】
バランス補正値として、逆側の頬に、例えば左右対称となるように、化粧を施す部位の、位置、大きさ、形、色の値を算出する。化粧を更新して補正する場合の例は、先にも挙げた眉など、既にあるものを現在の状態からさらに上書きする場合などである。バランス補正値として、逆側の眉を、例えば左右対称となるように、位置、大きさ、形、色の値に更新する。なお、バランスの補正は左右対称になることだけに限定しない。評価値で算出した位置や位置の差分を利用して、顔の中心線からの距離で評価値に対する重みを変え、重み付きの左右対称を算出するように使用することもできる。
【0030】
こうすることで、化粧だけでなく、髪型などまでを含んだバランスを考えることも可能である。例えば、図8で図中(a)の顔のようにもともとの顔の輪郭が対称でなく片側が広くなっている歪みを持つような場合、あえて、髪型のバランスに偏りをもたすことで、全体としてバランスがよくなる。この場合、算出部104は、髪も含む評価値から、バランス補正値を算出する。髪の補正値に関しては、パーツ同様に、補正する大きさや変形度などの値を求めてもよい。
【0031】
しかし、髪の補正は化粧ほどの正確性は求められない上に、正確に算出してもその通りに実現するのは非常に困難なので、左右をどの程度の割合にするか、前髪を分ける場合は割合をどうするか、などの値を大まかに表示だけでもよい。バランス補正値を算出する際に、化粧の重みに対して、髪型を低い重みで扱うことで、髪型については化粧に比べて大まかな値で扱うことが可能となる。
【0032】
さらに、ファッション、服装、装飾品等に関してのバランスを考えてもよい。図9で図中(a)のように、化粧のバランスがとれていて、髪型に偏りがある場合、逆側にアクセントがあると、バランスがよくなる。この場合、バランスをよくするアドバイスとして、ファッション関するアドバイス、例えば、逆側の肩にリボンなどのアクセントのある服を着る、逆側の目元にラメを追加する、などの指示を出す。
【0033】
ファッションについての指示も髪型同様に、厳密な値より目安となる程度の指示がよいと思われるので、どの辺りにどの程度の何を追加するか、というような簡易な指示がよいと思われる。バランス補正値算出の際に、化粧の重みに対して、髪型同様にファッションを低い重みで扱うことで、ファッションについて、化粧に比べて大まかな値で扱うことが可能となる。
【0034】
生成部105は、バランス補正値に基づいて、バランスを改善するためのバランス補正情報を生成する。バランス補正情報が画像である場合、以下のようになる。算出部104にて算出したバランス補正値に基づき、図10(b)のようなバランス補正画像を生成する。生成したバランス補正画像と撮像部101で撮像した映像とを顔の部位の位置を合わせて重畳する。位置合わせは、例えば、バランス補正画像の目の位置と撮像した画像の目の位置が一致するように行う。
【0035】
このような方法で、図10(a)(b)の2つの画像を足し合わせ、図10(c)のように重畳した画像を作成する。バランス補正重畳画像を作成する際は、バランスが取れるような補正位置、補正量を強調して作成してもよい。また、左右の色の濃淡に差がある場合など、現在の色の濃淡を数値的に表して、画像に表示してもよい。
出力部106は、生成された補正情報を、例えば表示部に、出力する。
【0036】
なお、生成部105は画像を生成することに限定しない。例えば、補正手法を音声による案内の情報として生成し、出力部106が、出力してもよい。また、補正情報をロボットに送信して、補正指示のとおりにロボットが補正を行ってもよい。
【0037】
対象者は、出力部106で出力した補正情報を確認して、化粧を行う。対象者が新たに化粧を行うと、撮像部101にて再度撮像を行って出力部106にて補正情報を出力するまでの前述した処理を繰り返し行う。補正情報は一定時間ごとに更新される。
【0038】
(処理)
続いて、図2に示したフローチャートを用いて、本実施形態の情報処理装置が行う処理について説明する。
【0039】
対象者の顔が撮像部101により撮像される範囲に入った状態にてステップS100にて処理が開始される。この説明では化粧をしていない状態からの処理開始について説明する。
【0040】
ステップS101では、撮像部101による顔映像の撮像が行われる。その撮像した映像が抽出部102へと送られると、処理はステップS102へと進む。
【0041】
ステップS102では、抽出部102において、撮像部101により送られる映像より、顔領域やパーツ領域などの部分領域が抽出される。その抽出した部分領域が評価部103に送られると、処理はステップS110へと進む。
【0042】
ステップS110では、抽出部102により送られる顔領域やパーツ領域などの部分領域が評価部103へと送られることでバランス補正量設定処理が開始される。バランス補正量設定処理が開始されると、ステップS111へと進む。
【0043】
ステップS111では、評価部103において、抽出部102により送られた部分領域より、部分領域の評価値を算出する。その評価値が算出部104に送られると、処理はステップS112へと進む。
【0044】
ステップS112では、算出部104において、評価部103により送られる評価値より、バランスを改善するためのバランス補正値を算出する。その算出したバランス補正値が出力部106に送られると、処理はステップS113へと進む。
【0045】
ステップS113では、生成部105において、算出部104により送られるバランス補正値より、バランス補正画像を生成すると、処理はステップS114へと進む。
【0046】
ステップS114では、生成部105において、撮像部101により送られる映像とバランス補正画像とを重畳し、バランス補正重畳画像を生成すると、処理はステップS115へと進む。
【0047】
ステップS115は、出力部106において、バランス補正重畳画像を表示部に出力する。表示部にバランス補正重畳画像が表示されると、処理はステップS116へと進む。
【0048】
ステップS116では、バランス補正量設定処理ステップが終了し、処理はステップS103へと進む。
【0049】
ステップS103では、出力部106よりバランス補正重畳画像が実際の人物の顔の向き等に応じて実時間で追従して表示されたこと受け、対象者である人物は化粧を開始し、処理はステップS104へと進む。
【0050】
実際には、化粧前であるこの時点では、対象者が歪み等のバランスの不均等さを持たない場合、補正すべき情報は表示されておらず、出力部106には対象者の顔の画像が表示されているのみである。本装置は、部分的に化粧が施されてから、よりよいバランス状態へ導くために、補正すべき情報を提示することを目的としている。
【0051】
ステップS104では、撮像部101による顔映像の撮像が再度行われる。その撮像した映像が抽出部102へと送られると、処理はステップS105へと進む。
【0052】
ステップS105では、抽出部102において、撮像部101により送られる映像より、顔領域やパーツ領域に加え、化粧領域などの部分領域が抽出される。その抽出した部分領域が評価部103に送られると、処理はステップS110へと進む。
【0053】
ステップS110内での処理はすでに述べたものと同様で、化粧領域が部分領域に追加されていることのみが違い、その違いのため、ステップS110内の終了時の処理ステップS116で表示されるバランス補正重畳画像は異なる。
【0054】
バランス補正重畳画像が更新される際、更新には、以下2つの内容を含む。1つは、前回表示したバランス補正重畳画像の通りに対象者が化粧を施したことにより、化粧が施された箇所の補正量は補正済みのためになくなり、まだ化粧を施されていない補正箇所の補正量のみが補正すべき箇所として表示されるように更新することである。
【0055】
このとき、今回と前回とのバランス補正重畳画像の対応付けを行う必要がある。これは対象者の顔画像の特徴点を追跡してもよいし、Harris作用素などの特徴点抽出フィルタにより特徴点を抽出し、各点を中心とする局所領域間の正規化相関値に基づいて相関の高い2点を対応させることで対応付けてもよい。
【0056】
もう1つは、前回表示したバランス補正重畳画像とは違う部分に対象者が化粧を施したことにより、バランス補正値が変わり、補正すべき部分を新たに追加、もしくは補正内容を変更するように今回表示するバランス補正重畳画像を更新することである。
【0057】
ステップS110からS116のバランス補正量設定処理ステップが終了し、処理はステップS106へと進む。
【0058】
ステップS106では、出力部106よりバランス補正重畳画像が更新して表示されたこと受け、化粧を完了するかどうか判断する。このときの判断は対象者にまかせてもよいし、バランス補正値がある範囲内に収まる場合を補正終了とする処理を行ってもよい。この判断において、化粧を完了する場合は、処理はステップS107に進み、処理終了となる。また、この判断において、化粧を完了しない場合は、処理はステップS104へ進み、化粧を続け、ステップS104からS106を繰り返す。
【0059】
〔第2の実施形態〕
本実施形態に係る情報処理装置は、実施例1として示した情報処理装置に個人情報記憶部もしくは好適バランス情報記憶部、もしくはその両方を含める。これにより、以前使用した情報などを使った補正を行うことができる。さらに、通信部および操作部を加えることで、より多様な機能を追加できる。
以下、図を用いて本実施形態にかかる情報処理装置の構成および処理について説明する。
【0060】
(構成)
図3は、本実施形態に係る情報処理装置の概略を示す図である。図3に示すように、情報処理装置は、図1に示した第一の実施形態に係る情報処理装置に、個人情報記憶部201および好適バランス情報記憶部202および通信部203および操作部204を加えた構成になっている。図1の情報処理装置と共通する構成部分は、第一の実施形態とほぼ同様であるので、詳しい説明は割愛する。
【0061】
撮像部101は、対象者の顔を含む映像を撮像する。
抽出部102は、撮像部101から送られる映像から、顔領域およびパーツ領域を抽出する。
【0062】
個人情報記憶部201は、個人固有の特徴に関する情報を記憶する。例えば、実施例1の評価部103で算出される固有の評価値のことである。この固有評価値は個人固有のもので、例えば、パーツの非対称性や、顔の歪みなどの情報を含んだ値である。
【0063】
あらかじめ記憶する際には、以下の手順で記憶する。対象者の顔を含む映像から顔領域やパーツ領域などの部分領域を抽出する。部分領域から対象者固有の評価値を算出する。この値を個人固有のバランス情報とし、個人情報記憶部201に記憶する。この記憶しておいた固有のバランス情報を使用する際には、対象者が個人情報記憶部201にて記憶されているどの人物かを特定する必要がある。
【0064】
これを実現するためには例えば以下の方法がある。例えば、個人情報記憶部201にて対象者の評価値に加えて顔画像や特徴量も一緒に記憶しておき、顔認証の技術を使用することで特定する方法がある。例えば、個人情報記憶部201にて対象者の評価値に加えて対象者の名前やIDを記憶しておき、操作部204にて対象者に自分の名前やIDなどを入力してもらうことで、記憶した情報の中でどれを使用するかを特定する方法もある。
【0065】
好適バランス情報記憶部202は、例えば対象者の化粧完了時における評価値の履歴を記憶する。なお、好適バランス情報記憶部202に記憶するものは、履歴だけに限定せず、例えば、通信部203を介して外部から好適なバランス情報を取り込むことも可能である。通信部はネットワーク越しに情報を受けてもよいし、CD−RやUSBメモリなどのメディアから読み込み装置で情報を読み込んでもよい。
【0066】
好適なバランス情報とは、例えば、過去に化粧の講師に施してもらった化粧、雑誌などに載っている化粧、対象者好みの化粧から算出した評価値である。好適バランス情報記憶部202に記憶された好適なバランス情報を使用するにあたり、対象者が好適バランス情報記憶部202にて記憶されているどの人物かを特定する必要がある。この方法については、個人情報記憶部201にて人物を特定した方法と同じ方法が使用できる。
【0067】
さらに、1個人に対して複数の好適なバランス情報が候補として存在する場合には、例えば、操作部204を介して対象者に希望の好適なバランス情報を選んでもらう方法が使用できる。例えば、対象者に分かりやすくするために、記憶されている好適なバランス情報に対応した化粧を施したモデルの顔画像を表示するとよい。
【0068】
この表示された顔画像から自分の好みの化粧の状態のものを選択するユーザ・インタフェースを用いて、対象者からの入力をうけつける方法がある。他の方法としては、好適なバランス情報の他に、その好適なバランス情報の選択回数を合わせて記憶することで、デフォルト値として最も多い選択回数の好適なバランス情報を設定する方法がある。
【0069】
また、希望のバランス状態を対象者に入力してもらい、好適な評価値を算出し、それを好適なバランス情報として好適バランス情報記憶部202に記憶するとともに、現在の評価値を算出するために使用してもよい。希望のバランス状態を対象者に入力してもらう方法としては、例えば、図11のようなユーザ・インタフェースを利用して対象者にインジケータを調整してもらう方法がある。なお、希望のバランス状態とは図11に表示した項目だけに限定するものではない。
【0070】
さらに、好適バランス情報記憶部202に記憶するものとして、髪型やファッションの流行に関する情報も含めることで、髪型やファッションのバランスに関する指示を多様にすることができる。例えば出力部106にて図8や図9のような指示を出す際に、流行にあわせた指示に更新することができる。
【0071】
評価部103は、抽出部102で抽出したパーツ領域の評価値を算出する。評価値の算出方法は、例えば、図5を用いて説明する。好適なバランス情報をもとに、基準テンプレートの各パーツを前回同等になるようなテンプレートに更新し、すでに説明した手順で各評価値を求める、といった方法をとる。
【0072】
算出部104は、
個人情報記憶部201で記憶している対象者固有のバランス情報および好適バランス情報記憶部202で記憶している好適なバランス情報からバランス補正値を算出する。個人情報記憶部201を持つことで、評価部103にて、化粧をしていない部分の評価値を算出する必要がなくなる。
【0073】
また、前回化粧時と同じような化粧をする場合、評価部103にて評価値を算出において、好適バランス情報記憶部202で記憶している前回の最終的な評価値である好適なバランス情報を考慮してバランス補正値を算出する。
【0074】
生成部105は、算出したバランス補正値に基づき、バランス補正画像を生成し、生成されたバランス補正画像を撮像部101で撮像した映像と重畳する。
出力部106は、重畳された画像を表示部に出力する。
【0075】
なお、個人情報記憶部201および好適バランス情報記憶部202はどちらかだけを持つ構成、両方をもっている構成のいずれでもよい。また、通信部203と操作部204については、どちらかだけを持っている構成、両方持っている構成、両方持っていない構成のいずれでもよい。
【0076】
さらに、好適バランス情報記憶部202については、図3のような構成ではなく、算出部104に内包してもよい。その場合の例を説明する。
【0077】
好適バランス情報記憶部202に記憶するものは先の説明と同様である。ここでは、説明のため、対象者の前回化粧完了時における評価値の履歴とする。
【0078】
評価部103にて評価値を算出する際は、抽出部102にて抽出した部分領域から評価値を算出する。もしくは、抽出部102にて抽出した部分領域および個人情報記憶部201から取得した固有バランス情報から評価値を算出する。
【0079】
算出部104にて、この評価値と記憶している評価値の履歴である好適なバランス情報とを比較して、バランス補正値を算出する。ここでのバランス補正値の算出方法は、例えば、評価部103にて算出した評価値と記憶している好適な評価値との差を計算し、好適な評価値になるような補正値を算出する。
【0080】
ただし、現在化粧を施している領域が前回の履歴で化粧を施した領域に比べて広いなどの理由で、差のみの計算では実現不可能な場合、例えば実現不可能な箇所は履歴を参考にせず、その箇所が例えば左右対称になるように補正値を算出してもよい。もしくは、実現不可能な箇所についても、履歴ではどのような評価値だったか、つまり左右対称だったか、他のパーツに対して相対的な位置はどこかなどの値を参考に、実現可能な中で履歴に最も近い補正値を算出してもよい。
【0081】
算出部104に好適バランス情報記憶部を内包した場合も、個人情報記憶部201と通信部203と操作部204の有無については問わない。通信部203と操作部204を有する場合、それらとのデータの送受信は、先に説明した図3の好適バランス情報記憶部202とではなく、算出部104内の好適バランス情報記憶部と行う。
【0082】
(処理)
続いて、図4に示したフローチャートを用いて、本実施形態の情報処理装置が行う処理について説明する。実施例1で説明したフローと比較し、いくつかのステップが異なるのみで、他は同様であるため、共通の処理については詳しい説明は割愛する。
【0083】
対象者の顔が撮像部101により撮像される範囲に入った状態にてステップS200にて処理が開始される。
【0084】
ステップS201では、対象者による情報入力が行われる。情報入力とは、例えば、操作部204にて、好適バランス情報記憶部202で記憶している好適なバランス情報の選択などである。他にも、個人情報記憶部201および好適バランス情報記憶部202で記憶している固有バランス情報や好適バランス情報のうちのどれを使うかを特定するためのIDや名前の入力などである。その入力情報が個人情報記憶部201と好適バランス情報記憶部202の両方、もしくはどちらかに送られると、処理はステップS101へと進む。ステップS101からS102までは実施例1と同様の処理が行われる。続いて処理はステップS210へと進む。
【0085】
ステップS210では、抽出部102により送られる顔領域やパーツ領域などの部分領域が評価部103へと送られることでバランス補正量設定処理が開始される。バランス補正量設定処理が開始されると、ステップS211へと進み、評価部103にて、個人情報記憶部201にて記憶している固有バランス情報、および好適バランス情報記憶部202に記憶している好適なバランス情報を特定する。これらが特定されると、処理はステップS111へと進む。
【0086】
ステップS111では、部分領域の評価値を算出する。このとき、評価部103において、抽出部102により送られた部分領域、および個人情報記憶部201にて記憶している固有バランス情報、および好適バランス情報記憶部202にて記憶している好適なバランス情報を用いる。その評価値が算出部104に送られると、処理はステップS112へと進む。
【0087】
ステップS112からS212までは実施例1と同様の処理が行われる。続いて処理はステップS103へと進む。さらに、ステップS103からS105までは実施例1と同様の処理が行われる。続いて処理はステップS210へと進む。S210内での処理はすでに説明したものと同様である。さらに処理はステップS106へと進み、実施例1と同様の処理が行われる。ただし、実施例1と違い、ステップ106にて化粧を完了する場合、ステップS202へと進む。
【0088】
ステップS202は、現在の評価値を好適バランス情報記憶部202に記憶し、ステップS203へと進み、処理は終了する。
【0089】
〔第3の実施形態〕
本実施形態に係る情報処理装置は、実施例1および実施例2で説明した構成と同様のものを使用する。本実施形態では、顔の部分領域としてある部分領域内の色情報およびその位置のみを使用することである。
【0090】
(構成)
本実施例の構成は上記で説明した実施例1を使用して説明する。実施例1との差異は、抽出部102と評価部103と算出部104である。これらの部分について下記で詳細に説明する。
撮像部101は、対象者の顔を含む映像を撮像する。
【0091】
抽出部102は、顔領域とその色情報を抽出する。顔領域を抽出する方法としては、すでに述べた。その顔領域を、例えば、図7のように細かく分割し、それぞれを部分領域とする。パーツという概念は使わず、形状以外のシミ、しわなどの情報も含んでいる。
【0092】
評価部103は、抽出部102で抽出した顔領域内の各部分領域について色情報、例えば色の分布およびその部分領域の位置を取得し、それ自体を評価値とする。
【0093】
算出部104は、評価部103で算出した評価値が全体としてバランスがよくなるようにバランス補正値を算出する。例えば、図7である部分領域の色分布C1が得られた場合、バランスよく左右対称になるような位置に、C1と同じ値を補正値として算出する。また、バランスをよくするために、単純に左右対称にするだけでなく、色により重みを変えて、重みつきの左右対称としてもよい。これは例えば、目立つ色の重みを重くすることで、目立つ色の補正をきつく、目立たない色の補正をゆるくするなど、部位により補正のバランスを調整することができる。
【0094】
生成部105は、算出したバランス補正値に基づき、バランス補正画像を生成し、実施例1と同様に撮像部101で撮像した映像と重畳する。
【0095】
出力部106は、重畳した映像を表示部に出力する。
【0096】
(処理)
本実施形態の情報処理装置が行う処理については、実施例1で使用したものと同じ図2に示したフローチャートにて説明する。実施例1で説明したフローと比較し、いくつかのステップが異なるのみで、他は同様であるため、共通の処理については詳しい説明は割愛する。
【0097】
対象者の顔が撮像部101により撮像される範囲に入った状態にてステップS100にて処理が開始される。処理を開始すると、まず、ステップS101へと進んで、撮像部101による顔映像の撮像が行われる。その撮像した映像が抽出部102へと送られると、処理はステップS102へと進む。
【0098】
ステップS102では、抽出部102において、撮像部101により送られる映像より、図7で示すような顔領域内の各部分領域が抽出される。その抽出した部分領域が評価部103に送られると、処理はステップS110へと進む。
【0099】
ステップS110では、抽出部102により送られる顔領域内の各部分領域が評価部103へと送られることでバランス補正量設定処理が開始される。バランス補正量設定処理が開始されると、ステップS111へと進み、評価部103において、抽出部102により送られた各部分領域より、部分領域の評価値を算出する。その評価値が算出部104に送られると、処理はステップS112へと進む。ステップS112からS116およびステップS103からS104までは実施例1と同様の処理を行う。続いて処理はステップS105へ進む。
【0100】
ステップS105では、抽出部102において、撮像部101により送られる映像より、化粧領域を含む顔領域内の各部分領域が抽出される。その抽出した部分領域が評価部103に送られると、処理はステップS110へと進む。ステップS110からS106は実施例1と同様の処理を行う。S106にて化粧完了の判断を行うと、処理はステップS107へ進み、完了する。
【0101】
〔その他の実施形態〕
図12は、コンピュータの構成例を示す図である。
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア(プログラム)を、ネットワーク1204、1207又は各種記憶媒体1202、1203を介してシステム或いは装置に供給する。そして、そのシステム或いは装置のコンピュータ1201(CPUやMPU等)がプログラムを読み出して実行する処理である。また、そのプログラムをコンピュータ読み取り可能な記憶媒体に記憶して提供してもよい。なお、本装置のコンピュータには、入力部1205から処理を実行する指示を入力し、表示部1206で指示した処理の結果を表示してもよい。
【特許請求の範囲】
【請求項1】
人物の顔を含む映像を撮像する撮像手段と、
前記撮像した映像から複数の部分領域を抽出する抽出手段と、
前記抽出した複数の部分領域の各々の評価値を算出する評価手段と、
前記算出された評価値の各々を互いに比較することにより、バランス補正値を算出する算出手段と、
前記バランス補正値に基づいて、前記人物の外見のバランスを補正する手法を示すバランス補正情報を生成する生成手段と、
前記バランス補正情報を出力する出力手段と
を有することを特徴とする情報処理装置。
【請求項2】
前記バランス補正情報は、化粧の手法を含むことを特徴とする請求項1に記載の情報処理方法。
【請求項3】
前記算出手段が、前記撮像した人物の顔の左右のバランスを補正するバランス補正値を算出することを特徴とする請求項1又は2に記載の情報処理方法。
【請求項4】
前記バランス補正情報は、画像を含むことを特徴とする請求項1乃至3の何れか1項に記載の情報処理装置。
【請求項5】
前記生成手段が、前記バランス補正値から、前記バランスを補正する手法を示すバランス補正画像を生成し、前記映像と前記バランス補正画像とを重畳したバランス補正重畳画像を生成することを特徴とする請求項4に記載の情報処理装置。
【請求項6】
前記バランス補正情報は、音声による案内を含むことを特徴とする請求項1乃至5の何れか1項に記載の情報処理装置。
【請求項7】
前記人物ごとに部分領域の固有評価値を記憶する個人情報記憶手段
を更に有し、
前記評価手段が、評価した評価値を前記固有評価値として追加もしくは更新する
ことを特徴とする請求項1乃至6の何れか1項に記載の情報処理装置。
【請求項8】
前記人物ごとの評価値の履歴を好適バランス情報として記憶する好適バランス情報記憶手段
を更に有し、
前記算出手段が、前記好適バランス情報に基づいて、前記バランス補正値を算出する
ことを特徴とする請求項7に記載の情報処理装置。
【請求項9】
外部から好適バランス情報を前記好適バランス情報記憶手段へと取り入れる通信手段
を更に有することを特徴とする請求項8に記載の情報処理装置。
【請求項10】
前記算出手段が、前記人物の顔の色分布のバランスを補正するためのバランス補正値を算出することを特徴とする請求項1乃至9の何れか1項に記載の情報処理装置。
【請求項11】
情報処理装置が行う情報処理方法であって、
前記情報処理装置の撮像手段が、前記人物の顔を含む映像を撮像する撮像工程と、
前記情報処理装置の抽出手段が、前記撮像した映像から複数の部分領域を抽出する抽出工程と、
前記情報処理装置の評価手段が、前記抽出した複数の部分領域の各々の評価値を算出する評価工程と、
前記情報処理装置の算出手段が、前記算出された評価値の各々を互いに比較することにより、バランス補正値を算出する算出工程と、
前記情報処理装置の生成手段が、前記バランス補正値に基づいて、前記人物の外見のバランスを補正する手法を示すバランス補正情報を生成する生成工程と、
前記情報処理装置の出力手段が、前記バランス補正情報を出力する出力工程と
を有することを特徴とする情報処理方法。
【請求項12】
請求項11に記載の情報処理方法の各工程をコンピュータに実行させるためのプログラム。
【請求項1】
人物の顔を含む映像を撮像する撮像手段と、
前記撮像した映像から複数の部分領域を抽出する抽出手段と、
前記抽出した複数の部分領域の各々の評価値を算出する評価手段と、
前記算出された評価値の各々を互いに比較することにより、バランス補正値を算出する算出手段と、
前記バランス補正値に基づいて、前記人物の外見のバランスを補正する手法を示すバランス補正情報を生成する生成手段と、
前記バランス補正情報を出力する出力手段と
を有することを特徴とする情報処理装置。
【請求項2】
前記バランス補正情報は、化粧の手法を含むことを特徴とする請求項1に記載の情報処理方法。
【請求項3】
前記算出手段が、前記撮像した人物の顔の左右のバランスを補正するバランス補正値を算出することを特徴とする請求項1又は2に記載の情報処理方法。
【請求項4】
前記バランス補正情報は、画像を含むことを特徴とする請求項1乃至3の何れか1項に記載の情報処理装置。
【請求項5】
前記生成手段が、前記バランス補正値から、前記バランスを補正する手法を示すバランス補正画像を生成し、前記映像と前記バランス補正画像とを重畳したバランス補正重畳画像を生成することを特徴とする請求項4に記載の情報処理装置。
【請求項6】
前記バランス補正情報は、音声による案内を含むことを特徴とする請求項1乃至5の何れか1項に記載の情報処理装置。
【請求項7】
前記人物ごとに部分領域の固有評価値を記憶する個人情報記憶手段
を更に有し、
前記評価手段が、評価した評価値を前記固有評価値として追加もしくは更新する
ことを特徴とする請求項1乃至6の何れか1項に記載の情報処理装置。
【請求項8】
前記人物ごとの評価値の履歴を好適バランス情報として記憶する好適バランス情報記憶手段
を更に有し、
前記算出手段が、前記好適バランス情報に基づいて、前記バランス補正値を算出する
ことを特徴とする請求項7に記載の情報処理装置。
【請求項9】
外部から好適バランス情報を前記好適バランス情報記憶手段へと取り入れる通信手段
を更に有することを特徴とする請求項8に記載の情報処理装置。
【請求項10】
前記算出手段が、前記人物の顔の色分布のバランスを補正するためのバランス補正値を算出することを特徴とする請求項1乃至9の何れか1項に記載の情報処理装置。
【請求項11】
情報処理装置が行う情報処理方法であって、
前記情報処理装置の撮像手段が、前記人物の顔を含む映像を撮像する撮像工程と、
前記情報処理装置の抽出手段が、前記撮像した映像から複数の部分領域を抽出する抽出工程と、
前記情報処理装置の評価手段が、前記抽出した複数の部分領域の各々の評価値を算出する評価工程と、
前記情報処理装置の算出手段が、前記算出された評価値の各々を互いに比較することにより、バランス補正値を算出する算出工程と、
前記情報処理装置の生成手段が、前記バランス補正値に基づいて、前記人物の外見のバランスを補正する手法を示すバランス補正情報を生成する生成工程と、
前記情報処理装置の出力手段が、前記バランス補正情報を出力する出力工程と
を有することを特徴とする情報処理方法。
【請求項12】
請求項11に記載の情報処理方法の各工程をコンピュータに実行させるためのプログラム。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【公開番号】特開2012−128597(P2012−128597A)
【公開日】平成24年7月5日(2012.7.5)
【国際特許分類】
【出願番号】特願2010−278565(P2010−278565)
【出願日】平成22年12月14日(2010.12.14)
【出願人】(000001007)キヤノン株式会社 (59,756)
【Fターム(参考)】
【公開日】平成24年7月5日(2012.7.5)
【国際特許分類】
【出願日】平成22年12月14日(2010.12.14)
【出願人】(000001007)キヤノン株式会社 (59,756)
【Fターム(参考)】
[ Back to top ]