情報取得装置、情報取得方法、およびプログラム
【課題】画像データから同一対象者の顔の変化を検出し、変化の内容を示す情報を取得すること。
【解決手段】対象者の顔を撮影することにより取得した第１画像データと、前記第１画像データを撮像した後に前記被写体の顔を撮像することにより取得した第２画像データとから、それぞれ、人物の顔に含まれる一部であって検出対象として予め決められたパーツを検出する検出部と、前記第１画像データに示される顔の色成分と、前記第２画像データに示される顔の色成分とを比較して、前記第１画像データと前記第２画像データとの色成分の差分を示す差分情報を取得する差分情報取得部と、前記検出部によって検出された各パーツと、前記差分情報が示す色が変化している部分との位置関係に基づき、人物の顔における位置に応じて予め決められている顔内の変化の内容を示す変化内容情報を取得する変化内容情報取得部と、を備える。
【解決手段】対象者の顔を撮影することにより取得した第１画像データと、前記第１画像データを撮像した後に前記被写体の顔を撮像することにより取得した第２画像データとから、それぞれ、人物の顔に含まれる一部であって検出対象として予め決められたパーツを検出する検出部と、前記第１画像データに示される顔の色成分と、前記第２画像データに示される顔の色成分とを比較して、前記第１画像データと前記第２画像データとの色成分の差分を示す差分情報を取得する差分情報取得部と、前記検出部によって検出された各パーツと、前記差分情報が示す色が変化している部分との位置関係に基づき、人物の顔における位置に応じて予め決められている顔内の変化の内容を示す変化内容情報を取得する変化内容情報取得部と、を備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、情報取得装置、情報取得方法、およびプログラムに関する。
【背景技術】
【０００２】
対象者の顔を撮像し、撮像により得られた画像データを利用して、化粧のアドバイスを行うシステムがある。
例えば、対象者の顔を撮像した画像データに基づき、対象者の顔に仮想的に化粧を施した顔の画像を表示する表示装置がある。これにより、対象者は、実際に化粧をしなくても、化粧を施した場合の自分の顔をイメージすることができる（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００１−２３８７２７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、全ての対象者の顔の凹凸形状や素肌の色等が一致しているわけではないため、仮想的に化粧を施した場合と、実際に化粧を施した場合とでは、化粧後の顔のイメージが異なるという問題がある。そのため、実際に化粧品の購入を検討している場合、対象者は、売場等で化粧部員に化粧を施してもらい、自分の顔にあっているかどうかを確認してから、化粧品を購入するという場合が多い。
また、同じ化粧品であっても、付ける位置や色の濃さによって、顔のイメージが異なる場合がある。そのため、化粧品を購入しても、売場の化粧部員が化粧したように対象者自身が再現できないという問題がある。
【０００５】
本発明は、上記の事情を考慮してなされたものであり、画像データから同一対象者の顔の変化を検出し、変化の内容を示す情報を取得することができる情報取得装置、情報取得方法、およびプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００６】
この発明は上述した課題を解決するためになされたもので、本発明の一態様による情報取得装置は、対象者の顔を撮影することにより取得した第１画像データと、前記第１画像データを撮像した後に前記被写体の顔を撮像することにより取得した第２画像データとから、それぞれ、人物の顔に含まれる一部であって検出対象として予め決められたパーツを検出する検出部と、前記検出部によって検出された同じパーツ同士を対応付けて前記第１画像データ内の顔と前記第２画像データ内の顔との位置を合わせて、前記第１画像データに示される顔の色成分と、前記第２画像データに示される顔の色成分とを比較して、前記第１画像データと前記第２画像データとの色成分の差分を示す差分情報を取得する差分情報取得部と、前記検出部によって検出された各パーツと、前記差分情報が示す色が変化している部分との位置関係に基づき、人物の顔における位置に応じて予め決められている顔内の変化の内容を示す変化内容情報うち、前記差分情報が示す色が変化している部分に対応する前記変化内容情報を取得する変化内容情報取得部と、を備える。
【０００７】
この発明は上述した課題を解決するためになされたもので、本発明の一態様による情報取得方法は、対象者の顔を撮影することにより取得した第１画像データと、前記第１画像データを撮像した後に前記被写体の顔を撮像することにより取得した第２画像データとから、それぞれ、人物の顔に含まれる一部であって検出対象として予め決められたパーツを検出するステップと、検出された同じパーツ同士を対応付けて前記第１画像データ内の顔と前記第２画像データ内の顔との位置を合わせて、前記第１画像データに示される顔の色成分と、前記第２画像データに示される顔の色成分とを比較して、前記第１画像データと前記第２画像データとの色成分の差分を示す差分情報を取得するステップと、検出された各パーツと、前記差分情報が示す色が変化している部分との位置関係に基づき、人物の顔における位置に応じて予め決められている顔内の変化の内容を示す変化内容情報うち、前記差分情報が示す色が変化している部分に対応する前記変化内容情報を取得するステップと、を備える。
【０００８】
この発明は上述した課題を解決するためになされたもので、本発明の一態様によるプログラムは、コンピュータに、対象者の顔を撮影することにより取得した第１画像データと、前記第１画像データを撮像した後に前記被写体の顔を撮像することにより取得した第２画像データとから、それぞれ、人物の顔に含まれる一部であって検出対象として予め決められたパーツを検出する検出手順、検出された同じパーツ同士を対応付けて前記第１画像データ内の顔と前記第２画像データ内の顔との位置を合わせて、前記第１画像データに示される顔の色成分と、前記第２画像データに示される顔の色成分とを比較して、前記第１画像データと前記第２画像データとの色成分の差分を示す差分情報を取得する差分情報取得手順、検出された各パーツと、前記差分情報が示す色が変化している部分との位置関係に基づき、人物の顔における位置に応じて予め決められている顔内の変化の内容を示す変化内容情報うち、前記差分情報が示す色が変化している部分に対応する前記変化内容情報を取得する変化内容情報取得手順、を実行させるためのプログラムである。
【発明の効果】
【０００９】
本発明によれば、画像データから同一対象者の顔の変化を検出し、変化の内容を示す情報を取得することができる。
【図面の簡単な説明】
【００１０】
【図１】本発明の一実施形態に係る情報取得装置（携帯端末）の概略構成の一例を示す図である。
【図２】本発明の一実施形態に係る情報取得装置（携帯端末）の構成の一例を示すブロック図である。
【図３】本発明の一実施形態に係る情報取得装置（携帯端末）の動作フローの一例について説明するための図である。
【図４】本発明の一実施形態に係る情報取得装置（携帯端末）に表示される顔マーカーの一例を示す図である。
【図５】本発明の一実施形態に係る第１画像データＤ１の画像の一例を示す図である。
【図６】本発明の一実施形態に係る第２画像データＤ２の画像の一例を示す図である。
【図７】本発明の一実施形態に係る第１画像データＤ１から検出した顔Ａ１の輪郭を示す輪郭線２０２を示す。
【図８】本発明の一実施形態に係る第２画像データＤ２から検出した顔Ａ２の輪郭を示す輪郭線２０３を示す。
【図９】本発明の一実施形態に係る第１画像データＤ１の画像から検出されるパーツの基準点を示す図である。
【図１０】本発明の一実施形態に係る第２画像データＤ２の画像から検出されるパーツの基準点を示す図である。
【図１１】本発明の一実施形態に係る通知情報Ｋを表示する画像の一例を示す図である。
【発明を実施するための形態】
【００１１】
［第１実施形態］
以下、図面を参照して本発明の一実施形態について説明する。図１は、本発明の一実施形態に係る情報取得装置の概要について説明するための図である。なお、本実施形態では、情報取得装置がカメラ付き携帯端末である例について、以下説明する。しかし、本発明はこれに限られず、情報取得装置は、スマートフォン、携帯ゲーム機、タブレット型ＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）、あるいは、ノート型ＰＣ等であってもよい。
本実施形態に係る携帯端末１は、対象者の変化前後の顔を撮像することにより、顔の変化の内容を示す情報を対象者に提供するものである。
【００１２】
図１に示す通り、本実施形態に係る携帯端末１は、検出部１０１と、差分情報取得部１０２と、変化内容情報取得部１０３とを備える。この検出部１０１と差分情報取得部１０２とには、対象者の顔を撮像することにより取得した画像データが入力する。本実施形態において、検出部１０１と差分情報取得部１０２とには、対象者Ａの顔Ａ１を撮像することにより取得した第１画像データＤ１と、対象者Ａの顔Ａ１に化粧を施した後の対象者Ａの顔Ａ２を撮像することにより取得した第２画像データＤ２とが入力する。
なお、本実施形態においては、化粧前後の顔を撮像した画像データに基づき変化を検出する例について説明するが、本発明はこれに限られない。第１画像データＤ１と第２画像データＤ２とは、少なくとも第２画像データＤ２の方が、第１画像データＤ１よりも後に撮像された画像データであればよい。また、第１画像データＤ１が撮像された時と、第２画像データＤ２が撮像された時との間に、化粧が施されてなくてもよく、また、化粧以外のヘアメイク等の装飾が施されてもよい。
【００１３】
検出部１０１は、入力する変化前の画像データと変化後の画像データから、人物の顔に含まれる一部であって検出対象として予め決められたパーツを検出する。なお、この予め決められたパーツとは、顔内の位置を検出するために基準となるパーツであって、例えば、眉毛、両目、鼻、口等である。この検出部１０１は、例えば、第１画像データＤ１と第２画像データＤ２から各パーツに対応する画像領域を検出し、各パーツの画像領域の位置を示す情報（以下、パーツ位置情報Ｆという）を取得する。なお、パーツ位置情報Ｆは、例えば、画像データに含まれる複数の画素の画素座標値で示される。また、第１画像データＤ１から検出された各パーツの位置を示す情報をパーツ位置情報Ｆ１と、第２画像データＤ２から検出された各パーツの位置を示す情報をパーツ位置情報Ｆ２と、それぞれ示す。
【００１４】
差分情報取得部１０２は、検出部１０１によって検出されたパーツ位置情報Ｆに基づき、入力する変化前の画像データと変化後の画像データに含まれる同じパーツ同士の位置を合わせることで、変化の前後の顔の位置合わせを実行する。この差分情報取得部１０２は、変化前後の顔の位置を合わせた状態において、入力する変化前の画像データと変化後の画像データに基づき、各画像データについての色成分の差分を示す情報（以下、差分情報Ｇという）を取得する。例えば、差分情報取得部１０２は、検出部１０１によって取得されたパーツ位置情報Ｆ１、Ｆ２に基づき、第１画像データＤ１と第２画像データＤ２について顔Ａ１と顔Ａ２との位置を合わせる。この差分情報取得部１０２は、顔Ａ１と顔Ａ２との位置を合わせた状態で、第１画像データＤ１に示される顔Ａ１の色成分Ｃ１´と、第２画像データＤ２に示される顔Ａ２の色成分Ｃ２´とを比較して、顔Ａ１と顔Ａ２との色成分の差分を示す差分情報Ｇ１２を取得する。なお、色成分とは、各画素に含まれるＲ（赤）、Ｇ（緑）、Ｂ（青）の色の強さを示す情報である。
【００１５】
例えば、顔Ａ２は、顔Ａ１に対して両頬にピンク色のチーク（頬紅）を施した顔である場合について説明する。この場合、顔Ａ２の両頬に相当する画素の色成分が顔Ａ１の両頬に相当する画素の色成分と異なる。よって、差分情報取得部１０２は、顔Ａ１と顔Ａ２の両頬に相当する画素の色成分の差分を示す情報を、差分情報Ｇ１２として取得する。また、差分情報取得部１０２は、検出部１０１によって検出されたパーツ位置情報Ｆ１、Ｆ２に基づき、顔と各パーツの位置関係に応じて、差分情報Ｇ１２が検出された画素が、顔内のどの位置に対応するかを示す情報（以下、変化位置情報Ｈという）を取得する。上述した顔Ａ１の両頬にピンク色のチークを施した顔が顔Ａ２である例において、差分情報取得部１０２は、差分情報Ｇ１２が検出された画素が、顔内の両頬に対応することを示す変化位置情報Ｈ１２を取得する。なお、顔内のどの位置に対応するかを示す情報は、顔の輪郭と各パーツとの位置関係に基づき、携帯端末１内のメモリに予め登録されている。
【００１６】
変化内容情報取得部１０３は、差分情報取得部１０２から入力する差分情報Ｇと変化位置情報Ｈとに基づき、人物の顔における位置に応じて予め決められている顔内の変化の内容を示す情報（以下、変化内容情報Ｊという）のうち、差分情報Ｇが示す色が変化している部分に対応する変化内容情報Ｊを取得する。言い換えると、変化内容情報取得部１０３は、検出部１０１によって検出された各パーツと、差分情報取得部１０２が算出した差分情報Ｇが示す色が変化している部分との位置関係に基づき、差分情報Ｇが示す色が変化している部分に対応する変化内容情報Ｊを取得する。
また、変化内容情報取得部１０３は、差分情報取得部１０２から入力する差分情報Ｇと変化位置情報Ｈとに基づき、差分情報Ｇが示す色に応じて予め決められている顔内の変化の内容を示す変化内容情報Ｊのうち、差分情報Ｇが示す色に対応する変化内容情報Jを取得する。
【００１７】
例えば、この変化内容情報取得部１０３は、差分情報取得部１０２から差分情報Ｇ１２と変化位置情報Ｈ１２とを入力する。変化内容情報取得部１０３は、入力する差分情報Ｇ１２と変化位置情報Ｈ１２とに基づき、顔Ａ２には顔Ａ１と比べて“両頬がピンク色に変化している”ということを判定する。つまり、変化内容情報取得部１０３は、“両頬がピンク色に変化している”という変化を検出する。変化内容情報取得部１０３は、この検出した変化を示す判定結果（つまり検出した変化）に基づき、携帯端末１内のメモリに予め登録されている差分情報Ｇに応じた変化の内容を示すデータを参照して、この変化の内容を示す変化内容情報Ｊを取得する。ここで、変化の内容とは、検出された変化の要因に基づき、色成分の変化が示す変化の内容である。つまり、変化内容情報取得部１０３は、“両頬がピンク色に変化している”という判定結果が、“両頬にピンク色のチークを施した”という変化の内容を示していると判定する。変化内容情報取得部１０３は、この“両頬にピンク色のチークを施した”という変化内容を示す変化内容情報Ｊ１２を取得する。なお、この例において、変化内容情報取得部１０３は、人物の顔における位置に応じて予め決められている顔内の変化の内容を示す情報である“両頬にチークを施した”という変化内容情報Ｊ１２−１と、差分情報Ｇが示す色に応じて予め決められている顔内の変化の内容を示す情報である“ピンク色のチークを施した”という変化内容情報Ｊ１２−２と、取得する。変化内容情報Ｊ１２は、この変化内容情報Ｊ１２−１と変化内容情報Ｊ１２−２とをあわせた情報である。
なお、本発明はこれに限られず、人物の顔における位置に応じて予め決められている顔内の変化の内容を示す情報だけを示す変化内容情報を取得するものであってもよい。
【００１８】
次に、図２を参照して、携帯端末１の構成の一例について説明する。図２は、携帯端末１の構成の一例を示すブロック図である。
図２に示す通り、携帯端末１は、上述の検出部１０１と、差分情報取得部１０２と、変化内容情報取得部１０３とを備える制御部１００を備える。また、携帯端末１は、撮像部１０４と、操作部１０５と、画像処理部１０６と、ワークメモリ１０７と、記録用メモリ１０８と、表示部１０９と、圧縮処理部１１０と、伸長処理部１１１と、リサイズ処理部１１２と、電源部１１３と、計時部１１４と、制御用メモリ１１５とを備える。
【００１９】
制御部１００は、上述の検出部１０１と、差分情報取得部１０２と、変化内容情報取得部１０３に加え、通知情報生成部１１６と、表示制御部１１７と、画像管理部１１８とを備える。なお、上述した検出部１０１と、差分情報取得部１０２と、変化内容情報取得部１０３とについても、ここでより詳細に説明する。
【００２０】
検出部１０１は、顔検出部１１０１と、顔パーツ検出部１１０２とを含む。
顔検出部１１０１は、記録用メモリ１０８から画像データを読み出して、画像に含まれる顔の輪郭を検出する。この顔検出部１１０１は、例えば、画像データに対してエッジ検出等を行い、画素値の変化の大きさに基づき、顔の輪郭を検出する。この顔検出部１１０１は、顔の輪郭を検出した場合、検出した顔の輪郭の位置を示す情報を取得する。この顔検出部１１０１は、例えば、画像データを構成する複数の画素の座標値で顔の輪郭の位置を示す情報を取得する。
【００２１】
顔パーツ検出部１１０２は、顔検出部１１０１から入力する情報に基づき、人物の顔に含まれる予め決められたパーツを検出する。例えば、顔パーツ検出部１１０２は、顔内における各パーツの概ねの位置と画像特徴量とが対応づけられているパーツ位置対応データＲ１を参照して、顔検出部１１０１によって検出された顔の画像特徴量に基づき、各パーツの画像領域の位置を検出する。このパーツ位置対応データＲ１において、例えば、１つのパーツである右目の項目としては、輪郭線でその範囲が規定される顔内の右目の概ねの位置を示す情報と、目の画像であると判定するための画像特徴量を示す情報とが対応付けられている。このパーツ位置対応データＲ１には、その他にも、左目、右眉、左眉・・・等、複数の項目ごとに情報が対応付けられている。顔パーツ検出部１１０２は、このパーツ位置対応データＲ１を参照することで、顔検出部１１０１によって検出された顔の輪郭に対応する各パーツの画像領域を検出することができる。そして、顔パーツ検出部１１０２は、各パーツを検出した場合、検出した各パーツの位置を示すパーツ位置情報Ｆを取得する。この顔パーツ検出部１１０２は、例えば、画像データを構成する複数の画素の座標値で各パーツの位置を示すパーツ位置情報Ｆを取得する。顔パーツ検出部１１０２は、第１画像データＤ１からパーツ位置情報Ｆ１を取得し、第２画像データＤ２からパーツ位置情報Ｆ２を取得する。なお、パーツ位置情報Ｆ１、Ｆ２のそれぞれには、検出された複数のパーツのそれぞれの位置を示す情報が含まれている。なお、パーツ位置対応データＲ１は、制御用メモリ１１５に保存されている。
【００２２】
差分情報取得部１０２は、記録用メモリ１０８から変化前の画像データと変化後の画像データとを読み出して、各画像に含まれる顔の色成分を比較して、両者の差分を示す差分情報Ｇを取得する。例えば、差分情報取得部１０２は、記録用メモリ１０８から第１画像データＤ１および第２画像データＤ２を読み出す。この差分情報取得部１０２は、検出部１０１によって検出された第１画像データＤ１に含まれる各パーツの位置を示すパーツ位置情報Ｆ１と、第２画像データＤ２に含まれる各パーツの位置を示すパーツ位置情報Ｆ２に基づき、顔Ａ１と顔Ａ２との位置を合わせた状態で、顔Ａ１を構成する各画素の色成分Ｃ１と、顔Ａ２を構成する各画素の色成分Ｃ２との差分を計算して、差分情報Ｇ１２を算出する。
具体的に説明すると、差分情報取得部１０２は、例えば、第１画像データＤ１および第２画像データＤ２に基づき、それぞれの画像データの各画素の色成分Ｃ１、Ｃ２を算出する。この差分情報取得部１０２は、顔Ａ１と顔Ａ２との位置を合わせた状態で、第１画像データＤ１に示される顔Ａ１に対応する画素の色成分Ｃ１´と、第２画像データＤ２に示される顔Ａ２に対応する画素の色成分Ｃ２´との差分を計算し、顔Ａ１と顔Ａ２との色成分Ｃ１´、Ｃ２´の差分を示す差分情報Ｇ１２を取得する。
また、差分情報取得部１０２は、検出部１０１によって検出された各パーツの位置関係に基づき、差分情報Ｇ１２が検出された画素が、顔内のどの位置に対応するかを示す変化位置情報Ｈ１２を取得する。具体的に説明すると、差分情報取得部１０２は、例えば、制御用メモリ１１５に登録されている位置関係データＲ２を参照して、差分情報Ｇ１２に基づき、顔Ａ１と顔Ａ２との色が異なる部分を人物の顔の位置で示す変化位置情報Ｈ１２を取得する。この位置関係データＲ２は、例えば、人物の顔内における各パーツの位置を示す基準点に対する相対的な位置関係を距離や方向により示す情報と、人物の顔内の位置を示す情報とを対応付ける情報である。例えば、この位置関係データＲ２において、人物の顔内の“頬”であることを示す情報は、目や鼻を示す基準点に対する相対的な位置関係において目の下であってかつ鼻の横の領域であることを示す情報と、対応付けられている。
【００２３】
変化内容情報取得部１０３は、差分情報取得部１０２から入力する差分情報Ｇと変化位置情報Ｈとに基づき、人物の顔における位置に応じて予め決められている顔内の変化の内容を示す変化内容情報Ｊを取得する。
例えば、変化内容情報取得部１０３は、入力する差分情報Ｇ１２と変化位置情報Ｈ１２とに基づき、顔Ａ２において、顔Ａ１から変化した部分の位置を示す情報と、変化した色を示す情報とを取得する。この変化内容情報取得部１０３は、顔Ａ１と顔Ａ２とを比較した場合に変化した部分の位置を示す情報として、“両頬の頬骨付近”を示す情報を取得する。また、変化内容情報取得部１０３は、変化した色を示す情報として、“ピンク色”を示す情報を取得する。つまり、変化内容情報取得部１０３は、入力する差分情報Ｇ１２と変化位置情報Ｈ１２に基づき、顔Ａ２は顔Ａ１と比べて“両頬がピンク色に変化している”と判定する。そして、変化内容情報取得部１０３は、判定結果が示す変化の要因に基づき、変化の内容を示す変化内容情報Ｊを取得する。ここでは、変化内容情報取得部１０３は、この検出した変化を示す判定結果（つまり検出した変化）に基づき、携帯端末１内のメモリに予め登録されている差分情報Ｇに応じた変化の内容を示す変化内容データＲ３を参照して、この変化の内容を示す変化内容情報Ｊを取得する。よって、変化内容情報取得部１０３は、“両頬がピンク色に変化している”ということを示す変化内容情報Ｊ１２を取得する。なお、変化内容データＲ３は、制御用メモリ１１５に保存されている。
【００２４】
通知情報生成部１１６は、変化内容情報取得部１０３によって取得された変化内容情報Ｊに基づき、変化の内容をユーザに通知する通知情報Ｋを生成する。例えば、通知情報生成部１１６は、制御用メモリ１１５に登録されている通知情報生成データＲ４を参照して、顔Ａ１に施された変化の手順を示す通知情報Ｋを生成する。この通知情報生成データＲ４には、「変化した部分の位置を示す情報」と、「変化した色を示す情報」と、この変化の部分や色に応じた通知情報Ｋとがそれぞれ対応付けられているデータである。通知情報生成部１１６は、通知情報生成データＲ４を参照して、変化内容情報Ｊ１２が示す「変化した部分の位置を示す情報」と「変化した色を示す情報」のうち少なくともいずれか一方と一致する通知情報Ｋを検索する。一致する通知情報Ｋが検索により得られた場合、通知情報生成部１１６は、検索により得た通知情報Ｋを表示制御部１１７に出力する。
【００２５】
表示制御部１１７は、表示部１０９に表示させる画像を作成し、表示部１０９に対して作成した画像を表示するよう制御する。この表示制御部１１７は、通知情報生成部１１６から入力する通知情報Ｋと、記録用メモリから読み出した画像データとに基づき、予め決められたレイアウトで、通知情報Ｋと画像データとを同時に表示部１０９に表示させる。なお、表示制御部１１７は、変化後の画像データと通知情報Ｋとを表示部１０９に表示させることが好ましい。しかし、本発明はこれに限られず、表示制御部１１７は、変化前後の両方の画像データの画像と通知情報Ｋとを同時に表示部１０９に表示させるようにしてもよい。また、表示制御部１１７は、変化前後の画像を表示している状態において通知情報Ｋを表示する操作指示が操作部１０５から入力された場合に、通知情報Ｋを表示部１０９に表示させるようにしてもよい。
【００２６】
画像管理部１１８は、撮像部１０４によって生成された画像データを記録用メモリ１０８に保管する。この画像管理部１１８は、例えば、操作部１０５のシャッターボタン１５２が押下された時刻を示す時刻情報を計時部１１４から取得し、この時刻情報と撮像部１０４によって生成された画像データとを対応付けて、記録用メモリ１０８に格納する。
【００２７】
撮像部１０４は、光学系１０４ａと、光学系１０４ａを介して入射する光学像から画像データを生成する撮像素子１０４ｂと、撮像素子１０４ｂから出力される画像データのアナログ信号をデジタル信号に変換し、画像データのデジタル信号を出力するＡ/Ｄ変換部１０４ｃとを備える。撮像部１０４は、操作部１０５を介して電源が起動されると、入射する光学像から画像データに生成して、連続的に画像処理部１０６に出力する。このように、撮像部１０４が撮像可能な状態において生成した画像データを連続して表示部１０９に表示する画像を、ライブビュー画像という。ユーザは、このライブビュー画像を見ながら、撮像する画像を決定することができる。
【００２８】
操作部１０５は、例えば、電源スイッチボタン１５１、シャッターボタン１５２、および再生ボタン１５３を備える。なお、操作部１０５は、これ以外にも、操作ボタン、十字キー、あるいはタッチパネルの操作入力手段を含む。この操作部１０５は、ユーザからの操作を受け付け、受け付けた操作を示す操作情報を出力する。なお、電源スイッチボタン１５１は、電源がオンされていない状態において押下されることにより、電源をオンする操作指示を受け付ける。また、電源スイッチボタン１５１は、電源がオンされている状態において押下されることにより、電源をオフする操作指示を受け付ける。シャッターボタン１５２は、電源がオンされている状態において押下されることで、撮像の操作指示を受け付ける。再生ボタン１５３は、押下されることで、携帯端末１の記録用メモリ１０８に保存されている画像データを再生する操作指示を受け付ける。
【００２９】
画像処理部１０６は、撮像部１０４から出力される画像データに対して画像処理をし、ワークメモリ１０７に格納する。
ワークメモリ１０７は、携帯端末１の各種処理において一時的に情報を格納する記憶領域である。
記録用メモリ１０８は、ユーザがシャッターボタン１５２を押下したことにより撮像部１０４が撮像した画像データを保存する記憶領域である。
表示部１０９は、例えば、液晶ディスプレイであって、制御部１００の表示制御部１１７によって表示が制御される。
圧縮処理部１１０は、撮像部１０４によって生成された画像データを、例えば、ＪＰＥＧファイルに圧縮する処理を実行する。
伸長処理部１１１は、記録用メモリ１０８にＪＰＥＧファイルで圧縮して格納されている画像データを、例えばＪＰＥＧ画像に伸長する処理を実行する。この伸長処理部１１１は、ＪＰＥＧ画像に伸長した画像を、ワークメモリ１０７に展開する。
リサイズ処理部１１２は、撮像部１０４によって生成された画像データのサイズを、表示部１０９において表示可能なサイズにリサイズする処理を実行する。
電源部１１３は、電池を備え、電池の電力を携帯端末１の全体に供給する。
計時部１１４は、時刻を計時し、計時した時刻を示す時刻情報を出力する。
制御用メモリ１１５は、制御部１００が各種の制御処理を実行する際に利用する情報を格納する記憶領域である。
【００３０】
次に、図３〜１１を参照して、本実施形態に係る携帯端末１の動作フローの一例について説明する。図３は、携帯端末１の動作フローの一例を示すフローチャートである。なお、ここで説明する携帯端末１の動作フローは、対象者Ａが美容部員によって化粧を施してもらっているというシーンにおいて、対象者Ａが化粧の手順ごとに自分の顔を撮像した場合の携帯端末１の動作フローである。図３では、説明省略のために、化粧をしていない状態の顔Ａ１から、両頬にチークを入れた状態の顔Ａ２の変化の内容を示す変化内容情報を取得する例について説明する。しかし、本発明に係る携帯端末１はこれに限られず、チークの後に、アイシャドー、アイブロー、アイライナー、マスカラ等で化粧をする度ごと、化粧の前後の顔を撮影して、以下に説明するような処理を実行してもよい。
【００３１】
まず、携帯端末１は、操作部１０５の電源スイッチ１５１が押下され、電源がオンされると、撮像部１０４によって撮像されている画像をライブビュー画像として表示部１０９に表示する。ここで、表示部１０９は、例えば、表示部１０９が表示する画面内に顔の基準位置を示す顔マーカー２０１を表示する。この顔マーカー２０１の表示例を、図４に示す。図４に示すように、顔マーカー２０１は、人物の顔の輪郭の概ねの形状を示す線である。なお、図４に示すように、顔マーカー２０１の付近には、対象者Ａにその使用方法を示す情報（例えば、“ここに顔をあわせて下さい”）を表示してもよい。
【００３２】
（ステップＳＴ１）
そして、対象者Ａは、ライブビュー画像を見ながら、自分の顔の輪郭と顔マーカー２０１とを合わせて、シャッターボタン１５２を押下する。これにより、撮像部１０４は、第１画像データＤ１を生成し、画像処理部１０６に出力する。この第１画像データＤ１の画像の一例を図５に示す。図５に示す通り、第１画像データＤ１の画像には、化粧をしていない状態の対象者Ａの顔Ａ１が含まれている。そして、画像処理部１０６は、第１画像データＤ１に対して画像処理をし、ワークメモリ１０７に格納する。次いで、圧縮処理部１１０は、ワークメモリ１０７内の第１画像データＤ１を、例えば、ＪＰＥＧファイルに圧縮する処理を実行する。そして、制御部１００の画像管理部１１８は、例えば、顔Ａ１を撮像するため操作部１０５のシャッターボタン１５２が押下された時刻を示す時刻情報を計時部１１４から取得し、この時刻情報と第１画像データＤ１とを対応付けて、記録用メモリ１０８に格納する。
【００３３】
ここで、対象者Ａは、美容部員によって、両頬にピンク色のチークをのせてもらう。より具体的に説明すると、美容部員は、対象者Ａの頬骨の一番高いところを中心に楕円状にチークをのせる。このとき、美容部員は、中心から外側に向かって徐々に色が薄くなるように、ぼかしてチークをのせる。
【００３４】
（ステップＳＴ２）
そして、対象者Ａは、ライブビュー画像を見ながら、再度、自分の顔の輪郭と顔マーカー２０１とを合わせ、シャッターボタン１５２を押下する。これにより、撮像部１０４は、第２画像データＤ２を生成し、画像処理部１０６に出力する。この第２画像データＤ２の画像の一例を図６に示す。図６に示す通り、第２画像データＤ２の画像には、化粧をしていない状態の対象者Ａの顔Ａ１に対して、両頬にチークがのせられた対象者Ａの顔Ａ２が含まれている。そして、画像処理部１０６は、第２画像データＤ２に対して画像処理をし、ワークメモリ１０７に格納する。次いで、圧縮処理部１１０は、ワークメモリ１０７内の第２画像データＤ２を、例えば、ＪＰＥＧファイルに圧縮する処理を実行する。そして、制御部１００の画像管理部１１８は、例えば、顔Ａ２を撮像するため操作部１０５のシャッターボタン１５２が押下された時刻を示す時刻情報を計時部１１４から取得し、この時刻情報と第２画像データＤ２とを対応付けて、記録用メモリ１０８に格納する。
【００３５】
（ステップＳＴ３）
そして、検出部１０１の顔検出部１１０１は、記録用メモリ１０８から第１画像データＤ１と第２画像データＤ２とを読み出して、各画像に含まれる顔Ａ１と顔Ａ２の輪郭を検出する。顔検出部１１０１が検出した顔の輪郭の一例を図７、８に示す。図７は、第１画像データＤ１から検出した顔Ａ１の輪郭を示す輪郭線２０２を示す。また、図８は、第２画像データＤ２から検出した顔Ａ２の輪郭を示す輪郭線２０３を示す。この顔検出部１１０１は、第１画像データＤ１において輪郭線２０２の位置を示す情報を取得する。また、顔検出部１１０１は、第２画像データＤ２において輪郭線２０３の位置を示す情報を取得する。この輪郭線２０２、２０３の位置を示す情報とは、例えば、各画像データに含まれる画素の座標値である。顔検出部１１０１は、検出した輪郭線２０２の位置を示す情報と、輪郭線２０３の位置を示す情報とを顔パーツ検出部１１０２に出力する。
【００３６】
（ステップＳＴ４）
次いで、顔パーツ検出部１１０２は、顔検出部１１０１から入力する情報に基づき、人物の顔に含まれる予め決められたパーツを検出する。ここで、図９、１０を参照して、画像データから各パーツを検出する一例について説明する。図９は、第１画像データＤ１の画像から検出されるパーツの基準点を示す図である。図１０は、第２画像データＤ２の画像から検出されるパーツの基準点を示す図である。
顔パーツ検出部１１０２は、例えば、顔検出部１１０１によって検出された顔の輪郭線２０２、２０３のそれぞれと接する矩形状の顔枠２０４、２０５において、予め位置が決められている各パーツを検出する。顔パーツ検出部１１０２は、例えば、顔枠２０４、２０５内における各パーツの概ねの位置と各パーツの画像特徴量とが対応づけられているパーツ位置対応データＲ１を用いて、顔枠２０４、２０５内の画像特徴量に基づき、各パーツの画像領域を検出する。
【００３７】
（ステップＳＴ５）
そして、顔パーツ検出部１１０２は、検出した各パーツの画像領域に基づき、各パーツの位置を示す基準点を検出し、パーツ位置情報Ｆを取得する。具体的に説明すると、顔パーツ検出部１１０２は、図９、１０に示すように、右の眉毛の左右の２点ａ、ｂと、左の眉毛の左右の２点ｃ、ｄと、右目の左右の２点ｅ、ｆと、左目の左右の２点ｇ、ｈと、右の小鼻の付け根ｉと、左の小鼻の付け根ｊと、口の左右の２点ｋ、ｌとのそれぞれの位置を、各パーツの基準点として検出する。
顔パーツ検出部１１０２は、第１画像データＤ１から検出した各パーツの基準点ａ〜ｌを検出し、基準点ａ〜ｌに対応する画素の座標値を示す情報を、パーツ位置情報Ｆ１として取得する。また、顔パーツ検出部１１０２は、第２画像データＤ２から検出した各パーツの基準点ａ〜ｌを検出し、基準点ａ〜ｌに対応する画素の座標値を示す情報を、パーツ位置情報Ｆ２として取得する。
そして、顔パーツ検出部１１０２は、取得したパーツ位置情報Ｆ１、Ｆ２を差分情報取得部１０２に出力する。
【００３８】
（ステップＳＴ６）
次いで、差分情報取得部１０２は、記録用メモリ１０８から第１画像データＤ１と第２画像データＤ２とを読み出して、各画像に含まれる顔Ａ１と顔Ａ２との色成分の差分を示す差分情報Ｇ１２を取得する。具体的に説明すると、差分情報取得部１０２は、顔パーツ検出部１１０２から入力するパーツ位置情報Ｆ１、Ｆ２に基づき、第１画像データＤ１と第２画像データＤ２について同じパーツ同士の位置を合わせて、顔Ａ１と顔Ａ２との位置を合わせる。また、差分情報取得部１０２は、例えば、第１画像データＤ１および第２画像データＤ２に基づき、それぞれの画像データの各画素の色成分Ｃ１、Ｃ２を算出する。
そして、差分情報取得部１０２は、顔Ａ１と顔Ａ２との位置を合わせた状態で、第１画像データＤ１に示される顔Ａ１に対応する色成分Ｃ１´と、第２画像データＤ２に示される顔Ａ２に対応する色成分Ｃ２´とを比較して、顔Ａ１と顔Ａ２との色成分の差分を示す差分情報Ｇ１２を取得する。
【００３９】
（ステップＳＴ７）
本実施形態では、顔Ａ１に対して両頬にピンク色のチークを施した顔が顔Ａ２である。よって、顔Ａ２の両頬に相当する画素の色成分が顔Ａ１の両頬に相当する画素の色成分と異なる。従って、差分情報取得部１０２は、顔Ａ１と顔Ａ２の両頬に相当する画素の色成分の差分を、差分情報Ｇ１２として取得する。
また、差分情報取得部１０２は、パーツ位置情報Ｆ１、Ｆ２に基づき、検出部１０１によって検出された各パーツの位置関係に応じて、差分情報Ｇ１２が検出された画素が、顔内のどの位置に対応するかを示す変化位置情報Ｈ１２を取得する。従って、差分情報取得部１０２は、各パーツの基準点ａ〜ｌの位置情報に基づき、各パーツの位置関係を示す位置関係データＲ２を参照して、差分情報Ｇ１２が示す顔Ａ１と顔Ａ２とを比較して色が異なる部分が、顔内のどの位置に対応する領域であるかを判定する。この差分情報取得部１０２は、位置関係データＲ２を参照して、例えば、顔内の各パーツとの相対的な距離に応じて、顔内のどの位置（例えば、頬、頬骨のトップ、下頬、口の横、目じり、Ｔゾーン等）に対応する領域であるかを判定する。そして、差分情報取得部１０２は、判定した顔内の領域を示す変化位置情報Ｈ１２を取得する。そして、差分情報取得部１０２は、取得した差分情報Ｇ１２と変化位置情報Ｈ１２とを変化内容情報取得部１０３に出力する。
【００４０】
そして、変化内容情報取得部１０３は、検出部１０１によって検出された各パーツと、差分情報取得部１０２が算出した差分情報Ｇ１２が示す「色が変化している部分」との位置関係に基づき、人物の顔における位置に応じて予め決められている顔内の変化の内容を示す変化内容情報Ｊ１２を取得する。
【００４１】
（ステップＳＴ８）
具体的に説明すると、変化内容情報取得部１０３は、入力する差分情報Ｇ１２と変化位置情報Ｈ１２に基づき、顔Ａ２において、顔Ａ１から「変化した部分の位置を示す情報」と、「変化した色を示す情報」を取得する。従って、変化内容情報取得部１０３は、顔Ａ１と顔Ａ２とを比較した場合に「変化した部分の位置を示す情報」として、両頬の頬骨を中心にした楕円形の領域を示す情報を取得する。また、変化内容情報取得部１０３は、「変化した色を示す情報」として、頬骨を中心が最も濃いピンク色で、外側に向かって徐々に薄いピンク色に変化する色彩を示す情報を取得する。つまり、変化内容情報取得部１０３は、顔Ａ２は顔Ａ１と比べて“両頬の楕円形の領域がピンク色に変化しており、具体的には、頬骨の中心が最も濃いピンク色で、外側に向かって徐々に薄いピンク色に変化している”ということを判定する。言い換えると、変化内容情報取得部１０３は、このような変化を検出している。
【００４２】
（ステップＳＴ９）
そして、変化内容情報取得部１０３は、ステップＳＴ８の判定結果が示す変化に基づき、変化の内容を示す変化内容情報Ｊ１２を取得する。ここでは、変化内容情報取得部１０３は、判定結果が示す変化に基づき、携帯端末１内のメモリに予め登録されている差分情報Ｇに応じた変化の内容を示す変化内容データＲ３を参照して、この変化の内容を示す変化内容情報Ｊ１２を取得する。従って、差分情報取得部１０２は、“両頬の楕円形の領域がピンク色に変化している”という判定結果から、その変化の内容は、“両頬にピンク色のチークを施した”という変化内容を示していると判定する。よって、変化内容情報取得部１０３は、変化内容情報Ｊ１２−１として、“両頬にピンク色のチークを施した”ことを示す情報を取得する。
また、差分情報取得部１０２は、“頬骨の中心が最も濃いピンク色で、外側に向かって徐々に薄いピンク色に変化している”という判定結果から、その変化の内容が“頬骨のトップを中心にグラデーションをつけた色彩を施した”という変化内容を示していると判定する。よって、変化内容情報取得部１０３は、変化内容情報Ｊ１２−２として、“頬骨のトップを中心にグラデーションをつけた色彩を施した”ことを示す情報を取得する。
よって、差分情報取得部１０２は、この変化内容情報Ｊ１２−１と変化内容情報Ｊ１２−２とに基づき、変化の内容が“両頬にピンク色のチークを施した”ことと“頬骨のトップを中心にグラデーションをつけた色彩を施した”ことであることを示す変化内容情報Ｊ１２を取得する。
【００４３】
（ステップＳＴ１０）
次いで、通知情報生成部１１６は、変化内容情報Ｊ１２に基づき、変化の内容を対象者Ａに通知する通知情報Ｋ１２を生成する。例えば、通知情報生成部１１６は、制御用メモリ１１５に登録されている通知情報生成データＲ４を参照して、変化の内容に対応する通知情報Ｋ１２を生成する。具体的に説明すると、通知情報生成部１１６は、通知情報生成データＲ４に登録されている「変化した部分の位置を示す情報」や「変化した色を示す情報」と、変化内容情報Ｊ１２が示す「変化した部分の位置を示す情報」と「変化した色を示す情報」とを比較して一致するものを検索する。一致する情報が検索して得られた場合、変化内容情報取得部１０３は、通知情報生成データＲ４において、変化内容情報Ｊ１２が示す「変化した部分の位置を示す情報」と「変化した色を示す情報」と一致する情報と対応付けられている通知情報Ｋを、通知情報Ｋ１２として取得する。
例えば、通知情報生成データＲ４において、変化した部分を示す情報として「頬、頬骨」が、変化した色を示す情報として「ピンク色、グラデーション」が、登録されている。また、これらの情報に対応する通知情報Ｋとして「頬骨のトップを中心に、ピンク色のチークを入れてください。ここでポイントは、トップを中心に色を濃く入れて、周りの色をぼかしてください」が登録されている。
一方、通知情報生成部１１６は、変化内容情報Ｊ１２が示す「変化した部分の位置を示す情報」として、頬および頬骨を、「変化した色を示す情報」として、ピンク色、グラデーションを取得している。よって、通知情報生成部１１６は、通知情報Ｋ１２として、通知情報生成データＲ４に登録されている通知情報Ｋ「頬骨のトップを中心に、ピンク色のチークを入れてください。ここでポイントは、トップを中心に色を濃く入れて、周りの色をぼかしてください」を、通知情報Ｋ１２として取得する。
そして、通知情報生成部１１６は、取得した通知情報Ｋ１２を表示制御部１１７に出力する。
【００４４】
（ステップＳＴ１１）
次いで、表示制御部１１７は、通知情報生成部１１６から入力する通知情報Ｋ１２と、記録用メモリ１０８から読み出した第２画像データＤ２とに基づき、予め決められたレイアウトで、通知情報Ｋと第２画像データＤ２とを表示部１０９に表示させる。このとき、表示部１０９に表示される画像の一例を、図１１に示す。図１１に示す通り、表示部１０９には、第２画像データＤ２が表示され、この第２画像データＤ２の画像の下に、通知情報が表示される。
【００４５】
上述の通り、本実施形態に係る携帯端末１は、対象者の顔を撮影した画像データに基づき、変化前の画像データと変化後の画像データの色成分の変化に基づき、変化した内容を判定することができる。よって、変化後の画像データにおいて、変化前の対象者に対してどのような変化要因が与えられたかを判定することができる。従って、対象者は、変化前の顔と、変化後の顔を撮像するだけで、変化の内容を示す情報を取得することができる。つまり、対象者は、変化の内容を示す情報を自ら作成する手間が省け、さらに、変化後の画像データと変化の内容を示す情報とを対応付けて管理する手間が省ける。
【００４６】
例えば、対象者Ａが美容部員に、チーク、アイシャドー、アイブロー、アイライナー、マスカラ、の順番で化粧を施してもらう場合、対象者Ａは、チークをつける前の顔Ａ１を撮像し、チークをつけた後の顔Ａ２を撮像する。その後、アイシャドーをつけた後の顔Ａ３を撮像し、アイブローをつけた後の顔Ａ４を撮像し、アイライナーをつけた後の顔Ａ５を撮像し、マスカラをつけた後の顔Ａ６を撮像する。
この場合、携帯端末１は、顔Ａ２と顔Ａ３を比較することで、アイシャドーの入れ方を示す情報を取得することができる。例えば、アイホール全体にホワイト系のラメパウダーをのせた後、目じりにピンク系のパウダーをのせて、目の際に茶系のアイライナーをぼかしていれたとする。この場合、携帯端末１は、顔Ａ２と顔Ａ３の色成分を比較して、上述のような処理を実行することにより、変化の内容を示す変化内容情報Ｊとして、上述のようなアイシャドーの状態（アイホール全体にホワイト系のラメパウダーが全体的についていること、目じりにピンク系のパウダーが付いていること、目の際に茶系のアイライナーが外側がグラデーション状態で付いていること）を示す情報を取得することができる。なお、このようなアイメイクをする場合、最初にアイホール全体に薄い色を入れて、暖色系のパウダーは濃い暗い色よりも先につける場合が多い。このように、パウダーの色や付けられている場所によって、アイライナーの入れ方を推測することができる。よって、アイメイクの色を示す情報と、アイメイクの位置を示す情報と、これらアイメイクの色と位置に応じて予め決められる通知情報Ｋとを、それぞれ対応付けた通知情報生成データＲ４を用いることにより、携帯端末１は、アイシャドーの入れ方を示す通知情報Ｋを取得することができる。
【００４７】
このように、美容部員やメイクアップアーティスト等のプロに化粧をしてもらった場合であっても、対象者Ａは、変化前の顔と変化後の顔を撮像することにより、化粧の手順や化粧のポイント等を示した文字情報を取得することができる。これにより、対象者Ａは、化粧を受けている最中に化粧の手順をメモしたりする手間が省ける。また、取得した文字情報を利用して、美容部員やメイクアップアーティスト等によるプロの技を再現することが可能となる。
【００４８】
また、本実施形態に係る携帯端末１は、化粧を施す前後の顔ではなく、例えば、数ヶ月前の顔と現在の顔とを比較して、その変化を示す変化内容情報Jや通知情報Ｋを取得するものであってもよい。例えば、携帯端末１は、しみ、皺、日焼けなどの変化を検出し、変化内容情報Jや通知情報Ｋを取得するもであってもよい。
【００４９】
さらに、本実施形態に係る情報読取装置は、携帯端末１に搭載されている構成に限られず、例えば、サーバに搭載されているものであってもよい。この場合、サーバは、通信可能に接続される携帯端末から受信した画像データに基づき、変化内容情報Ｊや通知情報Ｋを作成し、作成した変化内容情報Ｊや通知情報Ｋを携帯端末に返信するものであってもよい。これにより、携帯端末側では、情報読取装置の構成を有していない場合であっても、画像データをサーバに送信することで、変化内容情報Ｊや通知情報Ｋを取得することができる。
【００５０】
また、本実施の形態に係る情報取得装置は、内部にコンピュータシステムを有している。そして、動作の過程は、プログラムの形式でコンピュータ読み取り可能な記録媒体に記憶されており、このプログラムをコンピュータシステムが読み出して実行することによって、上記処理が行われる。ここでいう「コンピュータシステム」とは、ＣＰＵ及び各種メモリやＯＳ、周辺機器等のハードウェアを含むものである。
また、「コンピュータシステム」は、ＷＷＷシステムを利用している場合であれば、ホームページ提供環境（あるいは表示環境）も含むものとする。
【００５１】
また、各ステップを実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、また、この機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより、検出対象物の形状情報の推定値を算出する処理を行ってもよい。
また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、フラッシュメモリ等の書き込み可能な不揮発性メモリ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。
【００５２】
さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（例えばＤＲＡＭ（Dynamic Random Access Memory））のように、一定時間プログラムを保持しているものも含むものとする。
また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。
また、上記プログラムは、前述した機能の一部を実現するためのものであっても良い。さらに、前述した機能をコンピュータシステムに既に記録されているプログラムとの組合せで実現できるもの、いわゆる差分ファイル（差分プログラム）であっても良い。
【符号の説明】
【００５３】
１…携帯端末
１００…制御部、
１０１…検出部、
１０２…差分情報取得部、
１０３…変化内容情報取得部、
１０４…撮像部、
１０５…操作部、
１０６…画像処理部、
１０７…ワークメモリ、
１０８…記録用メモリ、
１０９…表示部、
１１０…圧縮処理部、
１１１…伸長処理部、
１１２…リサイズ処理部、
１１３…電源部、
１１４…計時部、
１１５…制御用メモリ、
１１６…通知情報生成部、
１１７…表示制御部、
１１８…画像管理部、
１１０１…顔検出部、
１１０２…顔パーツ検出部、
Ｒ１…パーツ位置対応データ
Ｒ２…位置関係データ
Ｒ３…変化内容データ
Ｒ４…通知情報生成データ
２０１…顔マーカー
２０２…輪郭線
２０３…輪郭線
２０４…顔枠
２０５…顔枠
【技術分野】
【０００１】
本発明は、情報取得装置、情報取得方法、およびプログラムに関する。
【背景技術】
【０００２】
対象者の顔を撮像し、撮像により得られた画像データを利用して、化粧のアドバイスを行うシステムがある。
例えば、対象者の顔を撮像した画像データに基づき、対象者の顔に仮想的に化粧を施した顔の画像を表示する表示装置がある。これにより、対象者は、実際に化粧をしなくても、化粧を施した場合の自分の顔をイメージすることができる（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００１−２３８７２７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、全ての対象者の顔の凹凸形状や素肌の色等が一致しているわけではないため、仮想的に化粧を施した場合と、実際に化粧を施した場合とでは、化粧後の顔のイメージが異なるという問題がある。そのため、実際に化粧品の購入を検討している場合、対象者は、売場等で化粧部員に化粧を施してもらい、自分の顔にあっているかどうかを確認してから、化粧品を購入するという場合が多い。
また、同じ化粧品であっても、付ける位置や色の濃さによって、顔のイメージが異なる場合がある。そのため、化粧品を購入しても、売場の化粧部員が化粧したように対象者自身が再現できないという問題がある。
【０００５】
本発明は、上記の事情を考慮してなされたものであり、画像データから同一対象者の顔の変化を検出し、変化の内容を示す情報を取得することができる情報取得装置、情報取得方法、およびプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００６】
この発明は上述した課題を解決するためになされたもので、本発明の一態様による情報取得装置は、対象者の顔を撮影することにより取得した第１画像データと、前記第１画像データを撮像した後に前記被写体の顔を撮像することにより取得した第２画像データとから、それぞれ、人物の顔に含まれる一部であって検出対象として予め決められたパーツを検出する検出部と、前記検出部によって検出された同じパーツ同士を対応付けて前記第１画像データ内の顔と前記第２画像データ内の顔との位置を合わせて、前記第１画像データに示される顔の色成分と、前記第２画像データに示される顔の色成分とを比較して、前記第１画像データと前記第２画像データとの色成分の差分を示す差分情報を取得する差分情報取得部と、前記検出部によって検出された各パーツと、前記差分情報が示す色が変化している部分との位置関係に基づき、人物の顔における位置に応じて予め決められている顔内の変化の内容を示す変化内容情報うち、前記差分情報が示す色が変化している部分に対応する前記変化内容情報を取得する変化内容情報取得部と、を備える。
【０００７】
この発明は上述した課題を解決するためになされたもので、本発明の一態様による情報取得方法は、対象者の顔を撮影することにより取得した第１画像データと、前記第１画像データを撮像した後に前記被写体の顔を撮像することにより取得した第２画像データとから、それぞれ、人物の顔に含まれる一部であって検出対象として予め決められたパーツを検出するステップと、検出された同じパーツ同士を対応付けて前記第１画像データ内の顔と前記第２画像データ内の顔との位置を合わせて、前記第１画像データに示される顔の色成分と、前記第２画像データに示される顔の色成分とを比較して、前記第１画像データと前記第２画像データとの色成分の差分を示す差分情報を取得するステップと、検出された各パーツと、前記差分情報が示す色が変化している部分との位置関係に基づき、人物の顔における位置に応じて予め決められている顔内の変化の内容を示す変化内容情報うち、前記差分情報が示す色が変化している部分に対応する前記変化内容情報を取得するステップと、を備える。
【０００８】
この発明は上述した課題を解決するためになされたもので、本発明の一態様によるプログラムは、コンピュータに、対象者の顔を撮影することにより取得した第１画像データと、前記第１画像データを撮像した後に前記被写体の顔を撮像することにより取得した第２画像データとから、それぞれ、人物の顔に含まれる一部であって検出対象として予め決められたパーツを検出する検出手順、検出された同じパーツ同士を対応付けて前記第１画像データ内の顔と前記第２画像データ内の顔との位置を合わせて、前記第１画像データに示される顔の色成分と、前記第２画像データに示される顔の色成分とを比較して、前記第１画像データと前記第２画像データとの色成分の差分を示す差分情報を取得する差分情報取得手順、検出された各パーツと、前記差分情報が示す色が変化している部分との位置関係に基づき、人物の顔における位置に応じて予め決められている顔内の変化の内容を示す変化内容情報うち、前記差分情報が示す色が変化している部分に対応する前記変化内容情報を取得する変化内容情報取得手順、を実行させるためのプログラムである。
【発明の効果】
【０００９】
本発明によれば、画像データから同一対象者の顔の変化を検出し、変化の内容を示す情報を取得することができる。
【図面の簡単な説明】
【００１０】
【図１】本発明の一実施形態に係る情報取得装置（携帯端末）の概略構成の一例を示す図である。
【図２】本発明の一実施形態に係る情報取得装置（携帯端末）の構成の一例を示すブロック図である。
【図３】本発明の一実施形態に係る情報取得装置（携帯端末）の動作フローの一例について説明するための図である。
【図４】本発明の一実施形態に係る情報取得装置（携帯端末）に表示される顔マーカーの一例を示す図である。
【図５】本発明の一実施形態に係る第１画像データＤ１の画像の一例を示す図である。
【図６】本発明の一実施形態に係る第２画像データＤ２の画像の一例を示す図である。
【図７】本発明の一実施形態に係る第１画像データＤ１から検出した顔Ａ１の輪郭を示す輪郭線２０２を示す。
【図８】本発明の一実施形態に係る第２画像データＤ２から検出した顔Ａ２の輪郭を示す輪郭線２０３を示す。
【図９】本発明の一実施形態に係る第１画像データＤ１の画像から検出されるパーツの基準点を示す図である。
【図１０】本発明の一実施形態に係る第２画像データＤ２の画像から検出されるパーツの基準点を示す図である。
【図１１】本発明の一実施形態に係る通知情報Ｋを表示する画像の一例を示す図である。
【発明を実施するための形態】
【００１１】
［第１実施形態］
以下、図面を参照して本発明の一実施形態について説明する。図１は、本発明の一実施形態に係る情報取得装置の概要について説明するための図である。なお、本実施形態では、情報取得装置がカメラ付き携帯端末である例について、以下説明する。しかし、本発明はこれに限られず、情報取得装置は、スマートフォン、携帯ゲーム機、タブレット型ＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）、あるいは、ノート型ＰＣ等であってもよい。
本実施形態に係る携帯端末１は、対象者の変化前後の顔を撮像することにより、顔の変化の内容を示す情報を対象者に提供するものである。
【００１２】
図１に示す通り、本実施形態に係る携帯端末１は、検出部１０１と、差分情報取得部１０２と、変化内容情報取得部１０３とを備える。この検出部１０１と差分情報取得部１０２とには、対象者の顔を撮像することにより取得した画像データが入力する。本実施形態において、検出部１０１と差分情報取得部１０２とには、対象者Ａの顔Ａ１を撮像することにより取得した第１画像データＤ１と、対象者Ａの顔Ａ１に化粧を施した後の対象者Ａの顔Ａ２を撮像することにより取得した第２画像データＤ２とが入力する。
なお、本実施形態においては、化粧前後の顔を撮像した画像データに基づき変化を検出する例について説明するが、本発明はこれに限られない。第１画像データＤ１と第２画像データＤ２とは、少なくとも第２画像データＤ２の方が、第１画像データＤ１よりも後に撮像された画像データであればよい。また、第１画像データＤ１が撮像された時と、第２画像データＤ２が撮像された時との間に、化粧が施されてなくてもよく、また、化粧以外のヘアメイク等の装飾が施されてもよい。
【００１３】
検出部１０１は、入力する変化前の画像データと変化後の画像データから、人物の顔に含まれる一部であって検出対象として予め決められたパーツを検出する。なお、この予め決められたパーツとは、顔内の位置を検出するために基準となるパーツであって、例えば、眉毛、両目、鼻、口等である。この検出部１０１は、例えば、第１画像データＤ１と第２画像データＤ２から各パーツに対応する画像領域を検出し、各パーツの画像領域の位置を示す情報（以下、パーツ位置情報Ｆという）を取得する。なお、パーツ位置情報Ｆは、例えば、画像データに含まれる複数の画素の画素座標値で示される。また、第１画像データＤ１から検出された各パーツの位置を示す情報をパーツ位置情報Ｆ１と、第２画像データＤ２から検出された各パーツの位置を示す情報をパーツ位置情報Ｆ２と、それぞれ示す。
【００１４】
差分情報取得部１０２は、検出部１０１によって検出されたパーツ位置情報Ｆに基づき、入力する変化前の画像データと変化後の画像データに含まれる同じパーツ同士の位置を合わせることで、変化の前後の顔の位置合わせを実行する。この差分情報取得部１０２は、変化前後の顔の位置を合わせた状態において、入力する変化前の画像データと変化後の画像データに基づき、各画像データについての色成分の差分を示す情報（以下、差分情報Ｇという）を取得する。例えば、差分情報取得部１０２は、検出部１０１によって取得されたパーツ位置情報Ｆ１、Ｆ２に基づき、第１画像データＤ１と第２画像データＤ２について顔Ａ１と顔Ａ２との位置を合わせる。この差分情報取得部１０２は、顔Ａ１と顔Ａ２との位置を合わせた状態で、第１画像データＤ１に示される顔Ａ１の色成分Ｃ１´と、第２画像データＤ２に示される顔Ａ２の色成分Ｃ２´とを比較して、顔Ａ１と顔Ａ２との色成分の差分を示す差分情報Ｇ１２を取得する。なお、色成分とは、各画素に含まれるＲ（赤）、Ｇ（緑）、Ｂ（青）の色の強さを示す情報である。
【００１５】
例えば、顔Ａ２は、顔Ａ１に対して両頬にピンク色のチーク（頬紅）を施した顔である場合について説明する。この場合、顔Ａ２の両頬に相当する画素の色成分が顔Ａ１の両頬に相当する画素の色成分と異なる。よって、差分情報取得部１０２は、顔Ａ１と顔Ａ２の両頬に相当する画素の色成分の差分を示す情報を、差分情報Ｇ１２として取得する。また、差分情報取得部１０２は、検出部１０１によって検出されたパーツ位置情報Ｆ１、Ｆ２に基づき、顔と各パーツの位置関係に応じて、差分情報Ｇ１２が検出された画素が、顔内のどの位置に対応するかを示す情報（以下、変化位置情報Ｈという）を取得する。上述した顔Ａ１の両頬にピンク色のチークを施した顔が顔Ａ２である例において、差分情報取得部１０２は、差分情報Ｇ１２が検出された画素が、顔内の両頬に対応することを示す変化位置情報Ｈ１２を取得する。なお、顔内のどの位置に対応するかを示す情報は、顔の輪郭と各パーツとの位置関係に基づき、携帯端末１内のメモリに予め登録されている。
【００１６】
変化内容情報取得部１０３は、差分情報取得部１０２から入力する差分情報Ｇと変化位置情報Ｈとに基づき、人物の顔における位置に応じて予め決められている顔内の変化の内容を示す情報（以下、変化内容情報Ｊという）のうち、差分情報Ｇが示す色が変化している部分に対応する変化内容情報Ｊを取得する。言い換えると、変化内容情報取得部１０３は、検出部１０１によって検出された各パーツと、差分情報取得部１０２が算出した差分情報Ｇが示す色が変化している部分との位置関係に基づき、差分情報Ｇが示す色が変化している部分に対応する変化内容情報Ｊを取得する。
また、変化内容情報取得部１０３は、差分情報取得部１０２から入力する差分情報Ｇと変化位置情報Ｈとに基づき、差分情報Ｇが示す色に応じて予め決められている顔内の変化の内容を示す変化内容情報Ｊのうち、差分情報Ｇが示す色に対応する変化内容情報Jを取得する。
【００１７】
例えば、この変化内容情報取得部１０３は、差分情報取得部１０２から差分情報Ｇ１２と変化位置情報Ｈ１２とを入力する。変化内容情報取得部１０３は、入力する差分情報Ｇ１２と変化位置情報Ｈ１２とに基づき、顔Ａ２には顔Ａ１と比べて“両頬がピンク色に変化している”ということを判定する。つまり、変化内容情報取得部１０３は、“両頬がピンク色に変化している”という変化を検出する。変化内容情報取得部１０３は、この検出した変化を示す判定結果（つまり検出した変化）に基づき、携帯端末１内のメモリに予め登録されている差分情報Ｇに応じた変化の内容を示すデータを参照して、この変化の内容を示す変化内容情報Ｊを取得する。ここで、変化の内容とは、検出された変化の要因に基づき、色成分の変化が示す変化の内容である。つまり、変化内容情報取得部１０３は、“両頬がピンク色に変化している”という判定結果が、“両頬にピンク色のチークを施した”という変化の内容を示していると判定する。変化内容情報取得部１０３は、この“両頬にピンク色のチークを施した”という変化内容を示す変化内容情報Ｊ１２を取得する。なお、この例において、変化内容情報取得部１０３は、人物の顔における位置に応じて予め決められている顔内の変化の内容を示す情報である“両頬にチークを施した”という変化内容情報Ｊ１２−１と、差分情報Ｇが示す色に応じて予め決められている顔内の変化の内容を示す情報である“ピンク色のチークを施した”という変化内容情報Ｊ１２−２と、取得する。変化内容情報Ｊ１２は、この変化内容情報Ｊ１２−１と変化内容情報Ｊ１２−２とをあわせた情報である。
なお、本発明はこれに限られず、人物の顔における位置に応じて予め決められている顔内の変化の内容を示す情報だけを示す変化内容情報を取得するものであってもよい。
【００１８】
次に、図２を参照して、携帯端末１の構成の一例について説明する。図２は、携帯端末１の構成の一例を示すブロック図である。
図２に示す通り、携帯端末１は、上述の検出部１０１と、差分情報取得部１０２と、変化内容情報取得部１０３とを備える制御部１００を備える。また、携帯端末１は、撮像部１０４と、操作部１０５と、画像処理部１０６と、ワークメモリ１０７と、記録用メモリ１０８と、表示部１０９と、圧縮処理部１１０と、伸長処理部１１１と、リサイズ処理部１１２と、電源部１１３と、計時部１１４と、制御用メモリ１１５とを備える。
【００１９】
制御部１００は、上述の検出部１０１と、差分情報取得部１０２と、変化内容情報取得部１０３に加え、通知情報生成部１１６と、表示制御部１１７と、画像管理部１１８とを備える。なお、上述した検出部１０１と、差分情報取得部１０２と、変化内容情報取得部１０３とについても、ここでより詳細に説明する。
【００２０】
検出部１０１は、顔検出部１１０１と、顔パーツ検出部１１０２とを含む。
顔検出部１１０１は、記録用メモリ１０８から画像データを読み出して、画像に含まれる顔の輪郭を検出する。この顔検出部１１０１は、例えば、画像データに対してエッジ検出等を行い、画素値の変化の大きさに基づき、顔の輪郭を検出する。この顔検出部１１０１は、顔の輪郭を検出した場合、検出した顔の輪郭の位置を示す情報を取得する。この顔検出部１１０１は、例えば、画像データを構成する複数の画素の座標値で顔の輪郭の位置を示す情報を取得する。
【００２１】
顔パーツ検出部１１０２は、顔検出部１１０１から入力する情報に基づき、人物の顔に含まれる予め決められたパーツを検出する。例えば、顔パーツ検出部１１０２は、顔内における各パーツの概ねの位置と画像特徴量とが対応づけられているパーツ位置対応データＲ１を参照して、顔検出部１１０１によって検出された顔の画像特徴量に基づき、各パーツの画像領域の位置を検出する。このパーツ位置対応データＲ１において、例えば、１つのパーツである右目の項目としては、輪郭線でその範囲が規定される顔内の右目の概ねの位置を示す情報と、目の画像であると判定するための画像特徴量を示す情報とが対応付けられている。このパーツ位置対応データＲ１には、その他にも、左目、右眉、左眉・・・等、複数の項目ごとに情報が対応付けられている。顔パーツ検出部１１０２は、このパーツ位置対応データＲ１を参照することで、顔検出部１１０１によって検出された顔の輪郭に対応する各パーツの画像領域を検出することができる。そして、顔パーツ検出部１１０２は、各パーツを検出した場合、検出した各パーツの位置を示すパーツ位置情報Ｆを取得する。この顔パーツ検出部１１０２は、例えば、画像データを構成する複数の画素の座標値で各パーツの位置を示すパーツ位置情報Ｆを取得する。顔パーツ検出部１１０２は、第１画像データＤ１からパーツ位置情報Ｆ１を取得し、第２画像データＤ２からパーツ位置情報Ｆ２を取得する。なお、パーツ位置情報Ｆ１、Ｆ２のそれぞれには、検出された複数のパーツのそれぞれの位置を示す情報が含まれている。なお、パーツ位置対応データＲ１は、制御用メモリ１１５に保存されている。
【００２２】
差分情報取得部１０２は、記録用メモリ１０８から変化前の画像データと変化後の画像データとを読み出して、各画像に含まれる顔の色成分を比較して、両者の差分を示す差分情報Ｇを取得する。例えば、差分情報取得部１０２は、記録用メモリ１０８から第１画像データＤ１および第２画像データＤ２を読み出す。この差分情報取得部１０２は、検出部１０１によって検出された第１画像データＤ１に含まれる各パーツの位置を示すパーツ位置情報Ｆ１と、第２画像データＤ２に含まれる各パーツの位置を示すパーツ位置情報Ｆ２に基づき、顔Ａ１と顔Ａ２との位置を合わせた状態で、顔Ａ１を構成する各画素の色成分Ｃ１と、顔Ａ２を構成する各画素の色成分Ｃ２との差分を計算して、差分情報Ｇ１２を算出する。
具体的に説明すると、差分情報取得部１０２は、例えば、第１画像データＤ１および第２画像データＤ２に基づき、それぞれの画像データの各画素の色成分Ｃ１、Ｃ２を算出する。この差分情報取得部１０２は、顔Ａ１と顔Ａ２との位置を合わせた状態で、第１画像データＤ１に示される顔Ａ１に対応する画素の色成分Ｃ１´と、第２画像データＤ２に示される顔Ａ２に対応する画素の色成分Ｃ２´との差分を計算し、顔Ａ１と顔Ａ２との色成分Ｃ１´、Ｃ２´の差分を示す差分情報Ｇ１２を取得する。
また、差分情報取得部１０２は、検出部１０１によって検出された各パーツの位置関係に基づき、差分情報Ｇ１２が検出された画素が、顔内のどの位置に対応するかを示す変化位置情報Ｈ１２を取得する。具体的に説明すると、差分情報取得部１０２は、例えば、制御用メモリ１１５に登録されている位置関係データＲ２を参照して、差分情報Ｇ１２に基づき、顔Ａ１と顔Ａ２との色が異なる部分を人物の顔の位置で示す変化位置情報Ｈ１２を取得する。この位置関係データＲ２は、例えば、人物の顔内における各パーツの位置を示す基準点に対する相対的な位置関係を距離や方向により示す情報と、人物の顔内の位置を示す情報とを対応付ける情報である。例えば、この位置関係データＲ２において、人物の顔内の“頬”であることを示す情報は、目や鼻を示す基準点に対する相対的な位置関係において目の下であってかつ鼻の横の領域であることを示す情報と、対応付けられている。
【００２３】
変化内容情報取得部１０３は、差分情報取得部１０２から入力する差分情報Ｇと変化位置情報Ｈとに基づき、人物の顔における位置に応じて予め決められている顔内の変化の内容を示す変化内容情報Ｊを取得する。
例えば、変化内容情報取得部１０３は、入力する差分情報Ｇ１２と変化位置情報Ｈ１２とに基づき、顔Ａ２において、顔Ａ１から変化した部分の位置を示す情報と、変化した色を示す情報とを取得する。この変化内容情報取得部１０３は、顔Ａ１と顔Ａ２とを比較した場合に変化した部分の位置を示す情報として、“両頬の頬骨付近”を示す情報を取得する。また、変化内容情報取得部１０３は、変化した色を示す情報として、“ピンク色”を示す情報を取得する。つまり、変化内容情報取得部１０３は、入力する差分情報Ｇ１２と変化位置情報Ｈ１２に基づき、顔Ａ２は顔Ａ１と比べて“両頬がピンク色に変化している”と判定する。そして、変化内容情報取得部１０３は、判定結果が示す変化の要因に基づき、変化の内容を示す変化内容情報Ｊを取得する。ここでは、変化内容情報取得部１０３は、この検出した変化を示す判定結果（つまり検出した変化）に基づき、携帯端末１内のメモリに予め登録されている差分情報Ｇに応じた変化の内容を示す変化内容データＲ３を参照して、この変化の内容を示す変化内容情報Ｊを取得する。よって、変化内容情報取得部１０３は、“両頬がピンク色に変化している”ということを示す変化内容情報Ｊ１２を取得する。なお、変化内容データＲ３は、制御用メモリ１１５に保存されている。
【００２４】
通知情報生成部１１６は、変化内容情報取得部１０３によって取得された変化内容情報Ｊに基づき、変化の内容をユーザに通知する通知情報Ｋを生成する。例えば、通知情報生成部１１６は、制御用メモリ１１５に登録されている通知情報生成データＲ４を参照して、顔Ａ１に施された変化の手順を示す通知情報Ｋを生成する。この通知情報生成データＲ４には、「変化した部分の位置を示す情報」と、「変化した色を示す情報」と、この変化の部分や色に応じた通知情報Ｋとがそれぞれ対応付けられているデータである。通知情報生成部１１６は、通知情報生成データＲ４を参照して、変化内容情報Ｊ１２が示す「変化した部分の位置を示す情報」と「変化した色を示す情報」のうち少なくともいずれか一方と一致する通知情報Ｋを検索する。一致する通知情報Ｋが検索により得られた場合、通知情報生成部１１６は、検索により得た通知情報Ｋを表示制御部１１７に出力する。
【００２５】
表示制御部１１７は、表示部１０９に表示させる画像を作成し、表示部１０９に対して作成した画像を表示するよう制御する。この表示制御部１１７は、通知情報生成部１１６から入力する通知情報Ｋと、記録用メモリから読み出した画像データとに基づき、予め決められたレイアウトで、通知情報Ｋと画像データとを同時に表示部１０９に表示させる。なお、表示制御部１１７は、変化後の画像データと通知情報Ｋとを表示部１０９に表示させることが好ましい。しかし、本発明はこれに限られず、表示制御部１１７は、変化前後の両方の画像データの画像と通知情報Ｋとを同時に表示部１０９に表示させるようにしてもよい。また、表示制御部１１７は、変化前後の画像を表示している状態において通知情報Ｋを表示する操作指示が操作部１０５から入力された場合に、通知情報Ｋを表示部１０９に表示させるようにしてもよい。
【００２６】
画像管理部１１８は、撮像部１０４によって生成された画像データを記録用メモリ１０８に保管する。この画像管理部１１８は、例えば、操作部１０５のシャッターボタン１５２が押下された時刻を示す時刻情報を計時部１１４から取得し、この時刻情報と撮像部１０４によって生成された画像データとを対応付けて、記録用メモリ１０８に格納する。
【００２７】
撮像部１０４は、光学系１０４ａと、光学系１０４ａを介して入射する光学像から画像データを生成する撮像素子１０４ｂと、撮像素子１０４ｂから出力される画像データのアナログ信号をデジタル信号に変換し、画像データのデジタル信号を出力するＡ/Ｄ変換部１０４ｃとを備える。撮像部１０４は、操作部１０５を介して電源が起動されると、入射する光学像から画像データに生成して、連続的に画像処理部１０６に出力する。このように、撮像部１０４が撮像可能な状態において生成した画像データを連続して表示部１０９に表示する画像を、ライブビュー画像という。ユーザは、このライブビュー画像を見ながら、撮像する画像を決定することができる。
【００２８】
操作部１０５は、例えば、電源スイッチボタン１５１、シャッターボタン１５２、および再生ボタン１５３を備える。なお、操作部１０５は、これ以外にも、操作ボタン、十字キー、あるいはタッチパネルの操作入力手段を含む。この操作部１０５は、ユーザからの操作を受け付け、受け付けた操作を示す操作情報を出力する。なお、電源スイッチボタン１５１は、電源がオンされていない状態において押下されることにより、電源をオンする操作指示を受け付ける。また、電源スイッチボタン１５１は、電源がオンされている状態において押下されることにより、電源をオフする操作指示を受け付ける。シャッターボタン１５２は、電源がオンされている状態において押下されることで、撮像の操作指示を受け付ける。再生ボタン１５３は、押下されることで、携帯端末１の記録用メモリ１０８に保存されている画像データを再生する操作指示を受け付ける。
【００２９】
画像処理部１０６は、撮像部１０４から出力される画像データに対して画像処理をし、ワークメモリ１０７に格納する。
ワークメモリ１０７は、携帯端末１の各種処理において一時的に情報を格納する記憶領域である。
記録用メモリ１０８は、ユーザがシャッターボタン１５２を押下したことにより撮像部１０４が撮像した画像データを保存する記憶領域である。
表示部１０９は、例えば、液晶ディスプレイであって、制御部１００の表示制御部１１７によって表示が制御される。
圧縮処理部１１０は、撮像部１０４によって生成された画像データを、例えば、ＪＰＥＧファイルに圧縮する処理を実行する。
伸長処理部１１１は、記録用メモリ１０８にＪＰＥＧファイルで圧縮して格納されている画像データを、例えばＪＰＥＧ画像に伸長する処理を実行する。この伸長処理部１１１は、ＪＰＥＧ画像に伸長した画像を、ワークメモリ１０７に展開する。
リサイズ処理部１１２は、撮像部１０４によって生成された画像データのサイズを、表示部１０９において表示可能なサイズにリサイズする処理を実行する。
電源部１１３は、電池を備え、電池の電力を携帯端末１の全体に供給する。
計時部１１４は、時刻を計時し、計時した時刻を示す時刻情報を出力する。
制御用メモリ１１５は、制御部１００が各種の制御処理を実行する際に利用する情報を格納する記憶領域である。
【００３０】
次に、図３〜１１を参照して、本実施形態に係る携帯端末１の動作フローの一例について説明する。図３は、携帯端末１の動作フローの一例を示すフローチャートである。なお、ここで説明する携帯端末１の動作フローは、対象者Ａが美容部員によって化粧を施してもらっているというシーンにおいて、対象者Ａが化粧の手順ごとに自分の顔を撮像した場合の携帯端末１の動作フローである。図３では、説明省略のために、化粧をしていない状態の顔Ａ１から、両頬にチークを入れた状態の顔Ａ２の変化の内容を示す変化内容情報を取得する例について説明する。しかし、本発明に係る携帯端末１はこれに限られず、チークの後に、アイシャドー、アイブロー、アイライナー、マスカラ等で化粧をする度ごと、化粧の前後の顔を撮影して、以下に説明するような処理を実行してもよい。
【００３１】
まず、携帯端末１は、操作部１０５の電源スイッチ１５１が押下され、電源がオンされると、撮像部１０４によって撮像されている画像をライブビュー画像として表示部１０９に表示する。ここで、表示部１０９は、例えば、表示部１０９が表示する画面内に顔の基準位置を示す顔マーカー２０１を表示する。この顔マーカー２０１の表示例を、図４に示す。図４に示すように、顔マーカー２０１は、人物の顔の輪郭の概ねの形状を示す線である。なお、図４に示すように、顔マーカー２０１の付近には、対象者Ａにその使用方法を示す情報（例えば、“ここに顔をあわせて下さい”）を表示してもよい。
【００３２】
（ステップＳＴ１）
そして、対象者Ａは、ライブビュー画像を見ながら、自分の顔の輪郭と顔マーカー２０１とを合わせて、シャッターボタン１５２を押下する。これにより、撮像部１０４は、第１画像データＤ１を生成し、画像処理部１０６に出力する。この第１画像データＤ１の画像の一例を図５に示す。図５に示す通り、第１画像データＤ１の画像には、化粧をしていない状態の対象者Ａの顔Ａ１が含まれている。そして、画像処理部１０６は、第１画像データＤ１に対して画像処理をし、ワークメモリ１０７に格納する。次いで、圧縮処理部１１０は、ワークメモリ１０７内の第１画像データＤ１を、例えば、ＪＰＥＧファイルに圧縮する処理を実行する。そして、制御部１００の画像管理部１１８は、例えば、顔Ａ１を撮像するため操作部１０５のシャッターボタン１５２が押下された時刻を示す時刻情報を計時部１１４から取得し、この時刻情報と第１画像データＤ１とを対応付けて、記録用メモリ１０８に格納する。
【００３３】
ここで、対象者Ａは、美容部員によって、両頬にピンク色のチークをのせてもらう。より具体的に説明すると、美容部員は、対象者Ａの頬骨の一番高いところを中心に楕円状にチークをのせる。このとき、美容部員は、中心から外側に向かって徐々に色が薄くなるように、ぼかしてチークをのせる。
【００３４】
（ステップＳＴ２）
そして、対象者Ａは、ライブビュー画像を見ながら、再度、自分の顔の輪郭と顔マーカー２０１とを合わせ、シャッターボタン１５２を押下する。これにより、撮像部１０４は、第２画像データＤ２を生成し、画像処理部１０６に出力する。この第２画像データＤ２の画像の一例を図６に示す。図６に示す通り、第２画像データＤ２の画像には、化粧をしていない状態の対象者Ａの顔Ａ１に対して、両頬にチークがのせられた対象者Ａの顔Ａ２が含まれている。そして、画像処理部１０６は、第２画像データＤ２に対して画像処理をし、ワークメモリ１０７に格納する。次いで、圧縮処理部１１０は、ワークメモリ１０７内の第２画像データＤ２を、例えば、ＪＰＥＧファイルに圧縮する処理を実行する。そして、制御部１００の画像管理部１１８は、例えば、顔Ａ２を撮像するため操作部１０５のシャッターボタン１５２が押下された時刻を示す時刻情報を計時部１１４から取得し、この時刻情報と第２画像データＤ２とを対応付けて、記録用メモリ１０８に格納する。
【００３５】
（ステップＳＴ３）
そして、検出部１０１の顔検出部１１０１は、記録用メモリ１０８から第１画像データＤ１と第２画像データＤ２とを読み出して、各画像に含まれる顔Ａ１と顔Ａ２の輪郭を検出する。顔検出部１１０１が検出した顔の輪郭の一例を図７、８に示す。図７は、第１画像データＤ１から検出した顔Ａ１の輪郭を示す輪郭線２０２を示す。また、図８は、第２画像データＤ２から検出した顔Ａ２の輪郭を示す輪郭線２０３を示す。この顔検出部１１０１は、第１画像データＤ１において輪郭線２０２の位置を示す情報を取得する。また、顔検出部１１０１は、第２画像データＤ２において輪郭線２０３の位置を示す情報を取得する。この輪郭線２０２、２０３の位置を示す情報とは、例えば、各画像データに含まれる画素の座標値である。顔検出部１１０１は、検出した輪郭線２０２の位置を示す情報と、輪郭線２０３の位置を示す情報とを顔パーツ検出部１１０２に出力する。
【００３６】
（ステップＳＴ４）
次いで、顔パーツ検出部１１０２は、顔検出部１１０１から入力する情報に基づき、人物の顔に含まれる予め決められたパーツを検出する。ここで、図９、１０を参照して、画像データから各パーツを検出する一例について説明する。図９は、第１画像データＤ１の画像から検出されるパーツの基準点を示す図である。図１０は、第２画像データＤ２の画像から検出されるパーツの基準点を示す図である。
顔パーツ検出部１１０２は、例えば、顔検出部１１０１によって検出された顔の輪郭線２０２、２０３のそれぞれと接する矩形状の顔枠２０４、２０５において、予め位置が決められている各パーツを検出する。顔パーツ検出部１１０２は、例えば、顔枠２０４、２０５内における各パーツの概ねの位置と各パーツの画像特徴量とが対応づけられているパーツ位置対応データＲ１を用いて、顔枠２０４、２０５内の画像特徴量に基づき、各パーツの画像領域を検出する。
【００３７】
（ステップＳＴ５）
そして、顔パーツ検出部１１０２は、検出した各パーツの画像領域に基づき、各パーツの位置を示す基準点を検出し、パーツ位置情報Ｆを取得する。具体的に説明すると、顔パーツ検出部１１０２は、図９、１０に示すように、右の眉毛の左右の２点ａ、ｂと、左の眉毛の左右の２点ｃ、ｄと、右目の左右の２点ｅ、ｆと、左目の左右の２点ｇ、ｈと、右の小鼻の付け根ｉと、左の小鼻の付け根ｊと、口の左右の２点ｋ、ｌとのそれぞれの位置を、各パーツの基準点として検出する。
顔パーツ検出部１１０２は、第１画像データＤ１から検出した各パーツの基準点ａ〜ｌを検出し、基準点ａ〜ｌに対応する画素の座標値を示す情報を、パーツ位置情報Ｆ１として取得する。また、顔パーツ検出部１１０２は、第２画像データＤ２から検出した各パーツの基準点ａ〜ｌを検出し、基準点ａ〜ｌに対応する画素の座標値を示す情報を、パーツ位置情報Ｆ２として取得する。
そして、顔パーツ検出部１１０２は、取得したパーツ位置情報Ｆ１、Ｆ２を差分情報取得部１０２に出力する。
【００３８】
（ステップＳＴ６）
次いで、差分情報取得部１０２は、記録用メモリ１０８から第１画像データＤ１と第２画像データＤ２とを読み出して、各画像に含まれる顔Ａ１と顔Ａ２との色成分の差分を示す差分情報Ｇ１２を取得する。具体的に説明すると、差分情報取得部１０２は、顔パーツ検出部１１０２から入力するパーツ位置情報Ｆ１、Ｆ２に基づき、第１画像データＤ１と第２画像データＤ２について同じパーツ同士の位置を合わせて、顔Ａ１と顔Ａ２との位置を合わせる。また、差分情報取得部１０２は、例えば、第１画像データＤ１および第２画像データＤ２に基づき、それぞれの画像データの各画素の色成分Ｃ１、Ｃ２を算出する。
そして、差分情報取得部１０２は、顔Ａ１と顔Ａ２との位置を合わせた状態で、第１画像データＤ１に示される顔Ａ１に対応する色成分Ｃ１´と、第２画像データＤ２に示される顔Ａ２に対応する色成分Ｃ２´とを比較して、顔Ａ１と顔Ａ２との色成分の差分を示す差分情報Ｇ１２を取得する。
【００３９】
（ステップＳＴ７）
本実施形態では、顔Ａ１に対して両頬にピンク色のチークを施した顔が顔Ａ２である。よって、顔Ａ２の両頬に相当する画素の色成分が顔Ａ１の両頬に相当する画素の色成分と異なる。従って、差分情報取得部１０２は、顔Ａ１と顔Ａ２の両頬に相当する画素の色成分の差分を、差分情報Ｇ１２として取得する。
また、差分情報取得部１０２は、パーツ位置情報Ｆ１、Ｆ２に基づき、検出部１０１によって検出された各パーツの位置関係に応じて、差分情報Ｇ１２が検出された画素が、顔内のどの位置に対応するかを示す変化位置情報Ｈ１２を取得する。従って、差分情報取得部１０２は、各パーツの基準点ａ〜ｌの位置情報に基づき、各パーツの位置関係を示す位置関係データＲ２を参照して、差分情報Ｇ１２が示す顔Ａ１と顔Ａ２とを比較して色が異なる部分が、顔内のどの位置に対応する領域であるかを判定する。この差分情報取得部１０２は、位置関係データＲ２を参照して、例えば、顔内の各パーツとの相対的な距離に応じて、顔内のどの位置（例えば、頬、頬骨のトップ、下頬、口の横、目じり、Ｔゾーン等）に対応する領域であるかを判定する。そして、差分情報取得部１０２は、判定した顔内の領域を示す変化位置情報Ｈ１２を取得する。そして、差分情報取得部１０２は、取得した差分情報Ｇ１２と変化位置情報Ｈ１２とを変化内容情報取得部１０３に出力する。
【００４０】
そして、変化内容情報取得部１０３は、検出部１０１によって検出された各パーツと、差分情報取得部１０２が算出した差分情報Ｇ１２が示す「色が変化している部分」との位置関係に基づき、人物の顔における位置に応じて予め決められている顔内の変化の内容を示す変化内容情報Ｊ１２を取得する。
【００４１】
（ステップＳＴ８）
具体的に説明すると、変化内容情報取得部１０３は、入力する差分情報Ｇ１２と変化位置情報Ｈ１２に基づき、顔Ａ２において、顔Ａ１から「変化した部分の位置を示す情報」と、「変化した色を示す情報」を取得する。従って、変化内容情報取得部１０３は、顔Ａ１と顔Ａ２とを比較した場合に「変化した部分の位置を示す情報」として、両頬の頬骨を中心にした楕円形の領域を示す情報を取得する。また、変化内容情報取得部１０３は、「変化した色を示す情報」として、頬骨を中心が最も濃いピンク色で、外側に向かって徐々に薄いピンク色に変化する色彩を示す情報を取得する。つまり、変化内容情報取得部１０３は、顔Ａ２は顔Ａ１と比べて“両頬の楕円形の領域がピンク色に変化しており、具体的には、頬骨の中心が最も濃いピンク色で、外側に向かって徐々に薄いピンク色に変化している”ということを判定する。言い換えると、変化内容情報取得部１０３は、このような変化を検出している。
【００４２】
（ステップＳＴ９）
そして、変化内容情報取得部１０３は、ステップＳＴ８の判定結果が示す変化に基づき、変化の内容を示す変化内容情報Ｊ１２を取得する。ここでは、変化内容情報取得部１０３は、判定結果が示す変化に基づき、携帯端末１内のメモリに予め登録されている差分情報Ｇに応じた変化の内容を示す変化内容データＲ３を参照して、この変化の内容を示す変化内容情報Ｊ１２を取得する。従って、差分情報取得部１０２は、“両頬の楕円形の領域がピンク色に変化している”という判定結果から、その変化の内容は、“両頬にピンク色のチークを施した”という変化内容を示していると判定する。よって、変化内容情報取得部１０３は、変化内容情報Ｊ１２−１として、“両頬にピンク色のチークを施した”ことを示す情報を取得する。
また、差分情報取得部１０２は、“頬骨の中心が最も濃いピンク色で、外側に向かって徐々に薄いピンク色に変化している”という判定結果から、その変化の内容が“頬骨のトップを中心にグラデーションをつけた色彩を施した”という変化内容を示していると判定する。よって、変化内容情報取得部１０３は、変化内容情報Ｊ１２−２として、“頬骨のトップを中心にグラデーションをつけた色彩を施した”ことを示す情報を取得する。
よって、差分情報取得部１０２は、この変化内容情報Ｊ１２−１と変化内容情報Ｊ１２−２とに基づき、変化の内容が“両頬にピンク色のチークを施した”ことと“頬骨のトップを中心にグラデーションをつけた色彩を施した”ことであることを示す変化内容情報Ｊ１２を取得する。
【００４３】
（ステップＳＴ１０）
次いで、通知情報生成部１１６は、変化内容情報Ｊ１２に基づき、変化の内容を対象者Ａに通知する通知情報Ｋ１２を生成する。例えば、通知情報生成部１１６は、制御用メモリ１１５に登録されている通知情報生成データＲ４を参照して、変化の内容に対応する通知情報Ｋ１２を生成する。具体的に説明すると、通知情報生成部１１６は、通知情報生成データＲ４に登録されている「変化した部分の位置を示す情報」や「変化した色を示す情報」と、変化内容情報Ｊ１２が示す「変化した部分の位置を示す情報」と「変化した色を示す情報」とを比較して一致するものを検索する。一致する情報が検索して得られた場合、変化内容情報取得部１０３は、通知情報生成データＲ４において、変化内容情報Ｊ１２が示す「変化した部分の位置を示す情報」と「変化した色を示す情報」と一致する情報と対応付けられている通知情報Ｋを、通知情報Ｋ１２として取得する。
例えば、通知情報生成データＲ４において、変化した部分を示す情報として「頬、頬骨」が、変化した色を示す情報として「ピンク色、グラデーション」が、登録されている。また、これらの情報に対応する通知情報Ｋとして「頬骨のトップを中心に、ピンク色のチークを入れてください。ここでポイントは、トップを中心に色を濃く入れて、周りの色をぼかしてください」が登録されている。
一方、通知情報生成部１１６は、変化内容情報Ｊ１２が示す「変化した部分の位置を示す情報」として、頬および頬骨を、「変化した色を示す情報」として、ピンク色、グラデーションを取得している。よって、通知情報生成部１１６は、通知情報Ｋ１２として、通知情報生成データＲ４に登録されている通知情報Ｋ「頬骨のトップを中心に、ピンク色のチークを入れてください。ここでポイントは、トップを中心に色を濃く入れて、周りの色をぼかしてください」を、通知情報Ｋ１２として取得する。
そして、通知情報生成部１１６は、取得した通知情報Ｋ１２を表示制御部１１７に出力する。
【００４４】
（ステップＳＴ１１）
次いで、表示制御部１１７は、通知情報生成部１１６から入力する通知情報Ｋ１２と、記録用メモリ１０８から読み出した第２画像データＤ２とに基づき、予め決められたレイアウトで、通知情報Ｋと第２画像データＤ２とを表示部１０９に表示させる。このとき、表示部１０９に表示される画像の一例を、図１１に示す。図１１に示す通り、表示部１０９には、第２画像データＤ２が表示され、この第２画像データＤ２の画像の下に、通知情報が表示される。
【００４５】
上述の通り、本実施形態に係る携帯端末１は、対象者の顔を撮影した画像データに基づき、変化前の画像データと変化後の画像データの色成分の変化に基づき、変化した内容を判定することができる。よって、変化後の画像データにおいて、変化前の対象者に対してどのような変化要因が与えられたかを判定することができる。従って、対象者は、変化前の顔と、変化後の顔を撮像するだけで、変化の内容を示す情報を取得することができる。つまり、対象者は、変化の内容を示す情報を自ら作成する手間が省け、さらに、変化後の画像データと変化の内容を示す情報とを対応付けて管理する手間が省ける。
【００４６】
例えば、対象者Ａが美容部員に、チーク、アイシャドー、アイブロー、アイライナー、マスカラ、の順番で化粧を施してもらう場合、対象者Ａは、チークをつける前の顔Ａ１を撮像し、チークをつけた後の顔Ａ２を撮像する。その後、アイシャドーをつけた後の顔Ａ３を撮像し、アイブローをつけた後の顔Ａ４を撮像し、アイライナーをつけた後の顔Ａ５を撮像し、マスカラをつけた後の顔Ａ６を撮像する。
この場合、携帯端末１は、顔Ａ２と顔Ａ３を比較することで、アイシャドーの入れ方を示す情報を取得することができる。例えば、アイホール全体にホワイト系のラメパウダーをのせた後、目じりにピンク系のパウダーをのせて、目の際に茶系のアイライナーをぼかしていれたとする。この場合、携帯端末１は、顔Ａ２と顔Ａ３の色成分を比較して、上述のような処理を実行することにより、変化の内容を示す変化内容情報Ｊとして、上述のようなアイシャドーの状態（アイホール全体にホワイト系のラメパウダーが全体的についていること、目じりにピンク系のパウダーが付いていること、目の際に茶系のアイライナーが外側がグラデーション状態で付いていること）を示す情報を取得することができる。なお、このようなアイメイクをする場合、最初にアイホール全体に薄い色を入れて、暖色系のパウダーは濃い暗い色よりも先につける場合が多い。このように、パウダーの色や付けられている場所によって、アイライナーの入れ方を推測することができる。よって、アイメイクの色を示す情報と、アイメイクの位置を示す情報と、これらアイメイクの色と位置に応じて予め決められる通知情報Ｋとを、それぞれ対応付けた通知情報生成データＲ４を用いることにより、携帯端末１は、アイシャドーの入れ方を示す通知情報Ｋを取得することができる。
【００４７】
このように、美容部員やメイクアップアーティスト等のプロに化粧をしてもらった場合であっても、対象者Ａは、変化前の顔と変化後の顔を撮像することにより、化粧の手順や化粧のポイント等を示した文字情報を取得することができる。これにより、対象者Ａは、化粧を受けている最中に化粧の手順をメモしたりする手間が省ける。また、取得した文字情報を利用して、美容部員やメイクアップアーティスト等によるプロの技を再現することが可能となる。
【００４８】
また、本実施形態に係る携帯端末１は、化粧を施す前後の顔ではなく、例えば、数ヶ月前の顔と現在の顔とを比較して、その変化を示す変化内容情報Jや通知情報Ｋを取得するものであってもよい。例えば、携帯端末１は、しみ、皺、日焼けなどの変化を検出し、変化内容情報Jや通知情報Ｋを取得するもであってもよい。
【００４９】
さらに、本実施形態に係る情報読取装置は、携帯端末１に搭載されている構成に限られず、例えば、サーバに搭載されているものであってもよい。この場合、サーバは、通信可能に接続される携帯端末から受信した画像データに基づき、変化内容情報Ｊや通知情報Ｋを作成し、作成した変化内容情報Ｊや通知情報Ｋを携帯端末に返信するものであってもよい。これにより、携帯端末側では、情報読取装置の構成を有していない場合であっても、画像データをサーバに送信することで、変化内容情報Ｊや通知情報Ｋを取得することができる。
【００５０】
また、本実施の形態に係る情報取得装置は、内部にコンピュータシステムを有している。そして、動作の過程は、プログラムの形式でコンピュータ読み取り可能な記録媒体に記憶されており、このプログラムをコンピュータシステムが読み出して実行することによって、上記処理が行われる。ここでいう「コンピュータシステム」とは、ＣＰＵ及び各種メモリやＯＳ、周辺機器等のハードウェアを含むものである。
また、「コンピュータシステム」は、ＷＷＷシステムを利用している場合であれば、ホームページ提供環境（あるいは表示環境）も含むものとする。
【００５１】
また、各ステップを実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、また、この機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより、検出対象物の形状情報の推定値を算出する処理を行ってもよい。
また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、フラッシュメモリ等の書き込み可能な不揮発性メモリ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。
【００５２】
さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（例えばＤＲＡＭ（Dynamic Random Access Memory））のように、一定時間プログラムを保持しているものも含むものとする。
また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。
また、上記プログラムは、前述した機能の一部を実現するためのものであっても良い。さらに、前述した機能をコンピュータシステムに既に記録されているプログラムとの組合せで実現できるもの、いわゆる差分ファイル（差分プログラム）であっても良い。
【符号の説明】
【００５３】
１…携帯端末
１００…制御部、
１０１…検出部、
１０２…差分情報取得部、
１０３…変化内容情報取得部、
１０４…撮像部、
１０５…操作部、
１０６…画像処理部、
１０７…ワークメモリ、
１０８…記録用メモリ、
１０９…表示部、
１１０…圧縮処理部、
１１１…伸長処理部、
１１２…リサイズ処理部、
１１３…電源部、
１１４…計時部、
１１５…制御用メモリ、
１１６…通知情報生成部、
１１７…表示制御部、
１１８…画像管理部、
１１０１…顔検出部、
１１０２…顔パーツ検出部、
Ｒ１…パーツ位置対応データ
Ｒ２…位置関係データ
Ｒ３…変化内容データ
Ｒ４…通知情報生成データ
２０１…顔マーカー
２０２…輪郭線
２０３…輪郭線
２０４…顔枠
２０５…顔枠
【特許請求の範囲】
【請求項１】
対象者の顔を撮影することにより取得した第１画像データと、前記第１画像データを撮像した後に前記被写体の顔を撮像することにより取得した第２画像データとから、それぞれ、人物の顔に含まれる一部であって検出対象として予め決められたパーツを検出する検出部と、
前記検出部によって検出された同じパーツ同士を対応付けて前記第１画像データ内の顔と前記第２画像データ内の顔との位置を合わせて、前記第１画像データに示される顔の色成分と、前記第２画像データに示される顔の色成分とを比較して、前記第１画像データと前記第２画像データとの色成分の差分を示す差分情報を取得する差分情報取得部と、
前記検出部によって検出された各パーツと、前記差分情報が示す色が変化している部分との位置関係に基づき、人物の顔における位置に応じて予め決められている顔内の変化の内容を示す変化内容情報うち、前記差分情報が示す色が変化している部分に対応する前記変化内容情報を取得する変化内容情報取得部と、
を備えることを特徴とする情報取得装置。
【請求項２】
前記変化内容情報取得部は、
前記差分情報に基づき、前記差分情報が示す色に応じて予め決められている顔内の変化の内容を示す前記変化内容情報のうち、前記差分情報が示す色に対応する前記変化内容情報を取得することを特徴とする請求項１に記載の情報取得装置。
【請求項３】
前記変化内容情報取得部は、
前記人物の顔における位置に応じて予め決められている顔内の化粧の状態を示す前記変化内容情報を取得することを特徴とする請求項１または２に記載の情報取得装置。
【請求項４】
前記変化内容情報に基づき、前記第１画像データに施された変化の手順を示す通知情報を取得する通知情報取得部をさらに備えることを特徴とする請求項１から３のうちいずれか一項に記載の情報取得装置。
【請求項５】
対象者の顔を撮影することにより取得した第１画像データと、前記第１画像データを撮像した後に前記被写体の顔を撮像することにより取得した第２画像データとから、それぞれ、人物の顔に含まれる一部であって検出対象として予め決められたパーツを検出するステップと、
検出された同じパーツ同士を対応付けて前記第１画像データ内の顔と前記第２画像データ内の顔との位置を合わせて、前記第１画像データに示される顔の色成分と、前記第２画像データに示される顔の色成分とを比較して、前記第１画像データと前記第２画像データとの色成分の差分を示す差分情報を取得するステップと、
検出された各パーツと、前記差分情報が示す色が変化している部分との位置関係に基づき、人物の顔における位置に応じて予め決められている顔内の変化の内容を示す変化内容情報うち、前記差分情報が示す色が変化している部分に対応する前記変化内容情報を取得するステップと、
を備えることを特徴とする情報取得方法。
【請求項６】
コンピュータに、
対象者の顔を撮影することにより取得した第１画像データと、前記第１画像データを撮像した後に前記被写体の顔を撮像することにより取得した第２画像データとから、それぞれ、人物の顔に含まれる一部であって検出対象として予め決められたパーツを検出する検出手順、
検出された同じパーツ同士を対応付けて前記第１画像データ内の顔と前記第２画像データ内の顔との位置を合わせて、前記第１画像データに示される顔の色成分と、前記第２画像データに示される顔の色成分とを比較して、前記第１画像データと前記第２画像データとの色成分の差分を示す差分情報を取得する差分情報取得手順、
検出された各パーツと、前記差分情報が示す色が変化している部分との位置関係に基づき、人物の顔における位置に応じて予め決められている顔内の変化の内容を示す変化内容情報うち、前記差分情報が示す色が変化している部分に対応する前記変化内容情報を取得する変化内容情報取得手順、
を実行させるためのプログラム。
【請求項１】
対象者の顔を撮影することにより取得した第１画像データと、前記第１画像データを撮像した後に前記被写体の顔を撮像することにより取得した第２画像データとから、それぞれ、人物の顔に含まれる一部であって検出対象として予め決められたパーツを検出する検出部と、
前記検出部によって検出された同じパーツ同士を対応付けて前記第１画像データ内の顔と前記第２画像データ内の顔との位置を合わせて、前記第１画像データに示される顔の色成分と、前記第２画像データに示される顔の色成分とを比較して、前記第１画像データと前記第２画像データとの色成分の差分を示す差分情報を取得する差分情報取得部と、
前記検出部によって検出された各パーツと、前記差分情報が示す色が変化している部分との位置関係に基づき、人物の顔における位置に応じて予め決められている顔内の変化の内容を示す変化内容情報うち、前記差分情報が示す色が変化している部分に対応する前記変化内容情報を取得する変化内容情報取得部と、
を備えることを特徴とする情報取得装置。
【請求項２】
前記変化内容情報取得部は、
前記差分情報に基づき、前記差分情報が示す色に応じて予め決められている顔内の変化の内容を示す前記変化内容情報のうち、前記差分情報が示す色に対応する前記変化内容情報を取得することを特徴とする請求項１に記載の情報取得装置。
【請求項３】
前記変化内容情報取得部は、
前記人物の顔における位置に応じて予め決められている顔内の化粧の状態を示す前記変化内容情報を取得することを特徴とする請求項１または２に記載の情報取得装置。
【請求項４】
前記変化内容情報に基づき、前記第１画像データに施された変化の手順を示す通知情報を取得する通知情報取得部をさらに備えることを特徴とする請求項１から３のうちいずれか一項に記載の情報取得装置。
【請求項５】
対象者の顔を撮影することにより取得した第１画像データと、前記第１画像データを撮像した後に前記被写体の顔を撮像することにより取得した第２画像データとから、それぞれ、人物の顔に含まれる一部であって検出対象として予め決められたパーツを検出するステップと、
検出された同じパーツ同士を対応付けて前記第１画像データ内の顔と前記第２画像データ内の顔との位置を合わせて、前記第１画像データに示される顔の色成分と、前記第２画像データに示される顔の色成分とを比較して、前記第１画像データと前記第２画像データとの色成分の差分を示す差分情報を取得するステップと、
検出された各パーツと、前記差分情報が示す色が変化している部分との位置関係に基づき、人物の顔における位置に応じて予め決められている顔内の変化の内容を示す変化内容情報うち、前記差分情報が示す色が変化している部分に対応する前記変化内容情報を取得するステップと、
を備えることを特徴とする情報取得方法。
【請求項６】
コンピュータに、
対象者の顔を撮影することにより取得した第１画像データと、前記第１画像データを撮像した後に前記被写体の顔を撮像することにより取得した第２画像データとから、それぞれ、人物の顔に含まれる一部であって検出対象として予め決められたパーツを検出する検出手順、
検出された同じパーツ同士を対応付けて前記第１画像データ内の顔と前記第２画像データ内の顔との位置を合わせて、前記第１画像データに示される顔の色成分と、前記第２画像データに示される顔の色成分とを比較して、前記第１画像データと前記第２画像データとの色成分の差分を示す差分情報を取得する差分情報取得手順、
検出された各パーツと、前記差分情報が示す色が変化している部分との位置関係に基づき、人物の顔における位置に応じて予め決められている顔内の変化の内容を示す変化内容情報うち、前記差分情報が示す色が変化している部分に対応する前記変化内容情報を取得する変化内容情報取得手順、
を実行させるためのプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【公開番号】特開２０１３−２５５１６（Ｐ２０１３−２５５１６Ａ）
【公開日】平成２５年２月４日（２０１３．２．４）
【国際特許分類】
【出願番号】特願２０１１−１５８７８１（Ｐ２０１１−１５８７８１）
【出願日】平成２３年７月２０日（２０１１．７．２０）
【出願人】（３１０００６８５５）ＮＥＣカシオモバイルコミュニケーションズ株式会社 (1,081)
【Ｆターム（参考）】
【公開日】平成２５年２月４日（２０１３．２．４）
【国際特許分類】
【出願日】平成２３年７月２０日（２０１１．７．２０）
【出願人】（３１０００６８５５）ＮＥＣカシオモバイルコミュニケーションズ株式会社 (1,081)
【Ｆターム（参考）】
[ Back to top ]