情報処理装置、情報処理方法、および、プログラム
【課題】肌のつやに加えて肌の滑らかさを評価する。
【解決手段】本発明は、情報処理装置、情報処理方法、および、プログラムに関する。無反射モード画像取得部５１は、無反射モード画像を取得し、反射モード画像取得部５２は、反射モード画像を取得する。色補正処理部５３は、無反射モード画像および反射モード画像の輝度レベルを補正する。減算処理部５４は、色補正処理部５３から供給された２つの画像の差分画像を生成する。演算処理部５５は、差分画像の平均と、正規分布との乖離度（歪度または尖度）とを計算する。演算結果解析処理部５６は、差分画像の平均と、歪度または尖度とから、被験者の肌のつやの質感および滑らかさを評価する情報を生成する。出力制御部５７は、被験者の肌の状態の診断結果の、ディスプレイ、または、スピーカへの表示または音声出力を制御する。
【解決手段】本発明は、情報処理装置、情報処理方法、および、プログラムに関する。無反射モード画像取得部５１は、無反射モード画像を取得し、反射モード画像取得部５２は、反射モード画像を取得する。色補正処理部５３は、無反射モード画像および反射モード画像の輝度レベルを補正する。減算処理部５４は、色補正処理部５３から供給された２つの画像の差分画像を生成する。演算処理部５５は、差分画像の平均と、正規分布との乖離度（歪度または尖度）とを計算する。演算結果解析処理部５６は、差分画像の平均と、歪度または尖度とから、被験者の肌のつやの質感および滑らかさを評価する情報を生成する。出力制御部５７は、被験者の肌の状態の診断結果の、ディスプレイ、または、スピーカへの表示または音声出力を制御する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、情報処理装置、情報処理方法、および、プログラムに関する。
【背景技術】
【０００２】
従来、光源部とレンズ部にそれぞれ偏光フィルタを装着したデジタルカメラを用い、光源部に対するレンズ部の偏光フィルタの角度を平行させて撮影した皮膚画像と直交させて撮影した皮膚画像の２種類の皮膚画像を画像演算処理することにより得られる皮膚画像の拡散反射光の輝度値若しくは表面反射光の輝度値を指標として、皮膚のつや感の測定を行う技術があった（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００８−２１２１８９号公報
【０００４】
その結果、表面反射画像の平均輝度値とつや感の目視スコアとの相関係数ｒは、ｒ＝０．３８８であり、有意確率１％未満（ｐ＜０．０１）の有意な相関関係を確認することができた。
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、平均的なつや強さの他に、肌の滑らかさを評価するための技術は存在しなかった。
【０００６】
本発明はこのような状況に鑑みてなされたものであり、肌のつやに加えて肌の滑らかさを評価することができるようにするものである。
【課題を解決するための手段】
【０００７】
本発明の一側面は、無反射モード画像および反射モード画像を取得する画像取得手段と、画像取得手段により取得された無反射モード画像および反射モード画像に色補正を行う色補正手段と、色補正手段により色補正された反射モード画像の画素値から、色補正手段により色補正された無反射モード画像の画素値を減算する減算手段と、減算手段による減算結果の平均値および減算結果の分布の正規分布との乖離度を演算する乖離度演算手段と、乖離度演算手段により演算された平均値および乖離度を特徴量として、肌状態を評価するための指標を生成する指標生成手段とを備えることを特徴とする。
【０００８】
乖離度演算手段は、減算手段による減算結果のＢ成分の平均値、および、減算結果のＢ成分の分布の正規分布との乖離度を演算することができる。
【０００９】
色補正手段は、画像取得手段により取得された無反射モード画像および反射モード画像のそれぞれのＢ成分のみに色補正を実行するようにすることができ、減算手段は、色補正手段により色補正された反射モード画像のＢ成分の画素値から、色補正手段により色補正された無反射モード画像のＢ成分の画素値を減算することができる。
【００１０】
乖離度演算手段は、正規分布との乖離度として、分布の歪度を演算することができる。
【００１１】
乖離度演算手段は、正規分布との乖離度として、分布の尖度を演算することができる。
【００１２】
本発明の一側面は、制御部を有する情報処理装置において、制御部は、無反射モード画像および反射モード画像を取得し、取得された無反射モード画像および反射モード画像に色補正を行い、色補正された反射モード画像の画素値から、色補正された無反射モード画像の画素値を減算し、減算結果の平均値および減算結果の分布の正規分布との乖離度を演算し、演算された平均値および乖離度を特徴量として、肌状態を評価するための指標を生成することを特徴とする。
【００１３】
本発明の一側面は、無反射モード画像および反射モード画像を取得する画像取得ステップと、画像取得ステップの処理により取得された無反射モード画像および反射モード画像に色補正を行う色補正ステップと、色補正ステップの処理により色補正された反射モード画像の画素値から、色補正ステップの処理により色補正された無反射モード画像の画素値を減算する減算ステップと、減算ステップの処理による減算結果の平均値および減算結果の分布の正規分布との乖離度を演算する乖離度演算ステップと、乖離度演算ステップの処理により演算された平均値および乖離度を特徴量として、肌状態を評価するための指標を生成する指標生成ステップとを含むことを特徴とする。
【００１４】
本発明の一側面は、被験者の肌状態を評価するための処理をコンピュータに実行させるためのプログラムであって、無反射モード画像および反射モード画像を取得する画像取得ステップと、画像取得ステップの処理により取得された無反射モード画像および反射モード画像に色補正を行う色補正ステップと、色補正ステップの処理により色補正された反射モード画像の画素値から、色補正ステップの処理により色補正された無反射モード画像の画素値を減算する減算ステップと、減算ステップの処理による減算結果の平均値および減算結果の分布の正規分布との乖離度を演算する乖離度演算ステップと、乖離度演算ステップの処理により演算された平均値および乖離度を特徴量として、肌状態を評価するための指標を生成する指標生成ステップとを含む処理をコンピュータに実行させる。
【発明の効果】
【００１５】
以上のように、本発明の一側面によれば、肌のつやに加えて肌の滑らかさを評価することができる。
【図面の簡単な説明】
【００１６】
【図１】本発明を適用した肌診断システムの構成例を示す図である。
【図２】図１のユーザ端末の構成例を示す図である。
【図３】目視のつや強度順位と各特徴量との相関について説明するための図である。
【図４】目視のつや強度順位と各特徴量との相関係数について説明するための図である。
【図５】正規分布との乖離度と肌の滑らかさとの関係について説明するための図である。
【図６】正規分布との乖離度と肌の滑らかさとの関係について説明するための図である。
【図７】差分平均および正規分布との乖離度を特徴量とした肌の評価の方法について説明するための図である。
【図８】肌診断処理を図１のユーザ端末において実行するための機能的構成例を示すブロック図である。
【図９】無反射モードと反射モードのそれぞれのＲ，Ｇ，Ｂ値と、チャートに対応するＬ*値の関係について説明するための図である。
【図１０】反射モード画像と無反射モード画像との差分画像について説明するための図である。
【図１１】減算処理部の処理について説明するための図である。
【図１２】肌状態を示すための指標を得るためのグラフの一例について説明するための図である。
【図１３】肌診断処理について説明するためのフローチャートである。
【発明を実施するための形態】
【００１７】
［肌診断システムの構成］
図１は、本発明を適用した肌診断システムの構成例を示す図である。
【００１８】
肌状態測定装置１１は、被験者としての顧客、または、カウンセラーとしての化粧品売り場の店員など（以下、個々に区別する必要がない場合、単に、ユーザと称する）が片手で把持し易い形態を有し、個体撮像素子（ＣＣＤまたはＣＭＯＳ）からなる撮像部を有している。例えば被験者が肌状態測定装置１１を持って、肌状態測定装置１１の所定の部分（例えば顔の頬部分）に当てて所定の操作を行うことにより、その部分の、光源部に対するレンズ部の偏光フィルタの角度を直交させて撮影した皮膚画像（以下、無反射モード画像、ＰＬ（polarized light）画像と称する）、および光源部に対するレンズ部の偏光フィルタの角度を平行させて撮影した皮膚画像（以下、反射モード画像、ＮＰＬ（Non-polarized light）画像と称する）が撮像され、その結果得られた撮像画像が取り込まれる。すなわち、肌状態測定装置１１の撮像部は、例えば、２つの光学系を有し、一方のレンズには、偏光フィルタを用いて無反射モード画像を撮像し、他方のレンズには偏光フィルタを用いることなく反射モード画像を撮像するようにしたり、または、１つの光学系を有し、偏光フィルタの有無を変更することにより、反射モード画像、および、無反射モード画像を連写することができるものである。このように得られた２枚は、肌の同じ範囲を撮影したものであるが、反射モード画像は拡散反射光と鏡面反射光の双方を含んだ画像、無反射モード画像は鏡面反射光成分が除かれた拡散反射光のみの画像となる。
【００１９】
肌状態測定装置１１は、例えば有線で、ユーザ端末１２と接続されており、取り込んだ撮像画像をユーザ端末１２に送信する。
【００２０】
ユーザ端末１２は、例えばパーソナルコンピュータであり、肌状態測定装置１１から送信されてきた被験者の皮膚部分の撮像画像に基づいて、所定の肌状診断処理を実行し、その結果を出力（表示または音声出力）する。この肌診断処理の詳細は後述する。
【００２１】
［ユーザ端末１２の構成］
図２は、ユーザ端末１２の構成例を示すブロック図である。このユーザ端末１２において、ＣＰＵ（Central Processing Unit）２１、ＲＯＭ（Read Only Memory）２２、およびＲＡＭ（Random Access Memory）２３は、バス２４により相互に接続されている。
【００２２】
バス２４には、さらに、入出力インタフェース２５が接続されている。入出力インタフェース２５には、キーボード、マウス、マイクロホンなどよりなる入力部２６、ディスプレイ、スピーカなどよりなる出力部２７、ハードディスクや不揮発性のメモリなどよりなる記憶部２８、肌状態測定装置１１との通信を実現する通信部２９、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(Compact Disc-Read Only Memory),DVD(Digital Versatile Disc)等）、光磁気ディスク、もしくは半導体メモリなどよりなるパッケージメディアであるリムーバブルメディア３１を駆動するドライブ３０が接続されている。
【００２３】
以上のように構成されるユーザ端末１２では、ＣＰＵ２１が、例えば、記憶部２８に記憶されているプログラムを、入出力インタフェース２５及びバス２４を介して、ＲＡＭ２３にロードして実行することにより、所定の処理（例えば、肌診断処理）が行われる。
【００２４】
なおＣＰＵ２１が実行するプログラムは、例えば、リムーバブルメディア３１に記録されて、あるいは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供される。
【００２５】
そして、プログラムは、リムーバブルメディア３１をドライブ３０に装着することにより、入出力インタフェース２５を介して、記憶部２８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部２９で受信し、記憶部２８にインストールすることができる。その他、プログラムは、ＲＯＭ２２や記憶部２８に、予めインストールしておくことができる。
【００２６】
［肌診断処理を実行するための特徴量］
「肌のつや」という言葉には感覚的な要素も含まれており、どのような物理量を示しているのか曖昧な点もあるが、文献などでは、例えば、「物理的な光沢度」、「脂っぽくなく、みずみずしい感じが強く、はねかえるような光」などとして定義されている。これらを参考に、つやを鏡面反射光成分に由来するものとして捉えて、異なる偏光条件で撮像された肌の画像から得られる鏡面反射光成分の分布に基づいて、目視のつや評価と相関の高い特徴量を決定することを試みた。
【００２７】
上述したように、肌状態測定装置１１が取得する反射モード画像、および、無反射モード画像は、肌の同じ範囲を撮影したものであるが、反射モード画像は拡散反射光と鏡面反射光の双方を含んだ画像、無反射モード画像は鏡面反射光成分が除かれた拡散反射光のみの画像となる。すなわち、反射モード画像の画素値から無反射モード画像の画素値を引いた値が鏡面反射光成分であると考える。
【００２８】
ここでは、目視のつや評価と相関の高い特徴量を決定するための一例として、専門家による肌のつやの強度の目視による評価と、肌の画像の鏡面反射光成分の分布から得られる各特徴量との相関を求めた。専門家による肌のつやの強度の評価は、２０歳代乃至６０歳代の女性の被験者４０名の頬を撮影した４０枚の画像について、肌診断の専門家３名の合議により、つやの強い順に１位乃至４０位の順位をつけたものとした。また、肌の画像の鏡面反射光成分の分布は、異なる偏光条件で撮像された上述の被験者４０名の肌の画像の鏡面反射光成分、すなわち、反射モード画像の画素値から無反射モード画像の画素値を引いた差分値の分布である。
【００２９】
差分値の分布により得られる特徴量には、さまざまなものがあるが、ここでは、特に、平均値、標準偏差、歪度、尖度が、専門家による肌のつやの評価と相関が高いという結果を得ることができた。
【００３０】
図３に、縦軸を目視のつや強度順位、横軸を特徴量とし、被験者４０人の結果をプロットしたグラフの一例を示す。図３においては、グラフの縦軸で下側ほど、つやが強いことを示す。また、ここでは、一般的に目視の肌の美しさと高い相関を得る場合が多いと考えられる被験者の「年齢」を、差分値の分布により得られる各特徴量と比較するための特徴量としてあげている。図３の上段は、縦軸を目視のつや強度順位、横軸を年齢としたグラフ、図３中段は、縦軸を目視のつや強度順位、横軸を差分平均（差分値の分布の平均値）としたグラフ、図３下段は、縦軸を目視のつや強度順位、横軸を差分歪度（差分値の分布の歪度）としたグラフである。
【００３１】
図３上段に示されるように、被験者の「年齢」は、目視のつや強度順位と非常に高い相関を有している。また、図３中段に示されるように、反射モード画像の画素値から無反射モード画像の画素値を引いた差分値の分布の平均も、目視のつや強度順位とある程度高い相関を有している。そして、また、図３下段に示されるように、反射モード画像の画素値から無反射モード画像の画素値を引いた差分値の分布の歪度も、目視のつや強度順位とある程度高い相関を有している。
【００３２】
図４に、目視のつや強度順位、年齢、差分平均（差分値の分布の平均値）、差分標準偏差（差分値の分布の標準偏差）、差分歪度（差分値の分布の歪度）、および、差分尖度（差分値の分布の尖度）のそれぞれの相関係数を示す。ここで、注目するべきは、目視のつや強度順位に対する、年齢、差分平均、差分標準偏差、差分歪度、および、差分尖度の相関係数である。目視のつや強度順位と差分平均との相関係数は−０．４５、目視のつや強度順位と標準偏差との相関係数は−０．３７、目視のつや強度順位と歪度との相関係数は−０．３１、目視のつや強度順位と尖度との相関係数は−０．３５であった。
【００３３】
図４に示されるように、目視のつや強度順位との相関が高いものは、差分平均と差分標準偏差である。しかしながら、差分標準偏差は、差分平均との相関が０．４９と高めであり、評価としては重複する。また、歪度と尖度とは、いずれも、正規分布との乖離度に対応する特徴量であり、詳細は以下に説明するが、それらが現す肌の特徴はほぼ同様のものである。したがって、ここでは、評価には差分平均と、歪度または尖度を用いることとした。また、差分平均は肌のつやの強度、歪度と尖度は肌のつやのむら、すなわち、肌の滑らかさを表すと考えられる。
【００３４】
次に、図５および図６を参照して、正規分布との乖離度が肌のつやのむら、すなわち、肌の滑らかさを表すことについて説明する。ここでは、正規分布との乖離度として、歪度を用いて説明する。
【００３５】
目視でつやが強いとされる画像のうち、例えば、図５の上段のように、特に局所的な「てかり」がみられる肌の画像では、差分画像のヒストグラム、すなわち、鏡面反射光成分の分布に二つの山がある。図５の中段のように、ヒストグラムにおいて、分布の二つの山が一見して分かりにくい場合もあるが、この山は、図５の下段のように、ヒストグラムを波形分離すると非常に顕著に現れる。すなわち、分離された波形には、肌全体が持つつやを表す波形と、局所的なてかりによる波形との、性質の異なる二つの波形が現れる。これら性質の異なる二つの波形の二つの山の中心が離れている（すなわち、明るさが異なる）場合には、片方の山の高さが低いことが多く、全体としては裾をひく形となり、図５の中段のように、ヒストグラムの歪度が大きくなる。
【００３６】
これに対して、例えば、図６上段のように、局所的な「てかり」がない、滑らかな肌の画像では、図６の中段のように、差分画像のヒストグラム、すなわち、鏡面反射光成分の分布が比較的正規分布に近く、歪度が小さい。この場合、図６の下段に示されるように、ヒストグラムを波形分離しても、それぞれの山の中心が大きく離れていない、すなわち、分離された波形のそれぞれにおいて、あまり明るさが異ならない。
【００３７】
このように、歪度の大小は、肌のつやのムラ、すなわち、肌の滑らかさを表す。歪度が大きい場合、肌のつやにムラがある、すなわち、肌は滑らかではない。これに対して、歪度が小さい場合、肌のつやにムラが少ない、すなわち、肌は滑らかである。なお、ここでは、歪度と肌の滑らかさの関係について説明したが、上述したように、歪度と尖度とは、いずれも、正規分布との乖離度に対応する特徴量であるので、尖度と肌の滑らかさの関係は、歪度と肌の滑らかさの関係と同様であるので、その説明は省略する。
【００３８】
次に、図７を参照して、差分平均と正規分布との乖離度を特徴量とした、肌の評価の方法について説明する。
【００３９】
図７に、上述した４０人の被験者の肌の撮像画像の鏡面反射光成分の分布の歪度を縦軸に、平均を横軸にプロットした場合の、グラフの各位置に対応する一部の被験者の肌の撮像画像を示す。グラフ右側（差分平均が大）に位置するものは全体的に鏡面反射光成分が強いが、上側（歪度が大）になるとつやのムラが多くなり、右上の領域は、肌が理想よりもてかり気味といえる。つやの場合は強ければよいものではなく、好ましい肌状態としては、グラフの右上端を除く右よりの位置が最適といえる。これより、つやの有無として平均の大きさを評価し、同時に歪度が閾値を超えないことも評価することで、歪度が大きすぎる場合は過剰な好ましくないつや、換言すれば、質感がオイリーな肌である、等の診断を行うことができる。
【００４０】
［肌診断処理を実行するための機能的構成］
図８は、ユーザ端末１２において肌診断処理を実行するための機能的構成例を示すブロック図である。換言すれば、図２のＣＰＵ２１において所定のプログラムが実行されることにより、図８に示される機能が実現される。
【００４１】
無反射モード画像取得部５１は、肌状態測定装置１１からユーザ端末１２へ供給された、無反射モードの診断対象画像を取得し、色補正処理部５３に供給する。
【００４２】
反射モード画像取得部５２は、肌状態測定装置１１からユーザ端末１２へ供給された、反射モードの診断対象画像を取得し、色補正処理部５３に供給する。
【００４３】
色補正処理部５３は、無反射モード画像取得部５１により取得された無反射モードの診断対象画像と、反射モード画像取得部５２により取得された反射モードの診断対象画像とを色補正する。
【００４４】
無反射モードの診断対象画像と、反射モードの診断対象画像とは、肌の同じ範囲を撮影したものであるが、反射モード画像は拡散反射光と鏡面反射光の双方を含んだ画像、無反射モード画像は鏡面反射光成分が除かれた拡散反射光のみの画像となる。すなわち、反射モード画像の画素値から無反射モード画像の画素値を引いた値が鏡面反射光成分であるが、無反射モードの撮影モードと反射モード撮影モードでは、照明条件やカメラの色バランスが変わる（モードによって独立に決める）場合が考えられるため、減算処理を行う前に、無反射モードの診断対象画像と反射モードの診断対象画像との明るさや色を合わせる必要がある。
【００４５】
色補正処理部５３における色補正においては、無反射モードと反射モードのそれぞれの撮影モードで、マクベスチャートのNo.１９乃至２４（白から灰を経由し黒にいたる部分）を撮影したものを補正の基準として用いた。図９に、無反射モードと反射モードのそれぞれのＲ，Ｇ，Ｂ値（撮影画像中央部での平均）と、チャートに対応するＬ*値の関係をグラフに示す。図９上段は、反射モードの場合のグラフであり、図９下段は、無反射モードの場合のグラフである。それぞれ、横軸のＲＧＢについては、０乃至２５５の範囲を０．０乃至１．０にスケーリングしている。なお、チャート１９乃至２４に対応するＬ*は、順に９６，８１．３５，６６．６７，５１．５７，３５．９９，および、２０．５４である。図９に示されるように、反射モードであっても無反射モードであっても、ＲＧＢ値とＬ*の関係は非線形となる。これらは、通常Ｙ＝Ｘγの関係で表されることが多いが、色補正処理部５３においては、計算の簡単化のため、二次式で近似したものを用いるものとする。
【００４６】
反射モード画像についての補正式は、次の式（１）、式（２）、および、式（３）であらわされる。
【００４７】
【数１】
・・・（１）
【００４８】
【数２】
・・・（２）
【００４９】
【数３】
・・・（３）
【００５０】
無反射モード画像についての補正式は、次の式（４）、式（５）、および、式（６）であらわされる。
【００５１】
【数４】
・・・（４）
【００５２】
【数５】
・・・（５）
【００５３】
【数６】
・・・（６）
【００５４】
なお、通常のＲＧＢ画像の画素値の範囲０乃至２５５に対して、上の式では補正後のＲ’、Ｇ’、Ｂ’の最大値が９６となる。補正後の値を画像として保存する場合は、画素値の範囲が整数の０乃至２５５である必要があるため、上述した式（１）乃至式（６）で変換して補正した後、さらに、２．３倍したものを補正後画像の画素値とする必要がある。
【００５５】
図８に戻り、減算処理部５４は、色補正処理部５３により色補正が行われた反射モード画像の画素値から、色補正が行われた無反射モード画像の画素値を減算して、鏡面反射光成分を取得し、その輝度レベルのヒストグラムを生成する。
【００５６】
図１０を参照して、減算処理部５４によって減算されて生成される、ある画像での反射モード画像と無反射モード画像との差分画像について説明する。図１０の上段左側に差分画像のＲ成分の輝度レベルのヒストグラム、図１０の上段右側に差分画像のＧ成分の輝度レベルのヒストグラム、図１０の下段左側に差分画像のＢ成分の輝度レベルのヒストグラム、図１０の下段右側にそれぞれの分布の平均と標準偏差の値を示す。それぞれの輝度レベルのヒストグラムにおいて、図の横軸の輝度レベルは、差分を計算した後に、輝度の高い方にオフセットしている。ただし、図１０の下段右側の表においては、オフセット前の数値を示している。
【００５７】
差分画像のＲＧＢそれぞれの分布を調べると、Ｂ成分は、Ｒ成分およびＧ成分より標準偏差が大きく、比較的広い画素レベルにわたっており、分布の平均も、Ｒ成分およびＧ成分より、Ｂ成分のほうが高めの値となっていることが確認できた。これは、鏡面反射光を含む反射モード画像には、例えば、照明の色（白色光）などとしてＲＧＢが比較的均等に含まれるのに対して、肌色を示す無反射モード画像では、Ｂ成分が少なく、差分をとるとＲやＧよりＢのほうが高めの値になるためと思われる。
【００５８】
すなわち、得られる差分画像において、ＲＧＢのそれぞれの成分のうち、分布の広いＢ成分が最も情報量が多い。したがって、減算処理部５４におけるヒストグラムの生成処理においては、その演算処理を簡略化するために、ＲＧＢ成分のうちＢ成分を取り出してヒストグラムを生成し、演算処理部５５に供給し、鏡面反射光成分を示すものとして特徴量の計算を行わせても良い。または、さらに全体の演算量を減少させるために、色補正処理部５３および減算処理部５４において、Ｂ成分のみを色補正し減算処理するものとしても良い。
【００５９】
例えば、図１１に示されるように、減算処理部５４に色補正後の反射モード画像と、色補正後の無反射モード画像が入力されたとき、減算処理部５４は、その差分画像を生成し、そのうちのＢ成分のヒストグラムを生成し、演算処理部５５に出力する。これにより、演算処理部５５以降の処理も、Ｂ成分のみで行われるため、演算が簡略化され、処理速度が速くなる。
【００６０】
図８に戻り、演算処理部５５は、減算処理部５４によって減算されて生成された差分画像から、肌のツヤと滑らかさの評価と相関の高い特徴量である、差分画像の画素値の平均、および、正規分布との乖離度を演算し、演算結果を演算結果解析処理部５６に供給する。
【００６１】
演算結果解析処理部５６は、演算処理部５５から供給された差分画像の画素値の平均、および、正規分布との乖離度に基づいて、被験者の肌の状態を示すための指標として、肌のつや感の評価を示す情報を生成し、出力制御部５７に供給する。
【００６２】
演算結果解析処理部５６は、例えば、図１２に示されるグラフ上に、演算処理部５５から供給された差分画像の画素値の平均、および、正規分布との乖離度の値をプロットする。図１２に示されるグラフは、図７を用いて説明した場合と同様にして、グラフ右側（差分平均が大）に位置するエリアは全体的に鏡面反射が強いが、上側（正規分布との乖離度が大）のエリアになるとつやのムラが多いことを示すため、右上のエリアにプロットされた場合、その被験者の肌は、てかり気味といえる。つやの場合は強ければよいものではなく、好ましい肌状態としては、グラフの右上端を除く右よりのエリアが最適といえる。演算結果解析処理部５６は、図１２に示されるような、肌状態を示すエリアが設けられたグラフに被験者の肌の撮像画像により得られた値をプロットすることにより、被験者の肌の状態を示すための指標、すなわち、肌の診断結果を生成し、出力制御部５７に出力する。
【００６３】
なお、図１２のグラフは、肌状態を示すための指標を得るためのグラフの一例に過ぎず、エリアの設け方は、この限りではないことは言うまでもない。肌状態の評価は、例えば、被験者の年齢や流行などによっても異なり、肌状態を評価するに当たり、このグラフにおいて、例えば、エリアを異なる数だけ設けたり、曲線で区切ったりしてもよいことは言うまでもない。
【００６４】
出力制御部５７は、演算結果解析処理部５６から供給された被験者の肌の状態の診断結果を、図１および図２を用いて説明したユーザ端末１２の出力部２７のディスプレイへ表示させるために、所定のフォーマット等を用いて、表示画像を生成し、その表示を制御する。または、出力制御部５７は、演算結果解析処理部５６から供給された被験者の肌の状態の診断結果を、図１および図２を用いて説明したユーザ端末１２の出力部２７のスピーカから音声出力させるために、ユーザに診断結果を通知するための音声データを生成し、その音声出力を制御する。
【００６５】
このようにして、ユーザ端末１２において、肌のつやに加えて肌の滑らかさを評価可能な肌診断処理が実行される。
【００６６】
次に、図１３のフローチャートを参照して、肌状態測定装置１１およびユーザ端末１２が実行する肌診断処理について説明する。
【００６７】
ステップＳ１において、肌状態測定装置１１は、被験者の肌の同じ部位の無反射モード画像および反射モード画像を撮像し、ユーザ端末１２に出力する。ユーザ端末１２は、通信部２９から被験者の肌の同じ部位の無反射モード画像および反射モード画像の供給を受け、入出力インタフェース２５およびバス２４を介して、ＣＰＵ２１に供給する。図８を用いて説明した無反射モード画像取得部５１は、無反射モード画像を取得して、色補正処理部５３に供給する。反射モード画像取得部５２は、反射モード画像を取得して、色補正処理部５３に供給する。
【００６８】
ステップＳ２において、色補正処理部５３は、例えば、上述した式（１）乃至式（６）を用いて、無反射モード画像および反射モード画像の輝度レベルを補正し、補正された画像を減算処理部５４に供給する。
【００６９】
ステップＳ３において、減算処理部５４は、色補正処理部５３から供給された２つの画像のＢ成分の差分画像を生成し、演算処理部５５に供給する。
【００７０】
ステップＳ４において、演算処理部５５は、差分画像の平均と、正規分布との乖離度（歪度または尖度）とを計算し、演算結果解析処理部５６に供給する。
【００７１】
ステップＳ５において、演算結果解析処理部５６は、演算処理部５５によって演算された、差分画像の平均と、歪度または尖度とを、例えば、図１２を用いて説明したような、肌評価を行うためのエリアが設けられたグラフ上にプロットすることなどにより、被験者の肌のつやの質感および滑らかさを評価するための指標となる情報を生成し、被験者の肌の診断結果として、出力制御部５７に供給する。
【００７２】
ステップＳ６において、出力制御部５７は、演算結果解析処理部５６から供給された被験者の肌の状態の診断結果を、ユーザ端末１２の出力部２７のディスプレイへ表示させるために、所定のフォーマット等を用いて、表示画像を生成するか、または、ユーザ端末１２の出力部２７のスピーカから音声出力するために、ユーザに診断結果を通知するための音声データを生成する。そして、出力制御部５７は、バス２４および入出力インタフェース２５を介して、出力部２７のディスプレイ、または、出力部２７のスピーカに、表示画像、または、音声データを出力して、その表示または音声出力を制御する。出力部２７のディスプレイは、所定の表示方法で、評価結果を表示出力し、出力部２７のスピーカは、評価結果を示す音声データを音声出力して、処理が終了される。
【００７３】
このような処理により、肌状態測定装置１１において、被験者の肌の同じ部位の無反射モード画像および反射モード画像が撮像され、ユーザ端末１２において、肌のつやに加えて肌の滑らかさを評価可能な肌診断処理が実行され、その診断結果が表示されてユーザに提示される。
【００７４】
なお、以上の処理においては、肌状態測定装置１１とユーザ端末１２が直接接続されているものとして説明したが、肌状態測定装置１１とユーザ端末１２とは、それぞれ離れたところに設置されていてもよく、例えば、所定のネットワークやリムーバブルメディアを介して、肌状態測定装置１１により撮像された被験者の肌の同じ部位の無反射モード画像および反射モード画像をユーザ端末１２に供給するものとしても良いことは言うまでもない。
【符号の説明】
【００７５】
１１ 肌状態測定装置
１２ ユーザ端末（情報処理装置）
２１ ＣＰＵ（制御部）
２２ ＲＯＭ
２３ ＲＡＭ
２４ バス
２５ 入出力インタフェース
２６ 入力部
２７ 出力部
２８ 記憶部
２９ 通信部
３０ ドライブ
３１ リムーバブルメディア
５１ 無反射モード画像取得部（画像取得手段）
５２ 反射モード画像取得部（画像取得手段）
５３ 色補正処理部（色補正手段）
５４ 減算処理部（減算手段）
５５ 演算処理部（乖離度演算手段）
５６ 演算結果解析処理部（指標生成手段）
５７ 出力制御部
【技術分野】
【０００１】
本発明は、情報処理装置、情報処理方法、および、プログラムに関する。
【背景技術】
【０００２】
従来、光源部とレンズ部にそれぞれ偏光フィルタを装着したデジタルカメラを用い、光源部に対するレンズ部の偏光フィルタの角度を平行させて撮影した皮膚画像と直交させて撮影した皮膚画像の２種類の皮膚画像を画像演算処理することにより得られる皮膚画像の拡散反射光の輝度値若しくは表面反射光の輝度値を指標として、皮膚のつや感の測定を行う技術があった（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００８−２１２１８９号公報
【０００４】
その結果、表面反射画像の平均輝度値とつや感の目視スコアとの相関係数ｒは、ｒ＝０．３８８であり、有意確率１％未満（ｐ＜０．０１）の有意な相関関係を確認することができた。
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、平均的なつや強さの他に、肌の滑らかさを評価するための技術は存在しなかった。
【０００６】
本発明はこのような状況に鑑みてなされたものであり、肌のつやに加えて肌の滑らかさを評価することができるようにするものである。
【課題を解決するための手段】
【０００７】
本発明の一側面は、無反射モード画像および反射モード画像を取得する画像取得手段と、画像取得手段により取得された無反射モード画像および反射モード画像に色補正を行う色補正手段と、色補正手段により色補正された反射モード画像の画素値から、色補正手段により色補正された無反射モード画像の画素値を減算する減算手段と、減算手段による減算結果の平均値および減算結果の分布の正規分布との乖離度を演算する乖離度演算手段と、乖離度演算手段により演算された平均値および乖離度を特徴量として、肌状態を評価するための指標を生成する指標生成手段とを備えることを特徴とする。
【０００８】
乖離度演算手段は、減算手段による減算結果のＢ成分の平均値、および、減算結果のＢ成分の分布の正規分布との乖離度を演算することができる。
【０００９】
色補正手段は、画像取得手段により取得された無反射モード画像および反射モード画像のそれぞれのＢ成分のみに色補正を実行するようにすることができ、減算手段は、色補正手段により色補正された反射モード画像のＢ成分の画素値から、色補正手段により色補正された無反射モード画像のＢ成分の画素値を減算することができる。
【００１０】
乖離度演算手段は、正規分布との乖離度として、分布の歪度を演算することができる。
【００１１】
乖離度演算手段は、正規分布との乖離度として、分布の尖度を演算することができる。
【００１２】
本発明の一側面は、制御部を有する情報処理装置において、制御部は、無反射モード画像および反射モード画像を取得し、取得された無反射モード画像および反射モード画像に色補正を行い、色補正された反射モード画像の画素値から、色補正された無反射モード画像の画素値を減算し、減算結果の平均値および減算結果の分布の正規分布との乖離度を演算し、演算された平均値および乖離度を特徴量として、肌状態を評価するための指標を生成することを特徴とする。
【００１３】
本発明の一側面は、無反射モード画像および反射モード画像を取得する画像取得ステップと、画像取得ステップの処理により取得された無反射モード画像および反射モード画像に色補正を行う色補正ステップと、色補正ステップの処理により色補正された反射モード画像の画素値から、色補正ステップの処理により色補正された無反射モード画像の画素値を減算する減算ステップと、減算ステップの処理による減算結果の平均値および減算結果の分布の正規分布との乖離度を演算する乖離度演算ステップと、乖離度演算ステップの処理により演算された平均値および乖離度を特徴量として、肌状態を評価するための指標を生成する指標生成ステップとを含むことを特徴とする。
【００１４】
本発明の一側面は、被験者の肌状態を評価するための処理をコンピュータに実行させるためのプログラムであって、無反射モード画像および反射モード画像を取得する画像取得ステップと、画像取得ステップの処理により取得された無反射モード画像および反射モード画像に色補正を行う色補正ステップと、色補正ステップの処理により色補正された反射モード画像の画素値から、色補正ステップの処理により色補正された無反射モード画像の画素値を減算する減算ステップと、減算ステップの処理による減算結果の平均値および減算結果の分布の正規分布との乖離度を演算する乖離度演算ステップと、乖離度演算ステップの処理により演算された平均値および乖離度を特徴量として、肌状態を評価するための指標を生成する指標生成ステップとを含む処理をコンピュータに実行させる。
【発明の効果】
【００１５】
以上のように、本発明の一側面によれば、肌のつやに加えて肌の滑らかさを評価することができる。
【図面の簡単な説明】
【００１６】
【図１】本発明を適用した肌診断システムの構成例を示す図である。
【図２】図１のユーザ端末の構成例を示す図である。
【図３】目視のつや強度順位と各特徴量との相関について説明するための図である。
【図４】目視のつや強度順位と各特徴量との相関係数について説明するための図である。
【図５】正規分布との乖離度と肌の滑らかさとの関係について説明するための図である。
【図６】正規分布との乖離度と肌の滑らかさとの関係について説明するための図である。
【図７】差分平均および正規分布との乖離度を特徴量とした肌の評価の方法について説明するための図である。
【図８】肌診断処理を図１のユーザ端末において実行するための機能的構成例を示すブロック図である。
【図９】無反射モードと反射モードのそれぞれのＲ，Ｇ，Ｂ値と、チャートに対応するＬ*値の関係について説明するための図である。
【図１０】反射モード画像と無反射モード画像との差分画像について説明するための図である。
【図１１】減算処理部の処理について説明するための図である。
【図１２】肌状態を示すための指標を得るためのグラフの一例について説明するための図である。
【図１３】肌診断処理について説明するためのフローチャートである。
【発明を実施するための形態】
【００１７】
［肌診断システムの構成］
図１は、本発明を適用した肌診断システムの構成例を示す図である。
【００１８】
肌状態測定装置１１は、被験者としての顧客、または、カウンセラーとしての化粧品売り場の店員など（以下、個々に区別する必要がない場合、単に、ユーザと称する）が片手で把持し易い形態を有し、個体撮像素子（ＣＣＤまたはＣＭＯＳ）からなる撮像部を有している。例えば被験者が肌状態測定装置１１を持って、肌状態測定装置１１の所定の部分（例えば顔の頬部分）に当てて所定の操作を行うことにより、その部分の、光源部に対するレンズ部の偏光フィルタの角度を直交させて撮影した皮膚画像（以下、無反射モード画像、ＰＬ（polarized light）画像と称する）、および光源部に対するレンズ部の偏光フィルタの角度を平行させて撮影した皮膚画像（以下、反射モード画像、ＮＰＬ（Non-polarized light）画像と称する）が撮像され、その結果得られた撮像画像が取り込まれる。すなわち、肌状態測定装置１１の撮像部は、例えば、２つの光学系を有し、一方のレンズには、偏光フィルタを用いて無反射モード画像を撮像し、他方のレンズには偏光フィルタを用いることなく反射モード画像を撮像するようにしたり、または、１つの光学系を有し、偏光フィルタの有無を変更することにより、反射モード画像、および、無反射モード画像を連写することができるものである。このように得られた２枚は、肌の同じ範囲を撮影したものであるが、反射モード画像は拡散反射光と鏡面反射光の双方を含んだ画像、無反射モード画像は鏡面反射光成分が除かれた拡散反射光のみの画像となる。
【００１９】
肌状態測定装置１１は、例えば有線で、ユーザ端末１２と接続されており、取り込んだ撮像画像をユーザ端末１２に送信する。
【００２０】
ユーザ端末１２は、例えばパーソナルコンピュータであり、肌状態測定装置１１から送信されてきた被験者の皮膚部分の撮像画像に基づいて、所定の肌状診断処理を実行し、その結果を出力（表示または音声出力）する。この肌診断処理の詳細は後述する。
【００２１】
［ユーザ端末１２の構成］
図２は、ユーザ端末１２の構成例を示すブロック図である。このユーザ端末１２において、ＣＰＵ（Central Processing Unit）２１、ＲＯＭ（Read Only Memory）２２、およびＲＡＭ（Random Access Memory）２３は、バス２４により相互に接続されている。
【００２２】
バス２４には、さらに、入出力インタフェース２５が接続されている。入出力インタフェース２５には、キーボード、マウス、マイクロホンなどよりなる入力部２６、ディスプレイ、スピーカなどよりなる出力部２７、ハードディスクや不揮発性のメモリなどよりなる記憶部２８、肌状態測定装置１１との通信を実現する通信部２９、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(Compact Disc-Read Only Memory),DVD(Digital Versatile Disc)等）、光磁気ディスク、もしくは半導体メモリなどよりなるパッケージメディアであるリムーバブルメディア３１を駆動するドライブ３０が接続されている。
【００２３】
以上のように構成されるユーザ端末１２では、ＣＰＵ２１が、例えば、記憶部２８に記憶されているプログラムを、入出力インタフェース２５及びバス２４を介して、ＲＡＭ２３にロードして実行することにより、所定の処理（例えば、肌診断処理）が行われる。
【００２４】
なおＣＰＵ２１が実行するプログラムは、例えば、リムーバブルメディア３１に記録されて、あるいは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供される。
【００２５】
そして、プログラムは、リムーバブルメディア３１をドライブ３０に装着することにより、入出力インタフェース２５を介して、記憶部２８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部２９で受信し、記憶部２８にインストールすることができる。その他、プログラムは、ＲＯＭ２２や記憶部２８に、予めインストールしておくことができる。
【００２６】
［肌診断処理を実行するための特徴量］
「肌のつや」という言葉には感覚的な要素も含まれており、どのような物理量を示しているのか曖昧な点もあるが、文献などでは、例えば、「物理的な光沢度」、「脂っぽくなく、みずみずしい感じが強く、はねかえるような光」などとして定義されている。これらを参考に、つやを鏡面反射光成分に由来するものとして捉えて、異なる偏光条件で撮像された肌の画像から得られる鏡面反射光成分の分布に基づいて、目視のつや評価と相関の高い特徴量を決定することを試みた。
【００２７】
上述したように、肌状態測定装置１１が取得する反射モード画像、および、無反射モード画像は、肌の同じ範囲を撮影したものであるが、反射モード画像は拡散反射光と鏡面反射光の双方を含んだ画像、無反射モード画像は鏡面反射光成分が除かれた拡散反射光のみの画像となる。すなわち、反射モード画像の画素値から無反射モード画像の画素値を引いた値が鏡面反射光成分であると考える。
【００２８】
ここでは、目視のつや評価と相関の高い特徴量を決定するための一例として、専門家による肌のつやの強度の目視による評価と、肌の画像の鏡面反射光成分の分布から得られる各特徴量との相関を求めた。専門家による肌のつやの強度の評価は、２０歳代乃至６０歳代の女性の被験者４０名の頬を撮影した４０枚の画像について、肌診断の専門家３名の合議により、つやの強い順に１位乃至４０位の順位をつけたものとした。また、肌の画像の鏡面反射光成分の分布は、異なる偏光条件で撮像された上述の被験者４０名の肌の画像の鏡面反射光成分、すなわち、反射モード画像の画素値から無反射モード画像の画素値を引いた差分値の分布である。
【００２９】
差分値の分布により得られる特徴量には、さまざまなものがあるが、ここでは、特に、平均値、標準偏差、歪度、尖度が、専門家による肌のつやの評価と相関が高いという結果を得ることができた。
【００３０】
図３に、縦軸を目視のつや強度順位、横軸を特徴量とし、被験者４０人の結果をプロットしたグラフの一例を示す。図３においては、グラフの縦軸で下側ほど、つやが強いことを示す。また、ここでは、一般的に目視の肌の美しさと高い相関を得る場合が多いと考えられる被験者の「年齢」を、差分値の分布により得られる各特徴量と比較するための特徴量としてあげている。図３の上段は、縦軸を目視のつや強度順位、横軸を年齢としたグラフ、図３中段は、縦軸を目視のつや強度順位、横軸を差分平均（差分値の分布の平均値）としたグラフ、図３下段は、縦軸を目視のつや強度順位、横軸を差分歪度（差分値の分布の歪度）としたグラフである。
【００３１】
図３上段に示されるように、被験者の「年齢」は、目視のつや強度順位と非常に高い相関を有している。また、図３中段に示されるように、反射モード画像の画素値から無反射モード画像の画素値を引いた差分値の分布の平均も、目視のつや強度順位とある程度高い相関を有している。そして、また、図３下段に示されるように、反射モード画像の画素値から無反射モード画像の画素値を引いた差分値の分布の歪度も、目視のつや強度順位とある程度高い相関を有している。
【００３２】
図４に、目視のつや強度順位、年齢、差分平均（差分値の分布の平均値）、差分標準偏差（差分値の分布の標準偏差）、差分歪度（差分値の分布の歪度）、および、差分尖度（差分値の分布の尖度）のそれぞれの相関係数を示す。ここで、注目するべきは、目視のつや強度順位に対する、年齢、差分平均、差分標準偏差、差分歪度、および、差分尖度の相関係数である。目視のつや強度順位と差分平均との相関係数は−０．４５、目視のつや強度順位と標準偏差との相関係数は−０．３７、目視のつや強度順位と歪度との相関係数は−０．３１、目視のつや強度順位と尖度との相関係数は−０．３５であった。
【００３３】
図４に示されるように、目視のつや強度順位との相関が高いものは、差分平均と差分標準偏差である。しかしながら、差分標準偏差は、差分平均との相関が０．４９と高めであり、評価としては重複する。また、歪度と尖度とは、いずれも、正規分布との乖離度に対応する特徴量であり、詳細は以下に説明するが、それらが現す肌の特徴はほぼ同様のものである。したがって、ここでは、評価には差分平均と、歪度または尖度を用いることとした。また、差分平均は肌のつやの強度、歪度と尖度は肌のつやのむら、すなわち、肌の滑らかさを表すと考えられる。
【００３４】
次に、図５および図６を参照して、正規分布との乖離度が肌のつやのむら、すなわち、肌の滑らかさを表すことについて説明する。ここでは、正規分布との乖離度として、歪度を用いて説明する。
【００３５】
目視でつやが強いとされる画像のうち、例えば、図５の上段のように、特に局所的な「てかり」がみられる肌の画像では、差分画像のヒストグラム、すなわち、鏡面反射光成分の分布に二つの山がある。図５の中段のように、ヒストグラムにおいて、分布の二つの山が一見して分かりにくい場合もあるが、この山は、図５の下段のように、ヒストグラムを波形分離すると非常に顕著に現れる。すなわち、分離された波形には、肌全体が持つつやを表す波形と、局所的なてかりによる波形との、性質の異なる二つの波形が現れる。これら性質の異なる二つの波形の二つの山の中心が離れている（すなわち、明るさが異なる）場合には、片方の山の高さが低いことが多く、全体としては裾をひく形となり、図５の中段のように、ヒストグラムの歪度が大きくなる。
【００３６】
これに対して、例えば、図６上段のように、局所的な「てかり」がない、滑らかな肌の画像では、図６の中段のように、差分画像のヒストグラム、すなわち、鏡面反射光成分の分布が比較的正規分布に近く、歪度が小さい。この場合、図６の下段に示されるように、ヒストグラムを波形分離しても、それぞれの山の中心が大きく離れていない、すなわち、分離された波形のそれぞれにおいて、あまり明るさが異ならない。
【００３７】
このように、歪度の大小は、肌のつやのムラ、すなわち、肌の滑らかさを表す。歪度が大きい場合、肌のつやにムラがある、すなわち、肌は滑らかではない。これに対して、歪度が小さい場合、肌のつやにムラが少ない、すなわち、肌は滑らかである。なお、ここでは、歪度と肌の滑らかさの関係について説明したが、上述したように、歪度と尖度とは、いずれも、正規分布との乖離度に対応する特徴量であるので、尖度と肌の滑らかさの関係は、歪度と肌の滑らかさの関係と同様であるので、その説明は省略する。
【００３８】
次に、図７を参照して、差分平均と正規分布との乖離度を特徴量とした、肌の評価の方法について説明する。
【００３９】
図７に、上述した４０人の被験者の肌の撮像画像の鏡面反射光成分の分布の歪度を縦軸に、平均を横軸にプロットした場合の、グラフの各位置に対応する一部の被験者の肌の撮像画像を示す。グラフ右側（差分平均が大）に位置するものは全体的に鏡面反射光成分が強いが、上側（歪度が大）になるとつやのムラが多くなり、右上の領域は、肌が理想よりもてかり気味といえる。つやの場合は強ければよいものではなく、好ましい肌状態としては、グラフの右上端を除く右よりの位置が最適といえる。これより、つやの有無として平均の大きさを評価し、同時に歪度が閾値を超えないことも評価することで、歪度が大きすぎる場合は過剰な好ましくないつや、換言すれば、質感がオイリーな肌である、等の診断を行うことができる。
【００４０】
［肌診断処理を実行するための機能的構成］
図８は、ユーザ端末１２において肌診断処理を実行するための機能的構成例を示すブロック図である。換言すれば、図２のＣＰＵ２１において所定のプログラムが実行されることにより、図８に示される機能が実現される。
【００４１】
無反射モード画像取得部５１は、肌状態測定装置１１からユーザ端末１２へ供給された、無反射モードの診断対象画像を取得し、色補正処理部５３に供給する。
【００４２】
反射モード画像取得部５２は、肌状態測定装置１１からユーザ端末１２へ供給された、反射モードの診断対象画像を取得し、色補正処理部５３に供給する。
【００４３】
色補正処理部５３は、無反射モード画像取得部５１により取得された無反射モードの診断対象画像と、反射モード画像取得部５２により取得された反射モードの診断対象画像とを色補正する。
【００４４】
無反射モードの診断対象画像と、反射モードの診断対象画像とは、肌の同じ範囲を撮影したものであるが、反射モード画像は拡散反射光と鏡面反射光の双方を含んだ画像、無反射モード画像は鏡面反射光成分が除かれた拡散反射光のみの画像となる。すなわち、反射モード画像の画素値から無反射モード画像の画素値を引いた値が鏡面反射光成分であるが、無反射モードの撮影モードと反射モード撮影モードでは、照明条件やカメラの色バランスが変わる（モードによって独立に決める）場合が考えられるため、減算処理を行う前に、無反射モードの診断対象画像と反射モードの診断対象画像との明るさや色を合わせる必要がある。
【００４５】
色補正処理部５３における色補正においては、無反射モードと反射モードのそれぞれの撮影モードで、マクベスチャートのNo.１９乃至２４（白から灰を経由し黒にいたる部分）を撮影したものを補正の基準として用いた。図９に、無反射モードと反射モードのそれぞれのＲ，Ｇ，Ｂ値（撮影画像中央部での平均）と、チャートに対応するＬ*値の関係をグラフに示す。図９上段は、反射モードの場合のグラフであり、図９下段は、無反射モードの場合のグラフである。それぞれ、横軸のＲＧＢについては、０乃至２５５の範囲を０．０乃至１．０にスケーリングしている。なお、チャート１９乃至２４に対応するＬ*は、順に９６，８１．３５，６６．６７，５１．５７，３５．９９，および、２０．５４である。図９に示されるように、反射モードであっても無反射モードであっても、ＲＧＢ値とＬ*の関係は非線形となる。これらは、通常Ｙ＝Ｘγの関係で表されることが多いが、色補正処理部５３においては、計算の簡単化のため、二次式で近似したものを用いるものとする。
【００４６】
反射モード画像についての補正式は、次の式（１）、式（２）、および、式（３）であらわされる。
【００４７】
【数１】
・・・（１）
【００４８】
【数２】
・・・（２）
【００４９】
【数３】
・・・（３）
【００５０】
無反射モード画像についての補正式は、次の式（４）、式（５）、および、式（６）であらわされる。
【００５１】
【数４】
・・・（４）
【００５２】
【数５】
・・・（５）
【００５３】
【数６】
・・・（６）
【００５４】
なお、通常のＲＧＢ画像の画素値の範囲０乃至２５５に対して、上の式では補正後のＲ’、Ｇ’、Ｂ’の最大値が９６となる。補正後の値を画像として保存する場合は、画素値の範囲が整数の０乃至２５５である必要があるため、上述した式（１）乃至式（６）で変換して補正した後、さらに、２．３倍したものを補正後画像の画素値とする必要がある。
【００５５】
図８に戻り、減算処理部５４は、色補正処理部５３により色補正が行われた反射モード画像の画素値から、色補正が行われた無反射モード画像の画素値を減算して、鏡面反射光成分を取得し、その輝度レベルのヒストグラムを生成する。
【００５６】
図１０を参照して、減算処理部５４によって減算されて生成される、ある画像での反射モード画像と無反射モード画像との差分画像について説明する。図１０の上段左側に差分画像のＲ成分の輝度レベルのヒストグラム、図１０の上段右側に差分画像のＧ成分の輝度レベルのヒストグラム、図１０の下段左側に差分画像のＢ成分の輝度レベルのヒストグラム、図１０の下段右側にそれぞれの分布の平均と標準偏差の値を示す。それぞれの輝度レベルのヒストグラムにおいて、図の横軸の輝度レベルは、差分を計算した後に、輝度の高い方にオフセットしている。ただし、図１０の下段右側の表においては、オフセット前の数値を示している。
【００５７】
差分画像のＲＧＢそれぞれの分布を調べると、Ｂ成分は、Ｒ成分およびＧ成分より標準偏差が大きく、比較的広い画素レベルにわたっており、分布の平均も、Ｒ成分およびＧ成分より、Ｂ成分のほうが高めの値となっていることが確認できた。これは、鏡面反射光を含む反射モード画像には、例えば、照明の色（白色光）などとしてＲＧＢが比較的均等に含まれるのに対して、肌色を示す無反射モード画像では、Ｂ成分が少なく、差分をとるとＲやＧよりＢのほうが高めの値になるためと思われる。
【００５８】
すなわち、得られる差分画像において、ＲＧＢのそれぞれの成分のうち、分布の広いＢ成分が最も情報量が多い。したがって、減算処理部５４におけるヒストグラムの生成処理においては、その演算処理を簡略化するために、ＲＧＢ成分のうちＢ成分を取り出してヒストグラムを生成し、演算処理部５５に供給し、鏡面反射光成分を示すものとして特徴量の計算を行わせても良い。または、さらに全体の演算量を減少させるために、色補正処理部５３および減算処理部５４において、Ｂ成分のみを色補正し減算処理するものとしても良い。
【００５９】
例えば、図１１に示されるように、減算処理部５４に色補正後の反射モード画像と、色補正後の無反射モード画像が入力されたとき、減算処理部５４は、その差分画像を生成し、そのうちのＢ成分のヒストグラムを生成し、演算処理部５５に出力する。これにより、演算処理部５５以降の処理も、Ｂ成分のみで行われるため、演算が簡略化され、処理速度が速くなる。
【００６０】
図８に戻り、演算処理部５５は、減算処理部５４によって減算されて生成された差分画像から、肌のツヤと滑らかさの評価と相関の高い特徴量である、差分画像の画素値の平均、および、正規分布との乖離度を演算し、演算結果を演算結果解析処理部５６に供給する。
【００６１】
演算結果解析処理部５６は、演算処理部５５から供給された差分画像の画素値の平均、および、正規分布との乖離度に基づいて、被験者の肌の状態を示すための指標として、肌のつや感の評価を示す情報を生成し、出力制御部５７に供給する。
【００６２】
演算結果解析処理部５６は、例えば、図１２に示されるグラフ上に、演算処理部５５から供給された差分画像の画素値の平均、および、正規分布との乖離度の値をプロットする。図１２に示されるグラフは、図７を用いて説明した場合と同様にして、グラフ右側（差分平均が大）に位置するエリアは全体的に鏡面反射が強いが、上側（正規分布との乖離度が大）のエリアになるとつやのムラが多いことを示すため、右上のエリアにプロットされた場合、その被験者の肌は、てかり気味といえる。つやの場合は強ければよいものではなく、好ましい肌状態としては、グラフの右上端を除く右よりのエリアが最適といえる。演算結果解析処理部５６は、図１２に示されるような、肌状態を示すエリアが設けられたグラフに被験者の肌の撮像画像により得られた値をプロットすることにより、被験者の肌の状態を示すための指標、すなわち、肌の診断結果を生成し、出力制御部５７に出力する。
【００６３】
なお、図１２のグラフは、肌状態を示すための指標を得るためのグラフの一例に過ぎず、エリアの設け方は、この限りではないことは言うまでもない。肌状態の評価は、例えば、被験者の年齢や流行などによっても異なり、肌状態を評価するに当たり、このグラフにおいて、例えば、エリアを異なる数だけ設けたり、曲線で区切ったりしてもよいことは言うまでもない。
【００６４】
出力制御部５７は、演算結果解析処理部５６から供給された被験者の肌の状態の診断結果を、図１および図２を用いて説明したユーザ端末１２の出力部２７のディスプレイへ表示させるために、所定のフォーマット等を用いて、表示画像を生成し、その表示を制御する。または、出力制御部５７は、演算結果解析処理部５６から供給された被験者の肌の状態の診断結果を、図１および図２を用いて説明したユーザ端末１２の出力部２７のスピーカから音声出力させるために、ユーザに診断結果を通知するための音声データを生成し、その音声出力を制御する。
【００６５】
このようにして、ユーザ端末１２において、肌のつやに加えて肌の滑らかさを評価可能な肌診断処理が実行される。
【００６６】
次に、図１３のフローチャートを参照して、肌状態測定装置１１およびユーザ端末１２が実行する肌診断処理について説明する。
【００６７】
ステップＳ１において、肌状態測定装置１１は、被験者の肌の同じ部位の無反射モード画像および反射モード画像を撮像し、ユーザ端末１２に出力する。ユーザ端末１２は、通信部２９から被験者の肌の同じ部位の無反射モード画像および反射モード画像の供給を受け、入出力インタフェース２５およびバス２４を介して、ＣＰＵ２１に供給する。図８を用いて説明した無反射モード画像取得部５１は、無反射モード画像を取得して、色補正処理部５３に供給する。反射モード画像取得部５２は、反射モード画像を取得して、色補正処理部５３に供給する。
【００６８】
ステップＳ２において、色補正処理部５３は、例えば、上述した式（１）乃至式（６）を用いて、無反射モード画像および反射モード画像の輝度レベルを補正し、補正された画像を減算処理部５４に供給する。
【００６９】
ステップＳ３において、減算処理部５４は、色補正処理部５３から供給された２つの画像のＢ成分の差分画像を生成し、演算処理部５５に供給する。
【００７０】
ステップＳ４において、演算処理部５５は、差分画像の平均と、正規分布との乖離度（歪度または尖度）とを計算し、演算結果解析処理部５６に供給する。
【００７１】
ステップＳ５において、演算結果解析処理部５６は、演算処理部５５によって演算された、差分画像の平均と、歪度または尖度とを、例えば、図１２を用いて説明したような、肌評価を行うためのエリアが設けられたグラフ上にプロットすることなどにより、被験者の肌のつやの質感および滑らかさを評価するための指標となる情報を生成し、被験者の肌の診断結果として、出力制御部５７に供給する。
【００７２】
ステップＳ６において、出力制御部５７は、演算結果解析処理部５６から供給された被験者の肌の状態の診断結果を、ユーザ端末１２の出力部２７のディスプレイへ表示させるために、所定のフォーマット等を用いて、表示画像を生成するか、または、ユーザ端末１２の出力部２７のスピーカから音声出力するために、ユーザに診断結果を通知するための音声データを生成する。そして、出力制御部５７は、バス２４および入出力インタフェース２５を介して、出力部２７のディスプレイ、または、出力部２７のスピーカに、表示画像、または、音声データを出力して、その表示または音声出力を制御する。出力部２７のディスプレイは、所定の表示方法で、評価結果を表示出力し、出力部２７のスピーカは、評価結果を示す音声データを音声出力して、処理が終了される。
【００７３】
このような処理により、肌状態測定装置１１において、被験者の肌の同じ部位の無反射モード画像および反射モード画像が撮像され、ユーザ端末１２において、肌のつやに加えて肌の滑らかさを評価可能な肌診断処理が実行され、その診断結果が表示されてユーザに提示される。
【００７４】
なお、以上の処理においては、肌状態測定装置１１とユーザ端末１２が直接接続されているものとして説明したが、肌状態測定装置１１とユーザ端末１２とは、それぞれ離れたところに設置されていてもよく、例えば、所定のネットワークやリムーバブルメディアを介して、肌状態測定装置１１により撮像された被験者の肌の同じ部位の無反射モード画像および反射モード画像をユーザ端末１２に供給するものとしても良いことは言うまでもない。
【符号の説明】
【００７５】
１１ 肌状態測定装置
１２ ユーザ端末（情報処理装置）
２１ ＣＰＵ（制御部）
２２ ＲＯＭ
２３ ＲＡＭ
２４ バス
２５ 入出力インタフェース
２６ 入力部
２７ 出力部
２８ 記憶部
２９ 通信部
３０ ドライブ
３１ リムーバブルメディア
５１ 無反射モード画像取得部（画像取得手段）
５２ 反射モード画像取得部（画像取得手段）
５３ 色補正処理部（色補正手段）
５４ 減算処理部（減算手段）
５５ 演算処理部（乖離度演算手段）
５６ 演算結果解析処理部（指標生成手段）
５７ 出力制御部
【特許請求の範囲】
【請求項１】
無反射モード画像および反射モード画像を取得する画像取得手段と、
上記画像取得手段により取得された上記無反射モード画像および上記反射モード画像に色補正を行う色補正手段と、
上記色補正手段により色補正された上記反射モード画像の画素値から、上記色補正手段により色補正された上記無反射モード画像の画素値を減算する減算手段と、
上記減算手段による減算結果の平均値および減算結果の分布の正規分布との乖離度を演算する乖離度演算手段と、
上記乖離度演算手段により演算された上記平均値および上記乖離度を特徴量として、肌状態を評価するための指標を生成する指標生成手段と
を備えることを特徴とする情報処理装置。
【請求項２】
請求項１に記載の情報処理装置において、
前記乖離度演算手段は、前記減算手段による減算結果のＢ成分の平均値、および、減算結果のＢ成分の分布の正規分布との乖離度を演算する
ことを特徴とする情報処理装置。
【請求項３】
請求項１に記載の情報処理装置において、
前記色補正手段は、前記画像取得手段により取得された前記無反射モード画像および前記反射モード画像のそれぞれのＢ成分のみに色補正を実行し、
前記減算手段は、上記色補正手段により色補正された上記反射モード画像のＢ成分の画素値から、上記色補正手段により色補正された上記無反射モード画像のＢ成分の画素値を減算する
ことを特徴とする情報処理装置。
【請求項４】
請求項１乃至３のいずれか1項記載の情報処理装置において、
前記乖離度演算手段は、正規分布との乖離度として、分布の歪度を演算する
ことを特徴とする情報処理装置。
【請求項５】
請求項１乃至３のいずれか1項記載の情報処理装置において、
前記乖離度演算手段は、正規分布との乖離度として、分布の尖度を演算する
ことを特徴とする情報処理装置。
【請求項６】
無反射モード画像および反射モード画像を取得する画像取得ステップと、
上記画像取得ステップの処理により取得された上記無反射モード画像および上記反射モード画像に色補正を行う色補正ステップと、
上記色補正ステップの処理により色補正された上記反射モード画像の画素値から、上記色補正ステップの処理により色補正された上記無反射モード画像の画素値を減算する減算ステップと、
上記減算ステップの処理による減算結果の平均値および減算結果の分布の正規分布との乖離度を演算する乖離度演算ステップと、
上記乖離度演算ステップの処理により演算された上記平均値および上記乖離度を特徴量として、肌状態を評価するための指標を生成する指標生成ステップと
を含むことを特徴とする情報処理方法。
【請求項７】
被験者の肌状態を評価するための処理をコンピュータに実行させるためのプログラムであって、
無反射モード画像および反射モード画像を取得する画像取得ステップと、
上記画像取得ステップの処理により取得された上記無反射モード画像および上記反射モード画像に色補正を行う色補正ステップと、
上記色補正ステップの処理により色補正された上記反射モード画像の画素値から、上記色補正ステップの処理により色補正された上記無反射モード画像の画素値を減算する減算ステップと、
上記減算ステップの処理による減算結果の平均値および減算結果の分布の正規分布との乖離度を演算する乖離度演算ステップと、
上記乖離度演算ステップの処理により演算された上記平均値および上記乖離度を特徴量として、肌状態を評価するための指標を生成する指標生成ステップと
を含む処理をコンピュータに実行させるプログラム。
【請求項１】
無反射モード画像および反射モード画像を取得する画像取得手段と、
上記画像取得手段により取得された上記無反射モード画像および上記反射モード画像に色補正を行う色補正手段と、
上記色補正手段により色補正された上記反射モード画像の画素値から、上記色補正手段により色補正された上記無反射モード画像の画素値を減算する減算手段と、
上記減算手段による減算結果の平均値および減算結果の分布の正規分布との乖離度を演算する乖離度演算手段と、
上記乖離度演算手段により演算された上記平均値および上記乖離度を特徴量として、肌状態を評価するための指標を生成する指標生成手段と
を備えることを特徴とする情報処理装置。
【請求項２】
請求項１に記載の情報処理装置において、
前記乖離度演算手段は、前記減算手段による減算結果のＢ成分の平均値、および、減算結果のＢ成分の分布の正規分布との乖離度を演算する
ことを特徴とする情報処理装置。
【請求項３】
請求項１に記載の情報処理装置において、
前記色補正手段は、前記画像取得手段により取得された前記無反射モード画像および前記反射モード画像のそれぞれのＢ成分のみに色補正を実行し、
前記減算手段は、上記色補正手段により色補正された上記反射モード画像のＢ成分の画素値から、上記色補正手段により色補正された上記無反射モード画像のＢ成分の画素値を減算する
ことを特徴とする情報処理装置。
【請求項４】
請求項１乃至３のいずれか1項記載の情報処理装置において、
前記乖離度演算手段は、正規分布との乖離度として、分布の歪度を演算する
ことを特徴とする情報処理装置。
【請求項５】
請求項１乃至３のいずれか1項記載の情報処理装置において、
前記乖離度演算手段は、正規分布との乖離度として、分布の尖度を演算する
ことを特徴とする情報処理装置。
【請求項６】
無反射モード画像および反射モード画像を取得する画像取得ステップと、
上記画像取得ステップの処理により取得された上記無反射モード画像および上記反射モード画像に色補正を行う色補正ステップと、
上記色補正ステップの処理により色補正された上記反射モード画像の画素値から、上記色補正ステップの処理により色補正された上記無反射モード画像の画素値を減算する減算ステップと、
上記減算ステップの処理による減算結果の平均値および減算結果の分布の正規分布との乖離度を演算する乖離度演算ステップと、
上記乖離度演算ステップの処理により演算された上記平均値および上記乖離度を特徴量として、肌状態を評価するための指標を生成する指標生成ステップと
を含むことを特徴とする情報処理方法。
【請求項７】
被験者の肌状態を評価するための処理をコンピュータに実行させるためのプログラムであって、
無反射モード画像および反射モード画像を取得する画像取得ステップと、
上記画像取得ステップの処理により取得された上記無反射モード画像および上記反射モード画像に色補正を行う色補正ステップと、
上記色補正ステップの処理により色補正された上記反射モード画像の画素値から、上記色補正ステップの処理により色補正された上記無反射モード画像の画素値を減算する減算ステップと、
上記減算ステップの処理による減算結果の平均値および減算結果の分布の正規分布との乖離度を演算する乖離度演算ステップと、
上記乖離度演算ステップの処理により演算された上記平均値および上記乖離度を特徴量として、肌状態を評価するための指標を生成する指標生成ステップと
を含む処理をコンピュータに実行させるプログラム。
【図１】
【図２】
【図３】
【図４】
【図８】
【図９】
【図１０】
【図１２】
【図１３】
【図５】
【図６】
【図７】
【図１１】
【図２】
【図３】
【図４】
【図８】
【図９】
【図１０】
【図１２】
【図１３】
【図５】
【図６】
【図７】
【図１１】
【公開番号】特開２０１１−１３０８０８（Ｐ２０１１−１３０８０８Ａ）
【公開日】平成２３年７月７日（２０１１．７．７）
【国際特許分類】
【出願番号】特願２００９−２９０３６５（Ｐ２００９−２９０３６５）
【出願日】平成２１年１２月２２日（２００９．１２．２２）
【出願人】（００００００９１８）花王株式会社 (8,290)
【Ｆターム（参考）】
【公開日】平成２３年７月７日（２０１１．７．７）
【国際特許分類】
【出願日】平成２１年１２月２２日（２００９．１２．２２）
【出願人】（００００００９１８）花王株式会社 (8,290)
【Ｆターム（参考）】
[ Back to top ]