画像処理装置、画像処理方法、画像処理システム、肌評価方法
【課題】被験者の肌の見た目の美しさを正確に評価することのできる画像処理装置を提供する。
【解決手段】複数種類の成分画像を内包した被験者の肌の元画像を画像取得部１１０が取得する。取得された元画像から成分画像の一つであるヘモグロビン成分画像をヘモグロビン抽出部１２０が抽出する。抽出されたヘモグロビン成分画像の少なくとも一部の領域の画素強度の平滑度を検出部１３０が検出する。検出された平滑度を元画像の色ムラに対応した色ムラ度にデータ換算部１４０が換算する。
【解決手段】複数種類の成分画像を内包した被験者の肌の元画像を画像取得部１１０が取得する。取得された元画像から成分画像の一つであるヘモグロビン成分画像をヘモグロビン抽出部１２０が抽出する。抽出されたヘモグロビン成分画像の少なくとも一部の領域の画素強度の平滑度を検出部１３０が検出する。検出された平滑度を元画像の色ムラに対応した色ムラ度にデータ換算部１４０が換算する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、被験者の肌の元画像の画像処理を含み、肌の色ムラ度を算出する画像処理装置、その画像処理方法および画像処理システム、肌評価方法、に関する。
【背景技術】
【０００２】
肌の見た目の美しさを向上するための処置方法として、様々な化粧品や、その使用方法などが提案されている。これらの処置方法の効果を評価するにあたっては、肌の見た目の美しさを客観的に評価することが求められる。
【０００３】
肌の見た目の美しさの評価方法として、肌の見た目の白さを評価する方法が知られている。一例として、肌表面で反射させた特定波長の光の反射率を測定して、肌に含まれるメラニン色素を定量化することが広く行われている。しかしながら、肌の見た目の白さは複雑な要因に支配されており、メラニン色素の量のみによってこれを評価した場合には、実際の目視観察による官能評価の結果とずれる場合がある。
【０００４】
ここで、特許文献１では、肌のスペクトル解析によって平均総ヘモグロビン含有量を算出し、その量の多寡に基づいて肌の美白度を評価する方法が提案されている。この方法では、血行促進によってヘモグロビン量が増加することで肌が白く見えることを前提とし、その含有量に基づいて肌の見た目の白さを客観化するものである。この文献では、額、目の下および頬に対して美白効果を高める処理を行ない、平均総ヘモグロビン含有量の増加率が１０％以上２０％以下である場合に美白効果が有効であると評価している。特許文献２および非特許文献１、２に関しては後述する。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００７−３０７０８４号公報
【特許文献２】特開２００５−２９３２３１号公報
【非特許文献】
【０００６】
【非特許文献１】Vol.16,No.9/ September1999/ J.Opt.Soc.Am.A2169
【非特許文献２】D.J.Heeger, J.R.Bergen, COMPUTER GRAPHICS PROCEEDINGS, p229-238(1995)
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、特許文献１の方法では、ヘモグロビン成分の平均量にのみ着目しているため、ヘモグロビンの濃度が高い場合には一律に美白度が高いと判定される。このため、ニキビなどのヘモグロビン成分が密に偏って存在する肌でも、ヘモグロビン成分の濃度が高い限り美白度が高いと判定されてしまう。つまり、特許文献１にいう美白度は、肌の見た目の白さの官能評価とずれる場合がある。
【０００８】
ここで、肌を遠くから見た場合の色合いに影響する色素濃度の特徴と、肌に近づいて見た場合の色合いに影響する色素濃度の特徴とは異なることが本発明者らの検討により明らかとなっている。具体的には、肌を遠くから見た場合の色合いは、メラニンやヘモグロビンの平均濃度の大小によって左右される。一方、肌に近づいて見た場合の色合いは、メラニンやヘモグロビンの局所的なムラの大小によって大きく左右される。
したがって、特許文献１のようにヘモグロビン成分の平均量によって美白度を判定した場合には、特に被験者の肌を近くから目視した場合の官能評価と大きくずれることとなる。
【０００９】
本発明は上述のような課題に鑑みてなされたものであり、被験者の肌の見た目の美しさを正確に評価することのできる画像処理装置、画像処理方法、画像処理システム、肌評価方法、を提供するものである。
【課題を解決するための手段】
【００１０】
本発明の画像処理装置は、複数種類の成分画像を内包した被験者の肌の元画像を取得する画像取得手段と、取得された元画像から成分画像の一つであるヘモグロビン成分画像を抽出するヘモグロビン抽出手段と、抽出されたヘモグロビン成分画像の少なくとも一部の領域の画素強度の平滑度を検出する検出手段と、検出された平滑度を元画像の色ムラに対応した色ムラ度に換算するデータ換算手段と、を有する。
【００１１】
本発明の画像処理方法は、複数種類の成分画像を内包した被験者の肌の元画像を取得し、取得された元画像から成分画像の一つであるヘモグロビン成分画像を抽出し、抽出されたヘモグロビン成分画像の少なくとも一部の領域の画素強度の平滑度を検出し、検出された平滑度を元画像の色ムラに対応した色ムラ度に換算する。
【００１２】
本発明の画像処理システムは、複数種類の成分画像を内包した被験者の肌の元画像を取得する画像取得手段と、取得された元画像から成分画像の一つであるヘモグロビン成分画像を抽出するヘモグロビン抽出手段と、抽出されたヘモグロビン成分画像の少なくとも一部の領域の画素強度の平滑度を検出する検出手段と、を有する画像処理装置と、検出された平滑度と元画像の色ムラに対応した色ムラ度との相対関係がテーブル形式または演算式で表記されているデータ換算装置と、を有する。
【００１３】
本発明の第一の肌評価方法は、複数種類の成分画像を内包した被験者の肌の元画像を取得し、取得された元画像から成分画像の一つであるヘモグロビン成分画像を抽出し、抽出されたヘモグロビン成分画像から元画像の色ムラに対応した色ムラ度を検出し、検出された色ムラ度を記録してから被験者の肌に所定作業を実行し、所定作業が実行された肌の色ムラ度を検出し、所定作業の前後での色ムラ度の変化で肌の見た目の美しさの変化を評価する。
【００１４】
本発明の第二の肌評価方法は、複数種類の成分画像を内包した被験者の肌の元画像を取得し、取得された元画像から成分画像の一つであるヘモグロビン成分画像を抽出し、抽出されたヘモグロビン成分画像から元画像の色ムラに対応した色ムラ度を検出し、検出された色ムラ度を記録してから被験者の肌に所定作業を実行し、所定作業が実行された肌の色ムラ度を検出し、所定作業の前後での色ムラ度の変化で、シミ、そばかす、毛穴、の少なくとも一つの目立ち度の変化を評価する。
【００１５】
ここで、色ムラ度とは、肌を目視した場合に官能的に定量化される色ムラの目立ち度合いである。また、本発明にいう色ムラとは、断りなき場合、少なくともヘモグロビン由来の肌の色ムラ(例えば、ニキビ、線状血管、鬱血等、以下、赤みムラともいう)とメラニン由来の肌の濃淡ムラとが重畳された、肌の見た目の不均一さの程度である。
【００１６】
上記構成によれば、元画像の色ムラ度が、ヘモグロビン成分の平滑度に対応して求められる。ここで、本発明者らの知見によれば、ヘモグロビンの色ムラを低減することによって、たとえメラニン濃度が不変であったとしても、見た目の肌の美しさが向上することが明らかとなっている。このため、本発明の画像処理装置、画像処理方法、画像処理システム、肌評価方法、によって色ムラ度を求めることで、特に被験者の肌を近接して目視した場合の肌の見た目の美しさを客観的かつ正確に示すことができる。
【００１７】
本明細書でいう肌の見た目の美しさとは、シミ、そばかす、色ムラ、毛穴、等を目立たなくすることにより得られる肌の見た目の状態である。
【００１８】
また、本明細書でいう画像の画素強度の平滑度とは、その画像の一部または全部の画素における、当該画素の画素強度（画素値）と、近接する他の画素の画素強度（画素値）との変化度合をいう。
【００１９】
なお、本発明の各種の構成要素は、その機能を実現するように形成されていればよく、例えば、所定の機能を発揮する専用のハードウェア、所定の機能がコンピュータプログラムにより付与されたデータ処理装置、コンピュータプログラムによりデータ処理装置に実現された所定の機能、これらの任意の組み合わせ、等として実現することができる。
【００２０】
また、本発明の各種の構成要素は、必ずしも個々に独立した存在である必要はなく、複数の構成要素が一個の要素として形成されていること、一つの構成要素が複数の要素で形成されていること、ある構成要素が他の構成要素の一部であること、ある構成要素の一部と他の構成要素の一部とが重複していること、等でもよい。
【発明の効果】
【００２１】
本発明の画像処理技術によれば、被験者の肌の見た目の美しさを客観的に示すことができる。このため、例えば、化粧品の販売現場やマッサージの施行現場などで、肌の見た目の美しさの改善の効果を顧客に提示することが可能である。
また、本発明の肌評価方法によれば、肌に対する所定作業の前後での、肌の見た目の美しさや、シミ、そばかすまたは毛穴の少なくとも一つの目立ち度の変化を評価することができる。このため、当該所定作業による肌の改善の効果を顧客に提示することが可能である。
【図面の簡単な説明】
【００２２】
【図１】本発明の実施の形態の画像処理装置の論理構造を示す模式的なブロック図である。
【図２】元画像から独立成分分析によりヘモグロビン成分画像を生成する工程を示す模式図である。
【図３】ヘモグロビン成分画像のニキビによるムラと血管由来のムラとの実例を示す模式図である。
【図４】元画像から部分画像を抽出する工程を示す模式図である。
【図５】変換テーブルのデータ構造を示す模式図である。
【図６】画像処理装置によるデータ処理方法を示すフローチャートである。
【図７】一の変形例の変換テーブルのデータ構造を示す模式図である。
【図８】他の変形例の変換テーブルのデータ構造を示す模式図である。
【図９】（ａ）は美白化粧料の使用前の肌の内部反射光画像であり、（ｂ）は使用後の肌の内部反射光画像である。
【図１０】（ａ）は美白化粧料の使用前の肌のメラニン成分画像であり、（ｂ）は使用後の肌のメラニン成分画像である。
【図１１】（ａ）は美白化粧料の使用前の肌のヘモグロビン成分画像であり、（ｂ）は使用後の肌のヘモグロビン成分画像である。
【発明を実施するための形態】
【００２３】
本発明の実施形態を、図面を参照して以下に説明する。本実施形態の画像処理装置１００は、図１に示すように、複数種類の成分画像を内包した被験者の肌の元画像を取得する画像取得部１１０と、取得された元画像から成分画像の一つであるヘモグロビン成分画像を抽出するヘモグロビン抽出部１２０と、抽出されたヘモグロビン成分画像の少なくとも一部の領域の画素強度の平滑度を検出する検出部１３０と、検出された平滑度を元画像の色ムラに対応した色ムラ度に換算するデータ換算部１４０と、換算された色ムラ度を出力する結果出力部１５０と、を有する。
【００２４】
より具体的には、画像処理装置１００は、適正なコンピュータプログラムが実装されたコンピュータ装置に、必要により各種デバイスが接続されることで構築されている(図示せず)。
【００２５】
画像取得部１１０としては、大別して、被験者の肌の画像を撮影するためのカメラと、予め撮影された被験者の肌の画像データを画像処理装置１００に受け付けるための入力インタフェースとを挙げることができる。本実施形態では、偏光フィルタが装着されたフルカラーのＣＣＤ(Charge Coupled Device)カメラを有し(図示せず)、元画像として被験者から内部反射光画像を取得することとする。
【００２６】
より具体的には、被験者の顔画像の内部反射光画像を、二つの偏光素子とデジタルカメラとを用いて取得する。ここに、内部反射光画像は、デジタルカメラの前面の偏光素子（検光子）を、光源の前面の偏光素子（偏光子）に対して偏光方向が直交するように装着し、表面反射光成分を除去することにより取得される。
【００２７】
この場合、陰影をできる限りキャンセルした内部反射光画像を得るため、光源は、被験者の顔をその全周囲方向から照明するように複数（例えば、被験者の顔の上下左右に）配置することが好ましい。なお、画像取得部１１０を画像データの入力インタフェースとする場合は、各種記憶媒体の読み取り装置を例示することができる。
【００２８】
ここで、元画像が複数種類の成分画像を内包しているとは、元画像がヘモグロビン成分の濃度分布を示す画像(ヘモグロビン成分画像)を含む複数種類の成分画像の合成画像として観念できることを意味している。ヘモグロビン成分画像以外の成分画像としては、例えば、メラニン成分画像、影成分画像、等がある。そして、検光子を備えたデジタルカメラを用いて被験者の頬部位などの内部反射光画像を所定の解像度で取得し、これを独立成分分析することによりメラニン成分内部反射光画像とヘモグロビン成分内部反射光画像と影成分内部反射光画像を得ることができる。
元画像としては、被験者の肌の内部反射光画像を用いることができる。このほか、元画像としては、内部反射光画像と表面反射光画像とをともに用いることもできる。
【００２９】
被験者の肌の表面反射光画像は、肌に照射する偏光と偏光方向を一致させた検光子を通じて撮影される第一の反射光と、入射光と偏光方向を直交させた検光子を通じて撮影される第二の反射光の強度の差分から取得することができる。
一方、内部反射光画像は、上記の第二の反射光の強度を画素ごとに二倍とした画像を用いることができる。被験者の肌の部位に制限はなく、顔のほか、腕や胸元などを対象とすることができる。本実施形態では、元画像として被験者の顔面を含む頭部正面画像を用いる。
【００３０】
ヘモグロビン成分画像は、元画像の成分画像の一つであり、被験者の皮膚の表面または内部に含まれるヘモグロビンの濃度と相関する数値が、特定の分解能で配列された画素単位で画素強度として割り当てられた画像である。
同様に、メラニン成分画像は、元画像の他の成分画像の一つであり、被験者の皮膚の表面または内部に含まれるメラニンの濃度と相関する数値が、特定の分解能で配列された画素単位で画素強度として割り当てられた画像をいう。
【００３１】
ヘモグロビン抽出部１２０と検出部１３０とデータ換算部１４０とは、コンピュータ装置がコンピュータプログラムに対応して所定のデータ処理を実行する機能に相当する。ヘモグロビン抽出部１２０は、図２に示すように、内部反射光画像を独立成分分析してヘモグロビン成分画像を抽出する。
【００３２】
より具体的には、本実施の形態の画像処理装置１００での独立成分分析は、皮膚の層構造を、メラニンを主要な色素成分とした含有する表皮層と、ヘモグロビンを主要な色素成分として含有する真皮層と、その他の色素成分を含有する皮下組織との積層構造であるとモデル化しておこなう。そして、各層から独立的にデータが発せられ、それらが混合したものが画像データになっていると想定し、画像データから各層の信号を分離抽出する。独立成分分析による解析処理と画像処理の詳細は、非特許文献１に記載されている。
【００３３】
検出部１３０は、元画像より抽出されたヘモグロビン成分画像の全体または一部の領域（以下、検査領域という）について、画素強度の平滑度を検出する。
【００３４】
図４に示すように、検出部１３０は、ヘモグロビン成分画像から抽出された部分画像を検査領域として画素強度の平滑度を検出する。部分画像は、ヘモグロビン成分が高濃度に偏在していると目視される領域を包含するように設定することができる。なお、検出部１３０は、被験者の頭部正面画像の全体について画素強度の平滑度を求めてもよい。
【００３５】
検出部１３０による画素強度の平滑度の検出方法は種々をとることができる。
一例として、検査領域に対して画像ピラミッド法を適用して検査領域内の画素を空間周波数ごとのヒストグラムに分解し、ヘモグロビン成分の代表的な赤みムラのサイズ（空間周波数）ごとに、当該ヒストグラムにおける度数値の大小を求める方法が挙げられる。なお、画像ピラミッド法の詳細は、非特許文献２に記載されている。
【００３６】
ヘモグロビン成分画像およびメラニン成分画像において、離散的な斑状の色ムラに関しては色素分布に方向性がないと考えられ、画像ピラミッド法にはガウシアンピラミッドやラプラシアンピラミッドを用いることが好ましい。一方、ヘモグロビン成分画像における赤みムラに顕著な線状血管に対しては、線状のフィルタを使用するスティーラブルピラミッドを用いることが好ましい。
【００３７】
空間周波数帯域の設定は、着目する色ムラの代表サイズによって決定する。メラニン成分の偏在に由来する濃淡ムラとしては、直径０．５ｍｍ程度の毛穴、直径数ｍｍ程度の小さいシミやそばかす、直径数ｍｍ〜十数ｍｍ程度のくすみムラがある。
一方、ヘモグロビン成分の偏在に由来する赤みムラとしては、上記の毛穴のほか、直径数ｍｍ程度の斑点状のニキビ、直径数ｍｍ〜十数ｍｍ程度の線状の血管の浮き上がりムラ、そして直径十数ｍｍを超える鬱血ムラがある。
ヘモグロビン成分画像とメラニン成分画像（以下、あわせて成分画像という場合がある）のそれぞれの画素強度のヒストグラムにおいて、これらの空間周波数に対応する画素強度の極大値を算出することにより、当該成分画像に繰り返しの色ムラが顕著に含まれているか否かを求めることができる。
【００３８】
また、検出部１３０は、上記のように平滑度を求めるにあたって、検査領域における画素強度の極大値の大小、および画素強度の分散度に基づいて成分画像の画素強度の平滑度を検出してもよい。
【００３９】
ここで、画素強度の分散度とは、画素強度の高い画素が当該画像内において拡散して存在している程度をいう。画素強度の分散度の算出方法は一つに限定されるものではないが、一例として以下のように求めることができる。すなわち、画素の座標位置と画素強度とから、当該画像の画素強度の重心位置をまず求める。次に、この重心位置から各画素までの距離の二乗と当該画素の画素強度との積についての総和を求め、これを画素強度の分散度とするとよい。本実施形態においては、画素強度の高い画素が一箇所にまとまって存在している場合に、当該画像の画素強度の分散度が低いと評価される。逆に、画素強度の高い画素がバラバラに存在している場合に、当該画像の画素強度の分散度が高いと評価される。
ヘモグロビン成分画像の平滑度と分散度の算出は、ヘモグロビン成分がそれぞれ集中している複数箇所の部分画像に対して個別に行ってもよい。
【００４０】
そして、検出部１３０は、検査領域内の画素強度の極大値が大きく、また画素強度の分散度が低いほど、成分画像の画素強度の平滑度を低く算出する。これにより、検出部１３０は、ヘモグロビン成分に由来する赤みムラが顕著な元画像に対して、低い平滑度を出力することとなる。これにより、画像処理装置１００では、官能評価に即した評価結果を得ることができる。
【００４１】
ただし、本発明において成分画像から画素強度の平滑度を求める方法は上記に限られるものではない。
他の例として、検査領域に含まれる、画素強度の極大値の個数をカウントする方法が挙げられる。そして、カウントされた極大値の個数の逆数をもって、成分画像の平滑度とすることができる。
さらに他の例として、閾値強度以上の濃度で寄せ集まったクラスター（凝集塊）の個数をカウントする方法が挙げられる。具体的には、閾値強度として、例えば、検査領域における平均画素強度のＮ倍の値（Ｎは１以上の実数）を設定する。そして、検査領域の面積に対する一定割合（例えば、１％）を閾値面積と設定し、閾値強度を超える高濃度の画素が、閾値面積を超えるクラスター状にまとまって存在している群の個数を、画像処理によって求める。そして、クラスターの個数の逆数をもって、ヘモグロビン成分画像の平滑度とすることができる。
【００４２】
検出部１３０では、上記に例示した一つの方法、または複数の方法の複合によって、画素強度の平滑度を算出することができる。
【００４３】
データ換算部１４０は、図１および図５に示すように、平滑度ごとに色ムラ度が設定されている換算テーブル１４１を有し、換算テーブル１４１から平滑度に基づいて色ムラ度を検索する。
【００４４】
図５に例示する換算テーブル１４１は、ヘモグロビン成分画像の平滑度と、元画像における肌の赤みムラと濃淡ムラとを総合した色ムラの目立ち度合いと、をテーブル形式で対応付けたものである。同図の換算テーブル１４１では、ヘモグロビン成分画像の平滑度の小さな値と、肌の色ムラの大きな値とが、互いに対応付けられている。テーブル中の数値は、平滑度または色ムラ度の程度を示す模式的な値である。
【００４５】
結果出力部１５０は、例えば、ディスプレイデバイスを有し、換算テーブル１４１の検索により平滑度から換算された色ムラ度を表示出力する(図示せず)。このため、ディスプレイデバイスには、元画像とヘモグロビン成分画像と部分画像と色ムラ度とが並列表示されることになる。ただし、本発明の画像処理装置１００は、被験者より求めた平滑度と色ムラ度とを統計データとしてデータ取得する装置としても使用することができる。この場合、色ムラ度を表示出力する結果出力部１５０は必須ではない。
【００４６】
なお、本発明において二つの情報を並列表示するとは、共通のディスプレイ上に二つの情報を縦並びまたは横並びに表示する場合のほか、二つの情報を互いに対比可能に一つまたは複数のディスプレイ上に個別に出力する場合を含む。
【００４７】
上述のような画像処理装置１００のコンピュータプログラムは、例えば、複数種類の成分画像を内包した元画像を被験者の肌から取得する画像取得処理と、取得された元画像から成分画像の一つであるヘモグロビン成分画像を抽出するヘモグロビン抽出処理と、抽出されたヘモグロビン成分画像の少なくとも一部の領域の画素強度の平滑度を検出する検出処理と、検出された平滑度を元画像の色ムラに対応した色ムラ度に換算するデータ換算処理と、換算された色ムラ度を出力する結果出力処理と、をコンピュータ装置に実行させるように記述されている。
【００４８】
上述のような構成において、本実施の形態の画像処理装置１００は、例えば、化粧品の販売現場やマッサージの施行現場などに設置され、その色ムラ度を顧客にリアルタイムに提示することなどに利用される(図示せず)。
【００４９】
図６は、本実施形態の画像処理装置１００における画像処理方法を表すフローチャートである。以下、同フローチャートと、図２〜図５の模式図および換算テーブルを用いて本実施形態の画像処理方法を説明する。
【００５０】
まず、被験者が化粧品の継続的使用やマッサージなどの肌作業を要望すると、作業者は画像処理装置１００に肌評価の開始を所定操作で入力する。すると、図６のフローチャートに示すように、これを検知した画像処理装置１００は(図６：ステップＳ１−Ｙ)、所定の光学デバイスにより複数種類の成分画像を内包した元画像として内部反射光画像を被験者の肌から取得する(図６：ステップＳ２)。
【００５１】
この内部反射光画像として取得された元画像は、図２に示すように、ディスプレイデバイスに表示出力されるので(図６：ステップＳ３)、被験者および作業者は、表示出力された元画像により現状の内部反射光画像を確認することになる。
【００５２】
つぎに、画像処理装置１００は、元画像である内部反射光画像を独立成分分析することにより(図６：ステップＳ４)、取得された元画像から成分画像の一つであるヘモグロビン成分画像を抽出する(図６：ステップＳ５)。本実施形態に用いる元画像は、被験者の顔面を含む頭部正面画像の内部反射光画像である。
【００５３】
図２に示すように、このヘモグロビン成分画像もディスプレイデバイスに表示出力される(図６：ステップＳ６)。図３に示すように、ヘモグロビン成分画像は、ニキビなどによる局所的な赤みムラと、血管由来の赤みムラを反映している。ニキビなどの局所的な赤みムラは若年層に特に顕著に見られるのに対して、線状の血管由来のムラや鬱血に起因するムラなどの広範囲のムラは中高年層に特に顕著に見ることができる。
【００５４】
このため、被験者と作業者は、表示出力されたヘモグロビン成分画像により、皮膚表面の全体的な赤みや部分的な赤みムラの原因として、目視では確認しにくい皮下のヘモグロビン成分の濃度分布状態を確認することができる。
【００５５】
作業者は、表示出力されたヘモグロビン成分画像から、特にヘモグロビン成分が集中している一部領域に注目し、図４のヘモグロビン画像に示すように、その一部領域を検査領域として手動操作で指定する(図６：ステップＳ７−Ｙ)。また、ヘモグロビン成分画像の全体を検査領域とする場合は、一部領域の指定は行わない(図６：ステップＳ７−Ｎ)。
【００５６】
一部領域を指定する場合(図６：ステップＳ７−Ｙ)、画像処理装置１００は、指定されたヘモグロビン成分画像の一部の領域を部分画像として抽出する(図６：ステップＳ８)。そして、その部分画像の画素強度の平滑度を検出する(図６：ステップＳ９)。
【００５７】
平滑度の計算は、一例として、上記のように検査領域内の画素を空間周波数ごとのヒストグラムに分解し、ヘモグロビン成分の代表的な赤みムラのサイズ（空間周波数）ごとの度数値の大小を求めて行う。
【００５８】
つぎに、画像処理装置１００は、検出された平滑度を元画像の色ムラに対応した色ムラ度に換算する。この処理は、事前に用意されている換算テーブル１４１（図５を参照）から、平滑度を検索キーとして、対応する色ムラ度を検索することで実行される。
【００５９】
このように検索された色ムラ度は、ディスプレイデバイスに表示出力される。これにより、化粧品の販売現場やマッサージの施行現場などで、被験者のヘモグロビン成分による色ムラ度をリアルタイムに判定して提示することができる。
【００６０】
特に、本発明者らの知見によれば、いわゆる美白剤や抗炎症剤を配合した化粧品を使用したり、マッサージを施したりすることによって、ヘモグロビンの色ムラは、メラニンの色ムラに比べて短期間で低減することが可能である。このため、化粧品の使用やマッサージによって肌の見た目の美しさが比較的短期間で改善することを客観的に提示することが可能である。
【００６１】
また、現状の肌の元画像の平滑度より換算された色ムラ度を記録した被験者に対して化粧品の使用やマッサージなどの所定の処置作業を実行し、処置作業の実行後の肌に関して画像処理装置１００で色ムラ度を再度算出して出力してもよい。
【００６２】
この場合、被験者と作業者とは、化粧品やマッサージなどで赤みムラを低減させたことによる肌の色ムラ度の変化をリアルタイムに確認できることになる。従って、化粧品の販売現場やマッサージの施行現場などで、その効果を顧客にリアルタイムに客観的に提示するようなことができる。
【００６３】
本実施の形態の画像処理装置１００は、平滑度ごとに色ムラ度が設定されている換算テーブル１４１を有し、換算テーブル１４１から平滑度で色ムラ度を検索する。このため、簡単な処理動作で平滑度から色ムラ度が出力される。
【００６４】
ここで、図１に示すように、本実施形態の画像処理装置１００は、元画像よりメラニン成分画像を抽出するメラニン抽出部１２２をさらに有している。そして、検出部１３０は、抽出されたメラニン成分画像の画素強度の平滑度を検出する。そして、データ換算部１４０は、検出されたヘモグロビン成分画像およびメラニン成分画像の平滑度を、色ムラ度に換算する。
【００６５】
図７は、本変形例に用いられる換算テーブル１４１である。
換算テーブル１４１は、メラニン成分の平滑度（メラニン平滑度）と、ヘモグロビン成分の平滑度（ヘモグロビン平滑度）とが複合的に組み合わされて、被験者の肌の色ムラ度と対応付けられている。
そして、検出部１３０が検出したメラニン成分画像の画素強度の平滑度と、ヘモグロビン成分画像の画素強度の平滑度とを検索キー（複合キー）として、データ換算部１４０（図１を参照）は元画像における肌の色ムラ度に換算する。
【００６６】
図７に示す換算テーブル１４１では、メラニン成分の平滑度が低いほど、かつヘモグロビン成分の平滑度が低いほど、高い色ムラ度が設定されている。言い換えると、メラニン成分の平滑度が共通の場合でも、ヘモグロビン成分の平滑度が低い場合には、高い色ムラ度が設定されている。これは、上述のように、ヘモグロビンの色ムラを低減することによって、たとえメラニン濃度が不変であったとしても、見た目の肌の美しさが向上するという本発明者らの知見に基づいている。
【００６７】
なお、本発明は本実施の形態に限定されるものではなく、その要旨を逸脱しない範囲で各種の変形を許容する。例えば、上記形態ではマッサージの施行現場などで色ムラ度の変化をリアルタイムに確認することを例示した。
【００６８】
しかし、実際にはマッサージや化粧品による赤みムラの低減の効果は、数日から数週間を必要とする場合がある。そこで、画像処理装置１００は、元画像、ヘモグロビン成分画像、平滑度または色ムラ度の少なくとも一種を被験者と対応付けて複数記憶するデータ記憶手段(図示せず)をさらに有し、結果出力部１５０は、当該被験者の複数の色ムラ度を出力してもよい。
【００６９】
すなわち、被験者ごとに、複数日時の元画像、または当該元画像より求められたヘモグロビン成分画像、平滑度または色ムラ度のいずれかを記憶しておき、被験者の複数日時の色ムラ度を対比して出力する。これにより、マッサージや化粧品による長期的な効果を確認することができる。なお、複数の日時の元画像のみをデータ記憶手段に登録しておき、元画像からそれぞれの日時の色ムラ度を算出して出力してもよい。
【００７０】
したがって、本変形例の画像処理方法は、過去の一時点（第一の時点）において撮影された被験者の肌の元画像についてヘモグロビン成分画像の平滑度を換算してなる第一の色ムラ度と、第一の時点よりも後の時点（第二の時点）において撮影された被験者の肌の元画像についてヘモグロビン成分画像の平滑度を換算してなる第二の色ムラ度と、をともに出力するものである。
【００７１】
すなわち、本変形例の画像処理装置１００は、過去の一時点を第一の時点として被験者の肌を撮影し、ヘモグロビン成分画像の平滑度に基づいて第一の色ムラ度を算出して記憶しておく。そして、現在（第二の時点）において同様に第二の色ムラ度を算出して出力することができる。これにより、被験者は、マッサージや化粧品による赤みムラの低減の効果を時系列的に対比して確認することができる。
【００７２】
また、本実施形態の他の変形例として、検出部１３０はヘモグロビン成分画像から複数種類の平滑度を検出し、データ換算部１４０はヘモグロビン成分画像の複数種類の平滑度を一つの色ムラ度に換算してもよい。
【００７３】
すなわち、上記形態ではヘモグロビン成分画像から一種類の平滑度を検出し、換算テーブル１４１で一対一に色ムラ度に換算することを例示した。しかし、検出部１３０は一つのヘモグロビン成分画像から複数種類の平滑度を検出してもよい。
【００７４】
図８は、本変形例に用いる換算テーブル１４１である。本変形例の換算テーブル１４１は、図７と同様に、複数種類の平滑度の組み合わせごとに色ムラ度が設定されている。
【００７５】
検出部１３０がヘモグロビン成分画像から複数種類の平滑度を検出する手法としては、例えば、ヘモグロビン成分画像を空間周波数が互いに相違する複数の空間周波数帯域に分解し、複数の空間周波数帯域における画素強度の度数分布から、複数種類の平滑度をそれぞれ検出してもよい。
【００７６】
さらに、ヘモグロビン成分画像を複数の空間周波数帯域に分解して度数分布を算出するにあたっては、上述した画像ピラミッド法を用いるとよい。
【００７７】
なお、空間周波数が相違する複数の空間周波数帯域に分解するまでの手法に関しては、特許文献２に記載の手法を利用することができる。そして、本変形例の画像処理方法は、複数の要因によって生じたヘモグロビン成分の赤みムラに対応する空間周波数帯域の度数分布に基づいて平滑度を検出し、これをさらに元画像の肌の色ムラに換算する。
【００７８】
本変形例において、データ換算部１４０は、複数の空間周波数帯域の各々から検出された平滑度の組み合わせごとに色ムラ度が設定されている換算テーブル１４１を有し、換算テーブル１４１から複数の平滑度の組み合わせに基づいて色ムラ度を検索する。
【００７９】
具体的には、図８の本変形例の換算テーブル１４１は、鬱血や線状血管のようにサイズが大きく空間周波数が低い第一の赤みムラの程度を示す低周波平滑度と、ニキビや毛穴のようにサイズが小さく空間周波数が高い第二の赤みムラの程度を示す高周波平滑度と、が組み合わされて色ムラ度と対応付けられている。より具体的には、低周波平滑度と高周波平滑度とがともに低い場合（数値＝１）には、被験者の肌の色ムラ度はもっとも高い値（数値＝９）が設定されている。そして、低周波平滑度または高周波平滑度が改善すると（数値＝２〜３）、被験者の肌の色ムラ度も低減し、肌の見た目の美しさが官能的に良好と評価されることとなる。
【００８０】
なお、換算テーブル１４１のデータ形式は特に限定されない。図７や図８に例示したように一枚の複合的なテーブルであることに限られず、複数枚のテーブルとして画像処理装置１００に格納されていてもよい。また、換算テーブル１４１は、いわゆる検量線データとして画像処理装置１００に記憶されていて、データ換算部１４０は、ヘモグロビン成分の平滑度を受け付けて、これと検量線データに基づいて肌の色ムラ度を検量してもよい。
【００８１】
なお、上記形態では事前に用意されている換算テーブル１４１で平滑度を色ムラ度に換算することを例示した。しかし、データ換算部１４０は、平滑度と色ムラ度との関係を示す演算式と、検出された平滑度と、に基づいて色ムラ度を算出してもよい(図示せず)。かかる演算式は、関数データとして画像処理装置１００のデータ換算部１４０に記憶されていてもよく、または専用のアナログ回路として画像処理装置１００に形成されていてもよい。
【００８２】
さらに、上記形態ではヘモグロビン成分画像から部分画像を抽出し、その平滑度を検出して色ムラ度に換算することを例示した。しかし、ヘモグロビン成分画像の全体から平滑度を検出して色ムラ度に換算してもよい(図示せず)。
【００８３】
また、検出部１３０は、ヘモグロビン成分画像を複数の部分領域に分割し、この部分領域ごとに平滑度を検出してもよい。複数の部分領域としては、目の下、鼻、頬などを例示することができる。
【００８４】
また、上記形態では画像処理装置１００が画像取得部１１０とヘモグロビン抽出部１２０と検出部１３０とデータ換算部１４０と結果出力部１５０との全部を有することを例示した。
【００８５】
しかし、画像処理装置１００を、画像取得部１１０とヘモグロビン抽出部１２０のみの機能を有する情報処理装置として提供することも可能である。その場合、例えば、多数のヘモグロビン成分のサンプル画像を予め用意し、またそのサンプル画像における画素強度の平滑度を算出しておく。つぎに、作業者は、被験者の肌より抽出したヘモグロビン成分画像と、サンプル画像とを目視で対比して、赤みムラの目立ち度合いが最も近接するサンプル画像を抽出する。そして、作業者は、抽出されたサンプル画像について予め算出されている画素強度の平滑度を参照することで、被験者のヘモグロビン成分画像の画素強度の平滑度を求めることができる。
また、前述の換算テーブル１４１または演算式を、換算テーブル部材や数式表として、用紙などで作業者に用意しておくとよい。作業者は上記のようにサンプル画像との照合によって求められた画素強度の平滑度に基づいて、換算テーブル部材や数式表を参照することで、被験者の肌の色ムラ度を特定することが可能である。
【００８６】
すなわち、本変形例の画像処理システムは、複数種類の成分画像を内包した被験者の肌の元画像を取得する画像取得部１１０と、取得された元画像から成分画像の一つであるヘモグロビン成分画像を抽出するヘモグロビン抽出部１２０と、抽出されたヘモグロビン成分画像の少なくとも一部の領域の画素強度の平滑度を検出する検出部１３０と、を有する画像処理装置１００と、検出された平滑度と元画像の色ムラに対応した色ムラ度との相対関係がテーブル形式または演算式で表記されているデータ換算装置と、を有する。
【００８７】
さらに、本変形例の肌評価方法は、複数種類の成分画像を内包した被験者の肌の元画像を取得し、取得された元画像から成分画像の一つであるヘモグロビン成分画像を抽出し、抽出されたヘモグロビン成分画像から元画像の色ムラに対応した色ムラ度を検出し、検出された色ムラ度を記録してから被験者の肌に所定作業を実行し、所定作業が実行された肌の色ムラ度を検出し、所定作業の前後での色ムラ度の変化で肌の見た目の美しさの変化を評価するものである。
【００８８】
ここで、検出された色ムラ度を記録するとは、色ムラ度を数値化して記録する場合のほか、当該色ムラ度が検出可能な元画像またはヘモグロビン成分画像を記録することを含む。すなわち、被験者の肌の元画像またはヘモグロビン成分画像を、所定作業の実行前後でそれぞれ記録しておき、上記所定作業の実行後に、これらの画像から色ムラ度をそれぞれ検出してもよい。
【００８９】
また、第二の肌評価方法として、所定作業の前後での色ムラ度の変化で、シミ、そばかす、毛穴、の少なくとも一つの目立ち度の変化を評価してもよい。
【００９０】
以下、実施例を用いて本発明をより具体的に説明する。ただし、本発明は下記の実施例に限定されるものではない。
【００９１】
シミまたはそばかすが気になると自認する日本人の被験者（女性２２名）に対して、美白成分と抗炎症成分を含有した美白化粧料を朝夕の一日二回、三ヶ月間使用させた。美白化粧料の使用の前後それぞれについて、照明条件を一定にし、偏光方向が互いに直交する偏光子および検光子を用いて、デジタルカメラにて内部反射光画像（元画像）を撮影した。取得した内部反射光画像と、当該内部反射光画像からそれぞれ抽出したヘモグロビン成分画像およびメラニン成分画像について色ムラ度を定量化した。具体的には、ヘモグロビン成分画像におけるヘモグロビン成分由来の赤みムラ、メラニン成分画像におけるメラニン成分由来の色ムラ、および内部反射光画像の色ムラを、２人の専門評価者の目視による官能評価によって定量化した。
【００９２】
より具体的には、美白化粧料の使用前後の内部反射光画像について、２人の専門評価者の目視による官能評価によって頬の部分の色ムラ度を定量化して検出し、さらに色ムラ度の変化の度合いを、０点の"変化なし"から４点の"顕著に改善した"まで５段階で評価した。
同様に、美白化粧料の使用前後のヘモグロビン成分画像およびメラニン成分画像についても、それぞれ頬の部分の色ムラ度を定量化し、その変化の度合いを５段階で評価した。
上記２２人の被験者に関する平均の評価結果を以下に示す。
内部反射光画像による色ムラの改善評価点数 ２．１点
メラニン成分画像による色ムラの改善評価点数 １．８点
ヘモグロビン成分画像による赤みムラの改善評価点数 １．４点
【００９３】
上記結果より、内部反射光画像における色ムラの改善の度合いは、メラニン成分の色ムラ（濃淡ムラ）の改善の度合いよりも顕著であった。すなわち、美白化粧料の使用による肌の色ムラの改善には、濃淡ムラの改善のみならず、赤みムラの改善も寄与していることが確認された。したがって、ヘモグロビン成分の色ムラ（赤みムラ）の変化の度合いに基づいて、肌の見た目の美しさの変化を評価できることが分かった。
【００９４】
本実施例において取得された、肌の赤みムラの改善効果の認められた被験者一名の頬部位の画像を図９〜図１１に示す。ただし、図９〜図１１では、被験者の目にあたる一部領域を黒塗りしている。
図９（ａ）、（ｂ）は、それぞれ美白化粧料の使用前と使用後の肌の内部反射光画像である。内部反射光画像は、ヘモグロビン成分画像とメラニン成分画像とを少なくとも内包している。
図１０（ａ）、（ｂ）は、それぞれ美白化粧料の使用前と使用後の肌のメラニン成分画像である。
図１１（ａ）、（ｂ）は、それぞれ美白化粧料の使用前と使用後の肌のヘモグロビン成分画像である。
【００９５】
図９（ａ）、（ｂ）を対比して分かるように、当該被験者一名の美白化粧料の使用後の頬は、目の下のシミが薄くなったように目視される。すなわち、美白化粧料の使用によって、被験者の肌のシミの目立ち度が低下し、肌の見た目の美しさが向上したことがわかった。
【００９６】
ここで、図１０（ａ）、（ｂ）を対比して分かるように、当該被験者一名の頬のメラニン成分に関しては、美白化粧料の使用の前後によってメラニン成分の色ムラが薄くなり、改善が見られた。
そして、図１１（ａ）、（ｂ）を対比して分かるように、当該被験者一名の頬のヘモグロビン成分の色ムラ（赤みムラ）が美白化粧料の使用によって顕著に低下し、肌の赤みのムラが改善したことがわかった。
【００９７】
以上より、肌処理の前後におけるヘモグロビン成分画像の色ムラ度の変化に基づいて、肌の見た目の美しさ、および肌のシミ、そばかす、毛穴、の少なくとも一つ（本実施例では、シミ）の目立ち度の変化を評価することができた。
【００９８】
なお、ここではヘモグロビン成分画像から色ムラ度を直接的に検出することを例示した。しかし、ヘモグロビン成分画像の少なくとも一部の領域の画素強度の平滑度を検出し、検出された平滑度を元画像の色ムラに対応した色ムラ度に換算してもよい。
【００９９】
また、ここではヘモグロビン成分画像におけるヘモグロビン成分の色ムラ度である赤みムラを、専門評価者の目視による官能評価で行うことを例示した。しかし、ヘモグロビン成分画像から赤みムラの色ムラ度を定量的に検出する工程を、エキスパートシステムにより実行してもよい。
【０１００】
なお、当然ながら、上述した実施の形態および複数の変形例は、その内容が相反しない範囲で組み合わせることができる。また、上述した実施の形態および変形例では、各部の構造などを具体的に説明したが、その構造などは本願発明を満足する範囲で各種に変更することができる。
【符号の説明】
【０１０１】
１００ 画像処理装置
１１０ 画像取得部
１２０ ヘモグロビン抽出部
１２２ メラニン抽出部
１３０ 検出部
１４０ データ換算部
１４１ 換算テーブル
１５０ 結果出力部
【技術分野】
【０００１】
本発明は、被験者の肌の元画像の画像処理を含み、肌の色ムラ度を算出する画像処理装置、その画像処理方法および画像処理システム、肌評価方法、に関する。
【背景技術】
【０００２】
肌の見た目の美しさを向上するための処置方法として、様々な化粧品や、その使用方法などが提案されている。これらの処置方法の効果を評価するにあたっては、肌の見た目の美しさを客観的に評価することが求められる。
【０００３】
肌の見た目の美しさの評価方法として、肌の見た目の白さを評価する方法が知られている。一例として、肌表面で反射させた特定波長の光の反射率を測定して、肌に含まれるメラニン色素を定量化することが広く行われている。しかしながら、肌の見た目の白さは複雑な要因に支配されており、メラニン色素の量のみによってこれを評価した場合には、実際の目視観察による官能評価の結果とずれる場合がある。
【０００４】
ここで、特許文献１では、肌のスペクトル解析によって平均総ヘモグロビン含有量を算出し、その量の多寡に基づいて肌の美白度を評価する方法が提案されている。この方法では、血行促進によってヘモグロビン量が増加することで肌が白く見えることを前提とし、その含有量に基づいて肌の見た目の白さを客観化するものである。この文献では、額、目の下および頬に対して美白効果を高める処理を行ない、平均総ヘモグロビン含有量の増加率が１０％以上２０％以下である場合に美白効果が有効であると評価している。特許文献２および非特許文献１、２に関しては後述する。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００７−３０７０８４号公報
【特許文献２】特開２００５−２９３２３１号公報
【非特許文献】
【０００６】
【非特許文献１】Vol.16,No.9/ September1999/ J.Opt.Soc.Am.A2169
【非特許文献２】D.J.Heeger, J.R.Bergen, COMPUTER GRAPHICS PROCEEDINGS, p229-238(1995)
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、特許文献１の方法では、ヘモグロビン成分の平均量にのみ着目しているため、ヘモグロビンの濃度が高い場合には一律に美白度が高いと判定される。このため、ニキビなどのヘモグロビン成分が密に偏って存在する肌でも、ヘモグロビン成分の濃度が高い限り美白度が高いと判定されてしまう。つまり、特許文献１にいう美白度は、肌の見た目の白さの官能評価とずれる場合がある。
【０００８】
ここで、肌を遠くから見た場合の色合いに影響する色素濃度の特徴と、肌に近づいて見た場合の色合いに影響する色素濃度の特徴とは異なることが本発明者らの検討により明らかとなっている。具体的には、肌を遠くから見た場合の色合いは、メラニンやヘモグロビンの平均濃度の大小によって左右される。一方、肌に近づいて見た場合の色合いは、メラニンやヘモグロビンの局所的なムラの大小によって大きく左右される。
したがって、特許文献１のようにヘモグロビン成分の平均量によって美白度を判定した場合には、特に被験者の肌を近くから目視した場合の官能評価と大きくずれることとなる。
【０００９】
本発明は上述のような課題に鑑みてなされたものであり、被験者の肌の見た目の美しさを正確に評価することのできる画像処理装置、画像処理方法、画像処理システム、肌評価方法、を提供するものである。
【課題を解決するための手段】
【００１０】
本発明の画像処理装置は、複数種類の成分画像を内包した被験者の肌の元画像を取得する画像取得手段と、取得された元画像から成分画像の一つであるヘモグロビン成分画像を抽出するヘモグロビン抽出手段と、抽出されたヘモグロビン成分画像の少なくとも一部の領域の画素強度の平滑度を検出する検出手段と、検出された平滑度を元画像の色ムラに対応した色ムラ度に換算するデータ換算手段と、を有する。
【００１１】
本発明の画像処理方法は、複数種類の成分画像を内包した被験者の肌の元画像を取得し、取得された元画像から成分画像の一つであるヘモグロビン成分画像を抽出し、抽出されたヘモグロビン成分画像の少なくとも一部の領域の画素強度の平滑度を検出し、検出された平滑度を元画像の色ムラに対応した色ムラ度に換算する。
【００１２】
本発明の画像処理システムは、複数種類の成分画像を内包した被験者の肌の元画像を取得する画像取得手段と、取得された元画像から成分画像の一つであるヘモグロビン成分画像を抽出するヘモグロビン抽出手段と、抽出されたヘモグロビン成分画像の少なくとも一部の領域の画素強度の平滑度を検出する検出手段と、を有する画像処理装置と、検出された平滑度と元画像の色ムラに対応した色ムラ度との相対関係がテーブル形式または演算式で表記されているデータ換算装置と、を有する。
【００１３】
本発明の第一の肌評価方法は、複数種類の成分画像を内包した被験者の肌の元画像を取得し、取得された元画像から成分画像の一つであるヘモグロビン成分画像を抽出し、抽出されたヘモグロビン成分画像から元画像の色ムラに対応した色ムラ度を検出し、検出された色ムラ度を記録してから被験者の肌に所定作業を実行し、所定作業が実行された肌の色ムラ度を検出し、所定作業の前後での色ムラ度の変化で肌の見た目の美しさの変化を評価する。
【００１４】
本発明の第二の肌評価方法は、複数種類の成分画像を内包した被験者の肌の元画像を取得し、取得された元画像から成分画像の一つであるヘモグロビン成分画像を抽出し、抽出されたヘモグロビン成分画像から元画像の色ムラに対応した色ムラ度を検出し、検出された色ムラ度を記録してから被験者の肌に所定作業を実行し、所定作業が実行された肌の色ムラ度を検出し、所定作業の前後での色ムラ度の変化で、シミ、そばかす、毛穴、の少なくとも一つの目立ち度の変化を評価する。
【００１５】
ここで、色ムラ度とは、肌を目視した場合に官能的に定量化される色ムラの目立ち度合いである。また、本発明にいう色ムラとは、断りなき場合、少なくともヘモグロビン由来の肌の色ムラ(例えば、ニキビ、線状血管、鬱血等、以下、赤みムラともいう)とメラニン由来の肌の濃淡ムラとが重畳された、肌の見た目の不均一さの程度である。
【００１６】
上記構成によれば、元画像の色ムラ度が、ヘモグロビン成分の平滑度に対応して求められる。ここで、本発明者らの知見によれば、ヘモグロビンの色ムラを低減することによって、たとえメラニン濃度が不変であったとしても、見た目の肌の美しさが向上することが明らかとなっている。このため、本発明の画像処理装置、画像処理方法、画像処理システム、肌評価方法、によって色ムラ度を求めることで、特に被験者の肌を近接して目視した場合の肌の見た目の美しさを客観的かつ正確に示すことができる。
【００１７】
本明細書でいう肌の見た目の美しさとは、シミ、そばかす、色ムラ、毛穴、等を目立たなくすることにより得られる肌の見た目の状態である。
【００１８】
また、本明細書でいう画像の画素強度の平滑度とは、その画像の一部または全部の画素における、当該画素の画素強度（画素値）と、近接する他の画素の画素強度（画素値）との変化度合をいう。
【００１９】
なお、本発明の各種の構成要素は、その機能を実現するように形成されていればよく、例えば、所定の機能を発揮する専用のハードウェア、所定の機能がコンピュータプログラムにより付与されたデータ処理装置、コンピュータプログラムによりデータ処理装置に実現された所定の機能、これらの任意の組み合わせ、等として実現することができる。
【００２０】
また、本発明の各種の構成要素は、必ずしも個々に独立した存在である必要はなく、複数の構成要素が一個の要素として形成されていること、一つの構成要素が複数の要素で形成されていること、ある構成要素が他の構成要素の一部であること、ある構成要素の一部と他の構成要素の一部とが重複していること、等でもよい。
【発明の効果】
【００２１】
本発明の画像処理技術によれば、被験者の肌の見た目の美しさを客観的に示すことができる。このため、例えば、化粧品の販売現場やマッサージの施行現場などで、肌の見た目の美しさの改善の効果を顧客に提示することが可能である。
また、本発明の肌評価方法によれば、肌に対する所定作業の前後での、肌の見た目の美しさや、シミ、そばかすまたは毛穴の少なくとも一つの目立ち度の変化を評価することができる。このため、当該所定作業による肌の改善の効果を顧客に提示することが可能である。
【図面の簡単な説明】
【００２２】
【図１】本発明の実施の形態の画像処理装置の論理構造を示す模式的なブロック図である。
【図２】元画像から独立成分分析によりヘモグロビン成分画像を生成する工程を示す模式図である。
【図３】ヘモグロビン成分画像のニキビによるムラと血管由来のムラとの実例を示す模式図である。
【図４】元画像から部分画像を抽出する工程を示す模式図である。
【図５】変換テーブルのデータ構造を示す模式図である。
【図６】画像処理装置によるデータ処理方法を示すフローチャートである。
【図７】一の変形例の変換テーブルのデータ構造を示す模式図である。
【図８】他の変形例の変換テーブルのデータ構造を示す模式図である。
【図９】（ａ）は美白化粧料の使用前の肌の内部反射光画像であり、（ｂ）は使用後の肌の内部反射光画像である。
【図１０】（ａ）は美白化粧料の使用前の肌のメラニン成分画像であり、（ｂ）は使用後の肌のメラニン成分画像である。
【図１１】（ａ）は美白化粧料の使用前の肌のヘモグロビン成分画像であり、（ｂ）は使用後の肌のヘモグロビン成分画像である。
【発明を実施するための形態】
【００２３】
本発明の実施形態を、図面を参照して以下に説明する。本実施形態の画像処理装置１００は、図１に示すように、複数種類の成分画像を内包した被験者の肌の元画像を取得する画像取得部１１０と、取得された元画像から成分画像の一つであるヘモグロビン成分画像を抽出するヘモグロビン抽出部１２０と、抽出されたヘモグロビン成分画像の少なくとも一部の領域の画素強度の平滑度を検出する検出部１３０と、検出された平滑度を元画像の色ムラに対応した色ムラ度に換算するデータ換算部１４０と、換算された色ムラ度を出力する結果出力部１５０と、を有する。
【００２４】
より具体的には、画像処理装置１００は、適正なコンピュータプログラムが実装されたコンピュータ装置に、必要により各種デバイスが接続されることで構築されている(図示せず)。
【００２５】
画像取得部１１０としては、大別して、被験者の肌の画像を撮影するためのカメラと、予め撮影された被験者の肌の画像データを画像処理装置１００に受け付けるための入力インタフェースとを挙げることができる。本実施形態では、偏光フィルタが装着されたフルカラーのＣＣＤ(Charge Coupled Device)カメラを有し(図示せず)、元画像として被験者から内部反射光画像を取得することとする。
【００２６】
より具体的には、被験者の顔画像の内部反射光画像を、二つの偏光素子とデジタルカメラとを用いて取得する。ここに、内部反射光画像は、デジタルカメラの前面の偏光素子（検光子）を、光源の前面の偏光素子（偏光子）に対して偏光方向が直交するように装着し、表面反射光成分を除去することにより取得される。
【００２７】
この場合、陰影をできる限りキャンセルした内部反射光画像を得るため、光源は、被験者の顔をその全周囲方向から照明するように複数（例えば、被験者の顔の上下左右に）配置することが好ましい。なお、画像取得部１１０を画像データの入力インタフェースとする場合は、各種記憶媒体の読み取り装置を例示することができる。
【００２８】
ここで、元画像が複数種類の成分画像を内包しているとは、元画像がヘモグロビン成分の濃度分布を示す画像(ヘモグロビン成分画像)を含む複数種類の成分画像の合成画像として観念できることを意味している。ヘモグロビン成分画像以外の成分画像としては、例えば、メラニン成分画像、影成分画像、等がある。そして、検光子を備えたデジタルカメラを用いて被験者の頬部位などの内部反射光画像を所定の解像度で取得し、これを独立成分分析することによりメラニン成分内部反射光画像とヘモグロビン成分内部反射光画像と影成分内部反射光画像を得ることができる。
元画像としては、被験者の肌の内部反射光画像を用いることができる。このほか、元画像としては、内部反射光画像と表面反射光画像とをともに用いることもできる。
【００２９】
被験者の肌の表面反射光画像は、肌に照射する偏光と偏光方向を一致させた検光子を通じて撮影される第一の反射光と、入射光と偏光方向を直交させた検光子を通じて撮影される第二の反射光の強度の差分から取得することができる。
一方、内部反射光画像は、上記の第二の反射光の強度を画素ごとに二倍とした画像を用いることができる。被験者の肌の部位に制限はなく、顔のほか、腕や胸元などを対象とすることができる。本実施形態では、元画像として被験者の顔面を含む頭部正面画像を用いる。
【００３０】
ヘモグロビン成分画像は、元画像の成分画像の一つであり、被験者の皮膚の表面または内部に含まれるヘモグロビンの濃度と相関する数値が、特定の分解能で配列された画素単位で画素強度として割り当てられた画像である。
同様に、メラニン成分画像は、元画像の他の成分画像の一つであり、被験者の皮膚の表面または内部に含まれるメラニンの濃度と相関する数値が、特定の分解能で配列された画素単位で画素強度として割り当てられた画像をいう。
【００３１】
ヘモグロビン抽出部１２０と検出部１３０とデータ換算部１４０とは、コンピュータ装置がコンピュータプログラムに対応して所定のデータ処理を実行する機能に相当する。ヘモグロビン抽出部１２０は、図２に示すように、内部反射光画像を独立成分分析してヘモグロビン成分画像を抽出する。
【００３２】
より具体的には、本実施の形態の画像処理装置１００での独立成分分析は、皮膚の層構造を、メラニンを主要な色素成分とした含有する表皮層と、ヘモグロビンを主要な色素成分として含有する真皮層と、その他の色素成分を含有する皮下組織との積層構造であるとモデル化しておこなう。そして、各層から独立的にデータが発せられ、それらが混合したものが画像データになっていると想定し、画像データから各層の信号を分離抽出する。独立成分分析による解析処理と画像処理の詳細は、非特許文献１に記載されている。
【００３３】
検出部１３０は、元画像より抽出されたヘモグロビン成分画像の全体または一部の領域（以下、検査領域という）について、画素強度の平滑度を検出する。
【００３４】
図４に示すように、検出部１３０は、ヘモグロビン成分画像から抽出された部分画像を検査領域として画素強度の平滑度を検出する。部分画像は、ヘモグロビン成分が高濃度に偏在していると目視される領域を包含するように設定することができる。なお、検出部１３０は、被験者の頭部正面画像の全体について画素強度の平滑度を求めてもよい。
【００３５】
検出部１３０による画素強度の平滑度の検出方法は種々をとることができる。
一例として、検査領域に対して画像ピラミッド法を適用して検査領域内の画素を空間周波数ごとのヒストグラムに分解し、ヘモグロビン成分の代表的な赤みムラのサイズ（空間周波数）ごとに、当該ヒストグラムにおける度数値の大小を求める方法が挙げられる。なお、画像ピラミッド法の詳細は、非特許文献２に記載されている。
【００３６】
ヘモグロビン成分画像およびメラニン成分画像において、離散的な斑状の色ムラに関しては色素分布に方向性がないと考えられ、画像ピラミッド法にはガウシアンピラミッドやラプラシアンピラミッドを用いることが好ましい。一方、ヘモグロビン成分画像における赤みムラに顕著な線状血管に対しては、線状のフィルタを使用するスティーラブルピラミッドを用いることが好ましい。
【００３７】
空間周波数帯域の設定は、着目する色ムラの代表サイズによって決定する。メラニン成分の偏在に由来する濃淡ムラとしては、直径０．５ｍｍ程度の毛穴、直径数ｍｍ程度の小さいシミやそばかす、直径数ｍｍ〜十数ｍｍ程度のくすみムラがある。
一方、ヘモグロビン成分の偏在に由来する赤みムラとしては、上記の毛穴のほか、直径数ｍｍ程度の斑点状のニキビ、直径数ｍｍ〜十数ｍｍ程度の線状の血管の浮き上がりムラ、そして直径十数ｍｍを超える鬱血ムラがある。
ヘモグロビン成分画像とメラニン成分画像（以下、あわせて成分画像という場合がある）のそれぞれの画素強度のヒストグラムにおいて、これらの空間周波数に対応する画素強度の極大値を算出することにより、当該成分画像に繰り返しの色ムラが顕著に含まれているか否かを求めることができる。
【００３８】
また、検出部１３０は、上記のように平滑度を求めるにあたって、検査領域における画素強度の極大値の大小、および画素強度の分散度に基づいて成分画像の画素強度の平滑度を検出してもよい。
【００３９】
ここで、画素強度の分散度とは、画素強度の高い画素が当該画像内において拡散して存在している程度をいう。画素強度の分散度の算出方法は一つに限定されるものではないが、一例として以下のように求めることができる。すなわち、画素の座標位置と画素強度とから、当該画像の画素強度の重心位置をまず求める。次に、この重心位置から各画素までの距離の二乗と当該画素の画素強度との積についての総和を求め、これを画素強度の分散度とするとよい。本実施形態においては、画素強度の高い画素が一箇所にまとまって存在している場合に、当該画像の画素強度の分散度が低いと評価される。逆に、画素強度の高い画素がバラバラに存在している場合に、当該画像の画素強度の分散度が高いと評価される。
ヘモグロビン成分画像の平滑度と分散度の算出は、ヘモグロビン成分がそれぞれ集中している複数箇所の部分画像に対して個別に行ってもよい。
【００４０】
そして、検出部１３０は、検査領域内の画素強度の極大値が大きく、また画素強度の分散度が低いほど、成分画像の画素強度の平滑度を低く算出する。これにより、検出部１３０は、ヘモグロビン成分に由来する赤みムラが顕著な元画像に対して、低い平滑度を出力することとなる。これにより、画像処理装置１００では、官能評価に即した評価結果を得ることができる。
【００４１】
ただし、本発明において成分画像から画素強度の平滑度を求める方法は上記に限られるものではない。
他の例として、検査領域に含まれる、画素強度の極大値の個数をカウントする方法が挙げられる。そして、カウントされた極大値の個数の逆数をもって、成分画像の平滑度とすることができる。
さらに他の例として、閾値強度以上の濃度で寄せ集まったクラスター（凝集塊）の個数をカウントする方法が挙げられる。具体的には、閾値強度として、例えば、検査領域における平均画素強度のＮ倍の値（Ｎは１以上の実数）を設定する。そして、検査領域の面積に対する一定割合（例えば、１％）を閾値面積と設定し、閾値強度を超える高濃度の画素が、閾値面積を超えるクラスター状にまとまって存在している群の個数を、画像処理によって求める。そして、クラスターの個数の逆数をもって、ヘモグロビン成分画像の平滑度とすることができる。
【００４２】
検出部１３０では、上記に例示した一つの方法、または複数の方法の複合によって、画素強度の平滑度を算出することができる。
【００４３】
データ換算部１４０は、図１および図５に示すように、平滑度ごとに色ムラ度が設定されている換算テーブル１４１を有し、換算テーブル１４１から平滑度に基づいて色ムラ度を検索する。
【００４４】
図５に例示する換算テーブル１４１は、ヘモグロビン成分画像の平滑度と、元画像における肌の赤みムラと濃淡ムラとを総合した色ムラの目立ち度合いと、をテーブル形式で対応付けたものである。同図の換算テーブル１４１では、ヘモグロビン成分画像の平滑度の小さな値と、肌の色ムラの大きな値とが、互いに対応付けられている。テーブル中の数値は、平滑度または色ムラ度の程度を示す模式的な値である。
【００４５】
結果出力部１５０は、例えば、ディスプレイデバイスを有し、換算テーブル１４１の検索により平滑度から換算された色ムラ度を表示出力する(図示せず)。このため、ディスプレイデバイスには、元画像とヘモグロビン成分画像と部分画像と色ムラ度とが並列表示されることになる。ただし、本発明の画像処理装置１００は、被験者より求めた平滑度と色ムラ度とを統計データとしてデータ取得する装置としても使用することができる。この場合、色ムラ度を表示出力する結果出力部１５０は必須ではない。
【００４６】
なお、本発明において二つの情報を並列表示するとは、共通のディスプレイ上に二つの情報を縦並びまたは横並びに表示する場合のほか、二つの情報を互いに対比可能に一つまたは複数のディスプレイ上に個別に出力する場合を含む。
【００４７】
上述のような画像処理装置１００のコンピュータプログラムは、例えば、複数種類の成分画像を内包した元画像を被験者の肌から取得する画像取得処理と、取得された元画像から成分画像の一つであるヘモグロビン成分画像を抽出するヘモグロビン抽出処理と、抽出されたヘモグロビン成分画像の少なくとも一部の領域の画素強度の平滑度を検出する検出処理と、検出された平滑度を元画像の色ムラに対応した色ムラ度に換算するデータ換算処理と、換算された色ムラ度を出力する結果出力処理と、をコンピュータ装置に実行させるように記述されている。
【００４８】
上述のような構成において、本実施の形態の画像処理装置１００は、例えば、化粧品の販売現場やマッサージの施行現場などに設置され、その色ムラ度を顧客にリアルタイムに提示することなどに利用される(図示せず)。
【００４９】
図６は、本実施形態の画像処理装置１００における画像処理方法を表すフローチャートである。以下、同フローチャートと、図２〜図５の模式図および換算テーブルを用いて本実施形態の画像処理方法を説明する。
【００５０】
まず、被験者が化粧品の継続的使用やマッサージなどの肌作業を要望すると、作業者は画像処理装置１００に肌評価の開始を所定操作で入力する。すると、図６のフローチャートに示すように、これを検知した画像処理装置１００は(図６：ステップＳ１−Ｙ)、所定の光学デバイスにより複数種類の成分画像を内包した元画像として内部反射光画像を被験者の肌から取得する(図６：ステップＳ２)。
【００５１】
この内部反射光画像として取得された元画像は、図２に示すように、ディスプレイデバイスに表示出力されるので(図６：ステップＳ３)、被験者および作業者は、表示出力された元画像により現状の内部反射光画像を確認することになる。
【００５２】
つぎに、画像処理装置１００は、元画像である内部反射光画像を独立成分分析することにより(図６：ステップＳ４)、取得された元画像から成分画像の一つであるヘモグロビン成分画像を抽出する(図６：ステップＳ５)。本実施形態に用いる元画像は、被験者の顔面を含む頭部正面画像の内部反射光画像である。
【００５３】
図２に示すように、このヘモグロビン成分画像もディスプレイデバイスに表示出力される(図６：ステップＳ６)。図３に示すように、ヘモグロビン成分画像は、ニキビなどによる局所的な赤みムラと、血管由来の赤みムラを反映している。ニキビなどの局所的な赤みムラは若年層に特に顕著に見られるのに対して、線状の血管由来のムラや鬱血に起因するムラなどの広範囲のムラは中高年層に特に顕著に見ることができる。
【００５４】
このため、被験者と作業者は、表示出力されたヘモグロビン成分画像により、皮膚表面の全体的な赤みや部分的な赤みムラの原因として、目視では確認しにくい皮下のヘモグロビン成分の濃度分布状態を確認することができる。
【００５５】
作業者は、表示出力されたヘモグロビン成分画像から、特にヘモグロビン成分が集中している一部領域に注目し、図４のヘモグロビン画像に示すように、その一部領域を検査領域として手動操作で指定する(図６：ステップＳ７−Ｙ)。また、ヘモグロビン成分画像の全体を検査領域とする場合は、一部領域の指定は行わない(図６：ステップＳ７−Ｎ)。
【００５６】
一部領域を指定する場合(図６：ステップＳ７−Ｙ)、画像処理装置１００は、指定されたヘモグロビン成分画像の一部の領域を部分画像として抽出する(図６：ステップＳ８)。そして、その部分画像の画素強度の平滑度を検出する(図６：ステップＳ９)。
【００５７】
平滑度の計算は、一例として、上記のように検査領域内の画素を空間周波数ごとのヒストグラムに分解し、ヘモグロビン成分の代表的な赤みムラのサイズ（空間周波数）ごとの度数値の大小を求めて行う。
【００５８】
つぎに、画像処理装置１００は、検出された平滑度を元画像の色ムラに対応した色ムラ度に換算する。この処理は、事前に用意されている換算テーブル１４１（図５を参照）から、平滑度を検索キーとして、対応する色ムラ度を検索することで実行される。
【００５９】
このように検索された色ムラ度は、ディスプレイデバイスに表示出力される。これにより、化粧品の販売現場やマッサージの施行現場などで、被験者のヘモグロビン成分による色ムラ度をリアルタイムに判定して提示することができる。
【００６０】
特に、本発明者らの知見によれば、いわゆる美白剤や抗炎症剤を配合した化粧品を使用したり、マッサージを施したりすることによって、ヘモグロビンの色ムラは、メラニンの色ムラに比べて短期間で低減することが可能である。このため、化粧品の使用やマッサージによって肌の見た目の美しさが比較的短期間で改善することを客観的に提示することが可能である。
【００６１】
また、現状の肌の元画像の平滑度より換算された色ムラ度を記録した被験者に対して化粧品の使用やマッサージなどの所定の処置作業を実行し、処置作業の実行後の肌に関して画像処理装置１００で色ムラ度を再度算出して出力してもよい。
【００６２】
この場合、被験者と作業者とは、化粧品やマッサージなどで赤みムラを低減させたことによる肌の色ムラ度の変化をリアルタイムに確認できることになる。従って、化粧品の販売現場やマッサージの施行現場などで、その効果を顧客にリアルタイムに客観的に提示するようなことができる。
【００６３】
本実施の形態の画像処理装置１００は、平滑度ごとに色ムラ度が設定されている換算テーブル１４１を有し、換算テーブル１４１から平滑度で色ムラ度を検索する。このため、簡単な処理動作で平滑度から色ムラ度が出力される。
【００６４】
ここで、図１に示すように、本実施形態の画像処理装置１００は、元画像よりメラニン成分画像を抽出するメラニン抽出部１２２をさらに有している。そして、検出部１３０は、抽出されたメラニン成分画像の画素強度の平滑度を検出する。そして、データ換算部１４０は、検出されたヘモグロビン成分画像およびメラニン成分画像の平滑度を、色ムラ度に換算する。
【００６５】
図７は、本変形例に用いられる換算テーブル１４１である。
換算テーブル１４１は、メラニン成分の平滑度（メラニン平滑度）と、ヘモグロビン成分の平滑度（ヘモグロビン平滑度）とが複合的に組み合わされて、被験者の肌の色ムラ度と対応付けられている。
そして、検出部１３０が検出したメラニン成分画像の画素強度の平滑度と、ヘモグロビン成分画像の画素強度の平滑度とを検索キー（複合キー）として、データ換算部１４０（図１を参照）は元画像における肌の色ムラ度に換算する。
【００６６】
図７に示す換算テーブル１４１では、メラニン成分の平滑度が低いほど、かつヘモグロビン成分の平滑度が低いほど、高い色ムラ度が設定されている。言い換えると、メラニン成分の平滑度が共通の場合でも、ヘモグロビン成分の平滑度が低い場合には、高い色ムラ度が設定されている。これは、上述のように、ヘモグロビンの色ムラを低減することによって、たとえメラニン濃度が不変であったとしても、見た目の肌の美しさが向上するという本発明者らの知見に基づいている。
【００６７】
なお、本発明は本実施の形態に限定されるものではなく、その要旨を逸脱しない範囲で各種の変形を許容する。例えば、上記形態ではマッサージの施行現場などで色ムラ度の変化をリアルタイムに確認することを例示した。
【００６８】
しかし、実際にはマッサージや化粧品による赤みムラの低減の効果は、数日から数週間を必要とする場合がある。そこで、画像処理装置１００は、元画像、ヘモグロビン成分画像、平滑度または色ムラ度の少なくとも一種を被験者と対応付けて複数記憶するデータ記憶手段(図示せず)をさらに有し、結果出力部１５０は、当該被験者の複数の色ムラ度を出力してもよい。
【００６９】
すなわち、被験者ごとに、複数日時の元画像、または当該元画像より求められたヘモグロビン成分画像、平滑度または色ムラ度のいずれかを記憶しておき、被験者の複数日時の色ムラ度を対比して出力する。これにより、マッサージや化粧品による長期的な効果を確認することができる。なお、複数の日時の元画像のみをデータ記憶手段に登録しておき、元画像からそれぞれの日時の色ムラ度を算出して出力してもよい。
【００７０】
したがって、本変形例の画像処理方法は、過去の一時点（第一の時点）において撮影された被験者の肌の元画像についてヘモグロビン成分画像の平滑度を換算してなる第一の色ムラ度と、第一の時点よりも後の時点（第二の時点）において撮影された被験者の肌の元画像についてヘモグロビン成分画像の平滑度を換算してなる第二の色ムラ度と、をともに出力するものである。
【００７１】
すなわち、本変形例の画像処理装置１００は、過去の一時点を第一の時点として被験者の肌を撮影し、ヘモグロビン成分画像の平滑度に基づいて第一の色ムラ度を算出して記憶しておく。そして、現在（第二の時点）において同様に第二の色ムラ度を算出して出力することができる。これにより、被験者は、マッサージや化粧品による赤みムラの低減の効果を時系列的に対比して確認することができる。
【００７２】
また、本実施形態の他の変形例として、検出部１３０はヘモグロビン成分画像から複数種類の平滑度を検出し、データ換算部１４０はヘモグロビン成分画像の複数種類の平滑度を一つの色ムラ度に換算してもよい。
【００７３】
すなわち、上記形態ではヘモグロビン成分画像から一種類の平滑度を検出し、換算テーブル１４１で一対一に色ムラ度に換算することを例示した。しかし、検出部１３０は一つのヘモグロビン成分画像から複数種類の平滑度を検出してもよい。
【００７４】
図８は、本変形例に用いる換算テーブル１４１である。本変形例の換算テーブル１４１は、図７と同様に、複数種類の平滑度の組み合わせごとに色ムラ度が設定されている。
【００７５】
検出部１３０がヘモグロビン成分画像から複数種類の平滑度を検出する手法としては、例えば、ヘモグロビン成分画像を空間周波数が互いに相違する複数の空間周波数帯域に分解し、複数の空間周波数帯域における画素強度の度数分布から、複数種類の平滑度をそれぞれ検出してもよい。
【００７６】
さらに、ヘモグロビン成分画像を複数の空間周波数帯域に分解して度数分布を算出するにあたっては、上述した画像ピラミッド法を用いるとよい。
【００７７】
なお、空間周波数が相違する複数の空間周波数帯域に分解するまでの手法に関しては、特許文献２に記載の手法を利用することができる。そして、本変形例の画像処理方法は、複数の要因によって生じたヘモグロビン成分の赤みムラに対応する空間周波数帯域の度数分布に基づいて平滑度を検出し、これをさらに元画像の肌の色ムラに換算する。
【００７８】
本変形例において、データ換算部１４０は、複数の空間周波数帯域の各々から検出された平滑度の組み合わせごとに色ムラ度が設定されている換算テーブル１４１を有し、換算テーブル１４１から複数の平滑度の組み合わせに基づいて色ムラ度を検索する。
【００７９】
具体的には、図８の本変形例の換算テーブル１４１は、鬱血や線状血管のようにサイズが大きく空間周波数が低い第一の赤みムラの程度を示す低周波平滑度と、ニキビや毛穴のようにサイズが小さく空間周波数が高い第二の赤みムラの程度を示す高周波平滑度と、が組み合わされて色ムラ度と対応付けられている。より具体的には、低周波平滑度と高周波平滑度とがともに低い場合（数値＝１）には、被験者の肌の色ムラ度はもっとも高い値（数値＝９）が設定されている。そして、低周波平滑度または高周波平滑度が改善すると（数値＝２〜３）、被験者の肌の色ムラ度も低減し、肌の見た目の美しさが官能的に良好と評価されることとなる。
【００８０】
なお、換算テーブル１４１のデータ形式は特に限定されない。図７や図８に例示したように一枚の複合的なテーブルであることに限られず、複数枚のテーブルとして画像処理装置１００に格納されていてもよい。また、換算テーブル１４１は、いわゆる検量線データとして画像処理装置１００に記憶されていて、データ換算部１４０は、ヘモグロビン成分の平滑度を受け付けて、これと検量線データに基づいて肌の色ムラ度を検量してもよい。
【００８１】
なお、上記形態では事前に用意されている換算テーブル１４１で平滑度を色ムラ度に換算することを例示した。しかし、データ換算部１４０は、平滑度と色ムラ度との関係を示す演算式と、検出された平滑度と、に基づいて色ムラ度を算出してもよい(図示せず)。かかる演算式は、関数データとして画像処理装置１００のデータ換算部１４０に記憶されていてもよく、または専用のアナログ回路として画像処理装置１００に形成されていてもよい。
【００８２】
さらに、上記形態ではヘモグロビン成分画像から部分画像を抽出し、その平滑度を検出して色ムラ度に換算することを例示した。しかし、ヘモグロビン成分画像の全体から平滑度を検出して色ムラ度に換算してもよい(図示せず)。
【００８３】
また、検出部１３０は、ヘモグロビン成分画像を複数の部分領域に分割し、この部分領域ごとに平滑度を検出してもよい。複数の部分領域としては、目の下、鼻、頬などを例示することができる。
【００８４】
また、上記形態では画像処理装置１００が画像取得部１１０とヘモグロビン抽出部１２０と検出部１３０とデータ換算部１４０と結果出力部１５０との全部を有することを例示した。
【００８５】
しかし、画像処理装置１００を、画像取得部１１０とヘモグロビン抽出部１２０のみの機能を有する情報処理装置として提供することも可能である。その場合、例えば、多数のヘモグロビン成分のサンプル画像を予め用意し、またそのサンプル画像における画素強度の平滑度を算出しておく。つぎに、作業者は、被験者の肌より抽出したヘモグロビン成分画像と、サンプル画像とを目視で対比して、赤みムラの目立ち度合いが最も近接するサンプル画像を抽出する。そして、作業者は、抽出されたサンプル画像について予め算出されている画素強度の平滑度を参照することで、被験者のヘモグロビン成分画像の画素強度の平滑度を求めることができる。
また、前述の換算テーブル１４１または演算式を、換算テーブル部材や数式表として、用紙などで作業者に用意しておくとよい。作業者は上記のようにサンプル画像との照合によって求められた画素強度の平滑度に基づいて、換算テーブル部材や数式表を参照することで、被験者の肌の色ムラ度を特定することが可能である。
【００８６】
すなわち、本変形例の画像処理システムは、複数種類の成分画像を内包した被験者の肌の元画像を取得する画像取得部１１０と、取得された元画像から成分画像の一つであるヘモグロビン成分画像を抽出するヘモグロビン抽出部１２０と、抽出されたヘモグロビン成分画像の少なくとも一部の領域の画素強度の平滑度を検出する検出部１３０と、を有する画像処理装置１００と、検出された平滑度と元画像の色ムラに対応した色ムラ度との相対関係がテーブル形式または演算式で表記されているデータ換算装置と、を有する。
【００８７】
さらに、本変形例の肌評価方法は、複数種類の成分画像を内包した被験者の肌の元画像を取得し、取得された元画像から成分画像の一つであるヘモグロビン成分画像を抽出し、抽出されたヘモグロビン成分画像から元画像の色ムラに対応した色ムラ度を検出し、検出された色ムラ度を記録してから被験者の肌に所定作業を実行し、所定作業が実行された肌の色ムラ度を検出し、所定作業の前後での色ムラ度の変化で肌の見た目の美しさの変化を評価するものである。
【００８８】
ここで、検出された色ムラ度を記録するとは、色ムラ度を数値化して記録する場合のほか、当該色ムラ度が検出可能な元画像またはヘモグロビン成分画像を記録することを含む。すなわち、被験者の肌の元画像またはヘモグロビン成分画像を、所定作業の実行前後でそれぞれ記録しておき、上記所定作業の実行後に、これらの画像から色ムラ度をそれぞれ検出してもよい。
【００８９】
また、第二の肌評価方法として、所定作業の前後での色ムラ度の変化で、シミ、そばかす、毛穴、の少なくとも一つの目立ち度の変化を評価してもよい。
【００９０】
以下、実施例を用いて本発明をより具体的に説明する。ただし、本発明は下記の実施例に限定されるものではない。
【００９１】
シミまたはそばかすが気になると自認する日本人の被験者（女性２２名）に対して、美白成分と抗炎症成分を含有した美白化粧料を朝夕の一日二回、三ヶ月間使用させた。美白化粧料の使用の前後それぞれについて、照明条件を一定にし、偏光方向が互いに直交する偏光子および検光子を用いて、デジタルカメラにて内部反射光画像（元画像）を撮影した。取得した内部反射光画像と、当該内部反射光画像からそれぞれ抽出したヘモグロビン成分画像およびメラニン成分画像について色ムラ度を定量化した。具体的には、ヘモグロビン成分画像におけるヘモグロビン成分由来の赤みムラ、メラニン成分画像におけるメラニン成分由来の色ムラ、および内部反射光画像の色ムラを、２人の専門評価者の目視による官能評価によって定量化した。
【００９２】
より具体的には、美白化粧料の使用前後の内部反射光画像について、２人の専門評価者の目視による官能評価によって頬の部分の色ムラ度を定量化して検出し、さらに色ムラ度の変化の度合いを、０点の"変化なし"から４点の"顕著に改善した"まで５段階で評価した。
同様に、美白化粧料の使用前後のヘモグロビン成分画像およびメラニン成分画像についても、それぞれ頬の部分の色ムラ度を定量化し、その変化の度合いを５段階で評価した。
上記２２人の被験者に関する平均の評価結果を以下に示す。
内部反射光画像による色ムラの改善評価点数 ２．１点
メラニン成分画像による色ムラの改善評価点数 １．８点
ヘモグロビン成分画像による赤みムラの改善評価点数 １．４点
【００９３】
上記結果より、内部反射光画像における色ムラの改善の度合いは、メラニン成分の色ムラ（濃淡ムラ）の改善の度合いよりも顕著であった。すなわち、美白化粧料の使用による肌の色ムラの改善には、濃淡ムラの改善のみならず、赤みムラの改善も寄与していることが確認された。したがって、ヘモグロビン成分の色ムラ（赤みムラ）の変化の度合いに基づいて、肌の見た目の美しさの変化を評価できることが分かった。
【００９４】
本実施例において取得された、肌の赤みムラの改善効果の認められた被験者一名の頬部位の画像を図９〜図１１に示す。ただし、図９〜図１１では、被験者の目にあたる一部領域を黒塗りしている。
図９（ａ）、（ｂ）は、それぞれ美白化粧料の使用前と使用後の肌の内部反射光画像である。内部反射光画像は、ヘモグロビン成分画像とメラニン成分画像とを少なくとも内包している。
図１０（ａ）、（ｂ）は、それぞれ美白化粧料の使用前と使用後の肌のメラニン成分画像である。
図１１（ａ）、（ｂ）は、それぞれ美白化粧料の使用前と使用後の肌のヘモグロビン成分画像である。
【００９５】
図９（ａ）、（ｂ）を対比して分かるように、当該被験者一名の美白化粧料の使用後の頬は、目の下のシミが薄くなったように目視される。すなわち、美白化粧料の使用によって、被験者の肌のシミの目立ち度が低下し、肌の見た目の美しさが向上したことがわかった。
【００９６】
ここで、図１０（ａ）、（ｂ）を対比して分かるように、当該被験者一名の頬のメラニン成分に関しては、美白化粧料の使用の前後によってメラニン成分の色ムラが薄くなり、改善が見られた。
そして、図１１（ａ）、（ｂ）を対比して分かるように、当該被験者一名の頬のヘモグロビン成分の色ムラ（赤みムラ）が美白化粧料の使用によって顕著に低下し、肌の赤みのムラが改善したことがわかった。
【００９７】
以上より、肌処理の前後におけるヘモグロビン成分画像の色ムラ度の変化に基づいて、肌の見た目の美しさ、および肌のシミ、そばかす、毛穴、の少なくとも一つ（本実施例では、シミ）の目立ち度の変化を評価することができた。
【００９８】
なお、ここではヘモグロビン成分画像から色ムラ度を直接的に検出することを例示した。しかし、ヘモグロビン成分画像の少なくとも一部の領域の画素強度の平滑度を検出し、検出された平滑度を元画像の色ムラに対応した色ムラ度に換算してもよい。
【００９９】
また、ここではヘモグロビン成分画像におけるヘモグロビン成分の色ムラ度である赤みムラを、専門評価者の目視による官能評価で行うことを例示した。しかし、ヘモグロビン成分画像から赤みムラの色ムラ度を定量的に検出する工程を、エキスパートシステムにより実行してもよい。
【０１００】
なお、当然ながら、上述した実施の形態および複数の変形例は、その内容が相反しない範囲で組み合わせることができる。また、上述した実施の形態および変形例では、各部の構造などを具体的に説明したが、その構造などは本願発明を満足する範囲で各種に変更することができる。
【符号の説明】
【０１０１】
１００ 画像処理装置
１１０ 画像取得部
１２０ ヘモグロビン抽出部
１２２ メラニン抽出部
１３０ 検出部
１４０ データ換算部
１４１ 換算テーブル
１５０ 結果出力部
【特許請求の範囲】
【請求項１】
複数種類の成分画像を内包した被験者の肌の元画像を取得する画像取得手段と、
取得された前記元画像から前記成分画像の一つであるヘモグロビン成分画像を抽出するヘモグロビン抽出手段と、
抽出された前記ヘモグロビン成分画像の少なくとも一部の領域の画素強度の平滑度を検出する検出手段と、
検出された前記平滑度を前記元画像の色ムラに対応した色ムラ度に換算するデータ換算手段と、
を有する画像処理装置。
【請求項２】
前記元画像より、前記成分画像の他の一つであるメラニン成分画像を抽出するメラニン抽出手段をさらに有し、
前記検出手段は、抽出された前記メラニン成分画像の画素強度の平滑度を検出し、
前記データ換算手段は、検出された前記ヘモグロビン成分画像および前記メラニン成分画像の平滑度を前記色ムラ度に換算する請求項１に記載の画像処理装置。
【請求項３】
前記検出手段が、前記領域における前記画素強度の極大値の大小、および前記画素強度の分散度に基づいて前記平滑度を検出する請求項１または２に記載の画像処理装置。
【請求項４】
前記検出手段は、前記ヘモグロビン成分画像から複数種類の前記平滑度を検出し、
前記データ換算手段は、前記ヘモグロビン成分画像の複数種類の前記平滑度を一つの前記色ムラ度に換算する請求項１から３のいずれかに記載の画像処理装置。
【請求項５】
前記検出手段は、前記ヘモグロビン成分画像を空間周波数が互いに相違する複数の空間周波数帯域に分解し、複数の前記空間周波数帯域における前記画素強度の度数分布から、前記複数種類の前記平滑度をそれぞれ検出する請求項４に記載の画像処理装置。
【請求項６】
前記検出手段は、画像ピラミッド法により前記ヘモグロビン成分画像を複数の前記空間周波数帯域に分解して前記度数分布を算出する請求項５に記載の画像処理装置。
【請求項７】
前記検出手段は、前記ヘモグロビン成分画像を複数の部分領域に分割し、前記部分領域ごとに前記平滑度を検出する請求項４から６のいずれかに記載の画像処理装置。
【請求項８】
前記データ換算手段は、前記平滑度ごとに前記色ムラ度が設定されている換算テーブルを有し、前記換算テーブルから前記平滑度に基づいて前記色ムラ度を検索する請求項１から３のいずれかに記載の画像処理装置。
【請求項９】
前記データ換算手段は、複数の前記空間周波数帯域の各々から検出された前記平滑度の組み合わせごとに前記色ムラ度が設定されている換算テーブルを有し、前記換算テーブルから複数の前記平滑度の組み合わせに基づいて前記色ムラ度を検索する請求項５または６に記載の画像処理装置。
【請求項１０】
前記データ換算手段は、前記平滑度と前記色ムラ度との関係を示す演算式と、検出された前記平滑度と、に基づいて前記色ムラ度を算出する請求項１から６のいずれかに記載の画像処理装置。
【請求項１１】
前記元画像、前記ヘモグロビン成分画像、前記平滑度または前記色ムラ度の少なくとも一種を前記被験者と対応付けて複数記憶するデータ記憶手段と、
前記被験者の複数の前記色ムラ度を出力する結果出力手段と、をさらに有する請求項１から１０のいずれかに記載の画像処理装置。
【請求項１２】
複数種類の成分画像を内包した被験者の肌の元画像を取得し、
取得された前記元画像から前記成分画像の一つであるヘモグロビン成分画像を抽出し、
抽出された前記ヘモグロビン成分画像の少なくとも一部の領域の画素強度の平滑度を検出し、
検出された前記平滑度を前記元画像の色ムラに対応した色ムラ度に換算する画像処理方法。
【請求項１３】
前記元画像より、前記成分画像の他の一つであるメラニン成分画像を抽出し、
抽出された前記メラニン成分画像の前記領域の画素強度の平滑度を検出し、
検出された前記ヘモグロビン成分画像および前記メラニン成分画像の平滑度を前記色ムラ度に換算する請求項１２に記載の画像処理方法。
【請求項１４】
前記ヘモグロビン成分画像から複数種類の前記平滑度を検出し、
前記ヘモグロビン成分画像の複数種類の前記平滑度を一つの前記色ムラ度に換算する請求項１２または１３に記載の画像処理方法。
【請求項１５】
第一の時点において撮影された前記被験者の肌の前記元画像について前記ヘモグロビン成分画像の前記平滑度を換算してなる第一の前記色ムラ度と、
前記第一の時点よりも後の第二の時点において撮影された前記被験者の肌の前記元画像について前記ヘモグロビン成分画像の前記平滑度を換算してなる第二の前記色ムラ度と、をともに出力する請求項１４に記載の画像処理方法。
【請求項１６】
複数種類の成分画像を内包した被験者の肌の元画像を取得する画像取得手段と、取得された前記元画像から前記成分画像の一つであるヘモグロビン成分画像を抽出するヘモグロビン抽出手段と、抽出された前記ヘモグロビン成分画像の少なくとも一部の領域の画素強度の平滑度を検出する検出手段と、を有する画像処理装置と、
検出された前記平滑度と前記元画像の色ムラに対応した色ムラ度との相対関係がテーブル形式または演算式で表記されているデータ換算装置と、
を有する画像処理システム。
【請求項１７】
複数種類の成分画像を内包した被験者の肌の元画像を取得し、
取得された前記元画像から前記成分画像の一つであるヘモグロビン成分画像を抽出し、
抽出された前記ヘモグロビン成分画像から前記元画像の色ムラに対応した色ムラ度を検出し、
検出された前記色ムラ度を記録してから前記被験者の肌に所定作業を実行し、
前記所定作業が実行された前記肌の前記色ムラ度を検出し、
前記所定作業の前後での前記色ムラ度の変化で肌の見た目の美しさの変化を評価する肌評価方法。
【請求項１８】
複数種類の成分画像を内包した被験者の肌の元画像を取得し、
取得された前記元画像から前記成分画像の一つであるヘモグロビン成分画像を抽出し、
抽出された前記ヘモグロビン成分画像から前記元画像の色ムラに対応した色ムラ度を検出し、
検出された前記色ムラ度を記録してから前記被験者の肌に所定作業を実行し、
前記所定作業が実行された前記肌の前記色ムラ度を検出し、
前記所定作業の前後での前記色ムラ度の変化で、シミ、そばかす、毛穴、の少なくとも一つの目立ち度の変化を評価する肌評価方法。
【請求項１】
複数種類の成分画像を内包した被験者の肌の元画像を取得する画像取得手段と、
取得された前記元画像から前記成分画像の一つであるヘモグロビン成分画像を抽出するヘモグロビン抽出手段と、
抽出された前記ヘモグロビン成分画像の少なくとも一部の領域の画素強度の平滑度を検出する検出手段と、
検出された前記平滑度を前記元画像の色ムラに対応した色ムラ度に換算するデータ換算手段と、
を有する画像処理装置。
【請求項２】
前記元画像より、前記成分画像の他の一つであるメラニン成分画像を抽出するメラニン抽出手段をさらに有し、
前記検出手段は、抽出された前記メラニン成分画像の画素強度の平滑度を検出し、
前記データ換算手段は、検出された前記ヘモグロビン成分画像および前記メラニン成分画像の平滑度を前記色ムラ度に換算する請求項１に記載の画像処理装置。
【請求項３】
前記検出手段が、前記領域における前記画素強度の極大値の大小、および前記画素強度の分散度に基づいて前記平滑度を検出する請求項１または２に記載の画像処理装置。
【請求項４】
前記検出手段は、前記ヘモグロビン成分画像から複数種類の前記平滑度を検出し、
前記データ換算手段は、前記ヘモグロビン成分画像の複数種類の前記平滑度を一つの前記色ムラ度に換算する請求項１から３のいずれかに記載の画像処理装置。
【請求項５】
前記検出手段は、前記ヘモグロビン成分画像を空間周波数が互いに相違する複数の空間周波数帯域に分解し、複数の前記空間周波数帯域における前記画素強度の度数分布から、前記複数種類の前記平滑度をそれぞれ検出する請求項４に記載の画像処理装置。
【請求項６】
前記検出手段は、画像ピラミッド法により前記ヘモグロビン成分画像を複数の前記空間周波数帯域に分解して前記度数分布を算出する請求項５に記載の画像処理装置。
【請求項７】
前記検出手段は、前記ヘモグロビン成分画像を複数の部分領域に分割し、前記部分領域ごとに前記平滑度を検出する請求項４から６のいずれかに記載の画像処理装置。
【請求項８】
前記データ換算手段は、前記平滑度ごとに前記色ムラ度が設定されている換算テーブルを有し、前記換算テーブルから前記平滑度に基づいて前記色ムラ度を検索する請求項１から３のいずれかに記載の画像処理装置。
【請求項９】
前記データ換算手段は、複数の前記空間周波数帯域の各々から検出された前記平滑度の組み合わせごとに前記色ムラ度が設定されている換算テーブルを有し、前記換算テーブルから複数の前記平滑度の組み合わせに基づいて前記色ムラ度を検索する請求項５または６に記載の画像処理装置。
【請求項１０】
前記データ換算手段は、前記平滑度と前記色ムラ度との関係を示す演算式と、検出された前記平滑度と、に基づいて前記色ムラ度を算出する請求項１から６のいずれかに記載の画像処理装置。
【請求項１１】
前記元画像、前記ヘモグロビン成分画像、前記平滑度または前記色ムラ度の少なくとも一種を前記被験者と対応付けて複数記憶するデータ記憶手段と、
前記被験者の複数の前記色ムラ度を出力する結果出力手段と、をさらに有する請求項１から１０のいずれかに記載の画像処理装置。
【請求項１２】
複数種類の成分画像を内包した被験者の肌の元画像を取得し、
取得された前記元画像から前記成分画像の一つであるヘモグロビン成分画像を抽出し、
抽出された前記ヘモグロビン成分画像の少なくとも一部の領域の画素強度の平滑度を検出し、
検出された前記平滑度を前記元画像の色ムラに対応した色ムラ度に換算する画像処理方法。
【請求項１３】
前記元画像より、前記成分画像の他の一つであるメラニン成分画像を抽出し、
抽出された前記メラニン成分画像の前記領域の画素強度の平滑度を検出し、
検出された前記ヘモグロビン成分画像および前記メラニン成分画像の平滑度を前記色ムラ度に換算する請求項１２に記載の画像処理方法。
【請求項１４】
前記ヘモグロビン成分画像から複数種類の前記平滑度を検出し、
前記ヘモグロビン成分画像の複数種類の前記平滑度を一つの前記色ムラ度に換算する請求項１２または１３に記載の画像処理方法。
【請求項１５】
第一の時点において撮影された前記被験者の肌の前記元画像について前記ヘモグロビン成分画像の前記平滑度を換算してなる第一の前記色ムラ度と、
前記第一の時点よりも後の第二の時点において撮影された前記被験者の肌の前記元画像について前記ヘモグロビン成分画像の前記平滑度を換算してなる第二の前記色ムラ度と、をともに出力する請求項１４に記載の画像処理方法。
【請求項１６】
複数種類の成分画像を内包した被験者の肌の元画像を取得する画像取得手段と、取得された前記元画像から前記成分画像の一つであるヘモグロビン成分画像を抽出するヘモグロビン抽出手段と、抽出された前記ヘモグロビン成分画像の少なくとも一部の領域の画素強度の平滑度を検出する検出手段と、を有する画像処理装置と、
検出された前記平滑度と前記元画像の色ムラに対応した色ムラ度との相対関係がテーブル形式または演算式で表記されているデータ換算装置と、
を有する画像処理システム。
【請求項１７】
複数種類の成分画像を内包した被験者の肌の元画像を取得し、
取得された前記元画像から前記成分画像の一つであるヘモグロビン成分画像を抽出し、
抽出された前記ヘモグロビン成分画像から前記元画像の色ムラに対応した色ムラ度を検出し、
検出された前記色ムラ度を記録してから前記被験者の肌に所定作業を実行し、
前記所定作業が実行された前記肌の前記色ムラ度を検出し、
前記所定作業の前後での前記色ムラ度の変化で肌の見た目の美しさの変化を評価する肌評価方法。
【請求項１８】
複数種類の成分画像を内包した被験者の肌の元画像を取得し、
取得された前記元画像から前記成分画像の一つであるヘモグロビン成分画像を抽出し、
抽出された前記ヘモグロビン成分画像から前記元画像の色ムラに対応した色ムラ度を検出し、
検出された前記色ムラ度を記録してから前記被験者の肌に所定作業を実行し、
前記所定作業が実行された前記肌の前記色ムラ度を検出し、
前記所定作業の前後での前記色ムラ度の変化で、シミ、そばかす、毛穴、の少なくとも一つの目立ち度の変化を評価する肌評価方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【公開番号】特開２０１１−１１８６７１（Ｐ２０１１−１１８６７１Ａ）
【公開日】平成２３年６月１６日（２０１１．６．１６）
【国際特許分類】
【出願番号】特願２００９−２７５５４５（Ｐ２００９−２７５５４５）
【出願日】平成２１年１２月３日（２００９．１２．３）
【出願人】（００００００９１８）花王株式会社 (8,290)
【Ｆターム（参考）】
【公開日】平成２３年６月１６日（２０１１．６．１６）
【国際特許分類】
【出願日】平成２１年１２月３日（２００９．１２．３）
【出願人】（００００００９１８）花王株式会社 (8,290)
【Ｆターム（参考）】
[ Back to top ]