説明

皮膚評価装置、皮膚評価方法、及び皮膚評価プログラム

【課題】分光反射画像を用いて高精度な皮膚評価を行う。
【解決手段】所定の照明装置に設置された撮像手段により撮影された被写体の顔画像を用いて、該被写体の皮膚の評価を行う皮膚評価装置において、前記撮像手段により得られる被写体の顔の2次元画像の1画素に対して、所定の波長領域における光の強度データを取得する撮影画像取得手段と、前記撮影画像取得手段により得られる分光反射画像に対し、所定の画像補正を行う画像処理手段と、前記画像処理手段により得られる画像結果に基づいて、前記被写体の皮膚の評価を行う評価手段とを有することにより、上記課題を解決する。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、皮膚評価装置、皮膚評価方法、及び皮膚評価プログラムに係り、特に分光反射画像を用いて高精度な皮膚評価を行うための皮膚評価装置、皮膚評価方法、及び皮膚評価プログラムに関する。
【背景技術】
【0002】
従来では、例えば、被写体の顔や肌、毛髪、唇、睫、眉等を化粧品又はケア製品を人体のそれらの部分に塗る前後において、その色や起伏、均一性を評価するための顔画像を取得するための装置や、美容カウンセリング等を行う場合において被写体の顔をカメラで撮影し、その画像を元に顔の輪郭、凹凸、肌の色等を評価する評価システムが存在している(例えば、特許文献1及び2参照)。
【0003】
上述したような肌(皮膚)等の評価等に用いられる画像を取得する場合には、被写体の顔等に最適な照明環境を提供するために、顔全体や体全体を筐体やエンクロージャー等で被写体の顔を覆い、その内部で光源を照射している。しかしながら、上述の構成では、例えば、被験者の顎付近や顔の骨格、曲面の違い等により皮膚表面に対して均一な光が照射されておらず、皮膚表面が持つ色情報を正確に観察、撮影することができなかった。
【0004】
そこで、近年では、筐体の空間内における被写体の照射対象領域に対して、光源から被写体に照射される光の照射位置に応じて透過率が異なるように設置される拡散部材を有することで被写体の顔全体を照明させる顔照明装置が存在している(例えば、特許文献3参照)。
【先行技術文献】
【特許文献】
【0005】
【特許文献1】特開2003−162712号公報
【特許文献2】特開2004−251750号公報
【特許文献3】特開2010−97126号公報
【発明の概要】
【発明が解決しようとする課題】
【0006】
ところで、最近では、撮像手段の1つとして、対象物のスペクトル情報を画像として捉えることができるスペクトルカメラが存在する。スペクトルカメラは、1つのエリアのみのスペクトル情報を計測する分光器とは異なり、1つの画像の全ピクセル(画素)にスペクトル情報を有するスペクトルデータ(光の強度データ)を取得することができる。
【0007】
つまり、従来の一般的なデジタルカメラの場合には、X,Y軸に対応させた2次元画像データの1画素単位でそれぞれR,G,Bの値が出力されていたが、スペクトルカメラでは、2次元画像の1画素に対して、例えば波長領域400〜800nmにおける光の強度(反射率)データを出力することができる。したがって、スペクトルカメラを用いて被写体の皮膚(肌)画像を取得することで、高精度な分光反射画像を取得することができ、様々な皮膚評価等に活用することができると予想される。
【0008】
しかしながら、上述した従来技術では、分光反射画像を用いて皮膚評価を行うための具体的な手法については、存在していなかった。
【0009】
本発明は、上述した課題に鑑みてなされたものであって、分光反射画像を用いて高精度な皮膚評価を行うための皮膚評価装置、皮膚評価方法、及び皮膚評価プログラムを提供することを目的とする。
【課題を解決するための手段】
【0010】
上述した課題を解決するために、本発明は、以下の特徴を有する課題を解決するための手段を採用している。
【0011】
本発明における皮膚評価装置は、所定の照明装置に設置された撮像手段により撮影された被写体の顔画像を用いて、該被写体の皮膚の評価を行う皮膚評価装置において、前記撮像手段により得られる被写体の顔の2次元画像の1画素に対して、所定の波長領域における光の強度データを取得する撮影画像取得手段と、前記撮影画像取得手段により得られる分光反射画像に対し、所定の画像補正を行う画像処理手段と、前記画像処理手段により得られる画像結果に基づいて、前記被写体の皮膚の評価を行う評価手段とを有することを特徴とする。
【0012】
また、本発明における皮膚評価方法は、所定の照明装置に設置された撮像手段により撮影された被写体の顔画像を用いて、該被写体の皮膚の評価を行う皮膚評価方法において、前記撮像手段により得られる被写体の顔の2次元画像の1画素に対して、所定の波長領域における光の強度データを取得する撮影画像取得ステップと、前記撮影画像取得ステップにより得られる分光反射画像に対し、所定の画像補正を行う画像処理ステップと、前記画像処理ステップにより得られる画像結果に基づいて、前記被写体の皮膚の評価を行う評価ステップとを有することを特徴とする。
【0013】
また、本発明における皮膚評価プログラムは、コンピュータを、請求項1乃至7の何れか1項に記載の皮膚評価装置が有する各手段として機能させる。
【発明の効果】
【0014】
本発明によれば、分光反射画像を用いて高精度な皮膚評価を行うことができる。
【図面の簡単な説明】
【0015】
【図1】皮膚評価システムの概略構成の一例を示す図である。
【図2】照明装置の機能構成の一例を示す図である。
【図3】光源の配置の一例を示す図である。
【図4】本実施形態における肌評価装置の機能構成の一例を示す図である。
【図5】本実施形態における皮膚評価処理が実現可能なハードウェア構成の一例を示す図である。
【図6】本実施形態における皮膚評価処理手順の一例を示すフローチャートである。
【図7】反射率の測定結果の一例を示す図である。
【図8】スペクトルカメラから得られるメラニン、ヘモグロビン、ヘモグロビン酸素飽和度と、測色計から得られる各色素成分の比較例を示す図(その1)である。
【図9】スペクトルカメラから得られるメラニン、ヘモグロビン、ヘモグロビン酸素飽和度と、測色計から得られる各色素成分の比較例を示す図(その2)である。
【図10】スペクトルカメラから得られるメラニン、ヘモグロビン、ヘモグロビン酸素飽和度と、測色計から得られる各色素成分の比較例を示す図(その3)である。
【図11】補正結果と測色計との比較結果の一例を示す図である。
【図12】本実施形態において生成された画面の一例を示す図である。
【図13】ヘモグロビン酸素飽和度の画面表示の一例を示す図である。
【図14】クマ評価の内容を説明する図である。
【図15】クマの有無におけるヘモグロビン酸素飽和度とメラニンの測定結果の一例を示す図である。
【発明を実施するための形態】
【0016】
<本発明について>
本発明は、例えば、スペクトルカメラ等の対象物のスペクトル情報を画像として捉えることができる撮像手段の仕様や特性に最適な照明装置を用いて高精度な分光反射画像を取得し、取得した分光反射画像から高精度な皮膚(肌)評価を行うための皮膚評価手法を提供する。
【0017】
以下に、上述したような特徴を有する本発明における皮膚評価装置、皮膚評価方法、及び皮膚評価プログラムを好適に実施した形態について、図面を用いて詳細に説明する。なお、以下の説明では、最初に皮膚評価装置を適用した一例として、分光反射画像を取得するための照明装置を含む皮膚評価システムの概略構成について説明する。
【0018】
<皮膚評価システムの概略構成について>
図1は、皮膚評価システムの概略構成の一例を示す図である。図1に示す皮膚評価システム1は、照明装置10と、皮膚評価装置20とを有するよう構成されている。
【0019】
照明装置10は、撮像手段として上述したスペクトルカメラ11を用いて、筐体からなる照明装置本体12の空間内における被写体(被験者)の顔を撮影する。なお、被写体は、例えば図1に示す矢印Aの方向から照明装置本体12内に顔を入れて、所定の位置で静止させる。その後、スペクトルカメラ11による撮影が行われる。
【0020】
なお、本実施形態における照明装置10において、スペクトルカメラ11は、照明装置本体12に対して所定の方向(例えば、図1に示す矢印B方向)に相対的に移動することができる。したがって、撮影時には、スペクトルカメラ11を照明装置本体12内にセットして撮影が行われる。また、撮影時には、照明装置本体12の空間内において所定の光源を用いて被写体に光を照射する。照明装置本体12及び照明装置本体12内の光源等についての具体的な説明は後述する。
【0021】
皮膚評価装置20は、ケーブル等の配線を用いた有線通信又は無線通信により照明装置10のスペクトルカメラ11等をデータの送受信が可能な状態で接続されている。皮膚評価装置20は、上述した照明装置10を用いてスペクトルカメラ11から撮影された被写体の皮膚(肌)画像を取得し、取得した画像を解析し、その解析結果から得られる皮膚の分光反射率等に基づいて、被写体の皮膚評価等を行う。
【0022】
具体的には、スペクトルカメラ11で取得される画像では、2次元画像の1画素に対して波長領域が約400〜800nmにおける光の強度(反射率)データを取得することができる。このように、2次元画像で分光反射率を取得することで、例えば一般的なデジタルカメラのRGBでは捉えきれず、見た目では識別できない情報のイメージング・数値化等が可能となる。
【0023】
これにより、皮膚評価装置20では、例えば分光反射率を用いて顔のヘモグロビン酸素飽和度分布のイメージング等が可能となる。更に皮膚評価装置20は、本実施形態により皮膚の分光反射率が得られた場合には、例えばメラニン、酸化ヘモグロビン、還元ヘモグロビン等の吸収スペクトルを用いて重回帰分析等を行うことで、メラニン量、酸化ヘモグロビン量、還元ヘモグロビン量を求めることができる。
【0024】
また、本実施形態では、上述したメラニン量、酸化ヘモグロビン量、還元ヘモグロビン量を高精度に取得することができるため、例えば被写体の目の周りのクマの有無等の評価やくすみの評価等にも活用することができる。また、本実施形態は、例えばマッサージの前後におけるヘモグロビン酸素飽和度の上昇等を用いて血行改善の評価をしたり、紫外線による色素沈着等の評価等にも活用することができる。
【0025】
なお、本実施形態における皮膚評価システム1を利用した皮膚評価の内容については、上述した内容に限定されるものではなく、例えばスペクトルカメラ11により撮影された情報から様々な皮膚評価等に適用することができる。
【0026】
また、図1における照明装置10に用いられる撮像手段としては、例えばエバ・ジャパン(株)社製のハイパースペクトルカメラ等を用いることができるが、本発明においてはこれに限定されるものではなく、例えば分光反射画像を得られる他のカメラ等であってもよい。また、本実施形態における皮膚評価装置20は、例えば上述した照明装置10における光源の制御やスペクトルカメラ11を用いた撮影の制御等を行うこともできる。
【0027】
また、本実施形態における皮膚評価装置20は、例えば汎用のパーソナルコンピュータ(以下、「PC」という)等を用いることができる。つまり、上述した皮膚評価装置20は、例えばCPU(Central Processing Unit)、RAM(Random Access Memory)等の揮発性の記憶媒体、ROM(Read Only Memory)等の不揮発性の記憶媒体、マウスやキーボード、ポインティングデバイス等の入力装置、画像やデータを表示する表示装置、並びに外部と通信するためのインタフェース装置を備えたPCによって構成することができる。
【0028】
したがって、皮膚評価装置20が有する各機能は、例えばこれらの機能を記述したプログラム等をCPUに実行させることによりそれぞれ実現可能となる。また、これらのプログラムは、磁気ディスク(フロッピィーディスク、ハードディスク等)、光ディスク(CD−ROM、DVD等)、半導体メモリ等の記録媒体に格納して頒布することもできる。
【0029】
つまり、上述した各構成における処理をコンピュータに実行させるための実行プログラム(皮膚評価プログラム)を生成し、例えば汎用のパーソナルコンピュータやサーバ等にそのプログラムをインストールすることにより、照明装置10を用いて撮影された被写体の皮膚画像を用いて、高精度な皮膚評価処理を実現することができる。
【0030】
<照明装置10について>
次に、本実施形態における照明装置10について具体的に説明する。図2は、照明装置の機能構成の一例を示す図である。なお、図2(a)は、照明装置10を側面から見た図を示し、図2(b)は、照明装置10を上面から見た図を示し、図2(c)は、照明装置10を正面(矢印A方向)から見た図を示している。
【0031】
照明装置10は、概略的に、撮像手段としてのスペクトルカメラ11と、照明装置本体12とを有するよう構成されている。照明装置本体12には、例えば筐体からなる照明ボックス31と、光源32−1,32−2と、額当て33と、カメラレンズ用開口部34と、顎乗せ部35と、色票36と、カメラ台固定部37と、カメラ台38と、電動テーブル39と、移動部40とを有するよう構成されている。
【0032】
照明ボックス31は、ボックス空間内の被写体の顔に対して、光源からの照明の光が均一且つ効率的に照射されるように、光源の配置等が構成されている。具体的には、照明ボックス31は、略直方体の形状をしておりボックス内は空洞となっている。また、照明ボックス31の内部は、例えば被写体である人物の顔が入るような形状となっている。
【0033】
照明ボックス31の大きさは、例えば縦(W)が約300〜500mm、横(W)が約500〜700mm、奥行き(W)が約300〜500mm等とすることができるが、本発明における形状や大きさについてはこれに限定されるものではない。なお、具体的には、例えば縦(W)が約400mm、横(W)が約600mm、奥行き(W)が約400mm等とするのが好ましい。また、照明ボックス31は、例えば球状の形状であってもよい。
【0034】
また、照明ボックス31の材質としては、耐性(強度)等を考慮すると、例えばアクリル樹脂等を用いることが好ましいが、本実施形態においてはこれに限定されるものではなく、例えば発泡スチロールや金属、他の樹脂等を用いてもよい
また、照明ボックス31の少なくとも内面側は、例えば白色の梨地面になっていることが好ましい。梨地面とは、例えば表面を微細で均一なざらつき加工を施した面をいう。これにより、ボックス内部を無光沢にすることができるため、照明の拡散性を向上させることができる。したがって、被写体の顔に均一な光を照射させることができる。
【0035】
なお、照明ボックス31の内面としては、例えば銀面、アルミ特殊合金電解研磨面、ガラス鏡面(アルミ合金)、水銀、金、白金、銅等の正反射性材料や、炭酸マグネシウム、硫酸バリウム、酸化アルミ、白色ペイント、エナメル、白紙、白色タイル等を使用することができる。更に、本実施形態では、反射率を向上させるために同じ塗料で数回重ね塗りしてもよい。
【0036】
なお、照明ボックス31の内面を塗装する際には、塗料として、例えば、アクリル系、ラッカー系、エナメル系等を用いることができるが、例えば予め設定された組成の異なる複数の塗料を用いて、スペクトルカメラ11が撮影する波長領域における分光反射率を測定し、その波長領域全てにわたって、分光反射率の変化が少なく、高い反射率を持つ塗料等を選択することができる。
【0037】
また、本実施形態では、図2に示すように、照明装置本体12内の被写体の顔の位置に対して左右対称に光源32−1,32−2を有している。なお、光源32については、被写体の顔の表面形状に対応させて効果的に光が照射されるように、図2(b)に示すように、上面から見て照明ボックス31の側面に対して斜めに配置される。これにより、内部の光源から照射された光が効率的に被写体の顔に均一(フラット)に照射させることができる。
【0038】
なお、光源32については、例えばシーエスエス(株)社製の自然光LED(Light Emitting Diode)を用いることができるが本発明においてはこれに限定されるものではない。自然光LEDは、他の光源(電球型蛍光ランプ、白熱電球、LED電球)等と比べて太陽光の分光分布に近く、各波長の光がなめらかに連続しているのが特徴である。つまり、一般的な白色LEDや、蛍光灯等と比較して欠落している部分が少ないため、色の再現性に優れている。
【0039】
したがって、本実施形態では、光源32として波長毎のエネルギー差が小さく、放射熱が小さい高演色LEDである自然光LEDを使用することで、太陽光に近いスペクトルで物体の色を忠実に再現することができ、効率的な光を被写体の顔(皮膚)等に照射することができる。なお、光源32の配置についての具体例については、後述する。
【0040】
額当て33は、顎載せ台35に載せた被写体の額を当てることで、被写体の頭や顔を固定させるための固定部材である。なお、図2の例では、額当て35は、例えば照明ボックス31の上部から3本の棒体が所定の位置から挿入されているが、本数等についてはこれに限定されるものではない。また、棒体の先端には、被写体の額と接する接触部材が設けられている。
【0041】
この3本の棒体は、被写体の顔を、スペクトルカメラ11に対して、正面、右斜め、左斜めの所定の位置(角度)で固定させるために用いられる。なお、上述した右斜め及び左斜めとは、例えば、正面に対して30°や45°、60°等の角度を意味し、被写体にそれらの角度を向かせて被写体の斜め顔を撮影する際に用いられる。
【0042】
なお、額当て33の3本の棒体は、照明ボックスに対して着脱することができる。したがって撮影する向きに応じて必要な棒を挿入してもよく、また被写体の顔の角度に応じて挿入する位置を変更しながら、スペクトルカメラ11による撮影を行ってもよい。
【0043】
カメラレンズ用開口部34は、スペクトルカメラ11のレンズ部を装着又は挿入するための開口部である。なお、カメラレンズ用開口部34は、プレート状に設けられており、このプレートは、図2(c)に示す位置から上下左右に移動させることができる。
【0044】
顎乗せ部35は、被写体の顎を載せる部材であり、照明ボックス31に対して着脱自在に構成されている。被写体は、額当て33と顎乗せ部35とにより照明ボックス31内の所定の位置で顔が固定され、静止状態となる。
【0045】
色票36は、顎乗せ部35上に着脱自在に設けられており、被写体と一緒にスペクトルカメラ11で撮影される1又は複数の色を有している。このように、色票36と共に被写体を撮影することで、例えば皮膚評価装置20における画像解析時等に色票の内容に対応させて画像補正等を行うことができ、より高精度な皮膚(肌)画像を取得することができる。なお、色票36の種類としては、例えば明度の高い色票(明色票)や明度の低い色票(暗色票)、グレー色票等の複数の色票を有していることが好ましいが、特に限定されるものではなく、明色票や暗色票だけでもよい。
【0046】
カメラ台固定部37は、図2(a)の矢印Bに示すように、スペクトルカメラ11を照明装置本体12の照明ボックス31に対して相対的に移動させるためのスライド機構を有している。具体的には、カメラ台固定部37は、スペクトルカメラ11が移動できるように、所定の位置までスライドさせて、位置が定まった時点でネジ止め等により固定することができる機構を有している。これにより、被写体とスペクトルカメラ11との距離を調整したり、スペクトルカメラ11の交換等の作業を効率的に行うことができる。
【0047】
カメラ台38は、スペクトルカメラ11を着脱自在に設置可能とする機構を有する。また、カメラ台38は、設置したスペクトルカメラ11の高さや角度を任意に調整することができる。これにより、本実施形態では、上述したカメラレンズ用開口部34に対して所定の高さ及び角度でレンズを挿入することができる。
【0048】
電動テーブル39は、照明ボックス31全体を上下に移動させるための機構を有している。これにより、被写体の身長や座高等に応じて、被写体が照明ボックス31内に顔を入れ易い位置に調整することができる。なお、電動テーブル39は、上下に対する移動だけでなく、例えば軸回転による移動も行うこともできる。
【0049】
移動部40は、照明装置10本体を移動するための移動機構を有している。なお、図2の例では、移動部40として車輪により照明装置10を移動させる例が示されているが、本発明においてはこれに限定されるものではなく、例えばローラー等の他の移動機構を有していてもよい。
【0050】
<照明装置10における光源の配置例について>
次に、照明装置10における光源の配置例について図を用いて説明する図3は、光源の配置の一例を示す図である。なお、図3(a)は、光源を配置する配置板を上面から見た図を示し、図3(b)は、配置板を側面から見た図を示している。なお、図3(a)、図3(b)の例では、照明ボックス31内において所定の位置で静止させた被写体に対して左右対称にある光源32−1,32−2のうちの一方について説明するが、他方についても同様の配置となっている。
【0051】
本実施形態では、上述した図2(b)や図3(a)の例に示すように、配置板41が照明ボックス31の側面に対して斜めになるように配置されている。つまり、上述した配置板41に合わせて光源32を設置することで、額当て33と顎乗せ部35とにより固定された被写体の顔の表面(撮像面)に略平行な位置、すなわち顔の表面から均等な距離から光源32の光を照射させることができる。本実施形態における斜めの角度θは、例えば約45°〜75°とすることができるが、本発明については特に限定されるものではない。なお、具体的には、例えば斜めの角度θを約60°とするのが好ましい。
【0052】
また、本実施形態において、配置板41は、接合部分や変形部分に補強部材42−1,42−2が設けられている。補強部材42は、被写体側から見て配置板41の外側に設置される。
【0053】
具体的には、補強部材42は、図3(a)に示すようにカメラレンズ用開口部34を有するプレートが設置される照明ボックス31の窓部43から、配置板41の形状の変化がある部分又は配置板41同士の接合部分等に対して、耐性(強度)を向上させるために設置される。なお、補強部材42は、例えばアクリル樹脂等を用いてよく、またその他にも金属や木、他の樹脂等であってもよい。これらの補強部材42は、配置板41に対して例えば接着等により固定されていてもよく、またマジックテープ(登録商標)等により着脱自在に装着してもよいが、上述した内容に特に限定されるものではない。なお、本実施形態では、補強部材42を有していない構成であってもよい。
【0054】
また、本実施形態では、配置板41に対して、例えば光源32である自然光LEDの蛍光管タイプを複数本設置する。具体的には、図3(a)に示すように被写体の正面方向に1本設置し、斜め方向に11本設置しているが、本発明における本数や配置等についてはこれに限定されるものでない。
【0055】
また、光源32としての自然光LEDの蛍光管は、例えばLED薄型ライン照明である。本実施形態における蛍光管は、図3(a)に示すように隙間なく配置されていてもよく、一部の蛍光管又は全部の蛍光管に対してそれぞれ所定の隙間を設けて配置してもよい。蛍光管の配置については、例えばスペクトルカメラ11で撮影される画像に必要な光量等に対応させて調整することができる。
【0056】
また、上述したように、配置板41の少なくとも被写体側の面(照明ボックス31の内面)44は、梨地面に形成されている。これにより、無光沢にし、照明の拡散性を向上させることができる。なお、本実施形態では、配置板41の両面が梨地面になっていてもよい。
【0057】
また、図3(b)に示すように、配置板41には、上部に半円形状の開口部45が設けられている。この開口部45は、光源32である自然光LEDの蛍光管に電流を流すケーブル(配線)46を裏側の電源部へ通すための穴である。なお、開口部45は、配置板41の上部に設けられているが、開口部45の位置についてはこれに限定されるものではなく、例えば、配置板41の下側や中心部等に設けられていてもよい。
【0058】
また、本実施形態では、図3(b)に示すように、光源32は、配置板41により1本又は複数本を上下に移動させて所定の高さで設置することができる。具体的には、例えば光源32を配置板41の所定の高さでネジ止めすることで固定してもよく、また光源32の外部にフック機構を設けて配置板41の所定の高さで係止させることで固定してもよく、更に配置板41にスライド機構を設けて光源32の高さが自在に調整できるようにしてもよいが、これに限定されるものではない。これにより、本実施形態では、被写体に対して適切な位置から光源の光を照射することができる。
【0059】
なお、所定の高さとしては、例えば、被写体の顔の中心位置に光源の中心が配置されるように調整を行う。これにより、本実施形態では、例えば特許文献3に示すような拡散板等を配置することなく、顎付近の影が除かれ均一な全体の顔画像を取得することができる。なお、本実施形態では、被写体の顔の中心位置に合わせて光源の全てを調整してもよく、一部の光源の中心を被写体の顔の中心位置に合わせるように調整してもよい。また、光源の位置は、被写体の顔の中心位置に対して上方や下方に移動させることもできる。
【0060】
また、上述した配置板41は、図3(a)に示すように直線状に設けられていたが、本発明についてはこれに限定されるものではなく、例えば一部又は全部が湾曲していたり、途中で折れ曲がるように変形(折曲)していてもよい。
【0061】
<照明装置10における光源について>
次に、照明装置10における光源の配置について説明する。本実施形態における光源は、分光画像の取得に最適な影、明るさ、ムラの発生しない光源配置が好ましい。そこで、本実施形態では、例えば上述するような自然光LED光源の形状として蛍光管を用いることができる。なお、蛍光管は、例えば長さが約250〜350mm、縦が約10〜15mm、横が約15〜20mm等を用いることができるが、本発明における形状や大きさについてはこれに限定されるものではない。なお、具体的には、例えば縦が約300mm、縦が約12mm、横が約19mm等とするのが好ましい。また、蛍光管は、例えば円筒の形状であってもよい。
【0062】
この蛍光管は、例えば上述した配置板に配置される。なお、本実施形態における配置板は、上述したように設置する蛍光管の高さを自在に調整する調整機構を有する。
【0063】
この場合に、まず照明装置10に上述した高演色LEDを配置した場合の光量を検討すると、高演色LEDは、従来の一般的な蛍光灯と比較して光量が小さいため、光源数を増やす必要があると共に、光量を低減させる要因となるフィルタを取り除く必要が生じる。
【0064】
ここで、上述した光源について出願人による検討を行った。まず、高演色LED照明の経時変化を確認すると、明るさの変化については、経時により輝度は低下し、暖機運転開始15分後には、ほぼ安定となることが分かった。また、経時による色度の変化は、赤みへと変化する極僅かな変化であることが分かった。
【0065】
したがって、上述した自然光LED等の光源を用いてスペクトルカメラ11から得られる画像については、LEDの経時変化が計測に影響しないように暖機運転15分後以降に撮影するのに加えて、色票を用いて補正を行うのが好ましい。
【0066】
<肌評価装置20の機能構成例>
次に、本実施形態における肌評価装置20の機能構成例について図を用いて説明する。図4は、本実施形態における肌評価装置の機能構成の一例を示す図である。図4に示す肌評価装置20は、入力手段51と、出力手段52と、蓄積手段53と、撮影画像取得手段54と、画像処理手段55と、評価手段56と、画面生成手段57と、送受信手段58と、制御手段59とを有するよう構成されている。
【0067】
入力手段51は、使用者(ユーザ)等からの撮影画像取得指示や画像処理、評価指示、画像生成指示、送受信指示等の各種指示の開始/終了等の入力を受け付ける。なお、入力手段51は、例えばキーボードや、マウス等のポインティングデバイス等からなる。また、入力手段51は、デジタルカメラ等の撮像手段等により撮影された被写体の撮像部分を含む画像を入力する機能を有していてもよい。
【0068】
また、出力手段52は、入力手段51により入力された内容や、入力内容に基づいて実行された内容等の表示・出力を行う。なお、出力手段52は、ディスプレイやスピーカ等からなる。更に、出力手段52としてプリンタ等の機能を有していてもよく、その場合には、画像処理の結果や評価結果等を紙等の印刷媒体に印刷して、使用者や被写体等に提供することもできる。
【0069】
なお、入力手段51と出力手段52とは、例えばタッチパネル等のように一体型の入出力手段であってもよく、この場合には使用者の指やペン型の入力装置等を用いて所定の位置をタッチして入力を行うことができる。
【0070】
また、蓄積手段53は、撮影画像取得手段54により得られるスペクトルカメラの撮影画像、画像処理手段55により画像処理結果、評価手段56により得られる皮膚評価結果、画面生成手段57により得られる生成画像等の各種データを蓄積する。また、蓄積手段53は、必要に応じて蓄積されている各種データを読み出すこともできる。
【0071】
また、撮影画像取得手段54は、照明装置10においてスペクトルカメラ11により撮影された被写体の顔画像を取得する。なお、撮影画像取得手段54は、照明装置10により被写体の顔を撮影する際に、撮影する画像の内容に応じて、例えば使用する光源の種類や位置、数等を設定することができる。なお、撮影画像取得手段54により取得された画像は、蓄積手段43に蓄積される。
【0072】
画像処理手段55は、撮影画像取得手段54により得られた画像に対して補正処理等を行うことにより、2次元画像で高精度な分光反射率を取得することができる。つまり、本実施形態では、一般的なデジタルカメラのRGBでは捉えきれず、見た目で識別できない情報のイメージング・数値化が可能となる。具体的には、画像処理手段55における画像処理により、例えば顔のヘモグロビン酸素飽和度分布のイメージング等が可能となる。
【0073】
また、画像処理手段55は、撮影画像から被写体の皮膚の分光反射率を取得すると、例えばメラニン、酸化ヘモグロビン、還元ヘモグロビンの吸収スペクトルを用いて重回帰分析等を行うことにより、例えばメラニン量、酸化ヘモグロビン量、還元ヘモグロビン量等の定量化された数値を求めることができる。なお、重回帰分析は、例えば本出願人により出願された特許第3798550号公報に示された手法等を用いることができるが本発明においてはこれに限定されるものではない。
【0074】
なお、画像処理手段55における具体的な内容については後述する。また、画像処理手段55により処理された画像等は、蓄積手段53に蓄積される。また、本実施形態において、画像処理手段55で解析される画像は、照明装置10から取り込みながらその都度リアルタイムで解析してもよく、また予め蓄積手段53に蓄積された画像を用いて解析してもよい。
【0075】
評価手段56は、上述した画像処理手段55により画像処理された画像に基づいて、被写体の皮膚評価を行う。具体的には、評価手段55は、画像処理手段55により得られる画像処理結果に基づいて、例えば、メラニン量(Me表示)、総ヘモグロビン量[酸化ヘモグロビン+還元ヘモグロビン](Hb Total表示)、ヘモグロビン酸素飽和度[酸化ヘモグロビン/総ヘモグロビン](Hb(酸素飽和度))等の評価を行う。また、評価手段56は、例えばヘモグロビン酸素飽和度を用いてまぶた部分の評価や、血管の評価、くすみの評価等を行うことができる。
【0076】
また、評価手段56は、被写体の目の周辺のくまの評価等を行うことができる。更に評価手段56は、例えばマッサージの前後におけるヘモグロビン酸素飽和度の上昇等を用いて、血行改善の評価をしたり、紫外線による色素沈着等の評価等を行うこともできる。なお、評価手段56により得られた評価結果等を蓄積手段53に蓄積される。
【0077】
画面生成手段57は、上述した撮影画像取得手段54、画像処理手段55、評価手段56等で得られた結果や画像等を表示するための画面を生成する。なお、画面生成手段57は、表示される内容に基づいて被写体の顔の所定領域に対して擬似カラーを用いて合成し、合成した画像を画面に表示する。画面生成手段57により生成された画面例については後述する。
【0078】
送受信手段58は、通信ネットワーク等を用いて接続可能な外部装置から既にスペクトルカメラで撮影された画像や、画像処理された画像、評価結果等の本実施形態における各種データ、又は、本実施形態における皮膚評価処理を実現するための実行プログラム等を取得するためのインタフェースである。また、送受信手段58は、肌評価装置20内で生成された各種データを、通信ネットワークを介して外部装置に送信することができる。
【0079】
制御手段59は、皮膚評価装置20の各構成部全体の制御を行う。具体的には、制御手段59は、例えば使用者等による入力手段51からの指示等に基づいて、スペクトルカメラ11からの画像を取得したり、取得した画像に対する画像処理や評価処理、画面生成処理等の各種制御を行う。
【0080】
<皮膚評価装置20:ハードウェア構成>
ここで、上述した皮膚評価装置20においては、各機能をコンピュータに実行させることができる実行プログラム(皮膚評価プログラム)を生成し、例えば汎用のパーソナルコンピュータ、サーバ、携帯端末、ゲーム機器等にその実行プログラムをインストールすることにより、本実施形態における画像処理や皮膚評価処理することができる。
【0081】
ここで、本実施形態における皮膚評価処理が実現可能なコンピュータのハードウェア構成例について図を用いて説明する。
【0082】
図5は、本実施形態における皮膚評価処理が実現可能なハードウェア構成の一例を示す図である。図5におけるコンピュータ本体には、入力装置61と、出力装置62と、ドライブ装置63と、補助記憶装置64と、メモリ装置65と、各種制御を行うCPU(Central Processing Unit)66と、ネットワーク接続装置67とを有するよう構成されており、これらはシステムバスBで相互に接続されている。
【0083】
入力装置61は、使用者等が操作するキーボード及びマウス等のポインティングデバイスを有しており、使用者等からのプログラムの実行等、各種操作信号を入力する。また、入力装置61は、ネットワーク接続装置67等に接続された外部装置から通信ネットワークを介して得られる既にスペクトルカメラ11等で撮影された被写体の顔画像や評価結果等の各種データを入力することもできる。
【0084】
出力装置62は、本実施形態における各処理を行うためのコンピュータ本体を操作するのに必要な各種ウィンドウやデータ等を表示するディスプレイを有し、CPU66が有する制御プログラムによりプログラムの実行経過や結果等を表示することができる。また、出力装置62は、上述の処理結果等を紙等の印刷媒体に印刷して、使用者等に提示することができる。
【0085】
ここで、本発明においてコンピュータ本体にインストールされる実行プログラムは、例えば、USB(Universal Serial Bus)メモリやCD−ROM、DVD等の可搬型の記録媒体68等により提供される。プログラムを記録した記録媒体68は、ドライブ装置63にセット可能であり、記録媒体68に含まれる実行プログラムが、記録媒体68からドライブ装置63を介して補助記憶装置64にインストールされる。
【0086】
補助記憶装置64は、ハードディスク等のストレージ手段であり、本発明における実行プログラムや、コンピュータに設けられた制御プログラム等を蓄積し必要に応じて入出力を行うことができる。
【0087】
メモリ装置65は、CPU66により補助記憶装置64から読み出された実行プログラム等を格納する。なお、メモリ装置65は、例えばROM(Read Only Memory)やRAM(Random Access Memory)等からなる。
【0088】
CPU66は、OS(Operating System)等の制御プログラム、及びメモリ装置65に格納されている実行プログラムに基づいて、各種演算や各ハードウェア構成部とのデータの入出力等、コンピュータ全体の処理を制御して各処理を実現することができる。なお、プログラムの実行中に必要な各種情報等は、補助記憶装置64から取得することができ、また実行結果等を格納することもできる。
【0089】
ネットワーク接続装置67は、通信ネットワーク等と接続することにより、実行プログラムを通信ネットワークに接続されている他の端末等から取得したり、プログラムを実行することで得られた実行結果又は本発明における実行プログラム自体を他の端末等に提供することができる。
【0090】
また、ネットワーク接続装置67は、通信ネットワークに接続されたスペクトルカメラ11を用いて、上述した照明装置10により照明された被写体の顔画像等の各種データを取得することもできる。
【0091】
上述したようなハードウェア構成により、本発明における皮膚評価処理を実行することができる。また、プログラムをインストールすることにより、汎用のパーソナルコンピュータ等で本発明における皮膚評価処理を容易に実現することができる。
【0092】
<皮膚評価処理手順>
次に、本実施形態における皮膚評価処理手順について説明する。図6は、本実施形態における皮膚評価処理手順の一例を示すフローチャートである。
【0093】
図6に示す皮膚評価処理において、皮膚評価プログラムは、まず上述した照明装置10を用い、スペクトルカメラ11による画像を取得する(S01)。なお、取得する画像は、被写体の正面顔画像でもよく、左右何れか又は両方の斜め顔画像でもよい。また、皮膚評価プログラムは、S01により取得した画像を例えば蓄積手段53等に保存する(S02)。
【0094】
次に、皮膚評価プログラムは、S01の処理により取得した画像に対する画像処理として、画像の補正を行う(S03)。画像の補正内容としては、例えば予め設定された画像の補正式を用いて高精度な分光反射画像を取得する。なお、補正の具体的な内容については後述する。また、皮膚評価プログラムは、補正された画像を例えば蓄積手段53等に保存する(S04)。
【0095】
次に、皮膚評価プログラムは、目的とする評価対象領域を選択する(S05)。そして、皮膚評価プログラムは、S05の処理により選択された領域内の画素が持つ分光反射率に対して重回帰分析等の画像処理を行うことで、画素毎の皮膚中の成分量を求める(S06)。
【0096】
次に、皮膚評価プログラムは、S06の処理により得られる結果の画像を生成し(S07)、生成された画像をディスプレイ等の出力手段52に表示する(S08)。
【0097】
次に、皮膚評価プログラムは、表示された画像等を用いて皮膚評価を行い(S09)、評価結果をディスプレイ等の出力手段52に表示する(S10)。なお、皮膚評価の内容としては、例えば分光反射画像によって、例えばメラニン量、酸化ヘモグロビン量、還元ヘモグロビン量等を高精度に取得することができるため、それらの情報を用いて、例えば被写体の目の周りのクマの有無等の評価やくすみの評価等を行う。また、本実施形態は、例えばマッサージの前後におけるヘモグロビン酸素飽和度の上昇等を用いて血行改善の評価をしたり、紫外線による色素沈着等の評価等を行うこともできる。
【0098】
なお、S10の処理において表示される内容は、評価結果だけに限定されず、例えば画像処理結果や、画像処理結果と評価結果とを合わせた画像等を表示することもできる。
【0099】
また、S10における評価結果等は、例えば蓄積手段53等に保存する(S11)。本実施形態では、上述したS02やS04、S11の処理のように、画像処理や評価処理がなされた結果を蓄積手段53等に保存することで、これらのデータを用いて統計的な評価を行ったり、複数の画像を集めてモーフィング処理を行ったり、被写体毎の時系列データに基づく評価等を行うことができる。
【0100】
次に、皮膚評価プログラムは、他の画像による皮膚評価を行うか否かを判断し(S12)、皮膚評価を行う場合(S12において、YES)、S01に戻り、スペクトルカメラ11による他の画像を取得して後述の処理を行う。また、皮膚評価プログラムは、皮膚評価を行わない場合(S12において、NO)、処理を終了する。
【0101】
上述した皮膚評価プログラムにより、分光反射画像を用いて高精度な皮膚評価を行うことができる。
【0102】
<重回帰分析について>
ここで、上述した重回帰分析の一例について説明する。重回帰分析は、例えば上述した特許第3798550号公報に示された手法等を用いることができる。つまり、本実施形態では、皮膚の反射スペクトル、ランベルト−ベール(Lambert−Beer)の法則における透過率を皮膚の反射率に置き換えた吸光度モデル及び皮膚の構成成分の吸光係数スペクトルを用いて重回帰分析を行うことにより、上述したS06の処理において皮膚中の成分量を求めることができる。なお、上述した皮膚中の成分は、例えばメラニン、酸化ヘモグロビン及び還元ヘモグロビンの少なくとも1つである。また、本実施形態では、スペクトルカメラ11から得られる約400〜800nmの波長領域内で重回帰分析を実施することができる。
【0103】
例えば、Rを皮膚の反射率、CMをメラニン量、CHOを酸化ヘモグロビン量、CHを還元ヘモグロビン量、Dを真皮の見かけ上の吸光度、mをメラニンの吸光係数、hoを酸化ヘモグロビンの吸光係数、及びhを還元ヘモグロビンの吸光係数であるとすると、吸光度モデルは、以下に示す(1)式で表される。
【0104】
【数1】

したがって、本実施形態では、上述したモデルを用い、メラニン、酸化ヘモグロビン、還元ヘモグロビン、及びその他残りの物それぞれの吸光度スペクトルの足し算(重ね合わせ)により皮膚固有の吸光度スペクトルを構成することができる。
【0105】
また、本実施形態では、皮膚の吸光度スペクトルを酸化ヘモグロビン、還元ヘモグロビン、及びその他残りの物それぞれの固有の吸光係数スペクトルm,ho ,hで波長毎に重回帰分析を行う。その結果、最も良いスペクトル形状の一致を示す合成スペクトルを得て、かかる合成スペクトルにおける各成分の吸光度スペクトルの寄与の程度、すなわち各成分の量CM ,CHO,CH が求められる。
【0106】
<画像処理の具体例>
次に、本実施形態における画像処理の具体例について説明する。上述した画像処理では、上述したスペクトルカメラ11で撮影された画像に対し、予め設定された画像補正処理を行う。
【0107】
具体的には、照明装置10による照明(光源)の影響を除外するため、以下に示す第1〜第3の補正手法を用いて補正を行う。
【0108】
<第1の補正手法:白色(用紙)による補正>
本実施形態における第1の補正手法では、照明の空間的なばらつきを補正するため、白色(用紙)による補正を行う。このとき、予め設定された補正式を用いることで、補正精度を均一化することができる。具体的には、スペクトルカメラ11を用いて被写体を撮影した画像と、白色の用紙又は白板を撮影した画像とを用いて補正を行う。
【0109】
なお、第1の補正手法の補正式としては、例えば座標(x,y),波長kにおける対象物のスペクトルカメラの出力値を「ImageData[x][y][k]」とし、座標(x,y),波長kにおける白板のスペクトルカメラの出力値を「WhiteData[x][y][k]」とすると、白板補正後の座標(x,y),波長kにおける対象物の反射率ImageSpect’[x][y][k]は、以下に示す(2)式を用いて算出することができる。
【0110】
【数2】

なお、上述の例では、2つの撮影された2次元画像におけるXY座標が同位置による画像補正を行うことを意味する。
【0111】
上述した第1の補正手法により、照明の空間的なばらつきを補正して照明の影響を除外するための画像補正を行うことができる。
【0112】
<第2の補正手法:色票による補正>
本実施形態における第2の補正手法では、照明の時間的なばらつきを補正するため、色票による補正を行う。具体的には、色票を1画像毎に撮影し、被写体の画像と色票とを用いて補正を行う。
【0113】
例えば、色票の種類を2種類(明色票、暗色票)とした場合に、例えばスペクトルカメラ11で撮影された画像中の明色票の波長kにおける反射率を「SC_LightSpect[k]」とし、スペクトルカメラ11で撮影された画像中の暗色票の波長kにおける反射率を「SC_DarkSpect[k]」とし、明色票の波長kにおける反射率(実測データ)を「Spect_L[k]」とし、暗色票の波長kにおける反射率(実測データ)を「Spect_D[k]」とする。このとき、第2の補正手法による補正式として、色票補正の係数A[k]、B[k]をそれぞれ以下に示す(3)式、(4)式を用いて算出することができる。
【0114】
【数3】

【0115】
【数4】

また、白板補正を適用させた反射率データに、上述した(3)式、(4)式による色票補正を適用させると、座標(x,y),波長k対象物の反射率ImageSpect[x][y][k]は、以下に示す(5)式を用いて算出することができる。
【0116】
【数5】

上述した第2の補正手法により、照明の時間的なばらつきを補正して照明の影響を除外するための画像補正を行うことができる。
【0117】
<第3の補正手法:白色(用紙)+色票による補正>
本実施形態における第3の補正手法では、照明の空間的なばらつき及び時間的なばらつきを補正するため、白色+色票による補正を行う。具体的には、最初に第1の補正手法により白色による画像の補正を行った後、色票による画像補正を行う。なお、第3の補正手法における具体的な補正式は、上述した(2)〜(5)式を適用することができるため、ここでの具体的な説明は省略する。
【0118】
上述した第3の補正手法により、照明の空間的なばらつき及び時間的なばらつきを補正して照明の影響を除外するための画像補正を行うことができる。
【0119】
<補正結果>
次に、上述した補正手法に基づく画像の補正結果について検討する。検討方法としては、例えば女性83名の頬部のデータを用いて、上述した各補正手法により算出されるスペクトルカメラ11から取得した画像におけるメラニン量(Me)/ヘモグロビン(Hb)/ヘモグロビン酸素飽和度(SO2)と、測色計の出力とを比較する。また、各補正手法により算出されるスペクトルカメラの反射率と、測色計の反射率とを比較する。なお、反射率としては、例えばコニカミノルタホールディングス(株)社製の測色計(Cm−700)による反射率を用いる。
【0120】
ここで、図7は、反射率の測定結果の一例を示す図である。図7の例では、横軸はスペクトルカメラ11における撮影波長(nm)を示し、縦軸は反射率(%)を示している。このとき、白色の反射率は、図7の(1)に示すような結果となる。また、明色票の反射率は、図7の(2)に示すような結果となる。また、女性83名の平均値による頬の反射率は図7の(3)に示すような結果となる。また、女性83名の平均値による目の下の反射率は、図7の(4)に示すような結果となる。また、暗色票の反射率は、図7の(5)に示すような結果となる。更に、グレー色の反射率は、図7の(6)に示すような結果となる。
【0121】
次に、図8〜図10は、スペクトルカメラから得られるメラニン、ヘモグロビン(Hb)、ヘモグロビン酸素飽和度(SO2)と、測色計(Cm−700)から得られる各色素成分の比較例を示す図(その1)〜(その3)である。
【0122】
具体的には、図8は、白色補正結果の一例を示し、図9は、色票補正結果の一例を示し、図10は、白色+色票補正結果の一例を示している。
【0123】
また、図8〜図10において、(a)はメラニン量の分布図を示し、(b)は酸化ヘモグロビンの分布図を示し、(c)は還元ヘモグロビンの分布図を示し、(d)は総ヘモグロビン量((b)と(c)との和)を示し、(e)はヘモグロビン酸素飽和度を示している。また、それぞれの分布図において、縦軸はスペクトルカメラからの算出結果を示し、横軸は測色計(Cm−700)の結果を示している。また、図8〜10の(a)〜(e)に示すrは相関係数を示している。
【0124】
図8〜図10に示すように、メラニン量、酸化ヘモグロビン、還元ヘモグロビン、総ヘモグロビン量、ヘモグロビン酸素飽和度の何れにおいても、上述した本実施形態における白色補正をした場合、色票補正をした場合、及び、白色補正と色票補正とをした場合(白色+色票補正)において測色計の結果との高い相関を得ることができるが、特に白色補正と色票補正とを実施した場合が最も高い相関となった。
【0125】
また、図11は、補正結果と測色計との比較結果の一例を示す図である。なお、図11において、横軸は波長(nm)を示し、縦軸は反射率(%)を示している。
【0126】
ここで、図11では、20代〜50代の女性83名による頬部の平均値を用いている。図11の(1)は、分光反射画像に白色補正(決定係数:0.9868)を実施した場合における波長毎の反射率の変化を示し、図11の(2)は、分光反射画像に色票補正(決定係数:0.9726)を実施した場合における波長毎の反射率の変化を示し、図11の(3)は、分光反射画像に白色補正及び色票補正(決定係数:0.9944)を実施した場合における波長毎の反射率の変化を示し、図11の(4)は、測色計(Cm−700)(決定係数:0.9903)の結果における波長毎の反射率の変化を示している。
【0127】
図11の例によれば、測色計に最も近い反射率の変化を示したのは、白色+色票補正をした画像であった。また、次に、測色計に近い反射率の変化を示したのは、白色補正をした画像であり、その次に測色計に近い反射率の変化を示したのは色票補正であった。したがって、本実施形態では、スペクトルカメラで撮影された画像に対して白色+色票補正により空間的、時間的なばらつきを行う補正を行うのが好ましいといえる。
【0128】
<画面生成について>
次に、上述した画面生成手段57における画面生成について説明する。本実施形態では、画面を生成する際、スペクトルカメラ11で撮影された被写体の顔画像(肌、皮膚等を含む)が、一般的なデジタルカメラと同様に表示できるようにRGBバランス・コントラストの変更を行う。
【0129】
具体的には、一般的なデジタルカメラ(例えば、(株)ニコン社製D200)のRGBフィルター特性に基づいて、画像表示に最適な波長を選択する。RGBバランス・コントラストの変更に伴う波長の範囲として、例えばRは波長が約570〜650nmの範囲、Gは波長が約500〜570nm、Bは波長が約420〜500nmの範囲を用いる。また、具体的には、Rが約600nm,Gが約540nm、Bが約470nmの波長を用いて最適な画像の構築を行うことが好ましい。また、画像の輝度補正については、画像の輝度表示特性であるガンマ値(γ値)が約1.8〜2.4の範囲でガンマ補正を行うことができ、特に1.8が好ましい。
【0130】
ここで、図12は、本実施形態において生成された画面の一例を示す図である。図12に示す図は、白色補正をした被写体の斜め顔画像(図12(a))を用いて、メラニン、ヘモグロビン、ヘモグロビン酸素飽和度をマッピングした画面例(図12(b)〜図12(e))を示している。
【0131】
具体的には、図12(b)は、被写体の顔の所定領域に対するメラニン量(Me)を、擬似カラーを用いて顔画像に合成表示している例を示している。なお、擬似カラーは、例えばメラニンに対応させて予め設定された色(例えば、黄色等)が用いられる。これにより、使用者等は、メラニン量が表示されていることを容易に把握することができる。また、本実施形態では、例えば使用者等が、入力手段等を用いて顔の所定領域における一部の領域を選択することで、図12(b)に示すように、その領域におけるメラニン量の数値を表示することができる。
【0132】
また、図12(c)は、被写体の顔の所定領域に対する総ヘモグロビン量(酸化+還元の総和(Hb(total)))を、擬似カラーを用いて顔画像に合成表示している例を示している。なお、擬似カラーは、上述したメラニンの場合と同様に、例えばヘモグロビン(total)に対応させて予め設定された色(例えば、赤色等)が用いられるが、少なくともメラニンの擬似カラーと異なる色を用いることが好ましい。これにより、各画像の差を容易に認識することができる。更に、本実施形態では、例えば使用者等が、入力手段等を用いて顔の所定領域における一部の領域を選択することで、図12(c)に示すように、その領域におけるヘモグロビンの数値を表示することができる。
【0133】
また、図12(d)は、被写体の顔の所定領域に対する還元ヘモグロビン量(Hb(還元))を、擬似カラーを用いて顔画像に合成表示している例を示している。なお、擬似カラーは、上述の場合と同様に、例えば還元ヘモグロビンに対応させて予め設定された色(例えば、紫色等)が用いられるが、少なくとも他の擬似カラーと異なる色を用いることが好ましい。
【0134】
更に、図12(e)は、被写体の顔の所定領域に対するヘモグロビン酸素飽和度(Hb(ヘモグロビン酸素飽和度))を、擬似カラーを用いて顔画像に合成表示している例を示している。なお、擬似カラーは、上述の場合と同様に、上述の場合と同様に、例えばヘモグロビン酸素飽和度に対応させて予め設定された色(例えば、青〜橙色等)が用いられるが、少なくとも他の擬似カラーと異なる色を用いることが好ましい。更に、本実施形態では、例えば使用者等が、入力手段等を用いて顔の所定領域における一部の領域を選択することで、図12(e)に示すように、その領域におけるヘモグロビン酸素飽和度の数値を表示することができる。なお、上述した図12(b),(c),(e)における数値は、例えば上述した(1)式に示すような重回帰分析等の画像処理を行うことにより、取得することができる。
【0135】
本実施形態では、上述した図12(a)〜図12(e)の画像のうち、少なくとも1つを選択して画面上に表示することができる。なお、画像の選択は、例えば、使用者等が入力手段等を用いて設定された内容に基づいて選択されてもよく、予め設定された組み合わせの画像が表示されてもよい。また、本実施形態では、図12(b)〜図12(e)において、擬似カラーを合成する所定領域は、使用者等が入力手段等を用いて適宜変更することができる。
【0136】
図13は、ヘモグロビン酸素飽和度の画面表示の一例を示す図である。図13(a)〜図13(c)の例では、それぞれの被写体の斜め顔画像に対して、本実施形態によって得られたヘモグロビン酸素飽和度が擬似カラー表示されている。本実施形態では、例えば図13に示すように、スペクトルカメラ11で撮影された画像と擬似カラー表示された解析画像とを分けて表示することもできる。
【0137】
具体的には、図13(a)の例では、まぶた部分のヘモグロビン酸素飽和度が低いことがわかる。また、図13(b)の例では、血管の浮き出ているのが分かる。また、図13(c)の例では、くすみがあり(メラニン多)、ヘモグロビン酸素飽和度が低いことがわかる。本実施形態では、このような画像を確認することで、被写体の評価等を行うことができる。
【0138】
<評価方法>
次に、上述した評価手段56等における評価方法の一例について説明する。本実施形態では、上述したスペクトルカメラ11により撮影された画像に対して上述した画像処理を行い、処理された画像を用いて様々な評価を行うことができる。例えば、本実施形態では、被写体の顔画像のXY座標の位置データに対してスペクトルデータをモーフィングすることで目の周りにクマのある人・クマのない人の平均形状と特徴量を解析することでクマの評価を行うことができる。
【0139】
ここで、図14は、クマ評価の内容を説明する図である。また、図15は、クマの有無におけるヘモグロビン酸素飽和度とメラニンの測定結果の一例を示す図である。図14の例では、図14(a)に示すように、複数の被写体の所定波長毎に撮影された画像を用いて、各画像の各位置データ(XY座標位置)におけるスペクトルデータを取得する。次に、複数の被写体から得られるスペクトルデータをモーフィングして中間の画像(言い換えると平均画像)を生成する。また、モーフィングされた画像を用いて、上述したようにヘモグロビン酸素飽和度マップやメラニンマップを生成する。
【0140】
これにより、本実施形態では、例えばスペクトルカメラから得られるスペクトルデータを用いて、図15(a)、図15(b)の例に示すように、クマのあり、なしでヘモグロビン酸素飽和度、メラニンの分布に差があることを視覚的に表現することが可能となる。なお、図15の例では、クマのある女性及びクマのない女性それぞれ8名のモーフィングデータ(平均顔)を用いている。また、図15に示す画面は、上述した画面生成手段57により生成され、出力手段52により表示することができる。
【0141】
本実施形態では、上述したモーフィング処理を行うことにより、例えば均質なヘモグロビン酸素飽和度分布(画像)及びメラニン分布(画像)を取得することができ、これらの分布を指標として、被写体に対する高精度なクマ評価等を実現することができる。なお、本実施形態では、ヘモグロビン酸素飽和度分布やメラニン分布に限定されるものではなく、例えば上述したヘモグロビン分布(画像)等を生成してもよい。
【0142】
また、本実施形態における評価としては、クマの評価に限定されるものではなく、例えばくすみの評価等や、マッサージの前後におけるヘモグロビン酸素飽和度の上昇等を用いて血行改善の評価をしたり、紫外線による色素沈着等の評価等を行うことができる。
【0143】
上述したように、本発明によれば、分光反射画像を用いて高精度な皮膚評価を行うことができる。
【0144】
以上本発明の好ましい実施例について詳述したが、本発明は係る特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形、変更が可能である。
【符号の説明】
【0145】
1 皮膚評価システム
10 照明装置
11 スペクトルカメラ
12 照明装置本体
20 皮膚評価装置
31 照明ボックス
32 光源
33 額当て
34 カメラレンズ用開口部
35 顎乗せ部
36 色票
37 カメラ台固定部
38 カメラ台
39 電動テーブル
40 移動部
41 配置板
42 補強部材
43 窓部
44 面
45 開口部
46 ケーブル
51 入力手段
52 出力手段
53 蓄積手段
54 撮影画像取得手段
55 画像処理手段
56 評価手段
57 画面生成手段
58 送受信手段
59 制御手段
61 入力装置
62 出力装置
63 ドライブ装置
64 補助記憶装置
65 メモリ装置
66 CPU
67 ネットワーク接続装置
68 記録媒体

【特許請求の範囲】
【請求項1】
所定の照明装置に設置された撮像手段により撮影された被写体の顔画像を用いて、該被写体の皮膚の評価を行う皮膚評価装置において、
前記撮像手段により得られる被写体の顔の2次元画像の1画素に対して、所定の波長領域における光の強度データを取得する撮影画像取得手段と、
前記撮影画像取得手段により得られる分光反射画像に対し、所定の画像補正を行う画像処理手段と、
前記画像処理手段により得られる画像結果に基づいて、前記被写体の皮膚の評価を行う評価手段とを有することを特徴とする皮膚評価装置。
【請求項2】
前記画像処理手段は、
前記撮影画像取得手段により得られる画像に対し、撮影時の前記照明装置における光源の影響を除去する画像補正を行うことを特徴とする請求項1に記載の皮膚評価装置。
【請求項3】
前記画像処理手段は、
前記撮影画像取得手段により得られる画像に対し、白色による補正処理及び色票による補正処理のうち少なくとも1つを用いて前記画像補正を行うことを特徴とする請求項1又は2に記載の皮膚評価装置。
【請求項4】
前記評価手段は、
前記画像処理手段により処理された画像から得られるメラニン量、ヘモグロビン量、及びヘモグロビン酸素飽和度のうち少なくとも1つを用いて前記被写体の皮膚を評価することを特徴とする請求項1乃至3の何れか1項に記載の皮膚評価装置。
【請求項5】
前記評価手段は、
複数の被写体の顔画像から取得した光の強度データに基づいてモーフィング処理を行い、処理された画像を評価の指標として用いることを特徴とする請求項1乃至4の何れか1項に記載の皮膚評価装置。
【請求項6】
前記評価手段は、
前記被写体の目の周りのクマ評価を行うことを特徴とする請求項1乃至5の何れか1項に記載の皮膚評価装置。
【請求項7】
前記画像処理手段により得られる処理結果及び前記評価手段により得られる評価結果のうち少なくとも1つを含む画面を生成する画面生成手段を有することを特徴とする請求項1乃至6の何れか1項に記載の皮膚評価装置。
【請求項8】
所定の照明装置に設置された撮像手段により撮影された被写体の顔画像を用いて、該被写体の皮膚の評価を行う皮膚評価方法において、
前記撮像手段により得られる被写体の顔の2次元画像の1画素に対して、所定の波長領域における光の強度データを取得する撮影画像取得ステップと、
前記撮影画像取得ステップにより得られる分光反射画像に対し、所定の画像補正を行う画像処理ステップと、
前記画像処理ステップにより得られる画像結果に基づいて、前記被写体の皮膚の評価を行う評価ステップとを有することを特徴とする皮膚評価方法。
【請求項9】
前記画像処理ステップは、
前記撮影画像取得手段により得られる画像に対し、撮影時の前記照明装置における光源の影響を除去する画像補正を行うことを特徴とする請求項8に記載の皮膚評価方法
【請求項10】
前記画像処理ステップは、
前記撮影画像取得ステップにより得られる画像に対し、白色による補正処理及び色票による補正処理のうち少なくとも1つを用いて前記画像補正を行うことを特徴とする請求項8又は9に記載の皮膚評価方法。
【請求項11】
前記評価ステップは、
前記画像処理ステップにより処理された画像から得られるメラニン量、ヘモグロビン量、及びヘモグロビン酸素飽和度のうち少なくとも1つを用いて前記被写体の皮膚を評価することを特徴とする請求項8乃至10の何れか1項に記載の皮膚評価方法。
【請求項12】
前記評価ステップは、
複数の被写体の顔画像から取得した光の強度データに基づいてモーフィング処理を行い、処理された画像を評価の指標として用いることを特徴とする請求項8乃至11の何れか1項に記載の皮膚評価方法。
【請求項13】
前記評価ステップは、
前記被写体の目の周りのクマ評価を行うことを特徴とする請求項8乃至12の何れか1項に記載の皮膚評価方法。
【請求項14】
前記画像処理手段により得られる処理結果及び前記評価手段により得られる評価結果のうち少なくとも1つを含む画面を生成する画面生成ステップを有することを特徴とする請求項8乃至13の何れか1項に記載の皮膚評価方法。
【請求項15】
コンピュータを、請求項1乃至7の何れか1項に記載の皮膚評価装置が有する各手段として機能させるための皮膚評価プログラム。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図8】
image rotate

【図9】
image rotate

【図10】
image rotate

【図7】
image rotate

【図11】
image rotate

【図12】
image rotate

【図13】
image rotate

【図14】
image rotate

【図15】
image rotate


【公開番号】特開2013−43017(P2013−43017A)
【公開日】平成25年3月4日(2013.3.4)
【国際特許分類】
【出願番号】特願2011−184162(P2011−184162)
【出願日】平成23年8月25日(2011.8.25)
【出願人】(000001959)株式会社 資生堂 (1,748)
【Fターム(参考)】