説明

照明装置及び画像取得装置

【課題】近赤外領域の画像を高精度に撮影する。
【解決手段】所定の近赤外領域による被写体の対象部位を撮影するための照明装置において、開口部から前記対象部位に対して前記所定の近赤外領域の光を照射する複数の光源と、前記複数の光源により照射された前記対象部位を撮影する撮像手段とを有し、前記光源から前記撮像手段までの光路上に、前記対象部位からの表面反射光を除去する第1のフィルタと、前記光源からの光量を調整するための第2のフィルタと、予め設定された波長領域のみを通過させる第3のフィルタとを有することにより、上記課題を解決する。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、照明装置及び画像取得装置に係り、特に近赤外領域の画像を高精度に撮影するための照明装置及び画像取得装置に関する。
【背景技術】
【0002】
従来、肌を観察する装置は、例えば美容分野等において、顧客の肌状態に応じたカウンセリングや最適な化粧料を販売する販促用のツールとして用いられている。このような従来の肌観察装置では、主に可視光照明装置を用い、拡大して観察しようとする任意の部分に装置を当てることにより、顧客の肌の形状や色を取得して観察を行う技術が存在する(例えば、特許文献1参照)。また従来では、光源に紫外光を用いたものも提案されている(例えば、特許文献2参照)。
【0003】
また、従来では、顔の水分変化を可視化するために近赤外カメラによる2枚の近赤外分光画像を用いて顔表面に塗布した保湿液の可視化を行う技術が開示されている(例えば、非特許文献1参照)。
【0004】
ここで、非特許文献1に示されている技術は、波長領域900〜1700nmまで感度を持つInGaAs近赤外カメラ(例えば、Sensors Unlimited,Inc.SU320M−1.7RT等)を用いて顔の計測を行い、その計測により取得した2枚の近赤外分光画像を用いて差分吸光度画像に変換することで、顔に塗布した保湿液のみの可視化を可能としている。
【0005】
また、従来では、近赤外を用いて皮膚水分量を鑑別する手法も開示されている(例えば、特許文献3参照)。特許文献3に示されている技術は、波長領域1050〜1650nmの近赤外波長域に対して皮膚の複数点の反射強度を得る工程と、予め用意した皮膚水分量と近赤外波長域の反射強度との関係を示す予測式に前記工程で得られた反射強度を代入して複数点の皮膚水分量を得る工程と、得られた複数点の皮膚水分量から皮膚水分量分布を鑑別することが示されている。
【先行技術文献】
【特許文献】
【0006】
【特許文献1】特開2010−88599号公報
【特許文献2】特開2010−148685号公報
【特許文献3】特開2010−25622号公報
【非特許文献】
【0007】
【非特許文献1】岩崎宏明他、「2枚の近赤外分光画像を用いた顔の水分変化の可視化」、日本光学会(応用物理学会)、Optics Japan 2005 Tokyo、2005年11月23〜25日
【発明の開示】
【発明が解決しようとする課題】
【0008】
上述した従来の技術においては、特許文献1及び特許文献2等に示すように、可視光や紫外光の光源を用いた肌観察装置に関する手法や、特許文献3及び非特許文献1等に示すように、顔面全体における近赤外領域の画像を得るため手法が示されている。
【0009】
ここで、顧客の肌状態等に対して適切なカウンセリングを行うためには、例えば観察対象部位に近接し拡大した状態で、皮膚の形状等を観察すると同時に、その皮膚の水分や油分の状態を分析することが好ましいが、近接時に、必要な近赤外領域に特化した照明装置及び画像取得装置については開示されていない。
【0010】
本発明は、上述した課題に鑑みてなされたものであって、近赤外領域の画像を高精度に撮影するための照明装置及び画像取得装置を提供することを目的とする。具体的には、本発明は、例えば近赤外領域の画像を高精度に拡大撮影するための照明装置、及び画像取得装置を提供することを目的とする。
【課題を解決するための手段】
【0011】
上述した課題を解決するために、本件発明は、以下の特徴を有する課題を解決するための手段を採用している。
【0012】
本発明は、所定の近赤外領域による被写体の対象部位を撮影するための照明装置において、開口部から前記対象部位に対して前記所定の近赤外領域の光を照射する複数の光源と、前記複数の光源により照射された前記対象部位を撮影する撮像手段とを有し、前記光源から前記撮像手段までの光路上に、前記対象部位からの表面反射光を除去する第1のフィルタと、前記光源からの光量を調整するための第2のフィルタと、予め設定された波長領域のみを通過させる第3のフィルタとを有することを特徴とする。
【0013】
また、本発明は、上述した照明装置により撮影された所定の近赤外領域における被写体の対象部位の画像を用いて解析を行う画像解析装置において、前記被写体の局部画像を取得する画像取得手段と、前記画像取得手段により得られた画像に含まれる前記対象部位の状態を解析する画像解析手段と、前記画像解析手段により得られた解析結果を表示する画面を生成する画面生成手段とを有することを特徴とする。
【発明の効果】
【0014】
本発明によれば、近赤外領域の画像を高精度に撮影することができる。
【図面の簡単な説明】
【0015】
【図1】本実施形態における肌観察システムの概略構成の一例を示す図である。
【図2】本実施形態における光源の配置例を示す図である。
【図3】本実施形態における画像解析装置の機能構成の一例を示す図である。
【図4】本実施形態における画像解析処理が実現可能なハードウェア構成の一例を示す図である。
【図5】本実施形態における解析結果の画像の一例について説明するための図である。
【図6】本実施形態において得られた画像を評価することの優位性を説明するための図である。
【図7】本実施形態において得られた水分データの一例を示す図である。
【図8】サンプル塗布前後の肌状態の一例(その1)を示す図である。
【図9】サンプル塗布前後の肌状態の一例(その2)を示す図である。
【図10】本実施形態における他の適用例を示す図である。
【発明を実施するための形態】
【0016】
<本発明について>
本発明は、例えば波長領域約800〜2500nmまで撮影可能な近赤外カメラ等を用いて、顧客等の被写体の顔や手、腕、足等の皮膚や毛髪、爪等に至るまで、所望する被写体の各部の拡大画像を高精度に取得するための照明装置及びその照明装置を用いて撮影された画像を取得する画像取得装置に関する。
【0017】
以下に、本発明における照明装置及び画像取得装置を好適に実施した形態について、図面を用いて説明する。なお、以下の例では、顔の肌を撮影する例を示すが、本発明においてはこれに限定されるものではなく、例えば、手や腕の皮膚や毛髪、爪等の生体系の試料や、代用皮膚(例えば、ブタ皮膚、人工皮膚、ウレタン)等のモデル系の試料の水分や油分を評価するためのあらゆるものについて適用可能である。
【0018】
<肌観察システム:概略構成例>
まず、本実施形態における肌観察システムの概略構成例について図を用いて説明する。なお、以下の例では、顔の肌を撮影する例を示すが、本発明においてはこれに限定されるものではなく、例えば、手や腕の皮膚や、代用皮膚(例えば、ブタ皮膚、人工皮膚、ウレタン)、毛髪、爪等の水分や油分を評価するためのあらゆるものについて適用可能である。
【0019】
図1は、本実施形態における肌観察システムの概略構成の一例を示す図である。なお、図1(a)は、肌観察システムの概略構成図を示している。図1(a)に示す肌観察システム10は、大略すると、画像取得装置11と、画像解析装置12とを有する。画像取得装置11と、画像解析装置12とは、有線又は無線等によりデータの送受信が可能な状態で接続されている。また、図1(b)は、画像取得装置12の詳細を示している。更に、図1(c)は、画像取得装置12に設けられる拡散反射部の一例を示している。
【0020】
画像取得装置11は、観察対象者である被写体(ユーザ)の観察をしたい皮膚(例えば頬等)に近接又は当接させて、その箇所(局部)に対する予め設定された拡大率からなる拡大画像を撮影する。なお、近接とは、例えば観察対象に非常に近い位置にあるが観察対象とは非接触の状態であることを示す(例えば、距離間隔が数ミリ程度)。撮影された画像は、画像解析装置12に出力される。
【0021】
画像解析装置12は、画像取得装置11における電源のON/OFF制御や光源等の設定等をしたり、画像取得装置11から取得した画像を保存したり、ユーザやカウンセラー等に表示する。
【0022】
ここで、本実施形態における画像取得装置11について、更に具体的に説明すると、図1(b)に示すように、照明装置20と、撮像手段である近赤外デジタルカメラ30(以下、「カメラ30」ともいう)とを有する。照明装置20は、拡散反射部21と、拡散反射部21に設けられた開口部22と、光源23と、透過レンズ24と、第1のフィルタである偏光フィルタ25と、第2のフィルタであるND(Neutral Density)フィルタ26と、第3のフィルタであるバンドパスフィルタ27と、紫外カットフィルタ28と、赤外カットフィルタ29とを有する。
【0023】
拡散反射部21は、光源23から照射された光が照明装置20内部で拡散するように構成されたものであり、これにより光源を一様に対象物に当てることができる。なお、図1(b)に示す拡散反射部21−1は、例えば内部に空間が形成されたドーム型の形状を有する筐体となっているが、本発明においてはこれに限定されるものではなく、例えば図1(c)に示すようにカップ型の拡散反射部21−2であってもよい。
【0024】
つまり、拡散反射部21は、光源23の配置や数、光源の種類等に応じて光源23からの光が効率よく拡散して筐体内全体が明るく撮影できるように構成する。また、拡散反射部21の内面は、より明るい色(例えば、白色等)に着色されていてもよく、反射し易いように光沢等を有していてもよい。更に、拡散反射部21の内面は、乱反射し易くするため、例えば細かな凹凸や梨子地が形成されていてもよい。
【0025】
また、開口部22は、例えばユーザ1の頬等の撮影対象部分に近接又は当接させて、その開口部22からの肌画像を取得するための部分(領域)である。なお、開口部22は、専用のレンズ(例えば、拡大レンズ等)を設けておいてもよく、また開口されていてもよい。
【0026】
光源23は、肌等の対象物を撮影するために必要となる所定の波長の光を照射する。本実施形態では、光源23として、例えば近赤外領域の波長を多く含む光源(ハロゲン・LED(Light Emitting Diode)・Super Continuum(SC)光源等)のうち、少なくとも1つの光源を用いることができるが、本発明においてはこれに限定されるものではない。例えば、本実施形態では、光源23として、上記のハロゲン、LED、SC光源等の多種の光源のうち、複数の光源を組み合わせてもよい。また、本実施形態では、光源23がSC光源やハロゲンの場合に、光ファイバでの導入も可能とする。
【0027】
なお、本実施形態では、例えば波長領域約800〜2500nmまで撮影可能な近赤外カメラ30を用いて撮影するため、光源波長も上記の波長領域の任意の範囲で用いられる。
【0028】
透過レンズ24は、例えば所定の近赤外領域の光を透過するレンズである。また、透過レンズ24は、肌等の撮影対象物を所定の倍率で拡大させることもできる。また、拡大等の倍率の調整については、例えば開口部22に接写用レンズを設置して調整することもできる。また、本実施形態における倍率については、広範囲な皮膚表面から毛髪1本等まで対象としているため、例えば約10〜800倍程度の拡大を可能とするが、本発明においてはこれに限定されるものではない。
【0029】
偏光フィルタ25は、撮影対象部位である肌自体からの表面反射光を除去する除去フィルタ(第1のフィルタ)である。NDフィルタ26は、光源23とレンズ系との組合せによって光量を調整するための光量調整用フィルタ(第2のフィルタ)である。なお、NDフィルタは、本実施形態における全ての光源の種類に対して使用される。
【0030】
バンドパスフィルタ27は、特定の波長領域のみの画像を取得対象とするため、予め設定された特定の波長領域のみを通過させる通過フィルタ(第3のフィルタ)である。本実施形態では、バンドパスフィルタ27を用いることで波長特性を限定し、精度を上げることができる。なお、バンドパスフィルタ27は、例えば、目的に応じて異なるので複数の波長領域のものか波長可変のものを用いる。また、バンドパスフィルタ27は、光源23が、例えばハロゲン光源やSC光源のときに使用されるが、LEDの場合に使用されてもよい。なお、上述した各フィルタの構成は一例であり、例えば光源とレンズとの特性の組合せ等により、その構成を任意に変更することができる。
【0031】
ここで、本実施形態における観察対象については、上述したように生体系とモデル系との2種類に分けられ、波長領域の違いについては、観察対象そのものというよりも観察対象上の水分或いは油分といった解析対象物質により異なる。したがって、上述した波長領域として、例えば水分の観察であれば約1460nmや約1920nm、油分であれば約1750nmや約2230〜2400nmの波長領域を通過させることになるが、本実施形態において使用される波長領域についてはこれに限定されるものではない。
【0032】
紫外カットフィルタ28及び赤外カットフィルタ29は、光学的なノイズの除去、及び観察部位へ影響する熱となる遠赤外領域の波長領域の除去を行う。具体的には、紫外カットフィルタ28は、光源23からの紫外領域をカットするためのフィルタである。また、赤外カットフィルタ29は、光源23からの赤外領域をカットするためのフィルタである。また、紫外カットフィルタ28及び赤外カットフィルタ29は、第4のフィルタとして一体に形成されていてもよい。なお、上述の紫外カットフィルタ28及び赤外カットフィルタ29は、例えば光源23にハロゲン光源が使用されている場合等に用いられる。
【0033】
ここで、図1(b)に示す例では、偏光フィルタ25、NDフィルタ26、及びバンドパスフィルタ27は、光学系の偏光フィルタ25−1、NDフィルタ26−1、及びバンドパスフィルタ27−1と、光源系の偏光フィルタ25−2、NDフィルタ26−2、及びバンドパスフィルタ27−2とを有しているが、各フィルタは、それぞれが少なくとも一方に配置すればよく、光源23から近赤外デジタルカメラ30のレンズ部までの光路上(例えば、光源23→被写体の撮影対象部位→カメラ30)に少なくとも1つ配置されていればよい。
【0034】
また、図1(a)に示すように、照明装置20の大きさは、例えば幅wが約30〜150mm程度であり、幅wが約20〜70mm程度であるが、本発明においてはこれに限定されるものではない。
【0035】
また、近赤外デジタルカメラ30は、近赤外撮像素子(例えば、InGas等)を有するカメラである。本実施形態における近赤外デジタルカメラ30は、例えば波長領域800〜2500nmまで撮影することができる。なお、近赤外デジタルカメラ30は、静止画を撮影するだけでなく、動画を撮影することもできる。
【0036】
上述したように本実施形態では、照明装置20を用いて被写体の皮膚(例えば、毛髪や爪、人工皮膚でもよい)に近接又は当接させ、その部分(局部)を収容し、拡散反射部21により空間が形成された筐体と、拡散反射部21の内面(拡散反射面)において、被写体の左右対象の位置にそれぞれ1又は複数配置し、筐体の空間内に光を照射する複数の光源23と、光源による光が照射された被写体の部分を拡大撮影する撮像手段であるカメラ30とを有する。
【0037】
なお、本実施形態では、所定の近赤外領域を用いて所定の画像を取得する際、例えば約1460nm付近の水の吸収特性、約1750nm付近の油の吸収特性、約1920nm付近の水の強い吸収特性、及び約2230〜2400nm付近にある複数の油の強い吸収特性に対する被写体の画像のうち、少なくとも1つの画像を取得する。
【0038】
つまり、本実施形態では、上述した波長領域のうち、少なくとも1つの波長領域を用いた画像を取得することで、取得した画像に対して詳細な肌等の解析や評価等を行うことができる。したがって、本実施形態では、高精度な肌観察を実現することができる。
【0039】
また、本実施形態における照明装置20では、撮像手段のレンズに設置されるノイズとなる表面の反射を防ぐ第1の偏光フィルタ、表面の光量を調整する第2のフィルタ、及び前記複数の異なる近赤外領域に対応させたバンドパスフィルタリングを行う第3のフィルタとを有する。更に、本実施形態では、光源23がハロゲンの場合に、光源23の前に設置される紫外線及び赤外線を遮断する第4のフィルタを有する。
【0040】
更に、本実施形態では、特定の波長領域に特化した光源との組合せを用いることができる。また、照明装置20は、光源の例として、例えば通常のハロゲン光源を直接或いは光ファイバ等の所定のケーブルで導入するタイプや、近赤外LEDを複数組み込むタイプ等が考えられるが、実用的にはLEDタイプが好ましい。それは、LEDタイプは、光源自体が近赤外に特化しており、場合によっては(例えば、水であれば)、バンドパスフィルタ27がない構成でも肌観察が可能と考えられるからである。
【0041】
なお、図1に示す例では、画像取得装置11と画像解析装置12とが別体に設けられていたが、本発明においてはこれに限定されるものではなく、例えば画像解析装置12の構成の一部又は全部が画像取得装置11側に含まれ、一体に構成されていてもよい。したがって、例えば画像を表示する画面が画像取得装置11に直接設けられていてもよい。
【0042】
<本実施形態における光源23の配置例>
次に、本実施形態における光源の配置例について、図を用いて説明する。図2は、本実施形態における光源の配置例を示す図である。本実施形態では、図2(a)〜(c)に示すような配置例を用いることができ、またこれらの配置例を複数組み合わせた配置も適用することができる。
【0043】
図2(a)では、例えばカメラ30のレンズの中心等を基準として、その中心からの距離を変えて複数の光源23を配置した例を示している。具体的には、図2(a)に示すように中心からの距離(半径)が小さい円状に等間隔に配列された光源23−1と、光源23−1よりも半径の大きい円状に等間隔に配列された光源23−2とを有する。なお、光源23−1と光源23−2の各光源とは、交互に配列されている。これにより、光源の干渉による影をできにくくし、肌等の観察対象(撮影対象)の形態に対して最適の状態とすることができる。なお、図2(a)に示す光源の配列は、例えば観察対象が肌等であれば、例えば皮丘のみか又は皮溝も含めて観察するか等により、小さい円状の光源23−1及び大きい円状の光源23−2の一方を用いるか、又は両方の光源23−1,23−2を用いるか等を切り替えることができる。
【0044】
また、図2(b)では、出力波長の異なる光源23を複数配置した例を示している。具体的には、図2(b)に示すように、第1の出力波長を有する光源23−3と、第1の出力波長の波長領域と異なる第2の出力波長を有する光源23−4とが同円心状に交互に配列されている。なお、第1の出力波長の波長領域と第2の出力波長の波長領域とは、一部が重複していてもよく、互いに重複部分のない波長領域であってもよい。
【0045】
これにより、本実施形態では、光源23−3,23−4の何れか一方又は両方を用いて、観察目的に応じて波長の切り替えを迅速且つ容易に行うことができる。更に、本実施形態では、両方の光源23−3,23−4を用いることで、長領域(より広い波長範囲)の光源を照射して肌等を観察することができる。なお、図2(b)の例では、2種類の光源を用いているが、本発明においてはこれに限定されるものではなく、例えば波長領域の異なる3種類以上の光源を用いてもよい。
【0046】
更に、図2(c)の例では、角度を変えて複数の円状に光源23を配置した例を示している。具体的には、図2(c)に示すように、中心からの半径の小さい円状に配置された光源23−5と、光源23−5が配置された円周より半径の大きい円状に配置された光源23−6とを有する。また、図2(c)の例では、光源23−5の中心に向く角度θよりも光源23−6の角度θの方が大きい角度で配置される。これにより、光源の干渉による影をできにくくし、肌等の観察対象の形態に対して最適の状態とすることができる。
また、図2(c)の例では、光源23−5及び光源23−6のうち、何れか一方(図2(c)の例では、光源23−5)を、他方よりも被写体の観察対象部位側に近づけて配列してもよい。
【0047】
なお、本実施形態では、上述した図2(a)〜(c)の配置を組み合わせて用いることもできる。また、上述した図2(a)〜(c)は、複数の光源が円状に配置されている例を示したが、本発明においてはこれに限定されるものではなく、例えば、カメラレンズを軸として正六角形や正八角形等の外形上に所定の間隔で光源を配置してもよい。
【0048】
<本実施形態における画像解析装置12の機能構成例>
次に、本実施形態における画像解析装置12の機能構成例について図を用いて説明する。図3は、本実施形態における画像解析装置の機能構成の一例を示す図である。図3に示す画像解析装置12は、入力手段41と、出力手段42と、蓄積手段43と、撮影画像取得手段44と、画像解析手段45と、画像生成手段46と、送受信手段47と、制御手段48とを有するよう構成されている。
【0049】
入力手段41は、ユーザ等からの画像取得指示や画像解析指示、画像生成指示、送受信等の各種指示の開始/終了等の入力を受け付ける。なお、入力手段41は、例えばキーボードや、マウス等のポインティングデバイス等からなる。また、入力手段41は、例えば既に画像取得装置11により撮影された被写体の観察対象部分の画像を入力する機能を有する。
【0050】
出力手段42は、入力手段41により入力された内容や、入力内容に基づいて実行された内容等の表示・出力を行う。なお、出力手段42は、ディスプレイやスピーカ等からなる。また、出力手段42としてプリンタ等の機能を有していてもよく、その場合には、画像解析結果等を紙等の印刷媒体に印刷して、被写体やカウンセラー等に提供することもできる。
【0051】
ここで、上述した入力手段41と出力手段42とは、例えばタッチパネル等のように一体型の入出力手段であってもよく、この場合にはユーザの指やペン型の入力装置等を用いて、画面上の所定の位置をタッチすることで入力を行うことができる。
【0052】
蓄積手段43は、撮影画像取得手段44等により得られる撮影画像、画像解析手段45により画像解析結果、画像生成手段46により生成された生成画像等の各種データを蓄積する。また、蓄積手段43は、必要に応じて蓄積されている各種データを任意に読み出すことができる。
【0053】
撮影画像取得手段44は、画像取得装置11においてカメラ30により撮影された被写体の観察対象画像(拡大画像)を取得する。なお、撮影画像取得手段44は、照明装置20により被写体に照明を当て、その対象部分をカメラ30で撮影する際に、撮影する画像の内容に応じて、例えば使用する光源23の種類や位置、数等を設定したり、光源23から照射される光量等を調整することができる。
【0054】
また、撮影画像取得手段44は、カメラ30に対し、上述した各フィルタを組み合わせて使用して所定のバンドパスフィルタ27によりフィルタリングされた所定の近赤外領域の画像を取得するため、その撮影条件を指示する指示情報を生成し、画像取得装置11に出力することもできる。なお、撮影画像取得手段44により取得された画像は、蓄積手段43に蓄積される。
【0055】
画像解析手段45は、例えば撮影画像取得手段44により得られた画像に含まれる観察対象部位の状態を解析する。具体的には、画像解析手段45は、例えば取得した画像に対して、近赤外領域の水分や油分による吸収を輝度値の濃淡として表示するための輝度値の解析を行う。このとき、画像解析手段45は、輝度補正等の画像処理を行ってもよい。これにより、均質化した画像を取得することができる。また、画像解析手段45は、例えば全体の輝度算出値の平均値を基準として、例えば水分が多く潤っている部分、水分が少なくて乾燥している部分を解析する。
【0056】
また、画像解析手段45は、画像中に含まれる任意の部位で統計量を算出することもできる。具体的には、画像解析手段45は、複数の測定結果の画像に対して、ユーザ等により入力手段41等を用いて観察する領域(部位)が指定されることで、その指定領域に対して解析を行い、輝度の平均値や標準偏差等を算出して定量的なデータを取得する。なお、指定される領域が1画像に対して1つでもよく、複数でもよい。
【0057】
また、画像解析手段45は、入力される画像に対して、例えば化粧水や乳液等の皮膚外用剤の塗布前後(連用前後)の輝度変化の解析、輝度変化値の算出、ユーザから指定された領域に対する輝度差に対応した擬似カラーの設定等の解析を行う。
【0058】
また、画像解析手段45は、塗布前、塗布直後、塗布後等の時系列の画像を用いて、それらの画像から皮膚の解析を行うこともできる。更に、本実施形態において、画像解析手段45で解析される画像は、画像取得装置11から取り込みながら、その都度リアルタイムで解析してもよく、また予め蓄積手段43に蓄積された画像を用いて解析してもよい。
【0059】
なお、画像解析手段45により解析される画像は、例えば被写体の頬や額等の肌画像であり、また腕や手、足等の画像でも肌画像解析を行うことができる。更に画像解析手段45は、毛髪や爪等のように、水分と油分等を含む部位について解析を行うことができ、更に人工的に作られた皮膚や毛髪、爪等についても同様の解析を行うことができる。
【0060】
画像生成手段46は、画像解析手段45により解析された結果に基づいて、ユーザに提示するための画像を生成する。なお、画像生成手段46は、撮影画像取得手段44により取得した画像をそのまま表示させてもよく、また画像解析手段45により解析された輝度差に対応させて擬似カラー等を用いて元画像に合成し、合成した画像を画面に表示してもよい。なお、画像生成手段46は、合成画像を画面に表示する際、ユーザに見やすく表示するために、例えば所定領域に対する輝度領域の拡大や差分画像の算出、輝度反転等の処理を行った後、表示させることもできる。なお、本実施形態により得られる画像例については、後述する。
【0061】
送受信手段47は、例えばインターネット等やLAN(Local Area Network)等に代表される通信ネットワーク等を用いて接続可能な外部装置から画像(撮影画像等)や、本実施形態における各処理を実現するための実行プログラム等を取得するためのインタフェースである。また、送受信手段47は、画像解析装置10内で生成された各種情報を外部装置に送信することができる。
【0062】
制御手段48は、画像解析装置12の各構成部全体の制御を行う。具体的には、制御手段48は、例えばユーザ等による入力手段41からの指示等に基づいて、撮影画像取得処理や画像解析処理、画像生成処理等の各制御を行う。
【0063】
<画像解析装置12:ハードウェア構成>
ここで、上述した画像解析装置12においては、各機能をコンピュータ(ハードウェア)に実行させることができるソフトウェアとしての実行プログラム(画像解析プログラム)を生成し、例えば汎用のパーソナルコンピュータ、サーバ等にその実行プログラムをインストールすることにより、本実施形態における所定の近赤外領域における画像を用いた解析を実現することができる。
【0064】
図4は、本実施形態における画像解析処理が実現可能なハードウェア構成の一例を示す図である。図4におけるコンピュータ本体(画像解析装置12)には、入力装置51と、出力装置52と、ドライブ装置53と、補助記憶装置54と、メモリ装置55と、各種制御を行うCPU(Central Processing Unit)56と、ネットワーク接続装置57とを有するよう構成されており、これらはシステムバスBで相互に接続されている。
【0065】
入力装置51は、ユーザ等が操作するキーボード及びマウス等のポインティングデバイスを有しており、ユーザ等からのプログラムの実行等、各種操作信号を入力する。また、入力装置51は、ネットワーク接続装置57等に接続された外部装置から通信ネットワークを介して得られる既に測定された観察対象部位の画像等の各種データを入力することもできる。
【0066】
出力装置52は、本発明における処理を行うためのコンピュータ本体を操作するのに必要な各種ウィンドウやデータ等を表示するディスプレイを有し、CPU56が有する制御プログラムによりプログラムの実行経過や結果等を表示することができる。また、出力装置52は、上述の処理結果等を紙等の印刷媒体に印刷して、ユーザ等に提示することができる。
【0067】
ここで、本発明においてコンピュータ本体にインストールされる実行プログラムは、例えば、USB(Universal Serial Bus)メモリやCD−ROM、DVD等の可搬型の記録媒体58等により提供される。プログラムを記録した記録媒体58は、ドライブ装置53にセット可能であり、記録媒体58に含まれる実行プログラムが、記録媒体58からドライブ装置53を介して補助記憶装置54にインストールされる。
【0068】
補助記憶装置54は、ハードディスク等のストレージ手段であり、本発明における実行プログラムや、コンピュータに設けられた制御プログラム等を蓄積し必要に応じて入出力を行うことができる。
【0069】
メモリ装置55は、CPU56により補助記憶装置54から読み出された実行プログラム等を格納する。なお、メモリ装置55は、ROM(Read Only Memory)やRAM(Random Access Memory)等からなる。
【0070】
CPU56は、OS(Operating System)等の制御プログラム、及びメモリ装置55に格納されている実行プログラムに基づいて、各種演算や各ハードウェア構成部とのデータの入出力等、コンピュータ全体の処理を制御して各処理を実現することができる。なお、プログラムの実行中に必要な各種情報等は、補助記憶装置54から取得することができ、また実行結果等を格納することもできる。
【0071】
ネットワーク接続装置57は、通信ネットワーク等と接続することにより、実行プログラムを通信ネットワークに接続されている他の端末等から取得したり、プログラムを実行することで得られた実行結果又は本発明における実行プログラム自体を他の端末等に提供することができる。また、ネットワーク接続装置57は、通信ネットワークに接続された外部装置により既に撮影された観察対象部位の画像等の各種データを取得することもできる。
【0072】
上述したようなハードウェア構成により、本発明における画像解析処理を実行することができる。また、プログラムをインストールすることにより、汎用のパーソナルコンピュータ等で本発明における画像解析処理を容易に実現することができる。
【0073】
<画像生成手段46により得られる画像例>
次に、上述した画像解析手段45により得られる解析され、その解析結果から画像生成手段46により得られる画像の一例について、図を用いて説明する。図5は、本実施形態における解析結果の画像の一例について説明するための図である。なお、図5(a)は、水分を可視化した例を示し、図5(b)は、定量化データの一例を示している。また、図5(a)に示す縦の3枚は、上から可視画像、波長領域が約1950nm付近のみを通過させるフィルタを用いて撮影された近赤外画像、その近赤外画像に画像解析した結果を加えた画像を示している。また、横の2枚は、例えば異なる化粧品(例えば、化粧水等)を塗布した場合の画像を示している。なお、後述する各図においても、近赤外領域の画像は、一例として、全て約1950nm付近のみを通過させるフィルタを用いて撮影された画像を用いているが、本発明において適用される近赤外領域の範囲はこれに限定されるものではない。
【0074】
本実施形態では、例えば近赤外領域の水分による吸収を輝度値の濃淡として表した画像が得られることから、被写体の皮膚表面の形態(形状)や特徴等と同時に、水分の分布状態を示す画像が得られる。したがって、画像解析手45は、この画像に対して予め設定された画像処理等を行うことで、例えば図5(a)に示すように、全体の輝度算出値の平均値を基準として、例えば水分が多く潤っている部分、水分が少なくて乾燥している部分を解析し、その解析結果を出力手段42の画面等に表示することができる。なお、画面に表示する場合には、輝度値に基づいて所定の擬似カラーによる合成処理を行ってもよい。これにより、例えば、水分が多く潤っている部分と、乾燥している部分とで異なるカラーによる表示を行い、該当部分がより明確になるように表示することもできる。
【0075】
また、本実施形態では、図5(b)に示すように、水分可視化画像において、画像解析手段45により、任意の部位で統計量を算出することもできる。具体的には、図5(b)に示すように、1回目と2回目等のように複数の測定結果の画像に対して、ユーザ等により観察する領域(部位)が指定されることで、画像解析手段45による解析処理により輝度の平均値や標準偏差等を算出して定量的なデータを得ることができる。また、これらの画像やデータは、上述した画像生成手段46により生成され、出力手段42等の画面に表示される。
【0076】
なお、上述した領域(部位)の指定は、例えば1つの画像に対して複数の領域を指定してもよい。また領域の指定は、複数の測定結果の画像の全てに対して指定してもよく、またある1つの画像に対して領域を指定することで他の測定画像についても同一領域が指定されるように構成されていてもよい。この場合には、例えば各画像に予め座標情報等を埋め込んでおき、ある1つの画像に対する領域指定時に、その座標を取得して、他の測定画像にも適用させて領域を指定する。
【0077】
<本実施形態により得られた画像を観察(評価)することの優位性>
次に、上述した本実施形態により得られた画像を観察(評価)することの優位性について、図を用いて説明する。図6は、本実施形態において得られた画像を評価することの優位性を説明するための図である。なお、図6(a)は、本実施形態による測定結果(5回分)を示し、図6(b)は、本実施形態における時系列解析の結果を示している。
【0078】
図6の例では、例えば波長領域が約1000〜2500nmの近赤外領域に感度を持った撮像手段(カメラ30)と、近赤外領域において透過度の高い光学系と、同波長領域の光源とを、ドーム型或いはカップ型の拡散反射部21を用いて観察面を均一に照らすことで、水分状態等の可視化のみならず、定量にも最適な構成となるようにした装置である。
【0079】
更に、図6の例では、光源23に近赤外領域を含むハロゲン光を用いるが、本実施形態では、観察表面の熱による影響を避けるため、任意の近赤外領域の光を発生するLEDやSC光源等のほとんど熱を持たない光源を用いることによって画像解析による定量時の精度を高めることもできる。
【0080】
つまり、本実施形態では、上述した手法を用いて画像を取得するため、例えば非接触の画像情報を元に水分の分布状態を観察し、定量的な観察(評価)を行うことができる。そのため、従来手法のように、肌への接触による電気的な水分測定とは異なり、水分の分布状態を可視化した画像と共に、任意の部位の定量的な数値データを用いた比較ができ、更に非接触であるという利点を用いて時系列変化等の比較も行うことができる。
【0081】
ここで、既存機器との比較において、従来からある皮膚表層における水分量の測定装置として、SKICON(登録商標)(アイ・ビイ・エス株式会社)やCornemeter(C+K社)があるが、前者は電気伝導度を測定し、後者は静電容量を測定することで水分の多寡を評価するものである。これらは、何れも観察対象に接触して測定する機構となっているため、測定対象表面の形状や接触時の角度等に影響される。
【0082】
例えば、前腕屈側部のような骨格及び筋肉に支えられている皮膚である場合には、比較的安定した測定ができる。しかしながら、顔面の頬部のように筋肉のみで骨格による支えがない場合には、押し当てる時の形状が変更し測定値が安定しない。また、部位によっては測定が難しく、例えば上瞼の場合は、その下に眼球があるため押し付けての測定は不安定であり、更に被験者(被写体)に不快感を与える場合がある。
【0083】
一方、本実施形態による測定では、上述した拡散反射部21等の構成により、非接触による撮影が可能であるため、接触や形状のような影響がないため、図6(a)に示すように、例えば前腕でも頬でも安定した結果が得られる。更に、本実施形態における測定では、撮影済みの画像に対して解析を行うので繰り返し同じデータが得られることから、図6(b)に示すように時系列解析においては、撮影時に同じ位置を保つことによって接触による影響の少ない安定した解析値を得ることができる。
【0084】
また、図7は、本実施形態において得られた水分データの一例を示す図である。水分データについて従来手法と比較すると、従来では、予め設定した部位毎に機器を接触させて水分量を取得し、その部位差や連用前後の変化等を取得することしかできなかった。しかしながら、本発明手法では、非接触であるため、測定部位を含む広い範囲の画像データを取得して解析することができるため、効率的な処理が可能となる。つまり、本発明手法では、全体のデータを細分化させて任意の部位についての水分データを取得することができる。更に、本発明手法では、所定の近赤外領域の光を用いて観察対象を撮影することで、全体及び各部分の水分量を可視化することができると共に、統計量の算出による定量比較を行うこともできる。これらの点は、従来手法にはないため、本発明手法の優位性である。
【0085】
更に、図7に示す図では、被写体の頬部の解析を例に挙げているが、本実施形態における観察対象についてはこれに限定されるものではない。また、拡大タイプである本発明手法では、更に詳細なデータを取得することができる。ここで、詳細なデータとしては、例えば図7における細分化した領域を拡大したものが上述した図6(b)であり、任意の溝(皮溝)や溝等に囲まれた領域(皮丘)における解析が可能となる。また、肌状態によって皮溝や皮丘からなる表面形態が異なるのでそれらの性状の特徴と組み合わせた解析や評価等も可能となる。更に、毛髪においては、キューティクルを対象とした解析が可能なる。なお、上述した図6,7に示す画像やデータは、上述した画像生成手段46により生成され、出力手段42等の画面に表示される。
【0086】
<サンプル塗布前後の画像例>
次に、本実施形態における照明装置20を含む画像取得装置11、及び画像解析装置12を用いたサンプル塗布前後の画像例について図を用いて説明する。図8,図9は、サンプル塗布前後の肌状態の一例を示す図(その1,その2)である。
【0087】
なお、塗布したサンプル(なじみの良いもの、悪いもの)は、一例として美容液を用いている。また、図8,図9に示す図は、照明装置20を含む画像取得装置11で撮影された画像を示している。
【0088】
図8,図9では、一例として、女性の前腕屈側部(前腕の内側部分)を対象に撮影を行った。また、撮影条件として、光源は、住友電気工業株式会社製のSC光源を用い、光源の配置は、上述した図2(b)の配列パターンを用いた。また、近赤外デジタルカメラ30としては、住友電気工業株式会社製の近赤外カメラ(センサ:TypeII量子井戸型InGaAsフォトダイオードFPA、波長領域:1000〜2350nm)を用いた。
【0089】
また、この度の撮影において、上述した照明装置20の第3のフィルタであるバンドパスフィルタとして1950nm(中心波長1950nm、半値幅56nm)を用いた。この度の撮影では、水を見るという本質部分を確認することを目的としているため第3のフィルタのみを用いたが、これに限定されるものではなく、上述したように他のフィルタ(第1のフィルタ及び第2のフィルタ)を用いてもよい。他のフィルタを用いることで、より鮮明な画像を取得することができる。具体的には、例えば第1のフィルタを用いることで表面反射を除去することができ、第2のフィルタを用いることで光量を調整することができる。
【0090】
例えば、図8(a)に示す女性の前腕の肌60の画像では、本実施形態における照明装置20を用いることで水分を多く含む部分が黒く表示される。ここで、女性の前腕の肌画像に対して、肌になじみの良いサンプル及び肌になじみの悪いサンプルを塗布した直後の水分可視化画像(図8(b)、図8(d))と、それぞれのサンプルの塗布直後から3分後の水分可視化画像(図8(c)、図8(e))を取得する。
【0091】
肌になじみの良いサンプル場合、サンプル塗布直後は、図8(b)に示すように肌上で滴状となる。つまり、滴状のサンプルの輪郭形状61の内部は、水分を多く含んでいるため、黒く表示される。なお、図8(b)の例において、サンプルの輪郭形状61は、すでになじみ始めている状態となっているため、輪郭形状61が広がり始めている。
【0092】
また、サンプル塗布直後から3分経過後は、図8(c)に示すように、輪郭形状62が輪郭形状61よりも大きく広がっているのが画像から確認することができる。なお、図8(c)の図では、サンプルが皮膚に浸透したり、皮溝に入りながら外に広がっていることが確認できる。
【0093】
一方、肌になじみの悪いサンプル場合、サンプル塗布直後は、図8(d)に示すように肌上で滴状となるが、サンプルの輪郭形状63は、肌になじみ始めていないため、広がっていない状態となる。したがって、上述した図8(b)の滴状の輪郭形状61と比較しても同じ塗布直後でありながら、図8(d)の輪郭形状63の方が、輪郭形状61よりも小さくなる。
【0094】
また、サンプル塗布直後から3分経過後は、図8(e)に示すように、輪郭形状64と輪郭形状63とは、あまり差がみられないのが分かる。
【0095】
つまり、本実施形態における照明装置20等を適用することで、肌へのなじみの違いによって経時で変化する様子を可視化することが可能となる。なお、図8に示す白いリング状の白い部分(模様)は、滴状の表面が光源により反射したものであり、この部分を確認することでも肌へのなじみ具合を適切に把握することができる。
【0096】
また、図9の例では、女性の前腕の肌70の画像(図9(a))に対して、サンプルを塗布した直後の肌の画像(図9(b))、及び、塗布直後から3分後の肌の画像(図9(c))を示している。
【0097】
図9(a)の画像では、肌の乾燥部分の水分が少ないため、白く表示されている。その白く表示されている部分に、図9(b)に示すようにサンプルを塗布することで、3分後には肌になじんで図9(c)に示すような画像が得られる。つまり、塗布直後の滴状の輪郭形状71が、3分後には輪郭形状72のように大きくなり、その大きさからなじみ具合を把握することができる。
【0098】
更に、本実施形態では、サンプルが肌になじんだ後は、サンプルに含まれる水分の影響により、なじませた部分の輝度値が低下する。例えば、図9(c)の画像は、図9(b)の画像と比較すると皮溝や皮丘等も認識できる程度に表示されているが、サンプルを塗布した部分(皮丘部分や皮溝部分を含む)は、図9(a)の画像よりも輝度値が下がり黒く表示されている。そのため、本実施形態により取得した画像により、塗布したサンプルが肌に浸透し肌の水分量が増加したこと(サンプルの肌へのなじみ具合)を容易に把握することができる。
【0099】
本実施形態における照明装置20等を適用することで、近赤外領域の画像を高精度に撮影することができ、更に上述した図8,図9に示すような水分可視化画像を取得することができるため、塗布直後は肌70上で滴状のサンプルが、なじみの違いによって経時で変化する様子や、サンプルの肌へのなじみ具合等を可視化することが可能となる。
【0100】
なお、上述した図8、図9の画像は、上述した画像解析装置12の画像生成手段46等により、画像解析手段45で解析された輝度差に対応させて擬似カラー等を用いて元画像に合成し、合成した画像を表示してもよく、これに限定されるものではない。
【0101】
<他の適用例>
上述した本実施形態では、一例としてユーザの頬等の皮膚について、高精度な画像が取得でき、更に、その画像を用いた解析や観察(評価)内容について説明したが、本発明においてはこれに限定されるものではなく、他の観察対象についても適用することができる。ここで、本発明における他の適用例について、図を用いて説明する。
【0102】
図10は、本実施形態における他の適用例を示す図である。なお、図10(a)では、毛髪における化粧料比較の一例を示し、図10(b)では、健康な毛髪とダメージを受けた毛髪との比較例を示している。
【0103】
本実施形態では、例えば図10(a),図10(b)に示すように、皮膚以外の試料、例えば毛髪等でも水分の可視化画像や定量データを取得することができる。なお、図10(a)では、毛髪の拡大画像と、その画像部分に対して保湿能の異なる化粧料(例えば、サンプルA、サンプルB)を、それぞれ毛髪に塗布した場合の水分量の比較結果を示している。本実施形態では、上述した画像取得装置11を用いて撮影することで、保湿量を可視化することができると共に、画像解析手段45等により、その画像から平均値等の定量化データを算出して表示することができる。
【0104】
また、図10(b)では、健康な毛髪とダメージのある毛髪における比較を示している。図10(b)に示すように、毛髪に含まれるダメージ部分を擬似カラー表示することで、その部分を容易に把握することができ、更に、画像解析手段45等により、その画像から平均値等の定量化データを算出して表示することができる。つまり、本実施形態では、図10(a),図10(b)に示すように、対象物を可視化することで、より高精度に肌や髪の評価、観察等を行うことができる。
【0105】
なお、図10(a),図10(b)に示す画像やデータは、上述した画像生成手段46により生成され、出力手段42等の画面に表示される。また、本実施形態において、画像生成手段46により生成される画像例では、図5〜8に限定されるものではなく、例えば図5〜8のうち、複数の画像を組み合わせた画像を生成することもできる。
【0106】
上述したように、本発明によれば、近赤外領域の画像を高精度に撮影することができる。具体的には、本発明によれば、近赤外領域の画像を高精度に拡大観察することで水分や油分などを特異的に分析することが可能となる。
【0107】
更に、本発明を適用することで、期待される効果としては、例えば、従来の肌水分測定は主に電気的な測定原理(抵抗値や静電容量)を用いたものであり、数値のみであったが、本発明により肌表面での水分量分布を可視化して表示することが可能となる。また、必要であれば、特定部位の画像輝度値から数値として表示することも可能となる。
【0108】
また、本発明を適用することで、従来の電気的手法では肌表面の形態や測定機器の接触状態によって数値が変動する可能性があったが、測定部位自体には非接触で画像化及び計測が可能であるため、比較的安定した測定が可能となる。
【0109】
更に、画像を用いた手法であることの効果としては、測定対象を観察しながら目的とする部位の水分量を可視化すると共に数値化することができることから、ミクロな形態に依存した水分分布の変化等を測定することが可能となる。
【0110】
更に、上述の利点においては、例えば現状では、肌で使用する電気的手法を応用したものがあるが毛髪との接触等の物理的な問題で安定的な測定ができていない。しかしながら、本発明を適用することで、例えば頭皮における水分を測定する際に毛髪と皮膚とを視覚的に観察しながら測定することが可能となる。
【0111】
また、本実施形態における評価法においては、特定部位の数値比較、一定領域における分布状態が行えると共に画像であることから、例えばビデオ機能による動的な評価が非接触状態で可能とある。
【0112】
なお、本発明は、上記の効果を踏まえ、研究機器としてだけでなく、店頭におけるカウンセリングへの活用が期待される。更に、本発明では、水分だけでなく、例えば油分等の近赤外領域で識別できるものについても上記と同様の効果を得ることができる。
【0113】
以上本発明の好ましい実施例について詳述したが、本発明は係る特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形、変更が可能である。
【符号の説明】
【0114】
10 肌観察システム
11 画像取得装置
12 画像解析装置
20 照明装置
21 拡散反射部
22 開口部
23 光源
24 透過レンズ
25 偏光フィルタ(第1のフィルタ)
26 NDフィルタ(第2のフィルタ)
27 バンドパスフィルタ(第3のフィルタ)
28 紫外カットフィルタ
29 赤外カットフィルタ
30 近赤外デジタルカメラ
41 入力手段
42 出力手段
43 蓄積手段
44 撮影画像取得手段
45 画像解析手段
46 画像生成手段
47 送受信手段
48 制御手段
51 入力装置
52 出力装置
53 ドライブ装置
54 補助記憶装置
55 メモリ装置
56 CPU
57 ネットワーク接続装置
58 記録媒体
60,70 肌
61〜64,71,72 輪郭形状

【特許請求の範囲】
【請求項1】
所定の近赤外領域による被写体の対象部位を撮影するための照明装置において、
開口部から前記対象部位に対して前記所定の近赤外領域の光を照射する複数の光源と、
前記複数の光源により照射された前記対象部位を撮影する撮像手段とを有し、
前記光源から前記撮像手段までの光路上に、前記対象部位からの表面反射光を除去する第1のフィルタと、前記光源からの光量を調整するための第2のフィルタと、予め設定された波長領域のみを通過させる第3のフィルタとを有することを特徴とする照明装置。
【請求項2】
前記光源の前に設置される紫外線及び赤外線を遮断する第4のフィルタを有することを特徴とする請求項1に記載の照明装置。
【請求項3】
前記複数の光源は、基準となる所定の中心からの距離を変えて複数配置されることを特徴とする請求項1又は2に記載の照明装置。
【請求項4】
前記複数の光源は、第1の近赤外領域の光を照射する第1の光源と、前記第1の近赤外領域とは異なる第2の近赤外領域の光を照射する第2の光源とを有し、
前記第1の光源と前記第2の光源とは、交互に配列されることを特徴とする請求項1乃至3の何れか1項に記載の照明装置。
【請求項5】
前記複数の光源は、前記開口部に対して異なる角度で照射されるように配列されていることを特徴とする請求項1乃至4の何れか1項に記載の照明装置。
【請求項6】
前記複数の光源は、近赤外領域を撮影するためのハロゲン光源、LED、Super Continuum(SC)光源のうち、少なくとも1つを用いることを特徴とする請求項1乃至5の何れか1項に記載の照明装置。
【請求項7】
前記所定の近赤外領域は、1100〜1360nm、1300〜1640nm、1860〜2200nm、1700〜1860nm、及び2230〜2400nmのうち、少なくとも1つの帯域であることを特徴とする請求項1乃至6の何れか1項に記載の照明装置。
【請求項8】
請求項1乃至7の何れか1項に記載された照明装置により撮影された所定の近赤外領域における被写体の対象部位の画像を用いて解析を行う画像解析装置において、
前記被写体の局部画像を取得する画像取得手段と、
前記画像取得手段により得られた画像に含まれる前記対象部位の状態を解析する画像解析手段と、
前記画像解析手段により得られた解析結果を表示する画面を生成する画面生成手段とを有することを特徴とする画像解析装置。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate

【図9】
image rotate

【図10】
image rotate


【公開番号】特開2013−101109(P2013−101109A)
【公開日】平成25年5月23日(2013.5.23)
【国際特許分類】
【出願番号】特願2012−225377(P2012−225377)
【出願日】平成24年10月10日(2012.10.10)
【出願人】(000001959)株式会社 資生堂 (1,748)
【Fターム(参考)】