シミ検出方法、シミ検出装置およびシミ検出プログラム、並びに、シミ分類方法、シミ分類装置およびシミ分類プログラム
【課題】シミの検出を高速度に行うことができるシミ検出方法を提供する。
【解決手段】被験者の所定の皮膚領域を撮影して得られた撮影画像の色空間を変換すると共に変換された撮影画像の色空間のうち所定の色空間成分からなる色空間成分画像を生成し、色空間成分画像を多重解像度処理することにより、解像度の異なる複数の色空間成分解像度変換画像を生成し、生成された複数の色空間成分解像度変換画像をそれぞれ２値化処理することにより、所定の皮膚領域内に存在するシミを検出する。
【解決手段】被験者の所定の皮膚領域を撮影して得られた撮影画像の色空間を変換すると共に変換された撮影画像の色空間のうち所定の色空間成分からなる色空間成分画像を生成し、色空間成分画像を多重解像度処理することにより、解像度の異なる複数の色空間成分解像度変換画像を生成し、生成された複数の色空間成分解像度変換画像をそれぞれ２値化処理することにより、所定の皮膚領域内に存在するシミを検出する。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、シミ検出方法、シミ検出装置およびシミ検出プログラム、並びに、シミ分類方法、シミ分類装置およびシミ分類プログラムに関する。
【背景技術】
【０００２】
シミ（色素班）は、メラニン色素が皮膚に沈着することにより生じるもので、発生する位置や種類は人によって様々である。そこで、化粧品の分野では、各人のシミ状態に応じた化粧品を提供するために、顔の各部位に発生したシミを正確に検出することが試みられている。
例えば、特許文献１に提案された皮膚画像処理装置では、被験者の所定の皮膚領域を撮影して得られた撮影画像に対してエッジ処理を施し、エッジ領域の大きさに基づいたシミの検出が行われている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特許第４４８５８３７号
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、撮影画像にはシミ以外にも毛穴などによるノイズが多数含まれており、これら全てにエッジ処理を施してシミの検出を行うと計算量が膨大になって多大な時間を要するといった問題がある。
【０００５】
この発明は、このような従来の問題点を解消するためになされたもので、シミの検出を高速度に行うことができるシミ検出方法、シミ検出装置およびシミ検出プログラムを提供することを目的とする。
また、この発明は、このようなシミ検出方法で検出されたシミを分類するシミ分類方法、シミ分類装置およびシミ分類プログラムを提供することも目的としている。
【課題を解決するための手段】
【０００６】
この発明に係るシミ検出方法は、被験者の所定の皮膚領域を撮影して得られた撮影画像の色空間を変換すると共に変換された撮影画像の色空間のうち所定の色空間成分からなる色空間成分画像を生成し、前記色空間成分画像を多重解像度処理することにより、解像度の異なる複数の色空間成分解像度変換画像を生成し、生成された前記複数の色空間成分解像度変換画像をそれぞれ２値化処理することにより、前記所定の皮膚領域内に存在するシミを検出するものである。
【０００７】
ここで、被験者の所定の皮膚領域を撮影して得られた撮影画像の色空間を変換すると共に、前記色空間成分画像として輝度成分画像またはｂ＊成分画像を生成し、前記輝度成分画像を多重解像度処理することにより解像度の異なる複数の輝度成分解像度変換画像を生成し、または、前記ｂ＊成分画像を多重解像度処理することにより解像度の異なる複数のｂ＊成分解像度変換画像を生成し、生成された前記複数の輝度成分解像度変換画像または前記複数のｂ＊成分解像度変換画像をそれぞれ２値化処理することにより、前記所定の皮膚領域内に存在するシミを検出するのが好ましい。
また、前記複数の輝度成分解像度変換画像または前記複数のｂ＊成分解像度変換画像の解像度は、前記輝度成分画像または前記ｂ＊成分画像において約２ｍｍ未満の大きさを有する画像信号を除去するように予め設定することができる。
また、被験者を撮影して得られた画像から顔領域を認識し、認識された顔領域における画像信号から前記輝度成分画像または前記ｂ＊成分画像を生成するのが好ましい。
【０００８】
この発明に係るシミ分類方法は、上記のいずれかに記載のシミ検出方法で検出されたシミを分類するシミ分類方法であって、前記シミ検出方法で検出されたシミについて、形態特徴量および色特徴量を算出し、算出された前記形態特徴量および前記色特徴量に基づいてシミを分類するものである。
【０００９】
ここで、前記形態特徴量は、検出されたシミについて、重心位置座標、近似楕円の主軸、近似楕円の短軸、近似円の半径、周囲長および円形度をそれぞれ示す特徴量を含み、前記色特徴量は、検出されたシミについて、シミの明るさおよびシミの重心位置から外側に向けて広がる色分布をそれぞれ示す特徴量を含むのが好ましい。
また、被験者の所定の皮膚領域を撮影して得られた撮影画像の前記色空間成分画像として輝度成分画像を生成すると共にｂ＊成分画像を含む色成分画像を生成し、前記輝度成分画像により前記形態特徴量およびシミの明るさを示す特徴量が算出されると共に、前記色成分画像によりシミの色分布を示す特徴量が算出されるのが好ましい。
【００１０】
また、前記色成分画像を多重解像度処理することにより、解像度の異なる複数の色成分解像度変換画像を生成し、生成された前記複数の色成分解像度変換画像をシミの重心位置を同心としてそれぞれ重ねることで、シミの重心位置から外側に向けて複数の領域に分割した分割画像を生成すると共に、前記分割画像の複数の領域にそれぞれ対応した複数のマスクを作成し、前記色分布を示す特徴量は、前記複数のマスクと前記色成分画像とをそれぞれ乗算することにより分割評価値を算出し、前記分割評価値の平均値および標準偏差を算出することで求めることができる。
また、前記色成分画像を多重解像度処理することにより、解像度の異なる複数の色成分解像度変換画像を生成し、生成された前記複数の色成分解像度変換画像をシミの重心位置を同心としてそれぞれ重ねることで、シミの重心位置から外側に向けて複数の領域に分割した分割画像を生成すると共に、前記分割画像の複数の領域にそれぞれ対応した複数のマスクを作成し、前記色分布を示す特徴量は、前記複数のマスクと前記色成分画像とをそれぞれ乗算することにより分割評価値を算出し、シミの重心を含むマスク領域の前記分割評価値とそれ以外のマスク領域の前記分割評価値とのそれぞれの比率から求めることができる。
【００１１】
また、前記色空間成分画像の多重解像度処理において、解像度の異なる前記複数の色空間成分解像度変換画像を生成することにより、日光黒子、脂漏性角化症、雀卵班およびホクロと、肝班とを大きさに応じて大別し、前記形態特徴量および前記色特徴量に基づいて日光黒子、脂漏性角化症、雀卵班およびホクロをそれぞれ判別することで、シミが分類されるのが好ましい。
【００１２】
この発明に係るシミ検出装置は、被験者の所定の皮膚領域を撮影して得られた撮影画像の色空間を変換すると共に変換された撮影画像の色空間のうち所定の色空間成分からなる色空間成分画像を生成する色空間変換部と、前記色空間変換部により生成された前記色空間成分画像を多重解像度処理することにより、解像度の異なる複数の色空間成分解像度変換画像を生成する多重解像度処理部と、前記多重解像度処理部により生成された前記複数の色空間成分解像度変換画像をそれぞれ２値化処理することにより、前記所定の皮膚領域内に存在するシミを検出するシミ検出部とを備えたものである。
【００１３】
この発明に係るシミ分類装置は、上記のシミ検出装置で検出されたシミを分類するシミ分類装置であって、前記シミ検出装置で検出されたシミについて、形態特徴量および色特徴量を算出する特徴量算出部と、前記特徴量算出部により算出された前記形態特徴量および前記色特徴量に基づいてシミを分類するシミ分類部とを備えたものである。
【００１４】
この発明に係るシミ検出プログラムは、被験者の所定の皮膚領域を撮影して得られた撮影画像の色空間を変換すると共に変換された撮影画像の色空間のうち所定の色空間成分からなる色空間成分画像を生成するステップと、前記色空間成分画像を多重解像度処理することにより、解像度の異なる複数の色空間成分解像度変換画像を生成するステップと、生成された前記複数の色空間成分解像度変換画像をそれぞれ２値化処理することにより、前記所定の皮膚領域内に存在するシミを検出するステップとをコンピュータに実行させるためのものである。
【００１５】
この発明に係るシミ分類プログラムは、上記のシミ検出プログラムで検出されたシミを分類するためのシミ分類プログラムであって、前記シミ検出プログラムで検出されたシミについて、形態特徴量および色特徴量を算出するステップと、算出された前記形態特徴量および前記色特徴量に基づいてシミを分類するステップとをコンピュータに実行させるためのものである。
【発明の効果】
【００１６】
この発明によれば、被験者の皮膚領域を撮影して得られた撮影画像から輝度成分画像を生成し、この輝度成分画像を多重解像度処理することによりシミの検出を行うので、シミの検出を高速度に行うことが可能となる。
【図面の簡単な説明】
【００１７】
【図１】この発明の一実施の形態に係るシミ検出方法およびシミ分類方法を行うシミ検出分類装置の構成を示すブロック図である。
【図２】輝度成分画像の多重解像度処理を模式的に示す図である。
【図３】形態特徴量と色特徴量に対するシミの分類を模式的に示す図である。
【図４】形態特徴量の算出方法を模式的に示す図である。
【図５】色分布を示す色特徴量の算出方法を模式的に示す図である。
【発明を実施するための形態】
【００１８】
以下、この発明の実施の形態を添付図面に基づいて説明する。
図１に、この発明の一実施の形態に係るシミ検出方法およびシミ分類方法を行うシミ検出分類装置の構成を示す。シミ検出分類装置は、シミ検出装置Ａと、このシミ検出装置Ａで検出されたシミを分類するシミ分類装置Ｂとを備えている。
シミ検出装置Ａは、カメラ１を備え、このカメラ１に色空間変換部２、輝度成分多重解像度処理部３およびシミ検出部４が順次接続されている。
【００１９】
カメラ１は、被験者の所定の皮膚領域を撮影するものであり、例えば被験者の顔Ｆに対して正面に配置することで顔Ｆに発生したシミを撮影することができる。なお、カメラ１は、被験者の皮膚領域を安全に撮影できる可視光カメラを用いるのが好ましいが、紫外線カメラまたは赤外線カメラを用いて撮影することもできる。
色空間変換部２は、カメラ１で撮影された撮影画像の色空間を変換した色空間変換画像を生成すると共にこの色空間変換画像を輝度成分と色成分に分けることにより、輝度成分画像と色成分画像をそれぞれ生成する。なお、色空間変換画像は、少なくとも輝度成分と色成分から構成されていればよく、例えばＬ＊ａ＊ｂ＊色空間、ＬＣＨ色空間、またはＹＣＣ色空間などに変換した画像を用いることができる。
輝度成分多重解像度処理部３は、色空間変換部２で生成された輝度成分画像を多重解像度処理することにより、解像度の異なる複数の輝度成分解像度変換画像を生成する。シミ検出部４は、輝度成分多重解像度処理部３で生成された複数の輝度成分解像度変換画像をそれぞれ２値化処理することにより、所定の皮膚領域内に存在するシミの検出を行う。
【００２０】
一方、シミ分類装置Ｂは、シミ検出装置Ａの色空間変換部２に接続された色成分多重解像度処理部５と、この色成分多重解像度処理部５に接続されると共にシミ検出装置Ａのシミ検出部４に接続されたマスク作成部６と、シミ検出部４に接続された輝度成分特徴量算出部７とを有する。さらに、マスク作成部６に色成分特徴量算出部８が接続されると共に輝度成分特徴量算出部７と色成分特徴量算出部８にシミ分類部９が接続され、このシミ分類部９に出力部１０が接続されている。
輝度成分特徴量算出部７は、シミ検出部４により検出されたシミについて、輝度成分画像から形態特徴量およびシミの明るさを示す色特徴量をそれぞれ算出する。色成分多重解像度処理部５は、色空間変換部２で生成された色成分画像を多重解像度処理することにより、解像度の異なる複数の色成分解像度変換画像を生成する。マスク作成部６は、色成分多重解像度処理部５で生成された複数の色成分解像度変換画像を用いることにより、シミ検出部４で検出されたシミについて、シミの重心位置から外側に向けて複数の領域に分割した複数のマスクを作成する。色成分特徴量算出部８は、マスク作成部６で作成されたマスクを色成分画像に適用することにより、シミの色分布を示す色特徴量を算出する。
シミ分類部９は、輝度成分特徴量算出部７および色成分特徴量算出部８により算出された形態特徴量および色特徴量に基づいて、例えば機械学習法により統計的にシミの分類を行う。機械学習法としては、分類木、ランダムフォレスト、バンギングまたはＡｄａｂｏｏｓｔなどを用いることができる。出力部１０は、モニタまたはプリンタなどから構成され、シミ検出部４で検出された被験者の皮膚領域におけるシミの位置情報、およびシミ分類部９により分類されたシミの種別を出力する。
【００２１】
次に、輝度成分多重解像度処理部３における輝度成分画像の多重解像度処理について説明する。
被験者の皮膚領域を撮影した撮影画像には、様々な面積を有するシミＳ（直径２ｍｍ〜５ｃｍ）が含まれると共に、シミＳよりも小さな毛穴（直径２ｍｍ未満）などのノイズＰも含まれている。このため、図２に示すように、輝度成分画像には、シミＳおよびノイズＰに由来する様々な大きさの画像部分が含まれる。
そこで、輝度成分画像の解像度を、例えば１／２、１／３、・・・１／ｎと順次低下させて多重解像度処理を行うことにより、解像度の異なる複数の輝度成分解像度変換画像を生成する。これにより、輝度成分画像に含まれる画像部分は、輝度成分解像度変換画像の解像度の低下に伴い、その解像度に対応する分解能より小さな部分が識別できなくなり、順次消失していく。続いて、複数の輝度成分解像度変換画像をそれぞれ２値化処理することにより、複数の輝度成分解像度変換画像にそれぞれ残存する画像部分のみを表示する。このようにして、輝度成分画像に含まれる複数の画像部分をその大きさに応じて区別することができる。
【００２２】
次に、輝度成分特徴量算出部７および色成分特徴量算出部８により算出されるシミの形態特徴量および色特徴量について説明する。
シミは、図３に示すように、シミの大きさおよび円形度を含む形態特徴量と、シミの明るさおよび色分布を含む色特徴量とから、肝班、日光黒子、脂漏性角化症、雀卵班、ホクロなどの６〜７種類に分類される。
具体的には、肝班は、色が薄い褐色（赤味よりも青味が強い）で且つ色分布が均一であり、目元輪郭付近に発生するもので、形状が扇形または楕円など多様で且つ４ｃｍ〜５ｃｍの大きさを有し、輪郭形状がいびつで且つ輪郭コントラストが不明瞭といった特徴を有する。また、日光黒子は、色が薄い褐色から濃い褐色まで幅広く且つ色分布がほぼ均一であり、顔全体に発生するもので、楕円から真円に近い形状を有すると共に直径２ｍｍ〜１０ｍｍ程度の大きさを有し、輪郭形状がいびつで且つ輪郭コントラストが明瞭であるといった特徴を有する。脂漏性角化症は、色が褐色から濃い褐色で且つ色分布は中心部が濃く、顔全体に発生するもので、楕円から真円に近い形状を有すると共に直径５ｍｍ〜１０ｍｍ程度の大きさを有し、輪郭形状が比較的滑らかで且つ輪郭コントラストが明瞭であるといった特徴を有する。雀卵班は、色が薄い褐色（青味が強い）で且つ色分布が均一であり、顔全体に点在または多数分布して発生するもので、楕円から真円に近い形状を有すると共に直径が数ｍｍ程度の大きさを有し、輪郭形状がいびつで且つ輪郭コントラストが不明瞭から明瞭なものまで幅広いといった特徴を有する。ホクロは、色が濃い茶褐色から黒色であり、顔全体に発生するもので、楕円から真円に近い形状を有すると共に直径２ｍｍ〜１０ｍｍ程度の大きさを有し、輪郭形状が比較的滑らかで且つ輪郭コントラストが明瞭であるといった特徴を有する。
【００２３】
このようなシミの特徴に基づいて、シミの種別に応じた形態特徴量と色特徴量を、図３に示すように予め設定することができる。形態特徴量としては、例えば重心位置座標、近似楕円の主軸長、近似楕円の短軸長、近似楕円の主軸長と短軸長の軸比率、近似円の半径、周囲長および円形度をそれぞれ示す特徴量を含むことができ、色特徴量としては、例えばシミの明るさおよび色分布をそれぞれ示す特徴量を含むことができる。
輝度成分特徴量算出部７は、シミ検出部４で検出されたシミについて、輝度成分画像から形態特徴量およびシミの明るさを示す色特徴量の算出を行う。また、色成分特徴量算出部８は、シミ検出部４で検出されたシミについて、輝度成分画像からシミの色分布を示す色特徴量の算出を行う。そして、シミ分類部９では、シミの種別に応じて設定された形態特徴量と色特徴量に基づいて機械学習法が予め設計されており、輝度成分特徴量算出部７および色成分特徴量算出部８で算出された形態特徴量と色特徴量を機械学習法により統計的に処理することで、被験者のシミが分類される。
【００２４】
次に、シミ検出装置Ａおよびシミ分類装置Ｂにより行われるシミ検出方法およびシミ分類方法について説明する。
まず、図１に示すように、被験者の顔Ｆを含む所定の領域が正面からカメラ１により撮影され、その撮影画像データがカメラ１から色空間変換部２に出力される。色空間変換部２は、撮影画像の色空間を例えばＬ＊ａ＊ｂ＊色空間に変換すると共に、輝度成分画像としてＬ＊成分画像を生成し、色成分画像としてａ＊成分画像およびｂ＊成分画像を生成する。ここで、Ｌ＊成分は明度、ａ＊成分は赤と緑に対応した補色成分、ｂ＊成分は黄色と青に対応した補色成分をそれぞれ示している。
【００２５】
生成されたＬ＊成分画像は色空間変換部２から輝度成分多重解像度処理部３に出力され、輝度成分多重解像度処理部３によりＬ＊成分画像の多重解像度処理が行われる。輝度成分多重解像度処理部３は、図２に示すように、Ｌ＊成分画像の解像度を順次低下させることにより解像度の異なる複数の輝度成分解像度変換画像を生成する。Ｌ＊成分画像にはシミＳおよびノイズＰに由来する大きさの異なる複数の画像部分が含まれているが、解像度を順次低下させることにより画像部分を小さいものから順次消失させた輝度成分解像度変換画像をそれぞれ生成することができ、複数の画像部分を大きさに応じてそれぞれの輝度成分解像度変換画像に大別することができる。
【００２６】
複数の輝度成分解像度変換画像は、輝度成分多重解像度処理部３からシミ検出部４に出力され、シミ検出部４によりそれぞれ２値化処理され、シミの検出が行われる。すなわち、Ｌ＊成分画像においてノイズＰの大きさ（直径約２ｍｍ未満）を有する画像部分が消失するような解像度、例えば図２においてＬ＊成分画像の解像度を１／２とするような解像度が予め設定されており、シミ検出部４は、その解像度を有する輝度成分解像度変換画像を２値化処理し、生成された２値化画像に含まれる画像部分をシミＳとして検出する。
このように、シミＳを検出する際に、その検出領域からノイズＰをシミＳの大きさに基づいて予め除いておくことで、高精度にシミＳを検出することができる。また、シミＳが残存する輝度成分解像度変換画像に絞ってシミの検出を行うため演算量を低減することができ、高速度にシミの検出を行うことができる。
さらに、シミ検出部４は、シミＳの種別による大きさの違いに基づいて、一部の種別を検出することもできる。例えば、Ｌ＊成分画像において肝班の大きさ（直径４ｃｍ〜５ｃｍ）を有する画像部分のみが残存するような解像度を予め設定し、その解像度を有する輝度成分解像度変換画像を２値化処理し、生成された２値化画像に含まれる画像部分を肝班として検出する。このように、シミＳの種類において日光黒子、脂漏性角化症、雀卵班およびホクロと、肝班とを大きさに応じて大別し、肝班のみが残存する輝度成分解像度変換画像に絞って検出を行うため、高速度に肝班を検出することができる。また、この時にシミＳを大別しておくことで、シミ分類装置ＢにおいてシミＳの分類を行う際にその計算量を低減することができる。
【００２７】
このようにしてシミ検出装置Ａにより検出されたシミＳの検出結果に基づいて、シミ分類装置ＢによりシミＳの分類が行われる。
シミ検出装置Ａで検出されたシミＳの検出結果は、シミ検出部４からシミ分類装置Ｂの輝度成分特徴量算出部７に出力され、輝度成分特徴量算出部７によりシミＳの形態特徴量と明るさを示す色特徴量の算出が行われる。
形態特徴量としては、図４に示すように、Ｌ＊成分画像から生成された２値化画像に含まれるシミＳについて、例えば重心位置座標、近似楕円の主軸長、近似楕円の短軸長、近似楕円の主軸長と短軸長の比率、近似円の半径、周囲長および円形度がそれぞれ算出される。ここで、重心座標位置は、シミの頂点座標を（Ｘｉ，Ｙｉ）（ただし、ｉ＝１，２・・・ｎ）とすると、下記式（１）で表すことができる。
（（１／ｎ）ΣＸｉ，（１／ｎ）ΣＹｉ） ・・・ （１）
また、近似楕円の主軸長と短軸長との軸比率は、軸比率＝主軸長／短軸長×１００で表すことができる。さらに、円形度は、円形度＝（４π×面積）／周囲長２で表すことができる。
また、輝度成分特徴量算出部７は、検出されたシミＳについて、Ｌ＊成分画像から明るさを示す色特徴量を算出する。
【００２８】
一方、シミ分類装置Ｂは、シミ検出装置Ａで検出されたシミＳについて、色分布を示す色特徴量の算出を行う。図５に示すように、色空間変換部２により生成されたａ＊成分画像およびｂ＊成分画像が、色成分多重解像度処理部５にそれぞれ出力され、色成分多重解像度処理部５により多重解像度処理が行われる。色成分多重解像度処理部５では、上記と同様にして、ａ＊成分画像およびｂ＊成分画像の解像度をそれぞれ順次低下させることにより、解像度の異なる複数の色成分解像度変換画像をそれぞれ生成する。
生成された複数の色成分解像度変換画像は、ａ＊成分画像およびｂ＊成分画像と共に色成分多重解像度処理部５からマスク作成部６に出力され、マスク作成部６により２値化処理された２値化画像がそれぞれ生成される。例えば、１／１の解像度を有するａ＊成分画像の２値化画像に対し、解像度を１／２、１／３および１／４とした色成分解像度変換画像の２値化画像は、シミＳが順次縮小された２値化画像として生成される。このようにして縮小して生成された３つの２値化画像とａ＊成分画像の２値化画像をそれぞれ重ねることで、シミＳの重心位置から外側に向けて４つの領域Ｄ１〜Ｄ４に分割された分割画像が生成される。そして、４つの分割領域Ｄ１〜Ｄ４にそれぞれ対応するマスク２〜５を作成すると共にシミＳの外側領域に対応するマスク１を作成する。
【００２９】
このようにして作成されたマスク１〜５は、マスク作成部６から色成分特徴量算出部８に出力され、色成分特徴量算出部８によりａ＊成分画像およびｂ＊成分画像にそれぞれ乗算される。このマスク処理により、それぞれのマスク領域においてａ＊成分画像およびｂ＊成分画像の分割評価値がそれぞれ算出される。そして、マスク２〜５の各領域毎に分割評価値の平均値および標準偏差を算出することで色分布を示す色特徴量を求めることができる。また、マスク２〜５の各領域毎に算出された分割評価値の平均値を用いて、マスク２〜５の領域（シミ全体）にわたる分割評価値の平均値および標準偏差を算出することで色分布を示す色特徴量を求めることもできる。さらに、シミＳの重心位置を含むマスク５の領域における分割評価値の平均値と、マスク５以外のマスク１〜４の各領域における分割評価値の平均値とのそれぞれの比率を算出することで色分布を示す色特徴量を求めることもできる。
なお、色分布を示す色特徴量は、シミＳの色分布に対して指標となるものであればよく、上記以外にも分割評価値を用いて算出したものを用いることができる。
このようにして、撮影画像から検出されたシミＳについて、輝度成分特徴量算出部７および色成分特徴量算出部８により、大きさおよび円形度を含む形態特徴量並びに明るさおよび色分布を含む色特徴量をそれぞれ詳細に算出することができる。
【００３０】
続いて、算出されたシミＳの形態特徴量と色特徴量は、輝度成分特徴量算出部７および色成分特徴量算出部８からシミ分類部９に出力され、シミ分類部９により機械学習法を用いてシミＳの分類が行われる。
例えば、分類木によりシミＳを分類する場合には、円形度、ａ＊成分画像における分割評価値の標準偏差、近似楕円の軸比率、およびＬ＊成分画像における分割評価値の平均値が、シミの種別に応じて予め設定された形態特徴量と色特徴量に基づいて順次判定される。例えば、シミＳの円形度が０．５５未満で且つａ＊成分画像における分割評価値の標準偏差が１．３以上であれば日光黒子に分類され、シミＳの円形度が０．５５以上で且つａ＊成分画像における分割評価値の標準偏差が２．３５以上であればホクロに分類される。
なお、シミ検出部４により、日光黒子、脂漏性角化症、雀卵班およびホクロと、肝班とが予め大別されており、シミ分類装置Ｂは、肝班を除いた日光黒子、脂漏性角化症、雀卵班およびホクロについて、形態特徴量および色特徴量を算出してそれぞれ判別すればよく、演算量を低減して高速度にシミＳの分類を行うことができる。また、肝班の形態特徴量および色特徴量を算出してシミＳを分類した場合でも、シミ検出装置Ａにより大別された結果を参照してシミＳを分類することができ、演算量を低減することができる。
シミＳが種別毎に分類された分類結果は、シミ分類部９から出力部１０に出力され、出力部１０によりシミの検出結果およびシミの分類結果がそれぞれ表示される。
【００３１】
本実施の形態によれば、多重解像度処理を行うことにより、シミのみが残存する画像に絞ってシミの検出を行うため、演算量を低減して高速度にシミの検出を行うことができる。また、シミの検出を行う際にシミの種別を大別することにより、シミの分類における演算量を低減して高速度にシミの検出を行うことができる。
【００３２】
なお、上記のようなシミの分類は、入力手段、ＣＰＵ、メモリ、出力部などから構成されるコンピュータをシミ分類プログラムにより機能させることで実行することができる。すなわち、シミ検出プログラムがコンピュータを機能させることにより、入力手段が被験者の所定の皮膚領域を撮影した撮影画像を取得し、取得された撮影画像に基づいて、ＣＰＵが色空間変換部２、輝度成分多重解像度処理部３およびシミ検出部４を実行させ、シミ検出部４により検出されたシミの検出結果が出力部１０から出力される。また、シミ分類プログラムがコンピュータを機能させることにより、ＣＰＵが色成分多重解像度処理部５、マスク作成部６、輝度成分特徴量算出部７、色成分特徴量算出部８およびシミ分類部９を実行させ、シミ分類部９により分類されたシミの分類結果が出力部１０から出力される。
【００３３】
また、上記の実施の形態では、色成分特徴量算出部８によるシミＳの色分布を示す色特徴量は、シミＳの重心位置から外側に向けて広がる色分布を算出したが、シミＳの色分布を詳細に算出できればこれに限るものではなく、例えばシミＳの最も色の濃い位置を中心としてそこから外側に向けて広がる色分布を算出することもできる。
また、被験者を撮影して得られた画像から顔に発生したシミを検出する際には、撮影された画像から顔領域を認識し、認識された顔領域における画像信号から輝度成分画像を生成することで上記のようなシミの検出を行うことができる。
【００３４】
また、上記の実施の形態では、撮影画像の色空間を変換して色空間変換部２により生成された輝度成分画像を用いてシミの検出を行ったが、変換された撮影画像の色空間のうち所定の色空間成分からなる色空間成分画像を多重解像度処理することにより解像度の異なる複数の色空間成分解像度変換画像を生成してシミを検出できればこれに限るものではない。例えば、色空間変換部２により撮影画像の色空間がＬ＊ａ＊ｂ＊色空間に変換されると共にｂ＊成分画像が生成され、このｂ＊成分画像を上記と同様にして多重解像度処理を行うことで、解像度の異なる複数のｂ＊成分画像解像度変換画像を生成する。生成された複数のｂ＊成分画像解像度変換画像をそれぞれ２値化処理することにより、所定の皮膚領域に存在するシミを検出することができる。
さらに、上記の実施の形態では、輝度成分画像を用いてシミの形態特徴量が算出されたが、上記の色空間成分画像において形態特徴量を算出できればこれに限るものではなく、例えばｂ＊成分画像を２値化処理することにより形態特徴量を算出することができる。このように、シミ検出方法で検出されたシミについて、色成分画像から形態特徴量および色特徴量を算出し、算出された形態特徴量および色特徴量に基づいてシミを分類することができる。
【００３５】
次に、シミ分類装置を用いて実際にシミを分類した実施例について説明する。
この実施例は、被験者３０名の皮膚を撮影した撮影画像からシミ部分を切り出して得られた各種類６０枚のシミ画像を用いて、シミの形態特徴量と色特徴量をそれぞれ求め、求められた形態特徴量と色特徴量に基づいて種類の異なる機械学習法によりシミの分類を行ったものである。機械学習法には、分類木、ランダムフォレスト、バギングおよびＡｄａｂｏｏｓｔを用いた。
その結果、表１に示すように、シミ分類の正解率は、全ての機械学習法において８０％以上を示すと共にその平均値は９０％以上となり、高精度にシミを分類できることが分かった。特に、ランダムフォレストを用いた場合には、全ての種類のシミにおいて、シミ分類の正解率が９０％以上を示し、ランダムフォレストがシミの分類に適していることが示唆された。
【００３６】
【表１】
【符号の説明】
【００３７】
１ カメラ、２ 色空間変換部、３ 輝度成分多重解像度処理部、４ シミ検出部、５ 色成分多重解像度処理部、６ マスク作成部、７ 輝度成分特徴量算出部、８ 色成分特徴量算出部、９ シミ分類部、１０ 出力部、Ｆ 被験者の顔。
【技術分野】
【０００１】
この発明は、シミ検出方法、シミ検出装置およびシミ検出プログラム、並びに、シミ分類方法、シミ分類装置およびシミ分類プログラムに関する。
【背景技術】
【０００２】
シミ（色素班）は、メラニン色素が皮膚に沈着することにより生じるもので、発生する位置や種類は人によって様々である。そこで、化粧品の分野では、各人のシミ状態に応じた化粧品を提供するために、顔の各部位に発生したシミを正確に検出することが試みられている。
例えば、特許文献１に提案された皮膚画像処理装置では、被験者の所定の皮膚領域を撮影して得られた撮影画像に対してエッジ処理を施し、エッジ領域の大きさに基づいたシミの検出が行われている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特許第４４８５８３７号
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、撮影画像にはシミ以外にも毛穴などによるノイズが多数含まれており、これら全てにエッジ処理を施してシミの検出を行うと計算量が膨大になって多大な時間を要するといった問題がある。
【０００５】
この発明は、このような従来の問題点を解消するためになされたもので、シミの検出を高速度に行うことができるシミ検出方法、シミ検出装置およびシミ検出プログラムを提供することを目的とする。
また、この発明は、このようなシミ検出方法で検出されたシミを分類するシミ分類方法、シミ分類装置およびシミ分類プログラムを提供することも目的としている。
【課題を解決するための手段】
【０００６】
この発明に係るシミ検出方法は、被験者の所定の皮膚領域を撮影して得られた撮影画像の色空間を変換すると共に変換された撮影画像の色空間のうち所定の色空間成分からなる色空間成分画像を生成し、前記色空間成分画像を多重解像度処理することにより、解像度の異なる複数の色空間成分解像度変換画像を生成し、生成された前記複数の色空間成分解像度変換画像をそれぞれ２値化処理することにより、前記所定の皮膚領域内に存在するシミを検出するものである。
【０００７】
ここで、被験者の所定の皮膚領域を撮影して得られた撮影画像の色空間を変換すると共に、前記色空間成分画像として輝度成分画像またはｂ＊成分画像を生成し、前記輝度成分画像を多重解像度処理することにより解像度の異なる複数の輝度成分解像度変換画像を生成し、または、前記ｂ＊成分画像を多重解像度処理することにより解像度の異なる複数のｂ＊成分解像度変換画像を生成し、生成された前記複数の輝度成分解像度変換画像または前記複数のｂ＊成分解像度変換画像をそれぞれ２値化処理することにより、前記所定の皮膚領域内に存在するシミを検出するのが好ましい。
また、前記複数の輝度成分解像度変換画像または前記複数のｂ＊成分解像度変換画像の解像度は、前記輝度成分画像または前記ｂ＊成分画像において約２ｍｍ未満の大きさを有する画像信号を除去するように予め設定することができる。
また、被験者を撮影して得られた画像から顔領域を認識し、認識された顔領域における画像信号から前記輝度成分画像または前記ｂ＊成分画像を生成するのが好ましい。
【０００８】
この発明に係るシミ分類方法は、上記のいずれかに記載のシミ検出方法で検出されたシミを分類するシミ分類方法であって、前記シミ検出方法で検出されたシミについて、形態特徴量および色特徴量を算出し、算出された前記形態特徴量および前記色特徴量に基づいてシミを分類するものである。
【０００９】
ここで、前記形態特徴量は、検出されたシミについて、重心位置座標、近似楕円の主軸、近似楕円の短軸、近似円の半径、周囲長および円形度をそれぞれ示す特徴量を含み、前記色特徴量は、検出されたシミについて、シミの明るさおよびシミの重心位置から外側に向けて広がる色分布をそれぞれ示す特徴量を含むのが好ましい。
また、被験者の所定の皮膚領域を撮影して得られた撮影画像の前記色空間成分画像として輝度成分画像を生成すると共にｂ＊成分画像を含む色成分画像を生成し、前記輝度成分画像により前記形態特徴量およびシミの明るさを示す特徴量が算出されると共に、前記色成分画像によりシミの色分布を示す特徴量が算出されるのが好ましい。
【００１０】
また、前記色成分画像を多重解像度処理することにより、解像度の異なる複数の色成分解像度変換画像を生成し、生成された前記複数の色成分解像度変換画像をシミの重心位置を同心としてそれぞれ重ねることで、シミの重心位置から外側に向けて複数の領域に分割した分割画像を生成すると共に、前記分割画像の複数の領域にそれぞれ対応した複数のマスクを作成し、前記色分布を示す特徴量は、前記複数のマスクと前記色成分画像とをそれぞれ乗算することにより分割評価値を算出し、前記分割評価値の平均値および標準偏差を算出することで求めることができる。
また、前記色成分画像を多重解像度処理することにより、解像度の異なる複数の色成分解像度変換画像を生成し、生成された前記複数の色成分解像度変換画像をシミの重心位置を同心としてそれぞれ重ねることで、シミの重心位置から外側に向けて複数の領域に分割した分割画像を生成すると共に、前記分割画像の複数の領域にそれぞれ対応した複数のマスクを作成し、前記色分布を示す特徴量は、前記複数のマスクと前記色成分画像とをそれぞれ乗算することにより分割評価値を算出し、シミの重心を含むマスク領域の前記分割評価値とそれ以外のマスク領域の前記分割評価値とのそれぞれの比率から求めることができる。
【００１１】
また、前記色空間成分画像の多重解像度処理において、解像度の異なる前記複数の色空間成分解像度変換画像を生成することにより、日光黒子、脂漏性角化症、雀卵班およびホクロと、肝班とを大きさに応じて大別し、前記形態特徴量および前記色特徴量に基づいて日光黒子、脂漏性角化症、雀卵班およびホクロをそれぞれ判別することで、シミが分類されるのが好ましい。
【００１２】
この発明に係るシミ検出装置は、被験者の所定の皮膚領域を撮影して得られた撮影画像の色空間を変換すると共に変換された撮影画像の色空間のうち所定の色空間成分からなる色空間成分画像を生成する色空間変換部と、前記色空間変換部により生成された前記色空間成分画像を多重解像度処理することにより、解像度の異なる複数の色空間成分解像度変換画像を生成する多重解像度処理部と、前記多重解像度処理部により生成された前記複数の色空間成分解像度変換画像をそれぞれ２値化処理することにより、前記所定の皮膚領域内に存在するシミを検出するシミ検出部とを備えたものである。
【００１３】
この発明に係るシミ分類装置は、上記のシミ検出装置で検出されたシミを分類するシミ分類装置であって、前記シミ検出装置で検出されたシミについて、形態特徴量および色特徴量を算出する特徴量算出部と、前記特徴量算出部により算出された前記形態特徴量および前記色特徴量に基づいてシミを分類するシミ分類部とを備えたものである。
【００１４】
この発明に係るシミ検出プログラムは、被験者の所定の皮膚領域を撮影して得られた撮影画像の色空間を変換すると共に変換された撮影画像の色空間のうち所定の色空間成分からなる色空間成分画像を生成するステップと、前記色空間成分画像を多重解像度処理することにより、解像度の異なる複数の色空間成分解像度変換画像を生成するステップと、生成された前記複数の色空間成分解像度変換画像をそれぞれ２値化処理することにより、前記所定の皮膚領域内に存在するシミを検出するステップとをコンピュータに実行させるためのものである。
【００１５】
この発明に係るシミ分類プログラムは、上記のシミ検出プログラムで検出されたシミを分類するためのシミ分類プログラムであって、前記シミ検出プログラムで検出されたシミについて、形態特徴量および色特徴量を算出するステップと、算出された前記形態特徴量および前記色特徴量に基づいてシミを分類するステップとをコンピュータに実行させるためのものである。
【発明の効果】
【００１６】
この発明によれば、被験者の皮膚領域を撮影して得られた撮影画像から輝度成分画像を生成し、この輝度成分画像を多重解像度処理することによりシミの検出を行うので、シミの検出を高速度に行うことが可能となる。
【図面の簡単な説明】
【００１７】
【図１】この発明の一実施の形態に係るシミ検出方法およびシミ分類方法を行うシミ検出分類装置の構成を示すブロック図である。
【図２】輝度成分画像の多重解像度処理を模式的に示す図である。
【図３】形態特徴量と色特徴量に対するシミの分類を模式的に示す図である。
【図４】形態特徴量の算出方法を模式的に示す図である。
【図５】色分布を示す色特徴量の算出方法を模式的に示す図である。
【発明を実施するための形態】
【００１８】
以下、この発明の実施の形態を添付図面に基づいて説明する。
図１に、この発明の一実施の形態に係るシミ検出方法およびシミ分類方法を行うシミ検出分類装置の構成を示す。シミ検出分類装置は、シミ検出装置Ａと、このシミ検出装置Ａで検出されたシミを分類するシミ分類装置Ｂとを備えている。
シミ検出装置Ａは、カメラ１を備え、このカメラ１に色空間変換部２、輝度成分多重解像度処理部３およびシミ検出部４が順次接続されている。
【００１９】
カメラ１は、被験者の所定の皮膚領域を撮影するものであり、例えば被験者の顔Ｆに対して正面に配置することで顔Ｆに発生したシミを撮影することができる。なお、カメラ１は、被験者の皮膚領域を安全に撮影できる可視光カメラを用いるのが好ましいが、紫外線カメラまたは赤外線カメラを用いて撮影することもできる。
色空間変換部２は、カメラ１で撮影された撮影画像の色空間を変換した色空間変換画像を生成すると共にこの色空間変換画像を輝度成分と色成分に分けることにより、輝度成分画像と色成分画像をそれぞれ生成する。なお、色空間変換画像は、少なくとも輝度成分と色成分から構成されていればよく、例えばＬ＊ａ＊ｂ＊色空間、ＬＣＨ色空間、またはＹＣＣ色空間などに変換した画像を用いることができる。
輝度成分多重解像度処理部３は、色空間変換部２で生成された輝度成分画像を多重解像度処理することにより、解像度の異なる複数の輝度成分解像度変換画像を生成する。シミ検出部４は、輝度成分多重解像度処理部３で生成された複数の輝度成分解像度変換画像をそれぞれ２値化処理することにより、所定の皮膚領域内に存在するシミの検出を行う。
【００２０】
一方、シミ分類装置Ｂは、シミ検出装置Ａの色空間変換部２に接続された色成分多重解像度処理部５と、この色成分多重解像度処理部５に接続されると共にシミ検出装置Ａのシミ検出部４に接続されたマスク作成部６と、シミ検出部４に接続された輝度成分特徴量算出部７とを有する。さらに、マスク作成部６に色成分特徴量算出部８が接続されると共に輝度成分特徴量算出部７と色成分特徴量算出部８にシミ分類部９が接続され、このシミ分類部９に出力部１０が接続されている。
輝度成分特徴量算出部７は、シミ検出部４により検出されたシミについて、輝度成分画像から形態特徴量およびシミの明るさを示す色特徴量をそれぞれ算出する。色成分多重解像度処理部５は、色空間変換部２で生成された色成分画像を多重解像度処理することにより、解像度の異なる複数の色成分解像度変換画像を生成する。マスク作成部６は、色成分多重解像度処理部５で生成された複数の色成分解像度変換画像を用いることにより、シミ検出部４で検出されたシミについて、シミの重心位置から外側に向けて複数の領域に分割した複数のマスクを作成する。色成分特徴量算出部８は、マスク作成部６で作成されたマスクを色成分画像に適用することにより、シミの色分布を示す色特徴量を算出する。
シミ分類部９は、輝度成分特徴量算出部７および色成分特徴量算出部８により算出された形態特徴量および色特徴量に基づいて、例えば機械学習法により統計的にシミの分類を行う。機械学習法としては、分類木、ランダムフォレスト、バンギングまたはＡｄａｂｏｏｓｔなどを用いることができる。出力部１０は、モニタまたはプリンタなどから構成され、シミ検出部４で検出された被験者の皮膚領域におけるシミの位置情報、およびシミ分類部９により分類されたシミの種別を出力する。
【００２１】
次に、輝度成分多重解像度処理部３における輝度成分画像の多重解像度処理について説明する。
被験者の皮膚領域を撮影した撮影画像には、様々な面積を有するシミＳ（直径２ｍｍ〜５ｃｍ）が含まれると共に、シミＳよりも小さな毛穴（直径２ｍｍ未満）などのノイズＰも含まれている。このため、図２に示すように、輝度成分画像には、シミＳおよびノイズＰに由来する様々な大きさの画像部分が含まれる。
そこで、輝度成分画像の解像度を、例えば１／２、１／３、・・・１／ｎと順次低下させて多重解像度処理を行うことにより、解像度の異なる複数の輝度成分解像度変換画像を生成する。これにより、輝度成分画像に含まれる画像部分は、輝度成分解像度変換画像の解像度の低下に伴い、その解像度に対応する分解能より小さな部分が識別できなくなり、順次消失していく。続いて、複数の輝度成分解像度変換画像をそれぞれ２値化処理することにより、複数の輝度成分解像度変換画像にそれぞれ残存する画像部分のみを表示する。このようにして、輝度成分画像に含まれる複数の画像部分をその大きさに応じて区別することができる。
【００２２】
次に、輝度成分特徴量算出部７および色成分特徴量算出部８により算出されるシミの形態特徴量および色特徴量について説明する。
シミは、図３に示すように、シミの大きさおよび円形度を含む形態特徴量と、シミの明るさおよび色分布を含む色特徴量とから、肝班、日光黒子、脂漏性角化症、雀卵班、ホクロなどの６〜７種類に分類される。
具体的には、肝班は、色が薄い褐色（赤味よりも青味が強い）で且つ色分布が均一であり、目元輪郭付近に発生するもので、形状が扇形または楕円など多様で且つ４ｃｍ〜５ｃｍの大きさを有し、輪郭形状がいびつで且つ輪郭コントラストが不明瞭といった特徴を有する。また、日光黒子は、色が薄い褐色から濃い褐色まで幅広く且つ色分布がほぼ均一であり、顔全体に発生するもので、楕円から真円に近い形状を有すると共に直径２ｍｍ〜１０ｍｍ程度の大きさを有し、輪郭形状がいびつで且つ輪郭コントラストが明瞭であるといった特徴を有する。脂漏性角化症は、色が褐色から濃い褐色で且つ色分布は中心部が濃く、顔全体に発生するもので、楕円から真円に近い形状を有すると共に直径５ｍｍ〜１０ｍｍ程度の大きさを有し、輪郭形状が比較的滑らかで且つ輪郭コントラストが明瞭であるといった特徴を有する。雀卵班は、色が薄い褐色（青味が強い）で且つ色分布が均一であり、顔全体に点在または多数分布して発生するもので、楕円から真円に近い形状を有すると共に直径が数ｍｍ程度の大きさを有し、輪郭形状がいびつで且つ輪郭コントラストが不明瞭から明瞭なものまで幅広いといった特徴を有する。ホクロは、色が濃い茶褐色から黒色であり、顔全体に発生するもので、楕円から真円に近い形状を有すると共に直径２ｍｍ〜１０ｍｍ程度の大きさを有し、輪郭形状が比較的滑らかで且つ輪郭コントラストが明瞭であるといった特徴を有する。
【００２３】
このようなシミの特徴に基づいて、シミの種別に応じた形態特徴量と色特徴量を、図３に示すように予め設定することができる。形態特徴量としては、例えば重心位置座標、近似楕円の主軸長、近似楕円の短軸長、近似楕円の主軸長と短軸長の軸比率、近似円の半径、周囲長および円形度をそれぞれ示す特徴量を含むことができ、色特徴量としては、例えばシミの明るさおよび色分布をそれぞれ示す特徴量を含むことができる。
輝度成分特徴量算出部７は、シミ検出部４で検出されたシミについて、輝度成分画像から形態特徴量およびシミの明るさを示す色特徴量の算出を行う。また、色成分特徴量算出部８は、シミ検出部４で検出されたシミについて、輝度成分画像からシミの色分布を示す色特徴量の算出を行う。そして、シミ分類部９では、シミの種別に応じて設定された形態特徴量と色特徴量に基づいて機械学習法が予め設計されており、輝度成分特徴量算出部７および色成分特徴量算出部８で算出された形態特徴量と色特徴量を機械学習法により統計的に処理することで、被験者のシミが分類される。
【００２４】
次に、シミ検出装置Ａおよびシミ分類装置Ｂにより行われるシミ検出方法およびシミ分類方法について説明する。
まず、図１に示すように、被験者の顔Ｆを含む所定の領域が正面からカメラ１により撮影され、その撮影画像データがカメラ１から色空間変換部２に出力される。色空間変換部２は、撮影画像の色空間を例えばＬ＊ａ＊ｂ＊色空間に変換すると共に、輝度成分画像としてＬ＊成分画像を生成し、色成分画像としてａ＊成分画像およびｂ＊成分画像を生成する。ここで、Ｌ＊成分は明度、ａ＊成分は赤と緑に対応した補色成分、ｂ＊成分は黄色と青に対応した補色成分をそれぞれ示している。
【００２５】
生成されたＬ＊成分画像は色空間変換部２から輝度成分多重解像度処理部３に出力され、輝度成分多重解像度処理部３によりＬ＊成分画像の多重解像度処理が行われる。輝度成分多重解像度処理部３は、図２に示すように、Ｌ＊成分画像の解像度を順次低下させることにより解像度の異なる複数の輝度成分解像度変換画像を生成する。Ｌ＊成分画像にはシミＳおよびノイズＰに由来する大きさの異なる複数の画像部分が含まれているが、解像度を順次低下させることにより画像部分を小さいものから順次消失させた輝度成分解像度変換画像をそれぞれ生成することができ、複数の画像部分を大きさに応じてそれぞれの輝度成分解像度変換画像に大別することができる。
【００２６】
複数の輝度成分解像度変換画像は、輝度成分多重解像度処理部３からシミ検出部４に出力され、シミ検出部４によりそれぞれ２値化処理され、シミの検出が行われる。すなわち、Ｌ＊成分画像においてノイズＰの大きさ（直径約２ｍｍ未満）を有する画像部分が消失するような解像度、例えば図２においてＬ＊成分画像の解像度を１／２とするような解像度が予め設定されており、シミ検出部４は、その解像度を有する輝度成分解像度変換画像を２値化処理し、生成された２値化画像に含まれる画像部分をシミＳとして検出する。
このように、シミＳを検出する際に、その検出領域からノイズＰをシミＳの大きさに基づいて予め除いておくことで、高精度にシミＳを検出することができる。また、シミＳが残存する輝度成分解像度変換画像に絞ってシミの検出を行うため演算量を低減することができ、高速度にシミの検出を行うことができる。
さらに、シミ検出部４は、シミＳの種別による大きさの違いに基づいて、一部の種別を検出することもできる。例えば、Ｌ＊成分画像において肝班の大きさ（直径４ｃｍ〜５ｃｍ）を有する画像部分のみが残存するような解像度を予め設定し、その解像度を有する輝度成分解像度変換画像を２値化処理し、生成された２値化画像に含まれる画像部分を肝班として検出する。このように、シミＳの種類において日光黒子、脂漏性角化症、雀卵班およびホクロと、肝班とを大きさに応じて大別し、肝班のみが残存する輝度成分解像度変換画像に絞って検出を行うため、高速度に肝班を検出することができる。また、この時にシミＳを大別しておくことで、シミ分類装置ＢにおいてシミＳの分類を行う際にその計算量を低減することができる。
【００２７】
このようにしてシミ検出装置Ａにより検出されたシミＳの検出結果に基づいて、シミ分類装置ＢによりシミＳの分類が行われる。
シミ検出装置Ａで検出されたシミＳの検出結果は、シミ検出部４からシミ分類装置Ｂの輝度成分特徴量算出部７に出力され、輝度成分特徴量算出部７によりシミＳの形態特徴量と明るさを示す色特徴量の算出が行われる。
形態特徴量としては、図４に示すように、Ｌ＊成分画像から生成された２値化画像に含まれるシミＳについて、例えば重心位置座標、近似楕円の主軸長、近似楕円の短軸長、近似楕円の主軸長と短軸長の比率、近似円の半径、周囲長および円形度がそれぞれ算出される。ここで、重心座標位置は、シミの頂点座標を（Ｘｉ，Ｙｉ）（ただし、ｉ＝１，２・・・ｎ）とすると、下記式（１）で表すことができる。
（（１／ｎ）ΣＸｉ，（１／ｎ）ΣＹｉ） ・・・ （１）
また、近似楕円の主軸長と短軸長との軸比率は、軸比率＝主軸長／短軸長×１００で表すことができる。さらに、円形度は、円形度＝（４π×面積）／周囲長２で表すことができる。
また、輝度成分特徴量算出部７は、検出されたシミＳについて、Ｌ＊成分画像から明るさを示す色特徴量を算出する。
【００２８】
一方、シミ分類装置Ｂは、シミ検出装置Ａで検出されたシミＳについて、色分布を示す色特徴量の算出を行う。図５に示すように、色空間変換部２により生成されたａ＊成分画像およびｂ＊成分画像が、色成分多重解像度処理部５にそれぞれ出力され、色成分多重解像度処理部５により多重解像度処理が行われる。色成分多重解像度処理部５では、上記と同様にして、ａ＊成分画像およびｂ＊成分画像の解像度をそれぞれ順次低下させることにより、解像度の異なる複数の色成分解像度変換画像をそれぞれ生成する。
生成された複数の色成分解像度変換画像は、ａ＊成分画像およびｂ＊成分画像と共に色成分多重解像度処理部５からマスク作成部６に出力され、マスク作成部６により２値化処理された２値化画像がそれぞれ生成される。例えば、１／１の解像度を有するａ＊成分画像の２値化画像に対し、解像度を１／２、１／３および１／４とした色成分解像度変換画像の２値化画像は、シミＳが順次縮小された２値化画像として生成される。このようにして縮小して生成された３つの２値化画像とａ＊成分画像の２値化画像をそれぞれ重ねることで、シミＳの重心位置から外側に向けて４つの領域Ｄ１〜Ｄ４に分割された分割画像が生成される。そして、４つの分割領域Ｄ１〜Ｄ４にそれぞれ対応するマスク２〜５を作成すると共にシミＳの外側領域に対応するマスク１を作成する。
【００２９】
このようにして作成されたマスク１〜５は、マスク作成部６から色成分特徴量算出部８に出力され、色成分特徴量算出部８によりａ＊成分画像およびｂ＊成分画像にそれぞれ乗算される。このマスク処理により、それぞれのマスク領域においてａ＊成分画像およびｂ＊成分画像の分割評価値がそれぞれ算出される。そして、マスク２〜５の各領域毎に分割評価値の平均値および標準偏差を算出することで色分布を示す色特徴量を求めることができる。また、マスク２〜５の各領域毎に算出された分割評価値の平均値を用いて、マスク２〜５の領域（シミ全体）にわたる分割評価値の平均値および標準偏差を算出することで色分布を示す色特徴量を求めることもできる。さらに、シミＳの重心位置を含むマスク５の領域における分割評価値の平均値と、マスク５以外のマスク１〜４の各領域における分割評価値の平均値とのそれぞれの比率を算出することで色分布を示す色特徴量を求めることもできる。
なお、色分布を示す色特徴量は、シミＳの色分布に対して指標となるものであればよく、上記以外にも分割評価値を用いて算出したものを用いることができる。
このようにして、撮影画像から検出されたシミＳについて、輝度成分特徴量算出部７および色成分特徴量算出部８により、大きさおよび円形度を含む形態特徴量並びに明るさおよび色分布を含む色特徴量をそれぞれ詳細に算出することができる。
【００３０】
続いて、算出されたシミＳの形態特徴量と色特徴量は、輝度成分特徴量算出部７および色成分特徴量算出部８からシミ分類部９に出力され、シミ分類部９により機械学習法を用いてシミＳの分類が行われる。
例えば、分類木によりシミＳを分類する場合には、円形度、ａ＊成分画像における分割評価値の標準偏差、近似楕円の軸比率、およびＬ＊成分画像における分割評価値の平均値が、シミの種別に応じて予め設定された形態特徴量と色特徴量に基づいて順次判定される。例えば、シミＳの円形度が０．５５未満で且つａ＊成分画像における分割評価値の標準偏差が１．３以上であれば日光黒子に分類され、シミＳの円形度が０．５５以上で且つａ＊成分画像における分割評価値の標準偏差が２．３５以上であればホクロに分類される。
なお、シミ検出部４により、日光黒子、脂漏性角化症、雀卵班およびホクロと、肝班とが予め大別されており、シミ分類装置Ｂは、肝班を除いた日光黒子、脂漏性角化症、雀卵班およびホクロについて、形態特徴量および色特徴量を算出してそれぞれ判別すればよく、演算量を低減して高速度にシミＳの分類を行うことができる。また、肝班の形態特徴量および色特徴量を算出してシミＳを分類した場合でも、シミ検出装置Ａにより大別された結果を参照してシミＳを分類することができ、演算量を低減することができる。
シミＳが種別毎に分類された分類結果は、シミ分類部９から出力部１０に出力され、出力部１０によりシミの検出結果およびシミの分類結果がそれぞれ表示される。
【００３１】
本実施の形態によれば、多重解像度処理を行うことにより、シミのみが残存する画像に絞ってシミの検出を行うため、演算量を低減して高速度にシミの検出を行うことができる。また、シミの検出を行う際にシミの種別を大別することにより、シミの分類における演算量を低減して高速度にシミの検出を行うことができる。
【００３２】
なお、上記のようなシミの分類は、入力手段、ＣＰＵ、メモリ、出力部などから構成されるコンピュータをシミ分類プログラムにより機能させることで実行することができる。すなわち、シミ検出プログラムがコンピュータを機能させることにより、入力手段が被験者の所定の皮膚領域を撮影した撮影画像を取得し、取得された撮影画像に基づいて、ＣＰＵが色空間変換部２、輝度成分多重解像度処理部３およびシミ検出部４を実行させ、シミ検出部４により検出されたシミの検出結果が出力部１０から出力される。また、シミ分類プログラムがコンピュータを機能させることにより、ＣＰＵが色成分多重解像度処理部５、マスク作成部６、輝度成分特徴量算出部７、色成分特徴量算出部８およびシミ分類部９を実行させ、シミ分類部９により分類されたシミの分類結果が出力部１０から出力される。
【００３３】
また、上記の実施の形態では、色成分特徴量算出部８によるシミＳの色分布を示す色特徴量は、シミＳの重心位置から外側に向けて広がる色分布を算出したが、シミＳの色分布を詳細に算出できればこれに限るものではなく、例えばシミＳの最も色の濃い位置を中心としてそこから外側に向けて広がる色分布を算出することもできる。
また、被験者を撮影して得られた画像から顔に発生したシミを検出する際には、撮影された画像から顔領域を認識し、認識された顔領域における画像信号から輝度成分画像を生成することで上記のようなシミの検出を行うことができる。
【００３４】
また、上記の実施の形態では、撮影画像の色空間を変換して色空間変換部２により生成された輝度成分画像を用いてシミの検出を行ったが、変換された撮影画像の色空間のうち所定の色空間成分からなる色空間成分画像を多重解像度処理することにより解像度の異なる複数の色空間成分解像度変換画像を生成してシミを検出できればこれに限るものではない。例えば、色空間変換部２により撮影画像の色空間がＬ＊ａ＊ｂ＊色空間に変換されると共にｂ＊成分画像が生成され、このｂ＊成分画像を上記と同様にして多重解像度処理を行うことで、解像度の異なる複数のｂ＊成分画像解像度変換画像を生成する。生成された複数のｂ＊成分画像解像度変換画像をそれぞれ２値化処理することにより、所定の皮膚領域に存在するシミを検出することができる。
さらに、上記の実施の形態では、輝度成分画像を用いてシミの形態特徴量が算出されたが、上記の色空間成分画像において形態特徴量を算出できればこれに限るものではなく、例えばｂ＊成分画像を２値化処理することにより形態特徴量を算出することができる。このように、シミ検出方法で検出されたシミについて、色成分画像から形態特徴量および色特徴量を算出し、算出された形態特徴量および色特徴量に基づいてシミを分類することができる。
【００３５】
次に、シミ分類装置を用いて実際にシミを分類した実施例について説明する。
この実施例は、被験者３０名の皮膚を撮影した撮影画像からシミ部分を切り出して得られた各種類６０枚のシミ画像を用いて、シミの形態特徴量と色特徴量をそれぞれ求め、求められた形態特徴量と色特徴量に基づいて種類の異なる機械学習法によりシミの分類を行ったものである。機械学習法には、分類木、ランダムフォレスト、バギングおよびＡｄａｂｏｏｓｔを用いた。
その結果、表１に示すように、シミ分類の正解率は、全ての機械学習法において８０％以上を示すと共にその平均値は９０％以上となり、高精度にシミを分類できることが分かった。特に、ランダムフォレストを用いた場合には、全ての種類のシミにおいて、シミ分類の正解率が９０％以上を示し、ランダムフォレストがシミの分類に適していることが示唆された。
【００３６】
【表１】
【符号の説明】
【００３７】
１ カメラ、２ 色空間変換部、３ 輝度成分多重解像度処理部、４ シミ検出部、５ 色成分多重解像度処理部、６ マスク作成部、７ 輝度成分特徴量算出部、８ 色成分特徴量算出部、９ シミ分類部、１０ 出力部、Ｆ 被験者の顔。
【特許請求の範囲】
【請求項１】
被験者の所定の皮膚領域を撮影して得られた撮影画像の色空間を変換すると共に変換された撮影画像の色空間のうち所定の色空間成分からなる色空間成分画像を生成し、
前記色空間成分画像を多重解像度処理することにより、解像度の異なる複数の色空間成分解像度変換画像を生成し、
生成された前記複数の色空間成分解像度変換画像をそれぞれ２値化処理することにより、前記所定の皮膚領域内に存在するシミを検出するシミ検出方法。
【請求項２】
被験者の所定の皮膚領域を撮影して得られた撮影画像の色空間を変換すると共に、前記色空間成分画像として輝度成分画像またはｂ＊成分画像を生成し、
前記輝度成分画像を多重解像度処理することにより解像度の異なる複数の輝度成分解像度変換画像を生成し、または、前記ｂ＊成分画像を多重解像度処理することにより解像度の異なる複数のｂ＊成分解像度変換画像を生成し、
生成された前記複数の輝度成分解像度変換画像または前記複数のｂ＊成分解像度変換画像をそれぞれ２値化処理することにより、前記所定の皮膚領域内に存在するシミを検出するシミ検出方法。
【請求項３】
前記複数の輝度成分解像度変換画像または前記複数のｂ＊成分解像度変換画像の解像度は、前記輝度成分画像または前記ｂ＊成分画像において約２ｍｍ未満の大きさを有する画像信号を除去するように予め設定される請求項２に記載のシミ検出方法。
【請求項４】
被験者を撮影して得られた画像から顔領域を認識し、
認識された顔領域における画像信号から前記輝度成分画像または前記ｂ＊成分画像を生成する請求項２または３に記載のシミ検出方法。
【請求項５】
請求項１〜４のいずれか一項に記載のシミ検出方法で検出されたシミを分類するシミ分類方法であって、
前記シミ検出方法で検出されたシミについて、形態特徴量および色特徴量を算出し、
算出された前記形態特徴量および前記色特徴量に基づいてシミを分類するシミ分類方法。
【請求項６】
前記形態特徴量は、検出されたシミについて、重心位置座標、近似楕円の主軸、近似楕円の短軸、近似円の半径、周囲長および円形度をそれぞれ示す特徴量を含み、
前記色特徴量は、検出されたシミについて、シミの明るさおよびシミの重心位置から外側に向けて広がる色分布をそれぞれ示す特徴量を含む請求項５に記載のシミ分類方法。
【請求項７】
被験者の所定の皮膚領域を撮影して得られた撮影画像の前記色空間成分画像として輝度成分画像を生成すると共にｂ＊成分画像を含む色成分画像を生成し、
前記輝度成分画像により前記形態特徴量およびシミの明るさを示す特徴量が算出されると共に、前記色成分画像によりシミの色分布を示す特徴量が算出される請求項６に記載のシミ分類方法。
【請求項８】
前記色成分画像を多重解像度処理することにより、解像度の異なる複数の色成分解像度変換画像を生成し、
生成された前記複数の色成分解像度変換画像をシミの重心位置を同心としてそれぞれ重ねることで、シミの重心位置から外側に向けて複数の領域に分割した分割画像を生成すると共に、前記分割画像の複数の領域にそれぞれ対応した複数のマスクを作成し、
前記色分布を示す特徴量は、前記複数のマスクと前記色成分画像とをそれぞれ乗算することにより分割評価値を算出し、前記分割評価値の平均値および標準偏差を算出することで求められる請求項７に記載のシミ分類方法。
【請求項９】
前記色成分画像を多重解像度処理することにより、解像度の異なる複数の色成分解像度変換画像を生成し、
生成された前記複数の色成分解像度変換画像をシミの重心位置を同心としてそれぞれ重ねることで、シミの重心位置から外側に向けて複数の領域に分割した分割画像を生成すると共に、前記分割画像の複数の領域にそれぞれ対応した複数のマスクを作成し、
前記色分布を示す特徴量は、前記複数のマスクと前記色成分画像とをそれぞれ乗算することにより分割評価値を算出し、シミの重心を含むマスク領域の前記分割評価値とそれ以外のマスク領域の前記分割評価値とのそれぞれの比率から求められる請求項７または８に記載のシミ分類方法。
【請求項１０】
前記色空間成分画像の多重解像度処理において、解像度の異なる前記複数の色空間成分解像度変換画像を生成することにより、日光黒子、脂漏性角化症、雀卵班およびホクロと、肝班とを大きさに応じて大別し、
前記形態特徴量および前記色特徴量に基づいて日光黒子、脂漏性角化症、雀卵班およびホクロをそれぞれ判別することで、シミが分類される請求項５〜９のいずれか一項に記載のシミ分類方法。
【請求項１１】
被験者の所定の皮膚領域を撮影して得られた撮影画像の色空間を変換すると共に変換された撮影画像の色空間のうち所定の色空間成分からなる色空間成分画像を生成する色空間変換部と、
前記色空間変換部により生成された前記色空間成分画像を多重解像度処理することにより、解像度の異なる複数の色空間成分解像度変換画像を生成する多重解像度処理部と、
前記多重解像度処理部により生成された前記複数の色空間成分解像度変換画像をそれぞれ２値化処理することにより、前記所定の皮膚領域内に存在するシミを検出するシミ検出部とを備えたシミ検出装置。
【請求項１２】
請求項１１に記載のシミ検出装置で検出されたシミを分類するシミ分類装置であって、
前記シミ検出装置で検出されたシミについて、形態特徴量および色特徴量を算出する特徴量算出部と、
前記特徴量算出部により算出された前記形態特徴量および前記色特徴量に基づいてシミを分類するシミ分類部とを備えたシミ分類装置。
【請求項１３】
被験者の所定の皮膚領域を撮影して得られた撮影画像の色空間を変換すると共に変換された撮影画像の色空間のうち所定の色空間成分からなる色空間成分画像を生成するステップと、
前記色空間成分画像を多重解像度処理することにより、解像度の異なる複数の色空間成分解像度変換画像を生成するステップと、
生成された前記複数の色空間成分解像度変換画像をそれぞれ２値化処理することにより、前記所定の皮膚領域内に存在するシミを検出するステップとをコンピュータに実行させるためのシミ検出プログラム。
【請求項１４】
請求項１３に記載のシミ検出プログラムで検出されたシミを分類するためのシミ分類プログラムであって、
前記シミ検出プログラムで検出されたシミについて、形態特徴量および色特徴量を算出するステップと、
算出された前記形態特徴量および前記色特徴量に基づいてシミを分類するステップとをコンピュータに実行させるためのシミ分類プログラム。
【請求項１】
被験者の所定の皮膚領域を撮影して得られた撮影画像の色空間を変換すると共に変換された撮影画像の色空間のうち所定の色空間成分からなる色空間成分画像を生成し、
前記色空間成分画像を多重解像度処理することにより、解像度の異なる複数の色空間成分解像度変換画像を生成し、
生成された前記複数の色空間成分解像度変換画像をそれぞれ２値化処理することにより、前記所定の皮膚領域内に存在するシミを検出するシミ検出方法。
【請求項２】
被験者の所定の皮膚領域を撮影して得られた撮影画像の色空間を変換すると共に、前記色空間成分画像として輝度成分画像またはｂ＊成分画像を生成し、
前記輝度成分画像を多重解像度処理することにより解像度の異なる複数の輝度成分解像度変換画像を生成し、または、前記ｂ＊成分画像を多重解像度処理することにより解像度の異なる複数のｂ＊成分解像度変換画像を生成し、
生成された前記複数の輝度成分解像度変換画像または前記複数のｂ＊成分解像度変換画像をそれぞれ２値化処理することにより、前記所定の皮膚領域内に存在するシミを検出するシミ検出方法。
【請求項３】
前記複数の輝度成分解像度変換画像または前記複数のｂ＊成分解像度変換画像の解像度は、前記輝度成分画像または前記ｂ＊成分画像において約２ｍｍ未満の大きさを有する画像信号を除去するように予め設定される請求項２に記載のシミ検出方法。
【請求項４】
被験者を撮影して得られた画像から顔領域を認識し、
認識された顔領域における画像信号から前記輝度成分画像または前記ｂ＊成分画像を生成する請求項２または３に記載のシミ検出方法。
【請求項５】
請求項１〜４のいずれか一項に記載のシミ検出方法で検出されたシミを分類するシミ分類方法であって、
前記シミ検出方法で検出されたシミについて、形態特徴量および色特徴量を算出し、
算出された前記形態特徴量および前記色特徴量に基づいてシミを分類するシミ分類方法。
【請求項６】
前記形態特徴量は、検出されたシミについて、重心位置座標、近似楕円の主軸、近似楕円の短軸、近似円の半径、周囲長および円形度をそれぞれ示す特徴量を含み、
前記色特徴量は、検出されたシミについて、シミの明るさおよびシミの重心位置から外側に向けて広がる色分布をそれぞれ示す特徴量を含む請求項５に記載のシミ分類方法。
【請求項７】
被験者の所定の皮膚領域を撮影して得られた撮影画像の前記色空間成分画像として輝度成分画像を生成すると共にｂ＊成分画像を含む色成分画像を生成し、
前記輝度成分画像により前記形態特徴量およびシミの明るさを示す特徴量が算出されると共に、前記色成分画像によりシミの色分布を示す特徴量が算出される請求項６に記載のシミ分類方法。
【請求項８】
前記色成分画像を多重解像度処理することにより、解像度の異なる複数の色成分解像度変換画像を生成し、
生成された前記複数の色成分解像度変換画像をシミの重心位置を同心としてそれぞれ重ねることで、シミの重心位置から外側に向けて複数の領域に分割した分割画像を生成すると共に、前記分割画像の複数の領域にそれぞれ対応した複数のマスクを作成し、
前記色分布を示す特徴量は、前記複数のマスクと前記色成分画像とをそれぞれ乗算することにより分割評価値を算出し、前記分割評価値の平均値および標準偏差を算出することで求められる請求項７に記載のシミ分類方法。
【請求項９】
前記色成分画像を多重解像度処理することにより、解像度の異なる複数の色成分解像度変換画像を生成し、
生成された前記複数の色成分解像度変換画像をシミの重心位置を同心としてそれぞれ重ねることで、シミの重心位置から外側に向けて複数の領域に分割した分割画像を生成すると共に、前記分割画像の複数の領域にそれぞれ対応した複数のマスクを作成し、
前記色分布を示す特徴量は、前記複数のマスクと前記色成分画像とをそれぞれ乗算することにより分割評価値を算出し、シミの重心を含むマスク領域の前記分割評価値とそれ以外のマスク領域の前記分割評価値とのそれぞれの比率から求められる請求項７または８に記載のシミ分類方法。
【請求項１０】
前記色空間成分画像の多重解像度処理において、解像度の異なる前記複数の色空間成分解像度変換画像を生成することにより、日光黒子、脂漏性角化症、雀卵班およびホクロと、肝班とを大きさに応じて大別し、
前記形態特徴量および前記色特徴量に基づいて日光黒子、脂漏性角化症、雀卵班およびホクロをそれぞれ判別することで、シミが分類される請求項５〜９のいずれか一項に記載のシミ分類方法。
【請求項１１】
被験者の所定の皮膚領域を撮影して得られた撮影画像の色空間を変換すると共に変換された撮影画像の色空間のうち所定の色空間成分からなる色空間成分画像を生成する色空間変換部と、
前記色空間変換部により生成された前記色空間成分画像を多重解像度処理することにより、解像度の異なる複数の色空間成分解像度変換画像を生成する多重解像度処理部と、
前記多重解像度処理部により生成された前記複数の色空間成分解像度変換画像をそれぞれ２値化処理することにより、前記所定の皮膚領域内に存在するシミを検出するシミ検出部とを備えたシミ検出装置。
【請求項１２】
請求項１１に記載のシミ検出装置で検出されたシミを分類するシミ分類装置であって、
前記シミ検出装置で検出されたシミについて、形態特徴量および色特徴量を算出する特徴量算出部と、
前記特徴量算出部により算出された前記形態特徴量および前記色特徴量に基づいてシミを分類するシミ分類部とを備えたシミ分類装置。
【請求項１３】
被験者の所定の皮膚領域を撮影して得られた撮影画像の色空間を変換すると共に変換された撮影画像の色空間のうち所定の色空間成分からなる色空間成分画像を生成するステップと、
前記色空間成分画像を多重解像度処理することにより、解像度の異なる複数の色空間成分解像度変換画像を生成するステップと、
生成された前記複数の色空間成分解像度変換画像をそれぞれ２値化処理することにより、前記所定の皮膚領域内に存在するシミを検出するステップとをコンピュータに実行させるためのシミ検出プログラム。
【請求項１４】
請求項１３に記載のシミ検出プログラムで検出されたシミを分類するためのシミ分類プログラムであって、
前記シミ検出プログラムで検出されたシミについて、形態特徴量および色特徴量を算出するステップと、
算出された前記形態特徴量および前記色特徴量に基づいてシミを分類するステップとをコンピュータに実行させるためのシミ分類プログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図２】
【図３】
【図４】
【図５】
【公開番号】特開２０１３−９０７５１（Ｐ２０１３−９０７５１Ａ）
【公開日】平成２５年５月１６日（２０１３．５．１６）
【国際特許分類】
【出願番号】特願２０１１−２３４２４３（Ｐ２０１１−２３４２４３）
【出願日】平成２３年１０月２５日（２０１１．１０．２５）
【出願人】（３０６０３７３１１）富士フイルム株式会社 (25,513)
【Ｆターム（参考）】
【公開日】平成２５年５月１６日（２０１３．５．１６）
【国際特許分類】
【出願日】平成２３年１０月２５日（２０１１．１０．２５）
【出願人】（３０６０３７３１１）富士フイルム株式会社 (25,513)
【Ｆターム（参考）】
[ Back to top ]