Notice: Undefined variable: fterm_desc_sub in /mnt/www/biblio_conv.php on line 353
シミ分類方法、シミ分類装置およびシミ分類プログラム
説明

シミ分類方法、シミ分類装置およびシミ分類プログラム

【課題】シミを高精度に分類することができるシミ分類方法を提供する。
【解決手段】被験者の皮膚を撮影して得られた画像の色空間を変換した色空間変換画像を生成し、色空間変換画像に含まれるシミを検出し、検出されたシミについて、形態特徴量および色特徴量を算出し、算出された形態特徴量および色特徴量に基づいて、機械学習法によりシミを分類する。

【発明の詳細な説明】
【技術分野】
【0001】
この発明は、シミ分類方法、シミ分類装置およびシミ分類プログラムに関する。
【背景技術】
【0002】
シミ(色素班)は、メラニン色素が皮膚に沈着することにより生じるもので、形態特徴や色特徴、角質層の状態などの違いから一般に6〜7種類に分類される。医療用レーザー治療や化粧品の分野では、シミの種別に応じた治療や、化粧品を提供するために、被験者のシミを正確に分類することが試みられている。
例えば、特許文献1に提案されたシミの分類方法では、異なる波長の紫外線を皮膚に照射して紫外線カメラで撮影することにより、波長ごとにシミのコントラストの異なる画像が得られ、このコントラストの違いに基づいてシミの分類が行われている。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開2008−237243号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、紫外線の波長ごとに異なるシミのコントラストを評価するだけではシミを高精度に分類することは困難である。
【0005】
この発明は、このような従来の問題点を解消するためになされたもので、シミを高精度に分類することができるシミ分類方法、シミ分類装置およびシミ分類プログラムを提供することを目的とする。
【課題を解決するための手段】
【0006】
この発明に係るシミ分類方法は、被験者の皮膚を撮影して得られた画像の色空間を変換した色空間変換画像を生成し、前記色空間変換画像に含まれるシミを検出し、検出されたシミについて、形態特徴量および色特徴量を算出し、算出された前記形態特徴量および前記色特徴量に基づいて、機械学習法によりシミを分類するものである。
【0007】
ここで、前記形態特徴量は、検出されたシミについて、重心位置座標、近似楕円の主軸、近似楕円の短軸、近似円の半径、周囲長および円形度をそれぞれ示す特徴量を含むのが好ましい。また、前記色特徴量は、検出されたシミについて、シミの明るさおよびシミの重心位置から外側に向けて広がる色分布をそれぞれ示す特徴量を含むのが好ましい。
また、色分布を示す前記色特徴量は、検出されたシミのシミ画像をシミの重心位置から外側に向けて複数の領域に分割して作成した複数のマスクと、前記シミ画像を色成分毎に分解して作成した複数の色分解画像とをそれぞれ乗算することにより色成分毎の分割評価値を算出し、前記分割評価値の平均値および標準偏差を算出することで求めることができる。また、色分布を示す前記色特徴量は、検出されたシミのシミ画像をシミの重心位置から外側に向けて複数の領域に分割して作成した複数のマスクと、前記シミ画像を色成分毎に分解して作成した複数の色分解画像とをそれぞれ乗算することにより色成分毎の分割評価値を算出し、シミの重心を含むマスク領域の前記分割評価値とそれ以外のマスク領域の前記分割評価値とのそれぞれの比率から求めることもできる。
また、シミの分類は、分類木、ランダムフォレスト、バギングまたはAdaboostを用いた前記機械学習法により行われるのが好ましい。
【0008】
この発明に係るシミ分類装置は、被験者の皮膚を撮影して得られた画像の色空間を変換した色空間変換画像を生成する色空間変換部と、前記色空間変換画像に含まれるシミを検出するシミ検出部と、前記シミ検出部により検出されたシミについて、形態特徴量および色特徴量を算出する特徴量算出部と、前記特徴量算出部により算出された前記形態特徴量および前記色特徴量に基づいて、機械学習法によりシミを分類するシミ分類部とを備えたものである。
【0009】
この発明に係るシミ分類プログラムは、被験者の皮膚を撮影して得られた画像の色空間を変換した色空間変換画像を生成するステップと、前記色空間変換画像に含まれるシミを検出するステップと、検出されたシミについて、形態特徴量および色特徴量を算出するステップと、算出された前記形態特徴量および前記色特徴量に基づいて、機械学習法によりシミを分類するステップとをコンピュータに実行させるためのものである。
【発明の効果】
【0010】
この発明によれば、被験者の皮膚を撮影して得られた画像からシミを検出すると共に検出されたシミの形態特徴量および色特徴量に基づいて機械学習法によりシミを分類するので、シミを高精度に分類することが可能となる。
【図面の簡単な説明】
【0011】
【図1】この発明の一実施の形態に係るシミ分類方法を行うシミ分類装置の構成を示すブロック図である。
【図2】形態特徴量と色特徴量に対するシミの分類を模式的に示す図である。
【図3】形態特徴量の算出方法を模式的に示す図である。
【図4】色特徴量の算出方法を模式的に示す図である。
【発明を実施するための形態】
【0012】
以下、この発明の実施の形態を添付図面に基づいて説明する。
図1に、この発明の一実施の形態に係るシミ分類方法を行うシミ分類装置の構成を示す。シミ分類装置は、カメラ1を備え、このカメラ1に色空間変換部2、シミ検出部3、特徴量算出部4、シミ分類部5および分類結果出力部6が順次接続されている。
カメラ1は、被験者の皮膚を撮影するものであり、例えば被験者の顔Fに対して正面に配置することで顔Fに発生したシミを撮影することができる。なお、カメラ1は、被験者の皮膚を安全に撮影できる可視光カメラを用いるのが好ましいが、紫外線カメラまたは赤外線カメラを用いて撮影することもできる。
【0013】
色空間変換部2は、カメラ1に接続され、カメラ1で撮影された撮影画像の色空間を変換した色空間変換画像を生成する。色空間変換画像は、例えばL色空間、LCH色空間、またはYCC色空間などに変換した画像を用いることができる。シミ検出部3は、色空間変換部2で生成された色空間変換画像に含まれるシミの検出を行う。例えば、色空間変換画像を2値化処理することでシミの検出を行うことができる。
特徴量算出部4は、シミ検出部3により検出されたシミについて、形態特徴量および色特徴量をそれぞれ算出する。シミ分類部5は、特徴量算出部4により算出された形態特徴量および色特徴量に基づいて、機械学習法により統計的にシミの分類を行う。機械学習法としては、分類木、ランダムフォレスト、バンギングまたはAdaboostなどを用いることができる。
分類結果出力部6は、モニタまたはプリンタなどから構成され、シミ分類部5により分類された被験者のシミの種別を出力する。
【0014】
特徴量算出部4により算出されるシミの形態特徴量および色特徴量について説明する。
シミは、図2に示すように、シミの大きさおよび円形度を含む形態特徴量と、シミの明るさおよび色分布を含む色特徴量とから、肝班、日光黒子、脂漏性角化症、雀卵班、ホクロなどの6〜7種類に分類される。
具体的には、肝班は、色が薄い褐色(赤味よりも青味が強い)で且つ色分布が均一であり、目元輪郭付近に発生するもので、形状が扇形または楕円など多様で且つ4cm〜5cmの大きさを有し、輪郭形状がいびつで且つ輪郭コントラストが不明瞭といった特徴を有する。また、日光黒子は、色が薄い褐色から濃い褐色まで幅広く且つ色分布がほぼ均一であり、顔全体に発生するもので、楕円から真円に近い形状を有すると共に直径2mm〜10mm程度の大きさを有し、輪郭形状がいびつで且つ輪郭コントラストが明瞭であるといった特徴を有する。脂漏性角化症は、色が褐色から濃い褐色で且つ色分布は中心部が濃く、顔全体に発生するもので、楕円から真円に近い形状を有すると共に直径5mm〜10mm程度の大きさを有し、輪郭形状が比較的滑らかで且つ輪郭コントラストが明瞭であるといった特徴を有する。雀卵班は、色が薄い褐色(青味が強い)で且つ色分布が均一であり、顔全体に点在または多数分布して発生するもので、楕円から真円に近い形状を有すると共に直径が数mm程度の大きさを有し、輪郭形状がいびつで且つ輪郭コントラストが不明瞭から明瞭なものまで幅広いといった特徴を有する。ホクロは、色が濃い茶褐色から黒色であり、顔全体に発生するもので、楕円から真円に近い形状を有すると共に直径2mm〜10mm程度の大きさを有し、輪郭形状が比較的滑らかで且つ輪郭コントラストが明瞭であるといった特徴を有する。
【0015】
このようなシミの特徴に基づいて、シミの種別に応じた形態特徴量と色特徴量を、図2に示すように予め設定することができる。形態特徴量としては、例えば重心位置座標、近似楕円の主軸長、近似楕円の短軸長、近似楕円の主軸長と短軸長の軸比率、近似円の半径、周囲長および円形度をそれぞれ示す特徴量を含むことができ、色特徴量としては、例えばシミの明るさおよび色分布をそれぞれ示す特徴量を含むことができる。
特徴量算出部4は、被験者のシミを撮影して得られた画像情報に基づいて、上記のようなシミの形態特徴量と色特徴量の算出を行う。また、シミ分類部5では、シミの種別に応じて設定された形態特徴量と色特徴量に基づいて機械学習法が予め設計されており、特徴量算出部4で算出された形態特徴量と色特徴量を機械学習法により統計的に処理することで、被験者のシミが分類される。
【0016】
次に、シミ分類装置により行われるシミ分類方法について説明する。
まず、図1に示すように、被験者の顔Fが正面からカメラ1により撮影され、その撮影画像データがカメラ1から色空間変換部2に出力される。色空間変換部2は、図3に示すように、撮影画像をL色空間などに変換した色空間変換画像を生成する。生成された色空間変換画像は色空間変換部2からシミ検出部3に出力され、シミ検出部3によりシミSの検出が行われる。シミ検出部3は、例えば色空間変換画像を2値化処理した2値化画像を生成し、この2値化画像から所定の閾値を有するものをシミSとして検出することができる。
【0017】
このようにして検出されたシミSを含む2値化画像はシミ検出部3から特徴量算出部4に出力され、特徴量算出部4により形態特徴量と色特徴量の算出が行われる。
形態特徴量としては、図3に示すように、2値化画像に含まれるシミSについて、例えば重心位置座標、近似楕円の主軸長、近似楕円の短軸長、近似楕円の主軸長と短軸長の比率、近似円の半径、周囲長および円形度がそれぞれ算出される。ここで、重心座標位置は、シミの頂点座標を(Xi,Yi)(ただし、i=1,2・・・n)とすると、下記式(1)で表すことができる。
((1/n)ΣXi,(1/n)ΣYi) ・・・ (1)
また、近似楕円の主軸長と短軸長との軸比率は、軸比率=主軸長/短軸長×100で表すことができる。さらに、円形度は、円形度=(4π×面積)/周囲長で表すことができる。
【0018】
また、特徴量算出部4は、シミSの明るさおよびシミSの重心位置から外側に向けて広がる色分布を色特徴量として算出する。色分布を示す色特徴量は、例えば図4に示すように、シミSの重心位置から外側に向けて複数のマスクで画像処理することにより算出することができる。
すなわち、撮影画像から生成された色空間変換画像について、色成分毎に分解した色分解画像をそれぞれ生成すると共に2値化画像を生成する。色分解画像としては、例えばL成分、a成分、b成分、C成分およびHue成分に色空間変換画像をそれぞれ分解した画像を生成して用いることができる。ここで、L成分は明度、a成分は赤と緑に対応した補色成分、b成分は黄色と青に対応した補色成分、C成分は彩度、Hue成分は色相をそれぞれ示している。一方、色空間変換画像から生成された2値化画像は、異なる倍率で縮小されることで倍率の異なる複数の縮小画像が生成される。縮小画像としては、例えば80%、60%、40%および20%に2値化画像をそれぞれ縮小した画像を生成して用いることができる。続いて、シミSの重心位置を同心として4つの縮小画像と縮小していない2値化画像をそれぞれ重ねることで、シミSの重心位置から外側に向けて5つの領域D1〜D5に分割された分割画像が生成される。そして、5つの分割領域D1〜D5にそれぞれ対応するマスク2〜6を作成すると共にシミSの外側領域に対応するマスク1を作成する。
【0019】
このようにして作成されたマスク1〜6は、L成分画像、a成分画像、b成分画像、C成分画像およびHue成分画像の5つの色分解画像にそれぞれ乗算されてマスク処理されることにより、それぞれのマスク領域において色成分毎に分割評価値が算出される。そして、マスク2〜6の各領域毎に分割評価値の平均値および標準偏差を算出することで色分布を示す色特徴量を求めることができる。また、マスク2〜6の各領域毎に算出された分割評価値の平均値を用いて、マスク2〜6の領域(シミ全体)にわたる分割評価値の平均値および標準偏差を算出することで色分布を示す色特徴量を求めることもできる。さらに、シミSの重心位置を含むマスク6の領域における分割評価値の平均値と、マスク6以外のマスク1〜5の各領域における分割評価値の平均値とのそれぞれの比率を算出することで色分布を示す色特徴量を求めることもできる。
なお、色分布を示す色特徴量は、シミSの色分布に対して指標となるものであればよく、上記以外にも分割評価値を用いて算出したものを用いることができる。
このように、撮影画像から検出されたシミSについて、大きさおよび円形度を含む形態特徴量並びに明るさおよび色分布を含む色特徴量をそれぞれ詳細に算出することができる。
【0020】
続いて、算出されたシミSの形態特徴量と色特徴量は、特徴量算出部4からシミ分類部5に出力され、シミ分類部5により機械学習法を用いてシミSの分類が行われる。
例えば、分類木によりシミSを分類する場合には、円形度、a成分画像における分割評価値の標準偏差、近似楕円の軸比率、およびL成分画像における分割評価値の平均値が、シミの種別に応じて予め設定された形態特徴量と色特徴量に基づいて順次判定される。例えば、シミSの円形度が0.55未満で且つa成分画像における分割評価値の標準偏差が1.3以上であれば日光黒子に分類され、シミSの円形度が0.55以上で且つa成分画像における分割評価値の標準偏差が2.35以上であればホクロに分類される。
シミSが種別毎に分類された分類結果は、シミ分類部5から分類結果出力部6に出力され、分類結果出力部6により分類結果が表示される。
【0021】
本実施の形態によれば、シミを分類する際の指標として一般的に用いられる形態特徴量と色特徴量をそれぞれ詳細に算出すると共に、この形態特徴量と色特徴量に基づいて機械学習法により統計的にシミSの種別を判断するため、シミSを高精度に分類することができる。また、被験者の皮膚を撮影するカメラ1として可視光カメラを用いることができるので、安全にシミの分類を行うことができる。
【0022】
なお、上記のようなシミの分類は、入力手段、CPU、メモリ、出力部などから構成されるコンピュータをシミ分類プログラムにより機能させることで実行することができる。すなわち、シミ分類プログラムがコンピュータを機能させることにより、入力手段が被験者の皮膚を撮影した撮影画像を取得し、取得された撮影画像に基づいて、CPUが色空間変換部2、シミ検出部3、特徴量算出部4、およびシミ分類部5を実行させ、シミ分類部5により分類されたシミの分類結果が出力部を構成する分類結果出力部6から出力される。
【0023】
また、上記の実施の形態では、カメラ1で撮影された撮影画像の色空間を色空間変換部2がL色空間に変換したが、これに限るものではなく、特徴量算出部4によるシミSの特徴量の算出およびシミ分類部5によるシミSの分類に適した色空間に変換することができる。
また、上記の実施の形態では、シミ検出部1によるシミSの検出は色空間変換画像を2値化処理することで行われたが、シミSを検出できればこれに限るものではなく、例えばテンプレートマッチングなどの画像認識技術を用いることができる。
また、上記の実施の形態では、特徴量算出部4によるシミSの色分布を示す色特徴量は、シミSの重心位置から外側に向けて広がる色分布を算出したが、シミSの色分布を詳細に算出できればこれに限るものではなく、例えばシミSの最も色の濃い位置を中心としてそこから外側に向けて広がる色分布を算出することもできる。
【0024】
次に、シミ分類装置を用いて実際にシミを分類した実施例について説明する。
この実施例は、被験者30名の皮膚を撮影した撮影画像からシミ部分を切り出して得られた各種類60枚のシミ画像を用いて、シミの形態特徴量と色特徴量をそれぞれ求め、求められた形態特徴量と色特徴量に基づいて種類の異なる機械学習法によりシミの分類を行ったものである。機械学習法には、分類木、ランダムフォレスト、バギングおよびAdaboostを用いた。
その結果、表1に示すように、シミ分類の正解率は、全ての機械学習法において80%以上を示すと共にその平均値は90%以上となり、高精度にシミを分類できることが分かった。特に、ランダムフォレストを用いた場合には、全ての種類のシミにおいて、シミ分類の正解率が90%以上を示し、ランダムフォレストがシミの分類に適していることが示唆された。
【0025】
【表1】

【符号の説明】
【0026】
1 カメラ、2 色空間変換部、3 シミ検出部、4 特徴量算出部、5 シミ分類部、6 分類結果出力部、F 被験者の顔。

【特許請求の範囲】
【請求項1】
被験者の皮膚を撮影して得られた画像の色空間を変換した色空間変換画像を生成し、
前記色空間変換画像に含まれるシミを検出し、
検出されたシミについて、形態特徴量および色特徴量を算出し、
算出された前記形態特徴量および前記色特徴量に基づいて、機械学習法によりシミを分類するシミ分類方法。
【請求項2】
前記形態特徴量は、検出されたシミについて、重心位置座標、近似楕円の主軸、近似楕円の短軸、近似円の半径、周囲長および円形度をそれぞれ示す特徴量を含む請求項1に記載のシミ分類方法。
【請求項3】
前記色特徴量は、検出されたシミについて、シミの明るさおよびシミの重心位置から外側に向けて広がる色分布をそれぞれ示す特徴量を含む請求項1に記載のシミ分類方法。
【請求項4】
色分布を示す前記色特徴量は、検出されたシミのシミ画像をシミの重心位置から外側に向けて複数の領域に分割して作成した複数のマスクと、前記シミ画像を色成分毎に分解して作成した複数の色分解画像とをそれぞれ乗算することにより色成分毎の分割評価値を算出し、前記分割評価値の平均値および標準偏差を算出することで求められる請求項3に記載のシミ分類方法。
【請求項5】
色分布を示す前記色特徴量は、検出されたシミのシミ画像をシミの重心位置から外側に向けて複数の領域に分割して作成した複数のマスクと、前記シミ画像を色成分毎に分解して作成した複数の色分解画像とをそれぞれ乗算することにより色成分毎の分割評価値を算出し、シミの重心を含むマスク領域の前記分割評価値とそれ以外のマスク領域の前記分割評価値とのそれぞれの比率から求められる請求項3または4に記載のシミ分類方法。
【請求項6】
シミの分類は、分類木、ランダムフォレスト、バギングまたはAdaboostを用いた前記機械学習法により行われる請求項1〜5のいずれか一項に記載のシミ分類方法。
【請求項7】
被験者の皮膚を撮影して得られた画像の色空間を変換した色空間変換画像を生成する色空間変換部と、
前記色空間変換画像に含まれるシミを検出するシミ検出部と、
前記シミ検出部により検出されたシミについて、形態特徴量および色特徴量を算出する特徴量算出部と、
前記特徴量算出部により算出された前記形態特徴量および前記色特徴量に基づいて、機械学習法によりシミを分類するシミ分類部とを備えたシミ分類装置。
【請求項8】
被験者の皮膚を撮影して得られた画像の色空間を変換した色空間変換画像を生成するステップと、
前記色空間変換画像に含まれるシミを検出するステップと、
検出されたシミについて、形態特徴量および色特徴量を算出するステップと、
算出された前記形態特徴量および前記色特徴量に基づいて、機械学習法によりシミを分類するステップとをコンピュータに実行させるためのシミ分類プログラム。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate


【公開番号】特開2013−90752(P2013−90752A)
【公開日】平成25年5月16日(2013.5.16)
【国際特許分類】
【出願番号】特願2011−234244(P2011−234244)
【出願日】平成23年10月25日(2011.10.25)
【出願人】(306037311)富士フイルム株式会社 (25,513)
【Fターム(参考)】