顔画像解析システム
【課題】毛穴・シミの両方を画像処理により同時に抽出可能な顔画像解析システムを提供する。
【解決手段】撮像カメラ４により撮影された顔画像データを画像処理することで毛穴・シミの検出を行なう顔画像解析システムであって、撮影された顔画像データに基づいて顔領域を設定する顔領域設定手段３６ａと、顔領域を構成する各画素について、注目画素を含む所定領域について作成されたヒストグラムに基づいて、最大頻度を有する画素値を取得し、この取得された画素値と注目画素の画素値との差分データを演算する差分演算手段３６ｂと、演算された差分データを少なくとも１つの閾値によりｎ値化するｎ値化手段３６ｃと、ｎ値化された結果に基づき、毛穴・シミが含まれる第１領域と毛穴・シミが含まれない第２領域とに分類する領域分類手段３６ｄと、この分類処理により得られた各クラスターを解析して毛穴・シミの判定を行なう判定手段３６ｅと、を備えている。
【解決手段】撮像カメラ４により撮影された顔画像データを画像処理することで毛穴・シミの検出を行なう顔画像解析システムであって、撮影された顔画像データに基づいて顔領域を設定する顔領域設定手段３６ａと、顔領域を構成する各画素について、注目画素を含む所定領域について作成されたヒストグラムに基づいて、最大頻度を有する画素値を取得し、この取得された画素値と注目画素の画素値との差分データを演算する差分演算手段３６ｂと、演算された差分データを少なくとも１つの閾値によりｎ値化するｎ値化手段３６ｃと、ｎ値化された結果に基づき、毛穴・シミが含まれる第１領域と毛穴・シミが含まれない第２領域とに分類する領域分類手段３６ｄと、この分類処理により得られた各クラスターを解析して毛穴・シミの判定を行なう判定手段３６ｅと、を備えている。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像手段により撮影された顔画像データを画像処理することで毛穴・シミの検出を行なう顔画像解析システムに関するものである。
【背景技術】
【０００２】
かかる顔画像解析システムは、美容皮膚科、美容外科、形成外科などにおいて使用されており、顔撮影装置により、定期的に人の顔を撮影することで肌の状態の経時的な変化を観察し、化粧品や肌治療の効果を確認する目的で使用されている（例えば、下記特許文献１）。具体的には、得られた顔画像からシミ・シワ・毛穴・色ムラなどの評価を行なうものであり、さらには、紫外線を使用したポルフィリン・かくれジミなどの評価も行なわれている。このような肌状態の評価を行なうために、撮影された顔画像データを画像処理技術（ソフトウェア）を用いて画像処理を行い、毛穴・シミなどを抽出してモニターに表示させることで種々の評価が行われている。本発明は、特に毛穴・シミを画像処理により抽出する技術に関するものであり、毛穴やシミの大きさなども、肌に塗るファンデーションを適切に選択する上で重要な要素であり、これを正確に抽出する必要がある。
【０００３】
特許文献１では、肌の表面を撮影した画像を構成する各画素の輝度レベルを二次元的に平滑化する平滑化手段と、この平滑化した画像を構成する各画素の輝度レベルと平滑化前の画像の対応する画素の輝度レベルとの差を計算して差分画像を出力する差分計算手段と、差分画像を二値化することで毛穴の画像を得る二値化手段を具備するものである。このような平滑化を行なうことにより、毛穴の画像はシミやそばかすなどにより濃淡と比べてサイズが小さく、平滑化により取り除くことができる。従って、平滑化前後の画像の差分を取ることで、毛穴の画像を抽出しようとするものである。
【０００４】
【特許文献１】特許３２１９５５０号公報（特許請求の範囲、段落０００６）
【発明の開示】
【発明が解決しようとする課題】
【０００５】
上記先行技術においては、毛穴の検出のみを行うのには都合がよいが、毛穴・シミの両方を同時に検出することはできず、シミの検出を行うためには、更に別の手段をとらなければならない。
【０００６】
本発明は上記実情に鑑みてなされたものであり、その課題は、毛穴・シミの両方を画像処理により同時に抽出可能な顔画像解析システムを提供することである。
【課題を解決するための手段】
【０００７】
上記課題を解決するため本発明に係る顔画像解析システムは、
撮像手段により撮影された顔画像データを画像処理することで毛穴・シミの検出を行なう顔画像解析システムであって、
撮影された顔画像データに基づいて顔領域を設定する顔領域設定手段と、
顔領域を構成する各画素について、注目画素を含む所定領域から肌の色に該当する画素値を取得し、この取得された画素値と注目画素の画素値との差分データを演算する差分演算手段と、
演算された差分データを少なくとも１つの閾値によりｎ値化するｎ値化手段と、
ｎ値化された結果に基づき、毛穴・シミが含まれる第１領域と毛穴・シミが含まれない第２領域とに分類する領域分類手段と、
この分類処理により得られた各クラスターを解析して毛穴・シミの判定を行なう判定手段と、を備えていることを特徴とするものである。
【０００８】
かかる顔画像解析システムの作用・効果を説明する。まず、撮影された顔画像データにおいて顔領域を設定する。これは、実際に毛穴・シミを抽出するための画像処理を行う範囲を設定するものであり、例えば、肌を検出するための公知のアルゴリズムを用いて検出してもよいし、画面上で範囲を手動設定するものでもよい。設定された顔領域を構成する各画素について、注目画素を含む所定領域（例えば、注目画素を中心とする所定の大きさの正方形領域）から肌の色に該当する画素値を取得し、この画素値と注目画素の画素値との差分データを演算する。この差分データにより、その注目画素が通常の肌の部分であるのか、毛穴やシミであるのかを判断することができる。そこで、演算された差分データを少なくとも１つの閾値によりｎ値化する（ｎは２以上の正の整数）。例えば、差分データが設定された最も小さな値の閾値よりも小さければ、その画素は毛穴・シミ以外の部分であり、差分データが上記閾値よりも大きければ毛穴・シミの可能性が高いと考えられる。そして、ｎ値化された結果に基づき、毛穴・シミが含まれる第１領域と、毛穴・シミが含まれない第２領域とに領域を分類する。この第１領域は、多数のクラスター（小さな領域）の集合体として構成され、各クラスターを解析することで、毛穴・シミの判定を行なうことができる。例えば、クラスターの形状、クラスターを囲む矩形の大きさ、縦横比などに基づいて、毛穴やシミの判定を行なうことができる。その結果、毛穴・シミの両方を画像処理により同時に抽出可能な顔画像解析システムを提供することができる。
【０００９】
本発明に係る判定手段は、前記クラスターを囲む矩形の大きさに基づいて当該クラスターがシミであるか否かの判定を行なうことが好ましい。
【００１０】
シミの場合は、毛穴に比較して大きさも大きいのが一般的であり、クラスターを囲む矩形の大きさからシミであるか否かの判定を行なうことができる。
【００１１】
本発明に係る判定手段は、前記クラスターを囲む矩形の縦横比に基づいて、当該クラスターが毛穴であるか否かの判定を行なうことが好ましい。
【００１２】
毛穴の形状は小さな円形であることが多いため、クラスターを囲む矩形の縦横比（円形であれば、１に近くなる）に基づいて、形状的にシミとの区別をすることができる。これにより、毛穴かシミかの区別を行なうことができる。
【００１３】
本発明に係るｎ値化手段は、差分データを３値化もしくは４値化するものであり、第１領域が複数レベルの画素値を有する画素群として表されるように前記領域分類手段により分類処理を行い、
前記判定手段は、各クラスターを構成する各レベルの画素値の存在割合に基づいて、毛穴のレベルを判定することが好ましい。
【００１４】
例えば、４値化することで、［０，１，２，３］の４つのレベルの画素値に区分することができる。かかる場合、第１領域は［１，２，３］の３つのレベルの画素で構成され、第２領域は［０］の画素で構成される。毛穴にも目立つ毛穴や黒ずんだ毛穴などレベルが存在し、これらレベルに応じた毛穴の検出が必要となる場合がある。そこで、上記のように第１領域を分類し、［１，２，３］の存在割合を解析することで、毛穴のレベルを判定することができる。
【００１５】
本発明に係る顔領域設定手段は、前記顔画像データの中の特定の領域を選択することで設定するものであることが好ましい。例えば、顔領域の全体を評価するのではなく、一部のみを評価すればよいケースもある。かかる場合は、特定の領域を選択できるようにすることで、画像処理に要する時間を短縮化し、効率よく評価を行なうことができる。
【００１６】
本発明に係る顔領域設定手段は、前記顔画像データの中央領域に含まれる画素群の平均画素値を取得し、この平均画素値と同じ画素値か近傍の画素値を前記中央領域及びその周辺領域から検索することにより顔領域を設定するものであることが好ましい。
【００１７】
かかる構成によれば、まず、撮影された顔画像データの中央領域に含まれる画素群の平均画素値を取得する。中央領域とは、例えば、画像全体の１／４程度の大きさに設定されるものである。かかる顔画像を撮影する場合、通常は画面いっぱいに顔画像が入るように撮影するので、上記のように中央領域を設定すれば、その領域には顔の主要な領域が含まれていると考えられる。そして、この中央領域の平均画素値は、肌の色を表しているものと推定されるので、この平均画素値と同じか近傍の画素値を有する画素を検索することで、顔画像データの全体から顔領域のみを抽出することができる。
【００１８】
本発明において、前記注目画素を含む所定領域について作成されたヒストグラムに基づいて、最大頻度を有する画素値を前記肌の色に該当する画素値として取得する手段を有することが好ましい。
【００１９】
注目画素を含む所定領域を適切に設定すれば、毛穴・シミ以外の肌の色を表す画素が最も多く含まれるものと考えられる。そこで、上記のように所定領域についてヒストグラムを作成し、最大頻度を有する画素値を取得する。この画素値は肌の色を表すデータとして、信頼性の高いものであり、これにより、毛穴・シミの検出精度も高めることができる。
【００２０】
本発明において、前記ヒストグラムは、カラー画像データを構成する青色の画像データを用いることが好ましい。
【００２１】
シミが存在すると、ＲＧＢの画像データのうち、特にＢ（青）の画素値が低下することが分かった。また、毛穴の場合はＲＧＢの画素値が全体的に低下する。従って、青の画像データを用いて画像処理を行うことで、毛穴・シミの検出精度を高めることができる。
【発明を実施するための最良の形態】
【００２２】
本発明に係る顔画像解析システムの好適な実施形態を図面を用いて説明する。図１は、顔画像解析システムにおいて用いられる顔撮影装置の内部構成を示す横断面図を示し、図２は、図１に示す顔撮影装置の縦断面図である。図３は、撮影カメラの回転移動機構の詳細を示す図である。
【００２３】
この顔撮影装置Ａは、美容皮膚科、美容外科、形成外科などにおいて使用されている。定期的あるいは適度な期間を開けて人の顔を撮影することで肌の状態の経時的な変化を観察し、化粧品や肌治療の効果を確認する目的で使用される。この装置は、得られた顔画像から毛穴・シミ・シワ・色ムラなどの評価を行なう機能を有し、さらには、紫外線を使用したポルフィリン・かくれジミなどの評価を行なうこともできる。なお、本発明は、特に毛穴・シミの検出に関するものであるので、以下の説明においても毛穴・シミの検出に限定して行なうものとする。
【００２４】
＜顔撮影装置の構成＞
図１において、顔撮影装置Ｈは、略立方体形状の筐体１を備えており、顔の撮影を行う時は筐体１内の所定箇所に顔を保持させた状態で行い、室内光などが筐体１内部に侵入しにくいような構造が採用されている。筐体１の正面には開口部１ａが形成されており、ここから顔を挿入させる。人の顔を所定位置に保持するための顔保持手段として、あご載せ台２と額押さえ３が設けられている。あご載せ台２と額押さえ３は、人の顔の大きさや形状などに対応できるように手動で位置調整ができるように構成されている。開口部１ａからの外光進入を防止するためにカーテン１ｂが設けられる。なお、上記顔保持手段が必ずしも必要ではない。
【００２５】
顔を撮影するための撮影手段として撮影カメラ４が設けられており、カメラ支持体５に保持されている。図１に示すように、撮影カメラ４による顔の撮影位置は、正面位置Ｐ０と左右の側面位置Ｐ１，Ｐ２の３箇所が設定されている。正面位置Ｐ０は、ちょうど撮影カメラ４が顔と向かい合う位置であり、側面位置Ｐ１，Ｐ２は正面位置Ｐ０に対して４５゜に設定された位置である。ただし、この４５゜という角度については、この数値に限定されるものではなく、他の角度に設定してもよく、また、側面位置Ｐ１，Ｐ２も２箇所だけでなく、更に多くの側面位置が設定されていてもよい。例えば、３０゜，４５゜，６０゜，７５゜に設定されていてもよい。Ｐ３は、後述する移動機構によって撮影カメラ４が回転移動する軌跡を示している。
【００２６】
撮影カメラ４は、デジタルカメラが使用されるが、どのようなタイプのものを使用してもよい。必要に応じてビデオ機能を有するものを使用してもよく、静止画像を撮影可能なビデオカメラを使用してもよい。
【００２７】
このように、複数個所での顔画像を撮影するために、撮影カメラ４は顔位置を中心として回転移動できるように構成されている。撮影カメラ４の回転中心Ｂは、あご載せ台２の位置に設定されている。
【００２８】
顔を照明するための光源８が筐体１内の複数個所に配置されている。光源８は、顔の位置を中心として円周方向に沿って顔に面するように配置されていると共に、図２に示すように、上方及び下方にも複数個所に配置される。光源８には、可視光を照射する光源と紫外線を照射するブラックライトがあり、目的に応じて使い分けもしくは両方が使用される。可視光を照射する光源８は、ハロゲンランプ、蛍光灯、ＬＥＤ、フラッシュ光源など適宜のものを使用することができる。光源８として、フラッシュ光源を使用してもよい。
【００２９】
光源８から照射される光を均一に拡散するための拡散板９が光源８と顔の間に配置される。拡散板９は、図１に示す横断面形状は円弧形状（半円形状）である。図２に示すように、拡散板９は、顔の正面だけでなく天井部と底面部にも配置されており、従って、この拡散板９により顔が包囲されるような形態となる。なお、拡散板９は、半円形でなくてもよく、多角形、楕円形状を呈していてもよい。撮影カメラ４は、拡散板９の背後側に移動することになるため、正面位置Ｐ０と側面位置Ｐ１，Ｐ２において撮影を可能にするため矩形の開口部９ａが形成される。
【００３０】
制御装置２０は、顔撮影装置Ｈの動作を制御する機能と、撮影カメラ４により撮影された顔画像に関する画像処理を行う機能を有する。モニター２１には、撮影された顔画像が表示される。キーボード２２は、顔撮影装置Ｈに対する種々の動作指令入力や画像処理を行なうための種々の動作指令やデータ入力などを行なう。制御装置２０、モニター２１、キーボード２２は、汎用のコンピュータ（パソコン）により構成してもよい。
【００３１】
＜カメラ回転移動機構＞
次に、撮影カメラ４の回転移動機構の詳細を図３により説明する。回転中心Ｂには駆動モータ１０と駆動軸１１が設けられており、この駆動軸１１にアーム１２が連結される。アーム１２の先端部１２ａに２本の連結軸１３が垂直方向に植設され、この連結軸１３の上部先端にカメラ支持体５が結合される。カメラ支持体５は、側面視で略コの字形状を有しており、コの字形状の内側に撮影カメラ４が配置される。
【００３２】
アーム１２の先端側の裏面には、ローラ支持体１４がアーム先端部１２ａに対して垂直方向を軸として回転自在に取り付けられており、ローラ１５が回転自在に保持されている。このローラ１５は、筐体１の底面に接地するように構成され、これにより、撮影カメラ４をスムーズに回転移動させることができる。なお、撮影カメラ４の回転移動機構については、本実施形態に限定されるものではなく、種々の変形例が考えられる。
【００３３】
＜制御関係＞
次に、顔撮影装置Ｈ及び顔画像解析システムの主要な制御機能について図４の制御ブロック図により説明する。コントローラ３０は、顔撮影装置Ｈを統括的に制御する機能を提供するものであり、ＣＰＵ、メモリ、その他の必要なプログラム等により構成される。照明制御部３１は、光源８の点灯・消灯制御を行なう。光源８は、顔画像の撮影を行う時に点灯される。可視光と紫外線を使い分ける場合に、そのいずれを点灯させるのか、あるいは両方を点灯させるのかについての制御も行われる。
【００３４】
カメラ位置制御部３２は、撮影カメラ４を正面位置Ｐ０，側面位置Ｐ１，Ｐ２の各位置に停止させるための移動制御を行うものであり、駆動モータ１０に対する動作指令を行なう。撮影カメラ４を所定の位置に停止させるために、カメラ位置センサー３３が設けられている。カメラ位置センサー３３としては、上記３つの撮影位置を検出するためのセンサーが設けられており、例えば、アーム１２の位置を光センサーやマイクロスイッチなどにより検出するように構成できる。
【００３５】
また、上記３つの撮影位置だけではなく、それらの中間的な位置も検出することができるようにしている。例えば、駆動モータ１０に連動して回転するエンコーダからの信号や、駆動モータ１０（パルスモータ）へ供給する駆動パルスのカウント値などに基づいて、細かいステップで撮影カメラ４の位置を検出することができる。従って、撮影カメラ４が移動可能な全範囲について位置検出を行なうことができる。
【００３６】
カメラ制御部３４は、撮影カメラ４の動作を制御するものであり、具体的にはシャッターを切ることで顔画像の撮影を行う。顔画像の撮影は、正面位置Ｐ０，側面位置Ｐ１，Ｐ２の３箇所において夫々行なわれる。撮影カメラ４の位置の微調整の必要がある場合は、微調整が完了した後に撮影が行われる。
【００３７】
顔画像データ保存部３５は、撮影カメラ４により撮影された顔画像データが保存される。顔画像データは、デジタルのカラー画像データであり、ＪＰＥＧ等の適宜のファイル形式で保存される。顔画像データは、正面画像・左右側面画像ごとに保存され、人物を特定する人物ＩＤ（識別情報）・撮影年月日と共に保存される。
【００３８】
＜顔画像解析システムの構成＞
画像処理部３６は、取得された顔画像データに対する画像処理を行い、毛穴・シミの検出を行なう機能を有するものであり、ソフトウェアもしくはソフトウェアとハードウェアの組み合わせにより構成することができる。画像処理部３６は、本発明に係る顔画像解析システムの中核をなす部分である。
【００３９】
顔領域設定手段３６ａは、撮影カメラ４により撮影された顔画像データの中に含まれる顔領域の設定を行う機能を有する。顔領域とは、顔の中でも特に人の肌の領域を指すものであり、肌の評価には関係のない、鼻の穴、眉毛、目、口などは除かれる。顔領域の設定は、オペレータがモニター２１の画面を見ながらマウス等で設定する場合と、自動的に設定する場合とがある。本発明は、いずれの方法を採用してもよく、機能的には両方備えていることが好ましい。
【００４０】
差分演算手段３６ｂは、顔領域が設定された後に、顔領域を構成する各画素について、注目画素を含む所定領域について作成されたヒストグラムに基づいて、最大頻度を有する画素値を取得し、この取得された画素値と注目画素の画素値との差分データを演算する機能、を有している。この機能に基づいて、通常の肌の色と肌と毛穴・シミとの色の差を演算し、後述するように、毛穴であるかシミであるかの判定を行なうものである。
【００４１】
４値化手段３６ｃは、差分演算手段３６ｂにより演算された差分データを３つの閾値により４値化する機能を有する。この機能に基づいて、差分データを［０，１，２，３］の４種類にレベル分けを行なう。
【００４２】
領域分類手段３６ｄは、４値化された結果に基づき、差分データを毛穴・シミが含まれる第１領域［１，２，３］と、毛穴・シミが含まれない第２領域［０］とに分類する。第２領域は、通常の肌の領域を表すものであり、第１領域は、毛穴もしくはシミにより構成されるものと推定される領域である。第１領域は、実際には多数のクラスター（面積の小さな小領域）の集合体として構成される。
【００４３】
判定手段３６ｅは、領域分類手段３６ｄにより得られた各クラスターに対する解析を行なって毛穴であるかシミであるかの判定処理を行う。各機能の詳細については、具体的な顔画像を用いながら説明する。
【００４４】
表示データ生成手段３６ｆは、画像処理の結果得られた画像をモニター２１に表示するためのデータを生成する。また、画像処理の結果得られた画像についても、適宜顔画像データ保存部３５に保存させることができる。
【００４５】
＜画像処理手順＞
次に、顔画像を撮影してから毛穴・シミの検出を行なってモニター１２に表示させるまでの手順を説明する。図５は、処理手順の概要を示すフローチャートである。
【００４６】
まず、顔画像の撮影を行う（Ｓ１）。撮影される顔画像は、正面画像、左右の側面画像の３種類であるが、説明の便宜上、正面画像についてのみの説明を行なう。撮影カメラ４により撮影された顔画像データは、顔画像データ保存部３５に保存される（Ｓ２）。また、撮影された顔画像は、モニター２１に映し出すことができる（図６参照）。撮影カメラ４で撮影を行う場合には、できるだけ画面いっぱいに顔が入るように撮影される。
【００４７】
次に顔領域の設定を行う。顔画像データには、顔ではない領域や、顔領域内部であっても毛穴・シミの評価対象には関係のない領域が含まれている。そこで、画像処理を効率よく行なうために、顔領域の設定を行うようにしている（Ｓ３）。
【００４８】
そこで、まず、画面の中央領域Ａの矩形に含まれる画素群の平均画素値を取得する（Ｓ３０）。この中央領域Ａは、予め設定されている領域であり、画像サイズに対して縦１／４、横１／４程度の大きさに設定されている。顔画像は画面いっぱいになるように撮影されることから、この範囲には顔の中央部分が含まれているものと推定される。なお、中央領域Ａを表す矩形をモニター画面にも表示させてオペレータが確認できるように構成してもよい。また、必要に応じて中央領域Ａの位置や大きさを変更できるように構成してもよい。なお、上記の平均画素値は、例えば、カラー画像データを構成するＲＧＢの平均値により取得することができる。
【００４９】
上記のように得られた平均画素値は、肌の色を表しているものと推定される。次に、この平均画素値に対して所定の範囲内にある画素値を有する画素を検索する（Ｓ３１）。例えば、平均画素値に対して±５％の範囲内にある画素を抽出する。検索する範囲は、上記の中央領域Ａ内のほかに、中央領域Ａの外側の領域である。検出された画素群を顔領域として設定し（Ｓ３２）、この顔領域内について、毛穴・シミを検出するための画像処理を行なう。設定された顔領域を図８に模式的に示す。顔の輪郭以外の領域（背景など）や、顔の内部であっても、口・鼻の穴・目・眉毛などは毛穴・シミの検出には関係しない領域であり、顔領域から除外される。
【００５０】
顔領域が設定されると、顔領域内の各画素について、次のようなスキャニングを行なう。すなわち、注目画素を中心として所定領域の範囲のヒストグラムを作成する（Ｓ４）。ヒストグラムは、カラー画像データを構成するＲＧＢの各データのうち、青の画像データを用いて行なう。これは、シミが生じた場合、青の成分が大きく低下するためである。毛穴の場合は、ＲＧＢがほぼ同じ程度で低下するので、どの成分を用いても精度的には問題がない。
【００５１】
作成されたヒストグラムを図９に概念的に示す。注目画素Ｂを中心として、矩形（正方形あるいは長方形）の所定領域Ｃが設定される。この所定領域Ｃの大きさは、例えば、１０００万画素クラスの撮像カメラであれば、５１画素×５１画素の大きさに設定されるが、この所定領域Ｃの設定については、ＣＣＤ等の撮像素子の画素数などに応じて、適宜行なうことができるものである。
【００５２】
従って、ヒストグラムは上記の例では５１×５１＝２６０１画素について作成されるものであり、例えば、図９（ｂ）に示される。このヒストグラムから、最大頻度を有する画素値（青の画像データ）を取得する（Ｓ５）。この画素値はＤで示されている。次に、この最大頻度を有する画素値Ｄから注目画素Ｂの画素値を引いた差分データ（青の画像データについての差分データ）を演算する（Ｓ６）。最大頻度を有する画素値Ｄは通常は毛穴・シミではない肌の色を表すものであり、注目画素Ｂが同じく毛穴・シミではない肌の部分に相当すれば、差分データは０になる。
【００５３】
また、毛穴・シミなどがあると、輝度が暗くなる方向になるので、差分データを演算すると、正の値となる。差分データの大きさに応じて、シミであるのか毛穴であるのか、又、どの程度のレベルの毛穴であるのかを判定できるようになる。また、差分データがマイナスになった場合は０にする。これは、照明光源の関係で顔領域全体が均一な照度で照明されているわけではないので、そのバラツキを考慮するためである。
【００５４】
なお、上記において最大頻度ではなく、平均値により取得してもよい。ただし、最大頻度を用いるのは、仮に平均値を取った場合、特に濃い大きなシミが存在した場合、平均値では値が低下してしまい、精度のよい毛穴・シミの検出が行なえなくなる可能性がある。
【００５５】
差分データを演算すると、顔領域内の全ての画素についてスキャニングが終了したかどうかを判定し（Ｓ７）、終了していなければ、ステップＳ４に戻り、次の注目画素について同様の演算を繰り返す。
【００５６】
顔領域の全体にわたってスキャニングが終了すると、差分データを３つの閾値により４値化する（Ｓ８）。具体的には、差分データを［０，１，２，３］の４種類にレベル分けを行なうものであり、毛穴・シミが含まれる第１領域［１，２，３］と、毛穴・シミが含まれない第２領域［０］とに分類する（Ｓ９）。これは、いわゆるラベリングと呼ばれている処理である。このように２つの領域に分類すると、顔領域は、普通の肌の領域である第２領域［０］と、多数のクラスター（小領域）の集合体である第１領域［１，２，３］とに分けられる。
【００５７】
なお、演算の都合上、［１］と分類された画素は［１］のみを有する画素であるが、［２］と分類された画素は［１］［２］の２つの値を有する画素とし、［３］と分類された画素は［１］［３］の２つの値を有する画素として扱う。
【００５８】
図１０は、上記のように分類されたクラスターＥの状況を示す図であり、顔画像の一部を拡大表示したものである。クラスターＥは、上記の［１，２，３］で表される画素群が一塊となった小領域を表すものである。各クラスターＥ内に含まれる画素は［１］または［２］または［３］のいずれかに分類されている。これらの［１，２，３］の個数やクラスターの形状に基づいて、毛穴・シミの判定が行なわれる（Ｓ１１）。
【００５９】
まず、シミの検出は、クラスターＥの形状に基づいて判定することができる。通常、シミの大きさは毛穴よりも大きくなっており、所定の形状を有しているものと判定可能であるからである。具体的には。図１０に示すように、クラスターＥを囲む矩形Ｆを設定する。この矩形Ｆの４辺にクラスターＥの外形が接するように矩形Ｆを設定する。そして、この矩形Ｆの２辺ｘ，ｙの長さに基づいて、シミであるか否かの判定が行なわれる。すなわち、矩形Ｆの一辺（ｘもしくはｙ）が１５画素以上であれば、そのクラスターＥはシミであると判定する。なお、判定基準である１５画素という設定については、適宜変更可能である。この矩形Ｆの設定は、全クラスターＥについて行なわれる。
【００６０】
次に、毛穴の検出について説明する。まず、上記のように矩形Ｆを設定し、縦横比が１：０．６５以上であれば毛穴であると判定する。毛穴の形状は、円形に近いものと推定できるので、上記のような比率以上に正方形に近いものは、毛穴であると判定することができる。
【００６１】
そして、更に、毛穴については、目立つ毛穴と黒ずんだ毛穴の２段階のレベルに細かく分類をする。目立つ毛穴（大きな毛穴）であるか否かの判定は、［２］が割り当てられた画素の画素数を［１］が割り当てられた画素の画素数で割った値が０．３以上であれば目立つ毛穴であると判定する。０．３未満であれば、薄い毛穴であると判定する。ここで、［１］が割り当てられた画素の画素数は、前述のルールに従い、［１］のみが割り当てられた画素の画素数と［２］が割り当てられた画素の画素数を加算した数値になる。
【００６２】
黒ずんだ毛穴であるか否かの判定は、［３］が割り当てられた画素の画素数を［１］が割り当てられた画素の画素数で割った値が０．５以上であれば黒ずんだ毛穴であると判定する。０．５未満であれば、薄い毛穴であると判定する。ここで、［１］が割り当てられた画素の画素数は、前述のルールに従い、［１］のみが割り当てられた画素の画素数と［３］が割り当てられた画素の画素数を加算した数値になる。
【００６３】
上記において、０．３や０．５という閾値については、適宜変更することができる。
【００６４】
なお、縦横比が１：０．６５以上の正方形に近いクラスターについて、［２］［３］の画素がなく［１］のみの画素で構成される場合、薄い毛穴（小さな毛穴）であるとして判定してもよい。この場合は、毛穴を３段階のレベルで判定し分類することになる。あるいは、ノイズであると判定してもよい。
【００６５】
図１１は、差分データの分布と、閾値との関係を示す概念図である。ここで、閾値としてＴ１，Ｔ２，Ｔ３の３つが示されており、その結果、［０，１，２，３］に４値化されている。また、分類（ラベリング）の結果が図示されており、薄い毛穴、目立つ毛穴、黒ずんだ毛穴、シミに分類されている。
【００６６】
判定処理が終わると、毛穴・シミの検出結果をモニター画面に表示するための表示処理が行われる（Ｓ１２）。この表示例を図１２に拡大図として示す。検出された３段階のレベルの毛穴とシミとを識別できる形で表示している。識別するための表示態様には種々の変形例が考えられ、例えば、色により識別することもできる。毛穴・シミ以外の部分については、撮像カメラにより撮影された通常の顔画像データを用いることができる。すなわち、通常の顔画像データに、画像処理により得られた毛穴・シミの検出結果データを合成して表示することができる。
【００６７】
以上のように、顔画像を画像処理することで、毛穴・シミの検出を効率よく行なうことができる。すなわち、毛穴の検出とシミの検出は、同時に行うことができ効率がよい。
【００６８】
＜別実施形態＞
本実施形態では、差分データに対して４値化を行なっているが、本発明はこれに限定されるものではない。毛穴かシミかの識別をするためには最低２値化を行なえばよい。また、検出すべき毛穴のレベルに応じて、３値化もしくは５値化以上を採用してもよい。例えば、図１１において［１］で示されている領域を更に２段階に分けるための閾値を設定し、薄い毛穴かノイズであるかの識別を行なってもよい。また、シミを更に分類分けできるような閾値を設定してもよい。
【００６９】
本実施形態では、顔領域の設定を平均画素値に基づいて自動的に検索する方法を採用しているが、顔の一部のみの判定を行う場合などには、オペレータがモニター画面の上でマウス等により顔領域を設定するように構成してもよい。顔の一部のみの評価を行えばよい場合には、このように設定することで、画像処理を行う範囲を制限し、画像処理に要する時間を短縮化することができる。また、顔領域を自動的に検索して設定する方法と、オペレータが設定する方法のいずれかを任意に選択できるようにすることが好ましい。
【００７０】
本実施形態において、ヒストグラムの作成及び差分データの演算は青（Ｂ）のカラー画像データを用いて行なっているが、これに限定されるものではない。例えば、シミの検出について、ＲＧＢの平均値を用いて画像処理を行なってもよい。
【図面の簡単な説明】
【００７１】
【図１】顔撮影装置の内部構成を示す横断面図
【図２】顔撮影装置の内部構成を示す縦断面図
【図３】撮影カメラの回転移動機構の詳細構成を示す斜視図
【図４】顔撮影装置及び顔画像解析システムの制御機能を示すブロック図
【図５】毛穴・シミ検出の手順を示すフローチャート
【図６】撮影された顔画像をモニター画面に表示した例を示す図
【図７】中央領域を示す図
【図８】設定された顔領域の例を示す図
【図９】差分データを求めるときの処理を説明するための図
【図１０】クラスターの具体例を示す図
【図１１】差分データの分布と、閾値との関係を示す概念図
【図１２】毛穴・シミの検出結果の表示例を示す図
【符号の説明】
【００７２】
４ 撮影カメラ
２１ モニター
３０ コントローラ
３５ 顔画像データ保存部
３６ 画像処理部（顔画像解析システム）
３６ａ 顔領域設定手段
３６ｂ 差分演算手段
３６ｃ ４値化手段
３６ｄ 領域分類手段
３６ｅ 判定手段
３６ｆ 表示データ生成手段
Ａ 中央領域
Ｅ クラスター
Ｆ 矩形
Ｈ 顔撮影装置
【技術分野】
【０００１】
本発明は、撮像手段により撮影された顔画像データを画像処理することで毛穴・シミの検出を行なう顔画像解析システムに関するものである。
【背景技術】
【０００２】
かかる顔画像解析システムは、美容皮膚科、美容外科、形成外科などにおいて使用されており、顔撮影装置により、定期的に人の顔を撮影することで肌の状態の経時的な変化を観察し、化粧品や肌治療の効果を確認する目的で使用されている（例えば、下記特許文献１）。具体的には、得られた顔画像からシミ・シワ・毛穴・色ムラなどの評価を行なうものであり、さらには、紫外線を使用したポルフィリン・かくれジミなどの評価も行なわれている。このような肌状態の評価を行なうために、撮影された顔画像データを画像処理技術（ソフトウェア）を用いて画像処理を行い、毛穴・シミなどを抽出してモニターに表示させることで種々の評価が行われている。本発明は、特に毛穴・シミを画像処理により抽出する技術に関するものであり、毛穴やシミの大きさなども、肌に塗るファンデーションを適切に選択する上で重要な要素であり、これを正確に抽出する必要がある。
【０００３】
特許文献１では、肌の表面を撮影した画像を構成する各画素の輝度レベルを二次元的に平滑化する平滑化手段と、この平滑化した画像を構成する各画素の輝度レベルと平滑化前の画像の対応する画素の輝度レベルとの差を計算して差分画像を出力する差分計算手段と、差分画像を二値化することで毛穴の画像を得る二値化手段を具備するものである。このような平滑化を行なうことにより、毛穴の画像はシミやそばかすなどにより濃淡と比べてサイズが小さく、平滑化により取り除くことができる。従って、平滑化前後の画像の差分を取ることで、毛穴の画像を抽出しようとするものである。
【０００４】
【特許文献１】特許３２１９５５０号公報（特許請求の範囲、段落０００６）
【発明の開示】
【発明が解決しようとする課題】
【０００５】
上記先行技術においては、毛穴の検出のみを行うのには都合がよいが、毛穴・シミの両方を同時に検出することはできず、シミの検出を行うためには、更に別の手段をとらなければならない。
【０００６】
本発明は上記実情に鑑みてなされたものであり、その課題は、毛穴・シミの両方を画像処理により同時に抽出可能な顔画像解析システムを提供することである。
【課題を解決するための手段】
【０００７】
上記課題を解決するため本発明に係る顔画像解析システムは、
撮像手段により撮影された顔画像データを画像処理することで毛穴・シミの検出を行なう顔画像解析システムであって、
撮影された顔画像データに基づいて顔領域を設定する顔領域設定手段と、
顔領域を構成する各画素について、注目画素を含む所定領域から肌の色に該当する画素値を取得し、この取得された画素値と注目画素の画素値との差分データを演算する差分演算手段と、
演算された差分データを少なくとも１つの閾値によりｎ値化するｎ値化手段と、
ｎ値化された結果に基づき、毛穴・シミが含まれる第１領域と毛穴・シミが含まれない第２領域とに分類する領域分類手段と、
この分類処理により得られた各クラスターを解析して毛穴・シミの判定を行なう判定手段と、を備えていることを特徴とするものである。
【０００８】
かかる顔画像解析システムの作用・効果を説明する。まず、撮影された顔画像データにおいて顔領域を設定する。これは、実際に毛穴・シミを抽出するための画像処理を行う範囲を設定するものであり、例えば、肌を検出するための公知のアルゴリズムを用いて検出してもよいし、画面上で範囲を手動設定するものでもよい。設定された顔領域を構成する各画素について、注目画素を含む所定領域（例えば、注目画素を中心とする所定の大きさの正方形領域）から肌の色に該当する画素値を取得し、この画素値と注目画素の画素値との差分データを演算する。この差分データにより、その注目画素が通常の肌の部分であるのか、毛穴やシミであるのかを判断することができる。そこで、演算された差分データを少なくとも１つの閾値によりｎ値化する（ｎは２以上の正の整数）。例えば、差分データが設定された最も小さな値の閾値よりも小さければ、その画素は毛穴・シミ以外の部分であり、差分データが上記閾値よりも大きければ毛穴・シミの可能性が高いと考えられる。そして、ｎ値化された結果に基づき、毛穴・シミが含まれる第１領域と、毛穴・シミが含まれない第２領域とに領域を分類する。この第１領域は、多数のクラスター（小さな領域）の集合体として構成され、各クラスターを解析することで、毛穴・シミの判定を行なうことができる。例えば、クラスターの形状、クラスターを囲む矩形の大きさ、縦横比などに基づいて、毛穴やシミの判定を行なうことができる。その結果、毛穴・シミの両方を画像処理により同時に抽出可能な顔画像解析システムを提供することができる。
【０００９】
本発明に係る判定手段は、前記クラスターを囲む矩形の大きさに基づいて当該クラスターがシミであるか否かの判定を行なうことが好ましい。
【００１０】
シミの場合は、毛穴に比較して大きさも大きいのが一般的であり、クラスターを囲む矩形の大きさからシミであるか否かの判定を行なうことができる。
【００１１】
本発明に係る判定手段は、前記クラスターを囲む矩形の縦横比に基づいて、当該クラスターが毛穴であるか否かの判定を行なうことが好ましい。
【００１２】
毛穴の形状は小さな円形であることが多いため、クラスターを囲む矩形の縦横比（円形であれば、１に近くなる）に基づいて、形状的にシミとの区別をすることができる。これにより、毛穴かシミかの区別を行なうことができる。
【００１３】
本発明に係るｎ値化手段は、差分データを３値化もしくは４値化するものであり、第１領域が複数レベルの画素値を有する画素群として表されるように前記領域分類手段により分類処理を行い、
前記判定手段は、各クラスターを構成する各レベルの画素値の存在割合に基づいて、毛穴のレベルを判定することが好ましい。
【００１４】
例えば、４値化することで、［０，１，２，３］の４つのレベルの画素値に区分することができる。かかる場合、第１領域は［１，２，３］の３つのレベルの画素で構成され、第２領域は［０］の画素で構成される。毛穴にも目立つ毛穴や黒ずんだ毛穴などレベルが存在し、これらレベルに応じた毛穴の検出が必要となる場合がある。そこで、上記のように第１領域を分類し、［１，２，３］の存在割合を解析することで、毛穴のレベルを判定することができる。
【００１５】
本発明に係る顔領域設定手段は、前記顔画像データの中の特定の領域を選択することで設定するものであることが好ましい。例えば、顔領域の全体を評価するのではなく、一部のみを評価すればよいケースもある。かかる場合は、特定の領域を選択できるようにすることで、画像処理に要する時間を短縮化し、効率よく評価を行なうことができる。
【００１６】
本発明に係る顔領域設定手段は、前記顔画像データの中央領域に含まれる画素群の平均画素値を取得し、この平均画素値と同じ画素値か近傍の画素値を前記中央領域及びその周辺領域から検索することにより顔領域を設定するものであることが好ましい。
【００１７】
かかる構成によれば、まず、撮影された顔画像データの中央領域に含まれる画素群の平均画素値を取得する。中央領域とは、例えば、画像全体の１／４程度の大きさに設定されるものである。かかる顔画像を撮影する場合、通常は画面いっぱいに顔画像が入るように撮影するので、上記のように中央領域を設定すれば、その領域には顔の主要な領域が含まれていると考えられる。そして、この中央領域の平均画素値は、肌の色を表しているものと推定されるので、この平均画素値と同じか近傍の画素値を有する画素を検索することで、顔画像データの全体から顔領域のみを抽出することができる。
【００１８】
本発明において、前記注目画素を含む所定領域について作成されたヒストグラムに基づいて、最大頻度を有する画素値を前記肌の色に該当する画素値として取得する手段を有することが好ましい。
【００１９】
注目画素を含む所定領域を適切に設定すれば、毛穴・シミ以外の肌の色を表す画素が最も多く含まれるものと考えられる。そこで、上記のように所定領域についてヒストグラムを作成し、最大頻度を有する画素値を取得する。この画素値は肌の色を表すデータとして、信頼性の高いものであり、これにより、毛穴・シミの検出精度も高めることができる。
【００２０】
本発明において、前記ヒストグラムは、カラー画像データを構成する青色の画像データを用いることが好ましい。
【００２１】
シミが存在すると、ＲＧＢの画像データのうち、特にＢ（青）の画素値が低下することが分かった。また、毛穴の場合はＲＧＢの画素値が全体的に低下する。従って、青の画像データを用いて画像処理を行うことで、毛穴・シミの検出精度を高めることができる。
【発明を実施するための最良の形態】
【００２２】
本発明に係る顔画像解析システムの好適な実施形態を図面を用いて説明する。図１は、顔画像解析システムにおいて用いられる顔撮影装置の内部構成を示す横断面図を示し、図２は、図１に示す顔撮影装置の縦断面図である。図３は、撮影カメラの回転移動機構の詳細を示す図である。
【００２３】
この顔撮影装置Ａは、美容皮膚科、美容外科、形成外科などにおいて使用されている。定期的あるいは適度な期間を開けて人の顔を撮影することで肌の状態の経時的な変化を観察し、化粧品や肌治療の効果を確認する目的で使用される。この装置は、得られた顔画像から毛穴・シミ・シワ・色ムラなどの評価を行なう機能を有し、さらには、紫外線を使用したポルフィリン・かくれジミなどの評価を行なうこともできる。なお、本発明は、特に毛穴・シミの検出に関するものであるので、以下の説明においても毛穴・シミの検出に限定して行なうものとする。
【００２４】
＜顔撮影装置の構成＞
図１において、顔撮影装置Ｈは、略立方体形状の筐体１を備えており、顔の撮影を行う時は筐体１内の所定箇所に顔を保持させた状態で行い、室内光などが筐体１内部に侵入しにくいような構造が採用されている。筐体１の正面には開口部１ａが形成されており、ここから顔を挿入させる。人の顔を所定位置に保持するための顔保持手段として、あご載せ台２と額押さえ３が設けられている。あご載せ台２と額押さえ３は、人の顔の大きさや形状などに対応できるように手動で位置調整ができるように構成されている。開口部１ａからの外光進入を防止するためにカーテン１ｂが設けられる。なお、上記顔保持手段が必ずしも必要ではない。
【００２５】
顔を撮影するための撮影手段として撮影カメラ４が設けられており、カメラ支持体５に保持されている。図１に示すように、撮影カメラ４による顔の撮影位置は、正面位置Ｐ０と左右の側面位置Ｐ１，Ｐ２の３箇所が設定されている。正面位置Ｐ０は、ちょうど撮影カメラ４が顔と向かい合う位置であり、側面位置Ｐ１，Ｐ２は正面位置Ｐ０に対して４５゜に設定された位置である。ただし、この４５゜という角度については、この数値に限定されるものではなく、他の角度に設定してもよく、また、側面位置Ｐ１，Ｐ２も２箇所だけでなく、更に多くの側面位置が設定されていてもよい。例えば、３０゜，４５゜，６０゜，７５゜に設定されていてもよい。Ｐ３は、後述する移動機構によって撮影カメラ４が回転移動する軌跡を示している。
【００２６】
撮影カメラ４は、デジタルカメラが使用されるが、どのようなタイプのものを使用してもよい。必要に応じてビデオ機能を有するものを使用してもよく、静止画像を撮影可能なビデオカメラを使用してもよい。
【００２７】
このように、複数個所での顔画像を撮影するために、撮影カメラ４は顔位置を中心として回転移動できるように構成されている。撮影カメラ４の回転中心Ｂは、あご載せ台２の位置に設定されている。
【００２８】
顔を照明するための光源８が筐体１内の複数個所に配置されている。光源８は、顔の位置を中心として円周方向に沿って顔に面するように配置されていると共に、図２に示すように、上方及び下方にも複数個所に配置される。光源８には、可視光を照射する光源と紫外線を照射するブラックライトがあり、目的に応じて使い分けもしくは両方が使用される。可視光を照射する光源８は、ハロゲンランプ、蛍光灯、ＬＥＤ、フラッシュ光源など適宜のものを使用することができる。光源８として、フラッシュ光源を使用してもよい。
【００２９】
光源８から照射される光を均一に拡散するための拡散板９が光源８と顔の間に配置される。拡散板９は、図１に示す横断面形状は円弧形状（半円形状）である。図２に示すように、拡散板９は、顔の正面だけでなく天井部と底面部にも配置されており、従って、この拡散板９により顔が包囲されるような形態となる。なお、拡散板９は、半円形でなくてもよく、多角形、楕円形状を呈していてもよい。撮影カメラ４は、拡散板９の背後側に移動することになるため、正面位置Ｐ０と側面位置Ｐ１，Ｐ２において撮影を可能にするため矩形の開口部９ａが形成される。
【００３０】
制御装置２０は、顔撮影装置Ｈの動作を制御する機能と、撮影カメラ４により撮影された顔画像に関する画像処理を行う機能を有する。モニター２１には、撮影された顔画像が表示される。キーボード２２は、顔撮影装置Ｈに対する種々の動作指令入力や画像処理を行なうための種々の動作指令やデータ入力などを行なう。制御装置２０、モニター２１、キーボード２２は、汎用のコンピュータ（パソコン）により構成してもよい。
【００３１】
＜カメラ回転移動機構＞
次に、撮影カメラ４の回転移動機構の詳細を図３により説明する。回転中心Ｂには駆動モータ１０と駆動軸１１が設けられており、この駆動軸１１にアーム１２が連結される。アーム１２の先端部１２ａに２本の連結軸１３が垂直方向に植設され、この連結軸１３の上部先端にカメラ支持体５が結合される。カメラ支持体５は、側面視で略コの字形状を有しており、コの字形状の内側に撮影カメラ４が配置される。
【００３２】
アーム１２の先端側の裏面には、ローラ支持体１４がアーム先端部１２ａに対して垂直方向を軸として回転自在に取り付けられており、ローラ１５が回転自在に保持されている。このローラ１５は、筐体１の底面に接地するように構成され、これにより、撮影カメラ４をスムーズに回転移動させることができる。なお、撮影カメラ４の回転移動機構については、本実施形態に限定されるものではなく、種々の変形例が考えられる。
【００３３】
＜制御関係＞
次に、顔撮影装置Ｈ及び顔画像解析システムの主要な制御機能について図４の制御ブロック図により説明する。コントローラ３０は、顔撮影装置Ｈを統括的に制御する機能を提供するものであり、ＣＰＵ、メモリ、その他の必要なプログラム等により構成される。照明制御部３１は、光源８の点灯・消灯制御を行なう。光源８は、顔画像の撮影を行う時に点灯される。可視光と紫外線を使い分ける場合に、そのいずれを点灯させるのか、あるいは両方を点灯させるのかについての制御も行われる。
【００３４】
カメラ位置制御部３２は、撮影カメラ４を正面位置Ｐ０，側面位置Ｐ１，Ｐ２の各位置に停止させるための移動制御を行うものであり、駆動モータ１０に対する動作指令を行なう。撮影カメラ４を所定の位置に停止させるために、カメラ位置センサー３３が設けられている。カメラ位置センサー３３としては、上記３つの撮影位置を検出するためのセンサーが設けられており、例えば、アーム１２の位置を光センサーやマイクロスイッチなどにより検出するように構成できる。
【００３５】
また、上記３つの撮影位置だけではなく、それらの中間的な位置も検出することができるようにしている。例えば、駆動モータ１０に連動して回転するエンコーダからの信号や、駆動モータ１０（パルスモータ）へ供給する駆動パルスのカウント値などに基づいて、細かいステップで撮影カメラ４の位置を検出することができる。従って、撮影カメラ４が移動可能な全範囲について位置検出を行なうことができる。
【００３６】
カメラ制御部３４は、撮影カメラ４の動作を制御するものであり、具体的にはシャッターを切ることで顔画像の撮影を行う。顔画像の撮影は、正面位置Ｐ０，側面位置Ｐ１，Ｐ２の３箇所において夫々行なわれる。撮影カメラ４の位置の微調整の必要がある場合は、微調整が完了した後に撮影が行われる。
【００３７】
顔画像データ保存部３５は、撮影カメラ４により撮影された顔画像データが保存される。顔画像データは、デジタルのカラー画像データであり、ＪＰＥＧ等の適宜のファイル形式で保存される。顔画像データは、正面画像・左右側面画像ごとに保存され、人物を特定する人物ＩＤ（識別情報）・撮影年月日と共に保存される。
【００３８】
＜顔画像解析システムの構成＞
画像処理部３６は、取得された顔画像データに対する画像処理を行い、毛穴・シミの検出を行なう機能を有するものであり、ソフトウェアもしくはソフトウェアとハードウェアの組み合わせにより構成することができる。画像処理部３６は、本発明に係る顔画像解析システムの中核をなす部分である。
【００３９】
顔領域設定手段３６ａは、撮影カメラ４により撮影された顔画像データの中に含まれる顔領域の設定を行う機能を有する。顔領域とは、顔の中でも特に人の肌の領域を指すものであり、肌の評価には関係のない、鼻の穴、眉毛、目、口などは除かれる。顔領域の設定は、オペレータがモニター２１の画面を見ながらマウス等で設定する場合と、自動的に設定する場合とがある。本発明は、いずれの方法を採用してもよく、機能的には両方備えていることが好ましい。
【００４０】
差分演算手段３６ｂは、顔領域が設定された後に、顔領域を構成する各画素について、注目画素を含む所定領域について作成されたヒストグラムに基づいて、最大頻度を有する画素値を取得し、この取得された画素値と注目画素の画素値との差分データを演算する機能、を有している。この機能に基づいて、通常の肌の色と肌と毛穴・シミとの色の差を演算し、後述するように、毛穴であるかシミであるかの判定を行なうものである。
【００４１】
４値化手段３６ｃは、差分演算手段３６ｂにより演算された差分データを３つの閾値により４値化する機能を有する。この機能に基づいて、差分データを［０，１，２，３］の４種類にレベル分けを行なう。
【００４２】
領域分類手段３６ｄは、４値化された結果に基づき、差分データを毛穴・シミが含まれる第１領域［１，２，３］と、毛穴・シミが含まれない第２領域［０］とに分類する。第２領域は、通常の肌の領域を表すものであり、第１領域は、毛穴もしくはシミにより構成されるものと推定される領域である。第１領域は、実際には多数のクラスター（面積の小さな小領域）の集合体として構成される。
【００４３】
判定手段３６ｅは、領域分類手段３６ｄにより得られた各クラスターに対する解析を行なって毛穴であるかシミであるかの判定処理を行う。各機能の詳細については、具体的な顔画像を用いながら説明する。
【００４４】
表示データ生成手段３６ｆは、画像処理の結果得られた画像をモニター２１に表示するためのデータを生成する。また、画像処理の結果得られた画像についても、適宜顔画像データ保存部３５に保存させることができる。
【００４５】
＜画像処理手順＞
次に、顔画像を撮影してから毛穴・シミの検出を行なってモニター１２に表示させるまでの手順を説明する。図５は、処理手順の概要を示すフローチャートである。
【００４６】
まず、顔画像の撮影を行う（Ｓ１）。撮影される顔画像は、正面画像、左右の側面画像の３種類であるが、説明の便宜上、正面画像についてのみの説明を行なう。撮影カメラ４により撮影された顔画像データは、顔画像データ保存部３５に保存される（Ｓ２）。また、撮影された顔画像は、モニター２１に映し出すことができる（図６参照）。撮影カメラ４で撮影を行う場合には、できるだけ画面いっぱいに顔が入るように撮影される。
【００４７】
次に顔領域の設定を行う。顔画像データには、顔ではない領域や、顔領域内部であっても毛穴・シミの評価対象には関係のない領域が含まれている。そこで、画像処理を効率よく行なうために、顔領域の設定を行うようにしている（Ｓ３）。
【００４８】
そこで、まず、画面の中央領域Ａの矩形に含まれる画素群の平均画素値を取得する（Ｓ３０）。この中央領域Ａは、予め設定されている領域であり、画像サイズに対して縦１／４、横１／４程度の大きさに設定されている。顔画像は画面いっぱいになるように撮影されることから、この範囲には顔の中央部分が含まれているものと推定される。なお、中央領域Ａを表す矩形をモニター画面にも表示させてオペレータが確認できるように構成してもよい。また、必要に応じて中央領域Ａの位置や大きさを変更できるように構成してもよい。なお、上記の平均画素値は、例えば、カラー画像データを構成するＲＧＢの平均値により取得することができる。
【００４９】
上記のように得られた平均画素値は、肌の色を表しているものと推定される。次に、この平均画素値に対して所定の範囲内にある画素値を有する画素を検索する（Ｓ３１）。例えば、平均画素値に対して±５％の範囲内にある画素を抽出する。検索する範囲は、上記の中央領域Ａ内のほかに、中央領域Ａの外側の領域である。検出された画素群を顔領域として設定し（Ｓ３２）、この顔領域内について、毛穴・シミを検出するための画像処理を行なう。設定された顔領域を図８に模式的に示す。顔の輪郭以外の領域（背景など）や、顔の内部であっても、口・鼻の穴・目・眉毛などは毛穴・シミの検出には関係しない領域であり、顔領域から除外される。
【００５０】
顔領域が設定されると、顔領域内の各画素について、次のようなスキャニングを行なう。すなわち、注目画素を中心として所定領域の範囲のヒストグラムを作成する（Ｓ４）。ヒストグラムは、カラー画像データを構成するＲＧＢの各データのうち、青の画像データを用いて行なう。これは、シミが生じた場合、青の成分が大きく低下するためである。毛穴の場合は、ＲＧＢがほぼ同じ程度で低下するので、どの成分を用いても精度的には問題がない。
【００５１】
作成されたヒストグラムを図９に概念的に示す。注目画素Ｂを中心として、矩形（正方形あるいは長方形）の所定領域Ｃが設定される。この所定領域Ｃの大きさは、例えば、１０００万画素クラスの撮像カメラであれば、５１画素×５１画素の大きさに設定されるが、この所定領域Ｃの設定については、ＣＣＤ等の撮像素子の画素数などに応じて、適宜行なうことができるものである。
【００５２】
従って、ヒストグラムは上記の例では５１×５１＝２６０１画素について作成されるものであり、例えば、図９（ｂ）に示される。このヒストグラムから、最大頻度を有する画素値（青の画像データ）を取得する（Ｓ５）。この画素値はＤで示されている。次に、この最大頻度を有する画素値Ｄから注目画素Ｂの画素値を引いた差分データ（青の画像データについての差分データ）を演算する（Ｓ６）。最大頻度を有する画素値Ｄは通常は毛穴・シミではない肌の色を表すものであり、注目画素Ｂが同じく毛穴・シミではない肌の部分に相当すれば、差分データは０になる。
【００５３】
また、毛穴・シミなどがあると、輝度が暗くなる方向になるので、差分データを演算すると、正の値となる。差分データの大きさに応じて、シミであるのか毛穴であるのか、又、どの程度のレベルの毛穴であるのかを判定できるようになる。また、差分データがマイナスになった場合は０にする。これは、照明光源の関係で顔領域全体が均一な照度で照明されているわけではないので、そのバラツキを考慮するためである。
【００５４】
なお、上記において最大頻度ではなく、平均値により取得してもよい。ただし、最大頻度を用いるのは、仮に平均値を取った場合、特に濃い大きなシミが存在した場合、平均値では値が低下してしまい、精度のよい毛穴・シミの検出が行なえなくなる可能性がある。
【００５５】
差分データを演算すると、顔領域内の全ての画素についてスキャニングが終了したかどうかを判定し（Ｓ７）、終了していなければ、ステップＳ４に戻り、次の注目画素について同様の演算を繰り返す。
【００５６】
顔領域の全体にわたってスキャニングが終了すると、差分データを３つの閾値により４値化する（Ｓ８）。具体的には、差分データを［０，１，２，３］の４種類にレベル分けを行なうものであり、毛穴・シミが含まれる第１領域［１，２，３］と、毛穴・シミが含まれない第２領域［０］とに分類する（Ｓ９）。これは、いわゆるラベリングと呼ばれている処理である。このように２つの領域に分類すると、顔領域は、普通の肌の領域である第２領域［０］と、多数のクラスター（小領域）の集合体である第１領域［１，２，３］とに分けられる。
【００５７】
なお、演算の都合上、［１］と分類された画素は［１］のみを有する画素であるが、［２］と分類された画素は［１］［２］の２つの値を有する画素とし、［３］と分類された画素は［１］［３］の２つの値を有する画素として扱う。
【００５８】
図１０は、上記のように分類されたクラスターＥの状況を示す図であり、顔画像の一部を拡大表示したものである。クラスターＥは、上記の［１，２，３］で表される画素群が一塊となった小領域を表すものである。各クラスターＥ内に含まれる画素は［１］または［２］または［３］のいずれかに分類されている。これらの［１，２，３］の個数やクラスターの形状に基づいて、毛穴・シミの判定が行なわれる（Ｓ１１）。
【００５９】
まず、シミの検出は、クラスターＥの形状に基づいて判定することができる。通常、シミの大きさは毛穴よりも大きくなっており、所定の形状を有しているものと判定可能であるからである。具体的には。図１０に示すように、クラスターＥを囲む矩形Ｆを設定する。この矩形Ｆの４辺にクラスターＥの外形が接するように矩形Ｆを設定する。そして、この矩形Ｆの２辺ｘ，ｙの長さに基づいて、シミであるか否かの判定が行なわれる。すなわち、矩形Ｆの一辺（ｘもしくはｙ）が１５画素以上であれば、そのクラスターＥはシミであると判定する。なお、判定基準である１５画素という設定については、適宜変更可能である。この矩形Ｆの設定は、全クラスターＥについて行なわれる。
【００６０】
次に、毛穴の検出について説明する。まず、上記のように矩形Ｆを設定し、縦横比が１：０．６５以上であれば毛穴であると判定する。毛穴の形状は、円形に近いものと推定できるので、上記のような比率以上に正方形に近いものは、毛穴であると判定することができる。
【００６１】
そして、更に、毛穴については、目立つ毛穴と黒ずんだ毛穴の２段階のレベルに細かく分類をする。目立つ毛穴（大きな毛穴）であるか否かの判定は、［２］が割り当てられた画素の画素数を［１］が割り当てられた画素の画素数で割った値が０．３以上であれば目立つ毛穴であると判定する。０．３未満であれば、薄い毛穴であると判定する。ここで、［１］が割り当てられた画素の画素数は、前述のルールに従い、［１］のみが割り当てられた画素の画素数と［２］が割り当てられた画素の画素数を加算した数値になる。
【００６２】
黒ずんだ毛穴であるか否かの判定は、［３］が割り当てられた画素の画素数を［１］が割り当てられた画素の画素数で割った値が０．５以上であれば黒ずんだ毛穴であると判定する。０．５未満であれば、薄い毛穴であると判定する。ここで、［１］が割り当てられた画素の画素数は、前述のルールに従い、［１］のみが割り当てられた画素の画素数と［３］が割り当てられた画素の画素数を加算した数値になる。
【００６３】
上記において、０．３や０．５という閾値については、適宜変更することができる。
【００６４】
なお、縦横比が１：０．６５以上の正方形に近いクラスターについて、［２］［３］の画素がなく［１］のみの画素で構成される場合、薄い毛穴（小さな毛穴）であるとして判定してもよい。この場合は、毛穴を３段階のレベルで判定し分類することになる。あるいは、ノイズであると判定してもよい。
【００６５】
図１１は、差分データの分布と、閾値との関係を示す概念図である。ここで、閾値としてＴ１，Ｔ２，Ｔ３の３つが示されており、その結果、［０，１，２，３］に４値化されている。また、分類（ラベリング）の結果が図示されており、薄い毛穴、目立つ毛穴、黒ずんだ毛穴、シミに分類されている。
【００６６】
判定処理が終わると、毛穴・シミの検出結果をモニター画面に表示するための表示処理が行われる（Ｓ１２）。この表示例を図１２に拡大図として示す。検出された３段階のレベルの毛穴とシミとを識別できる形で表示している。識別するための表示態様には種々の変形例が考えられ、例えば、色により識別することもできる。毛穴・シミ以外の部分については、撮像カメラにより撮影された通常の顔画像データを用いることができる。すなわち、通常の顔画像データに、画像処理により得られた毛穴・シミの検出結果データを合成して表示することができる。
【００６７】
以上のように、顔画像を画像処理することで、毛穴・シミの検出を効率よく行なうことができる。すなわち、毛穴の検出とシミの検出は、同時に行うことができ効率がよい。
【００６８】
＜別実施形態＞
本実施形態では、差分データに対して４値化を行なっているが、本発明はこれに限定されるものではない。毛穴かシミかの識別をするためには最低２値化を行なえばよい。また、検出すべき毛穴のレベルに応じて、３値化もしくは５値化以上を採用してもよい。例えば、図１１において［１］で示されている領域を更に２段階に分けるための閾値を設定し、薄い毛穴かノイズであるかの識別を行なってもよい。また、シミを更に分類分けできるような閾値を設定してもよい。
【００６９】
本実施形態では、顔領域の設定を平均画素値に基づいて自動的に検索する方法を採用しているが、顔の一部のみの判定を行う場合などには、オペレータがモニター画面の上でマウス等により顔領域を設定するように構成してもよい。顔の一部のみの評価を行えばよい場合には、このように設定することで、画像処理を行う範囲を制限し、画像処理に要する時間を短縮化することができる。また、顔領域を自動的に検索して設定する方法と、オペレータが設定する方法のいずれかを任意に選択できるようにすることが好ましい。
【００７０】
本実施形態において、ヒストグラムの作成及び差分データの演算は青（Ｂ）のカラー画像データを用いて行なっているが、これに限定されるものではない。例えば、シミの検出について、ＲＧＢの平均値を用いて画像処理を行なってもよい。
【図面の簡単な説明】
【００７１】
【図１】顔撮影装置の内部構成を示す横断面図
【図２】顔撮影装置の内部構成を示す縦断面図
【図３】撮影カメラの回転移動機構の詳細構成を示す斜視図
【図４】顔撮影装置及び顔画像解析システムの制御機能を示すブロック図
【図５】毛穴・シミ検出の手順を示すフローチャート
【図６】撮影された顔画像をモニター画面に表示した例を示す図
【図７】中央領域を示す図
【図８】設定された顔領域の例を示す図
【図９】差分データを求めるときの処理を説明するための図
【図１０】クラスターの具体例を示す図
【図１１】差分データの分布と、閾値との関係を示す概念図
【図１２】毛穴・シミの検出結果の表示例を示す図
【符号の説明】
【００７２】
４ 撮影カメラ
２１ モニター
３０ コントローラ
３５ 顔画像データ保存部
３６ 画像処理部（顔画像解析システム）
３６ａ 顔領域設定手段
３６ｂ 差分演算手段
３６ｃ ４値化手段
３６ｄ 領域分類手段
３６ｅ 判定手段
３６ｆ 表示データ生成手段
Ａ 中央領域
Ｅ クラスター
Ｆ 矩形
Ｈ 顔撮影装置
【特許請求の範囲】
【請求項１】
撮像手段により撮影された顔画像データを画像処理することで毛穴・シミの検出を行なう顔画像解析システムであって、
撮影された顔画像データに基づいて顔領域を設定する顔領域設定手段と、
顔領域を構成する各画素について、注目画素を含む所定領域から肌の色に該当する画素値を取得し、この取得された画素値と注目画素の画素値との差分データを演算する差分演算手段と、
演算された差分データを少なくとも１つの閾値によりｎ値化するｎ値化手段と、
ｎ値化された結果に基づき、毛穴・シミが含まれる第１領域と毛穴・シミが含まれない第２領域とに分類する領域分類手段と、
この分類処理により得られた各クラスターを解析して毛穴・シミの判定を行なう判定手段と、を備えていることを特徴とする顔画像解析システム。
【請求項２】
前記判定手段は、前記クラスターを囲む矩形の大きさに基づいて当該クラスターがシミであるか否かの判定を行なうことを特徴とする請求項１に記載の顔画像解析システム。
【請求項３】
前記判定手段は、前記クラスターを囲む矩形の縦横比に基づいて、当該クラスターが毛穴であるか否かの判定を行なうことを特徴とする請求項１又は２に記載の顔画像解析システム。
【請求項４】
前記ｎ値化手段は、差分データを３値化もしくは４値化するものであり、第２領域が複数レベルの画素値を有する画素群として表されるように前記領域分類手段により分類処理を行い、
前記判定手段は、各クラスターを構成する各レベルの画素値の存在割合に基づいて、毛穴のレベルを判定することを特徴とする請求項１〜３のいずれか１項に記載の顔画像解析システム。
【請求項５】
前記顔領域設定手段は、前記顔画像データの中の特定の領域を選択することで設定するものであることを特徴とする請求項１〜４のいずれか１項に記載の顔画像解析システム。
【請求項６】
前記顔領域設定手段は、前記顔画像データの中央領域に含まれる画素群の平均画素値を取得し、この平均画素値と同じ画素値か近傍の画素値を前記中央領域及びその周辺領域から検索することにより顔領域を設定するものであることを特徴とする請求項１〜４のいずれか１項に記載の顔画像解析システム。
【請求項７】
前記注目画素を含む所定領域について作成されたヒストグラムに基づいて、最大頻度を有する画素値を前記肌の色に該当する画素値として取得する手段を有することを特徴とする請求項１〜６のいずれか１項に記載の顔画像解析システム。
【請求項８】
前記ヒストグラムは、カラー画像データを構成する青色の画像データを用いることを特徴とする請求項７に記載の顔画像解析システム。
【請求項１】
撮像手段により撮影された顔画像データを画像処理することで毛穴・シミの検出を行なう顔画像解析システムであって、
撮影された顔画像データに基づいて顔領域を設定する顔領域設定手段と、
顔領域を構成する各画素について、注目画素を含む所定領域から肌の色に該当する画素値を取得し、この取得された画素値と注目画素の画素値との差分データを演算する差分演算手段と、
演算された差分データを少なくとも１つの閾値によりｎ値化するｎ値化手段と、
ｎ値化された結果に基づき、毛穴・シミが含まれる第１領域と毛穴・シミが含まれない第２領域とに分類する領域分類手段と、
この分類処理により得られた各クラスターを解析して毛穴・シミの判定を行なう判定手段と、を備えていることを特徴とする顔画像解析システム。
【請求項２】
前記判定手段は、前記クラスターを囲む矩形の大きさに基づいて当該クラスターがシミであるか否かの判定を行なうことを特徴とする請求項１に記載の顔画像解析システム。
【請求項３】
前記判定手段は、前記クラスターを囲む矩形の縦横比に基づいて、当該クラスターが毛穴であるか否かの判定を行なうことを特徴とする請求項１又は２に記載の顔画像解析システム。
【請求項４】
前記ｎ値化手段は、差分データを３値化もしくは４値化するものであり、第２領域が複数レベルの画素値を有する画素群として表されるように前記領域分類手段により分類処理を行い、
前記判定手段は、各クラスターを構成する各レベルの画素値の存在割合に基づいて、毛穴のレベルを判定することを特徴とする請求項１〜３のいずれか１項に記載の顔画像解析システム。
【請求項５】
前記顔領域設定手段は、前記顔画像データの中の特定の領域を選択することで設定するものであることを特徴とする請求項１〜４のいずれか１項に記載の顔画像解析システム。
【請求項６】
前記顔領域設定手段は、前記顔画像データの中央領域に含まれる画素群の平均画素値を取得し、この平均画素値と同じ画素値か近傍の画素値を前記中央領域及びその周辺領域から検索することにより顔領域を設定するものであることを特徴とする請求項１〜４のいずれか１項に記載の顔画像解析システム。
【請求項７】
前記注目画素を含む所定領域について作成されたヒストグラムに基づいて、最大頻度を有する画素値を前記肌の色に該当する画素値として取得する手段を有することを特徴とする請求項１〜６のいずれか１項に記載の顔画像解析システム。
【請求項８】
前記ヒストグラムは、カラー画像データを構成する青色の画像データを用いることを特徴とする請求項７に記載の顔画像解析システム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【公開番号】特開２００８−２９３３２５（Ｐ２００８−２９３３２５Ａ）
【公開日】平成２０年１２月４日（２００８．１２．４）
【国際特許分類】
【出願番号】特願２００７−１３９０６１（Ｐ２００７−１３９０６１）
【出願日】平成１９年５月２５日（２００７．５．２５）
【出願人】（０００１３５３１３）ノーリツ鋼機株式会社 (1,824)
【Ｆターム（参考）】
【公開日】平成２０年１２月４日（２００８．１２．４）
【国際特許分類】
【出願日】平成１９年５月２５日（２００７．５．２５）
【出願人】（０００１３５３１３）ノーリツ鋼機株式会社 (1,824)
【Ｆターム（参考）】
[ Back to top ]