顔撮影装置
【課題】顔の表面温度の違いにも関わらず、撮影された顔画像データに基づいて精度のよい肌の評価を行うことが可能な顔撮影装置を提供する。
【解決手段】顔画像を撮影するための撮像カメラ４と、顔表面の温度分布データを計測するためのサーモグラフィ６と、撮像カメラ４により撮影された顔画像データを用いて肌診断のための演算処理を行う演算手段と、サーモグラフィ６による計測結果に基づいて、演算処理を行う際の演算内容を補正する補正処理手段３６ｆと、を備えた。
【解決手段】顔画像を撮影するための撮像カメラ４と、顔表面の温度分布データを計測するためのサーモグラフィ６と、撮像カメラ４により撮影された顔画像データを用いて肌診断のための演算処理を行う演算手段と、サーモグラフィ６による計測結果に基づいて、演算処理を行う際の演算内容を補正する補正処理手段３６ｆと、を備えた。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像手段により撮影された顔画像データを用いて肌の状態を評価するための顔撮影装置に関するものである。
【背景技術】
【０００２】
かかる顔画像装置は、美容皮膚科、美容外科、形成外科などにおいて使用されており、顔撮影装置により、定期的に人の顔を撮影することで肌の状態の経時的な変化を観察し、化粧品や肌治療の効果を確認する目的で使用されている（例えば、下記特許文献１）。具体的には、得られた顔画像からシミ・シワ・毛穴・色ムラなどの評価を行なうものであり、さらには、紫外線を使用したポルフィリン・かくれジミなどの評価も行なわれている。このような肌状態の評価を行なうために、以前に撮影した顔画像と今回撮影した顔画像とを画像処理技術（ソフトウェア）を用いて比較することが行なわれている。従って、以前の顔画像と現在の顔画像が同じ条件で撮影されている必要がある。
【０００３】
【特許文献１】特許３２１９５５０号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、以前に撮影したときの顔の表面温度（温度分布）が現在の顔の表面温度と異なっていると、正確な肌状態の評価を行なうことができない場合がある。例えば、気温が寒いときには毛穴は閉じて、暖かいときには毛穴は開く傾向にある。これは、汗をかいているときなどにも同じような傾向がある。従って、顔画像データから毛穴の大きさを計測して肌状態の評価を行おうとする場合、前回と今回とで顔の表面温度が異なっていると、正確な診断が行なえない可能性がある。
【０００５】
本発明は上記実情に鑑みてなされたものであり、その課題は、顔の表面温度の違いにも関わらず、撮影された顔画像データに基づいて精度のよい肌の評価を行うことが可能な顔撮影装置を提供することである。
【課題を解決するための手段】
【０００６】
上記課題を解決するため本発明に係る顔撮影装置は、
顔画像を撮影するための撮像手段と、
顔表面の温度分布データを計測するための温度計測手段と、
撮像手段により撮影された顔画像データを用いて肌診断のための演算処理を行う演算手段と、
温度計測手段による計測結果に基づいて、前記演算処理を行う際の演算内容を補正する補正処理手段と、を備えたことを特徴とするものである。
【０００７】
かかる構成による顔撮影装置の作用・効果を説明する。顔画像を撮影するための撮像手段と、顔表面の温度分布データを計測するための温度計測手段が設けられている。撮像手段により撮影された顔画像データを用いて、例えば、画像処理などの手法を用いることで、肌診断のための演算処理が行なわれる。この演算処理を行うに際して、温度計測手段による計測結果に基づいて、演算内容の補正が行なわれるので、顔の表面温度の違いを補正して、精度のよい肌の診断を行なうことが可能になる。その結果、顔の表面温度の違いにも関わらず、撮影された顔画像データに基づいて精度のよい肌の評価を行うことが可能な顔撮影装置を提供することができる。
【０００８】
本発明に係る前記演算処理は、毛穴の大きさを閾値に基づいて判定するための処理を含んでおり、前記補正データ生成手段は、閾値を設定変更するものであることが好ましい。
【０００９】
毛穴を大きさを判定する場合には、閾値を設定し、所定の大きさよりも大きな毛穴か否かの判定を行なうことができるが、表面温度が変わると、毛穴そのものの大きさが温度に応じて変化する。従って、表面温度の値に基づいて、適切な閾値が設定されるように補正することで、精度のよい肌の診断を行なうことができる。
【発明を実施するための最良の形態】
【００１０】
本発明に係る顔撮影装置の好適な実施形態を図面を用いて説明する。図１は、顔撮影装置の内部構成を示す横断面図を示し、図２は、図１に示す顔撮影装置の縦断面図である。
【００１１】
この顔撮影装置Ｈは、美容皮膚科、美容外科、形成外科などにおいて使用されている。定期的あるいは適度な期間を空けて人の顔を撮影することで肌の状態の経時的な変化を観察し、化粧品や肌治療の効果を確認する目的で使用される。この装置は、得られた顔画像からシミ・シワ・毛穴・色ムラなどの評価を行なう機能を有し、さらには、紫外線を使用したポルフィリン・かくれジミなどの評価を行なうこともできる。
【００１２】
図１において、顔撮影装置Ｈは、略立方体形状の筐体１を備えており、顔の撮影を行う時は筐体１内の所定箇所に顔を保持させた状態で行い、室内光などが筐体１内部に侵入しにくいような構造が採用されている。筐体１の正面には開口部１ａが形成されており、ここから顔を挿入させる。開口部１ａからの外光進入を防止するためにカーテン１ｂが設けられる。人の顔を所定位置に保持するための顔保持手段として、あご載せ台２と額押さえ３が設けられている。あご載せ台２と額押さえ３は、人の顔の大きさや形状などに対応できるように手動で位置調整ができるように構成されている。
【００１３】
具体的には、図２に示すように、額押さえ３の押え部３ａは、軸３ｂ周りに回転可能であり、顔の姿勢の変更に対応できるようにしている。あご載せ台２は、連結部２ａを介して軸２ｂ周りに回転可能であり、顔の姿勢の変更に対応できるようにしている。軸３ｂは、押え部３ａの位置よりも少し後側に設けており、同様に、軸２ｂも、あご載せ台２のあごが載る位置よりも少し後側に設けている。また、軸３ｂと軸２ｂは同軸上に設けられている。これにより、顔の姿勢を横向きに変更したとしても、画面の中央に顔が位置するようにしている。
【００１４】
顔を撮影するための撮影手段として撮影カメラ４が設けられており、カメラ支持体５を介して筐体１に保持されている。顔が正面位置を向いたとき（第１の姿勢）には、ちょうど顔が撮影カメラ４と向かい合うように、撮影カメラ４の位置は固定されている。ただし、撮影カメラ４の位置を微調整可能に構成してもよい。
【００１５】
また、カメラ支持体５には、温度計測手段として機能する赤外線サーモグラフィ６も搭載されており、顔の表面温度の計測を行うことができる。撮像カメラ４により顔画像を撮影するときには、同時にサーモグラフィ６により顔表面の温度分布データも合わせて取得するようにする。
【００１６】
顔の側面画像を撮影するときには、顔保持手段を調整して、顔を横向き姿勢（第２の姿勢）にするようにしている。図１に示すように、撮影カメラ４による顔の撮影位置は、正面位置Ｐ０と左右の側面位置Ｐ１，Ｐ２の３箇所が設定されている。顔の視線が正面位置Ｐ０を向いているとき（第１の姿勢）に、正面画像の撮影が行われ、顔の視線が側面位置Ｐ１，Ｐ２を向いているとき（第２の姿勢）に、側面画像の撮影が行われる。
【００１７】
側面位置Ｐ１，Ｐ２は正面位置Ｐ０に対してθ゜に設定された位置である。このθは、３０゜〜７５゜の間に設定され、一般的には４０゜〜４５゜に設定される。また、側面位置Ｐ１，Ｐ２は２箇所だけでなく、更に多くの側面位置が設定されていてもよい。例えば、３０゜，４５゜，６０゜，７５゜の夫々の位置で側面画像を撮影するように構成してもよい。
【００１８】
撮影カメラ４は、デジタルカメラが使用されるが、どのようなタイプのものを使用してもよい。必要に応じてビデオ機能を有するものを使用してもよく、静止画像を撮影可能なビデオカメラを使用してもよい。
【００１９】
顔を照明するための光源８が筐体１内の複数個所に配置されている。光源８は、顔の位置を中心として円周方向に沿って顔に面するように配置されていると共に、図２に示すように、上方及び下方にも複数個所に配置される。光源８には、可視光を照射する光源と紫外線を照射するブラックライトがあり、目的に応じて使い分けもしくは両方が使用される。可視光を照射する光源８は、ハロゲンランプ、蛍光灯、ＬＥＤ、フラッシュ光源など適宜のものを使用することができる。光源８として、フラッシュ光源を使用してもよい。
【００２０】
光源８から照射される光を均一に拡散するための拡散板９が光源８と顔の間に配置される。拡散板９は、図１に示す横断面形状は円弧形状（半円形状）である。図２に示すように、拡散板９は、顔の正面だけでなく天井部と底面部にも配置されており、従って、この拡散板９により顔が包囲されるような形態となる。なお、拡散板９は、半円形でなくてもよく、多角形、楕円形状を呈していてもよい。撮影カメラ４が設置される正面位置Ｐ０において撮影を可能にするため矩形の開口部９ａが形成される。
【００２１】
制御装置２０は、顔撮影装置Ｈの動作を制御する機能と、撮影カメラ４により撮影された顔画像に関する画像処理を行う機能を有する。モニター２１には、撮影された顔画像が表示される。キーボード２２は、顔撮影装置Ｈに対する種々の動作指令入力や画像処理を行なうための種々の動作指令やデータ入力などを行なう。制御装置２０、モニター２１、キーボード２２は、汎用のコンピュータ（パソコン）により構成してもよい。
【００２２】
＜制御関係＞
次に、顔撮影装置Ｈの主要な制御機能について図３の制御ブロック図により説明する。コントローラ３０は、顔撮影装置Ｈを統括的に制御する機能を提供するものであり、ＣＰＵ、メモリ、その他の必要なプログラム等により構成される。照明制御部３１は、光源８の点灯・消灯制御を行なう。光源８は、顔画像の撮影を行う時に点灯される。可視光と紫外線を使い分ける場合に、そのいずれを点灯させるのか、あるいは両方を点灯させるのかについての制御も行われる。
【００２３】
カメラ制御部３４は、撮影カメラ４の動作を制御するものであり、具体的にはシャッターを切ることで顔画像の撮影を行う。顔画像の撮影は、顔の向きが正面位置Ｐ０，側面位置Ｐ１，Ｐ２の夫々の場合において行なわれる。
【００２４】
サーモグラフィ制御部３３は、サーモグラフィ６の動作を制御するものであり、撮像カメラ４による顔画像の撮影を行う場合には、合わせてサーモグラフィ６による顔の表面温度の計測も行われる。表面温度の計測についても、顔の向きが正面位置Ｐ０，側面位置Ｐ１，Ｐ２の夫々の場合において行なわれる。
【００２５】
データ保存部３５は、撮影カメラ４により撮影された顔画像データ及びサーモグラフィ６により計測された顔表面の温度分布データが保存される。顔画像データは、デジタルのカラー画像データであり、ＪＰＥＧ等の適宜のファイル形式で保存される。顔画像データは、正面画像・左右側面画像ごとに保存され、人物を特定する人物ＩＤ（識別情報）・撮影年月日・表面温度データと共に保存される。
【００２６】
＜顔画像解析システムの構成＞
画像処理部３６は、取得された顔画像データに対する画像処理を行い、毛穴・シミなどの検出を行なう機能を有するものであり、ソフトウェアもしくはソフトウェアとハードウェアの組み合わせにより構成することができる。
【００２７】
顔領域設定手段３６ａは、撮像カメラ４により撮影された顔画像データの中に含まれる顔領域の設定を行う機能を有する。顔領域とは、顔の中でも特に人の肌の領域を指すものであり、肌の評価には関係のない、鼻の穴、眉毛、目、口などは除かれる。顔領域の設定は、オペレータがモニター２１の画面を見ながらマウス等で設定する場合と、自動的に設定する場合とがある。本発明は、いずれの方法を採用してもよく、機能的には両方備えていることが好ましい。
【００２８】
差分演算手段３６ｂは、顔領域が設定された後に、顔領域を構成する各画素について、注目画素を含む所定領域について作成されたヒストグラムに基づいて、最大頻度を有する画素値を取得し、この取得された画素値と注目画素の画素値との差分データを演算する機能、を有している。この機能に基づいて、通常の肌の色と肌と毛穴・シミとの色の差を演算し、後述するように、毛穴であるかシミであるかの判定を行なうものである。
【００２９】
４値化手段３６ｃは、差分演算手段３６ｂにより演算された差分データを３つの閾値により４値化する機能を有する。この機能に基づいて、差分データを［０，１，２，３］の４種類にレベル分けを行なう。
【００３０】
領域分類手段３６ｄは、４値化された結果に基づき、差分データを毛穴・シミが含まれる第１領域［１，２，３］と、毛穴・シミが含まれない第２領域［０］とに分類する。第２領域は、通常の肌の領域を表すものであり、第１領域は、毛穴もしくはシミにより構成されるものと推定される領域である。第１領域は、実際には多数のクラスター（面積の小さな小領域）の集合体として構成される。
【００３１】
判定手段３６ｅは、領域分類手段３６ｄにより得られた各クラスターに対する解析を行なって毛穴であるかシミであるかの判定処理を行う。例えば、クラスターの形状・面積などを解析し、毛穴・シミ・シワであるか否かの判定が可能になる。また、４値化された画素［１，２，３］の存在割合などを解析することで、例えば、目立つ毛穴であるか黒ずんだ毛穴であるかなどの詳細な解析を行なうことができる。各機能の詳細については、具体的な顔画像を用いながら説明する。
【００３２】
これら４値化手段３６ｃ、領域分類手段３６ｄ、判定手段３６ｅは、肌診断のための演算処理を行なう演算手段に相当するものである。
【００３３】
補正処理手段３６ｆは、判４値化手段３６ｃ、領域分類手段３６ｄ、判定手段３６ｅなどが演算を行なう際の演算内容を補正する機能を有する。具体的には、サーモグラフィ６による計測結果に基づいて、演算内容の補正を行う。これは、顔の表面温度が異なっていると、毛穴の大きさが変化するため、できるだけ正確な肌診断が行なえるように補正を行うものである。例えば、気温が寒いときには毛穴は閉じて、暖かいときには毛穴は開く傾向にある。これは、汗をかいているときなどにも同じような傾向がある。
【００３４】
毛穴・シミの判定を行なうために、４値化手段３６ｃは3つの閾値に基づいてレベル分けを行なっているが、この閾値の設定を変更することができる。例えば、前回の撮影時に比べて肌の表面温度が高くなっているような場合には、閾値を全体的に高くする方向に補正するようにする。顔の表面温度は、場所により異なっている可能性があるので、温度分布データから平均値を求めて、この平均値が前回よりも高いか低いかに基づいて補正を行うようにする。
【００３５】
表示データ生成手段３６ｇは、画像処理の結果得られた画像をモニター２１に表示するためのデータを生成する。また、画像処理の結果得られた画像についても、適宜顔画像データ保存部３５に保存させることができる。
【００３６】
評価領域設定手段３４は、肌診断を行なう顔の領域を設定するものであり、例えば、モニター２１に表示される顔画像の中の特定のエリアをマウス等により指定することで設定することができる。もちろん、顔領域の全体を診断するようにしてもよい。この評価領域設定手段３４による設定内容に基づいて、画像処理部３６による画像処理が行なわれる
また、表面温度の計測結果による補正を行う場合でも、設定された領域内における表面温度データに基づいて、補正が行われる。
【００３７】
＜画像処理手順＞
次に、顔画像を撮影してから毛穴・シミの検出を行なってモニター１２に表示させるまでの手順を説明する。図４は、処理手順の概要を示すフローチャートである。
【００３８】
まず、顔画像の撮影及びサーモグラフィ６による顔の表面温度（温度分布）の計測を行う（Ｓ１）。撮影される顔画像は、正面画像、左右の側面画像の３種類であるが、説明の便宜上、正面画像についてのみの説明を行なう。撮像カメラ４により撮影された顔画像データは、顔画像データ保存部３５に保存される。また顔の温度分布データも同じように保存される（Ｓ２）。また、撮影された顔画像は、モニター２１に映し出すことができる（図５参照）。撮像カメラ４で撮影を行う場合には、できるだけ画面いっぱいに顔が入るように撮影される。
【００３９】
次に顔領域の設定を行う。顔画像データには、顔ではない領域や、顔領域内部であっても毛穴・シミの評価対象には関係のない領域が含まれている。そこで、画像処理を効率よく行なうために、顔領域の設定を行うようにしている（Ｓ３）。
【００４０】
そこで、まず、画面の中央領域Ａの矩形に含まれる画素群の平均画素値を取得する（Ｓ３０）。この中央領域Ａは、予め設定されている領域であり、画像サイズに対して縦１／４、横１／４程度の大きさに設定されている（図６参照）。顔画像は画面いっぱいになるように撮影されることから、この範囲には顔の中央部分が含まれているものと推定される。なお、中央領域Ａを表す矩形をモニター画面にも表示させてオペレータが確認できるように構成してもよい。また、必要に応じて中央領域Ａの位置や大きさを変更できるように構成してもよい。なお、上記の平均画素値は、例えば、カラー画像データを構成するＲＧＢの平均値により取得することができる。
【００４１】
上記のように得られた平均画素値は、肌の色を表しているものと推定される。次に、この平均画素値に対して所定の範囲内にある画素値を有する画素を検索する（Ｓ３１）。例えば、平均画素値に対して±５％の範囲内にある画素を抽出する。検索する範囲は、上記の中央領域Ａ内のほかに、中央領域Ａの外側の領域である。検出された画素群を顔領域として設定し（Ｓ３２）、この顔領域内について、毛穴・シミを検出するための画像処理を行なう。設定された顔領域を図６に模式的に示す。顔の輪郭以外の領域（背景など）や、顔の内部であっても、口・鼻の穴・目・眉毛などは毛穴・シミの検出には関係しない領域であり、顔領域から除外される。
【００４２】
顔領域が設定されると、顔領域内の各画素について、次のようなスキャニングを行なう。すなわち、注目画素を中心として所定領域の範囲のヒストグラムを作成する（Ｓ４）。ヒストグラムは、カラー画像データを構成するＲＧＢの各データのうち、青の画像データを用いて行なう。これは、シミが生じた場合、青の成分が大きく低下するためである。毛穴の場合は、ＲＧＢがほぼ同じ程度で低下するので、どの成分を用いても精度的には問題がない。
【００４３】
作成されたヒストグラムを図８に概念的に示す。注目画素Ｂを中心として、矩形（正方形あるいは長方形）の所定領域Ｃが設定される。この所定領域Ｃの大きさは、例えば、１０００万画素クラスの撮像カメラであれば、５１画素×５１画素の大きさに設定されるが、この所定領域Ｃの設定については、ＣＣＤ等の撮像素子の画素数などに応じて、適宜行なうことができるものである。
【００４４】
従って、ヒストグラムは上記の例では５１×５１＝２６０１画素について作成されるものであり、例えば、図８（ｂ）に示される。このヒストグラムから、最大頻度を有する画素値（青の画像データ）を取得する（Ｓ５）。この画素値はＤで示されている。次に、この最大頻度を有する画素値Ｄから注目画素Ｂの画素値を引いた差分データ（青の画像データについての差分データ）を演算する（Ｓ６）。最大頻度を有する画素値Ｄは通常は毛穴・シミではない肌の色を表すものであり、注目画素Ｂが同じく毛穴・シミではない肌の部分に相当すれば、差分データは０になる。
【００４５】
また、毛穴・シミなどがあると、輝度が暗くなる方向になるので、差分データを演算すると、正の値となる。差分データの大きさに応じて、シミであるのか毛穴であるのか、又、どの程度のレベルの毛穴であるのかを判定できるようになる。また、差分データがマイナスになった場合は０にする。これは、照明光源の関係で顔領域全体が均一な照度で照明されているわけではないので、そのバラツキを考慮するためである。
【００４６】
なお、上記において最大頻度ではなく、平均値により取得してもよい。ただし、最大頻度を用いるのは、仮に平均値を取った場合、特に濃い大きなシミが存在した場合、平均値では値が低下してしまい、精度のよい毛穴・シミの検出が行なえなくなる可能性がある。
【００４７】
差分データを演算すると、顔領域内の全ての画素についてスキャニングが終了したかどうかを判定し（Ｓ７）、終了していなければ、ステップＳ４に戻り、次の注目画素について同様の演算を繰り返す。
【００４８】
顔領域の全体にわたってスキャニングが終了すると、差分データを３つの閾値により４値化する（Ｓ１０）。ただし、閾値は固定された数値ではなく、サーモグラフィ６により計測された顔の温度分布データに応じて補正を行うようにしている。すなわち、前回撮影時の表面温度と今回撮影時の表面温度とを比較し（Ｓ８）、前回の撮影時と顔の表面温度に変化がなければ、前回と同じ閾値が使用される。前回と表面温度が異なっておれば、閾値の設定を変更する（Ｓ９）。具体的には、温度が高い方向に計測されれば、３つの閾値を全体的に上げる方向にシフトさせ、低い方向に計測されれば、全体的に下げる方向にシフトさせる。なお、前回の表面温度データについては、データ保存部３５に保存されているので、その人物についてのデータを検索することで抽出することができる。
【００４９】
４値化の具体的内容を説明すると、差分データを［０，１，２，３］の４種類にレベル分けを行なうものであり、毛穴・シミが含まれる第１領域［１，２，３］と、毛穴・シミが含まれない第２領域［０］とに分類する（Ｓ９）。これは、いわゆるラベリングと呼ばれている処理である。このように２つの領域に分類すると、顔領域は、普通の肌の領域である第２領域［０］と、多数のクラスター（小領域）の集合体である第１領域［１，２，３］とに分けられる。
【００５０】
なお、演算の都合上、［１］と分類された画素は［１］のみを有する画素であるが、［２］と分類された画素は［１］［２］の２つの値を有する画素とし、［３］と分類された画素は［１］［３］の２つの値を有する画素として扱う。
【００５１】
図９は、上記のように分類されたクラスターＥの状況を示す図であり、顔画像の一部を拡大表示したものである。クラスターＥは、上記の［１，２，３］で表される画素群が一塊となった小領域を表すものである。各クラスターＥ内に含まれる画素は［１］または［２］または［３］のいずれかに分類されている。これらの［１，２，３］の個数やクラスターの形状に基づいて、毛穴・シミの判定が行なわれる（Ｓ１１）。
【００５２】
まず、シミの検出は、クラスターＥの形状に基づいて判定することができる。通常、シミの大きさは毛穴よりも大きくなっており、所定の形状を有しているものと判定可能であるからである。具体的には。図９に示すように、クラスターＥを囲む矩形Ｆを設定する。この矩形Ｆの４辺にクラスターＥの外形が接するように矩形Ｆを設定する。そして、この矩形Ｆの２辺ｘ，ｙの長さに基づいて、シミであるか否かの判定が行なわれる。すなわち、矩形Ｆの一辺（ｘもしくはｙ）が１５画素以上であれば、そのクラスターＥはシミであると判定する。なお、判定基準である１５画素という設定については、適宜変更可能である。この矩形Ｆの設定は、全クラスターＥについて行なわれる。
【００５３】
次に、毛穴の検出について説明する。まず、上記のように矩形Ｆを設定し、縦横比が１：０．６５以上であれば毛穴であると判定する。毛穴の形状は、円形に近いものと推定できるので、上記のような比率以上に正方形に近いものは、毛穴であると判定することができる。
【００５４】
そして、更に、毛穴については、目立つ毛穴と黒ずんだ毛穴の２段階のレベルに細かく分類をする。目立つ毛穴（大きな毛穴）であるか否かの判定は、［２］が割り当てられた画素の画素数を［１］が割り当てられた画素の画素数で割った値が０．３以上であれば目立つ毛穴であると判定する。０．３未満であれば、薄い毛穴であると判定する。ここで、［１］が割り当てられた画素の画素数は、前述のルールに従い、［１］のみが割り当てられた画素の画素数と［２］が割り当てられた画素の画素数を加算した数値になる。
【００５５】
黒ずんだ毛穴であるか否かの判定は、［３］が割り当てられた画素の画素数を［１］が割り当てられた画素の画素数で割った値が０．５以上であれば黒ずんだ毛穴であると判定する。０．５未満であれば、薄い毛穴であると判定する。ここで、［１］が割り当てられた画素の画素数は、前述のルールに従い、［１］のみが割り当てられた画素の画素数と［３］が割り当てられた画素の画素数を加算した数値になる。
【００５６】
上記において、０．３や０．５という閾値については、適宜変更することができる。また、この閾値についても、顔表面の温度の違いに応じて設定変更することが好ましい。
【００５７】
なお、縦横比が１：０．６５以上の正方形に近いクラスターについて、［２］［３］の画素がなく［１］のみの画素で構成される場合、薄い毛穴（小さな毛穴）であるとして判定してもよい。この場合は、毛穴を３段階のレベルで判定し分類することになる。あるいは、ノイズであると判定してもよい。
【００５８】
図１０は、差分データの分布と、閾値との関係を示す概念図である。ここで、閾値としてＴ１，Ｔ２，Ｔ３の３つが示されており、その結果、［０，１，２，３］に４値化されている。また、分類（ラベリング）の結果が図示されており、薄い毛穴、目立つ毛穴、黒ずんだ毛穴、シミに分類されている。
【００５９】
判定処理が終わると、毛穴・シミの検出結果をモニター画面に表示するための表示処理が行われる（Ｓ１２）。
【００６０】
＜別実施形態＞
本実施形態では、差分データに対して４値化を行なっているが、本発明はこれに限定されるものではない。毛穴かシミかの識別をするためには最低２値化を行なえばよい。また、検出すべき毛穴のレベルに応じて、３値化もしくは５値化以上を採用してもよい。例えば、図１０において［１］で示されている領域を更に２段階に分けるための閾値を設定し、薄い毛穴かノイズであるかの識別を行なってもよい。また、シミを更に分類分けできるような閾値を設定してもよい。
【００６１】
本実施形態では、顔領域の設定を平均画素値に基づいて自動的に検索する方法を採用しているが、顔の一部のみの判定を行う場合などには、オペレータがモニター画面の上でマウス等により顔領域を設定するように構成してもよい。このような設定は、領域設定手段３４の機能に基づいて行うことができる。顔の一部のみの評価を行えばよい場合には、このように設定することで、画像処理を行う範囲を制限し、画像処理に要する時間を短縮化することができる。また、顔領域を自動的に検索して設定する方法と、オペレータが設定する方法のいずれかを任意に選択できるようにすることが好ましい。また、顔領域の一部についてのみ肌状態の判定を行う場合には、その領域についての表面温度データに基づいて、閾値の設定変更などを行なうことができる。
【００６２】
サーモグラフィ６により得られた温度分布データに基づいて、血行の良否の判定を行なう機能を追加してもよい。
【図面の簡単な説明】
【００６３】
【図１】顔撮影装置の内部構成を示す横断面図
【図２】顔撮影装置の内部構成を示す縦断面図
【図３】顔撮影装置及び顔画像解析システムの制御機能を示すブロック図
【図４】毛穴・シミ検出の手順を示すフローチャート
【図５】撮影された顔画像をモニター画面に表示した例を示す図
【図６】中央領域を示す図
【図７】設定された顔領域の例を示す図
【図８】差分データを求めるときの処理を説明するための図
【図９】クラスターの具体例を示す図
【図１０】差分データの分布と、閾値との関係を示す概念図
【符号の説明】
【００６４】
４ 撮影カメラ
５ カメラ支持体
６ サーモグラフィ
２１ モニター
３０ コントローラ
３３ サーモグラフィ制御部
３４ 表顔領域設定手段
３５ データ保存部
３６ 画像処理部
３６ａ 顔領域設定手段
３６ｂ 差分演算手段
３６ｃ ４値化手段
３６ｄ 領域分類手段
３６ｅ 判定手段
３６ｆ 補正処理手段
３６ｇ 表示データ生成手段
Ａ 中央領域
Ｅ クラスター
Ｆ 矩形
Ｈ 顔撮影装置
【技術分野】
【０００１】
本発明は、撮像手段により撮影された顔画像データを用いて肌の状態を評価するための顔撮影装置に関するものである。
【背景技術】
【０００２】
かかる顔画像装置は、美容皮膚科、美容外科、形成外科などにおいて使用されており、顔撮影装置により、定期的に人の顔を撮影することで肌の状態の経時的な変化を観察し、化粧品や肌治療の効果を確認する目的で使用されている（例えば、下記特許文献１）。具体的には、得られた顔画像からシミ・シワ・毛穴・色ムラなどの評価を行なうものであり、さらには、紫外線を使用したポルフィリン・かくれジミなどの評価も行なわれている。このような肌状態の評価を行なうために、以前に撮影した顔画像と今回撮影した顔画像とを画像処理技術（ソフトウェア）を用いて比較することが行なわれている。従って、以前の顔画像と現在の顔画像が同じ条件で撮影されている必要がある。
【０００３】
【特許文献１】特許３２１９５５０号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、以前に撮影したときの顔の表面温度（温度分布）が現在の顔の表面温度と異なっていると、正確な肌状態の評価を行なうことができない場合がある。例えば、気温が寒いときには毛穴は閉じて、暖かいときには毛穴は開く傾向にある。これは、汗をかいているときなどにも同じような傾向がある。従って、顔画像データから毛穴の大きさを計測して肌状態の評価を行おうとする場合、前回と今回とで顔の表面温度が異なっていると、正確な診断が行なえない可能性がある。
【０００５】
本発明は上記実情に鑑みてなされたものであり、その課題は、顔の表面温度の違いにも関わらず、撮影された顔画像データに基づいて精度のよい肌の評価を行うことが可能な顔撮影装置を提供することである。
【課題を解決するための手段】
【０００６】
上記課題を解決するため本発明に係る顔撮影装置は、
顔画像を撮影するための撮像手段と、
顔表面の温度分布データを計測するための温度計測手段と、
撮像手段により撮影された顔画像データを用いて肌診断のための演算処理を行う演算手段と、
温度計測手段による計測結果に基づいて、前記演算処理を行う際の演算内容を補正する補正処理手段と、を備えたことを特徴とするものである。
【０００７】
かかる構成による顔撮影装置の作用・効果を説明する。顔画像を撮影するための撮像手段と、顔表面の温度分布データを計測するための温度計測手段が設けられている。撮像手段により撮影された顔画像データを用いて、例えば、画像処理などの手法を用いることで、肌診断のための演算処理が行なわれる。この演算処理を行うに際して、温度計測手段による計測結果に基づいて、演算内容の補正が行なわれるので、顔の表面温度の違いを補正して、精度のよい肌の診断を行なうことが可能になる。その結果、顔の表面温度の違いにも関わらず、撮影された顔画像データに基づいて精度のよい肌の評価を行うことが可能な顔撮影装置を提供することができる。
【０００８】
本発明に係る前記演算処理は、毛穴の大きさを閾値に基づいて判定するための処理を含んでおり、前記補正データ生成手段は、閾値を設定変更するものであることが好ましい。
【０００９】
毛穴を大きさを判定する場合には、閾値を設定し、所定の大きさよりも大きな毛穴か否かの判定を行なうことができるが、表面温度が変わると、毛穴そのものの大きさが温度に応じて変化する。従って、表面温度の値に基づいて、適切な閾値が設定されるように補正することで、精度のよい肌の診断を行なうことができる。
【発明を実施するための最良の形態】
【００１０】
本発明に係る顔撮影装置の好適な実施形態を図面を用いて説明する。図１は、顔撮影装置の内部構成を示す横断面図を示し、図２は、図１に示す顔撮影装置の縦断面図である。
【００１１】
この顔撮影装置Ｈは、美容皮膚科、美容外科、形成外科などにおいて使用されている。定期的あるいは適度な期間を空けて人の顔を撮影することで肌の状態の経時的な変化を観察し、化粧品や肌治療の効果を確認する目的で使用される。この装置は、得られた顔画像からシミ・シワ・毛穴・色ムラなどの評価を行なう機能を有し、さらには、紫外線を使用したポルフィリン・かくれジミなどの評価を行なうこともできる。
【００１２】
図１において、顔撮影装置Ｈは、略立方体形状の筐体１を備えており、顔の撮影を行う時は筐体１内の所定箇所に顔を保持させた状態で行い、室内光などが筐体１内部に侵入しにくいような構造が採用されている。筐体１の正面には開口部１ａが形成されており、ここから顔を挿入させる。開口部１ａからの外光進入を防止するためにカーテン１ｂが設けられる。人の顔を所定位置に保持するための顔保持手段として、あご載せ台２と額押さえ３が設けられている。あご載せ台２と額押さえ３は、人の顔の大きさや形状などに対応できるように手動で位置調整ができるように構成されている。
【００１３】
具体的には、図２に示すように、額押さえ３の押え部３ａは、軸３ｂ周りに回転可能であり、顔の姿勢の変更に対応できるようにしている。あご載せ台２は、連結部２ａを介して軸２ｂ周りに回転可能であり、顔の姿勢の変更に対応できるようにしている。軸３ｂは、押え部３ａの位置よりも少し後側に設けており、同様に、軸２ｂも、あご載せ台２のあごが載る位置よりも少し後側に設けている。また、軸３ｂと軸２ｂは同軸上に設けられている。これにより、顔の姿勢を横向きに変更したとしても、画面の中央に顔が位置するようにしている。
【００１４】
顔を撮影するための撮影手段として撮影カメラ４が設けられており、カメラ支持体５を介して筐体１に保持されている。顔が正面位置を向いたとき（第１の姿勢）には、ちょうど顔が撮影カメラ４と向かい合うように、撮影カメラ４の位置は固定されている。ただし、撮影カメラ４の位置を微調整可能に構成してもよい。
【００１５】
また、カメラ支持体５には、温度計測手段として機能する赤外線サーモグラフィ６も搭載されており、顔の表面温度の計測を行うことができる。撮像カメラ４により顔画像を撮影するときには、同時にサーモグラフィ６により顔表面の温度分布データも合わせて取得するようにする。
【００１６】
顔の側面画像を撮影するときには、顔保持手段を調整して、顔を横向き姿勢（第２の姿勢）にするようにしている。図１に示すように、撮影カメラ４による顔の撮影位置は、正面位置Ｐ０と左右の側面位置Ｐ１，Ｐ２の３箇所が設定されている。顔の視線が正面位置Ｐ０を向いているとき（第１の姿勢）に、正面画像の撮影が行われ、顔の視線が側面位置Ｐ１，Ｐ２を向いているとき（第２の姿勢）に、側面画像の撮影が行われる。
【００１７】
側面位置Ｐ１，Ｐ２は正面位置Ｐ０に対してθ゜に設定された位置である。このθは、３０゜〜７５゜の間に設定され、一般的には４０゜〜４５゜に設定される。また、側面位置Ｐ１，Ｐ２は２箇所だけでなく、更に多くの側面位置が設定されていてもよい。例えば、３０゜，４５゜，６０゜，７５゜の夫々の位置で側面画像を撮影するように構成してもよい。
【００１８】
撮影カメラ４は、デジタルカメラが使用されるが、どのようなタイプのものを使用してもよい。必要に応じてビデオ機能を有するものを使用してもよく、静止画像を撮影可能なビデオカメラを使用してもよい。
【００１９】
顔を照明するための光源８が筐体１内の複数個所に配置されている。光源８は、顔の位置を中心として円周方向に沿って顔に面するように配置されていると共に、図２に示すように、上方及び下方にも複数個所に配置される。光源８には、可視光を照射する光源と紫外線を照射するブラックライトがあり、目的に応じて使い分けもしくは両方が使用される。可視光を照射する光源８は、ハロゲンランプ、蛍光灯、ＬＥＤ、フラッシュ光源など適宜のものを使用することができる。光源８として、フラッシュ光源を使用してもよい。
【００２０】
光源８から照射される光を均一に拡散するための拡散板９が光源８と顔の間に配置される。拡散板９は、図１に示す横断面形状は円弧形状（半円形状）である。図２に示すように、拡散板９は、顔の正面だけでなく天井部と底面部にも配置されており、従って、この拡散板９により顔が包囲されるような形態となる。なお、拡散板９は、半円形でなくてもよく、多角形、楕円形状を呈していてもよい。撮影カメラ４が設置される正面位置Ｐ０において撮影を可能にするため矩形の開口部９ａが形成される。
【００２１】
制御装置２０は、顔撮影装置Ｈの動作を制御する機能と、撮影カメラ４により撮影された顔画像に関する画像処理を行う機能を有する。モニター２１には、撮影された顔画像が表示される。キーボード２２は、顔撮影装置Ｈに対する種々の動作指令入力や画像処理を行なうための種々の動作指令やデータ入力などを行なう。制御装置２０、モニター２１、キーボード２２は、汎用のコンピュータ（パソコン）により構成してもよい。
【００２２】
＜制御関係＞
次に、顔撮影装置Ｈの主要な制御機能について図３の制御ブロック図により説明する。コントローラ３０は、顔撮影装置Ｈを統括的に制御する機能を提供するものであり、ＣＰＵ、メモリ、その他の必要なプログラム等により構成される。照明制御部３１は、光源８の点灯・消灯制御を行なう。光源８は、顔画像の撮影を行う時に点灯される。可視光と紫外線を使い分ける場合に、そのいずれを点灯させるのか、あるいは両方を点灯させるのかについての制御も行われる。
【００２３】
カメラ制御部３４は、撮影カメラ４の動作を制御するものであり、具体的にはシャッターを切ることで顔画像の撮影を行う。顔画像の撮影は、顔の向きが正面位置Ｐ０，側面位置Ｐ１，Ｐ２の夫々の場合において行なわれる。
【００２４】
サーモグラフィ制御部３３は、サーモグラフィ６の動作を制御するものであり、撮像カメラ４による顔画像の撮影を行う場合には、合わせてサーモグラフィ６による顔の表面温度の計測も行われる。表面温度の計測についても、顔の向きが正面位置Ｐ０，側面位置Ｐ１，Ｐ２の夫々の場合において行なわれる。
【００２５】
データ保存部３５は、撮影カメラ４により撮影された顔画像データ及びサーモグラフィ６により計測された顔表面の温度分布データが保存される。顔画像データは、デジタルのカラー画像データであり、ＪＰＥＧ等の適宜のファイル形式で保存される。顔画像データは、正面画像・左右側面画像ごとに保存され、人物を特定する人物ＩＤ（識別情報）・撮影年月日・表面温度データと共に保存される。
【００２６】
＜顔画像解析システムの構成＞
画像処理部３６は、取得された顔画像データに対する画像処理を行い、毛穴・シミなどの検出を行なう機能を有するものであり、ソフトウェアもしくはソフトウェアとハードウェアの組み合わせにより構成することができる。
【００２７】
顔領域設定手段３６ａは、撮像カメラ４により撮影された顔画像データの中に含まれる顔領域の設定を行う機能を有する。顔領域とは、顔の中でも特に人の肌の領域を指すものであり、肌の評価には関係のない、鼻の穴、眉毛、目、口などは除かれる。顔領域の設定は、オペレータがモニター２１の画面を見ながらマウス等で設定する場合と、自動的に設定する場合とがある。本発明は、いずれの方法を採用してもよく、機能的には両方備えていることが好ましい。
【００２８】
差分演算手段３６ｂは、顔領域が設定された後に、顔領域を構成する各画素について、注目画素を含む所定領域について作成されたヒストグラムに基づいて、最大頻度を有する画素値を取得し、この取得された画素値と注目画素の画素値との差分データを演算する機能、を有している。この機能に基づいて、通常の肌の色と肌と毛穴・シミとの色の差を演算し、後述するように、毛穴であるかシミであるかの判定を行なうものである。
【００２９】
４値化手段３６ｃは、差分演算手段３６ｂにより演算された差分データを３つの閾値により４値化する機能を有する。この機能に基づいて、差分データを［０，１，２，３］の４種類にレベル分けを行なう。
【００３０】
領域分類手段３６ｄは、４値化された結果に基づき、差分データを毛穴・シミが含まれる第１領域［１，２，３］と、毛穴・シミが含まれない第２領域［０］とに分類する。第２領域は、通常の肌の領域を表すものであり、第１領域は、毛穴もしくはシミにより構成されるものと推定される領域である。第１領域は、実際には多数のクラスター（面積の小さな小領域）の集合体として構成される。
【００３１】
判定手段３６ｅは、領域分類手段３６ｄにより得られた各クラスターに対する解析を行なって毛穴であるかシミであるかの判定処理を行う。例えば、クラスターの形状・面積などを解析し、毛穴・シミ・シワであるか否かの判定が可能になる。また、４値化された画素［１，２，３］の存在割合などを解析することで、例えば、目立つ毛穴であるか黒ずんだ毛穴であるかなどの詳細な解析を行なうことができる。各機能の詳細については、具体的な顔画像を用いながら説明する。
【００３２】
これら４値化手段３６ｃ、領域分類手段３６ｄ、判定手段３６ｅは、肌診断のための演算処理を行なう演算手段に相当するものである。
【００３３】
補正処理手段３６ｆは、判４値化手段３６ｃ、領域分類手段３６ｄ、判定手段３６ｅなどが演算を行なう際の演算内容を補正する機能を有する。具体的には、サーモグラフィ６による計測結果に基づいて、演算内容の補正を行う。これは、顔の表面温度が異なっていると、毛穴の大きさが変化するため、できるだけ正確な肌診断が行なえるように補正を行うものである。例えば、気温が寒いときには毛穴は閉じて、暖かいときには毛穴は開く傾向にある。これは、汗をかいているときなどにも同じような傾向がある。
【００３４】
毛穴・シミの判定を行なうために、４値化手段３６ｃは3つの閾値に基づいてレベル分けを行なっているが、この閾値の設定を変更することができる。例えば、前回の撮影時に比べて肌の表面温度が高くなっているような場合には、閾値を全体的に高くする方向に補正するようにする。顔の表面温度は、場所により異なっている可能性があるので、温度分布データから平均値を求めて、この平均値が前回よりも高いか低いかに基づいて補正を行うようにする。
【００３５】
表示データ生成手段３６ｇは、画像処理の結果得られた画像をモニター２１に表示するためのデータを生成する。また、画像処理の結果得られた画像についても、適宜顔画像データ保存部３５に保存させることができる。
【００３６】
評価領域設定手段３４は、肌診断を行なう顔の領域を設定するものであり、例えば、モニター２１に表示される顔画像の中の特定のエリアをマウス等により指定することで設定することができる。もちろん、顔領域の全体を診断するようにしてもよい。この評価領域設定手段３４による設定内容に基づいて、画像処理部３６による画像処理が行なわれる
また、表面温度の計測結果による補正を行う場合でも、設定された領域内における表面温度データに基づいて、補正が行われる。
【００３７】
＜画像処理手順＞
次に、顔画像を撮影してから毛穴・シミの検出を行なってモニター１２に表示させるまでの手順を説明する。図４は、処理手順の概要を示すフローチャートである。
【００３８】
まず、顔画像の撮影及びサーモグラフィ６による顔の表面温度（温度分布）の計測を行う（Ｓ１）。撮影される顔画像は、正面画像、左右の側面画像の３種類であるが、説明の便宜上、正面画像についてのみの説明を行なう。撮像カメラ４により撮影された顔画像データは、顔画像データ保存部３５に保存される。また顔の温度分布データも同じように保存される（Ｓ２）。また、撮影された顔画像は、モニター２１に映し出すことができる（図５参照）。撮像カメラ４で撮影を行う場合には、できるだけ画面いっぱいに顔が入るように撮影される。
【００３９】
次に顔領域の設定を行う。顔画像データには、顔ではない領域や、顔領域内部であっても毛穴・シミの評価対象には関係のない領域が含まれている。そこで、画像処理を効率よく行なうために、顔領域の設定を行うようにしている（Ｓ３）。
【００４０】
そこで、まず、画面の中央領域Ａの矩形に含まれる画素群の平均画素値を取得する（Ｓ３０）。この中央領域Ａは、予め設定されている領域であり、画像サイズに対して縦１／４、横１／４程度の大きさに設定されている（図６参照）。顔画像は画面いっぱいになるように撮影されることから、この範囲には顔の中央部分が含まれているものと推定される。なお、中央領域Ａを表す矩形をモニター画面にも表示させてオペレータが確認できるように構成してもよい。また、必要に応じて中央領域Ａの位置や大きさを変更できるように構成してもよい。なお、上記の平均画素値は、例えば、カラー画像データを構成するＲＧＢの平均値により取得することができる。
【００４１】
上記のように得られた平均画素値は、肌の色を表しているものと推定される。次に、この平均画素値に対して所定の範囲内にある画素値を有する画素を検索する（Ｓ３１）。例えば、平均画素値に対して±５％の範囲内にある画素を抽出する。検索する範囲は、上記の中央領域Ａ内のほかに、中央領域Ａの外側の領域である。検出された画素群を顔領域として設定し（Ｓ３２）、この顔領域内について、毛穴・シミを検出するための画像処理を行なう。設定された顔領域を図６に模式的に示す。顔の輪郭以外の領域（背景など）や、顔の内部であっても、口・鼻の穴・目・眉毛などは毛穴・シミの検出には関係しない領域であり、顔領域から除外される。
【００４２】
顔領域が設定されると、顔領域内の各画素について、次のようなスキャニングを行なう。すなわち、注目画素を中心として所定領域の範囲のヒストグラムを作成する（Ｓ４）。ヒストグラムは、カラー画像データを構成するＲＧＢの各データのうち、青の画像データを用いて行なう。これは、シミが生じた場合、青の成分が大きく低下するためである。毛穴の場合は、ＲＧＢがほぼ同じ程度で低下するので、どの成分を用いても精度的には問題がない。
【００４３】
作成されたヒストグラムを図８に概念的に示す。注目画素Ｂを中心として、矩形（正方形あるいは長方形）の所定領域Ｃが設定される。この所定領域Ｃの大きさは、例えば、１０００万画素クラスの撮像カメラであれば、５１画素×５１画素の大きさに設定されるが、この所定領域Ｃの設定については、ＣＣＤ等の撮像素子の画素数などに応じて、適宜行なうことができるものである。
【００４４】
従って、ヒストグラムは上記の例では５１×５１＝２６０１画素について作成されるものであり、例えば、図８（ｂ）に示される。このヒストグラムから、最大頻度を有する画素値（青の画像データ）を取得する（Ｓ５）。この画素値はＤで示されている。次に、この最大頻度を有する画素値Ｄから注目画素Ｂの画素値を引いた差分データ（青の画像データについての差分データ）を演算する（Ｓ６）。最大頻度を有する画素値Ｄは通常は毛穴・シミではない肌の色を表すものであり、注目画素Ｂが同じく毛穴・シミではない肌の部分に相当すれば、差分データは０になる。
【００４５】
また、毛穴・シミなどがあると、輝度が暗くなる方向になるので、差分データを演算すると、正の値となる。差分データの大きさに応じて、シミであるのか毛穴であるのか、又、どの程度のレベルの毛穴であるのかを判定できるようになる。また、差分データがマイナスになった場合は０にする。これは、照明光源の関係で顔領域全体が均一な照度で照明されているわけではないので、そのバラツキを考慮するためである。
【００４６】
なお、上記において最大頻度ではなく、平均値により取得してもよい。ただし、最大頻度を用いるのは、仮に平均値を取った場合、特に濃い大きなシミが存在した場合、平均値では値が低下してしまい、精度のよい毛穴・シミの検出が行なえなくなる可能性がある。
【００４７】
差分データを演算すると、顔領域内の全ての画素についてスキャニングが終了したかどうかを判定し（Ｓ７）、終了していなければ、ステップＳ４に戻り、次の注目画素について同様の演算を繰り返す。
【００４８】
顔領域の全体にわたってスキャニングが終了すると、差分データを３つの閾値により４値化する（Ｓ１０）。ただし、閾値は固定された数値ではなく、サーモグラフィ６により計測された顔の温度分布データに応じて補正を行うようにしている。すなわち、前回撮影時の表面温度と今回撮影時の表面温度とを比較し（Ｓ８）、前回の撮影時と顔の表面温度に変化がなければ、前回と同じ閾値が使用される。前回と表面温度が異なっておれば、閾値の設定を変更する（Ｓ９）。具体的には、温度が高い方向に計測されれば、３つの閾値を全体的に上げる方向にシフトさせ、低い方向に計測されれば、全体的に下げる方向にシフトさせる。なお、前回の表面温度データについては、データ保存部３５に保存されているので、その人物についてのデータを検索することで抽出することができる。
【００４９】
４値化の具体的内容を説明すると、差分データを［０，１，２，３］の４種類にレベル分けを行なうものであり、毛穴・シミが含まれる第１領域［１，２，３］と、毛穴・シミが含まれない第２領域［０］とに分類する（Ｓ９）。これは、いわゆるラベリングと呼ばれている処理である。このように２つの領域に分類すると、顔領域は、普通の肌の領域である第２領域［０］と、多数のクラスター（小領域）の集合体である第１領域［１，２，３］とに分けられる。
【００５０】
なお、演算の都合上、［１］と分類された画素は［１］のみを有する画素であるが、［２］と分類された画素は［１］［２］の２つの値を有する画素とし、［３］と分類された画素は［１］［３］の２つの値を有する画素として扱う。
【００５１】
図９は、上記のように分類されたクラスターＥの状況を示す図であり、顔画像の一部を拡大表示したものである。クラスターＥは、上記の［１，２，３］で表される画素群が一塊となった小領域を表すものである。各クラスターＥ内に含まれる画素は［１］または［２］または［３］のいずれかに分類されている。これらの［１，２，３］の個数やクラスターの形状に基づいて、毛穴・シミの判定が行なわれる（Ｓ１１）。
【００５２】
まず、シミの検出は、クラスターＥの形状に基づいて判定することができる。通常、シミの大きさは毛穴よりも大きくなっており、所定の形状を有しているものと判定可能であるからである。具体的には。図９に示すように、クラスターＥを囲む矩形Ｆを設定する。この矩形Ｆの４辺にクラスターＥの外形が接するように矩形Ｆを設定する。そして、この矩形Ｆの２辺ｘ，ｙの長さに基づいて、シミであるか否かの判定が行なわれる。すなわち、矩形Ｆの一辺（ｘもしくはｙ）が１５画素以上であれば、そのクラスターＥはシミであると判定する。なお、判定基準である１５画素という設定については、適宜変更可能である。この矩形Ｆの設定は、全クラスターＥについて行なわれる。
【００５３】
次に、毛穴の検出について説明する。まず、上記のように矩形Ｆを設定し、縦横比が１：０．６５以上であれば毛穴であると判定する。毛穴の形状は、円形に近いものと推定できるので、上記のような比率以上に正方形に近いものは、毛穴であると判定することができる。
【００５４】
そして、更に、毛穴については、目立つ毛穴と黒ずんだ毛穴の２段階のレベルに細かく分類をする。目立つ毛穴（大きな毛穴）であるか否かの判定は、［２］が割り当てられた画素の画素数を［１］が割り当てられた画素の画素数で割った値が０．３以上であれば目立つ毛穴であると判定する。０．３未満であれば、薄い毛穴であると判定する。ここで、［１］が割り当てられた画素の画素数は、前述のルールに従い、［１］のみが割り当てられた画素の画素数と［２］が割り当てられた画素の画素数を加算した数値になる。
【００５５】
黒ずんだ毛穴であるか否かの判定は、［３］が割り当てられた画素の画素数を［１］が割り当てられた画素の画素数で割った値が０．５以上であれば黒ずんだ毛穴であると判定する。０．５未満であれば、薄い毛穴であると判定する。ここで、［１］が割り当てられた画素の画素数は、前述のルールに従い、［１］のみが割り当てられた画素の画素数と［３］が割り当てられた画素の画素数を加算した数値になる。
【００５６】
上記において、０．３や０．５という閾値については、適宜変更することができる。また、この閾値についても、顔表面の温度の違いに応じて設定変更することが好ましい。
【００５７】
なお、縦横比が１：０．６５以上の正方形に近いクラスターについて、［２］［３］の画素がなく［１］のみの画素で構成される場合、薄い毛穴（小さな毛穴）であるとして判定してもよい。この場合は、毛穴を３段階のレベルで判定し分類することになる。あるいは、ノイズであると判定してもよい。
【００５８】
図１０は、差分データの分布と、閾値との関係を示す概念図である。ここで、閾値としてＴ１，Ｔ２，Ｔ３の３つが示されており、その結果、［０，１，２，３］に４値化されている。また、分類（ラベリング）の結果が図示されており、薄い毛穴、目立つ毛穴、黒ずんだ毛穴、シミに分類されている。
【００５９】
判定処理が終わると、毛穴・シミの検出結果をモニター画面に表示するための表示処理が行われる（Ｓ１２）。
【００６０】
＜別実施形態＞
本実施形態では、差分データに対して４値化を行なっているが、本発明はこれに限定されるものではない。毛穴かシミかの識別をするためには最低２値化を行なえばよい。また、検出すべき毛穴のレベルに応じて、３値化もしくは５値化以上を採用してもよい。例えば、図１０において［１］で示されている領域を更に２段階に分けるための閾値を設定し、薄い毛穴かノイズであるかの識別を行なってもよい。また、シミを更に分類分けできるような閾値を設定してもよい。
【００６１】
本実施形態では、顔領域の設定を平均画素値に基づいて自動的に検索する方法を採用しているが、顔の一部のみの判定を行う場合などには、オペレータがモニター画面の上でマウス等により顔領域を設定するように構成してもよい。このような設定は、領域設定手段３４の機能に基づいて行うことができる。顔の一部のみの評価を行えばよい場合には、このように設定することで、画像処理を行う範囲を制限し、画像処理に要する時間を短縮化することができる。また、顔領域を自動的に検索して設定する方法と、オペレータが設定する方法のいずれかを任意に選択できるようにすることが好ましい。また、顔領域の一部についてのみ肌状態の判定を行う場合には、その領域についての表面温度データに基づいて、閾値の設定変更などを行なうことができる。
【００６２】
サーモグラフィ６により得られた温度分布データに基づいて、血行の良否の判定を行なう機能を追加してもよい。
【図面の簡単な説明】
【００６３】
【図１】顔撮影装置の内部構成を示す横断面図
【図２】顔撮影装置の内部構成を示す縦断面図
【図３】顔撮影装置及び顔画像解析システムの制御機能を示すブロック図
【図４】毛穴・シミ検出の手順を示すフローチャート
【図５】撮影された顔画像をモニター画面に表示した例を示す図
【図６】中央領域を示す図
【図７】設定された顔領域の例を示す図
【図８】差分データを求めるときの処理を説明するための図
【図９】クラスターの具体例を示す図
【図１０】差分データの分布と、閾値との関係を示す概念図
【符号の説明】
【００６４】
４ 撮影カメラ
５ カメラ支持体
６ サーモグラフィ
２１ モニター
３０ コントローラ
３３ サーモグラフィ制御部
３４ 表顔領域設定手段
３５ データ保存部
３６ 画像処理部
３６ａ 顔領域設定手段
３６ｂ 差分演算手段
３６ｃ ４値化手段
３６ｄ 領域分類手段
３６ｅ 判定手段
３６ｆ 補正処理手段
３６ｇ 表示データ生成手段
Ａ 中央領域
Ｅ クラスター
Ｆ 矩形
Ｈ 顔撮影装置
【特許請求の範囲】
【請求項１】
顔画像を撮影するための撮像手段と、
顔表面の温度分布データを計測するための温度計測手段と、
撮像手段により撮影された顔画像データを用いて肌診断のための演算処理を行う演算手段と、
温度計測手段による計測結果に基づいて、前記演算処理を行う際の演算内容を補正する補正処理手段と、を備えたことを特徴とする顔撮影装置。
【請求項２】
前記演算処理は、毛穴の大きさを閾値に基づいて判定するための処理を含んでおり、前記補正処理手段は、閾値を設定変更するものであることを特徴とする請求項１に記載の顔撮影装置。
【請求項１】
顔画像を撮影するための撮像手段と、
顔表面の温度分布データを計測するための温度計測手段と、
撮像手段により撮影された顔画像データを用いて肌診断のための演算処理を行う演算手段と、
温度計測手段による計測結果に基づいて、前記演算処理を行う際の演算内容を補正する補正処理手段と、を備えたことを特徴とする顔撮影装置。
【請求項２】
前記演算処理は、毛穴の大きさを閾値に基づいて判定するための処理を含んでおり、前記補正処理手段は、閾値を設定変更するものであることを特徴とする請求項１に記載の顔撮影装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【公開番号】特開２００９−６０８９（Ｐ２００９−６０８９Ａ）
【公開日】平成２１年１月１５日（２００９．１．１５）
【国際特許分類】
【出願番号】特願２００７−１７２７９２（Ｐ２００７−１７２７９２）
【出願日】平成１９年６月２９日（２００７．６．２９）
【出願人】（０００１３５３１３）ノーリツ鋼機株式会社 (1,824)
【Ｆターム（参考）】
【公開日】平成２１年１月１５日（２００９．１．１５）
【国際特許分類】
【出願日】平成１９年６月２９日（２００７．６．２９）
【出願人】（０００１３５３１３）ノーリツ鋼機株式会社 (1,824)
【Ｆターム（参考）】
[ Back to top ]