肌色領域の抽出方法
【課題】対象画像に多様な肌色が含まれる場合でも、精度良く肌色領域を抽出しうる方法を提供する。
【解決手段】サンプル画像中の肌色領域における各画素について、色相Ｈおよび彩度Ｓに関してヒストグラムを生成する。ついで、ヒストグラムを、複数のガウスモデルを有するガウス混合モデルにより近似する。ついで、対象画像中の画素についての色差信号（Ｈ，Ｓ）を、ガウスモデルにおける対応値を用いて１次元情報に変換する。ついで、この１次元情報の値を変化させる。このときの、当該ガウスモデルにおいて対応する画素数の増加量を計算する。この増加量がほぼ最小となる１次元情報の値をしきい値とする。しきい値で決定される範囲に含まれる一次元情報を有する画素を、対象画像から選択する。これにより、対象画像から肌色領域を抽出できる。
さらに、抽出した肌色領域の構造情報を用いることにより、肌色領域から顔領域を選別することもできる。
【解決手段】サンプル画像中の肌色領域における各画素について、色相Ｈおよび彩度Ｓに関してヒストグラムを生成する。ついで、ヒストグラムを、複数のガウスモデルを有するガウス混合モデルにより近似する。ついで、対象画像中の画素についての色差信号（Ｈ，Ｓ）を、ガウスモデルにおける対応値を用いて１次元情報に変換する。ついで、この１次元情報の値を変化させる。このときの、当該ガウスモデルにおいて対応する画素数の増加量を計算する。この増加量がほぼ最小となる１次元情報の値をしきい値とする。しきい値で決定される範囲に含まれる一次元情報を有する画素を、対象画像から選択する。これにより、対象画像から肌色領域を抽出できる。
さらに、抽出した肌色領域の構造情報を用いることにより、肌色領域から顔領域を選別することもできる。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、画像から肌色領域を抽出する方法に関するものである。
【０００２】
【背景技術】
写真などの画像から顔の領域を検出する技術は、既に知られている。この検出によって、個人認証や、顔を含む画像の検索が可能になると考えられる。
【０００３】
従来提案されている検出技術としては、顔の構造情報や肌の色情報を用いるものがある。肌色情報を用いる検出技術は、顔領域の候補を選別する手段として優れている。しかしながら、従来の技術では、人種や陰影に基づく色の変動があると、顔領域の検出精度がかなり低下してしまうという問題があった。
【０００４】
【発明が解決しようとする課題】
本発明は、前記の事情に鑑みてなされたものである。本発明の目的は、対象画像の条件が多様であっても、精度良く肌色領域を抽出しうる方法を提供することである。
【０００５】
【課題を解決するための手段】
本発明に係る肌色領域の抽出方法は、次のステップを含んでいる。
（１）サンプル画像中の肌色領域における各画素について、二つの色差信号に関してヒストグラムを生成するステップ；
（２）前記ヒストグラムを、複数のガウスモデルを有するガウス混合モデルにより近似するステップ；
（３）対象画像中の画素についての、二つの色差信号を、ガウスモデルにおける対応値を用いて１次元情報に変換し、ついで、前記１次元情報の値を変化させたときの画素数の増加量がほぼ最小となる前記１次元情報の値をしきい値とするステップ；および
（４）前記しきい値で決定される範囲に含まれる前記１次元情報を有する画素を、前記対象画像から選択することにより、前記対象画像から肌色領域を抽出するステップ。
【０００６】
前記１次元情報は、前記ガウスモデルにおける値であって、かつ、前記対象画像の画素における二つの色差信号に対応する値が最大となるものとすることができる。
【０００７】
前記ステップ（３）における前記画素数の増加量を、互いに同じガウスモデルにより１次元情報に変換された画素におけるものとし、
前記しきい値を、このガウスモデルを示す情報と関連付け、
前記ステップ（４）において対象画像から選択される画素を、互いに同じガウスモデルにより１次元情報に変換された画素中から、このガウスモデルと関連づけられたしきい値によって選択する、
ことができる。
【０００８】
本発明に係る肌色領域の抽出方法は、次のステップを含む構成であってもよい。
（１）対象画像の全部または一部の領域における各画素を、その画素におけるＣｂおよびＣｒの値を用いて複数のクラスタに分解するステップ；および
（２）前記複数のクラスタのうち、他に比較してＣｒが大でＣｂが小であるクラスタに属する画素が位置する領域を前記肌色領域とするステップ。
このステップ（１）における一部の領域は、前記した本発明の方法により抽出された肌色領域であってもよい。
前記対象画像は、ＲＧＢ空間からＹＣｂＣｒ空間に変換されることにより得られたものであってもよい。
前記複数のクラスタの数は例えば２である。
【０００９】
前記した本発明の抽出方法により抽出された肌色領域の構造情報を用いて、顔領域である肌色領域を抽出することもできる。
【００１０】
本発明に係る肌色領域の抽出方法は、次のステップを含む構成であってもよい。
（１）サンプル画像中の肌色領域における各画素について、二つの色差信号に関してヒストグラムを生成するステップ；
（２）前記ヒストグラムを、複数のガウスモデルを有するガウス混合モデルにより近似するステップ；
（３）対象画像中の画素における前記色差信号に対応する、前記ガウスモデルでの値に基づいて、しきい値を生成するステップ；および
（４）前記しきい値で決定される範囲に含まれる前記画素を、前記対象画像から選択することにより、前記対象画像から肌色領域を抽出するステップ。
【００１１】
本発明に係るコンピュータプログラムは、前記したいずれかの抽出方法におけるステップをコンピュータで実行するためのものである。
本発明に係る記録媒体は、このコンピュータプログラムを記録し、かつ、コンピュータで読み取り可能なものである。
【００１２】
本発明に係る肌色領域の抽出装置は、しきい値生成部と、皮膚領域候補抽出部とを備えており、前記しきい値生成部は、下記（１）〜（３）のステップを実行し、前記皮膚領域候補抽出部は、下記（４）のステップを実行することを特徴とするものである。
（１）サンプル画像中の肌色領域における各画素について、二つの色差信号に関してヒストグラムを生成するステップ；
（２）前記ヒストグラムを、複数のガウスモデルを有するガウス混合モデルにより近似するステップ；
（３）対象画像中の画素についての、二つの色差信号を、ガウスモデルにおける対応値を用いて１次元情報に変換し、ついで、前記１次元情報の値を変化させたときの画素数の増加量がほぼ最小のときの前記しきい値候補をしきい値とするステップ；
（４）前記しきい値で決定される範囲に含まれる前記一次元情報を有する画素を、前記対象画像から選択することにより、前記対象画像から肌色領域を抽出するステップ。
【００１３】
本発明に係る肌色領域の抽出装置は、対象画像における画素を判定するためのしきい値を生成するしきい値生成部を備え、前記しきい値生成部は、下記（１）〜（３）のステップを実行することを特徴とするものであってもよい。
（１）サンプル画像中の肌色領域における各画素について、二つの色差信号に関してヒストグラムを生成するステップ；
（２）前記ヒストグラムを、複数のガウスモデルを有するガウス混合モデルにより近似するステップ；および
（３）対象画像中の画素についての、二つの色差信号を、ガウスモデルにおける対応値を用いて１次元情報に変換し、ついで、前記１次元情報の値を変化させたときの画素数の増加量がほぼ最小のときの前記しきい値候補をしきい値とするステップ。
【００１４】
本発明に係る肌色領域の抽出装置は、以下のステップを実行する顔領域候補抽出部を備えた構成であってもよい。
（１）対象画像の全部または一部の領域における各画素を、各画素におけるＣｂおよびＣｒの値を用いて複数のクラスタに分解するステップ；および
（２）前記複数のクラスタのうち、他に比較してＣｒが大でＣｂが小であるクラスタに属する画素が位置する領域を前記肌色領域とするステップ。
【００１５】
前記抽出装置は、さらに顔領域抽出部を備えていてもよい。この顔領域抽出部は、肌色領域における構造情報を用いて、顔領域である肌色領域を抽出するものである。
【００１６】
【発明の実施の形態】
本発明の一実施形態に係る、肌色領域の抽出方法を、添付の図面を参照しながら説明する。まず、本実施形態の抽出方法に用いる装置の構成を図１に基づいて説明する。なお、この明細書では、用語の概念として、肌色領域は皮膚領域候補を含み、皮膚領域候補は顔領域候補（すなわち皮膚領域）を含み、顔領域候補は顔領域を含む意味で用いる。
【００１７】
この装置は、画像情報取得部１と、色空間変換部２と、しきい値生成部３と、皮膚領域候補抽出部４と、顔領域候補抽出部５と、顔領域抽出部６とを備えている。画像情報取得部１は、対象画像の情報を入力として取得する部分である。対象画像情報としては、通常は、ＲＧＢ空間におけるＲＧＢ信号である。色空間変換部２は、対象画像を、輝度信号と二つの色差信号とを持つ色空間に変換する部分である。色空間としては、二つの色差信号を持つものであればよい。本実施形態では、そのような色空間としてＨＳＶ空間を用い、二つの色差信号としてＨ（色相）、Ｓ（彩度）を用いる例を説明する。二つの色差信号を持つ色空間としては、ＨＳＶの他にも、均等色空間としてのＣＩＥ ＬＡＢ（Ｌ＊ａ＊ｂ＊）、ＣＩＥ ＬＵＶ（Ｌ＊ｕ＊ｖ＊）や、さらには、［Ｙ，Ｒ−Ｙ，Ｂ−Ｙ］、［Ｙ，Ｉ，Ｑ］などを用いることができる。
【００１８】
しきい値生成部３は、画像情報を構成する画素を、肌色領域のものとそうでないものとに区別するためのしきい値を生成するものである。このしきい値の生成方法は後述する。
【００１９】
皮膚領域候補抽出部４は、しきい値で規定される範囲に含まれる画素を対象画像から選択することにより、前記対象画像から肌色領域を抽出する機能を実行するものである。この動作の詳細も後述する。
【００２０】
顔領域候補抽出部５は、皮膚領域候補抽出部４で得られた皮膚領域候補を絞り込むとともに、顔領域と髪領域とを判別するものである。その方法については後述する。
【００２１】
顔領域抽出部６は、顔領域候補抽出部５で得られた顔領域候補（すなわち皮膚領域）から、構造的な特徴に基づいて、顔領域を抽出（選別）するものである。具体的な抽出方法は後述する。
【００２２】
つぎに、本実施形態における肌色領域の抽出方法を説明する。まず、画像情報取得部１が、入力としての対象画像を取得する。この対象画像は、この実施形態では、ＲＧＢ空間におけるＲＧＢ信号で表されているものとする。ついで、色空間変換部２により、ＲＧＢ信号をＨＳＶ信号に変換する。これにより、対象画像から二つの色差信号（Ｈ，Ｓ）を生成することができる。ＲＧＢ空間からＨＳＶ空間への変換式は周知であるが、念のため下記に示す。
【００２３】
ついで、皮膚領域候補抽出部４において、ＨＳＶ信号としての対象画像を用いて、皮膚領域候補を抽出する。本実施形態では、この抽出の前に、しきい値生成部３により、しきい値を生成する。そこで、まず、しきい値の生成方法を図２に基づいて説明する。
【００２４】
（しきい値の生成）
まず、ＲＧＢ空間における、複数のサンプル画像を取得する（ステップ２−１）。サンプル画像としては、人の顔を含むものを用いる。また、サンプル画像に含まれる顔としては、人種、年齢、性別、日焼けの程度、陰影などの条件がなるべく多様であることが好ましい。ついで、ＲＧＢ信号をＨＳＶ信号に変換する（ステップ２−２）。この変換式は前記したものと同様である。
【００２５】
ついで、サンプル画像のなかで、顔領域（すなわち肌色領域）における画素を選択する（ステップ２−３）。サンプル画像においては、顔領域は既知である。
【００２６】
ついで、サンプル画像中の顔領域における各画素について、二つの色差信号である色相（Ｈ）および彩度（Ｓ）に関してヒストグラムを生成する（ステップ２−４）。ヒストグラムの例を図３に示す。図３（ｂ）および（ｃ）は、図３（ａ）のグラフを色相または彩度のみの一次元で表したものである。
【００２７】
ついで、ヒストグラムをガウス混合モデルにより近似する（ステップ２−５）。ガウス混合モデルは以下のように表される。
ここで、
ｋ：ガウスモデルの混合数（この実施形態では４）、
θ：一つのガウスモデルに対応するパラメータαｉ、μｉ等のセット（この実施形態では４セット）、
である。
【００２８】
ヒストグラムをガウス混合モデルで近似した結果を図４に示す。この例では、ガウスモデルの混合数を４としている。ＨまたはＳについてガウス混合モデル（図４（ｂ）および（ｃ）参照）を生成した後、それを組み合わせることで、図４（ａ）に示すような３次元のガウス混合モデルを得ることができる。
ガウス混合モデルは、例えば
（１）Ｓ． ＭｃＫｅｎｎａ， Ｓ． Ｇｏｎｇ， ａｎｄ Ｙ． Ｒａｊａ． Ｍｏｄｅｌｌｉｎｇ Ｆａｃｉａｌ Ｃｏｌｏｕｒ ａｎｄ Ｉｄｅｎｔｉｔｙ ｗｉｔｈ Ｇａｕｓｓｉａｎ Ｍｉｘｔｕｒｅｓ． Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ， ３１（１２）：１８８３−１８９２， １９９８．
（２）Ｈ．Ｐ． Ｇｒａｆ， Ｅ． Ｃｏｓａｔｔｏ， Ｄ． Ｇｉｂｂｏｎ， Ｍ． Ｋｏｃｈｅｉｓｅｎ， ａｎｄ Ｅ． Ｐｅｔａｊａｎ． Ｍｕｌｔｉｍｏｄｅｌ Ｓｙｓｔｅｍ ｆｏｒ Ｌｏｃａｔｉｎｇ Ｈｅａｄｓ ａｎｄ Ｆａｃｅｓ． Ｉｎ Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ Ｓｅｃｏｎｄ ＩＥＥＥ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ａｕｔｏｍａｔｉｃ Ｆａｃｅ ａｎｄ Ｇｅｓｔｕｒｅ Ｒｅｃｏｇｎｉｔｉｏｎ， ｐａｇｅｓ ８８−９３， １９９６．
に記載されているように、良く知られているので、これ以上詳細な説明は省略する。
【００２９】
ついで、対象画像中の各画素ｘｉについての、二つの色差信号（Ｈ，Ｓ）を、ガウスモデルにおける対応値を用いて１次元情報に変換する（ステップ２−６）。具体的には、画素ｘｉにおける色差信号の組（Ｈ，Ｓ）に対し、ガウス混合モデルにおいて最も大きい値φｉを求める。このφｉが、この実施形態における１次元情報となる。φｉは、ヒストグラムの値をそのまま用いれば頻度値となる。ただし、φｉとしては、頻度値から得られる他の値であっても良い。例えば、頻度値をヒストグラムの最大値で正規化した値をφｉとして用いても良い。この場合は、φｉは確率を表すことになる。φｉは、それ自体が頻度値であるか正規化された確率であるかに拘わらず、実質的には、肌色である確率を示す尤度値を意味することになる。よって、この明細書では、φｉを尤度値と称することがある。さらに、このφｉを与えるガウスモデルを示す情報（すなわちガウスモデルのラベル）ｌ（ｌは１〜ｋのいずれかの整数）を求める。この実施形態では、前記した通り、ｋ＝４である。これにより、各画素ｘｉについて、尤度値φｉとラベルｌの組を情報として付与する（ステップ２−７）。具体的には、例えば、φｉとｌとをｘｉに対応させて、テーブルに格納する。
【００３０】
ついで、１次元情報におけるしきい値候補の値を変化させたときの画素数の増加量がほぼ最小のときのしきい値候補をしきい値とする（ステップ２−８）。このステップを、図５および図６を参照しながら、以下に詳述する。
【００３１】
まず、ガウスモデルのラベルｌに関連づけられた画素（群）ｘｉを考える。ついで、これらの画素ｘｉについての尤度値φｉの最大値（またはそれに近い値）φｉｍａｘからΔＴｌだけ小さい値をしきい値候補Ｔｌとする（図５参照）。ついで、しきい値候補Ｔｌ以上の尤度値φｉを持つ、ラベルｌの画素ｘｉの数を数える。例えば、このときの画素の例は、図６（ａ）のようになる。ついで、しきい値候補ＴｌをΔＴｌだけずらし、再び、しきい値候補Ｔｌ以上の尤度値φｉを有する、ラベルｌの画素ｘｉを数える。例えば、このときの画素の例は、図６（ｂ）のようになる。ΔＴｌは、この実施形態では一定量とする。ΔＴｌだけしきい値候補Ｔｌをずらしながら、前記の計算を行う。このようにして、１次元情報φｉを用いて、しきい値候補Ｔｌの値に対応する画素の増加量をそれぞれ求めることができる。例えば、図６（ａ）における画素数をＡ１、図６（ｂ）における画素数をＡ２とすれば、増加量はＡ２−Ａ１として求めることができる。このようにして求めた、しきい値候補と画素の増加量との関係を図５に示す。
【００３２】
ついで、画素数の増加量がほぼ最小となる尤度値（つまり１次元情報の値）をしきい値Ｔｌ０とする。この実施形態では、しきい値候補Ｔｌと画素増加量との関係を求めているが、これと等価な方法として、しきい値候補Ｔｌの変化量ΔＴｌと、その範囲に含まれる画素数との関係を求めることにより、しきい値Ｔｌ０を求めることもできる。この場合は、変化量ΔＴｌの幅に含まれる画素数が、前記した画素数の増加量を意味することになる。
【００３３】
本実施形態では、結局、対象画像中の画素における色差信号（Ｈ，Ｓ）に対応する、ガウスモデルでの値φｉに基づいて、しきい値が生成されていることになる。
【００３４】
（皮膚候補領域の抽出）
ついで、このしきい値を用いて、皮膚領域候補抽出部４（図１参照）において、対象画像から皮膚領域候補を抽出する。この抽出は、しきい値Ｔｌ０で決定される範囲に含まれる一次元情報（尤度値）を有する、ラベルｌを有する画素ｘｉを、対象画像から選択することにより行われる。
【００３５】
この抽出手順を図７に示す。まず、ラベルｌと関連づけられた画素ｘｉに対して、そのラベルｌに対応するしきい値Ｔｌを適用する（ステップ７−１）。ここでは、画素ｘｉの尤度値がしきい値Ｔｌより大きければ１、小さければ０を出力することで２値化する。また、例えば、画素ｘｉの尤度値がしきい値Ｔｌより大きければ、１でなくｌを出力することもできる。このようにすれば、２値化と同時に、ラベルの情報も出力できるという利点がある。
【００３６】
ついで、２値化の結果が１であるか否かを判断する（ステップ７−２）。もちろん０であるか否かを判断しても良いことは当然である。１であれば、その画素を皮膚領域候補の画素とする（ステップ７−３）。１でなければ皮膚領域候補としない（ステップ７−４）。この判定を各画素について行う。
【００３７】
本実施形態によれば、しきい値に基づいて対象画像から画素を選択することにより、この画素に基づいて、対象画像から肌色領域（皮膚領域候補）を抽出することができる。従来は、皮膚領域かどうかを判定するしきい値を固定していたために、対象画像における条件が変化すると検出精度が劣化するという問題があった。これに対して、この実施形態の方法では、前記のように、対象画像から適応的にしきい値を生成している。例えば、この実施形態では、対象画像が異なれば、しきい値候補Ｔｌの変化量ΔＴｌに対応する画素数は異なる。したがって、対象画像毎に、各ガウスモデルｌに対応して別のしきい値を決めることができる。この結果、対象画像の明るさが変動したり、様々な肌色の人物が存在しても、それらの条件に対応してしきい値を生成することができる。これにより、この実施形態では、肌色領域を適切に抽出することが可能となる。
【００３８】
このようにして画素を選択した結果を図８（ｂ）に示す。同図（ａ）は対象画像である。図８（ｂ）では、選択された画素を白で示し、選択されなかった画素を黒で示している。
【００３９】
（顔領域候補の抽出…絞り込み）
つぎに、顔領域候補抽出部５において、皮膚領域候補の絞り込みを行う。絞り込みの手順を図９に基づいて説明する。まず、メディアンフィルタ（図示せず）により、孤立画素を除去する（ステップ９−１）。メディアンフィルタとしては、例えば３×３画素の範囲でのものを用いることができる。これにより皮膚領域候補の画像からノイズを除去することができる。処理結果の例を図８（ｃ）に示す。ついで、各領域についてラベルを付与するというラベリングを行う（ステップ９−２）。ついで、各領域について画素数を算出し、面積の小さい領域を除去する（ステップ９−３）。具体的には、例えば、各領域内の面積（例えば画素数）を求める。ついで、それらの平均値を計算する。ついで、平均値のａ％（ａは例えば３）よりも面積が小さい領域を除去する。小領域を除去した結果の例を図８（ｄ）に示す。
【００４０】
ついで、領域に対してモルフォロジー処理を行う（ステップ９−４）。モルフォロジー処理は、幅の狭い凹部を除去して、輪郭を滑らかにするものである。処理結果の例を図８（ｅ）に示す。ついで、穴埋め処理を行う（ステップ９−５）。穴埋め処理とは、領域内にある穴（例えば目や鼻の穴に相当する）を埋めておく処理である。処理結果の例を図８（ｆ）に示す。また、このようにして抽出された領域の画像を図８（ｇ）に示す。
これらの、図９に示した各処理は、いずれもそれ自体としては周知なので、これ以上の説明は省略する。
【００４１】
これらの処理により、皮膚領域候補を、一定以上の大きさの領域とする（つまり絞り込む）ことができる。絞り込まれた皮膚領域候補の画像は、この実施形態では、ＲＧＢ信号で保存しておく。
【００４２】
（顔領域候補の抽出…髪領域と皮膚領域との分離）
ついで、顔領域候補抽出部５において、さらに、絞り込まれた皮膚領域候補画像における髪の毛の領域と皮膚領域とを分離する。分離する手順を図１０を用いて説明する。このような分離を行う理由は、色相と彩度を用いた分離方法では、髪の毛の領域と皮膚領域との分離が難しいためである。例えば、図１１（ａ）、図１２（ａ）および図１３（ａ）に示した画像例では、色相と彩度を用いた場合、前記した手順を適用すると、図１１（ｂ）、図１２（ｂ）および図１３（ｂ）に示されるような領域が抽出される。これらの図において、顔の周囲における白線が領域を示している。また、これらの画像における色相と彩度の関係を図１１（ｃ）、図１２（ｃ）および図１３（ｃ）に示す。図中、毛髪部分の画素を十字で、皮膚部分の画素をドット（図においてはつぶれている）で示している。これらからも、色相と彩度とを用いた場合、髪の毛と皮膚とを分離しがたいことが判る。
【００４３】
そこで、この実施形態では、まず、ＲＧＢ空間における皮膚領域候補の画像をＹＣｂＣｒ空間における画像に変換する（ステップ１０−１）。つまり、ＲＧＢ信号をＹＣｂＣｒ信号に変換する。変換式は周知なので説明を省略する。
【００４４】
ついで、各画素について、ＣｂおよびＣｒにおけるヒストグラムを生成する（ステップ１０−２）。例えば、図１１、図１２および図１３に示した各画像におけるヒストグラムの例を図１４〜図１６に示す。ここでも、髪の毛部分の画素を十字で、皮膚部分の画素をドットで示している。このように、ＣｂおよびＣｒにおけるヒストグラムを用いると、複数（ここでは二つ）のクラスタに分解することができる。
【００４５】
ついで、一方のクラスタを選択する（ステップ１０−３）。図１４〜図１６の例から明らかなように、一般に、肌色領域は、Ｃｒが大でＣｂが小となるので、その性質を有するクラスタを選択する。
【００４６】
ついで、選択したクラスタに属する画素を抽出する（ステップ１０−４）。ついで、抽出した画素から孤立画素を除去することにより、ノイズを除去する（ステップ１０−５）。これにより、顔領域候補を抽出することができる（ステップ１０−６）。
【００４７】
このように、本実施形態によれば、顔領域と毛髪領域とを、ＣｂおよびＣｒの値に対応したクラスタを用いて分別しているので、顔領域の候補画像を精度良く抽出することが可能となる。
【００４８】
（顔領域の抽出）
以上の段階では、色情報に基づいて肌色領域を抽出した。しかし、以上の処理だけでは、顔以外の皮膚領域（例えば腕）を除外することは難しい。そこで、顔領域検出部６において、顔領域を抽出（選別）する。その手順を図１７に基づいて説明する。
【００４９】
まず、領域の形状が、所定の範囲内の楕円形か否かを判定する（ステップ１７−１）。つまり、（短軸長さ／長軸長さ）が所定値の範囲内（例えば０．４より大きい）か否かを判断する。範囲外であれば、その領域は顔領域としない（ステップ１７−２）。
【００５０】
領域形状が所定範囲内の楕円であれば、両眼が存在するか否かを判定する（ステップ１７−３）。ここでは、まず、色情報から、眼の候補領域を求める。通常、前記したＹＣｂＣｒ信号におけるクラスタリングを用いると、眼領域は、髪領域と同様に、肌色領域から区別できる。さらに、眼領域は、大きさ等の構造情報を用いて髪領域から分離できる。こうして得た眼領域が、所定の規則に合致するかどうかを判断する。規則とは、例えば、眼領域が短軸の上方にあるか、眼領域は短軸とほぼ平行な線上にあるか、両眼が長軸の一側に寄っていないか等の構造的な規則である。このようにして、色情報に基づいて抽出した領域を候補として、眼領域の有無を調べる。眼領域が存在すれば、その顔領域候補を顔領域とする（ステップ１７−４）。
【００５１】
色情報に基づいて眼領域を検出できないときは、ステップ１７−３において、輝度情報に基づいてさらに眼領域を検出する。ここでは、輝度が低い領域を候補として抽出し、その領域の大きさや配置等の構造情報に基づいて判断する。これにより眼領域が検出できれば、その顔領域候補を顔領域とする（ステップ１７−４）。
【００５２】
以上の手順で眼領域が検出できなければ、その顔領域候補は顔領域としない（ステップ１７−２）。
【００５３】
このようにして、本実施形態により、対象画像から顔領域を抽出することができる。顔領域が決定すれば、その領域に含まれる画素から、顔の画像を得ることができる。
【００５４】
前記した各実施形態の実行は、当業者にはコンピュータを用いて容易に実行可能である。そのためのプログラムは、コンピュータで読み取り可能な記録媒体、例えばＨＤ、ＦＤ、ＣＤ、ＭＯなど、任意のものに格納できる。
【００５５】
なお、前記各実施形態の記載は単なる一例に過ぎず、本発明に必須の構成を示したものではない。各部の構成は、本発明の趣旨を達成できるものであれば、上記に限らない。
また、各実施形態を実現するための各部（機能ブロックを含む）の具体的手段は、ハードウエア、ソフトウエア、ネットワーク、これらの組み合わせ、その他の任意の手段を用いることができ、このこと自体は当業者において自明である。さらに、機能ブロックどうしが複合して一つの機能ブロックに集約されても良い。また、一つの機能ブロックの機能が複数の機能ブロックの協働により実現されても良い。
【００５６】
【発明の効果】
本発明によれば、対象画像の条件が多様であっても、精度良く肌色領域を抽出しうる方法を提供できる。
【図面の簡単な説明】
【図１】本発明の一実施形態に係る肌色領域抽出方法を実施するための装置の概略を示すブロック図である。
【図２】本発明の一実施形態に係る肌色領域抽出方法における、しきい値の生成手順を示すフローチャートである。
【図３】色相（Ｈ）および彩度（Ｓ）についての画素毎のヒストグラムを示すグラフであって、図（ａ）は２次元、図（ｂ）は色相のみの１次元、図（ｃ）は彩度のみの１次元で示したものである。
【図４】色相（Ｈ）および彩度（Ｓ）についての画素毎のヒストグラムをガウス混合モデルで近似した状態を示すグラフであって、図（ａ）は２次元、図（ｂ）は色相のみの１次元、図（ｃ）は彩度のみの１次元で示したものである。
【図５】しきい値生成方法を説明するためのグラフであって、縦軸は画素の増加量、横軸はしきい値（尤度値）である。
【図６】しきい値候補に対応する画素数を説明するための図であって、図（ａ）と図（ｂ）は、互いに異なるしきい値候補以上の尤度値を有する画素の例を示している。
【図７】しきい値に基づく画素の抽出方法を説明するためのフローチャートである。
【図８】対象画像から肌色領域の抽出を行う過程を説明するための画像例であって、図（ａ）は対象画像、図（ｂ）はしきい値を用いて抽出された領域を白色で示す図、図（ｃ）はメディアンフィルタで処理された後の領域を示す図、図（ｄ）は小領域を除去した後の図、図（ｅ）はモルフォロジー処理後の図、図（ｆ）は穴埋め後の図、図（ｇ）は絞り込まれた領域における画像である。
【図９】皮膚領域候補の絞り込みの手順を説明するためのフローチャートである。
【図１０】毛髪部分と顔部分の領域を分離する手順を説明するためのフローチャートである。
【図１１】毛髪部分と顔部分の領域を分離する手順を説明するための説明図であって、図（ａ）は対象画像の例、図（ｂ）は抽出された皮膚領域候補、図（ｃ）は、皮膚領域候補における画素のヒストグラムであって、縦軸は彩度、横軸は色相である。
【図１２】毛髪部分と顔部分の領域を分離する手順を説明するための説明図であって、図（ａ）は対象画像の他の例、図（ｂ）は抽出された皮膚領域候補、図（ｃ）は、皮膚領域候補における画素のヒストグラムであって、縦軸は彩度、横軸は色相である。
【図１３】毛髪部分と顔部分の領域を分離する手順を説明するための説明図であって、図（ａ）は対象画像のさらに他の例、図（ｂ）は抽出された皮膚領域候補、図（ｃ）は、皮膚領域候補における画素のヒストグラムであって、縦軸は彩度、横軸は色相である。
【図１４】図１１に示す皮膚領域候補における画素のヒストグラムであって、縦軸はＣｒ、横軸はＣｂである。
【図１５】図１２に示す皮膚領域候補における画素のヒストグラムであって、縦軸はＣｒ、横軸はＣｂである。
【図１６】図１３に示す皮膚領域候補における画素のヒストグラムであって、縦軸はＣｒ、横軸はＣｂである。
【図１７】顔領域候補から顔領域を抽出する手順を説明するためのフローチャートである。
【０００１】
【発明の属する技術分野】
本発明は、画像から肌色領域を抽出する方法に関するものである。
【０００２】
【背景技術】
写真などの画像から顔の領域を検出する技術は、既に知られている。この検出によって、個人認証や、顔を含む画像の検索が可能になると考えられる。
【０００３】
従来提案されている検出技術としては、顔の構造情報や肌の色情報を用いるものがある。肌色情報を用いる検出技術は、顔領域の候補を選別する手段として優れている。しかしながら、従来の技術では、人種や陰影に基づく色の変動があると、顔領域の検出精度がかなり低下してしまうという問題があった。
【０００４】
【発明が解決しようとする課題】
本発明は、前記の事情に鑑みてなされたものである。本発明の目的は、対象画像の条件が多様であっても、精度良く肌色領域を抽出しうる方法を提供することである。
【０００５】
【課題を解決するための手段】
本発明に係る肌色領域の抽出方法は、次のステップを含んでいる。
（１）サンプル画像中の肌色領域における各画素について、二つの色差信号に関してヒストグラムを生成するステップ；
（２）前記ヒストグラムを、複数のガウスモデルを有するガウス混合モデルにより近似するステップ；
（３）対象画像中の画素についての、二つの色差信号を、ガウスモデルにおける対応値を用いて１次元情報に変換し、ついで、前記１次元情報の値を変化させたときの画素数の増加量がほぼ最小となる前記１次元情報の値をしきい値とするステップ；および
（４）前記しきい値で決定される範囲に含まれる前記１次元情報を有する画素を、前記対象画像から選択することにより、前記対象画像から肌色領域を抽出するステップ。
【０００６】
前記１次元情報は、前記ガウスモデルにおける値であって、かつ、前記対象画像の画素における二つの色差信号に対応する値が最大となるものとすることができる。
【０００７】
前記ステップ（３）における前記画素数の増加量を、互いに同じガウスモデルにより１次元情報に変換された画素におけるものとし、
前記しきい値を、このガウスモデルを示す情報と関連付け、
前記ステップ（４）において対象画像から選択される画素を、互いに同じガウスモデルにより１次元情報に変換された画素中から、このガウスモデルと関連づけられたしきい値によって選択する、
ことができる。
【０００８】
本発明に係る肌色領域の抽出方法は、次のステップを含む構成であってもよい。
（１）対象画像の全部または一部の領域における各画素を、その画素におけるＣｂおよびＣｒの値を用いて複数のクラスタに分解するステップ；および
（２）前記複数のクラスタのうち、他に比較してＣｒが大でＣｂが小であるクラスタに属する画素が位置する領域を前記肌色領域とするステップ。
このステップ（１）における一部の領域は、前記した本発明の方法により抽出された肌色領域であってもよい。
前記対象画像は、ＲＧＢ空間からＹＣｂＣｒ空間に変換されることにより得られたものであってもよい。
前記複数のクラスタの数は例えば２である。
【０００９】
前記した本発明の抽出方法により抽出された肌色領域の構造情報を用いて、顔領域である肌色領域を抽出することもできる。
【００１０】
本発明に係る肌色領域の抽出方法は、次のステップを含む構成であってもよい。
（１）サンプル画像中の肌色領域における各画素について、二つの色差信号に関してヒストグラムを生成するステップ；
（２）前記ヒストグラムを、複数のガウスモデルを有するガウス混合モデルにより近似するステップ；
（３）対象画像中の画素における前記色差信号に対応する、前記ガウスモデルでの値に基づいて、しきい値を生成するステップ；および
（４）前記しきい値で決定される範囲に含まれる前記画素を、前記対象画像から選択することにより、前記対象画像から肌色領域を抽出するステップ。
【００１１】
本発明に係るコンピュータプログラムは、前記したいずれかの抽出方法におけるステップをコンピュータで実行するためのものである。
本発明に係る記録媒体は、このコンピュータプログラムを記録し、かつ、コンピュータで読み取り可能なものである。
【００１２】
本発明に係る肌色領域の抽出装置は、しきい値生成部と、皮膚領域候補抽出部とを備えており、前記しきい値生成部は、下記（１）〜（３）のステップを実行し、前記皮膚領域候補抽出部は、下記（４）のステップを実行することを特徴とするものである。
（１）サンプル画像中の肌色領域における各画素について、二つの色差信号に関してヒストグラムを生成するステップ；
（２）前記ヒストグラムを、複数のガウスモデルを有するガウス混合モデルにより近似するステップ；
（３）対象画像中の画素についての、二つの色差信号を、ガウスモデルにおける対応値を用いて１次元情報に変換し、ついで、前記１次元情報の値を変化させたときの画素数の増加量がほぼ最小のときの前記しきい値候補をしきい値とするステップ；
（４）前記しきい値で決定される範囲に含まれる前記一次元情報を有する画素を、前記対象画像から選択することにより、前記対象画像から肌色領域を抽出するステップ。
【００１３】
本発明に係る肌色領域の抽出装置は、対象画像における画素を判定するためのしきい値を生成するしきい値生成部を備え、前記しきい値生成部は、下記（１）〜（３）のステップを実行することを特徴とするものであってもよい。
（１）サンプル画像中の肌色領域における各画素について、二つの色差信号に関してヒストグラムを生成するステップ；
（２）前記ヒストグラムを、複数のガウスモデルを有するガウス混合モデルにより近似するステップ；および
（３）対象画像中の画素についての、二つの色差信号を、ガウスモデルにおける対応値を用いて１次元情報に変換し、ついで、前記１次元情報の値を変化させたときの画素数の増加量がほぼ最小のときの前記しきい値候補をしきい値とするステップ。
【００１４】
本発明に係る肌色領域の抽出装置は、以下のステップを実行する顔領域候補抽出部を備えた構成であってもよい。
（１）対象画像の全部または一部の領域における各画素を、各画素におけるＣｂおよびＣｒの値を用いて複数のクラスタに分解するステップ；および
（２）前記複数のクラスタのうち、他に比較してＣｒが大でＣｂが小であるクラスタに属する画素が位置する領域を前記肌色領域とするステップ。
【００１５】
前記抽出装置は、さらに顔領域抽出部を備えていてもよい。この顔領域抽出部は、肌色領域における構造情報を用いて、顔領域である肌色領域を抽出するものである。
【００１６】
【発明の実施の形態】
本発明の一実施形態に係る、肌色領域の抽出方法を、添付の図面を参照しながら説明する。まず、本実施形態の抽出方法に用いる装置の構成を図１に基づいて説明する。なお、この明細書では、用語の概念として、肌色領域は皮膚領域候補を含み、皮膚領域候補は顔領域候補（すなわち皮膚領域）を含み、顔領域候補は顔領域を含む意味で用いる。
【００１７】
この装置は、画像情報取得部１と、色空間変換部２と、しきい値生成部３と、皮膚領域候補抽出部４と、顔領域候補抽出部５と、顔領域抽出部６とを備えている。画像情報取得部１は、対象画像の情報を入力として取得する部分である。対象画像情報としては、通常は、ＲＧＢ空間におけるＲＧＢ信号である。色空間変換部２は、対象画像を、輝度信号と二つの色差信号とを持つ色空間に変換する部分である。色空間としては、二つの色差信号を持つものであればよい。本実施形態では、そのような色空間としてＨＳＶ空間を用い、二つの色差信号としてＨ（色相）、Ｓ（彩度）を用いる例を説明する。二つの色差信号を持つ色空間としては、ＨＳＶの他にも、均等色空間としてのＣＩＥ ＬＡＢ（Ｌ＊ａ＊ｂ＊）、ＣＩＥ ＬＵＶ（Ｌ＊ｕ＊ｖ＊）や、さらには、［Ｙ，Ｒ−Ｙ，Ｂ−Ｙ］、［Ｙ，Ｉ，Ｑ］などを用いることができる。
【００１８】
しきい値生成部３は、画像情報を構成する画素を、肌色領域のものとそうでないものとに区別するためのしきい値を生成するものである。このしきい値の生成方法は後述する。
【００１９】
皮膚領域候補抽出部４は、しきい値で規定される範囲に含まれる画素を対象画像から選択することにより、前記対象画像から肌色領域を抽出する機能を実行するものである。この動作の詳細も後述する。
【００２０】
顔領域候補抽出部５は、皮膚領域候補抽出部４で得られた皮膚領域候補を絞り込むとともに、顔領域と髪領域とを判別するものである。その方法については後述する。
【００２１】
顔領域抽出部６は、顔領域候補抽出部５で得られた顔領域候補（すなわち皮膚領域）から、構造的な特徴に基づいて、顔領域を抽出（選別）するものである。具体的な抽出方法は後述する。
【００２２】
つぎに、本実施形態における肌色領域の抽出方法を説明する。まず、画像情報取得部１が、入力としての対象画像を取得する。この対象画像は、この実施形態では、ＲＧＢ空間におけるＲＧＢ信号で表されているものとする。ついで、色空間変換部２により、ＲＧＢ信号をＨＳＶ信号に変換する。これにより、対象画像から二つの色差信号（Ｈ，Ｓ）を生成することができる。ＲＧＢ空間からＨＳＶ空間への変換式は周知であるが、念のため下記に示す。
【００２３】
ついで、皮膚領域候補抽出部４において、ＨＳＶ信号としての対象画像を用いて、皮膚領域候補を抽出する。本実施形態では、この抽出の前に、しきい値生成部３により、しきい値を生成する。そこで、まず、しきい値の生成方法を図２に基づいて説明する。
【００２４】
（しきい値の生成）
まず、ＲＧＢ空間における、複数のサンプル画像を取得する（ステップ２−１）。サンプル画像としては、人の顔を含むものを用いる。また、サンプル画像に含まれる顔としては、人種、年齢、性別、日焼けの程度、陰影などの条件がなるべく多様であることが好ましい。ついで、ＲＧＢ信号をＨＳＶ信号に変換する（ステップ２−２）。この変換式は前記したものと同様である。
【００２５】
ついで、サンプル画像のなかで、顔領域（すなわち肌色領域）における画素を選択する（ステップ２−３）。サンプル画像においては、顔領域は既知である。
【００２６】
ついで、サンプル画像中の顔領域における各画素について、二つの色差信号である色相（Ｈ）および彩度（Ｓ）に関してヒストグラムを生成する（ステップ２−４）。ヒストグラムの例を図３に示す。図３（ｂ）および（ｃ）は、図３（ａ）のグラフを色相または彩度のみの一次元で表したものである。
【００２７】
ついで、ヒストグラムをガウス混合モデルにより近似する（ステップ２−５）。ガウス混合モデルは以下のように表される。
ここで、
ｋ：ガウスモデルの混合数（この実施形態では４）、
θ：一つのガウスモデルに対応するパラメータαｉ、μｉ等のセット（この実施形態では４セット）、
である。
【００２８】
ヒストグラムをガウス混合モデルで近似した結果を図４に示す。この例では、ガウスモデルの混合数を４としている。ＨまたはＳについてガウス混合モデル（図４（ｂ）および（ｃ）参照）を生成した後、それを組み合わせることで、図４（ａ）に示すような３次元のガウス混合モデルを得ることができる。
ガウス混合モデルは、例えば
（１）Ｓ． ＭｃＫｅｎｎａ， Ｓ． Ｇｏｎｇ， ａｎｄ Ｙ． Ｒａｊａ． Ｍｏｄｅｌｌｉｎｇ Ｆａｃｉａｌ Ｃｏｌｏｕｒ ａｎｄ Ｉｄｅｎｔｉｔｙ ｗｉｔｈ Ｇａｕｓｓｉａｎ Ｍｉｘｔｕｒｅｓ． Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ， ３１（１２）：１８８３−１８９２， １９９８．
（２）Ｈ．Ｐ． Ｇｒａｆ， Ｅ． Ｃｏｓａｔｔｏ， Ｄ． Ｇｉｂｂｏｎ， Ｍ． Ｋｏｃｈｅｉｓｅｎ， ａｎｄ Ｅ． Ｐｅｔａｊａｎ． Ｍｕｌｔｉｍｏｄｅｌ Ｓｙｓｔｅｍ ｆｏｒ Ｌｏｃａｔｉｎｇ Ｈｅａｄｓ ａｎｄ Ｆａｃｅｓ． Ｉｎ Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ Ｓｅｃｏｎｄ ＩＥＥＥ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ａｕｔｏｍａｔｉｃ Ｆａｃｅ ａｎｄ Ｇｅｓｔｕｒｅ Ｒｅｃｏｇｎｉｔｉｏｎ， ｐａｇｅｓ ８８−９３， １９９６．
に記載されているように、良く知られているので、これ以上詳細な説明は省略する。
【００２９】
ついで、対象画像中の各画素ｘｉについての、二つの色差信号（Ｈ，Ｓ）を、ガウスモデルにおける対応値を用いて１次元情報に変換する（ステップ２−６）。具体的には、画素ｘｉにおける色差信号の組（Ｈ，Ｓ）に対し、ガウス混合モデルにおいて最も大きい値φｉを求める。このφｉが、この実施形態における１次元情報となる。φｉは、ヒストグラムの値をそのまま用いれば頻度値となる。ただし、φｉとしては、頻度値から得られる他の値であっても良い。例えば、頻度値をヒストグラムの最大値で正規化した値をφｉとして用いても良い。この場合は、φｉは確率を表すことになる。φｉは、それ自体が頻度値であるか正規化された確率であるかに拘わらず、実質的には、肌色である確率を示す尤度値を意味することになる。よって、この明細書では、φｉを尤度値と称することがある。さらに、このφｉを与えるガウスモデルを示す情報（すなわちガウスモデルのラベル）ｌ（ｌは１〜ｋのいずれかの整数）を求める。この実施形態では、前記した通り、ｋ＝４である。これにより、各画素ｘｉについて、尤度値φｉとラベルｌの組を情報として付与する（ステップ２−７）。具体的には、例えば、φｉとｌとをｘｉに対応させて、テーブルに格納する。
【００３０】
ついで、１次元情報におけるしきい値候補の値を変化させたときの画素数の増加量がほぼ最小のときのしきい値候補をしきい値とする（ステップ２−８）。このステップを、図５および図６を参照しながら、以下に詳述する。
【００３１】
まず、ガウスモデルのラベルｌに関連づけられた画素（群）ｘｉを考える。ついで、これらの画素ｘｉについての尤度値φｉの最大値（またはそれに近い値）φｉｍａｘからΔＴｌだけ小さい値をしきい値候補Ｔｌとする（図５参照）。ついで、しきい値候補Ｔｌ以上の尤度値φｉを持つ、ラベルｌの画素ｘｉの数を数える。例えば、このときの画素の例は、図６（ａ）のようになる。ついで、しきい値候補ＴｌをΔＴｌだけずらし、再び、しきい値候補Ｔｌ以上の尤度値φｉを有する、ラベルｌの画素ｘｉを数える。例えば、このときの画素の例は、図６（ｂ）のようになる。ΔＴｌは、この実施形態では一定量とする。ΔＴｌだけしきい値候補Ｔｌをずらしながら、前記の計算を行う。このようにして、１次元情報φｉを用いて、しきい値候補Ｔｌの値に対応する画素の増加量をそれぞれ求めることができる。例えば、図６（ａ）における画素数をＡ１、図６（ｂ）における画素数をＡ２とすれば、増加量はＡ２−Ａ１として求めることができる。このようにして求めた、しきい値候補と画素の増加量との関係を図５に示す。
【００３２】
ついで、画素数の増加量がほぼ最小となる尤度値（つまり１次元情報の値）をしきい値Ｔｌ０とする。この実施形態では、しきい値候補Ｔｌと画素増加量との関係を求めているが、これと等価な方法として、しきい値候補Ｔｌの変化量ΔＴｌと、その範囲に含まれる画素数との関係を求めることにより、しきい値Ｔｌ０を求めることもできる。この場合は、変化量ΔＴｌの幅に含まれる画素数が、前記した画素数の増加量を意味することになる。
【００３３】
本実施形態では、結局、対象画像中の画素における色差信号（Ｈ，Ｓ）に対応する、ガウスモデルでの値φｉに基づいて、しきい値が生成されていることになる。
【００３４】
（皮膚候補領域の抽出）
ついで、このしきい値を用いて、皮膚領域候補抽出部４（図１参照）において、対象画像から皮膚領域候補を抽出する。この抽出は、しきい値Ｔｌ０で決定される範囲に含まれる一次元情報（尤度値）を有する、ラベルｌを有する画素ｘｉを、対象画像から選択することにより行われる。
【００３５】
この抽出手順を図７に示す。まず、ラベルｌと関連づけられた画素ｘｉに対して、そのラベルｌに対応するしきい値Ｔｌを適用する（ステップ７−１）。ここでは、画素ｘｉの尤度値がしきい値Ｔｌより大きければ１、小さければ０を出力することで２値化する。また、例えば、画素ｘｉの尤度値がしきい値Ｔｌより大きければ、１でなくｌを出力することもできる。このようにすれば、２値化と同時に、ラベルの情報も出力できるという利点がある。
【００３６】
ついで、２値化の結果が１であるか否かを判断する（ステップ７−２）。もちろん０であるか否かを判断しても良いことは当然である。１であれば、その画素を皮膚領域候補の画素とする（ステップ７−３）。１でなければ皮膚領域候補としない（ステップ７−４）。この判定を各画素について行う。
【００３７】
本実施形態によれば、しきい値に基づいて対象画像から画素を選択することにより、この画素に基づいて、対象画像から肌色領域（皮膚領域候補）を抽出することができる。従来は、皮膚領域かどうかを判定するしきい値を固定していたために、対象画像における条件が変化すると検出精度が劣化するという問題があった。これに対して、この実施形態の方法では、前記のように、対象画像から適応的にしきい値を生成している。例えば、この実施形態では、対象画像が異なれば、しきい値候補Ｔｌの変化量ΔＴｌに対応する画素数は異なる。したがって、対象画像毎に、各ガウスモデルｌに対応して別のしきい値を決めることができる。この結果、対象画像の明るさが変動したり、様々な肌色の人物が存在しても、それらの条件に対応してしきい値を生成することができる。これにより、この実施形態では、肌色領域を適切に抽出することが可能となる。
【００３８】
このようにして画素を選択した結果を図８（ｂ）に示す。同図（ａ）は対象画像である。図８（ｂ）では、選択された画素を白で示し、選択されなかった画素を黒で示している。
【００３９】
（顔領域候補の抽出…絞り込み）
つぎに、顔領域候補抽出部５において、皮膚領域候補の絞り込みを行う。絞り込みの手順を図９に基づいて説明する。まず、メディアンフィルタ（図示せず）により、孤立画素を除去する（ステップ９−１）。メディアンフィルタとしては、例えば３×３画素の範囲でのものを用いることができる。これにより皮膚領域候補の画像からノイズを除去することができる。処理結果の例を図８（ｃ）に示す。ついで、各領域についてラベルを付与するというラベリングを行う（ステップ９−２）。ついで、各領域について画素数を算出し、面積の小さい領域を除去する（ステップ９−３）。具体的には、例えば、各領域内の面積（例えば画素数）を求める。ついで、それらの平均値を計算する。ついで、平均値のａ％（ａは例えば３）よりも面積が小さい領域を除去する。小領域を除去した結果の例を図８（ｄ）に示す。
【００４０】
ついで、領域に対してモルフォロジー処理を行う（ステップ９−４）。モルフォロジー処理は、幅の狭い凹部を除去して、輪郭を滑らかにするものである。処理結果の例を図８（ｅ）に示す。ついで、穴埋め処理を行う（ステップ９−５）。穴埋め処理とは、領域内にある穴（例えば目や鼻の穴に相当する）を埋めておく処理である。処理結果の例を図８（ｆ）に示す。また、このようにして抽出された領域の画像を図８（ｇ）に示す。
これらの、図９に示した各処理は、いずれもそれ自体としては周知なので、これ以上の説明は省略する。
【００４１】
これらの処理により、皮膚領域候補を、一定以上の大きさの領域とする（つまり絞り込む）ことができる。絞り込まれた皮膚領域候補の画像は、この実施形態では、ＲＧＢ信号で保存しておく。
【００４２】
（顔領域候補の抽出…髪領域と皮膚領域との分離）
ついで、顔領域候補抽出部５において、さらに、絞り込まれた皮膚領域候補画像における髪の毛の領域と皮膚領域とを分離する。分離する手順を図１０を用いて説明する。このような分離を行う理由は、色相と彩度を用いた分離方法では、髪の毛の領域と皮膚領域との分離が難しいためである。例えば、図１１（ａ）、図１２（ａ）および図１３（ａ）に示した画像例では、色相と彩度を用いた場合、前記した手順を適用すると、図１１（ｂ）、図１２（ｂ）および図１３（ｂ）に示されるような領域が抽出される。これらの図において、顔の周囲における白線が領域を示している。また、これらの画像における色相と彩度の関係を図１１（ｃ）、図１２（ｃ）および図１３（ｃ）に示す。図中、毛髪部分の画素を十字で、皮膚部分の画素をドット（図においてはつぶれている）で示している。これらからも、色相と彩度とを用いた場合、髪の毛と皮膚とを分離しがたいことが判る。
【００４３】
そこで、この実施形態では、まず、ＲＧＢ空間における皮膚領域候補の画像をＹＣｂＣｒ空間における画像に変換する（ステップ１０−１）。つまり、ＲＧＢ信号をＹＣｂＣｒ信号に変換する。変換式は周知なので説明を省略する。
【００４４】
ついで、各画素について、ＣｂおよびＣｒにおけるヒストグラムを生成する（ステップ１０−２）。例えば、図１１、図１２および図１３に示した各画像におけるヒストグラムの例を図１４〜図１６に示す。ここでも、髪の毛部分の画素を十字で、皮膚部分の画素をドットで示している。このように、ＣｂおよびＣｒにおけるヒストグラムを用いると、複数（ここでは二つ）のクラスタに分解することができる。
【００４５】
ついで、一方のクラスタを選択する（ステップ１０−３）。図１４〜図１６の例から明らかなように、一般に、肌色領域は、Ｃｒが大でＣｂが小となるので、その性質を有するクラスタを選択する。
【００４６】
ついで、選択したクラスタに属する画素を抽出する（ステップ１０−４）。ついで、抽出した画素から孤立画素を除去することにより、ノイズを除去する（ステップ１０−５）。これにより、顔領域候補を抽出することができる（ステップ１０−６）。
【００４７】
このように、本実施形態によれば、顔領域と毛髪領域とを、ＣｂおよびＣｒの値に対応したクラスタを用いて分別しているので、顔領域の候補画像を精度良く抽出することが可能となる。
【００４８】
（顔領域の抽出）
以上の段階では、色情報に基づいて肌色領域を抽出した。しかし、以上の処理だけでは、顔以外の皮膚領域（例えば腕）を除外することは難しい。そこで、顔領域検出部６において、顔領域を抽出（選別）する。その手順を図１７に基づいて説明する。
【００４９】
まず、領域の形状が、所定の範囲内の楕円形か否かを判定する（ステップ１７−１）。つまり、（短軸長さ／長軸長さ）が所定値の範囲内（例えば０．４より大きい）か否かを判断する。範囲外であれば、その領域は顔領域としない（ステップ１７−２）。
【００５０】
領域形状が所定範囲内の楕円であれば、両眼が存在するか否かを判定する（ステップ１７−３）。ここでは、まず、色情報から、眼の候補領域を求める。通常、前記したＹＣｂＣｒ信号におけるクラスタリングを用いると、眼領域は、髪領域と同様に、肌色領域から区別できる。さらに、眼領域は、大きさ等の構造情報を用いて髪領域から分離できる。こうして得た眼領域が、所定の規則に合致するかどうかを判断する。規則とは、例えば、眼領域が短軸の上方にあるか、眼領域は短軸とほぼ平行な線上にあるか、両眼が長軸の一側に寄っていないか等の構造的な規則である。このようにして、色情報に基づいて抽出した領域を候補として、眼領域の有無を調べる。眼領域が存在すれば、その顔領域候補を顔領域とする（ステップ１７−４）。
【００５１】
色情報に基づいて眼領域を検出できないときは、ステップ１７−３において、輝度情報に基づいてさらに眼領域を検出する。ここでは、輝度が低い領域を候補として抽出し、その領域の大きさや配置等の構造情報に基づいて判断する。これにより眼領域が検出できれば、その顔領域候補を顔領域とする（ステップ１７−４）。
【００５２】
以上の手順で眼領域が検出できなければ、その顔領域候補は顔領域としない（ステップ１７−２）。
【００５３】
このようにして、本実施形態により、対象画像から顔領域を抽出することができる。顔領域が決定すれば、その領域に含まれる画素から、顔の画像を得ることができる。
【００５４】
前記した各実施形態の実行は、当業者にはコンピュータを用いて容易に実行可能である。そのためのプログラムは、コンピュータで読み取り可能な記録媒体、例えばＨＤ、ＦＤ、ＣＤ、ＭＯなど、任意のものに格納できる。
【００５５】
なお、前記各実施形態の記載は単なる一例に過ぎず、本発明に必須の構成を示したものではない。各部の構成は、本発明の趣旨を達成できるものであれば、上記に限らない。
また、各実施形態を実現するための各部（機能ブロックを含む）の具体的手段は、ハードウエア、ソフトウエア、ネットワーク、これらの組み合わせ、その他の任意の手段を用いることができ、このこと自体は当業者において自明である。さらに、機能ブロックどうしが複合して一つの機能ブロックに集約されても良い。また、一つの機能ブロックの機能が複数の機能ブロックの協働により実現されても良い。
【００５６】
【発明の効果】
本発明によれば、対象画像の条件が多様であっても、精度良く肌色領域を抽出しうる方法を提供できる。
【図面の簡単な説明】
【図１】本発明の一実施形態に係る肌色領域抽出方法を実施するための装置の概略を示すブロック図である。
【図２】本発明の一実施形態に係る肌色領域抽出方法における、しきい値の生成手順を示すフローチャートである。
【図３】色相（Ｈ）および彩度（Ｓ）についての画素毎のヒストグラムを示すグラフであって、図（ａ）は２次元、図（ｂ）は色相のみの１次元、図（ｃ）は彩度のみの１次元で示したものである。
【図４】色相（Ｈ）および彩度（Ｓ）についての画素毎のヒストグラムをガウス混合モデルで近似した状態を示すグラフであって、図（ａ）は２次元、図（ｂ）は色相のみの１次元、図（ｃ）は彩度のみの１次元で示したものである。
【図５】しきい値生成方法を説明するためのグラフであって、縦軸は画素の増加量、横軸はしきい値（尤度値）である。
【図６】しきい値候補に対応する画素数を説明するための図であって、図（ａ）と図（ｂ）は、互いに異なるしきい値候補以上の尤度値を有する画素の例を示している。
【図７】しきい値に基づく画素の抽出方法を説明するためのフローチャートである。
【図８】対象画像から肌色領域の抽出を行う過程を説明するための画像例であって、図（ａ）は対象画像、図（ｂ）はしきい値を用いて抽出された領域を白色で示す図、図（ｃ）はメディアンフィルタで処理された後の領域を示す図、図（ｄ）は小領域を除去した後の図、図（ｅ）はモルフォロジー処理後の図、図（ｆ）は穴埋め後の図、図（ｇ）は絞り込まれた領域における画像である。
【図９】皮膚領域候補の絞り込みの手順を説明するためのフローチャートである。
【図１０】毛髪部分と顔部分の領域を分離する手順を説明するためのフローチャートである。
【図１１】毛髪部分と顔部分の領域を分離する手順を説明するための説明図であって、図（ａ）は対象画像の例、図（ｂ）は抽出された皮膚領域候補、図（ｃ）は、皮膚領域候補における画素のヒストグラムであって、縦軸は彩度、横軸は色相である。
【図１２】毛髪部分と顔部分の領域を分離する手順を説明するための説明図であって、図（ａ）は対象画像の他の例、図（ｂ）は抽出された皮膚領域候補、図（ｃ）は、皮膚領域候補における画素のヒストグラムであって、縦軸は彩度、横軸は色相である。
【図１３】毛髪部分と顔部分の領域を分離する手順を説明するための説明図であって、図（ａ）は対象画像のさらに他の例、図（ｂ）は抽出された皮膚領域候補、図（ｃ）は、皮膚領域候補における画素のヒストグラムであって、縦軸は彩度、横軸は色相である。
【図１４】図１１に示す皮膚領域候補における画素のヒストグラムであって、縦軸はＣｒ、横軸はＣｂである。
【図１５】図１２に示す皮膚領域候補における画素のヒストグラムであって、縦軸はＣｒ、横軸はＣｂである。
【図１６】図１３に示す皮膚領域候補における画素のヒストグラムであって、縦軸はＣｒ、横軸はＣｂである。
【図１７】顔領域候補から顔領域を抽出する手順を説明するためのフローチャートである。
【特許請求の範囲】
【請求項１】
次のステップを含むことを特徴とする、肌色領域の抽出方法：
（１）サンプル画像中の肌色領域における各画素について、二つの色差信号に関してヒストグラムを生成するステップ；
（２）前記ヒストグラムを、複数のガウスモデルを有するガウス混合モデルにより近似するステップ；
（３）対象画像中の画素についての、二つの色差信号を、ガウスモデルにおける対応値を用いて１次元情報に変換し、ついで、前記１次元情報の値を変化させたときの画素数の増加量がほぼ最小となる前記１次元情報の値をしきい値とするステップ；
（４）前記しきい値で決定される範囲に含まれる前記１次元情報を有する画素を、前記対象画像から選択することにより、前記対象画像から肌色領域を抽出するステップ。
【請求項２】
前記１次元情報は、前記ガウスモデルにおける値であって、かつ、前記対象画像の画素における二つの色差信号に対応する値が最大となるものであることを特徴とする請求項１記載の抽出方法。
【請求項３】
前記ステップ（３）における前記画素数の増加量とは、互いに同じガウスモデルにより１次元情報に変換された画素におけるものであり、
前記しきい値は、このガウスモデルを示す情報と関連付けられており、
前記ステップ（４）において対象画像から選択される画素は、互いに同じガウスモデルにより１次元情報に変換された画素中から、このガウスモデルと関連づけられたしきい値によって選択される
ことを特徴とする請求項１または２に記載の抽出方法。
【請求項４】
次のステップを含むことを特徴とする、肌色領域の抽出方法：
（１）対象画像の全部または一部の領域における各画素を、その画素におけるＣｂおよびＣｒの値を用いて複数のクラスタに分解するステップ；
（２）前記複数のクラスタのうち、他に比較してＣｒが大でＣｂが小であるクラスタに属する画素が位置する領域を前記肌色領域とするステップ。
【請求項５】
前記一部の領域とは、請求項１〜３のいずれか１項の抽出方法により抽出された肌色領域であることを特徴とする請求項４記載の抽出方法。
【請求項６】
前記対象画像は、ＲＧＢ空間からＹＣｂＣｒ空間に変換されることにより得られたものであることを特徴とする請求項４または５に記載の抽出方法。
【請求項７】
前記複数のクラスタの数は２であることを特徴とする請求項４〜６のいずれか１項に記載の抽出方法。
【請求項８】
請求項１〜７のいずれか１項記載の抽出方法により抽出された肌色領域の構造情報を用いて、顔領域である肌色領域を抽出するステップを含むことを特徴とする抽出方法。
【請求項９】
次のステップを含むことを特徴とする、肌色領域の抽出方法：
（１）サンプル画像中の肌色領域における各画素について、二つの色差信号に関してヒストグラムを生成するステップ；
（２）前記ヒストグラムを、複数のガウスモデルを有するガウス混合モデルにより近似するステップ；
（３）対象画像中の画素における前記色差信号に対応する、前記ガウスモデルでの値に基づいて、しきい値を生成するステップ；
（４）前記しきい値で決定される範囲に含まれる前記画素を、前記対象画像から選択することにより、前記対象画像から肌色領域を抽出するステップ。
【請求項１０】
請求項１〜９のいずれか１項に記載のステップをコンピュータで実行するためのコンピュータプログラム。
【請求項１１】
請求項１０記載のコンピュータプログラムを記録した、コンピュータで読み取り可能な記録媒体。
【請求項１２】
しきい値生成部と、皮膚領域候補抽出部とを備えており、前記しきい値生成部は、下記（１）〜（３）のステップを実行し、前記皮膚領域候補抽出部は、下記（４）のステップを実行することを特徴とする、肌色領域の抽出装置：
（１）サンプル画像中の肌色領域における各画素について、二つの色差信号に関してヒストグラムを生成するステップ；
（２）前記ヒストグラムを、複数のガウスモデルを有するガウス混合モデルにより近似するステップ；
（３）対象画像中の画素についての、二つの色差信号を、ガウスモデルにおける対応値を用いて１次元情報に変換し、ついで、前記１次元情報の値を変化させたときの画素数の増加量がほぼ最小のときの前記しきい値候補をしきい値とするステップ；
（４）前記しきい値で決定される範囲に含まれる前記一次元情報を有する画素を、前記対象画像から選択することにより、前記対象画像から肌色領域を抽出するステップ。
【請求項１３】
対象画像における画素を判定するためのしきい値を生成するしきい値生成部を備え、前記しきい値生成部は、下記（１）〜（３）のステップを実行することを特徴とする、肌色領域の抽出装置：
（１）サンプル画像中の肌色領域における各画素について、二つの色差信号に関してヒストグラムを生成するステップ；
（２）前記ヒストグラムを、複数のガウスモデルを有するガウス混合モデルにより近似するステップ；
（３）対象画像中の画素についての、二つの色差信号を、ガウスモデルにおける対応値を用いて１次元情報に変換し、ついで、前記１次元情報の値を変化させたときの画素数の増加量がほぼ最小のときの前記しきい値候補をしきい値とするステップ。
【請求項１４】
以下のステップを実行する顔領域候補抽出部を備えたことを特徴とする、肌色領域の抽出装置：
（１）対象画像の全部または一部の領域における各画素を、各画素におけるＣｂおよびＣｒの値を用いて複数のクラスタに分解するステップ；
（２）前記複数のクラスタのうち、他に比較してＣｒが大でＣｂが小であるクラスタに属する画素が位置する領域を前記肌色領域とするステップ。
【請求項１５】
請求項１２〜１４のいずれか１項記載の抽出装置であって、さらに顔領域抽出部を備え、前記顔領域抽出部は、肌色領域における構造情報を用いて、顔領域である肌色領域を抽出するステップを実行するものであることを特徴とする抽出装置。
【請求項１】
次のステップを含むことを特徴とする、肌色領域の抽出方法：
（１）サンプル画像中の肌色領域における各画素について、二つの色差信号に関してヒストグラムを生成するステップ；
（２）前記ヒストグラムを、複数のガウスモデルを有するガウス混合モデルにより近似するステップ；
（３）対象画像中の画素についての、二つの色差信号を、ガウスモデルにおける対応値を用いて１次元情報に変換し、ついで、前記１次元情報の値を変化させたときの画素数の増加量がほぼ最小となる前記１次元情報の値をしきい値とするステップ；
（４）前記しきい値で決定される範囲に含まれる前記１次元情報を有する画素を、前記対象画像から選択することにより、前記対象画像から肌色領域を抽出するステップ。
【請求項２】
前記１次元情報は、前記ガウスモデルにおける値であって、かつ、前記対象画像の画素における二つの色差信号に対応する値が最大となるものであることを特徴とする請求項１記載の抽出方法。
【請求項３】
前記ステップ（３）における前記画素数の増加量とは、互いに同じガウスモデルにより１次元情報に変換された画素におけるものであり、
前記しきい値は、このガウスモデルを示す情報と関連付けられており、
前記ステップ（４）において対象画像から選択される画素は、互いに同じガウスモデルにより１次元情報に変換された画素中から、このガウスモデルと関連づけられたしきい値によって選択される
ことを特徴とする請求項１または２に記載の抽出方法。
【請求項４】
次のステップを含むことを特徴とする、肌色領域の抽出方法：
（１）対象画像の全部または一部の領域における各画素を、その画素におけるＣｂおよびＣｒの値を用いて複数のクラスタに分解するステップ；
（２）前記複数のクラスタのうち、他に比較してＣｒが大でＣｂが小であるクラスタに属する画素が位置する領域を前記肌色領域とするステップ。
【請求項５】
前記一部の領域とは、請求項１〜３のいずれか１項の抽出方法により抽出された肌色領域であることを特徴とする請求項４記載の抽出方法。
【請求項６】
前記対象画像は、ＲＧＢ空間からＹＣｂＣｒ空間に変換されることにより得られたものであることを特徴とする請求項４または５に記載の抽出方法。
【請求項７】
前記複数のクラスタの数は２であることを特徴とする請求項４〜６のいずれか１項に記載の抽出方法。
【請求項８】
請求項１〜７のいずれか１項記載の抽出方法により抽出された肌色領域の構造情報を用いて、顔領域である肌色領域を抽出するステップを含むことを特徴とする抽出方法。
【請求項９】
次のステップを含むことを特徴とする、肌色領域の抽出方法：
（１）サンプル画像中の肌色領域における各画素について、二つの色差信号に関してヒストグラムを生成するステップ；
（２）前記ヒストグラムを、複数のガウスモデルを有するガウス混合モデルにより近似するステップ；
（３）対象画像中の画素における前記色差信号に対応する、前記ガウスモデルでの値に基づいて、しきい値を生成するステップ；
（４）前記しきい値で決定される範囲に含まれる前記画素を、前記対象画像から選択することにより、前記対象画像から肌色領域を抽出するステップ。
【請求項１０】
請求項１〜９のいずれか１項に記載のステップをコンピュータで実行するためのコンピュータプログラム。
【請求項１１】
請求項１０記載のコンピュータプログラムを記録した、コンピュータで読み取り可能な記録媒体。
【請求項１２】
しきい値生成部と、皮膚領域候補抽出部とを備えており、前記しきい値生成部は、下記（１）〜（３）のステップを実行し、前記皮膚領域候補抽出部は、下記（４）のステップを実行することを特徴とする、肌色領域の抽出装置：
（１）サンプル画像中の肌色領域における各画素について、二つの色差信号に関してヒストグラムを生成するステップ；
（２）前記ヒストグラムを、複数のガウスモデルを有するガウス混合モデルにより近似するステップ；
（３）対象画像中の画素についての、二つの色差信号を、ガウスモデルにおける対応値を用いて１次元情報に変換し、ついで、前記１次元情報の値を変化させたときの画素数の増加量がほぼ最小のときの前記しきい値候補をしきい値とするステップ；
（４）前記しきい値で決定される範囲に含まれる前記一次元情報を有する画素を、前記対象画像から選択することにより、前記対象画像から肌色領域を抽出するステップ。
【請求項１３】
対象画像における画素を判定するためのしきい値を生成するしきい値生成部を備え、前記しきい値生成部は、下記（１）〜（３）のステップを実行することを特徴とする、肌色領域の抽出装置：
（１）サンプル画像中の肌色領域における各画素について、二つの色差信号に関してヒストグラムを生成するステップ；
（２）前記ヒストグラムを、複数のガウスモデルを有するガウス混合モデルにより近似するステップ；
（３）対象画像中の画素についての、二つの色差信号を、ガウスモデルにおける対応値を用いて１次元情報に変換し、ついで、前記１次元情報の値を変化させたときの画素数の増加量がほぼ最小のときの前記しきい値候補をしきい値とするステップ。
【請求項１４】
以下のステップを実行する顔領域候補抽出部を備えたことを特徴とする、肌色領域の抽出装置：
（１）対象画像の全部または一部の領域における各画素を、各画素におけるＣｂおよびＣｒの値を用いて複数のクラスタに分解するステップ；
（２）前記複数のクラスタのうち、他に比較してＣｒが大でＣｂが小であるクラスタに属する画素が位置する領域を前記肌色領域とするステップ。
【請求項１５】
請求項１２〜１４のいずれか１項記載の抽出装置であって、さらに顔領域抽出部を備え、前記顔領域抽出部は、肌色領域における構造情報を用いて、顔領域である肌色領域を抽出するステップを実行するものであることを特徴とする抽出装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【公開番号】特開２００４−２４６４２４（Ｐ２００４−２４６４２４Ａ）
【公開日】平成１６年９月２日（２００４．９．２）
【国際特許分類】
【出願番号】特願２００３−３２８６４（Ｐ２００３−３２８６４）
【出願日】平成１５年２月１０日（２００３．２．１０）
【出願人】（５０３０５６４６９）
【出願人】（５０００８２５０６）株式会社キャンパスクリエイト (2)
【Ｆターム（参考）】
【公開日】平成１６年９月２日（２００４．９．２）
【国際特許分類】
【出願日】平成１５年２月１０日（２００３．２．１０）
【出願人】（５０３０５６４６９）
【出願人】（５０００８２５０６）株式会社キャンパスクリエイト (2)
【Ｆターム（参考）】
[ Back to top ]