画像処理装置、画像処理方法、および制御プログラム
【課題】種々の条件において撮影された顔画像における唇の色を特定し、特定した唇の色を用いて唇の領域を特定することができる画像処理装置および画像処理方法を実現する。
【解決手段】本発明に係る画像処理装置６は、人物の口を含む顔画像から唇の特徴を特定する画像処理装置であって、顔画像の肌の代表色を特定する肌代表色特定部１７と、顔画像において、少なくともいずれかの領域が唇の一部を含むように複数の領域を設定し、各領域の代表色を候補色として特定する候補色特定部１８と、肌の代表色と、各候補色との色相および彩度における差に応じて、複数の候補色から唇の代表色を特定する唇代表色特定部１９とを備える。
【解決手段】本発明に係る画像処理装置６は、人物の口を含む顔画像から唇の特徴を特定する画像処理装置であって、顔画像の肌の代表色を特定する肌代表色特定部１７と、顔画像において、少なくともいずれかの領域が唇の一部を含むように複数の領域を設定し、各領域の代表色を候補色として特定する候補色特定部１８と、肌の代表色と、各候補色との色相および彩度における差に応じて、複数の候補色から唇の代表色を特定する唇代表色特定部１９とを備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置および画像処理方法に関し、特に顔画像の補正を行う画像処理装置および画像処理方法に関する。
【背景技術】
【０００２】
写真または映像等の画像に人物の顔が含まれる場合、その画像に含まれる顔は画像の観察者の注意を引く部分であることが多い。従来から、画像に含まれる顔の見栄えが良くなるよう、顔画像を補正または調整する技術がある。
【０００３】
例えば、特許文献１には、上下の唇の輪郭を抽出し、検出した上下の唇の内側の輪郭に囲まれる部分を、歯に対応する部分として特定し、歯に対応する部分の明るさを調整する技術が開示されている。例えば歯に対応する部分の画素値を明るくし、顔の見栄えを良くすることができる。特許文献１の技術では、歯に対応する部分を特定するために、画像の各画素の輝度値の変化から、唇の輪郭を検出している。具体的には、口領域において縦方向（顔の高さ方向）の検出線を複数定義し、各検出線に沿って画素の輝度値の変化を調べ、比較的輝度値の変化が大きな点を唇の輪郭点として特定する。そして、特定した輪郭点の空間分布から、上下の唇の外側の輪郭および内側の輪郭に対応する輪郭点を特定し、上下の唇の内側の輪郭に囲まれる領域を口の内部として特定し、そこに歯に対応する領域があるとみなす。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００９−２３１８７９号公報（２００９年１０月８日公開）
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、上記従来の構成では、以下の問題を生じる。
【０００６】
特許文献１の技術を用いて唇の輪郭を検出するためには、照明条件が良い顔画像を用意する必要があった。画像の輝度値は、照明等の撮影環境に依存して大きく変化する。例えば逆光の条件で撮影された顔画像では、顔の部分に光が当たらず、顔全体が暗くなる。そのため、画素毎の輝度値の変化が小さくなり、唇の輪郭部分の輝度値の変化も小さくなり、輪郭点の特定が困難になる（誤検出をしやすくなる）という問題が生じる。また屋内等の低照度下で撮影された場合、ノイズが相対的に大きくなり、唇の輪郭点の特定がさらに困難になる。
【０００７】
一方、顔に光が当たっている照明条件で撮影された場合、唇の輪郭部分の輝度値の変化が大きく、輪郭点の特定はしやすくなる。しかしながら、光の当たり方によっては顔の凹凸によって陰影ができ、唇の輪郭における輝度値の変化より大きな輝度変化が陰影の境界部分に生じる。その結果、陰影の境界と唇の輪郭との区別が困難になる。
【０００８】
また、顔に光が強く当たっている照明条件で撮影された場合、顔全体が白っぽくなる（輝度が大きくなる）。そのため、唇の輪郭付近が白っぽくなり、輪郭部分の輝度値の変化が小さくなり、輪郭点の特定が困難になる。また、口紅やリップグロスに当たった光の反射（艶）により、艶の領域の境界に大きな輝度変化が生じた場合、輪郭と艶の境界との区別が困難になり、誤検出しやすくなる。
【０００９】
個人差、照明条件の変化、および、口紅またはリップグロスの着色等の影響を受け、一般に撮影された顔画像の唇の色は、大きく変化する。そのため、一般に顔画像の唇の色は既知ではない。種々の条件（撮影環境および化粧等）のために、顔画像の唇の色は肌の色に類似していることもあり、周囲を肌で囲まれた唇の色を特定することは困難である場合がある。
【００１０】
本発明は、上記の問題点に鑑みてなされたものであり、その目的は、種々の条件において撮影された顔画像における唇の色を特定し、特定した唇の色を用いて唇の領域を特定することにある。
【課題を解決するための手段】
【００１１】
本発明に係る画像処理装置は、人物の口を含む顔画像から唇の特徴を特定する画像処理装置であって、上記の課題を解決するために、上記顔画像の肌の代表色を特定する肌代表色特定部と、上記顔画像において、少なくともいずれかの領域が唇の一部を含むように複数の領域を設定し、各領域の代表色を候補色として特定する候補色特定部と、上記肌の代表色と各候補色との色相および彩度における差に応じて、上記複数の候補色から唇の代表色を特定する唇代表色特定部とを備えることを特徴としている。
【００１２】
本発明に係る画像処理方法は、人物の口を含む顔画像から唇の特徴を特定する画像処理方法であって、上記の課題を解決するために、上記顔画像の肌の代表色を特定する肌代表色特定ステップと、上記顔画像において、少なくともいずれかの領域が唇の一部を含むように複数の領域を設定し、各領域の代表色を候補色として特定する候補色特定ステップと、上記肌の代表色と、各候補色との色相および彩度における差に応じて、上記複数の候補色から唇の代表色を特定する唇代表色特定ステップとを備えることを特徴としている。
【００１３】
上記の構成によれば、唇と肌とを含む顔画像の色相および彩度における差に基づいて、候補色の中から唇の代表色を特定する。よって、様々な色であり得る唇の代表色を、肌の色とは区別して、正確に特定することができる。ここで、色相および彩度における差とは、２つの色の色相彩度平面における違いを指し、色相の違い、彩度の違い、および、色相彩度平面における距離等が含まれる。
【００１４】
また、上記唇代表色特定部は、上記肌の代表色と各候補色との、輝度または明度を除いた、色相および彩度における差に応じて、上記唇の代表色を特定してもよい。
【００１５】
照明条件等が悪い場合（唇の辺りに部分的に影ができる場合、または照明が強すぎる場合等）は、従来のように輝度に基づいて唇の領域および唇の色を特定すると、誤検出が多くなり、正確に唇の領域および唇の色を特定することができないことがある。
【００１６】
上記の構成によれば、輝度または明度の情報を用いず、色相および彩度における差に応じて、上記唇の代表色を特定する。そのため、影、照明または化粧等により、画像における肌と唇とが同色相である場合においても、また、画像における肌の色が場所によって大きく異なっている場合においても、肌と唇とを正確に区別し、唇の代表色を正確に特定することができる。
【００１７】
また、上記唇代表色特定部は、色空間の色相彩度平面における各候補色と上記肌の代表色との間の距離と、各候補色と上記肌の代表色との色相の差と、各候補色の彩度の大きさとに応じて、上記唇の代表色を特定してもよい。
【００１８】
また、上記唇代表色特定部は、各候補色について、色空間の色相彩度平面における該候補色と上記肌の代表色との間の距離に応じた第１の重みと、該候補色と上記肌の代表色との色相の差に応じた第２の重みと、該候補色の彩度の大きさに応じた第３の重みとを求め、上記第１の重み、上記第２の重み、および上記第３の重みに基づいた唇色度合いを求め、上記唇色度合いが大きい上記候補色を、上記唇の代表色として特定する構成であり、上記第１の重みは、色空間の色相彩度平面における上記候補色と上記肌の代表色との間の距離が大きいほど重みが大きくなり、上記第２の重みは、上記候補色と上記肌の代表色との色相の差が大きいほど重みが大きくなり、上記第３の重みは、上記候補色の彩度が大きいほど重みが大きくなり、上記唇色度合いは、上記第１の重み、上記第２の重み、および上記第３の重みに応じて大きくなるものであってもよい。
【００１９】
上記の構成によれば、色相彩度平面における各候補色と上記肌の代表色との間の距離と、各候補色と上記肌の代表色との色相の差とによって、肌と唇とを区別することができる。また、各候補色の彩度の大きさによって、歯と唇とを区別することができる。よって、肌または歯と唇とを区別し、正確に唇の代表色を特定することができる。
【００２０】
また、上記唇代表色特定部は、各候補色について、色空間の色相彩度平面における該候補色と上記肌の代表色との間の距離に応じた第１の重みと、該候補色と上記肌の代表色との色相の差に応じた第２の重みと、該候補色の彩度の大きさに応じた第３の重みとを求め、上記第１の重み、上記第２の重み、および上記第３の重みに基づいた唇色度合いを求め、上記唇色度合いが大きい上記候補色を第１の選択候補色として選択し、上記第１の重みは、色空間の色相彩度平面における上記候補色と上記肌の代表色との間の距離が大きいほど重みが大きくなり、上記第２の重みは、上記候補色と上記肌の代表色との色相の差が大きいほど重みが大きくなり、上記第３の重みは、上記候補色の彩度が大きいほど重みが大きくなり、上記唇色度合いは、上記第１の重み、上記第２の重み、および上記第３の重みに応じて大きくなるものであり、上記唇代表色特定部は、上記第１の選択候補色を除いた各候補色について、色空間の色相彩度平面における該候補色と上記第１の選択候補色との間の距離に応じた第４の重みを求め、上記唇色度合い、および上記第４の重みに基づいた候補評価値を求め、上記第１の選択候補色を除いた各候補色から、上記候補評価値が大きい上記候補色を少なくとも１つ第２の選択候補色として選択し、上記第４の重みは、色空間の色相彩度平面における上記候補色と上記第１の選択候補色との間の距離が大きいほど重みが大きくなり、上記候補評価値は、上記唇色度合い、および上記第４の重みに応じて大きくなるものであり、上記唇代表色特定部は、第１の選択候補色または第２の選択候補色として選択された上記候補色のうち、彩度が最も大きい、または、色相が最も所定の色相に近い上記候補色を上記唇の代表色として特定する構成であってもよい。
【００２１】
上記の構成によれば、色相彩度平面における各候補色と上記肌の代表色との間の距離と、各候補色と上記肌の代表色との色相の差と、各候補色の彩度の大きさとによって、肌の色と違いが大きい候補色を第１の選択候補色として選択する。また、第１の選択候補色を除いた各候補色について、色相彩度平面における該候補色と上記第１の選択候補色との間の距離に応じて、第１の選択候補色を除いた各候補色から、第１の選択候補色と違いが大きい候補色を第２の選択候補色として選択する。そして、第１の選択候補色または第２の選択候補色として選択された上記候補色のうち、彩度が最も大きい、または、色相が最も所定の色相に近い上記候補色を唇の代表色として特定する。
【００２２】
よって、肌の色との色相および彩度による差に応じて複数の候補色を選択し、その中からより唇の色らしい（例えば彩度が大きい、または、色相が赤に近い）候補色を唇の代表色として選択する。そのため、肌と唇の色が類似している場合であっても、誤って歯の色を唇の代表色とすることを防ぎ、肌または歯と唇とを区別し、より正確に唇の代表色を特定することができる。
【００２３】
また、上記画像処理装置は、上記唇の代表色との色相および彩度における差に応じて、上記唇の代表色に類似した色を有する領域を第１の唇領域として特定する唇領域特定部を備える構成であってもよい。
【００２４】
比較的明るい照明環境の元で撮影された画像の場合、唇の一部が白っぽくなることがあり、唇に部分的に明るい領域が存在するので、輝度を用いて領域判別をすると誤検出をすることがある。
【００２５】
上記の構成によれば、部分的に明るい領域であっても、色相を考慮することで正確に唇領域と判定することができる。一方で、肌と唇とが同色相であった場合でも、上記の構成によれば、唇の代表色と各領域（例えば画素）の色との色相彩度平面における距離を考慮することで、正確に唇領域を特定することができる。それゆえ、特定された唇の代表色に基づいて、唇領域を正確に特定することができる。
【００２６】
また、上記唇領域特定部は、色空間の色相彩度平面における上記唇の代表色からの距離が第１の閾値以下、かつ／または、上記唇の代表色との色相の差が第２の閾値以下である色を有する領域を上記第１の唇領域として特定してもよい。
【００２７】
また、上記唇領域特定部は、唇の形状を規定する所定の唇形状モデルを、上記第１の唇領域に適合させ、適合させた上記唇形状モデルの示す領域を、第２の唇領域として特定してもよい。
【００２８】
唇の代表色に類似した領域である第１の唇領域は、肌または口の中の唇の代表色に類似しているが唇ではない画素（ノイズ）を含む可能性がある。
【００２９】
上記の構成によれば、唇の代表色に類似した領域である第１の唇領域に基づいて、唇らしい唇の形状を規定した唇形状モデルの形状および／または位置を第１の唇領域に適合させる。適合させた唇形状モデルが示す領域は、上記ノイズの画素を除いた、唇らしい画素の集合になる。そのため、より唇らしい位置にある画素のみを（第２の）唇領域として特定することができる。また、撮影時に白く輝いたりして色相・彩度の情報が失われた唇の領域も、正確に唇領域として特定することができる。
【００３０】
また、上記唇領域特定部は、上記第１の唇領域に基づいて、複数の水平位置について、上唇または下唇の縦方向における中心点を特定し、各中心点を中心とする縦方向の所定の幅の領域を、第２の唇領域として特定してもよい。
【００３１】
上記の構成によれば、上唇または下唇の縦方向の中心点を特定し、各中心点に基づいてより唇らしい領域を第２の唇の領域として特定することができる。
【００３２】
なお、上記画像処理装置は、一部をコンピュータによって実現してもよく、この場合には、コンピュータを上記各部として動作させることにより上記画像処理装置をコンピュータにて実現させる制御プログラム、および上記制御プログラムを記録したコンピュータ読み取り可能な記録媒体も、本発明の範疇に入る。
【発明の効果】
【００３３】
以上のように、本発明によれば、唇と肌とを含む顔画像の色相および彩度における差に基づいて、候補色の中から唇の代表色を特定する。
【００３４】
そのため、様々な色であり得る唇の代表色を、肌の色とは区別して、正確に特定することができる。
【図面の簡単な説明】
【００３５】
【図１】本発明の一実施形態に係るデジタルカメラの概略構成を示すブロック図である。
【図２】（ａ）は、正規化された口領域の画像を示す画像であり、（ｂ）は、平滑化された口領域の画像を示す画像である。
【図３】口画像における複数の領域を示す図である。
【図４】ＣｂＣｒ平面において、唇色の候補となる色の範囲を単純化して示す図である。
【図５】本実施形態の唇色特定処理および唇領域特定処理の流れを示すフローチャートである。
【図６】（ａ）は、候補色と肌の代表色とのＣｂＣｒ平面における距離と、重みＷａとの関係を示す図であり、（ｂ）は、図２（ｂ）に対応し、候補色の代わりに口画像の各画素の重みＷａを計算した結果を示す画像である。
【図７】（ａ）は、候補色と肌の代表色とのＣｂＣｒ平面における色相と、重みＷｂとの関係を示す図であり、（ｂ）は、図２（ｂ）に対応し、候補色の代わりに口画像の各画素の重みＷｂを計算した結果を示す画像である。
【図８】図２（ｂ）に対応し、候補色の代わりに口画像の各画素の重みＷｃを計算した結果を示す画像である。
【図９】図２（ｂ）に対応し、候補色の代わりに口画像の各画素の画素値から唇色度合いＤ１を計算した結果を示す画像である。
【図１０】図２（ｂ）に対応し、候補色の代わりに口画像の各画素の重みＷｄを計算した結果を示す画像である。
【図１１】図２（ｂ）に対応し、候補色の代わりに口画像の各画素の画素値から候補評価値Ｄ２を計算した結果を示す画像である。
【図１２】（ａ）は、各画素の色と唇の代表色とのＣｂＣｒ平面における距離と、第１の唇色類似度Ｗｅとの関係を示す図であり、（ｂ）は、図２（ｂ）に対応し、口画像の各画素の第１の唇色類似度Ｗｅを計算した結果を示す画像である。
【図１３】（ａ）は、各画素の色と唇の代表色とのＣｂＣｒ平面における色相と、第２の唇色類似度Ｗｆとの関係を示す図であり、（ｂ）は、図２（ｂ）に対応し、口画像の各画素の第２の唇色類似度Ｗｆを計算した結果を示す画像である。
【図１４】図２（ｂ）に対応し、唇候補領域に分類された画素を示す画像である。
【図１５】（ａ）および（ｂ）は、図１４に対応し、唇候補領域を示す画像からモデル化した唇領域を特定する手順を示す画像である。
【図１６】図１５（ａ）に対応し、モデル化された唇領域を示す画像である。
【図１７】本実施形態の補正処理の流れを示すフローチャートである。
【図１８】各水平位置での補正重みＷｇを示す図である。
【図１９】図１６に対応し、補正重みＷｇを示す画像である。
【図２０】図１９に対応し、補正部分評価値Ｄ３を示す画像である。
【図２１】図２（ｂ）に対応し、抽出した画素の輝度を示す画像である。
【図２２】抽出した画素の輝度値に重みをかけた結果の、抽出した各画素の輝度値によるヒストグラムである。
【図２３】図２１に対応し、輝度成分のみを有する光沢画像を示す画像である。
【図２４】（ａ）は、抽出した各画素に対する第１トーンカーブを示す図であり、（ｂ）は、抽出した各画素に対する第２トーンカーブを示す図である。
【図２５】正規化された口画像、平滑化された口画像、および光沢画像の合成処理を示す図である。
【図２６】（ａ）は、補正前の顔画像の一部を示す画像であり、（ｂ）は、補正後の顔画像の一部を示す画像である。
【図２７】（ａ）は、図２（ａ）に対応し、正規化された口画像のＣｂ成分の値を示す画像であり、（ｂ）は、図２（ａ）に対応し、正規化された口画像のＣｒ成分の値を示す画像である。
【図２８】本発明の他の実施形態に係るデジタルカメラの概略構成を示すブロック図である。
【図２９】口内領域特定処理および補正処理の流れを示すフローチャートである。
【図３０】図１６に対応し、口内部領域および口内部領域の補正重みＷｈを示す画像である。
【図３１】図２（ｂ）に対応し、口画像の各画素の歯色類似度Ｗｉを計算した結果を示す画像である。
【図３２】図１２（ｂ）に対応し、各画素の（１−Ｗｅ）の値を示す画像である。
【図３３】図１３（ｂ）に対応し、各画素の（１−Ｗｆ）の値を示す画像である。
【図３４】図３１に対応し、歯光沢画像を示す画像である。
【発明を実施するための形態】
【００３６】
以下では、主に、デジタルカメラに搭載され、撮像された画像に含まれる顔画像に対して処理を行う画像処理装置について説明するが、本発明はこれに限定されるものではない。例えば、本発明に係る画像処理装置は、デジタルビデオカメラ、パーソナルコンピュータ（ＰＣ）のＷｅｂカメラ、またはカメラ付き携帯電話等の撮影装置に搭載され、撮影装置で撮影して得られた画像に対して処理を行ってもよい。また、本発明に係る画像処理装置は、ネットワーク等の通信経路、または外部記憶装置から取得した画像について処理を行ってもよい。また、撮像された静止画だけではなく、動画等の顔画像に処理を行ってもよい。また、デジタルカメラで撮像を行う際にデジタルカメラの表示装置に表示されるプレビュー画像に処理を施してもよい。
【００３７】
［実施形態１］
以下、本発明の実施形態について、図面を参照して詳細に説明する。
【００３８】
＜デジタルカメラの構成＞
図１は、本実施形態に係るデジタルカメラ１の概略構成を示すブロック図である。デジタルカメラ１は、指示入力装置２、撮像装置３、画像記憶装置４、表示装置５、および画像処理装置６を備える。
【００３９】
指示入力装置２は、ボタン、キーまたはタッチパネル等の入力装置を備え、利用者から撮像の指示を受け付け、撮像装置３に撮像の指示を出力する。また、指示入力装置２は、利用者から顔画像の補正処理の指示を受け付け、画像処理装置６に補正処理の指示を出力する。
【００４０】
撮像装置３は、例えば、ＣＣＤ（charge coupled device）またはＣＭＯＳ（complementary metal oxide semiconductor）撮像素子等の撮像素子を備える。撮像装置３は、撮像の指示に応じて撮像し、撮像した画像（画像データ）を画像記憶装置４に出力する。
【００４１】
画像記憶装置４は、各種の情報を記憶するものであり、例えばＨＤＤ（Hard Disk Drive）、またはフラッシュメモリ等の記憶デバイスを備える。画像記憶装置４は、撮像装置３から受け取った画像を記憶して保存しておく。
【００４２】
表示装置５は、ディスプレイを備え、入力された画像を表示して利用者に提示する。また、表示装置５は、画像処理装置６から補正処理済みの画像を受け取り、補正処理済みの画像を表示する。
【００４３】
＜画像処理装置の構成＞
画像処理装置６は、画像取得部（指示受領部）１１、顔検出部１２、特徴検出部１３、適否判定部１４、口画像正規化部１５、平滑化部１６、肌代表色特定部１７、候補色特定部１８、唇代表色特定部１９、唇領域特定部２０、画像補正部２１、合成部２２、および表示制御部２３を備える。
【００４４】
画像取得部１１は、指示入力装置２から補正処理の指示を受け取る。補正処理の指示は、処理対象となる画像を示す情報、および、どのような補正処理を行うかを示す情報を含む。補正処理の種類としては、例えば、唇にリップグロスを塗布したように画像を補正するリップグロス補正、または歯が白くなるよう画像を補正する歯ホワイトニング補正等がある。画像取得部１１は、受け取った補正処理の指示に基づき、画像記憶装置４から処理対象の画像を取得する。なお、画像取得部１１は、撮像装置３から撮像された画像を直接受け取ってもよい。画像取得部１１は、取得した処理対象の画像を顔検出部１２、特徴検出部１３、適否判定部１４、口画像正規化部１５、肌代表色特定部１７、および合成部２２に出力する。また、画像取得部１１は、受け取った補正処理の指示を画像補正部２１に出力する。
【００４５】
顔検出部１２は、画像取得部１１から受け取った画像の中に含まれる顔画像を検出する。顔検出部１２は、画像に含まれる顔画像を検出すると、顔画像の位置を特定する。顔画像の位置は、顔画像の所定の点の座標を示してもよいし、顔画像の領域を示してもよい。顔検出部１２は、顔画像の位置を、特徴検出部１３、適否判定部１４、口画像正規化部１５および肌代表色特定部１７に出力する。なお、顔検出部１２は、処理対象の画像から複数の顔画像を検出してもよい。複数の顔画像を検出した場合、顔検出部１２は、各顔画像の位置を特定し、複数の顔画像の位置を上記各部に出力してもよい。
【００４６】
特徴検出部１３は、画像取得部１１から受け取った処理対象の画像および顔検出部１２から受け取った顔画像の位置から、該顔画像の顔の各特徴の位置を検出する。具体的には、特徴検出部１３は、例えば目（目頭、目尻等）、口（口端点、口の中心点等）、および鼻（鼻の頂点等）等の顔の器官の特徴、および顔の輪郭等の特徴（特徴点）を検出し、それらの位置を特定する。特徴の位置は、特徴点の座標を示してもよいし、特徴を含む領域を示してもよい。各特徴の検出は、公知の技術を用いて行うことができる。特徴検出部１３は、検出した顔の特徴の位置を適否判定部１４、口画像正規化部１５、および肌代表色特定部１７に出力する。なお、特徴検出部１３は、複数の顔画像の特徴の位置を特定し、複数の顔画像の特徴の位置を上記各部に出力してもよい。
【００４７】
適否判定部１４は、画像取得部１１から受け取った処理対象の画像、顔検出部１２から受け取った顔画像の位置、および特徴検出部１３から受け取った顔の特徴の位置から、該顔画像が補正処理を行うのに適しているか否かを判定する。例えば、適否判定部１４は、横向きの顔画像および顔の写りが小さすぎる顔画像等を、不適として判定する。具体的な判定方法は後述する。なお、処理対象の画像に複数の顔画像が含まれている場合、適否判定部１４は、各顔画像について補正処理を行うことの適否を判定してもよいし、補正処理を行うのにより適した所定数（例えば１つ）の顔画像を特定してもよい。適否判定部１４は、処理対象として適切と判定した顔画像を示す情報を口画像正規化部１５、肌代表色特定部１７、および候補色特定部１８に出力する。
【００４８】
口画像正規化部１５は、画像取得部１１、顔検出部１２、および特徴検出部１３からそれぞれ処理対象の画像、顔画像の位置、および顔の特徴の位置を受け取る。口画像正規化部１５は、受け取った情報に基づき、適否判定部１４によって処理対象として適切と判定された顔画像について、処理対象となる顔画像の口領域の画像を抽出する。後の画像処理における計算を容易にするために、口画像正規化部１５は、処理対象の画像の口領域が所定の大きさになるように画像サイズを正規化する。具体的には、口画像正規化部１５は、口の左右の端点が所定の座標に位置するように、必要に応じて処理対象の顔画像を回転および拡大・縮小させ、所定のサイズの口領域（口を含む領域）を処理対象の顔画像から切り出す。図２（ａ）は、正規化された口領域の画像を示す画像である。なお、処理対象の顔画像を拡大・縮小する場合、必要に応じて元の画素の間の点の画素値を任意の方法で補間してもよい。口画像正規化部１５は、正規化された口領域の画像（口画像）を平滑化部１６、および画像補正部２１に出力する。
【００４９】
平滑化部１６は、口画像正規化部１５から受け取った口画像を平滑化する。具体的には、平滑化部１６は、口画像にガウシアンフィルタ等を適用し、平滑化された口画像を生成する。図２（ｂ）は、平滑化された口領域の画像を示す画像である。平滑化された口画像を用いることで、ノイズを排除して、唇等の所望の領域を正確に特定することができる。なお、正規化された口画像および平滑化された口画像はカラーの画像であるが、図２では、その輝度値（Ｙ値）による明暗を示している。平滑化部１６は、平滑化された口画像を候補色特定部１８、唇領域特定部２０、および画像補正部２１に出力する。
【００５０】
肌代表色特定部１７は、画像取得部１１、顔検出部１２、および特徴検出部１３からそれぞれ処理対象の画像、顔画像の位置、および顔の特徴の位置を受け取る。肌代表色特定部１７は、受け取った情報に基づき、適否判定部１４によって処理対象として適切と判定された顔画像について、処理対象となる顔画像の肌の代表色を特定する。顔領域の一部の色、例えば、顔領域の中心部分（鼻付近）の平均色、中央値、または最頻値の色等を肌の代表色としてもよい。また、顔領域全体の平均色等を肌の代表色としてもよい。また、顔のある領域の平均色を求め、該領域において該平均色と色相が異なる（ＣｂＣｒ平面における該平均色との角度が閾値より大きい）画素、および／または、該領域において該平均色との色の差が大きい（ＹＣｂＣｒ色空間における該平均色との距離が閾値より大きい）ピクセルを除外して、残りのピクセルから算出した平均色を、代表色としてもよい。また、肌代表色特定部１７は、肌の色の分散度合いを求める。肌代表色特定部１７は、肌の代表色を候補色特定部１８および唇代表色特定部１９に出力する。肌代表色特定部１７は、肌の色の分散度合いを唇代表色特定部１９に出力する。
【００５１】
候補色特定部１８は、唇の色の候補となる複数の候補色を特定する。候補色特定部１８は、口画像において複数の領域を設定し、各領域の代表色を特定して候補色とする。図３は、口画像における複数の領域を示す図である。図中の×印は、特徴検出部１３によって検出された口端点を示す。具体的には、候補色特定部１８は、以下の処理を行う。候補色特定部１８は、口画像の水平方向の中央における所定の領域を、縦（垂直）方向に並ぶ複数の領域に分割する。候補色特定部１８は、分割された各領域の代表色（平均色あるいは中央値または最頻値の色等）を、唇の色の複数の候補色として特定する。このようにして分割された領域の少なくとも１つは、主として唇である部分を含む領域であると考えられる。よって、複数の候補色の少なくとも１つは、唇の色の代表色として適していると考えられる。ただし、各領域の設定（分割）方法は上記に限らず、唇があると考えられる２つの口端点の間において複数の領域を設定すればよい。また、分割された複数の領域の大きさに制限はなく、各画素を複数の領域としてもよい。なお、画像のノイズ等を排除して候補色を特定するために、候補色特定部１８は、平滑化された口画像を用いて候補色を特定する。しかし、これに限らず、候補色特定部１８は、平滑化されていない口画像を用いて候補色を特定してもよい。また、候補色特定部１８は、分割された領域の色の分散度合いを、対応する候補色の分散度合いとして求める。候補色特定部１８は、複数の候補色を唇代表色特定部１９に出力する。候補色特定部１８は、候補色の分散度合いを唇代表色特定部１９に出力する。
【００５２】
唇代表色特定部１９は、肌の代表色に基づき、複数の候補色の中から唇の代表色を特定する。唇代表色特定部１９は、肌の代表色と、各候補色との色相および彩度における差に応じて、肌の代表色との差が大きい候補色を、唇の代表色として特定する。唇代表色特定部１９は、ＹＣｂＣｒ色空間またはＬ＊ａ＊ｂ＊色空間のような、輝度（または明度）と、色相および彩度とによって色を表現する色空間において処理を行う。唇代表色特定部１９は、輝度（または明度）の情報を使わず、色空間における色相および彩度を表すＣｂＣｒ平面（色相彩度平面）の情報に基づいて、各候補色について、唇の色である度合いを求め、ＣｂＣｒ平面における唇の代表色を特定する。唇の代表色を特定するための詳細な処理は後述する。唇代表色特定部１９は、特定したＣｂＣｒ平面における唇の代表色を唇領域特定部２０および画像補正部２１に出力する。
【００５３】
図４は、ＣｂＣｒ平面において、唇色の候補となる色の範囲を単純化して示す図である。唇の色は、肌の代表色とはある程度異なる色であると考えられる。そのため、ＣｂＣｒ平面において、肌の代表色から距離が近い範囲Ａの色は、唇色の候補から除外するのがよい。また、唇の色は、肌の代表色とは色相が異なると考えられる。そのため、ＣｂＣｒ平面において、肌の代表色に色相が近い範囲Ｂの色は、唇色の候補から除外するのがよい。また、被写体の口が開いていて口画像に歯が含まれている場合、複数の候補色の中には、歯の色を示す白っぽい色がある可能性がある。歯の色を唇の候補から除外するために、彩度が小さい範囲Ｃの色は、唇色の候補から除外するのがよい。唇色の候補は、範囲Ａ、範囲Ｂ、範囲Ｃの外側の範囲にあると考えられる。なお、図４では、肌の代表色から距離が近く、かつ、肌の代表色に色相が近い範囲を肌色範囲とし、彩度が小さい範囲を白範囲とし、肌色範囲でも白範囲でもない範囲を唇色候補範囲としている。
【００５４】
唇領域特定部２０は、平滑化された口画像、および唇の代表色に基づき、口画像における唇である領域を特定する。唇領域特定部２０は、ＣｂＣｒ平面における唇の代表色との色相および彩度における差に応じて、唇の代表色に類似する色の領域を唇領域と特定する。唇領域を特定するための詳細な処理は後述する。なお、画像のノイズ等を排除して唇領域を特定するために、唇領域特定部２０は、平滑化された口画像を用いて唇領域を特定する。しかし、これに限らず、唇領域特定部２０は、平滑化されていない口画像を用いてもよい。唇領域特定部２０は、特定した唇領域を示す情報、および唇候補領域を示す情報等を画像補正部２１に出力する。
【００５５】
画像補正部２１は、補正処理の指示、正規化された口画像、平滑化された口画像、および唇の代表色に基づき、口画像における見た目の補正を行い、補正された口画像を生成する。口画像の補正の方法は後述する。画像補正部２１は、補正された口画像を合成部２２に出力する。
【００５６】
合成部２２は、補正された口画像を正規化する前の元のサイズに戻し（必要に応じて補正された口画像を回転および拡大・縮小させ）、処理対象の画像に合成し、補正された画像を生成する。このようにして、処理対象の画像において唇等の見た目が補正された画像が得られる。合成部２２は、補正された画像を、表示制御部２３に出力する。なお、合成部２２は、補正された画像を、画像記憶装置４に出力して記憶させてもよい。
【００５７】
表示制御部２３は、補正された画像を表示装置５に出力し、補正された画像を表示するよう表示装置５を制御する。
【００５８】
＜画像処理フロー＞
以下に、デジタルカメラ１における画像補正処理の流れについて説明する。
【００５９】
利用者は、指示入力装置２を介して、例えば撮像されて画像記憶装置４に記憶されている画像の中から、処理対象の画像を選択する。また、利用者は、指示入力装置２を介して、処理対象の画像に施す補正処理の種類（リップグロス補正、または歯ホワイトニング補正等）を、複数の候補の中から選択する。指示入力装置２は、指定された補正処理の種類の情報を含む補正処理の指示を、画像処理装置６の画像取得部１１に出力する。
【００６０】
図５は、画像処理装置６における唇色特定処理および唇領域特定処理の流れを示すフローチャートである。
【００６１】
画像取得部１１は、指示入力装置２からの補正処理の指示を受け取ると、画像記憶装置４から処理対象となる画像を取得する（Ｓ１）。
【００６２】
顔検出部１２は、処理対象となる画像に含まれる顔画像を検出し、その顔画像の位置を特定する（Ｓ２）。顔検出部１２は、処理対象の画像に含まれる複数の顔画像を検出してもよい。
【００６３】
特徴検出部１３は、検出された顔画像に含まれる、顔の特徴の位置を検出する（Ｓ３）。特徴検出部１３は、例えば目（目頭、目尻等）、口（口端点、口の中心点等）、および鼻（鼻の頂点等）等の顔の器官の特徴（特徴点）を検出し、それらの位置を特定する。なお、特徴検出部１３は、顔の輪郭等の特徴を検出してもよい。
【００６４】
適否判定部１４は、これらの検出された顔の特徴の位置に基づき、該顔画像が補正処理を行うのに適しているか否かを判定する（Ｓ４）。例えば、適否判定部１４は、複数の顔画像サンプルから目、鼻、口等の顔の器官の各特徴の周辺の輝度分布の特徴をあらかじめ学習して作成した顔モデルを記憶しておく。適否判定部１４は、顔モデルと、検出された顔画像とを比較することにより、顔画像の検出された特徴の信頼度および顔の向きを特定する。
【００６５】
例えば検出された特徴の信頼度が、所定の閾値よりも低い場合、顔の特徴を正確に検出していない可能性が高いので、口または唇等に適切に補正処理を行うことができない可能性がある。そのため、検出された特徴の信頼度が、所定の閾値よりも低い場合、適否判定部１４は、該顔画像は補正処理を行うのに適していないと判定する。
【００６６】
また、検出された顔の向きが正面に対して大きくずれている場合（顔の向きが所定の範囲内にない場合、例えば顔の向きが正面に対して所定の角度（例えば３０°）より大きい場合）、適切に補正処理を行うことができない可能性がある。この場合、適否判定部１４は、該顔画像は補正処理を行うのに適していないと判定する。
【００６７】
また、顔画像が小さすぎる場合（例えば検出した口の両方の端点の間の距離が所定の閾値（例えば１００ピクセル）より小さい場合）、適切に補正処理を行うことができない可能性があるため、適否判定部１４は、該顔画像は補正処理を行うのに適していないと判定する。
【００６８】
補正処理を行うのに適していないと判定された場合（Ｓ４でＮｏ）、該顔画像に対する処理は終了する。
【００６９】
補正処理を行うのに適していると判定された場合（Ｓ４でＹｅｓ）、次に肌代表色特定部１７は、処理対象として適切と判定された顔画像について、処理対象となる顔画像の肌の代表色を特定する（Ｓ５）。ここでは、顔領域の中心部分（鼻付近）の平均色を肌の代表色とする。また、肌代表色特定部１７は、肌の色の分散度合い（標準偏差）を求める。具体的には、平均色を求めた領域（鼻付近）の画素の画素値の色空間のＣｂ軸における分散σｂｓ2、Ｃｒ軸における分散σｒｓ2、および色相の分散σｐｓ2を求める。
【００７０】
口画像正規化部１５は、処理対象となる顔画像の口領域の画像を抽出し、処理対象の画像の口領域が所定の大きさになるように画像サイズを正規化した口画像を生成する（Ｓ６）。具体的には、口画像正規化部１５は、口の左右の端点が所定の座標に位置するように、必要に応じて処理対象の顔画像を回転および拡大・縮小させ、所定のサイズの口領域を処理対象の顔画像から切り出す。
【００７１】
平滑化部１６は、正規化された口画像を平滑化する（Ｓ７）。
【００７２】
候補色特定部１８は、口画像の水平方向の中央における所定の領域を、縦方向に並ぶ複数の領域に分割し、分割された各領域の代表色を、唇の色の複数の候補色として特定する（Ｓ８）。ここでは、各領域について、該領域の平均色を、候補色とする。
【００７３】
なお、肌の代表色および複数の候補色は、輝度の情報を含まなくてもよい。以下の処理では、輝度（Ｙ）を用いずに、ＣｂＣｒ平面において肌の代表色および複数の候補色を用いて唇の色の代表色および唇領域の特定を行う。
【００７４】
唇代表色特定部１９は、各候補色について、唇の色である度合い（唇色度合い）を求める（Ｓ９）。口画像の唇の色は、肌の色とは異なる色であり、肌の色とは異なる色相であると考えられる。また、口画像の唇の色は、一般に白っぽく写る歯とも異なる色であると考えられる。肌の代表色とＣｂＣｒ平面における距離が大きく、肌の代表色と色相の差が大きく、彩度が大きいほど、唇色度合いが大きいとする。
【００７５】
具体的には、唇代表色特定部１９は、各候補色について、候補色と肌の代表色とのＣｂＣｒ平面における距離に応じて大きくなる第１の非肌色度合い（肌の色ではない度合い）を、唇色度合いの重みとして求める。唇代表色特定部１９は、各候補色について、候補色と肌の代表色との色相の差に応じて大きくなる第２の非肌色度合いを、唇色度合いの重みとして求める。唇代表色特定部１９は、各候補色について、候補色の彩度に応じて大きくなる非歯色度合い（歯の色ではない度合い）を、唇色度合いの重みとして求める。
【００７６】
ＣｂＣｒ平面における距離に応じた唇色度合いの重みＷａ（第１の非肌色度合い）は、次式で求めることができる。
【００７７】
【数１】
【００７８】
ここで、Ｃｂｓ、Ｃｒｓは、それぞれ肌の代表色（平均色）のＣｂ成分およびＣｒ成分であり、Ｃｂ、Ｃｒは、それぞれ候補色のＣｂ成分およびＣｒ成分である。また、σｂｓ、σｒｓは、それぞれ色空間のＣｂ軸における肌の色の標準偏差、Ｃｒ軸における肌の色の標準偏差である。図６（ａ）は、候補色と肌の代表色とのＣｂＣｒ平面における距離と、重みＷａとの関係を示す図である。式（１）によれば、候補色と肌の代表色とのＣｂＣｒ平面における距離が小さければ、重みＷａは０に近く、候補色と肌の代表色とのＣｂＣｒ平面における距離が大きくなればなるほど、重みＷａは大きくなり、１に近づく。図６（ｂ）は、図２（ｂ）に対応し、候補色の代わりに口画像の各画素の画素値を式（１）に当てはめて重みＷａを計算した結果を示す画像である。明るい箇所は重みＷａが大きく、暗い箇所は重みＷａが小さいことを示す。これによれば、唇の領域は重みＷａが大きいことが分かる。しかしながら、歯の領域も重みＷａが大きくなっている。
【００７９】
色相の差に応じた唇色度合いの重みＷｂ（第２の非肌色度合い）は、次式で求めることができる。
【００８０】
【数２】
【００８１】
ここで、Ｐｓは、肌の代表色（平均色）の色相であり、ＣｂＣｒ平面における位相の角度で示される。また、Ｐは、候補色の色相である。また、σｐｓは、肌の色の色相の標準偏差である。また、αは、候補色の色相と肌の代表色の色相とが同じであっても重みＷｂが０にならないようにするための、所定の定数である。図７（ａ）は、候補色と肌の代表色とのＣｂＣｒ平面における色相と、重みＷｂとの関係を示す図である。式（２）によれば、候補色と肌の代表色との色相の差が小さければ、重みＷｂはαに近く、候補色と肌の代表色との色相の差が大きくなればなるほど、重みＷｂは大きくなり、１＋αに近づく。図７（ｂ）は、図２（ｂ）に対応し、候補色の代わりに口画像の各画素の画素値を式（２）に当てはめて重みＷｂを計算した結果を示す画像である。明るい箇所は重みＷｂが大きく、暗い箇所は重みＷｂが小さいことを示す。これによれば、唇の領域は重みＷｂが大きいことが分かる。しかしながら、歯の一部の領域も重みＷｂが大きくなっている。
【００８２】
彩度に応じた唇色度合いの重みＷｃ（非歯色度合い）は、次式で求めることができる。
【００８３】
【数３】
【００８４】
ここで、Ｃｂ、Ｃｒは、それぞれ候補色のＣｂ成分およびＣｒ成分である。また、ｃは、所定の定数である。式（３）におけるexpの分子は、彩度を表す。式（３）によれば、候補色の彩度が小さければ、重みＷｃは０に近く、候補色の彩度が大きくなればなるほど、重みＷｃは大きくなり、１に近づく。図８は、図２（ｂ）に対応し、候補色の代わりに口画像の各画素の画素値を式（３）に当てはめて重みＷｃを計算した結果を示す画像である。明るい箇所は重みＷｃが大きく、暗い箇所は重みＷｃが小さいことを示す。これによれば、唇の領域は重みＷｃが大きいことが分かる。一方、白っぽい色である歯の一部の領域は重みＷｃが小さいことが分かる。また、写真に暗く写りやすい口の中の一部も、重みＷｃが小さくなっている。
【００８５】
照明等により１つの画像の中の肌に濃淡ができた場合、一般に、同じ人物の肌でも、肌の平均色からの肌の各点の色までの色空間またはＣｂＣｒ平面における距離は大きくなることがある。すなわち、肌の色の色空間またはＣｂＣｒ平面における分散は大きくなることがある。一方で、色相は照明等の条件によってあまり変化しない。よって、一部の肌と唇とについて、ＣｂＣｒ平面における距離に応じた重みＷａの値が同程度になる場合でも、色相の差に応じた重みＷｂによって肌の色と唇の色とを判別することができる。
【００８６】
また、口紅等により１つの画像の中の唇の色と肌の色とが同色相である場合、肌と唇とについて、色相の差に応じた重みＷｂの値は同程度になることがある。そのような場合は、ＣｂＣｒ平面における距離に応じた重みＷａによって肌の色と唇の色とを判別することができる。
【００８７】
また、歯の領域から得られた候補色は、ＣｂＣｒ平面における距離に応じた重みＷａおよび色相の差に応じた重みＷｂが共に大きくなり得る。歯の色は一般に白っぽく彩度が小さいのに対して、唇の色は彩度が大きいと考えられるので、彩度に応じた重みＷｃによって、歯の色と唇の色とを判別することができる。また、口の中において影として暗く写った箇所等も彩度が低くなるので、彩度に応じた重みＷｃによって、唇の色と区別することができる。
【００８８】
唇代表色特定部１９は、各候補色について、第１の非肌色度合いＷａと第２の非肌色度合いＷｂと非歯色度合いＷｃとの積を、唇色度合いＤ１として求める。
【００８９】
【数４】
【００９０】
図９は、図２（ｂ）に対応し、候補色の代わりに口画像の各画素の画素値から唇色度合いＤ１を計算した結果を示す画像である。明るい箇所は唇色度合いＤ１が大きく、暗い箇所は唇色度合いＤ１が小さいことを示す。この唇色度合いＤ１が大きい候補色が、唇の色である可能性が高いと考えられる。図９に示す例では、唇領域から得られた候補色が最も唇色度合いＤ１が大きい。唇代表色特定部１９は、唇色度合いＤ１が最も大きい候補色を、唇色の第１の候補（第１の選択候補色）として選択する。一方で、画像の歯に色がついていたりして歯の領域の色の彩度が小さくない場合、または、ＣｂＣｒ平面における唇の色と肌の色との差が小さい場合、第１の選択候補色として歯の色を選択してしまう可能性がある。
【００９１】
そこで、本実施形態では、残った候補色から第１の選択候補色とは色相・彩度による差が大きい第２の候補（第２の選択候補色）を選択し、第１の選択候補色と第２の選択候補色とのいずれかを唇の色として特定する。
【００９２】
唇代表色特定部１９は、第１の選択候補色を除いた他の各候補色について、候補色と第１の選択候補色とのＣｂＣｒ平面における距離に応じて大きくなる重みＷｄ（第１の選択候補色ではない度合い）を求める（Ｓ１０）。第１の選択候補色との距離に応じた重みＷｄは、次式で求めることができる。
【００９３】
【数５】
【００９４】
ここで、Ｃｂｄ、Ｃｒｄは、それぞれ第１の選択候補色のＣｂ成分およびＣｒ成分であり、Ｃｂ、Ｃｒは、それぞれ候補色のＣｂ成分およびＣｒ成分である。また、σｂｄ、σｒｄは、それぞれ色空間のＣｂ軸における第１の選択候補色の標準偏差（第１の選択候補色の領域の各画素のＣｂ成分の標準偏差）、Ｃｒ軸における第１の選択候補色の標準偏差（第１の選択候補色の領域の各画素のＣｒ成分の標準偏差）である。第１の選択候補色の標準偏差は、選択候補色に対応する領域（候補色特定部１８が分割した領域）の各画素の画素値から求めることができる。式（５）によれば、第１の選択候補色と他の候補色とのＣｂＣｒ平面における距離が小さければ、重みＷｄは０に近く、第１の選択候補色と他の候補色とのＣｂＣｒ平面における距離が大きくなればなるほど、重みＷｄは大きくなり、１に近づく。図１０は、図２（ｂ）に対応し、候補色の代わりに口画像の各画素の画素値を式（５）に当てはめて重みＷｄを計算した結果を示す画像である。明るい箇所は重みＷｄが大きく、暗い箇所は重みＷｄが小さいことを示す。ただし、図１０に示す例では、第１の選択候補色として唇領域から得られた候補色が選択されている。そのため、唇領域の画素の重みＷｄは、小さくなっている。
【００９５】
唇代表色特定部１９は、各候補色について、唇色度合いＤ１と重みＷｄとの積を、候補評価値Ｄ２として求める。
【００９６】
【数６】
【００９７】
図１１は、図２（ｂ）に対応し、候補色の代わりに口画像の各画素の画素値から候補評価値Ｄ２を計算した結果を示す画像である。明るい箇所は候補評価値Ｄ２が大きく、暗い箇所は候補評価値Ｄ２が小さいことを示す。唇代表色特定部１９は、候補評価値Ｄ２が最も大きい候補色を、唇色の第２の候補（第２の選択候補色）として選択する。これによれば、もし、第１の選択候補色として歯の色が選ばれていた場合、第２の選択候補色として唇の領域から得られた候補色が選択されると考えられる。重みＷｄのために、第１の選択候補色と第２の選択候補色とは、異なる領域（異なる顔の部位）から得られた候補色になる可能性が高い。複数の候補色の中から、異なる色である２つの候補色を選択候補色として選択することで、いずれかの選択候補色に唇の色として適切な候補色が含まれるようにする。
【００９８】
唇代表色特定部１９は、第１および第２の選択候補色から、より唇の色らしい選択候補色を、唇の代表色として特定する（Ｓ１１）。Ｓ１０までの処理により、第１および第２の選択候補色としては、唇の領域から得られた候補色と、歯の領域から得られた候補色が選択されている可能性が高い。そこで、唇代表色特定部１９は、第１および第２の選択候補色のうち、彩度のより大きい方を、唇の代表色として特定する。なお、唇代表色特定部１９は、唇の代表色の輝度Ｙを特定してもよいし、輝度Ｙを特定しなくてもよい。少なくとも唇の代表色の色相および彩度（またはＣｂ成分およびＣｒ成分）を特定すればよい。
【００９９】
なお、唇の代表色を、以下のようにして決めてもよい。唇代表色特定部１９は、唇色度合いＤ１に応じて１つの第１の選択候補色を選択し、それを唇の色として特定してもよい。また、唇代表色特定部１９は、唇色度合いＤ１に応じて複数の第１の選択候補色を選択して、それらの中から彩度の大きいものを唇の代表色として特定してもよい。また、唇代表色特定部１９は、唇色度合いＤ１に応じて第１の選択候補色を選択し、候補評価値Ｄ２に応じて複数の第２の選択候補色を選択し、第１の選択候補色および複数の第２の選択候補色の中から、彩度の最も大きいものを唇の代表色として特定してもよい。または、唇代表色特定部１９は、第１および第２の各選択候補色の中から、その色相が最も所定の色相に近いものを唇の代表色として特定してもよい。唇は赤いという前提が成り立つ場合が多いため、例えば、所定の色相は、典型的な唇の色である赤に近い色相とすればよい。
【０１００】
唇領域特定部２０は、口画像の各画素について、唇の代表色との類似度合いを求める（Ｓ１２）。唇の代表色と類似している色の領域は、唇の領域であると考えられる。唇領域特定部２０は、唇の代表色と、各画素の色との色相および彩度における差に応じて、唇の代表色と類似している領域を特定する。具体的には、唇領域特定部２０は、各画素について、各画素の色と唇の代表色とのＣｂＣｒ平面における距離に応じた第１の唇色類似度Ｗｅ、および、各画素の色と唇の代表色との色相の差に応じた第２の唇色類似度Ｗｆを求める。
【０１０１】
ＣｂＣｒ平面における距離に応じた第１の唇色類似度Ｗｅは、次式で求めることができる。
【０１０２】
【数７】
【０１０３】
ここで、Ｃｂｌ、Ｃｒｌは、それぞれ唇の代表色のＣｂ成分およびＣｒ成分であり、Ｃｂ、Ｃｒは、それぞれ各画素の色のＣｂ成分およびＣｒ成分である。また、σｂｌ、σｒｌは、それぞれ色空間のＣｂ軸における唇の色の標準偏差、Ｃｒ軸における唇の色の標準偏差である。唇の色の標準偏差は、唇の代表色（最終的に唇の代表色として特定された候補色）に対応する領域（候補色特定部１８が分割した領域）の各画素の色から求めることができる。図１２（ａ）は、各画素の色と唇の代表色とのＣｂＣｒ平面における距離と、第１の唇色類似度Ｗｅとの関係を示す図である。式（７）によれば、各画素の色と唇の代表色とのＣｂＣｒ平面における距離が小さければ、第１の唇色類似度Ｗｅは１に近く、各画素の色と唇の代表色とのＣｂＣｒ平面における距離が大きくなればなるほど、第１の唇色類似度Ｗｅは小さくなり、０に近づく。図１２（ｂ）は、図２（ｂ）に対応し、口画像の各画素の色を式（７）に当てはめて第１の唇色類似度Ｗｅを計算した結果を示す画像である。明るい箇所は第１の唇色類似度Ｗｅが大きく、暗い箇所は第１の唇色類似度Ｗｅが小さいことを示す。これによれば、唇の領域は第１の唇色類似度Ｗｅが大きいことが分かる。ただし、唇の領域の一部は、照明等によって光って写っており彩度が小さいので、第１の唇色類似度Ｗｅは小さくなっている。また、唇に影等がある場合も、第１の唇色類似度Ｗｅは小さくなる可能性がある。
【０１０４】
色相の差に応じた第２の唇色類似度Ｗｆは、次式で求めることができる。
【０１０５】
【数８】
【０１０６】
ここで、Ｐｌは、唇の代表色の色相であり、ＣｂＣｒ平面における位相の角度で示される。また、Ｐは、各画素の色の色相である。また、σｐｌは、唇の色の色相の標準偏差である。図１３（ａ）は、各画素の色と唇の代表色とのＣｂＣｒ平面における色相と、第２の唇色類似度Ｗｆとの関係を示す図である。式（８）によれば、各画素の色と唇の代表色との色相の差が小さければ、第２の唇色類似度Ｗｆは１に近く、各画素の色と唇の代表色との色相の差が大きくなればなるほど、第２の唇色類似度Ｗｆは小さくなり、０に近づく。図１３（ｂ）は、図２（ｂ）に対応し、口画像の各画素の色を式（８）に当てはめて第２の唇色類似度Ｗｆを計算した結果を示す画像である。明るい箇所は第２の唇色類似度Ｗｆが大きく、暗い箇所は第２の唇色類似度Ｗｆが小さいことを示す。これによれば、唇の領域は第２の唇色類似度Ｗｆが大きいことが分かる。
【０１０７】
色相の差に応じた第２の唇色類似度Ｗｆの方が、第１の唇色類似度Ｗｅに比べて照明等の影響を受けにくく、安定して精度よい結果を得ることができる。一方で、唇は、口紅またはリップグロス等が塗布されるので、様々な色であり得る。肌の色と同色相の口紅が唇に塗布されている場合、色相の差に応じた第２の唇色類似度Ｗｆで正確に唇の領域を特定するのは困難である。よって、唇の色の色相が肌の色の色相と類似している場合、第１の唇色類似度Ｗｅが、唇の領域を判定するためのよりよい指標になり得る。
【０１０８】
唇領域特定部２０は、第１の唇色類似度Ｗｅおよび第２の唇色類似度Ｗｆに基づいて、口画像から唇の候補となる領域（唇候補領域、第１の唇領域）を特定する（Ｓ１３）。唇候補領域は、唇の代表色に類似した色を有する領域と言える。本実施の形態では、唇領域特定部２０は、第１の唇色類似度Ｗｅおよび第２の唇色類似度Ｗｆの少なくともいずれか一方の値が大きい画素を、唇候補領域と判別する。具体的には、唇領域特定部２０は、各画素について、第１の唇色類似度Ｗｅを所定の閾値と比較し、第１の唇色類似度Ｗｅが該閾値より大きい画素を唇候補領域に分類する。また、唇領域特定部２０は、各画素について、第２の唇色類似度Ｗｆを別の閾値と比較し、第２の唇色類似度Ｗｆが該閾値より大きい画素を唇候補領域に分類する。図１４は、図２（ｂ）に対応し、唇候補領域に分類された画素を示す画像である。明るい箇所が唇候補領域を示す。図１４に示す画像は、図１２（ｂ）に示す画像および図１３（ｂ）に示す画像をそれぞれ閾値に基づいて２値化し、和をとったものに対応する。
【０１０９】
なお、唇領域特定部２０は、第１の唇色類似度Ｗｅおよび第２の唇色類似度Ｗｆのいずれか一方のみを使用して唇候補領域を特定してもよい。また、唇領域特定部２０は、第１の唇色類似度Ｗｅが閾値より大きく、かつ、第２の唇色類似度Ｗｆが別の閾値より大きい画素を唇候補領域として特定してもよい。この場合、唇候補領域を示す画像は、図１２（ｂ）に示す画像および図１３（ｂ）に示す画像をそれぞれ２値化し、積をとったものに対応する。また、唇領域特定部２０は、各画素について、２値化する前に第１の唇色類似度Ｗｅおよび第２の唇色類似度Ｗｆの和または積をとり、その結果によって唇候補領域を特定してもよい。また、唇領域特定部２０は、１−（１−Ｗｅ）×（１−Ｗｆ）が所定の閾値より大きい画素を唇候補領域として特定してもよい。唇領域特定部２０は、唇候補領域の分布から、明らかに唇ではないと判断できる箇所を、唇候補領域から除外してもよい。
【０１１０】
唇領域特定部２０は、口画像の唇候補領域から、モデル化した唇領域（第２の唇領域）を特定する（Ｓ１４）。モデル化した唇領域を特定する方法は様々で、口画像の唇候補領域の境界をモデルとなる関数（高次関数等）で近似してもよいし、唇候補領域の空間分布にあらかじめ用意した唇形状モデルをフィッティングさせて特定してもよいし、あらかじめ用意した唇形状モデルを基に、セグメンテーション技術により唇領域を特定してもよい。唇形状モデルは、唇らしい唇の形状を関数または範囲等により規定するものであり、唇の範囲を示す所定の手順で定義されてもよい。
【０１１１】
本実施形態で行うモデル化した唇領域を特定する具体的な処理について、以下に説明する。図１５（ａ）、および図１５（ｂ）は、図１４に対応し、唇候補領域を示す画像からモデル化した唇領域を特定する手順を示す画像である。水平方向にｘ軸、縦（垂直）方向にｙ軸をとる。まず、上唇について、モデル化した唇領域を特定する。既知である左右の口端点の位置から、口の水平方向における中央のｘ座標（ｘ０）を特定する。また、水平方向中央（ｘ座標＝ｘ０）において、連続して縦方向に分布する上唇の唇候補領域の上端および下端の位置から、上唇領域の縦方向の中心位置（ｙ座標ｙ０）を推定する。
【０１１２】
座標（ｘ０，ｙ０）を中心位置として、所定のサイズの矩形を、探索ブロックとして設定する（図１５（ａ））。なお、探索ブロックは、上唇の候補領域の上端および下端を含む程度に、縦方向のサイズが大きいことが好ましい。初期位置の探索ブロックにおいて、探索ブロックに含まれる唇候補領域の画素の重心位置を求め、該重心位置のｙ座標を、ｘ座標＝ｘ０における上唇の唇領域の縦方向の中心位置（ｙ座標＝ｙ１）とする。
【０１１３】
次に、探索ブロックをΔｘだけ口端点側に移動させ、座標（ｘ１，ｙ１）を中心位置として探索ブロックを設定する（図１５（ｂ））。ｘ１＝ｘ０＋Δｘである。移動させた探索ブロックに含まれる唇候補領域の画素の重心位置を求め、該重心位置のｙ座標を、ｘ座標＝ｘ１における上唇の唇領域の縦方向の中心位置（ｙ座標＝ｙ２）とする。
【０１１４】
このように探索ブロックを口端点の付近まで順次ずらして重心の計算を行うことで、上唇の唇領域の縦方向の中心位置を示す複数の点の座標（（ｘ０，ｙ１）、（ｘ１，ｙ２）、…）が得られる。探索ブロックが所定の位置（例えば口端点）に達するまで処理を続けてもよいし、唇候補領域が途切れる位置まで処理を続けてもよい。例えば、上唇の唇領域の縦方向の中心位置を示す複数の点を結ぶ曲線（二次曲線またはより高次の曲線等）を求めることで、上唇の唇領域の縦方向の中心位置を示す曲線を得ることができる。なお、下唇の唇領域の縦方向の中心位置を示す複数の点も、同様にして得ることができる。
【０１１５】
唇領域特定部２０は、唇領域の縦方向の中心位置を示す各点を中心とした、縦方向の所定の幅の範囲を、モデル化された唇領域として特定する。本実施形態では、唇領域の縦方向の中心位置を示す各点を中心とした、縦方向の所定の幅の範囲が、唇らしい形状を表す唇形状モデルであると言える。図１６は、図１５（ａ）に対応し、モデル化された唇領域を示す画像である。明るい箇所は唇領域を示す。唇候補領域からモデル化した唇形状の領域を唇領域として特定することで、ノイズ等を排除して唇らしい唇領域を特定することができる。なお、図１６に示す例では、後の唇の補正処理において口端付近の肌にまで補正処理を行わないよう、敢えて口端付近は唇領域から除いている。
【０１１６】
なお、口の水平方向中央付近において、連続して縦方向に分布する唇候補領域の上端から下端の距離を、モデル化された唇領域の縦方向の幅としてもよい。また、唇領域特定部２０は、唇領域の縦方向の中心位置を示す各点を結ぶ曲線を求め、その曲線の縦方向の所定の幅の領域を、モデル化された唇領域として特定してもよい。また、唇領域特定部２０は、口端点側に向かうほど唇領域の縦の幅が小さくなるよう、唇領域の縦方向の中心位置を示す各点に基づいて、唇領域を特定してもよい。その方が、特定した唇領域がより自然なモデルの唇形状となる。
【０１１７】
このようにして唇領域特定部２０は、唇領域を特定する。なお、唇領域特定部２０は、唇候補領域の画素を、唇領域として特定してもよい。また、唇領域特定部２０は、唇候補領域であり、かつ、モデル化された唇領域である領域（図１４の画像の領域と図１６の画像の領域の積をとった領域）のみを唇領域として特定してもよい。以上で、唇色特定処理および唇領域特定処理が完了する。
【０１１８】
次に、特定した唇領域に対して、リップグロス補正を行う。リップグロスを塗布したように見せるために、唇の光沢を強くする。そのために、唇の一部の領域の輝度を大きくし、唇領域の色変化を全体的に滑らかにする。具体的には、唇領域の一部の画素に輝度を加算するための光沢画像を用意し、唇領域を平滑化した口画像に光沢画像を重ねる（合成する）ことで、唇領域を滑らかにし、唇の一部の光沢を強くする。
【０１１９】
図１７は、画像処理装置６における補正処理の流れを示すフローチャートである。
【０１２０】
画像補正部２１は、図１６に示す唇領域の各画素位置に対して、唇の画像補正を行うための重み（補正重みＷｇ）を求める（Ｓ２１）。例えば、唇領域の中心付近では光沢増強の補正をより強くかけ、唇領域の周辺部付近では、光沢増強の補正をより弱くかけることで、自然な見た目の画像補正を行う。
【０１２１】
具体的には、画像補正部２１は、上下の各唇について、唇領域の水平方向の中心位置ほど重みが大きく、唇領域の水平方向の外側（口端点側）ほど重みが小さくなるように補正重みＷｇを設定する。また、画像補正部２１は、上下の各唇について、唇領域の縦方向の中心位置ほど重みが大きく、唇領域の縦方向の端部ほど重みが小さくなるように補正重みＷｇを設定する。例えば、唇領域の水平方向の中心位置、かつ、縦方向の中心位置では、補正重みが１になり、唇領域の水平方向の中心位置、かつ、縦方向の唇領域の端部では、補正重みが０になるようにする。また、唇領域の水平方向の外側の端、かつ、縦方向の中心位置では、補正重みが０．５になり、唇領域の水平方向の外側の端、かつ、縦方向の唇領域の端部では、補正重みが０になるようにする。その間における補正重みは、例えば線形に変化させてもよい。図１８は、各水平位置での補正重みＷｇを示す図である。縦軸は唇領域の縦方向における位置、横軸は各位置の補正重みＷｇを示す。また、左側のグラフは唇領域の水平方向の中心の位置に対応するものであり、右側のグラフは唇領域の水平方向の外側の位置に対応するものである。各水平位置において、唇領域の幅の中心では補正重みＷｇが大きい。また、水平方向の中心では、補正重みＷｇが大きい。図１９は、図１６に対応し、補正重みＷｇを示す画像である。明るい箇所は補正重みＷｇが大きいことを示す。図１６に示す唇領域に対して、図１９に示す補正重みＷｇは、より唇らしく見える領域の補正重みが大きくなっていることが分かる。なお、この処理を唇領域特定部２０が行い、唇領域特定部２０が、図１９に示す画像を２値化したものを唇領域として特定してもよい。
【０１２２】
画像補正部２１は、補正重みＷｇ、唇候補領域、第１の唇色類似度Ｗｅ、および第２の唇色類似度Ｗｆに基づいて、唇領域の中で光沢（輝度）の補正を行う光沢補正領域を特定する（Ｓ２２）。具体的には、画像補正部２１は、各画素について、補正重みＷｇ（図１９）、唇候補領域（図１６）、第１の唇色類似度Ｗｅ（図１２（ｂ））、および第２の唇色類似度Ｗｆ（図１３（ｂ））の積を補正部分評価値Ｄ３として求める。図２０は、図１９に対応し、補正部分評価値Ｄ３を示す画像である。明るい箇所は補正部分評価値Ｄ３の値が大きいことを示す。画像補正部２１は、補正部分評価値Ｄ３の値が所定の閾値より大きい領域（画素）を、光沢補正の対象である光沢補正領域として特定する。
【０１２３】
自然な見た目の光沢補正を行うために、光沢補正領域の中でも、最も明るい一部の箇所（領域）について、より輝度が大きくなるように補正を行う。ここでは、光沢補正領域の中で最大輝度を有する画素の周辺の画素について、輝度を増大させる。そのために、以下の処理では、唇領域の一部の画素の輝度を加算するための光沢画像を用意する。
【０１２４】
画像補正部２１は、平滑化された口画像に対して、光沢補正領域に含まれる画素のみを抽出する（Ｓ２３）。図２１は、図２（ｂ）に対応し、抽出した画素の輝度を示す画像である。明るい箇所は抽出した画素の輝度が大きく、暗い箇所は抽出した画素の輝度が小さいことを示す。なお、抽出されていない画素の位置は、暗く示されている。画像補正部２１は、抽出した画素の中で最大の輝度を有する画素を中心として、同心円状の重みを各画素の輝度値に乗じる。同心円状の重みは、中心が１で、中心から離れるほど小さくなる。図２１では、最大輝度を有する画素は、図に示す円の中心に位置する。
【０１２５】
図２２は、抽出した画素の輝度値に重みをかけた結果の、抽出した各画素の輝度値によるヒストグラムである。
【０１２６】
画像補正部２１は、抽出した画素について、重みを乗じた各画素の輝度の値が大きい上位の所定の割合の画素について、輝度が大きい光沢画像を生成する（Ｓ２４）。図２３は、図２１に対応し、輝度成分のみを有する光沢画像を示す画像である。図２１に示す画像において最大輝度を有する画素を中心として、対応する光沢画像の画素は大きい輝度を有する。例えば、画像補正部２１は、抽出した画素の輝度値に重みを乗じた輝度値が上位４％に含まれる画素について、輝度が大きくなるような、光沢画像を生成する。すなわち、図２２に示すヒストグラムの上位４％に含まれる画素の輝度値が補正後に大きくなるよう、図２１に示す画像に対してトーンカーブを調整して、光沢画像を生成する。
【０１２７】
図２４（ａ）は、抽出した各画素（図２１）に対する第１トーンカーブを示す図であり、図２４（ｂ）は、抽出した各画素に対する第２トーンカーブを示す図である。図２４（ａ）、図２４（ｂ）における横軸は入力輝度を、縦軸はトーンカーブによる出力輝度を示し、参考までに図２２のヒストグラムを重ねて表示している。なお、輝度値は０〜２５５の値をとるものとする。第１トーンカーブでは、抽出した各画素の輝度値に対して、その中で最高の輝度値を有する画素の輝度が１２８になるように、かつ、輝度値の上位４％を除いた全ての画素の輝度が０になるように、出力輝度を補正する。そして、第１トーンカーブでは、輝度値の上位４％の画素については、その輝度値に応じて輝度が０から１２８に線形に変化するよう出力輝度を補正する。第２トーンカーブでは、抽出した各画素の輝度値に対して、最大入力輝度２５５が最大出力輝度１２７になるように出力輝度を線形に変化させる。図２１に示す画像（抽出した各画素）の輝度値を第１トーンカーブで調整した画像と、図２１に示す画像（抽出した各画素）の輝度値を第２トーンカーブで調整した画像とを加算した画像（最大輝度は２５５）に、所定の補正度合い（例えば０．１）を乗じた画像を、光沢画像（図２３）として生成する。所定の補正度合いのために、光沢画像の最大輝度は、例えば２５程度になる。光沢画像の輝度値は、口画像に対する輝度の補正値となる。
【０１２８】
画像補正部２１は、各画素の輝度値について、図２（ａ）に示す正規化された口画像、図２（ｂ）に示す平滑化された口画像、および図２３に示す光沢画像を合成し、補正された口画像を生成する（Ｓ２５）。具体的には、画像補正部２１は、各画素について、平滑化された口画像（図２（ｂ））の輝度値に図１９に示す補正重みＷｇを乗じたものと、正規化された口画像（図２（ａ））の輝度値に重み（１−Ｗｇ）を乗じたものと、光沢画像（図２３）の輝度値との和を、補正された口画像の輝度値とする。図２５は、正規化された口画像、平滑化された口画像、および光沢画像の合成処理を示す図である。補正された口画像の各画素の輝度値Ｙｃは、次式で求められる。
【０１２９】
【数９】
【０１３０】
ここで、Ｙｆは平滑化された口画像の画素の画素値を示し、Ｙｎは正規化された口画像の画素の画素値を示し、Ｙｇは光沢画像の画素の画素値を示す。なお、補正重みＷｇは、０から１の値をとる。また、加算の結果の輝度値Ｙｃが最大輝度２５５を越えるときは、その画素の輝度値を２５５にする。唇領域について平滑化された口画像を合成することで、唇領域の輝度変化を滑らかにし、唇領域に光沢画像を合成することで、唇領域の光沢を増強させることができる。なお、ここでは画像補正部２１は、色相および彩度については、補正しない。
【０１３１】
次に、合成部２２は、補正された口画像を正規化する前の元のサイズに戻し（必要に応じて補正された口画像を回転および拡大・縮小させ）、処理対象の画像（顔画像）に合成し、補正された画像を生成する（Ｓ２６）。このようにして、処理対象の画像における唇等の見た目が補正された画像が得られる。
【０１３２】
図２６（ａ）は、補正前の顔画像の一部を示す画像であり、図２６（ｂ）は、補正後の顔画像の一部を示す画像である。上下の唇全体の見た目が滑らかになり、下唇の一部の光沢が増強されていることが分かる。なお、図２６（ｂ）では、実施形態２で説明する歯ホワイトニング処理の補正も適用されている。
【０１３３】
表示制御部２３は、補正処理後の画像を表示装置５に表示させ、補正処理を終了する。
【０１３４】
＜本実施形態の長所＞
本実施形態の画像処理装置６によれば、唇と肌とを含む口画像の輝度を除いた色相および彩度の情報に基づいて、様々な色であり得る唇の代表色を特定し、特定した唇の代表色に基づいて唇領域を正確に特定することができる。そして、特定した唇領域に補正処理を行うことで、画像の中の人物の唇に、適切な補正処理を施すことができる。
【０１３５】
従来の画像処理では、輝度の情報を用いて唇の領域を検出するのが当然と考えられていた。それは、輝度に基づいて唇の領域を検出する利点があることに起因する。この理由としては、以下を挙げることができる。
【０１３６】
第１に、輝度に基づく方法は、グレースケール画像にも適用できることが挙げられる。
【０１３７】
第２に、一般に、口画像のＹ成分は、Ｃｂ成分およびＣｒ成分に比べ、エッジが明瞭であり、Ｙ成分を用いると唇等のエッジが検出しやすいことが挙げられる。図２７（ａ）は、図２（ａ）に対応し、正規化された口画像のＣｂ成分の値を示す画像であり、図２７（ｂ）は、図２（ａ）に対応し、正規化された口画像のＣｒ成分の値を示す画像である。明るい箇所は各成分の値が大きいことを示す。ＣｂＣｒ成分を示す図２７（ａ）および図２７（ｂ）と、輝度Ｙを示す図２（ａ）とを比較すると、輝度Ｙを示す画像の方が、より唇のエッジを鮮明に見分けることができる。
【０１３８】
このように、従来において、照明条件等がよい場合は、輝度に基づいて唇の領域および唇の色を特定することができた。一方で、照明条件等が悪い場合（部分的に影ができる場合、または照明が強すぎる場合等）は、従来のように輝度に基づいて唇の領域および唇の色を特定すると、誤検出が多くなり、正確に唇の領域および唇の色を特定することができないことがある。
【０１３９】
また、唇の色（色相等）が既知である場合に、色相または彩度によって唇の領域を特定することは、従来から行われていた。また、一般的な方法で、顔の広い範囲に分布する肌の色を検出する場合と異なり、唇という顔の中の狭い領域の色を同様の方法で検出するのは困難である場合が多い。
【０１４０】
これに対して、本実施形態の画像処理装置６によれば、唇の色が既知ではなく、かつ、唇の領域も既知ではない場合に、唇の代表色を特定し、唇の領域を特定することができる。画像処理装置６は、色相と彩度における差に応じて、肌の色および歯の色とは異なる（差が大きい）候補色を唇の代表色として特定する。そのため、影、照明または化粧等により、画像における肌と唇とが同色相である場合においても、また、画像における肌の色が場所によって大きく異なっている場合においても、肌および歯と唇とを正確に区別し、唇の代表色を特定することができる。また、肌の色の分散等を考慮して各候補色が唇の色である度合いを求めるので、より適切な唇色度合いを求めることができる。ここで、色相および彩度における差とは、２つの色の色相彩度平面（ＣｂＣｒ平面）における違いを指し、色相の違い、彩度の違い、および、色相彩度平面における距離等が含まれる。
【０１４１】
また、画像処理装置６は、肌の色との色相および彩度による差に応じて複数の候補色を選択し、その中からより唇の色らしい（例えば彩度が大きい）候補色を唇の代表色として選択する。そのため、より正確に唇の代表色を特定することができる。
【０１４２】
また、画像処理装置６は、唇の代表色と各画素との色相と彩度における差に応じて、唇の代表色に類似する領域を唇領域として特定する。比較的明るい照明環境の元で撮影された画像の場合、唇の一部が白っぽくなることがある。唇の白っぽくなった艶領域は彩度が小さく、一方で唇の他の領域は彩度が大きいので、艶領域とそれ以外の唇領域の色のＣｂＣｒ平面における距離は大きくなる。しかしながら、艶領域も色相は変化しないため、色相を考慮することで艶領域も正確に唇領域と判定することができる。一方で、肌と唇とが同色相であった場合でも、唇の代表色と各画素とのＣｂＣｒ平面における距離を考慮することで、正確に唇領域を特定することができる。
【０１４３】
また、画像処理装置６は、唇の代表色に類似する画素（唇候補領域の画素）の空間分布に基づき、所定の唇形状のモデル等を適用し、唇らしい形状を構成する画素および／または唇らしい位置にある画素を、モデル化された唇領域として特定する。唇以外で唇の代表色に類似した領域がある場合、唇候補領域の中から唇の領域のみを判別する必要がある。そこで、唇形状のモデルを唇候補領域に適合させる（フィットさせる）ことにより、唇候補領域から唇らしい位置にある画素のみを唇領域として特定することができる。また、照明条件等により、唇の一部が唇の代表色に類似していない場合でも、唇形状のモデルを唇候補領域に適合させた場合に唇形状のモデルに含まれる画素を、唇領域として特定することができる。よって、撮影時に白く輝いたりして色相・彩度の情報が失われた唇の領域も、正確に唇領域として特定することができる。
【０１４４】
このように、本実施形態の画像処理装置６によれば、悪条件下で撮影された画像に対しても、正確に唇の代表色を特定し、唇領域を特定することができる。
【０１４５】
［実施形態２］
本実施形態では、補正処理として歯ホワイトニング補正を行う場合について説明する。なお、説明の便宜上、実施形態１にて説明した図面と同じ機能を有する部材・構成については、同じ符号を付記し、その詳細な説明を省略する。以下、本実施形態について、図面を参照して詳細に説明する。
【０１４６】
＜デジタルカメラの構成＞
図２８は、本実施の形態に係るデジタルカメラ３０の概略構成を示すブロック図である。デジタルカメラ３０は、指示入力装置２、撮像装置３、画像記憶装置４、表示装置５、および画像処理装置３１を備える。
【０１４７】
＜画像処理装置の構成＞
画像処理装置３１は、実施形態１の画像処理装置６の構成に加えて、口内部領域特定部３２、歯候補色特定部３３、および歯代表色特定部３４を備える。
【０１４８】
口内部領域特定部３２は、唇領域特定部２０から唇領域を示す情報を受け取り、唇領域特定部２０が特定した上の唇領域および下の唇領域の間の領域を、口内部領域として特定する。唇領域特定部２０が、上下の唇の領域を正確に特定することで、口画像の中の歯を含む口内部の領域を特定することができる。なお、上下の唇領域の間に空間がない場合、歯ホワイトニング補正は行わない。口内部領域特定部３２は、特定した口内部領域を示す情報を歯候補色特定部３３に出力する。
【０１４９】
歯候補色特定部３３は、口内部領域を示す情報、および平滑化部１６から受け取った平滑化された口画像に基づき、歯の色の候補となる複数の歯候補色を特定する。歯候補色特定部３３は、口画像の口内部領域に含まれる複数の領域から各領域の代表色を特定し、歯候補色とする。例えば、歯候補色特定部３３は、図３に示すように口画像を複数の領域に分割する。そのうち、口内部領域に含まれる各領域の代表色（平均色あるいは中央値または最頻値の色等）を、歯の色の複数の候補色（歯候補色）として特定する。このようにして分割された領域の少なくとも１つは、主として歯を含む領域であると考えられる。よって、複数の歯候補色の中には、歯の色の代表色として適している色があると期待される。ただし、各領域の設定（分割）方法は上記に限らない。分割された複数の領域の大きさに制限はなく、各画素を複数の領域としてもよい。なお、画像のノイズ等を排除して歯候補色を特定するために、歯候補色特定部３３は、平滑化された口画像を用いて歯候補色を特定する。しかし、これに限らず、歯候補色特定部３３は、平滑化されていない口画像を用いて歯候補色を特定してもよい。また、歯候補色特定部３３は、分割された領域の色の分散度合いを、対応する歯候補色の分散度合いとして求める。歯候補色特定部３３は、複数の歯候補色および歯候補色の分散度合いを歯代表色特定部３４に出力する。また、歯候補色特定部３３は、歯候補色の分散度合いを画像補正部２１に出力する。
【０１５０】
歯代表色特定部３４は、複数の歯候補色の中から歯の色の度合いが大きい歯の代表色を特定する。具体的には、歯代表色特定部３４は、彩度が最も小さい歯候補色を、歯の代表色として特定する。歯代表色特定部３４は、歯の代表色を画像補正部２１に出力する。
【０１５１】
画像補正部２１は、補正処理の指示、正規化された口画像、平滑化された口画像、唇の代表色および歯の代表色に基づき、口画像における見た目の補正を行い、補正された口画像を生成する。口画像の補正の方法は後述する。画像補正部２１は、補正された口画像を合成部２２に出力する。
【０１５２】
＜画像処理フロー＞
以下に、デジタルカメラ３０における画像補正処理の流れについて説明する。なお、唇領域を特定するまでの処理（図５に示す処理）は、実施形態１と同様である。
【０１５３】
図２９は、画像処理装置３１における口内領域特定処理および補正処理（歯ホワイトニング処理）の流れを示すフローチャートである。画像処理装置３１は、歯の領域の輝度を大きくすることにより、画像の中の歯を白く輝いて見えるように補正する。
【０１５４】
まず、口内部領域特定部３２は、唇領域特定部２０が特定した上の唇領域および下の唇領域の間の領域を、口内部領域として特定する（Ｓ３１）。具体的には、図１６に示す上下の唇領域に挟まれる領域を、口内部領域とする。口画像の口内部領域に、歯の領域が含まれていると考えられる。
【０１５５】
歯候補色特定部３３は、口画像の口内部領域の少なくとも一部を、複数の領域に分割し、分割された各領域の代表色を、歯の色の複数の候補色（歯候補色）として特定する（Ｓ３２）。ここでは、各領域について、該領域の平均色を、歯候補色とする。
【０１５６】
歯代表色特定部３４は、各歯候補色の彩度を比較し、最も彩度の小さい歯候補色を歯の代表色として特定する（Ｓ３３）。
【０１５７】
画像補正部２１は、口内部領域の各画素位置に対して、歯の画像補正を行うための重み（補正重みＷｈ）を求める（Ｓ３４）。例えば、口内部領域の口端点に近い領域は、口の内部で陰になっていることが多いと考えられる。そのため、歯を白くする補正処理は、口内部領域の水平方向の中央付近についてより重点的に行えばよい。これにより、自然な見た目の画像補正を行う。
【０１５８】
具体的には、画像補正部２１は、口内部領域の水平方向の中心位置ほど重みが大きく、口内部領域の水平方向の外側（口端点側）ほど重みが小さくなるように補正重みＷｈを設定する。例えば、口内部領域の水平方向の中心位置では、補正重みが１になり、口内部領域の水平方向の外側の端では、補正重みが０になるようにする。その間における補正重みは、例えば線形に変化させてもよい。図３０は、図１６に対応し、口内部領域および口内部領域の補正重みＷｈを示す画像である。明るい箇所は補正重みＷｈが大きいことを示す。
【０１５９】
画像補正部２１は、口内部領域の各画素について、歯の代表色との類似度合いを求める（Ｓ３５）。具体的には、画像補正部２１は、各画素の色と歯の代表色との色空間における距離に応じた歯色類似度Ｗｉを求める。
【０１６０】
色空間における距離に応じた歯色類似度Ｗｉは、次式で求めることができる。
【０１６１】
【数１０】
【０１６２】
ここで、Ｙｔ、Ｃｂｔ、Ｃｒｔは、それぞれ歯の代表色の輝度Ｙ成分、Ｃｂ成分、Ｃｒ成分であり、Ｙ、Ｃｂ、Ｃｒは、それぞれ各画素の色のＹ成分、Ｃｂ成分、Ｃｒ成分である。また、σｙｔ、σｂｔ、σｒｔは、それぞれ色空間のＹ軸における歯の色の標準偏差、Ｃｂ軸における歯の色の標準偏差、Ｃｒ軸における歯の色の標準偏差である。歯の色の標準偏差は、歯の代表色（最終的に歯の代表色として特定された歯候補色）に対応する領域（歯候補色特定部３３が分割した領域）の各画素の色から求めることができる。なお、暗い画素は歯の領域の白っぽい画素と同様に、色相および彩度が小さくなる。そのため、歯色類似度Ｗｉを求める際に輝度Ｙを考慮し、暗い画素は歯色類似度Ｗｉが低くなるようにしている。図３１は、図２（ｂ）に対応し、口画像の各画素の色を式（１０）に当てはめて歯色類似度Ｗｉを計算した結果を示す画像である。明るい箇所は歯色類似度Ｗｉが大きく、暗い箇所は歯色類似度Ｗｉが小さいことを示す。これによれば、歯の領域は歯色類似度Ｗｉが大きいことが分かる。口内部領域の歯以外の領域、すなわち、歯肉や口の奥、および舌等は、歯色類似度Ｗｉが小さくなっている。
【０１６３】
自然な見た目の歯光沢補正を行うために、以下の処理では、歯領域の画素の輝度を加算するための歯光沢画像を用意する。
【０１６４】
画像補正部２１は、口内部領域について、口内部領域の補正重みＷｈ、歯色類似度Ｗｉ、第１の唇色類似度Ｗｅ、および第２の唇色類似度Ｗｆに基づいて、歯光沢画像を生成する（Ｓ３６）。具体的には、各画素について、口内部領域の補正重みＷｈおよび歯色類似度Ｗｉの積をとったものに、（１−Ｗｅ）および（１−Ｗｆ）を乗じ、さらに所定の補正度合い（例えば２０）を乗じた画像を、歯光沢画像として生成する。
【０１６５】
図３２は、図１２（ｂ）に対応し、各画素の（１−Ｗｅ）の値を示す画像である。図３３は、図１３（ｂ）に対応し、各画素の（１−Ｗｆ）の値を示す画像である。図３４は、図３１に対応し、歯光沢画像を示す画像である。明るい箇所は値が大きいことを示す。なお、口内部領域の補正重みＷｈ、歯色類似度Ｗｉ、第１の唇色類似度Ｗｅ、および第２の唇色類似度Ｗｆは、０から１の値をとる。例えば補正度合いが２０の場合、歯光沢画像の各画素は、０から２０の値をとる。歯光沢画像の各画素の値が、口画像を補正する際の輝度の補正値となる。なお、口内部領域の補正重みＷｈと歯色類似度Ｗｉとの積をとることにより、口内部領域の歯である領域の水平方向中央付近の補正の重みを大きくすることができる。
【０１６６】
画像において口が開いているのに歯が見えていない場合に、舌等の色を歯の代表色と特定してしまうことがある。舌の色は唇の色に比較的類似していると考えられる。このような場合に、舌の色を明るく補正することがないよう、（１−Ｗｅ）および（１−Ｗｆ）を考慮することによって、唇に類似した色相・彩度の領域（例えば舌）を補正しないようにすることができる。
【０１６７】
画像補正部２１は、各画素の輝度値について、図２（ａ）に示す正規化された口画像、および図３４に示す歯光沢画像を合成し、補正された口画像を生成する（Ｓ３７）。具体的には、画像補正部２１は、各画素について、正規化された口画像（図２（ａ））の輝度値と、歯光沢画像（図３４）の輝度値との和を、補正された口画像の輝度値とする。また、加算の結果の輝度値が最大輝度２５５を越えるときは、その画素の輝度値を２５５にする。
【０１６８】
合成部２２は、補正された口画像を処理対象の画像（顔画像）に合成する。以降の処理は実施形態１と同様である。
【０１６９】
図２６（ａ）と図２６（ｂ）を比較すると、図２６（ｂ）に示す補正後の顔画像の一部を示す画像では、歯の特に水平方向の中央の領域の輝度が上がっていることが分かる。
【０１７０】
＜本実施形態の長所＞
本実施形態の画像処理装置３１によれば、唇領域に基づいて、口内部領域を正確に特定することができる。そして、口内部領域の中の歯である度合いが大きい領域に対して補正処理を行うことで、画像の中の人物の歯に、適切な補正処理を施すことができる。
【０１７１】
また、図３４に示す歯光沢画像において、明るい箇所は歯である度合いが大きい箇所を示している。そのため、歯光沢画像は、歯の領域を示していると言える。このように、本実施形態によれば、正確に歯の領域を特定することができる。
【０１７２】
最後に、画像処理装置６・３１の各ブロック、特に画像取得部１１、顔検出部１２、特徴検出部１３、適否判定部１４、口画像正規化部１５、平滑化部１６、肌代表色特定部１７、候補色特定部１８、唇代表色特定部１９、唇領域特定部２０、画像補正部２１、合成部２２、表示制御部２３、口内部領域特定部３２、歯候補色特定部３３、および歯代表色特定部３４は、ハードウェアロジックによって構成してもよいし、次のようにＣＰＵ（central processing unit）を用いてソフトウェアによって実現してもよい。
【０１７３】
すなわち、画像処理装置６・３１は、各機能を実現する制御プログラムの命令を実行するＣＰＵ、上記プログラムを格納したＲＯＭ（read only memory）、上記プログラムを展開するＲＡＭ（random access memory）、上記プログラムおよび各種データを格納するメモリ等の記憶装置（記録媒体）などを備えている。そして、本発明の目的は、上述した機能を実現するソフトウェアである画像処理装置６・３１の制御プログラムのプログラムコード（実行形式プログラム、中間コードプログラム、ソースプログラム）をコンピュータで読み取り可能に記録した記録媒体を、上記画像処理装置６・３１に供給し、そのコンピュータ（またはＣＰＵやＭＰＵ（microprocessor unit））が記録媒体に記録されているプログラムコードを読み出し実行することによっても、達成可能である。
【０１７４】
上記記録媒体としては、例えば、磁気テープやカセットテープ等のテープ系、フロッピー（登録商標）ディスク／ハードディスク等の磁気ディスクやＣＤ−ＲＯＭ（compact disc read-only memory）／ＭＯ（magneto-optical）／ＭＤ（Mini Disc）／ＤＶＤ（digital versatile disk）／ＣＤ−Ｒ（CD Recordable）等の光ディスクを含むディスク系、ＩＣカード（メモリカードを含む）／光カード等のカード系、あるいはマスクＲＯＭ／ＥＰＲＯＭ（erasable programmable read-only memory）／ＥＥＰＲＯＭ（electrically erasable and programmable read-only memory）／フラッシュＲＯＭ等の半導体メモリ系などを用いることができる。
【０１７５】
また、画像処理装置６・３１を通信ネットワークと接続可能に構成し、上記プログラムコードを通信ネットワークを介して供給してもよい。この通信ネットワークとしては、特に限定されず、例えば、インターネット、イントラネット、エキストラネット、ＬＡＮ（local area network）、ＩＳＤＮ（integrated services digital network）、ＶＡＮ（value-added network）、ＣＡＴＶ（community antenna television）通信網、仮想専用網（virtual private network）、電話回線網、移動体通信網、衛星通信網等が利用可能である。また、通信ネットワークを構成する伝送媒体としては、特に限定されず、例えば、ＩＥＥＥ（institute of electrical and electronic engineers）１３９４、ＵＳＢ、電力線搬送、ケーブルＴＶ回線、電話線、ＡＤＳＬ（asynchronous digital subscriber loop）回線等の有線でも、ＩｒＤＡ（infrared data association）やリモコンのような赤外線、Ｂｌｕｅｔｏｏｔｈ（登録商標）、８０２．１１無線、ＨＤＲ（high data rate）、携帯電話網、衛星回線、地上波デジタル網等の無線でも利用可能である。
【０１７６】
本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。
【産業上の利用可能性】
【０１７７】
本発明は、画像処理装置を備えるデジタルカメラ等に利用することができる。
【符号の説明】
【０１７８】
１、３０ デジタルカメラ
２ 指示入力装置
３ 撮像装置
４ 画像記憶装置
５ 表示装置
６、３１ 画像処理装置
１１ 画像取得部（指示受領部）
１２ 顔検出部
１３ 特徴検出部
１４ 適否判定部
１５ 口画像正規化部
１６ 平滑化部
１７ 肌代表色特定部
１８ 候補色特定部
１９ 唇代表色特定部
２０ 唇領域特定部
２１ 画像補正部
２２ 合成部
２３ 表示制御部
３２ 口内部領域特定部
３３ 歯候補色特定部
３４ 歯代表色特定部
【技術分野】
【０００１】
本発明は、画像処理装置および画像処理方法に関し、特に顔画像の補正を行う画像処理装置および画像処理方法に関する。
【背景技術】
【０００２】
写真または映像等の画像に人物の顔が含まれる場合、その画像に含まれる顔は画像の観察者の注意を引く部分であることが多い。従来から、画像に含まれる顔の見栄えが良くなるよう、顔画像を補正または調整する技術がある。
【０００３】
例えば、特許文献１には、上下の唇の輪郭を抽出し、検出した上下の唇の内側の輪郭に囲まれる部分を、歯に対応する部分として特定し、歯に対応する部分の明るさを調整する技術が開示されている。例えば歯に対応する部分の画素値を明るくし、顔の見栄えを良くすることができる。特許文献１の技術では、歯に対応する部分を特定するために、画像の各画素の輝度値の変化から、唇の輪郭を検出している。具体的には、口領域において縦方向（顔の高さ方向）の検出線を複数定義し、各検出線に沿って画素の輝度値の変化を調べ、比較的輝度値の変化が大きな点を唇の輪郭点として特定する。そして、特定した輪郭点の空間分布から、上下の唇の外側の輪郭および内側の輪郭に対応する輪郭点を特定し、上下の唇の内側の輪郭に囲まれる領域を口の内部として特定し、そこに歯に対応する領域があるとみなす。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００９−２３１８７９号公報（２００９年１０月８日公開）
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、上記従来の構成では、以下の問題を生じる。
【０００６】
特許文献１の技術を用いて唇の輪郭を検出するためには、照明条件が良い顔画像を用意する必要があった。画像の輝度値は、照明等の撮影環境に依存して大きく変化する。例えば逆光の条件で撮影された顔画像では、顔の部分に光が当たらず、顔全体が暗くなる。そのため、画素毎の輝度値の変化が小さくなり、唇の輪郭部分の輝度値の変化も小さくなり、輪郭点の特定が困難になる（誤検出をしやすくなる）という問題が生じる。また屋内等の低照度下で撮影された場合、ノイズが相対的に大きくなり、唇の輪郭点の特定がさらに困難になる。
【０００７】
一方、顔に光が当たっている照明条件で撮影された場合、唇の輪郭部分の輝度値の変化が大きく、輪郭点の特定はしやすくなる。しかしながら、光の当たり方によっては顔の凹凸によって陰影ができ、唇の輪郭における輝度値の変化より大きな輝度変化が陰影の境界部分に生じる。その結果、陰影の境界と唇の輪郭との区別が困難になる。
【０００８】
また、顔に光が強く当たっている照明条件で撮影された場合、顔全体が白っぽくなる（輝度が大きくなる）。そのため、唇の輪郭付近が白っぽくなり、輪郭部分の輝度値の変化が小さくなり、輪郭点の特定が困難になる。また、口紅やリップグロスに当たった光の反射（艶）により、艶の領域の境界に大きな輝度変化が生じた場合、輪郭と艶の境界との区別が困難になり、誤検出しやすくなる。
【０００９】
個人差、照明条件の変化、および、口紅またはリップグロスの着色等の影響を受け、一般に撮影された顔画像の唇の色は、大きく変化する。そのため、一般に顔画像の唇の色は既知ではない。種々の条件（撮影環境および化粧等）のために、顔画像の唇の色は肌の色に類似していることもあり、周囲を肌で囲まれた唇の色を特定することは困難である場合がある。
【００１０】
本発明は、上記の問題点に鑑みてなされたものであり、その目的は、種々の条件において撮影された顔画像における唇の色を特定し、特定した唇の色を用いて唇の領域を特定することにある。
【課題を解決するための手段】
【００１１】
本発明に係る画像処理装置は、人物の口を含む顔画像から唇の特徴を特定する画像処理装置であって、上記の課題を解決するために、上記顔画像の肌の代表色を特定する肌代表色特定部と、上記顔画像において、少なくともいずれかの領域が唇の一部を含むように複数の領域を設定し、各領域の代表色を候補色として特定する候補色特定部と、上記肌の代表色と各候補色との色相および彩度における差に応じて、上記複数の候補色から唇の代表色を特定する唇代表色特定部とを備えることを特徴としている。
【００１２】
本発明に係る画像処理方法は、人物の口を含む顔画像から唇の特徴を特定する画像処理方法であって、上記の課題を解決するために、上記顔画像の肌の代表色を特定する肌代表色特定ステップと、上記顔画像において、少なくともいずれかの領域が唇の一部を含むように複数の領域を設定し、各領域の代表色を候補色として特定する候補色特定ステップと、上記肌の代表色と、各候補色との色相および彩度における差に応じて、上記複数の候補色から唇の代表色を特定する唇代表色特定ステップとを備えることを特徴としている。
【００１３】
上記の構成によれば、唇と肌とを含む顔画像の色相および彩度における差に基づいて、候補色の中から唇の代表色を特定する。よって、様々な色であり得る唇の代表色を、肌の色とは区別して、正確に特定することができる。ここで、色相および彩度における差とは、２つの色の色相彩度平面における違いを指し、色相の違い、彩度の違い、および、色相彩度平面における距離等が含まれる。
【００１４】
また、上記唇代表色特定部は、上記肌の代表色と各候補色との、輝度または明度を除いた、色相および彩度における差に応じて、上記唇の代表色を特定してもよい。
【００１５】
照明条件等が悪い場合（唇の辺りに部分的に影ができる場合、または照明が強すぎる場合等）は、従来のように輝度に基づいて唇の領域および唇の色を特定すると、誤検出が多くなり、正確に唇の領域および唇の色を特定することができないことがある。
【００１６】
上記の構成によれば、輝度または明度の情報を用いず、色相および彩度における差に応じて、上記唇の代表色を特定する。そのため、影、照明または化粧等により、画像における肌と唇とが同色相である場合においても、また、画像における肌の色が場所によって大きく異なっている場合においても、肌と唇とを正確に区別し、唇の代表色を正確に特定することができる。
【００１７】
また、上記唇代表色特定部は、色空間の色相彩度平面における各候補色と上記肌の代表色との間の距離と、各候補色と上記肌の代表色との色相の差と、各候補色の彩度の大きさとに応じて、上記唇の代表色を特定してもよい。
【００１８】
また、上記唇代表色特定部は、各候補色について、色空間の色相彩度平面における該候補色と上記肌の代表色との間の距離に応じた第１の重みと、該候補色と上記肌の代表色との色相の差に応じた第２の重みと、該候補色の彩度の大きさに応じた第３の重みとを求め、上記第１の重み、上記第２の重み、および上記第３の重みに基づいた唇色度合いを求め、上記唇色度合いが大きい上記候補色を、上記唇の代表色として特定する構成であり、上記第１の重みは、色空間の色相彩度平面における上記候補色と上記肌の代表色との間の距離が大きいほど重みが大きくなり、上記第２の重みは、上記候補色と上記肌の代表色との色相の差が大きいほど重みが大きくなり、上記第３の重みは、上記候補色の彩度が大きいほど重みが大きくなり、上記唇色度合いは、上記第１の重み、上記第２の重み、および上記第３の重みに応じて大きくなるものであってもよい。
【００１９】
上記の構成によれば、色相彩度平面における各候補色と上記肌の代表色との間の距離と、各候補色と上記肌の代表色との色相の差とによって、肌と唇とを区別することができる。また、各候補色の彩度の大きさによって、歯と唇とを区別することができる。よって、肌または歯と唇とを区別し、正確に唇の代表色を特定することができる。
【００２０】
また、上記唇代表色特定部は、各候補色について、色空間の色相彩度平面における該候補色と上記肌の代表色との間の距離に応じた第１の重みと、該候補色と上記肌の代表色との色相の差に応じた第２の重みと、該候補色の彩度の大きさに応じた第３の重みとを求め、上記第１の重み、上記第２の重み、および上記第３の重みに基づいた唇色度合いを求め、上記唇色度合いが大きい上記候補色を第１の選択候補色として選択し、上記第１の重みは、色空間の色相彩度平面における上記候補色と上記肌の代表色との間の距離が大きいほど重みが大きくなり、上記第２の重みは、上記候補色と上記肌の代表色との色相の差が大きいほど重みが大きくなり、上記第３の重みは、上記候補色の彩度が大きいほど重みが大きくなり、上記唇色度合いは、上記第１の重み、上記第２の重み、および上記第３の重みに応じて大きくなるものであり、上記唇代表色特定部は、上記第１の選択候補色を除いた各候補色について、色空間の色相彩度平面における該候補色と上記第１の選択候補色との間の距離に応じた第４の重みを求め、上記唇色度合い、および上記第４の重みに基づいた候補評価値を求め、上記第１の選択候補色を除いた各候補色から、上記候補評価値が大きい上記候補色を少なくとも１つ第２の選択候補色として選択し、上記第４の重みは、色空間の色相彩度平面における上記候補色と上記第１の選択候補色との間の距離が大きいほど重みが大きくなり、上記候補評価値は、上記唇色度合い、および上記第４の重みに応じて大きくなるものであり、上記唇代表色特定部は、第１の選択候補色または第２の選択候補色として選択された上記候補色のうち、彩度が最も大きい、または、色相が最も所定の色相に近い上記候補色を上記唇の代表色として特定する構成であってもよい。
【００２１】
上記の構成によれば、色相彩度平面における各候補色と上記肌の代表色との間の距離と、各候補色と上記肌の代表色との色相の差と、各候補色の彩度の大きさとによって、肌の色と違いが大きい候補色を第１の選択候補色として選択する。また、第１の選択候補色を除いた各候補色について、色相彩度平面における該候補色と上記第１の選択候補色との間の距離に応じて、第１の選択候補色を除いた各候補色から、第１の選択候補色と違いが大きい候補色を第２の選択候補色として選択する。そして、第１の選択候補色または第２の選択候補色として選択された上記候補色のうち、彩度が最も大きい、または、色相が最も所定の色相に近い上記候補色を唇の代表色として特定する。
【００２２】
よって、肌の色との色相および彩度による差に応じて複数の候補色を選択し、その中からより唇の色らしい（例えば彩度が大きい、または、色相が赤に近い）候補色を唇の代表色として選択する。そのため、肌と唇の色が類似している場合であっても、誤って歯の色を唇の代表色とすることを防ぎ、肌または歯と唇とを区別し、より正確に唇の代表色を特定することができる。
【００２３】
また、上記画像処理装置は、上記唇の代表色との色相および彩度における差に応じて、上記唇の代表色に類似した色を有する領域を第１の唇領域として特定する唇領域特定部を備える構成であってもよい。
【００２４】
比較的明るい照明環境の元で撮影された画像の場合、唇の一部が白っぽくなることがあり、唇に部分的に明るい領域が存在するので、輝度を用いて領域判別をすると誤検出をすることがある。
【００２５】
上記の構成によれば、部分的に明るい領域であっても、色相を考慮することで正確に唇領域と判定することができる。一方で、肌と唇とが同色相であった場合でも、上記の構成によれば、唇の代表色と各領域（例えば画素）の色との色相彩度平面における距離を考慮することで、正確に唇領域を特定することができる。それゆえ、特定された唇の代表色に基づいて、唇領域を正確に特定することができる。
【００２６】
また、上記唇領域特定部は、色空間の色相彩度平面における上記唇の代表色からの距離が第１の閾値以下、かつ／または、上記唇の代表色との色相の差が第２の閾値以下である色を有する領域を上記第１の唇領域として特定してもよい。
【００２７】
また、上記唇領域特定部は、唇の形状を規定する所定の唇形状モデルを、上記第１の唇領域に適合させ、適合させた上記唇形状モデルの示す領域を、第２の唇領域として特定してもよい。
【００２８】
唇の代表色に類似した領域である第１の唇領域は、肌または口の中の唇の代表色に類似しているが唇ではない画素（ノイズ）を含む可能性がある。
【００２９】
上記の構成によれば、唇の代表色に類似した領域である第１の唇領域に基づいて、唇らしい唇の形状を規定した唇形状モデルの形状および／または位置を第１の唇領域に適合させる。適合させた唇形状モデルが示す領域は、上記ノイズの画素を除いた、唇らしい画素の集合になる。そのため、より唇らしい位置にある画素のみを（第２の）唇領域として特定することができる。また、撮影時に白く輝いたりして色相・彩度の情報が失われた唇の領域も、正確に唇領域として特定することができる。
【００３０】
また、上記唇領域特定部は、上記第１の唇領域に基づいて、複数の水平位置について、上唇または下唇の縦方向における中心点を特定し、各中心点を中心とする縦方向の所定の幅の領域を、第２の唇領域として特定してもよい。
【００３１】
上記の構成によれば、上唇または下唇の縦方向の中心点を特定し、各中心点に基づいてより唇らしい領域を第２の唇の領域として特定することができる。
【００３２】
なお、上記画像処理装置は、一部をコンピュータによって実現してもよく、この場合には、コンピュータを上記各部として動作させることにより上記画像処理装置をコンピュータにて実現させる制御プログラム、および上記制御プログラムを記録したコンピュータ読み取り可能な記録媒体も、本発明の範疇に入る。
【発明の効果】
【００３３】
以上のように、本発明によれば、唇と肌とを含む顔画像の色相および彩度における差に基づいて、候補色の中から唇の代表色を特定する。
【００３４】
そのため、様々な色であり得る唇の代表色を、肌の色とは区別して、正確に特定することができる。
【図面の簡単な説明】
【００３５】
【図１】本発明の一実施形態に係るデジタルカメラの概略構成を示すブロック図である。
【図２】（ａ）は、正規化された口領域の画像を示す画像であり、（ｂ）は、平滑化された口領域の画像を示す画像である。
【図３】口画像における複数の領域を示す図である。
【図４】ＣｂＣｒ平面において、唇色の候補となる色の範囲を単純化して示す図である。
【図５】本実施形態の唇色特定処理および唇領域特定処理の流れを示すフローチャートである。
【図６】（ａ）は、候補色と肌の代表色とのＣｂＣｒ平面における距離と、重みＷａとの関係を示す図であり、（ｂ）は、図２（ｂ）に対応し、候補色の代わりに口画像の各画素の重みＷａを計算した結果を示す画像である。
【図７】（ａ）は、候補色と肌の代表色とのＣｂＣｒ平面における色相と、重みＷｂとの関係を示す図であり、（ｂ）は、図２（ｂ）に対応し、候補色の代わりに口画像の各画素の重みＷｂを計算した結果を示す画像である。
【図８】図２（ｂ）に対応し、候補色の代わりに口画像の各画素の重みＷｃを計算した結果を示す画像である。
【図９】図２（ｂ）に対応し、候補色の代わりに口画像の各画素の画素値から唇色度合いＤ１を計算した結果を示す画像である。
【図１０】図２（ｂ）に対応し、候補色の代わりに口画像の各画素の重みＷｄを計算した結果を示す画像である。
【図１１】図２（ｂ）に対応し、候補色の代わりに口画像の各画素の画素値から候補評価値Ｄ２を計算した結果を示す画像である。
【図１２】（ａ）は、各画素の色と唇の代表色とのＣｂＣｒ平面における距離と、第１の唇色類似度Ｗｅとの関係を示す図であり、（ｂ）は、図２（ｂ）に対応し、口画像の各画素の第１の唇色類似度Ｗｅを計算した結果を示す画像である。
【図１３】（ａ）は、各画素の色と唇の代表色とのＣｂＣｒ平面における色相と、第２の唇色類似度Ｗｆとの関係を示す図であり、（ｂ）は、図２（ｂ）に対応し、口画像の各画素の第２の唇色類似度Ｗｆを計算した結果を示す画像である。
【図１４】図２（ｂ）に対応し、唇候補領域に分類された画素を示す画像である。
【図１５】（ａ）および（ｂ）は、図１４に対応し、唇候補領域を示す画像からモデル化した唇領域を特定する手順を示す画像である。
【図１６】図１５（ａ）に対応し、モデル化された唇領域を示す画像である。
【図１７】本実施形態の補正処理の流れを示すフローチャートである。
【図１８】各水平位置での補正重みＷｇを示す図である。
【図１９】図１６に対応し、補正重みＷｇを示す画像である。
【図２０】図１９に対応し、補正部分評価値Ｄ３を示す画像である。
【図２１】図２（ｂ）に対応し、抽出した画素の輝度を示す画像である。
【図２２】抽出した画素の輝度値に重みをかけた結果の、抽出した各画素の輝度値によるヒストグラムである。
【図２３】図２１に対応し、輝度成分のみを有する光沢画像を示す画像である。
【図２４】（ａ）は、抽出した各画素に対する第１トーンカーブを示す図であり、（ｂ）は、抽出した各画素に対する第２トーンカーブを示す図である。
【図２５】正規化された口画像、平滑化された口画像、および光沢画像の合成処理を示す図である。
【図２６】（ａ）は、補正前の顔画像の一部を示す画像であり、（ｂ）は、補正後の顔画像の一部を示す画像である。
【図２７】（ａ）は、図２（ａ）に対応し、正規化された口画像のＣｂ成分の値を示す画像であり、（ｂ）は、図２（ａ）に対応し、正規化された口画像のＣｒ成分の値を示す画像である。
【図２８】本発明の他の実施形態に係るデジタルカメラの概略構成を示すブロック図である。
【図２９】口内領域特定処理および補正処理の流れを示すフローチャートである。
【図３０】図１６に対応し、口内部領域および口内部領域の補正重みＷｈを示す画像である。
【図３１】図２（ｂ）に対応し、口画像の各画素の歯色類似度Ｗｉを計算した結果を示す画像である。
【図３２】図１２（ｂ）に対応し、各画素の（１−Ｗｅ）の値を示す画像である。
【図３３】図１３（ｂ）に対応し、各画素の（１−Ｗｆ）の値を示す画像である。
【図３４】図３１に対応し、歯光沢画像を示す画像である。
【発明を実施するための形態】
【００３６】
以下では、主に、デジタルカメラに搭載され、撮像された画像に含まれる顔画像に対して処理を行う画像処理装置について説明するが、本発明はこれに限定されるものではない。例えば、本発明に係る画像処理装置は、デジタルビデオカメラ、パーソナルコンピュータ（ＰＣ）のＷｅｂカメラ、またはカメラ付き携帯電話等の撮影装置に搭載され、撮影装置で撮影して得られた画像に対して処理を行ってもよい。また、本発明に係る画像処理装置は、ネットワーク等の通信経路、または外部記憶装置から取得した画像について処理を行ってもよい。また、撮像された静止画だけではなく、動画等の顔画像に処理を行ってもよい。また、デジタルカメラで撮像を行う際にデジタルカメラの表示装置に表示されるプレビュー画像に処理を施してもよい。
【００３７】
［実施形態１］
以下、本発明の実施形態について、図面を参照して詳細に説明する。
【００３８】
＜デジタルカメラの構成＞
図１は、本実施形態に係るデジタルカメラ１の概略構成を示すブロック図である。デジタルカメラ１は、指示入力装置２、撮像装置３、画像記憶装置４、表示装置５、および画像処理装置６を備える。
【００３９】
指示入力装置２は、ボタン、キーまたはタッチパネル等の入力装置を備え、利用者から撮像の指示を受け付け、撮像装置３に撮像の指示を出力する。また、指示入力装置２は、利用者から顔画像の補正処理の指示を受け付け、画像処理装置６に補正処理の指示を出力する。
【００４０】
撮像装置３は、例えば、ＣＣＤ（charge coupled device）またはＣＭＯＳ（complementary metal oxide semiconductor）撮像素子等の撮像素子を備える。撮像装置３は、撮像の指示に応じて撮像し、撮像した画像（画像データ）を画像記憶装置４に出力する。
【００４１】
画像記憶装置４は、各種の情報を記憶するものであり、例えばＨＤＤ（Hard Disk Drive）、またはフラッシュメモリ等の記憶デバイスを備える。画像記憶装置４は、撮像装置３から受け取った画像を記憶して保存しておく。
【００４２】
表示装置５は、ディスプレイを備え、入力された画像を表示して利用者に提示する。また、表示装置５は、画像処理装置６から補正処理済みの画像を受け取り、補正処理済みの画像を表示する。
【００４３】
＜画像処理装置の構成＞
画像処理装置６は、画像取得部（指示受領部）１１、顔検出部１２、特徴検出部１３、適否判定部１４、口画像正規化部１５、平滑化部１６、肌代表色特定部１７、候補色特定部１８、唇代表色特定部１９、唇領域特定部２０、画像補正部２１、合成部２２、および表示制御部２３を備える。
【００４４】
画像取得部１１は、指示入力装置２から補正処理の指示を受け取る。補正処理の指示は、処理対象となる画像を示す情報、および、どのような補正処理を行うかを示す情報を含む。補正処理の種類としては、例えば、唇にリップグロスを塗布したように画像を補正するリップグロス補正、または歯が白くなるよう画像を補正する歯ホワイトニング補正等がある。画像取得部１１は、受け取った補正処理の指示に基づき、画像記憶装置４から処理対象の画像を取得する。なお、画像取得部１１は、撮像装置３から撮像された画像を直接受け取ってもよい。画像取得部１１は、取得した処理対象の画像を顔検出部１２、特徴検出部１３、適否判定部１４、口画像正規化部１５、肌代表色特定部１７、および合成部２２に出力する。また、画像取得部１１は、受け取った補正処理の指示を画像補正部２１に出力する。
【００４５】
顔検出部１２は、画像取得部１１から受け取った画像の中に含まれる顔画像を検出する。顔検出部１２は、画像に含まれる顔画像を検出すると、顔画像の位置を特定する。顔画像の位置は、顔画像の所定の点の座標を示してもよいし、顔画像の領域を示してもよい。顔検出部１２は、顔画像の位置を、特徴検出部１３、適否判定部１４、口画像正規化部１５および肌代表色特定部１７に出力する。なお、顔検出部１２は、処理対象の画像から複数の顔画像を検出してもよい。複数の顔画像を検出した場合、顔検出部１２は、各顔画像の位置を特定し、複数の顔画像の位置を上記各部に出力してもよい。
【００４６】
特徴検出部１３は、画像取得部１１から受け取った処理対象の画像および顔検出部１２から受け取った顔画像の位置から、該顔画像の顔の各特徴の位置を検出する。具体的には、特徴検出部１３は、例えば目（目頭、目尻等）、口（口端点、口の中心点等）、および鼻（鼻の頂点等）等の顔の器官の特徴、および顔の輪郭等の特徴（特徴点）を検出し、それらの位置を特定する。特徴の位置は、特徴点の座標を示してもよいし、特徴を含む領域を示してもよい。各特徴の検出は、公知の技術を用いて行うことができる。特徴検出部１３は、検出した顔の特徴の位置を適否判定部１４、口画像正規化部１５、および肌代表色特定部１７に出力する。なお、特徴検出部１３は、複数の顔画像の特徴の位置を特定し、複数の顔画像の特徴の位置を上記各部に出力してもよい。
【００４７】
適否判定部１４は、画像取得部１１から受け取った処理対象の画像、顔検出部１２から受け取った顔画像の位置、および特徴検出部１３から受け取った顔の特徴の位置から、該顔画像が補正処理を行うのに適しているか否かを判定する。例えば、適否判定部１４は、横向きの顔画像および顔の写りが小さすぎる顔画像等を、不適として判定する。具体的な判定方法は後述する。なお、処理対象の画像に複数の顔画像が含まれている場合、適否判定部１４は、各顔画像について補正処理を行うことの適否を判定してもよいし、補正処理を行うのにより適した所定数（例えば１つ）の顔画像を特定してもよい。適否判定部１４は、処理対象として適切と判定した顔画像を示す情報を口画像正規化部１５、肌代表色特定部１７、および候補色特定部１８に出力する。
【００４８】
口画像正規化部１５は、画像取得部１１、顔検出部１２、および特徴検出部１３からそれぞれ処理対象の画像、顔画像の位置、および顔の特徴の位置を受け取る。口画像正規化部１５は、受け取った情報に基づき、適否判定部１４によって処理対象として適切と判定された顔画像について、処理対象となる顔画像の口領域の画像を抽出する。後の画像処理における計算を容易にするために、口画像正規化部１５は、処理対象の画像の口領域が所定の大きさになるように画像サイズを正規化する。具体的には、口画像正規化部１５は、口の左右の端点が所定の座標に位置するように、必要に応じて処理対象の顔画像を回転および拡大・縮小させ、所定のサイズの口領域（口を含む領域）を処理対象の顔画像から切り出す。図２（ａ）は、正規化された口領域の画像を示す画像である。なお、処理対象の顔画像を拡大・縮小する場合、必要に応じて元の画素の間の点の画素値を任意の方法で補間してもよい。口画像正規化部１５は、正規化された口領域の画像（口画像）を平滑化部１６、および画像補正部２１に出力する。
【００４９】
平滑化部１６は、口画像正規化部１５から受け取った口画像を平滑化する。具体的には、平滑化部１６は、口画像にガウシアンフィルタ等を適用し、平滑化された口画像を生成する。図２（ｂ）は、平滑化された口領域の画像を示す画像である。平滑化された口画像を用いることで、ノイズを排除して、唇等の所望の領域を正確に特定することができる。なお、正規化された口画像および平滑化された口画像はカラーの画像であるが、図２では、その輝度値（Ｙ値）による明暗を示している。平滑化部１６は、平滑化された口画像を候補色特定部１８、唇領域特定部２０、および画像補正部２１に出力する。
【００５０】
肌代表色特定部１７は、画像取得部１１、顔検出部１２、および特徴検出部１３からそれぞれ処理対象の画像、顔画像の位置、および顔の特徴の位置を受け取る。肌代表色特定部１７は、受け取った情報に基づき、適否判定部１４によって処理対象として適切と判定された顔画像について、処理対象となる顔画像の肌の代表色を特定する。顔領域の一部の色、例えば、顔領域の中心部分（鼻付近）の平均色、中央値、または最頻値の色等を肌の代表色としてもよい。また、顔領域全体の平均色等を肌の代表色としてもよい。また、顔のある領域の平均色を求め、該領域において該平均色と色相が異なる（ＣｂＣｒ平面における該平均色との角度が閾値より大きい）画素、および／または、該領域において該平均色との色の差が大きい（ＹＣｂＣｒ色空間における該平均色との距離が閾値より大きい）ピクセルを除外して、残りのピクセルから算出した平均色を、代表色としてもよい。また、肌代表色特定部１７は、肌の色の分散度合いを求める。肌代表色特定部１７は、肌の代表色を候補色特定部１８および唇代表色特定部１９に出力する。肌代表色特定部１７は、肌の色の分散度合いを唇代表色特定部１９に出力する。
【００５１】
候補色特定部１８は、唇の色の候補となる複数の候補色を特定する。候補色特定部１８は、口画像において複数の領域を設定し、各領域の代表色を特定して候補色とする。図３は、口画像における複数の領域を示す図である。図中の×印は、特徴検出部１３によって検出された口端点を示す。具体的には、候補色特定部１８は、以下の処理を行う。候補色特定部１８は、口画像の水平方向の中央における所定の領域を、縦（垂直）方向に並ぶ複数の領域に分割する。候補色特定部１８は、分割された各領域の代表色（平均色あるいは中央値または最頻値の色等）を、唇の色の複数の候補色として特定する。このようにして分割された領域の少なくとも１つは、主として唇である部分を含む領域であると考えられる。よって、複数の候補色の少なくとも１つは、唇の色の代表色として適していると考えられる。ただし、各領域の設定（分割）方法は上記に限らず、唇があると考えられる２つの口端点の間において複数の領域を設定すればよい。また、分割された複数の領域の大きさに制限はなく、各画素を複数の領域としてもよい。なお、画像のノイズ等を排除して候補色を特定するために、候補色特定部１８は、平滑化された口画像を用いて候補色を特定する。しかし、これに限らず、候補色特定部１８は、平滑化されていない口画像を用いて候補色を特定してもよい。また、候補色特定部１８は、分割された領域の色の分散度合いを、対応する候補色の分散度合いとして求める。候補色特定部１８は、複数の候補色を唇代表色特定部１９に出力する。候補色特定部１８は、候補色の分散度合いを唇代表色特定部１９に出力する。
【００５２】
唇代表色特定部１９は、肌の代表色に基づき、複数の候補色の中から唇の代表色を特定する。唇代表色特定部１９は、肌の代表色と、各候補色との色相および彩度における差に応じて、肌の代表色との差が大きい候補色を、唇の代表色として特定する。唇代表色特定部１９は、ＹＣｂＣｒ色空間またはＬ＊ａ＊ｂ＊色空間のような、輝度（または明度）と、色相および彩度とによって色を表現する色空間において処理を行う。唇代表色特定部１９は、輝度（または明度）の情報を使わず、色空間における色相および彩度を表すＣｂＣｒ平面（色相彩度平面）の情報に基づいて、各候補色について、唇の色である度合いを求め、ＣｂＣｒ平面における唇の代表色を特定する。唇の代表色を特定するための詳細な処理は後述する。唇代表色特定部１９は、特定したＣｂＣｒ平面における唇の代表色を唇領域特定部２０および画像補正部２１に出力する。
【００５３】
図４は、ＣｂＣｒ平面において、唇色の候補となる色の範囲を単純化して示す図である。唇の色は、肌の代表色とはある程度異なる色であると考えられる。そのため、ＣｂＣｒ平面において、肌の代表色から距離が近い範囲Ａの色は、唇色の候補から除外するのがよい。また、唇の色は、肌の代表色とは色相が異なると考えられる。そのため、ＣｂＣｒ平面において、肌の代表色に色相が近い範囲Ｂの色は、唇色の候補から除外するのがよい。また、被写体の口が開いていて口画像に歯が含まれている場合、複数の候補色の中には、歯の色を示す白っぽい色がある可能性がある。歯の色を唇の候補から除外するために、彩度が小さい範囲Ｃの色は、唇色の候補から除外するのがよい。唇色の候補は、範囲Ａ、範囲Ｂ、範囲Ｃの外側の範囲にあると考えられる。なお、図４では、肌の代表色から距離が近く、かつ、肌の代表色に色相が近い範囲を肌色範囲とし、彩度が小さい範囲を白範囲とし、肌色範囲でも白範囲でもない範囲を唇色候補範囲としている。
【００５４】
唇領域特定部２０は、平滑化された口画像、および唇の代表色に基づき、口画像における唇である領域を特定する。唇領域特定部２０は、ＣｂＣｒ平面における唇の代表色との色相および彩度における差に応じて、唇の代表色に類似する色の領域を唇領域と特定する。唇領域を特定するための詳細な処理は後述する。なお、画像のノイズ等を排除して唇領域を特定するために、唇領域特定部２０は、平滑化された口画像を用いて唇領域を特定する。しかし、これに限らず、唇領域特定部２０は、平滑化されていない口画像を用いてもよい。唇領域特定部２０は、特定した唇領域を示す情報、および唇候補領域を示す情報等を画像補正部２１に出力する。
【００５５】
画像補正部２１は、補正処理の指示、正規化された口画像、平滑化された口画像、および唇の代表色に基づき、口画像における見た目の補正を行い、補正された口画像を生成する。口画像の補正の方法は後述する。画像補正部２１は、補正された口画像を合成部２２に出力する。
【００５６】
合成部２２は、補正された口画像を正規化する前の元のサイズに戻し（必要に応じて補正された口画像を回転および拡大・縮小させ）、処理対象の画像に合成し、補正された画像を生成する。このようにして、処理対象の画像において唇等の見た目が補正された画像が得られる。合成部２２は、補正された画像を、表示制御部２３に出力する。なお、合成部２２は、補正された画像を、画像記憶装置４に出力して記憶させてもよい。
【００５７】
表示制御部２３は、補正された画像を表示装置５に出力し、補正された画像を表示するよう表示装置５を制御する。
【００５８】
＜画像処理フロー＞
以下に、デジタルカメラ１における画像補正処理の流れについて説明する。
【００５９】
利用者は、指示入力装置２を介して、例えば撮像されて画像記憶装置４に記憶されている画像の中から、処理対象の画像を選択する。また、利用者は、指示入力装置２を介して、処理対象の画像に施す補正処理の種類（リップグロス補正、または歯ホワイトニング補正等）を、複数の候補の中から選択する。指示入力装置２は、指定された補正処理の種類の情報を含む補正処理の指示を、画像処理装置６の画像取得部１１に出力する。
【００６０】
図５は、画像処理装置６における唇色特定処理および唇領域特定処理の流れを示すフローチャートである。
【００６１】
画像取得部１１は、指示入力装置２からの補正処理の指示を受け取ると、画像記憶装置４から処理対象となる画像を取得する（Ｓ１）。
【００６２】
顔検出部１２は、処理対象となる画像に含まれる顔画像を検出し、その顔画像の位置を特定する（Ｓ２）。顔検出部１２は、処理対象の画像に含まれる複数の顔画像を検出してもよい。
【００６３】
特徴検出部１３は、検出された顔画像に含まれる、顔の特徴の位置を検出する（Ｓ３）。特徴検出部１３は、例えば目（目頭、目尻等）、口（口端点、口の中心点等）、および鼻（鼻の頂点等）等の顔の器官の特徴（特徴点）を検出し、それらの位置を特定する。なお、特徴検出部１３は、顔の輪郭等の特徴を検出してもよい。
【００６４】
適否判定部１４は、これらの検出された顔の特徴の位置に基づき、該顔画像が補正処理を行うのに適しているか否かを判定する（Ｓ４）。例えば、適否判定部１４は、複数の顔画像サンプルから目、鼻、口等の顔の器官の各特徴の周辺の輝度分布の特徴をあらかじめ学習して作成した顔モデルを記憶しておく。適否判定部１４は、顔モデルと、検出された顔画像とを比較することにより、顔画像の検出された特徴の信頼度および顔の向きを特定する。
【００６５】
例えば検出された特徴の信頼度が、所定の閾値よりも低い場合、顔の特徴を正確に検出していない可能性が高いので、口または唇等に適切に補正処理を行うことができない可能性がある。そのため、検出された特徴の信頼度が、所定の閾値よりも低い場合、適否判定部１４は、該顔画像は補正処理を行うのに適していないと判定する。
【００６６】
また、検出された顔の向きが正面に対して大きくずれている場合（顔の向きが所定の範囲内にない場合、例えば顔の向きが正面に対して所定の角度（例えば３０°）より大きい場合）、適切に補正処理を行うことができない可能性がある。この場合、適否判定部１４は、該顔画像は補正処理を行うのに適していないと判定する。
【００６７】
また、顔画像が小さすぎる場合（例えば検出した口の両方の端点の間の距離が所定の閾値（例えば１００ピクセル）より小さい場合）、適切に補正処理を行うことができない可能性があるため、適否判定部１４は、該顔画像は補正処理を行うのに適していないと判定する。
【００６８】
補正処理を行うのに適していないと判定された場合（Ｓ４でＮｏ）、該顔画像に対する処理は終了する。
【００６９】
補正処理を行うのに適していると判定された場合（Ｓ４でＹｅｓ）、次に肌代表色特定部１７は、処理対象として適切と判定された顔画像について、処理対象となる顔画像の肌の代表色を特定する（Ｓ５）。ここでは、顔領域の中心部分（鼻付近）の平均色を肌の代表色とする。また、肌代表色特定部１７は、肌の色の分散度合い（標準偏差）を求める。具体的には、平均色を求めた領域（鼻付近）の画素の画素値の色空間のＣｂ軸における分散σｂｓ2、Ｃｒ軸における分散σｒｓ2、および色相の分散σｐｓ2を求める。
【００７０】
口画像正規化部１５は、処理対象となる顔画像の口領域の画像を抽出し、処理対象の画像の口領域が所定の大きさになるように画像サイズを正規化した口画像を生成する（Ｓ６）。具体的には、口画像正規化部１５は、口の左右の端点が所定の座標に位置するように、必要に応じて処理対象の顔画像を回転および拡大・縮小させ、所定のサイズの口領域を処理対象の顔画像から切り出す。
【００７１】
平滑化部１６は、正規化された口画像を平滑化する（Ｓ７）。
【００７２】
候補色特定部１８は、口画像の水平方向の中央における所定の領域を、縦方向に並ぶ複数の領域に分割し、分割された各領域の代表色を、唇の色の複数の候補色として特定する（Ｓ８）。ここでは、各領域について、該領域の平均色を、候補色とする。
【００７３】
なお、肌の代表色および複数の候補色は、輝度の情報を含まなくてもよい。以下の処理では、輝度（Ｙ）を用いずに、ＣｂＣｒ平面において肌の代表色および複数の候補色を用いて唇の色の代表色および唇領域の特定を行う。
【００７４】
唇代表色特定部１９は、各候補色について、唇の色である度合い（唇色度合い）を求める（Ｓ９）。口画像の唇の色は、肌の色とは異なる色であり、肌の色とは異なる色相であると考えられる。また、口画像の唇の色は、一般に白っぽく写る歯とも異なる色であると考えられる。肌の代表色とＣｂＣｒ平面における距離が大きく、肌の代表色と色相の差が大きく、彩度が大きいほど、唇色度合いが大きいとする。
【００７５】
具体的には、唇代表色特定部１９は、各候補色について、候補色と肌の代表色とのＣｂＣｒ平面における距離に応じて大きくなる第１の非肌色度合い（肌の色ではない度合い）を、唇色度合いの重みとして求める。唇代表色特定部１９は、各候補色について、候補色と肌の代表色との色相の差に応じて大きくなる第２の非肌色度合いを、唇色度合いの重みとして求める。唇代表色特定部１９は、各候補色について、候補色の彩度に応じて大きくなる非歯色度合い（歯の色ではない度合い）を、唇色度合いの重みとして求める。
【００７６】
ＣｂＣｒ平面における距離に応じた唇色度合いの重みＷａ（第１の非肌色度合い）は、次式で求めることができる。
【００７７】
【数１】
【００７８】
ここで、Ｃｂｓ、Ｃｒｓは、それぞれ肌の代表色（平均色）のＣｂ成分およびＣｒ成分であり、Ｃｂ、Ｃｒは、それぞれ候補色のＣｂ成分およびＣｒ成分である。また、σｂｓ、σｒｓは、それぞれ色空間のＣｂ軸における肌の色の標準偏差、Ｃｒ軸における肌の色の標準偏差である。図６（ａ）は、候補色と肌の代表色とのＣｂＣｒ平面における距離と、重みＷａとの関係を示す図である。式（１）によれば、候補色と肌の代表色とのＣｂＣｒ平面における距離が小さければ、重みＷａは０に近く、候補色と肌の代表色とのＣｂＣｒ平面における距離が大きくなればなるほど、重みＷａは大きくなり、１に近づく。図６（ｂ）は、図２（ｂ）に対応し、候補色の代わりに口画像の各画素の画素値を式（１）に当てはめて重みＷａを計算した結果を示す画像である。明るい箇所は重みＷａが大きく、暗い箇所は重みＷａが小さいことを示す。これによれば、唇の領域は重みＷａが大きいことが分かる。しかしながら、歯の領域も重みＷａが大きくなっている。
【００７９】
色相の差に応じた唇色度合いの重みＷｂ（第２の非肌色度合い）は、次式で求めることができる。
【００８０】
【数２】
【００８１】
ここで、Ｐｓは、肌の代表色（平均色）の色相であり、ＣｂＣｒ平面における位相の角度で示される。また、Ｐは、候補色の色相である。また、σｐｓは、肌の色の色相の標準偏差である。また、αは、候補色の色相と肌の代表色の色相とが同じであっても重みＷｂが０にならないようにするための、所定の定数である。図７（ａ）は、候補色と肌の代表色とのＣｂＣｒ平面における色相と、重みＷｂとの関係を示す図である。式（２）によれば、候補色と肌の代表色との色相の差が小さければ、重みＷｂはαに近く、候補色と肌の代表色との色相の差が大きくなればなるほど、重みＷｂは大きくなり、１＋αに近づく。図７（ｂ）は、図２（ｂ）に対応し、候補色の代わりに口画像の各画素の画素値を式（２）に当てはめて重みＷｂを計算した結果を示す画像である。明るい箇所は重みＷｂが大きく、暗い箇所は重みＷｂが小さいことを示す。これによれば、唇の領域は重みＷｂが大きいことが分かる。しかしながら、歯の一部の領域も重みＷｂが大きくなっている。
【００８２】
彩度に応じた唇色度合いの重みＷｃ（非歯色度合い）は、次式で求めることができる。
【００８３】
【数３】
【００８４】
ここで、Ｃｂ、Ｃｒは、それぞれ候補色のＣｂ成分およびＣｒ成分である。また、ｃは、所定の定数である。式（３）におけるexpの分子は、彩度を表す。式（３）によれば、候補色の彩度が小さければ、重みＷｃは０に近く、候補色の彩度が大きくなればなるほど、重みＷｃは大きくなり、１に近づく。図８は、図２（ｂ）に対応し、候補色の代わりに口画像の各画素の画素値を式（３）に当てはめて重みＷｃを計算した結果を示す画像である。明るい箇所は重みＷｃが大きく、暗い箇所は重みＷｃが小さいことを示す。これによれば、唇の領域は重みＷｃが大きいことが分かる。一方、白っぽい色である歯の一部の領域は重みＷｃが小さいことが分かる。また、写真に暗く写りやすい口の中の一部も、重みＷｃが小さくなっている。
【００８５】
照明等により１つの画像の中の肌に濃淡ができた場合、一般に、同じ人物の肌でも、肌の平均色からの肌の各点の色までの色空間またはＣｂＣｒ平面における距離は大きくなることがある。すなわち、肌の色の色空間またはＣｂＣｒ平面における分散は大きくなることがある。一方で、色相は照明等の条件によってあまり変化しない。よって、一部の肌と唇とについて、ＣｂＣｒ平面における距離に応じた重みＷａの値が同程度になる場合でも、色相の差に応じた重みＷｂによって肌の色と唇の色とを判別することができる。
【００８６】
また、口紅等により１つの画像の中の唇の色と肌の色とが同色相である場合、肌と唇とについて、色相の差に応じた重みＷｂの値は同程度になることがある。そのような場合は、ＣｂＣｒ平面における距離に応じた重みＷａによって肌の色と唇の色とを判別することができる。
【００８７】
また、歯の領域から得られた候補色は、ＣｂＣｒ平面における距離に応じた重みＷａおよび色相の差に応じた重みＷｂが共に大きくなり得る。歯の色は一般に白っぽく彩度が小さいのに対して、唇の色は彩度が大きいと考えられるので、彩度に応じた重みＷｃによって、歯の色と唇の色とを判別することができる。また、口の中において影として暗く写った箇所等も彩度が低くなるので、彩度に応じた重みＷｃによって、唇の色と区別することができる。
【００８８】
唇代表色特定部１９は、各候補色について、第１の非肌色度合いＷａと第２の非肌色度合いＷｂと非歯色度合いＷｃとの積を、唇色度合いＤ１として求める。
【００８９】
【数４】
【００９０】
図９は、図２（ｂ）に対応し、候補色の代わりに口画像の各画素の画素値から唇色度合いＤ１を計算した結果を示す画像である。明るい箇所は唇色度合いＤ１が大きく、暗い箇所は唇色度合いＤ１が小さいことを示す。この唇色度合いＤ１が大きい候補色が、唇の色である可能性が高いと考えられる。図９に示す例では、唇領域から得られた候補色が最も唇色度合いＤ１が大きい。唇代表色特定部１９は、唇色度合いＤ１が最も大きい候補色を、唇色の第１の候補（第１の選択候補色）として選択する。一方で、画像の歯に色がついていたりして歯の領域の色の彩度が小さくない場合、または、ＣｂＣｒ平面における唇の色と肌の色との差が小さい場合、第１の選択候補色として歯の色を選択してしまう可能性がある。
【００９１】
そこで、本実施形態では、残った候補色から第１の選択候補色とは色相・彩度による差が大きい第２の候補（第２の選択候補色）を選択し、第１の選択候補色と第２の選択候補色とのいずれかを唇の色として特定する。
【００９２】
唇代表色特定部１９は、第１の選択候補色を除いた他の各候補色について、候補色と第１の選択候補色とのＣｂＣｒ平面における距離に応じて大きくなる重みＷｄ（第１の選択候補色ではない度合い）を求める（Ｓ１０）。第１の選択候補色との距離に応じた重みＷｄは、次式で求めることができる。
【００９３】
【数５】
【００９４】
ここで、Ｃｂｄ、Ｃｒｄは、それぞれ第１の選択候補色のＣｂ成分およびＣｒ成分であり、Ｃｂ、Ｃｒは、それぞれ候補色のＣｂ成分およびＣｒ成分である。また、σｂｄ、σｒｄは、それぞれ色空間のＣｂ軸における第１の選択候補色の標準偏差（第１の選択候補色の領域の各画素のＣｂ成分の標準偏差）、Ｃｒ軸における第１の選択候補色の標準偏差（第１の選択候補色の領域の各画素のＣｒ成分の標準偏差）である。第１の選択候補色の標準偏差は、選択候補色に対応する領域（候補色特定部１８が分割した領域）の各画素の画素値から求めることができる。式（５）によれば、第１の選択候補色と他の候補色とのＣｂＣｒ平面における距離が小さければ、重みＷｄは０に近く、第１の選択候補色と他の候補色とのＣｂＣｒ平面における距離が大きくなればなるほど、重みＷｄは大きくなり、１に近づく。図１０は、図２（ｂ）に対応し、候補色の代わりに口画像の各画素の画素値を式（５）に当てはめて重みＷｄを計算した結果を示す画像である。明るい箇所は重みＷｄが大きく、暗い箇所は重みＷｄが小さいことを示す。ただし、図１０に示す例では、第１の選択候補色として唇領域から得られた候補色が選択されている。そのため、唇領域の画素の重みＷｄは、小さくなっている。
【００９５】
唇代表色特定部１９は、各候補色について、唇色度合いＤ１と重みＷｄとの積を、候補評価値Ｄ２として求める。
【００９６】
【数６】
【００９７】
図１１は、図２（ｂ）に対応し、候補色の代わりに口画像の各画素の画素値から候補評価値Ｄ２を計算した結果を示す画像である。明るい箇所は候補評価値Ｄ２が大きく、暗い箇所は候補評価値Ｄ２が小さいことを示す。唇代表色特定部１９は、候補評価値Ｄ２が最も大きい候補色を、唇色の第２の候補（第２の選択候補色）として選択する。これによれば、もし、第１の選択候補色として歯の色が選ばれていた場合、第２の選択候補色として唇の領域から得られた候補色が選択されると考えられる。重みＷｄのために、第１の選択候補色と第２の選択候補色とは、異なる領域（異なる顔の部位）から得られた候補色になる可能性が高い。複数の候補色の中から、異なる色である２つの候補色を選択候補色として選択することで、いずれかの選択候補色に唇の色として適切な候補色が含まれるようにする。
【００９８】
唇代表色特定部１９は、第１および第２の選択候補色から、より唇の色らしい選択候補色を、唇の代表色として特定する（Ｓ１１）。Ｓ１０までの処理により、第１および第２の選択候補色としては、唇の領域から得られた候補色と、歯の領域から得られた候補色が選択されている可能性が高い。そこで、唇代表色特定部１９は、第１および第２の選択候補色のうち、彩度のより大きい方を、唇の代表色として特定する。なお、唇代表色特定部１９は、唇の代表色の輝度Ｙを特定してもよいし、輝度Ｙを特定しなくてもよい。少なくとも唇の代表色の色相および彩度（またはＣｂ成分およびＣｒ成分）を特定すればよい。
【００９９】
なお、唇の代表色を、以下のようにして決めてもよい。唇代表色特定部１９は、唇色度合いＤ１に応じて１つの第１の選択候補色を選択し、それを唇の色として特定してもよい。また、唇代表色特定部１９は、唇色度合いＤ１に応じて複数の第１の選択候補色を選択して、それらの中から彩度の大きいものを唇の代表色として特定してもよい。また、唇代表色特定部１９は、唇色度合いＤ１に応じて第１の選択候補色を選択し、候補評価値Ｄ２に応じて複数の第２の選択候補色を選択し、第１の選択候補色および複数の第２の選択候補色の中から、彩度の最も大きいものを唇の代表色として特定してもよい。または、唇代表色特定部１９は、第１および第２の各選択候補色の中から、その色相が最も所定の色相に近いものを唇の代表色として特定してもよい。唇は赤いという前提が成り立つ場合が多いため、例えば、所定の色相は、典型的な唇の色である赤に近い色相とすればよい。
【０１００】
唇領域特定部２０は、口画像の各画素について、唇の代表色との類似度合いを求める（Ｓ１２）。唇の代表色と類似している色の領域は、唇の領域であると考えられる。唇領域特定部２０は、唇の代表色と、各画素の色との色相および彩度における差に応じて、唇の代表色と類似している領域を特定する。具体的には、唇領域特定部２０は、各画素について、各画素の色と唇の代表色とのＣｂＣｒ平面における距離に応じた第１の唇色類似度Ｗｅ、および、各画素の色と唇の代表色との色相の差に応じた第２の唇色類似度Ｗｆを求める。
【０１０１】
ＣｂＣｒ平面における距離に応じた第１の唇色類似度Ｗｅは、次式で求めることができる。
【０１０２】
【数７】
【０１０３】
ここで、Ｃｂｌ、Ｃｒｌは、それぞれ唇の代表色のＣｂ成分およびＣｒ成分であり、Ｃｂ、Ｃｒは、それぞれ各画素の色のＣｂ成分およびＣｒ成分である。また、σｂｌ、σｒｌは、それぞれ色空間のＣｂ軸における唇の色の標準偏差、Ｃｒ軸における唇の色の標準偏差である。唇の色の標準偏差は、唇の代表色（最終的に唇の代表色として特定された候補色）に対応する領域（候補色特定部１８が分割した領域）の各画素の色から求めることができる。図１２（ａ）は、各画素の色と唇の代表色とのＣｂＣｒ平面における距離と、第１の唇色類似度Ｗｅとの関係を示す図である。式（７）によれば、各画素の色と唇の代表色とのＣｂＣｒ平面における距離が小さければ、第１の唇色類似度Ｗｅは１に近く、各画素の色と唇の代表色とのＣｂＣｒ平面における距離が大きくなればなるほど、第１の唇色類似度Ｗｅは小さくなり、０に近づく。図１２（ｂ）は、図２（ｂ）に対応し、口画像の各画素の色を式（７）に当てはめて第１の唇色類似度Ｗｅを計算した結果を示す画像である。明るい箇所は第１の唇色類似度Ｗｅが大きく、暗い箇所は第１の唇色類似度Ｗｅが小さいことを示す。これによれば、唇の領域は第１の唇色類似度Ｗｅが大きいことが分かる。ただし、唇の領域の一部は、照明等によって光って写っており彩度が小さいので、第１の唇色類似度Ｗｅは小さくなっている。また、唇に影等がある場合も、第１の唇色類似度Ｗｅは小さくなる可能性がある。
【０１０４】
色相の差に応じた第２の唇色類似度Ｗｆは、次式で求めることができる。
【０１０５】
【数８】
【０１０６】
ここで、Ｐｌは、唇の代表色の色相であり、ＣｂＣｒ平面における位相の角度で示される。また、Ｐは、各画素の色の色相である。また、σｐｌは、唇の色の色相の標準偏差である。図１３（ａ）は、各画素の色と唇の代表色とのＣｂＣｒ平面における色相と、第２の唇色類似度Ｗｆとの関係を示す図である。式（８）によれば、各画素の色と唇の代表色との色相の差が小さければ、第２の唇色類似度Ｗｆは１に近く、各画素の色と唇の代表色との色相の差が大きくなればなるほど、第２の唇色類似度Ｗｆは小さくなり、０に近づく。図１３（ｂ）は、図２（ｂ）に対応し、口画像の各画素の色を式（８）に当てはめて第２の唇色類似度Ｗｆを計算した結果を示す画像である。明るい箇所は第２の唇色類似度Ｗｆが大きく、暗い箇所は第２の唇色類似度Ｗｆが小さいことを示す。これによれば、唇の領域は第２の唇色類似度Ｗｆが大きいことが分かる。
【０１０７】
色相の差に応じた第２の唇色類似度Ｗｆの方が、第１の唇色類似度Ｗｅに比べて照明等の影響を受けにくく、安定して精度よい結果を得ることができる。一方で、唇は、口紅またはリップグロス等が塗布されるので、様々な色であり得る。肌の色と同色相の口紅が唇に塗布されている場合、色相の差に応じた第２の唇色類似度Ｗｆで正確に唇の領域を特定するのは困難である。よって、唇の色の色相が肌の色の色相と類似している場合、第１の唇色類似度Ｗｅが、唇の領域を判定するためのよりよい指標になり得る。
【０１０８】
唇領域特定部２０は、第１の唇色類似度Ｗｅおよび第２の唇色類似度Ｗｆに基づいて、口画像から唇の候補となる領域（唇候補領域、第１の唇領域）を特定する（Ｓ１３）。唇候補領域は、唇の代表色に類似した色を有する領域と言える。本実施の形態では、唇領域特定部２０は、第１の唇色類似度Ｗｅおよび第２の唇色類似度Ｗｆの少なくともいずれか一方の値が大きい画素を、唇候補領域と判別する。具体的には、唇領域特定部２０は、各画素について、第１の唇色類似度Ｗｅを所定の閾値と比較し、第１の唇色類似度Ｗｅが該閾値より大きい画素を唇候補領域に分類する。また、唇領域特定部２０は、各画素について、第２の唇色類似度Ｗｆを別の閾値と比較し、第２の唇色類似度Ｗｆが該閾値より大きい画素を唇候補領域に分類する。図１４は、図２（ｂ）に対応し、唇候補領域に分類された画素を示す画像である。明るい箇所が唇候補領域を示す。図１４に示す画像は、図１２（ｂ）に示す画像および図１３（ｂ）に示す画像をそれぞれ閾値に基づいて２値化し、和をとったものに対応する。
【０１０９】
なお、唇領域特定部２０は、第１の唇色類似度Ｗｅおよび第２の唇色類似度Ｗｆのいずれか一方のみを使用して唇候補領域を特定してもよい。また、唇領域特定部２０は、第１の唇色類似度Ｗｅが閾値より大きく、かつ、第２の唇色類似度Ｗｆが別の閾値より大きい画素を唇候補領域として特定してもよい。この場合、唇候補領域を示す画像は、図１２（ｂ）に示す画像および図１３（ｂ）に示す画像をそれぞれ２値化し、積をとったものに対応する。また、唇領域特定部２０は、各画素について、２値化する前に第１の唇色類似度Ｗｅおよび第２の唇色類似度Ｗｆの和または積をとり、その結果によって唇候補領域を特定してもよい。また、唇領域特定部２０は、１−（１−Ｗｅ）×（１−Ｗｆ）が所定の閾値より大きい画素を唇候補領域として特定してもよい。唇領域特定部２０は、唇候補領域の分布から、明らかに唇ではないと判断できる箇所を、唇候補領域から除外してもよい。
【０１１０】
唇領域特定部２０は、口画像の唇候補領域から、モデル化した唇領域（第２の唇領域）を特定する（Ｓ１４）。モデル化した唇領域を特定する方法は様々で、口画像の唇候補領域の境界をモデルとなる関数（高次関数等）で近似してもよいし、唇候補領域の空間分布にあらかじめ用意した唇形状モデルをフィッティングさせて特定してもよいし、あらかじめ用意した唇形状モデルを基に、セグメンテーション技術により唇領域を特定してもよい。唇形状モデルは、唇らしい唇の形状を関数または範囲等により規定するものであり、唇の範囲を示す所定の手順で定義されてもよい。
【０１１１】
本実施形態で行うモデル化した唇領域を特定する具体的な処理について、以下に説明する。図１５（ａ）、および図１５（ｂ）は、図１４に対応し、唇候補領域を示す画像からモデル化した唇領域を特定する手順を示す画像である。水平方向にｘ軸、縦（垂直）方向にｙ軸をとる。まず、上唇について、モデル化した唇領域を特定する。既知である左右の口端点の位置から、口の水平方向における中央のｘ座標（ｘ０）を特定する。また、水平方向中央（ｘ座標＝ｘ０）において、連続して縦方向に分布する上唇の唇候補領域の上端および下端の位置から、上唇領域の縦方向の中心位置（ｙ座標ｙ０）を推定する。
【０１１２】
座標（ｘ０，ｙ０）を中心位置として、所定のサイズの矩形を、探索ブロックとして設定する（図１５（ａ））。なお、探索ブロックは、上唇の候補領域の上端および下端を含む程度に、縦方向のサイズが大きいことが好ましい。初期位置の探索ブロックにおいて、探索ブロックに含まれる唇候補領域の画素の重心位置を求め、該重心位置のｙ座標を、ｘ座標＝ｘ０における上唇の唇領域の縦方向の中心位置（ｙ座標＝ｙ１）とする。
【０１１３】
次に、探索ブロックをΔｘだけ口端点側に移動させ、座標（ｘ１，ｙ１）を中心位置として探索ブロックを設定する（図１５（ｂ））。ｘ１＝ｘ０＋Δｘである。移動させた探索ブロックに含まれる唇候補領域の画素の重心位置を求め、該重心位置のｙ座標を、ｘ座標＝ｘ１における上唇の唇領域の縦方向の中心位置（ｙ座標＝ｙ２）とする。
【０１１４】
このように探索ブロックを口端点の付近まで順次ずらして重心の計算を行うことで、上唇の唇領域の縦方向の中心位置を示す複数の点の座標（（ｘ０，ｙ１）、（ｘ１，ｙ２）、…）が得られる。探索ブロックが所定の位置（例えば口端点）に達するまで処理を続けてもよいし、唇候補領域が途切れる位置まで処理を続けてもよい。例えば、上唇の唇領域の縦方向の中心位置を示す複数の点を結ぶ曲線（二次曲線またはより高次の曲線等）を求めることで、上唇の唇領域の縦方向の中心位置を示す曲線を得ることができる。なお、下唇の唇領域の縦方向の中心位置を示す複数の点も、同様にして得ることができる。
【０１１５】
唇領域特定部２０は、唇領域の縦方向の中心位置を示す各点を中心とした、縦方向の所定の幅の範囲を、モデル化された唇領域として特定する。本実施形態では、唇領域の縦方向の中心位置を示す各点を中心とした、縦方向の所定の幅の範囲が、唇らしい形状を表す唇形状モデルであると言える。図１６は、図１５（ａ）に対応し、モデル化された唇領域を示す画像である。明るい箇所は唇領域を示す。唇候補領域からモデル化した唇形状の領域を唇領域として特定することで、ノイズ等を排除して唇らしい唇領域を特定することができる。なお、図１６に示す例では、後の唇の補正処理において口端付近の肌にまで補正処理を行わないよう、敢えて口端付近は唇領域から除いている。
【０１１６】
なお、口の水平方向中央付近において、連続して縦方向に分布する唇候補領域の上端から下端の距離を、モデル化された唇領域の縦方向の幅としてもよい。また、唇領域特定部２０は、唇領域の縦方向の中心位置を示す各点を結ぶ曲線を求め、その曲線の縦方向の所定の幅の領域を、モデル化された唇領域として特定してもよい。また、唇領域特定部２０は、口端点側に向かうほど唇領域の縦の幅が小さくなるよう、唇領域の縦方向の中心位置を示す各点に基づいて、唇領域を特定してもよい。その方が、特定した唇領域がより自然なモデルの唇形状となる。
【０１１７】
このようにして唇領域特定部２０は、唇領域を特定する。なお、唇領域特定部２０は、唇候補領域の画素を、唇領域として特定してもよい。また、唇領域特定部２０は、唇候補領域であり、かつ、モデル化された唇領域である領域（図１４の画像の領域と図１６の画像の領域の積をとった領域）のみを唇領域として特定してもよい。以上で、唇色特定処理および唇領域特定処理が完了する。
【０１１８】
次に、特定した唇領域に対して、リップグロス補正を行う。リップグロスを塗布したように見せるために、唇の光沢を強くする。そのために、唇の一部の領域の輝度を大きくし、唇領域の色変化を全体的に滑らかにする。具体的には、唇領域の一部の画素に輝度を加算するための光沢画像を用意し、唇領域を平滑化した口画像に光沢画像を重ねる（合成する）ことで、唇領域を滑らかにし、唇の一部の光沢を強くする。
【０１１９】
図１７は、画像処理装置６における補正処理の流れを示すフローチャートである。
【０１２０】
画像補正部２１は、図１６に示す唇領域の各画素位置に対して、唇の画像補正を行うための重み（補正重みＷｇ）を求める（Ｓ２１）。例えば、唇領域の中心付近では光沢増強の補正をより強くかけ、唇領域の周辺部付近では、光沢増強の補正をより弱くかけることで、自然な見た目の画像補正を行う。
【０１２１】
具体的には、画像補正部２１は、上下の各唇について、唇領域の水平方向の中心位置ほど重みが大きく、唇領域の水平方向の外側（口端点側）ほど重みが小さくなるように補正重みＷｇを設定する。また、画像補正部２１は、上下の各唇について、唇領域の縦方向の中心位置ほど重みが大きく、唇領域の縦方向の端部ほど重みが小さくなるように補正重みＷｇを設定する。例えば、唇領域の水平方向の中心位置、かつ、縦方向の中心位置では、補正重みが１になり、唇領域の水平方向の中心位置、かつ、縦方向の唇領域の端部では、補正重みが０になるようにする。また、唇領域の水平方向の外側の端、かつ、縦方向の中心位置では、補正重みが０．５になり、唇領域の水平方向の外側の端、かつ、縦方向の唇領域の端部では、補正重みが０になるようにする。その間における補正重みは、例えば線形に変化させてもよい。図１８は、各水平位置での補正重みＷｇを示す図である。縦軸は唇領域の縦方向における位置、横軸は各位置の補正重みＷｇを示す。また、左側のグラフは唇領域の水平方向の中心の位置に対応するものであり、右側のグラフは唇領域の水平方向の外側の位置に対応するものである。各水平位置において、唇領域の幅の中心では補正重みＷｇが大きい。また、水平方向の中心では、補正重みＷｇが大きい。図１９は、図１６に対応し、補正重みＷｇを示す画像である。明るい箇所は補正重みＷｇが大きいことを示す。図１６に示す唇領域に対して、図１９に示す補正重みＷｇは、より唇らしく見える領域の補正重みが大きくなっていることが分かる。なお、この処理を唇領域特定部２０が行い、唇領域特定部２０が、図１９に示す画像を２値化したものを唇領域として特定してもよい。
【０１２２】
画像補正部２１は、補正重みＷｇ、唇候補領域、第１の唇色類似度Ｗｅ、および第２の唇色類似度Ｗｆに基づいて、唇領域の中で光沢（輝度）の補正を行う光沢補正領域を特定する（Ｓ２２）。具体的には、画像補正部２１は、各画素について、補正重みＷｇ（図１９）、唇候補領域（図１６）、第１の唇色類似度Ｗｅ（図１２（ｂ））、および第２の唇色類似度Ｗｆ（図１３（ｂ））の積を補正部分評価値Ｄ３として求める。図２０は、図１９に対応し、補正部分評価値Ｄ３を示す画像である。明るい箇所は補正部分評価値Ｄ３の値が大きいことを示す。画像補正部２１は、補正部分評価値Ｄ３の値が所定の閾値より大きい領域（画素）を、光沢補正の対象である光沢補正領域として特定する。
【０１２３】
自然な見た目の光沢補正を行うために、光沢補正領域の中でも、最も明るい一部の箇所（領域）について、より輝度が大きくなるように補正を行う。ここでは、光沢補正領域の中で最大輝度を有する画素の周辺の画素について、輝度を増大させる。そのために、以下の処理では、唇領域の一部の画素の輝度を加算するための光沢画像を用意する。
【０１２４】
画像補正部２１は、平滑化された口画像に対して、光沢補正領域に含まれる画素のみを抽出する（Ｓ２３）。図２１は、図２（ｂ）に対応し、抽出した画素の輝度を示す画像である。明るい箇所は抽出した画素の輝度が大きく、暗い箇所は抽出した画素の輝度が小さいことを示す。なお、抽出されていない画素の位置は、暗く示されている。画像補正部２１は、抽出した画素の中で最大の輝度を有する画素を中心として、同心円状の重みを各画素の輝度値に乗じる。同心円状の重みは、中心が１で、中心から離れるほど小さくなる。図２１では、最大輝度を有する画素は、図に示す円の中心に位置する。
【０１２５】
図２２は、抽出した画素の輝度値に重みをかけた結果の、抽出した各画素の輝度値によるヒストグラムである。
【０１２６】
画像補正部２１は、抽出した画素について、重みを乗じた各画素の輝度の値が大きい上位の所定の割合の画素について、輝度が大きい光沢画像を生成する（Ｓ２４）。図２３は、図２１に対応し、輝度成分のみを有する光沢画像を示す画像である。図２１に示す画像において最大輝度を有する画素を中心として、対応する光沢画像の画素は大きい輝度を有する。例えば、画像補正部２１は、抽出した画素の輝度値に重みを乗じた輝度値が上位４％に含まれる画素について、輝度が大きくなるような、光沢画像を生成する。すなわち、図２２に示すヒストグラムの上位４％に含まれる画素の輝度値が補正後に大きくなるよう、図２１に示す画像に対してトーンカーブを調整して、光沢画像を生成する。
【０１２７】
図２４（ａ）は、抽出した各画素（図２１）に対する第１トーンカーブを示す図であり、図２４（ｂ）は、抽出した各画素に対する第２トーンカーブを示す図である。図２４（ａ）、図２４（ｂ）における横軸は入力輝度を、縦軸はトーンカーブによる出力輝度を示し、参考までに図２２のヒストグラムを重ねて表示している。なお、輝度値は０〜２５５の値をとるものとする。第１トーンカーブでは、抽出した各画素の輝度値に対して、その中で最高の輝度値を有する画素の輝度が１２８になるように、かつ、輝度値の上位４％を除いた全ての画素の輝度が０になるように、出力輝度を補正する。そして、第１トーンカーブでは、輝度値の上位４％の画素については、その輝度値に応じて輝度が０から１２８に線形に変化するよう出力輝度を補正する。第２トーンカーブでは、抽出した各画素の輝度値に対して、最大入力輝度２５５が最大出力輝度１２７になるように出力輝度を線形に変化させる。図２１に示す画像（抽出した各画素）の輝度値を第１トーンカーブで調整した画像と、図２１に示す画像（抽出した各画素）の輝度値を第２トーンカーブで調整した画像とを加算した画像（最大輝度は２５５）に、所定の補正度合い（例えば０．１）を乗じた画像を、光沢画像（図２３）として生成する。所定の補正度合いのために、光沢画像の最大輝度は、例えば２５程度になる。光沢画像の輝度値は、口画像に対する輝度の補正値となる。
【０１２８】
画像補正部２１は、各画素の輝度値について、図２（ａ）に示す正規化された口画像、図２（ｂ）に示す平滑化された口画像、および図２３に示す光沢画像を合成し、補正された口画像を生成する（Ｓ２５）。具体的には、画像補正部２１は、各画素について、平滑化された口画像（図２（ｂ））の輝度値に図１９に示す補正重みＷｇを乗じたものと、正規化された口画像（図２（ａ））の輝度値に重み（１−Ｗｇ）を乗じたものと、光沢画像（図２３）の輝度値との和を、補正された口画像の輝度値とする。図２５は、正規化された口画像、平滑化された口画像、および光沢画像の合成処理を示す図である。補正された口画像の各画素の輝度値Ｙｃは、次式で求められる。
【０１２９】
【数９】
【０１３０】
ここで、Ｙｆは平滑化された口画像の画素の画素値を示し、Ｙｎは正規化された口画像の画素の画素値を示し、Ｙｇは光沢画像の画素の画素値を示す。なお、補正重みＷｇは、０から１の値をとる。また、加算の結果の輝度値Ｙｃが最大輝度２５５を越えるときは、その画素の輝度値を２５５にする。唇領域について平滑化された口画像を合成することで、唇領域の輝度変化を滑らかにし、唇領域に光沢画像を合成することで、唇領域の光沢を増強させることができる。なお、ここでは画像補正部２１は、色相および彩度については、補正しない。
【０１３１】
次に、合成部２２は、補正された口画像を正規化する前の元のサイズに戻し（必要に応じて補正された口画像を回転および拡大・縮小させ）、処理対象の画像（顔画像）に合成し、補正された画像を生成する（Ｓ２６）。このようにして、処理対象の画像における唇等の見た目が補正された画像が得られる。
【０１３２】
図２６（ａ）は、補正前の顔画像の一部を示す画像であり、図２６（ｂ）は、補正後の顔画像の一部を示す画像である。上下の唇全体の見た目が滑らかになり、下唇の一部の光沢が増強されていることが分かる。なお、図２６（ｂ）では、実施形態２で説明する歯ホワイトニング処理の補正も適用されている。
【０１３３】
表示制御部２３は、補正処理後の画像を表示装置５に表示させ、補正処理を終了する。
【０１３４】
＜本実施形態の長所＞
本実施形態の画像処理装置６によれば、唇と肌とを含む口画像の輝度を除いた色相および彩度の情報に基づいて、様々な色であり得る唇の代表色を特定し、特定した唇の代表色に基づいて唇領域を正確に特定することができる。そして、特定した唇領域に補正処理を行うことで、画像の中の人物の唇に、適切な補正処理を施すことができる。
【０１３５】
従来の画像処理では、輝度の情報を用いて唇の領域を検出するのが当然と考えられていた。それは、輝度に基づいて唇の領域を検出する利点があることに起因する。この理由としては、以下を挙げることができる。
【０１３６】
第１に、輝度に基づく方法は、グレースケール画像にも適用できることが挙げられる。
【０１３７】
第２に、一般に、口画像のＹ成分は、Ｃｂ成分およびＣｒ成分に比べ、エッジが明瞭であり、Ｙ成分を用いると唇等のエッジが検出しやすいことが挙げられる。図２７（ａ）は、図２（ａ）に対応し、正規化された口画像のＣｂ成分の値を示す画像であり、図２７（ｂ）は、図２（ａ）に対応し、正規化された口画像のＣｒ成分の値を示す画像である。明るい箇所は各成分の値が大きいことを示す。ＣｂＣｒ成分を示す図２７（ａ）および図２７（ｂ）と、輝度Ｙを示す図２（ａ）とを比較すると、輝度Ｙを示す画像の方が、より唇のエッジを鮮明に見分けることができる。
【０１３８】
このように、従来において、照明条件等がよい場合は、輝度に基づいて唇の領域および唇の色を特定することができた。一方で、照明条件等が悪い場合（部分的に影ができる場合、または照明が強すぎる場合等）は、従来のように輝度に基づいて唇の領域および唇の色を特定すると、誤検出が多くなり、正確に唇の領域および唇の色を特定することができないことがある。
【０１３９】
また、唇の色（色相等）が既知である場合に、色相または彩度によって唇の領域を特定することは、従来から行われていた。また、一般的な方法で、顔の広い範囲に分布する肌の色を検出する場合と異なり、唇という顔の中の狭い領域の色を同様の方法で検出するのは困難である場合が多い。
【０１４０】
これに対して、本実施形態の画像処理装置６によれば、唇の色が既知ではなく、かつ、唇の領域も既知ではない場合に、唇の代表色を特定し、唇の領域を特定することができる。画像処理装置６は、色相と彩度における差に応じて、肌の色および歯の色とは異なる（差が大きい）候補色を唇の代表色として特定する。そのため、影、照明または化粧等により、画像における肌と唇とが同色相である場合においても、また、画像における肌の色が場所によって大きく異なっている場合においても、肌および歯と唇とを正確に区別し、唇の代表色を特定することができる。また、肌の色の分散等を考慮して各候補色が唇の色である度合いを求めるので、より適切な唇色度合いを求めることができる。ここで、色相および彩度における差とは、２つの色の色相彩度平面（ＣｂＣｒ平面）における違いを指し、色相の違い、彩度の違い、および、色相彩度平面における距離等が含まれる。
【０１４１】
また、画像処理装置６は、肌の色との色相および彩度による差に応じて複数の候補色を選択し、その中からより唇の色らしい（例えば彩度が大きい）候補色を唇の代表色として選択する。そのため、より正確に唇の代表色を特定することができる。
【０１４２】
また、画像処理装置６は、唇の代表色と各画素との色相と彩度における差に応じて、唇の代表色に類似する領域を唇領域として特定する。比較的明るい照明環境の元で撮影された画像の場合、唇の一部が白っぽくなることがある。唇の白っぽくなった艶領域は彩度が小さく、一方で唇の他の領域は彩度が大きいので、艶領域とそれ以外の唇領域の色のＣｂＣｒ平面における距離は大きくなる。しかしながら、艶領域も色相は変化しないため、色相を考慮することで艶領域も正確に唇領域と判定することができる。一方で、肌と唇とが同色相であった場合でも、唇の代表色と各画素とのＣｂＣｒ平面における距離を考慮することで、正確に唇領域を特定することができる。
【０１４３】
また、画像処理装置６は、唇の代表色に類似する画素（唇候補領域の画素）の空間分布に基づき、所定の唇形状のモデル等を適用し、唇らしい形状を構成する画素および／または唇らしい位置にある画素を、モデル化された唇領域として特定する。唇以外で唇の代表色に類似した領域がある場合、唇候補領域の中から唇の領域のみを判別する必要がある。そこで、唇形状のモデルを唇候補領域に適合させる（フィットさせる）ことにより、唇候補領域から唇らしい位置にある画素のみを唇領域として特定することができる。また、照明条件等により、唇の一部が唇の代表色に類似していない場合でも、唇形状のモデルを唇候補領域に適合させた場合に唇形状のモデルに含まれる画素を、唇領域として特定することができる。よって、撮影時に白く輝いたりして色相・彩度の情報が失われた唇の領域も、正確に唇領域として特定することができる。
【０１４４】
このように、本実施形態の画像処理装置６によれば、悪条件下で撮影された画像に対しても、正確に唇の代表色を特定し、唇領域を特定することができる。
【０１４５】
［実施形態２］
本実施形態では、補正処理として歯ホワイトニング補正を行う場合について説明する。なお、説明の便宜上、実施形態１にて説明した図面と同じ機能を有する部材・構成については、同じ符号を付記し、その詳細な説明を省略する。以下、本実施形態について、図面を参照して詳細に説明する。
【０１４６】
＜デジタルカメラの構成＞
図２８は、本実施の形態に係るデジタルカメラ３０の概略構成を示すブロック図である。デジタルカメラ３０は、指示入力装置２、撮像装置３、画像記憶装置４、表示装置５、および画像処理装置３１を備える。
【０１４７】
＜画像処理装置の構成＞
画像処理装置３１は、実施形態１の画像処理装置６の構成に加えて、口内部領域特定部３２、歯候補色特定部３３、および歯代表色特定部３４を備える。
【０１４８】
口内部領域特定部３２は、唇領域特定部２０から唇領域を示す情報を受け取り、唇領域特定部２０が特定した上の唇領域および下の唇領域の間の領域を、口内部領域として特定する。唇領域特定部２０が、上下の唇の領域を正確に特定することで、口画像の中の歯を含む口内部の領域を特定することができる。なお、上下の唇領域の間に空間がない場合、歯ホワイトニング補正は行わない。口内部領域特定部３２は、特定した口内部領域を示す情報を歯候補色特定部３３に出力する。
【０１４９】
歯候補色特定部３３は、口内部領域を示す情報、および平滑化部１６から受け取った平滑化された口画像に基づき、歯の色の候補となる複数の歯候補色を特定する。歯候補色特定部３３は、口画像の口内部領域に含まれる複数の領域から各領域の代表色を特定し、歯候補色とする。例えば、歯候補色特定部３３は、図３に示すように口画像を複数の領域に分割する。そのうち、口内部領域に含まれる各領域の代表色（平均色あるいは中央値または最頻値の色等）を、歯の色の複数の候補色（歯候補色）として特定する。このようにして分割された領域の少なくとも１つは、主として歯を含む領域であると考えられる。よって、複数の歯候補色の中には、歯の色の代表色として適している色があると期待される。ただし、各領域の設定（分割）方法は上記に限らない。分割された複数の領域の大きさに制限はなく、各画素を複数の領域としてもよい。なお、画像のノイズ等を排除して歯候補色を特定するために、歯候補色特定部３３は、平滑化された口画像を用いて歯候補色を特定する。しかし、これに限らず、歯候補色特定部３３は、平滑化されていない口画像を用いて歯候補色を特定してもよい。また、歯候補色特定部３３は、分割された領域の色の分散度合いを、対応する歯候補色の分散度合いとして求める。歯候補色特定部３３は、複数の歯候補色および歯候補色の分散度合いを歯代表色特定部３４に出力する。また、歯候補色特定部３３は、歯候補色の分散度合いを画像補正部２１に出力する。
【０１５０】
歯代表色特定部３４は、複数の歯候補色の中から歯の色の度合いが大きい歯の代表色を特定する。具体的には、歯代表色特定部３４は、彩度が最も小さい歯候補色を、歯の代表色として特定する。歯代表色特定部３４は、歯の代表色を画像補正部２１に出力する。
【０１５１】
画像補正部２１は、補正処理の指示、正規化された口画像、平滑化された口画像、唇の代表色および歯の代表色に基づき、口画像における見た目の補正を行い、補正された口画像を生成する。口画像の補正の方法は後述する。画像補正部２１は、補正された口画像を合成部２２に出力する。
【０１５２】
＜画像処理フロー＞
以下に、デジタルカメラ３０における画像補正処理の流れについて説明する。なお、唇領域を特定するまでの処理（図５に示す処理）は、実施形態１と同様である。
【０１５３】
図２９は、画像処理装置３１における口内領域特定処理および補正処理（歯ホワイトニング処理）の流れを示すフローチャートである。画像処理装置３１は、歯の領域の輝度を大きくすることにより、画像の中の歯を白く輝いて見えるように補正する。
【０１５４】
まず、口内部領域特定部３２は、唇領域特定部２０が特定した上の唇領域および下の唇領域の間の領域を、口内部領域として特定する（Ｓ３１）。具体的には、図１６に示す上下の唇領域に挟まれる領域を、口内部領域とする。口画像の口内部領域に、歯の領域が含まれていると考えられる。
【０１５５】
歯候補色特定部３３は、口画像の口内部領域の少なくとも一部を、複数の領域に分割し、分割された各領域の代表色を、歯の色の複数の候補色（歯候補色）として特定する（Ｓ３２）。ここでは、各領域について、該領域の平均色を、歯候補色とする。
【０１５６】
歯代表色特定部３４は、各歯候補色の彩度を比較し、最も彩度の小さい歯候補色を歯の代表色として特定する（Ｓ３３）。
【０１５７】
画像補正部２１は、口内部領域の各画素位置に対して、歯の画像補正を行うための重み（補正重みＷｈ）を求める（Ｓ３４）。例えば、口内部領域の口端点に近い領域は、口の内部で陰になっていることが多いと考えられる。そのため、歯を白くする補正処理は、口内部領域の水平方向の中央付近についてより重点的に行えばよい。これにより、自然な見た目の画像補正を行う。
【０１５８】
具体的には、画像補正部２１は、口内部領域の水平方向の中心位置ほど重みが大きく、口内部領域の水平方向の外側（口端点側）ほど重みが小さくなるように補正重みＷｈを設定する。例えば、口内部領域の水平方向の中心位置では、補正重みが１になり、口内部領域の水平方向の外側の端では、補正重みが０になるようにする。その間における補正重みは、例えば線形に変化させてもよい。図３０は、図１６に対応し、口内部領域および口内部領域の補正重みＷｈを示す画像である。明るい箇所は補正重みＷｈが大きいことを示す。
【０１５９】
画像補正部２１は、口内部領域の各画素について、歯の代表色との類似度合いを求める（Ｓ３５）。具体的には、画像補正部２１は、各画素の色と歯の代表色との色空間における距離に応じた歯色類似度Ｗｉを求める。
【０１６０】
色空間における距離に応じた歯色類似度Ｗｉは、次式で求めることができる。
【０１６１】
【数１０】
【０１６２】
ここで、Ｙｔ、Ｃｂｔ、Ｃｒｔは、それぞれ歯の代表色の輝度Ｙ成分、Ｃｂ成分、Ｃｒ成分であり、Ｙ、Ｃｂ、Ｃｒは、それぞれ各画素の色のＹ成分、Ｃｂ成分、Ｃｒ成分である。また、σｙｔ、σｂｔ、σｒｔは、それぞれ色空間のＹ軸における歯の色の標準偏差、Ｃｂ軸における歯の色の標準偏差、Ｃｒ軸における歯の色の標準偏差である。歯の色の標準偏差は、歯の代表色（最終的に歯の代表色として特定された歯候補色）に対応する領域（歯候補色特定部３３が分割した領域）の各画素の色から求めることができる。なお、暗い画素は歯の領域の白っぽい画素と同様に、色相および彩度が小さくなる。そのため、歯色類似度Ｗｉを求める際に輝度Ｙを考慮し、暗い画素は歯色類似度Ｗｉが低くなるようにしている。図３１は、図２（ｂ）に対応し、口画像の各画素の色を式（１０）に当てはめて歯色類似度Ｗｉを計算した結果を示す画像である。明るい箇所は歯色類似度Ｗｉが大きく、暗い箇所は歯色類似度Ｗｉが小さいことを示す。これによれば、歯の領域は歯色類似度Ｗｉが大きいことが分かる。口内部領域の歯以外の領域、すなわち、歯肉や口の奥、および舌等は、歯色類似度Ｗｉが小さくなっている。
【０１６３】
自然な見た目の歯光沢補正を行うために、以下の処理では、歯領域の画素の輝度を加算するための歯光沢画像を用意する。
【０１６４】
画像補正部２１は、口内部領域について、口内部領域の補正重みＷｈ、歯色類似度Ｗｉ、第１の唇色類似度Ｗｅ、および第２の唇色類似度Ｗｆに基づいて、歯光沢画像を生成する（Ｓ３６）。具体的には、各画素について、口内部領域の補正重みＷｈおよび歯色類似度Ｗｉの積をとったものに、（１−Ｗｅ）および（１−Ｗｆ）を乗じ、さらに所定の補正度合い（例えば２０）を乗じた画像を、歯光沢画像として生成する。
【０１６５】
図３２は、図１２（ｂ）に対応し、各画素の（１−Ｗｅ）の値を示す画像である。図３３は、図１３（ｂ）に対応し、各画素の（１−Ｗｆ）の値を示す画像である。図３４は、図３１に対応し、歯光沢画像を示す画像である。明るい箇所は値が大きいことを示す。なお、口内部領域の補正重みＷｈ、歯色類似度Ｗｉ、第１の唇色類似度Ｗｅ、および第２の唇色類似度Ｗｆは、０から１の値をとる。例えば補正度合いが２０の場合、歯光沢画像の各画素は、０から２０の値をとる。歯光沢画像の各画素の値が、口画像を補正する際の輝度の補正値となる。なお、口内部領域の補正重みＷｈと歯色類似度Ｗｉとの積をとることにより、口内部領域の歯である領域の水平方向中央付近の補正の重みを大きくすることができる。
【０１６６】
画像において口が開いているのに歯が見えていない場合に、舌等の色を歯の代表色と特定してしまうことがある。舌の色は唇の色に比較的類似していると考えられる。このような場合に、舌の色を明るく補正することがないよう、（１−Ｗｅ）および（１−Ｗｆ）を考慮することによって、唇に類似した色相・彩度の領域（例えば舌）を補正しないようにすることができる。
【０１６７】
画像補正部２１は、各画素の輝度値について、図２（ａ）に示す正規化された口画像、および図３４に示す歯光沢画像を合成し、補正された口画像を生成する（Ｓ３７）。具体的には、画像補正部２１は、各画素について、正規化された口画像（図２（ａ））の輝度値と、歯光沢画像（図３４）の輝度値との和を、補正された口画像の輝度値とする。また、加算の結果の輝度値が最大輝度２５５を越えるときは、その画素の輝度値を２５５にする。
【０１６８】
合成部２２は、補正された口画像を処理対象の画像（顔画像）に合成する。以降の処理は実施形態１と同様である。
【０１６９】
図２６（ａ）と図２６（ｂ）を比較すると、図２６（ｂ）に示す補正後の顔画像の一部を示す画像では、歯の特に水平方向の中央の領域の輝度が上がっていることが分かる。
【０１７０】
＜本実施形態の長所＞
本実施形態の画像処理装置３１によれば、唇領域に基づいて、口内部領域を正確に特定することができる。そして、口内部領域の中の歯である度合いが大きい領域に対して補正処理を行うことで、画像の中の人物の歯に、適切な補正処理を施すことができる。
【０１７１】
また、図３４に示す歯光沢画像において、明るい箇所は歯である度合いが大きい箇所を示している。そのため、歯光沢画像は、歯の領域を示していると言える。このように、本実施形態によれば、正確に歯の領域を特定することができる。
【０１７２】
最後に、画像処理装置６・３１の各ブロック、特に画像取得部１１、顔検出部１２、特徴検出部１３、適否判定部１４、口画像正規化部１５、平滑化部１６、肌代表色特定部１７、候補色特定部１８、唇代表色特定部１９、唇領域特定部２０、画像補正部２１、合成部２２、表示制御部２３、口内部領域特定部３２、歯候補色特定部３３、および歯代表色特定部３４は、ハードウェアロジックによって構成してもよいし、次のようにＣＰＵ（central processing unit）を用いてソフトウェアによって実現してもよい。
【０１７３】
すなわち、画像処理装置６・３１は、各機能を実現する制御プログラムの命令を実行するＣＰＵ、上記プログラムを格納したＲＯＭ（read only memory）、上記プログラムを展開するＲＡＭ（random access memory）、上記プログラムおよび各種データを格納するメモリ等の記憶装置（記録媒体）などを備えている。そして、本発明の目的は、上述した機能を実現するソフトウェアである画像処理装置６・３１の制御プログラムのプログラムコード（実行形式プログラム、中間コードプログラム、ソースプログラム）をコンピュータで読み取り可能に記録した記録媒体を、上記画像処理装置６・３１に供給し、そのコンピュータ（またはＣＰＵやＭＰＵ（microprocessor unit））が記録媒体に記録されているプログラムコードを読み出し実行することによっても、達成可能である。
【０１７４】
上記記録媒体としては、例えば、磁気テープやカセットテープ等のテープ系、フロッピー（登録商標）ディスク／ハードディスク等の磁気ディスクやＣＤ−ＲＯＭ（compact disc read-only memory）／ＭＯ（magneto-optical）／ＭＤ（Mini Disc）／ＤＶＤ（digital versatile disk）／ＣＤ−Ｒ（CD Recordable）等の光ディスクを含むディスク系、ＩＣカード（メモリカードを含む）／光カード等のカード系、あるいはマスクＲＯＭ／ＥＰＲＯＭ（erasable programmable read-only memory）／ＥＥＰＲＯＭ（electrically erasable and programmable read-only memory）／フラッシュＲＯＭ等の半導体メモリ系などを用いることができる。
【０１７５】
また、画像処理装置６・３１を通信ネットワークと接続可能に構成し、上記プログラムコードを通信ネットワークを介して供給してもよい。この通信ネットワークとしては、特に限定されず、例えば、インターネット、イントラネット、エキストラネット、ＬＡＮ（local area network）、ＩＳＤＮ（integrated services digital network）、ＶＡＮ（value-added network）、ＣＡＴＶ（community antenna television）通信網、仮想専用網（virtual private network）、電話回線網、移動体通信網、衛星通信網等が利用可能である。また、通信ネットワークを構成する伝送媒体としては、特に限定されず、例えば、ＩＥＥＥ（institute of electrical and electronic engineers）１３９４、ＵＳＢ、電力線搬送、ケーブルＴＶ回線、電話線、ＡＤＳＬ（asynchronous digital subscriber loop）回線等の有線でも、ＩｒＤＡ（infrared data association）やリモコンのような赤外線、Ｂｌｕｅｔｏｏｔｈ（登録商標）、８０２．１１無線、ＨＤＲ（high data rate）、携帯電話網、衛星回線、地上波デジタル網等の無線でも利用可能である。
【０１７６】
本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。
【産業上の利用可能性】
【０１７７】
本発明は、画像処理装置を備えるデジタルカメラ等に利用することができる。
【符号の説明】
【０１７８】
１、３０ デジタルカメラ
２ 指示入力装置
３ 撮像装置
４ 画像記憶装置
５ 表示装置
６、３１ 画像処理装置
１１ 画像取得部（指示受領部）
１２ 顔検出部
１３ 特徴検出部
１４ 適否判定部
１５ 口画像正規化部
１６ 平滑化部
１７ 肌代表色特定部
１８ 候補色特定部
１９ 唇代表色特定部
２０ 唇領域特定部
２１ 画像補正部
２２ 合成部
２３ 表示制御部
３２ 口内部領域特定部
３３ 歯候補色特定部
３４ 歯代表色特定部
【特許請求の範囲】
【請求項１】
人物の口を含む顔画像から唇の特徴を特定する画像処理装置において、
上記顔画像の肌の代表色を特定する肌代表色特定部と、
上記顔画像において、少なくともいずれかの領域が唇の一部を含むように複数の領域を設定し、各領域の代表色を候補色として特定する候補色特定部と、
上記肌の代表色と各候補色との色相および彩度における差に応じて、上記複数の候補色から唇の代表色を特定する唇代表色特定部とを備えることを特徴とする画像処理装置。
【請求項２】
上記唇代表色特定部は、上記肌の代表色と各候補色との、輝度または明度を除いた、色相および彩度における差に応じて、上記唇の代表色を特定することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
上記唇代表色特定部は、色空間の色相彩度平面における各候補色と上記肌の代表色との間の距離と、各候補色と上記肌の代表色との色相の差と、各候補色の彩度の大きさとに応じて、上記唇の代表色を特定することを特徴とする請求項１または２に記載の画像処理装置。
【請求項４】
上記唇代表色特定部は、各候補色について、色空間の色相彩度平面における該候補色と上記肌の代表色との間の距離に応じた第１の重みと、該候補色と上記肌の代表色との色相の差に応じた第２の重みと、該候補色の彩度の大きさに応じた第３の重みとを求め、上記第１の重み、上記第２の重み、および上記第３の重みに基づいた唇色度合いを求め、上記唇色度合いが大きい上記候補色を、上記唇の代表色として特定するものであり、
上記第１の重みは、色空間の色相彩度平面における上記候補色と上記肌の代表色との間の距離が大きいほど重みが大きくなり、上記第２の重みは、上記候補色と上記肌の代表色との色相の差が大きいほど重みが大きくなり、上記第３の重みは、上記候補色の彩度が大きいほど重みが大きくなり、上記唇色度合いは、上記第１の重み、上記第２の重み、および上記第３の重みに応じて大きくなるものであることを特徴とする請求項１から３のいずれか一項に記載の画像処理装置。
【請求項５】
上記唇代表色特定部は、各候補色について、色空間の色相彩度平面における該候補色と上記肌の代表色との間の距離に応じた第１の重みと、該候補色と上記肌の代表色との色相の差に応じた第２の重みと、該候補色の彩度の大きさに応じた第３の重みとを求め、上記第１の重み、上記第２の重み、および上記第３の重みに基づいた唇色度合いを求め、上記唇色度合いが大きい上記候補色を第１の選択候補色として選択し、
上記第１の重みは、色空間の色相彩度平面における上記候補色と上記肌の代表色との間の距離が大きいほど重みが大きくなり、上記第２の重みは、上記候補色と上記肌の代表色との色相の差が大きいほど重みが大きくなり、上記第３の重みは、上記候補色の彩度が大きいほど重みが大きくなり、上記唇色度合いは、上記第１の重み、上記第２の重み、および上記第３の重みに応じて大きくなるものであり、
上記唇代表色特定部は、上記第１の選択候補色を除いた各候補色について、色空間の色相彩度平面における該候補色と上記第１の選択候補色との間の距離に応じた第４の重みを求め、上記唇色度合い、および上記第４の重みに基づいた候補評価値を求め、上記第１の選択候補色を除いた各候補色から、上記候補評価値が大きい上記候補色を少なくとも１つ第２の選択候補色として選択し、
上記第４の重みは、色空間の色相彩度平面における上記候補色と上記第１の選択候補色との間の距離が大きいほど重みが大きくなり、上記候補評価値は、上記唇色度合い、および上記第４の重みに応じて大きくなるものであり、
上記唇代表色特定部は、第１の選択候補色または第２の選択候補色として選択された上記候補色のうち、彩度が最も大きい、または、色相が最も所定の色相に近い上記候補色を上記唇の代表色として特定することを特徴とする請求項１または２に記載の画像処理装置。
【請求項６】
上記唇の代表色との色相および彩度における差に応じて、上記唇の代表色に類似した色を有する領域を第１の唇領域として特定する唇領域特定部を備えることを特徴とする請求項１から５のいずれか一項に記載の画像処理装置。
【請求項７】
上記唇領域特定部は、色空間の色相彩度平面における上記唇の代表色からの距離が第１の閾値以下、かつ／または、上記唇の代表色との色相の差が第２の閾値以下である色を有する領域を上記第１の唇領域として特定することを特徴とする請求項６に記載の画像処理装置。
【請求項８】
上記唇領域特定部は、唇の形状を規定する所定の唇形状モデルを、上記第１の唇領域に適合させ、適合させた上記唇形状モデルの示す領域を、第２の唇領域として特定することを特徴とする請求項６または７に記載の画像処理装置。
【請求項９】
上記唇領域特定部は、上記第１の唇領域に基づいて、複数の水平位置について、上唇または下唇の縦方向における中心点を特定し、各中心点を中心とする縦方向の所定の幅の領域を、第２の唇領域として特定することを特徴とする請求項６または７に記載の画像処理装置。
【請求項１０】
人物の口を含む顔画像から唇の特徴を特定する画像処理方法において、
上記顔画像の肌の代表色を特定する肌代表色特定ステップと、
上記顔画像において、少なくともいずれかの領域が唇の一部を含むように複数の領域を設定し、各領域の代表色を候補色として特定する候補色特定ステップと、
上記肌の代表色と、各候補色との色相および彩度における差に応じて、上記複数の候補色から唇の代表色を特定する唇代表色特定ステップとを備えることを特徴とする画像処理方法。
【請求項１１】
人物の口を含む顔画像から唇の特徴を特定する画像処理装置の制御プログラムであって、
上記顔画像の肌の代表色を特定する肌代表色特定ステップと、
上記顔画像において、少なくともいずれかの領域が唇の一部を含むように複数の領域を設定し、各領域の代表色を候補色として特定する候補色特定ステップと、
上記肌の代表色と、各候補色との色相および彩度における差に応じて、上記複数の候補色から唇の代表色を特定する唇代表色特定ステップとをコンピュータに実行させる制御プログラム。
【請求項１】
人物の口を含む顔画像から唇の特徴を特定する画像処理装置において、
上記顔画像の肌の代表色を特定する肌代表色特定部と、
上記顔画像において、少なくともいずれかの領域が唇の一部を含むように複数の領域を設定し、各領域の代表色を候補色として特定する候補色特定部と、
上記肌の代表色と各候補色との色相および彩度における差に応じて、上記複数の候補色から唇の代表色を特定する唇代表色特定部とを備えることを特徴とする画像処理装置。
【請求項２】
上記唇代表色特定部は、上記肌の代表色と各候補色との、輝度または明度を除いた、色相および彩度における差に応じて、上記唇の代表色を特定することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
上記唇代表色特定部は、色空間の色相彩度平面における各候補色と上記肌の代表色との間の距離と、各候補色と上記肌の代表色との色相の差と、各候補色の彩度の大きさとに応じて、上記唇の代表色を特定することを特徴とする請求項１または２に記載の画像処理装置。
【請求項４】
上記唇代表色特定部は、各候補色について、色空間の色相彩度平面における該候補色と上記肌の代表色との間の距離に応じた第１の重みと、該候補色と上記肌の代表色との色相の差に応じた第２の重みと、該候補色の彩度の大きさに応じた第３の重みとを求め、上記第１の重み、上記第２の重み、および上記第３の重みに基づいた唇色度合いを求め、上記唇色度合いが大きい上記候補色を、上記唇の代表色として特定するものであり、
上記第１の重みは、色空間の色相彩度平面における上記候補色と上記肌の代表色との間の距離が大きいほど重みが大きくなり、上記第２の重みは、上記候補色と上記肌の代表色との色相の差が大きいほど重みが大きくなり、上記第３の重みは、上記候補色の彩度が大きいほど重みが大きくなり、上記唇色度合いは、上記第１の重み、上記第２の重み、および上記第３の重みに応じて大きくなるものであることを特徴とする請求項１から３のいずれか一項に記載の画像処理装置。
【請求項５】
上記唇代表色特定部は、各候補色について、色空間の色相彩度平面における該候補色と上記肌の代表色との間の距離に応じた第１の重みと、該候補色と上記肌の代表色との色相の差に応じた第２の重みと、該候補色の彩度の大きさに応じた第３の重みとを求め、上記第１の重み、上記第２の重み、および上記第３の重みに基づいた唇色度合いを求め、上記唇色度合いが大きい上記候補色を第１の選択候補色として選択し、
上記第１の重みは、色空間の色相彩度平面における上記候補色と上記肌の代表色との間の距離が大きいほど重みが大きくなり、上記第２の重みは、上記候補色と上記肌の代表色との色相の差が大きいほど重みが大きくなり、上記第３の重みは、上記候補色の彩度が大きいほど重みが大きくなり、上記唇色度合いは、上記第１の重み、上記第２の重み、および上記第３の重みに応じて大きくなるものであり、
上記唇代表色特定部は、上記第１の選択候補色を除いた各候補色について、色空間の色相彩度平面における該候補色と上記第１の選択候補色との間の距離に応じた第４の重みを求め、上記唇色度合い、および上記第４の重みに基づいた候補評価値を求め、上記第１の選択候補色を除いた各候補色から、上記候補評価値が大きい上記候補色を少なくとも１つ第２の選択候補色として選択し、
上記第４の重みは、色空間の色相彩度平面における上記候補色と上記第１の選択候補色との間の距離が大きいほど重みが大きくなり、上記候補評価値は、上記唇色度合い、および上記第４の重みに応じて大きくなるものであり、
上記唇代表色特定部は、第１の選択候補色または第２の選択候補色として選択された上記候補色のうち、彩度が最も大きい、または、色相が最も所定の色相に近い上記候補色を上記唇の代表色として特定することを特徴とする請求項１または２に記載の画像処理装置。
【請求項６】
上記唇の代表色との色相および彩度における差に応じて、上記唇の代表色に類似した色を有する領域を第１の唇領域として特定する唇領域特定部を備えることを特徴とする請求項１から５のいずれか一項に記載の画像処理装置。
【請求項７】
上記唇領域特定部は、色空間の色相彩度平面における上記唇の代表色からの距離が第１の閾値以下、かつ／または、上記唇の代表色との色相の差が第２の閾値以下である色を有する領域を上記第１の唇領域として特定することを特徴とする請求項６に記載の画像処理装置。
【請求項８】
上記唇領域特定部は、唇の形状を規定する所定の唇形状モデルを、上記第１の唇領域に適合させ、適合させた上記唇形状モデルの示す領域を、第２の唇領域として特定することを特徴とする請求項６または７に記載の画像処理装置。
【請求項９】
上記唇領域特定部は、上記第１の唇領域に基づいて、複数の水平位置について、上唇または下唇の縦方向における中心点を特定し、各中心点を中心とする縦方向の所定の幅の領域を、第２の唇領域として特定することを特徴とする請求項６または７に記載の画像処理装置。
【請求項１０】
人物の口を含む顔画像から唇の特徴を特定する画像処理方法において、
上記顔画像の肌の代表色を特定する肌代表色特定ステップと、
上記顔画像において、少なくともいずれかの領域が唇の一部を含むように複数の領域を設定し、各領域の代表色を候補色として特定する候補色特定ステップと、
上記肌の代表色と、各候補色との色相および彩度における差に応じて、上記複数の候補色から唇の代表色を特定する唇代表色特定ステップとを備えることを特徴とする画像処理方法。
【請求項１１】
人物の口を含む顔画像から唇の特徴を特定する画像処理装置の制御プログラムであって、
上記顔画像の肌の代表色を特定する肌代表色特定ステップと、
上記顔画像において、少なくともいずれかの領域が唇の一部を含むように複数の領域を設定し、各領域の代表色を候補色として特定する候補色特定ステップと、
上記肌の代表色と、各候補色との色相および彩度における差に応じて、上記複数の候補色から唇の代表色を特定する唇代表色特定ステップとをコンピュータに実行させる制御プログラム。
【図１】
【図４】
【図５】
【図１４】
【図１６】
【図１７】
【図１８】
【図２２】
【図２８】
【図２９】
【図２】
【図３】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１５】
【図１９】
【図２０】
【図２１】
【図２３】
【図２４】
【図２５】
【図２６】
【図２７】
【図３０】
【図３１】
【図３２】
【図３３】
【図３４】
【図４】
【図５】
【図１４】
【図１６】
【図１７】
【図１８】
【図２２】
【図２８】
【図２９】
【図２】
【図３】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１５】
【図１９】
【図２０】
【図２１】
【図２３】
【図２４】
【図２５】
【図２６】
【図２７】
【図３０】
【図３１】
【図３２】
【図３３】
【図３４】
【公開番号】特開２０１２−１９０２８７（Ｐ２０１２−１９０２８７Ａ）
【公開日】平成２４年１０月４日（２０１２．１０．４）
【国際特許分類】
【出願番号】特願２０１１−５３６１７（Ｐ２０１１−５３６１７）
【出願日】平成２３年３月１０日（２０１１．３．１０）
【特許番号】特許第４８３１２５９号（Ｐ４８３１２５９）
【特許公報発行日】平成２３年１２月７日（２０１１．１２．７）
【出願人】（０００００２９４５）オムロン株式会社 (3,542)
【Ｆターム（参考）】
【公開日】平成２４年１０月４日（２０１２．１０．４）
【国際特許分類】
【出願日】平成２３年３月１０日（２０１１．３．１０）
【特許番号】特許第４８３１２５９号（Ｐ４８３１２５９）
【特許公報発行日】平成２３年１２月７日（２０１１．１２．７）
【出願人】（０００００２９４５）オムロン株式会社 (3,542)
【Ｆターム（参考）】
[ Back to top ]