画像処理装置、画像処理方法、および制御プログラム
【課題】処理対象領域の境界が不自然に強調されないように補正を行う画像処理を実現することにある。
【解決手段】本発明に係る画像処理装置３１は、人物の口を含む顔画像について画像処理を行うものであって、顔画像の少なくとも口の一部を含む第１領域の各位置について、該位置の色と歯の代表色との差に基づいて、該位置が歯であることの尤度を第１器官尤度として特定する歯色類似度特定部５１と、第１領域の第１位置からの距離が大きいほど第１重みが小さくなるように第１重みを決定する歯位置重み決定部５２と、第１器官尤度および第１重みが大きいほど補正量が大きくなるように該位置の補正量を決定する歯補正量決定部５３と、上記補正量を用いて画像を補正する歯画像補正部５４とを備える。
【解決手段】本発明に係る画像処理装置３１は、人物の口を含む顔画像について画像処理を行うものであって、顔画像の少なくとも口の一部を含む第１領域の各位置について、該位置の色と歯の代表色との差に基づいて、該位置が歯であることの尤度を第１器官尤度として特定する歯色類似度特定部５１と、第１領域の第１位置からの距離が大きいほど第１重みが小さくなるように第１重みを決定する歯位置重み決定部５２と、第１器官尤度および第１重みが大きいほど補正量が大きくなるように該位置の補正量を決定する歯補正量決定部５３と、上記補正量を用いて画像を補正する歯画像補正部５４とを備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置および画像処理方法に関し、特に顔画像の補正を行う画像処理装置および画像処理方法に関する。
【背景技術】
【０００２】
写真または映像等の画像に人物の顔が含まれる場合、その画像に含まれる顔は画像の観察者の注意を引く部分であることが多い。従来から、画像に含まれる顔の見栄えが良くなるよう、顔画像を補正または調整する技術がある。
【０００３】
例えば、特許文献１には、上下の唇の輪郭を抽出し、検出した上下の唇の内側の輪郭に囲まれる部分を、歯に対応する部分として特定し、歯に対応する部分の明るさを調整する技術が開示されている。例えば歯に対応する部分の画素値を明るくし、顔の見栄えを良くすることができる。特許文献１の技術では、歯に対応する部分を特定するために、画像の各画素の輝度値の変化から、唇の輪郭を検出している。具体的には、口領域において縦方向（顔の高さ方向）の検出線を複数定義し、各検出線に沿って画素の輝度値の変化を調べ、比較的輝度値の変化が大きな点を唇の輪郭点として特定する。そして、特定した輪郭点の空間分布から、上下の唇の外側の輪郭および内側の輪郭に対応する輪郭点を特定し、上下の唇の内側の輪郭に囲まれる領域を口の内部として特定し、そこに歯に対応する領域があるとみなす。口の内部の領域における輝度値についてのヒストグラムを作成すると、いくつもの山が現れる。特許文献１によれば、最大輝度値に最も近いヒストグラムの極小値より大きい輝度を有する画素を歯とみなす。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００９−２３１８７９号公報（２００９年１０月８日公開）
【非特許文献】
【０００５】
【非特許文献１】T. Cootes, G. Edwards, and C. Taylor、「Active appearance models」、IEEE、Transactions on Pattern Analysis and Machine Intelligence、June 2001、23(6)、pp.681-685
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、上記従来の構成では、以下の問題を生じる。
【０００７】
唇または歯の補正をする領域を特定するために、まず唇の輪郭を検出することが考えられる。しかしながら、特許文献１の技術を用いて唇の輪郭を検出するためには、照明条件が良い顔画像を用意する必要があった。画像の輝度値は、照明等の撮影環境に依存して大きく変化する。例えば逆光の条件で撮影された顔画像では、顔の部分に光が当たらず、顔全体が暗くなる。そのため、画素毎の輝度値の変化が小さくなり、唇の輪郭部分の輝度値の変化も小さくなり、輪郭点の特定が困難になる（誤検出をしやすくなる）という問題が生じる。また屋内等の低照度下で撮影された場合、ノイズが相対的に大きくなり、唇の輪郭点の特定がさらに困難になる。
【０００８】
一方、顔に光が当たっている照明条件で撮影された場合、唇の輪郭部分の輝度値の変化が大きく、輪郭点の特定はしやすくなる。しかしながら、光の当たり方によっては顔の凹凸によって陰影ができ、唇の輪郭における輝度値の変化より大きな輝度変化が陰影の境界部分に生じる。その結果、陰影の境界と唇の輪郭との区別が困難になる。
【０００９】
また、顔に光が強く当たっている照明条件で撮影された場合、顔全体が白っぽくなる（輝度が大きくなる）。そのため、唇の輪郭付近が白っぽくなり、輪郭部分の輝度値の変化が小さくなり、輪郭点の特定が困難になる。また、口紅やリップグロスに当たった光の反射（艶）により、艶の領域の境界に大きな輝度変化が生じた場合、輪郭と艶の境界との区別が困難になり、誤検出しやすくなる。
【００１０】
また、特許文献１の技術では、唇の輪郭から特定した口内領域において輝度がある値よりも大きい画素を補正対象として特定し、補正対象の画素に対して、一様にトーンカーブを適用して、輝度を増加させる。この場合、輝度を増加させる補正によって、補正対象と判定された領域とそれ以外の領域との境界が、不自然に強調されて見えるという問題が生じる。
【００１１】
本発明は、上記の問題点に鑑みてなされたものであり、その目的は、処理対象の領域の境界が不自然に強調されないように処理対象の器官に適切に補正を行う画像処理を実現することにある。
【課題を解決するための手段】
【００１２】
本発明に係る画像処理装置は、人物の口を含む顔画像について画像処理を行う画像処理装置であって、上記顔画像の少なくとも口の一部を含む第１領域の各位置について、該位置の色と処理対象である器官の代表色である第１代表色との差に基づいて、該位置が上記器官であることの尤度を第１器官尤度として特定する第１器官尤度特定部と、上記第１領域の各位置について、上記第１領域の第１位置からの距離が大きいほど第１重みが小さくなるように上記第１重みを決定する第１重み決定部と、上記第１器官尤度および上記第１重みが大きいほど補正量が大きくなるように該位置の上記補正量を決定する補正量決定部と、上記補正量を用いて画像を補正する画像補正部とを備えることを特徴としている。
【００１３】
本発明に係る画像処理方法は、人物の口を含む顔画像についての画像処理方法であって、上記顔画像の少なくとも口の一部を含む第１領域の各位置について、該位置の色と処理対象である器官の代表色である第１代表色との差に基づいて、該位置が上記器官であることの尤度を第１器官尤度として特定する第１器官尤度特定ステップと、上記第１領域の各位置について、上記第１領域の第１位置からの距離が大きいほど第１重みが小さくなるように上記第１重みを決定する第１重み決定ステップと、上記第１器官尤度および上記第１重みが大きいほど補正量が大きくなるように該位置の上記補正量を決定する補正量決定ステップと、上記補正量を用いて画像を補正する画像補正ステップとを備えることを特徴としている。
【００１４】
上記の構成によれば、第１領域の各位置における第１器官尤度および第１重みが大きいほど、該位置における補正量が大きくなる。第１器官尤度が大きければ、その位置が処理対象である器官である度合いが大きいと考えられる。よって、処理対象である器官と考えられ、かつ、第１位置に近い位置の補正量を大きくし、処理対象である器官ではない位置、または、第１位置から遠い位置の補正量を小さくすることができる。そのため、第１位置に近い位置の処理対象である器官の領域を主に補正し、第１領域の第１位置から遠い境界付近の補正量を小さくできる。それゆえ、第１領域の境界が不自然に強調されることを防ぎながら、処理対象である器官の領域に対して適切に補正を行うことができる。
【００１５】
処理対象の器官は、例えば唇または歯であってよい。
【００１６】
また、上記補正量は、上記第１器官尤度および上記第１重みの積に比例してもよい。
【００１７】
また、上記第１器官尤度特定部は、色空間の色相彩度平面における上記第１代表色と上記第１領域の各位置の色との間の距離に応じて、上記第１器官尤度を特定してもよい。
【００１８】
また、上記第１器官尤度特定部は、色空間の色相彩度平面における上記第１代表色と上記第１領域の各位置の色との間の距離と、上記第１代表色と該位置の色との色相の差とに応じて、上記第１器官尤度を特定してもよい。
【００１９】
また、上記第１器官尤度特定部は、色空間における上記第１代表色と上記第１領域の各位置の色との距離に応じて、上記第１器官尤度を特定してもよい。
【００２０】
また、上記第１位置は上記第１領域の中の線を示し、上記第１重み決定部は、上記第１位置が示す線からの距離が大きいほど上記第１重みが小さくなるように上記第１重みを決定する構成であってもよい。
【００２１】
また、上記第１位置は、上記第１領域の重心または中心を通る線を示すものであってもよい。
【００２２】
上記の構成によれば、第１領域の重心または中心の補正量を大きくし、そこから離れた端の補正量を小さくすることができる。例えば、口の中に見える歯は、口端点に近い領域では唇の陰になることが多い。そのため、処理対象領域の重心または中心に近い歯の補正量を大きくすることにより、より自然な補正を行うことができる。
【００２３】
また、上記第１位置が示す線は、２つの口端点を結ぶ線に対して垂直であってもよい。
【００２４】
上記の構成によれば、口の中心付近を主に補正して、より自然な補正を行うことができる。
【００２５】
また、上記第１位置は上記第１領域の中の点を示し、上記第１重み決定部は、上記第１位置が示す点からの距離が大きいほど上記第１重みが小さくなるように上記第１重みを決定する構成であってもよい。
【００２６】
また、上記第１重み決定部は、上記第１領域における上記第１器官尤度と輝度との積が最も大きい位置を上記第１位置とする構成であってもよい。
【００２７】
また、上記第１位置は、上記第１領域の重心または中心を示すものであってもよい。
【００２８】
また、上記第１位置は、上記第１領域における上記第１器官尤度が第１閾値以上である領域の重心または中心を示すものであってもよい。
【００２９】
上記の構成によれば、例えば唇または歯と考えられる領域の重心または中心の補正量を大きくすることができる。よって、より自然な補正を行うことができる。
【００３０】
また、上記第１位置は、上記顔画像における人物の顔の向きに応じた実際の口の中心位置を示すものであってもよい。
【００３１】
上記の構成によれば、顔の向きが正面ではない場合に、実際の口の中心の補正量を大きくすることができる。よって、より自然な補正を行うことができる。
【００３２】
また、上記画像補正部は、上記補正量が大きいほど対応する上記第１領域の位置の輝度を大きく増加させてもよい。
【００３３】
上記の構成によれば、例えば顔画像の歯を自然な見た目で白く補正することができる。また、例えば、唇の光沢を自然な見た目で増すことができる。
【００３４】
また、上記補正量決定部は、上記第１領域の各位置について、上記第１器官尤度、上記第１重みおよび輝度が大きいほど補正量が大きくなるように上記補正量を決定する構成であってもよい。
【００３５】
また、上記画像補正部は、上記第１器官尤度が第２閾値以上である第２領域を補正領域とし、上記補正領域の画像を上記補正値を用いて補正してもよい。
【００３６】
また、上記画像処理装置は、上記第１領域の各位置について、該位置の色と処理対象ではない別の器官の代表色である第２代表色との差に基づいて、該位置の第２器官尤度を特定する第２器官尤度特定部を備え、上記補正量決定部は、上記第１器官尤度および上記第１重みが大きいほど上記補正量が大きくなるように、かつ、上記第２器官尤度が小さいほど上記補正量が大きくなるように上記補正量を決定する構成であってもよい。
【００３７】
上記の構成によれば、処理対象ではない別の器官と考えられる領域の補正量を小さくすることができる。そのため、例えば、歯の領域の周囲に存在する唇または歯肉または舌の領域を補正することを防止し、歯の領域を適切に補正することができる。
【００３８】
また、処理対象である上記器官は唇であり、左右の口端点を結ぶ線分の垂直二等分線上にあり、かつ、上記第１領域の内側のある点を第２位置として、上記画像処理装置は、上記第１領域の各位置について、上記第２位置で第２重みが最大となるように、かつ、上記第１領域の境界の少なくとも一部で上記第２重みが最小となるように、上記第２重みを決定する第２重み決定部を備え、上記第１器官尤度特定部は、上記第１領域の各位置について、上記第２重みが小さいほど上記第１器官尤度を小さくする構成であってもよい。
【００３９】
上記の構成によれば、唇の中央位置について補正量を大きくし、唇の境界付近での補正量を小さくすることができる。よって、唇領域の境界が不自然に強調されることを防ぎながら、唇領域に対して適切に補正を行うことができる。
【００４０】
なお、上記画像処理装置は、一部をコンピュータによって実現してもよく、この場合には、コンピュータを上記各部として動作させることにより上記画像処理装置をコンピュータにて実現させる制御プログラム、および上記制御プログラムを記録したコンピュータ読み取り可能な記録媒体も、本発明の範疇に入る。
【発明の効果】
【００４１】
以上のように、本発明によれば、第１位置に近い位置の処理対象である器官の領域を主に補正し、第１領域の第１位置から遠い境界付近の補正量を小さくできる。それゆえ、第１領域の境界が不自然に強調されることを防ぎながら、処理対象である器官の領域に対して適切に補正を行うことができる。
【図面の簡単な説明】
【００４２】
【図１】本発明の一実施形態に係る画像補正部の構成を示すブロック図である。
【図２】本発明の一実施形態に係るデジタルカメラの概略構成を示すブロック図である。
【図３】（ａ）は、正規化された口領域の画像を示す画像であり、（ｂ）は、平滑化された口領域の画像を示す画像である。
【図４】口画像における複数の領域を示す図である。
【図５】ＣｂＣｒ平面において、唇色の候補となる色の範囲を単純化して示す図である。
【図６】本実施形態の唇色特定処理および唇領域特定処理の流れを示すフローチャートである。
【図７】（ａ）は、候補色と肌の代表色とのＣｂＣｒ平面における距離と、重みＷａとの関係を示す図であり、（ｂ）は、図３（ｂ）に対応し、候補色の代わりに口画像の各画素の重みＷａを計算した結果を示す画像である。
【図８】（ａ）は、候補色と肌の代表色とのＣｂＣｒ平面における色相と、重みＷｂとの関係を示す図であり、（ｂ）は、図３（ｂ）に対応し、候補色の代わりに口画像の各画素の重みＷｂを計算した結果を示す画像である。
【図９】図３（ｂ）に対応し、候補色の代わりに口画像の各画素の重みＷｃを計算した結果を示す画像である。
【図１０】図３（ｂ）に対応し、候補色の代わりに口画像の各画素の画素値から唇色度合いＤ１を計算した結果を示す画像である。
【図１１】図３（ｂ）に対応し、候補色の代わりに口画像の各画素の重みＷｄを計算した結果を示す画像である。
【図１２】図３（ｂ）に対応し、候補色の代わりに口画像の各画素の画素値から候補評価値Ｄ２を計算した結果を示す画像である。
【図１３】（ａ）は、各画素の色と唇の代表色とのＣｂＣｒ平面における距離と、第１の唇色類似度Ｗｅとの関係を示す図であり、（ｂ）は、図３（ｂ）に対応し、口画像の各画素の第１の唇色類似度Ｗｅを計算した結果を示す画像である。
【図１４】（ａ）は、各画素の色と唇の代表色とのＣｂＣｒ平面における色相と、第２の唇色類似度Ｗｆとの関係を示す図であり、（ｂ）は、図３（ｂ）に対応し、口画像の各画素の第２の唇色類似度Ｗｆを計算した結果を示す画像である。
【図１５】図３（ｂ）に対応し、唇候補領域に分類された画素を示す画像である。
【図１６】（ａ）および（ｂ）は、図１５に対応し、唇候補領域を示す画像からモデル化した唇領域を特定する手順を示す画像である。
【図１７】図１６（ａ）に対応し、モデル化された唇領域を示す画像である。
【図１８】本実施形態の補正処理の流れを示すフローチャートである。
【図１９】各水平位置での補正重みＷｇを示す図である。
【図２０】図１７に対応し、補正重みＷｇを示す画像である。
【図２１】図２０に対応し、補正部分評価値Ｄ３を示す画像である。
【図２２】図３（ｂ）に対応し、輝度と補正部分評価値Ｄ３との積を示す画像である。
【図２３】光沢補正領域の第１補正量によるヒストグラムである。
【図２４】（ａ）は、各画素の入力用輝度に対する第１トーンカーブを示す図であり、（ｂ）は、各画素の入力用輝度に対する第２トーンカーブを示す図である。
【図２５】図２２に対応し、輝度成分のみを有する光沢画像を示す画像である。
【図２６】正規化された口画像、平滑化された口画像、および光沢画像の合成処理を示す図である。
【図２７】（ａ）は、補正前の顔画像の一部を示す画像であり、（ｂ）は、補正後の顔画像の一部を示す画像である。
【図２８】（ａ）は、図３（ａ）に対応し、正規化された口画像のＣｂ成分の値を示す画像であり、（ｂ）は、図３（ａ）に対応し、正規化された口画像のＣｒ成分の値を示す画像である。
【図２９】口内領域特定処理および補正処理の流れを示すフローチャートである。
【図３０】図１７に対応し、口内部領域および口内部領域の補正重みＷｈを示す画像である。
【図３１】図３（ｂ）に対応し、口画像の各画素の歯色類似度Ｗｉを計算した結果を示す画像である。
【図３２】図１３（ｂ）に対応し、各画素の（１−Ｗｅ）の値を示す画像である。
【図３３】図１４（ｂ）に対応し、各画素の（１−Ｗｆ）の値を示す画像である。
【図３４】図３１に対応し、歯光沢画像を示す画像である。
【発明を実施するための形態】
【００４３】
以下では、主に、デジタルカメラに搭載され、撮像された画像に含まれる顔画像に対して処理を行う画像処理装置について説明するが、本発明はこれに限定されるものではない。例えば、本発明に係る画像処理装置は、デジタルビデオカメラ、パーソナルコンピュータ（ＰＣ）のＷｅｂカメラ、またはカメラ付き携帯電話等の撮影装置に搭載され、撮影装置で撮影して得られた画像に対して処理を行ってもよい。また、本発明に係る画像処理装置は、ネットワーク等の通信経路、または外部記憶装置から取得した画像について処理を行ってもよい。また、撮像された静止画だけではなく、動画等の顔画像に処理を行ってもよい。また、デジタルカメラで撮像を行う際にデジタルカメラの表示装置に表示されるプレビュー画像に処理を施してもよい。
【００４４】
以下、本発明の実施形態について、図面を参照して詳細に説明する。
【００４５】
＜デジタルカメラの構成＞
図２は、本実施形態に係るデジタルカメラ３０の概略構成を示すブロック図である。デジタルカメラ３０は、指示入力装置２、撮像装置３、画像記憶装置４、表示装置５、および画像処理装置３１を備える。
【００４６】
指示入力装置２は、ボタン、キーまたはタッチパネル等の入力装置を備え、利用者から撮像の指示を受け付け、撮像装置３に撮像の指示を出力する。また、指示入力装置２は、利用者から顔画像の補正処理の指示を受け付け、画像処理装置３１に補正処理の指示を出力する。
【００４７】
撮像装置３は、例えば、ＣＣＤ（charge coupled device）またはＣＭＯＳ（complementary metal oxide semiconductor）撮像素子等の撮像素子を備える。撮像装置３は、撮像の指示に応じて撮像し、撮像した画像（画像データ）を画像記憶装置４に出力する。
【００４８】
画像記憶装置４は、各種の情報を記憶するものであり、例えばＨＤＤ（Hard Disk Drive）、またはフラッシュメモリ等の記憶デバイスを備える。画像記憶装置４は、撮像装置３から受け取った画像を記憶して保存しておく。
【００４９】
表示装置５は、ディスプレイを備え、入力された画像を表示して利用者に提示する。また、表示装置５は、画像処理装置３１から補正処理済みの画像を受け取り、補正処理済みの画像を表示する。
【００５０】
＜画像処理装置の構成＞
画像処理装置３１は、画像取得部（指示受領部）１１、顔検出部１２、特徴検出部１３、適否判定部１４、口画像正規化部１５、平滑化部１６、肌代表色特定部１７、候補色特定部１８、唇代表色特定部１９、唇領域特定部２０、画像補正部２１、合成部２２、表示制御部２３、口内部領域特定部３２、歯候補色特定部３３、および歯代表色特定部３４を備える。
【００５１】
画像取得部１１は、指示入力装置２から補正処理の指示を受け取る。補正処理の指示は、処理対象となる画像を示す情報、および、どのような補正処理を行うかを示す情報を含む。補正処理の種類としては、例えば、唇にリップグロスを塗布したように画像を補正する唇艶強調補正、または歯が白くなるよう画像を補正する歯のホワイトニング補正等がある。画像取得部１１は、受け取った補正処理の指示に基づき、画像記憶装置４から処理対象の画像を取得する。なお、画像取得部１１は、撮像装置３から撮像された画像を直接受け取ってもよい。画像取得部１１は、取得した処理対象の画像を顔検出部１２、特徴検出部１３、適否判定部１４、口画像正規化部１５、肌代表色特定部１７、および合成部２２に出力する。また、画像取得部１１は、受け取った補正処理の指示を画像補正部２１に出力する。
【００５２】
顔検出部１２は、画像取得部１１から受け取った画像の中に含まれる顔画像を検出する。顔検出部１２は、画像に含まれる顔画像を検出すると、顔画像の位置を特定する。顔画像の位置は、顔画像の所定の点の座標を示してもよいし、顔画像の領域を示してもよい。顔検出部１２は、顔画像の位置を、特徴検出部１３、適否判定部１４、口画像正規化部１５および肌代表色特定部１７に出力する。なお、顔検出部１２は、処理対象の画像から複数の顔画像を検出してもよい。複数の顔画像を検出した場合、顔検出部１２は、各顔画像の位置を特定し、複数の顔画像の位置を上記各部に出力してもよい。
【００５３】
特徴検出部１３は、画像取得部１１から受け取った処理対象の画像および顔検出部１２から受け取った顔画像の位置から、該顔画像の顔の各特徴の位置を検出する。具体的には、特徴検出部１３は、例えば目（目頭、目尻等）、口（口端点、口の中心点等）、および鼻（鼻の頂点等）等の顔の器官の特徴、および顔の輪郭等の特徴（特徴点）を検出し、それらの位置を特定する。特徴の位置は、特徴点の座標を示してもよいし、特徴を含む領域を示してもよい。各特徴の検出は、公知の技術を用いて行うことができる。特徴検出部１３は、検出した顔の特徴の位置を適否判定部１４、口画像正規化部１５、および肌代表色特定部１７、および画像補正部２１に出力する。なお、特徴検出部１３は、複数の顔画像の特徴の位置を特定し、複数の顔画像の特徴の位置を上記各部に出力してもよい。
【００５４】
適否判定部１４は、画像取得部１１から受け取った処理対象の画像、顔検出部１２から受け取った顔画像の位置、および特徴検出部１３から受け取った顔の特徴の位置から、該顔画像が補正処理を行うのに適しているか否かを判定する。例えば、適否判定部１４は、横向きの顔画像および顔の写りが小さすぎる顔画像等を、不適として判定する。具体的な判定方法は後述する。なお、処理対象の画像に複数の顔画像が含まれている場合、適否判定部１４は、各顔画像について補正処理を行うことの適否を判定してもよいし、補正処理を行うのにより適した所定数（例えば１つ）の顔画像を特定してもよい。適否判定部１４は、処理対象として適切と判定した顔画像を示す情報を口画像正規化部１５、肌代表色特定部１７、および候補色特定部１８に出力する。
【００５５】
口画像正規化部１５は、画像取得部１１、顔検出部１２、および特徴検出部１３からそれぞれ処理対象の画像、顔画像の位置、および顔の特徴の位置を受け取る。口画像正規化部１５は、受け取った情報に基づき、適否判定部１４によって処理対象として適切と判定された顔画像について、処理対象となる顔画像の口領域の画像を抽出する。後の画像処理における計算を容易にするために、口画像正規化部１５は、処理対象の画像の口領域が所定の大きさになるように画像サイズを正規化する。具体的には、口画像正規化部１５は、口の左右の端点が所定の座標に位置するように、必要に応じて処理対象の顔画像を回転および拡大・縮小させ、所定のサイズの口領域（口を含む領域）を処理対象の顔画像から切り出す。図３（ａ）は、正規化された口領域の画像を示す画像である。なお、処理対象の顔画像を拡大・縮小する場合、必要に応じて元の画素の間の点の画素値を任意の方法で補間してもよい。口画像正規化部１５は、正規化された口領域の画像（口画像）を平滑化部１６、および画像補正部２１に出力する。
【００５６】
平滑化部１６は、口画像正規化部１５から受け取った口画像を平滑化する。具体的には、平滑化部１６は、口画像にガウシアンフィルタ等を適用し、平滑化された口画像を生成する。図３（ｂ）は、平滑化された口領域の画像を示す画像である。平滑化された口画像を用いることで、ノイズを排除して、唇等の所望の領域を正確に特定することができる。なお、正規化された口画像および平滑化された口画像はカラーの画像であるが、図３では、その輝度値（Ｙ値）による明暗を示している。平滑化部１６は、平滑化された口画像を候補色特定部１８、唇領域特定部２０、および画像補正部２１に出力する。
【００５７】
肌代表色特定部１７は、画像取得部１１、顔検出部１２、および特徴検出部１３からそれぞれ処理対象の画像、顔画像の位置、および顔の特徴の位置を受け取る。肌代表色特定部１７は、受け取った情報に基づき、適否判定部１４によって処理対象として適切と判定された顔画像について、処理対象となる顔画像の肌の代表色を特定する。顔領域の一部の色、例えば、顔領域の中心部分（鼻付近）の平均色、中央値、または最頻値の色等を肌の代表色としてもよい。また、顔領域全体の平均色等を肌の代表色としてもよい。また、顔のある領域の平均色を求め、該領域において該平均色と色相が異なる（ＣｂＣｒ平面における該平均色との角度が閾値より大きい）画素、および／または、該領域において該平均色との色の差が大きい（ＹＣｂＣｒ色空間における該平均色との距離が閾値より大きい）ピクセルを除外して、残りのピクセルから算出した平均色を、代表色としてもよい。また、肌代表色特定部１７は、肌の色の分散度合いを求める。肌代表色特定部１７は、肌の代表色を候補色特定部１８および唇代表色特定部１９に出力する。肌代表色特定部１７は、肌の色の分散度合いを唇代表色特定部１９に出力する。
【００５８】
候補色特定部１８は、唇の色の候補となる複数の候補色を特定する。候補色特定部１８は、口画像において複数の領域を設定し、各領域の代表色を特定して候補色とする。図４は、口画像における複数の領域を示す図である。図中の×印は、特徴検出部１３によって検出された口端点を示す。具体的には、候補色特定部１８は、以下の処理を行う。候補色特定部１８は、口画像の水平方向の中央における所定の領域を、縦（垂直）方向に並ぶ複数の領域に分割する。候補色特定部１８は、分割された各領域の代表色（平均色あるいは中央値または最頻値の色等）を、唇の色の複数の候補色として特定する。このようにして分割された領域の少なくとも１つは、主として唇である部分を含む領域であると考えられる。よって、複数の候補色の少なくとも１つは、唇の色の代表色として適していると考えられる。ただし、各領域の設定（分割）方法は上記に限らず、唇があると考えられる２つの口端点の間において複数の領域を設定すればよい。また、分割された複数の領域の大きさに制限はなく、各画素を複数の領域としてもよい。なお、画像のノイズ等を排除して候補色を特定するために、候補色特定部１８は、平滑化された口画像を用いて候補色を特定する。しかし、これに限らず、候補色特定部１８は、平滑化されていない口画像を用いて候補色を特定してもよい。また、候補色特定部１８は、分割された領域の色の分散度合いを、対応する候補色の分散度合いとして求める。候補色特定部１８は、複数の候補色を唇代表色特定部１９に出力する。候補色特定部１８は、候補色の分散度合いを唇代表色特定部１９に出力する。
【００５９】
唇代表色特定部１９は、肌の代表色に基づき、複数の候補色の中から唇の代表色を特定する。唇代表色特定部１９は、肌の代表色と、各候補色との色相および彩度における差に応じて、肌の代表色との差が大きい候補色を、唇の代表色として特定する。唇代表色特定部１９は、ＹＣｂＣｒ色空間またはＬ＊ａ＊ｂ＊色空間のような、輝度（または明度）と、色相および彩度とによって色を表現する色空間において処理を行う。唇代表色特定部１９は、輝度（または明度）の情報を使わず、色空間における色相および彩度を表すＣｂＣｒ平面（色相彩度平面）の情報に基づいて、各候補色について、唇の色である度合いを求め、ＣｂＣｒ平面における唇の代表色を特定する。唇の代表色を特定するための詳細な処理は後述する。唇代表色特定部１９は、特定したＣｂＣｒ平面における唇の代表色を唇領域特定部２０および画像補正部２１に出力する。
【００６０】
図５は、ＣｂＣｒ平面において、唇色の候補となる色の範囲を単純化して示す図である。唇の色は、肌の代表色とはある程度異なる色であると考えられる。そのため、ＣｂＣｒ平面において、肌の代表色から距離が近い範囲Ａの色は、唇色の候補から除外するのがよい。また、唇の色は、肌の代表色とは色相が異なると考えられる。そのため、ＣｂＣｒ平面において、肌の代表色に色相が近い範囲Ｂの色は、唇色の候補から除外するのがよい。また、被写体の口が開いていて口画像に歯が含まれている場合、複数の候補色の中には、歯の色を示す白っぽい色がある可能性がある。歯の色を唇の候補から除外するために、彩度が小さい範囲Ｃの色は、唇色の候補から除外するのがよい。唇色の候補は、範囲Ａ、範囲Ｂ、範囲Ｃの外側の範囲にあると考えられる。なお、図５では、肌の代表色から距離が近く、かつ、肌の代表色に色相が近い範囲を肌色範囲とし、彩度が小さい範囲を白範囲とし、肌色範囲でも白範囲でもない範囲を唇色候補範囲としている。
【００６１】
唇領域特定部２０は、平滑化された口画像、および唇の代表色に基づき、口画像における唇である領域を特定する。唇領域特定部２０は、ＣｂＣｒ平面における唇の代表色との色相および彩度における差に応じて、唇の代表色に類似する色の領域を唇領域と特定する。唇領域を特定するための詳細な処理は後述する。なお、画像のノイズ等を排除して唇領域を特定するために、唇領域特定部２０は、平滑化された口画像を用いて唇領域を特定する。しかし、これに限らず、唇領域特定部２０は、平滑化されていない口画像を用いてもよい。唇領域特定部２０は、特定した唇領域を示す情報、および唇候補領域を示す情報等を画像補正部２１に出力する。
【００６２】
口内部領域特定部３２は、唇領域特定部２０から唇領域を示す情報を受け取り、唇領域特定部２０が特定した上の唇領域および下の唇領域の間の領域を、口内部領域として特定する。唇領域特定部２０が、上下の唇の領域を正確に特定することで、口画像の中の歯を含む口内部の領域を特定することができる。なお、上下の唇領域の間に空間がない場合、歯の補正は行わない。口内部領域特定部３２は、特定した口内部領域を示す情報を歯候補色特定部３３に出力する。
【００６３】
歯候補色特定部３３は、口内部領域を示す情報、および平滑化部１６から受け取った平滑化された口画像に基づき、歯の色の候補となる複数の歯候補色を特定する。歯候補色特定部３３は、口画像の口内部領域に含まれる複数の領域から各領域の代表色を特定し、歯候補色とする。例えば、歯候補色特定部３３は、図４に示すように口画像を複数の領域に分割する。そのうち、口内部領域に含まれる各領域の代表色（平均色あるいは中央値または最頻値の色等）を、歯の色の複数の候補色（歯候補色）として特定する。このようにして分割された領域の少なくとも１つは、主として歯を含む領域であると考えられる。よって、複数の歯候補色の中には、歯の色の代表色として適している色があると期待される。ただし、各領域の設定（分割）方法は上記に限らない。分割された複数の領域の大きさに制限はなく、各画素を複数の領域としてもよい。なお、画像のノイズ等を排除して歯候補色を特定するために、歯候補色特定部３３は、平滑化された口画像を用いて歯候補色を特定する。しかし、これに限らず、歯候補色特定部３３は、平滑化されていない口画像を用いて歯候補色を特定してもよい。また、歯候補色特定部３３は、分割された領域の色の分散度合いを、対応する歯候補色の分散度合いとして求める。歯候補色特定部３３は、複数の歯候補色および歯候補色の分散度合いを歯代表色特定部３４に出力する。また、歯候補色特定部３３は、歯候補色の分散度合いを画像補正部２１に出力する。
【００６４】
歯代表色特定部３４は、複数の歯候補色の中から歯の色の度合いが大きい歯の代表色を特定する。具体的には、歯代表色特定部３４は、彩度が最も小さい歯候補色を、歯の代表色として特定する。歯代表色特定部３４は、歯の代表色を画像補正部２１に出力する。
【００６５】
図１は、画像補正部２１の構成を示すブロック図である。画像補正部２１は、唇重み特定部（第２重み決定部）４１、唇尤度特定部（器官尤度特定部）４２、唇位置重み決定部（第１重み決定部）４３、唇補正量決定部（補正量決定部）４４、唇画像補正部（画像補正部）４５、歯色類似度特定部（器官尤度特定部）５１、歯位置重み決定部（第１重み決定部）５２、歯補正量決定部（補正量決定部）５３、および歯画像補正部（画像補正部）５４を備える。画像補正部２１は、補正処理の指示、顔の特徴の位置、正規化された口画像、平滑化された口画像、唇の代表色および歯の代表色に基づき、口画像における見た目の補正を行い、補正された口画像を生成する。口画像の補正の方法は後述する。画像補正部２１は、補正された口画像を合成部２２に出力する。
【００６６】
唇重み特定部４１は、唇領域を示す情報に基づき、位置に応じた補正重みＷｇを決定する。
【００６７】
唇尤度特定部４２は、補正重みＷｇ、唇候補領域、および唇の代表色等に基づき、各画素について、唇であることの尤度を特定する。
【００６８】
唇位置重み決定部４３は、正規化された口画像と唇であることの尤度とに基づき、特定位置に応じた補正の重みを求める。
【００６９】
唇補正量決定部４４は、唇であることの尤度と特定位置に応じた補正の重みとに基づき、光沢画像を生成する。
【００７０】
唇画像補正部４５は、正規化された口画像、平滑化された口画像、および光沢画像に基づき、補正された口画像を生成する。
【００７１】
歯色類似度特定部５１は、口内部領域を示す情報、および歯の代表色に基づき、口内部領域の各画素について、画素の色と歯の代表色との色空間における距離に応じた歯色類似度Ｗｉを求める。
【００７２】
歯位置重み決定部５２は、口内部領域を示す情報、および口端点の情報に基づき、口内部領域の各画素位置に対して、歯の画像補正を行うための重み（補正重みＷｈ）を求める。
【００７３】
歯補正量決定部５３は、口内部領域を示す情報、歯色類似度Ｗｉ等に基づいて、口内部領域について、歯光沢画像を生成する。
【００７４】
歯画像補正部５４は、正規化された口画像、および歯光沢画像を合成し、補正された口画像を生成する。
【００７５】
合成部２２は、補正された口画像を正規化する前の元のサイズに戻し（必要に応じて補正された口画像を回転および拡大・縮小させ）、処理対象の画像に合成し、補正された画像を生成する。このようにして、処理対象の画像において唇等の見た目が補正された画像が得られる。合成部２２は、補正された画像を、表示制御部２３に出力する。なお、合成部２２は、補正された画像を、画像記憶装置４に出力して記憶させてもよい。
【００７６】
表示制御部２３は、補正された画像を表示装置５に出力し、補正された画像を表示するよう表示装置５を制御する。
【００７７】
＜唇補正の画像処理フロー＞
以下に、デジタルカメラ３０における画像補正処理の流れについて説明する。
【００７８】
利用者は、指示入力装置２を介して、例えば撮像されて画像記憶装置４に記憶されている画像の中から、処理対象の画像を選択する。また、利用者は、指示入力装置２を介して、処理対象の画像に施す補正処理の種類（唇艶強調補正、または歯のホワイトニング補正等）を、複数の候補の中から選択する。指示入力装置２は、指定された補正処理の種類の情報を含む補正処理の指示を、画像処理装置３１の画像取得部１１に出力する。
【００７９】
図６は、画像処理装置３１における唇色特定処理および唇領域特定処理の流れを示すフローチャートである。
【００８０】
画像取得部１１は、指示入力装置２からの補正処理の指示を受け取ると、画像記憶装置４から処理対象となる画像を取得する（Ｓ１）。
【００８１】
顔検出部１２は、処理対象となる画像に含まれる顔画像を検出し、その顔画像の位置を特定する（Ｓ２）。顔検出部１２は、処理対象の画像に含まれる複数の顔画像を検出してもよい。
【００８２】
特徴検出部１３は、検出された顔画像に含まれる、顔の特徴の位置を検出する（Ｓ３）。特徴検出部１３は、例えば目（目頭、目尻等）、口（口端点、口の中心点等）、および鼻（鼻の頂点等）等の顔の器官の特徴（特徴点）を検出し、それらの位置を特定する。なお、特徴検出部１３は、顔の輪郭等の特徴を検出してもよい。
【００８３】
適否判定部１４は、これらの検出された顔の特徴の位置に基づき、該顔画像が補正処理を行うのに適しているか否かを判定する（Ｓ４）。例えば、適否判定部１４は、複数の顔画像サンプルから目、鼻、口等の顔の器官の各特徴の周辺の輝度分布の特徴をあらかじめ学習して作成した顔モデルを記憶しておく。適否判定部１４は、顔モデルと、検出された顔画像とを比較することにより、顔画像の検出された特徴の信頼度および顔の向きを特定する。
【００８４】
例えば検出された特徴の信頼度が、所定の閾値よりも低い場合、顔の特徴を正確に検出していない可能性が高いので、口または唇等に適切に補正処理を行うことができない可能性がある。そのため、検出された特徴の信頼度が、所定の閾値よりも低い場合、適否判定部１４は、該顔画像は補正処理を行うのに適していないと判定する。
【００８５】
また、検出された顔の向きが正面に対して大きくずれている場合（顔の向きが所定の範囲内にない場合、例えば顔の向きが正面に対して所定の角度（例えば３０°）より大きい場合）、適切に補正処理を行うことができない可能性がある。この場合、適否判定部１４は、該顔画像は補正処理を行うのに適していないと判定する。
【００８６】
また、顔画像が小さすぎる場合（例えば検出した口の両方の端点の間の距離が所定の閾値（例えば１００ピクセル）より小さい場合）、適切に補正処理を行うことができない可能性があるため、適否判定部１４は、該顔画像は補正処理を行うのに適していないと判定する。
【００８７】
補正処理を行うのに適していないと判定された場合（Ｓ４でＮｏ）、該顔画像に対する処理は終了する。
【００８８】
補正処理を行うのに適していると判定された場合（Ｓ４でＹｅｓ）、次に肌代表色特定部１７は、処理対象として適切と判定された顔画像について、処理対象となる顔画像の肌の代表色を特定する（Ｓ５）。ここでは、顔領域の中心部分（鼻付近）の平均色を肌の代表色とする。また、肌代表色特定部１７は、肌の色の分散度合い（標準偏差）を求める。具体的には、平均色を求めた領域（鼻付近）の画素の画素値の色空間のＣｂ軸における分散σｂｓ2、Ｃｒ軸における分散σｒｓ2、および色相の分散σｐｓ2を求める。
【００８９】
口画像正規化部１５は、処理対象となる顔画像の口領域の画像を抽出し、処理対象の画像の口領域が所定の大きさになるように画像サイズを正規化した口画像を生成する（Ｓ６）。具体的には、口画像正規化部１５は、口の左右の端点が所定の座標に位置するように、必要に応じて処理対象の顔画像を回転および拡大・縮小させ、所定のサイズの口領域を処理対象の顔画像から切り出す。
【００９０】
平滑化部１６は、正規化された口画像を平滑化する（Ｓ７）。
【００９１】
候補色特定部１８は、口画像の水平方向の中央における所定の領域を、縦方向に並ぶ複数の領域に分割し、分割された各領域の代表色を、唇の色の複数の候補色として特定する（Ｓ８）。ここでは、各領域について、該領域の平均色を、候補色とする。
【００９２】
なお、肌の代表色および複数の候補色は、輝度の情報を含まなくてもよい。以下の処理では、輝度（Ｙ）を用いずに、ＣｂＣｒ平面において肌の代表色および複数の候補色を用いて唇の色の代表色および唇領域の特定を行う。
【００９３】
唇代表色特定部１９は、各候補色について、唇の色である度合い（唇色度合い）を求める（Ｓ９）。口画像の唇の色は、肌の色とは異なる色であり、肌の色とは異なる色相であると考えられる。また、口画像の唇の色は、一般に白っぽく写る歯とも異なる色であると考えられる。肌の代表色とＣｂＣｒ平面における距離が大きく、肌の代表色と色相の差が大きく、彩度が大きいほど、唇色度合いが大きいとする。
【００９４】
具体的には、唇代表色特定部１９は、各候補色について、候補色と肌の代表色とのＣｂＣｒ平面における距離に応じて大きくなる第１の非肌色度合い（肌の色ではない度合い）を、唇色度合いの重みとして求める。唇代表色特定部１９は、各候補色について、候補色と肌の代表色との色相の差に応じて大きくなる第２の非肌色度合いを、唇色度合いの重みとして求める。唇代表色特定部１９は、各候補色について、候補色の彩度に応じて大きくなる非歯色度合い（歯の色ではない度合い）を、唇色度合いの重みとして求める。
【００９５】
ＣｂＣｒ平面における距離に応じた唇色度合いの重みＷａ（第１の非肌色度合い）は、次式で求めることができる。
【００９６】
【数１】
【００９７】
ここで、Ｃｂｓ、Ｃｒｓは、それぞれ肌の代表色（平均色）のＣｂ成分およびＣｒ成分であり、Ｃｂ、Ｃｒは、それぞれ候補色のＣｂ成分およびＣｒ成分である。また、σｂｓ、σｒｓは、それぞれ色空間のＣｂ軸における肌の色の標準偏差、Ｃｒ軸における肌の色の標準偏差である。図７（ａ）は、候補色と肌の代表色とのＣｂＣｒ平面における距離と、重みＷａとの関係を示す図である。式（１）によれば、候補色と肌の代表色とのＣｂＣｒ平面における距離が小さければ、重みＷａは０に近く、候補色と肌の代表色とのＣｂＣｒ平面における距離が大きくなればなるほど、重みＷａは大きくなり、１に近づく。図７（ｂ）は、図３（ｂ）に対応し、候補色の代わりに口画像の各画素の画素値を式（１）に当てはめて重みＷａを計算した結果を示す画像である。明るい箇所は重みＷａが大きく、暗い箇所は重みＷａが小さいことを示す。これによれば、唇の領域は重みＷａが大きいことが分かる。しかしながら、歯の領域も重みＷａが大きくなっている。
【００９８】
色相の差に応じた唇色度合いの重みＷｂ（第２の非肌色度合い）は、次式で求めることができる。
【００９９】
【数２】
【０１００】
ここで、Ｐｓは、肌の代表色（平均色）の色相であり、ＣｂＣｒ平面における位相の角度で示される。また、Ｐは、候補色の色相である。また、σｐｓは、肌の色の色相の標準偏差である。また、αは、候補色の色相と肌の代表色の色相とが同じであっても重みＷｂが０にならないようにするための、所定の定数である。図８（ａ）は、候補色と肌の代表色とのＣｂＣｒ平面における色相と、重みＷｂとの関係を示す図である。式（２）によれば、候補色と肌の代表色との色相の差が小さければ、重みＷｂはαに近く、候補色と肌の代表色との色相の差が大きくなればなるほど、重みＷｂは大きくなり、１＋αに近づく。図８（ｂ）は、図３（ｂ）に対応し、候補色の代わりに口画像の各画素の画素値を式（２）に当てはめて重みＷｂを計算した結果を示す画像である。明るい箇所は重みＷｂが大きく、暗い箇所は重みＷｂが小さいことを示す。これによれば、唇の領域は重みＷｂが大きいことが分かる。しかしながら、歯の一部の領域も重みＷｂが大きくなっている。
【０１０１】
彩度に応じた唇色度合いの重みＷｃ（非歯色度合い）は、次式で求めることができる。
【０１０２】
【数３】
【０１０３】
ここで、Ｃｂ、Ｃｒは、それぞれ候補色のＣｂ成分およびＣｒ成分である。また、ｃは、所定の定数である。式（３）におけるexpの分子は、彩度を表す。式（３）によれば、候補色の彩度が小さければ、重みＷｃは０に近く、候補色の彩度が大きくなればなるほど、重みＷｃは大きくなり、１に近づく。図９は、図３（ｂ）に対応し、候補色の代わりに口画像の各画素の画素値を式（３）に当てはめて重みＷｃを計算した結果を示す画像である。明るい箇所は重みＷｃが大きく、暗い箇所は重みＷｃが小さいことを示す。これによれば、唇の領域は重みＷｃが大きいことが分かる。一方、白っぽい色である歯の一部の領域は重みＷｃが小さいことが分かる。また、写真に暗く写りやすい口の中の一部も、重みＷｃが小さくなっている。
【０１０４】
照明等により１つの画像の中の肌に濃淡ができた場合、一般に、同じ人物の肌でも、肌の平均色からの肌の各点の色までの色空間またはＣｂＣｒ平面における距離は大きくなることがある。すなわち、肌の色の色空間またはＣｂＣｒ平面における分散は大きくなることがある。一方で、色相は照明等の条件によってあまり変化しない。よって、一部の肌と唇とについて、ＣｂＣｒ平面における距離に応じた重みＷａの値が同程度になる場合でも、色相の差に応じた重みＷｂによって肌の色と唇の色とを判別することができる。
【０１０５】
また、口紅等により１つの画像の中の唇の色と肌の色とが同色相である場合、肌と唇とについて、色相の差に応じた重みＷｂの値は同程度になることがある。そのような場合は、ＣｂＣｒ平面における距離に応じた重みＷａによって肌の色と唇の色とを判別することができる。
【０１０６】
また、歯の領域から得られた候補色は、ＣｂＣｒ平面における距離に応じた重みＷａおよび色相の差に応じた重みＷｂが共に大きくなり得る。歯の色は一般に白っぽく彩度が小さいのに対して、唇の色は彩度が大きいと考えられるので、彩度に応じた重みＷｃによって、歯の色と唇の色とを判別することができる。また、口の中において影として暗く写った箇所等も彩度が低くなるので、彩度に応じた重みＷｃによって、唇の色と区別することができる。
【０１０７】
唇代表色特定部１９は、各候補色について、第１の非肌色度合いＷａと第２の非肌色度合いＷｂと非歯色度合いＷｃとの積を、唇色度合いＤ１として求める。
【０１０８】
【数４】
【０１０９】
図１０は、図３（ｂ）に対応し、候補色の代わりに口画像の各画素の画素値から唇色度合いＤ１を計算した結果を示す画像である。明るい箇所は唇色度合いＤ１が大きく、暗い箇所は唇色度合いＤ１が小さいことを示す。この唇色度合いＤ１が大きい候補色が、唇の色である可能性が高いと考えられる。図１０に示す例では、唇領域から得られた候補色が最も唇色度合いＤ１が大きい。唇代表色特定部１９は、唇色度合いＤ１が最も大きい候補色を、唇色の第１の候補（第１の選択候補色）として選択する。一方で、画像の歯に色がついていたりして歯の領域の色の彩度が小さくない場合、または、ＣｂＣｒ平面における唇の色と肌の色との差が小さい場合、第１の選択候補色として歯の色を選択してしまう可能性がある。
【０１１０】
そこで、本実施形態では、残った候補色から第１の選択候補色とは色相・彩度による差が大きい第２の候補（第２の選択候補色）を選択し、第１の選択候補色と第２の選択候補色とのいずれかを唇の色として特定する。
【０１１１】
唇代表色特定部１９は、第１の選択候補色を除いた他の各候補色について、候補色と第１の選択候補色とのＣｂＣｒ平面における距離に応じて大きくなる重みＷｄ（第１の選択候補色ではない度合い）を求める（Ｓ１０）。第１の選択候補色との距離に応じた重みＷｄは、次式で求めることができる。
【０１１２】
【数５】
【０１１３】
ここで、Ｃｂｄ、Ｃｒｄは、それぞれ第１の選択候補色のＣｂ成分およびＣｒ成分であり、Ｃｂ、Ｃｒは、それぞれ候補色のＣｂ成分およびＣｒ成分である。また、σｂｄ、σｒｄは、それぞれ色空間のＣｂ軸における第１の選択候補色の標準偏差（第１の選択候補色の領域の各画素のＣｂ成分の標準偏差）、Ｃｒ軸における第１の選択候補色の標準偏差（第１の選択候補色の領域の各画素のＣｒ成分の標準偏差）である。第１の選択候補色の標準偏差は、選択候補色に対応する領域（候補色特定部１８が分割した領域）の各画素の画素値から求めることができる。式（５）によれば、第１の選択候補色と他の候補色とのＣｂＣｒ平面における距離が小さければ、重みＷｄは０に近く、第１の選択候補色と他の候補色とのＣｂＣｒ平面における距離が大きくなればなるほど、重みＷｄは大きくなり、１に近づく。図１１は、図３（ｂ）に対応し、候補色の代わりに口画像の各画素の画素値を式（５）に当てはめて重みＷｄを計算した結果を示す画像である。明るい箇所は重みＷｄが大きく、暗い箇所は重みＷｄが小さいことを示す。ただし、図１１に示す例では、第１の選択候補色として唇領域から得られた候補色が選択されている。そのため、唇領域の画素の重みＷｄは、小さくなっている。
【０１１４】
唇代表色特定部１９は、各候補色について、唇色度合いＤ１と重みＷｄとの積を、候補評価値Ｄ２として求める。
【０１１５】
【数６】
【０１１６】
図１２は、図３（ｂ）に対応し、候補色の代わりに口画像の各画素の画素値から候補評価値Ｄ２を計算した結果を示す画像である。明るい箇所は候補評価値Ｄ２が大きく、暗い箇所は候補評価値Ｄ２が小さいことを示す。唇代表色特定部１９は、候補評価値Ｄ２が最も大きい候補色を、唇色の第２の候補（第２の選択候補色）として選択する。これによれば、もし、第１の選択候補色として歯の色が選ばれていた場合、第２の選択候補色として唇の領域から得られた候補色が選択されると考えられる。重みＷｄのために、第１の選択候補色と第２の選択候補色とは、異なる領域（異なる顔の部位）から得られた候補色になる可能性が高い。複数の候補色の中から、異なる色である２つの候補色を選択候補色として選択することで、いずれかの選択候補色に唇の色として適切な候補色が含まれるようにする。
【０１１７】
唇代表色特定部１９は、第１および第２の選択候補色から、より唇の色らしい選択候補色を、唇の代表色として特定する（Ｓ１１）。Ｓ１０までの処理により、第１および第２の選択候補色としては、唇の領域から得られた候補色と、歯の領域から得られた候補色が選択されている可能性が高い。そこで、唇代表色特定部１９は、第１および第２の選択候補色のうち、彩度のより大きい方を、唇の代表色として特定する。なお、唇代表色特定部１９は、唇の代表色の輝度Ｙを特定してもよいし、輝度Ｙを特定しなくてもよい。少なくとも唇の代表色の色相および彩度（またはＣｂ成分およびＣｒ成分）を特定すればよい。
【０１１８】
なお、唇の代表色を、以下のようにして決めてもよい。唇代表色特定部１９は、唇色度合いＤ１に応じて１つの第１の選択候補色を選択し、それを唇の色として特定してもよい。また、唇代表色特定部１９は、唇色度合いＤ１に応じて複数の第１の選択候補色を選択して、それらの中から彩度の大きいものを唇の代表色として特定してもよい。また、唇代表色特定部１９は、唇色度合いＤ１に応じて第１の選択候補色を選択し、候補評価値Ｄ２に応じて複数の第２の選択候補色を選択し、第１の選択候補色および複数の第２の選択候補色の中から、彩度の最も大きいものを唇の代表色として特定してもよい。または、唇代表色特定部１９は、第１および第２の各選択候補色の中から、その色相が最も所定の色相に近いものを唇の代表色として特定してもよい。唇は赤いという前提が成り立つ場合が多いため、例えば、所定の色相は、典型的な唇の色である赤に近い色相とすればよい。
【０１１９】
唇領域特定部２０は、口画像の各画素について、唇の代表色との類似度合いを求める（Ｓ１２）。唇の代表色と類似している色の領域は、唇の領域であると考えられる。唇領域特定部２０は、唇の代表色と、各画素の色との色相および彩度における差に応じて、唇の代表色と類似している領域を特定する。具体的には、唇領域特定部（口色類似度特定部）２０は、各画素について、各画素の色と唇の代表色とのＣｂＣｒ平面における距離に応じた第１の唇色類似度Ｗｅ、および、各画素の色と唇の代表色との色相の差に応じた第２の唇色類似度Ｗｆを求める。
【０１２０】
ＣｂＣｒ平面における距離に応じた第１の唇色類似度Ｗｅは、次式で求めることができる。
【０１２１】
【数７】
【０１２２】
ここで、Ｃｂｌ、Ｃｒｌは、それぞれ唇の代表色のＣｂ成分およびＣｒ成分であり、Ｃｂ、Ｃｒは、それぞれ各画素の色のＣｂ成分およびＣｒ成分である。また、σｂｌ、σｒｌは、それぞれ色空間のＣｂ軸における唇の色の標準偏差、Ｃｒ軸における唇の色の標準偏差である。唇の色の標準偏差は、唇の代表色（最終的に唇の代表色として特定された候補色）に対応する領域（候補色特定部１８が分割した領域）の各画素の色から求めることができる。図１３（ａ）は、各画素の色と唇の代表色とのＣｂＣｒ平面における距離と、第１の唇色類似度Ｗｅとの関係を示す図である。式（７）によれば、各画素の色と唇の代表色とのＣｂＣｒ平面における距離が小さければ、第１の唇色類似度Ｗｅは１に近く、各画素の色と唇の代表色とのＣｂＣｒ平面における距離が大きくなればなるほど、第１の唇色類似度Ｗｅは小さくなり、０に近づく。図１３（ｂ）は、図３（ｂ）に対応し、口画像の各画素の色を式（７）に当てはめて第１の唇色類似度Ｗｅを計算した結果を示す画像である。明るい箇所は第１の唇色類似度Ｗｅが大きく、暗い箇所は第１の唇色類似度Ｗｅが小さいことを示す。これによれば、唇の領域は第１の唇色類似度Ｗｅが大きいことが分かる。ただし、唇の領域の一部は、照明等によって光って写っており彩度が小さいので、第１の唇色類似度Ｗｅは小さくなっている。また、唇に影等がある場合も、第１の唇色類似度Ｗｅは小さくなる可能性がある。
【０１２３】
色相の差に応じた第２の唇色類似度Ｗｆは、次式で求めることができる。
【０１２４】
【数８】
【０１２５】
ここで、Ｐｌは、唇の代表色の色相であり、ＣｂＣｒ平面における位相の角度で示される。また、Ｐは、各画素の色の色相である。また、σｐｌは、唇の色の色相の標準偏差である。図１４（ａ）は、各画素の色と唇の代表色とのＣｂＣｒ平面における色相と、第２の唇色類似度Ｗｆとの関係を示す図である。式（８）によれば、各画素の色と唇の代表色との色相の差が小さければ、第２の唇色類似度Ｗｆは１に近く、各画素の色と唇の代表色との色相の差が大きくなればなるほど、第２の唇色類似度Ｗｆは小さくなり、０に近づく。図１４（ｂ）は、図３（ｂ）に対応し、口画像の各画素の色を式（８）に当てはめて第２の唇色類似度Ｗｆを計算した結果を示す画像である。明るい箇所は第２の唇色類似度Ｗｆが大きく、暗い箇所は第２の唇色類似度Ｗｆが小さいことを示す。これによれば、唇の領域は第２の唇色類似度Ｗｆが大きいことが分かる。
【０１２６】
色相の差に応じた第２の唇色類似度Ｗｆの方が、第１の唇色類似度Ｗｅに比べて照明等の影響を受けにくく、安定して精度よい結果を得ることができる。一方で、唇は、口紅またはリップグロス等が塗布されるので、様々な色であり得る。肌の色と同色相の口紅が唇に塗布されている場合、色相の差に応じた第２の唇色類似度Ｗｆで正確に唇の領域を特定するのは困難である。よって、唇の色の色相が肌の色の色相と類似している場合、第１の唇色類似度Ｗｅが、唇の領域を判定するためのよりよい指標になり得る。
【０１２７】
唇領域特定部２０は、第１の唇色類似度Ｗｅおよび第２の唇色類似度Ｗｆに基づいて、口画像から唇の候補となる領域（唇候補領域、第１の唇領域）を特定する（Ｓ１３）。唇候補領域は、唇の代表色に類似した色を有する領域と言える。本実施の形態では、唇領域特定部２０は、第１の唇色類似度Ｗｅおよび第２の唇色類似度Ｗｆの少なくともいずれか一方の値が大きい画素を、唇候補領域と判別する。具体的には、唇領域特定部２０は、各画素について、第１の唇色類似度Ｗｅを所定の閾値と比較し、第１の唇色類似度Ｗｅが該閾値より大きい画素を唇候補領域に分類する。また、唇領域特定部２０は、各画素について、第２の唇色類似度Ｗｆを別の閾値と比較し、第２の唇色類似度Ｗｆが該閾値より大きい画素を唇候補領域に分類する。図１５は、図３（ｂ）に対応し、唇候補領域に分類された画素を示す画像である。明るい箇所が唇候補領域を示す。図１５に示す画像は、図１３（ｂ）に示す画像および図１４（ｂ）に示す画像をそれぞれ閾値に基づいて２値化し、和をとったものに対応する。
【０１２８】
なお、唇領域特定部２０は、第１の唇色類似度Ｗｅおよび第２の唇色類似度Ｗｆのいずれか一方のみを使用して唇候補領域を特定してもよい。また、唇領域特定部２０は、第１の唇色類似度Ｗｅが閾値より大きく、かつ、第２の唇色類似度Ｗｆが別の閾値より大きい画素を唇候補領域として特定してもよい。この場合、唇候補領域を示す画像は、図１３（ｂ）に示す画像および図１４（ｂ）に示す画像をそれぞれ２値化し、積をとったものに対応する。また、唇領域特定部２０は、各画素について、２値化する前に第１の唇色類似度Ｗｅおよび第２の唇色類似度Ｗｆの和または積をとり、その結果によって唇候補領域を特定してもよい。また、唇領域特定部２０は、１−（１−Ｗｅ）×（１−Ｗｆ）が所定の閾値より大きい画素を唇候補領域として特定してもよい。唇領域特定部２０は、唇候補領域の分布から、明らかに唇ではないと判断できる箇所を、唇候補領域から除外してもよい。
【０１２９】
唇領域特定部２０は、口画像の唇候補領域から、モデル化した唇領域（第２の唇領域）を特定する（Ｓ１４）。モデル化した唇領域を特定する方法は様々で、口画像の唇候補領域の境界をモデルとなる関数（高次関数等）で近似してもよいし、唇候補領域の空間分布にあらかじめ用意した唇形状モデルをフィッティングさせて特定してもよいし、あらかじめ用意した唇形状モデルを基に、セグメンテーション技術により唇領域を特定してもよい。唇形状モデルは、唇らしい唇の形状を関数または範囲等により規定するものであり、唇の範囲を示す所定の手順で定義されてもよい。
【０１３０】
本実施形態で行うモデル化した唇領域を特定する具体的な処理について、以下に説明する。図１６（ａ）、および図１６（ｂ）は、図１５に対応し、唇候補領域を示す画像からモデル化した唇領域を特定する手順を示す画像である。水平方向にｘ軸、縦（垂直）方向にｙ軸をとる。まず、上唇について、モデル化した唇領域を特定する。既知である左右の口端点の位置から、口の水平方向における中央のｘ座標（ｘ０）を特定する。また、水平方向中央（ｘ座標＝ｘ０）において、連続して縦方向に分布する上唇の唇候補領域の上端および下端の位置から、上唇領域の縦方向の中心位置（ｙ座標ｙ０）を推定する。
【０１３１】
座標（ｘ０，ｙ０）を中心位置として、所定のサイズの矩形を、探索ブロックとして設定する（図１６（ａ））。なお、探索ブロックは、上唇の候補領域の上端および下端を含む程度に、縦方向のサイズが大きいことが好ましい。初期位置の探索ブロックにおいて、探索ブロックに含まれる唇候補領域の画素の重心位置を求め、該重心位置のｙ座標を、ｘ座標＝ｘ０における上唇の唇領域の縦方向の中心位置（ｙ座標＝ｙ１）とする。
【０１３２】
次に、探索ブロックをΔｘだけ口端点側に移動させ、座標（ｘ１，ｙ１）を中心位置として探索ブロックを設定する（図１６（ｂ））。ｘ１＝ｘ０＋Δｘである。移動させた探索ブロックに含まれる唇候補領域の画素の重心位置を求め、該重心位置のｙ座標を、ｘ座標＝ｘ１における上唇の唇領域の縦方向の中心位置（ｙ座標＝ｙ２）とする。
【０１３３】
このように探索ブロックを口端点の付近まで順次ずらして重心の計算を行うことで、上唇の唇領域の縦方向の中心位置を示す複数の点の座標（（ｘ０，ｙ１）、（ｘ１，ｙ２）、…）が得られる。探索ブロックが所定の位置（例えば口端点）に達するまで処理を続けてもよいし、唇候補領域が途切れる位置まで処理を続けてもよい。例えば、上唇の唇領域の縦方向の中心位置を示す複数の点を結ぶ曲線（二次曲線またはより高次の曲線等）を求めることで、上唇の唇領域の縦方向の中心位置を示す曲線を得ることができる。なお、下唇の唇領域の縦方向の中心位置を示す複数の点も、同様にして得ることができる。
【０１３４】
唇領域特定部２０は、唇領域の縦方向の中心位置を示す各点を中心とした、縦方向の所定の幅の範囲を、モデル化された唇領域として特定する。本実施形態では、唇領域の縦方向の中心位置を示す各点を中心とした、縦方向の所定の幅の範囲が、唇らしい形状を表す唇形状モデルであると言える。図１７は、図１６（ａ）に対応し、モデル化された唇領域を示す画像である。明るい箇所は唇領域を示す。唇候補領域からモデル化した唇形状の領域を唇領域として特定することで、ノイズ等を排除して唇らしい唇領域を特定することができる。なお、図１７に示す例では、後の唇の補正処理において口端付近の肌にまで補正処理を行わないよう、敢えて口端付近は唇領域から除いている。
【０１３５】
なお、口の水平方向中央付近において、連続して縦方向に分布する唇候補領域の上端から下端の距離を、モデル化された唇領域の縦方向の幅としてもよい。また、唇領域特定部２０は、唇領域の縦方向の中心位置を示す各点を結ぶ曲線を求め、その曲線の縦方向の所定の幅の領域を、モデル化された唇領域として特定してもよい。また、唇領域特定部２０は、口端点側に向かうほど唇領域の縦の幅が小さくなるよう、唇領域の縦方向の中心位置を示す各点に基づいて、唇領域を特定してもよい。その方が、特定した唇領域がより自然なモデルの唇形状となる。
【０１３６】
このようにして唇領域特定部２０は、唇領域を特定する。なお、唇領域特定部２０は、唇候補領域の画素を、唇領域として特定してもよい。また、唇領域特定部２０は、唇候補領域であり、かつ、モデル化された唇領域である領域（図１５の画像の領域と図１７の画像の領域の積をとった領域）のみを唇領域として特定してもよい。以上で、唇色特定処理および唇領域特定処理が完了する。
【０１３７】
次に、特定した唇領域に対して、唇艶強調補正を行う。リップグロスを塗布したように見せるために、唇の光沢（艶）を強くする。そのために、唇の一部の領域の輝度を大きくし、唇領域の色変化を全体的に滑らかにする。具体的には、唇領域の一部の画素に輝度を加算するための光沢画像を用意し、唇領域を平滑化した口画像に光沢画像を重ねる（合成する）ことで、唇領域を滑らかにし、唇の一部の光沢を強くする。
【０１３８】
図１８は、画像処理装置３１における補正処理の流れを示すフローチャートである。
【０１３９】
画像補正部２１の唇重み特定部４１は、図１７に示す唇領域の各画素位置に対して、唇の画像補正を行うための重み（補正重みＷｇ）を求める（Ｓ２１）。例えば、唇領域の中心付近では光沢増強の補正をより強くかけ、唇領域の周辺部付近（境界付近）では、光沢増強の補正をより弱くかけることで、自然な見た目の画像補正を行う。
【０１４０】
具体的には、唇重み特定部４１は、上下の各唇について、唇領域の水平方向の中心位置ほど重みが大きく、唇領域の水平方向の外側（口端点側）ほど重みが小さくなるように補正重みＷｇ（第２重み）を設定する。また、唇重み特定部４１は、上下の各唇について、唇領域の縦方向の中心位置ほど重みが大きく、唇領域の縦方向の端部ほど重みが小さくなるように補正重みＷｇを設定する。例えば、唇領域の水平方向の中心位置、かつ、縦方向の中心位置（第１位置）では、補正重みが１になり、唇領域の水平方向の中心位置、かつ、縦方向の唇領域の端部では、補正重みが０になるようにする。また、唇領域の水平方向の外側の端、かつ、縦方向の中心位置では、補正重みが０．５になり、唇領域の水平方向の外側の端、かつ、縦方向の唇領域の端部では、補正重みが０になるようにする。その間における補正重みは、例えば線形に変化させてもよい。図１９は、各水平位置での補正重みＷｇを示す図である。縦軸は唇領域の縦方向における位置、横軸は各位置の補正重みＷｇを示す。また、左側のグラフは唇領域の水平方向の中心の位置に対応するものであり、右側のグラフは唇領域の水平方向の外側の位置に対応するものである。各水平位置において、唇領域の幅の中心では補正重みＷｇが大きい。また、水平方向の中心では、補正重みＷｇが大きい。図２０は、図１７に対応し、補正重みＷｇを示す画像である。明るい箇所は補正重みＷｇが大きいことを示す。図１７に示す唇領域に対して、図２０に示す補正重みＷｇは、より唇らしく見える領域の補正重みが大きくなっていることが分かる。なお、この処理を唇領域特定部２０が行い、唇領域特定部２０が、図２０に示す画像を２値化したものを唇領域として特定してもよい。
【０１４１】
画像補正部２１の唇尤度特定部４２は、補正重みＷｇ、唇候補領域、第１の唇色類似度Ｗｅ、および第２の唇色類似度Ｗｆに基づいて、処理対象である唇候補領域（第１領域）の各画素について、唇であることの尤度を特定する（Ｓ２２）。具体的には、唇尤度特定部４２は、各画素について、補正重みＷｇ（図２０）、唇候補領域（図１７）、第１の唇色類似度Ｗｅ（図１３（ｂ））、および第２の唇色類似度Ｗｆ（図１４（ｂ））の積を補正部分評価値Ｄ３（第１器官尤度）として求める。図２１は、図２０に対応し、補正部分評価値Ｄ３を示す画像である。明るい箇所は補正部分評価値Ｄ３の値が大きいことを示す。補正重みＷｇ（０〜１）、唇候補領域（０または１）、第１の唇色類似度Ｗｅ（０〜１）、および第２の唇色類似度Ｗｆ（０〜１）が大きい、すなわち補正部分評価値Ｄ３が大きければ、その画素が唇であることが尤もらしいと言える。よって、各画素の補正部分評価値Ｄ３は、該画素が唇であることの尤度を示す。また、唇尤度特定部４２は、唇領域の中で光沢（輝度）の補正を行う光沢補正領域を特定する。唇尤度特定部４２は、補正部分評価値Ｄ３の値が所定の閾値より大きい領域（画素）を、光沢（輝度）補正の対象である光沢補正領域（第２領域）として特定する。
【０１４２】
自然な見た目の光沢補正を行うために、光沢補正領域の中でも、唇らしさが大きく、かつ、明るい一部の箇所（領域）について、より輝度が大きくなるように補正を行う。ここでは、光沢補正領域の中で補正部分評価値Ｄ３と輝度（画素の元々の輝度）との積が最大になる画素を中心として、輝度を増大させる。そのために、以下の処理では、唇領域の一部の画素の輝度を加算するための光沢画像を用意する。
【０１４３】
画像補正部２１の唇位置重み決定部４３は、正規化された口画像の光沢補正領域に含まれる各画素について、輝度と補正部分評価値Ｄ３との積を求める。図２２は、図３（ｂ）に対応し、輝度と補正部分評価値Ｄ３との積を示す画像である。明るい箇所は輝度と補正部分評価値Ｄ３との積が大きく、暗い箇所は輝度と補正部分評価値Ｄ３との積が小さいことを示す。なお、光沢補正領域ではない位置は、暗く示されている。唇位置重み決定部４３は、輝度と補正部分評価値Ｄ３との積が最大になる画素を中心とする、同心円状の位置重み（第１重み）を決定する（Ｓ２３）。この同心円状の位置重みは、中心が１で、中心からの距離が大きくなるほど小さくなる。図２２では、輝度と補正部分評価値Ｄ３との積が最大になる画素は、図に示す円の中心に位置する。
【０１４４】
画像補正部２１の唇補正量決定部４４は、光沢補正領域の各画素について、輝度と補正部分評価値Ｄ３と同心円状の位置重みとの積を求め、補正用トーンカーブの入力用輝度とする。
【０１４５】
図２３は、光沢補正領域の入力用輝度によるヒストグラムである。唇補正量決定部４４は、光沢補正領域の各画素について、入力用輝度に応じた第１補正量を求め、また、入力用輝度の値が大きい上位の所定の割合の画素について、入力用輝度に応じた第２補正量を求める（Ｓ２４）。この処理について以下に説明する。
【０１４６】
図２４（ａ）は、各画素の入力用輝度に対する第１トーンカーブを示す図であり、図２４（ｂ）は、各画素の入力用輝度に対する第２トーンカーブを示す図である。図２４（ａ）、図２４（ｂ）における横軸は入力輝度を、縦軸はトーンカーブによる出力輝度を示し、参考までに図２３のヒストグラムを重ねて表示している。なお、輝度値は０〜２５５の値をとるものとする。第１トーンカーブでは、各画素の入力用輝度値に対して、最大入力輝度２５５が最大出力輝度１２７になるように出力輝度を線形に変化させる。第１トーンカーブによる出力輝度が、第１補正量となる。
【０１４７】
第２トーンカーブでは、各画素の入力用輝度値に対して、その中で最高の入力輝度に対する出力輝度が１２８になるように、かつ、入力用輝度値の上位４％を除いた全ての画素の出力輝度が０になる。そして、第２トーンカーブでは、入力用輝度値の上位４％の画素については、その入力用輝度値に応じて出力輝度が０から１２８に線形に変化する。第２トーンカーブによる出力輝度が、第２補正量となる。
【０１４８】
唇補正量決定部４４は、第１トーンカーブを用いて、入力用輝度に比例する第１補正量を求める。また、唇補正量決定部４４は、第２トーンカーブを用いて、入力用輝度が上位の４％の画素について、入力用輝度に応じた第２補正量を求める。
【０１４９】
唇補正量決定部４４は、各画素の第１補正量および第２補正量に基づき、光沢画像を生成する（Ｓ２５）。図２５は、図２２に対応し、輝度成分のみを有する光沢画像を示す画像である。光沢画像の各画素の輝度値は、各画素の第１補正量および第２補正量の和（最大値は２５５）に、所定の補正度合い（例えば０．１）を乗じたものである。所定の補正度合いのために、光沢画像の最大輝度は、例えば２５程度になる。光沢画像の輝度値は、口画像に対する輝度の補正値となる。
【０１５０】
画像補正部２１の唇画像補正部４５は、各画素の輝度値について、図３（ａ）に示す正規化された口画像、図３（ｂ）に示す平滑化された口画像、および図２５に示す光沢画像を合成し、補正された口画像を生成する（Ｓ２６）。すなわち、唇画像補正部４５は、第１補正量および第２補正量に応じて各画素の輝度を増加させる。具体的には、唇画像補正部４５は、各画素について、平滑化された口画像（図３（ｂ））の輝度値に図２０に示す補正重みＷｇを乗じたものと、正規化された口画像（図３（ａ））の輝度値に重み（１−Ｗｇ）を乗じたものと、光沢画像（図２５）の輝度値との和を、補正された口画像の輝度値とする。図２６は、正規化された口画像、平滑化された口画像、および光沢画像の合成処理を示す図である。補正された口画像の各画素の輝度値Ｙｃは、次式で求められる。
【０１５１】
【数９】
【０１５２】
ここで、Ｙｆは平滑化された口画像の画素の画素値を示し、Ｙｎは正規化された口画像の画素の画素値を示し、Ｙｇは光沢画像の画素の画素値を示す。なお、補正重みＷｇは、０から１の値をとる。また、加算の結果の輝度値Ｙｃが最大輝度２５５を越えるときは、その画素の輝度値を２５５にする。唇領域について平滑化された口画像を合成することで、唇領域の輝度変化を滑らかにし、唇領域に光沢画像を合成することで、唇領域の光沢を増強させることができる。なお、ここでは唇画像補正部４５は、色相および彩度については、補正しない。
【０１５３】
次に、合成部２２は、補正された口画像を正規化する前の元のサイズに戻し（必要に応じて補正された口画像を回転および拡大・縮小させ）、処理対象の画像（顔画像）に合成し、補正された画像を生成する（Ｓ２７）。このようにして、処理対象の画像における唇等の見た目が補正された画像が得られる。
【０１５４】
図２７（ａ）は、補正前の顔画像の一部を示す画像であり、図２７（ｂ）は、補正後の顔画像の一部を示す画像である。上下の唇全体の見た目が滑らかになり、下唇の一部の光沢が増強されていることが分かる。なお、図２７（ｂ）では、以下で説明する歯のホワイトニング処理の補正も適用されている。
【０１５５】
表示制御部２３は、補正処理後の画像を表示装置５に表示させ、補正処理を終了する。
【０１５６】
＜唇補正のまとめ＞
本実施形態の画像処理装置３１によれば、唇と肌とを含む口画像の輝度を除いた色相および彩度の情報に基づいて、様々な色であり得る唇の代表色を特定し、特定した唇の代表色に基づいて唇領域を正確に特定することができる。そして、特定した唇領域に補正処理を行うことで、画像の中の人物の唇に、適切な補正処理を施すことができる。
【０１５７】
従来の画像処理では、輝度の情報を用いて唇の領域を検出するのが当然と考えられていた。それは、輝度に基づいて唇の領域を検出する利点があることに起因する。この理由としては、以下を挙げることができる。
【０１５８】
第１に、輝度に基づく方法は、グレースケール画像にも適用できることが挙げられる。
【０１５９】
第２に、一般に、口画像のＹ成分は、Ｃｂ成分およびＣｒ成分に比べ、エッジが明瞭であり、Ｙ成分を用いると唇等のエッジが検出しやすいことが挙げられる。図２８（ａ）は、図３（ａ）に対応し、正規化された口画像のＣｂ成分の値を示す画像であり、図２８（ｂ）は、図３（ａ）に対応し、正規化された口画像のＣｒ成分の値を示す画像である。明るい箇所は各成分の値が大きいことを示す。ＣｂＣｒ成分を示す図２８（ａ）および図２８（ｂ）と、輝度Ｙを示す図３（ａ）とを比較すると、輝度Ｙを示す画像の方が、より唇のエッジを鮮明に見分けることができる。
【０１６０】
このように、従来において、照明条件等がよい場合は、輝度に基づいて唇の領域および唇の色を特定することができた。一方で、照明条件等が悪い場合（部分的に影ができる場合、または照明が強すぎる場合等）は、従来のように輝度に基づいて唇の領域および唇の色を特定すると、誤検出が多くなり、正確に唇の領域および唇の色を特定することができないことがある。
【０１６１】
また、唇の色（色相等）が既知である場合に、色相または彩度によって唇の領域を特定することは、従来から行われていた。また、一般的な方法で、顔の広い範囲に分布する肌の色を検出する場合と異なり、唇という顔の中の狭い領域の色を同様の方法で検出するのは困難である場合が多い。
【０１６２】
これに対して、本実施形態の画像処理装置３１によれば、唇の色が既知ではなく、かつ、唇の領域も既知ではない場合に、唇の代表色を特定し、唇の領域を特定することができる。画像処理装置３１は、色相と彩度における差に応じて、肌の色および歯の色とは異なる（差が大きい）候補色を唇の代表色として特定する。そのため、影、照明または化粧等により、画像における肌と唇とが同色相である場合においても、また、画像における肌の色が場所によって大きく異なっている場合においても、肌および歯と唇とを正確に区別し、唇の代表色を特定することができる。また、肌の色の分散等を考慮して各候補色が唇の色である度合いを求めるので、より適切な唇色度合いを求めることができる。ここで、色相および彩度における差とは、２つの色の色相彩度平面（ＣｂＣｒ平面）における違いを指し、色相の違い、彩度の違い、および、色相彩度平面における距離等が含まれる。
【０１６３】
また、画像処理装置３１は、肌の色との色相および彩度による差に応じて複数の候補色を選択し、その中からより唇の色らしい（例えば彩度が大きい）候補色を唇の代表色として選択する。そのため、より正確に唇の代表色を特定することができる。
【０１６４】
また、画像処理装置３１は、唇の代表色と各画素との色相と彩度における差に応じて、唇の代表色に類似する領域を唇領域として特定する。比較的明るい照明環境の元で撮影された画像の場合、唇の一部が白っぽくなることがある。唇の白っぽくなった艶領域は彩度が小さく、一方で唇の他の領域は彩度が大きいので、艶領域とそれ以外の唇領域の色のＣｂＣｒ平面における距離は大きくなる。しかしながら、艶領域も色相は変化しないため、色相を考慮することで艶領域も正確に唇領域と判定することができる。一方で、肌と唇とが同色相であった場合でも、唇の代表色と各画素とのＣｂＣｒ平面における距離を考慮することで、正確に唇領域を特定することができる。
【０１６５】
また、画像処理装置３１は、唇の代表色に類似する画素（唇候補領域の画素）の空間分布に基づき、所定の唇形状のモデル等を適用し、唇らしい形状を構成する画素および／または唇らしい位置にある画素を、モデル化された唇領域として特定する。唇以外で唇の代表色に類似した領域がある場合、唇候補領域の中から唇の領域のみを判別する必要がある。そこで、唇形状のモデルを唇候補領域に適合させる（フィットさせる）ことにより、唇候補領域から唇らしい位置にある画素のみを唇領域として特定することができる。また、照明条件等により、唇の一部が唇の代表色に類似していない場合でも、唇形状のモデルを唇候補領域に適合させた場合に唇形状のモデルに含まれる画素を、唇領域として特定することができる。よって、撮影時に白く輝いたりして色相・彩度の情報が失われた唇の領域も、正確に唇領域として特定することができる。
【０１６６】
このように、本実施形態の画像処理装置３１によれば、悪条件下で撮影された画像に対しても、正確に唇の代表色を特定し、唇領域を特定することができる。
【０１６７】
また、画像処理装置３１は、唇らしさを表す補正部分評価値Ｄ３と、特定の位置（第１位置）を中心とした位置重みとの積に応じて唇の補正量（光沢画像）を決定する。唇である尤度が低い箇所、または特定の位置から離れた箇所の補正量は小さくなるので、補正を行う領域の境界付近での補正量を小さくすることができる。それゆえ、唇の境界が不自然に強調されることを防ぎながら、唇の領域に対して適切に（見た目が自然な）補正を行うことができる。
【０１６８】
＜歯補正の画像処理フロー＞
以下に、デジタルカメラ３０における歯のホワイトニングの画像補正処理の流れについて説明する。なお、唇領域を特定するまでの処理（図６に示す処理）は、上記唇補正の場合と同様である。
【０１６９】
図２９は、画像処理装置３１における口内領域特定処理および補正処理（歯のホワイトニング処理）の流れを示すフローチャートである。画像処理装置３１は、歯の領域の輝度を大きくすることにより、画像の中の歯を白く輝いて見えるように補正する。
【０１７０】
まず、口内部領域特定部３２は、唇領域特定部２０が特定した上の唇領域および下の唇領域の間の領域を、口内部領域（処理対象領域、第１領域）として特定する（Ｓ３１）。具体的には、図１７に示す上下の唇領域に挟まれる領域を、口内部領域とする。口画像の口内部領域に、歯の領域が含まれていると考えられる。
【０１７１】
歯候補色特定部３３は、口画像の口内部領域の少なくとも一部を、複数の領域に分割し、分割された各領域の代表色を、歯の色の複数の候補色（歯候補色）として特定する（Ｓ３２）。ここでは、各領域について、該領域の平均色を、歯候補色とする。
【０１７２】
歯代表色特定部３４は、各歯候補色の彩度を比較し、最も彩度の小さい歯候補色を歯の代表色として特定する（Ｓ３３）。なお、歯の代表色として、所定の色（例えば白）を用いてもよい。
【０１７３】
画像補正部２１の歯色類似度特定部５１は、口内部領域の各画素について、歯の代表色との類似度合いを求める（Ｓ３４）。具体的には、歯色類似度特定部５１は、各画素の色と歯の代表色との色空間における距離に応じた歯色類似度Ｗｉを求める。歯色類似度Ｗｉは、口内部領域の各画素の色と歯の代表色との類似度を表す。つまり、歯色類似度Ｗｉが大きいということは、その画素が歯であることの尤度が大きいということである。
【０１７４】
色空間における距離に応じた歯色類似度Ｗｉは、次式で求めることができる。
【０１７５】
【数１０】
【０１７６】
ここで、Ｙｔ、Ｃｂｔ、Ｃｒｔは、それぞれ歯の代表色の輝度Ｙ成分、Ｃｂ成分、Ｃｒ成分であり、Ｙ、Ｃｂ、Ｃｒは、それぞれ各画素の色のＹ成分、Ｃｂ成分、Ｃｒ成分である。また、σｙｔ、σｂｔ、σｒｔは、それぞれ色空間のＹ軸における歯の色の標準偏差、Ｃｂ軸における歯の色の標準偏差、Ｃｒ軸における歯の色の標準偏差である。歯の色の標準偏差は、歯の代表色（最終的に歯の代表色として特定された歯候補色）に対応する領域（歯候補色特定部３３が分割した領域）の各画素の色から求めることができる。なお、暗い画素は歯の領域の白っぽい画素と同様に、色相および彩度が小さくなる。そのため、歯色類似度Ｗｉを求める際に輝度Ｙを考慮し、暗い画素は歯色類似度Ｗｉが低くなるようにしている。図３１は、図３（ｂ）に対応し、口画像の各画素の色を式（１０）に当てはめて歯色類似度Ｗｉを計算した結果を示す画像である。明るい箇所は歯色類似度Ｗｉが大きく、暗い箇所は歯色類似度Ｗｉが小さいことを示す。これによれば、歯の領域は歯色類似度Ｗｉが大きいことが分かる。口内部領域の歯以外の領域、すなわち、歯肉や口の奥、および舌等は、歯色類似度Ｗｉが小さくなっている。
【０１７７】
画像補正部２１の歯位置重み決定部５２は、口内部領域の各画素位置に対して、歯の画像補正を行うための重み（補正重みＷｈ）を求める（Ｓ３５）。例えば、口内部領域の口端点に近い領域は、口の内部で陰になっていることが多いと考えられる。そのため、歯を白くする補正処理は、口内部領域の水平方向（左右の口端点が並ぶ方向）の中央付近についてより重点的に行えばよい。これにより、自然な見た目の画像補正を行う。
【０１７８】
具体的には、歯位置重み決定部５２は、口内部領域の水平方向の中心位置ほど重みが大きく、口内部領域の水平方向の外側（口端点側）ほど重みが小さくなるように補正重みＷｈ（第１重み）を設定する。例えば、口内部領域の左右の口端点を結ぶ線分の垂直二等分線上の位置（水平方向の中心位置）では、補正重みＷｈが１になり、口内部領域の水平方向の外側の端では、補正重みＷｈが０になるようにする。補正重みは、上記垂直二等分線からの距離に応じて、例えば線形に変化させてもよい。言い換えると、画像補正部２１は、口内部領域の水平方向の中心を通る線（２つの口端点を結ぶ線分の垂直二等分線）からの距離に応じて、該距離が大きくなるほど補正重みＷｈが小さくなるように補正重みＷｈを決定する。図３０は、図１７に対応し、口内部領域および口内部領域の補正重みＷｈを示す画像である。明るい箇所は補正重みＷｈが大きいことを示す。
【０１７９】
なお、上記に限らず、歯位置重み決定部５２は、口内部領域の特定の位置（点または線を示す第１位置）からの距離が大きくなるほど補正重みＷｈが小さくなるように補正重みＷｈを決定してもよい。例えば、歯位置重み決定部５２は、口内部領域の重心または中心（例えば口内部領域に外接する矩形の中心）を上記特定の位置と設定してもよい。また、歯位置重み決定部５２は、口内部領域の重心または中心を通る線上の位置を上記特定の位置と設定してもよい。
【０１８０】
また、例えば、画像の中の顔が正面を向いておらず、口が少し横向きになっていることがある。歯位置重み決定部５２は、特徴検出部１３によって検出された顔の特徴等から顔の向きを特定してもよい。それにより、歯位置重み決定部５２は、その顔の口の中心と考えられる位置（画像上の口端点の中心ではなく、実際の口の中央を表していると考えられる画像上の点または線）を上記特定の位置として設定し、該特定の位置からの距離に応じて補正重みＷｈを決定してもよい。顔の向きが正面ではない場合に、実際の口の中心の補正重みＷｈを大きくする（すなわち、歯の輝度を大きくする）ことにより、より自然な補正を行うことができる。なお、顔の特徴点から顔の向きを特定し、実際の口の中心を特定する方法として、公知の技術を利用することができる（非特許文献１参照）。例えば、三次元の顔モデルに顔の特徴点をフィッティングさせることにより顔（顔モデル）の向きを特定し、顔モデルの口の特徴点から、画像上の対応する点（実際の口の中央を示す点）を特定することができる。
【０１８１】
また、例えば、歯位置重み決定部５２は、口内部領域における最も輝度が大きい位置（画素）、または、最も歯色類似度Ｗｉが大きい位置（画素）を上記特定の位置に設定し、該特定の位置からの距離に応じて補正重みＷｈを決定してもよい。または、歯位置重み決定部５２は、口内部領域における歯色類似度Ｗｉが所定の閾値（第１閾値）よりも大きい領域の重心または中心を上記特定の位置に設定してもよい。
【０１８２】
自然な見た目の歯光沢補正を行うために、以下の処理では、歯領域の画素の輝度を加算するための歯光沢画像を用意する。
【０１８３】
画像補正部２１の歯補正量決定部５３は、口内部領域について、口内部領域の補正重みＷｈ、歯色類似度Ｗｉ、第１の唇色類似度Ｗｅ（第２器官尤度）、および第２の唇色類似度Ｗｆ（第２器官尤度）に基づいて、歯光沢画像を生成する（Ｓ３６）。具体的には、各画素について、口内部領域の補正重みＷｈおよび歯色類似度Ｗｉの積をとったものに、（１−Ｗｅ）および（１−Ｗｆ）を乗じ、さらに所定の補正度合い（例えば２０）を乗じた画像を、歯光沢画像として生成する。歯光沢画像の各画素値は、補正に用いる各位置の補正量を表す。
【０１８４】
図３２は、図１３（ｂ）に対応し、各画素の（１−Ｗｅ）の値を示す画像である。図３３は、図１４（ｂ）に対応し、各画素の（１−Ｗｆ）の値を示す画像である。図３４は、図３１に対応し、歯光沢画像を示す画像である。明るい箇所は値が大きいことを示す。なお、口内部領域の補正重みＷｈ、歯色類似度Ｗｉ、第１の唇色類似度Ｗｅ、および第２の唇色類似度Ｗｆは、０から１の値をとる。例えば補正度合いが２０の場合、歯光沢画像の各画素は、０から２０の値をとる。歯光沢画像の各画素の値が、口画像を補正する際の輝度の補正値（補正量）となる。なお、口内部領域の補正重みＷｈと歯色類似度Ｗｉとの積をとることにより、口内部領域の歯である領域の水平方向中央付近の補正の重みを大きくすることができる。なお、口内部領域の補正重みＷｈと歯色類似度Ｗｉとの積に限らず、口内部領域の補正重みＷｈおよび歯色類似度Ｗｉが大きくなるほど補正量（歯光沢画像の各画素の値）が大きくなるように、補正値を決定すればよい。
【０１８５】
画像において口が開いているのに歯が見えていない場合に、舌等の色を歯の代表色と特定してしまうことがある。舌の色は唇の色に比較的類似していると考えられる。このような場合に、舌の色を明るく補正することがないよう、（１−Ｗｅ）および（１−Ｗｆ）を考慮することによって、唇に類似した色相・彩度の領域（例えば舌）を補正しないようにすることができる。
【０１８６】
画像補正部２１の歯画像補正部５４は、各画素の輝度値について、図３（ａ）に示す正規化された口画像、および図３４に示す歯光沢画像を合成し、補正された口画像を生成する（Ｓ３７）。具体的には、歯画像補正部５４は、各画素について、正規化された口画像（図３（ａ））の輝度値と、歯光沢画像（図３４）の輝度値との和を、補正された口画像の輝度値とする。また、加算の結果の輝度値が最大輝度２５５を越えるときは、その画素の輝度値を２５５にする。歯光沢画像の各画素値は、輝度の補正値であると言える。なお、本実施形態では歯のホワイトニング補正処理のために、補正量に応じて輝度を増加させる補正を行うが、例えば、補正量に応じて特定の色を合成する、または特定の色を増強（特定の色相の彩度の値を増加）させてもよい。
【０１８７】
合成部２２は、補正された口画像を処理対象の画像（顔画像）に合成する。以降の処理は上記唇補正の場合と同様である。
【０１８８】
図２７（ａ）と図２７（ｂ）を比較すると、図２７（ｂ）に示す補正後の顔画像の一部を示す画像では、歯の特に水平方向の中央の領域の輝度が上がっていることが分かる。
【０１８９】
＜歯補正のまとめ＞
本実施形態の画像処理装置３１によれば、唇領域に基づいて、口内部領域を正確に特定することができる。そして、口内部領域の中の歯である度合いが大きい領域に対して補正処理を行うことで、画像の中の人物の歯に、適切な補正処理を施すことができる。また、口内部領域の特定の位置（水平方向中央）からの距離に応じて、補正重みＷｈを変化させることにより、口端点付近の口内部領域の境界での輝度の補正量を小さくすることができる。それゆえ、口内部領域の境界が不自然に強調されることを防ぎながら、歯の領域に対して適切に（見た目が自然な）補正を行うことができる。
【０１９０】
また、図３４に示す歯光沢画像において、明るい箇所は歯である度合いが大きい箇所を示している。そのため、歯光沢画像は、歯の領域を示していると言える。このように、本実施形態によれば、正確に歯の領域を特定することができる。画像処理装置３１は、歯光沢画像の画素値が所定の閾値以上である領域を歯の領域として特定する歯領域特定部を備えてもよい。
【０１９１】
最後に、画像処理装置３１の各ブロック、特に画像取得部１１、顔検出部１２、特徴検出部１３、適否判定部１４、口画像正規化部１５、平滑化部１６、肌代表色特定部１７、候補色特定部１８、唇代表色特定部１９、唇領域特定部２０、画像補正部２１、合成部２２、表示制御部２３、口内部領域特定部３２、歯候補色特定部３３、歯代表色特定部３４、歯色類似度特定部５１、歯位置重み決定部５２、歯補正量決定部５３、および歯画像補正部５４は、ハードウェアロジックによって構成してもよいし、次のようにＣＰＵ（central processing unit）を用いてソフトウェアによって実現してもよい。
【０１９２】
すなわち、画像処理装置３１は、各機能を実現する制御プログラムの命令を実行するＣＰＵ、上記プログラムを格納したＲＯＭ（read only memory）、上記プログラムを展開するＲＡＭ（random access memory）、上記プログラムおよび各種データを格納するメモリ等の記憶装置（記録媒体）などを備えている。そして、本発明の目的は、上述した機能を実現するソフトウェアである画像処理装置３１の制御プログラムのプログラムコード（実行形式プログラム、中間コードプログラム、ソースプログラム）をコンピュータで読み取り可能に記録した記録媒体を、上記画像処理装置３１に供給し、そのコンピュータ（またはＣＰＵやＭＰＵ（microprocessor unit））が記録媒体に記録されているプログラムコードを読み出し実行することによっても、達成可能である。
【０１９３】
上記記録媒体としては、例えば、磁気テープやカセットテープ等のテープ系、フロッピー（登録商標）ディスク／ハードディスク等の磁気ディスクやＣＤ−ＲＯＭ（compact disc read-only memory）／ＭＯ（magneto-optical）／ＭＤ（Mini Disc）／ＤＶＤ（digital versatile disk）／ＣＤ−Ｒ（CD Recordable）等の光ディスクを含むディスク系、ＩＣカード（メモリカードを含む）／光カード等のカード系、あるいはマスクＲＯＭ／ＥＰＲＯＭ（erasable programmable read-only memory）／ＥＥＰＲＯＭ（electrically erasable and programmable read-only memory）／フラッシュＲＯＭ等の半導体メモリ系などを用いることができる。
【０１９４】
また、画像処理装置３１を通信ネットワークと接続可能に構成し、上記プログラムコードを通信ネットワークを介して供給してもよい。この通信ネットワークとしては、特に限定されず、例えば、インターネット、イントラネット、エキストラネット、ＬＡＮ（local area network）、ＩＳＤＮ（integrated services digital network）、ＶＡＮ（value-added network）、ＣＡＴＶ（community antenna television）通信網、仮想専用網（virtual private network）、電話回線網、移動体通信網、衛星通信網等が利用可能である。また、通信ネットワークを構成する伝送媒体としては、特に限定されず、例えば、ＩＥＥＥ（institute of electrical and electronic engineers）１３９４、ＵＳＢ、電力線搬送、ケーブルＴＶ回線、電話線、ＡＤＳＬ（asynchronous digital subscriber loop）回線等の有線でも、ＩｒＤＡ（infrared data association）やリモコンのような赤外線、Ｂｌｕｅｔｏｏｔｈ（登録商標）、８０２．１１無線、ＨＤＲ（high data rate）、携帯電話網、衛星回線、地上波デジタル網等の無線でも利用可能である。
【０１９５】
本発明は上述した実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能である。すなわち、請求項に示した範囲で適宜変更した技術的手段を組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。
【産業上の利用可能性】
【０１９６】
本発明は、画像処理装置を備えるデジタルカメラ等に利用することができる。
【符号の説明】
【０１９７】
２ 指示入力装置
３ 撮像装置
４ 画像記憶装置
５ 表示装置
１１ 画像取得部（指示受領部）
１２ 顔検出部
１３ 特徴検出部
１４ 適否判定部
１５ 口画像正規化部
１６ 平滑化部
１７ 肌代表色特定部
１８ 候補色特定部
１９ 唇代表色特定部
２０ 唇領域特定部（第２器官尤度特定部）
２１ 画像補正部
２２ 合成部
２３ 表示制御部
３０ デジタルカメラ
３１ 画像処理装置
３２ 口内部領域特定部
３３ 歯候補色特定部
３４ 歯代表色特定部
４１ 唇重み特定部（第２重み決定部）
４２ 唇尤度特定部（第１器官尤度特定部）
４３ 唇位置重み決定部（第１重み決定部）
４４ 唇補正量決定部（補正量決定部）
４５ 唇画像補正部（画像補正部）
５１ 歯色類似度特定部（第１器官尤度特定部）
５２ 歯位置重み決定部（第１重み決定部）
５３ 歯補正量決定部（補正量決定部）
５４ 歯画像補正部（画像補正部）
【技術分野】
【０００１】
本発明は、画像処理装置および画像処理方法に関し、特に顔画像の補正を行う画像処理装置および画像処理方法に関する。
【背景技術】
【０００２】
写真または映像等の画像に人物の顔が含まれる場合、その画像に含まれる顔は画像の観察者の注意を引く部分であることが多い。従来から、画像に含まれる顔の見栄えが良くなるよう、顔画像を補正または調整する技術がある。
【０００３】
例えば、特許文献１には、上下の唇の輪郭を抽出し、検出した上下の唇の内側の輪郭に囲まれる部分を、歯に対応する部分として特定し、歯に対応する部分の明るさを調整する技術が開示されている。例えば歯に対応する部分の画素値を明るくし、顔の見栄えを良くすることができる。特許文献１の技術では、歯に対応する部分を特定するために、画像の各画素の輝度値の変化から、唇の輪郭を検出している。具体的には、口領域において縦方向（顔の高さ方向）の検出線を複数定義し、各検出線に沿って画素の輝度値の変化を調べ、比較的輝度値の変化が大きな点を唇の輪郭点として特定する。そして、特定した輪郭点の空間分布から、上下の唇の外側の輪郭および内側の輪郭に対応する輪郭点を特定し、上下の唇の内側の輪郭に囲まれる領域を口の内部として特定し、そこに歯に対応する領域があるとみなす。口の内部の領域における輝度値についてのヒストグラムを作成すると、いくつもの山が現れる。特許文献１によれば、最大輝度値に最も近いヒストグラムの極小値より大きい輝度を有する画素を歯とみなす。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００９−２３１８７９号公報（２００９年１０月８日公開）
【非特許文献】
【０００５】
【非特許文献１】T. Cootes, G. Edwards, and C. Taylor、「Active appearance models」、IEEE、Transactions on Pattern Analysis and Machine Intelligence、June 2001、23(6)、pp.681-685
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、上記従来の構成では、以下の問題を生じる。
【０００７】
唇または歯の補正をする領域を特定するために、まず唇の輪郭を検出することが考えられる。しかしながら、特許文献１の技術を用いて唇の輪郭を検出するためには、照明条件が良い顔画像を用意する必要があった。画像の輝度値は、照明等の撮影環境に依存して大きく変化する。例えば逆光の条件で撮影された顔画像では、顔の部分に光が当たらず、顔全体が暗くなる。そのため、画素毎の輝度値の変化が小さくなり、唇の輪郭部分の輝度値の変化も小さくなり、輪郭点の特定が困難になる（誤検出をしやすくなる）という問題が生じる。また屋内等の低照度下で撮影された場合、ノイズが相対的に大きくなり、唇の輪郭点の特定がさらに困難になる。
【０００８】
一方、顔に光が当たっている照明条件で撮影された場合、唇の輪郭部分の輝度値の変化が大きく、輪郭点の特定はしやすくなる。しかしながら、光の当たり方によっては顔の凹凸によって陰影ができ、唇の輪郭における輝度値の変化より大きな輝度変化が陰影の境界部分に生じる。その結果、陰影の境界と唇の輪郭との区別が困難になる。
【０００９】
また、顔に光が強く当たっている照明条件で撮影された場合、顔全体が白っぽくなる（輝度が大きくなる）。そのため、唇の輪郭付近が白っぽくなり、輪郭部分の輝度値の変化が小さくなり、輪郭点の特定が困難になる。また、口紅やリップグロスに当たった光の反射（艶）により、艶の領域の境界に大きな輝度変化が生じた場合、輪郭と艶の境界との区別が困難になり、誤検出しやすくなる。
【００１０】
また、特許文献１の技術では、唇の輪郭から特定した口内領域において輝度がある値よりも大きい画素を補正対象として特定し、補正対象の画素に対して、一様にトーンカーブを適用して、輝度を増加させる。この場合、輝度を増加させる補正によって、補正対象と判定された領域とそれ以外の領域との境界が、不自然に強調されて見えるという問題が生じる。
【００１１】
本発明は、上記の問題点に鑑みてなされたものであり、その目的は、処理対象の領域の境界が不自然に強調されないように処理対象の器官に適切に補正を行う画像処理を実現することにある。
【課題を解決するための手段】
【００１２】
本発明に係る画像処理装置は、人物の口を含む顔画像について画像処理を行う画像処理装置であって、上記顔画像の少なくとも口の一部を含む第１領域の各位置について、該位置の色と処理対象である器官の代表色である第１代表色との差に基づいて、該位置が上記器官であることの尤度を第１器官尤度として特定する第１器官尤度特定部と、上記第１領域の各位置について、上記第１領域の第１位置からの距離が大きいほど第１重みが小さくなるように上記第１重みを決定する第１重み決定部と、上記第１器官尤度および上記第１重みが大きいほど補正量が大きくなるように該位置の上記補正量を決定する補正量決定部と、上記補正量を用いて画像を補正する画像補正部とを備えることを特徴としている。
【００１３】
本発明に係る画像処理方法は、人物の口を含む顔画像についての画像処理方法であって、上記顔画像の少なくとも口の一部を含む第１領域の各位置について、該位置の色と処理対象である器官の代表色である第１代表色との差に基づいて、該位置が上記器官であることの尤度を第１器官尤度として特定する第１器官尤度特定ステップと、上記第１領域の各位置について、上記第１領域の第１位置からの距離が大きいほど第１重みが小さくなるように上記第１重みを決定する第１重み決定ステップと、上記第１器官尤度および上記第１重みが大きいほど補正量が大きくなるように該位置の上記補正量を決定する補正量決定ステップと、上記補正量を用いて画像を補正する画像補正ステップとを備えることを特徴としている。
【００１４】
上記の構成によれば、第１領域の各位置における第１器官尤度および第１重みが大きいほど、該位置における補正量が大きくなる。第１器官尤度が大きければ、その位置が処理対象である器官である度合いが大きいと考えられる。よって、処理対象である器官と考えられ、かつ、第１位置に近い位置の補正量を大きくし、処理対象である器官ではない位置、または、第１位置から遠い位置の補正量を小さくすることができる。そのため、第１位置に近い位置の処理対象である器官の領域を主に補正し、第１領域の第１位置から遠い境界付近の補正量を小さくできる。それゆえ、第１領域の境界が不自然に強調されることを防ぎながら、処理対象である器官の領域に対して適切に補正を行うことができる。
【００１５】
処理対象の器官は、例えば唇または歯であってよい。
【００１６】
また、上記補正量は、上記第１器官尤度および上記第１重みの積に比例してもよい。
【００１７】
また、上記第１器官尤度特定部は、色空間の色相彩度平面における上記第１代表色と上記第１領域の各位置の色との間の距離に応じて、上記第１器官尤度を特定してもよい。
【００１８】
また、上記第１器官尤度特定部は、色空間の色相彩度平面における上記第１代表色と上記第１領域の各位置の色との間の距離と、上記第１代表色と該位置の色との色相の差とに応じて、上記第１器官尤度を特定してもよい。
【００１９】
また、上記第１器官尤度特定部は、色空間における上記第１代表色と上記第１領域の各位置の色との距離に応じて、上記第１器官尤度を特定してもよい。
【００２０】
また、上記第１位置は上記第１領域の中の線を示し、上記第１重み決定部は、上記第１位置が示す線からの距離が大きいほど上記第１重みが小さくなるように上記第１重みを決定する構成であってもよい。
【００２１】
また、上記第１位置は、上記第１領域の重心または中心を通る線を示すものであってもよい。
【００２２】
上記の構成によれば、第１領域の重心または中心の補正量を大きくし、そこから離れた端の補正量を小さくすることができる。例えば、口の中に見える歯は、口端点に近い領域では唇の陰になることが多い。そのため、処理対象領域の重心または中心に近い歯の補正量を大きくすることにより、より自然な補正を行うことができる。
【００２３】
また、上記第１位置が示す線は、２つの口端点を結ぶ線に対して垂直であってもよい。
【００２４】
上記の構成によれば、口の中心付近を主に補正して、より自然な補正を行うことができる。
【００２５】
また、上記第１位置は上記第１領域の中の点を示し、上記第１重み決定部は、上記第１位置が示す点からの距離が大きいほど上記第１重みが小さくなるように上記第１重みを決定する構成であってもよい。
【００２６】
また、上記第１重み決定部は、上記第１領域における上記第１器官尤度と輝度との積が最も大きい位置を上記第１位置とする構成であってもよい。
【００２７】
また、上記第１位置は、上記第１領域の重心または中心を示すものであってもよい。
【００２８】
また、上記第１位置は、上記第１領域における上記第１器官尤度が第１閾値以上である領域の重心または中心を示すものであってもよい。
【００２９】
上記の構成によれば、例えば唇または歯と考えられる領域の重心または中心の補正量を大きくすることができる。よって、より自然な補正を行うことができる。
【００３０】
また、上記第１位置は、上記顔画像における人物の顔の向きに応じた実際の口の中心位置を示すものであってもよい。
【００３１】
上記の構成によれば、顔の向きが正面ではない場合に、実際の口の中心の補正量を大きくすることができる。よって、より自然な補正を行うことができる。
【００３２】
また、上記画像補正部は、上記補正量が大きいほど対応する上記第１領域の位置の輝度を大きく増加させてもよい。
【００３３】
上記の構成によれば、例えば顔画像の歯を自然な見た目で白く補正することができる。また、例えば、唇の光沢を自然な見た目で増すことができる。
【００３４】
また、上記補正量決定部は、上記第１領域の各位置について、上記第１器官尤度、上記第１重みおよび輝度が大きいほど補正量が大きくなるように上記補正量を決定する構成であってもよい。
【００３５】
また、上記画像補正部は、上記第１器官尤度が第２閾値以上である第２領域を補正領域とし、上記補正領域の画像を上記補正値を用いて補正してもよい。
【００３６】
また、上記画像処理装置は、上記第１領域の各位置について、該位置の色と処理対象ではない別の器官の代表色である第２代表色との差に基づいて、該位置の第２器官尤度を特定する第２器官尤度特定部を備え、上記補正量決定部は、上記第１器官尤度および上記第１重みが大きいほど上記補正量が大きくなるように、かつ、上記第２器官尤度が小さいほど上記補正量が大きくなるように上記補正量を決定する構成であってもよい。
【００３７】
上記の構成によれば、処理対象ではない別の器官と考えられる領域の補正量を小さくすることができる。そのため、例えば、歯の領域の周囲に存在する唇または歯肉または舌の領域を補正することを防止し、歯の領域を適切に補正することができる。
【００３８】
また、処理対象である上記器官は唇であり、左右の口端点を結ぶ線分の垂直二等分線上にあり、かつ、上記第１領域の内側のある点を第２位置として、上記画像処理装置は、上記第１領域の各位置について、上記第２位置で第２重みが最大となるように、かつ、上記第１領域の境界の少なくとも一部で上記第２重みが最小となるように、上記第２重みを決定する第２重み決定部を備え、上記第１器官尤度特定部は、上記第１領域の各位置について、上記第２重みが小さいほど上記第１器官尤度を小さくする構成であってもよい。
【００３９】
上記の構成によれば、唇の中央位置について補正量を大きくし、唇の境界付近での補正量を小さくすることができる。よって、唇領域の境界が不自然に強調されることを防ぎながら、唇領域に対して適切に補正を行うことができる。
【００４０】
なお、上記画像処理装置は、一部をコンピュータによって実現してもよく、この場合には、コンピュータを上記各部として動作させることにより上記画像処理装置をコンピュータにて実現させる制御プログラム、および上記制御プログラムを記録したコンピュータ読み取り可能な記録媒体も、本発明の範疇に入る。
【発明の効果】
【００４１】
以上のように、本発明によれば、第１位置に近い位置の処理対象である器官の領域を主に補正し、第１領域の第１位置から遠い境界付近の補正量を小さくできる。それゆえ、第１領域の境界が不自然に強調されることを防ぎながら、処理対象である器官の領域に対して適切に補正を行うことができる。
【図面の簡単な説明】
【００４２】
【図１】本発明の一実施形態に係る画像補正部の構成を示すブロック図である。
【図２】本発明の一実施形態に係るデジタルカメラの概略構成を示すブロック図である。
【図３】（ａ）は、正規化された口領域の画像を示す画像であり、（ｂ）は、平滑化された口領域の画像を示す画像である。
【図４】口画像における複数の領域を示す図である。
【図５】ＣｂＣｒ平面において、唇色の候補となる色の範囲を単純化して示す図である。
【図６】本実施形態の唇色特定処理および唇領域特定処理の流れを示すフローチャートである。
【図７】（ａ）は、候補色と肌の代表色とのＣｂＣｒ平面における距離と、重みＷａとの関係を示す図であり、（ｂ）は、図３（ｂ）に対応し、候補色の代わりに口画像の各画素の重みＷａを計算した結果を示す画像である。
【図８】（ａ）は、候補色と肌の代表色とのＣｂＣｒ平面における色相と、重みＷｂとの関係を示す図であり、（ｂ）は、図３（ｂ）に対応し、候補色の代わりに口画像の各画素の重みＷｂを計算した結果を示す画像である。
【図９】図３（ｂ）に対応し、候補色の代わりに口画像の各画素の重みＷｃを計算した結果を示す画像である。
【図１０】図３（ｂ）に対応し、候補色の代わりに口画像の各画素の画素値から唇色度合いＤ１を計算した結果を示す画像である。
【図１１】図３（ｂ）に対応し、候補色の代わりに口画像の各画素の重みＷｄを計算した結果を示す画像である。
【図１２】図３（ｂ）に対応し、候補色の代わりに口画像の各画素の画素値から候補評価値Ｄ２を計算した結果を示す画像である。
【図１３】（ａ）は、各画素の色と唇の代表色とのＣｂＣｒ平面における距離と、第１の唇色類似度Ｗｅとの関係を示す図であり、（ｂ）は、図３（ｂ）に対応し、口画像の各画素の第１の唇色類似度Ｗｅを計算した結果を示す画像である。
【図１４】（ａ）は、各画素の色と唇の代表色とのＣｂＣｒ平面における色相と、第２の唇色類似度Ｗｆとの関係を示す図であり、（ｂ）は、図３（ｂ）に対応し、口画像の各画素の第２の唇色類似度Ｗｆを計算した結果を示す画像である。
【図１５】図３（ｂ）に対応し、唇候補領域に分類された画素を示す画像である。
【図１６】（ａ）および（ｂ）は、図１５に対応し、唇候補領域を示す画像からモデル化した唇領域を特定する手順を示す画像である。
【図１７】図１６（ａ）に対応し、モデル化された唇領域を示す画像である。
【図１８】本実施形態の補正処理の流れを示すフローチャートである。
【図１９】各水平位置での補正重みＷｇを示す図である。
【図２０】図１７に対応し、補正重みＷｇを示す画像である。
【図２１】図２０に対応し、補正部分評価値Ｄ３を示す画像である。
【図２２】図３（ｂ）に対応し、輝度と補正部分評価値Ｄ３との積を示す画像である。
【図２３】光沢補正領域の第１補正量によるヒストグラムである。
【図２４】（ａ）は、各画素の入力用輝度に対する第１トーンカーブを示す図であり、（ｂ）は、各画素の入力用輝度に対する第２トーンカーブを示す図である。
【図２５】図２２に対応し、輝度成分のみを有する光沢画像を示す画像である。
【図２６】正規化された口画像、平滑化された口画像、および光沢画像の合成処理を示す図である。
【図２７】（ａ）は、補正前の顔画像の一部を示す画像であり、（ｂ）は、補正後の顔画像の一部を示す画像である。
【図２８】（ａ）は、図３（ａ）に対応し、正規化された口画像のＣｂ成分の値を示す画像であり、（ｂ）は、図３（ａ）に対応し、正規化された口画像のＣｒ成分の値を示す画像である。
【図２９】口内領域特定処理および補正処理の流れを示すフローチャートである。
【図３０】図１７に対応し、口内部領域および口内部領域の補正重みＷｈを示す画像である。
【図３１】図３（ｂ）に対応し、口画像の各画素の歯色類似度Ｗｉを計算した結果を示す画像である。
【図３２】図１３（ｂ）に対応し、各画素の（１−Ｗｅ）の値を示す画像である。
【図３３】図１４（ｂ）に対応し、各画素の（１−Ｗｆ）の値を示す画像である。
【図３４】図３１に対応し、歯光沢画像を示す画像である。
【発明を実施するための形態】
【００４３】
以下では、主に、デジタルカメラに搭載され、撮像された画像に含まれる顔画像に対して処理を行う画像処理装置について説明するが、本発明はこれに限定されるものではない。例えば、本発明に係る画像処理装置は、デジタルビデオカメラ、パーソナルコンピュータ（ＰＣ）のＷｅｂカメラ、またはカメラ付き携帯電話等の撮影装置に搭載され、撮影装置で撮影して得られた画像に対して処理を行ってもよい。また、本発明に係る画像処理装置は、ネットワーク等の通信経路、または外部記憶装置から取得した画像について処理を行ってもよい。また、撮像された静止画だけではなく、動画等の顔画像に処理を行ってもよい。また、デジタルカメラで撮像を行う際にデジタルカメラの表示装置に表示されるプレビュー画像に処理を施してもよい。
【００４４】
以下、本発明の実施形態について、図面を参照して詳細に説明する。
【００４５】
＜デジタルカメラの構成＞
図２は、本実施形態に係るデジタルカメラ３０の概略構成を示すブロック図である。デジタルカメラ３０は、指示入力装置２、撮像装置３、画像記憶装置４、表示装置５、および画像処理装置３１を備える。
【００４６】
指示入力装置２は、ボタン、キーまたはタッチパネル等の入力装置を備え、利用者から撮像の指示を受け付け、撮像装置３に撮像の指示を出力する。また、指示入力装置２は、利用者から顔画像の補正処理の指示を受け付け、画像処理装置３１に補正処理の指示を出力する。
【００４７】
撮像装置３は、例えば、ＣＣＤ（charge coupled device）またはＣＭＯＳ（complementary metal oxide semiconductor）撮像素子等の撮像素子を備える。撮像装置３は、撮像の指示に応じて撮像し、撮像した画像（画像データ）を画像記憶装置４に出力する。
【００４８】
画像記憶装置４は、各種の情報を記憶するものであり、例えばＨＤＤ（Hard Disk Drive）、またはフラッシュメモリ等の記憶デバイスを備える。画像記憶装置４は、撮像装置３から受け取った画像を記憶して保存しておく。
【００４９】
表示装置５は、ディスプレイを備え、入力された画像を表示して利用者に提示する。また、表示装置５は、画像処理装置３１から補正処理済みの画像を受け取り、補正処理済みの画像を表示する。
【００５０】
＜画像処理装置の構成＞
画像処理装置３１は、画像取得部（指示受領部）１１、顔検出部１２、特徴検出部１３、適否判定部１４、口画像正規化部１５、平滑化部１６、肌代表色特定部１７、候補色特定部１８、唇代表色特定部１９、唇領域特定部２０、画像補正部２１、合成部２２、表示制御部２３、口内部領域特定部３２、歯候補色特定部３３、および歯代表色特定部３４を備える。
【００５１】
画像取得部１１は、指示入力装置２から補正処理の指示を受け取る。補正処理の指示は、処理対象となる画像を示す情報、および、どのような補正処理を行うかを示す情報を含む。補正処理の種類としては、例えば、唇にリップグロスを塗布したように画像を補正する唇艶強調補正、または歯が白くなるよう画像を補正する歯のホワイトニング補正等がある。画像取得部１１は、受け取った補正処理の指示に基づき、画像記憶装置４から処理対象の画像を取得する。なお、画像取得部１１は、撮像装置３から撮像された画像を直接受け取ってもよい。画像取得部１１は、取得した処理対象の画像を顔検出部１２、特徴検出部１３、適否判定部１４、口画像正規化部１５、肌代表色特定部１７、および合成部２２に出力する。また、画像取得部１１は、受け取った補正処理の指示を画像補正部２１に出力する。
【００５２】
顔検出部１２は、画像取得部１１から受け取った画像の中に含まれる顔画像を検出する。顔検出部１２は、画像に含まれる顔画像を検出すると、顔画像の位置を特定する。顔画像の位置は、顔画像の所定の点の座標を示してもよいし、顔画像の領域を示してもよい。顔検出部１２は、顔画像の位置を、特徴検出部１３、適否判定部１４、口画像正規化部１５および肌代表色特定部１７に出力する。なお、顔検出部１２は、処理対象の画像から複数の顔画像を検出してもよい。複数の顔画像を検出した場合、顔検出部１２は、各顔画像の位置を特定し、複数の顔画像の位置を上記各部に出力してもよい。
【００５３】
特徴検出部１３は、画像取得部１１から受け取った処理対象の画像および顔検出部１２から受け取った顔画像の位置から、該顔画像の顔の各特徴の位置を検出する。具体的には、特徴検出部１３は、例えば目（目頭、目尻等）、口（口端点、口の中心点等）、および鼻（鼻の頂点等）等の顔の器官の特徴、および顔の輪郭等の特徴（特徴点）を検出し、それらの位置を特定する。特徴の位置は、特徴点の座標を示してもよいし、特徴を含む領域を示してもよい。各特徴の検出は、公知の技術を用いて行うことができる。特徴検出部１３は、検出した顔の特徴の位置を適否判定部１４、口画像正規化部１５、および肌代表色特定部１７、および画像補正部２１に出力する。なお、特徴検出部１３は、複数の顔画像の特徴の位置を特定し、複数の顔画像の特徴の位置を上記各部に出力してもよい。
【００５４】
適否判定部１４は、画像取得部１１から受け取った処理対象の画像、顔検出部１２から受け取った顔画像の位置、および特徴検出部１３から受け取った顔の特徴の位置から、該顔画像が補正処理を行うのに適しているか否かを判定する。例えば、適否判定部１４は、横向きの顔画像および顔の写りが小さすぎる顔画像等を、不適として判定する。具体的な判定方法は後述する。なお、処理対象の画像に複数の顔画像が含まれている場合、適否判定部１４は、各顔画像について補正処理を行うことの適否を判定してもよいし、補正処理を行うのにより適した所定数（例えば１つ）の顔画像を特定してもよい。適否判定部１４は、処理対象として適切と判定した顔画像を示す情報を口画像正規化部１５、肌代表色特定部１７、および候補色特定部１８に出力する。
【００５５】
口画像正規化部１５は、画像取得部１１、顔検出部１２、および特徴検出部１３からそれぞれ処理対象の画像、顔画像の位置、および顔の特徴の位置を受け取る。口画像正規化部１５は、受け取った情報に基づき、適否判定部１４によって処理対象として適切と判定された顔画像について、処理対象となる顔画像の口領域の画像を抽出する。後の画像処理における計算を容易にするために、口画像正規化部１５は、処理対象の画像の口領域が所定の大きさになるように画像サイズを正規化する。具体的には、口画像正規化部１５は、口の左右の端点が所定の座標に位置するように、必要に応じて処理対象の顔画像を回転および拡大・縮小させ、所定のサイズの口領域（口を含む領域）を処理対象の顔画像から切り出す。図３（ａ）は、正規化された口領域の画像を示す画像である。なお、処理対象の顔画像を拡大・縮小する場合、必要に応じて元の画素の間の点の画素値を任意の方法で補間してもよい。口画像正規化部１５は、正規化された口領域の画像（口画像）を平滑化部１６、および画像補正部２１に出力する。
【００５６】
平滑化部１６は、口画像正規化部１５から受け取った口画像を平滑化する。具体的には、平滑化部１６は、口画像にガウシアンフィルタ等を適用し、平滑化された口画像を生成する。図３（ｂ）は、平滑化された口領域の画像を示す画像である。平滑化された口画像を用いることで、ノイズを排除して、唇等の所望の領域を正確に特定することができる。なお、正規化された口画像および平滑化された口画像はカラーの画像であるが、図３では、その輝度値（Ｙ値）による明暗を示している。平滑化部１６は、平滑化された口画像を候補色特定部１８、唇領域特定部２０、および画像補正部２１に出力する。
【００５７】
肌代表色特定部１７は、画像取得部１１、顔検出部１２、および特徴検出部１３からそれぞれ処理対象の画像、顔画像の位置、および顔の特徴の位置を受け取る。肌代表色特定部１７は、受け取った情報に基づき、適否判定部１４によって処理対象として適切と判定された顔画像について、処理対象となる顔画像の肌の代表色を特定する。顔領域の一部の色、例えば、顔領域の中心部分（鼻付近）の平均色、中央値、または最頻値の色等を肌の代表色としてもよい。また、顔領域全体の平均色等を肌の代表色としてもよい。また、顔のある領域の平均色を求め、該領域において該平均色と色相が異なる（ＣｂＣｒ平面における該平均色との角度が閾値より大きい）画素、および／または、該領域において該平均色との色の差が大きい（ＹＣｂＣｒ色空間における該平均色との距離が閾値より大きい）ピクセルを除外して、残りのピクセルから算出した平均色を、代表色としてもよい。また、肌代表色特定部１７は、肌の色の分散度合いを求める。肌代表色特定部１７は、肌の代表色を候補色特定部１８および唇代表色特定部１９に出力する。肌代表色特定部１７は、肌の色の分散度合いを唇代表色特定部１９に出力する。
【００５８】
候補色特定部１８は、唇の色の候補となる複数の候補色を特定する。候補色特定部１８は、口画像において複数の領域を設定し、各領域の代表色を特定して候補色とする。図４は、口画像における複数の領域を示す図である。図中の×印は、特徴検出部１３によって検出された口端点を示す。具体的には、候補色特定部１８は、以下の処理を行う。候補色特定部１８は、口画像の水平方向の中央における所定の領域を、縦（垂直）方向に並ぶ複数の領域に分割する。候補色特定部１８は、分割された各領域の代表色（平均色あるいは中央値または最頻値の色等）を、唇の色の複数の候補色として特定する。このようにして分割された領域の少なくとも１つは、主として唇である部分を含む領域であると考えられる。よって、複数の候補色の少なくとも１つは、唇の色の代表色として適していると考えられる。ただし、各領域の設定（分割）方法は上記に限らず、唇があると考えられる２つの口端点の間において複数の領域を設定すればよい。また、分割された複数の領域の大きさに制限はなく、各画素を複数の領域としてもよい。なお、画像のノイズ等を排除して候補色を特定するために、候補色特定部１８は、平滑化された口画像を用いて候補色を特定する。しかし、これに限らず、候補色特定部１８は、平滑化されていない口画像を用いて候補色を特定してもよい。また、候補色特定部１８は、分割された領域の色の分散度合いを、対応する候補色の分散度合いとして求める。候補色特定部１８は、複数の候補色を唇代表色特定部１９に出力する。候補色特定部１８は、候補色の分散度合いを唇代表色特定部１９に出力する。
【００５９】
唇代表色特定部１９は、肌の代表色に基づき、複数の候補色の中から唇の代表色を特定する。唇代表色特定部１９は、肌の代表色と、各候補色との色相および彩度における差に応じて、肌の代表色との差が大きい候補色を、唇の代表色として特定する。唇代表色特定部１９は、ＹＣｂＣｒ色空間またはＬ＊ａ＊ｂ＊色空間のような、輝度（または明度）と、色相および彩度とによって色を表現する色空間において処理を行う。唇代表色特定部１９は、輝度（または明度）の情報を使わず、色空間における色相および彩度を表すＣｂＣｒ平面（色相彩度平面）の情報に基づいて、各候補色について、唇の色である度合いを求め、ＣｂＣｒ平面における唇の代表色を特定する。唇の代表色を特定するための詳細な処理は後述する。唇代表色特定部１９は、特定したＣｂＣｒ平面における唇の代表色を唇領域特定部２０および画像補正部２１に出力する。
【００６０】
図５は、ＣｂＣｒ平面において、唇色の候補となる色の範囲を単純化して示す図である。唇の色は、肌の代表色とはある程度異なる色であると考えられる。そのため、ＣｂＣｒ平面において、肌の代表色から距離が近い範囲Ａの色は、唇色の候補から除外するのがよい。また、唇の色は、肌の代表色とは色相が異なると考えられる。そのため、ＣｂＣｒ平面において、肌の代表色に色相が近い範囲Ｂの色は、唇色の候補から除外するのがよい。また、被写体の口が開いていて口画像に歯が含まれている場合、複数の候補色の中には、歯の色を示す白っぽい色がある可能性がある。歯の色を唇の候補から除外するために、彩度が小さい範囲Ｃの色は、唇色の候補から除外するのがよい。唇色の候補は、範囲Ａ、範囲Ｂ、範囲Ｃの外側の範囲にあると考えられる。なお、図５では、肌の代表色から距離が近く、かつ、肌の代表色に色相が近い範囲を肌色範囲とし、彩度が小さい範囲を白範囲とし、肌色範囲でも白範囲でもない範囲を唇色候補範囲としている。
【００６１】
唇領域特定部２０は、平滑化された口画像、および唇の代表色に基づき、口画像における唇である領域を特定する。唇領域特定部２０は、ＣｂＣｒ平面における唇の代表色との色相および彩度における差に応じて、唇の代表色に類似する色の領域を唇領域と特定する。唇領域を特定するための詳細な処理は後述する。なお、画像のノイズ等を排除して唇領域を特定するために、唇領域特定部２０は、平滑化された口画像を用いて唇領域を特定する。しかし、これに限らず、唇領域特定部２０は、平滑化されていない口画像を用いてもよい。唇領域特定部２０は、特定した唇領域を示す情報、および唇候補領域を示す情報等を画像補正部２１に出力する。
【００６２】
口内部領域特定部３２は、唇領域特定部２０から唇領域を示す情報を受け取り、唇領域特定部２０が特定した上の唇領域および下の唇領域の間の領域を、口内部領域として特定する。唇領域特定部２０が、上下の唇の領域を正確に特定することで、口画像の中の歯を含む口内部の領域を特定することができる。なお、上下の唇領域の間に空間がない場合、歯の補正は行わない。口内部領域特定部３２は、特定した口内部領域を示す情報を歯候補色特定部３３に出力する。
【００６３】
歯候補色特定部３３は、口内部領域を示す情報、および平滑化部１６から受け取った平滑化された口画像に基づき、歯の色の候補となる複数の歯候補色を特定する。歯候補色特定部３３は、口画像の口内部領域に含まれる複数の領域から各領域の代表色を特定し、歯候補色とする。例えば、歯候補色特定部３３は、図４に示すように口画像を複数の領域に分割する。そのうち、口内部領域に含まれる各領域の代表色（平均色あるいは中央値または最頻値の色等）を、歯の色の複数の候補色（歯候補色）として特定する。このようにして分割された領域の少なくとも１つは、主として歯を含む領域であると考えられる。よって、複数の歯候補色の中には、歯の色の代表色として適している色があると期待される。ただし、各領域の設定（分割）方法は上記に限らない。分割された複数の領域の大きさに制限はなく、各画素を複数の領域としてもよい。なお、画像のノイズ等を排除して歯候補色を特定するために、歯候補色特定部３３は、平滑化された口画像を用いて歯候補色を特定する。しかし、これに限らず、歯候補色特定部３３は、平滑化されていない口画像を用いて歯候補色を特定してもよい。また、歯候補色特定部３３は、分割された領域の色の分散度合いを、対応する歯候補色の分散度合いとして求める。歯候補色特定部３３は、複数の歯候補色および歯候補色の分散度合いを歯代表色特定部３４に出力する。また、歯候補色特定部３３は、歯候補色の分散度合いを画像補正部２１に出力する。
【００６４】
歯代表色特定部３４は、複数の歯候補色の中から歯の色の度合いが大きい歯の代表色を特定する。具体的には、歯代表色特定部３４は、彩度が最も小さい歯候補色を、歯の代表色として特定する。歯代表色特定部３４は、歯の代表色を画像補正部２１に出力する。
【００６５】
図１は、画像補正部２１の構成を示すブロック図である。画像補正部２１は、唇重み特定部（第２重み決定部）４１、唇尤度特定部（器官尤度特定部）４２、唇位置重み決定部（第１重み決定部）４３、唇補正量決定部（補正量決定部）４４、唇画像補正部（画像補正部）４５、歯色類似度特定部（器官尤度特定部）５１、歯位置重み決定部（第１重み決定部）５２、歯補正量決定部（補正量決定部）５３、および歯画像補正部（画像補正部）５４を備える。画像補正部２１は、補正処理の指示、顔の特徴の位置、正規化された口画像、平滑化された口画像、唇の代表色および歯の代表色に基づき、口画像における見た目の補正を行い、補正された口画像を生成する。口画像の補正の方法は後述する。画像補正部２１は、補正された口画像を合成部２２に出力する。
【００６６】
唇重み特定部４１は、唇領域を示す情報に基づき、位置に応じた補正重みＷｇを決定する。
【００６７】
唇尤度特定部４２は、補正重みＷｇ、唇候補領域、および唇の代表色等に基づき、各画素について、唇であることの尤度を特定する。
【００６８】
唇位置重み決定部４３は、正規化された口画像と唇であることの尤度とに基づき、特定位置に応じた補正の重みを求める。
【００６９】
唇補正量決定部４４は、唇であることの尤度と特定位置に応じた補正の重みとに基づき、光沢画像を生成する。
【００７０】
唇画像補正部４５は、正規化された口画像、平滑化された口画像、および光沢画像に基づき、補正された口画像を生成する。
【００７１】
歯色類似度特定部５１は、口内部領域を示す情報、および歯の代表色に基づき、口内部領域の各画素について、画素の色と歯の代表色との色空間における距離に応じた歯色類似度Ｗｉを求める。
【００７２】
歯位置重み決定部５２は、口内部領域を示す情報、および口端点の情報に基づき、口内部領域の各画素位置に対して、歯の画像補正を行うための重み（補正重みＷｈ）を求める。
【００７３】
歯補正量決定部５３は、口内部領域を示す情報、歯色類似度Ｗｉ等に基づいて、口内部領域について、歯光沢画像を生成する。
【００７４】
歯画像補正部５４は、正規化された口画像、および歯光沢画像を合成し、補正された口画像を生成する。
【００７５】
合成部２２は、補正された口画像を正規化する前の元のサイズに戻し（必要に応じて補正された口画像を回転および拡大・縮小させ）、処理対象の画像に合成し、補正された画像を生成する。このようにして、処理対象の画像において唇等の見た目が補正された画像が得られる。合成部２２は、補正された画像を、表示制御部２３に出力する。なお、合成部２２は、補正された画像を、画像記憶装置４に出力して記憶させてもよい。
【００７６】
表示制御部２３は、補正された画像を表示装置５に出力し、補正された画像を表示するよう表示装置５を制御する。
【００７７】
＜唇補正の画像処理フロー＞
以下に、デジタルカメラ３０における画像補正処理の流れについて説明する。
【００７８】
利用者は、指示入力装置２を介して、例えば撮像されて画像記憶装置４に記憶されている画像の中から、処理対象の画像を選択する。また、利用者は、指示入力装置２を介して、処理対象の画像に施す補正処理の種類（唇艶強調補正、または歯のホワイトニング補正等）を、複数の候補の中から選択する。指示入力装置２は、指定された補正処理の種類の情報を含む補正処理の指示を、画像処理装置３１の画像取得部１１に出力する。
【００７９】
図６は、画像処理装置３１における唇色特定処理および唇領域特定処理の流れを示すフローチャートである。
【００８０】
画像取得部１１は、指示入力装置２からの補正処理の指示を受け取ると、画像記憶装置４から処理対象となる画像を取得する（Ｓ１）。
【００８１】
顔検出部１２は、処理対象となる画像に含まれる顔画像を検出し、その顔画像の位置を特定する（Ｓ２）。顔検出部１２は、処理対象の画像に含まれる複数の顔画像を検出してもよい。
【００８２】
特徴検出部１３は、検出された顔画像に含まれる、顔の特徴の位置を検出する（Ｓ３）。特徴検出部１３は、例えば目（目頭、目尻等）、口（口端点、口の中心点等）、および鼻（鼻の頂点等）等の顔の器官の特徴（特徴点）を検出し、それらの位置を特定する。なお、特徴検出部１３は、顔の輪郭等の特徴を検出してもよい。
【００８３】
適否判定部１４は、これらの検出された顔の特徴の位置に基づき、該顔画像が補正処理を行うのに適しているか否かを判定する（Ｓ４）。例えば、適否判定部１４は、複数の顔画像サンプルから目、鼻、口等の顔の器官の各特徴の周辺の輝度分布の特徴をあらかじめ学習して作成した顔モデルを記憶しておく。適否判定部１４は、顔モデルと、検出された顔画像とを比較することにより、顔画像の検出された特徴の信頼度および顔の向きを特定する。
【００８４】
例えば検出された特徴の信頼度が、所定の閾値よりも低い場合、顔の特徴を正確に検出していない可能性が高いので、口または唇等に適切に補正処理を行うことができない可能性がある。そのため、検出された特徴の信頼度が、所定の閾値よりも低い場合、適否判定部１４は、該顔画像は補正処理を行うのに適していないと判定する。
【００８５】
また、検出された顔の向きが正面に対して大きくずれている場合（顔の向きが所定の範囲内にない場合、例えば顔の向きが正面に対して所定の角度（例えば３０°）より大きい場合）、適切に補正処理を行うことができない可能性がある。この場合、適否判定部１４は、該顔画像は補正処理を行うのに適していないと判定する。
【００８６】
また、顔画像が小さすぎる場合（例えば検出した口の両方の端点の間の距離が所定の閾値（例えば１００ピクセル）より小さい場合）、適切に補正処理を行うことができない可能性があるため、適否判定部１４は、該顔画像は補正処理を行うのに適していないと判定する。
【００８７】
補正処理を行うのに適していないと判定された場合（Ｓ４でＮｏ）、該顔画像に対する処理は終了する。
【００８８】
補正処理を行うのに適していると判定された場合（Ｓ４でＹｅｓ）、次に肌代表色特定部１７は、処理対象として適切と判定された顔画像について、処理対象となる顔画像の肌の代表色を特定する（Ｓ５）。ここでは、顔領域の中心部分（鼻付近）の平均色を肌の代表色とする。また、肌代表色特定部１７は、肌の色の分散度合い（標準偏差）を求める。具体的には、平均色を求めた領域（鼻付近）の画素の画素値の色空間のＣｂ軸における分散σｂｓ2、Ｃｒ軸における分散σｒｓ2、および色相の分散σｐｓ2を求める。
【００８９】
口画像正規化部１５は、処理対象となる顔画像の口領域の画像を抽出し、処理対象の画像の口領域が所定の大きさになるように画像サイズを正規化した口画像を生成する（Ｓ６）。具体的には、口画像正規化部１５は、口の左右の端点が所定の座標に位置するように、必要に応じて処理対象の顔画像を回転および拡大・縮小させ、所定のサイズの口領域を処理対象の顔画像から切り出す。
【００９０】
平滑化部１６は、正規化された口画像を平滑化する（Ｓ７）。
【００９１】
候補色特定部１８は、口画像の水平方向の中央における所定の領域を、縦方向に並ぶ複数の領域に分割し、分割された各領域の代表色を、唇の色の複数の候補色として特定する（Ｓ８）。ここでは、各領域について、該領域の平均色を、候補色とする。
【００９２】
なお、肌の代表色および複数の候補色は、輝度の情報を含まなくてもよい。以下の処理では、輝度（Ｙ）を用いずに、ＣｂＣｒ平面において肌の代表色および複数の候補色を用いて唇の色の代表色および唇領域の特定を行う。
【００９３】
唇代表色特定部１９は、各候補色について、唇の色である度合い（唇色度合い）を求める（Ｓ９）。口画像の唇の色は、肌の色とは異なる色であり、肌の色とは異なる色相であると考えられる。また、口画像の唇の色は、一般に白っぽく写る歯とも異なる色であると考えられる。肌の代表色とＣｂＣｒ平面における距離が大きく、肌の代表色と色相の差が大きく、彩度が大きいほど、唇色度合いが大きいとする。
【００９４】
具体的には、唇代表色特定部１９は、各候補色について、候補色と肌の代表色とのＣｂＣｒ平面における距離に応じて大きくなる第１の非肌色度合い（肌の色ではない度合い）を、唇色度合いの重みとして求める。唇代表色特定部１９は、各候補色について、候補色と肌の代表色との色相の差に応じて大きくなる第２の非肌色度合いを、唇色度合いの重みとして求める。唇代表色特定部１９は、各候補色について、候補色の彩度に応じて大きくなる非歯色度合い（歯の色ではない度合い）を、唇色度合いの重みとして求める。
【００９５】
ＣｂＣｒ平面における距離に応じた唇色度合いの重みＷａ（第１の非肌色度合い）は、次式で求めることができる。
【００９６】
【数１】
【００９７】
ここで、Ｃｂｓ、Ｃｒｓは、それぞれ肌の代表色（平均色）のＣｂ成分およびＣｒ成分であり、Ｃｂ、Ｃｒは、それぞれ候補色のＣｂ成分およびＣｒ成分である。また、σｂｓ、σｒｓは、それぞれ色空間のＣｂ軸における肌の色の標準偏差、Ｃｒ軸における肌の色の標準偏差である。図７（ａ）は、候補色と肌の代表色とのＣｂＣｒ平面における距離と、重みＷａとの関係を示す図である。式（１）によれば、候補色と肌の代表色とのＣｂＣｒ平面における距離が小さければ、重みＷａは０に近く、候補色と肌の代表色とのＣｂＣｒ平面における距離が大きくなればなるほど、重みＷａは大きくなり、１に近づく。図７（ｂ）は、図３（ｂ）に対応し、候補色の代わりに口画像の各画素の画素値を式（１）に当てはめて重みＷａを計算した結果を示す画像である。明るい箇所は重みＷａが大きく、暗い箇所は重みＷａが小さいことを示す。これによれば、唇の領域は重みＷａが大きいことが分かる。しかしながら、歯の領域も重みＷａが大きくなっている。
【００９８】
色相の差に応じた唇色度合いの重みＷｂ（第２の非肌色度合い）は、次式で求めることができる。
【００９９】
【数２】
【０１００】
ここで、Ｐｓは、肌の代表色（平均色）の色相であり、ＣｂＣｒ平面における位相の角度で示される。また、Ｐは、候補色の色相である。また、σｐｓは、肌の色の色相の標準偏差である。また、αは、候補色の色相と肌の代表色の色相とが同じであっても重みＷｂが０にならないようにするための、所定の定数である。図８（ａ）は、候補色と肌の代表色とのＣｂＣｒ平面における色相と、重みＷｂとの関係を示す図である。式（２）によれば、候補色と肌の代表色との色相の差が小さければ、重みＷｂはαに近く、候補色と肌の代表色との色相の差が大きくなればなるほど、重みＷｂは大きくなり、１＋αに近づく。図８（ｂ）は、図３（ｂ）に対応し、候補色の代わりに口画像の各画素の画素値を式（２）に当てはめて重みＷｂを計算した結果を示す画像である。明るい箇所は重みＷｂが大きく、暗い箇所は重みＷｂが小さいことを示す。これによれば、唇の領域は重みＷｂが大きいことが分かる。しかしながら、歯の一部の領域も重みＷｂが大きくなっている。
【０１０１】
彩度に応じた唇色度合いの重みＷｃ（非歯色度合い）は、次式で求めることができる。
【０１０２】
【数３】
【０１０３】
ここで、Ｃｂ、Ｃｒは、それぞれ候補色のＣｂ成分およびＣｒ成分である。また、ｃは、所定の定数である。式（３）におけるexpの分子は、彩度を表す。式（３）によれば、候補色の彩度が小さければ、重みＷｃは０に近く、候補色の彩度が大きくなればなるほど、重みＷｃは大きくなり、１に近づく。図９は、図３（ｂ）に対応し、候補色の代わりに口画像の各画素の画素値を式（３）に当てはめて重みＷｃを計算した結果を示す画像である。明るい箇所は重みＷｃが大きく、暗い箇所は重みＷｃが小さいことを示す。これによれば、唇の領域は重みＷｃが大きいことが分かる。一方、白っぽい色である歯の一部の領域は重みＷｃが小さいことが分かる。また、写真に暗く写りやすい口の中の一部も、重みＷｃが小さくなっている。
【０１０４】
照明等により１つの画像の中の肌に濃淡ができた場合、一般に、同じ人物の肌でも、肌の平均色からの肌の各点の色までの色空間またはＣｂＣｒ平面における距離は大きくなることがある。すなわち、肌の色の色空間またはＣｂＣｒ平面における分散は大きくなることがある。一方で、色相は照明等の条件によってあまり変化しない。よって、一部の肌と唇とについて、ＣｂＣｒ平面における距離に応じた重みＷａの値が同程度になる場合でも、色相の差に応じた重みＷｂによって肌の色と唇の色とを判別することができる。
【０１０５】
また、口紅等により１つの画像の中の唇の色と肌の色とが同色相である場合、肌と唇とについて、色相の差に応じた重みＷｂの値は同程度になることがある。そのような場合は、ＣｂＣｒ平面における距離に応じた重みＷａによって肌の色と唇の色とを判別することができる。
【０１０６】
また、歯の領域から得られた候補色は、ＣｂＣｒ平面における距離に応じた重みＷａおよび色相の差に応じた重みＷｂが共に大きくなり得る。歯の色は一般に白っぽく彩度が小さいのに対して、唇の色は彩度が大きいと考えられるので、彩度に応じた重みＷｃによって、歯の色と唇の色とを判別することができる。また、口の中において影として暗く写った箇所等も彩度が低くなるので、彩度に応じた重みＷｃによって、唇の色と区別することができる。
【０１０７】
唇代表色特定部１９は、各候補色について、第１の非肌色度合いＷａと第２の非肌色度合いＷｂと非歯色度合いＷｃとの積を、唇色度合いＤ１として求める。
【０１０８】
【数４】
【０１０９】
図１０は、図３（ｂ）に対応し、候補色の代わりに口画像の各画素の画素値から唇色度合いＤ１を計算した結果を示す画像である。明るい箇所は唇色度合いＤ１が大きく、暗い箇所は唇色度合いＤ１が小さいことを示す。この唇色度合いＤ１が大きい候補色が、唇の色である可能性が高いと考えられる。図１０に示す例では、唇領域から得られた候補色が最も唇色度合いＤ１が大きい。唇代表色特定部１９は、唇色度合いＤ１が最も大きい候補色を、唇色の第１の候補（第１の選択候補色）として選択する。一方で、画像の歯に色がついていたりして歯の領域の色の彩度が小さくない場合、または、ＣｂＣｒ平面における唇の色と肌の色との差が小さい場合、第１の選択候補色として歯の色を選択してしまう可能性がある。
【０１１０】
そこで、本実施形態では、残った候補色から第１の選択候補色とは色相・彩度による差が大きい第２の候補（第２の選択候補色）を選択し、第１の選択候補色と第２の選択候補色とのいずれかを唇の色として特定する。
【０１１１】
唇代表色特定部１９は、第１の選択候補色を除いた他の各候補色について、候補色と第１の選択候補色とのＣｂＣｒ平面における距離に応じて大きくなる重みＷｄ（第１の選択候補色ではない度合い）を求める（Ｓ１０）。第１の選択候補色との距離に応じた重みＷｄは、次式で求めることができる。
【０１１２】
【数５】
【０１１３】
ここで、Ｃｂｄ、Ｃｒｄは、それぞれ第１の選択候補色のＣｂ成分およびＣｒ成分であり、Ｃｂ、Ｃｒは、それぞれ候補色のＣｂ成分およびＣｒ成分である。また、σｂｄ、σｒｄは、それぞれ色空間のＣｂ軸における第１の選択候補色の標準偏差（第１の選択候補色の領域の各画素のＣｂ成分の標準偏差）、Ｃｒ軸における第１の選択候補色の標準偏差（第１の選択候補色の領域の各画素のＣｒ成分の標準偏差）である。第１の選択候補色の標準偏差は、選択候補色に対応する領域（候補色特定部１８が分割した領域）の各画素の画素値から求めることができる。式（５）によれば、第１の選択候補色と他の候補色とのＣｂＣｒ平面における距離が小さければ、重みＷｄは０に近く、第１の選択候補色と他の候補色とのＣｂＣｒ平面における距離が大きくなればなるほど、重みＷｄは大きくなり、１に近づく。図１１は、図３（ｂ）に対応し、候補色の代わりに口画像の各画素の画素値を式（５）に当てはめて重みＷｄを計算した結果を示す画像である。明るい箇所は重みＷｄが大きく、暗い箇所は重みＷｄが小さいことを示す。ただし、図１１に示す例では、第１の選択候補色として唇領域から得られた候補色が選択されている。そのため、唇領域の画素の重みＷｄは、小さくなっている。
【０１１４】
唇代表色特定部１９は、各候補色について、唇色度合いＤ１と重みＷｄとの積を、候補評価値Ｄ２として求める。
【０１１５】
【数６】
【０１１６】
図１２は、図３（ｂ）に対応し、候補色の代わりに口画像の各画素の画素値から候補評価値Ｄ２を計算した結果を示す画像である。明るい箇所は候補評価値Ｄ２が大きく、暗い箇所は候補評価値Ｄ２が小さいことを示す。唇代表色特定部１９は、候補評価値Ｄ２が最も大きい候補色を、唇色の第２の候補（第２の選択候補色）として選択する。これによれば、もし、第１の選択候補色として歯の色が選ばれていた場合、第２の選択候補色として唇の領域から得られた候補色が選択されると考えられる。重みＷｄのために、第１の選択候補色と第２の選択候補色とは、異なる領域（異なる顔の部位）から得られた候補色になる可能性が高い。複数の候補色の中から、異なる色である２つの候補色を選択候補色として選択することで、いずれかの選択候補色に唇の色として適切な候補色が含まれるようにする。
【０１１７】
唇代表色特定部１９は、第１および第２の選択候補色から、より唇の色らしい選択候補色を、唇の代表色として特定する（Ｓ１１）。Ｓ１０までの処理により、第１および第２の選択候補色としては、唇の領域から得られた候補色と、歯の領域から得られた候補色が選択されている可能性が高い。そこで、唇代表色特定部１９は、第１および第２の選択候補色のうち、彩度のより大きい方を、唇の代表色として特定する。なお、唇代表色特定部１９は、唇の代表色の輝度Ｙを特定してもよいし、輝度Ｙを特定しなくてもよい。少なくとも唇の代表色の色相および彩度（またはＣｂ成分およびＣｒ成分）を特定すればよい。
【０１１８】
なお、唇の代表色を、以下のようにして決めてもよい。唇代表色特定部１９は、唇色度合いＤ１に応じて１つの第１の選択候補色を選択し、それを唇の色として特定してもよい。また、唇代表色特定部１９は、唇色度合いＤ１に応じて複数の第１の選択候補色を選択して、それらの中から彩度の大きいものを唇の代表色として特定してもよい。また、唇代表色特定部１９は、唇色度合いＤ１に応じて第１の選択候補色を選択し、候補評価値Ｄ２に応じて複数の第２の選択候補色を選択し、第１の選択候補色および複数の第２の選択候補色の中から、彩度の最も大きいものを唇の代表色として特定してもよい。または、唇代表色特定部１９は、第１および第２の各選択候補色の中から、その色相が最も所定の色相に近いものを唇の代表色として特定してもよい。唇は赤いという前提が成り立つ場合が多いため、例えば、所定の色相は、典型的な唇の色である赤に近い色相とすればよい。
【０１１９】
唇領域特定部２０は、口画像の各画素について、唇の代表色との類似度合いを求める（Ｓ１２）。唇の代表色と類似している色の領域は、唇の領域であると考えられる。唇領域特定部２０は、唇の代表色と、各画素の色との色相および彩度における差に応じて、唇の代表色と類似している領域を特定する。具体的には、唇領域特定部（口色類似度特定部）２０は、各画素について、各画素の色と唇の代表色とのＣｂＣｒ平面における距離に応じた第１の唇色類似度Ｗｅ、および、各画素の色と唇の代表色との色相の差に応じた第２の唇色類似度Ｗｆを求める。
【０１２０】
ＣｂＣｒ平面における距離に応じた第１の唇色類似度Ｗｅは、次式で求めることができる。
【０１２１】
【数７】
【０１２２】
ここで、Ｃｂｌ、Ｃｒｌは、それぞれ唇の代表色のＣｂ成分およびＣｒ成分であり、Ｃｂ、Ｃｒは、それぞれ各画素の色のＣｂ成分およびＣｒ成分である。また、σｂｌ、σｒｌは、それぞれ色空間のＣｂ軸における唇の色の標準偏差、Ｃｒ軸における唇の色の標準偏差である。唇の色の標準偏差は、唇の代表色（最終的に唇の代表色として特定された候補色）に対応する領域（候補色特定部１８が分割した領域）の各画素の色から求めることができる。図１３（ａ）は、各画素の色と唇の代表色とのＣｂＣｒ平面における距離と、第１の唇色類似度Ｗｅとの関係を示す図である。式（７）によれば、各画素の色と唇の代表色とのＣｂＣｒ平面における距離が小さければ、第１の唇色類似度Ｗｅは１に近く、各画素の色と唇の代表色とのＣｂＣｒ平面における距離が大きくなればなるほど、第１の唇色類似度Ｗｅは小さくなり、０に近づく。図１３（ｂ）は、図３（ｂ）に対応し、口画像の各画素の色を式（７）に当てはめて第１の唇色類似度Ｗｅを計算した結果を示す画像である。明るい箇所は第１の唇色類似度Ｗｅが大きく、暗い箇所は第１の唇色類似度Ｗｅが小さいことを示す。これによれば、唇の領域は第１の唇色類似度Ｗｅが大きいことが分かる。ただし、唇の領域の一部は、照明等によって光って写っており彩度が小さいので、第１の唇色類似度Ｗｅは小さくなっている。また、唇に影等がある場合も、第１の唇色類似度Ｗｅは小さくなる可能性がある。
【０１２３】
色相の差に応じた第２の唇色類似度Ｗｆは、次式で求めることができる。
【０１２４】
【数８】
【０１２５】
ここで、Ｐｌは、唇の代表色の色相であり、ＣｂＣｒ平面における位相の角度で示される。また、Ｐは、各画素の色の色相である。また、σｐｌは、唇の色の色相の標準偏差である。図１４（ａ）は、各画素の色と唇の代表色とのＣｂＣｒ平面における色相と、第２の唇色類似度Ｗｆとの関係を示す図である。式（８）によれば、各画素の色と唇の代表色との色相の差が小さければ、第２の唇色類似度Ｗｆは１に近く、各画素の色と唇の代表色との色相の差が大きくなればなるほど、第２の唇色類似度Ｗｆは小さくなり、０に近づく。図１４（ｂ）は、図３（ｂ）に対応し、口画像の各画素の色を式（８）に当てはめて第２の唇色類似度Ｗｆを計算した結果を示す画像である。明るい箇所は第２の唇色類似度Ｗｆが大きく、暗い箇所は第２の唇色類似度Ｗｆが小さいことを示す。これによれば、唇の領域は第２の唇色類似度Ｗｆが大きいことが分かる。
【０１２６】
色相の差に応じた第２の唇色類似度Ｗｆの方が、第１の唇色類似度Ｗｅに比べて照明等の影響を受けにくく、安定して精度よい結果を得ることができる。一方で、唇は、口紅またはリップグロス等が塗布されるので、様々な色であり得る。肌の色と同色相の口紅が唇に塗布されている場合、色相の差に応じた第２の唇色類似度Ｗｆで正確に唇の領域を特定するのは困難である。よって、唇の色の色相が肌の色の色相と類似している場合、第１の唇色類似度Ｗｅが、唇の領域を判定するためのよりよい指標になり得る。
【０１２７】
唇領域特定部２０は、第１の唇色類似度Ｗｅおよび第２の唇色類似度Ｗｆに基づいて、口画像から唇の候補となる領域（唇候補領域、第１の唇領域）を特定する（Ｓ１３）。唇候補領域は、唇の代表色に類似した色を有する領域と言える。本実施の形態では、唇領域特定部２０は、第１の唇色類似度Ｗｅおよび第２の唇色類似度Ｗｆの少なくともいずれか一方の値が大きい画素を、唇候補領域と判別する。具体的には、唇領域特定部２０は、各画素について、第１の唇色類似度Ｗｅを所定の閾値と比較し、第１の唇色類似度Ｗｅが該閾値より大きい画素を唇候補領域に分類する。また、唇領域特定部２０は、各画素について、第２の唇色類似度Ｗｆを別の閾値と比較し、第２の唇色類似度Ｗｆが該閾値より大きい画素を唇候補領域に分類する。図１５は、図３（ｂ）に対応し、唇候補領域に分類された画素を示す画像である。明るい箇所が唇候補領域を示す。図１５に示す画像は、図１３（ｂ）に示す画像および図１４（ｂ）に示す画像をそれぞれ閾値に基づいて２値化し、和をとったものに対応する。
【０１２８】
なお、唇領域特定部２０は、第１の唇色類似度Ｗｅおよび第２の唇色類似度Ｗｆのいずれか一方のみを使用して唇候補領域を特定してもよい。また、唇領域特定部２０は、第１の唇色類似度Ｗｅが閾値より大きく、かつ、第２の唇色類似度Ｗｆが別の閾値より大きい画素を唇候補領域として特定してもよい。この場合、唇候補領域を示す画像は、図１３（ｂ）に示す画像および図１４（ｂ）に示す画像をそれぞれ２値化し、積をとったものに対応する。また、唇領域特定部２０は、各画素について、２値化する前に第１の唇色類似度Ｗｅおよび第２の唇色類似度Ｗｆの和または積をとり、その結果によって唇候補領域を特定してもよい。また、唇領域特定部２０は、１−（１−Ｗｅ）×（１−Ｗｆ）が所定の閾値より大きい画素を唇候補領域として特定してもよい。唇領域特定部２０は、唇候補領域の分布から、明らかに唇ではないと判断できる箇所を、唇候補領域から除外してもよい。
【０１２９】
唇領域特定部２０は、口画像の唇候補領域から、モデル化した唇領域（第２の唇領域）を特定する（Ｓ１４）。モデル化した唇領域を特定する方法は様々で、口画像の唇候補領域の境界をモデルとなる関数（高次関数等）で近似してもよいし、唇候補領域の空間分布にあらかじめ用意した唇形状モデルをフィッティングさせて特定してもよいし、あらかじめ用意した唇形状モデルを基に、セグメンテーション技術により唇領域を特定してもよい。唇形状モデルは、唇らしい唇の形状を関数または範囲等により規定するものであり、唇の範囲を示す所定の手順で定義されてもよい。
【０１３０】
本実施形態で行うモデル化した唇領域を特定する具体的な処理について、以下に説明する。図１６（ａ）、および図１６（ｂ）は、図１５に対応し、唇候補領域を示す画像からモデル化した唇領域を特定する手順を示す画像である。水平方向にｘ軸、縦（垂直）方向にｙ軸をとる。まず、上唇について、モデル化した唇領域を特定する。既知である左右の口端点の位置から、口の水平方向における中央のｘ座標（ｘ０）を特定する。また、水平方向中央（ｘ座標＝ｘ０）において、連続して縦方向に分布する上唇の唇候補領域の上端および下端の位置から、上唇領域の縦方向の中心位置（ｙ座標ｙ０）を推定する。
【０１３１】
座標（ｘ０，ｙ０）を中心位置として、所定のサイズの矩形を、探索ブロックとして設定する（図１６（ａ））。なお、探索ブロックは、上唇の候補領域の上端および下端を含む程度に、縦方向のサイズが大きいことが好ましい。初期位置の探索ブロックにおいて、探索ブロックに含まれる唇候補領域の画素の重心位置を求め、該重心位置のｙ座標を、ｘ座標＝ｘ０における上唇の唇領域の縦方向の中心位置（ｙ座標＝ｙ１）とする。
【０１３２】
次に、探索ブロックをΔｘだけ口端点側に移動させ、座標（ｘ１，ｙ１）を中心位置として探索ブロックを設定する（図１６（ｂ））。ｘ１＝ｘ０＋Δｘである。移動させた探索ブロックに含まれる唇候補領域の画素の重心位置を求め、該重心位置のｙ座標を、ｘ座標＝ｘ１における上唇の唇領域の縦方向の中心位置（ｙ座標＝ｙ２）とする。
【０１３３】
このように探索ブロックを口端点の付近まで順次ずらして重心の計算を行うことで、上唇の唇領域の縦方向の中心位置を示す複数の点の座標（（ｘ０，ｙ１）、（ｘ１，ｙ２）、…）が得られる。探索ブロックが所定の位置（例えば口端点）に達するまで処理を続けてもよいし、唇候補領域が途切れる位置まで処理を続けてもよい。例えば、上唇の唇領域の縦方向の中心位置を示す複数の点を結ぶ曲線（二次曲線またはより高次の曲線等）を求めることで、上唇の唇領域の縦方向の中心位置を示す曲線を得ることができる。なお、下唇の唇領域の縦方向の中心位置を示す複数の点も、同様にして得ることができる。
【０１３４】
唇領域特定部２０は、唇領域の縦方向の中心位置を示す各点を中心とした、縦方向の所定の幅の範囲を、モデル化された唇領域として特定する。本実施形態では、唇領域の縦方向の中心位置を示す各点を中心とした、縦方向の所定の幅の範囲が、唇らしい形状を表す唇形状モデルであると言える。図１７は、図１６（ａ）に対応し、モデル化された唇領域を示す画像である。明るい箇所は唇領域を示す。唇候補領域からモデル化した唇形状の領域を唇領域として特定することで、ノイズ等を排除して唇らしい唇領域を特定することができる。なお、図１７に示す例では、後の唇の補正処理において口端付近の肌にまで補正処理を行わないよう、敢えて口端付近は唇領域から除いている。
【０１３５】
なお、口の水平方向中央付近において、連続して縦方向に分布する唇候補領域の上端から下端の距離を、モデル化された唇領域の縦方向の幅としてもよい。また、唇領域特定部２０は、唇領域の縦方向の中心位置を示す各点を結ぶ曲線を求め、その曲線の縦方向の所定の幅の領域を、モデル化された唇領域として特定してもよい。また、唇領域特定部２０は、口端点側に向かうほど唇領域の縦の幅が小さくなるよう、唇領域の縦方向の中心位置を示す各点に基づいて、唇領域を特定してもよい。その方が、特定した唇領域がより自然なモデルの唇形状となる。
【０１３６】
このようにして唇領域特定部２０は、唇領域を特定する。なお、唇領域特定部２０は、唇候補領域の画素を、唇領域として特定してもよい。また、唇領域特定部２０は、唇候補領域であり、かつ、モデル化された唇領域である領域（図１５の画像の領域と図１７の画像の領域の積をとった領域）のみを唇領域として特定してもよい。以上で、唇色特定処理および唇領域特定処理が完了する。
【０１３７】
次に、特定した唇領域に対して、唇艶強調補正を行う。リップグロスを塗布したように見せるために、唇の光沢（艶）を強くする。そのために、唇の一部の領域の輝度を大きくし、唇領域の色変化を全体的に滑らかにする。具体的には、唇領域の一部の画素に輝度を加算するための光沢画像を用意し、唇領域を平滑化した口画像に光沢画像を重ねる（合成する）ことで、唇領域を滑らかにし、唇の一部の光沢を強くする。
【０１３８】
図１８は、画像処理装置３１における補正処理の流れを示すフローチャートである。
【０１３９】
画像補正部２１の唇重み特定部４１は、図１７に示す唇領域の各画素位置に対して、唇の画像補正を行うための重み（補正重みＷｇ）を求める（Ｓ２１）。例えば、唇領域の中心付近では光沢増強の補正をより強くかけ、唇領域の周辺部付近（境界付近）では、光沢増強の補正をより弱くかけることで、自然な見た目の画像補正を行う。
【０１４０】
具体的には、唇重み特定部４１は、上下の各唇について、唇領域の水平方向の中心位置ほど重みが大きく、唇領域の水平方向の外側（口端点側）ほど重みが小さくなるように補正重みＷｇ（第２重み）を設定する。また、唇重み特定部４１は、上下の各唇について、唇領域の縦方向の中心位置ほど重みが大きく、唇領域の縦方向の端部ほど重みが小さくなるように補正重みＷｇを設定する。例えば、唇領域の水平方向の中心位置、かつ、縦方向の中心位置（第１位置）では、補正重みが１になり、唇領域の水平方向の中心位置、かつ、縦方向の唇領域の端部では、補正重みが０になるようにする。また、唇領域の水平方向の外側の端、かつ、縦方向の中心位置では、補正重みが０．５になり、唇領域の水平方向の外側の端、かつ、縦方向の唇領域の端部では、補正重みが０になるようにする。その間における補正重みは、例えば線形に変化させてもよい。図１９は、各水平位置での補正重みＷｇを示す図である。縦軸は唇領域の縦方向における位置、横軸は各位置の補正重みＷｇを示す。また、左側のグラフは唇領域の水平方向の中心の位置に対応するものであり、右側のグラフは唇領域の水平方向の外側の位置に対応するものである。各水平位置において、唇領域の幅の中心では補正重みＷｇが大きい。また、水平方向の中心では、補正重みＷｇが大きい。図２０は、図１７に対応し、補正重みＷｇを示す画像である。明るい箇所は補正重みＷｇが大きいことを示す。図１７に示す唇領域に対して、図２０に示す補正重みＷｇは、より唇らしく見える領域の補正重みが大きくなっていることが分かる。なお、この処理を唇領域特定部２０が行い、唇領域特定部２０が、図２０に示す画像を２値化したものを唇領域として特定してもよい。
【０１４１】
画像補正部２１の唇尤度特定部４２は、補正重みＷｇ、唇候補領域、第１の唇色類似度Ｗｅ、および第２の唇色類似度Ｗｆに基づいて、処理対象である唇候補領域（第１領域）の各画素について、唇であることの尤度を特定する（Ｓ２２）。具体的には、唇尤度特定部４２は、各画素について、補正重みＷｇ（図２０）、唇候補領域（図１７）、第１の唇色類似度Ｗｅ（図１３（ｂ））、および第２の唇色類似度Ｗｆ（図１４（ｂ））の積を補正部分評価値Ｄ３（第１器官尤度）として求める。図２１は、図２０に対応し、補正部分評価値Ｄ３を示す画像である。明るい箇所は補正部分評価値Ｄ３の値が大きいことを示す。補正重みＷｇ（０〜１）、唇候補領域（０または１）、第１の唇色類似度Ｗｅ（０〜１）、および第２の唇色類似度Ｗｆ（０〜１）が大きい、すなわち補正部分評価値Ｄ３が大きければ、その画素が唇であることが尤もらしいと言える。よって、各画素の補正部分評価値Ｄ３は、該画素が唇であることの尤度を示す。また、唇尤度特定部４２は、唇領域の中で光沢（輝度）の補正を行う光沢補正領域を特定する。唇尤度特定部４２は、補正部分評価値Ｄ３の値が所定の閾値より大きい領域（画素）を、光沢（輝度）補正の対象である光沢補正領域（第２領域）として特定する。
【０１４２】
自然な見た目の光沢補正を行うために、光沢補正領域の中でも、唇らしさが大きく、かつ、明るい一部の箇所（領域）について、より輝度が大きくなるように補正を行う。ここでは、光沢補正領域の中で補正部分評価値Ｄ３と輝度（画素の元々の輝度）との積が最大になる画素を中心として、輝度を増大させる。そのために、以下の処理では、唇領域の一部の画素の輝度を加算するための光沢画像を用意する。
【０１４３】
画像補正部２１の唇位置重み決定部４３は、正規化された口画像の光沢補正領域に含まれる各画素について、輝度と補正部分評価値Ｄ３との積を求める。図２２は、図３（ｂ）に対応し、輝度と補正部分評価値Ｄ３との積を示す画像である。明るい箇所は輝度と補正部分評価値Ｄ３との積が大きく、暗い箇所は輝度と補正部分評価値Ｄ３との積が小さいことを示す。なお、光沢補正領域ではない位置は、暗く示されている。唇位置重み決定部４３は、輝度と補正部分評価値Ｄ３との積が最大になる画素を中心とする、同心円状の位置重み（第１重み）を決定する（Ｓ２３）。この同心円状の位置重みは、中心が１で、中心からの距離が大きくなるほど小さくなる。図２２では、輝度と補正部分評価値Ｄ３との積が最大になる画素は、図に示す円の中心に位置する。
【０１４４】
画像補正部２１の唇補正量決定部４４は、光沢補正領域の各画素について、輝度と補正部分評価値Ｄ３と同心円状の位置重みとの積を求め、補正用トーンカーブの入力用輝度とする。
【０１４５】
図２３は、光沢補正領域の入力用輝度によるヒストグラムである。唇補正量決定部４４は、光沢補正領域の各画素について、入力用輝度に応じた第１補正量を求め、また、入力用輝度の値が大きい上位の所定の割合の画素について、入力用輝度に応じた第２補正量を求める（Ｓ２４）。この処理について以下に説明する。
【０１４６】
図２４（ａ）は、各画素の入力用輝度に対する第１トーンカーブを示す図であり、図２４（ｂ）は、各画素の入力用輝度に対する第２トーンカーブを示す図である。図２４（ａ）、図２４（ｂ）における横軸は入力輝度を、縦軸はトーンカーブによる出力輝度を示し、参考までに図２３のヒストグラムを重ねて表示している。なお、輝度値は０〜２５５の値をとるものとする。第１トーンカーブでは、各画素の入力用輝度値に対して、最大入力輝度２５５が最大出力輝度１２７になるように出力輝度を線形に変化させる。第１トーンカーブによる出力輝度が、第１補正量となる。
【０１４７】
第２トーンカーブでは、各画素の入力用輝度値に対して、その中で最高の入力輝度に対する出力輝度が１２８になるように、かつ、入力用輝度値の上位４％を除いた全ての画素の出力輝度が０になる。そして、第２トーンカーブでは、入力用輝度値の上位４％の画素については、その入力用輝度値に応じて出力輝度が０から１２８に線形に変化する。第２トーンカーブによる出力輝度が、第２補正量となる。
【０１４８】
唇補正量決定部４４は、第１トーンカーブを用いて、入力用輝度に比例する第１補正量を求める。また、唇補正量決定部４４は、第２トーンカーブを用いて、入力用輝度が上位の４％の画素について、入力用輝度に応じた第２補正量を求める。
【０１４９】
唇補正量決定部４４は、各画素の第１補正量および第２補正量に基づき、光沢画像を生成する（Ｓ２５）。図２５は、図２２に対応し、輝度成分のみを有する光沢画像を示す画像である。光沢画像の各画素の輝度値は、各画素の第１補正量および第２補正量の和（最大値は２５５）に、所定の補正度合い（例えば０．１）を乗じたものである。所定の補正度合いのために、光沢画像の最大輝度は、例えば２５程度になる。光沢画像の輝度値は、口画像に対する輝度の補正値となる。
【０１５０】
画像補正部２１の唇画像補正部４５は、各画素の輝度値について、図３（ａ）に示す正規化された口画像、図３（ｂ）に示す平滑化された口画像、および図２５に示す光沢画像を合成し、補正された口画像を生成する（Ｓ２６）。すなわち、唇画像補正部４５は、第１補正量および第２補正量に応じて各画素の輝度を増加させる。具体的には、唇画像補正部４５は、各画素について、平滑化された口画像（図３（ｂ））の輝度値に図２０に示す補正重みＷｇを乗じたものと、正規化された口画像（図３（ａ））の輝度値に重み（１−Ｗｇ）を乗じたものと、光沢画像（図２５）の輝度値との和を、補正された口画像の輝度値とする。図２６は、正規化された口画像、平滑化された口画像、および光沢画像の合成処理を示す図である。補正された口画像の各画素の輝度値Ｙｃは、次式で求められる。
【０１５１】
【数９】
【０１５２】
ここで、Ｙｆは平滑化された口画像の画素の画素値を示し、Ｙｎは正規化された口画像の画素の画素値を示し、Ｙｇは光沢画像の画素の画素値を示す。なお、補正重みＷｇは、０から１の値をとる。また、加算の結果の輝度値Ｙｃが最大輝度２５５を越えるときは、その画素の輝度値を２５５にする。唇領域について平滑化された口画像を合成することで、唇領域の輝度変化を滑らかにし、唇領域に光沢画像を合成することで、唇領域の光沢を増強させることができる。なお、ここでは唇画像補正部４５は、色相および彩度については、補正しない。
【０１５３】
次に、合成部２２は、補正された口画像を正規化する前の元のサイズに戻し（必要に応じて補正された口画像を回転および拡大・縮小させ）、処理対象の画像（顔画像）に合成し、補正された画像を生成する（Ｓ２７）。このようにして、処理対象の画像における唇等の見た目が補正された画像が得られる。
【０１５４】
図２７（ａ）は、補正前の顔画像の一部を示す画像であり、図２７（ｂ）は、補正後の顔画像の一部を示す画像である。上下の唇全体の見た目が滑らかになり、下唇の一部の光沢が増強されていることが分かる。なお、図２７（ｂ）では、以下で説明する歯のホワイトニング処理の補正も適用されている。
【０１５５】
表示制御部２３は、補正処理後の画像を表示装置５に表示させ、補正処理を終了する。
【０１５６】
＜唇補正のまとめ＞
本実施形態の画像処理装置３１によれば、唇と肌とを含む口画像の輝度を除いた色相および彩度の情報に基づいて、様々な色であり得る唇の代表色を特定し、特定した唇の代表色に基づいて唇領域を正確に特定することができる。そして、特定した唇領域に補正処理を行うことで、画像の中の人物の唇に、適切な補正処理を施すことができる。
【０１５７】
従来の画像処理では、輝度の情報を用いて唇の領域を検出するのが当然と考えられていた。それは、輝度に基づいて唇の領域を検出する利点があることに起因する。この理由としては、以下を挙げることができる。
【０１５８】
第１に、輝度に基づく方法は、グレースケール画像にも適用できることが挙げられる。
【０１５９】
第２に、一般に、口画像のＹ成分は、Ｃｂ成分およびＣｒ成分に比べ、エッジが明瞭であり、Ｙ成分を用いると唇等のエッジが検出しやすいことが挙げられる。図２８（ａ）は、図３（ａ）に対応し、正規化された口画像のＣｂ成分の値を示す画像であり、図２８（ｂ）は、図３（ａ）に対応し、正規化された口画像のＣｒ成分の値を示す画像である。明るい箇所は各成分の値が大きいことを示す。ＣｂＣｒ成分を示す図２８（ａ）および図２８（ｂ）と、輝度Ｙを示す図３（ａ）とを比較すると、輝度Ｙを示す画像の方が、より唇のエッジを鮮明に見分けることができる。
【０１６０】
このように、従来において、照明条件等がよい場合は、輝度に基づいて唇の領域および唇の色を特定することができた。一方で、照明条件等が悪い場合（部分的に影ができる場合、または照明が強すぎる場合等）は、従来のように輝度に基づいて唇の領域および唇の色を特定すると、誤検出が多くなり、正確に唇の領域および唇の色を特定することができないことがある。
【０１６１】
また、唇の色（色相等）が既知である場合に、色相または彩度によって唇の領域を特定することは、従来から行われていた。また、一般的な方法で、顔の広い範囲に分布する肌の色を検出する場合と異なり、唇という顔の中の狭い領域の色を同様の方法で検出するのは困難である場合が多い。
【０１６２】
これに対して、本実施形態の画像処理装置３１によれば、唇の色が既知ではなく、かつ、唇の領域も既知ではない場合に、唇の代表色を特定し、唇の領域を特定することができる。画像処理装置３１は、色相と彩度における差に応じて、肌の色および歯の色とは異なる（差が大きい）候補色を唇の代表色として特定する。そのため、影、照明または化粧等により、画像における肌と唇とが同色相である場合においても、また、画像における肌の色が場所によって大きく異なっている場合においても、肌および歯と唇とを正確に区別し、唇の代表色を特定することができる。また、肌の色の分散等を考慮して各候補色が唇の色である度合いを求めるので、より適切な唇色度合いを求めることができる。ここで、色相および彩度における差とは、２つの色の色相彩度平面（ＣｂＣｒ平面）における違いを指し、色相の違い、彩度の違い、および、色相彩度平面における距離等が含まれる。
【０１６３】
また、画像処理装置３１は、肌の色との色相および彩度による差に応じて複数の候補色を選択し、その中からより唇の色らしい（例えば彩度が大きい）候補色を唇の代表色として選択する。そのため、より正確に唇の代表色を特定することができる。
【０１６４】
また、画像処理装置３１は、唇の代表色と各画素との色相と彩度における差に応じて、唇の代表色に類似する領域を唇領域として特定する。比較的明るい照明環境の元で撮影された画像の場合、唇の一部が白っぽくなることがある。唇の白っぽくなった艶領域は彩度が小さく、一方で唇の他の領域は彩度が大きいので、艶領域とそれ以外の唇領域の色のＣｂＣｒ平面における距離は大きくなる。しかしながら、艶領域も色相は変化しないため、色相を考慮することで艶領域も正確に唇領域と判定することができる。一方で、肌と唇とが同色相であった場合でも、唇の代表色と各画素とのＣｂＣｒ平面における距離を考慮することで、正確に唇領域を特定することができる。
【０１６５】
また、画像処理装置３１は、唇の代表色に類似する画素（唇候補領域の画素）の空間分布に基づき、所定の唇形状のモデル等を適用し、唇らしい形状を構成する画素および／または唇らしい位置にある画素を、モデル化された唇領域として特定する。唇以外で唇の代表色に類似した領域がある場合、唇候補領域の中から唇の領域のみを判別する必要がある。そこで、唇形状のモデルを唇候補領域に適合させる（フィットさせる）ことにより、唇候補領域から唇らしい位置にある画素のみを唇領域として特定することができる。また、照明条件等により、唇の一部が唇の代表色に類似していない場合でも、唇形状のモデルを唇候補領域に適合させた場合に唇形状のモデルに含まれる画素を、唇領域として特定することができる。よって、撮影時に白く輝いたりして色相・彩度の情報が失われた唇の領域も、正確に唇領域として特定することができる。
【０１６６】
このように、本実施形態の画像処理装置３１によれば、悪条件下で撮影された画像に対しても、正確に唇の代表色を特定し、唇領域を特定することができる。
【０１６７】
また、画像処理装置３１は、唇らしさを表す補正部分評価値Ｄ３と、特定の位置（第１位置）を中心とした位置重みとの積に応じて唇の補正量（光沢画像）を決定する。唇である尤度が低い箇所、または特定の位置から離れた箇所の補正量は小さくなるので、補正を行う領域の境界付近での補正量を小さくすることができる。それゆえ、唇の境界が不自然に強調されることを防ぎながら、唇の領域に対して適切に（見た目が自然な）補正を行うことができる。
【０１６８】
＜歯補正の画像処理フロー＞
以下に、デジタルカメラ３０における歯のホワイトニングの画像補正処理の流れについて説明する。なお、唇領域を特定するまでの処理（図６に示す処理）は、上記唇補正の場合と同様である。
【０１６９】
図２９は、画像処理装置３１における口内領域特定処理および補正処理（歯のホワイトニング処理）の流れを示すフローチャートである。画像処理装置３１は、歯の領域の輝度を大きくすることにより、画像の中の歯を白く輝いて見えるように補正する。
【０１７０】
まず、口内部領域特定部３２は、唇領域特定部２０が特定した上の唇領域および下の唇領域の間の領域を、口内部領域（処理対象領域、第１領域）として特定する（Ｓ３１）。具体的には、図１７に示す上下の唇領域に挟まれる領域を、口内部領域とする。口画像の口内部領域に、歯の領域が含まれていると考えられる。
【０１７１】
歯候補色特定部３３は、口画像の口内部領域の少なくとも一部を、複数の領域に分割し、分割された各領域の代表色を、歯の色の複数の候補色（歯候補色）として特定する（Ｓ３２）。ここでは、各領域について、該領域の平均色を、歯候補色とする。
【０１７２】
歯代表色特定部３４は、各歯候補色の彩度を比較し、最も彩度の小さい歯候補色を歯の代表色として特定する（Ｓ３３）。なお、歯の代表色として、所定の色（例えば白）を用いてもよい。
【０１７３】
画像補正部２１の歯色類似度特定部５１は、口内部領域の各画素について、歯の代表色との類似度合いを求める（Ｓ３４）。具体的には、歯色類似度特定部５１は、各画素の色と歯の代表色との色空間における距離に応じた歯色類似度Ｗｉを求める。歯色類似度Ｗｉは、口内部領域の各画素の色と歯の代表色との類似度を表す。つまり、歯色類似度Ｗｉが大きいということは、その画素が歯であることの尤度が大きいということである。
【０１７４】
色空間における距離に応じた歯色類似度Ｗｉは、次式で求めることができる。
【０１７５】
【数１０】
【０１７６】
ここで、Ｙｔ、Ｃｂｔ、Ｃｒｔは、それぞれ歯の代表色の輝度Ｙ成分、Ｃｂ成分、Ｃｒ成分であり、Ｙ、Ｃｂ、Ｃｒは、それぞれ各画素の色のＹ成分、Ｃｂ成分、Ｃｒ成分である。また、σｙｔ、σｂｔ、σｒｔは、それぞれ色空間のＹ軸における歯の色の標準偏差、Ｃｂ軸における歯の色の標準偏差、Ｃｒ軸における歯の色の標準偏差である。歯の色の標準偏差は、歯の代表色（最終的に歯の代表色として特定された歯候補色）に対応する領域（歯候補色特定部３３が分割した領域）の各画素の色から求めることができる。なお、暗い画素は歯の領域の白っぽい画素と同様に、色相および彩度が小さくなる。そのため、歯色類似度Ｗｉを求める際に輝度Ｙを考慮し、暗い画素は歯色類似度Ｗｉが低くなるようにしている。図３１は、図３（ｂ）に対応し、口画像の各画素の色を式（１０）に当てはめて歯色類似度Ｗｉを計算した結果を示す画像である。明るい箇所は歯色類似度Ｗｉが大きく、暗い箇所は歯色類似度Ｗｉが小さいことを示す。これによれば、歯の領域は歯色類似度Ｗｉが大きいことが分かる。口内部領域の歯以外の領域、すなわち、歯肉や口の奥、および舌等は、歯色類似度Ｗｉが小さくなっている。
【０１７７】
画像補正部２１の歯位置重み決定部５２は、口内部領域の各画素位置に対して、歯の画像補正を行うための重み（補正重みＷｈ）を求める（Ｓ３５）。例えば、口内部領域の口端点に近い領域は、口の内部で陰になっていることが多いと考えられる。そのため、歯を白くする補正処理は、口内部領域の水平方向（左右の口端点が並ぶ方向）の中央付近についてより重点的に行えばよい。これにより、自然な見た目の画像補正を行う。
【０１７８】
具体的には、歯位置重み決定部５２は、口内部領域の水平方向の中心位置ほど重みが大きく、口内部領域の水平方向の外側（口端点側）ほど重みが小さくなるように補正重みＷｈ（第１重み）を設定する。例えば、口内部領域の左右の口端点を結ぶ線分の垂直二等分線上の位置（水平方向の中心位置）では、補正重みＷｈが１になり、口内部領域の水平方向の外側の端では、補正重みＷｈが０になるようにする。補正重みは、上記垂直二等分線からの距離に応じて、例えば線形に変化させてもよい。言い換えると、画像補正部２１は、口内部領域の水平方向の中心を通る線（２つの口端点を結ぶ線分の垂直二等分線）からの距離に応じて、該距離が大きくなるほど補正重みＷｈが小さくなるように補正重みＷｈを決定する。図３０は、図１７に対応し、口内部領域および口内部領域の補正重みＷｈを示す画像である。明るい箇所は補正重みＷｈが大きいことを示す。
【０１７９】
なお、上記に限らず、歯位置重み決定部５２は、口内部領域の特定の位置（点または線を示す第１位置）からの距離が大きくなるほど補正重みＷｈが小さくなるように補正重みＷｈを決定してもよい。例えば、歯位置重み決定部５２は、口内部領域の重心または中心（例えば口内部領域に外接する矩形の中心）を上記特定の位置と設定してもよい。また、歯位置重み決定部５２は、口内部領域の重心または中心を通る線上の位置を上記特定の位置と設定してもよい。
【０１８０】
また、例えば、画像の中の顔が正面を向いておらず、口が少し横向きになっていることがある。歯位置重み決定部５２は、特徴検出部１３によって検出された顔の特徴等から顔の向きを特定してもよい。それにより、歯位置重み決定部５２は、その顔の口の中心と考えられる位置（画像上の口端点の中心ではなく、実際の口の中央を表していると考えられる画像上の点または線）を上記特定の位置として設定し、該特定の位置からの距離に応じて補正重みＷｈを決定してもよい。顔の向きが正面ではない場合に、実際の口の中心の補正重みＷｈを大きくする（すなわち、歯の輝度を大きくする）ことにより、より自然な補正を行うことができる。なお、顔の特徴点から顔の向きを特定し、実際の口の中心を特定する方法として、公知の技術を利用することができる（非特許文献１参照）。例えば、三次元の顔モデルに顔の特徴点をフィッティングさせることにより顔（顔モデル）の向きを特定し、顔モデルの口の特徴点から、画像上の対応する点（実際の口の中央を示す点）を特定することができる。
【０１８１】
また、例えば、歯位置重み決定部５２は、口内部領域における最も輝度が大きい位置（画素）、または、最も歯色類似度Ｗｉが大きい位置（画素）を上記特定の位置に設定し、該特定の位置からの距離に応じて補正重みＷｈを決定してもよい。または、歯位置重み決定部５２は、口内部領域における歯色類似度Ｗｉが所定の閾値（第１閾値）よりも大きい領域の重心または中心を上記特定の位置に設定してもよい。
【０１８２】
自然な見た目の歯光沢補正を行うために、以下の処理では、歯領域の画素の輝度を加算するための歯光沢画像を用意する。
【０１８３】
画像補正部２１の歯補正量決定部５３は、口内部領域について、口内部領域の補正重みＷｈ、歯色類似度Ｗｉ、第１の唇色類似度Ｗｅ（第２器官尤度）、および第２の唇色類似度Ｗｆ（第２器官尤度）に基づいて、歯光沢画像を生成する（Ｓ３６）。具体的には、各画素について、口内部領域の補正重みＷｈおよび歯色類似度Ｗｉの積をとったものに、（１−Ｗｅ）および（１−Ｗｆ）を乗じ、さらに所定の補正度合い（例えば２０）を乗じた画像を、歯光沢画像として生成する。歯光沢画像の各画素値は、補正に用いる各位置の補正量を表す。
【０１８４】
図３２は、図１３（ｂ）に対応し、各画素の（１−Ｗｅ）の値を示す画像である。図３３は、図１４（ｂ）に対応し、各画素の（１−Ｗｆ）の値を示す画像である。図３４は、図３１に対応し、歯光沢画像を示す画像である。明るい箇所は値が大きいことを示す。なお、口内部領域の補正重みＷｈ、歯色類似度Ｗｉ、第１の唇色類似度Ｗｅ、および第２の唇色類似度Ｗｆは、０から１の値をとる。例えば補正度合いが２０の場合、歯光沢画像の各画素は、０から２０の値をとる。歯光沢画像の各画素の値が、口画像を補正する際の輝度の補正値（補正量）となる。なお、口内部領域の補正重みＷｈと歯色類似度Ｗｉとの積をとることにより、口内部領域の歯である領域の水平方向中央付近の補正の重みを大きくすることができる。なお、口内部領域の補正重みＷｈと歯色類似度Ｗｉとの積に限らず、口内部領域の補正重みＷｈおよび歯色類似度Ｗｉが大きくなるほど補正量（歯光沢画像の各画素の値）が大きくなるように、補正値を決定すればよい。
【０１８５】
画像において口が開いているのに歯が見えていない場合に、舌等の色を歯の代表色と特定してしまうことがある。舌の色は唇の色に比較的類似していると考えられる。このような場合に、舌の色を明るく補正することがないよう、（１−Ｗｅ）および（１−Ｗｆ）を考慮することによって、唇に類似した色相・彩度の領域（例えば舌）を補正しないようにすることができる。
【０１８６】
画像補正部２１の歯画像補正部５４は、各画素の輝度値について、図３（ａ）に示す正規化された口画像、および図３４に示す歯光沢画像を合成し、補正された口画像を生成する（Ｓ３７）。具体的には、歯画像補正部５４は、各画素について、正規化された口画像（図３（ａ））の輝度値と、歯光沢画像（図３４）の輝度値との和を、補正された口画像の輝度値とする。また、加算の結果の輝度値が最大輝度２５５を越えるときは、その画素の輝度値を２５５にする。歯光沢画像の各画素値は、輝度の補正値であると言える。なお、本実施形態では歯のホワイトニング補正処理のために、補正量に応じて輝度を増加させる補正を行うが、例えば、補正量に応じて特定の色を合成する、または特定の色を増強（特定の色相の彩度の値を増加）させてもよい。
【０１８７】
合成部２２は、補正された口画像を処理対象の画像（顔画像）に合成する。以降の処理は上記唇補正の場合と同様である。
【０１８８】
図２７（ａ）と図２７（ｂ）を比較すると、図２７（ｂ）に示す補正後の顔画像の一部を示す画像では、歯の特に水平方向の中央の領域の輝度が上がっていることが分かる。
【０１８９】
＜歯補正のまとめ＞
本実施形態の画像処理装置３１によれば、唇領域に基づいて、口内部領域を正確に特定することができる。そして、口内部領域の中の歯である度合いが大きい領域に対して補正処理を行うことで、画像の中の人物の歯に、適切な補正処理を施すことができる。また、口内部領域の特定の位置（水平方向中央）からの距離に応じて、補正重みＷｈを変化させることにより、口端点付近の口内部領域の境界での輝度の補正量を小さくすることができる。それゆえ、口内部領域の境界が不自然に強調されることを防ぎながら、歯の領域に対して適切に（見た目が自然な）補正を行うことができる。
【０１９０】
また、図３４に示す歯光沢画像において、明るい箇所は歯である度合いが大きい箇所を示している。そのため、歯光沢画像は、歯の領域を示していると言える。このように、本実施形態によれば、正確に歯の領域を特定することができる。画像処理装置３１は、歯光沢画像の画素値が所定の閾値以上である領域を歯の領域として特定する歯領域特定部を備えてもよい。
【０１９１】
最後に、画像処理装置３１の各ブロック、特に画像取得部１１、顔検出部１２、特徴検出部１３、適否判定部１４、口画像正規化部１５、平滑化部１６、肌代表色特定部１７、候補色特定部１８、唇代表色特定部１９、唇領域特定部２０、画像補正部２１、合成部２２、表示制御部２３、口内部領域特定部３２、歯候補色特定部３３、歯代表色特定部３４、歯色類似度特定部５１、歯位置重み決定部５２、歯補正量決定部５３、および歯画像補正部５４は、ハードウェアロジックによって構成してもよいし、次のようにＣＰＵ（central processing unit）を用いてソフトウェアによって実現してもよい。
【０１９２】
すなわち、画像処理装置３１は、各機能を実現する制御プログラムの命令を実行するＣＰＵ、上記プログラムを格納したＲＯＭ（read only memory）、上記プログラムを展開するＲＡＭ（random access memory）、上記プログラムおよび各種データを格納するメモリ等の記憶装置（記録媒体）などを備えている。そして、本発明の目的は、上述した機能を実現するソフトウェアである画像処理装置３１の制御プログラムのプログラムコード（実行形式プログラム、中間コードプログラム、ソースプログラム）をコンピュータで読み取り可能に記録した記録媒体を、上記画像処理装置３１に供給し、そのコンピュータ（またはＣＰＵやＭＰＵ（microprocessor unit））が記録媒体に記録されているプログラムコードを読み出し実行することによっても、達成可能である。
【０１９３】
上記記録媒体としては、例えば、磁気テープやカセットテープ等のテープ系、フロッピー（登録商標）ディスク／ハードディスク等の磁気ディスクやＣＤ−ＲＯＭ（compact disc read-only memory）／ＭＯ（magneto-optical）／ＭＤ（Mini Disc）／ＤＶＤ（digital versatile disk）／ＣＤ−Ｒ（CD Recordable）等の光ディスクを含むディスク系、ＩＣカード（メモリカードを含む）／光カード等のカード系、あるいはマスクＲＯＭ／ＥＰＲＯＭ（erasable programmable read-only memory）／ＥＥＰＲＯＭ（electrically erasable and programmable read-only memory）／フラッシュＲＯＭ等の半導体メモリ系などを用いることができる。
【０１９４】
また、画像処理装置３１を通信ネットワークと接続可能に構成し、上記プログラムコードを通信ネットワークを介して供給してもよい。この通信ネットワークとしては、特に限定されず、例えば、インターネット、イントラネット、エキストラネット、ＬＡＮ（local area network）、ＩＳＤＮ（integrated services digital network）、ＶＡＮ（value-added network）、ＣＡＴＶ（community antenna television）通信網、仮想専用網（virtual private network）、電話回線網、移動体通信網、衛星通信網等が利用可能である。また、通信ネットワークを構成する伝送媒体としては、特に限定されず、例えば、ＩＥＥＥ（institute of electrical and electronic engineers）１３９４、ＵＳＢ、電力線搬送、ケーブルＴＶ回線、電話線、ＡＤＳＬ（asynchronous digital subscriber loop）回線等の有線でも、ＩｒＤＡ（infrared data association）やリモコンのような赤外線、Ｂｌｕｅｔｏｏｔｈ（登録商標）、８０２．１１無線、ＨＤＲ（high data rate）、携帯電話網、衛星回線、地上波デジタル網等の無線でも利用可能である。
【０１９５】
本発明は上述した実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能である。すなわち、請求項に示した範囲で適宜変更した技術的手段を組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。
【産業上の利用可能性】
【０１９６】
本発明は、画像処理装置を備えるデジタルカメラ等に利用することができる。
【符号の説明】
【０１９７】
２ 指示入力装置
３ 撮像装置
４ 画像記憶装置
５ 表示装置
１１ 画像取得部（指示受領部）
１２ 顔検出部
１３ 特徴検出部
１４ 適否判定部
１５ 口画像正規化部
１６ 平滑化部
１７ 肌代表色特定部
１８ 候補色特定部
１９ 唇代表色特定部
２０ 唇領域特定部（第２器官尤度特定部）
２１ 画像補正部
２２ 合成部
２３ 表示制御部
３０ デジタルカメラ
３１ 画像処理装置
３２ 口内部領域特定部
３３ 歯候補色特定部
３４ 歯代表色特定部
４１ 唇重み特定部（第２重み決定部）
４２ 唇尤度特定部（第１器官尤度特定部）
４３ 唇位置重み決定部（第１重み決定部）
４４ 唇補正量決定部（補正量決定部）
４５ 唇画像補正部（画像補正部）
５１ 歯色類似度特定部（第１器官尤度特定部）
５２ 歯位置重み決定部（第１重み決定部）
５３ 歯補正量決定部（補正量決定部）
５４ 歯画像補正部（画像補正部）
【特許請求の範囲】
【請求項１】
人物の口を含む顔画像について画像処理を行う画像処理装置において、
上記顔画像の少なくとも口の一部を含む第１領域の各位置について、該位置の色と処理対象である器官の代表色である第１代表色との差に基づいて、該位置が上記器官であることの尤度を第１器官尤度として特定する第１器官尤度特定部と、
上記第１領域の各位置について、上記第１領域の第１位置からの距離が大きいほど第１重みが小さくなるように上記第１重みを決定する第１重み決定部と、
上記第１器官尤度および上記第１重みが大きいほど補正量が大きくなるように該位置の上記補正量を決定する補正量決定部と、
上記補正量を用いて画像を補正する画像補正部とを備えることを特徴とする画像処理装置。
【請求項２】
上記補正量は、上記第１器官尤度および上記第１重みの積に比例することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
上記第１器官尤度特定部は、色空間の色相彩度平面における上記第１代表色と上記第１領域の各位置の色との間の距離に応じて、上記第１器官尤度を特定することを特徴とする請求項１または２に記載の画像処理装置。
【請求項４】
上記第１器官尤度特定部は、色空間の色相彩度平面における上記第１代表色と上記第１領域の各位置の色との間の距離と、上記第１代表色と該位置の色との色相の差とに応じて、上記第１器官尤度を特定することを特徴とする請求項１から３のいずれか一項に記載の画像処理装置。
【請求項５】
上記第１器官尤度特定部は、色空間における上記第１代表色と上記第１領域の各位置の色との距離に応じて、上記第１器官尤度を特定することを特徴とする請求項１または２に記載の画像処理装置。
【請求項６】
上記第１位置は上記第１領域の中の線を示し、
上記第１重み決定部は、上記第１位置が示す線からの距離が大きいほど上記第１重みが小さくなるように上記第１重みを決定することを特徴とする請求項１から５のいずれか一項に記載の画像処理装置。
【請求項７】
上記第１位置は、上記第１領域の重心または中心を通る線を示すことを特徴とする請求項６に記載の画像処理装置。
【請求項８】
上記第１位置が示す線は、２つの口端点を結ぶ線に対して垂直であることを特徴とする請求項６または７に記載の画像処理装置。
【請求項９】
上記第１位置は上記第１領域の中の点を示し、
上記第１重み決定部は、上記第１位置が示す点からの距離が大きいほど上記第１重みが小さくなるように上記第１重みを決定することを特徴とする請求項１から５のいずれか一項に記載の画像処理装置。
【請求項１０】
上記第１重み決定部は、上記第１領域における上記第１器官尤度と輝度との積が最も大きい位置を上記第１位置とすることを特徴とする請求項１から５、および９のいずれか一項に記載の画像処理装置。
【請求項１１】
上記第１位置は、上記第１領域の重心または中心を示すことを特徴とする請求項９に記載の画像処理装置。
【請求項１２】
上記第１位置は、上記第１領域における上記第１器官尤度が第１閾値以上である領域の重心または中心を示すことを特徴とする請求項９に記載の画像処理装置。
【請求項１３】
上記第１位置は、上記顔画像における人物の顔の向きに応じた実際の口の中心位置を示すことを特徴とする請求項６または９に記載の画像処理装置。
【請求項１４】
上記画像補正部は、上記補正量が大きいほど対応する上記第１領域の位置の輝度を大きく増加させることを特徴とする請求項１から１３のいずれか一項に記載の画像処理装置。
【請求項１５】
上記補正量決定部は、上記第１領域の各位置について、上記第１器官尤度、上記第１重みおよび輝度が大きいほど補正量が大きくなるように上記補正量を決定することを特徴とする請求項１から１４のいずれか一項に記載の画像処理装置。
【請求項１６】
上記画像補正部は、上記第１器官尤度が第２閾値以上である第２領域を補正領域とし、上記補正領域の画像を上記補正量を用いて補正することを特徴とする請求項１から１５に記載の画像処理装置。
【請求項１７】
上記第１領域の各位置について、該位置の色と処理対象ではない別の器官の代表色である第２代表色との差に基づいて、該位置の第２器官尤度を特定する第２器官尤度特定部を備え、
上記補正量決定部は、上記第１器官尤度および上記第１重みが大きいほど上記補正量が大きくなるように、かつ、上記第２器官尤度が小さいほど上記補正量が大きくなるように上記補正量を決定することを特徴とする請求項１から１６のいずれか一項に記載の画像処理装置。
【請求項１８】
処理対象である上記器官は唇であり、
左右の口端点を結ぶ線分の垂直二等分線上にあり、かつ、上記第１領域の内側のある点を第２位置として、
上記第１領域の各位置について、上記第２位置で第２重みが最大となるように、かつ、上記第１領域の境界の少なくとも一部で上記第２重みが最小となるように、上記第２重みを決定する第２重み決定部を備え、
上記第１器官尤度特定部は、上記第１領域の各位置について、上記第２重みが小さいほど上記第１器官尤度を小さくすることを特徴とする請求項１から１７に記載の画像処理装置。
【請求項１９】
人物の口を含む顔画像についての画像処理方法であって、
上記顔画像の少なくとも口の一部を含む第１領域の各位置について、該位置の色と処理対象である器官の代表色である第１代表色との差に基づいて、該位置が上記器官であることの尤度を第１器官尤度として特定する第１器官尤度特定ステップと、
上記第１領域の各位置について、上記第１領域の第１位置からの距離が大きいほど第１重みが小さくなるように上記第１重みを決定する第１重み決定ステップと、
上記第１器官尤度および上記第１重みが大きいほど補正量が大きくなるように該位置の上記補正量を決定する補正量決定ステップと、
上記補正量を用いて画像を補正する画像補正ステップとを備えることを特徴とする画像処理方法。
【請求項２０】
人物の口を含む顔画像について画像処理を行う画像処理装置の制御プログラムであって、
上記顔画像の少なくとも口の一部を含む第１領域の各位置について、該位置の色と処理対象である器官の代表色である第１代表色との差に基づいて、該位置が上記器官であることの尤度を第１器官尤度として特定する第１器官尤度特定ステップと、
上記第１領域の各位置について、上記第１領域の第１位置からの距離が大きいほど第１重みが小さくなるように上記第１重みを決定する第１重み決定ステップと、
上記第１器官尤度および上記第１重みが大きいほど補正量が大きくなるように該位置の上記補正量を決定する補正量決定ステップと、
上記補正量を用いて画像を補正する画像補正ステップとを、コンピュータに実行させる制御プログラム。
【請求項１】
人物の口を含む顔画像について画像処理を行う画像処理装置において、
上記顔画像の少なくとも口の一部を含む第１領域の各位置について、該位置の色と処理対象である器官の代表色である第１代表色との差に基づいて、該位置が上記器官であることの尤度を第１器官尤度として特定する第１器官尤度特定部と、
上記第１領域の各位置について、上記第１領域の第１位置からの距離が大きいほど第１重みが小さくなるように上記第１重みを決定する第１重み決定部と、
上記第１器官尤度および上記第１重みが大きいほど補正量が大きくなるように該位置の上記補正量を決定する補正量決定部と、
上記補正量を用いて画像を補正する画像補正部とを備えることを特徴とする画像処理装置。
【請求項２】
上記補正量は、上記第１器官尤度および上記第１重みの積に比例することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
上記第１器官尤度特定部は、色空間の色相彩度平面における上記第１代表色と上記第１領域の各位置の色との間の距離に応じて、上記第１器官尤度を特定することを特徴とする請求項１または２に記載の画像処理装置。
【請求項４】
上記第１器官尤度特定部は、色空間の色相彩度平面における上記第１代表色と上記第１領域の各位置の色との間の距離と、上記第１代表色と該位置の色との色相の差とに応じて、上記第１器官尤度を特定することを特徴とする請求項１から３のいずれか一項に記載の画像処理装置。
【請求項５】
上記第１器官尤度特定部は、色空間における上記第１代表色と上記第１領域の各位置の色との距離に応じて、上記第１器官尤度を特定することを特徴とする請求項１または２に記載の画像処理装置。
【請求項６】
上記第１位置は上記第１領域の中の線を示し、
上記第１重み決定部は、上記第１位置が示す線からの距離が大きいほど上記第１重みが小さくなるように上記第１重みを決定することを特徴とする請求項１から５のいずれか一項に記載の画像処理装置。
【請求項７】
上記第１位置は、上記第１領域の重心または中心を通る線を示すことを特徴とする請求項６に記載の画像処理装置。
【請求項８】
上記第１位置が示す線は、２つの口端点を結ぶ線に対して垂直であることを特徴とする請求項６または７に記載の画像処理装置。
【請求項９】
上記第１位置は上記第１領域の中の点を示し、
上記第１重み決定部は、上記第１位置が示す点からの距離が大きいほど上記第１重みが小さくなるように上記第１重みを決定することを特徴とする請求項１から５のいずれか一項に記載の画像処理装置。
【請求項１０】
上記第１重み決定部は、上記第１領域における上記第１器官尤度と輝度との積が最も大きい位置を上記第１位置とすることを特徴とする請求項１から５、および９のいずれか一項に記載の画像処理装置。
【請求項１１】
上記第１位置は、上記第１領域の重心または中心を示すことを特徴とする請求項９に記載の画像処理装置。
【請求項１２】
上記第１位置は、上記第１領域における上記第１器官尤度が第１閾値以上である領域の重心または中心を示すことを特徴とする請求項９に記載の画像処理装置。
【請求項１３】
上記第１位置は、上記顔画像における人物の顔の向きに応じた実際の口の中心位置を示すことを特徴とする請求項６または９に記載の画像処理装置。
【請求項１４】
上記画像補正部は、上記補正量が大きいほど対応する上記第１領域の位置の輝度を大きく増加させることを特徴とする請求項１から１３のいずれか一項に記載の画像処理装置。
【請求項１５】
上記補正量決定部は、上記第１領域の各位置について、上記第１器官尤度、上記第１重みおよび輝度が大きいほど補正量が大きくなるように上記補正量を決定することを特徴とする請求項１から１４のいずれか一項に記載の画像処理装置。
【請求項１６】
上記画像補正部は、上記第１器官尤度が第２閾値以上である第２領域を補正領域とし、上記補正領域の画像を上記補正量を用いて補正することを特徴とする請求項１から１５に記載の画像処理装置。
【請求項１７】
上記第１領域の各位置について、該位置の色と処理対象ではない別の器官の代表色である第２代表色との差に基づいて、該位置の第２器官尤度を特定する第２器官尤度特定部を備え、
上記補正量決定部は、上記第１器官尤度および上記第１重みが大きいほど上記補正量が大きくなるように、かつ、上記第２器官尤度が小さいほど上記補正量が大きくなるように上記補正量を決定することを特徴とする請求項１から１６のいずれか一項に記載の画像処理装置。
【請求項１８】
処理対象である上記器官は唇であり、
左右の口端点を結ぶ線分の垂直二等分線上にあり、かつ、上記第１領域の内側のある点を第２位置として、
上記第１領域の各位置について、上記第２位置で第２重みが最大となるように、かつ、上記第１領域の境界の少なくとも一部で上記第２重みが最小となるように、上記第２重みを決定する第２重み決定部を備え、
上記第１器官尤度特定部は、上記第１領域の各位置について、上記第２重みが小さいほど上記第１器官尤度を小さくすることを特徴とする請求項１から１７に記載の画像処理装置。
【請求項１９】
人物の口を含む顔画像についての画像処理方法であって、
上記顔画像の少なくとも口の一部を含む第１領域の各位置について、該位置の色と処理対象である器官の代表色である第１代表色との差に基づいて、該位置が上記器官であることの尤度を第１器官尤度として特定する第１器官尤度特定ステップと、
上記第１領域の各位置について、上記第１領域の第１位置からの距離が大きいほど第１重みが小さくなるように上記第１重みを決定する第１重み決定ステップと、
上記第１器官尤度および上記第１重みが大きいほど補正量が大きくなるように該位置の上記補正量を決定する補正量決定ステップと、
上記補正量を用いて画像を補正する画像補正ステップとを備えることを特徴とする画像処理方法。
【請求項２０】
人物の口を含む顔画像について画像処理を行う画像処理装置の制御プログラムであって、
上記顔画像の少なくとも口の一部を含む第１領域の各位置について、該位置の色と処理対象である器官の代表色である第１代表色との差に基づいて、該位置が上記器官であることの尤度を第１器官尤度として特定する第１器官尤度特定ステップと、
上記第１領域の各位置について、上記第１領域の第１位置からの距離が大きいほど第１重みが小さくなるように上記第１重みを決定する第１重み決定ステップと、
上記第１器官尤度および上記第１重みが大きいほど補正量が大きくなるように該位置の上記補正量を決定する補正量決定ステップと、
上記補正量を用いて画像を補正する画像補正ステップとを、コンピュータに実行させる制御プログラム。
【図１】
【図２】
【図５】
【図６】
【図１５】
【図１７】
【図１８】
【図１９】
【図２３】
【図２９】
【図３】
【図４】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１６】
【図２０】
【図２１】
【図２２】
【図２４】
【図２５】
【図２６】
【図２７】
【図２８】
【図３０】
【図３１】
【図３２】
【図３３】
【図３４】
【図２】
【図５】
【図６】
【図１５】
【図１７】
【図１８】
【図１９】
【図２３】
【図２９】
【図３】
【図４】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１６】
【図２０】
【図２１】
【図２２】
【図２４】
【図２５】
【図２６】
【図２７】
【図２８】
【図３０】
【図３１】
【図３２】
【図３３】
【図３４】
【公開番号】特開２０１２−２５６１３０（Ｐ２０１２−２５６１３０Ａ）
【公開日】平成２４年１２月２７日（２０１２．１２．２７）
【国際特許分類】
【出願番号】特願２０１１−１２７７５４（Ｐ２０１１−１２７７５４）
【出願日】平成２３年６月７日（２０１１．６．７）
【出願人】（０００００２９４５）オムロン株式会社 (3,542)
【Ｆターム（参考）】
【公開日】平成２４年１２月２７日（２０１２．１２．２７）
【国際特許分類】
【出願日】平成２３年６月７日（２０１１．６．７）
【出願人】（０００００２９４５）オムロン株式会社 (3,542)
【Ｆターム（参考）】
[ Back to top ]