画像処理装置及び画像処理方法
【課題】処理途中での失敗においても、破綻の少ないより自然な美肌処理を実現する。
【解決手段】画像入力部と、入力画像データに対して補正処理を施す画像補正部と、前記入力画像データから特定の被写体人物を検出する被写体検出部と、前記検出した被写体人物から肌色の情報を設定する肌色設定部と、予め定義された肌色の情報を読み込む肌色情報読込部と、前記設定された肌色の情報に基づいて、この肌色と類似した肌色の画素を前記入力画像データ中から抽出する肌色抽出部と、補正対象領域にのみ補正を掛けるためのマスク情報を設定する領域設定部と、前記入力画像データと、前記補正処理が施された画像データと、前記マスク情報から出力画像データを作成する画像出力部とを備え前記入力画像データ中に被写体人物が写っているにも拘わらず前記被写体人物が検出されなかった場合には、前記予め定義された肌色の情報を用いて肌色の情報を設定する。
【解決手段】画像入力部と、入力画像データに対して補正処理を施す画像補正部と、前記入力画像データから特定の被写体人物を検出する被写体検出部と、前記検出した被写体人物から肌色の情報を設定する肌色設定部と、予め定義された肌色の情報を読み込む肌色情報読込部と、前記設定された肌色の情報に基づいて、この肌色と類似した肌色の画素を前記入力画像データ中から抽出する肌色抽出部と、補正対象領域にのみ補正を掛けるためのマスク情報を設定する領域設定部と、前記入力画像データと、前記補正処理が施された画像データと、前記マスク情報から出力画像データを作成する画像出力部とを備え前記入力画像データ中に被写体人物が写っているにも拘わらず前記被写体人物が検出されなかった場合には、前記予め定義された肌色の情報を用いて肌色の情報を設定する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置及び画像処理方法に係り、特に、画像中から被写体人物を抽出して美肌処理等の画像処理を行う画像処理装置及び画像処理方法に関する。
【背景技術】
【０００２】
人物写真においては、顔が最も注目される部位であり、出力画像において人物の顔が適正に再現される必要がある。そのため、従来より、人物を被写体として含む画像に対して美肌処理等の画像処理（画像補正）を行い、被写体人物の肌を美しく再現するようにするための様々な提案がなされている。
【０００３】
例えば、画像補正処理の対象となる領域、例えば人物像を含む画像中における人物像の領域を自動的に特定し、特定された領域に限ってぼかし処理などの画像補正処理を実施することにより、人物画像に対するぼかし処理において背景を含む領域がぼやけてしまうのを防止するようにした画像処理装置が知られている（例えば、特許文献１等参照）。
【０００４】
また、例えば、入力された原画像データから人物の顔領域を検出し、検出された顔領域と同等の肌情報を抽出し、抽出された肌情報に基づいて肌領域を検出し、検出された肌領域に対して鮮鋭化処理または粒状抑制処理を行うようにした写真画像処理装置が知られている（例えば、特許文献２等参照）。
【０００５】
また、例えば、処理対象の画像から顔および器官の領域を抽出し、抽出した顔の領域から器官の領域を除いた除去処理対象領域を決定する決定手段と、前記除去処理対象領域内において除去対象画像を検出する検出手段と、前記除去対象画像の各画素の値を該除去対象画像の周辺の画素の値に基づいて更新することにより、該除去対象画像を除去する除去手段とを備え、顔に存在する器官の画像における画質の劣化を招くことなくホクロやシミ等の画像部分を自動的に除去するようにした画像処理装置が知られている（例えば、特許文献３等参照）。
【０００６】
また、例えば、画像データを記録した記録媒体から画像データを取得する画像取得手段と、画像取得手段が取得した画像データから人物の顔領域を抽出する顔領域抽出手段と、画像データから顔領域抽出手段が抽出した顔領域の画像特徴量を算出する画像特徴量算出手段と、画像特徴量算出手段が算出した画像特徴量を基に画像データの特性を補正することで補正効果が得られるか否かを推定して第一の推定結果を出力する補正効果推定手段と、補正効果推定手段が第一の推定結果で補正効果を得られると推定した場合に、画像特徴量に基づき画像データの特性を補正して補正後画像データを出力する画像補正手段とを具備し、自動的に画像データを補正して最適な特性の人物像を出力するようにした画像処理装置が知られている（例えば、特許文献４等参照）。
【特許文献１】特開２００４−３０３１９３号公報
【特許文献２】特開２００６−１１６８５号公報
【特許文献３】特開２００６−１８４６７号公報
【特許文献４】特開２００４−６２６５１号公報
【発明の開示】
【発明が解決しようとする課題】
【０００７】
しかしながら、上記従来技術においては、画像補正処理の途中において、例えば領域の検出等の処理に失敗した場合に、その失敗に対応した適切な処理を行うことができない可能性がある。
【０００８】
また、画像中の被写体人物の位置に応じた補正強度の変更などを適切に行うことが困難であるという問題もある。
【０００９】
本発明は、このような事情に鑑みてなされたもので、処理途中での失敗においても、破綻の少ない、より自然な美肌処理を実現し、修正を行い易い形式で出力することのできる画像処理装置及び画像処理方法を提供することを目的とする。
【課題を解決するための手段】
【００１０】
前記目的を達成するために、請求項１に記載の発明は、デジタル画像データを入力する画像入力部と、前記デジタル画像データに対して補正処理を施す画像補正部と、前記デジタル画像データから特定の被写体人物を検出する被写体検出部と、前記検出した被写体人物から肌色の情報を設定する肌色設定部と、予め定義された肌色の情報を読み込む肌色情報読込部と、前記設定された肌色の情報に基づいて、この肌色と類似した肌色の画素を前記デジタル画像データ中から抽出する肌色抽出部と、前記抽出した肌色の画素を補正対象領域として領域毎にまとめてパラメータを設定するとともに補正対象領域にのみ補正を掛けるためのマスク情報を設定する領域設定部と、前記入力されたデジタル画像データと、前記補正処理が施された画像データと、前記マスク情報から出力画像データを作成する画像出力部と、を備え、前記入力されたデジタル画像データ中に被写体人物が写っているにも拘わらず前記被写体人物が検出されなかった場合には、前記予め定義された肌色の情報を用いて肌色の情報を設定することを特徴とする画像処理装置を提供する。
【００１１】
これにより、画像処理の途中において処理の失敗が発生しても適切な処理を行うことができ、破綻の少ない、より自然な美肌補正処理を行うことが可能となる。
【００１２】
また、請求項２に示すように、請求項１に記載の画像処理装置であって、さらに、前記検出した被写体人物から設定された肌色の情報と、前記予め定義された肌色の情報とを比較し、前記検出した被写体人物から設定された肌色の情報が前記予め定義された肌色の情報の所定の範囲内に入るか否か判定する手段を備え、前記検出した被写体人物から設定された肌色の情報が前記予め定義された肌色の情報の所定の範囲内に入らない場合には、前記検出した被写体人物から設定された肌色の情報を廃棄することを特徴とする。
【００１３】
これにより、例えば、被写体人物の顔でないものを顔であるとして検出してしまったような場合であっても、その失敗による不適切な補正処理を回避することができる。
【００１４】
また、請求項３に示すように、請求項１または２に記載の画像処理装置であって、さらに、補正を掛ける強度を設定する補正強度設定部を備え、補正処理を掛ける画像の位置に応じて、その補正の強度を変えるようにしたことを特徴とする。
【００１５】
これにより、被写体やその画像中の位置に応じて補正強度を適切に変更することができる。
【００１６】
また、同様に前記目的を達成するために、請求項４に記載の発明は、デジタル画像データを入力する工程と、前記デジタル画像データに対して補正処理を施す工程と、前記デジタル画像データから特定の被写体人物を検出する工程と、前記検出した被写体人物から肌色の情報を設定する工程と、予め定義された肌色の情報を読み込む工程と、前記設定された肌色の情報に基づいて、この肌色と類似した肌色の画素を前記デジタル画像データ中から抽出する工程と、前記抽出した肌色の画素を補正対象領域として領域毎にまとめてパラメータを設定するとともに補正対象領域にのみ補正を掛けるためのマスク情報を設定する工程と、前記入力されたデジタル画像データと、前記補正処理が施された画像データと、前記マスク情報から出力画像データを作成する工程と、を備え、前記入力されたデジタル画像データ中に被写体人物が写っているにも拘わらず前記被写体人物が検出されなかった場合には、前記予め定義された肌色の情報を用いて肌色の情報を設定することを特徴とする画像処理方法を提供する。
【００１７】
これにより、画像処理の途中において処理の失敗が発生しても適切な処理を行うことができ、破綻の少ない、より自然な美肌補正処理を行うことが可能となる。
【００１８】
また、請求項５に示すように、請求項４に記載の画像処理方法であって、さらに、前記検出した被写体人物から設定された肌色の情報と、前記予め定義された肌色の情報とを比較し、前記検出した被写体人物から設定された肌色の情報が前記予め定義された肌色の情報の所定の範囲内に入るか否か判定する工程を含み、前記検出した被写体人物から設定された肌色の情報が前記予め定義された肌色の情報の所定の範囲内に入らない場合には、前記検出した被写体人物から設定された肌色の情報を廃棄することを特徴とする。
【００１９】
これにより、例えば、被写体人物の顔でないものを顔であるとして検出してしまったような場合であっても、その失敗による不適切な補正処理を回避することができる。
【００２０】
また、請求項６に示すように、請求項４または５に記載の画像処理方法であって、さらに、補正を掛ける強度を設定する工程を含み、補正処理を掛ける画像の位置に応じて、その補正の強度を変えるようにしたことを特徴とする。
【００２１】
これにより、被写体やその画像中の位置に応じて補正強度を適切に変更することができる。
【発明の効果】
【００２２】
以上説明したように、本発明によれば、画像処理の途中において処理の失敗が発生しても適切な処理を行うことができ、破綻の少ない、より自然な美肌補正処理を行うことが可能となる。
【発明を実施するための最良の形態】
【００２３】
以下、添付図面を参照して、本発明に係る画像処理装置及び画像処理方法について詳細に説明する。
【００２４】
図１は、本発明に係る画像処理装置の一実施形態の概略構成を示すブロック図である。
【００２５】
図１に示すように、本実施形態の画像処理装置１は、画像入力部１０、被写体検出部１２、肌色設定部１４、肌色情報読込部１６、肌色抽出部１８、領域設定部２０、画像補正部２２および画像出力部２４を有して構成されている。
【００２６】
画像入力部１０は、デジタルカメラによる撮影によって取得された画像や、スキャナによる読取りによって取得された画像などのデジタル画像データを入力するものである。画像入力部１０から入力されたデジタル画像データは、被写体検出部１２、画像補正部２２および画像出力部２４に送られる。
【００２７】
被写体検出部１２は、入力されたデジタル画像データの表す画像中の被写体人物の顔を検出する顔検出処理や、顔の中の目、眉、鼻、口などの顔の部品を検出する顔部品検出処理を行うものである。顔検出方法の一例としては、例えば、次のようなものがある。すなわち、まずＲ、Ｇ、Ｂの各色で表される画像をＨ（色相値）、Ｌ（明度値）、Ｓ（彩度値）で表される画像に変換し、互いに直交する色相値軸、彩度値軸および画素数軸からなる座標系を用いて、色相値および彩度値についての２次元ヒストグラムを求め、求めた２次元ヒストグラムを山毎に分割し、２次元ヒストグラムのクラスタリングを行う。クラスタリングされた２次元ヒストグラムの山に基づいて多数の画素のクラスタリングを行い、このクラスタリングに基づいて画面を分割し、分割された領域から人物の顔の候補となる領域を抽出し、この顔の候補として抽出された色領域を円または長円の領域に更に分割し、この分割された領域に基づいて顔の領域を推定する。
【００２８】
顔検出は、このように自動的に行ってもよいし、あるいは操作者がマウスやキーボード等の入力手段を用いて表示画面に表示された画像中の被写体人物の顔領域を指定することによって顔領域を抽出するようにしてもよい。
【００２９】
肌色設定部１４は、被写体検出部１２によって検出された顔領域における色相、彩度および明度のヒストグラムを用いて信頼度の高い肌色の画素を抽出し、肌色として設定するものである。
【００３０】
肌色情報読込部１６は、事前に定義されメモリに保存されていた肌色情報を読み込み、肌色設定部１４に渡すものである。例えば肌色情報読込部１６は、被写体検出部１２で被写体が検出できない場合（顔検出に失敗した場合）に、事前に定義されメモリに保存されていた肌色情報を読み込んで肌色設定部１４に渡すと、肌色設定部１４は、この肌色情報に基づいて肌色を設定する。
【００３１】
この事前に定義された肌色情報は、様々な肌色の情報を総合したものを１つ定義して保存されている場合には、それが肌色情報読込部１６によって自動的に読み込まれる。また、性別、年齢、人種等様々な肌色の情報が複数定義されて保存されている場合には、操作者の指定によって肌色情報読込部１６が読み込むようにしてもよい。さらに、肌色設定部１４は、このように事前に定義された肌色情報を読み込むのではなく、例えば大ラボなどにおいては、同様の画像を大量に扱うことが多いため、現在処理している画像の前後で同じ様な画像の処理をしている場合があるため、前後の画像で使用した肌色を自動的に読み込んで肌色として設定するようにしてもよい。
【００３２】
なお、肌色情報読込部１６は、上述したように、被写体検出部１２が被写体の検出に失敗した場合に肌色情報を読み込むようにするだけでなく、被写体検出部１２が被写体を検出した場合であっても、事前に定義されメモリに保存されていた肌色情報を読み込んで肌色設定部１４に渡すようにしてもよい。
【００３３】
この場合、肌色設定部１４は、その検出した被写体から設定した肌色と、肌色情報読込部１６が読み込んだ肌色情報とを比較し、検出した被写体の肌色が肌色情報読込部１６が読み込んだ肌色情報の所定の範囲内にあるか否か判定することにより、被写体検出ミスをチェックする。すなわち、検出した被写体の肌色が肌色情報読込部１６が読み込んだ肌色情報の所定の範囲内にない場合には、この被写体は本来は被写体ではないのに、誤って被写体として検出されたものと判断し、この被写体から設定された肌色の情報は廃棄し、以後この被写体は被写体としては扱わないようにしてその処理を中止するようにする。
【００３４】
肌色抽出部１８は、肌色設定部１４が設定した肌色に基づいて、設定された肌色と類似した肌色の画素を画像中から抽出することにより、被写体人物中の肌色領域を抽出するものである。
【００３５】
肌色領域を抽出する方法としては、例えば、設定された肌色を有する画素に対して隣接する所定領域の色相、彩度および明度を調べ、所定の条件を満たす領域を肌色領域として加え、肌色領域を広げて成長させ、この成長した肌色領域について、さらに輪郭の抽出などを行い、この領域をさらに成長させて行き、このような処理を、成長させるべき近隣の画素がなくなるか、このような処理の繰り返し回数が所定数に達するまで行うことによって肌色領域を抽出する方法が知られているが、特にこの方法に限定されるものではない。
【００３６】
なお、被写体検出部１２で被写体が２つ（被写体人物が２人）以上検出された場合には、その２人の肌色を合わせた結果を肌色として設定し、肌色抽出部１８で肌色画素を抽出するようにしてもよい。あるいは、このとき２人の各々の肌色をそれぞれ別々に肌色として設定し、各々肌色抽出部１８で肌色画素を抽出するようにしてもよい。
【００３７】
さらに、被写体検出部１２で被写体が２つ（被写体人物が２人）以上検出された場合に、各々の被写体に対する肌色領域であることが分かるようにラベリングしてもよい。このラベリングは、どの肌色に近いかで判断すればよい。あるいは被写体の位置に近い方をラベリングすればよい。
【００３８】
領域設定部２０は、抽出された肌色領域を補正対象領域として設定するものである。また、領域設定部２０は、後述する被写体を含む画像全体が補正された全体補正画像と、掛け合わせたときに補正対象領域のみにその補正が施された画像が得られるようなマスク画像を作成する。
【００３９】
なお、領域設定部２０においては、抽出した肌色領域に対して、セグメント処理やラベリング処理をしてもよい。また、領域設定部２０では、抽出した肌色領域に対し、形状が肌らしくなるように調整するようにしてもよい。例えば、ストロボ等で白トビした画素を追加しても良い。
【００４０】
画像補正部２２は、美肌処理やスムージングやノイズ抑制処理を行うものである。すなわち、画像補正部２２は、補正対象領域の補正後の目標となる補正値、例えば、所定の明度と補正対象領域における明度の平均値もしくは中間値との差分に基づいて、補正対象領域を補正する際の補正量として適正と思われる補正量（画像上の所定の成分毎の補正の程度）を算出し、これを初期値として用いて被写体人物を含む画像全体を補正する。
【００４１】
画像出力部２４は、入力画像と補正画像とマスク画像を合成して出力画像を作成し、出力するものである。すなわち、画像出力部２４は、画像補正部２２による全体補正画像と、画像入力部１０から送られた被写体人物を含む元の入力画像とを、対応する各画素毎にマスク画像が表す所定の重みで合成することによって、補正対象領域のみが部分的に補正された補正済画像を作成する。ここで、全体補正画像は美肌処理を含み、マスク画像が表す重みは美肌強度情報を含んでいる。
【００４２】
図２に、被写体検出部１２の詳細な構成を示す。
【００４３】
図２に示すように、被写体検出部１２は、被写体検出処理部１２ａ、被写体属性判定部１２ｂ、パラメータ設定部１２ｃとで構成される。
【００４４】
被写体検出処理部１２ａは、実際に入力画像から被写体人物の顔を検出したり、顔の中の目、眉、鼻、口等の顔部品の検出を行うものである。被写体属性判定部１２ｂは、検出された被写体人物の性別、世代（年齢）、人種、顔の向きなどを判定するものであり、さらに個人認証技術を用いて個人を識別するようにしてもよい。
【００４５】
また、パラメータ設定部１２ｃは、検出した被写体人物に応じて、各補正パラメータを設定するものである。補正パラメータには、例えば、美肌補正処理の強度（例えば顔周辺は美肌処理を強くし、それ以外は弱くするなど）、顔の肌と顔以外の肌の補正強度の比率、美肌補正を効かせる画素値の範囲（例えばｓＲＧＢで１２８〜２３０など）や抑制をかける周波数などがある。
【００４６】
このように、美肌補正の強度は、画像の位置によって変えることができる。例えば、顔の肌には美肌補正を強くかけたいが、肌以外の場所にはかけたくないなど。また、同じ肌でも腕などは顔に比べて多少弱くてもよいなど。また、顔の中でも、目や前髪や耳などには美肌補正をかけたくない。このような位置に依存する補正強度情報を領域設定部２０においてマスク情報として保存するようにしてもよい。
【００４７】
また、パラメータ設定部１２ｃでは、検出した被写体人物の位置や大きさ、被写体属性に応じて画像補正部２２で補正を行う際の各補正パラメータを設定してもよい。例えば、顔の大きさに合わせて見栄が同じになるようにパラメータを揃えるようにしたり、画面の中央にある顔はメインの被写体である可能性が高いので美肌補正を強めに掛けたり、年配の被写体には美肌補正を強めに掛けたり、逆に男性や子供には美肌補正を掛けないなどが考えられる。
【００４８】
また、パラメータ設定部１２ｃでは、個人認証結果に合わせて、各補正パラメータを設定するようにしてもよい。例えば、既に補正処理を行っている人物を認証した場合、その人物に対して既に行った補正処理と同じパラメータを設定するようにしてもよい。その場合には、認証結果に合わせて各補正パラメータ等を保存しておけは、あらためて補正パラメータを設定する必要がなく効率的な処理が可能となる。また、画像補正部２２では、パラメータ設定部１２ｃで設定された各補正パラメータに応じて画像補正を行うようにしてもよい。
【００４９】
図３に、画像補正部２２の詳細構成を示す。図３に示すように、画像補正部２２は、拡大／縮小処理部２２ａ、画像補正処理部２２ｂ、縮小／拡大処理部２２ｃを含んで構成されている。
【００５０】
このように、実際に画像補正処理を行う画像補正処理部２２ｂの前後に拡大／縮小処理部２２ａおよび縮小／拡大処理部２２ｃを配置することで、被写体検出部１２で検出した被写体の大きさに合わせて、被写体の大きさに合わせた処理がかかるようにすることができる。
【００５１】
すなわち、例えば、被写体の大きさが小さい場合には、まず拡大／縮小処理部２２ａで被写体画像を大きく拡大して、その拡大された被写体画像に対して画像補正処理部２２ｂで画像補正を行い、画像補正済みの画像に対して、縮小／拡大処理部２２ｃで縮小処理を行うようにする。
【００５２】
図４に、領域設定部２０の詳細構成を示す。図４に示すように、領域設定部２０は、セグメント処理部２０ａ、および強度設定部２０ｂとを含んで構成されている。
【００５３】
セグメント処理部２０ａは、肌色抽出部１８で抽出した肌色領域に対してセグメント処理を行うものであり、強度設定部２０ｂは、例えば、被写体の検出結果や被写体属性判別結果により美肌補正の強度を設定するものである。この美肌補正強度（美肌強度）をマスク情報として持たせるようにしてもよい。その場合には、画像補正部２２は、固定の各補正パラメータで補正処理をするようにしてもよい。
【００５４】
また、画像出力部２４は、前述したように、画像入力部１０から送られた入力画像と、画像補正部２２から送られた補正画像（美肌処理画像）と、美肌強度情報を含むマスク画像とを合成して、出力画像を作成して出力するものである。このとき、画像出力部２４は、入力画像と美肌処理画像と美肌強度画像をレイヤ構造で保存して出力するようにしてもよい。
【００５５】
なお、画像出力部２４では、被写体検出部１２での検出結果をも合わせて出力するようにしてもよい。特に、被写体が検出できなかった場合には、その旨を明記するようにしてもよい。例えば、ファイル名の一部に特定の文字列を挿入したり、レイヤ名に特定の文字列を挿入してもよい。
【００５６】
このように、被写体人物を含む画像全体が補正された全体補正画像と入力画像とを、マスク画像を用いて、対応する画素に所定の重みをつけて足し合わせて合成画像を作成することにより最終的に補正対象のみにその補正が施された画像が得られることとなる。
【００５７】
マスク画像は、被写体人物を含む入力画像と同じ画像サイズ（解像度）を有し、その各画素は、その画素に対して施される補正の程度（強度）に応じて０〜１の重みに相当する画素値を有する。ここで重み０とは、補正の強度が０％のことをいい、重み１とは、補正の強度が１００％のことをいう。ここで、被写体人物を含む入力画像と全体補正画像およびマスク画像を合成して最終的に得られる部分的（補正対象領域のみ）に補正がなされた補正済み画像が不自然とならないように、マスクをぼかす処理が施される。
【００５８】
すなわち、マスク画像における補正対象領域の境界近傍において、その補正の強度が補正対象領域の内側から外側に向かって低くなるようにマスク画像の画素値（重み）が設定される。このように、マスクをぼかすための重みとして、例えば、透明度を表すαチャンネルが知られている。
【００５９】
このαチャンネルとは、画像のその画素における透明度を定義するチャンネルであり、αチャンネルの値に応じて嵌め込む画像とテンプレートとの合成比率が変更されるものである。具体的には、αチャンネルの値が小さいほどテンプレートの画像が透けて見えるようになり、例えば、嵌め込む画像とテンプレートとの境界付近のαチャンネルの値を小さくすることにより、画像がテンプレートに溶け込んでいるように合成される。したがってαチャンネルにより透明度が定義されている場合は合成に使用する画像をテンプレートに溶かし込むことができ、テンプレートと画像とをより自然に合成することができる。
【００６０】
本実施形態においても、美肌強度情報をこのαチャンネルを用いて設定するようにしてもよい。
【００６１】
以下、図５〜７のフローチャートに沿って、本実施形態の作用である画像処理方法について説明する。
【００６２】
図５は、画像処理全体の流れを示すフローチャートであり、図６は、特に肌色設定に関する部分の詳細を示すフローチャートであり、また図７は、領域設定に関する部分の詳細を示すフローチャートである。
【００６３】
まず、図５のステップＳ１００において、画像入力部１０より画像データが入力されると、入力された画像は、それぞれ被写体検出部１２および画像補正部２２に送られる。
【００６４】
そして、ステップＳ１１０において、被写体検出部１２は入力画像中の被写体人物を検出する。また、一方ステップＳ１２０において、画像補正部２２は、入力画像の画像全体に対して画像補正処理を施す。
【００６５】
被写体検出部１２は、前述したように、入力画像から被写体人物およびその顔あるいは顔の部品等を検出する。
【００６６】
次のステップＳ１３０において、被写体検出部１２が被写体を検出したか否か判定し、もし被写体が検出されなかった場合には、ステップＳ１４０に進み、肌色情報読込部１６で、予め定義されている肌色情報を読み込む。読み込まれた肌色情報は肌色設定部１４に送られる。
【００６７】
ステップＳ１５０において、肌色設定部１４は、被写体の検出があった場合には、その検出された被写体人物の顔の部分の画素を用いて肌色を設定する。このとき、被写体の検出がなかった場合には、肌色情報読込部１６で読み込まれた肌色情報により肌色を設定する。
【００６８】
次にステップＳ１６０において、肌色抽出部１８は、上で設定された肌色を用いて、画像全体から肌色の画素を抽出する。次にステップＳ１７０において、領域設定部２０は、抽出された肌色画素をまとめて補正対象となる肌色領域として設定する。また、領域設定部２０は、前述したように、設定された肌色領域にのみ補正が掛かるように、マスク画像（マスク情報）を作成する。
【００６９】
次にステップＳ１８０において、画像出力部２４は、画像補正部２２で補正された補正画像と、入力画像およびマスク画像を合成して最終的に補正対象領域にのみ補正が施された補正済み画像が作成される。
【００７０】
また、図６は、肌色設定に関連する部分の詳細フローチャートである。図６に示す処理は、顔検出のエラーに関わるものであり、図５の全体フローの他にこのような処理を行ってもよいというものである。
【００７１】
すなわち、顔検出エラーには、画像中に顔が写っているのに検出できないという場合と、画像中の顔でない部分を顔であるとして検出してしまう場合とがある。顔でない部分が顔であると検出された場合には、間違った肌色が設定されてしまい全く予期せぬ補正がなされてしまう場合がある。そこで、これに対処するために、図６に示すフローチャートにおいては、被写体が検出された場合であっても、肌色情報を読み込むようにしている。
【００７２】
すなわち、ステップＳ１１０において、被写体検出処理が行われ、被写体が検出されると（図６では、図５のステップＳ１３０、Ｓ１４０を省略している。）、ステップＳ１５０において、肌色設定部１４において肌色が設定されるが、図６においては、ステップＳ１５２において、（被写体が検出された場合であっても）肌色情報読込部１６により、予め定義されている肌色の情報が読み込まれ、検出された被写体の肌色と、予め定義された肌色とが比較される。
【００７３】
ステップＳ１５４において、検出された被写体の肌色が予め定義された肌色情報の範囲内にはない場合には、ステップＳ１５６において、検出された被写体の肌色の情報を破棄し、検出された被写体の顔検出の結果は使用しないこととする。
【００７４】
一方、ステップＳ１５４において、検出された被写体の肌色が予め定義された肌色情報の範囲内にある場合には、その肌色を設定し、ステップＳ１６０において、その肌色により肌色抽出が行われる。そして、次のステップＳ１６２において、他に検出された被写体があるか否か判断し、他に被写体が検出されている場合には、ステップＳ１５０に戻り、上記の処理を繰り返す。他に被写体がない場合には、図５のステップＳ１７０に進み、次の領域設定の処理が行われる。
【００７５】
また、図７に示すフローチャートは、領域設定に関連するものである。図７に示される処理は、画像中に２人の人が写っている場合で、２人が被写体として検出された場合における処理の例であり、図６の処理と同様に、図５の全体フローの他にこのような処理を行ってもよいというものである。
【００７６】
図７のステップＳ１１０において、まず１人について肌色設定（ステップＳ１５０）および肌色抽出（ステップＳ１６０）を行い、ステップＳ１６２で他に被写体がいないか判断し、他に被写体がいる場合には、ステップＳ１５０に戻り、他の被写体についても肌色設定（ステップＳ１５０）および肌色抽出（ステップＳ１６０）を行うようにする。
【００７７】
このように、被写体が２人検出された場合には、それぞれの肌の色は異なるので、それぞれの被写体について、肌色設定（ステップＳ１５０）および肌色抽出（ステップＳ１６０）を行なおうというものである。
【００７８】
次に、ステップＳ１６４において、各被写体について作成した肌色の情報を比較し、近似判定を行う。そして予め設定された近似判定の条件により、各肌色が近似していると判定された場合には、これらの肌色を一つにまとめてもよいし、あるいは、被写体が２人以上いる場合には、近似している肌色の画素の情報を他の一方の画素にくっつけるようにしてもよい。ステップＳ１６６では、近似判定が全画素について終了したか否か判断し、全ての画素について終了するまで繰り返すようにする。
【００７９】
このように、本実施形態においては、被写体検出等の途中処理において失敗したとしても、それに応じて適切な処理を行うことができ、また、被写体やその画像中での位置に応じた適切な補正処理を施すことが可能となる。その結果、破綻が少なく、より自然な美肌処理等の補正処理が実現される。また、入力画像と美肌処理画像および美肌強度情報（マスク画像）をレイヤ構造で保存して出力するなど、修正のし易い形式で出力することが可能となった。
【００８０】
以上、本発明の画像処理装置及び画像処理方法について詳細に説明したが、本発明は、以上の例には限定されず、本発明の要旨を逸脱しない範囲において、各種の改良や変形を行ってもよいのはもちろんである。
【図面の簡単な説明】
【００８１】
【図１】本発明に係る画像処理装置の一実施形態の概略構成を示すブロック図である。
【図２】被写体検出部の詳細な構成を示すブロック図である。
【図３】画像補正部の詳細構成を示すブロック図である。
【図４】領域設定部の詳細構成を示すブロック図である。
【図５】画像処理全体の流れを示すフローチャートである。
【図６】肌色設定に関する部分の詳細を示すフローチャートである。
【図７】領域設定に関する部分の詳細を示すフローチャートである。
【符号の説明】
【００８２】
１…画像処理装置、１０…画像入力部、１２…被写体検出部、１２ａ…被写体検出処理部、１２ｂ…被写体属性判定部、１２ｃ…パラメータ設定部、１４…肌色設定部、１６…肌色情報読込部、１８…肌色抽出部、２０…領域設定部、２０ａ…セグメント処理部、２０ｂ…強度設定部、２２…画像補正部、２２ａ…拡大／縮小処理部、２２ｂ…画像補正処理部、２２ｃ…縮小／拡大処理部、２４…画像出力部
【技術分野】
【０００１】
本発明は、画像処理装置及び画像処理方法に係り、特に、画像中から被写体人物を抽出して美肌処理等の画像処理を行う画像処理装置及び画像処理方法に関する。
【背景技術】
【０００２】
人物写真においては、顔が最も注目される部位であり、出力画像において人物の顔が適正に再現される必要がある。そのため、従来より、人物を被写体として含む画像に対して美肌処理等の画像処理（画像補正）を行い、被写体人物の肌を美しく再現するようにするための様々な提案がなされている。
【０００３】
例えば、画像補正処理の対象となる領域、例えば人物像を含む画像中における人物像の領域を自動的に特定し、特定された領域に限ってぼかし処理などの画像補正処理を実施することにより、人物画像に対するぼかし処理において背景を含む領域がぼやけてしまうのを防止するようにした画像処理装置が知られている（例えば、特許文献１等参照）。
【０００４】
また、例えば、入力された原画像データから人物の顔領域を検出し、検出された顔領域と同等の肌情報を抽出し、抽出された肌情報に基づいて肌領域を検出し、検出された肌領域に対して鮮鋭化処理または粒状抑制処理を行うようにした写真画像処理装置が知られている（例えば、特許文献２等参照）。
【０００５】
また、例えば、処理対象の画像から顔および器官の領域を抽出し、抽出した顔の領域から器官の領域を除いた除去処理対象領域を決定する決定手段と、前記除去処理対象領域内において除去対象画像を検出する検出手段と、前記除去対象画像の各画素の値を該除去対象画像の周辺の画素の値に基づいて更新することにより、該除去対象画像を除去する除去手段とを備え、顔に存在する器官の画像における画質の劣化を招くことなくホクロやシミ等の画像部分を自動的に除去するようにした画像処理装置が知られている（例えば、特許文献３等参照）。
【０００６】
また、例えば、画像データを記録した記録媒体から画像データを取得する画像取得手段と、画像取得手段が取得した画像データから人物の顔領域を抽出する顔領域抽出手段と、画像データから顔領域抽出手段が抽出した顔領域の画像特徴量を算出する画像特徴量算出手段と、画像特徴量算出手段が算出した画像特徴量を基に画像データの特性を補正することで補正効果が得られるか否かを推定して第一の推定結果を出力する補正効果推定手段と、補正効果推定手段が第一の推定結果で補正効果を得られると推定した場合に、画像特徴量に基づき画像データの特性を補正して補正後画像データを出力する画像補正手段とを具備し、自動的に画像データを補正して最適な特性の人物像を出力するようにした画像処理装置が知られている（例えば、特許文献４等参照）。
【特許文献１】特開２００４−３０３１９３号公報
【特許文献２】特開２００６−１１６８５号公報
【特許文献３】特開２００６−１８４６７号公報
【特許文献４】特開２００４−６２６５１号公報
【発明の開示】
【発明が解決しようとする課題】
【０００７】
しかしながら、上記従来技術においては、画像補正処理の途中において、例えば領域の検出等の処理に失敗した場合に、その失敗に対応した適切な処理を行うことができない可能性がある。
【０００８】
また、画像中の被写体人物の位置に応じた補正強度の変更などを適切に行うことが困難であるという問題もある。
【０００９】
本発明は、このような事情に鑑みてなされたもので、処理途中での失敗においても、破綻の少ない、より自然な美肌処理を実現し、修正を行い易い形式で出力することのできる画像処理装置及び画像処理方法を提供することを目的とする。
【課題を解決するための手段】
【００１０】
前記目的を達成するために、請求項１に記載の発明は、デジタル画像データを入力する画像入力部と、前記デジタル画像データに対して補正処理を施す画像補正部と、前記デジタル画像データから特定の被写体人物を検出する被写体検出部と、前記検出した被写体人物から肌色の情報を設定する肌色設定部と、予め定義された肌色の情報を読み込む肌色情報読込部と、前記設定された肌色の情報に基づいて、この肌色と類似した肌色の画素を前記デジタル画像データ中から抽出する肌色抽出部と、前記抽出した肌色の画素を補正対象領域として領域毎にまとめてパラメータを設定するとともに補正対象領域にのみ補正を掛けるためのマスク情報を設定する領域設定部と、前記入力されたデジタル画像データと、前記補正処理が施された画像データと、前記マスク情報から出力画像データを作成する画像出力部と、を備え、前記入力されたデジタル画像データ中に被写体人物が写っているにも拘わらず前記被写体人物が検出されなかった場合には、前記予め定義された肌色の情報を用いて肌色の情報を設定することを特徴とする画像処理装置を提供する。
【００１１】
これにより、画像処理の途中において処理の失敗が発生しても適切な処理を行うことができ、破綻の少ない、より自然な美肌補正処理を行うことが可能となる。
【００１２】
また、請求項２に示すように、請求項１に記載の画像処理装置であって、さらに、前記検出した被写体人物から設定された肌色の情報と、前記予め定義された肌色の情報とを比較し、前記検出した被写体人物から設定された肌色の情報が前記予め定義された肌色の情報の所定の範囲内に入るか否か判定する手段を備え、前記検出した被写体人物から設定された肌色の情報が前記予め定義された肌色の情報の所定の範囲内に入らない場合には、前記検出した被写体人物から設定された肌色の情報を廃棄することを特徴とする。
【００１３】
これにより、例えば、被写体人物の顔でないものを顔であるとして検出してしまったような場合であっても、その失敗による不適切な補正処理を回避することができる。
【００１４】
また、請求項３に示すように、請求項１または２に記載の画像処理装置であって、さらに、補正を掛ける強度を設定する補正強度設定部を備え、補正処理を掛ける画像の位置に応じて、その補正の強度を変えるようにしたことを特徴とする。
【００１５】
これにより、被写体やその画像中の位置に応じて補正強度を適切に変更することができる。
【００１６】
また、同様に前記目的を達成するために、請求項４に記載の発明は、デジタル画像データを入力する工程と、前記デジタル画像データに対して補正処理を施す工程と、前記デジタル画像データから特定の被写体人物を検出する工程と、前記検出した被写体人物から肌色の情報を設定する工程と、予め定義された肌色の情報を読み込む工程と、前記設定された肌色の情報に基づいて、この肌色と類似した肌色の画素を前記デジタル画像データ中から抽出する工程と、前記抽出した肌色の画素を補正対象領域として領域毎にまとめてパラメータを設定するとともに補正対象領域にのみ補正を掛けるためのマスク情報を設定する工程と、前記入力されたデジタル画像データと、前記補正処理が施された画像データと、前記マスク情報から出力画像データを作成する工程と、を備え、前記入力されたデジタル画像データ中に被写体人物が写っているにも拘わらず前記被写体人物が検出されなかった場合には、前記予め定義された肌色の情報を用いて肌色の情報を設定することを特徴とする画像処理方法を提供する。
【００１７】
これにより、画像処理の途中において処理の失敗が発生しても適切な処理を行うことができ、破綻の少ない、より自然な美肌補正処理を行うことが可能となる。
【００１８】
また、請求項５に示すように、請求項４に記載の画像処理方法であって、さらに、前記検出した被写体人物から設定された肌色の情報と、前記予め定義された肌色の情報とを比較し、前記検出した被写体人物から設定された肌色の情報が前記予め定義された肌色の情報の所定の範囲内に入るか否か判定する工程を含み、前記検出した被写体人物から設定された肌色の情報が前記予め定義された肌色の情報の所定の範囲内に入らない場合には、前記検出した被写体人物から設定された肌色の情報を廃棄することを特徴とする。
【００１９】
これにより、例えば、被写体人物の顔でないものを顔であるとして検出してしまったような場合であっても、その失敗による不適切な補正処理を回避することができる。
【００２０】
また、請求項６に示すように、請求項４または５に記載の画像処理方法であって、さらに、補正を掛ける強度を設定する工程を含み、補正処理を掛ける画像の位置に応じて、その補正の強度を変えるようにしたことを特徴とする。
【００２１】
これにより、被写体やその画像中の位置に応じて補正強度を適切に変更することができる。
【発明の効果】
【００２２】
以上説明したように、本発明によれば、画像処理の途中において処理の失敗が発生しても適切な処理を行うことができ、破綻の少ない、より自然な美肌補正処理を行うことが可能となる。
【発明を実施するための最良の形態】
【００２３】
以下、添付図面を参照して、本発明に係る画像処理装置及び画像処理方法について詳細に説明する。
【００２４】
図１は、本発明に係る画像処理装置の一実施形態の概略構成を示すブロック図である。
【００２５】
図１に示すように、本実施形態の画像処理装置１は、画像入力部１０、被写体検出部１２、肌色設定部１４、肌色情報読込部１６、肌色抽出部１８、領域設定部２０、画像補正部２２および画像出力部２４を有して構成されている。
【００２６】
画像入力部１０は、デジタルカメラによる撮影によって取得された画像や、スキャナによる読取りによって取得された画像などのデジタル画像データを入力するものである。画像入力部１０から入力されたデジタル画像データは、被写体検出部１２、画像補正部２２および画像出力部２４に送られる。
【００２７】
被写体検出部１２は、入力されたデジタル画像データの表す画像中の被写体人物の顔を検出する顔検出処理や、顔の中の目、眉、鼻、口などの顔の部品を検出する顔部品検出処理を行うものである。顔検出方法の一例としては、例えば、次のようなものがある。すなわち、まずＲ、Ｇ、Ｂの各色で表される画像をＨ（色相値）、Ｌ（明度値）、Ｓ（彩度値）で表される画像に変換し、互いに直交する色相値軸、彩度値軸および画素数軸からなる座標系を用いて、色相値および彩度値についての２次元ヒストグラムを求め、求めた２次元ヒストグラムを山毎に分割し、２次元ヒストグラムのクラスタリングを行う。クラスタリングされた２次元ヒストグラムの山に基づいて多数の画素のクラスタリングを行い、このクラスタリングに基づいて画面を分割し、分割された領域から人物の顔の候補となる領域を抽出し、この顔の候補として抽出された色領域を円または長円の領域に更に分割し、この分割された領域に基づいて顔の領域を推定する。
【００２８】
顔検出は、このように自動的に行ってもよいし、あるいは操作者がマウスやキーボード等の入力手段を用いて表示画面に表示された画像中の被写体人物の顔領域を指定することによって顔領域を抽出するようにしてもよい。
【００２９】
肌色設定部１４は、被写体検出部１２によって検出された顔領域における色相、彩度および明度のヒストグラムを用いて信頼度の高い肌色の画素を抽出し、肌色として設定するものである。
【００３０】
肌色情報読込部１６は、事前に定義されメモリに保存されていた肌色情報を読み込み、肌色設定部１４に渡すものである。例えば肌色情報読込部１６は、被写体検出部１２で被写体が検出できない場合（顔検出に失敗した場合）に、事前に定義されメモリに保存されていた肌色情報を読み込んで肌色設定部１４に渡すと、肌色設定部１４は、この肌色情報に基づいて肌色を設定する。
【００３１】
この事前に定義された肌色情報は、様々な肌色の情報を総合したものを１つ定義して保存されている場合には、それが肌色情報読込部１６によって自動的に読み込まれる。また、性別、年齢、人種等様々な肌色の情報が複数定義されて保存されている場合には、操作者の指定によって肌色情報読込部１６が読み込むようにしてもよい。さらに、肌色設定部１４は、このように事前に定義された肌色情報を読み込むのではなく、例えば大ラボなどにおいては、同様の画像を大量に扱うことが多いため、現在処理している画像の前後で同じ様な画像の処理をしている場合があるため、前後の画像で使用した肌色を自動的に読み込んで肌色として設定するようにしてもよい。
【００３２】
なお、肌色情報読込部１６は、上述したように、被写体検出部１２が被写体の検出に失敗した場合に肌色情報を読み込むようにするだけでなく、被写体検出部１２が被写体を検出した場合であっても、事前に定義されメモリに保存されていた肌色情報を読み込んで肌色設定部１４に渡すようにしてもよい。
【００３３】
この場合、肌色設定部１４は、その検出した被写体から設定した肌色と、肌色情報読込部１６が読み込んだ肌色情報とを比較し、検出した被写体の肌色が肌色情報読込部１６が読み込んだ肌色情報の所定の範囲内にあるか否か判定することにより、被写体検出ミスをチェックする。すなわち、検出した被写体の肌色が肌色情報読込部１６が読み込んだ肌色情報の所定の範囲内にない場合には、この被写体は本来は被写体ではないのに、誤って被写体として検出されたものと判断し、この被写体から設定された肌色の情報は廃棄し、以後この被写体は被写体としては扱わないようにしてその処理を中止するようにする。
【００３４】
肌色抽出部１８は、肌色設定部１４が設定した肌色に基づいて、設定された肌色と類似した肌色の画素を画像中から抽出することにより、被写体人物中の肌色領域を抽出するものである。
【００３５】
肌色領域を抽出する方法としては、例えば、設定された肌色を有する画素に対して隣接する所定領域の色相、彩度および明度を調べ、所定の条件を満たす領域を肌色領域として加え、肌色領域を広げて成長させ、この成長した肌色領域について、さらに輪郭の抽出などを行い、この領域をさらに成長させて行き、このような処理を、成長させるべき近隣の画素がなくなるか、このような処理の繰り返し回数が所定数に達するまで行うことによって肌色領域を抽出する方法が知られているが、特にこの方法に限定されるものではない。
【００３６】
なお、被写体検出部１２で被写体が２つ（被写体人物が２人）以上検出された場合には、その２人の肌色を合わせた結果を肌色として設定し、肌色抽出部１８で肌色画素を抽出するようにしてもよい。あるいは、このとき２人の各々の肌色をそれぞれ別々に肌色として設定し、各々肌色抽出部１８で肌色画素を抽出するようにしてもよい。
【００３７】
さらに、被写体検出部１２で被写体が２つ（被写体人物が２人）以上検出された場合に、各々の被写体に対する肌色領域であることが分かるようにラベリングしてもよい。このラベリングは、どの肌色に近いかで判断すればよい。あるいは被写体の位置に近い方をラベリングすればよい。
【００３８】
領域設定部２０は、抽出された肌色領域を補正対象領域として設定するものである。また、領域設定部２０は、後述する被写体を含む画像全体が補正された全体補正画像と、掛け合わせたときに補正対象領域のみにその補正が施された画像が得られるようなマスク画像を作成する。
【００３９】
なお、領域設定部２０においては、抽出した肌色領域に対して、セグメント処理やラベリング処理をしてもよい。また、領域設定部２０では、抽出した肌色領域に対し、形状が肌らしくなるように調整するようにしてもよい。例えば、ストロボ等で白トビした画素を追加しても良い。
【００４０】
画像補正部２２は、美肌処理やスムージングやノイズ抑制処理を行うものである。すなわち、画像補正部２２は、補正対象領域の補正後の目標となる補正値、例えば、所定の明度と補正対象領域における明度の平均値もしくは中間値との差分に基づいて、補正対象領域を補正する際の補正量として適正と思われる補正量（画像上の所定の成分毎の補正の程度）を算出し、これを初期値として用いて被写体人物を含む画像全体を補正する。
【００４１】
画像出力部２４は、入力画像と補正画像とマスク画像を合成して出力画像を作成し、出力するものである。すなわち、画像出力部２４は、画像補正部２２による全体補正画像と、画像入力部１０から送られた被写体人物を含む元の入力画像とを、対応する各画素毎にマスク画像が表す所定の重みで合成することによって、補正対象領域のみが部分的に補正された補正済画像を作成する。ここで、全体補正画像は美肌処理を含み、マスク画像が表す重みは美肌強度情報を含んでいる。
【００４２】
図２に、被写体検出部１２の詳細な構成を示す。
【００４３】
図２に示すように、被写体検出部１２は、被写体検出処理部１２ａ、被写体属性判定部１２ｂ、パラメータ設定部１２ｃとで構成される。
【００４４】
被写体検出処理部１２ａは、実際に入力画像から被写体人物の顔を検出したり、顔の中の目、眉、鼻、口等の顔部品の検出を行うものである。被写体属性判定部１２ｂは、検出された被写体人物の性別、世代（年齢）、人種、顔の向きなどを判定するものであり、さらに個人認証技術を用いて個人を識別するようにしてもよい。
【００４５】
また、パラメータ設定部１２ｃは、検出した被写体人物に応じて、各補正パラメータを設定するものである。補正パラメータには、例えば、美肌補正処理の強度（例えば顔周辺は美肌処理を強くし、それ以外は弱くするなど）、顔の肌と顔以外の肌の補正強度の比率、美肌補正を効かせる画素値の範囲（例えばｓＲＧＢで１２８〜２３０など）や抑制をかける周波数などがある。
【００４６】
このように、美肌補正の強度は、画像の位置によって変えることができる。例えば、顔の肌には美肌補正を強くかけたいが、肌以外の場所にはかけたくないなど。また、同じ肌でも腕などは顔に比べて多少弱くてもよいなど。また、顔の中でも、目や前髪や耳などには美肌補正をかけたくない。このような位置に依存する補正強度情報を領域設定部２０においてマスク情報として保存するようにしてもよい。
【００４７】
また、パラメータ設定部１２ｃでは、検出した被写体人物の位置や大きさ、被写体属性に応じて画像補正部２２で補正を行う際の各補正パラメータを設定してもよい。例えば、顔の大きさに合わせて見栄が同じになるようにパラメータを揃えるようにしたり、画面の中央にある顔はメインの被写体である可能性が高いので美肌補正を強めに掛けたり、年配の被写体には美肌補正を強めに掛けたり、逆に男性や子供には美肌補正を掛けないなどが考えられる。
【００４８】
また、パラメータ設定部１２ｃでは、個人認証結果に合わせて、各補正パラメータを設定するようにしてもよい。例えば、既に補正処理を行っている人物を認証した場合、その人物に対して既に行った補正処理と同じパラメータを設定するようにしてもよい。その場合には、認証結果に合わせて各補正パラメータ等を保存しておけは、あらためて補正パラメータを設定する必要がなく効率的な処理が可能となる。また、画像補正部２２では、パラメータ設定部１２ｃで設定された各補正パラメータに応じて画像補正を行うようにしてもよい。
【００４９】
図３に、画像補正部２２の詳細構成を示す。図３に示すように、画像補正部２２は、拡大／縮小処理部２２ａ、画像補正処理部２２ｂ、縮小／拡大処理部２２ｃを含んで構成されている。
【００５０】
このように、実際に画像補正処理を行う画像補正処理部２２ｂの前後に拡大／縮小処理部２２ａおよび縮小／拡大処理部２２ｃを配置することで、被写体検出部１２で検出した被写体の大きさに合わせて、被写体の大きさに合わせた処理がかかるようにすることができる。
【００５１】
すなわち、例えば、被写体の大きさが小さい場合には、まず拡大／縮小処理部２２ａで被写体画像を大きく拡大して、その拡大された被写体画像に対して画像補正処理部２２ｂで画像補正を行い、画像補正済みの画像に対して、縮小／拡大処理部２２ｃで縮小処理を行うようにする。
【００５２】
図４に、領域設定部２０の詳細構成を示す。図４に示すように、領域設定部２０は、セグメント処理部２０ａ、および強度設定部２０ｂとを含んで構成されている。
【００５３】
セグメント処理部２０ａは、肌色抽出部１８で抽出した肌色領域に対してセグメント処理を行うものであり、強度設定部２０ｂは、例えば、被写体の検出結果や被写体属性判別結果により美肌補正の強度を設定するものである。この美肌補正強度（美肌強度）をマスク情報として持たせるようにしてもよい。その場合には、画像補正部２２は、固定の各補正パラメータで補正処理をするようにしてもよい。
【００５４】
また、画像出力部２４は、前述したように、画像入力部１０から送られた入力画像と、画像補正部２２から送られた補正画像（美肌処理画像）と、美肌強度情報を含むマスク画像とを合成して、出力画像を作成して出力するものである。このとき、画像出力部２４は、入力画像と美肌処理画像と美肌強度画像をレイヤ構造で保存して出力するようにしてもよい。
【００５５】
なお、画像出力部２４では、被写体検出部１２での検出結果をも合わせて出力するようにしてもよい。特に、被写体が検出できなかった場合には、その旨を明記するようにしてもよい。例えば、ファイル名の一部に特定の文字列を挿入したり、レイヤ名に特定の文字列を挿入してもよい。
【００５６】
このように、被写体人物を含む画像全体が補正された全体補正画像と入力画像とを、マスク画像を用いて、対応する画素に所定の重みをつけて足し合わせて合成画像を作成することにより最終的に補正対象のみにその補正が施された画像が得られることとなる。
【００５７】
マスク画像は、被写体人物を含む入力画像と同じ画像サイズ（解像度）を有し、その各画素は、その画素に対して施される補正の程度（強度）に応じて０〜１の重みに相当する画素値を有する。ここで重み０とは、補正の強度が０％のことをいい、重み１とは、補正の強度が１００％のことをいう。ここで、被写体人物を含む入力画像と全体補正画像およびマスク画像を合成して最終的に得られる部分的（補正対象領域のみ）に補正がなされた補正済み画像が不自然とならないように、マスクをぼかす処理が施される。
【００５８】
すなわち、マスク画像における補正対象領域の境界近傍において、その補正の強度が補正対象領域の内側から外側に向かって低くなるようにマスク画像の画素値（重み）が設定される。このように、マスクをぼかすための重みとして、例えば、透明度を表すαチャンネルが知られている。
【００５９】
このαチャンネルとは、画像のその画素における透明度を定義するチャンネルであり、αチャンネルの値に応じて嵌め込む画像とテンプレートとの合成比率が変更されるものである。具体的には、αチャンネルの値が小さいほどテンプレートの画像が透けて見えるようになり、例えば、嵌め込む画像とテンプレートとの境界付近のαチャンネルの値を小さくすることにより、画像がテンプレートに溶け込んでいるように合成される。したがってαチャンネルにより透明度が定義されている場合は合成に使用する画像をテンプレートに溶かし込むことができ、テンプレートと画像とをより自然に合成することができる。
【００６０】
本実施形態においても、美肌強度情報をこのαチャンネルを用いて設定するようにしてもよい。
【００６１】
以下、図５〜７のフローチャートに沿って、本実施形態の作用である画像処理方法について説明する。
【００６２】
図５は、画像処理全体の流れを示すフローチャートであり、図６は、特に肌色設定に関する部分の詳細を示すフローチャートであり、また図７は、領域設定に関する部分の詳細を示すフローチャートである。
【００６３】
まず、図５のステップＳ１００において、画像入力部１０より画像データが入力されると、入力された画像は、それぞれ被写体検出部１２および画像補正部２２に送られる。
【００６４】
そして、ステップＳ１１０において、被写体検出部１２は入力画像中の被写体人物を検出する。また、一方ステップＳ１２０において、画像補正部２２は、入力画像の画像全体に対して画像補正処理を施す。
【００６５】
被写体検出部１２は、前述したように、入力画像から被写体人物およびその顔あるいは顔の部品等を検出する。
【００６６】
次のステップＳ１３０において、被写体検出部１２が被写体を検出したか否か判定し、もし被写体が検出されなかった場合には、ステップＳ１４０に進み、肌色情報読込部１６で、予め定義されている肌色情報を読み込む。読み込まれた肌色情報は肌色設定部１４に送られる。
【００６７】
ステップＳ１５０において、肌色設定部１４は、被写体の検出があった場合には、その検出された被写体人物の顔の部分の画素を用いて肌色を設定する。このとき、被写体の検出がなかった場合には、肌色情報読込部１６で読み込まれた肌色情報により肌色を設定する。
【００６８】
次にステップＳ１６０において、肌色抽出部１８は、上で設定された肌色を用いて、画像全体から肌色の画素を抽出する。次にステップＳ１７０において、領域設定部２０は、抽出された肌色画素をまとめて補正対象となる肌色領域として設定する。また、領域設定部２０は、前述したように、設定された肌色領域にのみ補正が掛かるように、マスク画像（マスク情報）を作成する。
【００６９】
次にステップＳ１８０において、画像出力部２４は、画像補正部２２で補正された補正画像と、入力画像およびマスク画像を合成して最終的に補正対象領域にのみ補正が施された補正済み画像が作成される。
【００７０】
また、図６は、肌色設定に関連する部分の詳細フローチャートである。図６に示す処理は、顔検出のエラーに関わるものであり、図５の全体フローの他にこのような処理を行ってもよいというものである。
【００７１】
すなわち、顔検出エラーには、画像中に顔が写っているのに検出できないという場合と、画像中の顔でない部分を顔であるとして検出してしまう場合とがある。顔でない部分が顔であると検出された場合には、間違った肌色が設定されてしまい全く予期せぬ補正がなされてしまう場合がある。そこで、これに対処するために、図６に示すフローチャートにおいては、被写体が検出された場合であっても、肌色情報を読み込むようにしている。
【００７２】
すなわち、ステップＳ１１０において、被写体検出処理が行われ、被写体が検出されると（図６では、図５のステップＳ１３０、Ｓ１４０を省略している。）、ステップＳ１５０において、肌色設定部１４において肌色が設定されるが、図６においては、ステップＳ１５２において、（被写体が検出された場合であっても）肌色情報読込部１６により、予め定義されている肌色の情報が読み込まれ、検出された被写体の肌色と、予め定義された肌色とが比較される。
【００７３】
ステップＳ１５４において、検出された被写体の肌色が予め定義された肌色情報の範囲内にはない場合には、ステップＳ１５６において、検出された被写体の肌色の情報を破棄し、検出された被写体の顔検出の結果は使用しないこととする。
【００７４】
一方、ステップＳ１５４において、検出された被写体の肌色が予め定義された肌色情報の範囲内にある場合には、その肌色を設定し、ステップＳ１６０において、その肌色により肌色抽出が行われる。そして、次のステップＳ１６２において、他に検出された被写体があるか否か判断し、他に被写体が検出されている場合には、ステップＳ１５０に戻り、上記の処理を繰り返す。他に被写体がない場合には、図５のステップＳ１７０に進み、次の領域設定の処理が行われる。
【００７５】
また、図７に示すフローチャートは、領域設定に関連するものである。図７に示される処理は、画像中に２人の人が写っている場合で、２人が被写体として検出された場合における処理の例であり、図６の処理と同様に、図５の全体フローの他にこのような処理を行ってもよいというものである。
【００７６】
図７のステップＳ１１０において、まず１人について肌色設定（ステップＳ１５０）および肌色抽出（ステップＳ１６０）を行い、ステップＳ１６２で他に被写体がいないか判断し、他に被写体がいる場合には、ステップＳ１５０に戻り、他の被写体についても肌色設定（ステップＳ１５０）および肌色抽出（ステップＳ１６０）を行うようにする。
【００７７】
このように、被写体が２人検出された場合には、それぞれの肌の色は異なるので、それぞれの被写体について、肌色設定（ステップＳ１５０）および肌色抽出（ステップＳ１６０）を行なおうというものである。
【００７８】
次に、ステップＳ１６４において、各被写体について作成した肌色の情報を比較し、近似判定を行う。そして予め設定された近似判定の条件により、各肌色が近似していると判定された場合には、これらの肌色を一つにまとめてもよいし、あるいは、被写体が２人以上いる場合には、近似している肌色の画素の情報を他の一方の画素にくっつけるようにしてもよい。ステップＳ１６６では、近似判定が全画素について終了したか否か判断し、全ての画素について終了するまで繰り返すようにする。
【００７９】
このように、本実施形態においては、被写体検出等の途中処理において失敗したとしても、それに応じて適切な処理を行うことができ、また、被写体やその画像中での位置に応じた適切な補正処理を施すことが可能となる。その結果、破綻が少なく、より自然な美肌処理等の補正処理が実現される。また、入力画像と美肌処理画像および美肌強度情報（マスク画像）をレイヤ構造で保存して出力するなど、修正のし易い形式で出力することが可能となった。
【００８０】
以上、本発明の画像処理装置及び画像処理方法について詳細に説明したが、本発明は、以上の例には限定されず、本発明の要旨を逸脱しない範囲において、各種の改良や変形を行ってもよいのはもちろんである。
【図面の簡単な説明】
【００８１】
【図１】本発明に係る画像処理装置の一実施形態の概略構成を示すブロック図である。
【図２】被写体検出部の詳細な構成を示すブロック図である。
【図３】画像補正部の詳細構成を示すブロック図である。
【図４】領域設定部の詳細構成を示すブロック図である。
【図５】画像処理全体の流れを示すフローチャートである。
【図６】肌色設定に関する部分の詳細を示すフローチャートである。
【図７】領域設定に関する部分の詳細を示すフローチャートである。
【符号の説明】
【００８２】
１…画像処理装置、１０…画像入力部、１２…被写体検出部、１２ａ…被写体検出処理部、１２ｂ…被写体属性判定部、１２ｃ…パラメータ設定部、１４…肌色設定部、１６…肌色情報読込部、１８…肌色抽出部、２０…領域設定部、２０ａ…セグメント処理部、２０ｂ…強度設定部、２２…画像補正部、２２ａ…拡大／縮小処理部、２２ｂ…画像補正処理部、２２ｃ…縮小／拡大処理部、２４…画像出力部
【特許請求の範囲】
【請求項１】
デジタル画像データを入力する画像入力部と、
前記デジタル画像データに対して補正処理を施す画像補正部と、
前記デジタル画像データから特定の被写体人物を検出する被写体検出部と、
前記検出した被写体人物から肌色の情報を設定する肌色設定部と、
予め定義された肌色の情報を読み込む肌色情報読込部と、
前記設定された肌色の情報に基づいて、この肌色と類似した肌色の画素を前記デジタル画像データ中から抽出する肌色抽出部と、
前記抽出した肌色の画素を補正対象領域として領域毎にまとめてパラメータを設定するとともに補正対象領域にのみ補正を掛けるためのマスク情報を設定する領域設定部と、
前記入力されたデジタル画像データと、前記補正処理が施された画像データと、前記マスク情報から出力画像データを作成する画像出力部と、
を備え、前記入力されたデジタル画像データ中に被写体人物が写っているにも拘わらず前記被写体人物が検出されなかった場合には、前記予め定義された肌色の情報を用いて肌色の情報を設定することを特徴とする画像処理装置。
【請求項２】
請求項１に記載の画像処理装置であって、さらに、前記検出した被写体人物から設定された肌色の情報と、前記予め定義された肌色の情報とを比較し、前記検出した被写体人物から設定された肌色の情報が前記予め定義された肌色の情報の所定の範囲内に入るか否か判定する手段を備え、前記検出した被写体人物から設定された肌色の情報が前記予め定義された肌色の情報の所定の範囲内に入らない場合には、前記検出した被写体人物から設定された肌色の情報を廃棄することを特徴とする画像処理装置。
【請求項３】
請求項１または２に記載の画像処理装置であって、さらに、補正を掛ける強度を設定する補正強度設定部を備え、補正処理を掛ける画像の位置に応じて、その補正の強度を変えるようにしたことを特徴とする画像処理装置。
【請求項４】
デジタル画像データを入力する工程と、
前記デジタル画像データに対して補正処理を施す工程と、
前記デジタル画像データから特定の被写体人物を検出する工程と、
前記検出した被写体人物から肌色の情報を設定する工程と、
予め定義された肌色の情報を読み込む工程と、
前記設定された肌色の情報に基づいて、この肌色と類似した肌色の画素を前記デジタル画像データ中から抽出する工程と、
前記抽出した肌色の画素を補正対象領域として領域毎にまとめてパラメータを設定するとともに補正対象領域にのみ補正を掛けるためのマスク情報を設定する工程と、
前記入力されたデジタル画像データと、前記補正処理が施された画像データと、前記マスク情報から出力画像データを作成する工程と、
を備え、前記入力されたデジタル画像データ中に被写体人物が写っているにも拘わらず前記被写体人物が検出されなかった場合には、前記予め定義された肌色の情報を用いて肌色の情報を設定することを特徴とする画像処理方法。
【請求項５】
請求項４に記載の画像処理方法であって、さらに、前記検出した被写体人物から設定された肌色の情報と、前記予め定義された肌色の情報とを比較し、前記検出した被写体人物から設定された肌色の情報が前記予め定義された肌色の情報の所定の範囲内に入るか否か判定する工程を含み、前記検出した被写体人物から設定された肌色の情報が前記予め定義された肌色の情報の所定の範囲内に入らない場合には、前記検出した被写体人物から設定された肌色の情報を廃棄することを特徴とする画像処理方法。
【請求項６】
請求項４または５に記載の画像処理方法であって、さらに、補正を掛ける強度を設定する工程を含み、補正処理を掛ける画像の位置に応じて、その補正の強度を変えるようにしたことを特徴とする画像処理方法。
【請求項１】
デジタル画像データを入力する画像入力部と、
前記デジタル画像データに対して補正処理を施す画像補正部と、
前記デジタル画像データから特定の被写体人物を検出する被写体検出部と、
前記検出した被写体人物から肌色の情報を設定する肌色設定部と、
予め定義された肌色の情報を読み込む肌色情報読込部と、
前記設定された肌色の情報に基づいて、この肌色と類似した肌色の画素を前記デジタル画像データ中から抽出する肌色抽出部と、
前記抽出した肌色の画素を補正対象領域として領域毎にまとめてパラメータを設定するとともに補正対象領域にのみ補正を掛けるためのマスク情報を設定する領域設定部と、
前記入力されたデジタル画像データと、前記補正処理が施された画像データと、前記マスク情報から出力画像データを作成する画像出力部と、
を備え、前記入力されたデジタル画像データ中に被写体人物が写っているにも拘わらず前記被写体人物が検出されなかった場合には、前記予め定義された肌色の情報を用いて肌色の情報を設定することを特徴とする画像処理装置。
【請求項２】
請求項１に記載の画像処理装置であって、さらに、前記検出した被写体人物から設定された肌色の情報と、前記予め定義された肌色の情報とを比較し、前記検出した被写体人物から設定された肌色の情報が前記予め定義された肌色の情報の所定の範囲内に入るか否か判定する手段を備え、前記検出した被写体人物から設定された肌色の情報が前記予め定義された肌色の情報の所定の範囲内に入らない場合には、前記検出した被写体人物から設定された肌色の情報を廃棄することを特徴とする画像処理装置。
【請求項３】
請求項１または２に記載の画像処理装置であって、さらに、補正を掛ける強度を設定する補正強度設定部を備え、補正処理を掛ける画像の位置に応じて、その補正の強度を変えるようにしたことを特徴とする画像処理装置。
【請求項４】
デジタル画像データを入力する工程と、
前記デジタル画像データに対して補正処理を施す工程と、
前記デジタル画像データから特定の被写体人物を検出する工程と、
前記検出した被写体人物から肌色の情報を設定する工程と、
予め定義された肌色の情報を読み込む工程と、
前記設定された肌色の情報に基づいて、この肌色と類似した肌色の画素を前記デジタル画像データ中から抽出する工程と、
前記抽出した肌色の画素を補正対象領域として領域毎にまとめてパラメータを設定するとともに補正対象領域にのみ補正を掛けるためのマスク情報を設定する工程と、
前記入力されたデジタル画像データと、前記補正処理が施された画像データと、前記マスク情報から出力画像データを作成する工程と、
を備え、前記入力されたデジタル画像データ中に被写体人物が写っているにも拘わらず前記被写体人物が検出されなかった場合には、前記予め定義された肌色の情報を用いて肌色の情報を設定することを特徴とする画像処理方法。
【請求項５】
請求項４に記載の画像処理方法であって、さらに、前記検出した被写体人物から設定された肌色の情報と、前記予め定義された肌色の情報とを比較し、前記検出した被写体人物から設定された肌色の情報が前記予め定義された肌色の情報の所定の範囲内に入るか否か判定する工程を含み、前記検出した被写体人物から設定された肌色の情報が前記予め定義された肌色の情報の所定の範囲内に入らない場合には、前記検出した被写体人物から設定された肌色の情報を廃棄することを特徴とする画像処理方法。
【請求項６】
請求項４または５に記載の画像処理方法であって、さらに、補正を掛ける強度を設定する工程を含み、補正処理を掛ける画像の位置に応じて、その補正の強度を変えるようにしたことを特徴とする画像処理方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【公開番号】特開２００８−２３４３４２（Ｐ２００８−２３４３４２Ａ）
【公開日】平成２０年１０月２日（２００８．１０．２）
【国際特許分類】
【出願番号】特願２００７−７３４２５（Ｐ２００７−７３４２５）
【出願日】平成１９年３月２０日（２００７．３．２０）
【出願人】（３０６０３７３１１）富士フイルム株式会社 (25,513)
【Ｆターム（参考）】
【公開日】平成２０年１０月２日（２００８．１０．２）
【国際特許分類】
【出願日】平成１９年３月２０日（２００７．３．２０）
【出願人】（３０６０３７３１１）富士フイルム株式会社 (25,513)
【Ｆターム（参考）】
[ Back to top ]