画像処理装置およびプログラム記録媒体
【課題】本発明は、画像における肌領域の検出精度を向上することができる画像処理装置を提供する。
【解決手段】本発明に係る画像処理装置１は、局所肌色度算出部５、局所輝度偏差算出部３、および補正量算出部６を備えている。局所肌色度算出部５は、画像における所定の局所領域の肌色度合いを局所肌色度として算出する。局所輝度偏差算出部３は、所定の局所領域の輝度ダイナミックレンジを局所輝度偏差として算出する。補正量算出部６は、局所肌色度および局所輝度偏差を用いて、所定の局所領域が肌領域であるか否かを判断する。
【解決手段】本発明に係る画像処理装置１は、局所肌色度算出部５、局所輝度偏差算出部３、および補正量算出部６を備えている。局所肌色度算出部５は、画像における所定の局所領域の肌色度合いを局所肌色度として算出する。局所輝度偏差算出部３は、所定の局所領域の輝度ダイナミックレンジを局所輝度偏差として算出する。補正量算出部６は、局所肌色度および局所輝度偏差を用いて、所定の局所領域が肌領域であるか否かを判断する。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、デジタル化された画像を補正することができる画像処理装置およびプログラム記録媒体に係る発明であり、たとえば、画像に含まれる肌領域と肌以外のその他の領域とで、補正効果を変える画像処理を行うことができる画像処理装置およびプログラム記録媒体に適用できる。
【背景技術】
【０００２】
従来の画像処理装置では、画像内の肌領域に対して他の領域と同様な補正処理が掛かっていた。したがって、画像内の人物の肌部分への画質的悪影響が発生していた。たとえば、画像処理として輪郭強調を行う補正を実施した場合、画像内の顔のシミ、シワ、吹き出物等の粗が際立ってしまっていた。またたとえば、画像処理として逆光補正を実施した場合、画像内の顔が他と比べて不自然に感じる程度に明るくなったり、あるいは暗くなったりしていた。なお以下では、画像内における人の肌の領域を「肌領域」と称する。
【０００３】
上記問題を解決する従来技術として、たとえば、特許文献１または特許文献２等が存在する。これらの文献に係る技術では、画像内の肌領域を検出し、当該肌領域に対しては補正量を小さくしている。これにより、肌領域への画質的悪影響を抑えている。
【０００４】
具体的に、特許文献１に係る技術では、肌領域を検出する際には、画像を輝度・色差で表し、その色差成分を用いて肌色度を求め、肌色度の高い領域を肌領域として特定している。画像をＹ（輝度），Ｃｂ（色差），Ｃｒ（色差）で表し、肌色の中心となるＣｂ，Ｃｒの値との差を肌色度として用いる。また、特許文献２に係る技術では、画像をＹ，Ｈ，Ｃで表し、Ｈ（色相），Ｃ（彩度）の値を用いて肌領域を特定している。
【０００５】
【特許文献１】特開２００５−３４１５２７号公報
【特許文献２】特開２００４−１７３３２８号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
しかし、上記特許文献１，２に係る技術において、肌領域検出の際の誤判定率が高くなっている。肌色であると判定しても肌以外の領域である場合も多く、肌と肌以外の質感の違いに関する検出精度を高めることが課題となっている。
【０００７】
また、肌領域か肌以外の領域かの判別だけでは、グラデーション部等において、処理切り替えの段差が見えることがあった。
【０００８】
そこで、本発明は、肌領域の判別の精度を向上させることができ、さらには、グラデーション部における処理切り替え段差を小さくできる画像処理装置、およびプログラム記録媒体を提供することを目的とする。
【課題を解決するための手段】
【０００９】
上記の目的を達成するために、本発明に係る画像処理装置は、画像における所定の局所領域の肌色度合いを局所肌色度として出力する局所肌色度算出部と、前記所定の局所領域の輝度ダイナミックレンジを局所輝度偏差として出力する局所輝度偏差算出部と、前記局所肌色度と前記局所輝度偏差とに基づいて、前記所定の局所領域が肌領域であるか否かを検出する肌領域検出部とを備え、前記所定の局所領域は、複数の画素より構成されており、
前記局所輝度偏差算出部は、前記所定の局所領域を構成する前記画素毎に輝度値を算出し、前記画素毎に算出された輝度値に基づいて前記所定の局所領域の最大輝度値と前記所定の局所領域の最小輝度値とを算出し、前記最大輝度値と前記最小輝度値とに基づいて前記所定の局所領域の輝度ダイナミックレンジを求めることを特徴とする。
【００１０】
また、本発明に係るプラグラム記録媒体は、画像における所定の局所領域の肌色度合いを局所肌色度として出力する局所肌色度出力ステップと、前記所定の局所領域の輝度ダイナミックレンジを局所輝度偏差として出力する局所輝度偏差出力ステップと、前記局所肌色度と前記局所輝度偏差とを用いて、前記所定の局所領域が肌領域であるか否かを検出する検出ステップとを備えているプログラムを、コンピュータにより読み取り可能な記録媒体に記録しているプログラム記録媒体であって、前記所定の局所領域は、複数の画素より構成されており、前記局所輝度偏差出力ステップは、前記所定の局所領域を構成する前記画素毎に輝度値を算出する第１の算出ステップと、前記画素毎に算出された輝度値に基づいて前記所定の局所領域の最大輝度値と前記所定の居所領域の最小輝度値とを算出する第２の算出ステップと、前記最大輝度値と前記最小輝度値とに基づいて前記所定の局所領域の輝度ダイナミックレンジを算出する第３の算出ステップとを備えることを特徴とする。
【発明の効果】
【００１１】
本発明の画像処理装置およびプログラム記録媒体は、局所肌色度および局所輝度偏差を算出し、当該局所肌色度および局所輝度偏差に基づいて肌領域の検出を行っている。
【００１２】
したがって、肌領域検出における誤判定を少なくできる。特に、局所領域の局所輝度偏差（輝度ダイナミックレンジ）をも用いて肌領域の検出を行っているので、特に目の周辺を肌領域から除外することが可能となり、目や睫毛への美肌補正の誤った適用を抑えることができるという効果がある。
【発明を実施するための最良の形態】
【００１３】
以下、この発明をその実施の形態を示す図面に基づいて具体的に説明する。
【００１４】
＜実施の形態＞
図１は、本実施の形態に係る画像処理装置１の構成を示すブロック図である。
【００１５】
図１に示すように、画像処理装置１は、局所平均輝度算出部２、局所輝度偏差算出部３、局所輝度高周波算出部４、局所肌色度算出部５、補正量（効果）算出部６、画像変換処理部７、輝度信号遅延部８、および色差信号遅延部９から構成されている。
【００１６】
画像処理装置１に入力された映像信号のうち輝度信号（Ｙ）は、局所平均輝度算出部２、局所輝度偏差算出部３、局所輝度高周波算出部４、局所肌色度算出部５、および輝度信号遅延部８に入力される。また、当該映像信号のうち色差信号（Ｃ）は、局所肌色度算出部５および色差信号遅延部９に入力される。
【００１７】
局所平均輝度算出部２では、局所領域の平均輝度（局所平均輝度値）を計算し、当該算出した局所平均輝度値を画像変換処理部７へ出力する。
【００１８】
ここで局所領域としては、注目画素の周辺の所定画素数領域を用いて構成することができる。また、画面（画像）を所定の大きさの複数のブロックに分割した際の、注目画素が含まれるブロックを局所領域として用いても良い。また、局所領域は、前述のように画面（画像）を複数のブロックに分割した場合の、１つのブロックだけではなく、複数のブロックとしても良い（たとえば、後述する局所輝度偏差を当該ブロック単位で計算しても良い）。
【００１９】
当該局所領域において何かしらの値（代表値）を求める（以下、局所領域化と称する）際には、局所領域を構成する各画素毎の値から導出される平均値、または所定の重み付けを行いながら求める重み付け平均値、あるいは、中央値、あるいはそれらを複合して求めた値を用いる。
【００２０】
局所輝度偏差算出部３では、上述した局所領域の輝度ダイナミックレンジを局所輝度偏差として算出し、当該算出した局所輝度偏差を補正量（効果）算出部６へ出力する。
【００２１】
たとえば、所定の局所領域が複数の画素数で構成されている場合、当該所定の局所領域に含まれる画素の輝度値のうちで、最大の輝度値と最小の輝度値を求める。そして、当該最大の輝度値と最小の輝度値の差を算出する（当該算出結果が、所定の局所領域の輝度ダイナミックレンジである）。
【００２２】
たとえば、局所領域の輝度ダイナミックレンジを算出する際に、局所輝度偏差算出部３は、ノイズの影響を低減するために、算出対象の局所領域において当該局所領域よりもさらに小さい複数の小領域（ここではたとえば２画素を考える）にさらに分割し、各々小領域について２画素平均輝度値を、予め求める。そして、局所領域において各々求めた小領域の２画素平均輝度値のうちで、最大の２画素平均輝度値と最小の２画素平均輝度値とを求める。そして、当該最大の２画素平均輝度値と最小の２画素平均輝度値の差を、輝度ダイナミックレンジとして算出しても良い。
【００２３】
当該方法により、ノイズの影響を低減できるのは、最大輝度値（または最小輝度値）に偶然に大きなランダムノイズが載ってしまったとしても、たとえば２画素の平均を求めることにより、その影響を小さくできるからである。
【００２４】
局所輝度高周波算出部４では、上述した局所領域の空間的な高周波成分が空間的な方向性を持つ場合に高くなる方向性高周波成分を求め、求めた方向性高周波成分を補正量（効果）算出部６へ出力する。
【００２５】
換言すると、局所輝度高周波算出部４では、所定の局所領域の第一の方向において第一の輝度振幅変化があり、第一の方向と略直交する第二の方向において第一の輝度振幅変化より小さい第二の輝度振幅変化がある場合において、第二の輝度振幅変化に対する第一の輝度振幅変化の大きさを示す指標として、当該所定の局所領域において方向性高周波成分を算出する。ここで、第一の輝度振幅変化は、画像のあらゆる方向について輝度振幅変化を求めた場合の、最大の輝度振幅変化である。
【００２６】
上記の場合、方向性高周波成分は、たとえば、｜第一の輝度振幅変化｜−｜第二の輝度振幅変化｜、と定めることができる。
【００２７】
たとえば、図２に示す３画素×３画素の矩形領域を構成する各画素の輝度値Ｙｉｊ（０≦ｉ≦２，０≦ｊ≦２)を用いた場合（縦・横・斜め（±４５度）の４方向の周波数判別として、連続する３画素のＦＩＲフィルタ（−０．５，１，−０．５の係数を持つ３タップＦＩＲフィルタ）を用いた場合）、方向性高周波成分ｈは、次式で表される。
【００２８】
ｈ＝ｍａｘ(｜｜Ｙ１１−(Ｙ０１＋Ｙ２１)／２｜−｜Ｙ１１−(Ｙ１０＋Ｙ１２)／２ ｜｜, ｜｜Ｙ１１−(Ｙ００＋Ｙ２２)／２｜−｜Ｙ１１−(Ｙ０２＋Ｙ２０)／２ ｜｜) ・・・（１）
【００２９】
局所肌色度算出部５では、局所領域のたとえば平均の肌色度を計算し、当該算出した平均の肌色度（局所肌色度と称する）を補正量（効果）算出部６へ出力する。
【００３０】
ここで、肌色度は、色差信号Ｃｂと色差信号Ｃｒ（または、色差信号Ｃｂ，Ｃｒと輝度信号Ｙ）から求められる値である。当該肌色度は、肌色では高い値となり、肌色以外では低い値となる、いわゆる肌色らしさを表す指標である。
【００３１】
たとえば、局所領域において肌色度（局所肌色度）を求める際には、局所領域を構成する各画素（または、２画素毎や２×２の４画素）毎の肌色度から導出される平均値、または所定の重み付け（たとえば、対象となるブロックの中央で重みが大きくなるような重み付け）がされた加重平均（重み付け平均）を求め、当該求めた値を局所肌色度とすることができる。
【００３２】
補正量（効果）算出部６では、局所肌色度および局所輝度偏差を用いて、所定の局所領域が肌領域であるか否かを検出する。または、局所肌色度および方向性高周波成分を用いて、所定の局所領域が肌領域であるか否かを検出する。または、局所肌色度、局所輝度偏差および方向性高周波成分を用いて、所定の局所領域が肌領域であるか否かを検出する。
【００３３】
具体的に、補正量（効果）算出部６は、局所肌色度が第一の閾値よりも高く、かつ局所輝度偏差が第二の閾値よりも小さい領域を肌領域として検出する。または、局所肌色度が第一の閾値よりも高く、かつ方向性高周波成分が他の閾値よりも小さい領域を、肌領域として検出する。または、局所肌色度が第一の閾値よりも高く、局所輝度偏差が第二の閾値よりも小さく、かつ方向性高周波成分が他の閾値よりも小さい領域を、肌領域として検出する。
【００３４】
なお、上記以外の場合には、局所領域は領域でない（非肌領域）と判断される。ここで、肌領域と非肌領域との区別化が可能となる各閾値は、複数のサンプル画像から経験的に決定される。
【００３５】
補正量（効果）算出部６は、局所輝度偏差算出部３から出力された局所輝度偏差（および／または、局所輝度高周波算出部４から出力された方向性高周波成分）と局所肌色度算出部５から出力された局所肌色度とによって連続的に変化させる、画像処理の補正量（または、局所肌色度が高い場合と低い場合で補正効果を変える場合には、補正効果を変えるための補正指標）を求めて、画像変換処理部７へ出力する。
【００３６】
たとえば、局所肌色度が高いほど、補正パラメータｂを高くし、局所輝度偏差が高いほど、補正パラメータｂ低くし、方向性高周波成分が大きいほど、補正パラメータｂを低くする。
【００３７】
ここでたとえば、局所輝度偏差をｄ（０≦ｄ≦２５５）、方向性高周波成分をｈ（０≦ｈ≦２５５）、局所肌色度をｓ（−３２≦ｓ≦３２）とした場合、上記補正指標（補正パラメータ）ｂ（−３２≦ｂ≦３２）は、下記のように表すこともできる。
【００３８】
ｓ＞０かつｄ≧３２の時、ｓｄ＝ｓ／４。ｓ＞０かつ８≦ｄ＜３２の時、ｓｄ＝ｓ（４０−ｄ）／３２。前記以外の時、ｓｄ＝ｓ。また、ｓ＞０かつｈ≧８の時、ｓｈ＝ｓ／４。ｓ＞０かつ２≦ｈ＜８の時、ｓｈ＝ｓ（１０−ｈ）／８。前記以外の時、ｓｈ＝ｓ。そして、ｂ＝ｍｉｎ（ｓｄ，ｓｈ）
【００３９】
なお、局所肌色度ｓ、局所輝度偏差ｄの各々の変化に対して上記ｓｄは連続的に変化する。また、局所肌色度ｓ、方向性高周波成分ｈの各々の変化に対して上記ｓｈは連続的に変化する。したがって、上記ｓｄ，ｓｈおよび補正パラメータｂは連続的に変化する。
【００４０】
輝度信号遅延部８では、画像処理装置１に入力された映像信号のうち、輝度信号（Ｙ）を、局所平均輝度算出部２での遅延量に相当する分だけ、または局所肌色度算出部５と補正量（効果）算出部６とでの遅延量に相当する分だけ遅延させ、当該遅延後の信号を画像変換処理部７へ出力する。
【００４１】
画像変換処理部７では、局所平均輝度算出部２から入力される局所平均輝度値と、補正量（効果）算出部６から入力される補正量（または、補正効果を変えるための指標）を元にして、画像処理の補正量（または補正効果と補正量）を決定する。そして、画像変換処理部７は、当該決定した補正量等に基づいて、輝度信号遅延部８にて遅延された輝度信号（Ｙ）に対して画像処理を行う。なお、画像処理後（補正後）の輝度信号（Ｙ）は、画像処理装置１から出力される。
【００４２】
ここで、後述するように、画像変換処理部７は、局所肌色度の変化および局所輝度偏差の変化に対して、連続的に画像を補正する。または、画像変換処理部７は、局所肌色度の変化および方向性高周波成分の変化に対して、連続的に前記画像を補正する。または、画像変換処理部７は、局所肌色度の変化、局所輝度偏差の変化および方向性高周波成分の変化に対して、連続的に画像を補正する。
【００４３】
色差信号遅延部９では、画像変換処理部７から出力される画像処理後の輝度信号（Ｙ）と位相を揃えるために、画像処理装置１に入力された映像信号のうち色差信号（Ｃ）を遅延する。なお、当該遅延後の色差信号（Ｃ）は、画像処理装置１から出力される。
【００４４】
本実施の形態に係る発明の動作をフローチャートで示すと図３のようになる。つまり、所定の局所領域における、局所肌色度、局所輝度偏差、方向性高周波成分、および局所平均輝度を図１に示す局所平均輝度算出部２、局所輝度偏差算出部３、局所輝度高周波算出部４、および局所肌色度算出部５において算出する（ステップＳ１）。次に、補正量（効果）算出部６において、局所肌色度、局所輝度偏差、および方向性高周波成分を用いて、局所領域が肌領域であるか非肌領域であるかを判断すると共に、補正パラメータｂを算出する（ステップＳ２）。
【００４５】
そして、画像変換処理部７では、当該補正パラメータｂを用いて、輝度信号に対して補正処理を施す（画像変換：ステップＳ３）。ここで、補正パラメータｂは、局所肌色度、局所輝度偏差および方向性高周波成分によって、求められるので、画像変換処理部７は、局所肌色度、局所輝度偏差および方向性高周波成分に基づいて、画像の補正を行う。または、画像変換処理部７では、当該補正パラメータｂおよび局所平均輝度算出部２の計算結果である所定の局所領域における局所平均輝度値を用いて、輝度信号に対して補正処理を施す（画像変換：ステップＳ３）。
【００４６】
次に、画像変換処理部７における画像変換処理（補正処理）として、図４に示すような局所コントラスト強調と美肌補正を両立するマッピングカーブを使う、階調変換を用いた場合の例を以下に示す。
【００４７】
図４において、符号７０１は局所輝度平均レベルである。符号７０２は、入力輝度レベルである、符号７０３，７０４は出力輝度レベルである。符号７１１は、肌領域用マッピングカーブである。符号７１２は非肌領域用マッピングカーブである。
【００４８】
画像変換処理部７では、補正量（効果）算出部６から出力された連続的に変化する補正量パラメータｂを用いて、マッピングカーブを連続的に変化させる。そして、そのマッピングカーブにより輝度信号遅延部８から出力される輝度信号（Ｙ）を変換する。これにより、局所領域におけるコントラスト補正が施される。なお、補正後の輝度信号（Ｙ）は画像処理装置１から出力される。
【００４９】
入力されてきた輝度信号に補正効果を加える画像処理において、補正パラメータｂが高いほど（または局所領域を肌領域と判断した場合には）、階調の変化を抑える補正を実施する。他方、補正パラメータｂが低いほど（または局所領域を非肌領域と判断した場合には）、階調の変化を高める補正を実施する。
【００５０】
また、当該画像処理（画像補正）として、所定の局所領域におけるコントラスト補正を採用しても良い。補正パラメータｂが高いほど（または局所領域を肌領域と判断した場合には）、所定の局所領域のコントラストを低くする。他方、補正パラメータｂが低いほど（または局所領域を非肌領域と判断した場合には）、所定の局所領域のコントラストを高める。
【００５１】
上記を換言すると、次の通りである。つまり、補正量（効果）算出部６から出力された補正パラメータｂが高い（肌度合いが高い）場合（つまり、局所領域が肌領域と判断された場合）は、肌領域用マッピングカーブ７１１を用いる。これにより、たとえば図５の補正前の局所的なヒストグラム７５１が、図６の肌領域補正後ヒストグラム７５３のように階調のダイナミックレンジが小さくなる（明暗の差が小さくなる）。このように、明暗の差が小さくなる（局所的なコントラストが下がる）ため、人の肌にあるシミ、シワ、吹き出物等を目立たないようにすることができる。すなわち、画像中の人の肌をきめ細かく見せ、肌を美しく見せることができる（この補正を美肌補正と記す）。
【００５２】
一方、補正量（効果）算出部６から出力された補正パラメータｂが低い（肌度合いが低い）場合（つまり、局所領域を非肌領域と判断された場合）には、非肌領域用マッピングカーブ７１２を用いる。これにより、たとえば図５の補正前の局所的なヒストグラム７５２が、図６の非肌領域補正後ヒストグラム７５４のように階調のダイナミックレンジが大きくなる（明暗差が大きくなる）。このように、明暗の差が大きくなる（局所的なコントラストが上がる）ため、人の肌以外の領域について、くっきりと明瞭度を上げて見せることができる。
【００５３】
上記から分かるように、画像変換処理部７における補正処理は、局所領域が肌領域として検出された場合と、非肌領域として検出された場合とで、局所領域に対する補正効果を変えている。ここで、当該補正効果の変化は、局所肌色度の変化および局所輝度偏差の変化に対して連続的である。また、当該補正効果の変化は、局所肌色度の変化および方向性高周波成分の変化に対して連続的である。
【００５４】
また、上記画像処理は、局所的に処理を行っている。したがって、この相異なる画像処理を１つの画面内であっても領域毎に適応的に処理を行うことができる。
【００５５】
ここでは、局所コントラスト強調と美肌補正の例を示したが、フィルタの係数を連続的に変化させても良い。この場合、フィルタの係数をＬＰＦとＨＰＦの間で変化させる。これにより、局所領域の肌度合いが高い場合には、ＬＰＦとして肌の凹凸をぼかしたりノイズ削減をする。他方、局所領域の肌度合いが低い場合には、ＨＰＦとしてエッジ強調を行うことができる。
【００５６】
以上のように、本実施の形態に係る画像処理装置１では、局所領域における局所肌色度だけでなく、局所領域の局所輝度偏差（輝度ダイナミックレンジ）も用いて肌領域の検出を行っている。したがって、肌領域検出における誤判定を少なくできる。
【００５７】
また、肌画像よりも目や睫毛付近の画像の方が輝度変化が激しい。したがって、局所領域の局所輝度偏差（輝度ダイナミックレンジ）も用いて肌領域の検出を行うことにより、特に目の周辺を肌領域から除外することが可能となり、目や睫毛への美肌補正の誤った適用を抑えることができるという効果がある。よって、目や睫毛に対して美肌補正がかかることを防止でき、結果として画像全体がぼやけた印象を持つことを抑制できる。
【００５８】
また、本実施の形態に係る画像処理装置１では、上記局所輝度偏差として、局所領域内の最大輝度値と最小輝度値の差を用いている。したがって、簡単な演算で局所輝度偏差を求めることができる。よって、回路規模もしくはプログラム処理量を削減でき、製造コストの削減を図ることができ、さらに処理の高速化が可能となる。また、最大輝度値と最小輝度値の差を用いることで、肌だけなのか、目や睫毛が含まれているのかを高精度に判別できる。したがって、補正の際に、目や睫毛への美肌補正を抑制することが可能となる。
【００５９】
また、本実施の形態に係る画像処理装置１では、局所領域として、画面（画像）を複数のブロックに分割した１つまたは複数個のブロックを用いるようにしている。したがって、１画素毎に周辺の演算を行う必要が無く、ブロック単位での演算をすれば良い。よって、演算量を削減しながら局所輝度偏差を求めることができる。結果として、回路規模もしくはプログラム処理量を削減でき、製造コストの削減を図ることができ、さらに処理の高速化が可能となる。
【００６０】
また、本実施の形態に係る画像処理装置１では、上記局所輝度偏差を求める際に（特に、所定サイズの領域内の上記最大輝度値および上記最小輝度値を求める際に）、所定の局所領域において当該所定の局所領域よりもサイズの小さい領域で、予め平均を取った輝度値を用いるようにした。このため、ノイズによる肌領域の誤判定を抑えることができる。
【００６１】
また、本実施の形態に係る画像処理装置１において、局所肌色度だけでなく、局所領域における上記方向性高周波成分をも用いて肌領域の検出を行うこともできる。このような構成の場合においても、肌領域検出における誤判定を少なくできるという効果がある。
【００６２】
また、人の髪の毛は、髪が生えている方向に空間周波数が低く、当該生えている方向を横切る方向は空間周波数が高くなる。したがって、上記方向性高周波成分をも用いて肌領域の検出を行うことにより、特に、髪の毛等を肌領域から除外することが可能となり、髪の毛等への美肌補正の誤った適用を抑えることができる。よって、画像における髪の毛が平面的な印象を与えることを防止できる。
【００６３】
また、本実施の形態に係る画像処理装置１では、方向性高周波成分ｈとして、式（１）を用いるようにした。したがって、少ない演算量で方向性高周波成分ｈを求めることができる。結果として、回路規模もしくはプログラム処理量を削減でき、製造コストの削減および処理の高速化が可能となる。
【００６４】
また、入力輝度値や各色差値の変化に対して、補正量（効果）算出部６から出力された補正量パラメータｂの変化が不連続であった場合を想定する。当該場合には、前述のマッピングカーブを用いた階調補正のときに、輝度が大きく不連続となる場合がある。このため、エッジ強調等よりも見た目の段差が特に大きくなるという問題も発生し得る。
【００６５】
そこで、本実施の形態に係る画像処理装置１では、入力輝度値や各色差値の変化に対して、補正量（効果）算出部６から出力された補正量パラメータｂの変化もマッピングカーブの変化も連続となるようにした。したがって、グラデーション部等において、補正量または補正効果の急激な変化による段差を少なくできるという効果がある。
【００６６】
また、本実施の形態に係る画像処理装置１では、局所領域が肌領域と判断された場合は、階調のダイナミックレンジを抑える補正を実施する。これに、明暗の差が小さくなる（局所的なコントラストが低くなる）ため、人の肌にあるシミ、シワ、吹き出物等を目立たないようにすることができる。すなわち、画像中の人の肌をきめ細かく見せ、肌を美しく見せることができる。
【００６７】
また、本実施の形態に係る画像処理装置１では、局所領域を非肌領域と判断された場合は、階調のダイナミックレンジを高める補正を実施する。これにより、明暗の差が大きくなる（局所的なコントラストが高める）ため、人の肌以外の領域について、くっきりと明瞭度を上げて見せることができる。
【００６８】
なお、上記本発明は、撮像装置で撮影したデジタル画像を、表示、保存、送信する前に行う、エッジ強調や局所コントラスト改善、あるいは、人の肌をきめ細やかに見せるための画像処理の際に適用できる。
【００６９】
また、局所平均輝度を基に局所領域の輝度補正量を決定し、その補正量に基づいて輝度値を補正する階調補正処理においては、階調が連続するグラデーション部分に対して階調補正した後でも階調の連続性が保たれることが特に求められる。
【００７０】
例えば他の方式で、パターンマッチングなどの顔認識技術を用いて人の顔を検出し、検出した人の顔の領域だけに対して階調補正をする場合には、顔として検出した領域とその他の領域との境界において、階調が不連続となる箇所が発生することがあった。
【００７１】
本発明では、肌領域らしさの指標である肌度合いを連続的に変化させるようにしたので、階調補正処理に適用することで、人の肌のグラデーション領域において補正後にも肌の滑らかさを保つことができるため、特に大きな効果が得られる。特に顔と顔以外の部分の境界についての差は顕著である。
【００７２】
なお、図３に示すフローチャートを構成する各ステップを備えるプログラムを、コンピュータにより読み取り可能な記録媒体に記録されていても良い。
【００７３】
より具体的には、画像における所定の局所領域の肌色度合いを局所肌色度として算出するステップと、所定の局所領域の輝度ダイナミックレンジを局所輝度偏差として算出するステップと、局所肌色度と局所輝度偏差とを用いて、所定の局所領域が肌領域であるか否かを検出するステップとを、備えているプログラムを、コンピュータにより読み取り可能なプログラム記録媒体に記録しても良い。
【００７４】
または、画像における所定の局所領域の肌色度合いを局所肌色度として算出するステップと、所定の局所領域の第一の方向において第一の輝度振幅変化があり、第一の方向と略直交する第二の方向において第一の輝度振幅変化より小さい第二の輝度振幅変化がある場合において、第二の輝度振幅変化量に対する第一の輝度振幅変化量の大きさを示す指標である、方向性高周波成分を算出するステップと、局所肌色度と方向性高周波成分とを用いて、所定の局所領域が肌領域であるか否かを検出するステップとを、備えているプログラムを、コンピュータにより読み取り可能なプログラム記録媒体に記録しても良い。
【００７５】
これらのプログラム記録媒体に記憶されているプログラムをコンピュータが読み取り、実行することにより、上記図１で示した装置と同じ働きを奏することができる。
【図面の簡単な説明】
【００７６】
【図１】本発明に係る画像処理装置の構成を示すブロック図である。
【図２】方向性高周波成分の演算方法を説明するための図である。
【図３】本発明に係る画像処理装置の動作の流れを示す図である。
【図４】マッピングカーブの一例を示す図である。
【図５】補正の効果を説明するための図である。
【図６】補正の効果を説明するための図である。
【符号の説明】
【００７７】
１ 画像処理装置、２ 局所平均輝度算出部、３ 局所輝度偏差算出部、４ 局所輝度高周波算出部、５ 局所肌色度算出部、６ 補正量（効果）算出部、７ 画像変換処理部、８ 輝度信号遅延部、９ 色差信号遅延部。
【技術分野】
【０００１】
この発明は、デジタル化された画像を補正することができる画像処理装置およびプログラム記録媒体に係る発明であり、たとえば、画像に含まれる肌領域と肌以外のその他の領域とで、補正効果を変える画像処理を行うことができる画像処理装置およびプログラム記録媒体に適用できる。
【背景技術】
【０００２】
従来の画像処理装置では、画像内の肌領域に対して他の領域と同様な補正処理が掛かっていた。したがって、画像内の人物の肌部分への画質的悪影響が発生していた。たとえば、画像処理として輪郭強調を行う補正を実施した場合、画像内の顔のシミ、シワ、吹き出物等の粗が際立ってしまっていた。またたとえば、画像処理として逆光補正を実施した場合、画像内の顔が他と比べて不自然に感じる程度に明るくなったり、あるいは暗くなったりしていた。なお以下では、画像内における人の肌の領域を「肌領域」と称する。
【０００３】
上記問題を解決する従来技術として、たとえば、特許文献１または特許文献２等が存在する。これらの文献に係る技術では、画像内の肌領域を検出し、当該肌領域に対しては補正量を小さくしている。これにより、肌領域への画質的悪影響を抑えている。
【０００４】
具体的に、特許文献１に係る技術では、肌領域を検出する際には、画像を輝度・色差で表し、その色差成分を用いて肌色度を求め、肌色度の高い領域を肌領域として特定している。画像をＹ（輝度），Ｃｂ（色差），Ｃｒ（色差）で表し、肌色の中心となるＣｂ，Ｃｒの値との差を肌色度として用いる。また、特許文献２に係る技術では、画像をＹ，Ｈ，Ｃで表し、Ｈ（色相），Ｃ（彩度）の値を用いて肌領域を特定している。
【０００５】
【特許文献１】特開２００５−３４１５２７号公報
【特許文献２】特開２００４−１７３３２８号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
しかし、上記特許文献１，２に係る技術において、肌領域検出の際の誤判定率が高くなっている。肌色であると判定しても肌以外の領域である場合も多く、肌と肌以外の質感の違いに関する検出精度を高めることが課題となっている。
【０００７】
また、肌領域か肌以外の領域かの判別だけでは、グラデーション部等において、処理切り替えの段差が見えることがあった。
【０００８】
そこで、本発明は、肌領域の判別の精度を向上させることができ、さらには、グラデーション部における処理切り替え段差を小さくできる画像処理装置、およびプログラム記録媒体を提供することを目的とする。
【課題を解決するための手段】
【０００９】
上記の目的を達成するために、本発明に係る画像処理装置は、画像における所定の局所領域の肌色度合いを局所肌色度として出力する局所肌色度算出部と、前記所定の局所領域の輝度ダイナミックレンジを局所輝度偏差として出力する局所輝度偏差算出部と、前記局所肌色度と前記局所輝度偏差とに基づいて、前記所定の局所領域が肌領域であるか否かを検出する肌領域検出部とを備え、前記所定の局所領域は、複数の画素より構成されており、
前記局所輝度偏差算出部は、前記所定の局所領域を構成する前記画素毎に輝度値を算出し、前記画素毎に算出された輝度値に基づいて前記所定の局所領域の最大輝度値と前記所定の局所領域の最小輝度値とを算出し、前記最大輝度値と前記最小輝度値とに基づいて前記所定の局所領域の輝度ダイナミックレンジを求めることを特徴とする。
【００１０】
また、本発明に係るプラグラム記録媒体は、画像における所定の局所領域の肌色度合いを局所肌色度として出力する局所肌色度出力ステップと、前記所定の局所領域の輝度ダイナミックレンジを局所輝度偏差として出力する局所輝度偏差出力ステップと、前記局所肌色度と前記局所輝度偏差とを用いて、前記所定の局所領域が肌領域であるか否かを検出する検出ステップとを備えているプログラムを、コンピュータにより読み取り可能な記録媒体に記録しているプログラム記録媒体であって、前記所定の局所領域は、複数の画素より構成されており、前記局所輝度偏差出力ステップは、前記所定の局所領域を構成する前記画素毎に輝度値を算出する第１の算出ステップと、前記画素毎に算出された輝度値に基づいて前記所定の局所領域の最大輝度値と前記所定の居所領域の最小輝度値とを算出する第２の算出ステップと、前記最大輝度値と前記最小輝度値とに基づいて前記所定の局所領域の輝度ダイナミックレンジを算出する第３の算出ステップとを備えることを特徴とする。
【発明の効果】
【００１１】
本発明の画像処理装置およびプログラム記録媒体は、局所肌色度および局所輝度偏差を算出し、当該局所肌色度および局所輝度偏差に基づいて肌領域の検出を行っている。
【００１２】
したがって、肌領域検出における誤判定を少なくできる。特に、局所領域の局所輝度偏差（輝度ダイナミックレンジ）をも用いて肌領域の検出を行っているので、特に目の周辺を肌領域から除外することが可能となり、目や睫毛への美肌補正の誤った適用を抑えることができるという効果がある。
【発明を実施するための最良の形態】
【００１３】
以下、この発明をその実施の形態を示す図面に基づいて具体的に説明する。
【００１４】
＜実施の形態＞
図１は、本実施の形態に係る画像処理装置１の構成を示すブロック図である。
【００１５】
図１に示すように、画像処理装置１は、局所平均輝度算出部２、局所輝度偏差算出部３、局所輝度高周波算出部４、局所肌色度算出部５、補正量（効果）算出部６、画像変換処理部７、輝度信号遅延部８、および色差信号遅延部９から構成されている。
【００１６】
画像処理装置１に入力された映像信号のうち輝度信号（Ｙ）は、局所平均輝度算出部２、局所輝度偏差算出部３、局所輝度高周波算出部４、局所肌色度算出部５、および輝度信号遅延部８に入力される。また、当該映像信号のうち色差信号（Ｃ）は、局所肌色度算出部５および色差信号遅延部９に入力される。
【００１７】
局所平均輝度算出部２では、局所領域の平均輝度（局所平均輝度値）を計算し、当該算出した局所平均輝度値を画像変換処理部７へ出力する。
【００１８】
ここで局所領域としては、注目画素の周辺の所定画素数領域を用いて構成することができる。また、画面（画像）を所定の大きさの複数のブロックに分割した際の、注目画素が含まれるブロックを局所領域として用いても良い。また、局所領域は、前述のように画面（画像）を複数のブロックに分割した場合の、１つのブロックだけではなく、複数のブロックとしても良い（たとえば、後述する局所輝度偏差を当該ブロック単位で計算しても良い）。
【００１９】
当該局所領域において何かしらの値（代表値）を求める（以下、局所領域化と称する）際には、局所領域を構成する各画素毎の値から導出される平均値、または所定の重み付けを行いながら求める重み付け平均値、あるいは、中央値、あるいはそれらを複合して求めた値を用いる。
【００２０】
局所輝度偏差算出部３では、上述した局所領域の輝度ダイナミックレンジを局所輝度偏差として算出し、当該算出した局所輝度偏差を補正量（効果）算出部６へ出力する。
【００２１】
たとえば、所定の局所領域が複数の画素数で構成されている場合、当該所定の局所領域に含まれる画素の輝度値のうちで、最大の輝度値と最小の輝度値を求める。そして、当該最大の輝度値と最小の輝度値の差を算出する（当該算出結果が、所定の局所領域の輝度ダイナミックレンジである）。
【００２２】
たとえば、局所領域の輝度ダイナミックレンジを算出する際に、局所輝度偏差算出部３は、ノイズの影響を低減するために、算出対象の局所領域において当該局所領域よりもさらに小さい複数の小領域（ここではたとえば２画素を考える）にさらに分割し、各々小領域について２画素平均輝度値を、予め求める。そして、局所領域において各々求めた小領域の２画素平均輝度値のうちで、最大の２画素平均輝度値と最小の２画素平均輝度値とを求める。そして、当該最大の２画素平均輝度値と最小の２画素平均輝度値の差を、輝度ダイナミックレンジとして算出しても良い。
【００２３】
当該方法により、ノイズの影響を低減できるのは、最大輝度値（または最小輝度値）に偶然に大きなランダムノイズが載ってしまったとしても、たとえば２画素の平均を求めることにより、その影響を小さくできるからである。
【００２４】
局所輝度高周波算出部４では、上述した局所領域の空間的な高周波成分が空間的な方向性を持つ場合に高くなる方向性高周波成分を求め、求めた方向性高周波成分を補正量（効果）算出部６へ出力する。
【００２５】
換言すると、局所輝度高周波算出部４では、所定の局所領域の第一の方向において第一の輝度振幅変化があり、第一の方向と略直交する第二の方向において第一の輝度振幅変化より小さい第二の輝度振幅変化がある場合において、第二の輝度振幅変化に対する第一の輝度振幅変化の大きさを示す指標として、当該所定の局所領域において方向性高周波成分を算出する。ここで、第一の輝度振幅変化は、画像のあらゆる方向について輝度振幅変化を求めた場合の、最大の輝度振幅変化である。
【００２６】
上記の場合、方向性高周波成分は、たとえば、｜第一の輝度振幅変化｜−｜第二の輝度振幅変化｜、と定めることができる。
【００２７】
たとえば、図２に示す３画素×３画素の矩形領域を構成する各画素の輝度値Ｙｉｊ（０≦ｉ≦２，０≦ｊ≦２)を用いた場合（縦・横・斜め（±４５度）の４方向の周波数判別として、連続する３画素のＦＩＲフィルタ（−０．５，１，−０．５の係数を持つ３タップＦＩＲフィルタ）を用いた場合）、方向性高周波成分ｈは、次式で表される。
【００２８】
ｈ＝ｍａｘ(｜｜Ｙ１１−(Ｙ０１＋Ｙ２１)／２｜−｜Ｙ１１−(Ｙ１０＋Ｙ１２)／２ ｜｜, ｜｜Ｙ１１−(Ｙ００＋Ｙ２２)／２｜−｜Ｙ１１−(Ｙ０２＋Ｙ２０)／２ ｜｜) ・・・（１）
【００２９】
局所肌色度算出部５では、局所領域のたとえば平均の肌色度を計算し、当該算出した平均の肌色度（局所肌色度と称する）を補正量（効果）算出部６へ出力する。
【００３０】
ここで、肌色度は、色差信号Ｃｂと色差信号Ｃｒ（または、色差信号Ｃｂ，Ｃｒと輝度信号Ｙ）から求められる値である。当該肌色度は、肌色では高い値となり、肌色以外では低い値となる、いわゆる肌色らしさを表す指標である。
【００３１】
たとえば、局所領域において肌色度（局所肌色度）を求める際には、局所領域を構成する各画素（または、２画素毎や２×２の４画素）毎の肌色度から導出される平均値、または所定の重み付け（たとえば、対象となるブロックの中央で重みが大きくなるような重み付け）がされた加重平均（重み付け平均）を求め、当該求めた値を局所肌色度とすることができる。
【００３２】
補正量（効果）算出部６では、局所肌色度および局所輝度偏差を用いて、所定の局所領域が肌領域であるか否かを検出する。または、局所肌色度および方向性高周波成分を用いて、所定の局所領域が肌領域であるか否かを検出する。または、局所肌色度、局所輝度偏差および方向性高周波成分を用いて、所定の局所領域が肌領域であるか否かを検出する。
【００３３】
具体的に、補正量（効果）算出部６は、局所肌色度が第一の閾値よりも高く、かつ局所輝度偏差が第二の閾値よりも小さい領域を肌領域として検出する。または、局所肌色度が第一の閾値よりも高く、かつ方向性高周波成分が他の閾値よりも小さい領域を、肌領域として検出する。または、局所肌色度が第一の閾値よりも高く、局所輝度偏差が第二の閾値よりも小さく、かつ方向性高周波成分が他の閾値よりも小さい領域を、肌領域として検出する。
【００３４】
なお、上記以外の場合には、局所領域は領域でない（非肌領域）と判断される。ここで、肌領域と非肌領域との区別化が可能となる各閾値は、複数のサンプル画像から経験的に決定される。
【００３５】
補正量（効果）算出部６は、局所輝度偏差算出部３から出力された局所輝度偏差（および／または、局所輝度高周波算出部４から出力された方向性高周波成分）と局所肌色度算出部５から出力された局所肌色度とによって連続的に変化させる、画像処理の補正量（または、局所肌色度が高い場合と低い場合で補正効果を変える場合には、補正効果を変えるための補正指標）を求めて、画像変換処理部７へ出力する。
【００３６】
たとえば、局所肌色度が高いほど、補正パラメータｂを高くし、局所輝度偏差が高いほど、補正パラメータｂ低くし、方向性高周波成分が大きいほど、補正パラメータｂを低くする。
【００３７】
ここでたとえば、局所輝度偏差をｄ（０≦ｄ≦２５５）、方向性高周波成分をｈ（０≦ｈ≦２５５）、局所肌色度をｓ（−３２≦ｓ≦３２）とした場合、上記補正指標（補正パラメータ）ｂ（−３２≦ｂ≦３２）は、下記のように表すこともできる。
【００３８】
ｓ＞０かつｄ≧３２の時、ｓｄ＝ｓ／４。ｓ＞０かつ８≦ｄ＜３２の時、ｓｄ＝ｓ（４０−ｄ）／３２。前記以外の時、ｓｄ＝ｓ。また、ｓ＞０かつｈ≧８の時、ｓｈ＝ｓ／４。ｓ＞０かつ２≦ｈ＜８の時、ｓｈ＝ｓ（１０−ｈ）／８。前記以外の時、ｓｈ＝ｓ。そして、ｂ＝ｍｉｎ（ｓｄ，ｓｈ）
【００３９】
なお、局所肌色度ｓ、局所輝度偏差ｄの各々の変化に対して上記ｓｄは連続的に変化する。また、局所肌色度ｓ、方向性高周波成分ｈの各々の変化に対して上記ｓｈは連続的に変化する。したがって、上記ｓｄ，ｓｈおよび補正パラメータｂは連続的に変化する。
【００４０】
輝度信号遅延部８では、画像処理装置１に入力された映像信号のうち、輝度信号（Ｙ）を、局所平均輝度算出部２での遅延量に相当する分だけ、または局所肌色度算出部５と補正量（効果）算出部６とでの遅延量に相当する分だけ遅延させ、当該遅延後の信号を画像変換処理部７へ出力する。
【００４１】
画像変換処理部７では、局所平均輝度算出部２から入力される局所平均輝度値と、補正量（効果）算出部６から入力される補正量（または、補正効果を変えるための指標）を元にして、画像処理の補正量（または補正効果と補正量）を決定する。そして、画像変換処理部７は、当該決定した補正量等に基づいて、輝度信号遅延部８にて遅延された輝度信号（Ｙ）に対して画像処理を行う。なお、画像処理後（補正後）の輝度信号（Ｙ）は、画像処理装置１から出力される。
【００４２】
ここで、後述するように、画像変換処理部７は、局所肌色度の変化および局所輝度偏差の変化に対して、連続的に画像を補正する。または、画像変換処理部７は、局所肌色度の変化および方向性高周波成分の変化に対して、連続的に前記画像を補正する。または、画像変換処理部７は、局所肌色度の変化、局所輝度偏差の変化および方向性高周波成分の変化に対して、連続的に画像を補正する。
【００４３】
色差信号遅延部９では、画像変換処理部７から出力される画像処理後の輝度信号（Ｙ）と位相を揃えるために、画像処理装置１に入力された映像信号のうち色差信号（Ｃ）を遅延する。なお、当該遅延後の色差信号（Ｃ）は、画像処理装置１から出力される。
【００４４】
本実施の形態に係る発明の動作をフローチャートで示すと図３のようになる。つまり、所定の局所領域における、局所肌色度、局所輝度偏差、方向性高周波成分、および局所平均輝度を図１に示す局所平均輝度算出部２、局所輝度偏差算出部３、局所輝度高周波算出部４、および局所肌色度算出部５において算出する（ステップＳ１）。次に、補正量（効果）算出部６において、局所肌色度、局所輝度偏差、および方向性高周波成分を用いて、局所領域が肌領域であるか非肌領域であるかを判断すると共に、補正パラメータｂを算出する（ステップＳ２）。
【００４５】
そして、画像変換処理部７では、当該補正パラメータｂを用いて、輝度信号に対して補正処理を施す（画像変換：ステップＳ３）。ここで、補正パラメータｂは、局所肌色度、局所輝度偏差および方向性高周波成分によって、求められるので、画像変換処理部７は、局所肌色度、局所輝度偏差および方向性高周波成分に基づいて、画像の補正を行う。または、画像変換処理部７では、当該補正パラメータｂおよび局所平均輝度算出部２の計算結果である所定の局所領域における局所平均輝度値を用いて、輝度信号に対して補正処理を施す（画像変換：ステップＳ３）。
【００４６】
次に、画像変換処理部７における画像変換処理（補正処理）として、図４に示すような局所コントラスト強調と美肌補正を両立するマッピングカーブを使う、階調変換を用いた場合の例を以下に示す。
【００４７】
図４において、符号７０１は局所輝度平均レベルである。符号７０２は、入力輝度レベルである、符号７０３，７０４は出力輝度レベルである。符号７１１は、肌領域用マッピングカーブである。符号７１２は非肌領域用マッピングカーブである。
【００４８】
画像変換処理部７では、補正量（効果）算出部６から出力された連続的に変化する補正量パラメータｂを用いて、マッピングカーブを連続的に変化させる。そして、そのマッピングカーブにより輝度信号遅延部８から出力される輝度信号（Ｙ）を変換する。これにより、局所領域におけるコントラスト補正が施される。なお、補正後の輝度信号（Ｙ）は画像処理装置１から出力される。
【００４９】
入力されてきた輝度信号に補正効果を加える画像処理において、補正パラメータｂが高いほど（または局所領域を肌領域と判断した場合には）、階調の変化を抑える補正を実施する。他方、補正パラメータｂが低いほど（または局所領域を非肌領域と判断した場合には）、階調の変化を高める補正を実施する。
【００５０】
また、当該画像処理（画像補正）として、所定の局所領域におけるコントラスト補正を採用しても良い。補正パラメータｂが高いほど（または局所領域を肌領域と判断した場合には）、所定の局所領域のコントラストを低くする。他方、補正パラメータｂが低いほど（または局所領域を非肌領域と判断した場合には）、所定の局所領域のコントラストを高める。
【００５１】
上記を換言すると、次の通りである。つまり、補正量（効果）算出部６から出力された補正パラメータｂが高い（肌度合いが高い）場合（つまり、局所領域が肌領域と判断された場合）は、肌領域用マッピングカーブ７１１を用いる。これにより、たとえば図５の補正前の局所的なヒストグラム７５１が、図６の肌領域補正後ヒストグラム７５３のように階調のダイナミックレンジが小さくなる（明暗の差が小さくなる）。このように、明暗の差が小さくなる（局所的なコントラストが下がる）ため、人の肌にあるシミ、シワ、吹き出物等を目立たないようにすることができる。すなわち、画像中の人の肌をきめ細かく見せ、肌を美しく見せることができる（この補正を美肌補正と記す）。
【００５２】
一方、補正量（効果）算出部６から出力された補正パラメータｂが低い（肌度合いが低い）場合（つまり、局所領域を非肌領域と判断された場合）には、非肌領域用マッピングカーブ７１２を用いる。これにより、たとえば図５の補正前の局所的なヒストグラム７５２が、図６の非肌領域補正後ヒストグラム７５４のように階調のダイナミックレンジが大きくなる（明暗差が大きくなる）。このように、明暗の差が大きくなる（局所的なコントラストが上がる）ため、人の肌以外の領域について、くっきりと明瞭度を上げて見せることができる。
【００５３】
上記から分かるように、画像変換処理部７における補正処理は、局所領域が肌領域として検出された場合と、非肌領域として検出された場合とで、局所領域に対する補正効果を変えている。ここで、当該補正効果の変化は、局所肌色度の変化および局所輝度偏差の変化に対して連続的である。また、当該補正効果の変化は、局所肌色度の変化および方向性高周波成分の変化に対して連続的である。
【００５４】
また、上記画像処理は、局所的に処理を行っている。したがって、この相異なる画像処理を１つの画面内であっても領域毎に適応的に処理を行うことができる。
【００５５】
ここでは、局所コントラスト強調と美肌補正の例を示したが、フィルタの係数を連続的に変化させても良い。この場合、フィルタの係数をＬＰＦとＨＰＦの間で変化させる。これにより、局所領域の肌度合いが高い場合には、ＬＰＦとして肌の凹凸をぼかしたりノイズ削減をする。他方、局所領域の肌度合いが低い場合には、ＨＰＦとしてエッジ強調を行うことができる。
【００５６】
以上のように、本実施の形態に係る画像処理装置１では、局所領域における局所肌色度だけでなく、局所領域の局所輝度偏差（輝度ダイナミックレンジ）も用いて肌領域の検出を行っている。したがって、肌領域検出における誤判定を少なくできる。
【００５７】
また、肌画像よりも目や睫毛付近の画像の方が輝度変化が激しい。したがって、局所領域の局所輝度偏差（輝度ダイナミックレンジ）も用いて肌領域の検出を行うことにより、特に目の周辺を肌領域から除外することが可能となり、目や睫毛への美肌補正の誤った適用を抑えることができるという効果がある。よって、目や睫毛に対して美肌補正がかかることを防止でき、結果として画像全体がぼやけた印象を持つことを抑制できる。
【００５８】
また、本実施の形態に係る画像処理装置１では、上記局所輝度偏差として、局所領域内の最大輝度値と最小輝度値の差を用いている。したがって、簡単な演算で局所輝度偏差を求めることができる。よって、回路規模もしくはプログラム処理量を削減でき、製造コストの削減を図ることができ、さらに処理の高速化が可能となる。また、最大輝度値と最小輝度値の差を用いることで、肌だけなのか、目や睫毛が含まれているのかを高精度に判別できる。したがって、補正の際に、目や睫毛への美肌補正を抑制することが可能となる。
【００５９】
また、本実施の形態に係る画像処理装置１では、局所領域として、画面（画像）を複数のブロックに分割した１つまたは複数個のブロックを用いるようにしている。したがって、１画素毎に周辺の演算を行う必要が無く、ブロック単位での演算をすれば良い。よって、演算量を削減しながら局所輝度偏差を求めることができる。結果として、回路規模もしくはプログラム処理量を削減でき、製造コストの削減を図ることができ、さらに処理の高速化が可能となる。
【００６０】
また、本実施の形態に係る画像処理装置１では、上記局所輝度偏差を求める際に（特に、所定サイズの領域内の上記最大輝度値および上記最小輝度値を求める際に）、所定の局所領域において当該所定の局所領域よりもサイズの小さい領域で、予め平均を取った輝度値を用いるようにした。このため、ノイズによる肌領域の誤判定を抑えることができる。
【００６１】
また、本実施の形態に係る画像処理装置１において、局所肌色度だけでなく、局所領域における上記方向性高周波成分をも用いて肌領域の検出を行うこともできる。このような構成の場合においても、肌領域検出における誤判定を少なくできるという効果がある。
【００６２】
また、人の髪の毛は、髪が生えている方向に空間周波数が低く、当該生えている方向を横切る方向は空間周波数が高くなる。したがって、上記方向性高周波成分をも用いて肌領域の検出を行うことにより、特に、髪の毛等を肌領域から除外することが可能となり、髪の毛等への美肌補正の誤った適用を抑えることができる。よって、画像における髪の毛が平面的な印象を与えることを防止できる。
【００６３】
また、本実施の形態に係る画像処理装置１では、方向性高周波成分ｈとして、式（１）を用いるようにした。したがって、少ない演算量で方向性高周波成分ｈを求めることができる。結果として、回路規模もしくはプログラム処理量を削減でき、製造コストの削減および処理の高速化が可能となる。
【００６４】
また、入力輝度値や各色差値の変化に対して、補正量（効果）算出部６から出力された補正量パラメータｂの変化が不連続であった場合を想定する。当該場合には、前述のマッピングカーブを用いた階調補正のときに、輝度が大きく不連続となる場合がある。このため、エッジ強調等よりも見た目の段差が特に大きくなるという問題も発生し得る。
【００６５】
そこで、本実施の形態に係る画像処理装置１では、入力輝度値や各色差値の変化に対して、補正量（効果）算出部６から出力された補正量パラメータｂの変化もマッピングカーブの変化も連続となるようにした。したがって、グラデーション部等において、補正量または補正効果の急激な変化による段差を少なくできるという効果がある。
【００６６】
また、本実施の形態に係る画像処理装置１では、局所領域が肌領域と判断された場合は、階調のダイナミックレンジを抑える補正を実施する。これに、明暗の差が小さくなる（局所的なコントラストが低くなる）ため、人の肌にあるシミ、シワ、吹き出物等を目立たないようにすることができる。すなわち、画像中の人の肌をきめ細かく見せ、肌を美しく見せることができる。
【００６７】
また、本実施の形態に係る画像処理装置１では、局所領域を非肌領域と判断された場合は、階調のダイナミックレンジを高める補正を実施する。これにより、明暗の差が大きくなる（局所的なコントラストが高める）ため、人の肌以外の領域について、くっきりと明瞭度を上げて見せることができる。
【００６８】
なお、上記本発明は、撮像装置で撮影したデジタル画像を、表示、保存、送信する前に行う、エッジ強調や局所コントラスト改善、あるいは、人の肌をきめ細やかに見せるための画像処理の際に適用できる。
【００６９】
また、局所平均輝度を基に局所領域の輝度補正量を決定し、その補正量に基づいて輝度値を補正する階調補正処理においては、階調が連続するグラデーション部分に対して階調補正した後でも階調の連続性が保たれることが特に求められる。
【００７０】
例えば他の方式で、パターンマッチングなどの顔認識技術を用いて人の顔を検出し、検出した人の顔の領域だけに対して階調補正をする場合には、顔として検出した領域とその他の領域との境界において、階調が不連続となる箇所が発生することがあった。
【００７１】
本発明では、肌領域らしさの指標である肌度合いを連続的に変化させるようにしたので、階調補正処理に適用することで、人の肌のグラデーション領域において補正後にも肌の滑らかさを保つことができるため、特に大きな効果が得られる。特に顔と顔以外の部分の境界についての差は顕著である。
【００７２】
なお、図３に示すフローチャートを構成する各ステップを備えるプログラムを、コンピュータにより読み取り可能な記録媒体に記録されていても良い。
【００７３】
より具体的には、画像における所定の局所領域の肌色度合いを局所肌色度として算出するステップと、所定の局所領域の輝度ダイナミックレンジを局所輝度偏差として算出するステップと、局所肌色度と局所輝度偏差とを用いて、所定の局所領域が肌領域であるか否かを検出するステップとを、備えているプログラムを、コンピュータにより読み取り可能なプログラム記録媒体に記録しても良い。
【００７４】
または、画像における所定の局所領域の肌色度合いを局所肌色度として算出するステップと、所定の局所領域の第一の方向において第一の輝度振幅変化があり、第一の方向と略直交する第二の方向において第一の輝度振幅変化より小さい第二の輝度振幅変化がある場合において、第二の輝度振幅変化量に対する第一の輝度振幅変化量の大きさを示す指標である、方向性高周波成分を算出するステップと、局所肌色度と方向性高周波成分とを用いて、所定の局所領域が肌領域であるか否かを検出するステップとを、備えているプログラムを、コンピュータにより読み取り可能なプログラム記録媒体に記録しても良い。
【００７５】
これらのプログラム記録媒体に記憶されているプログラムをコンピュータが読み取り、実行することにより、上記図１で示した装置と同じ働きを奏することができる。
【図面の簡単な説明】
【００７６】
【図１】本発明に係る画像処理装置の構成を示すブロック図である。
【図２】方向性高周波成分の演算方法を説明するための図である。
【図３】本発明に係る画像処理装置の動作の流れを示す図である。
【図４】マッピングカーブの一例を示す図である。
【図５】補正の効果を説明するための図である。
【図６】補正の効果を説明するための図である。
【符号の説明】
【００７７】
１ 画像処理装置、２ 局所平均輝度算出部、３ 局所輝度偏差算出部、４ 局所輝度高周波算出部、５ 局所肌色度算出部、６ 補正量（効果）算出部、７ 画像変換処理部、８ 輝度信号遅延部、９ 色差信号遅延部。
【特許請求の範囲】
【請求項１】
画像における所定の局所領域の肌色度合いを局所肌色度として出力する局所肌色度算出部と、
前記所定の局所領域の輝度ダイナミックレンジを局所輝度偏差として出力する局所輝度偏差算出部と、
前記局所肌色度と前記局所輝度偏差とに基づいて、前記所定の局所領域が肌領域であるか否かを検出する肌領域検出部と
を備え、
前記所定の局所領域は、複数の画素より構成されており、
前記局所輝度偏差算出部は、前記所定の局所領域を構成する前記画素毎に輝度値を算出し、前記画素毎に算出された輝度値に基づいて前記所定の局所領域の最大輝度値と前記所定の局所領域の最小輝度値とを算出し、前記最大輝度値と前記最小輝度値とに基づいて前記所定の局所領域の輝度ダイナミックレンジを求めること
を特徴とする画像処理装置。
【請求項２】
所定の局所領域の輝度ダイナミックレンジは、最大輝度値と最小輝度値との差であること
を特徴とする請求項１に記載の画像処理装置。
【請求項３】
局所肌色度と局所輝度偏差とに基づいて、画像を補正する画像変換処理部を、さらに備えており、
前記画像変換処理部は、
前記局所肌色度の変化および前記局所輝度偏差の変化に対して、連続的に前記画像を補正すること
を特徴とする請求項１又は２のいずれかに記載の画像処理装置。
【請求項４】
肌領域検出部は、
局所肌色度が第一の閾値よりも高く、かつ、局所輝度偏差が第二の閾値よりも小さい領域を、肌領域として検出すること
を特徴とする請求項１乃至３のいずれか１項に記載の画像処理装置。
【請求項５】
局所輝度偏差算出部は、
画像を複数のブロックに分割した場合の当該ブロック単位で、局所領域の輝度ダイナミックレンジを求めること
を特徴とする請求項１乃至４のいずれか１項に記載の画像処理装置。
【請求項６】
局所輝度偏差算出部は、
所定の局所領域において前記所定の局所領域よりも画素サイズの小さい小領域を対象に画素毎に算出された輝度値に基づいて前記小領域毎の平均輝度値を算出し、前記画素毎に算出された輝度値に代えて前記平均輝度値を用いて前記所定の局所領域の最大輝度値及び前記所定の局所領域の最小輝度値とを算出すること
を特徴とする請求項１乃至５のいずれか１項に記載の画像処理装置。
【請求項７】
画像における所定の局所領域の肌色度合いを局所肌色度として出力する局所肌色度出力ステップと、
前記所定の局所領域の輝度ダイナミックレンジを局所輝度偏差として出力する局所輝度偏差出力ステップと、
前記局所肌色度と前記局所輝度偏差とを用いて、前記所定の局所領域が肌領域であるか否かを検出する検出ステップと
を備えているプログラムを、コンピュータにより読み取り可能な記録媒体に記録しているプログラム記録媒体であって、
前記所定の局所領域は、複数の画素より構成されており、
前記局所輝度偏差出力ステップは、
前記所定の局所領域を構成する前記画素毎に輝度値を算出する第１の算出ステップと、
前記画素毎に算出された輝度値に基づいて前記所定の局所領域の最大輝度値と前記所定の居所領域の最小輝度値とを算出する第２の算出ステップと、
前記最大輝度値と前記最小輝度値とに基づいて前記所定の局所領域の輝度ダイナミックレンジを算出する第３の算出ステップと
を備えること
を特徴とするプログラム記録媒体。
【請求項１】
画像における所定の局所領域の肌色度合いを局所肌色度として出力する局所肌色度算出部と、
前記所定の局所領域の輝度ダイナミックレンジを局所輝度偏差として出力する局所輝度偏差算出部と、
前記局所肌色度と前記局所輝度偏差とに基づいて、前記所定の局所領域が肌領域であるか否かを検出する肌領域検出部と
を備え、
前記所定の局所領域は、複数の画素より構成されており、
前記局所輝度偏差算出部は、前記所定の局所領域を構成する前記画素毎に輝度値を算出し、前記画素毎に算出された輝度値に基づいて前記所定の局所領域の最大輝度値と前記所定の局所領域の最小輝度値とを算出し、前記最大輝度値と前記最小輝度値とに基づいて前記所定の局所領域の輝度ダイナミックレンジを求めること
を特徴とする画像処理装置。
【請求項２】
所定の局所領域の輝度ダイナミックレンジは、最大輝度値と最小輝度値との差であること
を特徴とする請求項１に記載の画像処理装置。
【請求項３】
局所肌色度と局所輝度偏差とに基づいて、画像を補正する画像変換処理部を、さらに備えており、
前記画像変換処理部は、
前記局所肌色度の変化および前記局所輝度偏差の変化に対して、連続的に前記画像を補正すること
を特徴とする請求項１又は２のいずれかに記載の画像処理装置。
【請求項４】
肌領域検出部は、
局所肌色度が第一の閾値よりも高く、かつ、局所輝度偏差が第二の閾値よりも小さい領域を、肌領域として検出すること
を特徴とする請求項１乃至３のいずれか１項に記載の画像処理装置。
【請求項５】
局所輝度偏差算出部は、
画像を複数のブロックに分割した場合の当該ブロック単位で、局所領域の輝度ダイナミックレンジを求めること
を特徴とする請求項１乃至４のいずれか１項に記載の画像処理装置。
【請求項６】
局所輝度偏差算出部は、
所定の局所領域において前記所定の局所領域よりも画素サイズの小さい小領域を対象に画素毎に算出された輝度値に基づいて前記小領域毎の平均輝度値を算出し、前記画素毎に算出された輝度値に代えて前記平均輝度値を用いて前記所定の局所領域の最大輝度値及び前記所定の局所領域の最小輝度値とを算出すること
を特徴とする請求項１乃至５のいずれか１項に記載の画像処理装置。
【請求項７】
画像における所定の局所領域の肌色度合いを局所肌色度として出力する局所肌色度出力ステップと、
前記所定の局所領域の輝度ダイナミックレンジを局所輝度偏差として出力する局所輝度偏差出力ステップと、
前記局所肌色度と前記局所輝度偏差とを用いて、前記所定の局所領域が肌領域であるか否かを検出する検出ステップと
を備えているプログラムを、コンピュータにより読み取り可能な記録媒体に記録しているプログラム記録媒体であって、
前記所定の局所領域は、複数の画素より構成されており、
前記局所輝度偏差出力ステップは、
前記所定の局所領域を構成する前記画素毎に輝度値を算出する第１の算出ステップと、
前記画素毎に算出された輝度値に基づいて前記所定の局所領域の最大輝度値と前記所定の居所領域の最小輝度値とを算出する第２の算出ステップと、
前記最大輝度値と前記最小輝度値とに基づいて前記所定の局所領域の輝度ダイナミックレンジを算出する第３の算出ステップと
を備えること
を特徴とするプログラム記録媒体。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図２】
【図３】
【図４】
【図５】
【図６】
【公開番号】特開２００８−２５７６８０（Ｐ２００８−２５７６８０Ａ）
【公開日】平成２０年１０月２３日（２００８．１０．２３）
【国際特許分類】
【出願番号】特願２００７−２８８３２２（Ｐ２００７−２８８３２２）
【出願日】平成１９年１１月６日（２００７．１１．６）
【分割の表示】特願２００７−９０６４７（Ｐ２００７−９０６４７）の分割
【原出願日】平成１９年３月３０日（２００７．３．３０）
【出願人】（０００００６０１３）三菱電機株式会社 (33,312)
【Ｆターム（参考）】
【公開日】平成２０年１０月２３日（２００８．１０．２３）
【国際特許分類】
【出願日】平成１９年１１月６日（２００７．１１．６）
【分割の表示】特願２００７−９０６４７（Ｐ２００７−９０６４７）の分割
【原出願日】平成１９年３月３０日（２００７．３．３０）
【出願人】（０００００６０１３）三菱電機株式会社 (33,312)
【Ｆターム（参考）】
[ Back to top ]