説明

画像処理装置、画像処理方法、プログラムおよび記録媒体

【課題】撮影された画像中の複数の所定の色領域(例えば、顔)の色度が目標色度を挟んで分布しているか否かを評価し、その評価結果に応じて色補正条件を変更することで、所定の色領域の特徴に応じて適切に色補正を行う。
【解決手段】所定色領域抽出部101は、入力画像から補正対象となる所定の色領域を抽出し、代表色算出部102は所定の色領域の色情報から代表色を算出する。代表色決定部103は、複数の所定の色領域がある場合に、一つの代表色を決定する。代表色分布評価部104は所定の色領域ごとの代表色の色相値が目標色の色相値の両側に分布しているか否かを評価する。画像補正部106は片側に分布している場合に、所定の色領域に対して色補正する。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、例えばスキャナやデジタルカメラ等から入力した画像をプリンタやディスプレイ等に出力する際に、色領域の特徴に応じた色補正を行う画像処理装置、画像処理方法に関する。
【背景技術】
【0002】
近年、パーソナルコンピュータやインターネット、家庭用プリンタなどの普及、及びハードディスクなどの記憶容量の大容量化により、デジタルデータで写真画像を扱う機会が増えている。これに伴い、デジタル写真画像データ(以下、画像データ)の入力手段としてデジタルカメラが一般に使用されるようになった。
【0003】
デジタルカメラにより撮影された画像データから写真プリントを作成する際には、撮影画像が適正な色や濃度で再現されるように画像データに対して補正が施される。すなわち、色再現においては、人間が好ましいと感じる色再現が重要であり、肌色や青空、木々や草の緑などは人間が好ましいと感じる色再現が要求される。
【0004】
人間の肌に着目した画像処理方法としては、例えば、画像データから人間の顔領域を自動的に抽出し、抽出した顔領域が目標濃度範囲または目標色度になるように補正する方法がある。このような補正の方法において、画像中に複数の顔が撮影されていた場合には、全ての顔の濃度の平均値をとって目標値に合わせることが考えられる。
【0005】
例えば、特許文献1では、画像中の所定の色領域を抽出し、抽出した領域ごとに領域サイズや画像中における領域の位置などから重要度を自動判定し、抽出した色領域の代表色を、判定した重要度による重み付け平均をとって全体として一つの代表色を算出し、算出した代表色を目標色度へ色補正する方法が開示されている。
【0006】
【特許文献1】特開2006−33382号公報
【非特許文献1】Yang,et al.「Detecting Faces in Images:A Survey」 IEEE TRANSACTION ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE,Vol.24,No.1,January 2002
【発明の開示】
【発明が解決しようとする課題】
【0007】
しかし、人間の顔の色や濃度には、ばらつきがあるため、例えば補正目標とする色度に対して各顔の色度が両側に分布しているときを考えた場合、複数の顔の代表色を重要度に基づいて重み付け平均して一つの代表色を決定して、その決定した代表色を目標色へ色補正を行うと、顔によっては、色補正前よりも目標色度から離れてしまうという問題が発生する。
【0008】
本発明は上記問題を解決するためになされたもので、
本発明の目的は、撮影された画像中の複数の所定の色領域(例えば、顔)の色度が目標色度を挟んで分布しているか否かを評価し、その評価結果に応じて色補正条件を変更することで、所定の色領域の特徴に応じて適切に色補正を行う画像処理装置、画像処理方法、プログラムおよび記録媒体を提供することにある。
【0009】
請求項1記載の発明では、所定の色領域ごとの代表色の色相値が目標色の色相値の両側に分布しているか否かを評価し、その評価結果に応じて色補正を行うことを目的とする。
【0010】
請求項2記載の発明では、所定の色領域の重要度と代表色から補正対象の代表色を決定し、色領域ごとの代表色の分布に応じて色補正条件を変更することを目的とする。
【0011】
請求項3記載の発明では、所定の色領域の代表色の分布の評価結果に基づいてグループに分類し、重要度の高いグループを選択して、選択したグループに属する所定の色領域を目標色へ補正するように色補正条件を設定することを目的とする。
【0012】
請求項4記載の発明では、色領域ごとに抽出した代表色の分布の評価結果に応じて、表示手段に入力画像と抽出した色領域を表示し、ユーザが選択した所定の色領域の代表色を補正対象の代表色として決定し、決定した代表色に基づいて前記色補正条件を設定することで、色領域ごとの代表色が目標とする色度を挟んで分布している場合に、表示手段に入力画像と抽出した所定の色領域を表示して、ユーザに色領域を指定させ、指定された色領域に基づいて色補正条件を設定し、色補正を行うことを目的としている。
【0013】
また、所定の色領域ごとの代表色が、目標とする色度を挟んで分布していない場合には、表示手段に入力画像と所定の色領域を表示せず、さらにユーザに所定の色領域の選択を指示させることなく色補正条件を設定することで、ユーザに負担をかけずに色補正を行うことを目的としている。
【0014】
請求項5記載の発明では、色領域ごとの代表色の分布の度合いの評価は、予め設定した補正目標色との色相を基準とした差分に基づいて評価することで、目標色の色相値を境界として、所定領域ごとの代表色の色相が境界をはさんで両側に分布しているか否かを評価することを目的とする。
【0015】
請求項6記載の発明では、色領域ごとの代表色の分布の度合いの評価は、予め設定した補正目標色との彩度を基準とした差分に基づいて評価することで、目標色の彩度値を境界として、所定領域ごとの代表色の彩度が境界をはさんで両側に分布しているか否かを評価することを目的とする。
【0016】
請求項7記載の発明では、所定の色領域ごとの代表色の分布の度合いの評価は、予め設定した補正目標色との明るさ基準とした差分に基づいて評価することで、目標色の明るさ値を境界として、所定領域ごとの代表色の明るさが境界をはさんで両側に分布しているか否かを評価することを目的とする。
【0017】
請求項8記載の発明では、抽出した所定の色領域ごとの重要度を、所定の色領域の大きさに基づいて求めることで、面積に応じた所定色領域の重要度の設定を行うことを目的とする。
【0018】
請求項9記載の発明では、抽出した所定の色領域ごとの重要度を、所定の色領域の入力画像における位置に基づいて求めることで、所定色領域の入力画像における位置に応じた重要度の設定を行うことを目的とする。
【0019】
請求項10記載の発明では、所定の色領域は、人物の顔を含む肌領域であり、人物の顔を含む肌領域の特徴にしたがって色補正を行うことを目的とする。
【課題を解決するための手段】
【0020】
本発明は、入力画像から所定の色領域を抽出する抽出手段と、前記抽出した所定の色領域ごとに代表色を算出する算出手段と、前記所定の色領域ごとの代表色の色相値が目標色の色相値の両側に分布しているか否かを評価する評価手段と、前記代表色の色相値が両側に分布していないとき、前記所定の色領域に対して色補正する色補正手段とを有することを最も主要な特徴とする。
【発明の効果】
【0021】
請求項1:所定の色領域ごとの代表色の色相値が目標色の色相値の両側に分布していないとき、所定の色領域に対して色補正しているので、所定の色領域の特徴に応じて適切に色補正を行うことができる。
【0022】
請求項2:抽出した所定の色領域の重要度に基づいて補正対象の代表色を決定し、所定の色領域の代表色の分布の度合いを評価しているので、色補正を行うことにより目標色から離れてしまうような所定の色領域が存在しない場合は、重要度の高い色領域に重みをおいて目標色へ色補正を行うことができ、色補正を行うことにより目標色から離れてしまうような所定の色領域が存在する場合には、色補正を行わないようにすることができる。
【0023】
請求項3:さらに抽出した所定の色領域の代表色の分布評価結果に基づいて所定の色領域をグループに分類し、所定の色領域の重要度に基づいて一つのグループを選択して色補正条件を設定するので、色補正を行うことにより目標色から離れてしまうような所定の色領域が存在する場合においても、重要度の高いグループの所定の色領域が目標色へ近づくように色補正条件を設定することができる。
【0024】
請求項4:所定の色領域の代表色の分布の評価結果に基づいて、ユーザに重要な所定の色領域を選択させるので、色補正を行うことにより目標色から離れてしまうような所定の色領域が存在する場合において、ユーザの選択した所定の色領域を補正目標色へ補正するように色補正条件を設定することができる。
【0025】
請求項5:所定の色領域の代表色の分布の評価を目標色の色相値との差分に基づいて行うので、目標とする色相値を境界として代表色がどちらに分布しているかが判定でき、目標色へ色補正を行うことで目標色の色相値から補正前よりも離れてしまうような所定の色領域が存在するかどうかが判断できる。
【0026】
請求項6:所定の色領域の代表色の分布の評価を目標色の彩度値との差分に基づいて行うので、目標とする彩度値を境界として代表色がどちらに分布しているかが判定でき、目標色へ色補正を行うことで目標色の彩度値から補正前より離れてしまうような所定の色領域が存在するかどうかが判断できる。
【0027】
請求項7:所定の色領域の代表色の分布の評価を目標色の明るさとの差分に基づいて行うので、目標とする明るさ値を境界として代表色がどちらに分布しているかが判定でき、目標色へ色補正を行うことで目標色の明るさから補正前より離れてしまうような所定の色領域が存在するかどうかが判断できる。
【0028】
請求項8:所定の色領域の重要度を所定色領域の大きさで求めるので、所定の色領域の面積に応じた所定の色領域の重要度の設定を行うことが出来る。
【0029】
請求項9:所定の色領域の重要度を所定の色領域の入力画像中の位置で求めるので、所定の色領域の入力画像における位置に応じた重要度の設定を行うことが出来る。
【0030】
請求項10:所定の色領域は、人物の顔を含む肌領域であるので、人物の顔を含む肌領域の特徴にしたがって色補正を行うことができる。
【発明を実施するための最良の形態】
【0031】
以下、発明の実施の形態について図面により詳細に説明する。
【0032】
実施例1
図1は、本発明の実施例1に係る画像処理装置の構成を示す。所定色領域抽出部101には、デジタルカメラなどから処理対象の画像データ(RGB値)が入力される。以降の説明では、所定の色領域として、人物の顔の肌色を示す人肌領域を代表例として説明するが、青空、木々や草の緑などの色領域にも適用することが出来る。所定色領域抽出部101は、入力画像から補正対象となる所定の色領域を抽出する。抽出部における領域抽出方法としては、例えば、顔検出により検出された顔の情報を利用する方法や、予め設定した任意の色相や彩度を指定する方法などを用いる。
【0033】
代表色算出部102は、所定色領域抽出部101において抽出された所定の色領域の色情報から代表色を算出する。入力された画像中に複数の人物が写っている場合などは、所定の色領域ごとに算出する。代表色は、所定の色領域内の画素の色相値や彩度値、明度値の平均値や中央値、あるいは最頻値などである。
【0034】
代表色決定部103は、複数の所定の色領域がある場合に、所定の色領域ごとに抽出した代表色から、入力画像における一つの代表色を決定する。例えば、所定の色領域ごとに算出された代表色の平均値を一つの代表色として決定する。
【0035】
代表色分布評価部104は、所定の色領域ごとに抽出した代表色が予め設定された所定の色領域の補正目標色に対してどのように分布しているかを評価する。所定の色領域ごとの代表色と、予め設定された補正目標色との差分を算出し、その差分の算出結果から分布評価結果を出力する。
【0036】
補正係数設定部105は、代表色決定部103において決定した代表色、さらに代表色分布評価部104における分布評価結果、さらに予め設定された所定の色領域の補正目標色に基づいて、画像補正部106で用いる補正係数を設定する。画像補正部106は、補正係数設定部105で設定された補正係数を用いて色補正を行う。
【0037】
図2は、実施例1の画像補正処理のフローチャートである。まず、所定色領域抽出部101は、入力画像を取得し(ステップS1)、所定の色領域の抽出を行い(ステップS2)、所定の色領域が存在するか否かの判定を行う(ステップS3)。所定の色領域が存在しない場合、ステップS8へ移る。
【0038】
所定の色領域が存在する場合は、代表色算出部102は、代表色を算出する(ステップS4)。代表色の算出は、ステップS2で抽出された所定の色領域ごとに行われ、その後、代表色分布評価部104は、代表色の分布の評価値を算出する(ステップS5)。評価値については後述する。
【0039】
代表色分布評価部104は、分布の評価値が「1」であるか否かを判定し(ステップS6)、ステップS6でNOの場合、ステップS8に移り、ステップS6でYESの場合、画像補正部106は、補正係数を用いて所定の色領域の色補正処理を行い(ステップS7)、最後に補正された画像または入力画像が出力される(ステップS8)。
【0040】
所定の色領域の抽出方法は、例えば人間の肌領域であれば顔検出処理により検出した顔領域を利用する方法や、任意の色相や彩度を指定して抽出する方法などがある。
【0041】
顔の検出処理としては、非特許文献1の手法を用いて顔矩形領域を検出すればよい。そして、検出した両目の位置情報を取得し、両目を結ぶ線分とその線分に垂直な線分を辺とする所定の矩形領域を定め、その矩形領域内の画素のRGB値の平均値及び共分散行列を求める。このRGB平均値及び共分散行列、並びに検出された顔矩形領域内の各画素のRGB値のマハラノビス距離を計算し、閾値以下の画素を肌色画素とし、その集合を人肌領域とする。
【0042】
代表色算出は、抽出した所定の色領域ごとに、例えば、所定の色領域におけるRGB値の平均値を代表色として設定する。代表色の分布の評価は、予め設定された所定の色領域における目標色Dとの比較に基づいて行う。
【0043】
所定の色領域の代表色はRGB値で表現されており、これをLCH空間(明度L、彩度C、色相H)に変換する。この変換後の色空間はLCH以外でも、YCbCr、L*u*v*、HSV、HSLなど他の色空間でも良い。
【0044】
目標色データも、LCH空間で保存されているとすると、まず、代表色と目標色における色相Hでの差分値を求める。所定の色領域ごとにインデックスが割り当てられており、抽出された所定の色領域の数をNとして、j番目の所定の色領域の代表色の色相値をHj(1≦j≦N)、目標色Dの色相値をHdとすると、色相値の差分Dj(1≦j≦N)は、
Dj=Hd−Hj
である。
次に、Djの符号に対する評価を行う。Djの符号(+、−)が全て同じかそうでないかの評価を行い、全て同じであれば、評価値Eを「1」とし、そうでない場合は「0」とする。この評価値は、目標色の色相値Hdを基準とし、所定領域ごとの代表色の色相値Hjが両側に分布しているかどうかを判定する。
【0045】
所定の色領域の色補正には、所定領域ごとの代表色から決定した全体として一つの代表色Mを用いる。ここでは、所定の色領域の重要度は全て同一であるとして説明を行う。全体として一つの代表色Mの算出方法としては、例えば所定領域ごとの代表色の平均値とすればよい。さらに代表色M、目標色Dに基づいて補正係数を決定して所定の色領域における色補正を行う。
【0046】
これにより、所定の色領域ごとの代表色が、目標色の色相に対し片側に分布している場合に、全体として一つの代表色を用いて目標とする方向へ補正することができる。また、目標色の色相に対して両側に分布している場合には、色補正を行わないことで、目標とする方向とは逆方向へ補正されるような所定の色領域の発生を防止することができる。本実施例では、目標色の色相を基準にして所定の色領域ごとの代表色の分布の評価を行ったが、他にも彩度基準や明度基準で分布の評価を行っても良い。
【0047】
実施例2
実施例2は、所定の色領域ごとの代表色の目標色に対する分布の評価結果と、所定の色領域の重要度に基づいて画質補正を行う実施例である。
【0048】
図3は、実施例2に係る画像処理装置の構成を示す。所定色領域抽出部201は実施例1と同様であり、入力画像から補正対象となる所定の色領域を抽出する。重要度算出部202は、所定色領域抽出部201において抽出された領域が複数ある場合に、それらの所定の色領域ごとに重要度を判定する。
【0049】
代表色算出部203は実施例1と同様であり、所定色領域抽出部201において抽出された所定の色領域の色情報から代表色を算出する。
【0050】
代表色決定部204は、代表色算出部204aと代表色分布評価部204bからなる。代表色分布評価部204bは、所定の色領域ごとに抽出した代表色が予め設定された所定の色領域の補正目標色に対してどのように分布しているかを評価する。所定色領域ごとの代表色と、予め設定された補正目標色との差を算出し、その算出結果から分布評価結果を出力する。代表色算出部204aでは、複数の所定の色領域がある場合に、前述の所定の色領域ごとの重要度と、所定の色領域ごとに抽出した代表色、さらに各代表色の分布評価結果から入力画像における一つの代表色を決定する。
【0051】
補正係数設定部205は、代表色決定部204において決定した代表色と予め設定された補正目標色とに基づいて、画像補正部206が用いる補正係数を設定する。画像補正部206は、補正係数設定部205で設定された補正係数を用いて色補正を行う。
【0052】
図4は、実施例2の画像補正処理のフローチャートである。ステップS13までの処理は実施例1と同様である。所定色領域が存在する場合は、重要度算出部202は、重要度を算出する(ステップS14)。重要度の算出は、ステップS12で抽出された所定の色領域ごとに行われ、その後、ステップS15において代表色算出部203は代表色の算出を行う。代表色の算出は、ステップS12で抽出された所定の色領域ごとに行われ、その後、ステップS16において、代表色決定部204は代表色の分布の評価を行う。ステップS17において、代表色の分布の評価値が「1」であるか否かを判定し、NOの場合はステップS19に移り、YESの場合はステップS18において、画像補正部206は、所定の色領域の色補正処理を行い、最後に、ステップS19において補正された画像または入力画像が出力される。
【0053】
所定の色領域の抽出方法は実施例1と同様であるので省略する。重要度の算出は、ステップS12で抽出した所定の色領域ごとに、例えば所定領域の大きさや画像中の位置に基づいて行われる。例えば、重要度を大きさに基づいて算出する場合、所定領域ごとにインデックスが割り当てられており、所定の色領域の抽出数をNとして、j番目の所定の色領域の面積(または画素数)をSj(1≦j≦N)とすると、重要度Is(j)(1≦j≦N)は、
Is(j)=S(j)/Smax
として求められる。ここで、Smaxは、S(1)〜S(N)の最大値を表す。
また、重要度を画像中の位置に基づいて算出する場合、抽出された所定の色領域の重心の位置が入力画像中のどこに位置しているかを求める。
【0054】
図5は、画像301の中心位置C302、所定の色領域303の重心Pj304、また中心位置Cから画像端部までの最大距離Pmax305を示す。
【0055】
入力画像における中心位置をCとし、j番目の所定の色領域の重心位置をPj(1≦j≦N)として、PjとCとの距離(|Pj−C|)から、重要度Ip(j)(1≦j≦N)は、
Ip(j)=1−(|Pj−C|/Pmax)
として求められる。
ここで、Pmaxは入力画像における中心位置から画像端部までの最大距離である。
【0056】
所定の色領域ごとの代表色の算出は、例えば抽出された所定の色領域におけるRGB値の平均値を代表色として設定すればよい。代表色の分布の評価は、予め設定した所定の色領域における目標色Dとの比較に基づいて行う。代表色は、RGB色空間のRGB値で表現されており、これをLCH空間(明度L、彩度C、色相H)に変換する。この変換後の色空間はLCH以外でも、YCbCr、L*u*v*、HSV、HSLなど他の色空間でも良い。目標色データも、LCH空間で保存されているとすると、代表色と目標色における色相Hでの差分値を求める。
【0057】
所定領域ごとにインデックスが割り当てられており、抽出された所定の色領域の数をNとして、j番目の所定の色領域の代表色の色相値をHj(1≦j≦N)、目標色Dの色相値をHdとすると、色相値の差分Dj(1≦j≦N)は、
Dj=Hd−Hj
である。
また同時に、所定領域ごとの代表色から、全体として一つの代表色Mの算出を行う。例えば所定領域ごとの代表色を所定領域ごとの重要度(Is(j)やIp(j))を用いて重み付け平均した値を用いる。
【0058】
次に、Djの符号に対する評価を行う。Djの符号(+、−)が全て同じかそうでないかの評価を行い、全て同じであれば、評価値Eを「1」とし、そうでない場合は「0」とする。この評価値は、目標色の色相値Hdを基準とし所定領域ごとの代表色の色相値Hjが両側に分布しているかどうかを判定する。
【0059】
所定の色領域の色補正は、代表色M、目標色Dに基づいて補正係数を決定して補正を行う。評価値Eが「1」である場合に、代表色Mを目標色Dへ補正する補正係数が設定され、色補正される。これにより、所定の色領域ごとの代表色が、目標色の色相に対し片側に分布している場合に、重要度の高い色領域に重みをおいて決定した代表色を用いて目標色へ色補正することができる。また、目標色の色相に対して両側に分布している場合には、色補正を行わないことで、目標とする方向とは逆方向へ補正されてしまう所定の色領域が発生することを防ぐことができる。
【0060】
上記の実施例では、評価値Eが「1」でない場合は、色補正を行わないようにしたが、別の方法として、評価値Eが「1」でない場合は、目標色の色相を基準として2つのグループに分け、各グループの重要度に応じて重要度の高いグループに対する色補正を行うようにしても良い。
【0061】
この場合の補正処理のフローチャートを示したのが図6である。ステップS21〜ステップS26は、ステップS11〜ステップS16の処理と同様である。ステップS27において、代表色の分布の評価値が「1」であるか否かを判定し、NOの場合はステップS31に移り、YESの場合は、ステップS28で所定の色領域ごとの代表色と、重要度から、画像全体として一つの代表色Mを決定する。この代表色Mの決定方法は、前述した方法と同様であるので省略する。
【0062】
ステップS31では、所定の色領域の目標色相を基準として、各代表色Djの値が+のグループと−のグループに分類し、分類された各グループにおける重要度に基づいて一つのグループを選択する。
【0063】
次にステップS32において、選択したグループに属する所定の色領域の代表色を重要度に基づいて重み付け平均した値を、全体として一つの代表色Mとして決定する。ステップS29では、決定した代表色Mを目標色Dへ補正する補正係数を設定して画像の補正を行い、ステップS30において補正した画像または入力画像が出力される。
【0064】
ステップS31における、分類された2つのグループの中から重要度に基づいて1つのグループを選択する方法としては、例えば2つのグループの重要度の値の総和が大きい方を選択する方法を採る。これにより、評価値Eが「1」でない場合に、目標色の色相値を基準として分類した2つの代表色のグループから重要度の高いグループを選択して色補正を行うことができる。本実施例では、目標色の色相を基準にして所定の色領域ごとの代表色の分布の評価を行ったが、他にも彩度基準や明度基準で分布の評価を行っても良い。
【0065】
実施例3
実施例3は、所定の色領域ごとの代表色の目標色に対する分布の評価結果に応じて、入力画像を表示し、重要度の高い所定の色領域をユーザに指定させて、指定された所定の色領域の代表色に基づいて画質補正を行う実施例である。
【0066】
図7は、実施例3に係る画像処理装置の構成を示す。所定色領域抽出部401、代表色算出部402は実施例1、2と同様である。代表色決定部403は、代表色算出部と代表色分布評価部からなる。代表色分布評価部は、所定の色領域ごとに抽出した代表色が予め設定された所定の色領域の補正目標色に対してどのように分布しているかを評価する。所定の色領域ごとの代表色と、予め設定された補正目標色との差を算出し、その算出結果から分布評価結果を出力する。
【0067】
代表色決定部403の代表色算出部では、後述する指示受付部405から通知された指示に従い、1つ以上の所定の色領域の代表色から全体として一つの代表色を決定する。
【0068】
画像表示部404は、画像処理装置へ入力された画像データと共に、所定色領域抽出部401において抽出された所定の色領域を表示する。指示受付部405は、画像表示部404に表示された所定の色領域において、どの所定の色領域に対して色補正を行うかの選択指示をユーザから受け付け、代表色決定部403へ通知する。補正係数設定部406は、代表色決定部403において決定した代表色と予め設定された補正目標色とに基づいて、画像補正部407が用いる補正係数を設定する。
【0069】
図8は、実施例3の画像補正処理のフローチャートである。
ステップS41〜S45の処理は実施例2と同様である。ステップS46において、代表色分布評価部は評価値が「0」であるか否かを判定する。評価値が「0」でない場合は、ステップS48において、代表色の決定を行い、ステップS50において、決定した代表色に基づいて所定の色領域の色補正を行う。
【0070】
評価値が「0」である場合は、ステップS47に移り、入力画像と抽出した所定の色領域を画像表示部404に表示し、ユーザがどの所定色領域を用いて補正するかの選択指示を、指示受付部405により受け付けた後、ステップS49において、代表色決定部403は指示された所定の色領域に基づいて代表色を決定する。ステップS50では、画像補正部407は、ステップS48またはステップS49で決定された代表色に基づいて所定色領域の色補正を行い、ステップS51で補正後の画像を出力する。
【0071】
所定の色領域の抽出方法は実施例1と同様である。また、代表色の算出は、抽出された所定の色領域ごとに行われ、例えば、所定の色領域におけるRGB値の平均値を代表色として設定すればよい。
【0072】
代表色の分布の評価は、予め設定した所定の色領域における目標色Dとの比較に基づいて行い、評価値Eとして「0」か「1」が算出される。代表色は、RGB色空間のRGB値で表現されており、これをLCH空間(明度L、彩度C、色相H)に変換する。この変換後の色空間はLCH以外でも、YCbCr、L*u*v*、HSV、HSLなど他の色空間でも良い。目標色データも、LCH空間で保存されているとすると、代表色と目標色における色相Hでの差分値を求める。
【0073】
所定領域ごとにインデックスが割り当てられており、抽出された所定の色領域の数をNとして、j番目の所定の色領域の代表色の色相値をHj(1≦j≦N)、目標色Dの色相値をHdとすると、色相値の差分Dj(1≦j≦N)は、
Dj=Hd−Hj
である。
次に、Djの符号に対する評価を行う。Djの符号(+、−)が全て同じかそうでないかの評価を行い、全て同じであれば、評価値Eを「1」とし、そうでない場合は「0」とする。この評価値は、目標色の色相値Hdを基準とし、所定領域ごとの代表色の色相値Hjが両側に分布しているかどうかを判定する。
【0074】
ステップS48における代表色の決定は、抽出された所定の領域ごとの代表色から全体として一つの代表色Mの決定を行う。代表色Mは、例えば所定領域ごとの代表色を平均した値を代表色とする。
【0075】
ステップS49における所定の色領域の代表色の決定は、ユーザにより指定された所定色領域における代表色を用いて全体として一つの代表色Mの決定を行う。ユーザにより指定された所定の色領域が1つである場合は、代表色Mは選択された所定の色領域の代表色とする。ユーザにより指定された所定の色領域が2つ以上ある場合は、代表色Mは選択された複数の所定の色領域の代表色を平均した値とする。
【0076】
所定の色領域の色補正は、代表色Mを目標色Dへ補正する補正係数を設定して色補正を行う。これにより、所定の色領域ごとの代表色が、目標色の色相に対し両側に分布している場合には、自動的に決定した代表色に基づいた補正では、目標色とは逆方向に補正されてしまう所定の色領域が発生する恐れがあるため、ユーザの重視する所定の色領域にもとづいて色補正を行い、これを解消することができる。また、目標色の色相に対し片側に分布している場合には、所定の色領域は目標色の方向へ補正されるので、ユーザによる所定の色領域の選択手順を省略することで、ユーザの負担を減らしつつ色補正を行うことが出来る。本実施例では、目標色の色相を基準にして所定の色領域ごとの代表色の分布の評価を行ったが、他にも彩度基準や明度基準で分布の評価を行っても良い。
【0077】
図9は、本発明をソフトウェアで実現する場合の画像処理装置のハードウェア構成例を示す。図9において、PC500は、PC500全体の動作を制御するCPU501、CPU501により実行されるプログラムやデータを記憶しているROM502、2次記憶装置505からロードした、CPU501により実行されるアプリケーションプログラムやOSなどを記憶すると共に、CPU501による制御処理時に各種データを一時的に格納するワークエリアを提供するRAM503、ディスプレイなどの表示装置503、キーボード507、マウス506などのユーザインターフェース(UI)を備えている。ハードディスクなどの2次記憶装置505には、OSや各種アプリケーションがインストールされており、これらOSやプログラムは実行時にRAM504にロードされて実行される。またインターフェイス508は、デジタルカメラやプリンタなどを接続するUSB(Universal Serial Bus)、IEEE1394などのシリアルバスインターフェイス、インターネットやLANなどのネットワーク回線を接続するネットワークインターフェイスを備える。
【0078】
このような構成の場合、図1に示す各部の機能はCPU501に持たせることができる。なお、CPU501で行われる画像処理機能は、例えばソフトウェアパッケージ、具体的には、CD−ROMや磁気ディスク等の情報記録媒体の形で提供することができる。
【0079】
以上により、本発明における画像処理装置および画像処理方法は、ディスプレイ等を備えた汎用の計算機システムにCD−ROM等の情報記録媒体に記録されたプログラムを読み込ませて、この汎用計算機システムのCPUに画像処理を実行させる装置構成においても実施することが可能である。この場合、本発明の画像処理を実行するためのプログラム、すなわちハードウェアシステムで用いられるプログラムは、記録媒体に記録された状態で提供される。プログラムなどが記録される情報記録媒体としては、CD−ROMに限定されるものではなく、例えばROM、RAM、フラッシュメモリ、光磁気ディスクなどを用いても良い。記録媒体に記録されたプログラムは、ハードウェアシステムに組み込まれている2次記憶装置にインストールされることにより、このプログラムを実行して、画像処理機能を実現することができる。
【0080】
また、本発明の画像処理機能等を実現するためのプログラムは、記録媒体の形で提供されるのみならず、例えば、ネットワークを介した通信によってサーバから提供されるものでも良い。
【図面の簡単な説明】
【0081】
【図1】本発明の実施例1に係る画像処理装置の構成を示す。
【図2】実施例1の画像補正処理のフローチャートである。
【図3】実施例2に係る画像処理装置の構成を示す。
【図4】実施例2の画像補正処理のフローチャートである。
【図5】重要度の算出を説明する図である。
【図6】実施例2の変形例を説明するフローチャートである。
【図7】実施例3に係る画像処理装置の構成を示す。
【図8】実施例3の画像補正処理のフローチャートである。
【図9】本発明をソフトウェアで実現する場合の画像処理装置のハードウェア構成例を示す。
【符号の説明】
【0082】
101 所定色領域抽出部
102 代表色算出部
103 代表色決定部
104 代表色分布評価部
105 補正係数設定部
106 画像補正部

【特許請求の範囲】
【請求項1】
入力画像から所定の色領域を抽出する抽出手段と、前記抽出した所定の色領域ごとに代表色を算出する算出手段と、前記所定の色領域ごとの代表色の色相値が目標色の色相値の両側に分布しているか否かを評価する評価手段と、前記代表色の色相値が両側に分布していないとき、前記所定の色領域に対して色補正する色補正手段とを有することを特徴とする画像処理装置。
【請求項2】
入力画像から所定の色領域を抽出する所定色領域抽出手段と、前記抽出した所定の色領域ごとに代表色を算出する代表色算出手段と、前記抽出した所定の色領域ごとに重要度を判定する重要度判定手段と、前記所定の色領域ごとの代表色の分布の度合いを評価する分布評価手段と、前記算出した所定の色領域ごとの代表色と前記重要度とから補正対象の代表色を決定する代表色決定手段と、前記補正対象の代表色と、前記所定の色領域ごとに算出した代表色の分布の度合いに基づき色補正条件を設定する色補正条件設定手段と、前記色補正条件に基づき、前記入力画像を色補正する色補正手段とを有することを特徴とする画像処理装置。
【請求項3】
前記色補正条件設定手段は、前記分布の度合いの評価結果に基づいて前記抽出した所定の色領域をグループに分類し、前記分類したグループから前記重要度に基づいて一つのグループを選択し、前記選択した一つのグループに属する所定の色領域の代表色と前記重要度から決定した代表色を用いて色補正条件を設定することを特徴とする請求項2記載の画像処理装置。
【請求項4】
入力画像から所定の色領域を抽出する所定色領域抽出手段と、前記抽出した所定の色領域ごとに代表色を算出する代表色算出手段と、前記所定の色領域ごとの代表色の分布の度合いを評価する分布評価手段と、前記分布の度合いの評価に基づいて前記入力画像と前記抽出した所定の色領域を表示する表示手段と、前記表示された所定の色領域の中から1つ以上の所定の色領域をユーザが選択する選択指示手段と、前記ユーザが選択した所定の色領域に基づいて補正対象の代表色を決定する代表色決定手段と、前記補正対象の代表色に基づいて色補正条件を設定する色補正条件設定手段と、前記色補正条件に基づき、前記入力画像を色補正する色補正手段とを有することを特徴とする画像処理装置。
【請求項5】
前記所定の色領域ごとの代表色の分布の度合いの評価は、予め設定されている補正目標色との色相を基準とした差分に基づいて評価されることを特徴とする請求項2乃至4のいずれか1項に記載の画像処理装置。
【請求項6】
前記所定の色領域ごとの代表色の分布の度合いの評価は、予め設定した補正目標色との彩度を基準とした差分に基づいて評価されることを特徴とする請求項2乃至4のいずれか1項に記載の画像処理装置。
【請求項7】
前記所定の色領域ごとの代表色の分布の度合いの評価は、予め設定した補正目標色との明るさを基準とした差分に基づいて評価されることを特徴とする請求項2乃至4のいずれか1項に記載の画像処理装置。
【請求項8】
前記重要度は、前記所定の色領域の大きさに基づいて求められることを特徴とする請求項2または3記載の画像処理装置。
【請求項9】
前記重要度は、前記所定の色領域の入力画像における位置に基づいて求められることを特徴とする請求項2または3記載の画像処理装置。
【請求項10】
前記所定の色領域は、人物の顔を含む肌領域であることを特徴とする請求項1乃至9のいずれか1項に記載の画像処理装置。
【請求項11】
入力画像から所定の色領域を抽出する抽出工程と、前記抽出した所定の色領域ごとに代表色を算出する算出工程と、前記所定の色領域ごとの代表色の色相値が目標色の色相値の両側に分布しているか否かを評価する評価工程と、前記代表色の色相値が両側に分布していないとき、前記所定の色領域に対して色補正する色補正工程とを有することを特徴とする画像処理方法。
【請求項12】
請求項11記載の画像処理方法をコンピュータに実現させるためのプログラム。
【請求項13】
請求項11記載の画像処理方法をコンピュータに実現させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate

【図9】
image rotate


【公開番号】特開2009−290822(P2009−290822A)
【公開日】平成21年12月10日(2009.12.10)
【国際特許分類】
【出願番号】特願2008−144099(P2008−144099)
【出願日】平成20年6月2日(2008.6.2)
【出願人】(000006747)株式会社リコー (37,907)
【Fターム(参考)】