画像処理方法、画像処理装置、及び撮像装置
【課題】 入力された画像が鮮やかなシーンであるかを判別し、判別結果に応じて画像を補正する画像処理装置において、肌色等の記憶色の被写体が存在する場合でも違和感を生じさせない、もしくは低減することが可能な画像処理方法を提供する。
【解決手段】 画像データを取得する取得ステップと、前記画像データの彩度情報に応じて、画像データに鮮やかさを補正する補正処理を行う第1の補正ステップと、前記画像データの画像中の被写体を検出する検出ステップと、を有し、前記第1の補正ステップでは、前記検出ステップで被写体が検出されたとき、前記検出ステップで被写体が検出されなかったときに比べて前記補正処理を弱く行うことを特徴とする。
【解決手段】 画像データを取得する取得ステップと、前記画像データの彩度情報に応じて、画像データに鮮やかさを補正する補正処理を行う第1の補正ステップと、前記画像データの画像中の被写体を検出する検出ステップと、を有し、前記第1の補正ステップでは、前記検出ステップで被写体が検出されたとき、前記検出ステップで被写体が検出されなかったときに比べて前記補正処理を弱く行うことを特徴とする。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、入力された画像のシーンを判別し、判別したシーンに応じた画像処理を行う画像処理方法、画像処理装置及び撮像装置に関するものである。
【背景技術】
【0002】
従来、画像のシーンや被写体の種類を判別し、判別したシーンや被写体の種類に応じた画像処理を行う画像処理装置があった。
【0003】
例えば、特許文献1では、入力された画像データが鮮やかなシーン(被写体)であるかを判別し、鮮やかなシーンの画像は高解像度で出力する画像出力装置が開示されている。
【0004】
また、特許文献2では、入力された画像データの明るさを判別し、明るさに応じた彩度の知覚変化に合わせて画像データの彩度を補正する撮像装置が開示されている。
【先行技術文献】
【特許文献】
【0005】
【特許文献1】特開2000−259372号公報
【特許文献2】特開2007−267170号公報
【発明の概要】
【発明が解決しようとする課題】
【0006】
しかし、特許文献1のような処理では、画像内の全ての色に対して一律に補正を行うので、被写体の種類によっては違和感が生じる場合があるという課題があった。例えば、人間は人の肌色などの記憶色と呼ばれる色の変化に敏感であるため、人の肌色の彩度を上述のような方法で、他の色と同じように補正してしまうと、違和感のある画像になってしまう。
【0007】
特許文献2では、彩度補正の際に肌色を除外しているが、画像の色相のみに基づいて、肌色であるか否かを判定しているため、人の肌色とは彩度などが異なる色に対しても影響を与える場合があった。
【0008】
そこで、本発明の目的は、入力された画像の撮影されたシーンを判別し、判別結果に応じて画像を補正する画像処理において、記憶色の被写体が存在する場合の違和感を低減させることが可能な画像処理方法、画像処理装置及び撮像装置を提供することである。
【課題を解決するための手段】
【0009】
上記目的を達成するために、本発明の画像処理方法は、請求項1に記載の通り、画像データを取得する取得ステップと、前記画像データの彩度情報に応じて、画像データに鮮やかさを補正する補正処理を行う第1の補正ステップと、前記画像データの画像中の被写体を検出する検出ステップと、を有し、前記第1の補正ステップでは、前記検出ステップで被写体が検出されたとき、前記検出ステップで被写体が検出されなかったときに比べて前記補正処理を弱く行うことを特徴とする。
【0010】
また、本発明の画像処理方法は、請求項2に記載の通り、画像データを取得する取得ステップと、前記画像データの彩度情報に応じて、画像データに鮮やかさを補正する補正処理を行う第1の補正ステップと、前記画像データの画像中の被写体を検出する検出ステップと、前記検出ステップで前記被写体が検出されたとき、前記第1の補正ステップで補正処理された前記画像データ中の、色相及び彩度がそれぞれ所定の領域内である画像データに対して、鮮やかさを前記補正処理と逆方向に補正する処理を行う第2の補正ステップと、を有することを特徴とする。
【0011】
また、本発明の画像処理方法は、請求項3に記載の通り、画像データを取得する取得ステップと、前記画像データの彩度情報に応じて、画像データに鮮やかさを補正する補正処理を行う第1の補正ステップと、前記画像データの画像中の被写体を検出する検出ステップと、前記第1の補正ステップでは、画像データの画像中の、前記検出ステップで前記被写体が検出された領域以外の領域に対して、前記補正処理を行うことを特徴とする。
【0012】
また、本発明の画像処理装置は、請求項12に記載の通り、画像データを取得する取得手段と、前記画像データの彩度情報に応じて、画像データに鮮やかさを補正する補正処理を行う第1の補正手段と、前記画像データの画像中の被写体を検出する検出手段と、を有し、前記第1の補正手段は、前記検出手段で被写体が検出されたとき、前記検出手段で被写体が検出されなかったときに比べて前記補正処理を弱く行うことを特徴とする。
【0013】
また、本発明の画像処理装置は、請求項13に記載の通り、被写体を撮像し、画像データを出力する撮像手段と、前記画像データの彩度情報に応じて、画像データに鮮やかさを補正する補正処理を行う第1の補正手段と、前記画像データの画像中の被写体を検出する検出手段と、を有し、前記第1の補正手段は、前記検出手段で被写体が検出されたとき、前記検出手段で被写体が検出されなかったときに比べて前記補正処理を弱く行うことを特徴とする。
【0014】
また、本発明の画像処理装置は、請求項14に記載の通り、画像データを取得する取得ステップと、前記画像データの彩度情報に応じて、画像データに鮮やかさを補正する補正処理を行う第1の補正手段と、前記画像データの画像中の被写体を検出する検出手段と、前記検出手段で前記被写体が検出されたとき、前記第1の補正ステップで補正処理された前記画像データ中の、色相及び彩度がそれぞれ所定の領域内である画像データに対して、鮮やかさを前記補正処理と逆方向に補正する処理を行う第2の補正手段と、を有することを特徴とする。
【0015】
また、本発明の撮像装置は、請求項15に記載の通り、被写体を撮像し、画像データを出力する撮像ステップと、前記画像データの彩度情報に応じて、画像データに鮮やかさを補正する補正処理を行う第1の補正手段と、前記画像データの画像中の被写体を検出する検出手段と、前記検出手段で前記被写体が検出されたとき、前記第1の補正ステップで補正処理された前記画像データ中の、色相及び彩度がそれぞれ所定の領域内である画像データに対して、鮮やかさを前記補正処理と逆方向に補正する処理を行う第2の補正手段と、を有することを特徴とする。
【0016】
また、本発明の撮像装置は、請求項16に記載の通り、画像データを取得する取得手段と、前記画像データの彩度情報に応じて、画像データに鮮やかさを補正する補正処理を行う第1の補正手段と、前記画像データの画像中の被写体を検出する検出手段と、前記第1の補正手段は、画像データの画像中の、前記検出手段で前記被写体が検出された領域以外の領域に対して、前記補正処理を行うことを特徴とする。
【0017】
また、本発明の撮像装置は、請求項17に記載の通り、被写体を撮像し、画像データを出力する撮像手段と、前記画像データの彩度情報に応じて、画像データに鮮やかさを補正する補正処理を行う第1の補正手段と、前記画像データの画像中の被写体を検出する検出手段と、前記第1の補正手段は、画像データの画像中の、前記検出手段で前記被写体が検出された領域以外の領域に対して、前記補正処理を行うことを特徴とする。
【発明の効果】
【0018】
本発明によれば、撮影されたシーンを判別し、判別結果に応じて画像を補正する画像処理画像処理装置において、肌色等の記憶色の被写体が存在する場合でもの違和感を生じさせない、もしくは低減させすることができる。
【図面の簡単な説明】
【0019】
【図1】第1の実施形態に係る撮像装置の構成を示すブロック図
【図2】画像信号のブロック分割を示す図
【図3】色差信号と彩度・色相の関係を示す図
【図4】第1の実施形態に係るシーン判別部の処理を示すフローチャート
【図5】シーン判別部が行うシーン判別処理の特性を示す図
【図6】第1の実施形態に係る画像信号の補正処理を示すフローチャート
【図7】第2の実施形態に係る撮像装置の構成を示すブロック図
【図8】第2の実施形態に係る画像信号の補正処理を示すフローチャート
【図9】第2の実施形態に係る色相別の画像信号の補正処理を示すフローチャート
【図10】第2の実施形態に係る肌色の判定方法を示す図
【図11】第2の実施形態に係る補正処理の特性を示す図
【発明を実施するための形態】
【0020】
(第1の実施形態)
以下、図1〜図6を参照して、本発明の第1の実施形態による画像処理装置について説明する。
【0021】
図1は第1の実施形態に係るシーン判別機能を備え、シーンに応じた画像補正処理を行う画像処理装置の一例である撮像装置の構成を示すブロック図である。図1において、101は被写体の光束を結像するレンズである。102はレンズからの光束を撮像素子に導く際に絞る絞りである。103は入射された光束を光電変換して画像信号として出力する撮像素子である。104はオートゲインコントロールアンプ(AGC)であり、撮像素子103からの信号を適正レベルに増幅する。
【0022】
105は輝度・色信号生成部であり、撮像素子103で生成された信号を輝度信号(Y)、及び色信号(R,G,B)に変換する。106はホワイトバランス増幅部であり、輝度・色信号生成部105から出力される色信号(R,G,B)をホワイトバランスゲインに従って増幅し、増幅色信号(R’,G’,B’)を生成する。107は色差信号生成部であり、色差信号(R’−Y,B’−Y)を生成する。108は、色差信号に対してゲインをかけるなどの補正を行う色差信号補正部、109は標準テレビ信号等に変換するエンコーダである。
【0023】
110は信号分割部であり、輝度信号(Y)、色差信号(R’−Y,B’−Y)を所定の小ブロックに分割する。111は、色差信号(R’−Y,B’−Y)から彩度信号(Chroma)を算出する彩度算出部である。112は、入力画像のシーンを判別するシーン判別部である。113は撮像システム全体を制御するカメラ制御部であり、図示していないが撮像装置中の各部に指示を送り、処理を行わせることができる。114は撮影画像から人物の顔を検出する顔検出部である。
【0024】
次に、図1の撮像装置の撮影動作について説明する。レンズ101、アイリス102を通過した被写体像は撮像素子103上に結像される。撮像素子103に入射した光は、光電変換され、AGCアンプ104で適正レベルに増幅された後、輝度・色信号生成部105に出力される。輝度・色信号生成部105では、輝度信号(Y)及び色信号(R,G,B)を生成し、このうち色信号(R,G,B)をホワイトバランス増幅部106に出力し、輝度信号(Y)をエンコーダ109に出力する。
【0025】
ホワイトバランス増幅部106では、カメラ制御部113によって算出されたホワイトバランスゲインに基づいて色信号(R,G,B)を増幅し、増幅した色信号(R’,G’,B’)を色差信号生成部107に出力する。色差信号生成部107では、色信号(R’,G’,B’)から色差信号(R’−Y,B’−Y)を生成し、色差信号補正部108及び信号分割部110に出力する。
【0026】
色差信号補正部108では、色差信号(R’−Y,B’−Y)に対して、カメラ制御部113によって算出された色差ゲインG(ゲインの強度に関しては後述する)をかけ補正する。また、補正後の色差信号(R’−Y,B’−Y)をエンコーダ109に出力する。エンコーダ109では、輝度信号(Y)及び色差信号(R’−Y,B’−Y)からNTSC等の標準テレビジョン信号を生成し、不図示の記録部へ出力する。
【0027】
次に本発明の特徴部分である、画像データに施す、撮影シーンに応じた画像処理について説明する。本実施形態では、撮像系から取り込まれた画像データに基づいて、この画像データが撮影されたシーンが鮮やかなシーンであるか否かを判別し、判別結果に応じた画像処理を画像データに施す処理を行う。このとき、人物等、一般的に記憶色といわれる色を含む被写体が画像中に含まれている場合には、肌色等の記憶色への違和感を低減させる処理を施す。
【0028】
本実施形態の特徴部分であるこれら一連の処理についてのフローチャート図を図3に示す。これらの処理はカメラ制御部113の指示によって各部で行われる。
【0029】
ステップS301では、色差信号生成部107から画像データを取得し信号分割部110で複数のブロックに分割される。ステップS302では、画像全体の平均彩度及びブロック毎の彩度を基に、得られた画像データが鮮やかなシーンであるか否かの鮮やか判別処理が行われる。ステップS303では、ステップS302での判別結果に基づいて、画像データに対して補正処理が行われ、処理が終了する。
【0030】
ここで、本実施形態では、シーン判別結果に用いた画像データに対して、その判別結果を反映させ出力しているが、発明としては特にこれに限定されるものではない。すなわち、あるフレーム(画像データ)に対する判別結果に応じた補正処理を、その次のフレーム以降に反映させることなども当然可能である。また、複数フレーム鮮やかなシーン判別結果が続いたときに初めてシーンを特定したり、複数フレーム中、鮮やかなシーンと判別された割合が高い場合にシーンを特定したりと、複数フレームの判別結果からシーンを特定することも考えられる。このとき、判別結果に応じた補正処理は、それら複数フレームや、以降のフレームに反映させることが考えられる。
【0031】
具体的に想定される状況としては、静止画撮影が可能な撮像装置や画像データに画像処理を施すPCなどの情報処理装置において、撮影された画像データ(フレーム)に対して処理を行う状況がある。また、ライブビュー表示または動画撮影が可能な撮像装置や動画に画像処理を施すPCなどの情報処理装置において、複数フレームにまたがった上記のような処理が想定される。
【0032】
次に、上述した一連の各処理についての詳細を説明する。ステップS301では、色差信号生成部107から出力される色差信号を信号分割部110に取り込む。取り込まれた画像全体は、図2に示すようなブロック(8×8ブロック)に分割し、ブロック毎の色差信号(R’−Y,B’−Y)の平均値を算出し、彩度算出部111に出力される。彩度算出部111では、ブロック毎の色差信号(R’−Y、B’−Y)から、ブロック毎の彩度(Chroma)を算出する。色差信号と彩度の関係を図5(a)に示した。なお、図中には、色差信号と色相(Hue)の関係も示した。また、色差信号から色相、彩度を算出する式を以下に示した。
【0033】
【数1】
【0034】
彩度算出部111は、算出したブロック毎の彩度(Chroma)をシーン判別部112へ出力する。
【0035】
次にステップS302で行われる鮮やか判別処理について図4のフローチャート、図5(b)を用いて詳述する。鮮やか判別処理はカメラ制御部113の指示によってシーン判別部112で行われる。図4において、ステップS401では、彩度算出部111が算出したブロック毎の彩度を、画像の全ブロックに対して平均し、平均彩度を算出する。
【0036】
ステップS402では、画像の全ブロックの中で、その彩度が所定の彩度閾値以上であるブロック(高彩度ブロック)の数をカウントする。
【0037】
ステップS403では、算出したブロック数を所定のブロック閾値と比較し、シーンの判別を行う。図5(b)は、鮮やかなシーンの判別基準を表しており、図の横軸は画像全体の平均彩度、縦軸は高彩度ブロックの数を表している。図の斜線で示した領域が鮮やかなシーンと判別する場合に相当する。
【0038】
すなわち、ステップS401で算出した平均彩度が所定値(Th_Chroma)より高く、かつ、ステップS402で算出した高彩度ブロック数が所定のブロック閾値(Th_Area)よりも大きい場合に、現在のシーンを鮮やかなシーンであると判別する。
【0039】
シーン判別部112は、上述の判別処理を行い、判別基準が満たされる場合はステップS404へ進み、現在のシーンを鮮やかなシーンと判別する。一方、判別基準が満たされない場合はステップS405へ進み、現在のシーンを鮮やかではないシーンと判別する。
【0040】
ステップS406では、シーン判別部112が、シーン判別結果をカメラ制御部113へ出力する。以上が、シーン判別部112が行うシーン判別処理である。
【0041】
最後に、ステップS303で行われる鮮やか補正処理(第1の補正ステップ)について詳述する。図6は鮮やか補正処理の流れを示したフローチャートである。ここでの処理はカメラ制御部113で行われる。ステップS601では、色差信号生成部107より出力された画像データの画像中の特定の被写体を検出するための、被写体検出処理を行う。特定の被写体とは、一般的に記憶色とされている色を含む被写体を示し、本実施形態では、肌色を含む人物を特定の被写体として検出する。また、人物を検出する処理として、顔検出部114によって顔検出処理を行う。具体的には、顔検出部114は、種々の顔パターンをテンプレートとして予め用意しておき、入力された画像データとの間でパターンマッチングを行うことにより、人物の顔を検出する。なお、顔検出部114の顔検出方法はこれに限らず、顔の検出できる方法であればなんでも適用できる。顔検出部114は、画像中に人物の顔が検出されたか否かの情報を、カメラ制御部113へ出力する。
【0042】
ステップS602では、シーン判別部112でのシーン判別結果を用いて現在のシーンが鮮やかなシーンと判別されたか否かの判定を行う。鮮やかなシーンだと判別されている場合は、ステップS603に進み、鮮やかなシーンでないと判別されている場合は、ステップS606に進む。ステップS603では、顔検出部114の検出結果に基づいて、画像中に人物が検出されたか否かの判定処理を行う。人物が検出されている場合、ステップS604に進み、人物が検出されていない場合、ステップS605に進む。ステップS604、605、606ではこれら3つの判定結果に対応して、色差信号補正部108で彩度補正に用いられる色差ゲインGがそれぞれ設定される。ステップS604、すなわち鮮やかなシーンであり、顔が検出された場合には色差ゲインGとしてG1が設定される。ステップS605、すなわち鮮やかなシーンであり、人物が検出されていない場合には色差ゲインGとしてG2が設定される。ステップS606、すなわち鮮やかなシーンでない場合には色差ゲインGとしてG0が設定される。ここで、これら色差ゲインGの大小関係は、
G0(鮮やかでない)<G1(鮮やか・人物有り)<G2(鮮やか・人物無し)
となっている。すなわち、人物の顔が検出された場合には、色差信号の補正強度を弱めているため、人物の肌色の彩度が大きく変化することが無く、違和感が低減される。ここでは、各パラメータの値としてG0=1、G1=1.3、G2=1.5とする。
【0043】
ステップS606では、色差信号補正部108が、設定された色差ゲインGで彩度補正を行う。
【0044】
以上、説明したように、本実施形態では、鮮やかなシーンか否かを判別し、判別結果に応じて画像処理を制御する際に、人物の顔の検出結果に基づいて鮮やかなシーンに対して行う画像処理を制御した。具体的には、人物の顔が検出された場合には、検出されなかった場合に比べて、色差ゲインGの値を低く設定した。これにより、画像内に人物がいても、その肌色への違和感が低減される補正を行うことが可能となる。
【0045】
なお、上記実施形態では、信号分割部110が8×8ブロックに画像信号を分割する例を説明したが、画像の色信号に応じて鮮やかなシーンの判別を制御する構成であれば、どのような分割数であってもかまわない。また、画素単位での色信号からシーンを判別する構成であっても構わない。
【0046】
また、上記実施形態では、色相・彩度を色差信号から算出したが、本発明は色相・彩度の算出方法をこれに限定するものではない。例えば、L*a*b*空間などの他の空間に一度変換してからL*a*b*空間での色相・彩度を算出してもよい。
【0047】
また、上記実施形態では、鮮やかなシーンであるか否かの判別を平均彩度値と高彩度ブロック数の2つの情報を元に行ったが、鮮やかなシーンの判別方法をこれに限定するものではない。平均彩度、高彩度ブロック数のいずれかを用いて判別を行っても良い。また、例えば、画像中で最も彩度が高い領域での彩度情報に基づいて鮮やかなシーンの判別を行っても良い。
【0048】
また、上記実施形態では、鮮やかなシーンであるか否かの2値で判定したが、鮮やか度合い等のように多値で算出しても構わない。この場合、平均彩度が高ければ高いほど、また、彩度が所定の彩度閾値以上のブロック数が多ければ多いほど鮮やか度合いが高くなる。ただし、もちろん本実施形態で示したG0、G1、G2の大小関係は維持されておく必要が有る。そして、算出した鮮やか度合いに基づき、色差信号補正部108の信号を補正する(鮮やか度合いが高いほど色差ゲインを高くする)。
【0049】
また、上記実施形態では、人物の顔が検出されたか否かに応じて色差ゲインGの値を設定したが、本発明は彩度ゲインの設定方法をこれに限定するものではない。例えば、人物の顔が検出された場合に、図2の枠201から算出される顔のサイズS(画像中に占める面積)に応じて色差ゲインGの値を制御するようにしても良い。ここで、顔のサイズSが大きいほど、その色の変化が目立つことになる。したがって、顔のサイズSが大きいほど、色差ゲインGの値をG0に近づけ、顔のサイズSが小さいほど、色差ゲインGの値をG2に近づけて設定すれば良い。また、顔検出の際には、その顔が横顔であるなどの状況も考えられるため、信頼度というパラメータが存在する。これを利用して、信頼度に応じて色差ゲインGの値を制御するようにしても良い。すなわち、G1<G<G2であり、顔としての信頼度が高いほど、色差ゲインGを本実施形態におけるG1に近づけていくような制御が考えられる。
【0050】
また、上記実施形態では、鮮やかなシーンであるか否かの判定結果に基づき、色差ゲインGの値を制御する場合について説明したが、鮮やかなシーンであるか否かの判別結果と人物の顔検出結果に基づいて、画像信号を補正する制御であればこれに限らない。例えば、鮮やかなシーンである場合に、被写体の輪郭を強調する輪郭強調補正を行うようにしても良い。これにより、鮮やかな被写体をくっきり見せることで、鮮やかさを強調することができる。この場合、人物の顔に対して輪郭強調を行うと違和感が生じる画像となる。したがって、人物の顔が検出された場合には、輪郭強調補正の強度を弱めるよう制御しても良い。
【0051】
また、上記実施形態では、特定の被写体として記憶色である肌色を含む人物を検出させているが、本発明はこれに限定されるものではなく、記憶色を含む被写体に対して、エッジ抽出などを用いて被写体検出を行い、本発明を適用することもできる。
【0052】
また、本実施形態では、鮮やかなシーンであると判別された画像データに対して彩度を上げ、鮮やかさを強調する処理について述べたが、これに限らず、鮮やかなシーンに対して逆に彩度を下げ、鮮やかさを抑えるような処理にも適用することができる。この場合、例えばG2<G1<G0≦1のようにゲインを設定してやるとよい。
【0053】
(第2の実施形態)
第1の実施形態では、シーン判別結果と人物の顔の検出結果に基づいて、鮮やかなシーンにおける画像処理を制御する場合について説明した。具体的には、人物の顔が検出されたか否かに応じて色差ゲインGの値を制御した。
【0054】
以下、本発明の第2の実施形態として、シーン判別結果に応じて画像信号の彩度を補正する際に、肌色を除外して補正を行う場合について説明する。図7に本実施形態に係る撮像装置の主要な構成を示した。図1に示した構成要素と同様の構成要素には同一の符号を付し、その詳細な説明は省略する。本実施形態で新たに追加された構成要素について説明する。
【0055】
701は、各画素の色差信号に対して色差ゲインをかけるなどの補正を行う色相別色差信号補正部である。色相別色差信号補正部701は、色相・彩度判定部703の判定結果に基づいて色差信号への補正を制御することにより、ある特定の色相・彩度範囲にある画素に対してのみ補正を行う。
【0056】
702は、各画素の色差信号(R’−Y、B’−Y)から、画素毎の色相(Hue)・彩度(Chroma)を算出する色相・彩度算出部である。色差信号と色相・彩度の関係は図5(a)に示した通りである。また、色差信号から色相、彩度を算出する式を以下に示した。
【0057】
【数2】
【0058】
703は、各画素の色相・彩度信号が、それぞれ設定された所定の領域内にあるか否かを判定する色相・彩度判定部である。
【0059】
次に本発明の特徴部分である、画像データに施す、撮影シーンに応じた画像処理について説明する。
【0060】
本実施形態における第1の実施形態との処理の違いは、図3のステップS303の鮮やか補正処理である。本実施形態では、色差信号補正部108、及び、その後段の色相別色差信号補正部701において、色差信号に対する補正(第2の補正ステップ)が行われる。以下、順に、ステップS303で行われる、色差信号補正部108における補正処理と色相別色差信号補正部701における補正処理について説明する。
【0061】
図8は、色差信号補正部108における彩度の補正処理の流れを示したフローチャートである。
【0062】
図8において、ステップS801では、カメラ制御部113が、シーン判別部112によるシーン判別結果が鮮やかなシーンであるか否かを判定する。シーン判別結果が鮮やかなシーンである場合はステップS802へ進み、鮮やかでないシーンである場合はステップS803へ進む。
【0063】
ステップS802では、カメラ制御部113が、色差ゲインパラメータG2を色差ゲインGとして選択し、その値を色差信号補正部108へ設定する。
【0064】
ステップS803では、カメラ制御部113が、色差ゲインパラメータG0を色差ゲインGとして選択し、その値を色差信号補正部108へ設定する。
【0065】
ここで、これら色差ゲインGの大小関係は、G0(鮮やかでない)<G2(鮮やか)となっている。
【0066】
ステップS804では、色差信号補正部108が、設定された色差ゲインGに基づいて色差信号に対する補正を行う。以上が、色差信号補正部108における彩度の補正処理の流れである。
【0067】
次に、色相別色差信号補正部701における色相別の色差信号補正について説明する。図8で説明したように、鮮やかなシーンにおいては、画像の全画素に色差ゲインGに基づいた補正が行われており、その彩度が本来の値より高い値になっている。これにより、被写体の鮮やかさを強調することが可能となるが、同時に肌色領域の彩度も高くなるため、違和感のある画像となってしまう。そこで、色相別色差信号補正部701は、肌色領域に対して、色差ゲインGの影響を打ち消す方向に、つまり逆方向に補正処理を行う。これにより、肌色領域の彩度を肌色として違和感の低減された値に戻すことができる。
【0068】
具体的には、色相別色差信号補正部701は、設定された色相別色差ゲインKに基づいて画像信号の彩度を補正する。
【0069】
以下、図9を用いて、色相別色差信号補正部701における補正処理(第2の補正ステップ)について説明する。図9は、色相別色差信号補正部701における彩度の補正処理の流れを示したフローチャートである。
【0070】
ステップS901では、カメラ制御部113が、画像の全ての画素に対して、色相別の色差信号の補正が完了したか否かを判定する。完了していなければステップS902へ進み、完了していれば補正処理を終了する。
【0071】
ステップS902では、カメラ制御部113が、顔検出部114において人物の顔が検出されたか否かを判定する。顔が検出されている場合はステップS903へ進み、顔が検出されていない場合はステップS906へ進む。
【0072】
ステップS903では、色相・彩度算出部702が、色差信号補正部108により出力された各画素の色差信号から、各画素の色相・彩度を算出し、色相・彩度判定部703へ出力する。
【0073】
ステップS904では、色相・彩度判定部703が、入力された各画素の色相・彩度信号が、肌色領域として設定された領域内にあるか否かを判定する。
【0074】
以下、図10を参照しながら、肌色の判定方法について説明する。図10は、肌色として抽出する画像信号の範囲を示す図であり、図の縦軸はR−Y、横軸はB−Yを表す。色相・彩度判定部703は、各画素の色相・彩度がそれぞれ所定の領域内である、図中の斜線で示した領域1001に含まれる場合、その画素は肌色であると判定する。領域1001の定義方法の一例として、本実施形態では領域1001の開始色相502を100度、終了色相503を130度、彩度の上限504を200、彩度下限505を50とする。ここで、彩度は0〜255の間で定義されているものとする。
【0075】
ここで、入力された画素の画像信号が肌色領域1001に含まれると判定された場合はステップS905へ進み、含まれないと判定された場合はステップS906へ進む。
【0076】
ステップS905では、カメラ制御部113が、色相別色差信号補正部701で用いる色差ゲインである色相別色差ゲインKの値を、K=1/Gに設定する。ここで、Gとは、色差信号補正部108に設定されている色差ゲインの値である。
【0077】
ステップS906では、カメラ制御部113が、色相別色差ゲインKの値を、K=1に設定する。
【0078】
ステップS907では、色相別色差信号補正部701が、設定された色相別色差ゲインKに基づいて、入力された各画素の画像信号の彩度を補正する。
【0079】
上述のステップS901〜ステップS907までの一連の処理は、画像中の全ての画素に対して、順次行われる。以上の処理によって、画像データ中の、色相及び彩度がそれぞれ所定の領域内である画像データに対して、鮮やかさを色差ゲインGによる補正処理と逆方向に補正する。
【0080】
図11に、各条件における色差ゲインの値をまとめて表を示した。表の上段は鮮やかなシーン、下段は鮮やかでないシーンに対応している。また、表の左から順に色差信号補正部108における色差ゲインG、色相別色差信号補正部701における色相別色差ゲインK、及び、2つのゲインを合成した色差ゲインG×色相別色差ゲインKの値を示している。肌色以外の画素に対しては、鮮やかなシーンの場合にG×K=G2となっており、被写体の鮮やかさを強調する補正がなされる。一方、肌色画素では、K=1/Gであるので、鮮やかさを抑制する抑制処理がかかり、シーンに関らずG×K=1となっており、本来の彩度が保たれることとなる。
【0081】
以上、説明したように、本実施形態では、鮮やかなシーンか否かを判定し、判定結果に応じて画像処理を制御する画像処理装置において、人物の顔の検出結果に応じてシーンの判定を制御した。具体的には、画像全体に対して色差ゲインを乗じる補正を行った後、肌色であると判定された画素に対して本来の彩度に戻す方向に補正を行うようにした。これにより、画像中に人物の顔などが含まれる場合でも、鮮やかな被写体の鮮やかさを強調すると同時に、人物の顔に対して違和感を低減させる補正を行うことが可能となる。
【0082】
なお、上記実施形態では、顔検出部114によって人物の顔が検出された場合にのみ、肌色領域に対する色相別色差信号補正部701での補正を行うよう制御する場合で説明したが、本発明は彩度の補正方法をこれに限定するものではない。例えば、人物の顔の検出結果に関らず、色相・彩度判定部703において肌色領域に含まれると判定された画素に対して色相別色差信号補正部701での補正を行うようにしても良い。これにより、人物が横を向いている等、顔が検出できない場合であっても、被写体人物に対しての違和感を低減させる補正を行うことが可能となる。
【0083】
また、上記実施形態では、色差信号補正部108の後段に色相別色差信号補正部701を設ける構成としたが、本発明は色差信号の補正方法をこれに限定するものではない。例えば、色相別色差信号補正部701を、色差信号補正部108の前段に設ける構成としても良い。この場合、色相別色差信号補正部701において、肌色画素の彩度を本来の彩度より低い彩度に補正した後、色差信号補正部108において、画像全体に対して色差ゲインを乗じて、肌色画素を本来の彩度に戻すよう補正することとなる。
【0084】
また、上記実施形態では、色差信号補正部108で乗じた色差ゲインの逆数を、色相別色差信号補正部701での色差ゲインとして設定することにより、肌色領域を本来の彩度に戻すよう制御したが、本発明は彩度の制御方法をこれに限定するものではない。例えば、色差信号補正部108での色差ゲインをG、色相別色差信号補正部701での色差ゲインをKとすると、K=k/Gと設定しても良い。ここで、kは1<k<Gを満たす係数である。すなわち、肌色領域に対しての彩度の補正強度を、肌色の領域以外の領域に対する補正強度より弱めるように制御する。これにより、人物の顔などに対して違和感の生じない範囲で、鮮やかさを強調する補正を行うことが可能となる。すなわち、Kは色差ゲインの彩度に対する補正方向と逆方向に補正を行うものであれば、その値は特に限定されない。
【0085】
また、上記実施形態では、色相別色差信号補正部701において、肌色と判定された画素に対する補正を行うよう制御したが、本発明は色差信号の補正方法をこれに限定するものではない。例えば、鮮やかなシーンの場合に、色相別色差信号補正部701において、肌色でないと判定された画素に対して、色差ゲインを乗じるよう制御しても良い。これにより、色差信号補正部108を備えない構成においても、人物の顔に対しての違和感を低減させる補正を行うことができ、回路構成を単純化することが可能となる。
【0086】
また、上記実施形態では、肌色であると判定された画素に対してのみ、色相別色差信号補正部701において、本来の彩度に戻す方向に補正を行うよう制御したが、本発明は画像信号の補正方法をこれに限定するものではない。例えば、青空の青色や木の葉の緑色などの記憶色に対しても同様に補正を行うようにしても良い。具体的には、色相・彩度判定部703において、青空の色や木の葉の緑色に対応する領域を設定しておき、各画素のうち、その画像信号が設定した領域に含まれる画素について、本来の彩度に戻す補正を色相別色差信号補正部701において行うよう制御する。これにより、青空の青色や木の葉の緑色などの記憶色に対しての違和感を低減させる補正を行うことが可能となる。
【0087】
また、上記実施形態では、肌色領域の判定に、各画素の色相、彩度情報を用いたが、本発明は、肌色領域の判定方法をこれに限定するものではない。例えば、各画素の色相、彩度に加えて、各画素の輝度情報も用いるようにしても良い。具体的には、色相・彩度判定部703に輝度・色信号生成部105で生成した輝度信号も入力する構成とし、各画素のうち、その輝度信号が設定した範囲内に含まれるか否かを判定するようにすればよい。これにより、肌色領域の判定を、より精度良く行う事が可能となる。
【0088】
また、本実施形態では、鮮やかなシーンであると判別された画像データに対して彩度を上げ、鮮やかさを強調する処理について述べたが、これに限らず、鮮やかなシーンに対して逆に彩度を下げ、鮮やかさを抑えるような処理にも適用することができる。この場合、例えばG2<G0≦1のようにゲインを設定してやるとよい。
【0089】
(他の実施形態)
本発明の目的は以下のようにしても達成できる。すなわち、前述した各実施形態の機能を実現するための手順が記述されたソフトウェアのプログラムコードを記録した記憶媒体を、システムまたは装置に供給する。そしてそのシステムまたは装置のコンピュータ(またはCPU、MPU等)が記憶媒体に格納されたプログラムコードを読み出して実行するのである。
【0090】
この場合、記憶媒体から読み出されたプログラムコード自体が本発明の新規な機能を実現することになり、そのプログラムコードを記憶した記憶媒体およびプログラムは本発明を構成することになる。
【0091】
また、プログラムコードを供給するための記憶媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスクなどが挙げられる。また、CD−ROM、CD−R、CD−RW、DVD−ROM、DVD−RAM、DVD−RW、DVD−R、磁気テープ、不揮発性のメモリカード、ROM等も用いることができる。
【0092】
また、コンピュータが読み出したプログラムコードを実行可能とすることにより、前述した各実施形態の機能が実現される。さらに、そのプログラムコードの指示に基づき、コンピュータ上で稼動しているOS(オペレーティングシステム)等が実際の処理の一部または全部を行い、その処理によって前述した各実施形態の機能が実現される場合も含まれる。
【0093】
更に、以下の場合も含まれる。まず記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれる。その後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるCPU等が実際の処理の一部または全部を行う。
【産業上の利用可能性】
【0094】
本実施形態では、本発明を適用できる画像処理装置として、撮像装置を例として説明したが、これに限らない。撮像装置の中でも、静止画、動画の撮影が行えるものどちらにも適用可能であるし、外部から画像データを取得して処理を行うプリンタなどの画像形成装置や、パーソナルコンピュータなどの情報処理装置でも、本発明は適用できる。
【符号の説明】
【0095】
105 輝度・色信号生成部
106 WB増幅部
107 色差信号生成部
108 色差信号補正部
109 エンコーダ
110 信号分割部
111 彩度算出部
112 シーン判別部
113 カメラ制御部
114 顔検出部
【技術分野】
【0001】
本発明は、入力された画像のシーンを判別し、判別したシーンに応じた画像処理を行う画像処理方法、画像処理装置及び撮像装置に関するものである。
【背景技術】
【0002】
従来、画像のシーンや被写体の種類を判別し、判別したシーンや被写体の種類に応じた画像処理を行う画像処理装置があった。
【0003】
例えば、特許文献1では、入力された画像データが鮮やかなシーン(被写体)であるかを判別し、鮮やかなシーンの画像は高解像度で出力する画像出力装置が開示されている。
【0004】
また、特許文献2では、入力された画像データの明るさを判別し、明るさに応じた彩度の知覚変化に合わせて画像データの彩度を補正する撮像装置が開示されている。
【先行技術文献】
【特許文献】
【0005】
【特許文献1】特開2000−259372号公報
【特許文献2】特開2007−267170号公報
【発明の概要】
【発明が解決しようとする課題】
【0006】
しかし、特許文献1のような処理では、画像内の全ての色に対して一律に補正を行うので、被写体の種類によっては違和感が生じる場合があるという課題があった。例えば、人間は人の肌色などの記憶色と呼ばれる色の変化に敏感であるため、人の肌色の彩度を上述のような方法で、他の色と同じように補正してしまうと、違和感のある画像になってしまう。
【0007】
特許文献2では、彩度補正の際に肌色を除外しているが、画像の色相のみに基づいて、肌色であるか否かを判定しているため、人の肌色とは彩度などが異なる色に対しても影響を与える場合があった。
【0008】
そこで、本発明の目的は、入力された画像の撮影されたシーンを判別し、判別結果に応じて画像を補正する画像処理において、記憶色の被写体が存在する場合の違和感を低減させることが可能な画像処理方法、画像処理装置及び撮像装置を提供することである。
【課題を解決するための手段】
【0009】
上記目的を達成するために、本発明の画像処理方法は、請求項1に記載の通り、画像データを取得する取得ステップと、前記画像データの彩度情報に応じて、画像データに鮮やかさを補正する補正処理を行う第1の補正ステップと、前記画像データの画像中の被写体を検出する検出ステップと、を有し、前記第1の補正ステップでは、前記検出ステップで被写体が検出されたとき、前記検出ステップで被写体が検出されなかったときに比べて前記補正処理を弱く行うことを特徴とする。
【0010】
また、本発明の画像処理方法は、請求項2に記載の通り、画像データを取得する取得ステップと、前記画像データの彩度情報に応じて、画像データに鮮やかさを補正する補正処理を行う第1の補正ステップと、前記画像データの画像中の被写体を検出する検出ステップと、前記検出ステップで前記被写体が検出されたとき、前記第1の補正ステップで補正処理された前記画像データ中の、色相及び彩度がそれぞれ所定の領域内である画像データに対して、鮮やかさを前記補正処理と逆方向に補正する処理を行う第2の補正ステップと、を有することを特徴とする。
【0011】
また、本発明の画像処理方法は、請求項3に記載の通り、画像データを取得する取得ステップと、前記画像データの彩度情報に応じて、画像データに鮮やかさを補正する補正処理を行う第1の補正ステップと、前記画像データの画像中の被写体を検出する検出ステップと、前記第1の補正ステップでは、画像データの画像中の、前記検出ステップで前記被写体が検出された領域以外の領域に対して、前記補正処理を行うことを特徴とする。
【0012】
また、本発明の画像処理装置は、請求項12に記載の通り、画像データを取得する取得手段と、前記画像データの彩度情報に応じて、画像データに鮮やかさを補正する補正処理を行う第1の補正手段と、前記画像データの画像中の被写体を検出する検出手段と、を有し、前記第1の補正手段は、前記検出手段で被写体が検出されたとき、前記検出手段で被写体が検出されなかったときに比べて前記補正処理を弱く行うことを特徴とする。
【0013】
また、本発明の画像処理装置は、請求項13に記載の通り、被写体を撮像し、画像データを出力する撮像手段と、前記画像データの彩度情報に応じて、画像データに鮮やかさを補正する補正処理を行う第1の補正手段と、前記画像データの画像中の被写体を検出する検出手段と、を有し、前記第1の補正手段は、前記検出手段で被写体が検出されたとき、前記検出手段で被写体が検出されなかったときに比べて前記補正処理を弱く行うことを特徴とする。
【0014】
また、本発明の画像処理装置は、請求項14に記載の通り、画像データを取得する取得ステップと、前記画像データの彩度情報に応じて、画像データに鮮やかさを補正する補正処理を行う第1の補正手段と、前記画像データの画像中の被写体を検出する検出手段と、前記検出手段で前記被写体が検出されたとき、前記第1の補正ステップで補正処理された前記画像データ中の、色相及び彩度がそれぞれ所定の領域内である画像データに対して、鮮やかさを前記補正処理と逆方向に補正する処理を行う第2の補正手段と、を有することを特徴とする。
【0015】
また、本発明の撮像装置は、請求項15に記載の通り、被写体を撮像し、画像データを出力する撮像ステップと、前記画像データの彩度情報に応じて、画像データに鮮やかさを補正する補正処理を行う第1の補正手段と、前記画像データの画像中の被写体を検出する検出手段と、前記検出手段で前記被写体が検出されたとき、前記第1の補正ステップで補正処理された前記画像データ中の、色相及び彩度がそれぞれ所定の領域内である画像データに対して、鮮やかさを前記補正処理と逆方向に補正する処理を行う第2の補正手段と、を有することを特徴とする。
【0016】
また、本発明の撮像装置は、請求項16に記載の通り、画像データを取得する取得手段と、前記画像データの彩度情報に応じて、画像データに鮮やかさを補正する補正処理を行う第1の補正手段と、前記画像データの画像中の被写体を検出する検出手段と、前記第1の補正手段は、画像データの画像中の、前記検出手段で前記被写体が検出された領域以外の領域に対して、前記補正処理を行うことを特徴とする。
【0017】
また、本発明の撮像装置は、請求項17に記載の通り、被写体を撮像し、画像データを出力する撮像手段と、前記画像データの彩度情報に応じて、画像データに鮮やかさを補正する補正処理を行う第1の補正手段と、前記画像データの画像中の被写体を検出する検出手段と、前記第1の補正手段は、画像データの画像中の、前記検出手段で前記被写体が検出された領域以外の領域に対して、前記補正処理を行うことを特徴とする。
【発明の効果】
【0018】
本発明によれば、撮影されたシーンを判別し、判別結果に応じて画像を補正する画像処理画像処理装置において、肌色等の記憶色の被写体が存在する場合でもの違和感を生じさせない、もしくは低減させすることができる。
【図面の簡単な説明】
【0019】
【図1】第1の実施形態に係る撮像装置の構成を示すブロック図
【図2】画像信号のブロック分割を示す図
【図3】色差信号と彩度・色相の関係を示す図
【図4】第1の実施形態に係るシーン判別部の処理を示すフローチャート
【図5】シーン判別部が行うシーン判別処理の特性を示す図
【図6】第1の実施形態に係る画像信号の補正処理を示すフローチャート
【図7】第2の実施形態に係る撮像装置の構成を示すブロック図
【図8】第2の実施形態に係る画像信号の補正処理を示すフローチャート
【図9】第2の実施形態に係る色相別の画像信号の補正処理を示すフローチャート
【図10】第2の実施形態に係る肌色の判定方法を示す図
【図11】第2の実施形態に係る補正処理の特性を示す図
【発明を実施するための形態】
【0020】
(第1の実施形態)
以下、図1〜図6を参照して、本発明の第1の実施形態による画像処理装置について説明する。
【0021】
図1は第1の実施形態に係るシーン判別機能を備え、シーンに応じた画像補正処理を行う画像処理装置の一例である撮像装置の構成を示すブロック図である。図1において、101は被写体の光束を結像するレンズである。102はレンズからの光束を撮像素子に導く際に絞る絞りである。103は入射された光束を光電変換して画像信号として出力する撮像素子である。104はオートゲインコントロールアンプ(AGC)であり、撮像素子103からの信号を適正レベルに増幅する。
【0022】
105は輝度・色信号生成部であり、撮像素子103で生成された信号を輝度信号(Y)、及び色信号(R,G,B)に変換する。106はホワイトバランス増幅部であり、輝度・色信号生成部105から出力される色信号(R,G,B)をホワイトバランスゲインに従って増幅し、増幅色信号(R’,G’,B’)を生成する。107は色差信号生成部であり、色差信号(R’−Y,B’−Y)を生成する。108は、色差信号に対してゲインをかけるなどの補正を行う色差信号補正部、109は標準テレビ信号等に変換するエンコーダである。
【0023】
110は信号分割部であり、輝度信号(Y)、色差信号(R’−Y,B’−Y)を所定の小ブロックに分割する。111は、色差信号(R’−Y,B’−Y)から彩度信号(Chroma)を算出する彩度算出部である。112は、入力画像のシーンを判別するシーン判別部である。113は撮像システム全体を制御するカメラ制御部であり、図示していないが撮像装置中の各部に指示を送り、処理を行わせることができる。114は撮影画像から人物の顔を検出する顔検出部である。
【0024】
次に、図1の撮像装置の撮影動作について説明する。レンズ101、アイリス102を通過した被写体像は撮像素子103上に結像される。撮像素子103に入射した光は、光電変換され、AGCアンプ104で適正レベルに増幅された後、輝度・色信号生成部105に出力される。輝度・色信号生成部105では、輝度信号(Y)及び色信号(R,G,B)を生成し、このうち色信号(R,G,B)をホワイトバランス増幅部106に出力し、輝度信号(Y)をエンコーダ109に出力する。
【0025】
ホワイトバランス増幅部106では、カメラ制御部113によって算出されたホワイトバランスゲインに基づいて色信号(R,G,B)を増幅し、増幅した色信号(R’,G’,B’)を色差信号生成部107に出力する。色差信号生成部107では、色信号(R’,G’,B’)から色差信号(R’−Y,B’−Y)を生成し、色差信号補正部108及び信号分割部110に出力する。
【0026】
色差信号補正部108では、色差信号(R’−Y,B’−Y)に対して、カメラ制御部113によって算出された色差ゲインG(ゲインの強度に関しては後述する)をかけ補正する。また、補正後の色差信号(R’−Y,B’−Y)をエンコーダ109に出力する。エンコーダ109では、輝度信号(Y)及び色差信号(R’−Y,B’−Y)からNTSC等の標準テレビジョン信号を生成し、不図示の記録部へ出力する。
【0027】
次に本発明の特徴部分である、画像データに施す、撮影シーンに応じた画像処理について説明する。本実施形態では、撮像系から取り込まれた画像データに基づいて、この画像データが撮影されたシーンが鮮やかなシーンであるか否かを判別し、判別結果に応じた画像処理を画像データに施す処理を行う。このとき、人物等、一般的に記憶色といわれる色を含む被写体が画像中に含まれている場合には、肌色等の記憶色への違和感を低減させる処理を施す。
【0028】
本実施形態の特徴部分であるこれら一連の処理についてのフローチャート図を図3に示す。これらの処理はカメラ制御部113の指示によって各部で行われる。
【0029】
ステップS301では、色差信号生成部107から画像データを取得し信号分割部110で複数のブロックに分割される。ステップS302では、画像全体の平均彩度及びブロック毎の彩度を基に、得られた画像データが鮮やかなシーンであるか否かの鮮やか判別処理が行われる。ステップS303では、ステップS302での判別結果に基づいて、画像データに対して補正処理が行われ、処理が終了する。
【0030】
ここで、本実施形態では、シーン判別結果に用いた画像データに対して、その判別結果を反映させ出力しているが、発明としては特にこれに限定されるものではない。すなわち、あるフレーム(画像データ)に対する判別結果に応じた補正処理を、その次のフレーム以降に反映させることなども当然可能である。また、複数フレーム鮮やかなシーン判別結果が続いたときに初めてシーンを特定したり、複数フレーム中、鮮やかなシーンと判別された割合が高い場合にシーンを特定したりと、複数フレームの判別結果からシーンを特定することも考えられる。このとき、判別結果に応じた補正処理は、それら複数フレームや、以降のフレームに反映させることが考えられる。
【0031】
具体的に想定される状況としては、静止画撮影が可能な撮像装置や画像データに画像処理を施すPCなどの情報処理装置において、撮影された画像データ(フレーム)に対して処理を行う状況がある。また、ライブビュー表示または動画撮影が可能な撮像装置や動画に画像処理を施すPCなどの情報処理装置において、複数フレームにまたがった上記のような処理が想定される。
【0032】
次に、上述した一連の各処理についての詳細を説明する。ステップS301では、色差信号生成部107から出力される色差信号を信号分割部110に取り込む。取り込まれた画像全体は、図2に示すようなブロック(8×8ブロック)に分割し、ブロック毎の色差信号(R’−Y,B’−Y)の平均値を算出し、彩度算出部111に出力される。彩度算出部111では、ブロック毎の色差信号(R’−Y、B’−Y)から、ブロック毎の彩度(Chroma)を算出する。色差信号と彩度の関係を図5(a)に示した。なお、図中には、色差信号と色相(Hue)の関係も示した。また、色差信号から色相、彩度を算出する式を以下に示した。
【0033】
【数1】
【0034】
彩度算出部111は、算出したブロック毎の彩度(Chroma)をシーン判別部112へ出力する。
【0035】
次にステップS302で行われる鮮やか判別処理について図4のフローチャート、図5(b)を用いて詳述する。鮮やか判別処理はカメラ制御部113の指示によってシーン判別部112で行われる。図4において、ステップS401では、彩度算出部111が算出したブロック毎の彩度を、画像の全ブロックに対して平均し、平均彩度を算出する。
【0036】
ステップS402では、画像の全ブロックの中で、その彩度が所定の彩度閾値以上であるブロック(高彩度ブロック)の数をカウントする。
【0037】
ステップS403では、算出したブロック数を所定のブロック閾値と比較し、シーンの判別を行う。図5(b)は、鮮やかなシーンの判別基準を表しており、図の横軸は画像全体の平均彩度、縦軸は高彩度ブロックの数を表している。図の斜線で示した領域が鮮やかなシーンと判別する場合に相当する。
【0038】
すなわち、ステップS401で算出した平均彩度が所定値(Th_Chroma)より高く、かつ、ステップS402で算出した高彩度ブロック数が所定のブロック閾値(Th_Area)よりも大きい場合に、現在のシーンを鮮やかなシーンであると判別する。
【0039】
シーン判別部112は、上述の判別処理を行い、判別基準が満たされる場合はステップS404へ進み、現在のシーンを鮮やかなシーンと判別する。一方、判別基準が満たされない場合はステップS405へ進み、現在のシーンを鮮やかではないシーンと判別する。
【0040】
ステップS406では、シーン判別部112が、シーン判別結果をカメラ制御部113へ出力する。以上が、シーン判別部112が行うシーン判別処理である。
【0041】
最後に、ステップS303で行われる鮮やか補正処理(第1の補正ステップ)について詳述する。図6は鮮やか補正処理の流れを示したフローチャートである。ここでの処理はカメラ制御部113で行われる。ステップS601では、色差信号生成部107より出力された画像データの画像中の特定の被写体を検出するための、被写体検出処理を行う。特定の被写体とは、一般的に記憶色とされている色を含む被写体を示し、本実施形態では、肌色を含む人物を特定の被写体として検出する。また、人物を検出する処理として、顔検出部114によって顔検出処理を行う。具体的には、顔検出部114は、種々の顔パターンをテンプレートとして予め用意しておき、入力された画像データとの間でパターンマッチングを行うことにより、人物の顔を検出する。なお、顔検出部114の顔検出方法はこれに限らず、顔の検出できる方法であればなんでも適用できる。顔検出部114は、画像中に人物の顔が検出されたか否かの情報を、カメラ制御部113へ出力する。
【0042】
ステップS602では、シーン判別部112でのシーン判別結果を用いて現在のシーンが鮮やかなシーンと判別されたか否かの判定を行う。鮮やかなシーンだと判別されている場合は、ステップS603に進み、鮮やかなシーンでないと判別されている場合は、ステップS606に進む。ステップS603では、顔検出部114の検出結果に基づいて、画像中に人物が検出されたか否かの判定処理を行う。人物が検出されている場合、ステップS604に進み、人物が検出されていない場合、ステップS605に進む。ステップS604、605、606ではこれら3つの判定結果に対応して、色差信号補正部108で彩度補正に用いられる色差ゲインGがそれぞれ設定される。ステップS604、すなわち鮮やかなシーンであり、顔が検出された場合には色差ゲインGとしてG1が設定される。ステップS605、すなわち鮮やかなシーンであり、人物が検出されていない場合には色差ゲインGとしてG2が設定される。ステップS606、すなわち鮮やかなシーンでない場合には色差ゲインGとしてG0が設定される。ここで、これら色差ゲインGの大小関係は、
G0(鮮やかでない)<G1(鮮やか・人物有り)<G2(鮮やか・人物無し)
となっている。すなわち、人物の顔が検出された場合には、色差信号の補正強度を弱めているため、人物の肌色の彩度が大きく変化することが無く、違和感が低減される。ここでは、各パラメータの値としてG0=1、G1=1.3、G2=1.5とする。
【0043】
ステップS606では、色差信号補正部108が、設定された色差ゲインGで彩度補正を行う。
【0044】
以上、説明したように、本実施形態では、鮮やかなシーンか否かを判別し、判別結果に応じて画像処理を制御する際に、人物の顔の検出結果に基づいて鮮やかなシーンに対して行う画像処理を制御した。具体的には、人物の顔が検出された場合には、検出されなかった場合に比べて、色差ゲインGの値を低く設定した。これにより、画像内に人物がいても、その肌色への違和感が低減される補正を行うことが可能となる。
【0045】
なお、上記実施形態では、信号分割部110が8×8ブロックに画像信号を分割する例を説明したが、画像の色信号に応じて鮮やかなシーンの判別を制御する構成であれば、どのような分割数であってもかまわない。また、画素単位での色信号からシーンを判別する構成であっても構わない。
【0046】
また、上記実施形態では、色相・彩度を色差信号から算出したが、本発明は色相・彩度の算出方法をこれに限定するものではない。例えば、L*a*b*空間などの他の空間に一度変換してからL*a*b*空間での色相・彩度を算出してもよい。
【0047】
また、上記実施形態では、鮮やかなシーンであるか否かの判別を平均彩度値と高彩度ブロック数の2つの情報を元に行ったが、鮮やかなシーンの判別方法をこれに限定するものではない。平均彩度、高彩度ブロック数のいずれかを用いて判別を行っても良い。また、例えば、画像中で最も彩度が高い領域での彩度情報に基づいて鮮やかなシーンの判別を行っても良い。
【0048】
また、上記実施形態では、鮮やかなシーンであるか否かの2値で判定したが、鮮やか度合い等のように多値で算出しても構わない。この場合、平均彩度が高ければ高いほど、また、彩度が所定の彩度閾値以上のブロック数が多ければ多いほど鮮やか度合いが高くなる。ただし、もちろん本実施形態で示したG0、G1、G2の大小関係は維持されておく必要が有る。そして、算出した鮮やか度合いに基づき、色差信号補正部108の信号を補正する(鮮やか度合いが高いほど色差ゲインを高くする)。
【0049】
また、上記実施形態では、人物の顔が検出されたか否かに応じて色差ゲインGの値を設定したが、本発明は彩度ゲインの設定方法をこれに限定するものではない。例えば、人物の顔が検出された場合に、図2の枠201から算出される顔のサイズS(画像中に占める面積)に応じて色差ゲインGの値を制御するようにしても良い。ここで、顔のサイズSが大きいほど、その色の変化が目立つことになる。したがって、顔のサイズSが大きいほど、色差ゲインGの値をG0に近づけ、顔のサイズSが小さいほど、色差ゲインGの値をG2に近づけて設定すれば良い。また、顔検出の際には、その顔が横顔であるなどの状況も考えられるため、信頼度というパラメータが存在する。これを利用して、信頼度に応じて色差ゲインGの値を制御するようにしても良い。すなわち、G1<G<G2であり、顔としての信頼度が高いほど、色差ゲインGを本実施形態におけるG1に近づけていくような制御が考えられる。
【0050】
また、上記実施形態では、鮮やかなシーンであるか否かの判定結果に基づき、色差ゲインGの値を制御する場合について説明したが、鮮やかなシーンであるか否かの判別結果と人物の顔検出結果に基づいて、画像信号を補正する制御であればこれに限らない。例えば、鮮やかなシーンである場合に、被写体の輪郭を強調する輪郭強調補正を行うようにしても良い。これにより、鮮やかな被写体をくっきり見せることで、鮮やかさを強調することができる。この場合、人物の顔に対して輪郭強調を行うと違和感が生じる画像となる。したがって、人物の顔が検出された場合には、輪郭強調補正の強度を弱めるよう制御しても良い。
【0051】
また、上記実施形態では、特定の被写体として記憶色である肌色を含む人物を検出させているが、本発明はこれに限定されるものではなく、記憶色を含む被写体に対して、エッジ抽出などを用いて被写体検出を行い、本発明を適用することもできる。
【0052】
また、本実施形態では、鮮やかなシーンであると判別された画像データに対して彩度を上げ、鮮やかさを強調する処理について述べたが、これに限らず、鮮やかなシーンに対して逆に彩度を下げ、鮮やかさを抑えるような処理にも適用することができる。この場合、例えばG2<G1<G0≦1のようにゲインを設定してやるとよい。
【0053】
(第2の実施形態)
第1の実施形態では、シーン判別結果と人物の顔の検出結果に基づいて、鮮やかなシーンにおける画像処理を制御する場合について説明した。具体的には、人物の顔が検出されたか否かに応じて色差ゲインGの値を制御した。
【0054】
以下、本発明の第2の実施形態として、シーン判別結果に応じて画像信号の彩度を補正する際に、肌色を除外して補正を行う場合について説明する。図7に本実施形態に係る撮像装置の主要な構成を示した。図1に示した構成要素と同様の構成要素には同一の符号を付し、その詳細な説明は省略する。本実施形態で新たに追加された構成要素について説明する。
【0055】
701は、各画素の色差信号に対して色差ゲインをかけるなどの補正を行う色相別色差信号補正部である。色相別色差信号補正部701は、色相・彩度判定部703の判定結果に基づいて色差信号への補正を制御することにより、ある特定の色相・彩度範囲にある画素に対してのみ補正を行う。
【0056】
702は、各画素の色差信号(R’−Y、B’−Y)から、画素毎の色相(Hue)・彩度(Chroma)を算出する色相・彩度算出部である。色差信号と色相・彩度の関係は図5(a)に示した通りである。また、色差信号から色相、彩度を算出する式を以下に示した。
【0057】
【数2】
【0058】
703は、各画素の色相・彩度信号が、それぞれ設定された所定の領域内にあるか否かを判定する色相・彩度判定部である。
【0059】
次に本発明の特徴部分である、画像データに施す、撮影シーンに応じた画像処理について説明する。
【0060】
本実施形態における第1の実施形態との処理の違いは、図3のステップS303の鮮やか補正処理である。本実施形態では、色差信号補正部108、及び、その後段の色相別色差信号補正部701において、色差信号に対する補正(第2の補正ステップ)が行われる。以下、順に、ステップS303で行われる、色差信号補正部108における補正処理と色相別色差信号補正部701における補正処理について説明する。
【0061】
図8は、色差信号補正部108における彩度の補正処理の流れを示したフローチャートである。
【0062】
図8において、ステップS801では、カメラ制御部113が、シーン判別部112によるシーン判別結果が鮮やかなシーンであるか否かを判定する。シーン判別結果が鮮やかなシーンである場合はステップS802へ進み、鮮やかでないシーンである場合はステップS803へ進む。
【0063】
ステップS802では、カメラ制御部113が、色差ゲインパラメータG2を色差ゲインGとして選択し、その値を色差信号補正部108へ設定する。
【0064】
ステップS803では、カメラ制御部113が、色差ゲインパラメータG0を色差ゲインGとして選択し、その値を色差信号補正部108へ設定する。
【0065】
ここで、これら色差ゲインGの大小関係は、G0(鮮やかでない)<G2(鮮やか)となっている。
【0066】
ステップS804では、色差信号補正部108が、設定された色差ゲインGに基づいて色差信号に対する補正を行う。以上が、色差信号補正部108における彩度の補正処理の流れである。
【0067】
次に、色相別色差信号補正部701における色相別の色差信号補正について説明する。図8で説明したように、鮮やかなシーンにおいては、画像の全画素に色差ゲインGに基づいた補正が行われており、その彩度が本来の値より高い値になっている。これにより、被写体の鮮やかさを強調することが可能となるが、同時に肌色領域の彩度も高くなるため、違和感のある画像となってしまう。そこで、色相別色差信号補正部701は、肌色領域に対して、色差ゲインGの影響を打ち消す方向に、つまり逆方向に補正処理を行う。これにより、肌色領域の彩度を肌色として違和感の低減された値に戻すことができる。
【0068】
具体的には、色相別色差信号補正部701は、設定された色相別色差ゲインKに基づいて画像信号の彩度を補正する。
【0069】
以下、図9を用いて、色相別色差信号補正部701における補正処理(第2の補正ステップ)について説明する。図9は、色相別色差信号補正部701における彩度の補正処理の流れを示したフローチャートである。
【0070】
ステップS901では、カメラ制御部113が、画像の全ての画素に対して、色相別の色差信号の補正が完了したか否かを判定する。完了していなければステップS902へ進み、完了していれば補正処理を終了する。
【0071】
ステップS902では、カメラ制御部113が、顔検出部114において人物の顔が検出されたか否かを判定する。顔が検出されている場合はステップS903へ進み、顔が検出されていない場合はステップS906へ進む。
【0072】
ステップS903では、色相・彩度算出部702が、色差信号補正部108により出力された各画素の色差信号から、各画素の色相・彩度を算出し、色相・彩度判定部703へ出力する。
【0073】
ステップS904では、色相・彩度判定部703が、入力された各画素の色相・彩度信号が、肌色領域として設定された領域内にあるか否かを判定する。
【0074】
以下、図10を参照しながら、肌色の判定方法について説明する。図10は、肌色として抽出する画像信号の範囲を示す図であり、図の縦軸はR−Y、横軸はB−Yを表す。色相・彩度判定部703は、各画素の色相・彩度がそれぞれ所定の領域内である、図中の斜線で示した領域1001に含まれる場合、その画素は肌色であると判定する。領域1001の定義方法の一例として、本実施形態では領域1001の開始色相502を100度、終了色相503を130度、彩度の上限504を200、彩度下限505を50とする。ここで、彩度は0〜255の間で定義されているものとする。
【0075】
ここで、入力された画素の画像信号が肌色領域1001に含まれると判定された場合はステップS905へ進み、含まれないと判定された場合はステップS906へ進む。
【0076】
ステップS905では、カメラ制御部113が、色相別色差信号補正部701で用いる色差ゲインである色相別色差ゲインKの値を、K=1/Gに設定する。ここで、Gとは、色差信号補正部108に設定されている色差ゲインの値である。
【0077】
ステップS906では、カメラ制御部113が、色相別色差ゲインKの値を、K=1に設定する。
【0078】
ステップS907では、色相別色差信号補正部701が、設定された色相別色差ゲインKに基づいて、入力された各画素の画像信号の彩度を補正する。
【0079】
上述のステップS901〜ステップS907までの一連の処理は、画像中の全ての画素に対して、順次行われる。以上の処理によって、画像データ中の、色相及び彩度がそれぞれ所定の領域内である画像データに対して、鮮やかさを色差ゲインGによる補正処理と逆方向に補正する。
【0080】
図11に、各条件における色差ゲインの値をまとめて表を示した。表の上段は鮮やかなシーン、下段は鮮やかでないシーンに対応している。また、表の左から順に色差信号補正部108における色差ゲインG、色相別色差信号補正部701における色相別色差ゲインK、及び、2つのゲインを合成した色差ゲインG×色相別色差ゲインKの値を示している。肌色以外の画素に対しては、鮮やかなシーンの場合にG×K=G2となっており、被写体の鮮やかさを強調する補正がなされる。一方、肌色画素では、K=1/Gであるので、鮮やかさを抑制する抑制処理がかかり、シーンに関らずG×K=1となっており、本来の彩度が保たれることとなる。
【0081】
以上、説明したように、本実施形態では、鮮やかなシーンか否かを判定し、判定結果に応じて画像処理を制御する画像処理装置において、人物の顔の検出結果に応じてシーンの判定を制御した。具体的には、画像全体に対して色差ゲインを乗じる補正を行った後、肌色であると判定された画素に対して本来の彩度に戻す方向に補正を行うようにした。これにより、画像中に人物の顔などが含まれる場合でも、鮮やかな被写体の鮮やかさを強調すると同時に、人物の顔に対して違和感を低減させる補正を行うことが可能となる。
【0082】
なお、上記実施形態では、顔検出部114によって人物の顔が検出された場合にのみ、肌色領域に対する色相別色差信号補正部701での補正を行うよう制御する場合で説明したが、本発明は彩度の補正方法をこれに限定するものではない。例えば、人物の顔の検出結果に関らず、色相・彩度判定部703において肌色領域に含まれると判定された画素に対して色相別色差信号補正部701での補正を行うようにしても良い。これにより、人物が横を向いている等、顔が検出できない場合であっても、被写体人物に対しての違和感を低減させる補正を行うことが可能となる。
【0083】
また、上記実施形態では、色差信号補正部108の後段に色相別色差信号補正部701を設ける構成としたが、本発明は色差信号の補正方法をこれに限定するものではない。例えば、色相別色差信号補正部701を、色差信号補正部108の前段に設ける構成としても良い。この場合、色相別色差信号補正部701において、肌色画素の彩度を本来の彩度より低い彩度に補正した後、色差信号補正部108において、画像全体に対して色差ゲインを乗じて、肌色画素を本来の彩度に戻すよう補正することとなる。
【0084】
また、上記実施形態では、色差信号補正部108で乗じた色差ゲインの逆数を、色相別色差信号補正部701での色差ゲインとして設定することにより、肌色領域を本来の彩度に戻すよう制御したが、本発明は彩度の制御方法をこれに限定するものではない。例えば、色差信号補正部108での色差ゲインをG、色相別色差信号補正部701での色差ゲインをKとすると、K=k/Gと設定しても良い。ここで、kは1<k<Gを満たす係数である。すなわち、肌色領域に対しての彩度の補正強度を、肌色の領域以外の領域に対する補正強度より弱めるように制御する。これにより、人物の顔などに対して違和感の生じない範囲で、鮮やかさを強調する補正を行うことが可能となる。すなわち、Kは色差ゲインの彩度に対する補正方向と逆方向に補正を行うものであれば、その値は特に限定されない。
【0085】
また、上記実施形態では、色相別色差信号補正部701において、肌色と判定された画素に対する補正を行うよう制御したが、本発明は色差信号の補正方法をこれに限定するものではない。例えば、鮮やかなシーンの場合に、色相別色差信号補正部701において、肌色でないと判定された画素に対して、色差ゲインを乗じるよう制御しても良い。これにより、色差信号補正部108を備えない構成においても、人物の顔に対しての違和感を低減させる補正を行うことができ、回路構成を単純化することが可能となる。
【0086】
また、上記実施形態では、肌色であると判定された画素に対してのみ、色相別色差信号補正部701において、本来の彩度に戻す方向に補正を行うよう制御したが、本発明は画像信号の補正方法をこれに限定するものではない。例えば、青空の青色や木の葉の緑色などの記憶色に対しても同様に補正を行うようにしても良い。具体的には、色相・彩度判定部703において、青空の色や木の葉の緑色に対応する領域を設定しておき、各画素のうち、その画像信号が設定した領域に含まれる画素について、本来の彩度に戻す補正を色相別色差信号補正部701において行うよう制御する。これにより、青空の青色や木の葉の緑色などの記憶色に対しての違和感を低減させる補正を行うことが可能となる。
【0087】
また、上記実施形態では、肌色領域の判定に、各画素の色相、彩度情報を用いたが、本発明は、肌色領域の判定方法をこれに限定するものではない。例えば、各画素の色相、彩度に加えて、各画素の輝度情報も用いるようにしても良い。具体的には、色相・彩度判定部703に輝度・色信号生成部105で生成した輝度信号も入力する構成とし、各画素のうち、その輝度信号が設定した範囲内に含まれるか否かを判定するようにすればよい。これにより、肌色領域の判定を、より精度良く行う事が可能となる。
【0088】
また、本実施形態では、鮮やかなシーンであると判別された画像データに対して彩度を上げ、鮮やかさを強調する処理について述べたが、これに限らず、鮮やかなシーンに対して逆に彩度を下げ、鮮やかさを抑えるような処理にも適用することができる。この場合、例えばG2<G0≦1のようにゲインを設定してやるとよい。
【0089】
(他の実施形態)
本発明の目的は以下のようにしても達成できる。すなわち、前述した各実施形態の機能を実現するための手順が記述されたソフトウェアのプログラムコードを記録した記憶媒体を、システムまたは装置に供給する。そしてそのシステムまたは装置のコンピュータ(またはCPU、MPU等)が記憶媒体に格納されたプログラムコードを読み出して実行するのである。
【0090】
この場合、記憶媒体から読み出されたプログラムコード自体が本発明の新規な機能を実現することになり、そのプログラムコードを記憶した記憶媒体およびプログラムは本発明を構成することになる。
【0091】
また、プログラムコードを供給するための記憶媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスクなどが挙げられる。また、CD−ROM、CD−R、CD−RW、DVD−ROM、DVD−RAM、DVD−RW、DVD−R、磁気テープ、不揮発性のメモリカード、ROM等も用いることができる。
【0092】
また、コンピュータが読み出したプログラムコードを実行可能とすることにより、前述した各実施形態の機能が実現される。さらに、そのプログラムコードの指示に基づき、コンピュータ上で稼動しているOS(オペレーティングシステム)等が実際の処理の一部または全部を行い、その処理によって前述した各実施形態の機能が実現される場合も含まれる。
【0093】
更に、以下の場合も含まれる。まず記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれる。その後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるCPU等が実際の処理の一部または全部を行う。
【産業上の利用可能性】
【0094】
本実施形態では、本発明を適用できる画像処理装置として、撮像装置を例として説明したが、これに限らない。撮像装置の中でも、静止画、動画の撮影が行えるものどちらにも適用可能であるし、外部から画像データを取得して処理を行うプリンタなどの画像形成装置や、パーソナルコンピュータなどの情報処理装置でも、本発明は適用できる。
【符号の説明】
【0095】
105 輝度・色信号生成部
106 WB増幅部
107 色差信号生成部
108 色差信号補正部
109 エンコーダ
110 信号分割部
111 彩度算出部
112 シーン判別部
113 カメラ制御部
114 顔検出部
【特許請求の範囲】
【請求項1】
画像データを取得する取得ステップと、
前記画像データの彩度情報に応じて、画像データに鮮やかさを補正する補正処理を行う第1の補正ステップと、
前記画像データの画像中の被写体を検出する検出ステップと、を有し、
前記第1の補正ステップでは、前記検出ステップで被写体が検出されたとき、前記検出ステップで被写体が検出されなかったときに比べて前記補正処理を弱く行うことを特徴とする画像処理方法。
【請求項2】
画像データを取得する取得ステップと、
前記画像データの彩度情報に応じて、画像データに鮮やかさを補正する補正処理を行う第1の補正ステップと、
前記画像データの画像中の被写体を検出する検出ステップと、
前記検出ステップで前記被写体が検出されたとき、前記第1の補正ステップで補正処理された前記画像データ中の、色相及び彩度がそれぞれ所定の領域内である画像データに対して、鮮やかさを前記補正処理と逆方向に補正する処理を行う第2の補正ステップと、を有することを特徴とする画像処理方法。
【請求項3】
画像データを取得する取得ステップと、
前記画像データの彩度情報に応じて、画像データに鮮やかさを補正する補正処理を行う第1の補正ステップと、
前記画像データの画像中の被写体を検出する検出ステップと、
前記第1の補正ステップでは、画像データの画像中の、前記検出ステップで前記被写体が検出された領域以外の領域に対して、前記補正処理を行うことを特徴とする画像処理方法。
【請求項4】
前記補正処理は、画像データの画像全体の彩度を上げる処理であることを特徴とする請求項1乃至3のいずれか1つに記載の画像処理方法。
【請求項5】
前記補正処理は、画像データの画像中の輪郭を補正する処理であることを特徴とする請求項1乃至3のいずれか1つに記載の画像処理方法。
【請求項6】
前記第1の補正ステップでは、前記画像データの彩度が所定値より高い場合、前記画像データの彩度が所定値より低い場合に比べて前記補正処理を強く行うことを特徴とする請求項1乃至5のいずれか1つに記載の画像処理方法。
【請求項7】
前記第1の補正ステップでは、前記画像データの画像全体を複数のブロックに分割し、所定の彩度閾値より大きい彩度であるブロックの数が所定のブロック閾値より多い場合、前記所定の彩度閾値より大きい彩度であるブロックの数が前記所定のブロック閾値より少ない場合に比べて前記補正処理を強く行うことを特徴とする請求項1乃至6のいずれか1つに記載の画像処理方法。
【請求項8】
前記検出ステップでは、顔検出処理によって前記被写体の検出が行われることを特徴とする請求項1乃至7のいずれか1つに記載の画像処理方法。
【請求項9】
前記検出ステップでは、前記画像データの画像中の所定の色相及び所定の彩度を有する領域を検出することで被写体を検出することを特徴とする請求項1乃至7のいずれか1つに記載の画像処理方法。
【請求項10】
請求項1乃至9のいずれか1つに記載の画像処理方法の手順が記述されたコンピュータで実行可能なプログラム。
【請求項11】
請求項1乃至9のいずれか1つに記載の画像処理方法の手順が記述されたプログラムが記憶されたコンピュータが読み取り可能な記憶媒体。
【請求項12】
画像データを取得する取得手段と、
前記画像データの彩度情報に応じて、画像データに鮮やかさを補正する補正処理を行う第1の補正手段と、
前記画像データの画像中の被写体を検出する検出手段と、を有し、
前記第1の補正手段は、前記検出手段で被写体が検出されたとき、前記検出手段で被写体が検出されなかったときに比べて前記補正処理を弱く行うことを特徴とする画像処理装置。
【請求項13】
被写体を撮像し、画像データを出力する撮像手段と、
前記画像データの彩度情報に応じて、画像データに鮮やかさを補正する補正処理を行う第1の補正手段と、
前記画像データの画像中の被写体を検出する検出手段と、を有し、
前記第1の補正手段は、前記検出手段で被写体が検出されたとき、前記検出手段で被写体が検出されなかったときに比べて前記補正処理を弱く行うことを特徴とする撮像装置。
【請求項14】
画像データを取得する取得手段と、
前記画像データの彩度情報に応じて、画像データに鮮やかさを補正する補正処理を行う第1の補正手段と、
前記画像データの画像中の被写体を検出する検出手段と、
前記検出手段で前記被写体が検出されたとき、前記第1の補正ステップで補正処理された前記画像データ中の、色相及び彩度がそれぞれ所定の領域内である画像データに対して、鮮やかさを前記補正処理と逆方向に補正する処理を行う第2の補正手段と、を有することを特徴とする画像処理装置。
【請求項15】
被写体を撮像し、画像データを出力する撮像手段と、
前記画像データの彩度情報に応じて、画像データに鮮やかさを補正する補正処理を行う第1の補正手段と、
前記画像データの画像中の被写体を検出する検出手段と、
前記検出手段で前記被写体が検出されたとき、前記第1の補正ステップで補正処理された前記画像データ中の、色相及び彩度がそれぞれ所定の領域内である画像データに対して、鮮やかさを前記補正処理と逆方向に補正する処理を行う第2の補正手段と、を有することを特徴とする撮像装置。
【請求項16】
画像データを取得する取得手段と、
前記画像データの彩度情報に応じて、画像データに鮮やかさを補正する補正処理を行う第1の補正手段と、
前記画像データの画像中の被写体を検出する検出手段と、
前記第1の補正手段は、画像データの画像中の、前記検出手段で前記被写体が検出された領域以外の領域に対して、前記補正処理を行うことを特徴とする画像処理装置。
【請求項17】
被写体を撮像し、画像データを出力する撮像手段と、
前記画像データの彩度情報に応じて、画像データに鮮やかさを補正する補正処理を行う第1の補正手段と、
前記画像データの画像中の被写体を検出する検出手段と、
前記第1の補正手段は、画像データの画像中の、前記検出手段で前記被写体が検出された領域以外の領域に対して、前記補正処理を行うことを特徴とする撮像装置。
【請求項1】
画像データを取得する取得ステップと、
前記画像データの彩度情報に応じて、画像データに鮮やかさを補正する補正処理を行う第1の補正ステップと、
前記画像データの画像中の被写体を検出する検出ステップと、を有し、
前記第1の補正ステップでは、前記検出ステップで被写体が検出されたとき、前記検出ステップで被写体が検出されなかったときに比べて前記補正処理を弱く行うことを特徴とする画像処理方法。
【請求項2】
画像データを取得する取得ステップと、
前記画像データの彩度情報に応じて、画像データに鮮やかさを補正する補正処理を行う第1の補正ステップと、
前記画像データの画像中の被写体を検出する検出ステップと、
前記検出ステップで前記被写体が検出されたとき、前記第1の補正ステップで補正処理された前記画像データ中の、色相及び彩度がそれぞれ所定の領域内である画像データに対して、鮮やかさを前記補正処理と逆方向に補正する処理を行う第2の補正ステップと、を有することを特徴とする画像処理方法。
【請求項3】
画像データを取得する取得ステップと、
前記画像データの彩度情報に応じて、画像データに鮮やかさを補正する補正処理を行う第1の補正ステップと、
前記画像データの画像中の被写体を検出する検出ステップと、
前記第1の補正ステップでは、画像データの画像中の、前記検出ステップで前記被写体が検出された領域以外の領域に対して、前記補正処理を行うことを特徴とする画像処理方法。
【請求項4】
前記補正処理は、画像データの画像全体の彩度を上げる処理であることを特徴とする請求項1乃至3のいずれか1つに記載の画像処理方法。
【請求項5】
前記補正処理は、画像データの画像中の輪郭を補正する処理であることを特徴とする請求項1乃至3のいずれか1つに記載の画像処理方法。
【請求項6】
前記第1の補正ステップでは、前記画像データの彩度が所定値より高い場合、前記画像データの彩度が所定値より低い場合に比べて前記補正処理を強く行うことを特徴とする請求項1乃至5のいずれか1つに記載の画像処理方法。
【請求項7】
前記第1の補正ステップでは、前記画像データの画像全体を複数のブロックに分割し、所定の彩度閾値より大きい彩度であるブロックの数が所定のブロック閾値より多い場合、前記所定の彩度閾値より大きい彩度であるブロックの数が前記所定のブロック閾値より少ない場合に比べて前記補正処理を強く行うことを特徴とする請求項1乃至6のいずれか1つに記載の画像処理方法。
【請求項8】
前記検出ステップでは、顔検出処理によって前記被写体の検出が行われることを特徴とする請求項1乃至7のいずれか1つに記載の画像処理方法。
【請求項9】
前記検出ステップでは、前記画像データの画像中の所定の色相及び所定の彩度を有する領域を検出することで被写体を検出することを特徴とする請求項1乃至7のいずれか1つに記載の画像処理方法。
【請求項10】
請求項1乃至9のいずれか1つに記載の画像処理方法の手順が記述されたコンピュータで実行可能なプログラム。
【請求項11】
請求項1乃至9のいずれか1つに記載の画像処理方法の手順が記述されたプログラムが記憶されたコンピュータが読み取り可能な記憶媒体。
【請求項12】
画像データを取得する取得手段と、
前記画像データの彩度情報に応じて、画像データに鮮やかさを補正する補正処理を行う第1の補正手段と、
前記画像データの画像中の被写体を検出する検出手段と、を有し、
前記第1の補正手段は、前記検出手段で被写体が検出されたとき、前記検出手段で被写体が検出されなかったときに比べて前記補正処理を弱く行うことを特徴とする画像処理装置。
【請求項13】
被写体を撮像し、画像データを出力する撮像手段と、
前記画像データの彩度情報に応じて、画像データに鮮やかさを補正する補正処理を行う第1の補正手段と、
前記画像データの画像中の被写体を検出する検出手段と、を有し、
前記第1の補正手段は、前記検出手段で被写体が検出されたとき、前記検出手段で被写体が検出されなかったときに比べて前記補正処理を弱く行うことを特徴とする撮像装置。
【請求項14】
画像データを取得する取得手段と、
前記画像データの彩度情報に応じて、画像データに鮮やかさを補正する補正処理を行う第1の補正手段と、
前記画像データの画像中の被写体を検出する検出手段と、
前記検出手段で前記被写体が検出されたとき、前記第1の補正ステップで補正処理された前記画像データ中の、色相及び彩度がそれぞれ所定の領域内である画像データに対して、鮮やかさを前記補正処理と逆方向に補正する処理を行う第2の補正手段と、を有することを特徴とする画像処理装置。
【請求項15】
被写体を撮像し、画像データを出力する撮像手段と、
前記画像データの彩度情報に応じて、画像データに鮮やかさを補正する補正処理を行う第1の補正手段と、
前記画像データの画像中の被写体を検出する検出手段と、
前記検出手段で前記被写体が検出されたとき、前記第1の補正ステップで補正処理された前記画像データ中の、色相及び彩度がそれぞれ所定の領域内である画像データに対して、鮮やかさを前記補正処理と逆方向に補正する処理を行う第2の補正手段と、を有することを特徴とする撮像装置。
【請求項16】
画像データを取得する取得手段と、
前記画像データの彩度情報に応じて、画像データに鮮やかさを補正する補正処理を行う第1の補正手段と、
前記画像データの画像中の被写体を検出する検出手段と、
前記第1の補正手段は、画像データの画像中の、前記検出手段で前記被写体が検出された領域以外の領域に対して、前記補正処理を行うことを特徴とする画像処理装置。
【請求項17】
被写体を撮像し、画像データを出力する撮像手段と、
前記画像データの彩度情報に応じて、画像データに鮮やかさを補正する補正処理を行う第1の補正手段と、
前記画像データの画像中の被写体を検出する検出手段と、
前記第1の補正手段は、画像データの画像中の、前記検出手段で前記被写体が検出された領域以外の領域に対して、前記補正処理を行うことを特徴とする撮像装置。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【公開番号】特開2011−135511(P2011−135511A)
【公開日】平成23年7月7日(2011.7.7)
【国際特許分類】
【出願番号】特願2009−295435(P2009−295435)
【出願日】平成21年12月25日(2009.12.25)
【出願人】(000001007)キヤノン株式会社 (59,756)
【Fターム(参考)】
【公開日】平成23年7月7日(2011.7.7)
【国際特許分類】
【出願日】平成21年12月25日(2009.12.25)
【出願人】(000001007)キヤノン株式会社 (59,756)
【Fターム(参考)】
[ Back to top ]