説明

撮像装置及びホワイトバランス制御方法

【課題】肌色が白色に引き込まれにくいホワイトバランス制御を行う。
【解決手段】撮像手段により撮像された画像が分割された複数の領域ごとに、ホワイトバランス用の評価値を取得する評価値取得手段と、予め設定される白検出範囲に入る評価値を白評価値として検出する白検出手段と、画像の色温度を判定する判定手段と、判定された色温度に基づき設定される肌色検出範囲に入る白評価値を肌色評価値として検出する肌色検出手段と、白評価値から肌色評価値を除いた評価値を検出する白のみ検出手段と、白評価値が検出された領域の数と肌色評価値が検出された領域の数との割合に基づき、肌色評価値の重み付けを行う重み付け手段と、重み付けされた肌色評価値を白のみ評価値に加算した評価値を用いてホワイトバランス用の補正係数を算出する算出手段と、補正係数を用いてホワイトバランスの制御を行う制御手段とを備える。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、撮像装置及びホワイトバランス制御方法に関する。
【背景技術】
【0002】
従来のデジタルカメラにおいて、白い被写体が白く映るようにするためのオートホワイトバランス(AWB)制御が考えられ既に知られている。
【0003】
しかし、従来のオートホワイトバランス制御は、以下のような欠点があった。高色温度下の肌色の色評価値は、黒体放射軌跡上に分布し、低色温度下の光源色の色評価値の分布と重なってしまう。そのため、高色温度下において、人物の顔などを撮影すると、肌色を低色温度下の光源色と誤判定してしまい、人の肌色を白く補正してしまう(肌色を引き込んでしまう)問題があった。
【0004】
この問題に対し、特許文献1(特開2001−136546号公報)には、カメラ内部に設置された色センサから、焦点が合った領域の出力R/GおよびB/Gから閾値判定によって、肌色と思われる画素の平均から相関色温度を算出し、ホワイトバランス調整ゲインを設定する構成が開示されている。
【発明の概要】
【発明が解決しようとする課題】
【0005】
しかし、従来技術のように、焦点領域から肌色と思われる領域を抜き出し、閾値処理によって色温度を求める方法では、各色温度に適切に対応できない。また、被写体を少し変えるだけで連続撮影バラつきが発生するという問題点があった。
【0006】
そこで、本発明は上記問題点に鑑みてなされたものであり、肌色が被写体に含まれる状況においても、肌色が白色に、より引き込まれにくいホワイトバランス制御を行うことができる撮像装置及びホワイトバランス制御を提供することを目的とする。
【課題を解決するための手段】
【0007】
本発明の一観点における撮像装置は、光学像を電気的な画像信号に変換する撮像手段と、前記撮像手段により撮像された画像が分割された複数の領域ごとに、ホワイトバランス用の評価値を取得する評価値取得手段と、予め設定される白検出範囲に入る前記評価値を検出する白検出手段と、前記画像の色温度を判定する判定手段と、判定された前記色温度に基づき設定される肌色検出範囲に入る、前記白検出手段により検出された評価値を検出する肌色検出手段と、前記白検出手段により検出された評価値から前記肌色検出手段により検出された評価値を除いた評価値を検出する白のみ評価値検出手段と、前記白検出手段により検出された評価値の数に対する前記肌色検出手段により検出された評価値の数の割合に基づき、前記肌色検出手段により検出された評価値の重み付けを行う重み付け手段と、重み付けされた評価値を前記白のみ評価値検出手段により検出された評価値に加算した評価値を用いてホワイトバランス用の補正係数を算出する算出手段と、前記補正係数を用いてホワイトバランスの制御を行う制御手段とを備える。
【0008】
また、本発明の他の観点におけるホワイトバランス制御方法は、撮像装置におけるホワイトバランス制御方法であって、光学像を電気的な画像信号に変換する撮像ステップと、前記撮像ステップにより撮像された画像が分割された複数の領域ごとに、ホワイトバランス用の評価値を取得する評価値取得ステップと、予め設定される白検出範囲に入る前記評価値を検出する白検出ステップと、前記画像の色温度を判定する判定ステップと、判定された前記色温度に基づき設定される肌色検出範囲に入る、前記白検出ステップにより検出された評価値を検出する肌色検出ステップと、前記白検出ステップにより検出された評価値から前記肌色検出ステップにより検出された評価値を除いた評価値を検出する白のみ検出ステップと、前記白検出ステップにより検出された評価値の数に対する前記肌色検出ステップにより検出された評価値の数との割合に基づき、前記肌色検出ステップにより検出された評価値の重み付けを行う重み付けステップと、重み付けされた評価値を前記白のみ検出ステップにより検出された評価値に加算した評価値を用いてホワイトバランス用の補正係数を算出する算出ステップと、前記補正係数を用いてホワイトバランスの制御を行う制御ステップとを有する。
【発明の効果】
【0009】
本発明によれば、肌色が被写体に含まれる状況においても、肌色が白色に、より引き込まれにくいホワイトバランス制御を行うことができる。
【図面の簡単な説明】
【0010】
【図1】本実施例におけるデジタルカメラの外観の一例を示す概略図。
【図2】デジタルカメラの構成の一例を示すブロック図。
【図3】制御部の機能の一例を示すブロック図。
【図4】白検出枠の一例を示す図。
【図5】色温度判定領域の一例を示した図。
【図6】肌色検出枠の一例を示す図。
【図7】肌色評価値の重みの一例を示す図。
【図8】割合に対する引き込み度合いの一例を示す図。
【図9】検出枠と超低色温度肌色検出枠と低色温度肌色検出枠との関係を示す図。
【図10】モニタリング時の肌色検出枠の遷移方法の一例を示す図。
【図11】ホワイトバランス制御処理の一例を示すフローチャート。
【発明を実施するための形態】
【0011】
以下、添付図面を参照し、本発明の実施例について説明する。本実施例は、撮像装置をデジタルカメラのシステムとして説明するが、これに限るものではなく、電子ズーム処理ができる撮像装置などでも適用可能である。
【0012】
<外観>
図1は、本実施例におけるデジタルカメラ1の外観の一例を示す概略図である。図1(A)は、デジタルカメラ1の上面図を示す。図1(A)に示すように、本実施例におけるデジタルカメラ1の上面側には、レリーズボタン(シャッタボタン)101、電源ボタン102、撮影・再生切替ダイアル103が設けられている。
【0013】
図1(B)は、デジタルカメラ1の正面図を示す。図1(B)に示すように、デジタルカメラ1の正面(前面)側には、撮影レンズ系を有する鏡胴ユニット111、ストロボ発光部112、光学ファインダ113が設けられている。
【0014】
図1(C)は、デジタルカメラ1の背面図を示す。図1(C)に示すように、デジタルカメラの背面側には、液晶モニタ(LCD)121、光学ファインダの接眼レンズ部122、広角側ズーム(W)スイッチ123、望遠側ズーム(T)スイッチ124、メニュー(MENU)ボタン125、確定ボタン(ENTERボタン)126等が設けられている。また、デジタルカメラ1の側面内部には、撮影した画像データを保存するためのメモリカードを収納するメモリカード収納部が設けられている。なお、図1に示すボタンの配置などは一例に過ぎない。
【0015】
<構成>
図2は、デジタルカメラ1の構成の一例を示すブロック図である。図2に示すように、このデジタルカメラ1は、鏡胴ユニット111に設置した撮影レンズ系209を通して入射される被写体画像が受光面上に結像する固体撮像素子としてのCCD201、CCD201から出力される電気信号(アナログRGB画像信号)をデジタル信号に処理するアナログフロントエンド部(AFE部)202を備える。また、このデジタルカメラ1は、AFE部202から出力されるデジタル信号を処理する信号処理部203、データを一時的に格納するSDRAM204、制御プログラム等が記憶されたROM205、モータドライバ206を備える。また、このデジタルカメラ1は、各ボタンの押下により操作指示を行う操作部207、画像などを表示するLCD(液晶モニタ)208を備える。
【0016】
鏡胴ユニット111は、ズームレンズやフォーカスレンズ等を有する撮影レンズ系209、絞りユニット、メカシャッタユニット210を備えており、撮影レンズ系209、絞りユニット、メカシャッタユニット210の各駆動ユニット(不図示)は、モータドライバ206によって駆動される。モータドライバ206は、信号処理部203の制御部(CPU)231からの駆動信号により駆動制御される。
【0017】
CCD201は、CCD201を構成する複数の画素上に色分解フィルタとしてのRGB原色フィルタが配置されており、RGB3原色に対応した電気信号(アナログRGB画像信号)が出力される。
【0018】
AFE部202は、CCD201を駆動するTG(タイミング信号発生部)221、CCD201から出力される電気信号(アナログRGB画像信号)をサンプリングするCDS(相関2重サンプリング部)222、CDS222にてサンプリングされた画像信号のゲインを調整するAGC(アナログ利得制御部)223、AGC223でゲイン調整された画像信号をデジタル信号(RAW−RGBデータ)に変換するA/D224を備えている。
【0019】
信号処理部203は、AFE部202のTG221へ画面水平同期信号(HD)と画面垂直同期信号(VD)の出力を行う。信号処理部203は、これらの同期信号に合わせて、AFE部202のA/D224から出力されるRAW−RGBデータを取り込むCCDインターフェース(CCDI/F)232と、SDRAM204を制御するメモリコントローラ233とを備える。
【0020】
また、信号処理部203は、取り込んだRAW−RGBデータを表示や記録が可能なYUV形式の画像データに変換するYUV変換部234と、表示や記録される画像データのサイズに合わせて画像サイズを変更するリサイズ処理部235と、画像データの表示出力を制御する表示出力制御部236とを備える。
【0021】
また、信号処理部203は、画像データをJPEG形成などで記録するためのデータ圧縮部237と、画像データをメモリカードへ書き込み、又はメモリカードに書き込まれた画像データを読み出すメディアインターフェース(メディアI/F)238とを備える。
【0022】
また、信号処理部203は、操作部207からの操作入力情報に基づき、ROM205に記憶された制御プログラムに基づいてデジタルカメラ1全体のシステム制御等を行う制御部(CPU)231と、撮影画像の色温度を計測する色温度センサ239とを備えている。
【0023】
操作部207は、デジタルカメラ1(図1参照)の外観表面に設けられているレリーズボタン101、電源ボタン102、撮影・再生切替ダイアル103、広角側ズームスイッチ123、望遠側ズームスイッチ124、メニューボタン125、確定ボタン126等であり、撮影者の操作によって所定の動作指示信号が制御部231に入力される。
【0024】
SDRAM204には、CCDI/F232に取り込まれたRAW−RGBデータが保存されると共に、YUV変換部234で変換処理されたYUVデータ(YUV形式の画像データ)が保存される。またSDRAM204には、データ圧縮部237で圧縮処理されたJPEG形成などの画像データが保存される。
【0025】
なお、YUVデータのYUVは、輝度データ(Y)と、色差(輝度データと青色(B)成分データの差分(U)と、輝度データと赤色(R)成分データの差分(V))の情報で色を表現する形式である。
【0026】
(デジタルカメラのモニタリング動作、静止画撮影動作)
次に、デジタルカメラ1のモニタリング動作と静止画撮影動作について説明する。このデジタルカメラ1は、静止画撮影モード時には、以下に説明するようなモニタリング動作を実行しながら静止画撮影動作が行われる。
【0027】
先ず、撮影者が電源ボタン102をONし、撮影・再生切替ダイアル103を撮影モード(静止画撮影モード)に設定することで、デジタルカメラ1が記録モードで起動する。電源ボタン102がONされて、撮影・再生切替ダイアル103が撮影モードに設定されたことを制御部231が検知する。次に、制御部231は、モータドライバ206に制御信号を出力して、鏡胴ユニット111を撮影可能位置に移動させ、かつ、CCD201、AFE部202、信号処理部203、SDRAM204、ROM205、LCD208等を起動させる。
【0028】
そして、鏡胴ユニット111の撮影レンズ系209を被写体に向けることにより、撮影レンズ系209を通して入射される被写体画像がCCD201の各画素の受光面上に結像する。そして、CCD201から出力される被写体画像に応じた電気信号(アナログRGB画像信号)は、CDS222、AGC223を介してA/D224に入力され、A/D224により12ビット(bit)のRAW−RGBデータに変換する。
【0029】
このRAW−RGBデータは、信号処理部203のCCDI/F232に取り込まれてメモリコントローラ233を介してSDRAM204に保存される。そして、SDRAM204から読み出されたRAW−RGBデータは、YUV変換部234に入力されて表示可能な形式であるYUVデータ(YUV信号)に変換された後に、メモリコントローラ233を介してSDRAM204にYUVデータが保存される。
【0030】
そして、SDRAM204からメモリコントローラ233を介して読み出したYUVデータは、表示出力制御部236を介してLCD208へ送られ、撮影画像(動画)が表示される。LCD208に撮影画像を表示しているモニタリング時においては、CCDI/F232による画素数の間引き処理により1/30秒の時間で1フレームを読み出している。
【0031】
なお、このモニタリング動作時は、電子ファインダとして機能するLCD208に撮影画像(動画)が表示されているだけで、まだレリーズボタン101が押圧(半押も含む)操作されていない状態である。
【0032】
この撮影画像のLCD208への表示によって、静止画を撮影するための構図の確認等をすることができる。なお、表示出力制御部236からTVビデオ信号として出力して、ビデオケーブルを介して外部のTV(テレビ)に撮影画像(動画)を表示することもできる。
【0033】
そして、信号処理部203は、取り込まれたRAW−RGBデータより、AF(自動合焦)評価値、AE(自動露出)評価値、AWB(オートホワイトバランス)評価値を算出する。
【0034】
AF評価値は、例えば高周波成分抽出フィルタの出力積分値や、近接画素の輝度差の積算値によって算出される。合焦状態にあるときは、被写体のエッジ部分がはっきりとしているため、高周波成分が一番高くなる。これを利用して、AF動作時(合焦検出動作時)には、撮影レンズ系内の各フォーカスレンズ位置におけるAF評価値を取得して、その極大になる点を合焦検出位置としてAF動作が実行される。
【0035】
AE評価値とAWB評価値は、RAW−RGBデータにおけるRGB値のそれぞれの積算値から算出される。例えば、CCD201の全画素の受光面に対応した画面を256エリア(ブロック)に等分割(水平16分割、垂直16分割)し、それぞれのエリア(ブロック)のRGB積算を算出する。
【0036】
そして、制御部231は、算出されたRGB積算値を読み出し、AE処理では、画面のそれぞれのエリア(ブロック)の輝度を算出して、輝度分布から適正な露光量を決定する。決定した露光量に基づいて、露光条件(CCDの電子シャッタ回数、絞りユニットの絞り値、NDフィルタの出し入れ等)を設定する。
【0037】
また、AWB処理では、RGBの分布から被写体の光源の色に合わせたAWBの制御値を決定する。このAWB処理により、YUV変換部234でYUVデータに変換処理するときのホワイトバランスを合わせる。なお、前記したAE処理とAWB処理は、前記モニタリング時には連続的に行われている。
【0038】
そして、前記したモニタリング動作時に、レリーズボタン101が押圧(半押しから全押し)操作される静止画撮影動作が開始されると、合焦位置検出動作であるAF動作と静止画記録処理が行われる。
【0039】
即ち、レリーズボタン101が押圧(半押しから全押し)操作されると、制御部231からモータドライバ206への駆動指令により撮影レンズ系209のフォーカスレンズが移動し、例えば、いわゆる山登りAFと称されるコントラスト評価方式のAF動作が実行される。
【0040】
AF(合焦)対象範囲が無限から至近までの全領域であった場合、撮影レンズ系209のフォーカスレンズは、至近から無限、又は無限から至近までの間の各フォーカス位置に移動し、CCDI/F232で算出されている各フォーカス位置における前記AF評価値を制御部231が読み出す。そして、各フォーカス位置のAF評価値が極大になる点を合焦位置としてフォーカスレンズを合焦位置に移動させ、合焦させる。
【0041】
そして、前記したAE処理が行われ、露光完了時点で、制御部231からモータドライバ206への駆動指令によりメカシャッタユニット210が閉じられ、CCD201から静止画用のアナログRGB画像信号が出力される。そして、前記モニタリング時と同様に、AFE部202のA/D224によりRAW−RGBデータに変換される。
【0042】
そして、このRAW−RGBデータは、信号処理部203のCCDI/F232に取り込まれ、YUV変換部234でYUVデータに変換されて、メモリコントローラ233を介してSDRAM204に保存される。そして、このYUVデータはSDRAM204から読み出されて、リサイズ処理部235で記録画素数に対応するサイズに変換され、データ圧縮部237でJPEG形式等の画像データへと圧縮される。圧縮されたJPEG形式等の画像データは、SDRAM204に書き戻された後にメモリコントローラ233を介してSDRAM204から読み出され、メディアI/F238を介してメモリカード211に保存される。
【0043】
(AWB制御)
次に、AWB制御について説明する。近年の撮像装置では、カラー撮影時に安定した色再現を得るため、被写体において、人間が白く見える部分を記録画像でも白く再現するためにオートホワイトバランス(AWB)制御が行われている。
【0044】
一般的にAWBを実現する制御方法として、被写体から白色(無彩色)部分を抽出し、抽出された領域の色情報からWB補正値を計算する方法がある。例えば、1画面が16×16に分割された256個の領域毎に、R,G,B信号それぞれの積算値を算出し、その分割された領域毎にG信号の積算値に対するR,B信号の積算値の比(G/R、G/B)を求める。
【0045】
次に、求められた256個の積算値の比を、G/R、G/Bを軸とした色空間(ホワイトバランス空間)にプロットし、それらの分布から白検出を行う。白検出を行うためには予め色空間に光源(白熱灯、夕日など)の色温度を変化させた場合における黒体放射の軌跡をリファレンスゲインとして用意しておく。プロットされた256個の制御値とマッチングをとることで、各種光源下における白検出が実現できる。
【0046】
この白検出により被写体における光源の種類を判別し、判別された光源に対して、R,G,Bの積算比が例えばR:G:B=1:1:1となるようなホワイトバランスゲイン(WB補正値)をそれぞれの画素に乗算する。これにより、ホワイトバランスの補正が実現できる。
【0047】
この処理は、人間の色順応メカニズムに基づいており、人間は異なる照明下においても白いものが白く見えるように色順応が働くという仮説に基づいている。
【0048】
しかし、高色温度下の肌色の色評価値(G/R、G/B)は、黒体放射軌跡上に分布してしまい、低色温度下の光源色の色評価値と重なってしまう。そのため、高色温度下において、人物の顔などを撮影すると、肌色を低色温度下の光源色と誤判定してしまい、人の肌色を白く補正してしまう(肌色を引き込んでしまう)。そこで、肌色が白色に引き込まれにくいホワイトバランス制御について以下、説明する。
【0049】
<制御部の機能>
AWB制御に関する制御部231の機能について説明する。図3は、制御部231の機能の一例を示すブロック図である。図3に示す制御部231は、評価値取得手段301、白検出手段302、色温度判定手段303、肌色範囲設定手段304、肌色検出手段305、重み付け手段306、係数算出手段307、ホワイトバランス制御手段308、白のみ検出手段309を含む。
【0050】
評価値取得手段301は、RAW−RGBデータ(撮影画像に対応した画像データ)を、水平16×垂直16のブロック単位で等分割を行い、分割されたブロックのそれぞれに対してRGB値を積算することでRGB積算値(ホワイトバランス評価値)を取得する。
【0051】
本実施例において、ブロックの分割数は、16×16=256に限定されるものではない。ただし、n個の分割ブロックとしたとき、n≧4を満たす。また、本実施例においては、等分割であることは必ずしも必要ではないが、全ての分割ブロックが等面積かつ同形状に等分割されてなることが好ましい。
【0052】
ここで、RGB積算値について詳細に説明する。このRGB積算値の算出は、上述した分割ブロックのそれぞれに対して行うものである。本実施例において、分割ブロックは、上述したように、撮影画像が256に等分割されたものなので、例えば撮影画像が約1000万画素を有していると、各分割ブロックは約3.9万画素を有する。
【0053】
この各分割ブロックが有する画素それぞれは、対応する被写体部分のR,G,またはB成分の情報である。本実施例では、各成分は8bitの情報(0乃至255)として記録・利用されている。即ち、256個ある分割ブロックのそれぞれにおいて、各ブロックが有する画素の数(約1000万画素÷256=約3.9万画素)だけ8bitのR,G,B成分の情報がある。
【0054】
RGB積算値は、この分割ブロックのそれぞれについて、各分割ブロックが有する画素全てのR成分、G成分、B成分それぞれについて加算平均して算出するものである。本実施例では、256個に分割した分割ブロックのそれぞれにおいて、R,G,B成分毎に8bitの情報として出力される。
【0055】
なお、本実施例の場合、R,G,B各画素の比率は、例えばR:G:B=1:2:1となっていて、分割ブロックのそれぞれはR画素=約0.975万画素、G画素=約1.95万画素、B画素=0.975万画素から構成されている。
【0056】
ブロック単位で取得したRGB積算値をG/R、G/Bに変換し、このG/B、G/Bを、AWB評価値として扱う。評価値取得手段301は、算出されたAWB評価値を取得する。
【0057】
白検出手段302は、取得された分割ブロックのAWB評価値が、予め設定してある白検出枠(白検出範囲)内であれば、白評価値(白ブロック)として検出する。図4は、白検出枠の一例を示す図である。図4に示す白検出枠は、白熱灯、夕日などの楕円形内部を示す。
【0058】
白検出手段302は、取得した分割ブロックのAWB評価値をプロットし、プロット位置が図4に示す白検出枠内であるかを判定する。白検出手段302は、プロット位置が白検出枠内であれば、その分割ブロックのAWB評価値を白評価値として検出し、メモリに記録しておく。
【0059】
図3に戻り、色温度判定手段303は、分割ブロック全てのAWB評価値の分布から撮影画像の色温度推定を行う。図5は、色温度判定領域の一例を示した図である。図5に示すように、色温度判定領域は、超低色温度判定領域、低色温度判定領域、高色温度判定領域、超高色温度判定領域の4つが設定されている。
【0060】
色温度判定手段303は、各分割ブロックのAWB評価値のプロット位置がどの判定領域に入るかを、判定領域毎に1画像データ分カウントする。色温度判定手段303は、カウント数が一番多い判定領域を、その画像の色温度判定結果とする。例えば、色温度判定手段303は、AWB評価値の分布が高色温度判定領域に偏っていれば、撮影画像は高色温度であると判定する。色温度判定手段303は、AWB評価値の分布に偏りがなく、AWB評価値が均一に分布している場合は、中色温度と判定する。
【0061】
色温度判定結果は、例えば、超低色温度、低色温度、中色温度、高色温度、超高色温度の5つのうちのいずれかを示す。これにより、特別なハードウェアを用いなくても、色温度判定を行うことができる。また、色温度判定手段303は、色温度センサ239により測定された色温度を取得してもよい。色温度判定手段303は、各領域のカウント値が所定値に満たない場合は、色温度判定失敗と判定する。色温度判定が失敗した場合、デジタルカメラ1は、既知のホワイトバランス制御を行えばよい。
【0062】
図3に戻り、肌色範囲設定手段304は、色温度判定手段303により判定された色温度に対応して、肌色検出枠(肌色検出範囲)を設定する。図6は、肌色検出枠の一例を示す図である。図6に示す肌色検出枠は、各色温度のときに、肌色のAWB評価値をプロットする実験を行い、設定したものである。
【0063】
図6に示すように、肌色範囲設定手段304は、色温度の判定結果に応じて、1つの肌色検出枠を選び、図6に示す分布に設定する。
【0064】
図3に戻り、肌色検出手段305は、肌色範囲設定手段304が設定した肌色検出枠と白検出枠との論理積の範囲内に入るAWB評価値を、肌色評価値として検出し、メモリに記録する。なお、肌色評価値として検出されたAWB評価値は、白評価値でもある。
【0065】
白のみ検出手段309は、白検出手段302により検出された白評価値から、肌色検出手段305により検出された肌色評価値を除いた評価値を白のみ評価値として検出する。検出された白のみ評価値はメモリに記憶される。
【0066】
重み付け手段306は、全ての分割ブロックで前述した検出が終わると、白評価値として検出されたAWB評価値を持つ分割ブロック(白ブロック)に対する肌色評価値として検出されたAWB評価値を持つ分割ブロック(肌色ブロック)の割合に基づいて、肌色評価値に重みを付ける。
【0067】
重み付け手段306は、この割合が大きい場合、色温度推定を誤っている危険性を考慮し、肌色評価値の重みを大きくして、肌色評価値に重みをかけたものを白のみ評価値に加算する。また、重み付け手段306は、この割合が小さい場合、肌色評価値の重みを小さくし、肌色評価値に重みをかけたものを白のみ評価値に加算する。
【0068】
図7は、肌色評価値の重みの一例を示す図である。白ブロックに対する肌色ブロックの割合が0.2(20%)から0.5(50%)までの間で重みを大きくしていく。この割合が0.2までは重みは0であり、割合が0.5のとき、重みは100%(重み係数が1)となる。このように、割合が大きくなると、色温度推定の誤判定を考慮して、肌色を白色として扱う。
【0069】
図8は、割合に対する引き込み度合いの一例を示す図である。図8に示す直線は、肌色の検出を行わない場合の、肌色が白色に引き込まれる度合いを示す。図8に示す一点鎖線は、肌色評価値を全て除去する場合の、肌色が白色に引き込まれる度合いを示す。図8に示す点線は、本実施例の肌色評価値に重み付けを行う場合の、肌色が白色に引き込まれる度合いを示す。
【0070】
図8に示すように、肌色評価値の除去を行わないと、肌色ブロックの割合に比例して、肌色の引き込みの度合いも増える。また、全ての肌色評価値を除去すると、肌色ブロックの割合が増えたところで、色温度推定を低色温度側に誤推定してしまうポイントが出てきて肌色検出枠が切り替わる。すると、それまで除いていた肌色評価値が一気に白評価値として反映されることになり、WBのバラつきが発生する原因となる。
【0071】
本実施例のように、肌色評価値の重み付けを行うことで、従来のWBよりも肌色の引き込みが改善でき、バラつきを抑えた制御を実現することができる。なお、図7、8における白ブロック数には肌色ブロック数も含まれるものとする(白ブロック数=白のみのブロック数+肌色ブロック数)。
【0072】
図3に戻り、係数算出手段307は、肌色評価値が重み付けされて白評価値に加算された評価値を用いて、ホワイトバランス補正係数を算出する。以下、ホワイトバランス補正係数の算出処理の一例を詳細に説明する。以下に示す処理は、係数算出手段307が重み付け手段306を兼ねる。
【0073】
係数算出手段307は、白のみのブロックのAWB評価値に高輝度加重処理を行い、この値を積算する。なお、白のみのブロックとは、肌色ブロックではない白ブロックをいう。高輝度加重処理は、AWB評価値(G/R、G/B)に対して、そのブロックの平均輝度による重み付けをいう。なお、高輝度加重処理は必ずしも必要な処理ではない。
【0074】
係数算出手段307は、肌色ブロックにも白ブロックと同様の処理を行い、肌色ブロックの積算値を算出する。また、肌色ブロックの評価値には図7に示す重み付けが行われる。係数算出手段307は、高輝度加重処理が行われた白評価値と、重み付けされ、高輝度加重処理が行われた肌色評価値とを用いてホワイトバランス補正係数を算出する。
【0075】
係数算出手段307は、以下の式1〜11を用いてホワイトバランス補正係数を算出する。
【0076】
【数1】

RW:白のみのブロックのAWB評価値(G/R)
BW:白のみのブロックのAWB評価値(G/B)
YW:白のみのブロックの平均輝度
SRWhiteSumRgain:白のみのブロックのRゲイン積算値
SBWhiteSumBgain:白のみのブロックのBゲイン積算値
SYWhiteSum:白のみのブロックの平均輝度の積算値
nWhite:白のみのブロック数
【0077】
【数2】

RS:肌色ブロックのAWB評価値(G/R)
BS:肌色ブロックのAWB評価値(G/B)
YS:肌色ブロックの平均輝度
SRSkinSumRgain:肌色ブロックのRゲイン積算値
SBSkinSumBgain:肌色ブロックのBゲイン積算値
SYSkinSum:肌色ブロックの平均輝度の積算値
nSkin:肌色ブロック数
【0078】
【数3】

WSkinWeight:図7から得られる肌色評価値の重み
SRSumRgain:白抽出ブロックのRゲイン積算値
SBSumBgain:白抽出ブロックのBゲイン積算値
SYSum:白抽出ブロックの平均輝度の積算値
【0079】
【数4】

Rgain:ホワイトバランス補正係数(Rゲイン)
Bgain:ホワイトバランス補正係数(Bゲイン)
ホワイトバランス制御手段308は、係数算出手段307により算出されたホワイトバランス補正係数(Rゲイン、Bゲイン)を、画面全体のR,Bデータそれぞれに乗算してホワイトバランス制御を行う。
【0080】
(モニタリング時のAWB制御)
次に、モニタリング時のAWB制御について説明する。ここで、被写体が変わると色温度推定結果も変わる可能性が考えられ、色温度推定結果が変わると採用される肌色検出枠にも切り換えが生じる。例えば、色温度推定結果が超低色温度から低色温度に変わると、採用される肌色検出枠も超低色温度肌色検出枠から低色温度肌色検出枠に切り換わる。
【0081】
肌色検出枠が切り換わると、肌色評価値として扱う評価値が変わり、WBの補正結果にも違いが生じる。モニタリング中において、WBの補正結果の変化を即時反映してしまうと、色味が頻繁に変わってしまい、ユーザにとって不快感を与えてしまう原因となる。
【0082】
そこで、図9と図10に肌色検出枠の切り換えによるWB補正結果の変化をゆっくりと反映するための、モニタリング時の肌色検出枠の遷移方法を示す。
【0083】
図9は、白検出枠と超低色温度肌色検出枠と低色温度肌色検出枠との関係を示す図である。図9に示すように、色温度推定結果が、超低色温度から低色温度に変化したとき場合を例にする。
【0084】
図10は、モニタリング時の肌色検出枠の遷移方法の一例を示す図である。図10に示すように、超低色温度肌色検出枠と低色温度肌色検出枠との間を補間する複数ステップを設ける。肌色範囲設定手段304は、超低色温度から低色温度に切り換わったときに、モニタリングのAWB処理の更新とともに、1ステップずつ低色温度側に遷移させる。この処理により、色温度推定結果が変わった時のWB補正結果の変化を滑らかに適用することができる。
【0085】
<動作>
次に、実施例におけるデジタルカメラ1の動作について説明する。図11は、ホワイトバランス制御処理の一例を示すフローチャートである。
【0086】
ステップS101で、評価値取得手段301は、分割ブロックのRGBデータに基づくAWB評価値を全分割ブロック分取得する。
【0087】
ステップS102で、色温度判定手段303は、全体のAWB評価値分布から色温度を推定する。ここでは、図5に示す判定領域を用いて色温度を判定してもよいし、色温度センサ239により色温度を取得してもよい。
【0088】
ステップS103で、白検出手段302は、AWB評価値の分布が白検出枠内にあれば、このAWB評価値を白評価値として検出する。また、この白評価値を有する分割ブロックを白ブロックとする。
【0089】
ステップS104で、肌色範囲設定手段304は、判定された色温度に応じて肌色検出枠を設定する。次に、肌色検出手段305は、白評価値が肌色検出枠にあれば、その評価値を肌色評価値として検出する。また、この肌色評価値を有する分割ブロックは、肌色ブロックとする。
【0090】
ステップS105で、重み付け手段306は、白評価値数(白ブロック数)に対する肌色評価値数(肌色ブロック数)の割合から、肌色評価値の重みを設定する(図7参照)。
【0091】
ステップS106で、係数算出手段307は、白のみ評価値と重み付けされた肌色評価値とを加算した評価値からホワイトバランス補正係数を算出する。係数算出手段307は、加算された評価値を既知の技術の白評価値とすればホワイトバランス補正係数を算出可能である。なお、高輝度加重処理を行う場合、係数算出手段307、重み付け手段306は、式1〜11を用いてホワイトバランス補正係数を算出する。
【0092】
ステップS107で、ホワイトバランス制御手段308は、算出されたホワイトバランス補正係数を基に、ホワイトバランスを補正する。
【0093】
以上、実施例によれば、肌色が被写体に含まれる状況においても、肌色が白色に、より引き込まれにくいホワイトバランス制御を行うことができる。
【0094】
本実施例のデジタルカメラ1で実行されるホワイトバランス制御を行うプログラムは、インストール可能な形式又は実行可能な形式のファイルでCD−ROM、フレキシブルディスク(FD)、CD−R、DVD(Digital Versatile Disk)等のコンピュータで読み取り可能な記録媒体に記録されて提供される。
【0095】
以上、本発明の実施例について詳述したが、本発明は係る特定の実施例に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、実施例以外にも種々の変形・変更が可能である。
【符号の説明】
【0096】
1 デジタルカメラ
201 CCD
202 AFE部
203 信号処理部
204 SDRAM
205 ROM
231 信号処理部
301 評価値取得手段
302 白検出手段
303 色温度判定手段
304 肌色範囲設定手段
305 肌色検出手段
306 重み付け手段
307 係数算出手段
308 ホワイトバランス制御手段
309 白のみ検出手段
【先行技術文献】
【特許文献】
【0097】
【特許文献1】特開2001−136546号公報

【特許請求の範囲】
【請求項1】
光学像を電気的な画像信号に変換する撮像手段と、
前記撮像手段により撮像された画像が分割された複数の領域ごとに、ホワイトバランス用の評価値を取得する評価値取得手段と、
予め設定される白検出範囲に入る前記評価値を検出する白検出手段と、
前記画像の色温度を判定する判定手段と、
判定された前記色温度に基づき設定される肌色検出範囲に入る、前記白検出手段により検出された評価値を検出する肌色検出手段と、
前記白検出手段により検出された評価値から前記肌色検出手段により検出された評価値を除いた評価値を検出する白のみ検出手段と、
前記白検出手段により検出された評価値の数に対する前記肌色検出手段により検出された評価値の数の割合に基づき、前記肌色検出手段により検出された評価値の重み付けを行う重み付け手段と、
重み付けされた評価値を前記白のみ検出手段により検出された評価値に加算した評価値を用いてホワイトバランス用の補正係数を算出する算出手段と、
前記補正係数を用いてホワイトバランスの制御を行う制御手段と
を備える撮像装置。
【請求項2】
モニタリング時に、判定された前記色温度が変わるとき、前記肌色検出範囲を滑らかに遷移させるよう設定する肌色範囲設定手段をさらに備える請求項1記載の撮像装置。
【請求項3】
前記判定手段は、
前記評価値と、予め設定される複数の色温度検出範囲とに基づき、前記色温度を判定する請求項1又は2記載の撮像装置。
【請求項4】
前記重み付け手段は、
前記割合が大きい場合、重みを大きくし、前記割合が小さい場合、重みを小さくする請求項1乃至3いずれか一項に記載の撮像装置。
【請求項5】
前記算出手段は、
前記白検出手段及び前記肌色検出手段により検出された評価値に高輝度加重処理を行って前記補正係数を算出する請求項1乃至4いずれか一項に記載の撮像装置。
【請求項6】
撮像装置におけるホワイトバランス制御方法であって、
光学像を電気的な画像信号に変換する撮像ステップと、
前記撮像ステップにより撮像された画像が分割された複数の領域ごとに、ホワイトバランス用の評価値を取得する評価値取得ステップと、
予め設定される白検出範囲に入る前記評価値を検出する白検出ステップと、
前記画像の色温度を判定する判定ステップと、
判定された前記色温度に基づき設定される肌色検出範囲に入る、前記白検出ステップにより検出された評価値を検出する肌色検出ステップと、
前記白検出ステップにより検出された評価値から前記肌色検出ステップにより検出された評価値を除いた評価値を検出する白のみ検出ステップと、
前記白検出ステップにより検出された評価値の数に対する前記肌色検出ステップにより検出された評価値の数との割合に基づき、前記肌色検出ステップにより検出された評価値の重み付けを行う重み付けステップと、
重み付けされた評価値を前記白のみ検出ステップにより検出された評価値に加算した評価値を用いてホワイトバランス用の補正係数を算出する算出ステップと、
前記補正係数を用いてホワイトバランスの制御を行う制御ステップと
を有するホワイトバランス制御方法。
【請求項7】
モニタリング時に、判定された前記色温度が変わるとき、前記肌色検出範囲を滑らかに遷移させるよう設定する肌色範囲設定ステップをさらに有する請求項6記載のホワイトバランス制御方法。
【請求項8】
前記判定ステップは、
前記評価値と、予め設定される複数の色温度検出範囲とに基づき、前記色温度を判定する請求項6又は7記載のホワイトバランス制御方法。
【請求項9】
前記重み付けステップは、
前記割合が大きい場合、重みを大きくし、前記割合が小さい場合、重みを小さくする請求項6乃至8いずれか一項に記載のホワイトバランス制御方法。
【請求項10】
前記算出ステップは、
前記白検出ステップ及び前記肌色検出ステップにより検出された評価値に高輝度加重処理を行って前記補正係数を算出する請求項6乃至9いずれか一項に記載のホワイトバランス制御方法。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate

【図9】
image rotate

【図10】
image rotate

【図11】
image rotate


【公開番号】特開2012−49650(P2012−49650A)
【公開日】平成24年3月8日(2012.3.8)
【国際特許分類】
【出願番号】特願2010−187673(P2010−187673)
【出願日】平成22年8月24日(2010.8.24)
【出願人】(000006747)株式会社リコー (37,907)
【Fターム(参考)】