説明

撮像装置、ストロボ制御方法およびストロボ制御プログラム

【課題】人物撮影時におけるストロボの発光量を適切に制御することができる撮像装置、ストロボ制御方法およびストロボ制御プログラムを提供する。
【解決手段】画像内の単位ブロックごとにストロボの発光による輝度変化の度合いを表すストロボ寄与率を算出するとともに、画像内の単位ブロックのうち、肌色を映した領域と推定される肌色領域を検出する。そして、肌色領域として検出された単位ブロックのストロボ寄与率に対して重み付けを行い、重み付け後の各単位ブロックのストロボ寄与率の大きさに基づき、新たな測光エリアを設定する。そして、新たな測光エリアのAE評価値を算出して、そのAE評価値に基づいてストロボ本発光時の発光量を決定する。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、撮像装置、ストロボ制御方法およびストロボ制御プログラムに関する。
【背景技術】
【0002】
従来、画像の撮影を行う前にストロボを予備発光させるとともに、画像の撮影時にストロボを本発光させる撮像装置が知られている。この種の撮像装置では、ストロボを予備発光させたときの画像から得られる輝度情報をもとにストロボを本発光させる際の発光量を決定するようにしている。したがって、画像の撮影時に主被写体に合わせた最適な発光量でストロボを本発光させるには、予備発光させたときの画像の中で特に主被写体の位置から得られる輝度情報を主に使用して、ストロボの本発光時の発光量を求めることが望ましい。
【0003】
以上の観点から、ストロボを予備発光させたときの画像内の複数の領域のうち、主被写体が存在する領域を推定して、主被写体が存在すると推定された領域の輝度情報の重みが大きくなるように重み付けを行って、ストロボの本発光時の発光量を決定することが提案されている(例えば、特許文献1参照。)。
【0004】
特許文献1に記載の技術では、画像内の複数の領域ごとに、ストロボ非発光時の画像から得られる輝度情報と、ストロボを予備発光させたときの画像から得られる輝度情報との比を求め、輝度情報の比が大きい領域を主被写体が存在する領域と推定している。そして、この輝度情報の比が大きい領域の重みが大きくなるように、ストロボを予備発光させたときの画像内の各領域の輝度情報に対する重み付け係数を算出し、各領域の輝度情報の加重平均の結果を用いて、ストロボの本発光時の発光量を決定するようにしている。
【発明の概要】
【発明が解決しようとする課題】
【0005】
しかしながら、特許文献1に記載の技術では、ストロボ非発光時の輝度情報とストロボ予備発光時の輝度情報との比が大きい領域の重みが大きくなるように、ストロボを予備発光させたときの画像内の各領域の輝度情報に対する重み付けを行うため、人物撮影時に、主被写体である人物が例えば白い服を着用している場合などでは、白い服の部分の輝度情報に対する重みが大きくなる。また、主被写体である人物の近くに反射の大きい物体が存在する場合には、その反射の大きい物体の部分の輝度情報に対する重みが大きくなる。その結果、ストロボの本発光時の発光量が、人物の白い服や近傍の反射の大きい物体に引きずられてしまい、最も重要と考えられる人物の顔を適切に撮影するための発光量よりも小さく(アンダーに)なってしまうという問題がある。
【0006】
本発明は、上記に鑑みてなされたものであって、人物撮影時におけるストロボの発光量を適切に制御することができる撮像装置、ストロボ制御方法およびストロボ制御プログラムを提供することを目的としている。
【課題を解決するための手段】
【0007】
上述した課題を解決し、目的を達成するために、本発明に係る撮像装置は、画像の撮影を行う前にストロボを予備発光させるとともに、画像の撮影時にストロボを本発光させる撮像装置において、ストロボの非発光時の画像から、予め定めた画像内の複数の領域ごとに第1の輝度評価値を算出する第1の輝度評価値算出手段と、ストロボの予備発光時の画像から、前記複数の領域ごとに第2の輝度評価値を算出する第2の輝度評価値算出手段と、前記第1の輝度評価値と前記第2の輝度評価値とに基づいて、ストロボの発光による輝度変化の度合いを表すストロボ寄与率を、前記複数の領域ごとに算出するストロボ寄与率算出手段と、ストロボの予備発光時の画像から、前記複数の領域ごとに、各領域の色の特徴を表す色評価値を算出する色評価値算出手段と、前記色評価値に基づいて、前記複数の領域のうち、肌色を映した領域と推定される肌色領域を検出する肌色領域検出手段と、前記肌色領域に対して前記ストロボ寄与率を大きくする重み付けを行う加重手段と、前記肌色領域に対して重み付けを行った後の前記複数の領域の前記ストロボ寄与率の大きさに基づいて、前記複数の領域のうちの一部の領域を選択する領域選択手段と、前記一部の領域の前記第2の輝度評価値に基づいて、ストロボの本発光時における発光量を決定する発光量決定手段と、を備えることを特徴とする。
【0008】
また、本発明に係るストロボ制御方法は、画像の撮影を行う前にストロボを予備発光させるとともに、画像の撮影時にストロボを本発光させる撮像装置において実行されるストロボ制御方法であって、ストロボの非発光時の画像から、予め定めた画像内の複数の領域ごとに第1の輝度評価値を算出するステップと、ストロボの予備発光時の画像から、前記複数の領域ごとに第2の輝度評価値を算出するステップと、前記第1の輝度評価値と前記第2の輝度評価値とに基づいて、ストロボの発光による輝度変化の度合いを表すストロボ寄与率を、前記複数の領域ごとに算出するステップと、ストロボの予備発光時の画像から、前記複数の領域ごとに、各領域の色の特徴を表す色評価値を算出するステップと、前記色評価値に基づいて、前記複数の領域のうち、肌色を映した領域と推定される肌色領域を検出するステップと、前記肌色領域に対して前記ストロボ寄与率を大きくする重み付けを行うステップと、前記肌色領域に対して重み付けを行った後の前記複数の領域の前記ストロボ寄与率の大きさに基づいて、前記複数の領域のうちの一部の領域を選択するステップと、前記一部の領域の前記第2の輝度評価値に基づいて、ストロボの本発光時における発光量を決定するステップと、を含むことを特徴とする。
【0009】
また、本発明に係るストロボ制御プログラムは、画像の撮影を行う前にストロボを予備発光させるとともに、画像の撮影時にストロボを本発光させる撮像装置に、ストロボの非発光時の画像から、予め定めた画像内の複数の領域ごとに第1の輝度評価値を算出する機能と、ストロボの予備発光時の画像から、前記複数の領域ごとに第2の輝度評価値を算出する機能と、前記第1の輝度評価値と前記第2の輝度評価値とに基づいて、ストロボの発光による輝度変化の度合いを表すストロボ寄与率を、前記複数の領域ごとに算出する機能と、ストロボの予備発光時の画像から、前記複数の領域ごとに、各領域の色の特徴を表す色評価値を算出する機能と、前記色評価値に基づいて、前記複数の領域のうち、肌色を映した領域と推定される肌色領域を検出する機能と、前記肌色領域に対して前記ストロボ寄与率を大きくする重み付けを行う機能と、前記肌色領域に対して重み付けを行った後の前記複数の領域の前記ストロボ寄与率の大きさに基づいて、前記複数の領域のうちの一部の領域を選択する機能と、前記一部の領域の前記第2の輝度評価値に基づいて、ストロボの本発光時における発光量を決定する機能と、を実現させることを特徴とする。
【発明の効果】
【0010】
本発明によれば、人物撮影時におけるストロボの発光量を適切に制御することができるという効果を奏する。
【図面の簡単な説明】
【0011】
【図1−1】図1−1は、デジタルカメラの上面図である。
【図1−2】図1−2は、デジタルカメラの正面図である。
【図1−3】図1−3は、デジタルカメラの裏面図である。
【図2】図2は、デジタルカメラの制御系の構成を示すブロック図である。
【図3】図3は、ストロボ制御を実施するためのCPUの機能構成を示す機能ブロック図である。
【図4】図4は、画像内の単位ブロックごとに算出されるストロボ寄与率の簡単な例を説明する図である。
【図5】図5は、各単位ブロックの色評価値(Gr/R,Gb/B)を、Gr/Rを横軸とし、Gb/Bを縦軸とした色空間上にプロットした様子を示す図である。
【図6】図6は、図4(b)に示したストロボ寄与率の分布に対し、肌色領域として検出された単位ブロックのストロボ寄与率を10倍とするような重み付けを行った結果を表す図である。
【図7】図7は、デフォルトの測光エリアを変更して新たな測光エリアを設定する処理の一例を説明する図である。
【図8】図8は、デジタルカメラにおいて実施されるストロボ制御の一連の処理フローを示すフローチャートである。
【発明を実施するための形態】
【0012】
以下に添付図面を参照して、この発明に係る撮像装置、ストロボ制御方法およびストロボ制御プログラムの最良な実施の形態を詳細に説明する。なお、以下ではイメージセンサとしてCMOSセンサを用いたデジタルカメラに本発明を適用した例について説明するが、本発明は、CCDセンサを用いたデジタルカメラに対しても有効に適用可能である。また本発明は、デジタルカメラに限らず、発光量の制御が可能なストロボを備えた撮像装置に対して広く適用できる。
【0013】
(デジタルカメラの構成)
図1は、本実施の形態に係るデジタルカメラの外観を示す図であり、図1−1は同デジタルカメラの上面図、図1−2は同デジタルカメラの正面図、図1−3は同デジタルカメラの裏面図である。
【0014】
本実施の形態に係るデジタルカメラは、図1−1に示すように、その上面に、静止画撮影が可能な枚数などを表示するサブLCD1と、静止画撮影の際に押圧操作されるレリーズシャッタボタン2と、画像を記録する記録(撮影)モードや記録された画像を再生する再生モード、カメラ設定のためのSETUPモードなどの各種モードの切替えの際に操作されるモードダイヤル3を有する。
【0015】
また、本実施の形態に係るデジタルカメラは、図1−2に示すように、その正面に、ストロボ4と、被写体までの距離を測定する測距ユニット5と、図示しないリモコン端末からの赤外線信号を受信するリモコン受光部6と、後述するズームレンズ25やフォーカスレンズ26、メカニカルシャッタ27およびこれらを一体に支持する支持部材などから構成される鏡胴ユニット7と、光学ファインダ(正面)8を有する。また、本実施の形態に係るデジタルカメラの側面には、後述するメモリカード130を挿入するメモリカードスロットルや電池を収容する電池収容部が設けられており、これらメモリカードスロットルや電池収容部は蓋体9により閉塞されている。
【0016】
また、本実施の形態に係るデジタルカメラは、その裏面に、オートフォーカス作動時に点灯するオートフォーカスLED(AFLED)10と、ストロボ発光時に点灯するストロボLED11と、各種設定画面の表示や再生画像の表示および撮影時の電子ファインダとして用いられるLCDモニタ12と、光学ファインダ(裏面)13と、広角側ズーム時に操作されるズームボタン(WIDE)14および望遠側ズーム時に操作されるズームボタン(TELE)15と、電源スイッチ16と、セルフタイマの作動時に操作されるセルフタイマ/削除スイッチ17を有する。
【0017】
さらに、本実施の形態に係るデジタルカメラは、その裏面に、メニュー選択の際に操作されるメニュースイッチ18と、選択した事項を確定させる際に操作されるOKスイッチ19と、LCDモニタ12に表示する再生画像を切替える際に操作される画像確認スイッチ(左)20および画像確認スイッチ(右)21と、マクロ撮影を行う際に操作されるマクロスイッチ22と、ストロボ発光モードの切替え時に操作されるストロボスイッチ23と、LCDモニタ12の表示の切替え時に操作されるディスプレイスイッチ24を有する。
【0018】
図2は、本実施の形態に係るデジタルカメラの制御系の構成を示すブロック図である。本実施の形態に係るデジタルカメラは、制御系の構成として、ズームレンズ25やフォーカスレンズ26、メカニカルシャッタ27を駆動するためのモータドライバ28と、イメージセンサであるCMOSセンサ30と、CMOSセンサ30から出力されるアナログの画像信号を処理してデジタル画像データを生成するアナログフロントエンド(AFE)40と、CMOSセンサ30およびAFE40に対して駆動タイミング信号を出力するタイミングジェネレータ(TG)50と、AFE40から出力されたデジタル画像データに対して各種デジタル画像処理を実行するとともにデジタルカメラ全体の動作を制御する信号処理IC60と、ストロボ4を駆動するストロボ回路70とを備えている。信号処理IC60には、上述したLCDモニタ12のほか、SDRAM120やメモリカード130、ROM140、操作部150などが接続されている。
【0019】
メカニカルシャッタ27は、開状態によりCMOSセンサ30に光を入射させ、閉状態によりCMOSセンサ30への光の入射を遮断する機械的なシャッタである。このメカニカルシャッタ27は、光学レンズであるズームレンズ25やフォーカスレンズ26とともに、モータドライバ28により駆動される。モータドライバ28によるズームレンズ25、フォーカスレンズ26およびメカニカルシャッタ27の駆動は、信号処理IC60の内部に含まれるCPU100によって制御される。
【0020】
CMOSセンサ30は、光電変換機能によって、光学レンズにより結像した光学像をその明るさに比例した電気信号に変換して出力する。CMOSセンサ30は、TG50から出力される駆動タイミング信号に従って駆動され、各画素の露光や信号読み出しが制御される。CMOSセンサ30からの出力電気信号は、AFE40に入力される。
【0021】
AFE40は、CMOSセンサ30の出力電気信号(アナログ画素信号)をサンプリングホールド(相関二重サンプリング)するCDS41と、CDS41によりサンプリングされた信号のゲインを調整するAGC(Auto Gain Control)42と、AGC42の出力をデジタル信号に変換するA/D変換機(A/D)43とを有する。これらAFE40を構成する各部は、TG50から出力される駆動タイミング信号に従ってCMOSセンサ30と同期して駆動され、また、AGC42におけるゲインの設定などは、信号処理IC60内部に含まれるCPU100の命令に従って実施される。AFE40により出力されるデジタルデータ(デジタル画像データ)は、信号処理IC60に入力される。
【0022】
TG50には、信号処理IC60内部に含まれる同期信号生成部69によって生成された垂直同期信号VDおよび水平同期信号HDが供給される。TG50は、これら垂直同期信号VDおよび水平同期信号HDに基づいて、CMOSセンサ30およびAFE40を同期して駆動させるための駆動タイミング信号を生成し、生成した駆動タイミング信号をCMOSセンサ30およびAFE40に供給する。
【0023】
信号処理IC60は、デジタルカメラ全体の動作を統括的に制御するCPU100と、垂直同期信号VDおよび水平同期信号HDに合わせてAFE40からデジタル画像データの取り込みを行うCMOSI/F部62と、SDRAM120へのデータの書き込みや読み出しを制御するメモリコントローラ63と、CMOSI/F部62から入力されたデジタル画像データを表示や記録が可能なYUVのデータ形式に変換するYUV変換部64と、画像データを所定のフォーマット(例えばJPEG)に従って圧縮および伸張する圧縮伸張部65と、LCDモニタ12や外部表示装置への表示データの出力を制御する表示出力制御部66と、表示や記録のサイズに合わせて画像サイズを変更するリサイズ処理部67と、メモリカード130へのデータの書き込みや読み出しを制御するメディアI/F部68と、CPU100の命令により垂直同期信号VDおよび水平同期信号HDを生成する同期信号生成部69とを有している。
【0024】
AFE40から出力されるデジタル画像データは、CMOSI/F部62により画像フレームを一単位として信号処理IC60内部に取り込まれ、信号処理IC60内部で黒レベルの補正、欠損画素の補正、シェーディング補正などの画像処理が行われた上で、メモリコントローラ63によりSDRAM120に画像フレームごとのRGBデータ(RAW−RGB画像データ)として一時保管される。
【0025】
SDRAM120に保存された画像フレームごとのRAW−RGB画像データは、メモリコントローラ63によりSDRAM120から読み出され、AWB(Auto White Balance)のゲイン乗算やガンマ補正、RGB補間処理を経てYUV変換部64に供給される。YUV変換部64は、この画像データに対してエッジ強調や色設定などの各種画像処理を行うとともに、輝度/色差信号であるYUV画像データへの変換を行う。YUV変換部64で生成されたYUV画像データは、メモリコントローラ63により再度SDRAM120に格納される。
【0026】
SDRAM120に保存されたYUV画像データは、メモリコントローラ63によりSDRAM120から読み出され、撮影モードアイコンなどを表示するためのOSD(オンスクリーンディスプレイ)データとともに表示出力制御部66に供給される。表示出力制御部66は、これらYUV画像データとOSDデータを合成して表示用データを生成し、同期信号などの信号を付加してLCDモニタ12に出力する。なお、表示出力制御部66は、生成した表示用データをTVビデオ信号として出力して外部表示装置に表示させることも可能であり、例えば外部表示装置がNTSCシステムのTVであれば、リサイズ処理部67により、そのシステムに合わせた水平・垂直の変倍処理が施された上で、TVに出力される。
【0027】
また、メモリカード130への記録時には、SDRAM120に保存されたYUV画像データが、CPU100の命令によりメモリコントローラ63によってSDRAM120から読み出されて圧縮伸張部65に供給され、圧縮伸張部65においてJPEGデータなどの圧縮データが生成される。ここで、SDRAM120に保存されたYUV画像データはフルサイズのデータであり、メモリカード130に記録する画像サイズがCMOSセンサ30の画像サイズよりも小さい場合は、リサイズ処理部67にて記録用に画像が縮小された上で圧縮伸張部65に供給される。圧縮伸張部65で生成された圧縮データ(JPEGデータ)は、メモリコントローラ63により再度SDRAM120に格納され、その後、ヘッダ追加などの処理が行われた後に、メディアI/F部68を介してメモリカード130に記録される。
【0028】
以上の信号処理IC60内部における各部の動作は、CPU100の命令に従って実行される。CPU100は、例えばROM140に格納されたデジタルカメラの制御を行うための制御プログラムおよび制御データを、例えばSDRAM120上にロードし、ロードした制御プログラムのプログラムコードに基づいて、デジタルカメラ全体の動作を統括的に制御する。すなわち、CPU100は、操作部150の各種ボタンキーによる指示や図示しないリモコン端末からの動作指示等に基づいて、指示に応じた画像を適切に撮影、表示、記録できるように、モータドライバ28やAFE40、TG50、信号処理IC60内部の各処理部などを制御する。また、CPU100は、ストロボ撮影時にはストロボ回路70の動作を制御することによって、ストロボ4を発光させる。なお、操作部150は、撮影者がデジタルカメラの動作指示を行うためのものであり、図1に示したレリーズシャッタボタン2などの各種ボタンキーが該当する。
【0029】
(デジタルカメラの動作概要)
以下、CPU100による制御のもとで実施されるデジタルカメラの静止画撮影時の動作の概要について説明する。静止画の撮影は、レリーズシャッタボタン2の押下に応じて実施される。レリーズシャッタボタン2は、半押しで第1スイッチがオンし、全押しで第2スイッチがオンする。レリーズシャッタボタン2の第2スイッチのオンが、静止画撮影のトリガとなる。
【0030】
レリーズシャッタボタン2が半押しされて第1スイッチがオンすると、撮影に先立ち、AF(AUTO FOCUS)処理やAE(AUTO EXPOUSRE)処理が行われる。
【0031】
AF処理としては、例えば、フォーカスレンズ26を移動させながらコントラストの最大値を見つける山登りAFなどが行われる。これは、RGBデータのG信号(またはYUV画像データの輝度値であるY信号)の高周波成分からAF評価値を算出し、AF評価値が最大になるところのフォーカスレンズ26の位置(フォーカス位置)を算出して、フォーカスレンズ26を移動させる処理である。
【0032】
AF評価値を取得するエリアについては、1つの画像フレームに対して複数のエリアを考慮するマルチエリアAFや、一部しか考慮しないスポットエリアAFなどがある。そして、AF評価値をもとに撮影シーンに適したフォーカス位置を算出し、そのポイントへフォーカスレンズ26を移動させる。フォーカスレンズ26は、CPU100の命令により、モータドライバ28を介して移動させることができる。
【0033】
AE処理は、YUV画像データの輝度値であるY信号から画像フレーム内の測光エリアにおけるAE評価値を算出し、このAE評価値に基づいて、静止画撮影用の電子シャッタの設定や、AGC42の計算/設定、絞りの計算/設定を行う処理である。電子シャッタの設定は、CPU100の命令により、CMOSセンサ30の駆動を制御するTG50により実行することができる。また、AGC42の設定は、CPU100の命令により、AFE40により実行することができる。なお、このAE処理で求めた測光エリアのAE評価値により、画像が低輝度と判定されると、ストロボ4の発光が必要と判定される。
【0034】
次に、レリーズシャッタボタン2が全押しされて第2スイッチがオンすると、静止画用の露光が開始される。その後、電子シャッタにより定められる露光時間が経過した時点でメカニカルシャッタ27が閉じられ、静止画用のRGBデータ(RAW−RGB画像データ)が信号処理IC60に入力される。そして、信号処理IC60において、上述したように、RAW−RGB画像データがYUVデータ、圧縮データ(JPEGデータ)へと変換され、ヘッダ追加などの処理が行われた後に、メディアI/F部68を介してメモリカード130に記録される。
【0035】
ここで、静止画の撮影にストロボ4の発光が必要と判断された場合には、静止画用の露光(静止画の撮影)に先立ち、ストロボ4の予備発光が行われる。そして、ストロボ4の予備発光時の画像フレームから上述したAE評価値を求め、このAE評価値を用いて静止画用の露光の際のストロボ4の発光量、つまりストロボ4の本発光時の発光量を決定するようにしている。
【0036】
(ストロボ制御)
次に、本実施の形態に係るデジタルカメラにおいて実施されるストロボ制御について、詳細に説明する。
【0037】
図3は、ストロボ制御を実施するためのCPU100の機能構成を示す機能ブロック図である。CPU100は、例えば上述した制御プログラムの1つとしてROM140に格納され、メインメモリ(例えばSDRAM120)上にロードされたストロボ制御プログラムを実行することによって、図3に示すように、第1の輝度評価値算出部101、予備発光指令出力部102、第2の輝度評価値算出部103、ストロボ寄与率算出部104、色評価値算出部105、肌色領域検出部106、加重部107、領域選択部108、発光量決定部109、露出制御部110および本発光指令出力部111の各機能を実現する。
【0038】
第1の輝度評価値算出部101は、ストロボ4の非発光時の画像から、予め定めた画像内の複数の領域ごとに第1の輝度評価値を算出する処理機能である。ここで、複数の領域とは、1つの画像フレームを予め定めた分割方法(例えば、縦横16×16の256分割)に従って分割したときの個々の分割領域(以下、単位ブロック)をいう。また、第1の輝度評価値は、ストロボ4の非発光時における各単位ブロックの明るさを表す評価値であり、例えば、単位ブロックを構成する画素の輝度積算値である。なお、ストロボ4の非発光時の画像は、ストロボ4を予備発光させる前の画像フレームであってもよいし、ストロボ4の予備発光が終了した後の画像フレームであってもよい。
【0039】
予備発光指令出力部102は、ストロボ回路70に対して、ストロボ4を予備発光させるための指令を出力する処理機能である。なお、ストロボ4を予備発光させる際の発光量は、上述したAE処理で求めた測光エリアのAE評価値に基づいて決定するようにしてもよいし、予め定めた一定値であってもよい。
【0040】
第2の輝度評価値算出部103は、ストロボ4の予備発光時の画像から、複数の単位ブロックごとに第2の輝度評価値を算出する処理機能である。ここで、第2の輝度評価値は、ストロボ4の予備発光時における各単位ブロックの明るさを表す評価値であり、第1の輝度評価値と同様に、例えば、単位ブロックを構成する画素の輝度積算値である。
【0041】
ストロボ寄与率算出部104は、第1の輝度評価値と第2の輝度評価値とに基づいて、ストロボ4の発光による輝度変化の度合いを表すストロボ寄与率を、各単位ブロックごとに算出する処理機能である。ここで、ストロボ寄与率CR(%)は、第1の輝度評価値をB1、第2の輝度評価値をB2としたときに、下記式(1)で表される。
CR=(B2−B1)/B2×100 ・・・(1)
【0042】
色評価値算出部105は、ストロボの予備発光時の画像から、複数の単位ブロックごとに、各単位ブロックの色の特徴を表す色評価値を算出する処理機能である。ここで、色評価値は、例えば、単位ブロックを構成する画素のGr信号の積算値に対するR信号の積算値の比と、Gb信号の積算値に対するB信号の積算値の比との組み合わせ(Gr/R,Gb/B)である。なお、この色評価値の例は、ベイヤ配列の色フィルタを用いた場合の例であり、Grの色フィルタに対応する画素の出力がGr信号、Rの色フィルタに対応する画素の出力がR信号、Gbの色フィルタに対応する画素の出力がGb信号、Bの色フィルタに対応する画素の出力がB信号である。この色評価値は、上述したAWBのゲインを求めるためにも用いられる値であるが、色評価値算出部105が算出する色評価値はこの例に限定されるものではない。
【0043】
肌色領域検出部106は、色評価値算出部105が算出した色評価値に基づいて、複数の単位ブロックのうち、肌色を映した領域と推定される単位ブロックである肌色領域を検出する処理機能である。なお、肌色領域を検出する処理の詳細は後述する。
【0044】
加重部107は、複数の単位ブロックのうち、肌色領域として検出された単位ブロックに対して、ストロボ寄与率を大きくするような重み付けを行う処理機能である。具体的には、加重部107は、例えば、肌色領域として検出された単位ブロックのストロボ寄与率の値を10倍(他の単位ブロックは1倍)とするような重み付けを行う。
【0045】
領域選択部108は、肌色領域に対して重み付けを行った後の複数の単位ブロックのストロボ寄与率の大きさに基づいて、複数の単位ブロックのうちの一部のブロックを、ストロボ4の本発光時における発光量を決定する際に使用する画像内の測光エリアとして選択する処理機能である。なお、この測光エリアを選択する処理の詳細は後述する。
【0046】
発光量決定部109は、領域選択部108により選択された測光エリアに含まれる単位ブロックの第2の輝度評価値に基づいて、ストロボ4の本発光時における発光量(ガイドナンバー)を決定する処理機能である。具体的には、発光量決定部109は、例えば、測光エリアに含まれる単位ブロックの第2の輝度評価値の平均値を求める。この平均値は、上述したAE制御で用いる測光エリアのAE評価値に相当する。発光量決定部109は、この測光エリアのAE評価値をもとに、ストロボ4の予備発光時における発光量の過不足を判定する。そして、発光量決定部109は、このストロボ4の予備発光時における発光量の過不足分を補正した発光量を、ストロボ4の本発光時における発光量として決定する。
【0047】
また、発光量決定部109は、測光エリアに肌色領域として検出された単位ブロックが含まれる場合には、その肌色領域として検出された単位ブロックに対して重み付けして、その重み値を用いた測光エリアの第2の輝度評価値の加重平均を、測光エリアのAE評価値として求める。このときの肌色領域として検出された単位ブロックに対する重み値は、1を超える正の値(例えば2)である。
【0048】
すなわち、この場合の測光エリアのAE評価値Pは、測光エリア内の全単位ブロック数をM、測光エリア内の肌色領域の単位ブロック数をN、測光エリア内の全単位ブロックの第2の輝度評価値の合計をBm、測光エリア内の肌色領域の単位ブロックの第2の輝度評価値の合計をBn、肌色領域の単位ブロックに対する重み値をWとしたときに、下記式(2)によって求められる。
P=(Bm+Bn×(W−1))/(M+N×(W−1)) ・・・(2)
発光量決定部109は、測光エリアに肌色領域として検出された単位ブロックが含まれる場合には、この式(2)によって求まる測光エリアのAE評価値Pをもとに、ストロボ4の予備発光時における発光量の過不足を判定し、この過不足分を補正した発光量を、ストロボ4の本発光時における発光量として決定する。
【0049】
露出制御部110は、発光量決定部109が決定した発光量がストロボ4の最大発光量を超える場合に、領域選択部108により選択された測光エリアに含まれる単位ブロックの第2の輝度評価値に基づいて、ストロボ4の本発光時における発光量の不足分を補うように静止画撮影時の露出を決定する。すなわち、例えば夜間にデジタルカメラから離れた位置にいる人物を撮影する場合などでは、発光量決定部109が決定した発光量がストロボ4の最大発光量を超える場合も想定される。このような場合には、ストロボ4の本発光時における発光量が不足して、撮影される静止画が暗めになる。そこで、露出制御部110は、領域選択部108により選択された測光エリアの第2の輝度評価値に基づいて測光エリアのAE評価値を求め、この測光エリアのAE評価値に応じて、ストロボ4の本発光時における発光量の不足分を補うように、上述したAE処理により事前に求めた露出に関連するパラメータの値(電子シャッタの設定値、AGC42のゲイン値、絞りの値)を変更する。
【0050】
また、ストロボ4の予備発光時の画像は、第2の輝度評価値や色評価値を算出するために用いる画像であるため、外光の影響をできるだけ排除するとともに、ストロボ4の発光によって画素の値が飽和しないようにすることが望まれる。そこで、ストロボ4の予備発光時の画像に対する露出を、上述したAE処理により事前に求めた露出から変更する制御を行う機能を、露出制御部110に持たせるようにしてもよい。この場合、露出制御部110は、例えば、電子シャッタの設定値については、ストロボ4発光時における外光の影響を排除するために、シャッタスピードが速くなる方向に補正する。また、AGC42のゲイン値については、ストロボ4の発光によって画素の値が飽和しないように、ゲイン(ISO感度)を小さくする方向に補正する。また、絞りの値については、ストロボ4の発光によって画素の値が飽和しないように、絞りを小さくする方向に補正する。
【0051】
本発光指令出力部111は、ストロボ回路70に対して、発光量決定部109が決定した発光量でストロボ4を本発光させるための指令を出力する処理機能である。
【0052】
(ストロボ制御の具体例)
次に、本実施の形態に係るデジタルカメラにおいて実施されるストロボ制御について、具体例を挙げながらさらに詳しく説明する。以下で説明する例は、画像の中央にデフォルトの測光エリアが設定され、このデフォルトの測光エリアを、ストロボ寄与率に応じて変更するようにした例である。静止画の撮影に先立って行われる上述したAE処理では、このデフォルトの測光エリアのAE評価値に基づいて、露出に関連するパラメータ(電子シャッタの設定値、AGC42のゲイン値、絞りの値)を求めている。
【0053】
図4は、画像内の単位ブロックごとに算出されるストロボ寄与率の簡単な例を説明する図である。ここでは、図4(a)に示すように、画像の中央に設定されたデフォルトの測光エリアPAに対して、主被写体である人物が偏った位置に存在する日中の逆光撮影シーンを想定している。また、この例では、図4(b)に示すように、画像を縦横16×16の256個の単位ブロックに分割し、これら256個の単位ブロックそれぞれについて、ストロボ寄与率を求めている。
【0054】
日中の逆光撮影シーンでは、ストロボ4の非発光時は主被写体である人物が陰となる。このため、ストロボ4の非発光時の画像では、人物が存在する位置の単位ブロックの輝度評価値(第1の輝度評価値)は小さな値となる。一方、ストロボ4を予備発光させるとストロボ4の光が人物で反射される。このため、ストロボ4の予備発光時の画像では、人物が存在する位置の単位ブロックの輝度評価値(第2の輝度評価値)はストロボ非発光時よりも十分に大きな値となる。したがって、人物が存在する位置の単位ブロックについて、上記の式(1)により算出されるストロボ寄与率は、比較的大きな値となる。
【0055】
これに対して、人物の背景となる部分は、ストロボ4の光が反射されないため、ストロボ4の非発光時の画像における輝度評価値(第1の輝度評価値)と、ストロボ4の予備発光時の画像における輝度評価値(第2の輝度評価値)とがほぼ等しくなる。このため、人物の背景となる位置の単位ブロックについて、上記の式(1)により算出されるストロボ寄与率は、0に近い小さな値となる。なお、ここでは日中の逆光撮影シーンを想定しているが、例えば夜間の撮影シーンなどにおいても、画像中の各単位ブロックのストロボ寄与率は同様の値をとる。
【0056】
図4(b)の例では、画像の中央に設定されたデフォルトの測光エリアPAに対して右側に偏った位置に、ストロボ寄与率が大きな値をとる単位ブロックが集中しており、デフォルトの測光エリアPAの右寄りの位置に主被写体である人物が存在していることが分かる。このように、画像内の単位ブロックにおけるストロボ寄与率の大きさから、主被写体である人物の位置を推定することができる。本実施の形態では、このような考え方に基づいて、測光エリアの位置を、デフォルトとして設定した画像中央の位置から、ストロボ寄与率の値が大きい単位ブロックが集まる位置に変更する。そして、変更後の新たな測光エリアに含まれる各単位ブロックの第2の輝度評価値をもとに測光エリアのAE評価値を算出し、ストロボ4の予備発光時における発光量の過不足分を補正するように、ストロボ4の本発光時における発光量を決定することを基本とする。
【0057】
ただし、上記の式(1)により算出されるストロボ寄与率は、ストロボ4の発光による輝度変化の度合いを表す指標値である。このため、例えば主被写体である人物が白い服を着用している場合などでは、白い服の部分のストロボ寄与率が、本来ストロボ4の発光量を合わせたい対象である人物の顔の部分のストロボ寄与率よりも大きくなり、測光エリアが白い服の部分に偏って設定される場合がある。このような場合には、ストロボ4の本発光時における発光量が白い服の部分に合わせて決定されて、人物の顔の部分がアンダーになってしまう。
【0058】
そこで、本実施の形態では、画像内の各単位ブロックの色評価値をもとに、画像内の肌色を映した領域と推定される単位ブロックである肌色領域を検出する。そして、この肌色領域として検出された単位ブロックに対して、ストロボ寄与率を大きくする重み付けを行って、重み付けを行った後のストロボ寄与率の大きさに基づき、ストロボ寄与率の値が大きい単位ブロックが集まる位置に、新たな測光エリアを設定するようにしている。これにより、主被写体である人物の特に顔の部分をカバーするように新たな測光エリアの位置を設定し、ストロボ4の本発光時における発光量を、人物の顔の部分に合った発光量とすることができる。
【0059】
(肌色領域の検出)
ここで、画像内の肌色領域を検出する処理の具体例について説明する。ストロボ4の予備発光時の画像は、上述したように、CMOSI/F部62により信号処理IC60内部に取り込まれ、RAW−RGB画像データとして、メモリコントローラ63によりSDRAM120(フレームメモリ)に保管される。このとき、CMOSI/F部62は、信号処理IC60内部に取り込んだ画像の各画素のR,Gr,Gb,Bの値を読み込み、CPU100に入力する。
【0060】
CPU100の色評価値算出部105は、ストロボ4の予備発光時の画像について、CMOSI/F部62が読み込んだ各画素のR,Gr,Gb,Bの値を用いて、上述した単位ブロックごとに、各ブロックに含まれる画素のR,Gr,Gb,Bそれぞれの信号の積算値を求める。そして、色評価値算出部105は、単位ブロックごとのGr信号の積算値に対するR信号の積算値の比と、Gb信号の積算値に対するB信号の積算値の比との組み合わせ(Gr/R,Gb/B)を算出する。算出した値は、各単位ブロックの色の特徴を表す特徴量であり、これを色評価値として用いる。なお、この値は、上述したように、AWBのゲインを求めるためにも用いられる。
【0061】
色評価値算出部105によって各単位ブロックの色評価値(Gr/R,Gb/B)が算出されると、肌色領域検出部106が、算出された各単位ブロックの色評価値(Gr/R,Gb/B)を、Gr/Rを横軸とし、Gb/Bを縦軸とした色空間上にプロットし、この色空間上における各ブロックの色評価値の分布から、肌色領域の検出を行う。
【0062】
図5は、各単位ブロックの色評価値(Gr/R,Gb/B)を、Gr/Rを横軸とし、Gb/Bを縦軸とした色空間上にプロットした様子を示す図である。この色空間上には、図5に示すように、実際の撮影環境下で肌色を映した領域のGr/R,Gb/Bが取り得る範囲(図5中の破線で囲まれた領域)が、肌色検出エリアとして設定されている。なお、この図5に示す色空間は、上述したAWBのゲインを求める基準となる白領域を検出する際にも用いられる。すなわち、図5に示す色空間上には、様々な光源下で白色を移した場合のGr/R,Gb/Bが取り得る範囲が、別途、白検出エリアとして設定されている。そして、色評価値がこの白検出エリア内に入る単位ブロックのRGBの割合を1:1:1とするように、AWBのゲインが設定される。
【0063】
肌色領域検出部106は、色評価値算出部105により算出された各単位ブロックの色評価値を図5のような色空間上にプロットしたときに、プロットされた色評価値(図5中の黒色の点)が、色空間上に設定された肌色検出エリア内に入る単位ブロックを、ストロボ4の予備発光時の画像の中で肌色を映した領域と推定される肌色領域として検出する。色評価値が肌色検出エリア内に入っているか否かは、判定用のプログラムを用意してCPU100で実行することにより簡単に実現できる。なお、CMOSセンサ30の分光感度の分布により同じ照明、被写体でも色の特徴が変化するので、図5のような色空間上の肌色検出エリアは、デジタルカメラが搭載するCMOSセンサ30の特性に合わせて決定しておくことが望ましい。
【0064】
ところで、ストロボ4の予備発光時の画像から各単位ブロックの色評価値(Gr/R,Gb/B)を算出する場合、ストロボ4の予備発光時の輝度が高すぎたり、低すぎたりする単位ブロックでは、色評価値の信頼性が低下する。例えば、ストロボ4の予備発光時に第2の輝度評価値算出部103により算出される第2の輝度評価値を10bitデータで表す場合、第2の輝度評価値が取り得る値の範囲は0〜1024となる。ここで、第2の輝度評価値が1024に近い単位ブロックでは、R,Gr,Gb,Bの値のいずれかが飽和している可能性が高く、Gr/R,Gb/Bを正しく算出できていない可能性がある。また、第2の輝度評価値が0に近い単位ブロックでは、R,Gr,Gb,Bの値のいずれかが僅かに変動しただけで、Gr/R,Gb/Bの値が大きく変化し、Gr/R,Gb/Bの値の信頼性が低い。
【0065】
そこで、肌色領域検出部106は、色評価値算出部105により算出された色評価値が図5のような色空間上に設定された肌色検出エリア内に入る単位ブロックであっても、その単位ブロックの第2の輝度評価値が予め定めた所定範囲、例えば、第2の輝度評価値を10bitデータで表す場合の8〜821の範囲に入らない場合は、その単位ブロックを肌色領域として検出しないことが望ましい。具体的には、肌色領域検出部106は、色評価値算出部105により算出された色評価値が図5のような色空間上に設定された肌色検出エリア内に入る単位ブロックそれぞれについて、第2の輝度評価値算出部103により算出された第2の輝度評価値を取得する。そして、下限閾値を8に設定するとともに、上限閾値を821に設定して、取得した各単位ブロックの第2の輝度評価値を閾値判定する。その結果、第2の輝度評価値が下限閾値以下または上限閾値以上となる単位ブロックは除外し、残りの単位ブロックを肌色領域として検出する。これにより、信頼性の高い肌色領域の検出を実現することができる。
【0066】
(ストロボ寄与率の加重)
次に、画像内の各単位ブロックのうち、肌色領域として検出された単位ブロックに対してストロボ寄与率を大きくする重み付けを行う加重処理の具体例について説明する。
【0067】
図6は、図4(b)に示したストロボ寄与率の分布に対し、肌色領域として検出された単位ブロックのストロボ寄与率を10倍とするような重み付けを行った結果を表す図である。この例では、画像の左上を基準として横方向の位置をx、縦方向の位置をyとし、(x,y)の位置にある単位ブロックを単位ブロック(x,y)と表したときに、単位ブロック(10,5)、単位ブロック(11,5)、単位ブロック(10,6)、単位ブロック(11,6)、単位ブロック(10,7)および単位ブロック(11,7)が、それぞれ肌色領域として検出されている。
【0068】
CPU100の加重部107は、肌色領域検出部106により画像内から肌色領域が検出されると、その肌色領域として検出された単位ブロックのストロボ寄与率の値を例えば10倍(他のブロックは1倍)とするような重み付けを行う。その結果、例えば図4(b)に示したストロボ寄与率の分布が図6のように更新される。つまり、肌色領域である単位ブロック(10,5)のストロボ寄与率と、単位ブロック(11,5)のストロボ寄与率と、単位ブロック(10,6)のストロボ寄与率と、単位ブロック(11,6)のストロボ寄与率と、単位ブロック(10,7)のストロボ寄与率と、単位ブロック(11,7)のストロボ寄与率とが、それぞれ20から200に更新される。
【0069】
(測光エリアの設定)
次に、ストロボ寄与率に応じて新たな測光エリアを設定する処理の具体例について説明する。ここでは、画像の中央に設定されたデフォルトの測光エリアPAを、肌色領域に対して重み付けされた後の各単位ブロックのストロボ寄与率の大きさに基づいて変更し、ストロボ4の本発光時における最適な発光量を求めるための新たな測光エリアPA’を設定する例を説明する。
【0070】
図7は、デフォルトの測光エリアPAを変更して新たな測光エリアPA’を設定する処理の一例を説明する図である。デフォルトの測光エリアPAは、例えば図7(a)に示すように、縦横3×3の9個のブロック集合に分割されている。各ブロック集合は、それぞれ9個の単位ブロックの集合である。CPU100の領域選択部108は、これら9個のブロック集合を用いてストロボ寄与率の大きさを評価し、主被写体である人物、特に人物の顔の位置をカバーするように、デフォルトの測光エリアPAを変更して新たな測光エリアPA’を設定する。
【0071】
具体的には、領域選択部108は、9個のブロック集合のそれぞれについて、各ブロック集合に含まれる単位ブロックのストロボ寄与率の平均値を求める。そして、領域選択部108は、ストロボ寄与率の平均値が最も大きいブロック集合を選択する。図7(a)の例では、右上のブロック集合に含まれる単位ブロックのストロボ寄与率の平均値が最も高いため、右上のブロック集合が選択されることになる。
【0072】
次に、領域選択部108は、図7(b)に示すように、ストロボ寄与率の平均値が最も大きいブロック集合(ここでは、右上のブロック集合Bn)の4つの角部のうち、デフォルトの測光エリアPAの境界に含まれない角部C1を抽出するとともに、デフォルトの測光エリアPAの4つの角部のうち、角部C1に対応した位置の角部C0を抽出する。図7(b)に示す例では、ストロボ寄与率の平均値が最も大きい右上のブロック集合Bnの4つの角部のうち、左下の角部がデフォルトの測光エリアPAの境界に含まれないため、左下の角部が角部C1として抽出される。また、デフォルトの測光エリアPAの4つの角部のうち、角部C1に対応する左下の角部が角部C0として抽出される。
【0073】
次に、領域選択部108は、角部C0と角部C1を結んだ線分C0−C1の長さを100%としたときに、この線分C0−C1上で、C0からの距離が、ブロック集合Bnのストロボ寄与率の平均値の大きさに対応する位置Cxを求める。ここでは、ブロック集合Bnのストロボ寄与率の平均値が88%であるため、線分C0−C1上でC0からの距離がC1までの距離の88%となる、図7(b)中の白丸の位置Cxが求められる。なお、ブロック集合Bnのストロボ寄与率の平均値が100%以上の場合には、Cx=C1となる。
【0074】
次に、領域選択部108は、図7(b)に示すように、画像内の複数の単位ブロックのうち、上記のように求めた位置C1を含む単位ブロックBmを抽出する。そして、抽出した単位ブロックBmの4つの角部のうち、角部C1や角部C0に対応する角部C2を抽出する。
【0075】
次に、領域選択部108は、図7(c)に示すように、デフォルトの測光エリアPAの角部C0を、上記のように求めた角部C2にシフトさせることで、ストロボ寄与率の平均値が最も大きいブロック集合Bnに測光エリアPAを寄せて、新たな測光エリアPA’を設定する。つまり、ブロック集合Bnのストロボ寄与率の平均値の大きさに応じた割合で、デフォルトの測光エリアPAをブロック集合Bnに寄せることで、新たな測光エリアPA’を設定する。
【0076】
なお、以上説明した例はあくまで一例であり、デフォルトの測光エリアPAを変更して新たな測光エリアPA’を設定する方法は、これに限定されるものではない。また、以上説明した例は、画像の中央に設定されたデフォルトの測光エリアPAを変更して新たな測光エリアPA’を設定するようにしているが、画像の全体の中から、肌色領域に対して重み付けを行った後のストロボ寄与率の値が大きい単位ブロックの集合を選択して、新たな測光エリアPA’として設定するようにしてもよい。
【0077】
以上のように設定(選択)された新たな測光エリアPA’は、ストロボ4の本発光時における最適な発光量を求めるための測光エリアとして用いられる。すなわち、CPU100の発光量決定部109は、新たな測光エリアPA’に含まれる単位ブロックの第2の輝度評価値の平均値を求めて測光エリアPA’のAE評価値とし、この測光エリアPA’のAE評価値をもとに、ストロボ4の予備発光時における発光量の過不足分を補正した発光量を、ストロボ4の本発光時における発光量として決定する。
【0078】
このとき、新たな測光エリアPA’に肌色領域として検出された単位ブロックが含まれる場合には、発光量決定部109は、その肌色領域として検出された単位ブロックに対して重み付けして、その重み値を用いた測光エリアの第2の輝度評価値の加重平均を、新たな測光エリアPA’のAE評価値として算出する。なお、新たな測光エリアPA’に肌色領域として検出された単位ブロックが含まれない場合は、単純な相加平均によりAE評価値を求めればよい。
【0079】
(ストロボ制御の処理フロー)
次に、本実施の形態に係るデジタルカメラにおいて実施されるストロボ制御の一連の処理フローを、図8のフローチャートに沿って説明する。なお、図8に示す処理フローは、レリーズシャッタボタン2の半押し(第1スイッチオン)時に行われるAE処理によりストロボ4の発光が必要と判定された後、レリーズシャッタボタン2の全押しにより第2スイッチがオンしたときに開始され、CPU100の上述した各機能構成により、各ステップの処理が実行される。
【0080】
図8に示す処理フローが開始されると、まずステップS101において、第1の輝度評価値算出部101により、ストロボ4の非発光時の画像から、画像内の各単位ブロックの輝度評価値(第1の輝度評価値)が算出される。第1の輝度評価値は、例えば、単位ブロックを構成する画素の輝度積算値である。
【0081】
次に、ステップS102において、予備発光指令出力部102からストロボ回路70に対してストロボ4を予備発光させるための指令が出力され、ストロボ4の予備発光が行われる。なお、ステップS101の第1の輝度評価値の算出は、ステップS102のストロボ4の予備発光後に行うようにしてもよい。
【0082】
次に、ステップS103において、第2の輝度評価値算出部102により、ストロボ4の予備発光時の画像から、画像内の各単位ブロックの輝度評価値(第2の輝度評価値)が算出される。第2の輝度評価値は、第1の輝度評価値と同様、例えば、単位ブロックを構成する画素の輝度積算値である。
【0083】
次に、ステップS104において、ストロボ寄与率算出部104により、ステップS101で算出された第1の輝度評価値と、ステップS103で算出された第2の輝度評価値とに基づき、上記の式(1)に従って、画像内の各単位ブロックのストロボ寄与率が算出される。
【0084】
次に、ステップS105において、色評価値算出部105により、ストロボ4の予備発光時の画像から、画像内の各単位ブロックの色の特徴を表す色評価値が算出される。色評価値は、例えば、単位ブロックを構成する画素のGr信号の積算値に対するR信号の積算値の比と、Gb信号の積算値に対するB信号の積算値の比との組み合わせ(Gr/R,Gb/B)である。
【0085】
次に、ステップS106において、肌色領域検出部106により、ステップS105で算出された各単位ブロックの色評価値に基づいて、ストロボ4の予備発光時の画像から、肌色を映した領域と推定される単位ブロックである肌色領域を検出する処理が行われる。
【0086】
ステップS107では、ステップS106の処理で肌色領域が検出されたか否かの判定が行われ、その判定結果に従って以降の処理が分岐する。すなわち、ステップS106の処理で肌色領域が検出されたと判定した場合は(ステップS107:Yes)、ステップS108に処理を移行し、ステップS106の処理で肌色領域が検出されていないと判定した場合は(ステップS107:No)、ステップS108をスキップして、ステップS109に処理を移行する。
【0087】
ステップS108では、加重部107により、ステップS106で肌色領域として検出された単位ブロックに対して、ストロボ寄与率を大きくする重み付けが行われる。この重み付けは、例えば、肌色領域として検出された単位ブロックのストロボ寄与率の値を10倍(他の単位ブロックは1倍)とするような重み付けである。
【0088】
次に、ステップS109において、領域選択部108により、画像内の各単位ブロックのストロボ寄与率の大きさに基づき、ストロボ寄与率が大きい単位ブロックが測光エリアに含まれるように、新たな測光エリアが設定される。ここで、ステップS106で肌色領域が検出された場合は、この肌色領域として検出された単位ブロックのストロボ寄与率に対してステップS108で重み付けが行われているため、大きな値となる。したがって、新たな測光エリアは、肌色領域を含むように設定される。
【0089】
ステップS110では、ステップS109で設定された新たな測光エリアに肌色領域が含まれているか否かの判定が行われ、その判定結果に従って以降の処理が分岐する。すなわち、ステップS109で設定された新たな測光エリアに肌色領域が含まれていると判定した場合は(ステップS110:Yes)、ステップS111に処理を移行し、ステップS109で設定された新たな測光エリアに肌色領域が含まれていないと判定した場合は(ステップS110:No)、ステップS112に処理を移行する。
【0090】
ステップS111では、発光量決定部109により、ステップS109で設定された新たな測光エリア内の肌色領域として検出された単位ブロックに対する重み付けが行われ、上記の式(2)に従って、測光エリアに含まれる単位ブロックの第2の輝度評価値の加重平均により、新たな測光エリアのAE評価値が算出される。
【0091】
一方、ステップS110で新たな測光エリアに肌色領域が含まれないと判定された場合には、ステップS112において、発光量決定部109により、新たな測光エリアに含まれる単位ブロックの第2の輝度評価値の相加平均が求められ、この相加平均により得られる値が、新たな測光エリアのAE評価値とされる。
【0092】
次に、ステップS113において、発光量決定部109により、新たな測光エリアのAE評価値に基づいて、ストロボ4の予備発光時における発光量の過不足が判定され、この過不足分を補うように、ストロボ4の本発光時における発光量が決定される。
【0093】
ステップS114では、ステップS113で決定された発光量がストロボ4の最大発光量を超えているか否かの判定が行われ、その判定結果に従って以降の処理が分岐する。すなわち、ステップS113で決定された発光量がストロボ4の最大発光量を超えていると判定した場合は(ステップS114:Yes)、ステップS115に処理を移行し、ステップS113で決定された発光量がストロボ4の最大発光量以下であると判定した場合は(ステップS114:No)、ステップS115をスキップして、ステップS116に処理を移行する。
【0094】
ステップS115では、露出制御部110により、ステップS111またはステップS112で算出された新たな測光エリアのAE評価値に基づいて、ストロボ4の本発光時における発光量の不足分を補うように、静止画撮影時の露出を決定される。具体的には、ストロボ4の本発光時における発光量の不足分を補って、主被写体である人物が十分に明るい画像となるように、AE処理により事前に求めた露出に関連するパラメータの値(電子シャッタの設定値、AGC42のゲイン値、絞りの値)が変更される。
【0095】
次に、ステップS116において、本発光指令出力部111からストロボ回路70に対して、ステップS113で決定された発光量でストロボ4を本発光させるための指令が出力され、ストロボ4の本発光が行われる。以上で、本実施の形態に係るデジタルカメラにおいて実施されるストロボ制御の一連の処理フローが終了する。
【0096】
(実施の形態の効果)
以上、具体的な例を挙げながら詳細に説明したように、本実施の形態に係るデジタルカメラは、画像内の複数の単位ブロックごとに、ストロボ4の発光による輝度変化の度合いを表すストロボ寄与率を算出するとともに、画像内の複数の単位ブロックのうち、肌色を映したと推定される肌色領域を検出する。そして、肌色領域として検出された単位ブロックに対して、ストロボ寄与率を大きくする重み付けを行い、重み付け後のストロボ寄与率の大きさに基づいて、ストロボ寄与率が大きい単位ブロックが集中する位置に新たな測光エリアを設定する。そして、新たな測光エリアのAE評価値を算出して、ストロボ4の予備発光時における発光量の過不足分を補正するように、ストロボ4の本発光時における発光量を決定するようにしている。
【0097】
したがって、本実施の形態に係るデジタルカメラによれば、人物撮影時に、主被写体である人物が例えば白い服を着用している場合や、人物の近くに反射の大きい物体が存在する場合であっても、これらに引きずられることなく、ストロボ4の本発光時における発光量を、人物撮影において最も重要と考えられる人物の顔の部分に合った発光量とすることができる。このように、本実施の形態に係るデジタルカメラによれば、人物撮影時におけるストロボ4の発光量を適切に制御することができる。
【0098】
また、本実施の形態に係るデジタルカメラは、ストロボ寄与率の大きさに基づいて設定した新たな測光エリアに、肌色領域として検出された単位ブロックが含まれる場合は、その肌色領域の単位ブロックに対して重み付けして、その重み値を用いた第2の輝度評価値の加重平均により、新たな測光エリアのAE評価値を算出し、そのAE評価値に基づいてストロボ4の本発光時の発光量を決定するようにしている。したがって、ストロボ4の本発光時における発光量を、人物撮影において最も重要と考えられる人物の顔の部分に高精度に合わせることができる。
【0099】
また、本実施の形態に係るデジタルカメラは、ストロボ予備発光時の画像から得られる単位ブロックごとのGr信号の積算値に対するR信号の積算値の比と、Gb信号の積算値に対するB信号の積算値の比との組み合わせ(Gr/R,Gb/B)を色評価値とし、この色評価値が、AWBの白検知に用いる色空間と同一の色空間上に設定された所定の肌色検出エリア内に入るか否かにより、画像内の肌色領域を検出するようにしている。したがって、肌色領域の検出を簡便かつ高精度に実現することができる。
【0100】
また、本実施の形態に係るデジタルカメラによれば、各単位ブロックの色評価値に基づいて肌色領域を検出する際に、色評価値が所定の肌色検出エリア内に入る単位ブロックであっても、その単位ブロックの第2の輝度評価値が予め定めた所定範囲に入らない場合は、その単位ブロックを肌色領域として検出しないようにすることで、信頼性の高い肌色領域の検出を実現することができる。
【0101】
また、本実施の形態に係るデジタルカメラは、新たな測光エリアのAE評価値に基づいて決定したストロボ4の本発光時の発光量がストロボ4の最大発光量を超える場合には、AE処理により事前に求めた露出に関連するパラメータの値(電子シャッタの設定値、AGC42のゲイン値、絞りの値)を変更し、この露出制御によりストロボ4の本発光時における発光量の不足を補うようにしている。したがって、例えば、夜間にデジタルカメラから離れた位置にいる人物を撮影する場合などにおいても、主被写体である人物が暗くなりすぎることを回避できる。
【0102】
なお、本実施の形態に係るデジタルカメラにおいて実行されるストロボ制御プログラムは、例えば、ROM140等に予め組み込まれて提供される。また、本実施の形態に係るデジタルカメラにおいて実行されるストロボ制御プログラムを、インストール可能な形式又は実行可能な形式のファイルでCD−ROM、フレキシブルディスク(FD)、CD−R、DVD(Digital Versatile Disc)等のコンピュータで読み取り可能な記録媒体に記録して提供するように構成してもよい。さらに、本実施の形態に係るデジタルカメラで実行されるストロボ制御プログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成してもよい。また、本実施の形態に係るデジタルカメラで実行されるストロボ制御プログラムを、インターネット等のネットワーク経由で提供または配布するように構成してもよい。
【0103】
本実施の形態に係るデジタルカメラで実行されるストロボ制御プログラムは、上述した第1の輝度評価値算出部101、予備発光指令出力部102、第2の輝度評価値算出部103、ストロボ寄与率算出部104、色評価値算出部105、肌色領域検出部106、加重部107、領域選択部108、発光量決定部109、露出制御部110および本発光指令出力部111を含むモジュール構成となっており、実際のハードウェアとしては、信号処理IC60のCPU(プロセッサ)100が上記ROM140からストロボ制御プログラムを読み出して実行することにより、上記各部がメインメモリ(例えばSDRAM120)上にロードされ、上記各部がメインメモリ上に生成されるようになっている。
【0104】
以上、本発明の具体的な実施の形態について説明したが、本発明は、上述した実施の形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で様々な変形を加えて具体化することができる。つまり、上述したデジタルカメラの構成や動作はあくまで具体的な一例を例示したものであり、用途や目的に応じて様々な変形が可能である。
【符号の説明】
【0105】
4 ストロボ
100 CPU
101 第1の輝度評価値算出部
103 第2の輝度評価値算出部
104 ストロボ寄与率算出部
105 色評価値算出部
106 肌色領域検出部
107 加重部
108 領域選択部
109 発光量決定部
110 露出制御部
【先行技術文献】
【特許文献】
【0106】
【特許文献1】特開2005−275265号公報

【特許請求の範囲】
【請求項1】
画像の撮影を行う前にストロボを予備発光させるとともに、画像の撮影時にストロボを本発光させる撮像装置において、
ストロボの非発光時の画像から、予め定めた画像内の複数の領域ごとに第1の輝度評価値を算出する第1の輝度評価値算出手段と、
ストロボの予備発光時の画像から、前記複数の領域ごとに第2の輝度評価値を算出する第2の輝度評価値算出手段と、
前記第1の輝度評価値と前記第2の輝度評価値とに基づいて、ストロボの発光による輝度変化の度合いを表すストロボ寄与率を、前記複数の領域ごとに算出するストロボ寄与率算出手段と、
ストロボの予備発光時の画像から、前記複数の領域ごとに、各領域の色の特徴を表す色評価値を算出する色評価値算出手段と、
前記色評価値に基づいて、前記複数の領域のうち、肌色を映した領域と推定される肌色領域を検出する肌色領域検出手段と、
前記肌色領域に対して前記ストロボ寄与率を大きくする重み付けを行う加重手段と、
前記肌色領域に対して重み付けを行った後の前記複数の領域の前記ストロボ寄与率の大きさに基づいて、前記複数の領域のうちの一部の領域を選択する領域選択手段と、
前記一部の領域の前記第2の輝度評価値に基づいて、ストロボの本発光時における発光量を決定する発光量決定手段と、を備えることを特徴とする撮像装置。
【請求項2】
前記発光量決定手段は、前記一部の領域に前記肌色領域が含まれる場合に、該肌色領域に対して重み付けした前記第2の輝度評価値の加重平均に基づいて、ストロボの本発光時における発光量を決定することを特徴とする請求項1に記載の撮像装置。
【請求項3】
前記色評価値は、各領域のG成分に対するR成分の比と、G成分に対するB成分の比との組み合わせで表される値であり、
前記肌色領域検出手段は、前記色評価値が予め定めた所定範囲内に入る領域を前記肌色領域として検出することを特徴とする請求項1または2に記載の撮像装置。
【請求項4】
前記肌色領域検出手段は、前記色評価値が前記所定範囲内に入る領域であっても、前記第2の輝度評価値が予め定めた所定範囲から外れた領域については、前記肌色領域として検出しないことを特徴とする請求項3に記載の撮像装置。
【請求項5】
前記発光量決定手段が決定した発光量がストロボの最大発光量を超える場合に、前記一部の領域の前記第2の輝度評価値に基づいて、画像の撮影時における露出を制御する露出制御手段をさらに備えることを特徴とする請求項1〜4のいずれか一項に記載の撮像装置。
【請求項6】
画像の撮影を行う前にストロボを予備発光させるとともに、画像の撮影時にストロボを本発光させる撮像装置において実行されるストロボ制御方法であって、
ストロボの非発光時の画像から、予め定めた画像内の複数の領域ごとに第1の輝度評価値を算出するステップと、
ストロボの予備発光時の画像から、前記複数の領域ごとに第2の輝度評価値を算出するステップと、
前記第1の輝度評価値と前記第2の輝度評価値とに基づいて、ストロボの発光による輝度変化の度合いを表すストロボ寄与率を、前記複数の領域ごとに算出するステップと、
ストロボの予備発光時の画像から、前記複数の領域ごとに、各領域の色の特徴を表す色評価値を算出するステップと、
前記色評価値に基づいて、前記複数の領域のうち、肌色を映した領域と推定される肌色領域を検出するステップと、
前記肌色領域に対して前記ストロボ寄与率を大きくする重み付けを行うステップと、
前記肌色領域に対して重み付けを行った後の前記複数の領域の前記ストロボ寄与率の大きさに基づいて、前記複数の領域のうちの一部の領域を選択するステップと、
前記一部の領域の前記第2の輝度評価値に基づいて、ストロボの本発光時における発光量を決定するステップと、を含むことを特徴とするストロボ制御方法。
【請求項7】
画像の撮影を行う前にストロボを予備発光させるとともに、画像の撮影時にストロボを本発光させる撮像装置に、
ストロボの非発光時の画像から、予め定めた画像内の複数の領域ごとに第1の輝度評価値を算出する機能と、
ストロボの予備発光時の画像から、前記複数の領域ごとに第2の輝度評価値を算出する機能と、
前記第1の輝度評価値と前記第2の輝度評価値とに基づいて、ストロボの発光による輝度変化の度合いを表すストロボ寄与率を、前記複数の領域ごとに算出する機能と、
ストロボの予備発光時の画像から、前記複数の領域ごとに、各領域の色の特徴を表す色評価値を算出する機能と、
前記色評価値に基づいて、前記複数の領域のうち、肌色を映した領域と推定される肌色領域を検出する機能と、
前記肌色領域に対して前記ストロボ寄与率を大きくする重み付けを行う機能と、
前記肌色領域に対して重み付けを行った後の前記複数の領域の前記ストロボ寄与率の大きさに基づいて、前記複数の領域のうちの一部の領域を選択する機能と、
前記一部の領域の前記第2の輝度評価値に基づいて、ストロボの本発光時における発光量を決定する機能と、を実現させることを特徴とするストロボ制御プログラム。

【図1−1】
image rotate

【図1−2】
image rotate

【図1−3】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate


【公開番号】特開2012−163679(P2012−163679A)
【公開日】平成24年8月30日(2012.8.30)
【国際特許分類】
【出願番号】特願2011−22656(P2011−22656)
【出願日】平成23年2月4日(2011.2.4)
【出願人】(000006747)株式会社リコー (37,907)
【Fターム(参考)】