デジタルカメラ、ゲイン算出装置、および、ゲイン算出方法
【課題】より適切なWBゲインを求める。
【解決手段】ストロボ光の予備照射を行うことなくユーザが意図する本画像とほぼ同一被写体を撮像した第一画像と、ストロボ光の予備照射をしながらユーザが意図する本画像とほぼ同一被写体を撮像した第二画像と、を取得する。続いて、第一画像および第二画像を構成するブロックの代表値および各ブロックの光源種類をブロック情報として取得する(S22、S24)。得られた第一画像のブロック情報および第二画像のブロック情報を比較して、予備照射の前後での被写界の色変化傾向を取得する(S26)。そして、得られた色変化傾向に基づいて環境光源を推定する。
【解決手段】ストロボ光の予備照射を行うことなくユーザが意図する本画像とほぼ同一被写体を撮像した第一画像と、ストロボ光の予備照射をしながらユーザが意図する本画像とほぼ同一被写体を撮像した第二画像と、を取得する。続いて、第一画像および第二画像を構成するブロックの代表値および各ブロックの光源種類をブロック情報として取得する(S22、S24)。得られた第一画像のブロック情報および第二画像のブロック情報を比較して、予備照射の前後での被写界の色変化傾向を取得する(S26)。そして、得られた色変化傾向に基づいて環境光源を推定する。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、ユーザが意図する撮像画像である本画像に対してホワイトバランス処理を施すデジタルカメラ、当該ホワイトバランス処理で用いられるホワイトバランスゲインを算出するゲイン算出装置、および、ゲイン算出方法に関する。
【背景技術】
【0002】
デジタルカメラでは、環境光源の色温度が異なっていても、常に白色物を正確に白く映し出すように補正するホワイトバランス(WB)処理を行う。WB処理では、ユーザが環境光源の種類を指定するマニュアルホワイトバランス(MWB)処理と、カメラ側で環境光源の種類を自動判定するオートホワイトバランス(AWB)が存在する。このうち、AWBでは、撮像された画像を複数のブロックに分割するとともに、各ブロックを構成する複数のピクセルの色値の代表値を算出し、この代表値に基づいて各ブロックの光源種類を判定する。そして、光源種類ごとのブロック数等に基づいて環境光源を推定している。
【0003】
ここで、AWBにおいて、適切にホワイトバランス処理を施すためには、正確な環境光源推定が不可欠である。そのため、従来から、正確に環境光源(環境光源の色)を推定するための技術が多数提案されている。
【0004】
例えば、特許文献1では、ストロボ撮影を行う際における被写体に及ぼすフラッシュ光と定常光の影響、ひいては、環境光源の色を正確に推定するための技術が開示されている。特許文献1に記載の技術では、本撮影に先立って、予備発光しながら撮影した予備発光画像データと、予備発光することなく撮影した比較画像データと、を取得する。そして、この予備発光画像データと比較画像データとの輝度値の変化量、および、輝度値に及ぼす予備発光の影響度に基づいて、被写体に及ぼすフラッシュ光と定常光の影響を判断したうえで、本撮影画像のWB処理を行う。
【0005】
また、特許文献2には、各ブロック(ブロック)の光源判定の際に、蛍光灯や昼光などの想定光源の典型色差と各ブロックの代表色差成分との距離を求め、当該距離からそのブロックが想定光源で照明されている信頼度を求めることが記載されている。そして、得られた信頼度や典型色差等に基づき、その画像のシーンを照明する照明光の色(環境光源の色)を求め、これを打ち消すようにホワイトバランス調整を行っている。これにより、より安定的に適切なホワイトバランス処理が可能となる。
【0006】
【特許文献1】特開2003−309854号公報
【特許文献2】特開2001−112019号公報
【発明の開示】
【発明が解決しようとする課題】
【0007】
ところで、ある種類の光源下における白色物の色と、他の種類の光源下における有色物の色が類似することが知られている。換言すれば、光源誤判定が生じやすい色範囲があることが知られている。例えば、昼光下での緑色物(例えば植物の葉など)の色は、蛍光灯下での白色物の色と類似していることが知られている。したがって、昼光下において緑色物が大部分を占める被写体を撮像した場合、当該緑色物部分のブロック光源種類を「蛍光灯光」と誤判定してしまい、結果として撮像画像全体の環境光源を誤判定する場合がある。
【0008】
従来の技術では、この光源誤判定が生じやすい色範囲については考慮されていない。そのため、被写体が光源誤判定が生じやすい色を持っていた場合、環境光源の誤判定が生じ、結果として適切なWB処理ができない場合があった。
【0009】
そこで、本発明では、被写体の色に関わらず、適切なWB処理が可能なデジタルカメラ、および、当該WB処理に用いられるWBゲインを算出するゲイン算出装置、ゲイン算出方法を提供することを目的とする。
【課題を解決するための手段】
【0010】
本発明のデジタルカメラは、ユーザが意図する撮像画像である本画像に対してホワイトバランス処理を施すデジタルカメラであって、ストロボ光の予備照射をすることなく本画像と同一被写界を撮像して第一画像を取得する第一画像取得手段と、ストロボ光の予備照射をしながら本画像と同一被写界を撮像して第二画像を取得する第二画像取得手段と、第一画像および第二画像に基づいて、予備照射による被写界の色の変化傾向を取得する色変化傾向取得手段と、少なくとも、取得された色変化傾向に基づいて、被写界の環境光源を推定する環境光源推定手段と、推定された環境光源に応じて、本画像のホワイトバランスゲインを算出するゲイン算出手段と、を備えることを特徴とする。
【0011】
色変化傾向取得手段は、第一画像および第二画像を複数のブロックに分割するとともに、各ブロックの色値の代表値および各ブロックの光源種類をブロック情報として取得するブロック情報取得手段を備え、取得された第一画像のブロック情報および第二画像のブロック情報の比較に基づき、色変化傾向を取得することが望ましい。この場合、色変化傾向取得手段は、第一画像と第二画像との間で、光源種類が変化したブロック割合および変化前後の光源種類を色変化傾向として取得することがより望ましい。また、色変化傾向取得手段は、第一画像と第二画像との間で、同一座標のブロックの代表値の変化量を色変化傾向として取得することも望ましい。また、色変化傾向取得手段は、第一画像および第二画像の間での、各光源ごとのブロック数の差を色変化傾向として取得することも望ましい。
【0012】
他の好適な態様では、さらに、本画像撮像時にストロボ光を本照射するか否かを判断する手段を備え、本照射すると判断された場合、環境光源推定手段は、色変化傾向に基づいて非照射時の環境光源を推定し、非照射時の環境光源と本照射のストロボ光のミックス割合を求め、得られたミックス割合と非照射時の環境光源とに基づいて本画像撮像時の環境光源を推定する。
【0013】
他の好適な態様では、環境光源推定手段は、被写界に対する予備照射の影響度を求める影響度取得手段を備えており、得られた影響度および色変化傾向に基づいて環境光源を推定する。この場合、影響度取得手段は、少なくとも、被写界輝度と被写界における予備照射の輝度との比率に基づいて予備照射の影響度を求めることが望ましい。また、影響度取得手段は、少なくとも、第一画像および第二画像の輝度値の変化量に基づいて予備照射の影響度を求めることが望ましい。
【0014】
予備照射の影響度が所定の基準値未満の場合、環境光源推定手段は、色変化傾向に基づいて仮の環境光源を推定するとともに得られた仮の環境光源に基づいて各光源種類の重み係数を求め、本画像を複数のブロックに分割するとともに各ブロックの色値の代表値および各ブロックの光源種類を判定し、本画像における各光源種類ごとのブロック数に当該光源種類に応じた重み係数を乗じた値に基づいて環境光源を推定することが望ましい。
【0015】
別の態様として、予備照射の影響度が所定の基準値未満の場合、環境光源推定手段は、色変化傾向に基づいて仮の環境光源を推定し、仮の環境光源と異なる光源下における白色物の色範囲として光源誤判定の生じやすい領域を除いた領域を設定し、本画像を複数のブロックに分割するとともに前記設定された白色物色範囲に基づいて各ブロックの光源種類を判定し、当該ブロックごとの光源種類判定結果に基づいて環境光源を推定することが望ましい。
【0016】
他の好適な態様では、さらに、第二画像の取得の要否を判断する第二画像要否判断手段を備え、第二画像の取得が不要と判断された場合、第二画像の取得、色変化傾向の取得は行わず、環境光源推定手段は、本画像に基づいて環境光源を推定する。
【0017】
ここで、第二画像要否判断手段は、少なくとも、本画像撮像時のストロボ光の照射の有無に基づいて第二画像の取得の要否を判断することが望ましい。また、第二画像要否判断手段は、少なくとも、第一画像に含まれる光源誤判定の生じやすい色部分の割合に基づいて第二画像の取得の要否を判断することも望ましい。また、第二画像要否判断手段は、被写界に対する予備照射の影響度に基づいて第二画像の取得の要否を判断することも望ましい。
【0018】
他の好適な態様では、第一画像および第二画像は、電子ファインダに撮像可能画像として表示されるプレビュー画像である。
【0019】
他の本発明であるゲイン算出装置は、ユーザが意図する撮像画像である本画像に対して施すホワイトバランス処理に用いられるゲインを算出するゲイン算出装置であって、ストロボ光の予備照射をすることなく本画像と同一被写界を撮像した第一画像と、ストロボ光の予備照射をしながら本画像と同一被写界を撮像した第二画像と、に基づいて、予備照射による被写界の色の変化傾向を取得する色変化傾向取得手段と、少なくとも、取得された色変化傾向に基づいて、被写界の環境光源を推定する環境光源推定手段と、推定された環境光源に応じて、本画像のWBゲインを算出するゲイン算出手段と、を備えることを特徴とする。
【0020】
他の本発明であるゲイン算出方法は、ユーザが意図する撮像画像である本画像に対して施すホワイトバランス処理に用いられるゲインを算出するゲイン算出方法であって、ストロボ光の予備照射をすることなく本画像と同一被写界を撮像して第一画像を取得する第一画像取得ステップと、ストロボ光の予備照射をしながら本画像と同一被写界を撮像して第二画像を取得する第二画像取得ステップと、第一画像および第二画像に基づいて、予備照射による被写界の色の変化傾向を取得する色変化傾向取得ステップと、少なくとも、取得された色変化傾向に基づいて、被写界の環境光源を推定する環境光源推定ステップと、推定された環境光源に応じて、本画像のWBゲインを算出するゲイン算出ステップと、を備えることを特徴とする。
【0021】
なお、ここで、「環境光源の推定」とは、「蛍光灯光」や「昼光」といった光源種類の推定の他、環境光源の色範囲の推定や、環境光源と同種の光源下における白色物の色範囲の推定も含む。
【発明の効果】
【0022】
本発明では、予備照射による被写界の色の変化傾向を取得し、当該色の変化傾向を考慮して本画像の環境光源を推定している。したがって、被写体が本来有している色に関わらず、正確な環境光源の推定、ひいては、適切なWBゲインの算出ができる。
【発明を実施するための最良の形態】
【0023】
以下、本発明の実施形態について図面を参照して説明する。図1は、本発明の実施形態であるデジタルカメラ10の構成を示すブロック図である。このデジタルカメラ10は、通常のデジタルカメラと同様に、画像撮像した際の環境光源の種類(または環境光源の色温度)を推定し、推定された環境光源に応じたホワイトバランス(以下「WB」という)ゲインを算出するオートAW機能を備えている。ここで、従来のオートWBでは、撮像画像データに基づいて環境光源を推定していた。しかし、後に詳説するが、撮像画像データに基づいて環境光源を推定した場合、被写体が持つ色によって誤推定が生じる場合があった。本実施形態のデジタルカメラは、かかる環境光源の誤推定、ひいては、不適切なWBゲインの算出を防止でき得る構成となっている。具体的には、本実施形態では、ユーザの意図する画像(以下「本画像」という)の撮像に先立って予備的に画像を二回撮像し、得られた二つの予備的な画像に基づいて環境光源を推定している。二つの予備的な画像とは、ストロボ照射をすることなく本画像と同一被写界を撮像した第一画像と、ストロボ照射をしながら本画像と同一被写界を撮像した第二画像である。この第一画像と第二画像との比較に基づき、ストロボ光の照射前後での被写界の色の変化傾向を取得し、この色変化傾向に基づいて環境光源を推定している。以下、このデジタルカメラ10の構成について詳説する。
【0024】
絞り部材12およびレンズ14を介して入力された被写界光は、撮像デバイスであるCCD16で焦点を結ぶ。絞り部材12の絞り量およびレンズ14の移動量は、CPU48により制御される。CCD16は、入力された被写界光を電気信号に変換し、撮像データとして出力する。このCCD16による光電変換のタイミングは、タイミングジェネレータ(TG)36を介してCPU48により制御される。通常、CCD16は、LCD34に表示されるプレビュー画像取得のために一定間隔で常時、電荷の蓄積および電荷の掃き出しを行う。また、ユーザから撮像指示があった場合には、プレビュー画像取得のため光電変換を一時中断し、本画像撮像に必要な露光時間をかけて電荷を蓄積した上で、電荷の掃き出しを行う。
【0025】
CCD16から出力された電気信号は、二重相関サンプリング回路(CDS)18による所定のアナログ信号処理、増幅回路(AMP)20による増幅処理が施された後、A/D変換器(A/D)22によりデジタルデータに変換される。デジタルデータは、画像データとして画像メモリ24に一時記憶される。
【0026】
画像メモリ24に一時記憶された画像データは、画像処理部25およびWBゲイン取得部51に出力される。画像処理部25において画像データは、RGB分離部26によりR成分、G成分、B成分の三つの色成分に分離される。分離されたデータは、WB処理部28、γ補正部30、色補正部32に順次送られ、所定の画像処理が施される。このうち、WB処理部28では、WBゲイン取得部51で算出された三種類のWBゲイン、すなわち、Rゲイン、Gゲイン、Bゲインを、対応する色成分データに乗算することによりWB処理を行う。
【0027】
画像処理が施された画像データは、LCD34および画像メモリ40に出力される。LCD34は、画像処理が施された画像データを電気的に表示する。ここでLCD34に表示される画像データはプレビュー画像と、後述する記録媒体44に記録された撮像画像と、がある。プレビュー画像を表示している場合、LCD34は、撮像可能な被写界像を表示する電子ファインダとして機能する。また、記録媒体44に記録された撮像画像を表示している場合、LCD34は、撮像済みの画像を再生表示する再生モニタとして機能する。
【0028】
画像メモリ40に一時記憶された画像データは、圧縮伸張回路42により圧縮処理された後、記録媒体44に記録される。この記録媒体44に記録された画像データは、ユーザからの指示に応じて、圧縮伸張回路42により伸張処理された後、LCD34に表示される。ユーザは、このLCD34の表示を見ることにより、撮像画像の内容を確認することができる。
【0029】
ストロボ装置46は、被写界に向かってストロボ光を照射する装置である。本実施形態のストロボ装置46は、キセノン管を光源としており、その照射光の色温度は約6500K前後となっている。このストロボ装置46の照射タイミングや照射量は、AE/AF/ストロボ制御部50により制御されている。
【0030】
ここで、ストロボ光は、被写界の光量不足を補うために照射される。また、本実施形態では、光量不足を補足するためだけでなく、環境光源推定のための参考画像である第二画像取得時にもストロボ光を照射する。すなわち、後に詳説するが、本実施形態では、正確な環境光源の推定、ひいては、適切なAWBゲインの算出のために、本撮影に先立って、予備的な撮像を二回行う。予備的な撮像の一回目はストロボ非照射で行われ、予備的な撮像の二回目はストロボ照射しながら行われる。そして、ストロボ非照射状態で撮像された第一画像と、ストロボ照射を行いながら撮像された第二画像と、を比較し、ストロボ光の照射に伴う被写界の色の変化傾向を取得する。そして、得られた色の変化傾向に基づいて環境光源の推定を行っている。
【0031】
AE/AF/ストロボ制御部50は、図示しないAEセンサや、側距センサの検出値に基づいて、環境輝度や被写体距離を算出し、露光量、レンズ14の駆動量、ストロボ照射のタイミングや照射量等を算出する。そして、得られた露光量等に基づいてTG36のタイミング制御を、レンズ駆動量に応じてレンズ14の駆動を、ストロボ照射のタイミングや照射量に基づいてストロボ装置46を、それぞれ制御する。
【0032】
WBゲイン取得部51は、既述のWBゲイン処理で用いられるWBゲインを算出するもので、ブロック情報取得部52、環境光源推定部54、ゲイン算出部56に大別される。ブロック情報取得部52は、撮像により得られた画像を複数のブロック(ブロック)に分割したうえで、各ブロックの代表値および各ブロックの光源種類をブロック情報として算出する。環境光源推定部54は、得られたブロック情報等に基づいて環境光源を推定する。ゲイン算出部56は、推定された環境光源、および、ブロック情報等に基づいてWBゲインを算出する。算出されたWBゲインは、既述のWB処理部28に出力される。なお、環境光源をユーザが指定するマニュアルWB設定の場合には、ブロック情報は、環境光源推定部54に出力されることなく、直接、ゲイン算出部56に出力される。また、AE/AF/ストロボ制御部50およびWBゲイン取得部51は、実際には、CPU48の一機能として実現されている。そして、説明を省略しているが、このCPU48は、既述のAE、AF、ストロボの制御やWBゲインの算出のほか、デジタルカメラ10全体を制御している。
【0033】
次に、このデジタルカメラ10でのAWB処理の流れについて説明する。はじめに従来のAWB処理の流れについて簡単に説明する。従来のAWB処理では、ユーザからの撮影指示に従って本画像の撮像が実行されると、得られた本画像に基づいて環境光源を推定し、推定された環境光源に応じたAWBゲインを算出する。ここで本画像に基づく環境光源の推定は次の手順で行われる。まず、画像メモリ24に記憶された本画像を複数のブロック(ブロック)に分割する。続いて、各ブロックの色値の代表値、具体的には、各ブロックを構成する複数のピクセルの色値の平均値を算出する。各ブロックの代表値が算出できれば、当該代表値に基づき、各ブロックの光源種類を判定する。このブロックごとの光源種類の判定は、予め、規定された白色物色範囲に基づいて行われる。白色物色範囲は、各種光源下における白色物の色範囲を示すものである。すなわち、周知のとおり、同じ白色物であっても光源種類により実際に発する色は変化する。この光源種類に応じた白色物の色範囲を示したものが白色物色範囲である。
【0034】
図2は、白色物色範囲の一例を示す図である。図2は、各種光源下における白色物の色範囲を、Tスペースと呼ばれるカラースペース上で表現したものである。RGB値で表現された色をTスペース上の座標値に変換する場合は、次式を用いる。
【数1】
ここで、Tlはブロックの輝度を表し、Tg,Tiはブロックの色差を表す。Tスペースにおいては、このTgが縦軸、Tiを横軸として色を表現している。なお、ここで用いた線形変換の行列はあくまで一例であり、別の行列を用いてももちろん良い。
【0035】
図2において示された矩形は、各種光源下における白色物の色範囲を示している。すなわち、矩形Efは蛍光灯光下における白色物の色範囲を、矩形Edは昼光下における白色物の色範囲を、矩形Eoは日陰光下における白色物の色範囲を、矩形Etはタングステン光下における白色物の色範囲を、それぞれ示している。
【0036】
従来のAWB処理では、この白色物色範囲と本画像の各ブロックの代表値とを比較して、本画像の各ブロックの光源種類を判定していた。すなわち、Tスペースにおける各ブロックの代表値の座標値を求め、当該座標がいずれの白色物色範囲に含まれるかを判定する。例えば、代表値の座標値が矩形Efの内部に位置する場合、当該ブロックの光源種類は「蛍光灯光」であると判断できる。一方、いずれの白色物色範囲にも含まれない場合には、当該ブロックの光源は無し、と判断される。そして、本画像を構成する全てのブロックについて、代表値の算出、および、光源種類の判定が終了すれば、各光源種類ごとにブロック数をカウントする。カウントの結果、ブロック数が最多となる光源種類を、当該本画像全体の光源、すなわち、環境光源と判定する。本画像全体の環境光源が判定できれば、当該環境光源の本画像全体に対する寄与度を求め、当該寄与度に応じたAWBゲインを算出する。
【0037】
このように、従来のAWB処理では、本画像から環境光源を推定し、当該環境光源に応じたAWBゲインを算出していた。ここで、適正なAWBゲインを算出するためには、正確に環境光源を推定することが必須である。しかしながら、本画像のみに基づいて環境光源を推定する従来の方法では、正確に環境光源を推定することは困難であった。その原因として、ある光源下における有色物の色が、他の光源下における白色物色範囲に含まれることが挙げられる。例えば、昼光下における緑色物の色(例えば、植物の葉など)は、蛍光灯下における白色物の色と類似していることが知られている。他にも、昼光下におけるオレンジ色物の色は、タングステン光下における白色物の色と類似している。また、蛍光灯光下における水色物の色は、昼光下における白色物の色と類似していることが知られている。図2において破線で示した楕円は、かかる他光源下における白色物色範囲に含まれる有色物の色範囲を示している。すなわち、楕円Aは昼光下における緑色物の色範囲を、楕円Bは蛍光灯光下における水色物の色範囲を、楕円Cは昼光下におけるオレンジ色物の色範囲を示している。各ブロックの代表値が、これら有色物の色範囲A〜Cに含まれていた場合、各ブロックの光源を誤判定する恐れがあった。すなわち、代表値が楕円A内に位置する場合、当該ブロックは蛍光灯下における白色物か、昼光下における緑色物であるかが判断できない。その結果、各ブロックの光源種類を誤判定してしまい、結果として画像全体の光源種類(環境光源)を誤推定する場合があった。
【0038】
本実施形態は、かかる誤推定を防止し、より正確に環境光源を推定するために、本画像の撮影に先立って、予備的な画像である第一画像および第二画像を取得し、これら第一画像および第二画像に基づいて環境光源の推定を行っている。第一画像はストロボ光の予備照射をすることなく、第二画像はストロボ光の予備照射をしながら、それぞれ撮像する。そして、この第一画像および第二画像の色の変化傾向、換言すればストロボ光の予備照射前後での色の変化傾向に基づいて環境光源を推定している。以下、この第一画像および第二画像を利用したAWB処理の流れについて説明する。
【0039】
図3は、WB設定としてAWBが指示された状態での撮影処理の流れを示すフローチャートである。本実施形態では、通常の撮像動作と異なり、ユーザが意図した本画像の他に、予備的な画像、すなわち、第一画像および第二画像も撮像する。この第一画像および第二画像は、後に詳説するように環境光源推定に利用される。以下、本実施形態における撮像処理の流れについて説明する。
【0040】
既述したように、デジタルカメラ10は、LCD34に表示するためのプレビュー画像を常時取得している。取得されたプレビュー画像は、LCD34に表示された後、廃棄される。この状態で、デジタルカメラ10のCPU48は、レリーズスイッチの半押し(S1)を検出すると、プレビュー画像を第一画像として画像メモリに一時記録する(S10、S14)。
【0041】
第一画像の取得後、次のプレビュー画像取得までの間にレリーズスイッチの全押し(S2)が検出されなければ、画像メモリに記録されている第一画像を廃棄し、代わりに、新たに取得したプレビュー画像を第一画像として画像メモリに記憶する(S14,S12)。レリーズスイッチS2が検出できるまで、この作業は繰り返される。
【0042】
第一画像の取得後、次のプレビュー画像取得までの間にレリーズスイッチS2が検出できた場合、次のプレビュー画像を第二画像として取得する(S18)。ここで、第二画像は、ストロボ光の予備照射をしながら撮像することで取得される。すなわち、レリーズスイッチS2が検出された時点で、AE/AF/ストロボ制御部50は、ストロボ装置46に対してストロボ光の照射を指示する。ストロボ光の予備照射をしながら撮像することにより得られたプレビュー画像は、第二画像として画像メモリに記憶される。
【0043】
第二画像が取得できれば、続いて、本画像の撮像を行う(S20)。本画像は、ユーザが意図した画像として、画像メモリ24に記憶される。以上の流れで、第一画像、第二画像、および、本画像が得られれば、撮影処理は終了となる。
【0044】
ここで、第一画像の取得を、レリーズスイッチS2の検知前に行っているのは、レリーズスイッチS2動作から本画像撮像までの時間を短くするためである。すなわち、レリーズスイッチS2はユーザからの画像撮像指示である。かかる画像撮像指示から本画像撮像までの時間が長いと、ユーザが意図する画像が得られない場合がある。そこで、本実施形態では、第一画像の取得をレリーズスイッチS2動作がなされる前に行っている。ただし、後に詳説するように、第一画像の被写体および第二画像の被写体は、本撮像画像の被写体とほぼ同じであることが必要である。換言すれば、第一画像撮像から本画像までに大きな時間差が無いことが望ましい。そこで、本実施形態では、既述したように、レリーズスイッチS1検知からレリーズスイッチS2検出までの間、第一画像の取得と廃棄を繰り返し、レリーズスイッチS2の直前に取得されたプレビュー画像を第一画像として記憶している。
【0045】
ここで、レリーズスイッチS2動作から本画像撮像までの時間を短縮するためには、第二画像の取得もレリーズスイッチS2動作前に行うことが望ましい。しかし、レリーズスイッチS1からレリーズスイッチS2までの時間は、ユーザが決めることであり、カメラ側で予測することはできない。ストロボ光の予備照射を伴わない第一画像であれば、既述のとおり、プレビュー画像の取得と廃棄を繰り返すことにより、レリーズスイッチS2動作直前のプレビュー画像を第一画像として取得できる。これに対し、第二画像は、ストロボ光の予備照射を伴ったプレビュー画像であることが必要である。かかる第二画像の取得と廃棄を繰り返した場合、予備照射が繰り返し行われることになる。繰り返しの予備照射は、ユーザにとって不快であるばかりでなく、過度のバッテリ消費やユーザが故障と誤解するなどの問題を招く。そこで、本実施形態では、第二画像は、レリーズスイッチS2動作の直後に、1回だけ行うようにしている。
【0046】
次に、このようにして得られた、第一画像および第二画像を利用したAWB処理について図4を用いて説明する。図4は、図3で図示した画像撮像処理と並行して行われるAWB処理の流れを示すフローチャートである。
【0047】
AWB処理を行う場合には、まず、第一画像を複数のブロックに分割し、当該第一画像のブロック情報を取得する(S22)。ここで、ブロック情報とは、各ブロックの色値の代表値や、各ブロックの光源種類などの情報である。本実施形態では、各ブロックを構成する複数のピクセルの色値の平均値を代表値として取り扱う。ただし、各ブロックの持つ色情報を示すパラメータであれば、ピクセルの加算値等も代表値として取り扱える。各ブロックの光源種類は、当該ブロックの代表値と、予め規定された白色物色範囲と、に基づいて決定される。ここで使用される白色物色範囲は、従来の白色物色範囲、すなわち、図2に例示したような白色物色範囲と同じである。第一画像の各ブロックの代表値と白色物色範囲とを比較して、各ブロックの光源種類を判定する。そして、得られた各ブロックの代表値および光源種類を第一画像のブロック情報として一時記憶する。
【0048】
第一画像のブロック情報を取得すれば、続いて、ストロボ光の予備照射をしながら撮像することにより得られた第二画像のブロック情報を取得する(S24)。すなわち、第一画像と同様に、第二画像を複数のブロックに分割し、各ブロックの代表値を算出する。そして、第二画像の各ブロックの代表値と白色物色範囲とを比較し、各ブロックの光源種類を判定する。そして、得られた各ブロックの代表値および光源種類を第二画像のブロック情報として一時記憶する。
【0049】
図5は、第一画像および第二画像の各ブロックの光源判定結果の一例を示す図である。この図5において、「Fl」は「蛍光灯光」と判定されたブロックを、「Dy」は「昼光」と判定されたブロックを、「Tn」は「タングステン光」と判定されたブロックを、それぞれ示している。また、記号が付されていないブロックは「光源無し」と判断されたブロックを示している。
【0050】
次に、第一画像のブロック情報と第二画像のブロック情報とを比較して、ストロボ光の予備照射前後での色変化傾向を取得する(S26)。色変化傾向としては、各種の算出方法が考えられるが、本実施形態では、第一画像および第二画像の間で、光源種類が変化したブロック割合および変化前後の光源種類を色変化傾向として記憶する。
【0051】
例えば、図5に図示した例であれば、太線で囲んだブロックP1,P2,P3が、第一画像および第二画像の間で光源種類が変化したブロックである。この図5において、第一画像において「Fl」であった五ブロックのうち三ブロックP1は第二画像において「Dy」に変化していることがわかる。すなわち、3/5の割合で「Fl」ブロックが「Dy」ブロックに変化している。同様に、4/14の割合で「Dy」ブロックが「光源無し(白色物色範囲外)」に、2/4の割合で「Tn」ブロックが「光源無し(白色物色範囲外)」に変化していることがわかる。本実施形態では、この光源種類ごとのブロック変化割合および変化後の光源種類を色変化傾向として算出される。
【0052】
色変化傾向が算出されれば、続いて、当該色変化傾向に基づいて環境光源を推定する(S28)。ここで、予備照射の前後における色変化傾向に基づいて環境光源が推定できる原理について説明する。当然のことながら、予備照射を行った場合、被写体の色は、当該予備照射の影響を受けて変化する。この色の変化傾向が、(ストロボ光非照射時の)環境光源種類に応じて異なることが知られている。図6〜図8は、それぞれ、「蛍光灯光」、「タングステン光」、「昼光」の環境光源下でストロボ照射した場合の色の変化方向を示す図である。なお、図6〜図8では、参考のため、ストロボ光下における白色物色範囲Esも図示している。
【0053】
図6に図示するとおり、蛍光灯光下でストロボ照射を行った場合、被写界の色は、青方向、かつ、マゼンタ方向に大きく移動する。したがって、予備照射によって、予備照射前に「蛍光灯光(Fl)」の白色物色範囲Ef内に位置した色は「昼光(Dy)」の白色物色範囲Edへ、予備照射前に「タングステン光(Tn)」の白色物色範囲Et内に位置した色は白色物色範囲外へ、予備照射前に「昼光(Dy)」の白色物色範囲Ed内に位置した色は白色物色範囲外へ、それぞれ移動する。
【0054】
また、図7に図示するとおり、環境光源が「タングステン光」の状態でストロボ照射を行った場合、被写界の色は、青方向にのみ大きく移動する。したがって、予備照射によって、予備照射前に「蛍光灯光(Fl)」の白色物色範囲Ef内に位置した色は白色物色範囲外方向へ、「タングステン光(Tn)」の白色物色範囲Et内に位置した色は「昼光(Dy)」の白色物色範囲Ed方向へ、予備照射前に「昼光(Dy)」の白色物色範囲Ed内に位置した色は「日向日陰光(Os)」の白色物色範囲Eo方向へ、それぞれ移動する。
【0055】
また、図8に図示するとおり、環境光源が「昼光」の状態でストロボ照射を行った場合、被写界の色は、青方向にのみ僅かに移動する。したがって、予備照射を行っても、色の変化は殆ど生じない。
【0056】
本実施形態では、以上の非照射時の環境光源種類に応じたストロボ照射に伴う色変化傾向の違いに基づいて、本画像の環境光源種類を推定している。すなわち、ストロボ照射することなく撮像された第一画像とストロボ照射しながら撮像された第二画像とを比較する。その結果、「Fl」ブロックの一部が「Dy」ブロックに、「Tn」ブロックの一部が「光源なし」ブロックに、「Dy」ブロックの一部が「光源無し」ブロックに変化した場合には、ストロボ光非照射時の環境光源を「蛍光灯(Fl)」と判断する。また、「Fl」ブロックの一部が「光源無し」ブロックに、「Tn」ブロックの一部が「Dy」ブロックに、「Dy」ブロックの一部が「光源なし」ブロックに、変化した場合には、ストロボ光非照射時の環境光源を「タングステン光(Tn)」と判断する。さらに、第一画像と第二画像との間での色変化が殆ど無かった場合には、ストロボ光非照射時の環境光源を「昼光(Dy)」と判断する。
【0057】
図9は、第一画像および第二画像の間での色変化傾向と、当該色変化傾向に基づいて推定される環境光源種類と、の関係を示すテーブルである。本実施形態では、ステップS26で得られた色変化傾向を、図9に図示するようなテーブルに当てはめて、環境光源種類を推定する。例えば、図5に例示した場合、第一画像から第二画像にかけて、3/5の「Fl」ブロックが「Dy」ブロックに、4/14の「Dy」ブロックが「光源無し(白色物色範囲外)」に、2/4の「Tn」ブロックが「光源無し(白色物色範囲外)」に、それぞれ変化している。したがって、図5に例示した第一画像および第二画像が取得された場合、非照射時の環境光源は「蛍光灯光(Fl)」と推定することができる。
【0058】
色変化傾向に基づく環境光源の推定ができれば、その後の流れは、従来のAWBゲイン算出における環境光源推定後の流れと同様である。すなわち、本画像を複数のブロックに分割したうえで、各ブロックの代表値および光源種類を判定する。そして、推定された環境光源を同じ光源種類と判定されたブロックの数等に基づいて、当該環境光源の画像全体に対する寄与度を求める。そして、環境光源種類および寄与度等に基づいてAWBゲインを算出する。AWBゲインが算出できれば、このAWBゲインを本画像に乗算し、AWB処理を終了する。
【0059】
以上の説明から明らかなように、本実施形態では、ストロボ光の照射前後での被写界の色変化に基づいて環境光源を推定している。そのため、本画像に光源誤判定が生じやすい色(図2における楕円A〜C)の部分が大量に含まれていたとしても、正確に環境光源を推定できる。その結果、被写体の持つ色に関わらず、常に適切なAWBゲインを得ることができる。
【0060】
なお、本実施形態では、色変化傾向として、第一画像および第二画像の間での、ブロック光源種類の変化割合と変化後の光源種類を取得している。しかし、ストロボ照射前後での被写体の色の変化傾向を示すパラメータであれば、当然、他のパラメータを色変化傾向として取得してもよい。例えば、第一画像および第二画像の間で、同一座標ブロックの代表値の変化量の平均値を色変化傾向として取得してもよい。すなわち、図10に図示するように第一画像における各ブロックの代表値をLi=(LTIi,LTGi)、第二画像における各ブロックの代表値をMi=(MTIi,MTGi)とする。なお、i(i=1,2,・・・n)はブロックの座標値を示しており、MTIはTスペース上の横軸座標値を、MTGはTスペース上の縦軸座標値を示している。そして、この場合に、色変化傾向AVを、AV=(AVTI,AVTG)={(Σ|Li−Mi|)/n}として取得してもよい。その結果、VTI、VTGのいずれもが小さい場合には非照射時の環境光源は「昼光」と判断できる。また、VTI、VTGのいずれもが大きい値である場合には環境光源は「蛍光灯光」と判断できる。さらに、VTIのみが大きい値である場合、環境光源は「タングステン光」と判断できる。
【0061】
また、ブロック光源種類の変化数だけを、色変化傾向として用いてもよい。例えば、図11に例示するような第一画像および第二画像の光源判定結果が得られたとする。この場合、「Fl」ブロックは−3個、「Tn」ブロックは−3個、「Dy」ブロックは−2個、「Os」ブロックは+5個の変化数であることがわかる。換言すれば、「Fl」および「Tn」ブロックは減少傾向、「Os」ブロックは増加傾向にあることがわかる。ストロボ照射によりかかる変化傾向となる環境光源種類は、「タングステン光(図7)」だけである。したがって、図11の図示例における環境光源種類は「タングステン光」であることが分かる。
【0062】
さらに、第一画像および第二画像をブロック分割することなく、色変化傾向を取得してもよい。すなわち、第一画像全体の色値の平均値、および、第二画像全体の色値の平均値を取得し、両平均値の差を色変化傾向として取得してもよい。いずにしても、第一画像および第二画像での色の変化傾向、換言すれば、ストロボ照射前後での被写界の色の変化傾向が推測できるパラメータであれば、どのようなパラメータでもよい。
【0063】
次に、第二実施形態について図12を用いて説明する。図12は、第二実施形態におけるAWB処理の流れを示す図である。第二実施形態における撮像処理の流れは、第一実施形態と同じである。すなわち、レリーズスイッチS1の検知で予備照射をすることなく撮像して第一画像を取得し、レリーズスイッチS2の検知で予備照射しながら撮像して第二画像を取得し、その後、本画像を撮像する。
【0064】
また、AWB処理においても、第一画像および第二画像の色変化傾向の取得までの流れ(S22〜S26)は第一実施形態と同じである。本実施形態では、色変化傾向を取得した後の、環境光源の推定処理(S28)が第一実施形態と異なっている。具体的には、本実施形態では、第一画像および第二画像での色変化傾向だけでなく、予備照射が被写界に与える影響度をも考慮して環境光源を推定している。以下、本実施形態におけるAWB処理の流れを環境光源の推定処理を中心に説明する。
【0065】
まず、第一画像及び第二画像それぞれのブロック情報を取得し(S22、S24)、得られたブロック情報に基づき色変化傾向を取得する(S26)。続いて、得られた色変化傾向に基づいて仮の環境光源を推定する(S34)。仮の環境光源の推定方法は、第一実施形態における環境光源の推定方法と同じである。すなわち、第一画像および第二画像において色の変化が殆ど無ければ「昼光」と、青方向へ大きく変化していれば「タングステン光」と、青方向およびマゼンタ方向に大きく変化していれば「蛍光灯光」と判断する。この色変化傾向に基づく環境光源の推定結果は、「仮の環境光源」として一時記憶される。
【0066】
続いて、第二画像撮像時に照射される予備照射の被写界に対する影響度を求める(S36)。予備照射の影響度は、被写界における予備照射の輝度Pevと環境輝度Eevとの割合(Pev/Eev×100%)とする。この予備照射の影響度が高いほど、予備照射に伴う色変化が大きいといえる。逆に予備照射の影響度が小さいと、被写界の色は予備照射の前後で殆ど変化しない。そのため、既述の色変化傾向から環境光源を推定することは困難となる。換言すれば、予備照射の影響度は、色変化傾向に基づいた環境光源の推定結果の信頼度を表すパラメータといえる。
【0067】
ここで、環境輝度Eevは、デジタルカメラに設けられた測光センサ等で検出される。一方、被写界における予備照射の輝度Pevは、センサ等での検出が困難であるため、本実施形態では、被写体距離および予備照射量に基づいて予備照射輝度Pevを求めている。具体的には、被写体距離が大きいほど、また、予備照射量が小さいほど、予備照射のストロボ光が被写体に届かなくなるため、予備照射輝度Pevは小さくなると推定する。図13は、予備照射の影響度の算出方法の一例を示す図である。図13では、被写体距離および予備照射量の交点位置C1から予備照射輝度Pevが求まる。続いて、求まった予備照射輝度Pevと環境輝度Eevとの交点位置C2から、予備照射の影響度である予備照射の輝度Pevと環境輝度Eevとの割合が求まる仕組みとなっている。
【0068】
予備照射の影響度が取得できれば、続いて、当該影響度が所定の基準値以上か否かを判断する(S38)。この基準値としては、予備照射前後で被写界の色が変化する程度の影響度以上の値が設定される。影響度が所定の基準値以上である場合には、既述の仮の環境光源を、AWBゲイン算出で使用する環境光源として決定する(S40)。そして、それ以降の処理は、第一実施形態と同じになる。
【0069】
一方、予備照射の影響度が所定の基準値未満である場合には、予備照射を行っても被写界の色変化が生じている可能性が低いといえる。換言すれば、予備照射の影響度が所定の基準値未満である場合には、色変化傾向のみから正確に環境光源を推定することは困難である。したがって、この場合は、本画像の色情報も考慮して環境光源を推定する。
【0070】
具体的には、まず、本画像のブロック情報を取得する(S42)。すなわち、本画像を複数のブロックに分割し、各ブロックの代表値を求め、当該代表値に基づいて各ブロックの光源種類を判定する。
【0071】
次に、光源種類ごとのブロック数、すなわち、「蛍光灯光」と判定されたブロック数、「タングステン光」と判定されたブロック数、「昼光」と判定されたブロック数、「日向日陰光」と判定されたブロック数をそれぞれ算出する(S44)。例えば、図14に図示するようなブロック光源判定結果が得られたとする。この場合、蛍光灯ブロックは5個、昼光ブロックは14個、タングステン光ブロックは7個とカウントされる。
【0072】
続いて、仮の環境光源に基づいて、各光源種類の重み係数を決定する(S46)。これは、仮の環境光源と同種の光源の重み係数が最も大きくなるようにする。例えば、仮の環境光源が「蛍光灯光」であった場合、「蛍光灯光」の重み係数を1、「昼光」の重み係数を0.3、「タングステン光」の重み係数を0.3、「日向日陰光」の重み係数を0.3とする。
【0073】
そして、得られた光源種類ごとのブロック数と、対応する重み係数とを乗算し、その乗算値が最大の光源種類を環境光源として決定する(S48)。例えば、図14に図示した例では、「蛍光灯光」は5個×1=5、「昼光」は14個×0.3=4.2、「タングステン光」は7個×0.3=2.1、「日向日陰光」は0個×0.3=0となる。この場合、乗算値が最も大きいのは「蛍光灯光」であるため、環境光源は「蛍光灯」と推定できる。
【0074】
環境光源が推定できれば、従来のAWB処理と同様に、当該環境光源の画像全体に対する寄与度を求め、当該寄与度に応じたAWBゲインを求める(S30)。そして、得られたAWBゲインを本画像に乗算することでAWB処理が終了となる(S32)。
【0075】
以上、説明したように本実施形態では、被写界に対する予備照射の影響度に応じて、適宜、環境光源の推定方法を変えている。そのため、予備照射の照射量が小さい場合や、被写体距離が遠い場合であっても信頼性の高い環境光源の推定が可能となる。その結果、より適切なAWBゲインを得ることができる。
【0076】
なお、本実施形態では、予備照射の影響度として、環境輝度と予備照射輝度の割合を用いたが、当然、他のパラメータを予備照射の影響度として用いてもよい。例えば、第一画像および第二画像の輝度変化量を予備照射の影響度として用いてもよい。輝度変化量が小さい場合には、予備照射のストロボ光が被写体に到達しておらず、予備照射の影響度が小さいと判断できる。また、環境輝度と予備照射輝度の割合と、輝度変化量と、に基づいて予備照射の影響度を求めてもよい。すなわち、環境輝度と予備照射輝度の割合から輝度変化量を予測し、実際の第一画像および第二画像の輝度変化量が予測値より小さい場合には、予備照射のストロボ光は被写体に到達しておらず、予備照射の影響度は低いと判断してもよい。例えば、予備照射輝度Pevが環境輝度Eevの50%であった場合、第二画像の輝度値は第一画像の輝度値の1.5倍になることが予想される。この場合において、実際に得られた第二画像の輝度値が、第一画像の輝度値の1.5倍未満であった場合には、予備照射のストロボ光が被写体に十分に到達していないと判断できる。この場合は、ステップS42〜S48のように、本画像のブロック情報も利用して環境光源を推定する。
【0077】
また、予備照射の影響度が低い場合の環境光源の推定手法も適宜変更してもよい。例えば、予備照射の影響度が低い場合には、従来のAWB処理を同様の手法で環境光源を推定してもよい。すなわち、色変化傾向を考慮することなく、本画像のみから環境光源を推定してもよい。また、仮の環境光源に応じて白色物色範囲を補正し、当該補正後の白色物色範囲および本画像のブロック情報に基づいて環境光源を推定してもよい。白色物色範囲の補正態様としては、仮の環境光源と異なる種類の光源種類における白色物色範囲から、光源誤判定が生じやすい領域を除くことが考えられる。図15は、仮の環境光源が「蛍光灯光」であった場合の補正結果を示す図である。図15において、一点鎖線の矩形Dd,Dt,Doは補正前の白色物色範囲を、破線の楕円A〜Cは光源誤判定の生じやすい領域を、実線の矩形Ednew,Etnew,Etonewは補正後の白色物色範囲を示している。図15から明らかなように、仮の環境光源が「蛍光灯光」である場合、「蛍光灯光」の白色物色範囲Efは変化させない。一方、仮の環境光源と異なる「タングステン光」、「昼光」「日向日陰」の白色物色範囲Et,Ed,Eoは、誤判定の生じやすい色範囲B,Cが避けられるように補正を行い、新たな白色物色範囲Etnew,Ednew,Eonewを算出する。そして、環境光源を推定する場合には、本画像を構成する各ブロックの光源種類を当該補正後の白色物色範囲に基づいて判定し、得られたブロック光源判定結果に基づいて環境光源を推定する。
【0078】
次に、第三実施形態について図16を用いて説明する。図16は、第三実施形態におけるAWB処理の流れを示すフローチャートである。この第三実施形態では、本画像撮影時におけるストロボ照射(本照射)の有無に応じて環境光源の推定態様を変化させている。すなわち、本明細書において「環境光源」とは、本画像撮影時の環境光源を意味している。したがって、本画像撮影時にストロボ光を照射する場合、「環境光源」は、非照射時の光源と本照射のストロボ光とをあわせたミックス光を意味することになる。本実施形態では、このミックス光の白色物色範囲を推定することを、本画像撮影時の「環境光源」の推定としている。以下、これについて詳説する。
【0079】
本実施形態では、まず、第一実施形態と同様に、第一画像および第二画像からブロック情報を取得し、当該ブロック情報の比較に基づき色変化傾向を求める(S22〜S26)。そして、得られた色変化傾向から仮の環境光源を推定する(S28)。ここで、この仮の環境光源は、非照射時における環境光源(以下「非照射時光源」という)の推定結果といえる。
【0080】
続いて、本照射の有無を判断する(S52)。通常、本照射は、ユーザからの指示、または、環境輝度に基づいて実行の可否が決定される。したがって、ユーザから本照射の指示があったか否か、また、環境輝度が一定基準値未満か否かで本照射の有無が判断できる。
【0081】
本照射が無いと判断された場合には、既述の非照射時光源を実際の環境光源とする(S54)。そして、得られた環境光源に基づいてAWBゲインの算出、および、AWBゲインの乗算を実行する(S30、S32)。
【0082】
一方、本照射があると判断された場合には、非照射時光源に対する本照射のストロボ光のミックス割合Mを求める(S56)。このミックス割合Mは、M=(予備照射の影響度)×{(本照射量)×(予備照射量)}/{(本画像の露光量)×(第二画像の露光量)}の式で求める。なお、ここでの「予備照射の影響度」は、第二実施形態で説明した予備照射輝度Pevと環境輝度Eevの割合をいう。
【0083】
続いて、得られた非照射時光源種類とミックス割合Mに基づいて、本画像撮像時、すなわち、本照射時の環境光源の白色物色範囲を求める(S58)。ここで、通常、ストロボ光の色は既知であるため、ストロボ光の白色物色範囲も既知であるといえる。そして、本照射時の環境光源の白色物色範囲は、本照射のミックス割合Mが大きいほどストロボ光の白色物色範囲に近づき、本照射のミックス割合が小さいほど非照射時光源の白色物色範囲に近づくことになる。本実施形態では、この原理を利用して本照射時の環境光源の白色物色範囲を求める。
【0084】
図17は、仮の環境光源が蛍光灯光であった場合における環境光源の白色物色範囲Ekの推定の様子を示す図である。本実施形態では、まず、ストロボ光の白色物色範囲Esの基準点Ssを求める。ここで、基準点は、白色物色範囲Esの座標平均点とする。続いて、非照射時光源、図17の図示例では蛍光灯光Efの白色物色範囲Efの基準点Sfを求める。そして、両基準点Ss,Sfを結ぶ接続線Lを求める。続いて、当該接続線Lをミックス割合に応じて分割した際の分割点Soを求める。図17では、ミックス割合を50%として、接続線Lを1:1に分割する点を分割点Soとしている。そして、得られた分割点Soを中心して本照射時の環境光源の白色物色範囲Ekを規定する。ここで本照射時の環境光源の白色物色範囲Ekの大きさ、形状(縦横比)は固定であってもよいし、適宜、変更してもよい。例えば、ミックス割合または仮の環境光源の種類に応じて、白色物色範囲Ekの大きさ、形状(縦横比)を変更してもよい。例えば、ミックス割合が大きいほど、白色物色範囲Ekを小さくしてもよい。また、白色物色範囲Ekを、非照射時光源の白色物色範囲(図17では矩形Ef)とストロボ光の白色物色範囲Esを平均した大きさ、形状としてもよい。
【0085】
本照射時の環境光源の白色物色範囲Ekが求まれば、当該白色物色範囲Ekおよび本画像に基づいてAWBゲインを求める(S30)。すなわち、本画像を複数のブロックに分割し、各ブロックの代表値を求める。そして、求まった代表値が当該白色物色範囲Ekに収まるブロックの数から、画像全体に対する本照射時の環境光源の寄与度を求め、当該寄与度に応じたAWBゲインを算出する。AWBゲインが求まれば、当該AWBゲインを本画像に乗算しAWB処理を終了する(S32)。
【0086】
以上の説明から明らかなように本実施形態では、非照射時の環境光源(非照射時光源)と本照射光のミックス割合に基づいて、本照射時の環境光源の白色物色範囲Ekを求めている。このとき、非照射時の環境光源は、色の変化傾向に基づいて求めている。したがって、より正確に本照射時の環境光源の白色物色範囲Ekを求めることができ、結果として、より信頼性の高いAWBゲインを得ることができる。
【0087】
次に、第四実施形態について図18、図19を用いて説明する。図18は第四実施形態における撮像処理の流れを、図19は第四実施形態におけるAWB処理の流れを示すフローチャートである。
【0088】
第四実施形態では、第二画像の取得の要否、換言すれば、予備照射の要否を判断する。そして、第二画像の取得が不要と判断された場合には、従来のAWB処理技術と同様に本画像に基づいて環境光源を推定する。一方、第二画像の取得が必要と判断された場合には、第一から第三実施形態のように第一画像および第二画像での色変化傾向を考慮して環境光源を推定する。以下、この第四実施形態について詳説する。
【0089】
はじめに本実施形態における撮像処理の流れについて説明する。本実施形態でも第一実施形態と同様に、レリーズスイッチS1の検知からレリーズスイッチS2の検知までの間に、プレビュー画像の一時記録と廃棄を繰り返して第一画像を取得する(S10、S12,S14)。後に詳説するように、AWB処理では、この第一画像等に基づいて第二画像の取得の要否を判断する(S62)。
【0090】
要否判断の結果、第二画像の取得が必要と判断された場合には、予備照射を行いながらプレビュー画像を取得し、当該プレビュー画像を第二画像として一時記録する(S18)。そして、第二画像取得した後に、本画像の撮像を実行する(S20)。一方、第二画像の取得が不要と判断された場合には、レリーズスイッチS2の検知後、即座に本画像の撮像を実行する(S20)。
【0091】
次に、この撮像処理と並行して行われるAWB処理の流れについて図19を用いて説明する。本実施形態では、まず、第一画像のブロック情報を取得する(S22)。このブロック情報の取得方法は、第一実施形態と同様である。続いて、第二画像の取得の要否を判断する(S62)。これは、予備照射によりユーザに何らかの誤解が生じるか否か、および、色変化傾向に基づく環境光源推定が有用であるか否かに基づいて判断する。
【0092】
予備照射によりユーザに何らかの誤解が生じる場合としては、例えば、予備照射をカメラ側の故障と誤解される場合が考えられる。これまでの説明で明らかなように、予備照射は、ユーザの指示や環境輝度に関わらず行われる。換言すれば、予備照射は、ユーザの意図あるいは予測とは無関係に行われる照射である。かかる予備照射を行った場合、カメラが故障したとユーザが誤解する可能性がある。特に、本画像撮像時において本照射を行わない場合、すなわち、ユーザから指示がなく、かつ、環境輝度が十分に明るい場合に、予備照射を行うとユーザの誤解を招く可能性が高い。そこで、本照射が無い場合には、予備照射、ひいては、第二画像の取得が不要と判断してもよい。
【0093】
また、色変化傾向に基づく環境光源推定が有用である場合としては、予備照射の影響度が十分に大きい場合が考えられる。予備照射の影響度が大きい場合は、色変化傾向に基づく環境光源の推定結果は信頼性が高く、有用性が高いといえる。逆に、予備照射の影響度が低い場合には、色変化傾向に基づく環境光源の推定結果の有用性は低いといえる。換言すれば予備照射の影響度が低い場合には、第二画像を取得して色変化傾向を取得する必要性が乏しい。したがって、予備照射の影響度が所定の基準値未満である場合には、第二画像の取得不要と判断してもよい。
【0094】
また、色変化傾向に基づく環境光源推定が有用である場合としては、被写界に光源誤判定の生じやすい色範囲(図2における楕円A〜C)の部分が多く含まれている場合が考えられる。記述したように、被写界に光源誤判定の生じやすい色範囲の部分が多く含まれている場合、本画像のみからは正確な環境光源を推定することは困難である。かかる場合には、色変化傾向に基づく環境光源推定は有用であるといえる。逆に、光源誤判定の生じやすい範囲の部分が少ない場合には、本画像のみからでも正確な環境光源を推定できる。したがって、第一画像のブロック情報に基づき、第一画像に光源誤判定の生じやすい色範囲のブロックの割合を求め、誤判定の生じやすいブロック数が少ない場合には第二画像の取得不要と判断してもよい。
【0095】
本実施形態では、以上のような各種基準および各種基準の組み合わせに基づいて第二画像の取得の要否を判断する。そして、第二画像の取得が必要と判断された場合には、第二画像を取得するとともに、当該第二画像および第一画像の間での色変化傾向を取得する(S24、S26)。そして、得られた色変化傾向に基づいて環境光源を推定する(S28)。この環境光源の推定には、第一から第三実施形態の技術を利用する。すなわち、必要に応じて、色変化傾向だけでなく、予備照射の影響度や本照射時のミックス割合等も勘案して環境光源を推定する。一方、第二画像の取得が不要と判断された場合には、従来AWB処理と同様に、本画像に基づいて環境光源を推定する(S58)。
【0096】
環境光源が推定できれば、本画像全体に対する環境光源の寄与度を求め、当該寄与度に応じたAWBゲインを算出する(S30)。そして、このAWBゲインを本画像に乗算することで、AWB処理が終了となる(S32)。
【0097】
以上の説明から明らかなように、本実施形態では、第二画像の取得の要否を判断し、その判断結果に応じて、環境光源の推定態様を変えている。これにより、ユーザの誤解や不要な予備照射を防止しつつ、正確に環境光源を推定できる。
【0098】
なお、以上の第一から第四実施形態では、いずれも、プレビュー画像を第一画像および第二画像としている。しかし、本画像を第一画像および第二画像として取り扱ってもよい。すなわち、本照射有りで本画像撮像を行う場合は、予備照射無しで取得されたプレビュー画像を第一画像、本画像を第二画像とし、本画像と第一画像の色変化傾向に基づいて環境光源を推定してもよい。逆に、本照射無しで本画像撮像を行う場合は、予備照射有りで取得されたプレビュー画像を第二画像、本画像を第一画像とし、本画像と第二画像の色変化傾向に基づいて環境光源を推定する。ただし、通常のプレビュー画像は、本画像に比べて、ノイズ除去処理が省略されていたり、画素数が異なっていたりすることが多い。つまり、本画像とプレビュー画像では品質が異なっていることが多い。かかる品質の異なる画像間の色変化傾向では、環境光源の推定精度が低下する。そこで、本画像を第一画像または第二画像として取り扱う場合には、プレビュー画像である第二画像または第一画像の品質を本画像に合わせることが望ましい。
【0099】
また、第一から第四実施形態では、第一画像および第二画像を、本画像に先立って取得している。しかし、本画像とほぼ同じ被写体を撮像できるのであれば、本画像撮像の後に、第一画像よび第二画像を取得してもよい。
【図面の簡単な説明】
【0100】
【図1】本発明の第一実施形態であるデジタルカメラの構成を示すブロック図である。
【図2】白色物色範囲の一例を示す図である。
【図3】AWB設定時における撮像処理の流れを示すフローチャートである。
【図4】AWB処理の流れを示すフローチャートである。
【図5】第一画像および第二画像の光源判定結果の一例を示す図である。
【図6】蛍光灯光下でストロボ光照射した場合の色変化傾向を示す図である。
【図7】タングステン光下でストロボ光照射した場合の色変化傾向を示す図である。
【図8】昼光下でストロボ光照射した場合の色変化傾向を示す図である。
【図9】色変化傾向と、推定される環境光源と、の関係を示す図である。
【図10】色変化傾向の取得態様の一例を説明する図である。
【図11】色変化傾向の取得態様の一例を説明する図である。
【図12】第二実施形態におけるAWB処理の流れを示すフローチャートである。
【図13】予備照射の影響度の取得態様の一例を説明する図である。
【図14】本画像のブロックについて光源種類を判定した結果の一例を示す図である。
【図15】白色物色範囲の補正態様の一例を示す図である。
【図16】第三実施形態におけるAWB処理の流れを示すフローチャートである。
【図17】本照射時の白色物色範囲を取得する様子を説明する図である。
【図18】第四実施形態における撮像処理の流れを示すフローチャートである。
【図19】第四実施形態におけるAWB処理の流れを示すフローチャートである。
【符号の説明】
【0101】
10 デジタルカメラ、14 レンズ、16 CCD、25 画像処理部、28 ホワイトバランス処理部、46 ストロボ装置、50 AE/AF/ストロボ制御部、51 WBゲイン取得部、52 ブロック情報取得部、54 環境光源推定部、56 ゲイン算出部、Ed,Ef,Et,Eo 白色物色範囲、A,B,C 光源誤判定の生じやすい色範囲。
【技術分野】
【0001】
本発明は、ユーザが意図する撮像画像である本画像に対してホワイトバランス処理を施すデジタルカメラ、当該ホワイトバランス処理で用いられるホワイトバランスゲインを算出するゲイン算出装置、および、ゲイン算出方法に関する。
【背景技術】
【0002】
デジタルカメラでは、環境光源の色温度が異なっていても、常に白色物を正確に白く映し出すように補正するホワイトバランス(WB)処理を行う。WB処理では、ユーザが環境光源の種類を指定するマニュアルホワイトバランス(MWB)処理と、カメラ側で環境光源の種類を自動判定するオートホワイトバランス(AWB)が存在する。このうち、AWBでは、撮像された画像を複数のブロックに分割するとともに、各ブロックを構成する複数のピクセルの色値の代表値を算出し、この代表値に基づいて各ブロックの光源種類を判定する。そして、光源種類ごとのブロック数等に基づいて環境光源を推定している。
【0003】
ここで、AWBにおいて、適切にホワイトバランス処理を施すためには、正確な環境光源推定が不可欠である。そのため、従来から、正確に環境光源(環境光源の色)を推定するための技術が多数提案されている。
【0004】
例えば、特許文献1では、ストロボ撮影を行う際における被写体に及ぼすフラッシュ光と定常光の影響、ひいては、環境光源の色を正確に推定するための技術が開示されている。特許文献1に記載の技術では、本撮影に先立って、予備発光しながら撮影した予備発光画像データと、予備発光することなく撮影した比較画像データと、を取得する。そして、この予備発光画像データと比較画像データとの輝度値の変化量、および、輝度値に及ぼす予備発光の影響度に基づいて、被写体に及ぼすフラッシュ光と定常光の影響を判断したうえで、本撮影画像のWB処理を行う。
【0005】
また、特許文献2には、各ブロック(ブロック)の光源判定の際に、蛍光灯や昼光などの想定光源の典型色差と各ブロックの代表色差成分との距離を求め、当該距離からそのブロックが想定光源で照明されている信頼度を求めることが記載されている。そして、得られた信頼度や典型色差等に基づき、その画像のシーンを照明する照明光の色(環境光源の色)を求め、これを打ち消すようにホワイトバランス調整を行っている。これにより、より安定的に適切なホワイトバランス処理が可能となる。
【0006】
【特許文献1】特開2003−309854号公報
【特許文献2】特開2001−112019号公報
【発明の開示】
【発明が解決しようとする課題】
【0007】
ところで、ある種類の光源下における白色物の色と、他の種類の光源下における有色物の色が類似することが知られている。換言すれば、光源誤判定が生じやすい色範囲があることが知られている。例えば、昼光下での緑色物(例えば植物の葉など)の色は、蛍光灯下での白色物の色と類似していることが知られている。したがって、昼光下において緑色物が大部分を占める被写体を撮像した場合、当該緑色物部分のブロック光源種類を「蛍光灯光」と誤判定してしまい、結果として撮像画像全体の環境光源を誤判定する場合がある。
【0008】
従来の技術では、この光源誤判定が生じやすい色範囲については考慮されていない。そのため、被写体が光源誤判定が生じやすい色を持っていた場合、環境光源の誤判定が生じ、結果として適切なWB処理ができない場合があった。
【0009】
そこで、本発明では、被写体の色に関わらず、適切なWB処理が可能なデジタルカメラ、および、当該WB処理に用いられるWBゲインを算出するゲイン算出装置、ゲイン算出方法を提供することを目的とする。
【課題を解決するための手段】
【0010】
本発明のデジタルカメラは、ユーザが意図する撮像画像である本画像に対してホワイトバランス処理を施すデジタルカメラであって、ストロボ光の予備照射をすることなく本画像と同一被写界を撮像して第一画像を取得する第一画像取得手段と、ストロボ光の予備照射をしながら本画像と同一被写界を撮像して第二画像を取得する第二画像取得手段と、第一画像および第二画像に基づいて、予備照射による被写界の色の変化傾向を取得する色変化傾向取得手段と、少なくとも、取得された色変化傾向に基づいて、被写界の環境光源を推定する環境光源推定手段と、推定された環境光源に応じて、本画像のホワイトバランスゲインを算出するゲイン算出手段と、を備えることを特徴とする。
【0011】
色変化傾向取得手段は、第一画像および第二画像を複数のブロックに分割するとともに、各ブロックの色値の代表値および各ブロックの光源種類をブロック情報として取得するブロック情報取得手段を備え、取得された第一画像のブロック情報および第二画像のブロック情報の比較に基づき、色変化傾向を取得することが望ましい。この場合、色変化傾向取得手段は、第一画像と第二画像との間で、光源種類が変化したブロック割合および変化前後の光源種類を色変化傾向として取得することがより望ましい。また、色変化傾向取得手段は、第一画像と第二画像との間で、同一座標のブロックの代表値の変化量を色変化傾向として取得することも望ましい。また、色変化傾向取得手段は、第一画像および第二画像の間での、各光源ごとのブロック数の差を色変化傾向として取得することも望ましい。
【0012】
他の好適な態様では、さらに、本画像撮像時にストロボ光を本照射するか否かを判断する手段を備え、本照射すると判断された場合、環境光源推定手段は、色変化傾向に基づいて非照射時の環境光源を推定し、非照射時の環境光源と本照射のストロボ光のミックス割合を求め、得られたミックス割合と非照射時の環境光源とに基づいて本画像撮像時の環境光源を推定する。
【0013】
他の好適な態様では、環境光源推定手段は、被写界に対する予備照射の影響度を求める影響度取得手段を備えており、得られた影響度および色変化傾向に基づいて環境光源を推定する。この場合、影響度取得手段は、少なくとも、被写界輝度と被写界における予備照射の輝度との比率に基づいて予備照射の影響度を求めることが望ましい。また、影響度取得手段は、少なくとも、第一画像および第二画像の輝度値の変化量に基づいて予備照射の影響度を求めることが望ましい。
【0014】
予備照射の影響度が所定の基準値未満の場合、環境光源推定手段は、色変化傾向に基づいて仮の環境光源を推定するとともに得られた仮の環境光源に基づいて各光源種類の重み係数を求め、本画像を複数のブロックに分割するとともに各ブロックの色値の代表値および各ブロックの光源種類を判定し、本画像における各光源種類ごとのブロック数に当該光源種類に応じた重み係数を乗じた値に基づいて環境光源を推定することが望ましい。
【0015】
別の態様として、予備照射の影響度が所定の基準値未満の場合、環境光源推定手段は、色変化傾向に基づいて仮の環境光源を推定し、仮の環境光源と異なる光源下における白色物の色範囲として光源誤判定の生じやすい領域を除いた領域を設定し、本画像を複数のブロックに分割するとともに前記設定された白色物色範囲に基づいて各ブロックの光源種類を判定し、当該ブロックごとの光源種類判定結果に基づいて環境光源を推定することが望ましい。
【0016】
他の好適な態様では、さらに、第二画像の取得の要否を判断する第二画像要否判断手段を備え、第二画像の取得が不要と判断された場合、第二画像の取得、色変化傾向の取得は行わず、環境光源推定手段は、本画像に基づいて環境光源を推定する。
【0017】
ここで、第二画像要否判断手段は、少なくとも、本画像撮像時のストロボ光の照射の有無に基づいて第二画像の取得の要否を判断することが望ましい。また、第二画像要否判断手段は、少なくとも、第一画像に含まれる光源誤判定の生じやすい色部分の割合に基づいて第二画像の取得の要否を判断することも望ましい。また、第二画像要否判断手段は、被写界に対する予備照射の影響度に基づいて第二画像の取得の要否を判断することも望ましい。
【0018】
他の好適な態様では、第一画像および第二画像は、電子ファインダに撮像可能画像として表示されるプレビュー画像である。
【0019】
他の本発明であるゲイン算出装置は、ユーザが意図する撮像画像である本画像に対して施すホワイトバランス処理に用いられるゲインを算出するゲイン算出装置であって、ストロボ光の予備照射をすることなく本画像と同一被写界を撮像した第一画像と、ストロボ光の予備照射をしながら本画像と同一被写界を撮像した第二画像と、に基づいて、予備照射による被写界の色の変化傾向を取得する色変化傾向取得手段と、少なくとも、取得された色変化傾向に基づいて、被写界の環境光源を推定する環境光源推定手段と、推定された環境光源に応じて、本画像のWBゲインを算出するゲイン算出手段と、を備えることを特徴とする。
【0020】
他の本発明であるゲイン算出方法は、ユーザが意図する撮像画像である本画像に対して施すホワイトバランス処理に用いられるゲインを算出するゲイン算出方法であって、ストロボ光の予備照射をすることなく本画像と同一被写界を撮像して第一画像を取得する第一画像取得ステップと、ストロボ光の予備照射をしながら本画像と同一被写界を撮像して第二画像を取得する第二画像取得ステップと、第一画像および第二画像に基づいて、予備照射による被写界の色の変化傾向を取得する色変化傾向取得ステップと、少なくとも、取得された色変化傾向に基づいて、被写界の環境光源を推定する環境光源推定ステップと、推定された環境光源に応じて、本画像のWBゲインを算出するゲイン算出ステップと、を備えることを特徴とする。
【0021】
なお、ここで、「環境光源の推定」とは、「蛍光灯光」や「昼光」といった光源種類の推定の他、環境光源の色範囲の推定や、環境光源と同種の光源下における白色物の色範囲の推定も含む。
【発明の効果】
【0022】
本発明では、予備照射による被写界の色の変化傾向を取得し、当該色の変化傾向を考慮して本画像の環境光源を推定している。したがって、被写体が本来有している色に関わらず、正確な環境光源の推定、ひいては、適切なWBゲインの算出ができる。
【発明を実施するための最良の形態】
【0023】
以下、本発明の実施形態について図面を参照して説明する。図1は、本発明の実施形態であるデジタルカメラ10の構成を示すブロック図である。このデジタルカメラ10は、通常のデジタルカメラと同様に、画像撮像した際の環境光源の種類(または環境光源の色温度)を推定し、推定された環境光源に応じたホワイトバランス(以下「WB」という)ゲインを算出するオートAW機能を備えている。ここで、従来のオートWBでは、撮像画像データに基づいて環境光源を推定していた。しかし、後に詳説するが、撮像画像データに基づいて環境光源を推定した場合、被写体が持つ色によって誤推定が生じる場合があった。本実施形態のデジタルカメラは、かかる環境光源の誤推定、ひいては、不適切なWBゲインの算出を防止でき得る構成となっている。具体的には、本実施形態では、ユーザの意図する画像(以下「本画像」という)の撮像に先立って予備的に画像を二回撮像し、得られた二つの予備的な画像に基づいて環境光源を推定している。二つの予備的な画像とは、ストロボ照射をすることなく本画像と同一被写界を撮像した第一画像と、ストロボ照射をしながら本画像と同一被写界を撮像した第二画像である。この第一画像と第二画像との比較に基づき、ストロボ光の照射前後での被写界の色の変化傾向を取得し、この色変化傾向に基づいて環境光源を推定している。以下、このデジタルカメラ10の構成について詳説する。
【0024】
絞り部材12およびレンズ14を介して入力された被写界光は、撮像デバイスであるCCD16で焦点を結ぶ。絞り部材12の絞り量およびレンズ14の移動量は、CPU48により制御される。CCD16は、入力された被写界光を電気信号に変換し、撮像データとして出力する。このCCD16による光電変換のタイミングは、タイミングジェネレータ(TG)36を介してCPU48により制御される。通常、CCD16は、LCD34に表示されるプレビュー画像取得のために一定間隔で常時、電荷の蓄積および電荷の掃き出しを行う。また、ユーザから撮像指示があった場合には、プレビュー画像取得のため光電変換を一時中断し、本画像撮像に必要な露光時間をかけて電荷を蓄積した上で、電荷の掃き出しを行う。
【0025】
CCD16から出力された電気信号は、二重相関サンプリング回路(CDS)18による所定のアナログ信号処理、増幅回路(AMP)20による増幅処理が施された後、A/D変換器(A/D)22によりデジタルデータに変換される。デジタルデータは、画像データとして画像メモリ24に一時記憶される。
【0026】
画像メモリ24に一時記憶された画像データは、画像処理部25およびWBゲイン取得部51に出力される。画像処理部25において画像データは、RGB分離部26によりR成分、G成分、B成分の三つの色成分に分離される。分離されたデータは、WB処理部28、γ補正部30、色補正部32に順次送られ、所定の画像処理が施される。このうち、WB処理部28では、WBゲイン取得部51で算出された三種類のWBゲイン、すなわち、Rゲイン、Gゲイン、Bゲインを、対応する色成分データに乗算することによりWB処理を行う。
【0027】
画像処理が施された画像データは、LCD34および画像メモリ40に出力される。LCD34は、画像処理が施された画像データを電気的に表示する。ここでLCD34に表示される画像データはプレビュー画像と、後述する記録媒体44に記録された撮像画像と、がある。プレビュー画像を表示している場合、LCD34は、撮像可能な被写界像を表示する電子ファインダとして機能する。また、記録媒体44に記録された撮像画像を表示している場合、LCD34は、撮像済みの画像を再生表示する再生モニタとして機能する。
【0028】
画像メモリ40に一時記憶された画像データは、圧縮伸張回路42により圧縮処理された後、記録媒体44に記録される。この記録媒体44に記録された画像データは、ユーザからの指示に応じて、圧縮伸張回路42により伸張処理された後、LCD34に表示される。ユーザは、このLCD34の表示を見ることにより、撮像画像の内容を確認することができる。
【0029】
ストロボ装置46は、被写界に向かってストロボ光を照射する装置である。本実施形態のストロボ装置46は、キセノン管を光源としており、その照射光の色温度は約6500K前後となっている。このストロボ装置46の照射タイミングや照射量は、AE/AF/ストロボ制御部50により制御されている。
【0030】
ここで、ストロボ光は、被写界の光量不足を補うために照射される。また、本実施形態では、光量不足を補足するためだけでなく、環境光源推定のための参考画像である第二画像取得時にもストロボ光を照射する。すなわち、後に詳説するが、本実施形態では、正確な環境光源の推定、ひいては、適切なAWBゲインの算出のために、本撮影に先立って、予備的な撮像を二回行う。予備的な撮像の一回目はストロボ非照射で行われ、予備的な撮像の二回目はストロボ照射しながら行われる。そして、ストロボ非照射状態で撮像された第一画像と、ストロボ照射を行いながら撮像された第二画像と、を比較し、ストロボ光の照射に伴う被写界の色の変化傾向を取得する。そして、得られた色の変化傾向に基づいて環境光源の推定を行っている。
【0031】
AE/AF/ストロボ制御部50は、図示しないAEセンサや、側距センサの検出値に基づいて、環境輝度や被写体距離を算出し、露光量、レンズ14の駆動量、ストロボ照射のタイミングや照射量等を算出する。そして、得られた露光量等に基づいてTG36のタイミング制御を、レンズ駆動量に応じてレンズ14の駆動を、ストロボ照射のタイミングや照射量に基づいてストロボ装置46を、それぞれ制御する。
【0032】
WBゲイン取得部51は、既述のWBゲイン処理で用いられるWBゲインを算出するもので、ブロック情報取得部52、環境光源推定部54、ゲイン算出部56に大別される。ブロック情報取得部52は、撮像により得られた画像を複数のブロック(ブロック)に分割したうえで、各ブロックの代表値および各ブロックの光源種類をブロック情報として算出する。環境光源推定部54は、得られたブロック情報等に基づいて環境光源を推定する。ゲイン算出部56は、推定された環境光源、および、ブロック情報等に基づいてWBゲインを算出する。算出されたWBゲインは、既述のWB処理部28に出力される。なお、環境光源をユーザが指定するマニュアルWB設定の場合には、ブロック情報は、環境光源推定部54に出力されることなく、直接、ゲイン算出部56に出力される。また、AE/AF/ストロボ制御部50およびWBゲイン取得部51は、実際には、CPU48の一機能として実現されている。そして、説明を省略しているが、このCPU48は、既述のAE、AF、ストロボの制御やWBゲインの算出のほか、デジタルカメラ10全体を制御している。
【0033】
次に、このデジタルカメラ10でのAWB処理の流れについて説明する。はじめに従来のAWB処理の流れについて簡単に説明する。従来のAWB処理では、ユーザからの撮影指示に従って本画像の撮像が実行されると、得られた本画像に基づいて環境光源を推定し、推定された環境光源に応じたAWBゲインを算出する。ここで本画像に基づく環境光源の推定は次の手順で行われる。まず、画像メモリ24に記憶された本画像を複数のブロック(ブロック)に分割する。続いて、各ブロックの色値の代表値、具体的には、各ブロックを構成する複数のピクセルの色値の平均値を算出する。各ブロックの代表値が算出できれば、当該代表値に基づき、各ブロックの光源種類を判定する。このブロックごとの光源種類の判定は、予め、規定された白色物色範囲に基づいて行われる。白色物色範囲は、各種光源下における白色物の色範囲を示すものである。すなわち、周知のとおり、同じ白色物であっても光源種類により実際に発する色は変化する。この光源種類に応じた白色物の色範囲を示したものが白色物色範囲である。
【0034】
図2は、白色物色範囲の一例を示す図である。図2は、各種光源下における白色物の色範囲を、Tスペースと呼ばれるカラースペース上で表現したものである。RGB値で表現された色をTスペース上の座標値に変換する場合は、次式を用いる。
【数1】
ここで、Tlはブロックの輝度を表し、Tg,Tiはブロックの色差を表す。Tスペースにおいては、このTgが縦軸、Tiを横軸として色を表現している。なお、ここで用いた線形変換の行列はあくまで一例であり、別の行列を用いてももちろん良い。
【0035】
図2において示された矩形は、各種光源下における白色物の色範囲を示している。すなわち、矩形Efは蛍光灯光下における白色物の色範囲を、矩形Edは昼光下における白色物の色範囲を、矩形Eoは日陰光下における白色物の色範囲を、矩形Etはタングステン光下における白色物の色範囲を、それぞれ示している。
【0036】
従来のAWB処理では、この白色物色範囲と本画像の各ブロックの代表値とを比較して、本画像の各ブロックの光源種類を判定していた。すなわち、Tスペースにおける各ブロックの代表値の座標値を求め、当該座標がいずれの白色物色範囲に含まれるかを判定する。例えば、代表値の座標値が矩形Efの内部に位置する場合、当該ブロックの光源種類は「蛍光灯光」であると判断できる。一方、いずれの白色物色範囲にも含まれない場合には、当該ブロックの光源は無し、と判断される。そして、本画像を構成する全てのブロックについて、代表値の算出、および、光源種類の判定が終了すれば、各光源種類ごとにブロック数をカウントする。カウントの結果、ブロック数が最多となる光源種類を、当該本画像全体の光源、すなわち、環境光源と判定する。本画像全体の環境光源が判定できれば、当該環境光源の本画像全体に対する寄与度を求め、当該寄与度に応じたAWBゲインを算出する。
【0037】
このように、従来のAWB処理では、本画像から環境光源を推定し、当該環境光源に応じたAWBゲインを算出していた。ここで、適正なAWBゲインを算出するためには、正確に環境光源を推定することが必須である。しかしながら、本画像のみに基づいて環境光源を推定する従来の方法では、正確に環境光源を推定することは困難であった。その原因として、ある光源下における有色物の色が、他の光源下における白色物色範囲に含まれることが挙げられる。例えば、昼光下における緑色物の色(例えば、植物の葉など)は、蛍光灯下における白色物の色と類似していることが知られている。他にも、昼光下におけるオレンジ色物の色は、タングステン光下における白色物の色と類似している。また、蛍光灯光下における水色物の色は、昼光下における白色物の色と類似していることが知られている。図2において破線で示した楕円は、かかる他光源下における白色物色範囲に含まれる有色物の色範囲を示している。すなわち、楕円Aは昼光下における緑色物の色範囲を、楕円Bは蛍光灯光下における水色物の色範囲を、楕円Cは昼光下におけるオレンジ色物の色範囲を示している。各ブロックの代表値が、これら有色物の色範囲A〜Cに含まれていた場合、各ブロックの光源を誤判定する恐れがあった。すなわち、代表値が楕円A内に位置する場合、当該ブロックは蛍光灯下における白色物か、昼光下における緑色物であるかが判断できない。その結果、各ブロックの光源種類を誤判定してしまい、結果として画像全体の光源種類(環境光源)を誤推定する場合があった。
【0038】
本実施形態は、かかる誤推定を防止し、より正確に環境光源を推定するために、本画像の撮影に先立って、予備的な画像である第一画像および第二画像を取得し、これら第一画像および第二画像に基づいて環境光源の推定を行っている。第一画像はストロボ光の予備照射をすることなく、第二画像はストロボ光の予備照射をしながら、それぞれ撮像する。そして、この第一画像および第二画像の色の変化傾向、換言すればストロボ光の予備照射前後での色の変化傾向に基づいて環境光源を推定している。以下、この第一画像および第二画像を利用したAWB処理の流れについて説明する。
【0039】
図3は、WB設定としてAWBが指示された状態での撮影処理の流れを示すフローチャートである。本実施形態では、通常の撮像動作と異なり、ユーザが意図した本画像の他に、予備的な画像、すなわち、第一画像および第二画像も撮像する。この第一画像および第二画像は、後に詳説するように環境光源推定に利用される。以下、本実施形態における撮像処理の流れについて説明する。
【0040】
既述したように、デジタルカメラ10は、LCD34に表示するためのプレビュー画像を常時取得している。取得されたプレビュー画像は、LCD34に表示された後、廃棄される。この状態で、デジタルカメラ10のCPU48は、レリーズスイッチの半押し(S1)を検出すると、プレビュー画像を第一画像として画像メモリに一時記録する(S10、S14)。
【0041】
第一画像の取得後、次のプレビュー画像取得までの間にレリーズスイッチの全押し(S2)が検出されなければ、画像メモリに記録されている第一画像を廃棄し、代わりに、新たに取得したプレビュー画像を第一画像として画像メモリに記憶する(S14,S12)。レリーズスイッチS2が検出できるまで、この作業は繰り返される。
【0042】
第一画像の取得後、次のプレビュー画像取得までの間にレリーズスイッチS2が検出できた場合、次のプレビュー画像を第二画像として取得する(S18)。ここで、第二画像は、ストロボ光の予備照射をしながら撮像することで取得される。すなわち、レリーズスイッチS2が検出された時点で、AE/AF/ストロボ制御部50は、ストロボ装置46に対してストロボ光の照射を指示する。ストロボ光の予備照射をしながら撮像することにより得られたプレビュー画像は、第二画像として画像メモリに記憶される。
【0043】
第二画像が取得できれば、続いて、本画像の撮像を行う(S20)。本画像は、ユーザが意図した画像として、画像メモリ24に記憶される。以上の流れで、第一画像、第二画像、および、本画像が得られれば、撮影処理は終了となる。
【0044】
ここで、第一画像の取得を、レリーズスイッチS2の検知前に行っているのは、レリーズスイッチS2動作から本画像撮像までの時間を短くするためである。すなわち、レリーズスイッチS2はユーザからの画像撮像指示である。かかる画像撮像指示から本画像撮像までの時間が長いと、ユーザが意図する画像が得られない場合がある。そこで、本実施形態では、第一画像の取得をレリーズスイッチS2動作がなされる前に行っている。ただし、後に詳説するように、第一画像の被写体および第二画像の被写体は、本撮像画像の被写体とほぼ同じであることが必要である。換言すれば、第一画像撮像から本画像までに大きな時間差が無いことが望ましい。そこで、本実施形態では、既述したように、レリーズスイッチS1検知からレリーズスイッチS2検出までの間、第一画像の取得と廃棄を繰り返し、レリーズスイッチS2の直前に取得されたプレビュー画像を第一画像として記憶している。
【0045】
ここで、レリーズスイッチS2動作から本画像撮像までの時間を短縮するためには、第二画像の取得もレリーズスイッチS2動作前に行うことが望ましい。しかし、レリーズスイッチS1からレリーズスイッチS2までの時間は、ユーザが決めることであり、カメラ側で予測することはできない。ストロボ光の予備照射を伴わない第一画像であれば、既述のとおり、プレビュー画像の取得と廃棄を繰り返すことにより、レリーズスイッチS2動作直前のプレビュー画像を第一画像として取得できる。これに対し、第二画像は、ストロボ光の予備照射を伴ったプレビュー画像であることが必要である。かかる第二画像の取得と廃棄を繰り返した場合、予備照射が繰り返し行われることになる。繰り返しの予備照射は、ユーザにとって不快であるばかりでなく、過度のバッテリ消費やユーザが故障と誤解するなどの問題を招く。そこで、本実施形態では、第二画像は、レリーズスイッチS2動作の直後に、1回だけ行うようにしている。
【0046】
次に、このようにして得られた、第一画像および第二画像を利用したAWB処理について図4を用いて説明する。図4は、図3で図示した画像撮像処理と並行して行われるAWB処理の流れを示すフローチャートである。
【0047】
AWB処理を行う場合には、まず、第一画像を複数のブロックに分割し、当該第一画像のブロック情報を取得する(S22)。ここで、ブロック情報とは、各ブロックの色値の代表値や、各ブロックの光源種類などの情報である。本実施形態では、各ブロックを構成する複数のピクセルの色値の平均値を代表値として取り扱う。ただし、各ブロックの持つ色情報を示すパラメータであれば、ピクセルの加算値等も代表値として取り扱える。各ブロックの光源種類は、当該ブロックの代表値と、予め規定された白色物色範囲と、に基づいて決定される。ここで使用される白色物色範囲は、従来の白色物色範囲、すなわち、図2に例示したような白色物色範囲と同じである。第一画像の各ブロックの代表値と白色物色範囲とを比較して、各ブロックの光源種類を判定する。そして、得られた各ブロックの代表値および光源種類を第一画像のブロック情報として一時記憶する。
【0048】
第一画像のブロック情報を取得すれば、続いて、ストロボ光の予備照射をしながら撮像することにより得られた第二画像のブロック情報を取得する(S24)。すなわち、第一画像と同様に、第二画像を複数のブロックに分割し、各ブロックの代表値を算出する。そして、第二画像の各ブロックの代表値と白色物色範囲とを比較し、各ブロックの光源種類を判定する。そして、得られた各ブロックの代表値および光源種類を第二画像のブロック情報として一時記憶する。
【0049】
図5は、第一画像および第二画像の各ブロックの光源判定結果の一例を示す図である。この図5において、「Fl」は「蛍光灯光」と判定されたブロックを、「Dy」は「昼光」と判定されたブロックを、「Tn」は「タングステン光」と判定されたブロックを、それぞれ示している。また、記号が付されていないブロックは「光源無し」と判断されたブロックを示している。
【0050】
次に、第一画像のブロック情報と第二画像のブロック情報とを比較して、ストロボ光の予備照射前後での色変化傾向を取得する(S26)。色変化傾向としては、各種の算出方法が考えられるが、本実施形態では、第一画像および第二画像の間で、光源種類が変化したブロック割合および変化前後の光源種類を色変化傾向として記憶する。
【0051】
例えば、図5に図示した例であれば、太線で囲んだブロックP1,P2,P3が、第一画像および第二画像の間で光源種類が変化したブロックである。この図5において、第一画像において「Fl」であった五ブロックのうち三ブロックP1は第二画像において「Dy」に変化していることがわかる。すなわち、3/5の割合で「Fl」ブロックが「Dy」ブロックに変化している。同様に、4/14の割合で「Dy」ブロックが「光源無し(白色物色範囲外)」に、2/4の割合で「Tn」ブロックが「光源無し(白色物色範囲外)」に変化していることがわかる。本実施形態では、この光源種類ごとのブロック変化割合および変化後の光源種類を色変化傾向として算出される。
【0052】
色変化傾向が算出されれば、続いて、当該色変化傾向に基づいて環境光源を推定する(S28)。ここで、予備照射の前後における色変化傾向に基づいて環境光源が推定できる原理について説明する。当然のことながら、予備照射を行った場合、被写体の色は、当該予備照射の影響を受けて変化する。この色の変化傾向が、(ストロボ光非照射時の)環境光源種類に応じて異なることが知られている。図6〜図8は、それぞれ、「蛍光灯光」、「タングステン光」、「昼光」の環境光源下でストロボ照射した場合の色の変化方向を示す図である。なお、図6〜図8では、参考のため、ストロボ光下における白色物色範囲Esも図示している。
【0053】
図6に図示するとおり、蛍光灯光下でストロボ照射を行った場合、被写界の色は、青方向、かつ、マゼンタ方向に大きく移動する。したがって、予備照射によって、予備照射前に「蛍光灯光(Fl)」の白色物色範囲Ef内に位置した色は「昼光(Dy)」の白色物色範囲Edへ、予備照射前に「タングステン光(Tn)」の白色物色範囲Et内に位置した色は白色物色範囲外へ、予備照射前に「昼光(Dy)」の白色物色範囲Ed内に位置した色は白色物色範囲外へ、それぞれ移動する。
【0054】
また、図7に図示するとおり、環境光源が「タングステン光」の状態でストロボ照射を行った場合、被写界の色は、青方向にのみ大きく移動する。したがって、予備照射によって、予備照射前に「蛍光灯光(Fl)」の白色物色範囲Ef内に位置した色は白色物色範囲外方向へ、「タングステン光(Tn)」の白色物色範囲Et内に位置した色は「昼光(Dy)」の白色物色範囲Ed方向へ、予備照射前に「昼光(Dy)」の白色物色範囲Ed内に位置した色は「日向日陰光(Os)」の白色物色範囲Eo方向へ、それぞれ移動する。
【0055】
また、図8に図示するとおり、環境光源が「昼光」の状態でストロボ照射を行った場合、被写界の色は、青方向にのみ僅かに移動する。したがって、予備照射を行っても、色の変化は殆ど生じない。
【0056】
本実施形態では、以上の非照射時の環境光源種類に応じたストロボ照射に伴う色変化傾向の違いに基づいて、本画像の環境光源種類を推定している。すなわち、ストロボ照射することなく撮像された第一画像とストロボ照射しながら撮像された第二画像とを比較する。その結果、「Fl」ブロックの一部が「Dy」ブロックに、「Tn」ブロックの一部が「光源なし」ブロックに、「Dy」ブロックの一部が「光源無し」ブロックに変化した場合には、ストロボ光非照射時の環境光源を「蛍光灯(Fl)」と判断する。また、「Fl」ブロックの一部が「光源無し」ブロックに、「Tn」ブロックの一部が「Dy」ブロックに、「Dy」ブロックの一部が「光源なし」ブロックに、変化した場合には、ストロボ光非照射時の環境光源を「タングステン光(Tn)」と判断する。さらに、第一画像と第二画像との間での色変化が殆ど無かった場合には、ストロボ光非照射時の環境光源を「昼光(Dy)」と判断する。
【0057】
図9は、第一画像および第二画像の間での色変化傾向と、当該色変化傾向に基づいて推定される環境光源種類と、の関係を示すテーブルである。本実施形態では、ステップS26で得られた色変化傾向を、図9に図示するようなテーブルに当てはめて、環境光源種類を推定する。例えば、図5に例示した場合、第一画像から第二画像にかけて、3/5の「Fl」ブロックが「Dy」ブロックに、4/14の「Dy」ブロックが「光源無し(白色物色範囲外)」に、2/4の「Tn」ブロックが「光源無し(白色物色範囲外)」に、それぞれ変化している。したがって、図5に例示した第一画像および第二画像が取得された場合、非照射時の環境光源は「蛍光灯光(Fl)」と推定することができる。
【0058】
色変化傾向に基づく環境光源の推定ができれば、その後の流れは、従来のAWBゲイン算出における環境光源推定後の流れと同様である。すなわち、本画像を複数のブロックに分割したうえで、各ブロックの代表値および光源種類を判定する。そして、推定された環境光源を同じ光源種類と判定されたブロックの数等に基づいて、当該環境光源の画像全体に対する寄与度を求める。そして、環境光源種類および寄与度等に基づいてAWBゲインを算出する。AWBゲインが算出できれば、このAWBゲインを本画像に乗算し、AWB処理を終了する。
【0059】
以上の説明から明らかなように、本実施形態では、ストロボ光の照射前後での被写界の色変化に基づいて環境光源を推定している。そのため、本画像に光源誤判定が生じやすい色(図2における楕円A〜C)の部分が大量に含まれていたとしても、正確に環境光源を推定できる。その結果、被写体の持つ色に関わらず、常に適切なAWBゲインを得ることができる。
【0060】
なお、本実施形態では、色変化傾向として、第一画像および第二画像の間での、ブロック光源種類の変化割合と変化後の光源種類を取得している。しかし、ストロボ照射前後での被写体の色の変化傾向を示すパラメータであれば、当然、他のパラメータを色変化傾向として取得してもよい。例えば、第一画像および第二画像の間で、同一座標ブロックの代表値の変化量の平均値を色変化傾向として取得してもよい。すなわち、図10に図示するように第一画像における各ブロックの代表値をLi=(LTIi,LTGi)、第二画像における各ブロックの代表値をMi=(MTIi,MTGi)とする。なお、i(i=1,2,・・・n)はブロックの座標値を示しており、MTIはTスペース上の横軸座標値を、MTGはTスペース上の縦軸座標値を示している。そして、この場合に、色変化傾向AVを、AV=(AVTI,AVTG)={(Σ|Li−Mi|)/n}として取得してもよい。その結果、VTI、VTGのいずれもが小さい場合には非照射時の環境光源は「昼光」と判断できる。また、VTI、VTGのいずれもが大きい値である場合には環境光源は「蛍光灯光」と判断できる。さらに、VTIのみが大きい値である場合、環境光源は「タングステン光」と判断できる。
【0061】
また、ブロック光源種類の変化数だけを、色変化傾向として用いてもよい。例えば、図11に例示するような第一画像および第二画像の光源判定結果が得られたとする。この場合、「Fl」ブロックは−3個、「Tn」ブロックは−3個、「Dy」ブロックは−2個、「Os」ブロックは+5個の変化数であることがわかる。換言すれば、「Fl」および「Tn」ブロックは減少傾向、「Os」ブロックは増加傾向にあることがわかる。ストロボ照射によりかかる変化傾向となる環境光源種類は、「タングステン光(図7)」だけである。したがって、図11の図示例における環境光源種類は「タングステン光」であることが分かる。
【0062】
さらに、第一画像および第二画像をブロック分割することなく、色変化傾向を取得してもよい。すなわち、第一画像全体の色値の平均値、および、第二画像全体の色値の平均値を取得し、両平均値の差を色変化傾向として取得してもよい。いずにしても、第一画像および第二画像での色の変化傾向、換言すれば、ストロボ照射前後での被写界の色の変化傾向が推測できるパラメータであれば、どのようなパラメータでもよい。
【0063】
次に、第二実施形態について図12を用いて説明する。図12は、第二実施形態におけるAWB処理の流れを示す図である。第二実施形態における撮像処理の流れは、第一実施形態と同じである。すなわち、レリーズスイッチS1の検知で予備照射をすることなく撮像して第一画像を取得し、レリーズスイッチS2の検知で予備照射しながら撮像して第二画像を取得し、その後、本画像を撮像する。
【0064】
また、AWB処理においても、第一画像および第二画像の色変化傾向の取得までの流れ(S22〜S26)は第一実施形態と同じである。本実施形態では、色変化傾向を取得した後の、環境光源の推定処理(S28)が第一実施形態と異なっている。具体的には、本実施形態では、第一画像および第二画像での色変化傾向だけでなく、予備照射が被写界に与える影響度をも考慮して環境光源を推定している。以下、本実施形態におけるAWB処理の流れを環境光源の推定処理を中心に説明する。
【0065】
まず、第一画像及び第二画像それぞれのブロック情報を取得し(S22、S24)、得られたブロック情報に基づき色変化傾向を取得する(S26)。続いて、得られた色変化傾向に基づいて仮の環境光源を推定する(S34)。仮の環境光源の推定方法は、第一実施形態における環境光源の推定方法と同じである。すなわち、第一画像および第二画像において色の変化が殆ど無ければ「昼光」と、青方向へ大きく変化していれば「タングステン光」と、青方向およびマゼンタ方向に大きく変化していれば「蛍光灯光」と判断する。この色変化傾向に基づく環境光源の推定結果は、「仮の環境光源」として一時記憶される。
【0066】
続いて、第二画像撮像時に照射される予備照射の被写界に対する影響度を求める(S36)。予備照射の影響度は、被写界における予備照射の輝度Pevと環境輝度Eevとの割合(Pev/Eev×100%)とする。この予備照射の影響度が高いほど、予備照射に伴う色変化が大きいといえる。逆に予備照射の影響度が小さいと、被写界の色は予備照射の前後で殆ど変化しない。そのため、既述の色変化傾向から環境光源を推定することは困難となる。換言すれば、予備照射の影響度は、色変化傾向に基づいた環境光源の推定結果の信頼度を表すパラメータといえる。
【0067】
ここで、環境輝度Eevは、デジタルカメラに設けられた測光センサ等で検出される。一方、被写界における予備照射の輝度Pevは、センサ等での検出が困難であるため、本実施形態では、被写体距離および予備照射量に基づいて予備照射輝度Pevを求めている。具体的には、被写体距離が大きいほど、また、予備照射量が小さいほど、予備照射のストロボ光が被写体に届かなくなるため、予備照射輝度Pevは小さくなると推定する。図13は、予備照射の影響度の算出方法の一例を示す図である。図13では、被写体距離および予備照射量の交点位置C1から予備照射輝度Pevが求まる。続いて、求まった予備照射輝度Pevと環境輝度Eevとの交点位置C2から、予備照射の影響度である予備照射の輝度Pevと環境輝度Eevとの割合が求まる仕組みとなっている。
【0068】
予備照射の影響度が取得できれば、続いて、当該影響度が所定の基準値以上か否かを判断する(S38)。この基準値としては、予備照射前後で被写界の色が変化する程度の影響度以上の値が設定される。影響度が所定の基準値以上である場合には、既述の仮の環境光源を、AWBゲイン算出で使用する環境光源として決定する(S40)。そして、それ以降の処理は、第一実施形態と同じになる。
【0069】
一方、予備照射の影響度が所定の基準値未満である場合には、予備照射を行っても被写界の色変化が生じている可能性が低いといえる。換言すれば、予備照射の影響度が所定の基準値未満である場合には、色変化傾向のみから正確に環境光源を推定することは困難である。したがって、この場合は、本画像の色情報も考慮して環境光源を推定する。
【0070】
具体的には、まず、本画像のブロック情報を取得する(S42)。すなわち、本画像を複数のブロックに分割し、各ブロックの代表値を求め、当該代表値に基づいて各ブロックの光源種類を判定する。
【0071】
次に、光源種類ごとのブロック数、すなわち、「蛍光灯光」と判定されたブロック数、「タングステン光」と判定されたブロック数、「昼光」と判定されたブロック数、「日向日陰光」と判定されたブロック数をそれぞれ算出する(S44)。例えば、図14に図示するようなブロック光源判定結果が得られたとする。この場合、蛍光灯ブロックは5個、昼光ブロックは14個、タングステン光ブロックは7個とカウントされる。
【0072】
続いて、仮の環境光源に基づいて、各光源種類の重み係数を決定する(S46)。これは、仮の環境光源と同種の光源の重み係数が最も大きくなるようにする。例えば、仮の環境光源が「蛍光灯光」であった場合、「蛍光灯光」の重み係数を1、「昼光」の重み係数を0.3、「タングステン光」の重み係数を0.3、「日向日陰光」の重み係数を0.3とする。
【0073】
そして、得られた光源種類ごとのブロック数と、対応する重み係数とを乗算し、その乗算値が最大の光源種類を環境光源として決定する(S48)。例えば、図14に図示した例では、「蛍光灯光」は5個×1=5、「昼光」は14個×0.3=4.2、「タングステン光」は7個×0.3=2.1、「日向日陰光」は0個×0.3=0となる。この場合、乗算値が最も大きいのは「蛍光灯光」であるため、環境光源は「蛍光灯」と推定できる。
【0074】
環境光源が推定できれば、従来のAWB処理と同様に、当該環境光源の画像全体に対する寄与度を求め、当該寄与度に応じたAWBゲインを求める(S30)。そして、得られたAWBゲインを本画像に乗算することでAWB処理が終了となる(S32)。
【0075】
以上、説明したように本実施形態では、被写界に対する予備照射の影響度に応じて、適宜、環境光源の推定方法を変えている。そのため、予備照射の照射量が小さい場合や、被写体距離が遠い場合であっても信頼性の高い環境光源の推定が可能となる。その結果、より適切なAWBゲインを得ることができる。
【0076】
なお、本実施形態では、予備照射の影響度として、環境輝度と予備照射輝度の割合を用いたが、当然、他のパラメータを予備照射の影響度として用いてもよい。例えば、第一画像および第二画像の輝度変化量を予備照射の影響度として用いてもよい。輝度変化量が小さい場合には、予備照射のストロボ光が被写体に到達しておらず、予備照射の影響度が小さいと判断できる。また、環境輝度と予備照射輝度の割合と、輝度変化量と、に基づいて予備照射の影響度を求めてもよい。すなわち、環境輝度と予備照射輝度の割合から輝度変化量を予測し、実際の第一画像および第二画像の輝度変化量が予測値より小さい場合には、予備照射のストロボ光は被写体に到達しておらず、予備照射の影響度は低いと判断してもよい。例えば、予備照射輝度Pevが環境輝度Eevの50%であった場合、第二画像の輝度値は第一画像の輝度値の1.5倍になることが予想される。この場合において、実際に得られた第二画像の輝度値が、第一画像の輝度値の1.5倍未満であった場合には、予備照射のストロボ光が被写体に十分に到達していないと判断できる。この場合は、ステップS42〜S48のように、本画像のブロック情報も利用して環境光源を推定する。
【0077】
また、予備照射の影響度が低い場合の環境光源の推定手法も適宜変更してもよい。例えば、予備照射の影響度が低い場合には、従来のAWB処理を同様の手法で環境光源を推定してもよい。すなわち、色変化傾向を考慮することなく、本画像のみから環境光源を推定してもよい。また、仮の環境光源に応じて白色物色範囲を補正し、当該補正後の白色物色範囲および本画像のブロック情報に基づいて環境光源を推定してもよい。白色物色範囲の補正態様としては、仮の環境光源と異なる種類の光源種類における白色物色範囲から、光源誤判定が生じやすい領域を除くことが考えられる。図15は、仮の環境光源が「蛍光灯光」であった場合の補正結果を示す図である。図15において、一点鎖線の矩形Dd,Dt,Doは補正前の白色物色範囲を、破線の楕円A〜Cは光源誤判定の生じやすい領域を、実線の矩形Ednew,Etnew,Etonewは補正後の白色物色範囲を示している。図15から明らかなように、仮の環境光源が「蛍光灯光」である場合、「蛍光灯光」の白色物色範囲Efは変化させない。一方、仮の環境光源と異なる「タングステン光」、「昼光」「日向日陰」の白色物色範囲Et,Ed,Eoは、誤判定の生じやすい色範囲B,Cが避けられるように補正を行い、新たな白色物色範囲Etnew,Ednew,Eonewを算出する。そして、環境光源を推定する場合には、本画像を構成する各ブロックの光源種類を当該補正後の白色物色範囲に基づいて判定し、得られたブロック光源判定結果に基づいて環境光源を推定する。
【0078】
次に、第三実施形態について図16を用いて説明する。図16は、第三実施形態におけるAWB処理の流れを示すフローチャートである。この第三実施形態では、本画像撮影時におけるストロボ照射(本照射)の有無に応じて環境光源の推定態様を変化させている。すなわち、本明細書において「環境光源」とは、本画像撮影時の環境光源を意味している。したがって、本画像撮影時にストロボ光を照射する場合、「環境光源」は、非照射時の光源と本照射のストロボ光とをあわせたミックス光を意味することになる。本実施形態では、このミックス光の白色物色範囲を推定することを、本画像撮影時の「環境光源」の推定としている。以下、これについて詳説する。
【0079】
本実施形態では、まず、第一実施形態と同様に、第一画像および第二画像からブロック情報を取得し、当該ブロック情報の比較に基づき色変化傾向を求める(S22〜S26)。そして、得られた色変化傾向から仮の環境光源を推定する(S28)。ここで、この仮の環境光源は、非照射時における環境光源(以下「非照射時光源」という)の推定結果といえる。
【0080】
続いて、本照射の有無を判断する(S52)。通常、本照射は、ユーザからの指示、または、環境輝度に基づいて実行の可否が決定される。したがって、ユーザから本照射の指示があったか否か、また、環境輝度が一定基準値未満か否かで本照射の有無が判断できる。
【0081】
本照射が無いと判断された場合には、既述の非照射時光源を実際の環境光源とする(S54)。そして、得られた環境光源に基づいてAWBゲインの算出、および、AWBゲインの乗算を実行する(S30、S32)。
【0082】
一方、本照射があると判断された場合には、非照射時光源に対する本照射のストロボ光のミックス割合Mを求める(S56)。このミックス割合Mは、M=(予備照射の影響度)×{(本照射量)×(予備照射量)}/{(本画像の露光量)×(第二画像の露光量)}の式で求める。なお、ここでの「予備照射の影響度」は、第二実施形態で説明した予備照射輝度Pevと環境輝度Eevの割合をいう。
【0083】
続いて、得られた非照射時光源種類とミックス割合Mに基づいて、本画像撮像時、すなわち、本照射時の環境光源の白色物色範囲を求める(S58)。ここで、通常、ストロボ光の色は既知であるため、ストロボ光の白色物色範囲も既知であるといえる。そして、本照射時の環境光源の白色物色範囲は、本照射のミックス割合Mが大きいほどストロボ光の白色物色範囲に近づき、本照射のミックス割合が小さいほど非照射時光源の白色物色範囲に近づくことになる。本実施形態では、この原理を利用して本照射時の環境光源の白色物色範囲を求める。
【0084】
図17は、仮の環境光源が蛍光灯光であった場合における環境光源の白色物色範囲Ekの推定の様子を示す図である。本実施形態では、まず、ストロボ光の白色物色範囲Esの基準点Ssを求める。ここで、基準点は、白色物色範囲Esの座標平均点とする。続いて、非照射時光源、図17の図示例では蛍光灯光Efの白色物色範囲Efの基準点Sfを求める。そして、両基準点Ss,Sfを結ぶ接続線Lを求める。続いて、当該接続線Lをミックス割合に応じて分割した際の分割点Soを求める。図17では、ミックス割合を50%として、接続線Lを1:1に分割する点を分割点Soとしている。そして、得られた分割点Soを中心して本照射時の環境光源の白色物色範囲Ekを規定する。ここで本照射時の環境光源の白色物色範囲Ekの大きさ、形状(縦横比)は固定であってもよいし、適宜、変更してもよい。例えば、ミックス割合または仮の環境光源の種類に応じて、白色物色範囲Ekの大きさ、形状(縦横比)を変更してもよい。例えば、ミックス割合が大きいほど、白色物色範囲Ekを小さくしてもよい。また、白色物色範囲Ekを、非照射時光源の白色物色範囲(図17では矩形Ef)とストロボ光の白色物色範囲Esを平均した大きさ、形状としてもよい。
【0085】
本照射時の環境光源の白色物色範囲Ekが求まれば、当該白色物色範囲Ekおよび本画像に基づいてAWBゲインを求める(S30)。すなわち、本画像を複数のブロックに分割し、各ブロックの代表値を求める。そして、求まった代表値が当該白色物色範囲Ekに収まるブロックの数から、画像全体に対する本照射時の環境光源の寄与度を求め、当該寄与度に応じたAWBゲインを算出する。AWBゲインが求まれば、当該AWBゲインを本画像に乗算しAWB処理を終了する(S32)。
【0086】
以上の説明から明らかなように本実施形態では、非照射時の環境光源(非照射時光源)と本照射光のミックス割合に基づいて、本照射時の環境光源の白色物色範囲Ekを求めている。このとき、非照射時の環境光源は、色の変化傾向に基づいて求めている。したがって、より正確に本照射時の環境光源の白色物色範囲Ekを求めることができ、結果として、より信頼性の高いAWBゲインを得ることができる。
【0087】
次に、第四実施形態について図18、図19を用いて説明する。図18は第四実施形態における撮像処理の流れを、図19は第四実施形態におけるAWB処理の流れを示すフローチャートである。
【0088】
第四実施形態では、第二画像の取得の要否、換言すれば、予備照射の要否を判断する。そして、第二画像の取得が不要と判断された場合には、従来のAWB処理技術と同様に本画像に基づいて環境光源を推定する。一方、第二画像の取得が必要と判断された場合には、第一から第三実施形態のように第一画像および第二画像での色変化傾向を考慮して環境光源を推定する。以下、この第四実施形態について詳説する。
【0089】
はじめに本実施形態における撮像処理の流れについて説明する。本実施形態でも第一実施形態と同様に、レリーズスイッチS1の検知からレリーズスイッチS2の検知までの間に、プレビュー画像の一時記録と廃棄を繰り返して第一画像を取得する(S10、S12,S14)。後に詳説するように、AWB処理では、この第一画像等に基づいて第二画像の取得の要否を判断する(S62)。
【0090】
要否判断の結果、第二画像の取得が必要と判断された場合には、予備照射を行いながらプレビュー画像を取得し、当該プレビュー画像を第二画像として一時記録する(S18)。そして、第二画像取得した後に、本画像の撮像を実行する(S20)。一方、第二画像の取得が不要と判断された場合には、レリーズスイッチS2の検知後、即座に本画像の撮像を実行する(S20)。
【0091】
次に、この撮像処理と並行して行われるAWB処理の流れについて図19を用いて説明する。本実施形態では、まず、第一画像のブロック情報を取得する(S22)。このブロック情報の取得方法は、第一実施形態と同様である。続いて、第二画像の取得の要否を判断する(S62)。これは、予備照射によりユーザに何らかの誤解が生じるか否か、および、色変化傾向に基づく環境光源推定が有用であるか否かに基づいて判断する。
【0092】
予備照射によりユーザに何らかの誤解が生じる場合としては、例えば、予備照射をカメラ側の故障と誤解される場合が考えられる。これまでの説明で明らかなように、予備照射は、ユーザの指示や環境輝度に関わらず行われる。換言すれば、予備照射は、ユーザの意図あるいは予測とは無関係に行われる照射である。かかる予備照射を行った場合、カメラが故障したとユーザが誤解する可能性がある。特に、本画像撮像時において本照射を行わない場合、すなわち、ユーザから指示がなく、かつ、環境輝度が十分に明るい場合に、予備照射を行うとユーザの誤解を招く可能性が高い。そこで、本照射が無い場合には、予備照射、ひいては、第二画像の取得が不要と判断してもよい。
【0093】
また、色変化傾向に基づく環境光源推定が有用である場合としては、予備照射の影響度が十分に大きい場合が考えられる。予備照射の影響度が大きい場合は、色変化傾向に基づく環境光源の推定結果は信頼性が高く、有用性が高いといえる。逆に、予備照射の影響度が低い場合には、色変化傾向に基づく環境光源の推定結果の有用性は低いといえる。換言すれば予備照射の影響度が低い場合には、第二画像を取得して色変化傾向を取得する必要性が乏しい。したがって、予備照射の影響度が所定の基準値未満である場合には、第二画像の取得不要と判断してもよい。
【0094】
また、色変化傾向に基づく環境光源推定が有用である場合としては、被写界に光源誤判定の生じやすい色範囲(図2における楕円A〜C)の部分が多く含まれている場合が考えられる。記述したように、被写界に光源誤判定の生じやすい色範囲の部分が多く含まれている場合、本画像のみからは正確な環境光源を推定することは困難である。かかる場合には、色変化傾向に基づく環境光源推定は有用であるといえる。逆に、光源誤判定の生じやすい範囲の部分が少ない場合には、本画像のみからでも正確な環境光源を推定できる。したがって、第一画像のブロック情報に基づき、第一画像に光源誤判定の生じやすい色範囲のブロックの割合を求め、誤判定の生じやすいブロック数が少ない場合には第二画像の取得不要と判断してもよい。
【0095】
本実施形態では、以上のような各種基準および各種基準の組み合わせに基づいて第二画像の取得の要否を判断する。そして、第二画像の取得が必要と判断された場合には、第二画像を取得するとともに、当該第二画像および第一画像の間での色変化傾向を取得する(S24、S26)。そして、得られた色変化傾向に基づいて環境光源を推定する(S28)。この環境光源の推定には、第一から第三実施形態の技術を利用する。すなわち、必要に応じて、色変化傾向だけでなく、予備照射の影響度や本照射時のミックス割合等も勘案して環境光源を推定する。一方、第二画像の取得が不要と判断された場合には、従来AWB処理と同様に、本画像に基づいて環境光源を推定する(S58)。
【0096】
環境光源が推定できれば、本画像全体に対する環境光源の寄与度を求め、当該寄与度に応じたAWBゲインを算出する(S30)。そして、このAWBゲインを本画像に乗算することで、AWB処理が終了となる(S32)。
【0097】
以上の説明から明らかなように、本実施形態では、第二画像の取得の要否を判断し、その判断結果に応じて、環境光源の推定態様を変えている。これにより、ユーザの誤解や不要な予備照射を防止しつつ、正確に環境光源を推定できる。
【0098】
なお、以上の第一から第四実施形態では、いずれも、プレビュー画像を第一画像および第二画像としている。しかし、本画像を第一画像および第二画像として取り扱ってもよい。すなわち、本照射有りで本画像撮像を行う場合は、予備照射無しで取得されたプレビュー画像を第一画像、本画像を第二画像とし、本画像と第一画像の色変化傾向に基づいて環境光源を推定してもよい。逆に、本照射無しで本画像撮像を行う場合は、予備照射有りで取得されたプレビュー画像を第二画像、本画像を第一画像とし、本画像と第二画像の色変化傾向に基づいて環境光源を推定する。ただし、通常のプレビュー画像は、本画像に比べて、ノイズ除去処理が省略されていたり、画素数が異なっていたりすることが多い。つまり、本画像とプレビュー画像では品質が異なっていることが多い。かかる品質の異なる画像間の色変化傾向では、環境光源の推定精度が低下する。そこで、本画像を第一画像または第二画像として取り扱う場合には、プレビュー画像である第二画像または第一画像の品質を本画像に合わせることが望ましい。
【0099】
また、第一から第四実施形態では、第一画像および第二画像を、本画像に先立って取得している。しかし、本画像とほぼ同じ被写体を撮像できるのであれば、本画像撮像の後に、第一画像よび第二画像を取得してもよい。
【図面の簡単な説明】
【0100】
【図1】本発明の第一実施形態であるデジタルカメラの構成を示すブロック図である。
【図2】白色物色範囲の一例を示す図である。
【図3】AWB設定時における撮像処理の流れを示すフローチャートである。
【図4】AWB処理の流れを示すフローチャートである。
【図5】第一画像および第二画像の光源判定結果の一例を示す図である。
【図6】蛍光灯光下でストロボ光照射した場合の色変化傾向を示す図である。
【図7】タングステン光下でストロボ光照射した場合の色変化傾向を示す図である。
【図8】昼光下でストロボ光照射した場合の色変化傾向を示す図である。
【図9】色変化傾向と、推定される環境光源と、の関係を示す図である。
【図10】色変化傾向の取得態様の一例を説明する図である。
【図11】色変化傾向の取得態様の一例を説明する図である。
【図12】第二実施形態におけるAWB処理の流れを示すフローチャートである。
【図13】予備照射の影響度の取得態様の一例を説明する図である。
【図14】本画像のブロックについて光源種類を判定した結果の一例を示す図である。
【図15】白色物色範囲の補正態様の一例を示す図である。
【図16】第三実施形態におけるAWB処理の流れを示すフローチャートである。
【図17】本照射時の白色物色範囲を取得する様子を説明する図である。
【図18】第四実施形態における撮像処理の流れを示すフローチャートである。
【図19】第四実施形態におけるAWB処理の流れを示すフローチャートである。
【符号の説明】
【0101】
10 デジタルカメラ、14 レンズ、16 CCD、25 画像処理部、28 ホワイトバランス処理部、46 ストロボ装置、50 AE/AF/ストロボ制御部、51 WBゲイン取得部、52 ブロック情報取得部、54 環境光源推定部、56 ゲイン算出部、Ed,Ef,Et,Eo 白色物色範囲、A,B,C 光源誤判定の生じやすい色範囲。
【特許請求の範囲】
【請求項1】
ユーザが意図する撮像画像である本画像に対してホワイトバランス処理を施すデジタルカメラであって、
ストロボ光の予備照射をすることなく本画像と同一被写界を撮像して第一画像を取得する第一画像取得手段と、
ストロボ光の予備照射をしながら本画像と同一被写界を撮像して第二画像を取得する第二画像取得手段と、
第一画像および第二画像に基づいて、予備照射による被写界の色の変化傾向を取得する色変化傾向取得手段と、
少なくとも、取得された色変化傾向に基づいて、被写界の環境光源を推定する環境光源推定手段と、
推定された環境光源に応じて、本画像のホワイトバランスゲインを算出するゲイン算出手段と、
を備えることを特徴とするデジタルカメラ。
【請求項2】
請求項1に記載のデジタルカメラであって、
色変化傾向取得手段は、第一画像および第二画像を複数のブロックに分割するとともに、各ブロックの色値の代表値および各ブロックの光源種類をブロック情報として取得するブロック情報取得手段を備え、
取得された第一画像のブロック情報および第二画像のブロック情報の比較に基づき、色変化傾向を取得することを特徴とするデジタルカメラ。
【請求項3】
請求項2に記載のデジタルカメラであって、
色変化傾向取得手段は、第一画像と第二画像との間で、光源種類が変化したブロック割合および変化前後の光源種類を色変化傾向として取得することを特徴とするデジタルカメラ。
【請求項4】
請求項2に記載のデジタルカメラであって、
色変化傾向取得手段は、第一画像と第二画像との間で、同一座標のブロックの代表値の変化量を色変化傾向として取得することを特徴とするデジタルカメラ。
【請求項5】
請求項2に記載のデジタルカメラであって、
色変化傾向取得手段は、第一画像および第二画像の間での、各光源種類ごとのブロックの変化数を色変化傾向として取得することを特徴とするデジタルカメラ。
【請求項6】
請求項1から5のいずれか1項に記載のデジタルカメラであって、さらに、
本画像撮像時にストロボ光を本照射するか否かを判断する手段を備え、
本照射すると判断された場合、
環境光源推定手段は、色変化傾向に基づいて非照射時の環境光源を推定し、非照射時の環境光源と本照射のストロボ光のミックス割合を求め、得られたミックス割合と非照射時の環境光源とに基づいて本画像撮像時の環境光源を推定することを特徴とするデジタルカメラ。
【請求項7】
請求項1から6のいずれか1項に記載のデジタルカメラであって、
環境光源推定手段は、被写界に対する予備照射の影響度を求める影響度取得手段を備えており、影響度が所定の基準値未満の場合には、得られた影響度および色変化傾向に基づいて環境光源を推定することを特徴とするデジタルカメラ。
【請求項8】
請求項7に記載のデジタルカメラであって、
影響度取得手段は、少なくとも、被写界輝度と被写界における予備照射の輝度との比率に基づいて予備照射の影響度を求めることを特徴とするデジタルカメラ。
【請求項9】
請求項7または8に記載のデジタルカメラであって、
影響度取得手段は、少なくとも、第一画像および第二画像の輝度値の変化量に基づいて予備照射の影響度を求めることを特徴とするデジタルカメラ。
【請求項10】
請求項7から9のいずれか1項に記載のデジタルカメラであって、
予備照射の影響度が所定の基準値未満の場合、
環境光源推定手段は、色変化傾向に基づいて仮の環境光源を推定するとともに得られた仮の環境光源に基づいて各光源種類の重み係数を求め、本画像を複数のブロックに分割するとともに各ブロックの色値の代表値および各ブロックの光源種類を判定し、本画像における各光源種類ごとのブロック数に当該光源種類に応じた重み係数を乗じた値に基づいて環境光源を推定することを特徴とするデジタルカメラ。
【請求項11】
請求項7から9のいずれか1項に記載のデジタルカメラであって、
予備照射の影響度が所定の基準値未満の場合、
環境光源推定手段は、色変化傾向に基づいて仮の環境光源を推定し、仮の環境光源と異なる光源下における白色物の色範囲として光源誤判定の生じやすい領域を除いた領域を設定し、本画像を複数のブロックに分割するとともに前記設定された白色物色範囲に基づいて各ブロックの光源種類を判定し、当該ブロックごとの光源種類判定結果に基づいて環境光源を推定することを特徴とするデジタルカメラ。
【請求項12】
請求項1から11のいずれか1項に記載のデジタルカメラであって、さらに、
第二画像の取得の要否を判断する第二画像要否判断手段を備え、
第二画像の取得が不要と判断された場合、
第二画像の取得、色変化傾向の取得は行わず、
環境光源推定手段は、本画像に基づいて環境光源を推定することを特徴とするデジタルカメラ。
【請求項13】
請求項12に記載のデジタルカメラであって、
第二画像要否判断手段は、少なくとも、本画像撮像時のストロボ光の照射の有無に基づいて第二画像の取得の要否を判断することを特徴とするデジタルカメラ。
【請求項14】
請求項12または13に記載のデジタルカメラであって、
第二画像要否判断手段は、少なくとも、第一画像に含まれる光源誤判定の生じやすい色部分の割合に基づいて第二画像の取得の要否を判断することを特徴とするデジタルカメラ。
【請求項15】
請求項13から14のいずれか1項に記載のデジタルカメラであって、
第二画像要否判断手段は、被写界に対する予備照射の影響度に基づいて第二画像の取得の要否を判断することを特徴とするデジタルカメラ。
【請求項16】
請求項1から15のいずれか1項に記載のデジタルカメラであって、
第一画像および第二画像は、電子ファインダに撮像可能画像として表示されるプレビュー画像であることを特徴とするデジタルカメラ。
【請求項17】
ユーザが意図する撮像画像である本画像に対して施すホワイトバランス処理に用いられるゲインを算出するゲイン算出装置であって、
ストロボ光の予備照射をすることなく本画像と同一被写界を撮像した第一画像と、ストロボ光の予備照射をしながら本画像と同一被写界を撮像した第二画像と、に基づいて、予備照射による被写界の色の変化傾向を取得する色変化傾向取得手段と、
少なくとも、取得された色変化傾向に基づいて、被写界の環境光源を推定する環境光源推定手段と、
推定された環境光源に応じて、本画像のWBゲインを算出するゲイン算出手段と、
を備えることを特徴とするゲイン算出装置。
【請求項18】
ユーザが意図する撮像画像である本画像に対して施すホワイトバランス処理に用いられるゲインを算出するゲイン算出方法であって、
ストロボ光の予備照射をすることなく本画像と同一被写界を撮像して第一画像を取得する第一画像取得ステップと、
ストロボ光の予備照射をしながら本画像と同一被写界を撮像して第二画像を取得する第二画像取得ステップと、
第一画像および第二画像に基づいて、予備照射による被写界の色の変化傾向を取得する色変化傾向取得ステップと、
少なくとも、取得された色変化傾向に基づいて、被写界の環境光源を推定する環境光源推定ステップと、
推定された環境光源に応じて、本画像のWBゲインを算出するゲイン算出ステップと、
を備えることを特徴とするゲイン算出方法。
【請求項1】
ユーザが意図する撮像画像である本画像に対してホワイトバランス処理を施すデジタルカメラであって、
ストロボ光の予備照射をすることなく本画像と同一被写界を撮像して第一画像を取得する第一画像取得手段と、
ストロボ光の予備照射をしながら本画像と同一被写界を撮像して第二画像を取得する第二画像取得手段と、
第一画像および第二画像に基づいて、予備照射による被写界の色の変化傾向を取得する色変化傾向取得手段と、
少なくとも、取得された色変化傾向に基づいて、被写界の環境光源を推定する環境光源推定手段と、
推定された環境光源に応じて、本画像のホワイトバランスゲインを算出するゲイン算出手段と、
を備えることを特徴とするデジタルカメラ。
【請求項2】
請求項1に記載のデジタルカメラであって、
色変化傾向取得手段は、第一画像および第二画像を複数のブロックに分割するとともに、各ブロックの色値の代表値および各ブロックの光源種類をブロック情報として取得するブロック情報取得手段を備え、
取得された第一画像のブロック情報および第二画像のブロック情報の比較に基づき、色変化傾向を取得することを特徴とするデジタルカメラ。
【請求項3】
請求項2に記載のデジタルカメラであって、
色変化傾向取得手段は、第一画像と第二画像との間で、光源種類が変化したブロック割合および変化前後の光源種類を色変化傾向として取得することを特徴とするデジタルカメラ。
【請求項4】
請求項2に記載のデジタルカメラであって、
色変化傾向取得手段は、第一画像と第二画像との間で、同一座標のブロックの代表値の変化量を色変化傾向として取得することを特徴とするデジタルカメラ。
【請求項5】
請求項2に記載のデジタルカメラであって、
色変化傾向取得手段は、第一画像および第二画像の間での、各光源種類ごとのブロックの変化数を色変化傾向として取得することを特徴とするデジタルカメラ。
【請求項6】
請求項1から5のいずれか1項に記載のデジタルカメラであって、さらに、
本画像撮像時にストロボ光を本照射するか否かを判断する手段を備え、
本照射すると判断された場合、
環境光源推定手段は、色変化傾向に基づいて非照射時の環境光源を推定し、非照射時の環境光源と本照射のストロボ光のミックス割合を求め、得られたミックス割合と非照射時の環境光源とに基づいて本画像撮像時の環境光源を推定することを特徴とするデジタルカメラ。
【請求項7】
請求項1から6のいずれか1項に記載のデジタルカメラであって、
環境光源推定手段は、被写界に対する予備照射の影響度を求める影響度取得手段を備えており、影響度が所定の基準値未満の場合には、得られた影響度および色変化傾向に基づいて環境光源を推定することを特徴とするデジタルカメラ。
【請求項8】
請求項7に記載のデジタルカメラであって、
影響度取得手段は、少なくとも、被写界輝度と被写界における予備照射の輝度との比率に基づいて予備照射の影響度を求めることを特徴とするデジタルカメラ。
【請求項9】
請求項7または8に記載のデジタルカメラであって、
影響度取得手段は、少なくとも、第一画像および第二画像の輝度値の変化量に基づいて予備照射の影響度を求めることを特徴とするデジタルカメラ。
【請求項10】
請求項7から9のいずれか1項に記載のデジタルカメラであって、
予備照射の影響度が所定の基準値未満の場合、
環境光源推定手段は、色変化傾向に基づいて仮の環境光源を推定するとともに得られた仮の環境光源に基づいて各光源種類の重み係数を求め、本画像を複数のブロックに分割するとともに各ブロックの色値の代表値および各ブロックの光源種類を判定し、本画像における各光源種類ごとのブロック数に当該光源種類に応じた重み係数を乗じた値に基づいて環境光源を推定することを特徴とするデジタルカメラ。
【請求項11】
請求項7から9のいずれか1項に記載のデジタルカメラであって、
予備照射の影響度が所定の基準値未満の場合、
環境光源推定手段は、色変化傾向に基づいて仮の環境光源を推定し、仮の環境光源と異なる光源下における白色物の色範囲として光源誤判定の生じやすい領域を除いた領域を設定し、本画像を複数のブロックに分割するとともに前記設定された白色物色範囲に基づいて各ブロックの光源種類を判定し、当該ブロックごとの光源種類判定結果に基づいて環境光源を推定することを特徴とするデジタルカメラ。
【請求項12】
請求項1から11のいずれか1項に記載のデジタルカメラであって、さらに、
第二画像の取得の要否を判断する第二画像要否判断手段を備え、
第二画像の取得が不要と判断された場合、
第二画像の取得、色変化傾向の取得は行わず、
環境光源推定手段は、本画像に基づいて環境光源を推定することを特徴とするデジタルカメラ。
【請求項13】
請求項12に記載のデジタルカメラであって、
第二画像要否判断手段は、少なくとも、本画像撮像時のストロボ光の照射の有無に基づいて第二画像の取得の要否を判断することを特徴とするデジタルカメラ。
【請求項14】
請求項12または13に記載のデジタルカメラであって、
第二画像要否判断手段は、少なくとも、第一画像に含まれる光源誤判定の生じやすい色部分の割合に基づいて第二画像の取得の要否を判断することを特徴とするデジタルカメラ。
【請求項15】
請求項13から14のいずれか1項に記載のデジタルカメラであって、
第二画像要否判断手段は、被写界に対する予備照射の影響度に基づいて第二画像の取得の要否を判断することを特徴とするデジタルカメラ。
【請求項16】
請求項1から15のいずれか1項に記載のデジタルカメラであって、
第一画像および第二画像は、電子ファインダに撮像可能画像として表示されるプレビュー画像であることを特徴とするデジタルカメラ。
【請求項17】
ユーザが意図する撮像画像である本画像に対して施すホワイトバランス処理に用いられるゲインを算出するゲイン算出装置であって、
ストロボ光の予備照射をすることなく本画像と同一被写界を撮像した第一画像と、ストロボ光の予備照射をしながら本画像と同一被写界を撮像した第二画像と、に基づいて、予備照射による被写界の色の変化傾向を取得する色変化傾向取得手段と、
少なくとも、取得された色変化傾向に基づいて、被写界の環境光源を推定する環境光源推定手段と、
推定された環境光源に応じて、本画像のWBゲインを算出するゲイン算出手段と、
を備えることを特徴とするゲイン算出装置。
【請求項18】
ユーザが意図する撮像画像である本画像に対して施すホワイトバランス処理に用いられるゲインを算出するゲイン算出方法であって、
ストロボ光の予備照射をすることなく本画像と同一被写界を撮像して第一画像を取得する第一画像取得ステップと、
ストロボ光の予備照射をしながら本画像と同一被写界を撮像して第二画像を取得する第二画像取得ステップと、
第一画像および第二画像に基づいて、予備照射による被写界の色の変化傾向を取得する色変化傾向取得ステップと、
少なくとも、取得された色変化傾向に基づいて、被写界の環境光源を推定する環境光源推定ステップと、
推定された環境光源に応じて、本画像のWBゲインを算出するゲイン算出ステップと、
を備えることを特徴とするゲイン算出方法。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【公開番号】特開2007−173933(P2007−173933A)
【公開日】平成19年7月5日(2007.7.5)
【国際特許分類】
【出願番号】特願2005−364816(P2005−364816)
【出願日】平成17年12月19日(2005.12.19)
【出願人】(590000846)イーストマン コダック カンパニー (1,594)
【Fターム(参考)】
【公開日】平成19年7月5日(2007.7.5)
【国際特許分類】
【出願日】平成17年12月19日(2005.12.19)
【出願人】(590000846)イーストマン コダック カンパニー (1,594)
【Fターム(参考)】
[ Back to top ]