撮像装置及びホワイトバランス調整方法
【課題】フラッシュ発光画像とフラッシュ非発光画像に空間的な位置ずれが生じている場合にもホワイトバランスを調整すること。
【解決手段】フラッシュ発光画像及びフラッシュ非発光画像に基づき画素ごとにフラッシュ反射量を算出するフラッシュ反射量算出部と、フラッシュ反射量及びフラッシュ発光画像での信号値それぞれを、注目画素の値と周辺画素の値との差分値に基づき周辺画素を複数のパターンに分類する周辺画素分類部と、周辺画素の分類結果に基づき注目画素のフラッシュ反射量の補正に用いる周辺画素を選択する周辺画素選択部と、選択した周辺画素のフラッシュ反射量及び信号値に基づき注目画素の画素ごとにフラッシュ反射量を補正するフラッシュ反射量補正部と、補正後のフラッシュ反射量を利用して画素ごとにホワイトバランスゲインを算出するホワイトバランスゲイン算出部とを備える撮像装置が提供される。
【解決手段】フラッシュ発光画像及びフラッシュ非発光画像に基づき画素ごとにフラッシュ反射量を算出するフラッシュ反射量算出部と、フラッシュ反射量及びフラッシュ発光画像での信号値それぞれを、注目画素の値と周辺画素の値との差分値に基づき周辺画素を複数のパターンに分類する周辺画素分類部と、周辺画素の分類結果に基づき注目画素のフラッシュ反射量の補正に用いる周辺画素を選択する周辺画素選択部と、選択した周辺画素のフラッシュ反射量及び信号値に基づき注目画素の画素ごとにフラッシュ反射量を補正するフラッシュ反射量補正部と、補正後のフラッシュ反射量を利用して画素ごとにホワイトバランスゲインを算出するホワイトバランスゲイン算出部とを備える撮像装置が提供される。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置及びホワイトバランス調整方法に関する。
【背景技術】
【０００２】
デジタルスチルカメラ等の電子的撮像装置によりフラッシュ発光撮影をする場合に、適切なホワイトバランスの画像を取得するための方法として、フラッシュ発光量を予め調整して撮像する方法、及び、撮像後に白色を正確に映し出すようにするようにホワイトバランス調整を行う方法がある。
【０００３】
フラッシュ発光量を予め調整して撮像する方法の一例として、予備発光時の画像を利用するものがある。例えば、以下の特許文献１では、環境光の色情報に基づいて予備発光時のフラッシュ光の色温度を制御するとともに、予備発光時における被写体からの反射光量に基づいて撮像時のフラッシュ光の発光量を制御する構成が開示されている。
【０００４】
また、撮像後にホワイトバランス調整を行う方法には、画像全体に一律にホワイトバランスゲインを算出する方法、及び、画素ごとにホワイトバランスゲインを算出する方法がある。
【０００５】
ここで、フラッシュ発光撮像では、被写体にフラッシュ光が当たっている部分と背景の定常光部分とで色温度が大きく異なる。例えば、定常光が暗いシーンでは露光不足を解消するためにフラッシュを発光させて撮影を行うが、この時、定常光とフラッシュ光が混合されているシーンでのホワイトバランスゲインはフラッシュの発光量等に応じて算出することになる。その際にデジタルスチルカメラに近い距離にある被写体については適切なホワイトバランスとすることができるが、遠い距離にある被写体については定常光の依存度が高くなり、定常光が蛍光灯などの場合だとフラッシュ光との色温度差が大きくなる。そのため、画像全体に対し一律にホワイトバランスゲインを算出する方法では、白い被写体が黄色くなるなど不適切なホワイトバランスとなる問題が発生する。
【０００６】
また、画素ごとにホワイトバランスゲインを算出する方法においては、フラッシュ発光撮像画像とフラッシュ非発光撮像画像を比較することでフラッシュ反射量を算出し、そのフラッシュ反射量から最適なホワイトバランスゲインを画素ごとに算出する下記の特許文献２のような方法がある。しかし、フラッシュ発光撮像画像とフラッシュ非発光撮像画像とに空間的な位置ずれがある場合には、フラッシュ反射量を正しく算出できずに、誤ったホワイトバランスゲインが算出されてしまうことがある。その結果、被写体のエッジ部に不適切な色つきが発生する等の問題が発生することとなる。
【０００７】
そこで、フラッシュ発光撮像画像とフラッシュ非発光撮像画像の画像とに空間的な位置ずれがある場合における、画素ごとのホワイトバランスゲイン算出方法として、画像の位置合わせを行う方法や、輝度値に平滑化処理を施してホワイトバランスゲイン又はフラッシュ反射量等を求める方法が提案されている。例えば、下記の特許文献３には、フラッシュ発光撮像画像及びフラッシュ非発光撮像画像を取得し、それぞれの画像の対応する輝度の比率から画素ごとにホワイトバランスゲインを算出する構成が開示されている。ホワイトバランスゲインの算出の際に、メディアンフィルタ等を用いてフラッシュ発光撮像画像とフラッシュ非発光撮像画像の平滑化処理を行い、空間的な位置ずれの影響を軽減するようにしている。
【先行技術文献】
【特許文献】
【０００８】
【特許文献１】特開２００９−１５３０８号公報
【特許文献２】特開２０１１−１３５３７８号公報
【特許文献３】特開２００５−１６７４７６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００９】
特許文献１に開示されている方法では、画素ごとにフラッシュ発光量及び色温度の調整を行うことができないため、画像の一部のみが不自然に明るく撮像されたり、不適切な色つきが発生したりすることがある。
また、特許文献３に開示されている方法では、全ての空間的位置ずれの影響をなくすことができず、ホワイトバランスゲインにずれが生じることがある。さらに、エッジ等の色温度が大きく変化する境界を考慮せず、一律に平滑化処理を行うため、画素間で色の変化量が大きくなって不自然な画像となることがある。
【００１０】
そこで、本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、フラッシュ発光撮像画像とフラッシュ非発光撮像画像に空間的な位置ずれが生じている場合にも、フラッシュ発光撮像画像の画素ごとに適切なホワイトバランスを調整することが可能な、新規かつ改良された撮像装置及びホワイトバランス調整方法を提供することにある。
【課題を解決するための手段】
【００１１】
上記課題を解決するために、本発明のある観点によれば、フラッシュ発光時の画像及びフラッシュ非発光時の画像を取得する撮像部と、前記フラッシュ発光時の画像及び前記フラッシュ非発光時の画像に基づき、前記フラッシュ発光時の画像の画素ごとにフラッシュ反射量を算出するフラッシュ反射量算出部と、算出した前記フラッシュ反射量及びフラッシュ発光時の画像での信号値それぞれについて、当該前記フラッシュ反射量又は前記信号値を有する画素である注目画素の値と、当該注目画素の周辺に位置する周辺画素の値との差分値に基づき、前記周辺画素を複数のパターンに分類する周辺画素分類部と、前記周辺画素の分類結果に基づき、前記注目画素のフラッシュ反射量を補正するために用いる前記周辺画素を選択する周辺画素選択部と、選択した前記周辺画素の前記フラッシュ反射量及び信号値に基づき、前記注目画素ごとに、前記フラッシュ発光時の画像を構成する画素の、前記フラッシュ反射量を補正するフラッシュ反射量補正部と、補正後の前記フラッシュ反射量を利用して、画素ごとにホワイトバランスゲインを算出するホワイトバランスゲイン算出部と、算出された前記ホワイトバランスゲインに基づき、前記フラッシュ発光時の画像のホワイトバランスを制御するホワイトバランス制御部と、を備える、撮像装置が提供される。
【００１２】
かかる構成によれば、注目画素の信号値と、選択した周辺画素のフラッシュ反射量及び信号値とを利用することにより、注目画素のフラッシュ反射量が適切に補正される。その結果、フラッシュ発光撮像画像とフラッシュ非発光撮像画像とに空間的な位置ずれがある場合でも、フラッシュ発光撮像画像の画素ごとに適切なホワイトバランスゲインを算出し、ホワイトバランス調整を行うことが可能になる。
【００１３】
前記フラッシュ反射量算出部は、前記フラッシュ発光時の画像の露光制御値及び前記フラッシュ非発光時の露光制御値の差分に基づき、露光差分値を算出する露光差分値算出部と、算出した前記露光差分値と、フラッシュ発光時の画像及びフラッシュ非発光時の画像の信号値と、を利用してフラッシュ発光時の画像の画素ごとに前記フラッシュ反射量を算出する第一のフラッシュ反射量算出部と、をさらに備えていてもよい。
【００１４】
かかる構成によれば、フラッシュ発光時の画像とフラッシュ非発光時の画像が異なる露光制御値で撮像された場合においても、フラッシュ反射量が正確に算出される。これにより、より適切なホワイトバランスゲインを算出することが可能になる。
【００１５】
前記周辺画素分類部は、前記注目画素のフラッシュ反射量と、前記周辺画素のフラッシュ反射量と、の差分値を算出するフラッシュ反射量差分算出部と、前記注目画素の信号値と、前記周辺画素の信号値と、の差分値を算出する信号値差分算出部と、算出した前記フラッシュ反射量差分値と第一の閾値との大小関係、及び、算出した信号値と第二の閾値との大小関係に応じて、前記周辺画素を分類する周辺画素分類判定部と、をさらに備えていてもよい。
【００１６】
かかる構成によれば、周辺画素をより適切にパターン分類し、注目画素のフラッシュ反射量の補正に用いる周辺画素のパターンが選択される。その結果、より適切にホワイトバランスゲインを算出することが可能となる。
【００１７】
前記周辺画素選択部は、前記周辺画素の分類結果に基づき、前記フラッシュ反射量と前記信号値の差分値とで表されるパターン間距離が最長となる２つのパターンの組み合わせを選択し、選択した前記２つのパターンに含まれる周辺画素を、フラッシュ反射量補正に用いる周辺画素として選択するようにしてもよい。
【００１８】
かかる構成によれば、注目画素のフラッシュ反射量の補正に用いる周辺画素のパターンとして、空間的な位置ずれの影響が小さいパターンが選択される。これにより、より適切なホワイトバランスゲインを算出することが可能となる。
【００１９】
前記パターン間距離は、各パターンに属する周辺画素のフラッシュ反射量及び信号値それぞれの平均値により決定されるようにしてもよい。
【００２０】
前記撮像装置は、補正後の前記フラッシュ反射量及び信号値を利用した、平滑化処理を行う平滑化処理部をさらに備えるようにしてもよい。
【００２１】
これにより、ホワイトバランス調整後の画像のエッジ情報を保持しつつ、ノイズ低減処理を行うことが可能となる。
【００２２】
ここで、前記信号値として、基準となる一の色の信号値に対する他の色の信号値で表されるカラーバランスが用いられてもよい。
【００２３】
また、上記課題を解決するために、本発明の別の観点によれば、前記フラッシュ発光時の画像及び前記フラッシュ非発光時の画像に基づき、前記フラッシュ発光時の画像の画素ごとにフラッシュ反射量を算出するフラッシュ反射量算出ステップと、算出した前記フラッシュ反射量及びフラッシュ発光時の画像での信号値それぞれについて、当該前記フラッシュ反射量又は前記信号値を有する画素である注目画素の値と、当該注目画素の周辺に位置する周辺画素の値との差分値に基づき、前記周辺画素を複数のパターンに分類する周辺画素分類ステップと、前記周辺画素の分類結果に基づき、前記注目画素のフラッシュ反射量を補正するために用いる前記周辺画素を選択する周辺画素選択ステップと、選択した前記周辺画素の前記フラッシュ反射量及び信号値に基づき、前記注目画素の画素ごとに、前記フラッシュ発光時の画像を構成する画素の、前記フラッシュ反射量を補正するフラッシュ反射量補正ステップと、補正後の前記フラッシュ反射量を利用して、画素ごとにホワイトバランスゲインを算出するホワイトバランスゲイン算出ステップと、算出された前記ホワイトバランスゲインに基づき、前記フラッシュ発光時の画像のホワイトバランスを制御するホワイトバランス制御ステップと、を含むホワイトバランス調整方法が提供される。
【発明の効果】
【００２４】
以上説明したように本発明によれば、注目画素の信号値と、選択した周辺画素のフラッシュ反射量及び信号値とを使用することにより、注目画素のフラッシュ反射量を適切に補正することが可能になり、フラッシュ発光撮像画像とフラッシュ非発光撮像画像とに空間的な位置ずれがある場合でも、フラッシュ発光撮像画像の画素ごとに適切なホワイトバランスゲインを算出し、ホワイトバランス調整を行うことができる。
【図面の簡単な説明】
【００２５】
【図１】フラッシュ非発光撮像画像の一例を示した説明図である。
【図２】フラッシュ発光撮像画像の一例を示した説明図である。
【図３】ベイヤ型配列を有する撮像素子を示した説明図である。
【図４】フラッシュ発光撮像画像とフラッシュ非発光撮像画像との間で発生する空間的な位置ずれについて説明するための説明図である。
【図５】フラッシュ発光撮像画像とフラッシュ非発光撮像画像との間で発生する空間的な位置ずれについて説明するための説明図である。
【図６】フラッシュ発光撮像画像とフラッシュ非発光撮像画像との間に空間的な位置ずれが生じていない場合における画像信号値及びフラッシュ反射量を示した説明図である。
【図７】フラッシュ発光撮像画像とフラッシュ非発光撮像画像との間に空間的な位置ずれが生じている場合における画像信号値を示した説明図である。
【図８】空間的な位置ずれが生じているフラッシュ発光撮像画像及びフラッシュ非発光撮像画像の画像信号値と、これらの信号値から算出されるフラッシュ反射量との関係を示した説明図である。
【図９】空間的な位置ずれが生じているフラッシュ発光撮像画像及びフラッシュ非発光撮像画像の画像信号値と、これらの信号値から算出されるフラッシュ反射量との関係を示した説明図である。
【図１０】本発明の第１の実施形態に係る撮像装置の構成を示したブロック図である。
【図１１】同実施形態に係るマルチＡＷＢ処理部の構成を示したブロック図である。
【図１２】第一フラッシュ反射量について説明するための説明図である。
【図１３】第一フラッシュ反射量の差分値について説明するための説明図である。
【図１４】画像信号値について説明するための説明図である。
【図１５】画像信号値の差分値について説明するための説明図である。
【図１６】同実施形態に係る周辺画素分類判定処理について説明するための説明図である。
【図１７】同実施形態に係る周辺画素分類判定処理について説明するための説明図である。
【図１８】同実施形態に係る周辺画素分類判定処理の結果について説明するための説明図である。
【図１９】同実施形態に係る周辺画素分類判定処理の結果について説明するための説明図である。
【図２０】同実施形態に係る周辺画素分類判定処理の結果について説明するための説明図である。
【図２１】同実施形態に係る周辺画素選択処理について説明するための説明図である。
【図２２Ａ】同実施形態に係るホワイトバランス調整方法の流れの一例を示した流れ図である。
【図２２Ｂ】同実施形態に係るホワイトバランス調整方法の流れの一例を示した流れ図である。
【発明を実施するための形態】
【００２６】
以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
【００２７】
なお、説明は以下の順序で行うものとする。
（１）フラッシュ発光撮像画像とフラッシュ非発光撮像画像との空間的な位置ずれによる影響について
（２）第１の実施形態
（２−１）撮像装置１０の構成
（２−１−１）撮像装置１０の全体構成
（２−１−２）マルチＡＷＢ処理部１０６の構成
（２−２）ホワイトバランス調整方法の流れ
【００２８】
＜１．フラッシュ発光撮像画像とフラッシュ非発光撮像画像との空間的な位置ずれによる影響について＞
本発明の好適な実施形態についての説明に先立ち、フラッシュ発光撮像画像とフラッシュ非発光撮像画像とに発生する空間的な位置ずれの現象と、この現象により生じるフラッシュ反射量への影響について、図１〜９を参照しながら詳細に説明する。
【００２９】
図１は、フラッシュ非発光撮像画像の一例を示した説明図である。図２は、フラッシュ発光撮像画像の一例を示した説明図である。図１は、ある被写体をフラッシュを発光させずに撮像した画像（フラッシュ非発光撮像画像）を模式的に示したものであり、図２は、図１と同一の被写体をフラッシュを発光させて撮像した画像（フラッシュ発光撮像画像）を模式的に示したものである。ここで、フラッシュ発光撮像画像とフラッシュ非発光撮像画像とは、それぞれ適切な露光制御値で撮像され、それぞれメモリ等の記憶手段に保持されている。
【００３０】
メモリ等に記憶されたフラッシュ非発光撮像画像のＲＧＢ画像信号値は、色信号値毎に、フラッシュ非発光撮像画像を構成する全ての画素について積算され、当該積算値に基づいて、フラッシュが発光されていない定常光のみの場合の推定光源色が算出され、メモリ等の記憶手段に保持される。また、フラッシュ光のみで撮像した場合の推定光源色は、ＲＯＭ等の記憶手段に予め保持されているものが利用される。なお、推定光源色は、Ｇ信号値に対するＲ信号値の比（以下Ｒ／Ｇとする。）及びＧ信号値に対するＢ信号値の比（以下Ｂ／Ｇとする。）で表される。
【００３１】
図３は、ベイヤ型配列を有する撮像素子を示した説明図である。上記画素ごとのＲＧＢ画像信号値に基づく計算は、図３に示したように、Ｒ，Ｇ，Ｇ，Ｂの四つの画素２１を一組としたベイヤユニット２３を１画素とみなして行われてもよく、ベイヤ色補間（デモザイク）処理によって、ベイヤ画像におけるＲ，Ｇ，Ｇ，Ｂの四つの画素から各色（Ｒ，Ｇ，Ｂ）１つずつの画素を生成することにより行われてもよい。
【００３２】
図１のようなフラッシュ非発光撮像画像を撮像したときの露光制御値（シャッタースピード、絞り値、感度）と、図２のようなフラッシュ発光撮像画像を取得したときの露光制御値とが異なる場合には、各露光制御値の差分値を考慮する必要がある。このような差分値を考慮することで、被写体からのフラッシュ光の反射量（フラッシュ反射量）を適切に算出することができる。
【００３３】
ここで、フラッシュ発光撮像画像とフラッシュ非発光撮像画像との間で空間的な位置ずれが生じている場合に、算出されるフラッシュ反射量にどのような影響が生じるかについて、考える。
【００３４】
なお、以下では、図１に示したフラッシュ非発光撮像画像における、図４に示したＡ−Ａ線の位置での画像信号値（以下、第一画像信号値とする。）、及び、図２に示したフラッシュ発光撮像画像における、図５に示したＢ−Ｂ線の位置での画像信号値（以下、第二画像信号値とする。）を例に挙げて説明を行うものとする。
【００３５】
（空間的な位置ずれがない場合）
図６は、Ａ−Ａ線（図４）又はＢ−Ｂ線（図５）の各位置におけるフラッシュ発光撮像画像の信号値及びフラッシュ非発光撮像画像の信号値を表した説明図である。ここで、図６及び図７に示したグラフ図において、横軸は、Ａ−Ａ線又はＢ−Ｂ線に沿った空間横方向の位置（換言すれば、被写体が存在している空間に固定された絶対座標系での横方向の位置）を表しており、縦軸は、信号値又はフラッシュ反射量を表している。また、図６及び図７に示した信号値は、画素の輝度値又は各色信号値である。図６及び図７において、信号値の変化量が大きい部分は、被写体のエッジ部に対応する。
【００３６】
フラッシュ発光撮像画像とフラッシュ非発光撮像画像との間で空間的な位置ずれがない場合には、図６に示すように、画像中のエッジに該当する信号値が変化する位置は、フラッシュ発光撮像画像とフラッシュ非発光撮像画像とで一致する。その結果、これらの画像信号値に基づいて算出されるフラッシュ反射量は、図６に示したように、第二画像信号値と類似した形状を有する分布を示すこととなる。
【００３７】
（空間的な位置ずれがある場合）
次に、フラッシュ発光撮像画像とフラッシュ非発光撮像画像との間に空間的な位置ずれがある場合について、Ａ−Ａ線に対応する位置でのフラッシュ非発光撮像画像の信号値、及び、Ｂ−Ｂ線に対応する位置でのフラッシュ発光撮像画像の信号値を考える。
【００３８】
図７は、画像中の横方向の各位置における、フラッシュ発光撮像画像の信号値及びフラッシュ非発光撮像画像の信号値を表した説明図である。フラッシュ発光撮像画像とフラッシュ非発光撮像画像とに空間的な位置ずれがある場合、図７に示すように、信号値が変化する位置は、フラッシュ発光撮像画像とフラッシュ非発光撮像画像とで異なることとなる。
【００３９】
図８及び図９は、空間的な位置ずれが生じているフラッシュ発光撮像画像及びフラッシュ非発光撮像画像の画像信号値と、これらの信号値から算出されるフラッシュ反射量との関係を示した説明図である。
フラッシュ発光撮像画像とフラッシュ非発光撮像画像との間で空間的な位置ずれが生じている場合、算出されるフラッシュ反射量は、図８や図９に示したように、第一画像信号値及び第二画像信号値の変化状況に応じて、実際よりも大きな値に算出されたり、小さな値に算出されたりする。
【００４０】
図８に示した例では、第一画像信号値に対応するフラッシュ非発光撮像画像が撮像される際に手ブレ等が起こり、第二画像信号値に対応するフラッシュ発光撮像画像に対して右方向にずれが生じたため、第二画像信号値は、被写体のエッジに該当する位置で信号値が変化しているにもかかわらず、同一位置での第一画像信号値は、変化が生じていない。その結果、図６と比較すると明らかなように、図８においてＡＲ１で示した部分では、フラッシュ反射量は、本来算出されるべき適正な値よりも小さい値となって算出されており、図８においてＡＲ２で示した領域では、フラッシュ反射量は、本来算出されるべき適正な値よりも大きな値となって算出されている。
【００４１】
図８に示した例は、第一画像信号値は下に凸の外形を有しており、第二画像信号値は上に凸の外形を有している場合を示したが、図９に示した例は、第一画像信号値及び第二画像信号値が、それぞれ上に凸の外形を有している場合を示している。
図９に示に示した例においても、第一画像信号値に対応するフラッシュ非発光撮像画像が撮像される際に手ブレ等が起こり、第二画像信号値に対応するフラッシュ発光撮像画像に対して右方向にずれが生じたため、第二画像信号値は、被写体のエッジに該当する位置で信号値が変化しているにもかかわらず、同一位置での第一画像信号値は、変化が生じていない。その結果、図６と比較すると明らかなように、図９においてＡＲ３で示した部分では、フラッシュ反射量は、本来算出されるべき適正な値よりも小さい値となって算出されている。図９においてＡＲ３で示した位置のように、第一画像信号値の値によっては、フラッシュ反射量は負の値となりうる。しかしながらフラッシュ反射量は０．０〜１．０の間の値として扱われるため、算出されたフラッシュ反射量の値が負の値となった場合には、フラッシュ反射量は０として取り扱われることとなる。
【００４２】
このように、フラッシュ発光撮像画像とフラッシュ非発光撮像画像との間で、手ブレ等により空間的な位置ずれが生じた場合には、適正なフラッシュ反射量が算出されない場合がある。本発明者は、このような場合であっても適正にフラッシュ反射量を補正することが可能な技術について鋭意検討を行った結果、以下で説明するような技術に想到した。
【００４３】
＜２．第１の実施形態＞
［２−１：本実施形態に係る撮像装置１０の構成］
（２−１−１：撮像装置１０の全体構成）
以下の実施形態では、撮像装置の一例としてデジタルスチルカメラを例にとって、本実施形態に係る撮像装置で実施される画像処理パイプラインについて、図１０を参照しながら簡単に説明する。図１０は、本実施形態に係る撮像装置の画像処理パイプラインの構成を示したブロック図である。
【００４４】
本実施形態に係る撮像装置１０は、図１に示したように、撮像部１０１、信号処理部１０２、前処理部１０３、画像メモリ１０４、適正ＡＥ算出部１０５、マルチＡＷＢ処理部１０６、後処理部１０７、ＲＧＢ−ＹＣＣ変換部１０８、データ圧縮部１０９、メモリカードインタフェース１１０及びメモリカード１１１を主に備える。
【００４５】
撮像部１０１は、図１０に示したように、被写体からの光を集光するレンズ１２１と、絞り１２２と、シャッター１２３と、ＣＣＤイメージセンサやＣＭＯＳイメージセンサ等の撮像素子１２４と、露光制御部１２５と、フラッシュ１２６と、を主に備える。
【００４６】
レンズ１２１を透過した光は、絞り１２２及びシャッター１２３の動作タイミングに合わせて撮像素子１２４に結像し、撮像素子１２４の各画素から、結像した光に関する出力信号が出力される。また、露光制御部１２５は、絞り１２２、シャッター１２３、撮像素子１２４及びフラッシュ１２６の動作タイミングを制御しており、フラッシュ１２６を発光させながら被写体を撮像したり、フラッシュ１２６を発光させないで被写体を撮像したりする制御を行っている。
【００４７】
信号処理部１０２は、撮像部１０１の撮像素子１２４から出力された出力信号に対して信号処理を行う処理部である。この信号処理部１０２は、出力信号に対して色分離処理を行う色分離部１３１と、出力信号に対してＡ／Ｄ変換処理を行うＡ／Ｄ変換部１３２と、を主に備える。色分離部１３１とＡ／Ｄ変換部１３２とは、互いに連携しながら、出力信号に対して信号処理を実施する。これらの処理が行われることで、撮像素子１２４から出力された出力信号はＲＧＢ画像信号となる。
【００４８】
前処置部１０３は、信号処理部１０２から出力されたＲＧＢ画像信号に対して、前処理を施す処理部である。この前処理部１０３は、図１０に示したように、黒レベル補正部１４１、欠陥画素補正部１４２、シェーディング補正部１４３及びＡＥ評価値算出部１４４を主に備える。信号処理部１０２から出力されたＲＧＢ画像信号は、黒レベル補正部１４１による黒レベル補正処理により黒レベルが一定となるように補正され、欠陥画素補正部１４２により、画素欠陥がＲＧＢ画像信号中に存在する場合に画素欠陥周辺の情報に基づいて情報が補間される。また、信号処理部１０２から出力されたＲＧＢ画像信号は、シェーディング補正部１４３により、画像の周辺等に発生する輝度落ち等に起因する画像の輝度差が補正される。ＡＥ評価値算出部１４４は、これらの補正が行われたＲＧＢ画像信号に基づいて、ＡＥ評価値を算出する。ＡＥ評価値算出部１４４により算出されたＡＥ評価値は、適正ＡＥ算出部１０５に出力される。また、上述の補正が行われたＲＧＢ画像信号は、画像メモリ１０４及び後処理部１０７に出力される。
【００４９】
画像メモリ１０４は、前処理部１０３による各種の前処理が施されたＲＧＢ信号を記憶部する記憶部の一例である。この画像メモリ１０４は、フラッシュ非発光時に撮像された撮像画像を記憶する第１撮像記憶部１５１と、フラッシュ発光時に撮像された撮像画像を記憶する第２撮像記憶部１５２と、を有している。後述するマルチＡＷＢ（オートホワイトバランス）処理部１０６及び後処理部１０７は、かかる画像メモリ１０４が記憶している各撮像画像を利用して、それぞれの処理部における処理を実施することが可能である。
【００５０】
適正ＡＥ算出部１０５は、前処理部１０３のＡＥ評価値算出部１４４から出力されたＡＥ評価値に基づいて、撮像条件に適したＡＥ値を算出する。適正ＡＥ算出部１０５は、算出したＡＥ値を、撮像部１０１の露光制御部１２５及びマルチＡＷＢ処理部１０６に出力する。これにより、露光制御部１２５は、取得したＡＥ値に基づいて絞り１２２、シャッター１２３、撮像素子１２４及びフラッシュ１２６の露光制御を行うことが可能となる。
【００５１】
マルチＡＷＢ処理部１０６は、適正ＡＥ算出部１０５が算出したＡＥ値と、画像メモリ１０４に記憶されているフラッシュ非発光時に撮像された撮像画像及びフラッシュ発光時に撮像された撮像画像と、を利用して、ホワイトバランス補正処理に用いられるホワイトバランスゲインを算出する処理部である。マルチＡＷＢ処理部１０６は、算出したホワイトバランスゲインを、後述する後処理部１０７のホワイトバランス制御部１８６に出力する。
【００５２】
なお、マルチＡＷＢ処理部１０６で実施されるホワイトバランスゲインの算出処理については、以下で改めて詳細に説明する。
【００５３】
後処理部１０７は、前処理部１０３により前処理が施されたＲＧＢ画像信号に対して、各種の後処理を実施する処理部である。この後処理部１０７は、ＲＧＢ画像信号に対してデモザイク処理（ベイヤ色補間処理）を実施するデモザイク処理部１８１と、ＲＧＢ画像信号に対してエッジ強調処理を実施するエッジ強調処理部１８２と、ＲＧＢ画像信号に対して色補正処理を実施する色補正処理部１８３と、ＲＧＢ画像信号に対してガンマ補正を実施するガンマ補正処理部１８４と、ＲＧＢ画像信号のノイズリダクション処理（ノイズ低減処理）を実施するノイズリダクション処理部１８５と、ＲＧＢ画像信号に対してホワイトバランス補正処理を実施するホワイトバランス制御部１８６と、を更に備える。ここで、ホワイトバランス制御部１８６には、本実施形態に係るマルチＡＷＢ処理部１０６により算出されたホワイトバランスゲインが入力され、ホワイトバランス制御部１８６は、算出されたホワイトバランスゲインを用いて、ＲＧＢ画像信号に対してホワイトバランス補正処理を実施する。
【００５４】
これらの処理部により各種の後処理を施されたＲＧＢ画像信号は、ＲＧＢ−ＹＣＣ変換部１０８に出力される。ＲＧＢ−ＹＣＣ変換部１０８は、ＲＧＢ画像信号をＹＣＣ画像信号へと変換する処理部である。かかる変換処理により、撮像された画像の色空間がＲＧＢ色空間からＹＣＣ（ＹＣｒＣｂ）色空間へと変換されることとなる。変換後のＹＣＣ画像信号は、データ圧縮部１０９へと出力される。
【００５５】
データ圧縮部１０９は、ＹＣＣ画像信号を、必要に応じてＪＰＥＧ等の各種の圧縮形式で圧縮する処理部である。必要に応じて圧縮されたＹＣＣ画像信号は、メモリカードインタフェース１１０を介してメモリカード１１１に記録される。
【００５６】
以上、図１０を参照しながら、本実施形態に係る撮像装置１０の画像処理パイプラインについて、簡単に説明した。
【００５７】
（２−１−２：マルチＡＷＢ処理部１０６の構成）
以下では、図３及び図１１〜２１を参照しながら、本実施形態に係るマルチＡＷＢ処理部１０６で実施されるホワイトバランスゲインの算出処理について、詳細に説明する。本実施形態に係るマルチＡＷＢ処理部１０６は、以下で説明するような処理を実施することで、フラッシュ発光撮像画像とフラッシュ非発光撮像画像とに空間的な位置ずれがある場合であっても、フラッシュ発光撮像画像の画素ごとに適切なホワイトバランスゲインを算出し、適正なホワイトバランス補正を行うことができる。
【００５８】
本実施形態に係るマルチＡＷＢ処理部１０６には、入力信号として、第１の撮像画像の一例であるフラッシュ非発光時に撮像された撮像画像（以下、フラッシュ非発光撮像画像とも称する。）と、第２の撮像画像の一例であるフラッシュ発光時に撮像された撮像画像（以下、フラッシュ発光撮像画像とも称する。）と、が入力される。
【００５９】
また、マルチＡＷＢ処理部１０６は、入力された撮像画像の画像信号から推定光源色を算出する。この際、マルチＡＷＢ処理部１０６は、フラッシュ非発光撮像画像のＲＧＢ画像信号をＲＧＢ別（色別）に全画面分積分し、フラッシュが発光していない定常光のみの場合の推定光源色（Ｒ／Ｇ、Ｂ／Ｇ）を算出する。また、マルチＡＷＢ処理部１０６は、定常光がなくフラッシュ光のみで撮像した場合の推定光源色を既知の値としてＲＯＭ等の各種メモリに保持しており、適宜各種メモリから読みだして処理に利用することができる。
【００６０】
本実施形態に係るマルチＡＷＢ処理部１０６では、画素ごとにホワイトバランスゲインが算出されることとなる。この際、マルチＡＷＢ処理部１０６は、フラッシュ発光撮像画像及びフラッシュ非発光撮像画像において、図３に示したように、Ｒ，Ｇ，Ｇ，Ｂの四つの画素２１を一組としたベイヤユニット２３を１画素とみなしたり、ベイヤ色補間（デモザイク）処理によって、ベイヤ画像におけるＲ，Ｇ，Ｇ，Ｂの四つの画素から各色（Ｒ，Ｇ，Ｂ）一つずつの画素を生成したりする。
【００６１】
以下では、図１１〜２１を参照しながら、本実施形態に係るマルチＡＷＢ処理部１０６で実施されるホワイトバランスゲインの算出処理について、詳細に説明する。
【００６２】
（処理の概要）
マルチＡＷＢ処理部１０６は、図１１に示したように、フラッシュ反射量算出部１６１、周辺画素分類部１６２、フラッシュ反射量補正部１６３、平滑化処理部１６４、及びホワイトバランスゲイン決定部１６５を有している。
【００６３】
ここで、フラッシュ反射量算出部１６１、周辺画素分類部１６２及びフラッシュ反射量補正部１６３により実施される処理が、主に、図８に示したように、算出されたフラッシュ反射量が、所定の値以上であった場合に対する補正処理に該当する。また、平滑化処理部１６４により実施される処理が、主に、図９に示したように、算出されたフラッシュ反射量が、０又は０に近い値であった場合に対する補正処理に該当する。
【００６４】
ここで、以下で詳述するように、本実施形態に係る撮像装置及びホワイトバランス調整方法では、まず、フラッシュ発光撮像画像及びフラッシュ非発光撮像画像の空間的な位置ずれが生じている場合のうち、算出されたフラッシュ反射量が、所定の値以上であった場合に対応するための処理を行う。その後、算出されたフラッシュ反射量が、０又は０に近い値であった場合に対応するための処理を行う。この際、所定の値以上に算出されたフラッシュ反射量に対して、０又は０に近い値に算出されたフラッシュ反射量を補正するための処理を実施することによる影響、及び、０又は０に近い値に算出されたフラッシュ反射量に対して、所定の値以上に算出されたフラッシュ反射量を補正するための処理を実施することによる影響は、存在しない点に注意されたい。
【００６５】
以下では、まず、フラッシュ反射量算出部１６１が備える各処理部の機能について、詳細に説明する。
フラッシュ反射量算出部１６１は、マルチＡＷＢ処理部１０６に入力されたフラッシュ非発光撮像画像の輝度値及び露光制御値と、フラッシュ発光撮像画像の輝度値及び露光制御値とに基づいて、フラッシュ発光撮像画像の画素ごとに第一フラッシュ反射量を算出する。このフラッシュ反射量算出部１６１は、図１１に示したように、露光差分値算出部１６６と、第一フラッシュ反射量算出部１６７と、を備える。
【００６６】
マルチＡＷＢ処理部１０６にフラッシュ非発光撮像画像及びフラッシュ発光撮像画像が入力されると、露光差分値算出部１６６は、入力されたフラッシュ非発光撮像画像及びフラッシュ発光撮像画像の露光制御値に基づいて、露光差分値Ｌｆを算出する。
【００６７】
ここで、フラッシュ非発光撮像画像を撮像したときの露光制御値（シャッタースピード、絞り値、感度）と、フラッシュ発光撮像画像を取得したときの露光制御値が異なる場合には、露光差分値算出部１６６は、各露光制御値の差分値を考慮する。ここで、露光制御値には、下記式１０１で表される関係があることが知られている。下記式１０１において、ＴＶはシャッタースピードＴＶを表し、ＡＶは絞り値を表し、ＳＶは感度を表し、ＢＶは被写体輝度を表している。また、下記式１０１のそれぞれの値は、ＡＰＥＸ値で表現されている。
【００６８】
【数１】
・・・（式１０１）
【００６９】
フラッシュ非発光撮像画像の被写体輝度値をＢＶｌ、シャッタースピードをＴＶｌ、絞り値をＡＶｌ、感度をＳＶｌとし、フラッシュ発光撮像画像の被写体輝度値をＢＶｓ、シャッタースピードをＴＶｓ、絞り値をＡＶｓ、感度をＳＶｓとすると、フラッシュ非発光撮像画像及びフラッシュ発光撮像画像に対応する上記式１０１は、それぞれ下記式１０２及び１０３のようになる。
【００７０】
【数２】
・・・（式１０２）
・・・（式１０３）
【００７１】
そこで、露光差分値算出部１６６は、上記式１０２及び１０３より算出された被写体輝度値を利用して、下記式１０４に基づいて、差分値ＢＶｄｉｆｆを算出する。なお、フラッシュ発光撮像画像とフラッシュ非発光撮像画像の露光制御値とが一致している場合は、下記式１０４で表される差分値ＢＶｄｉｆｆは０となる。
【００７２】
【数３】
・・・（式１０４）
【００７３】
露光差分値算出部１６６は、上記式１０４に基づいて差分値ＢＶｄｉｆｆを算出すると、続いて以下の式１０５を利用して、露光差分値Ｌｆを算出する。
【００７４】
【数４】
・・・（式１０５）
【００７５】
露光差分値算出部１６６は、露光差分値Ｌｆを算出すると、得られた算出結果を第一フラッシュ反射量算出部１６７に出力する。
【００７６】
第一フラッシュ反射量算出部１６７は、フラッシュ非発光撮像画像の輝度値Ｙｌ、フラッシュ発光撮像画像の輝度値Ｙｓ、及び、露光差分値算出部１６６により算出された露光差分値Ｌｆに基づいて、下記式１０６によりフラッシュ発光撮像画像の画素ごとに第一フラッシュ反射量Ｒａｔｉｏを算出する。この第一フラッシュ反射量Ｒａｔｉｏは、フラッシュ非発光撮像画像における定常光量を１としたときの相対値として算出されるものである。
【００７７】
【数５】
・・・（式１０６）
【００７８】
上記式１０６のように、第一フラッシュ反射量の算出において、露光差分値Ｌｆを補正係数として用いることにより、第一フラッシュ反射量算出部１６７は、フラッシュ発光撮像画像とフラッシュ非発光撮像画像が異なる露光制御値で撮像された場合においても、正確な第一フラッシュ反射量を算出することができる。
【００７９】
また、色信号の一つであるＧ（グリーン）信号値は輝度値Ｙとほぼ同じ値となるため、第一フラッシュ反射量算出部１６７は、上記式１０６において輝度値Ｙの代わりにＧ信号値を利用して、第一フラッシュ反射量を算出してもよい。
【００８０】
第一フラッシュ反射量算出部１６７は、第一フラッシュ反射量を算出すると、得られた算出結果を、フラッシュ反射量差分算出部１６８及び周辺画素平均値算出部１７１に出力する。
【００８１】
以上、フラッシュ反射量算出部１６１が備える各処理部の機能について、詳細に説明した。
以下では、周辺画素分類部１６２が備える各処理部の機能について、詳細に説明する。
【００８２】
周辺画素分類部１６２は、フラッシュ発光撮像画像を構成する画素の一つを注目画素とし、注目画素の周辺に位置する周辺画素を複数のパターンに分類する。この周辺画素分類部１６２は、図１１に示したように、フラッシュ反射量差分算出部１６８と、信号値差分算出部１６９と、周辺画素分類判定部１７０と、を備える。
【００８３】
周辺画素分類部１６２が備えるフラッシュ反射量差分算出部１６８は、注目画素の第一フラッシュ反射量と、周辺画素の第一フラッシュ反射量との差分値であるフラッシュ反射量差分値を算出する。ここで、注目画素とは、フラッシュ発光撮像画像を構成する全画素から順次選択される一つの画素であり、各注目画素（換言すれば、フラッシュ発光撮像画像を構成する全画素）は、第一フラッシュ反射量及び信号値を有している。また、周辺画素とは、上記注目画素の周辺に位置する画素であり、例えば注目画素を中心とした（２Ｎ＋１）×（２Ｎ＋１）領域に存在する各画素が周辺画素に該当する。ただし、Ｎは自然数である。
【００８４】
図１２は、注目画素及び当該注目画素を中心とした周辺の５×５領域に存在する周辺画素について、上記第一フラッシュ反射量算出部１６７により算出された第一フラッシュ反射量を表したものである。ただし、図１２において、注目画素は、フラッシュ発光撮像画像の位置（３，３）における画素としている。また、図１２に示したＲｐｑは、フラッシュ発光撮像画像の位置（ｐ，ｑ）における画素の第一フラッシュ反射量を表している。
【００８５】
フラッシュ反射量差分算出部１６８は、注目画素の第一フラッシュ反射量及び周辺画素の第一フラッシュ反射量に基づき、図１３に示すように、各周辺画素について当該周辺画素の第一フラッシュ反射量から注目画素の第一フラッシュ反射量を減算した値であるフラッシュ反射量差分値を算出する。なお、注目画素についてのフラッシュ反射量差分値は、算出しない。
【００８６】
フラッシュ反射量差分算出部１６８は、フラッシュ発光撮像画像を構成する各画素について第一フラッシュ反射量差分値を算出すると、得られた算出結果を、周辺画素分類判定部１７０に出力する。
【００８７】
信号値差分算出部１６９は、注目画素の信号値と、周辺画素の信号値との差分値である信号差分値を算出する。なお、以下では、説明の便宜上、信号値として、Ｇの信号値に対するＢの信号値で表されるカラーバランス（Ｂ／Ｇ）及びＧの信号値に対するＲの信号値で表されるカラーバランス（Ｒ／Ｇ）を用いた場合について説明するが、本実施形態に係る技術の適用範囲はこれに限定されない。
【００８８】
図１４は、注目画素及び当該注目画素を中心とした周辺の５×５領域に存在する周辺画素について、マルチＡＷＢ処理部１０６に入力されたフラッシュ発光撮像画像の信号値（Ｂ／Ｇ及びＲ／Ｇ）を表したものである。ただし、図１３においては、信号値としてカラーバランス（Ｂ／Ｇ）を用いた場合を図示しており、注目画素は、フラッシュ発光撮像画像の位置（３，３）における画素としている。また、Ｂｐｑは、フラッシュ発光撮像画像の位置（ｐ，ｑ）における画素の信号値を表している。なお、カラーバランス（Ｒ／Ｇ）を用いた場合についても、図１４と同様に図示することが可能である。
【００８９】
信号値差分算出部１６９は、注目画素の信号値及び周辺画素の信号値に基づき、図１５に示すように、各周辺画素について当該周辺画素の信号値から注目画素の信号値を減算した値である信号差分値を算出する。なお、注目画素についての信号差分値は、算出しない。
【００９０】
信号差分算出部１６９は、信号差分値をフラッシュ発光撮像画像の各画素について算出すると、得られた算出結果を、周辺画素分類判定部１７０に出力する。
【００９１】
周辺画素分類判定部１７０は、フラッシュ反射量差分値算出部１６８により算出された第一フラッシュ反射量差分値と、信号値差分算出部１６９により算出された各信号差分値とに基づいて、周辺画素が該当するパターンを判定する。本実施形態におけるパターンとは、周辺画素における差分値の状況を類型化したものである。以下では、周辺画素分類判定部１７０が行う処理について、図１６〜図１９を参照しながら、具体的に説明する。
【００９２】
周辺画素分類判定部１７０は、図１６及び図１７に示すように、各周辺画素について、フラッシュ反射量差分値及びＢ／Ｇ差分値の組み合わせと、フラッシュ反射量差分値及びＲ／Ｇ差分値の組み合わせと、に基づき、注目画素の周囲に存在する各周辺画素がそれぞれ４つのパターンのいずれに該当するかを判定する。以下では、各周辺画素について、フラッシュ反射量差分値及びＢ／Ｇ差分値の組み合わせに基づいて４つのパターンのいずれに該当するかを判定する判定処理について主に説明するが、周辺画素分類判定部１７０は、フラッシュ反射量差分値及びＲ／Ｇ差分値に基づく判定処理についても、図１７に基づいて同様に実施する。
【００９３】
周辺画素分類判定部１７０は、予め保持しておいた第一の閾値を参照して、着目している周辺画素のフラッシュ反射量差分値と第一の閾値との大小関係を判定するとともに、予め保持しておいた第二の閾値を参照して、着目している周辺画素のＢ／Ｇ差分値と第二の閾値との大小関係を判定する。周辺画素分類判定部１７０は、図１６に示すように、算出したフラッシュ反射量差分値に関する大小関係の判定結果、及び、入力されたＢ／Ｇ差分値に関する大小関係の判定結果に応じて、周辺画素を４つのパターンにパターン分類する。例えば、フラッシュ反射量差分値が第一の閾値より小さく、かつ、Ｂ／Ｇ差分値が第二の閾値より小さい周辺画素は、パターン１に分類されることとなる。
【００９４】
周辺画素分類判定部１７０は、各周辺画素について４つのパターンいずれに該当するかを判定すると、判定結果に関する情報を、周辺画素平均値算出部１７１に出力する。
【００９５】
以上、周辺画素分類１６２が備える各処理部の機能について、詳細に説明した。
以下では、フラッシュ反射量補正部１６３が備える各処理部の機能について、詳細に説明する。
【００９６】
フラッシュ反射量補正部１６３は、注目画素の第一フラッシュ反射量を第二フラッシュ反射量へと補正する際に利用するパターンを選択し、選択したパターンの情報に基づいて、注目画素の第二フラッシュ反射量を算出する。このフラッシュ反射量補正部１６３は、図１１に示したように、周辺画素平均値算出部１７１と、周辺画素選択部１７２と、第二フラッシュ反射量算出部１７３と、を備える。
【００９７】
フラッシュ反射量補正部１６３が備える周辺画素平均値算出部１７１は、上記パターンごとに、周辺画素分類判定部１７０が着目しているパターンに分類した周辺画素の第一フラッシュ反射量の平均値（フラッシュ反射量平均値）と、信号値の平均値（Ｂ／Ｇ平均値及びＲ／Ｇ平均値）とを算出する。すなわち、図１６及び図１７に示したように、４つのパターンが存在している場合には、周辺画素平均値算出部１７１は、フラッシュ反射量平均値並びに信号値の平均値（Ｂ／Ｇ平均値及びＲ／Ｇ平均値）の組み合わせを、４種類算出することとなる。
【００９８】
例えば、周辺画素分類判定部１７０によって、図１８に示した斜線部がパターン１に分類判定されたとすると、周辺画素平均値算出部１７１は、下記式１０７及び式１０８のように、パターン１に分類判定された周辺画素のフラッシュ反射量平均値とＢ／Ｇ平均値とを算出する。ただし、Ａｖｅｒａｇｅ（Ｖ１，Ｖ２，…，ＶＮ）という表記は、Ｖ１〜ＶＮの平均値を表している。
【００９９】
【数６】
・・・（式１０７）
・・・（式１０８）
【０１００】
周辺画素平均値算出部１７１は、各パターンについてフラッシュ反射量平均値及びＢ／Ｇ平均値を算出すると、得られた算出結果を、周辺画素選択部１７２に出力する。
【０１０１】
また、周辺画素分類判定部１７０により、図１９に示した斜線部がパターン１に分類判定されたとすると、周辺画素平均値算出部１７１は、上記式１０７及び下記式１０９のように、パターン１に分類判定された周辺画素のフラッシュ反射量平均値及びＲ／Ｇ平均値を算出する。
【０１０２】
【数７】
【０１０３】
なお、周辺画素平均値算出部１７１は、各値の平均値の代わりに、各値の中央値（メジアン）等を算出してもよい。
【０１０４】
周辺画素選択部１７２は、４つの上記パターンのフラッシュ反射量平均値及びカラーバランス平均値（Ｂ／Ｇ平均値又はＲ／Ｇ平均値）に基づき、第二フラッシュ反射量算出に利用する２パターンの組み合わせを選択する。
【０１０５】
ここで、パターン１とパターン２のフラッシュ反射量平均値と、Ｂ／Ｇ平均値及びＲ／Ｇ平均値とをグラフで表すと、図２０のように表すことができるパターン１及びパターン２は、Ｂ／Ｇ平均値又はＲ／Ｇ平均値がほぼ同じだが、フラッシュ反射量平均値が大きく異なっている。ここで、Ｂ／Ｇ又はＲ／Ｇが変化していないということは、色温度つまり光源が変わっていないということを示しているが色温度がほぼ同じであるにも関わらず光源の変化量を示すフラッシュ反射量が変化するということはあり得ない。これにより、パターン１又はパターン２のいずれかが、フラッシュ発光撮像画像とフラッシュ非発光撮像画像との空間的な位置ずれにより発生した不適切なパターンであることが分かる。よって、以下の処理においては、第二フラッシュ反射量算出に利用する２つのパターンとして、パターン１及びパターン２の組み合わせについては候補としない。
【０１０６】
周辺画素選択部１７２は、選択する２パターンの組み合わせの候補（パターンａ及びパターンｂの組み合わせ）として、パターン１及びパターン３の組み合わせと、パターン１及びパターン４の組み合わせと、パターン２及びパターン３の組み合わせと、パターン２及びパターン４の組み合わせと、を考慮する。
【０１０７】
ここで、横軸をＢ／Ｇ平均値又はＲ／Ｇ平均値とし、縦軸をフラッシュ反射量平均値としたパターングラフについて考える。周辺画素選択部１７２は、パターングラフにおいて、上記２パターンの組み合わせのうち、２パターン間の図２１のようなパターングラフ上の距離Ｄｉｓｔを下記式１１０に基づいて算出し、距離が一番離れている組み合わせを選択する。なお、Ｒａｔｉｏａはパターンａのフラッシュ反射量平均値を表しており、Ｒａｔｉｏｂはパターンｂのフラッシュ反射量平均値を表している。また、Ｂ／Ｇａはパターンａの正規化後のＢ／Ｇ平均値を表しており、Ｂ／Ｇｂはパターンｂの正規化後のＢ／Ｇ平均値を表している。
【０１０８】
ただし、式１１０におけるＢ／ＧとＲ／Ｇの正規化は、正規化後の値がそれぞれ０．０〜１．０の間の値となるように、式１１１及び１１２に従って行う。式１１２は、パターン１について正規化を行うための式であるが、他のパターンについても同様にして正規化が行われる。なお、式１１１において、ＭＡＸ（Ｖ１，Ｖ２，…，ＶＮ）は、Ｖ１〜ＶＮの最大値を表している。
【０１０９】
【数８】
・・・（式１１１）
・・・（式１１２）
【０１１０】
周辺画素選択部１７２は、フラッシュ反射量平均値及びＢ／Ｇ平均値に基づいて、上記式１１０で表される距離が最大となる２パターンの組み合わせを選択すると、選択した２パターンそれぞれのフラッシュ反射量平均値及び正規化後のＢ／Ｇ平均値を、第二フラッシュ反射量算出部１７３に出力する。
【０１１１】
また、周辺画素選択部１７２は、フラッシュ反射量平均値及びＢ／Ｇ平均値に基づく上記の場合と同様にして、フラッシュ反射量平均値及びＲ／Ｇ平均値に基づいて、上記式１１０と同様にして距離Ｄｉｓtを算出し、算出した距離Ｄｉｓｔが最大となる２パターンの組み合わせを選択する。その後、周辺画素選択部１７２は、選択した２パターンそれぞれのフラッシュ反射量平均値及び正規化後のＲ／Ｇ平均値を、第二フラッシュ反射量算出部１７３に出力する。
【０１１２】
第二フラッシュ反射量算出部１７３は、フラッシュ発光撮像画像とフラッシュ非発光撮像画像との空間的な位置ずれの影響が大きい注目画素の第一フラッシュ反射量を、周辺画素の第一フラッシュ反射量及びホワイトバランス信号（Ｂ／Ｇ及びＲ／Ｇ）を考慮することにより、空間的な位置ずれの影響が小さい第二フラッシュ反射量に補正する。以下では、第二フラッシュ反射量算出部１７３が行う処理を、詳細に説明する。
【０１１３】
第二フラッシュ反射量算出部１７３は、フラッシュ反射量平均値及びＢ／Ｇ平均値に基づいて周辺画素選択部１７２によって選択された、２パターンそれぞれのフラッシュ反射量平均値及びＢ／Ｇ平均値を利用して、下記式１１３に示すように、線形補間により注目画素の第二フラッシュ反射量ＲａｔｉｏＢ／Ｇを算出する。また、第二フラッシュ反射量算出部１７３は、フラッシュ反射量平均値及びＲ／Ｇ平均値に基づいて周辺画素選択部１７２によって選択された、２パターンそれぞれのフラッシュ反射量平均値及びＲ／Ｇ平均値を利用して、下記式１１４に示すように、線形補間により注目画素の第二フラッシュ反射量ＲａｔｉｏＲ／Ｇを算出する。
【０１１４】
【数９】
・・・（式１１３）
・・・（式１１４）
【０１１５】
さらに、第二フラッシュ反射量算出部１７３は、算出されたＢ／Ｇの第二フラッシュ反射量ＲａｔｉｏＢ／Ｇ及びＲ／Ｇの第二フラッシュ反射量ＲａｔｉｏＲ／Ｇを平均化し、第二フラッシュ反射量Ｒａｔｉｏとする。
【０１１６】
【数１０】
・・・（式１１５）
【０１１７】
以上では、パターン１〜パターン４全てが存在する場合について説明したが、次に、いずれかのパターンが存在しない場合について説明する。
【０１１８】
パターン１とパターン２の両方、もしくはいずれかに該当する周辺画素が存在しない場合には、第一フラッシュ反射量が不適正ではないと判断できるため、第二フラッシュ反射量算出部１７３は、補正処理を行わずに、第一フラッシュ反射量をそのまま第二フラッシュ反射量とする。また、パターン１やパターン２に該当する周辺画素が存在し、パターン３やパターン４に該当する周辺画素が存在しない場合には、第二フラッシュ反射量算出部１７３は、下記式１１６によりパターン１のフラッシュ反射量平均値とパターン２のフラッシュ反射量平均値とを平均化し、第二フラッシュ反射量とする。
【０１１９】
【数１１】
・・・（式１１６）
【０１２０】
第二フラッシュ反射量算出部１７３は、第二フラッシュ反射量を算出すると、得られた算出結果を、平滑化処理部１６４に出力する。
【０１２１】
以上、フラッシュ反射量補正部１６３が備える各処理部の機能について、詳細に説明した。
以上の周辺画素分類部１６２及びフラッシュ反射量補正部１６３が行う処理は、フラッシュ発光撮像画像とフラッシュ非発光撮像画像との空間的位置ずれを生じている場合のうち、算出されたフラッシュ反射量が、所定の値以上であった場合に対応するための処理である。以下では、算出されたフラッシュ反射量が、０又は０に近い値であった場合に対応するために行う平滑化処理部１６４の処理について説明する。
【０１２２】
平滑化処理部１６４は、エッジを保持したまま滑らかに補正することを特徴とする下記式１１７のバイラテラルフィルタ（Ｂｉｌａｔｅｒａｌ Ｆｉｌｔｅｒ）処理を変形した下記式１１８を用いて第二フラッシュ反射量を補正し、第三フラッシュ反射量を算出する。
【０１２３】
【数１２】
・・・（式１１７）
・・・（式１１８）
【０１２４】
なお、式１１８において、関数ｆ（ｉ，ｊ）はＢ／Ｇ又はＲ／Ｇ、ｈ（ｉ，ｊ）は第二フラッシュ反射量、ｇ（ｉ，ｊ）は第三フラッシュ反射量を表している。また、式１１８におけるパラメータｗは、周辺画素として着目する領域の広さを表すパラメータであり、注目画素を中心とした５×５領域を周辺画素とする場合、パラメータｗの値は２となる。
【０１２５】
上記のように式１１７から式１１８に式を変形し、Ｂ／ＧまたはＲ／Ｇを考慮した重みづけを用いて第二フラッシュ反射量を補正することで、エッジを保持したまま滑らかに補正できる。また、領域内の画素において第二フラッシュ反射量が０になっている画素については、フィルタの対象から外すことで、注目画素の第二フラッシュ反射量が０になっていた場合でも、周辺画素の０以外の第二フラッシュ反射量を用いることで、適切な第三フラッシュ反射量を算出できる。
【０１２６】
平滑化処理部１６４は、上記式１１８により、Ｂ／Ｇの第三フラッシュ反射量ｇ（ｉ，ｊ）Ｂ／Ｇ及びＲ／Ｇの第三フラッシュ反射量ｇ（ｉ，ｊ）Ｒ／Ｇを算出した後、得られた算出結果を下記式１１９により平均化し、第三フラッシュ反射量Ｒａｔｉｏを算出する。
【０１２７】
【数１３】
・・・（式１１９）
【０１２８】
平滑化処理部１６４は、第三フラッシュ反射量を算出すると、得られた算出結果を推定光源色算出部１７４に出力する。
【０１２９】
以下では、ホワイトバランスゲイン決定部１６５が備える各処理部の機能について、詳細に説明する。
【０１３０】
ホワイトバランスゲイン決定部１６５が備える推定光源色算出部１７４は、第三フラッシュ反射量Ｒａｔｉｏに基づき、マルチＡＷＢ処理部１０６が備えるＲＯＭ等のメモリに保持しておいたフラッシュ光のみの推定光源色ＣＢｆ及び定常光の推定光源色ＣＢｓを、下記式１２０及び式１２１に示すように線形補間し、注目画素の推定光源色ＣＢを算出する。なお、ＣＢはＲ，Ｂそれぞれについて、個別に算出される。
【０１３１】
【数１４】
・・・（式１２０）
・・・（式１２１）
【０１３２】
推定光源色算出部１７４は、推定光源色を算出すると、得られた算出結果をホワイトバランスゲイン算出部１７５に出力する。
【０１３３】
ホワイトバランスゲイン算出部１７５は、下記式１２２及び式１２３により、ホワイトバランスゲイン（ＷＢＧａｉｎＲ及びＷＢＧａｉｎＢ）を算出する。
【０１３４】
【数１５】
・・・（式１２２）
・・・（式１２３）
【０１３５】
ホワイトバランスゲイン算出部１７５は、式１２２及び式１２３を用いることにより、フラッシュ光と定常光が混在しているシーンについて、適切なホワイトバランスゲインを、フラッシュ発光撮像画像を構成する画素ごとに適切に算出することができる。
【０１３６】
ホワイトバランスゲイン算出部１７５は、ホワイトバランスゲインを算出すると、得られた算出結果を、前記後処理部１０７が備えるホワイトバランス制御部１８６に出力する。
【０１３７】
ホワイトバランス制御部１８６は、下記式１２４及び式１２５にように、各画素値に対しホワイトバランスゲインを乗算する。
【０１３８】
【数１６】
・・・（式１２４）
・・・（式１２５）
【０１３９】
以上、図１０〜図２１を参照しながら、本実施形態に係る撮像装置１０の構成について、詳細に説明した。
【０１４０】
［２−２：ホワイトバランス調整方法の流れ］
続いて、本実施形態に係る撮像装置１０で実施されるホワイトバランス調整方法の流れについて、図２２Ａ及び図２２Ｂを参照しながら、その一例を簡単に説明する。図２２Ａ及び図２２Ｂは、本実施形態に係るホワイトバランス調整方法の流れの一例を示した流れ図である。
【０１４１】
まず、撮像装置１０の撮像部１０１は、フラッシュを発光させない状態で被写体を撮像し、フラッシュ非発光撮像画像を取得する（ステップＳ１０１）。生成されたフラッシュ非発光撮像画像は、信号処理部１０２による各種の信号処理及び前処理部１０３による各種の前処理を施された後に、そのＲＧＢ画像信号が、画像メモリ１０４の第１撮像記憶部１５１に保存される（ステップＳ１０３）。
【０１４２】
次に、撮像装置１０の撮像部１０１は、フラッシュを発光させた状態で被写体を撮像し、フラッシュ発光撮像画像を取得する（ステップＳ１０５）。生成されたフラッシュ発光撮像画像は、信号処理部１０２による各種の信号処理及び前処理部１０３による各種の前処理を施された後に、そのＲＧＢ画像信号が、画像メモリ１０４の第２撮像記憶部１５２に保存される（ステップＳ１０７）。
【０１４３】
次に、マルチＡＷＢ処理部１０６は、第１撮像記憶部１５１からフラッシュ非発光撮像画像を取得し、第２撮像記憶部１５２からフラッシュ発光撮像画像を取得する。その後、マルチＡＷＢ処理部１０６は、露光差分値算出部１６６により露光差分値を算出した後に、第一フラッシュ反射量算出部１６７により、第一フラッシュ反射量を算出する（ステップＳ１０９）。また、マルチＡＷＢ処理部１０６は、全ての画像に対して第一フラッシュ反射量の算出処理が終了したか否かを判断し（ステップＳ１１１）、処理が終了していない場合には、ステップＳ１０９を再実施する。
【０１４４】
次に、マルチＡＷＢ処理部１０６のフラッシュ反射量差分算出部１６８は、注目画素の第一フラッシュ反射量と周辺画素の第一フラッシュ反射量との差分値であるフラッシュ反射量差分値を算出する。また、マルチＡＷＢ処理部１０６の信号値差分算出部１６９は、注目画素の信号値と周辺画素の信号値との差分値であるＢ／Ｇ差分値及びＲ／Ｇ差分値を算出する（ステップ１１３）。
【０１４５】
次に、マルチＡＷＢ処理部１０６の周辺画素分類判定部１７０は、フラッシュ反射量差分値、Ｂ／Ｇ差分値及びＲ／Ｇ差分値の閾値判別に基づき、周辺画素をパターン分類する（ステップ１１５）。
【０１４６】
次に、マルチＡＷＢ処理部１０６の周辺画素平均値算出部１７１は、各パターンごとに、当該パターンに分類された周辺画素の第一フラッシュ反射量の平均値（フラッシュ反射量差分値）と、Ｂ／Ｇの平均値（Ｂ／Ｇ平均値）又はＲ／Ｇの平均値（Ｒ／Ｇ平均値）とを算出する。マルチＡＷＢ処理部１０６の周辺画素選択部１７１は、算出された当該各種平均値のパターン間での差分に基づく距離を算出し、算出した距離が最大となる２つのパターンを、フラッシュ反射量の補間に使用する２つのパターンとして選択する（ステップ１１７）。
【０１４７】
次に、マルチＡＷＢ処理部１０６の第二フラッシュ反射量算出部１７３は、選択された２パターンのフラッシュ反射量と、Ｂ／Ｇ又はＲ／Ｇとに基づき、注目画素の第二フラッシュ反射量を線形補間により算出する（ステップ１１９）。その後、マルチＡＷＢ処理部１０６は、全ての画像に対して第二フラッシュ反射量の算出処理が終了したか否かを判断し（ステップＳ１２１）、処理が終了していない場合には、再びステップ１１３に戻って処理を継続する。
【０１４８】
次に、マルチＡＷＢ処理部１０６の推定光源色算出部１７４は、算出された第二フラッシュ反射量（補正後のフラッシュ反射量）に基づき、フラッシュ光のみの推定光源色及び定常光の推定光源色を線形補間することにより、フラッシュ発光撮像時における推定光源色を算出する（ステップ１２３）。
【０１４９】
次に、マルチＡＷＢ処理部１０６のホワイトバランスゲイン算出部１７５は、算出された推定光源色に基づき、ホワイトバランスゲインを算出する（ステップ１２５）。
【０１５０】
その後、マルチＡＷＢ処理部１０６は、全ての画像に対してホワイトバランスゲインの算出処理が終了したか否かを判断する（ステップＳ１２７）。算出処理が終了している場合には、マルチＡＷＢ処理部１０６は、算出した全てのホワイトバランスゲインを、後処理部１０７のホワイトバランス制御部１８６に出力して、処理を終了する。他方、処理が終了していない場合には、再びステップ１２３に戻って処理を継続する。
【０１５１】
以上、図２２Ａ及び図２２Ｂを参照しながら、本実施形態に係る撮像装置１０で実施されるホワイトバランス調整方法の流れの一例について、簡単に説明した。なお、当該ホワイトバランス調整方法は、ステップ１２１とステップ１２３との間に、マルチＡＷＢ処理部１０６の平滑化処理部１６４が行う、算出された第二フラッシュ反射量を平滑化するステップと、マルチＡＷＢ処理部１０６が行う、全ての画素に対して平滑化処理が終了したか否かを判断するステップと、を有していてもよい。また、一部の処理ステップについては、処理の順番を入れ替えてもよい。
【０１５２】
以上詳細に説明したように、本発明の実施形態に係る撮像装置及びホワイトバランス調整方法によれば、フラッシュ発光画像とフラッシュ非発光画像に空間的なずれが発生していた場合でも、不適切に算出されたフラッシュ反射量を判定し適切な値に補正することが可能となる。また、Ｂ／Ｇ及びＲ／Ｇを考慮したフィルタ処理を行うことで、定常光とフラッシュ光が混在したシーンに対しても画素単位で適切なホワイトバランスゲインを算出し、ホワイトバランス調整を行うことが可能となる。
【０１５３】
その結果、不適切なホワイトバランスゲインによる被写体のエッジ周辺の色つきを低減することができるため、画素単位に行うホワイトバランス補正処理を、従来技術より好適に行うことができる撮像装置及び撮像方法を提供することができる。
【０１５４】
また、フラッシュ非発光画像とフラッシュ発光画像に空間的なずれが発生していた場合において、従来は算出するフラッシュ反射量が不適切な値になることで不適切なホワイトバランスゲインが算出され、エッジ部に色付きが発生する問題があったが、以上説明したような処理を行うことにより、不適切なホワイトバランスゲインによる被写体のエッジ周辺の色つきを低減することができる。
【０１５５】
以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。
【符号の説明】
【０１５６】
１０ 撮像装置
１０１ 撮像部
１０２ 信号処理部
１０３ 前処理部
１０４ 画像メモリ
１０５ 適正ＡＥ算出部
１０６ マルチＡＷＢ処理部
１０７ 後処理部
１０８ ＲＧＢ−ＹＣＣ変換部
１０９ データ圧縮部
１１０ メモリカードインタフェース
１１１ メモリカード
１２１ レンズ
１２２ 絞り
１２３ シャッター
１２４ 撮像素子
１２５ 露光制御部
１２６ フラッシュ
１３１ 色分離部
１３２ Ａ／Ｄ変換部
１４１ 黒レベル補正部
１４２ 欠陥画素補正部
１４３ シェーディング補正部
１４４ ＡＥ評価値算出部
１５１ 第１撮像記憶部
１５２ 第２撮像記憶部
１６１ フラッシュ反射量算出部
１６２ 周辺画素分類部
１６３ フラッシュ反射量補正部
１６４ 平滑化処理部
１６５ ホワイトバランスゲイン決定部
１６６ 露光差分値算出部
１６７ 第一フラッシュ反射量算出部
１６８ フラッシュ反射量差分算出部
１６９ 信号値差分算出部
１７０ 周辺画素分類判定部
１７１ 周辺画素平均値算出部
１７２ 周辺画素選択部
１７３ 第二フラッシュ反射量算出部
１７４ 推定光源色算出部
１７５ ホワイトバランスゲイン算出部
１８１ デモザイク処理部
１８２ エッジ強調処理部
１８３ 色補正処理部
１８４ ガンマ補正処理部
１８５ ノイズリダクション処理部
１８６ ホワイトバランス制御部
【技術分野】
【０００１】
本発明は、撮像装置及びホワイトバランス調整方法に関する。
【背景技術】
【０００２】
デジタルスチルカメラ等の電子的撮像装置によりフラッシュ発光撮影をする場合に、適切なホワイトバランスの画像を取得するための方法として、フラッシュ発光量を予め調整して撮像する方法、及び、撮像後に白色を正確に映し出すようにするようにホワイトバランス調整を行う方法がある。
【０００３】
フラッシュ発光量を予め調整して撮像する方法の一例として、予備発光時の画像を利用するものがある。例えば、以下の特許文献１では、環境光の色情報に基づいて予備発光時のフラッシュ光の色温度を制御するとともに、予備発光時における被写体からの反射光量に基づいて撮像時のフラッシュ光の発光量を制御する構成が開示されている。
【０００４】
また、撮像後にホワイトバランス調整を行う方法には、画像全体に一律にホワイトバランスゲインを算出する方法、及び、画素ごとにホワイトバランスゲインを算出する方法がある。
【０００５】
ここで、フラッシュ発光撮像では、被写体にフラッシュ光が当たっている部分と背景の定常光部分とで色温度が大きく異なる。例えば、定常光が暗いシーンでは露光不足を解消するためにフラッシュを発光させて撮影を行うが、この時、定常光とフラッシュ光が混合されているシーンでのホワイトバランスゲインはフラッシュの発光量等に応じて算出することになる。その際にデジタルスチルカメラに近い距離にある被写体については適切なホワイトバランスとすることができるが、遠い距離にある被写体については定常光の依存度が高くなり、定常光が蛍光灯などの場合だとフラッシュ光との色温度差が大きくなる。そのため、画像全体に対し一律にホワイトバランスゲインを算出する方法では、白い被写体が黄色くなるなど不適切なホワイトバランスとなる問題が発生する。
【０００６】
また、画素ごとにホワイトバランスゲインを算出する方法においては、フラッシュ発光撮像画像とフラッシュ非発光撮像画像を比較することでフラッシュ反射量を算出し、そのフラッシュ反射量から最適なホワイトバランスゲインを画素ごとに算出する下記の特許文献２のような方法がある。しかし、フラッシュ発光撮像画像とフラッシュ非発光撮像画像とに空間的な位置ずれがある場合には、フラッシュ反射量を正しく算出できずに、誤ったホワイトバランスゲインが算出されてしまうことがある。その結果、被写体のエッジ部に不適切な色つきが発生する等の問題が発生することとなる。
【０００７】
そこで、フラッシュ発光撮像画像とフラッシュ非発光撮像画像の画像とに空間的な位置ずれがある場合における、画素ごとのホワイトバランスゲイン算出方法として、画像の位置合わせを行う方法や、輝度値に平滑化処理を施してホワイトバランスゲイン又はフラッシュ反射量等を求める方法が提案されている。例えば、下記の特許文献３には、フラッシュ発光撮像画像及びフラッシュ非発光撮像画像を取得し、それぞれの画像の対応する輝度の比率から画素ごとにホワイトバランスゲインを算出する構成が開示されている。ホワイトバランスゲインの算出の際に、メディアンフィルタ等を用いてフラッシュ発光撮像画像とフラッシュ非発光撮像画像の平滑化処理を行い、空間的な位置ずれの影響を軽減するようにしている。
【先行技術文献】
【特許文献】
【０００８】
【特許文献１】特開２００９−１５３０８号公報
【特許文献２】特開２０１１−１３５３７８号公報
【特許文献３】特開２００５−１６７４７６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００９】
特許文献１に開示されている方法では、画素ごとにフラッシュ発光量及び色温度の調整を行うことができないため、画像の一部のみが不自然に明るく撮像されたり、不適切な色つきが発生したりすることがある。
また、特許文献３に開示されている方法では、全ての空間的位置ずれの影響をなくすことができず、ホワイトバランスゲインにずれが生じることがある。さらに、エッジ等の色温度が大きく変化する境界を考慮せず、一律に平滑化処理を行うため、画素間で色の変化量が大きくなって不自然な画像となることがある。
【００１０】
そこで、本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、フラッシュ発光撮像画像とフラッシュ非発光撮像画像に空間的な位置ずれが生じている場合にも、フラッシュ発光撮像画像の画素ごとに適切なホワイトバランスを調整することが可能な、新規かつ改良された撮像装置及びホワイトバランス調整方法を提供することにある。
【課題を解決するための手段】
【００１１】
上記課題を解決するために、本発明のある観点によれば、フラッシュ発光時の画像及びフラッシュ非発光時の画像を取得する撮像部と、前記フラッシュ発光時の画像及び前記フラッシュ非発光時の画像に基づき、前記フラッシュ発光時の画像の画素ごとにフラッシュ反射量を算出するフラッシュ反射量算出部と、算出した前記フラッシュ反射量及びフラッシュ発光時の画像での信号値それぞれについて、当該前記フラッシュ反射量又は前記信号値を有する画素である注目画素の値と、当該注目画素の周辺に位置する周辺画素の値との差分値に基づき、前記周辺画素を複数のパターンに分類する周辺画素分類部と、前記周辺画素の分類結果に基づき、前記注目画素のフラッシュ反射量を補正するために用いる前記周辺画素を選択する周辺画素選択部と、選択した前記周辺画素の前記フラッシュ反射量及び信号値に基づき、前記注目画素ごとに、前記フラッシュ発光時の画像を構成する画素の、前記フラッシュ反射量を補正するフラッシュ反射量補正部と、補正後の前記フラッシュ反射量を利用して、画素ごとにホワイトバランスゲインを算出するホワイトバランスゲイン算出部と、算出された前記ホワイトバランスゲインに基づき、前記フラッシュ発光時の画像のホワイトバランスを制御するホワイトバランス制御部と、を備える、撮像装置が提供される。
【００１２】
かかる構成によれば、注目画素の信号値と、選択した周辺画素のフラッシュ反射量及び信号値とを利用することにより、注目画素のフラッシュ反射量が適切に補正される。その結果、フラッシュ発光撮像画像とフラッシュ非発光撮像画像とに空間的な位置ずれがある場合でも、フラッシュ発光撮像画像の画素ごとに適切なホワイトバランスゲインを算出し、ホワイトバランス調整を行うことが可能になる。
【００１３】
前記フラッシュ反射量算出部は、前記フラッシュ発光時の画像の露光制御値及び前記フラッシュ非発光時の露光制御値の差分に基づき、露光差分値を算出する露光差分値算出部と、算出した前記露光差分値と、フラッシュ発光時の画像及びフラッシュ非発光時の画像の信号値と、を利用してフラッシュ発光時の画像の画素ごとに前記フラッシュ反射量を算出する第一のフラッシュ反射量算出部と、をさらに備えていてもよい。
【００１４】
かかる構成によれば、フラッシュ発光時の画像とフラッシュ非発光時の画像が異なる露光制御値で撮像された場合においても、フラッシュ反射量が正確に算出される。これにより、より適切なホワイトバランスゲインを算出することが可能になる。
【００１５】
前記周辺画素分類部は、前記注目画素のフラッシュ反射量と、前記周辺画素のフラッシュ反射量と、の差分値を算出するフラッシュ反射量差分算出部と、前記注目画素の信号値と、前記周辺画素の信号値と、の差分値を算出する信号値差分算出部と、算出した前記フラッシュ反射量差分値と第一の閾値との大小関係、及び、算出した信号値と第二の閾値との大小関係に応じて、前記周辺画素を分類する周辺画素分類判定部と、をさらに備えていてもよい。
【００１６】
かかる構成によれば、周辺画素をより適切にパターン分類し、注目画素のフラッシュ反射量の補正に用いる周辺画素のパターンが選択される。その結果、より適切にホワイトバランスゲインを算出することが可能となる。
【００１７】
前記周辺画素選択部は、前記周辺画素の分類結果に基づき、前記フラッシュ反射量と前記信号値の差分値とで表されるパターン間距離が最長となる２つのパターンの組み合わせを選択し、選択した前記２つのパターンに含まれる周辺画素を、フラッシュ反射量補正に用いる周辺画素として選択するようにしてもよい。
【００１８】
かかる構成によれば、注目画素のフラッシュ反射量の補正に用いる周辺画素のパターンとして、空間的な位置ずれの影響が小さいパターンが選択される。これにより、より適切なホワイトバランスゲインを算出することが可能となる。
【００１９】
前記パターン間距離は、各パターンに属する周辺画素のフラッシュ反射量及び信号値それぞれの平均値により決定されるようにしてもよい。
【００２０】
前記撮像装置は、補正後の前記フラッシュ反射量及び信号値を利用した、平滑化処理を行う平滑化処理部をさらに備えるようにしてもよい。
【００２１】
これにより、ホワイトバランス調整後の画像のエッジ情報を保持しつつ、ノイズ低減処理を行うことが可能となる。
【００２２】
ここで、前記信号値として、基準となる一の色の信号値に対する他の色の信号値で表されるカラーバランスが用いられてもよい。
【００２３】
また、上記課題を解決するために、本発明の別の観点によれば、前記フラッシュ発光時の画像及び前記フラッシュ非発光時の画像に基づき、前記フラッシュ発光時の画像の画素ごとにフラッシュ反射量を算出するフラッシュ反射量算出ステップと、算出した前記フラッシュ反射量及びフラッシュ発光時の画像での信号値それぞれについて、当該前記フラッシュ反射量又は前記信号値を有する画素である注目画素の値と、当該注目画素の周辺に位置する周辺画素の値との差分値に基づき、前記周辺画素を複数のパターンに分類する周辺画素分類ステップと、前記周辺画素の分類結果に基づき、前記注目画素のフラッシュ反射量を補正するために用いる前記周辺画素を選択する周辺画素選択ステップと、選択した前記周辺画素の前記フラッシュ反射量及び信号値に基づき、前記注目画素の画素ごとに、前記フラッシュ発光時の画像を構成する画素の、前記フラッシュ反射量を補正するフラッシュ反射量補正ステップと、補正後の前記フラッシュ反射量を利用して、画素ごとにホワイトバランスゲインを算出するホワイトバランスゲイン算出ステップと、算出された前記ホワイトバランスゲインに基づき、前記フラッシュ発光時の画像のホワイトバランスを制御するホワイトバランス制御ステップと、を含むホワイトバランス調整方法が提供される。
【発明の効果】
【００２４】
以上説明したように本発明によれば、注目画素の信号値と、選択した周辺画素のフラッシュ反射量及び信号値とを使用することにより、注目画素のフラッシュ反射量を適切に補正することが可能になり、フラッシュ発光撮像画像とフラッシュ非発光撮像画像とに空間的な位置ずれがある場合でも、フラッシュ発光撮像画像の画素ごとに適切なホワイトバランスゲインを算出し、ホワイトバランス調整を行うことができる。
【図面の簡単な説明】
【００２５】
【図１】フラッシュ非発光撮像画像の一例を示した説明図である。
【図２】フラッシュ発光撮像画像の一例を示した説明図である。
【図３】ベイヤ型配列を有する撮像素子を示した説明図である。
【図４】フラッシュ発光撮像画像とフラッシュ非発光撮像画像との間で発生する空間的な位置ずれについて説明するための説明図である。
【図５】フラッシュ発光撮像画像とフラッシュ非発光撮像画像との間で発生する空間的な位置ずれについて説明するための説明図である。
【図６】フラッシュ発光撮像画像とフラッシュ非発光撮像画像との間に空間的な位置ずれが生じていない場合における画像信号値及びフラッシュ反射量を示した説明図である。
【図７】フラッシュ発光撮像画像とフラッシュ非発光撮像画像との間に空間的な位置ずれが生じている場合における画像信号値を示した説明図である。
【図８】空間的な位置ずれが生じているフラッシュ発光撮像画像及びフラッシュ非発光撮像画像の画像信号値と、これらの信号値から算出されるフラッシュ反射量との関係を示した説明図である。
【図９】空間的な位置ずれが生じているフラッシュ発光撮像画像及びフラッシュ非発光撮像画像の画像信号値と、これらの信号値から算出されるフラッシュ反射量との関係を示した説明図である。
【図１０】本発明の第１の実施形態に係る撮像装置の構成を示したブロック図である。
【図１１】同実施形態に係るマルチＡＷＢ処理部の構成を示したブロック図である。
【図１２】第一フラッシュ反射量について説明するための説明図である。
【図１３】第一フラッシュ反射量の差分値について説明するための説明図である。
【図１４】画像信号値について説明するための説明図である。
【図１５】画像信号値の差分値について説明するための説明図である。
【図１６】同実施形態に係る周辺画素分類判定処理について説明するための説明図である。
【図１７】同実施形態に係る周辺画素分類判定処理について説明するための説明図である。
【図１８】同実施形態に係る周辺画素分類判定処理の結果について説明するための説明図である。
【図１９】同実施形態に係る周辺画素分類判定処理の結果について説明するための説明図である。
【図２０】同実施形態に係る周辺画素分類判定処理の結果について説明するための説明図である。
【図２１】同実施形態に係る周辺画素選択処理について説明するための説明図である。
【図２２Ａ】同実施形態に係るホワイトバランス調整方法の流れの一例を示した流れ図である。
【図２２Ｂ】同実施形態に係るホワイトバランス調整方法の流れの一例を示した流れ図である。
【発明を実施するための形態】
【００２６】
以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
【００２７】
なお、説明は以下の順序で行うものとする。
（１）フラッシュ発光撮像画像とフラッシュ非発光撮像画像との空間的な位置ずれによる影響について
（２）第１の実施形態
（２−１）撮像装置１０の構成
（２−１−１）撮像装置１０の全体構成
（２−１−２）マルチＡＷＢ処理部１０６の構成
（２−２）ホワイトバランス調整方法の流れ
【００２８】
＜１．フラッシュ発光撮像画像とフラッシュ非発光撮像画像との空間的な位置ずれによる影響について＞
本発明の好適な実施形態についての説明に先立ち、フラッシュ発光撮像画像とフラッシュ非発光撮像画像とに発生する空間的な位置ずれの現象と、この現象により生じるフラッシュ反射量への影響について、図１〜９を参照しながら詳細に説明する。
【００２９】
図１は、フラッシュ非発光撮像画像の一例を示した説明図である。図２は、フラッシュ発光撮像画像の一例を示した説明図である。図１は、ある被写体をフラッシュを発光させずに撮像した画像（フラッシュ非発光撮像画像）を模式的に示したものであり、図２は、図１と同一の被写体をフラッシュを発光させて撮像した画像（フラッシュ発光撮像画像）を模式的に示したものである。ここで、フラッシュ発光撮像画像とフラッシュ非発光撮像画像とは、それぞれ適切な露光制御値で撮像され、それぞれメモリ等の記憶手段に保持されている。
【００３０】
メモリ等に記憶されたフラッシュ非発光撮像画像のＲＧＢ画像信号値は、色信号値毎に、フラッシュ非発光撮像画像を構成する全ての画素について積算され、当該積算値に基づいて、フラッシュが発光されていない定常光のみの場合の推定光源色が算出され、メモリ等の記憶手段に保持される。また、フラッシュ光のみで撮像した場合の推定光源色は、ＲＯＭ等の記憶手段に予め保持されているものが利用される。なお、推定光源色は、Ｇ信号値に対するＲ信号値の比（以下Ｒ／Ｇとする。）及びＧ信号値に対するＢ信号値の比（以下Ｂ／Ｇとする。）で表される。
【００３１】
図３は、ベイヤ型配列を有する撮像素子を示した説明図である。上記画素ごとのＲＧＢ画像信号値に基づく計算は、図３に示したように、Ｒ，Ｇ，Ｇ，Ｂの四つの画素２１を一組としたベイヤユニット２３を１画素とみなして行われてもよく、ベイヤ色補間（デモザイク）処理によって、ベイヤ画像におけるＲ，Ｇ，Ｇ，Ｂの四つの画素から各色（Ｒ，Ｇ，Ｂ）１つずつの画素を生成することにより行われてもよい。
【００３２】
図１のようなフラッシュ非発光撮像画像を撮像したときの露光制御値（シャッタースピード、絞り値、感度）と、図２のようなフラッシュ発光撮像画像を取得したときの露光制御値とが異なる場合には、各露光制御値の差分値を考慮する必要がある。このような差分値を考慮することで、被写体からのフラッシュ光の反射量（フラッシュ反射量）を適切に算出することができる。
【００３３】
ここで、フラッシュ発光撮像画像とフラッシュ非発光撮像画像との間で空間的な位置ずれが生じている場合に、算出されるフラッシュ反射量にどのような影響が生じるかについて、考える。
【００３４】
なお、以下では、図１に示したフラッシュ非発光撮像画像における、図４に示したＡ−Ａ線の位置での画像信号値（以下、第一画像信号値とする。）、及び、図２に示したフラッシュ発光撮像画像における、図５に示したＢ−Ｂ線の位置での画像信号値（以下、第二画像信号値とする。）を例に挙げて説明を行うものとする。
【００３５】
（空間的な位置ずれがない場合）
図６は、Ａ−Ａ線（図４）又はＢ−Ｂ線（図５）の各位置におけるフラッシュ発光撮像画像の信号値及びフラッシュ非発光撮像画像の信号値を表した説明図である。ここで、図６及び図７に示したグラフ図において、横軸は、Ａ−Ａ線又はＢ−Ｂ線に沿った空間横方向の位置（換言すれば、被写体が存在している空間に固定された絶対座標系での横方向の位置）を表しており、縦軸は、信号値又はフラッシュ反射量を表している。また、図６及び図７に示した信号値は、画素の輝度値又は各色信号値である。図６及び図７において、信号値の変化量が大きい部分は、被写体のエッジ部に対応する。
【００３６】
フラッシュ発光撮像画像とフラッシュ非発光撮像画像との間で空間的な位置ずれがない場合には、図６に示すように、画像中のエッジに該当する信号値が変化する位置は、フラッシュ発光撮像画像とフラッシュ非発光撮像画像とで一致する。その結果、これらの画像信号値に基づいて算出されるフラッシュ反射量は、図６に示したように、第二画像信号値と類似した形状を有する分布を示すこととなる。
【００３７】
（空間的な位置ずれがある場合）
次に、フラッシュ発光撮像画像とフラッシュ非発光撮像画像との間に空間的な位置ずれがある場合について、Ａ−Ａ線に対応する位置でのフラッシュ非発光撮像画像の信号値、及び、Ｂ−Ｂ線に対応する位置でのフラッシュ発光撮像画像の信号値を考える。
【００３８】
図７は、画像中の横方向の各位置における、フラッシュ発光撮像画像の信号値及びフラッシュ非発光撮像画像の信号値を表した説明図である。フラッシュ発光撮像画像とフラッシュ非発光撮像画像とに空間的な位置ずれがある場合、図７に示すように、信号値が変化する位置は、フラッシュ発光撮像画像とフラッシュ非発光撮像画像とで異なることとなる。
【００３９】
図８及び図９は、空間的な位置ずれが生じているフラッシュ発光撮像画像及びフラッシュ非発光撮像画像の画像信号値と、これらの信号値から算出されるフラッシュ反射量との関係を示した説明図である。
フラッシュ発光撮像画像とフラッシュ非発光撮像画像との間で空間的な位置ずれが生じている場合、算出されるフラッシュ反射量は、図８や図９に示したように、第一画像信号値及び第二画像信号値の変化状況に応じて、実際よりも大きな値に算出されたり、小さな値に算出されたりする。
【００４０】
図８に示した例では、第一画像信号値に対応するフラッシュ非発光撮像画像が撮像される際に手ブレ等が起こり、第二画像信号値に対応するフラッシュ発光撮像画像に対して右方向にずれが生じたため、第二画像信号値は、被写体のエッジに該当する位置で信号値が変化しているにもかかわらず、同一位置での第一画像信号値は、変化が生じていない。その結果、図６と比較すると明らかなように、図８においてＡＲ１で示した部分では、フラッシュ反射量は、本来算出されるべき適正な値よりも小さい値となって算出されており、図８においてＡＲ２で示した領域では、フラッシュ反射量は、本来算出されるべき適正な値よりも大きな値となって算出されている。
【００４１】
図８に示した例は、第一画像信号値は下に凸の外形を有しており、第二画像信号値は上に凸の外形を有している場合を示したが、図９に示した例は、第一画像信号値及び第二画像信号値が、それぞれ上に凸の外形を有している場合を示している。
図９に示に示した例においても、第一画像信号値に対応するフラッシュ非発光撮像画像が撮像される際に手ブレ等が起こり、第二画像信号値に対応するフラッシュ発光撮像画像に対して右方向にずれが生じたため、第二画像信号値は、被写体のエッジに該当する位置で信号値が変化しているにもかかわらず、同一位置での第一画像信号値は、変化が生じていない。その結果、図６と比較すると明らかなように、図９においてＡＲ３で示した部分では、フラッシュ反射量は、本来算出されるべき適正な値よりも小さい値となって算出されている。図９においてＡＲ３で示した位置のように、第一画像信号値の値によっては、フラッシュ反射量は負の値となりうる。しかしながらフラッシュ反射量は０．０〜１．０の間の値として扱われるため、算出されたフラッシュ反射量の値が負の値となった場合には、フラッシュ反射量は０として取り扱われることとなる。
【００４２】
このように、フラッシュ発光撮像画像とフラッシュ非発光撮像画像との間で、手ブレ等により空間的な位置ずれが生じた場合には、適正なフラッシュ反射量が算出されない場合がある。本発明者は、このような場合であっても適正にフラッシュ反射量を補正することが可能な技術について鋭意検討を行った結果、以下で説明するような技術に想到した。
【００４３】
＜２．第１の実施形態＞
［２−１：本実施形態に係る撮像装置１０の構成］
（２−１−１：撮像装置１０の全体構成）
以下の実施形態では、撮像装置の一例としてデジタルスチルカメラを例にとって、本実施形態に係る撮像装置で実施される画像処理パイプラインについて、図１０を参照しながら簡単に説明する。図１０は、本実施形態に係る撮像装置の画像処理パイプラインの構成を示したブロック図である。
【００４４】
本実施形態に係る撮像装置１０は、図１に示したように、撮像部１０１、信号処理部１０２、前処理部１０３、画像メモリ１０４、適正ＡＥ算出部１０５、マルチＡＷＢ処理部１０６、後処理部１０７、ＲＧＢ−ＹＣＣ変換部１０８、データ圧縮部１０９、メモリカードインタフェース１１０及びメモリカード１１１を主に備える。
【００４５】
撮像部１０１は、図１０に示したように、被写体からの光を集光するレンズ１２１と、絞り１２２と、シャッター１２３と、ＣＣＤイメージセンサやＣＭＯＳイメージセンサ等の撮像素子１２４と、露光制御部１２５と、フラッシュ１２６と、を主に備える。
【００４６】
レンズ１２１を透過した光は、絞り１２２及びシャッター１２３の動作タイミングに合わせて撮像素子１２４に結像し、撮像素子１２４の各画素から、結像した光に関する出力信号が出力される。また、露光制御部１２５は、絞り１２２、シャッター１２３、撮像素子１２４及びフラッシュ１２６の動作タイミングを制御しており、フラッシュ１２６を発光させながら被写体を撮像したり、フラッシュ１２６を発光させないで被写体を撮像したりする制御を行っている。
【００４７】
信号処理部１０２は、撮像部１０１の撮像素子１２４から出力された出力信号に対して信号処理を行う処理部である。この信号処理部１０２は、出力信号に対して色分離処理を行う色分離部１３１と、出力信号に対してＡ／Ｄ変換処理を行うＡ／Ｄ変換部１３２と、を主に備える。色分離部１３１とＡ／Ｄ変換部１３２とは、互いに連携しながら、出力信号に対して信号処理を実施する。これらの処理が行われることで、撮像素子１２４から出力された出力信号はＲＧＢ画像信号となる。
【００４８】
前処置部１０３は、信号処理部１０２から出力されたＲＧＢ画像信号に対して、前処理を施す処理部である。この前処理部１０３は、図１０に示したように、黒レベル補正部１４１、欠陥画素補正部１４２、シェーディング補正部１４３及びＡＥ評価値算出部１４４を主に備える。信号処理部１０２から出力されたＲＧＢ画像信号は、黒レベル補正部１４１による黒レベル補正処理により黒レベルが一定となるように補正され、欠陥画素補正部１４２により、画素欠陥がＲＧＢ画像信号中に存在する場合に画素欠陥周辺の情報に基づいて情報が補間される。また、信号処理部１０２から出力されたＲＧＢ画像信号は、シェーディング補正部１４３により、画像の周辺等に発生する輝度落ち等に起因する画像の輝度差が補正される。ＡＥ評価値算出部１４４は、これらの補正が行われたＲＧＢ画像信号に基づいて、ＡＥ評価値を算出する。ＡＥ評価値算出部１４４により算出されたＡＥ評価値は、適正ＡＥ算出部１０５に出力される。また、上述の補正が行われたＲＧＢ画像信号は、画像メモリ１０４及び後処理部１０７に出力される。
【００４９】
画像メモリ１０４は、前処理部１０３による各種の前処理が施されたＲＧＢ信号を記憶部する記憶部の一例である。この画像メモリ１０４は、フラッシュ非発光時に撮像された撮像画像を記憶する第１撮像記憶部１５１と、フラッシュ発光時に撮像された撮像画像を記憶する第２撮像記憶部１５２と、を有している。後述するマルチＡＷＢ（オートホワイトバランス）処理部１０６及び後処理部１０７は、かかる画像メモリ１０４が記憶している各撮像画像を利用して、それぞれの処理部における処理を実施することが可能である。
【００５０】
適正ＡＥ算出部１０５は、前処理部１０３のＡＥ評価値算出部１４４から出力されたＡＥ評価値に基づいて、撮像条件に適したＡＥ値を算出する。適正ＡＥ算出部１０５は、算出したＡＥ値を、撮像部１０１の露光制御部１２５及びマルチＡＷＢ処理部１０６に出力する。これにより、露光制御部１２５は、取得したＡＥ値に基づいて絞り１２２、シャッター１２３、撮像素子１２４及びフラッシュ１２６の露光制御を行うことが可能となる。
【００５１】
マルチＡＷＢ処理部１０６は、適正ＡＥ算出部１０５が算出したＡＥ値と、画像メモリ１０４に記憶されているフラッシュ非発光時に撮像された撮像画像及びフラッシュ発光時に撮像された撮像画像と、を利用して、ホワイトバランス補正処理に用いられるホワイトバランスゲインを算出する処理部である。マルチＡＷＢ処理部１０６は、算出したホワイトバランスゲインを、後述する後処理部１０７のホワイトバランス制御部１８６に出力する。
【００５２】
なお、マルチＡＷＢ処理部１０６で実施されるホワイトバランスゲインの算出処理については、以下で改めて詳細に説明する。
【００５３】
後処理部１０７は、前処理部１０３により前処理が施されたＲＧＢ画像信号に対して、各種の後処理を実施する処理部である。この後処理部１０７は、ＲＧＢ画像信号に対してデモザイク処理（ベイヤ色補間処理）を実施するデモザイク処理部１８１と、ＲＧＢ画像信号に対してエッジ強調処理を実施するエッジ強調処理部１８２と、ＲＧＢ画像信号に対して色補正処理を実施する色補正処理部１８３と、ＲＧＢ画像信号に対してガンマ補正を実施するガンマ補正処理部１８４と、ＲＧＢ画像信号のノイズリダクション処理（ノイズ低減処理）を実施するノイズリダクション処理部１８５と、ＲＧＢ画像信号に対してホワイトバランス補正処理を実施するホワイトバランス制御部１８６と、を更に備える。ここで、ホワイトバランス制御部１８６には、本実施形態に係るマルチＡＷＢ処理部１０６により算出されたホワイトバランスゲインが入力され、ホワイトバランス制御部１８６は、算出されたホワイトバランスゲインを用いて、ＲＧＢ画像信号に対してホワイトバランス補正処理を実施する。
【００５４】
これらの処理部により各種の後処理を施されたＲＧＢ画像信号は、ＲＧＢ−ＹＣＣ変換部１０８に出力される。ＲＧＢ−ＹＣＣ変換部１０８は、ＲＧＢ画像信号をＹＣＣ画像信号へと変換する処理部である。かかる変換処理により、撮像された画像の色空間がＲＧＢ色空間からＹＣＣ（ＹＣｒＣｂ）色空間へと変換されることとなる。変換後のＹＣＣ画像信号は、データ圧縮部１０９へと出力される。
【００５５】
データ圧縮部１０９は、ＹＣＣ画像信号を、必要に応じてＪＰＥＧ等の各種の圧縮形式で圧縮する処理部である。必要に応じて圧縮されたＹＣＣ画像信号は、メモリカードインタフェース１１０を介してメモリカード１１１に記録される。
【００５６】
以上、図１０を参照しながら、本実施形態に係る撮像装置１０の画像処理パイプラインについて、簡単に説明した。
【００５７】
（２−１−２：マルチＡＷＢ処理部１０６の構成）
以下では、図３及び図１１〜２１を参照しながら、本実施形態に係るマルチＡＷＢ処理部１０６で実施されるホワイトバランスゲインの算出処理について、詳細に説明する。本実施形態に係るマルチＡＷＢ処理部１０６は、以下で説明するような処理を実施することで、フラッシュ発光撮像画像とフラッシュ非発光撮像画像とに空間的な位置ずれがある場合であっても、フラッシュ発光撮像画像の画素ごとに適切なホワイトバランスゲインを算出し、適正なホワイトバランス補正を行うことができる。
【００５８】
本実施形態に係るマルチＡＷＢ処理部１０６には、入力信号として、第１の撮像画像の一例であるフラッシュ非発光時に撮像された撮像画像（以下、フラッシュ非発光撮像画像とも称する。）と、第２の撮像画像の一例であるフラッシュ発光時に撮像された撮像画像（以下、フラッシュ発光撮像画像とも称する。）と、が入力される。
【００５９】
また、マルチＡＷＢ処理部１０６は、入力された撮像画像の画像信号から推定光源色を算出する。この際、マルチＡＷＢ処理部１０６は、フラッシュ非発光撮像画像のＲＧＢ画像信号をＲＧＢ別（色別）に全画面分積分し、フラッシュが発光していない定常光のみの場合の推定光源色（Ｒ／Ｇ、Ｂ／Ｇ）を算出する。また、マルチＡＷＢ処理部１０６は、定常光がなくフラッシュ光のみで撮像した場合の推定光源色を既知の値としてＲＯＭ等の各種メモリに保持しており、適宜各種メモリから読みだして処理に利用することができる。
【００６０】
本実施形態に係るマルチＡＷＢ処理部１０６では、画素ごとにホワイトバランスゲインが算出されることとなる。この際、マルチＡＷＢ処理部１０６は、フラッシュ発光撮像画像及びフラッシュ非発光撮像画像において、図３に示したように、Ｒ，Ｇ，Ｇ，Ｂの四つの画素２１を一組としたベイヤユニット２３を１画素とみなしたり、ベイヤ色補間（デモザイク）処理によって、ベイヤ画像におけるＲ，Ｇ，Ｇ，Ｂの四つの画素から各色（Ｒ，Ｇ，Ｂ）一つずつの画素を生成したりする。
【００６１】
以下では、図１１〜２１を参照しながら、本実施形態に係るマルチＡＷＢ処理部１０６で実施されるホワイトバランスゲインの算出処理について、詳細に説明する。
【００６２】
（処理の概要）
マルチＡＷＢ処理部１０６は、図１１に示したように、フラッシュ反射量算出部１６１、周辺画素分類部１６２、フラッシュ反射量補正部１６３、平滑化処理部１６４、及びホワイトバランスゲイン決定部１６５を有している。
【００６３】
ここで、フラッシュ反射量算出部１６１、周辺画素分類部１６２及びフラッシュ反射量補正部１６３により実施される処理が、主に、図８に示したように、算出されたフラッシュ反射量が、所定の値以上であった場合に対する補正処理に該当する。また、平滑化処理部１６４により実施される処理が、主に、図９に示したように、算出されたフラッシュ反射量が、０又は０に近い値であった場合に対する補正処理に該当する。
【００６４】
ここで、以下で詳述するように、本実施形態に係る撮像装置及びホワイトバランス調整方法では、まず、フラッシュ発光撮像画像及びフラッシュ非発光撮像画像の空間的な位置ずれが生じている場合のうち、算出されたフラッシュ反射量が、所定の値以上であった場合に対応するための処理を行う。その後、算出されたフラッシュ反射量が、０又は０に近い値であった場合に対応するための処理を行う。この際、所定の値以上に算出されたフラッシュ反射量に対して、０又は０に近い値に算出されたフラッシュ反射量を補正するための処理を実施することによる影響、及び、０又は０に近い値に算出されたフラッシュ反射量に対して、所定の値以上に算出されたフラッシュ反射量を補正するための処理を実施することによる影響は、存在しない点に注意されたい。
【００６５】
以下では、まず、フラッシュ反射量算出部１６１が備える各処理部の機能について、詳細に説明する。
フラッシュ反射量算出部１６１は、マルチＡＷＢ処理部１０６に入力されたフラッシュ非発光撮像画像の輝度値及び露光制御値と、フラッシュ発光撮像画像の輝度値及び露光制御値とに基づいて、フラッシュ発光撮像画像の画素ごとに第一フラッシュ反射量を算出する。このフラッシュ反射量算出部１６１は、図１１に示したように、露光差分値算出部１６６と、第一フラッシュ反射量算出部１６７と、を備える。
【００６６】
マルチＡＷＢ処理部１０６にフラッシュ非発光撮像画像及びフラッシュ発光撮像画像が入力されると、露光差分値算出部１６６は、入力されたフラッシュ非発光撮像画像及びフラッシュ発光撮像画像の露光制御値に基づいて、露光差分値Ｌｆを算出する。
【００６７】
ここで、フラッシュ非発光撮像画像を撮像したときの露光制御値（シャッタースピード、絞り値、感度）と、フラッシュ発光撮像画像を取得したときの露光制御値が異なる場合には、露光差分値算出部１６６は、各露光制御値の差分値を考慮する。ここで、露光制御値には、下記式１０１で表される関係があることが知られている。下記式１０１において、ＴＶはシャッタースピードＴＶを表し、ＡＶは絞り値を表し、ＳＶは感度を表し、ＢＶは被写体輝度を表している。また、下記式１０１のそれぞれの値は、ＡＰＥＸ値で表現されている。
【００６８】
【数１】
・・・（式１０１）
【００６９】
フラッシュ非発光撮像画像の被写体輝度値をＢＶｌ、シャッタースピードをＴＶｌ、絞り値をＡＶｌ、感度をＳＶｌとし、フラッシュ発光撮像画像の被写体輝度値をＢＶｓ、シャッタースピードをＴＶｓ、絞り値をＡＶｓ、感度をＳＶｓとすると、フラッシュ非発光撮像画像及びフラッシュ発光撮像画像に対応する上記式１０１は、それぞれ下記式１０２及び１０３のようになる。
【００７０】
【数２】
・・・（式１０２）
・・・（式１０３）
【００７１】
そこで、露光差分値算出部１６６は、上記式１０２及び１０３より算出された被写体輝度値を利用して、下記式１０４に基づいて、差分値ＢＶｄｉｆｆを算出する。なお、フラッシュ発光撮像画像とフラッシュ非発光撮像画像の露光制御値とが一致している場合は、下記式１０４で表される差分値ＢＶｄｉｆｆは０となる。
【００７２】
【数３】
・・・（式１０４）
【００７３】
露光差分値算出部１６６は、上記式１０４に基づいて差分値ＢＶｄｉｆｆを算出すると、続いて以下の式１０５を利用して、露光差分値Ｌｆを算出する。
【００７４】
【数４】
・・・（式１０５）
【００７５】
露光差分値算出部１６６は、露光差分値Ｌｆを算出すると、得られた算出結果を第一フラッシュ反射量算出部１６７に出力する。
【００７６】
第一フラッシュ反射量算出部１６７は、フラッシュ非発光撮像画像の輝度値Ｙｌ、フラッシュ発光撮像画像の輝度値Ｙｓ、及び、露光差分値算出部１６６により算出された露光差分値Ｌｆに基づいて、下記式１０６によりフラッシュ発光撮像画像の画素ごとに第一フラッシュ反射量Ｒａｔｉｏを算出する。この第一フラッシュ反射量Ｒａｔｉｏは、フラッシュ非発光撮像画像における定常光量を１としたときの相対値として算出されるものである。
【００７７】
【数５】
・・・（式１０６）
【００７８】
上記式１０６のように、第一フラッシュ反射量の算出において、露光差分値Ｌｆを補正係数として用いることにより、第一フラッシュ反射量算出部１６７は、フラッシュ発光撮像画像とフラッシュ非発光撮像画像が異なる露光制御値で撮像された場合においても、正確な第一フラッシュ反射量を算出することができる。
【００７９】
また、色信号の一つであるＧ（グリーン）信号値は輝度値Ｙとほぼ同じ値となるため、第一フラッシュ反射量算出部１６７は、上記式１０６において輝度値Ｙの代わりにＧ信号値を利用して、第一フラッシュ反射量を算出してもよい。
【００８０】
第一フラッシュ反射量算出部１６７は、第一フラッシュ反射量を算出すると、得られた算出結果を、フラッシュ反射量差分算出部１６８及び周辺画素平均値算出部１７１に出力する。
【００８１】
以上、フラッシュ反射量算出部１６１が備える各処理部の機能について、詳細に説明した。
以下では、周辺画素分類部１６２が備える各処理部の機能について、詳細に説明する。
【００８２】
周辺画素分類部１６２は、フラッシュ発光撮像画像を構成する画素の一つを注目画素とし、注目画素の周辺に位置する周辺画素を複数のパターンに分類する。この周辺画素分類部１６２は、図１１に示したように、フラッシュ反射量差分算出部１６８と、信号値差分算出部１６９と、周辺画素分類判定部１７０と、を備える。
【００８３】
周辺画素分類部１６２が備えるフラッシュ反射量差分算出部１６８は、注目画素の第一フラッシュ反射量と、周辺画素の第一フラッシュ反射量との差分値であるフラッシュ反射量差分値を算出する。ここで、注目画素とは、フラッシュ発光撮像画像を構成する全画素から順次選択される一つの画素であり、各注目画素（換言すれば、フラッシュ発光撮像画像を構成する全画素）は、第一フラッシュ反射量及び信号値を有している。また、周辺画素とは、上記注目画素の周辺に位置する画素であり、例えば注目画素を中心とした（２Ｎ＋１）×（２Ｎ＋１）領域に存在する各画素が周辺画素に該当する。ただし、Ｎは自然数である。
【００８４】
図１２は、注目画素及び当該注目画素を中心とした周辺の５×５領域に存在する周辺画素について、上記第一フラッシュ反射量算出部１６７により算出された第一フラッシュ反射量を表したものである。ただし、図１２において、注目画素は、フラッシュ発光撮像画像の位置（３，３）における画素としている。また、図１２に示したＲｐｑは、フラッシュ発光撮像画像の位置（ｐ，ｑ）における画素の第一フラッシュ反射量を表している。
【００８５】
フラッシュ反射量差分算出部１６８は、注目画素の第一フラッシュ反射量及び周辺画素の第一フラッシュ反射量に基づき、図１３に示すように、各周辺画素について当該周辺画素の第一フラッシュ反射量から注目画素の第一フラッシュ反射量を減算した値であるフラッシュ反射量差分値を算出する。なお、注目画素についてのフラッシュ反射量差分値は、算出しない。
【００８６】
フラッシュ反射量差分算出部１６８は、フラッシュ発光撮像画像を構成する各画素について第一フラッシュ反射量差分値を算出すると、得られた算出結果を、周辺画素分類判定部１７０に出力する。
【００８７】
信号値差分算出部１６９は、注目画素の信号値と、周辺画素の信号値との差分値である信号差分値を算出する。なお、以下では、説明の便宜上、信号値として、Ｇの信号値に対するＢの信号値で表されるカラーバランス（Ｂ／Ｇ）及びＧの信号値に対するＲの信号値で表されるカラーバランス（Ｒ／Ｇ）を用いた場合について説明するが、本実施形態に係る技術の適用範囲はこれに限定されない。
【００８８】
図１４は、注目画素及び当該注目画素を中心とした周辺の５×５領域に存在する周辺画素について、マルチＡＷＢ処理部１０６に入力されたフラッシュ発光撮像画像の信号値（Ｂ／Ｇ及びＲ／Ｇ）を表したものである。ただし、図１３においては、信号値としてカラーバランス（Ｂ／Ｇ）を用いた場合を図示しており、注目画素は、フラッシュ発光撮像画像の位置（３，３）における画素としている。また、Ｂｐｑは、フラッシュ発光撮像画像の位置（ｐ，ｑ）における画素の信号値を表している。なお、カラーバランス（Ｒ／Ｇ）を用いた場合についても、図１４と同様に図示することが可能である。
【００８９】
信号値差分算出部１６９は、注目画素の信号値及び周辺画素の信号値に基づき、図１５に示すように、各周辺画素について当該周辺画素の信号値から注目画素の信号値を減算した値である信号差分値を算出する。なお、注目画素についての信号差分値は、算出しない。
【００９０】
信号差分算出部１６９は、信号差分値をフラッシュ発光撮像画像の各画素について算出すると、得られた算出結果を、周辺画素分類判定部１７０に出力する。
【００９１】
周辺画素分類判定部１７０は、フラッシュ反射量差分値算出部１６８により算出された第一フラッシュ反射量差分値と、信号値差分算出部１６９により算出された各信号差分値とに基づいて、周辺画素が該当するパターンを判定する。本実施形態におけるパターンとは、周辺画素における差分値の状況を類型化したものである。以下では、周辺画素分類判定部１７０が行う処理について、図１６〜図１９を参照しながら、具体的に説明する。
【００９２】
周辺画素分類判定部１７０は、図１６及び図１７に示すように、各周辺画素について、フラッシュ反射量差分値及びＢ／Ｇ差分値の組み合わせと、フラッシュ反射量差分値及びＲ／Ｇ差分値の組み合わせと、に基づき、注目画素の周囲に存在する各周辺画素がそれぞれ４つのパターンのいずれに該当するかを判定する。以下では、各周辺画素について、フラッシュ反射量差分値及びＢ／Ｇ差分値の組み合わせに基づいて４つのパターンのいずれに該当するかを判定する判定処理について主に説明するが、周辺画素分類判定部１７０は、フラッシュ反射量差分値及びＲ／Ｇ差分値に基づく判定処理についても、図１７に基づいて同様に実施する。
【００９３】
周辺画素分類判定部１７０は、予め保持しておいた第一の閾値を参照して、着目している周辺画素のフラッシュ反射量差分値と第一の閾値との大小関係を判定するとともに、予め保持しておいた第二の閾値を参照して、着目している周辺画素のＢ／Ｇ差分値と第二の閾値との大小関係を判定する。周辺画素分類判定部１７０は、図１６に示すように、算出したフラッシュ反射量差分値に関する大小関係の判定結果、及び、入力されたＢ／Ｇ差分値に関する大小関係の判定結果に応じて、周辺画素を４つのパターンにパターン分類する。例えば、フラッシュ反射量差分値が第一の閾値より小さく、かつ、Ｂ／Ｇ差分値が第二の閾値より小さい周辺画素は、パターン１に分類されることとなる。
【００９４】
周辺画素分類判定部１７０は、各周辺画素について４つのパターンいずれに該当するかを判定すると、判定結果に関する情報を、周辺画素平均値算出部１７１に出力する。
【００９５】
以上、周辺画素分類１６２が備える各処理部の機能について、詳細に説明した。
以下では、フラッシュ反射量補正部１６３が備える各処理部の機能について、詳細に説明する。
【００９６】
フラッシュ反射量補正部１６３は、注目画素の第一フラッシュ反射量を第二フラッシュ反射量へと補正する際に利用するパターンを選択し、選択したパターンの情報に基づいて、注目画素の第二フラッシュ反射量を算出する。このフラッシュ反射量補正部１６３は、図１１に示したように、周辺画素平均値算出部１７１と、周辺画素選択部１７２と、第二フラッシュ反射量算出部１７３と、を備える。
【００９７】
フラッシュ反射量補正部１６３が備える周辺画素平均値算出部１７１は、上記パターンごとに、周辺画素分類判定部１７０が着目しているパターンに分類した周辺画素の第一フラッシュ反射量の平均値（フラッシュ反射量平均値）と、信号値の平均値（Ｂ／Ｇ平均値及びＲ／Ｇ平均値）とを算出する。すなわち、図１６及び図１７に示したように、４つのパターンが存在している場合には、周辺画素平均値算出部１７１は、フラッシュ反射量平均値並びに信号値の平均値（Ｂ／Ｇ平均値及びＲ／Ｇ平均値）の組み合わせを、４種類算出することとなる。
【００９８】
例えば、周辺画素分類判定部１７０によって、図１８に示した斜線部がパターン１に分類判定されたとすると、周辺画素平均値算出部１７１は、下記式１０７及び式１０８のように、パターン１に分類判定された周辺画素のフラッシュ反射量平均値とＢ／Ｇ平均値とを算出する。ただし、Ａｖｅｒａｇｅ（Ｖ１，Ｖ２，…，ＶＮ）という表記は、Ｖ１〜ＶＮの平均値を表している。
【００９９】
【数６】
・・・（式１０７）
・・・（式１０８）
【０１００】
周辺画素平均値算出部１７１は、各パターンについてフラッシュ反射量平均値及びＢ／Ｇ平均値を算出すると、得られた算出結果を、周辺画素選択部１７２に出力する。
【０１０１】
また、周辺画素分類判定部１７０により、図１９に示した斜線部がパターン１に分類判定されたとすると、周辺画素平均値算出部１７１は、上記式１０７及び下記式１０９のように、パターン１に分類判定された周辺画素のフラッシュ反射量平均値及びＲ／Ｇ平均値を算出する。
【０１０２】
【数７】
【０１０３】
なお、周辺画素平均値算出部１７１は、各値の平均値の代わりに、各値の中央値（メジアン）等を算出してもよい。
【０１０４】
周辺画素選択部１７２は、４つの上記パターンのフラッシュ反射量平均値及びカラーバランス平均値（Ｂ／Ｇ平均値又はＲ／Ｇ平均値）に基づき、第二フラッシュ反射量算出に利用する２パターンの組み合わせを選択する。
【０１０５】
ここで、パターン１とパターン２のフラッシュ反射量平均値と、Ｂ／Ｇ平均値及びＲ／Ｇ平均値とをグラフで表すと、図２０のように表すことができるパターン１及びパターン２は、Ｂ／Ｇ平均値又はＲ／Ｇ平均値がほぼ同じだが、フラッシュ反射量平均値が大きく異なっている。ここで、Ｂ／Ｇ又はＲ／Ｇが変化していないということは、色温度つまり光源が変わっていないということを示しているが色温度がほぼ同じであるにも関わらず光源の変化量を示すフラッシュ反射量が変化するということはあり得ない。これにより、パターン１又はパターン２のいずれかが、フラッシュ発光撮像画像とフラッシュ非発光撮像画像との空間的な位置ずれにより発生した不適切なパターンであることが分かる。よって、以下の処理においては、第二フラッシュ反射量算出に利用する２つのパターンとして、パターン１及びパターン２の組み合わせについては候補としない。
【０１０６】
周辺画素選択部１７２は、選択する２パターンの組み合わせの候補（パターンａ及びパターンｂの組み合わせ）として、パターン１及びパターン３の組み合わせと、パターン１及びパターン４の組み合わせと、パターン２及びパターン３の組み合わせと、パターン２及びパターン４の組み合わせと、を考慮する。
【０１０７】
ここで、横軸をＢ／Ｇ平均値又はＲ／Ｇ平均値とし、縦軸をフラッシュ反射量平均値としたパターングラフについて考える。周辺画素選択部１７２は、パターングラフにおいて、上記２パターンの組み合わせのうち、２パターン間の図２１のようなパターングラフ上の距離Ｄｉｓｔを下記式１１０に基づいて算出し、距離が一番離れている組み合わせを選択する。なお、Ｒａｔｉｏａはパターンａのフラッシュ反射量平均値を表しており、Ｒａｔｉｏｂはパターンｂのフラッシュ反射量平均値を表している。また、Ｂ／Ｇａはパターンａの正規化後のＢ／Ｇ平均値を表しており、Ｂ／Ｇｂはパターンｂの正規化後のＢ／Ｇ平均値を表している。
【０１０８】
ただし、式１１０におけるＢ／ＧとＲ／Ｇの正規化は、正規化後の値がそれぞれ０．０〜１．０の間の値となるように、式１１１及び１１２に従って行う。式１１２は、パターン１について正規化を行うための式であるが、他のパターンについても同様にして正規化が行われる。なお、式１１１において、ＭＡＸ（Ｖ１，Ｖ２，…，ＶＮ）は、Ｖ１〜ＶＮの最大値を表している。
【０１０９】
【数８】
・・・（式１１１）
・・・（式１１２）
【０１１０】
周辺画素選択部１７２は、フラッシュ反射量平均値及びＢ／Ｇ平均値に基づいて、上記式１１０で表される距離が最大となる２パターンの組み合わせを選択すると、選択した２パターンそれぞれのフラッシュ反射量平均値及び正規化後のＢ／Ｇ平均値を、第二フラッシュ反射量算出部１７３に出力する。
【０１１１】
また、周辺画素選択部１７２は、フラッシュ反射量平均値及びＢ／Ｇ平均値に基づく上記の場合と同様にして、フラッシュ反射量平均値及びＲ／Ｇ平均値に基づいて、上記式１１０と同様にして距離Ｄｉｓtを算出し、算出した距離Ｄｉｓｔが最大となる２パターンの組み合わせを選択する。その後、周辺画素選択部１７２は、選択した２パターンそれぞれのフラッシュ反射量平均値及び正規化後のＲ／Ｇ平均値を、第二フラッシュ反射量算出部１７３に出力する。
【０１１２】
第二フラッシュ反射量算出部１７３は、フラッシュ発光撮像画像とフラッシュ非発光撮像画像との空間的な位置ずれの影響が大きい注目画素の第一フラッシュ反射量を、周辺画素の第一フラッシュ反射量及びホワイトバランス信号（Ｂ／Ｇ及びＲ／Ｇ）を考慮することにより、空間的な位置ずれの影響が小さい第二フラッシュ反射量に補正する。以下では、第二フラッシュ反射量算出部１７３が行う処理を、詳細に説明する。
【０１１３】
第二フラッシュ反射量算出部１７３は、フラッシュ反射量平均値及びＢ／Ｇ平均値に基づいて周辺画素選択部１７２によって選択された、２パターンそれぞれのフラッシュ反射量平均値及びＢ／Ｇ平均値を利用して、下記式１１３に示すように、線形補間により注目画素の第二フラッシュ反射量ＲａｔｉｏＢ／Ｇを算出する。また、第二フラッシュ反射量算出部１７３は、フラッシュ反射量平均値及びＲ／Ｇ平均値に基づいて周辺画素選択部１７２によって選択された、２パターンそれぞれのフラッシュ反射量平均値及びＲ／Ｇ平均値を利用して、下記式１１４に示すように、線形補間により注目画素の第二フラッシュ反射量ＲａｔｉｏＲ／Ｇを算出する。
【０１１４】
【数９】
・・・（式１１３）
・・・（式１１４）
【０１１５】
さらに、第二フラッシュ反射量算出部１７３は、算出されたＢ／Ｇの第二フラッシュ反射量ＲａｔｉｏＢ／Ｇ及びＲ／Ｇの第二フラッシュ反射量ＲａｔｉｏＲ／Ｇを平均化し、第二フラッシュ反射量Ｒａｔｉｏとする。
【０１１６】
【数１０】
・・・（式１１５）
【０１１７】
以上では、パターン１〜パターン４全てが存在する場合について説明したが、次に、いずれかのパターンが存在しない場合について説明する。
【０１１８】
パターン１とパターン２の両方、もしくはいずれかに該当する周辺画素が存在しない場合には、第一フラッシュ反射量が不適正ではないと判断できるため、第二フラッシュ反射量算出部１７３は、補正処理を行わずに、第一フラッシュ反射量をそのまま第二フラッシュ反射量とする。また、パターン１やパターン２に該当する周辺画素が存在し、パターン３やパターン４に該当する周辺画素が存在しない場合には、第二フラッシュ反射量算出部１７３は、下記式１１６によりパターン１のフラッシュ反射量平均値とパターン２のフラッシュ反射量平均値とを平均化し、第二フラッシュ反射量とする。
【０１１９】
【数１１】
・・・（式１１６）
【０１２０】
第二フラッシュ反射量算出部１７３は、第二フラッシュ反射量を算出すると、得られた算出結果を、平滑化処理部１６４に出力する。
【０１２１】
以上、フラッシュ反射量補正部１６３が備える各処理部の機能について、詳細に説明した。
以上の周辺画素分類部１６２及びフラッシュ反射量補正部１６３が行う処理は、フラッシュ発光撮像画像とフラッシュ非発光撮像画像との空間的位置ずれを生じている場合のうち、算出されたフラッシュ反射量が、所定の値以上であった場合に対応するための処理である。以下では、算出されたフラッシュ反射量が、０又は０に近い値であった場合に対応するために行う平滑化処理部１６４の処理について説明する。
【０１２２】
平滑化処理部１６４は、エッジを保持したまま滑らかに補正することを特徴とする下記式１１７のバイラテラルフィルタ（Ｂｉｌａｔｅｒａｌ Ｆｉｌｔｅｒ）処理を変形した下記式１１８を用いて第二フラッシュ反射量を補正し、第三フラッシュ反射量を算出する。
【０１２３】
【数１２】
・・・（式１１７）
・・・（式１１８）
【０１２４】
なお、式１１８において、関数ｆ（ｉ，ｊ）はＢ／Ｇ又はＲ／Ｇ、ｈ（ｉ，ｊ）は第二フラッシュ反射量、ｇ（ｉ，ｊ）は第三フラッシュ反射量を表している。また、式１１８におけるパラメータｗは、周辺画素として着目する領域の広さを表すパラメータであり、注目画素を中心とした５×５領域を周辺画素とする場合、パラメータｗの値は２となる。
【０１２５】
上記のように式１１７から式１１８に式を変形し、Ｂ／ＧまたはＲ／Ｇを考慮した重みづけを用いて第二フラッシュ反射量を補正することで、エッジを保持したまま滑らかに補正できる。また、領域内の画素において第二フラッシュ反射量が０になっている画素については、フィルタの対象から外すことで、注目画素の第二フラッシュ反射量が０になっていた場合でも、周辺画素の０以外の第二フラッシュ反射量を用いることで、適切な第三フラッシュ反射量を算出できる。
【０１２６】
平滑化処理部１６４は、上記式１１８により、Ｂ／Ｇの第三フラッシュ反射量ｇ（ｉ，ｊ）Ｂ／Ｇ及びＲ／Ｇの第三フラッシュ反射量ｇ（ｉ，ｊ）Ｒ／Ｇを算出した後、得られた算出結果を下記式１１９により平均化し、第三フラッシュ反射量Ｒａｔｉｏを算出する。
【０１２７】
【数１３】
・・・（式１１９）
【０１２８】
平滑化処理部１６４は、第三フラッシュ反射量を算出すると、得られた算出結果を推定光源色算出部１７４に出力する。
【０１２９】
以下では、ホワイトバランスゲイン決定部１６５が備える各処理部の機能について、詳細に説明する。
【０１３０】
ホワイトバランスゲイン決定部１６５が備える推定光源色算出部１７４は、第三フラッシュ反射量Ｒａｔｉｏに基づき、マルチＡＷＢ処理部１０６が備えるＲＯＭ等のメモリに保持しておいたフラッシュ光のみの推定光源色ＣＢｆ及び定常光の推定光源色ＣＢｓを、下記式１２０及び式１２１に示すように線形補間し、注目画素の推定光源色ＣＢを算出する。なお、ＣＢはＲ，Ｂそれぞれについて、個別に算出される。
【０１３１】
【数１４】
・・・（式１２０）
・・・（式１２１）
【０１３２】
推定光源色算出部１７４は、推定光源色を算出すると、得られた算出結果をホワイトバランスゲイン算出部１７５に出力する。
【０１３３】
ホワイトバランスゲイン算出部１７５は、下記式１２２及び式１２３により、ホワイトバランスゲイン（ＷＢＧａｉｎＲ及びＷＢＧａｉｎＢ）を算出する。
【０１３４】
【数１５】
・・・（式１２２）
・・・（式１２３）
【０１３５】
ホワイトバランスゲイン算出部１７５は、式１２２及び式１２３を用いることにより、フラッシュ光と定常光が混在しているシーンについて、適切なホワイトバランスゲインを、フラッシュ発光撮像画像を構成する画素ごとに適切に算出することができる。
【０１３６】
ホワイトバランスゲイン算出部１７５は、ホワイトバランスゲインを算出すると、得られた算出結果を、前記後処理部１０７が備えるホワイトバランス制御部１８６に出力する。
【０１３７】
ホワイトバランス制御部１８６は、下記式１２４及び式１２５にように、各画素値に対しホワイトバランスゲインを乗算する。
【０１３８】
【数１６】
・・・（式１２４）
・・・（式１２５）
【０１３９】
以上、図１０〜図２１を参照しながら、本実施形態に係る撮像装置１０の構成について、詳細に説明した。
【０１４０】
［２−２：ホワイトバランス調整方法の流れ］
続いて、本実施形態に係る撮像装置１０で実施されるホワイトバランス調整方法の流れについて、図２２Ａ及び図２２Ｂを参照しながら、その一例を簡単に説明する。図２２Ａ及び図２２Ｂは、本実施形態に係るホワイトバランス調整方法の流れの一例を示した流れ図である。
【０１４１】
まず、撮像装置１０の撮像部１０１は、フラッシュを発光させない状態で被写体を撮像し、フラッシュ非発光撮像画像を取得する（ステップＳ１０１）。生成されたフラッシュ非発光撮像画像は、信号処理部１０２による各種の信号処理及び前処理部１０３による各種の前処理を施された後に、そのＲＧＢ画像信号が、画像メモリ１０４の第１撮像記憶部１５１に保存される（ステップＳ１０３）。
【０１４２】
次に、撮像装置１０の撮像部１０１は、フラッシュを発光させた状態で被写体を撮像し、フラッシュ発光撮像画像を取得する（ステップＳ１０５）。生成されたフラッシュ発光撮像画像は、信号処理部１０２による各種の信号処理及び前処理部１０３による各種の前処理を施された後に、そのＲＧＢ画像信号が、画像メモリ１０４の第２撮像記憶部１５２に保存される（ステップＳ１０７）。
【０１４３】
次に、マルチＡＷＢ処理部１０６は、第１撮像記憶部１５１からフラッシュ非発光撮像画像を取得し、第２撮像記憶部１５２からフラッシュ発光撮像画像を取得する。その後、マルチＡＷＢ処理部１０６は、露光差分値算出部１６６により露光差分値を算出した後に、第一フラッシュ反射量算出部１６７により、第一フラッシュ反射量を算出する（ステップＳ１０９）。また、マルチＡＷＢ処理部１０６は、全ての画像に対して第一フラッシュ反射量の算出処理が終了したか否かを判断し（ステップＳ１１１）、処理が終了していない場合には、ステップＳ１０９を再実施する。
【０１４４】
次に、マルチＡＷＢ処理部１０６のフラッシュ反射量差分算出部１６８は、注目画素の第一フラッシュ反射量と周辺画素の第一フラッシュ反射量との差分値であるフラッシュ反射量差分値を算出する。また、マルチＡＷＢ処理部１０６の信号値差分算出部１６９は、注目画素の信号値と周辺画素の信号値との差分値であるＢ／Ｇ差分値及びＲ／Ｇ差分値を算出する（ステップ１１３）。
【０１４５】
次に、マルチＡＷＢ処理部１０６の周辺画素分類判定部１７０は、フラッシュ反射量差分値、Ｂ／Ｇ差分値及びＲ／Ｇ差分値の閾値判別に基づき、周辺画素をパターン分類する（ステップ１１５）。
【０１４６】
次に、マルチＡＷＢ処理部１０６の周辺画素平均値算出部１７１は、各パターンごとに、当該パターンに分類された周辺画素の第一フラッシュ反射量の平均値（フラッシュ反射量差分値）と、Ｂ／Ｇの平均値（Ｂ／Ｇ平均値）又はＲ／Ｇの平均値（Ｒ／Ｇ平均値）とを算出する。マルチＡＷＢ処理部１０６の周辺画素選択部１７１は、算出された当該各種平均値のパターン間での差分に基づく距離を算出し、算出した距離が最大となる２つのパターンを、フラッシュ反射量の補間に使用する２つのパターンとして選択する（ステップ１１７）。
【０１４７】
次に、マルチＡＷＢ処理部１０６の第二フラッシュ反射量算出部１７３は、選択された２パターンのフラッシュ反射量と、Ｂ／Ｇ又はＲ／Ｇとに基づき、注目画素の第二フラッシュ反射量を線形補間により算出する（ステップ１１９）。その後、マルチＡＷＢ処理部１０６は、全ての画像に対して第二フラッシュ反射量の算出処理が終了したか否かを判断し（ステップＳ１２１）、処理が終了していない場合には、再びステップ１１３に戻って処理を継続する。
【０１４８】
次に、マルチＡＷＢ処理部１０６の推定光源色算出部１７４は、算出された第二フラッシュ反射量（補正後のフラッシュ反射量）に基づき、フラッシュ光のみの推定光源色及び定常光の推定光源色を線形補間することにより、フラッシュ発光撮像時における推定光源色を算出する（ステップ１２３）。
【０１４９】
次に、マルチＡＷＢ処理部１０６のホワイトバランスゲイン算出部１７５は、算出された推定光源色に基づき、ホワイトバランスゲインを算出する（ステップ１２５）。
【０１５０】
その後、マルチＡＷＢ処理部１０６は、全ての画像に対してホワイトバランスゲインの算出処理が終了したか否かを判断する（ステップＳ１２７）。算出処理が終了している場合には、マルチＡＷＢ処理部１０６は、算出した全てのホワイトバランスゲインを、後処理部１０７のホワイトバランス制御部１８６に出力して、処理を終了する。他方、処理が終了していない場合には、再びステップ１２３に戻って処理を継続する。
【０１５１】
以上、図２２Ａ及び図２２Ｂを参照しながら、本実施形態に係る撮像装置１０で実施されるホワイトバランス調整方法の流れの一例について、簡単に説明した。なお、当該ホワイトバランス調整方法は、ステップ１２１とステップ１２３との間に、マルチＡＷＢ処理部１０６の平滑化処理部１６４が行う、算出された第二フラッシュ反射量を平滑化するステップと、マルチＡＷＢ処理部１０６が行う、全ての画素に対して平滑化処理が終了したか否かを判断するステップと、を有していてもよい。また、一部の処理ステップについては、処理の順番を入れ替えてもよい。
【０１５２】
以上詳細に説明したように、本発明の実施形態に係る撮像装置及びホワイトバランス調整方法によれば、フラッシュ発光画像とフラッシュ非発光画像に空間的なずれが発生していた場合でも、不適切に算出されたフラッシュ反射量を判定し適切な値に補正することが可能となる。また、Ｂ／Ｇ及びＲ／Ｇを考慮したフィルタ処理を行うことで、定常光とフラッシュ光が混在したシーンに対しても画素単位で適切なホワイトバランスゲインを算出し、ホワイトバランス調整を行うことが可能となる。
【０１５３】
その結果、不適切なホワイトバランスゲインによる被写体のエッジ周辺の色つきを低減することができるため、画素単位に行うホワイトバランス補正処理を、従来技術より好適に行うことができる撮像装置及び撮像方法を提供することができる。
【０１５４】
また、フラッシュ非発光画像とフラッシュ発光画像に空間的なずれが発生していた場合において、従来は算出するフラッシュ反射量が不適切な値になることで不適切なホワイトバランスゲインが算出され、エッジ部に色付きが発生する問題があったが、以上説明したような処理を行うことにより、不適切なホワイトバランスゲインによる被写体のエッジ周辺の色つきを低減することができる。
【０１５５】
以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。
【符号の説明】
【０１５６】
１０ 撮像装置
１０１ 撮像部
１０２ 信号処理部
１０３ 前処理部
１０４ 画像メモリ
１０５ 適正ＡＥ算出部
１０６ マルチＡＷＢ処理部
１０７ 後処理部
１０８ ＲＧＢ−ＹＣＣ変換部
１０９ データ圧縮部
１１０ メモリカードインタフェース
１１１ メモリカード
１２１ レンズ
１２２ 絞り
１２３ シャッター
１２４ 撮像素子
１２５ 露光制御部
１２６ フラッシュ
１３１ 色分離部
１３２ Ａ／Ｄ変換部
１４１ 黒レベル補正部
１４２ 欠陥画素補正部
１４３ シェーディング補正部
１４４ ＡＥ評価値算出部
１５１ 第１撮像記憶部
１５２ 第２撮像記憶部
１６１ フラッシュ反射量算出部
１６２ 周辺画素分類部
１６３ フラッシュ反射量補正部
１６４ 平滑化処理部
１６５ ホワイトバランスゲイン決定部
１６６ 露光差分値算出部
１６７ 第一フラッシュ反射量算出部
１６８ フラッシュ反射量差分算出部
１６９ 信号値差分算出部
１７０ 周辺画素分類判定部
１７１ 周辺画素平均値算出部
１７２ 周辺画素選択部
１７３ 第二フラッシュ反射量算出部
１７４ 推定光源色算出部
１７５ ホワイトバランスゲイン算出部
１８１ デモザイク処理部
１８２ エッジ強調処理部
１８３ 色補正処理部
１８４ ガンマ補正処理部
１８５ ノイズリダクション処理部
１８６ ホワイトバランス制御部
【特許請求の範囲】
【請求項１】
フラッシュ発光時の画像及びフラッシュ非発光時の画像を取得する撮像部と、
前記フラッシュ発光時の画像及び前記フラッシュ非発光時の画像に基づき、前記フラッシュ発光時の画像の画素ごとにフラッシュ反射量を算出するフラッシュ反射量算出部と、
算出した前記フラッシュ反射量及びフラッシュ発光時の画像での信号値それぞれについて、当該前記フラッシュ反射量又は前記信号値を有する画素である注目画素の値と、当該注目画素の周辺に位置する周辺画素の値との差分値に基づき、前記周辺画素を複数のパターンに分類する周辺画素分類部と、
前記周辺画素の分類結果に基づき、前記注目画素のフラッシュ反射量の補正に用いる前記パターンを選択する周辺画素選択部と、
選択した前記周辺画素の前記フラッシュ反射量及び信号値に基づき、前記注目画素ごとに、前記フラッシュ発光時の画像を構成する画素の、前記フラッシュ反射量を補正するフラッシュ反射量補正部と、
補正後の前記フラッシュ反射量を利用して、画素ごとにホワイトバランスゲインを算出するホワイトバランスゲイン算出部と、
算出された前記ホワイトバランスゲインに基づき、前記フラッシュ発光時の画像のホワイトバランスを制御するホワイトバランス制御部と、
を備える、撮像装置。
【請求項２】
前記フラッシュ反射量算出部は、
前記フラッシュ発光時の画像の露光制御値及び前記フラッシュ非発光時の露光制御値の差分値に基づき、露光差分値を算出する露光差分値算出部と、
算出した前記露光差分値と、フラッシュ発光時の画像及びフラッシュ非発光時の画像の信号値と、を利用してフラッシュ発光時の画像の画素ごとに前記フラッシュ反射量を算出する第一フラッシュ反射量算出部と、
を備えることを特徴とする、請求項１に記載の撮像装置。
【請求項３】
前記周辺画素分類部は、
前記注目画素のフラッシュ反射量と前記周辺画素のフラッシュ反射量との差分値を算出するフラッシュ反射量差分算出部と、
前記注目画素の信号値と前記周辺画素の信号値との差分値を算出する信号値差分算出部と、
算出した前記フラッシュ反射量差分値と第一の閾値との大小関係、及び、算出した信号値と第二の閾値との大小関係に応じて、前記周辺画素が該当する前記パターンを判定する周辺画素分類判定部と、
を備えることを特徴とする、請求項１又は２に記載の撮像装置。
【請求項４】
前記周辺画素選択部は、
前記周辺画素の分類結果に基づき、前記フラッシュ反射量の差分値と前記信号値の差分値とで表されるパターン間距離が最長となる２つのパターンの組み合わせを選択し、選択した前記２つのパターンに含まれる周辺画素を、フラッシュ反射量補正に用いる周辺画素として選択することを特徴とする、請求項１〜３の何れか１項に記載の撮像装置。
【請求項５】
前記パターン間距離は、各パターンに属する周辺画素のフラッシュ反射量及び信号値それぞれの平均値により決定されることを特徴とする、請求項４に記載の撮像装置。
【請求項６】
補正後の前記フラッシュ反射量及び信号値を利用した平滑化処理を行う平滑化処理部を備えることを特徴とする、請求項１〜５の何れか１項に記載の撮像装置。
【請求項７】
前記信号値として、基準となる一の色の信号値に対する他の色の信号値で表されるカラーバランスが用いられることを特徴とする、請求項１〜６の何れか１項に記載の撮像装置
【請求項８】
前記フラッシュ発光時の画像及び前記フラッシュ非発光時の画像に基づき、前記フラッシュ発光時の画像の画素ごとにフラッシュ反射量を算出するフラッシュ反射量算出ステップと、
算出した前記フラッシュ反射量及びフラッシュ発光時の画像での信号値それぞれについて、当該前記フラッシュ反射量又は前記信号値を有する画素である注目画素の値と、当該注目画素の周辺に位置する周辺画素の値との差分値に基づき、前記周辺画素を複数のパターンに分類する周辺画素分類ステップと、
前記周辺画素の分類結果に基づき、前記注目画素のフラッシュ反射量を補正するために用いる前記周辺画素を選択する周辺画素選択ステップと、
選択した前記周辺画素の前記フラッシュ反射量及び信号値に基づき、前記注目画素の画素ごとに、前記フラッシュ発光時の画像を構成する画素の、前記フラッシュ反射量を補正するフラッシュ反射量補正ステップと、
補正後の前記フラッシュ反射量を利用して、画素ごとにホワイトバランスゲインを算出するホワイトバランスゲイン算出ステップと、
算出された前記ホワイトバランスゲインに基づいて、前記フラッシュ発光時の画像のホワイトバランスを制御するホワイトバランス制御ステップと、
を含む、ホワイトバランス調整方法。
【請求項１】
フラッシュ発光時の画像及びフラッシュ非発光時の画像を取得する撮像部と、
前記フラッシュ発光時の画像及び前記フラッシュ非発光時の画像に基づき、前記フラッシュ発光時の画像の画素ごとにフラッシュ反射量を算出するフラッシュ反射量算出部と、
算出した前記フラッシュ反射量及びフラッシュ発光時の画像での信号値それぞれについて、当該前記フラッシュ反射量又は前記信号値を有する画素である注目画素の値と、当該注目画素の周辺に位置する周辺画素の値との差分値に基づき、前記周辺画素を複数のパターンに分類する周辺画素分類部と、
前記周辺画素の分類結果に基づき、前記注目画素のフラッシュ反射量の補正に用いる前記パターンを選択する周辺画素選択部と、
選択した前記周辺画素の前記フラッシュ反射量及び信号値に基づき、前記注目画素ごとに、前記フラッシュ発光時の画像を構成する画素の、前記フラッシュ反射量を補正するフラッシュ反射量補正部と、
補正後の前記フラッシュ反射量を利用して、画素ごとにホワイトバランスゲインを算出するホワイトバランスゲイン算出部と、
算出された前記ホワイトバランスゲインに基づき、前記フラッシュ発光時の画像のホワイトバランスを制御するホワイトバランス制御部と、
を備える、撮像装置。
【請求項２】
前記フラッシュ反射量算出部は、
前記フラッシュ発光時の画像の露光制御値及び前記フラッシュ非発光時の露光制御値の差分値に基づき、露光差分値を算出する露光差分値算出部と、
算出した前記露光差分値と、フラッシュ発光時の画像及びフラッシュ非発光時の画像の信号値と、を利用してフラッシュ発光時の画像の画素ごとに前記フラッシュ反射量を算出する第一フラッシュ反射量算出部と、
を備えることを特徴とする、請求項１に記載の撮像装置。
【請求項３】
前記周辺画素分類部は、
前記注目画素のフラッシュ反射量と前記周辺画素のフラッシュ反射量との差分値を算出するフラッシュ反射量差分算出部と、
前記注目画素の信号値と前記周辺画素の信号値との差分値を算出する信号値差分算出部と、
算出した前記フラッシュ反射量差分値と第一の閾値との大小関係、及び、算出した信号値と第二の閾値との大小関係に応じて、前記周辺画素が該当する前記パターンを判定する周辺画素分類判定部と、
を備えることを特徴とする、請求項１又は２に記載の撮像装置。
【請求項４】
前記周辺画素選択部は、
前記周辺画素の分類結果に基づき、前記フラッシュ反射量の差分値と前記信号値の差分値とで表されるパターン間距離が最長となる２つのパターンの組み合わせを選択し、選択した前記２つのパターンに含まれる周辺画素を、フラッシュ反射量補正に用いる周辺画素として選択することを特徴とする、請求項１〜３の何れか１項に記載の撮像装置。
【請求項５】
前記パターン間距離は、各パターンに属する周辺画素のフラッシュ反射量及び信号値それぞれの平均値により決定されることを特徴とする、請求項４に記載の撮像装置。
【請求項６】
補正後の前記フラッシュ反射量及び信号値を利用した平滑化処理を行う平滑化処理部を備えることを特徴とする、請求項１〜５の何れか１項に記載の撮像装置。
【請求項７】
前記信号値として、基準となる一の色の信号値に対する他の色の信号値で表されるカラーバランスが用いられることを特徴とする、請求項１〜６の何れか１項に記載の撮像装置
【請求項８】
前記フラッシュ発光時の画像及び前記フラッシュ非発光時の画像に基づき、前記フラッシュ発光時の画像の画素ごとにフラッシュ反射量を算出するフラッシュ反射量算出ステップと、
算出した前記フラッシュ反射量及びフラッシュ発光時の画像での信号値それぞれについて、当該前記フラッシュ反射量又は前記信号値を有する画素である注目画素の値と、当該注目画素の周辺に位置する周辺画素の値との差分値に基づき、前記周辺画素を複数のパターンに分類する周辺画素分類ステップと、
前記周辺画素の分類結果に基づき、前記注目画素のフラッシュ反射量を補正するために用いる前記周辺画素を選択する周辺画素選択ステップと、
選択した前記周辺画素の前記フラッシュ反射量及び信号値に基づき、前記注目画素の画素ごとに、前記フラッシュ発光時の画像を構成する画素の、前記フラッシュ反射量を補正するフラッシュ反射量補正ステップと、
補正後の前記フラッシュ反射量を利用して、画素ごとにホワイトバランスゲインを算出するホワイトバランスゲイン算出ステップと、
算出された前記ホワイトバランスゲインに基づいて、前記フラッシュ発光時の画像のホワイトバランスを制御するホワイトバランス制御ステップと、
を含む、ホワイトバランス調整方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２Ａ】
【図２２Ｂ】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２Ａ】
【図２２Ｂ】
【公開番号】特開２０１３−９０２３８（Ｐ２０１３−９０２３８Ａ）
【公開日】平成２５年５月１３日（２０１３．５．１３）
【国際特許分類】
【出願番号】特願２０１１−２３０８４１（Ｐ２０１１−２３０８４１）
【出願日】平成２３年１０月２０日（２０１１．１０．２０）
【出願人】（５９８０４５０５８）株式会社サムスン横浜研究所 (294)
【Ｆターム（参考）】
【公開日】平成２５年５月１３日（２０１３．５．１３）
【国際特許分類】
【出願日】平成２３年１０月２０日（２０１１．１０．２０）
【出願人】（５９８０４５０５８）株式会社サムスン横浜研究所 (294)
【Ｆターム（参考）】
[ Back to top ]