撮像装置及び撮像方法
【課題】シェーディングによるホワイトバランス評価の誤判断を低減することが可能な撮像装置及び撮像方法を提供すること。
【解決手段】直前までの画像フレームに基づいて算出された直前光源推定値又は撮像時の撮影設定情報に基づいて算出された現在シェーディング係数に基づいて撮像画像をシェーディング補正して生成された第１のシェーディング補正済み画像をブロックに分割して統計処理し第１のＲＧＢブロック統計値を算出する手段と、予め決められたデフォルトシェーディング係数に基づいて撮像画像をシェーディング補正して生成された第２のシェーディング補正済み画像をブロックに分割して統計処理し第２のＲＧＢブロック統計値を算出する手段と、第２のＲＧＢブロック統計値に基づいて現在の光源推定値を算出する手段と、現在の光源推定値と第１のＲＧＢブロック統計値に基づいてホワイトバランスゲインを算出する手段を備えることを特徴とする。
【解決手段】直前までの画像フレームに基づいて算出された直前光源推定値又は撮像時の撮影設定情報に基づいて算出された現在シェーディング係数に基づいて撮像画像をシェーディング補正して生成された第１のシェーディング補正済み画像をブロックに分割して統計処理し第１のＲＧＢブロック統計値を算出する手段と、予め決められたデフォルトシェーディング係数に基づいて撮像画像をシェーディング補正して生成された第２のシェーディング補正済み画像をブロックに分割して統計処理し第２のＲＧＢブロック統計値を算出する手段と、第２のＲＧＢブロック統計値に基づいて現在の光源推定値を算出する手段と、現在の光源推定値と第１のＲＧＢブロック統計値に基づいてホワイトバランスゲインを算出する手段を備えることを特徴とする。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置及び撮像方法に関する。
【背景技術】
【０００２】
デジタルスチルカメラなどの電子的撮像装置おいては、被写体周辺環境の光源色にかかわらず白い被写体が白く撮影されるようにホワイトバランス補正をする処理が組み込まれている。ホワイトバランス補正は、デジタル画像を複数のブロックに分割して得られるＲＧＢブロック統計値に基づいて、光源であるかなどの判断を行い、ホワイトバランスゲインを算出する。そして、算出されたホワイトバランスゲインを画像に適用することで画質が補正される。上述のデジタル画像は、レンズ等の光学系を介して得られる被写体像をＣＣＤイメージセンサ等の撮像素子で光電変換することによって得られる。
【０００３】
また、ホワイトバランスの問題にかかわらず、電子的撮像装置おいては、レンズ結像光学系自体の特性等の影響によって、周辺光量が減衰する現象が発生する場合がある。実際には、光の三原色の色毎に輝度分布特性が異なる。そのため、色毎の輝度分布特性の違いに起因して、撮像画像が不自然に着色してしまう。この現象は色シェーディングと称される。
【０００４】
ところで、色シェーディングが発生すると、ホワイトバランスの入力であるデジタル画像に影響を及ぼすため、ホワイトバランス精度が悪くなるといった問題が発生する。
【０００５】
このため、特許文献１では、ＲＧＢブロック統計値が、色シェーディングの影響を受けないように、ホワイトバランスの評価として使える領域を閾値で判定し、画像周辺部は評価せず、画像中央部を評価する技術が開示されている。
【０００６】
また、特許文献２では、シェーディング補正前にホワイトバランスのための評価を実施し光源判定して、光源種別に応じてシェーディング係数を適応的に変化させる方法が開示されている。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２００７−３２５２２２号公報
【特許文献２】特開２００８−８５３８８号明細書
【発明の概要】
【発明が解決しようとする課題】
【０００８】
しかし、特許文献１では、シェーディングの影響を受けないように、画像中心を評価対象としているが、画像周辺部に光源色の被写体が存在するシーンも多くある。そのため、ホワイトバランスゲイン算出においては、画像中央部だけを評価するのではなく、画像全体を評価しなくては光源を効果的に検出することができないという問題がある。
【０００９】
また、特許文献２に記載された技術は、色シェーディングが被写体の撮影環境光の影響を受けて変化することを考慮して、電子的撮像装置の撮影環境に適したシェーディング補正係数を動的に算出する方法である。しかし、ホワイトバランスゲイン算出のための光源判定時には、シェーディング補正を一切行わないため、光源判定時にシェーディングの影響を受けてしまう。そのため、画像周辺部での色評価誤差が大きくなるという問題がある。
【００１０】
さらに、特許文献２では、シェーディング補正することなく光源判定を行い、ホワイトバランスゲインはシェーディング補正後に適用する。そのため、最適なホワイトバランスゲインの算出のために収束点を調整する必要があり、一連の処理が複雑になるといった問題がある。
【００１１】
ところで、ホワイトバランスゲイン算出のための光源判定処理の前段で、シェーディング補正を行う方法が考えられる。
【００１２】
しかし、シェーディングは、ズームや絞りといったレンズの光学的要素だけでなく、撮影環境光の影響を受けて変化する。そのため、シェーディング補正のためには、撮影環境に適したシェーディング補正係数を動的に算出することが望ましい。ところが、シェーディング補正係数を動的に変化させると、光源判定のための入力値であるＲＧＢブロック統計値が、動的に変化するシェーディング補正の影響を受けてしまう。そのため、正しい光源判定をすることができないという問題が発生する。
【００１３】
そこで、本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、画像のホワイトバランス評価領域を画像の一部に限定することなく画像全体を評価することが可能であり、シェーディング補正後のホワイトバランス補正の評価が可能となることで、シェーディングによるホワイトバランス評価の誤判断を低減することが可能な、新規かつ改良された撮像装置及び撮像方法を提供することにある。
【課題を解決するための手段】
【００１４】
上記課題を解決するために、本発明のある観点によれば、直前までの画像フレームに基づいて算出された直前光源推定値又は撮像時の撮影設定情報に基づいて現在シェーディング係数を算出する現在シェーディング係数算出部と、現在シェーディング係数に基づいて撮像画像をシェーディング補正して第１のシェーディング補正済み画像を生成する第１のシェーディング補正部と、第１のシェーディング補正済み画像をブロックに分割して統計処理し第１のＲＧＢブロック統計値を算出する第１のＲＧＢブロック統計部と、予め決められたデフォルトシェーディング係数に基づいて撮像画像をシェーディング補正して第２のシェーディング補正済み画像を生成する第２のシェーディング補正部と、第２のシェーディング補正済み画像をブロックに分割して統計処理し第２のＲＧＢブロック統計値を算出する第２のＲＧＢブロック統計部と、第２のＲＧＢブロック統計値に基づいて現在の光源推定値を算出する光源推定部と、現在の光源推定値と第１のＲＧＢブロック統計値に基づいてホワイトバランスゲインを算出するホワイトバランスゲイン算出部と、ホワイトバランスゲインを第１のシェーディング補正済み画像に適用してホワイトバランス補正するホワイトバランス処理部とを備えることを特徴とする撮像装置が提供される。
【００１５】
この構成によって、ホワイトバランスゲインは、現在の光源推定値と第１のＲＧＢブロック統計値に基づいて算出され、ホワイトバランスゲインが第１のシェーディング補正済み画像に適用されることでホワイトバランス補正がされる。ここで、現在の光源推定値を算出するには、予め決められたデフォルトシェーディング係数に基づいて撮像画像をシェーディング補正して第２のシェーディング補正済み画像を生成し、第２のシェーディング補正済み画像をブロックに分割して統計処理して第２のＲＧＢブロック統計値を算出する。そして、現在の光源推定値は第２のＲＧＢブロック統計値に基づいて算出される。また、第１のＲＧＢブロック統計値を算出するには、まず、直前までの画像フレームに基づいて算出された直前光源推定値又は撮像時の撮影設定情報に基づいて現在シェーディング係数を算出し、現在シェーディング係数に基づいて撮像画像をシェーディング補正して第１のシェーディング補正済み画像を生成する。そして、第１のＲＧＢブロック統計値が第１のシェーディング補正済み画像をブロックに分割して統計処理して算出される。撮像時の撮影設定情報は、例えばズーム位置、絞り、感度などの情報である。
【００１６】
上記第２のＲＧＢブロック統計部は、デフォルトシェーディング係数と現在シェーディング係数の差分を算出し、第１のＲＧＢブロック統計値に乗算することによって、第２のＲＧＢブロック統計値を算出する。この構成によって、第２のＲＧＢブロック統計値は、第１のＲＧＢブロック統計値を使用して算出でき、実質的な統計処理は第１のＲＧＢブロック統計値の算出のときだけでよい。
【００１７】
上記デフォルトシェーディング係数は、光源色によって変化するシェーディングに基づいて算出した平均的な単一の係数である。この構成によって、第２のシェーディング補正済み画像は、一つに決定されているデフォルトシェーディング係数が使用されて、撮像画像をシェーディング補正して生成される。
【００１８】
上記デフォルトシェーディング係数は、撮像時の撮影設定条件別に複数用意されている。この構成によって、第２のシェーディング補正済み画像は、撮像時の撮影設定条件別に複数用意されたデフォルトシェーディング係数のうち一つが使用されて、撮像画像をシェーディング補正して生成される。撮影設定条件は、例えば絞りなどレンズの異なる状態別の条件である。
【００１９】
上記デフォルトシェーディング係数を適用して撮像された光源色データに基づいて調整されたホワイトバランス設計調整値と、第２のＲＧＢブロック統計値に基づいてブロックの色評価をして、ブロック毎にブロック重みを算出し、光源推定部は、ブロック重みと第２のＲＧＢブロック統計値に基づいて光源推定値を算出する。この構成によれば、ホワイトバランス設計調整値はデフォルトシェーディング係数を適用して撮像された光源色データに基づいて調整された値であり、ブロックの色評価が、ホワイトバランス設計調整値と第２のＲＧＢブロック統計値に基づいて行われて、ブロック毎にブロック重みが算出される。そして、光源推定値がブロック重みと第２のＲＧＢブロック統計値に基づいて算出される。
【００２０】
上記光源推定部は、第２のＲＧＢブロック統計値に基づいて算出した色座標と、ブロック重みに基づいて加重平均することで光源推定値を算出する。この構成によれば、色座標が第２のＲＧＢブロック統計値に基づいて算出され、光源推定値は、色座標と、色評価の結果を反映したブロック毎のブロック重みに基づいて加重平均することで算出される。
【００２１】
上記ホワイトバランスゲイン算出部は、ブロック重みを用いて、第１のＲＧＢブロック統計値に基づいてホワイトバランスゲインを算出する。この構成によれば、ホワイトバランスゲインは、色評価の結果を反映したブロック毎のブロック重みを用いて、現在シェーディング補正係数に適合した第１のＲＧＢブロック統計値に基づいて算出される。
【００２２】
上記ブロック重みは、光源推定値と、撮影設定情報から算出される被写体輝度によって変化するように算出される。この構成において、撮影設定情報は、シャッター速度、絞り、感度などの情報であり、ブロック重みは、光源推定値や、被写体輝度（例えば環境光の明度（ＢＶ値）に応じて変化する。
【００２３】
また、上記課題を解決するために、本発明の別の観点によれば、直前までの画像フレームに基づいて算出された直前光源推定値又は撮像時の撮影設定情報に基づいて現在シェーディング係数を算出するステップと、現在シェーディング係数に基づいて撮像画像をシェーディング補正して第１のシェーディング補正済み画像を生成するステップと、第１のシェーディング補正済み画像をブロックに分割して統計処理し第１のＲＧＢブロック統計値を算出するステップと、予め決められたデフォルトシェーディング係数に基づいて撮像画像をシェーディング補正して第２のシェーディング補正済み画像を生成するステップと、第２のシェーディング補正済み画像をブロックに分割して統計処理し第２のＲＧＢブロック統計値を算出するステップと、第２のＲＧＢブロック統計値に基づいて現在の光源推定値を算出するステップと、現在の光源推定値と第１のＲＧＢブロック統計値に基づいてホワイトバランスゲインを算出するステップと、ホワイトバランスゲインを第１のシェーディング補正済み画像に適用してホワイトバランス補正するステップとを備えることを特徴とする撮像方法が提供される。
【発明の効果】
【００２４】
本発明によれば、画像のホワイトバランス評価領域を画像の一部に限定することなく画像全体を評価することが可能であり、シェーディング補正後のホワイトバランス補正の評価が可能となることで、シェーディングによるホワイトバランス評価の誤判断を低減することができる。
【図面の簡単な説明】
【００２５】
【図１】本発明の一実施形態に係るデジタルスチルカメラの画像処理部１１０を示すブロック図である。
【図２】同実施形態に係るデジタルスチルカメラの画像処理部１１０、シェーディングテーブル算出部１２０及びホワイトバランスゲイン算出部１３０を示すブロック図である。
【図３】同実施形態に係る撮像装置の概略動作を示すフローチャートである。
【図４】同実施形態のシェーディング補正の動作を示すフローチャートである。
【図５】同実施形態のホワイトバランスゲイン算出の動作を示すフローチャートである。
【図６】絞りによるシェーディングと光源によるシェーディングを分離する場合の実施形態を示す説明図である。
【図７】画像領域のブロック分割を示す概念図である。
【図８】光源別のシェーディング発生状況を示す断面図である。
【図９】光源別のシェーディング発生状況を示す断面図である。
【図１０】光源別のシェーディング発生状況を示す断面図である。
【図１１】デフォルトシェーディング補正係数を示す断面図である。
【図１２】撮影時に適用される現在シェーディング補正係数を示す断面図である。
【図１３】現在シェーディング補正係数からデフォルトシェーディング補正係数への変換係数を示す断面図である。
【発明を実施するための形態】
【００２６】
以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
【００２７】
＜本発明の一実施形態＞
本発明の一実施形態に係るデジタルスチルカメラ（撮像装置）は、撮像画像に発生するシェーディングの補正を行うシェーディング補正部１０６と、撮像画像のホワイトバランス補正を行うホワイトバランス処理部１０８とを備えることを特徴とする。そして、光源推定結果などに基づいてシェーディング補正係数を適応的に動的に変化させた場合であっても、シェーディング補正係数変化の影響を受けることなく画像全体を評価し、最適なホワイトバランス補正を行うことができる。
【００２８】
図１は、本実施形態に係るデジタルスチルカメラの画像処理部１１０を示すブロック図である。図２は、本実施形態に係るデジタルスチルカメラの画像処理部１１０、シェーディングテーブル算出部１２０及びホワイトバランスゲイン算出部１３０を示すブロック図である。図３は、本実施形態に係る撮像装置の概略動作を示すフローチャートである。
【００２９】
画像処理部１１０（Image pipe line）は、例えばＣＣＤイメージセンサ又はＣＭＯＳイメージセンサ１０２と、画像前処理部１０４と、シェーディング補正部１０６と、ホワイトバランス処理部１０８と、デモザイク処理部１１２と、色補正部１１４と、ガンマ処理部１１６などからなる。
【００３０】
まず、ＲＧＢ画像信号（ＲＡＷデータ）が、図１のＣＣＤイメージセンサ又はＣＭＯＳイメージセンサ１０２などの撮像素子を含むアナログフロントエンド（ＡＦＥ）から得られる（ステップＳ１０１）。ＲＧＢ画像信号は、欠陥画素補正、黒レベル補正などの画像前処理が施される。そして、シェーディング補正処理、ホワイトバランス補正処理、ベイヤ色補間（デモザイク）処理、色補正処理、ガンマ補正処理など種々の電子的処理が行われ、画像記録が行われる。
【００３１】
本実施形態においては、シェーディング補正処理が、ホワイトバランスゲイン算出部１３０の前段で実施されることを特徴とする（ステップＳ１０２、ステップＳ１０５）。
【００３２】
撮像されたＲＧＢ画像信号に画像前処理を施した後、シェーディング補正が行われる。シェーディング補正は、レンズ結像光学系自体の特性等の影響によって、周辺光量が減衰する現象（シェーディング）を補正する処理である。シェーディングは、実際には、光学系特性の影響だけでなく、被写体の周辺環境の光源によってもシェーディングの発生度合が変化する。
【００３３】
図８、図９、図１０は、光源別のシェーディング発生状況を示す断面図であり、それぞれの違いを例示したものである。図８は、太陽光下で発生したシェーディングの状況を示し、図９は、蛍光灯下で発生したシェーディングの状況を示し、図１０は、電球光下で発生したシェーディングの状況を示す。
【００３４】
これらの現象は、光の３原色であるＲＧＢ毎に異なるシェーディングが発生することから、色シェーディングと呼ばれる。そして、色ＲＧＢそれぞれについて画像ピクセル座標に応じた補正係数を設定する。
【００３５】
シェーディングテーブル算出部１２０は、絞り、ズームなどのカメラ設定情報と、ホワイトバランス処理の光源推定結果（Light source estimation）に応じて、最適なシェーディング補正係数を算出する。
【００３６】
算出したシェーディング補正係数は、図１に示す画像処理部１１０のシェーディング補正部１０６で使用される。このシェーディング補正後の画像データは、ホワイトバランスゲイン算出部１３０に入力される。
【００３７】
図２に示すブロック統計処理部１３２は、既にシェーディング補正済みの画像をブロック分割し、ブロック毎にＲＧＢ画素の統計値を取得する。このＲＧＢ統計値は、ＡＷＢ処理部１３６に入力される。但し、画像に適用されているシェーディング補正係数（現在シェーディングテーブル）と、ホワイトバランスゲイン算出部１３０が光源推定に用いるシェーディング補正係数（デフォルトシェーディングテーブル）との差分を乗算してから入力する。
【００３８】
［シェーディング補正］
図４は、本実施形態のシェーディング補正の動作を示すフローチャートである。
シェーディングは、ズーム、絞りといったレンズの光学的要素や、撮影環境光源に関係して変化する。そのため、図４に示すようにシェーディング補正係数が動的に算出される。
【００３９】
まず、シェーディング補正部１０６において、ＡＶ（絞り値）、ＴＶ（シャッター速度）、ＳＶ（撮像感度）、ズーム等の撮影設定条件や、直前のフレーム画像から算出された光源推定値など撮影情報が取得される（ステップＳ１１１）。
【００４０】
そして、取得された撮影設定情報や光源推定値、シェーディングデータ記憶部に予め記憶しておいたシェーディング情報に基づいて、最適な現在（current）シェーディング補正係数を算出する（ステップＳ１１２）。
【００４１】
なお、上記に示したシェーディングを変化させる要因は複数の要因のうちの一例である。従って、シェーディング補正係数の算出方法は、本明細書に記載した例に限定されない。即ち、他の要因で動的にシェーディング補正係数を変えた場合であっても、後述のとおり、適切なホワイトバランスを提供できることが大事である。
【００４２】
次に、ステップＳ１１２で算出された現在シェーディング補正係数は、ＲＧＢ画像信号（画像データ）に適用され、画像データはシェーディング補正が施される（ステップＳ１１３）。
【００４３】
シェーディング補正された画像データは、ＲＧＢブロック統計処理に使用される（ステップＳ１１４）。
【００４４】
［ホワイトバランスゲイン算出］
図５は、本実施形態のホワイトバランスゲイン算出の動作を示すフローチャートである。
【００４５】
（第１のＲＧＢブロック統計値について）
ホワイトバランスゲイン算出部１３０は、シェーディング補正を適用した画像データの画像領域を、例えば図７に示すようにＮ×Ｍのブロックに分割する。図７は、画像領域のブロック分割を示す概念図である。分割ブロック内には、複数の画素が含まれている。そして、ブロック毎のＲＧＢ画素の統計値が、第１のＲＧＢブロック統計値として算出される。
【００４６】
（ホワイトバランス設計調整値について）
ところで、光源判定や動作追従範囲を決定するためのパラメータ群（以下、「ホワイトバランス設計調整値」ともいう。）は、ホワイトバランスゲイン算出において使用され、ホワイトバランス設計調整値記憶部に予め保持しておく。ホワイトバランス設計調整値は、予め電子的撮像装置の設計者がホワイトバランス設計調整処理を実施することによって算出される。
【００４７】
ホワイトバランス設計調整処理は、組込み対象とする電子的撮像装置を用いる。そして、各種光源下でグレーチャートやカラーチャートの撮影を行い、光源色データを取得する。なお、このとき適用するシェーディング補正係数は、単一の代表的なシェーディング補正係数（デフォルトシェーディング補正係数）である。
【００４８】
電子的撮像装置の設計者は、ホワイトバランス設計調整処理で得られた光源色データに基づいて、ホワイトバランスゲイン算出において使用される色評価判定の閾値やホワイトバランス追従範囲などのホワイトバランス設計調整値を決定する。
【００４９】
（色評価処理について）
上述したように、ホワイトバランス設計調整値は、デフォルトシェーディング補正係数を適用してシェーディング補正された画像データに最適化されている。そのため、撮像された画像に対してＲＧＢブロック色評価をする際、仮に、シェーディング補正係数を動的に変更して得られた第１のＲＧＢブロック統計値を使用すると、正しく色評価を行えないという問題がある。現在シェーディング補正係数とデフォルトシェーディング補正係数との間の差の影響を受けるためである。
【００５０】
そこで、本実施形態では、現在適用されている現在シェーディング補正係数とデフォルトシェーディング補正係数との間の差分を考慮した色評価処理を行う。
【００５１】
図１１は、デフォルトシェーディング補正係数を示す断面図である。Ｒ，Ｇ，Ｂ毎に異なる係数を設定することで色シェーディングを補正できる。シェーディング補正係数は、ピクセル単位に係数を乗算するので、式１に示される通りに平均乗算係数を求め、これを、Ｄｅｆ＿ＲＡｖｅ、Ｄｅｆ＿ＧＡｖｅ、Ｄｅｆ＿ＢＡｖｅとする。
【００５２】
式１において、ｈは画像の幅、ｖは画像の高さ、ＤｅｆＲＣｏｅｆｆ、ＤｅｆＧＣｏｅｆｆ、ＤｅｆＢＣｏｅｆｆは、ＲＧＢそれぞれのデフォルトシェーディング補正係数を示す。
【００５３】
【数１】
【００５４】
撮影時は、撮影設定情報などに適したシェーディング補正係数（現在シェーディング補正係数）が適用される。図１２は、撮影時に適用される現在シェーディング補正係数を示す断面図である。図１２に示す例では、図１１に示したデフォルトシェーディング係数よりも大きい係数が適用されている。
【００５５】
デフォルトシェーディング補正係数と同様に、式２に示される通りに平均の乗算係数を求めこれを、Ｃｕｒ＿ＲＡｖｅ、Ｃｕｒ＿ＧＡｖｅ、Ｃｕｒ＿ＢＡｖｅとする。
式２において、ｈは画像の幅、ｖは画像の高さ、ＣｕｒＲＣｏｅｆｆ、ＣｕｒＧＣｏｅｆｆ、ＣｕｒＢＣｏｅｆｆは、ＲＧＢそれぞれの現在シェーディング補正係数を示す。
【００５６】
【数２】
【００５７】
ホワイトバランス設計調整値は、デフォルトシェーディング補正係数を適用した状態で正しく光源推定を行えるように撮像装置に組み込まれている。そのため、ＲＧＢブロック色評価処理をする際、図１３に示されるような現在シェーディング補正係数からデフォルトシェーディング補正係数への変換係数を用いる。図１３は、現在シェーディング補正係数からデフォルトシェーディング補正係数への変換係数を示す断面図である。
【００５８】
既に算出されているデフォルトシェーディング補正係数の平均乗算係数と現在シェーディング補正係数の平均乗算係数に基づいて、式３を用いて、変換係数Ｄｅｌｔａ＿ＲＡｖｅ、Ｄｅｌｔａ＿ＧＡｖｅ、Ｄｅｌｔａ＿ＢＡｖｅを求める。
【００５９】
【数３】
【００６０】
シェーディング差分補正部１３が、算出された変換係数Ｄｅｌｔａ＿ＲＡｖｅ、Ｄｅｌｔａ＿ＧＡｖｅ、Ｄｅｌｔａ＿ＢＡｖｅを、ホワイトバランスゲインを算出する際に用いられる第１のＲＧＢブロック統計値に乗算し、乗算結果を第２のＲＧＢブロック統計値（Ｒ’，Ｇ’，Ｂ’）とする。
【００６１】
そして、光源評価をする際、第２のＲＧＢブロック統計値（Ｒ’，Ｇ’，Ｂ’）を用いる。これによって、シェーディング補正を適用した画像データの画像領域に対して、ホワイトバランス設計調整処理に使用したデフォルトシェーディング補正係数を適用した場合に相当する光源評価を行うことができる。
【００６２】
次に、本実施形態の色評価処理の手順について説明する。
例えば、第２のＲＧＢブロック統計値に基づいて、ブロック毎の色座標を算出する。このときの色座標は、式４に示されるように、Ｒ／Ｇ比及びＢ／Ｇ比といった座標系でもよいし、他の色彩の規格値へ変換した座標でもよい。
【００６３】
【数４】
【００６４】
ＲＧＢブロック色評価では、色座標（ｘ、ｙ）の座標値や輝度値などよって、ブロック毎の評価重み係数ｗ（ＲＧＢブロック重み）が決定される。
【００６５】
（光源推定処理）
そして、式５を用いて、ＲＧＢブロック重みｗとブロック毎の色座標を加重平均して、光源推定座標（Ｃｘ，Ｃｙ）を算出する。
【００６６】
【数５】
【００６７】
算出された光源推定座標（Ｃｘ，Ｃｙ）は、次のフレーム画像処理においてシェーディング補正係数を算出する際、シェーディング補正係数を決定するための光源情報として利用される。
【００６８】
（ホワイトバランスゲイン算出）
ホワイトバランスゲイン（Ｋｒ，Ｋｇ，Ｋｂ）は、第１のＲＧＢブロック統計値（Ｒ，Ｇ，Ｂ）と、ＲＧＢブロック重みｗを用いて、式６に示されるように加重平均を行い求められる。なお、ＲＧＢブロック重みｗは、光源推定座標（Ｃｘ，Ｃｙ）の値や、環境光の明度（ＢＶ値）に応じて変化させるようにしてもよい。
【００６９】
【数６】
【００７０】
上述したホワイトバランスゲインの算出方法の説明は、本発明の一例を示したものであり、ブロック毎の評価重みの算出方法や色座標への変換方法を限定するものではない。
【００７１】
以上により、現在シェーディング補正係数からデフォルトシェーディング補正係数への変換係数を第１のＲＧＢブロック統計値に乗算し、乗算結果として得られた第２のＲＧＢブロック統計値を用いてＲＧＢブロック色評価が行われる。その結果、現在シェーディング補正係数の影響を受けることなく、デフォルトシェーディング補正係数を適用した場合に相当する光源評価を行うことが可能となる。
【００７２】
また、ホワイトバランスゲイン算出部１３０は、デフォルトシェーディング補正係数の結果を反映したＲＧＢブロック重みと、画像データにシェーディング補正係数を適用して得られる第１のＲＧＢブロック統計値に基づいて、ホワイトバランスゲインを算出する。
【００７３】
算出されたホワイトバランスゲイン（Ｋｒ，Ｋｇ，Ｋｂ）は、ホワイトバランス処理部１０８において、図１に示されるように画像処理部１１０で適用される。
【００７４】
以上、第２のＲＧＢブロック統計値を、単一のデフォルトシェーディング係数とする構成で説明を行った。
【００７５】
＜本発明の別の実施形態＞
本発明の別の実施形態として、シェーディング補正係数が、シェーディング発生要因別に保持されるように構成してもよい。図６は、絞りによるシェーディングと光源によるシェーディングを分離する場合の実施形態を示す説明図である。
【００７６】
図６は、絞りが開放状態と絞り状態の２段階であるとした場合の例示である。そして、図６に示すように、デフォルトシェーディング補正係数が、絞りの状態に応じて、即ち開放状態用と絞り状態用の２種類がデフォルトシェーディングテーブルに用意される。デフォルトシェーディング補正係数は、現在の絞りの状態に応じて選択される。これにより、第２のＲＧＢブロック統計値は、絞りによる変化分を補正した統計値とすることができる。また、ホワイトバランス設計調整値についても開放状態用と絞り状態用の２種類を用意する。
【００７７】
そして、ＲＧＢブロック色評価では、絞りの状態に応じて、２つのデフォルトシェーディング補正係数のうち一方のデフォルトシェーディング補正係数と、２つのホワイトバランス設計調整値のうち一方のホワイトバランス設計調整値が選択される。次に、選択されたデフォルトシェーディング補正係数を用いて第２のＲＧＢブロック統計値を算出し、算出された第２のＲＧＢブロック統計値と、選択されたホワイトバランス設計調整値を用いることで、より正しく光源推定をすることができる。
【００７８】
光源推定結果によって、予め光源種類別に用意されたシェーディング補正差分係数のうち１つが選択される。又は、シェーディング補正差分係数は、複数の光源種類別シェーディング補正差分係数に基づいて、補間処理などによって算出される。既に求められたデフォルトシェーディング補正係数と、選択又は算出されたシェーディング補正差分係数の乗算によって、現在シェーディング補正係数が求められる。
【００７９】
このように、デフォルトシェーディング補正係数を複数用意することで、より精度の高い光源推定を行うことが可能となる。
【００８０】
＜本発明の一又は別の実施形態の効果＞
（１）ホワイトバランスゲイン算出時に画像全体を評価すること、（２）ホワイトバランスゲイン算出のための色評価時にシェーディングの影響を抑えること、（３）ホワイトバランスゲイン収束点の調整などの必要がなく、簡単にホワイトバランスゲインを算出すること、という要求を満たすために、ホワイトバランスゲイン算出のための光源判定処理の前段で、シェーディング補正を行う方法が考えられる。
【００８１】
しかし、シェーディングは、ズームや絞りといったレンズの光学的要素だけでなく、撮影環境光の影響を受けて変化する。そのため、シェーディング補正のためには、撮影環境に適したシェーディング補正係数を動的に算出することが望ましい。ところが、シェーディング補正係数を動的に変化させると、光源判定のための入力値であるＲＧＢブロック統計値が、動的に変化するシェーディング補正の影響を受けてしまう。そのため、正しい光源判定をすることができないという問題が発生する。
【００８２】
一方、以上詳細に説明したように、本実施形態は、ホワイトバランスゲイン算出部１３０の入力値にデフォルトシェーディング補正係数を適用することによって、シェーディングの影響を抑制し画像全体より光源推定行うことができる。また、ズーム位置や絞り、光源推定の結果に基づいて、動的にシェーディング補正を適用する場合であっても、シェーディング補正係数の変化分の逆補正を行うことによって光源推定に影響しないようにすることができる。
【００８３】
ホワイトバランスゲインは、出力画像の画像処理部１１０に適用されるシェーディング補正係数が反映された第１のＲＧＢブロック統計値から算出されるため、ホワイトバランスの収束点を調整するなど複雑な処理を必要としない。以上によりシェーディング補正の最適化とホワイトバランス補正の最適化を両立できるようになり良好な画質を提供できる。
【００８４】
以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。
【００８５】
例えば、上述した実施形態では、第１のＲＧＢブロック統計値に変換係数を乗算することで、第２のＲＧＢブロック統計値を取得するとしたが、本発明はこの例に限定されない。例えば、第２のＲＧＢブロック統計値は、入力された画像データに対してデフォルトシェーディング係数を乗算してＲＧＢブロック統計値を取得するとしてもよい。
【符号の説明】
【００８６】
１１０ 画像処理部
１０２ イメージセンサ
１０４ 画像前処理部
１０６ シェーディング補正部
１０８ ホワイトバランス処理部
１１２ デモザイク処理部
１１４ 色補正部
１１６ ガンマ処理部
【技術分野】
【０００１】
本発明は、撮像装置及び撮像方法に関する。
【背景技術】
【０００２】
デジタルスチルカメラなどの電子的撮像装置おいては、被写体周辺環境の光源色にかかわらず白い被写体が白く撮影されるようにホワイトバランス補正をする処理が組み込まれている。ホワイトバランス補正は、デジタル画像を複数のブロックに分割して得られるＲＧＢブロック統計値に基づいて、光源であるかなどの判断を行い、ホワイトバランスゲインを算出する。そして、算出されたホワイトバランスゲインを画像に適用することで画質が補正される。上述のデジタル画像は、レンズ等の光学系を介して得られる被写体像をＣＣＤイメージセンサ等の撮像素子で光電変換することによって得られる。
【０００３】
また、ホワイトバランスの問題にかかわらず、電子的撮像装置おいては、レンズ結像光学系自体の特性等の影響によって、周辺光量が減衰する現象が発生する場合がある。実際には、光の三原色の色毎に輝度分布特性が異なる。そのため、色毎の輝度分布特性の違いに起因して、撮像画像が不自然に着色してしまう。この現象は色シェーディングと称される。
【０００４】
ところで、色シェーディングが発生すると、ホワイトバランスの入力であるデジタル画像に影響を及ぼすため、ホワイトバランス精度が悪くなるといった問題が発生する。
【０００５】
このため、特許文献１では、ＲＧＢブロック統計値が、色シェーディングの影響を受けないように、ホワイトバランスの評価として使える領域を閾値で判定し、画像周辺部は評価せず、画像中央部を評価する技術が開示されている。
【０００６】
また、特許文献２では、シェーディング補正前にホワイトバランスのための評価を実施し光源判定して、光源種別に応じてシェーディング係数を適応的に変化させる方法が開示されている。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２００７−３２５２２２号公報
【特許文献２】特開２００８−８５３８８号明細書
【発明の概要】
【発明が解決しようとする課題】
【０００８】
しかし、特許文献１では、シェーディングの影響を受けないように、画像中心を評価対象としているが、画像周辺部に光源色の被写体が存在するシーンも多くある。そのため、ホワイトバランスゲイン算出においては、画像中央部だけを評価するのではなく、画像全体を評価しなくては光源を効果的に検出することができないという問題がある。
【０００９】
また、特許文献２に記載された技術は、色シェーディングが被写体の撮影環境光の影響を受けて変化することを考慮して、電子的撮像装置の撮影環境に適したシェーディング補正係数を動的に算出する方法である。しかし、ホワイトバランスゲイン算出のための光源判定時には、シェーディング補正を一切行わないため、光源判定時にシェーディングの影響を受けてしまう。そのため、画像周辺部での色評価誤差が大きくなるという問題がある。
【００１０】
さらに、特許文献２では、シェーディング補正することなく光源判定を行い、ホワイトバランスゲインはシェーディング補正後に適用する。そのため、最適なホワイトバランスゲインの算出のために収束点を調整する必要があり、一連の処理が複雑になるといった問題がある。
【００１１】
ところで、ホワイトバランスゲイン算出のための光源判定処理の前段で、シェーディング補正を行う方法が考えられる。
【００１２】
しかし、シェーディングは、ズームや絞りといったレンズの光学的要素だけでなく、撮影環境光の影響を受けて変化する。そのため、シェーディング補正のためには、撮影環境に適したシェーディング補正係数を動的に算出することが望ましい。ところが、シェーディング補正係数を動的に変化させると、光源判定のための入力値であるＲＧＢブロック統計値が、動的に変化するシェーディング補正の影響を受けてしまう。そのため、正しい光源判定をすることができないという問題が発生する。
【００１３】
そこで、本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、画像のホワイトバランス評価領域を画像の一部に限定することなく画像全体を評価することが可能であり、シェーディング補正後のホワイトバランス補正の評価が可能となることで、シェーディングによるホワイトバランス評価の誤判断を低減することが可能な、新規かつ改良された撮像装置及び撮像方法を提供することにある。
【課題を解決するための手段】
【００１４】
上記課題を解決するために、本発明のある観点によれば、直前までの画像フレームに基づいて算出された直前光源推定値又は撮像時の撮影設定情報に基づいて現在シェーディング係数を算出する現在シェーディング係数算出部と、現在シェーディング係数に基づいて撮像画像をシェーディング補正して第１のシェーディング補正済み画像を生成する第１のシェーディング補正部と、第１のシェーディング補正済み画像をブロックに分割して統計処理し第１のＲＧＢブロック統計値を算出する第１のＲＧＢブロック統計部と、予め決められたデフォルトシェーディング係数に基づいて撮像画像をシェーディング補正して第２のシェーディング補正済み画像を生成する第２のシェーディング補正部と、第２のシェーディング補正済み画像をブロックに分割して統計処理し第２のＲＧＢブロック統計値を算出する第２のＲＧＢブロック統計部と、第２のＲＧＢブロック統計値に基づいて現在の光源推定値を算出する光源推定部と、現在の光源推定値と第１のＲＧＢブロック統計値に基づいてホワイトバランスゲインを算出するホワイトバランスゲイン算出部と、ホワイトバランスゲインを第１のシェーディング補正済み画像に適用してホワイトバランス補正するホワイトバランス処理部とを備えることを特徴とする撮像装置が提供される。
【００１５】
この構成によって、ホワイトバランスゲインは、現在の光源推定値と第１のＲＧＢブロック統計値に基づいて算出され、ホワイトバランスゲインが第１のシェーディング補正済み画像に適用されることでホワイトバランス補正がされる。ここで、現在の光源推定値を算出するには、予め決められたデフォルトシェーディング係数に基づいて撮像画像をシェーディング補正して第２のシェーディング補正済み画像を生成し、第２のシェーディング補正済み画像をブロックに分割して統計処理して第２のＲＧＢブロック統計値を算出する。そして、現在の光源推定値は第２のＲＧＢブロック統計値に基づいて算出される。また、第１のＲＧＢブロック統計値を算出するには、まず、直前までの画像フレームに基づいて算出された直前光源推定値又は撮像時の撮影設定情報に基づいて現在シェーディング係数を算出し、現在シェーディング係数に基づいて撮像画像をシェーディング補正して第１のシェーディング補正済み画像を生成する。そして、第１のＲＧＢブロック統計値が第１のシェーディング補正済み画像をブロックに分割して統計処理して算出される。撮像時の撮影設定情報は、例えばズーム位置、絞り、感度などの情報である。
【００１６】
上記第２のＲＧＢブロック統計部は、デフォルトシェーディング係数と現在シェーディング係数の差分を算出し、第１のＲＧＢブロック統計値に乗算することによって、第２のＲＧＢブロック統計値を算出する。この構成によって、第２のＲＧＢブロック統計値は、第１のＲＧＢブロック統計値を使用して算出でき、実質的な統計処理は第１のＲＧＢブロック統計値の算出のときだけでよい。
【００１７】
上記デフォルトシェーディング係数は、光源色によって変化するシェーディングに基づいて算出した平均的な単一の係数である。この構成によって、第２のシェーディング補正済み画像は、一つに決定されているデフォルトシェーディング係数が使用されて、撮像画像をシェーディング補正して生成される。
【００１８】
上記デフォルトシェーディング係数は、撮像時の撮影設定条件別に複数用意されている。この構成によって、第２のシェーディング補正済み画像は、撮像時の撮影設定条件別に複数用意されたデフォルトシェーディング係数のうち一つが使用されて、撮像画像をシェーディング補正して生成される。撮影設定条件は、例えば絞りなどレンズの異なる状態別の条件である。
【００１９】
上記デフォルトシェーディング係数を適用して撮像された光源色データに基づいて調整されたホワイトバランス設計調整値と、第２のＲＧＢブロック統計値に基づいてブロックの色評価をして、ブロック毎にブロック重みを算出し、光源推定部は、ブロック重みと第２のＲＧＢブロック統計値に基づいて光源推定値を算出する。この構成によれば、ホワイトバランス設計調整値はデフォルトシェーディング係数を適用して撮像された光源色データに基づいて調整された値であり、ブロックの色評価が、ホワイトバランス設計調整値と第２のＲＧＢブロック統計値に基づいて行われて、ブロック毎にブロック重みが算出される。そして、光源推定値がブロック重みと第２のＲＧＢブロック統計値に基づいて算出される。
【００２０】
上記光源推定部は、第２のＲＧＢブロック統計値に基づいて算出した色座標と、ブロック重みに基づいて加重平均することで光源推定値を算出する。この構成によれば、色座標が第２のＲＧＢブロック統計値に基づいて算出され、光源推定値は、色座標と、色評価の結果を反映したブロック毎のブロック重みに基づいて加重平均することで算出される。
【００２１】
上記ホワイトバランスゲイン算出部は、ブロック重みを用いて、第１のＲＧＢブロック統計値に基づいてホワイトバランスゲインを算出する。この構成によれば、ホワイトバランスゲインは、色評価の結果を反映したブロック毎のブロック重みを用いて、現在シェーディング補正係数に適合した第１のＲＧＢブロック統計値に基づいて算出される。
【００２２】
上記ブロック重みは、光源推定値と、撮影設定情報から算出される被写体輝度によって変化するように算出される。この構成において、撮影設定情報は、シャッター速度、絞り、感度などの情報であり、ブロック重みは、光源推定値や、被写体輝度（例えば環境光の明度（ＢＶ値）に応じて変化する。
【００２３】
また、上記課題を解決するために、本発明の別の観点によれば、直前までの画像フレームに基づいて算出された直前光源推定値又は撮像時の撮影設定情報に基づいて現在シェーディング係数を算出するステップと、現在シェーディング係数に基づいて撮像画像をシェーディング補正して第１のシェーディング補正済み画像を生成するステップと、第１のシェーディング補正済み画像をブロックに分割して統計処理し第１のＲＧＢブロック統計値を算出するステップと、予め決められたデフォルトシェーディング係数に基づいて撮像画像をシェーディング補正して第２のシェーディング補正済み画像を生成するステップと、第２のシェーディング補正済み画像をブロックに分割して統計処理し第２のＲＧＢブロック統計値を算出するステップと、第２のＲＧＢブロック統計値に基づいて現在の光源推定値を算出するステップと、現在の光源推定値と第１のＲＧＢブロック統計値に基づいてホワイトバランスゲインを算出するステップと、ホワイトバランスゲインを第１のシェーディング補正済み画像に適用してホワイトバランス補正するステップとを備えることを特徴とする撮像方法が提供される。
【発明の効果】
【００２４】
本発明によれば、画像のホワイトバランス評価領域を画像の一部に限定することなく画像全体を評価することが可能であり、シェーディング補正後のホワイトバランス補正の評価が可能となることで、シェーディングによるホワイトバランス評価の誤判断を低減することができる。
【図面の簡単な説明】
【００２５】
【図１】本発明の一実施形態に係るデジタルスチルカメラの画像処理部１１０を示すブロック図である。
【図２】同実施形態に係るデジタルスチルカメラの画像処理部１１０、シェーディングテーブル算出部１２０及びホワイトバランスゲイン算出部１３０を示すブロック図である。
【図３】同実施形態に係る撮像装置の概略動作を示すフローチャートである。
【図４】同実施形態のシェーディング補正の動作を示すフローチャートである。
【図５】同実施形態のホワイトバランスゲイン算出の動作を示すフローチャートである。
【図６】絞りによるシェーディングと光源によるシェーディングを分離する場合の実施形態を示す説明図である。
【図７】画像領域のブロック分割を示す概念図である。
【図８】光源別のシェーディング発生状況を示す断面図である。
【図９】光源別のシェーディング発生状況を示す断面図である。
【図１０】光源別のシェーディング発生状況を示す断面図である。
【図１１】デフォルトシェーディング補正係数を示す断面図である。
【図１２】撮影時に適用される現在シェーディング補正係数を示す断面図である。
【図１３】現在シェーディング補正係数からデフォルトシェーディング補正係数への変換係数を示す断面図である。
【発明を実施するための形態】
【００２６】
以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
【００２７】
＜本発明の一実施形態＞
本発明の一実施形態に係るデジタルスチルカメラ（撮像装置）は、撮像画像に発生するシェーディングの補正を行うシェーディング補正部１０６と、撮像画像のホワイトバランス補正を行うホワイトバランス処理部１０８とを備えることを特徴とする。そして、光源推定結果などに基づいてシェーディング補正係数を適応的に動的に変化させた場合であっても、シェーディング補正係数変化の影響を受けることなく画像全体を評価し、最適なホワイトバランス補正を行うことができる。
【００２８】
図１は、本実施形態に係るデジタルスチルカメラの画像処理部１１０を示すブロック図である。図２は、本実施形態に係るデジタルスチルカメラの画像処理部１１０、シェーディングテーブル算出部１２０及びホワイトバランスゲイン算出部１３０を示すブロック図である。図３は、本実施形態に係る撮像装置の概略動作を示すフローチャートである。
【００２９】
画像処理部１１０（Image pipe line）は、例えばＣＣＤイメージセンサ又はＣＭＯＳイメージセンサ１０２と、画像前処理部１０４と、シェーディング補正部１０６と、ホワイトバランス処理部１０８と、デモザイク処理部１１２と、色補正部１１４と、ガンマ処理部１１６などからなる。
【００３０】
まず、ＲＧＢ画像信号（ＲＡＷデータ）が、図１のＣＣＤイメージセンサ又はＣＭＯＳイメージセンサ１０２などの撮像素子を含むアナログフロントエンド（ＡＦＥ）から得られる（ステップＳ１０１）。ＲＧＢ画像信号は、欠陥画素補正、黒レベル補正などの画像前処理が施される。そして、シェーディング補正処理、ホワイトバランス補正処理、ベイヤ色補間（デモザイク）処理、色補正処理、ガンマ補正処理など種々の電子的処理が行われ、画像記録が行われる。
【００３１】
本実施形態においては、シェーディング補正処理が、ホワイトバランスゲイン算出部１３０の前段で実施されることを特徴とする（ステップＳ１０２、ステップＳ１０５）。
【００３２】
撮像されたＲＧＢ画像信号に画像前処理を施した後、シェーディング補正が行われる。シェーディング補正は、レンズ結像光学系自体の特性等の影響によって、周辺光量が減衰する現象（シェーディング）を補正する処理である。シェーディングは、実際には、光学系特性の影響だけでなく、被写体の周辺環境の光源によってもシェーディングの発生度合が変化する。
【００３３】
図８、図９、図１０は、光源別のシェーディング発生状況を示す断面図であり、それぞれの違いを例示したものである。図８は、太陽光下で発生したシェーディングの状況を示し、図９は、蛍光灯下で発生したシェーディングの状況を示し、図１０は、電球光下で発生したシェーディングの状況を示す。
【００３４】
これらの現象は、光の３原色であるＲＧＢ毎に異なるシェーディングが発生することから、色シェーディングと呼ばれる。そして、色ＲＧＢそれぞれについて画像ピクセル座標に応じた補正係数を設定する。
【００３５】
シェーディングテーブル算出部１２０は、絞り、ズームなどのカメラ設定情報と、ホワイトバランス処理の光源推定結果（Light source estimation）に応じて、最適なシェーディング補正係数を算出する。
【００３６】
算出したシェーディング補正係数は、図１に示す画像処理部１１０のシェーディング補正部１０６で使用される。このシェーディング補正後の画像データは、ホワイトバランスゲイン算出部１３０に入力される。
【００３７】
図２に示すブロック統計処理部１３２は、既にシェーディング補正済みの画像をブロック分割し、ブロック毎にＲＧＢ画素の統計値を取得する。このＲＧＢ統計値は、ＡＷＢ処理部１３６に入力される。但し、画像に適用されているシェーディング補正係数（現在シェーディングテーブル）と、ホワイトバランスゲイン算出部１３０が光源推定に用いるシェーディング補正係数（デフォルトシェーディングテーブル）との差分を乗算してから入力する。
【００３８】
［シェーディング補正］
図４は、本実施形態のシェーディング補正の動作を示すフローチャートである。
シェーディングは、ズーム、絞りといったレンズの光学的要素や、撮影環境光源に関係して変化する。そのため、図４に示すようにシェーディング補正係数が動的に算出される。
【００３９】
まず、シェーディング補正部１０６において、ＡＶ（絞り値）、ＴＶ（シャッター速度）、ＳＶ（撮像感度）、ズーム等の撮影設定条件や、直前のフレーム画像から算出された光源推定値など撮影情報が取得される（ステップＳ１１１）。
【００４０】
そして、取得された撮影設定情報や光源推定値、シェーディングデータ記憶部に予め記憶しておいたシェーディング情報に基づいて、最適な現在（current）シェーディング補正係数を算出する（ステップＳ１１２）。
【００４１】
なお、上記に示したシェーディングを変化させる要因は複数の要因のうちの一例である。従って、シェーディング補正係数の算出方法は、本明細書に記載した例に限定されない。即ち、他の要因で動的にシェーディング補正係数を変えた場合であっても、後述のとおり、適切なホワイトバランスを提供できることが大事である。
【００４２】
次に、ステップＳ１１２で算出された現在シェーディング補正係数は、ＲＧＢ画像信号（画像データ）に適用され、画像データはシェーディング補正が施される（ステップＳ１１３）。
【００４３】
シェーディング補正された画像データは、ＲＧＢブロック統計処理に使用される（ステップＳ１１４）。
【００４４】
［ホワイトバランスゲイン算出］
図５は、本実施形態のホワイトバランスゲイン算出の動作を示すフローチャートである。
【００４５】
（第１のＲＧＢブロック統計値について）
ホワイトバランスゲイン算出部１３０は、シェーディング補正を適用した画像データの画像領域を、例えば図７に示すようにＮ×Ｍのブロックに分割する。図７は、画像領域のブロック分割を示す概念図である。分割ブロック内には、複数の画素が含まれている。そして、ブロック毎のＲＧＢ画素の統計値が、第１のＲＧＢブロック統計値として算出される。
【００４６】
（ホワイトバランス設計調整値について）
ところで、光源判定や動作追従範囲を決定するためのパラメータ群（以下、「ホワイトバランス設計調整値」ともいう。）は、ホワイトバランスゲイン算出において使用され、ホワイトバランス設計調整値記憶部に予め保持しておく。ホワイトバランス設計調整値は、予め電子的撮像装置の設計者がホワイトバランス設計調整処理を実施することによって算出される。
【００４７】
ホワイトバランス設計調整処理は、組込み対象とする電子的撮像装置を用いる。そして、各種光源下でグレーチャートやカラーチャートの撮影を行い、光源色データを取得する。なお、このとき適用するシェーディング補正係数は、単一の代表的なシェーディング補正係数（デフォルトシェーディング補正係数）である。
【００４８】
電子的撮像装置の設計者は、ホワイトバランス設計調整処理で得られた光源色データに基づいて、ホワイトバランスゲイン算出において使用される色評価判定の閾値やホワイトバランス追従範囲などのホワイトバランス設計調整値を決定する。
【００４９】
（色評価処理について）
上述したように、ホワイトバランス設計調整値は、デフォルトシェーディング補正係数を適用してシェーディング補正された画像データに最適化されている。そのため、撮像された画像に対してＲＧＢブロック色評価をする際、仮に、シェーディング補正係数を動的に変更して得られた第１のＲＧＢブロック統計値を使用すると、正しく色評価を行えないという問題がある。現在シェーディング補正係数とデフォルトシェーディング補正係数との間の差の影響を受けるためである。
【００５０】
そこで、本実施形態では、現在適用されている現在シェーディング補正係数とデフォルトシェーディング補正係数との間の差分を考慮した色評価処理を行う。
【００５１】
図１１は、デフォルトシェーディング補正係数を示す断面図である。Ｒ，Ｇ，Ｂ毎に異なる係数を設定することで色シェーディングを補正できる。シェーディング補正係数は、ピクセル単位に係数を乗算するので、式１に示される通りに平均乗算係数を求め、これを、Ｄｅｆ＿ＲＡｖｅ、Ｄｅｆ＿ＧＡｖｅ、Ｄｅｆ＿ＢＡｖｅとする。
【００５２】
式１において、ｈは画像の幅、ｖは画像の高さ、ＤｅｆＲＣｏｅｆｆ、ＤｅｆＧＣｏｅｆｆ、ＤｅｆＢＣｏｅｆｆは、ＲＧＢそれぞれのデフォルトシェーディング補正係数を示す。
【００５３】
【数１】
【００５４】
撮影時は、撮影設定情報などに適したシェーディング補正係数（現在シェーディング補正係数）が適用される。図１２は、撮影時に適用される現在シェーディング補正係数を示す断面図である。図１２に示す例では、図１１に示したデフォルトシェーディング係数よりも大きい係数が適用されている。
【００５５】
デフォルトシェーディング補正係数と同様に、式２に示される通りに平均の乗算係数を求めこれを、Ｃｕｒ＿ＲＡｖｅ、Ｃｕｒ＿ＧＡｖｅ、Ｃｕｒ＿ＢＡｖｅとする。
式２において、ｈは画像の幅、ｖは画像の高さ、ＣｕｒＲＣｏｅｆｆ、ＣｕｒＧＣｏｅｆｆ、ＣｕｒＢＣｏｅｆｆは、ＲＧＢそれぞれの現在シェーディング補正係数を示す。
【００５６】
【数２】
【００５７】
ホワイトバランス設計調整値は、デフォルトシェーディング補正係数を適用した状態で正しく光源推定を行えるように撮像装置に組み込まれている。そのため、ＲＧＢブロック色評価処理をする際、図１３に示されるような現在シェーディング補正係数からデフォルトシェーディング補正係数への変換係数を用いる。図１３は、現在シェーディング補正係数からデフォルトシェーディング補正係数への変換係数を示す断面図である。
【００５８】
既に算出されているデフォルトシェーディング補正係数の平均乗算係数と現在シェーディング補正係数の平均乗算係数に基づいて、式３を用いて、変換係数Ｄｅｌｔａ＿ＲＡｖｅ、Ｄｅｌｔａ＿ＧＡｖｅ、Ｄｅｌｔａ＿ＢＡｖｅを求める。
【００５９】
【数３】
【００６０】
シェーディング差分補正部１３が、算出された変換係数Ｄｅｌｔａ＿ＲＡｖｅ、Ｄｅｌｔａ＿ＧＡｖｅ、Ｄｅｌｔａ＿ＢＡｖｅを、ホワイトバランスゲインを算出する際に用いられる第１のＲＧＢブロック統計値に乗算し、乗算結果を第２のＲＧＢブロック統計値（Ｒ’，Ｇ’，Ｂ’）とする。
【００６１】
そして、光源評価をする際、第２のＲＧＢブロック統計値（Ｒ’，Ｇ’，Ｂ’）を用いる。これによって、シェーディング補正を適用した画像データの画像領域に対して、ホワイトバランス設計調整処理に使用したデフォルトシェーディング補正係数を適用した場合に相当する光源評価を行うことができる。
【００６２】
次に、本実施形態の色評価処理の手順について説明する。
例えば、第２のＲＧＢブロック統計値に基づいて、ブロック毎の色座標を算出する。このときの色座標は、式４に示されるように、Ｒ／Ｇ比及びＢ／Ｇ比といった座標系でもよいし、他の色彩の規格値へ変換した座標でもよい。
【００６３】
【数４】
【００６４】
ＲＧＢブロック色評価では、色座標（ｘ、ｙ）の座標値や輝度値などよって、ブロック毎の評価重み係数ｗ（ＲＧＢブロック重み）が決定される。
【００６５】
（光源推定処理）
そして、式５を用いて、ＲＧＢブロック重みｗとブロック毎の色座標を加重平均して、光源推定座標（Ｃｘ，Ｃｙ）を算出する。
【００６６】
【数５】
【００６７】
算出された光源推定座標（Ｃｘ，Ｃｙ）は、次のフレーム画像処理においてシェーディング補正係数を算出する際、シェーディング補正係数を決定するための光源情報として利用される。
【００６８】
（ホワイトバランスゲイン算出）
ホワイトバランスゲイン（Ｋｒ，Ｋｇ，Ｋｂ）は、第１のＲＧＢブロック統計値（Ｒ，Ｇ，Ｂ）と、ＲＧＢブロック重みｗを用いて、式６に示されるように加重平均を行い求められる。なお、ＲＧＢブロック重みｗは、光源推定座標（Ｃｘ，Ｃｙ）の値や、環境光の明度（ＢＶ値）に応じて変化させるようにしてもよい。
【００６９】
【数６】
【００７０】
上述したホワイトバランスゲインの算出方法の説明は、本発明の一例を示したものであり、ブロック毎の評価重みの算出方法や色座標への変換方法を限定するものではない。
【００７１】
以上により、現在シェーディング補正係数からデフォルトシェーディング補正係数への変換係数を第１のＲＧＢブロック統計値に乗算し、乗算結果として得られた第２のＲＧＢブロック統計値を用いてＲＧＢブロック色評価が行われる。その結果、現在シェーディング補正係数の影響を受けることなく、デフォルトシェーディング補正係数を適用した場合に相当する光源評価を行うことが可能となる。
【００７２】
また、ホワイトバランスゲイン算出部１３０は、デフォルトシェーディング補正係数の結果を反映したＲＧＢブロック重みと、画像データにシェーディング補正係数を適用して得られる第１のＲＧＢブロック統計値に基づいて、ホワイトバランスゲインを算出する。
【００７３】
算出されたホワイトバランスゲイン（Ｋｒ，Ｋｇ，Ｋｂ）は、ホワイトバランス処理部１０８において、図１に示されるように画像処理部１１０で適用される。
【００７４】
以上、第２のＲＧＢブロック統計値を、単一のデフォルトシェーディング係数とする構成で説明を行った。
【００７５】
＜本発明の別の実施形態＞
本発明の別の実施形態として、シェーディング補正係数が、シェーディング発生要因別に保持されるように構成してもよい。図６は、絞りによるシェーディングと光源によるシェーディングを分離する場合の実施形態を示す説明図である。
【００７６】
図６は、絞りが開放状態と絞り状態の２段階であるとした場合の例示である。そして、図６に示すように、デフォルトシェーディング補正係数が、絞りの状態に応じて、即ち開放状態用と絞り状態用の２種類がデフォルトシェーディングテーブルに用意される。デフォルトシェーディング補正係数は、現在の絞りの状態に応じて選択される。これにより、第２のＲＧＢブロック統計値は、絞りによる変化分を補正した統計値とすることができる。また、ホワイトバランス設計調整値についても開放状態用と絞り状態用の２種類を用意する。
【００７７】
そして、ＲＧＢブロック色評価では、絞りの状態に応じて、２つのデフォルトシェーディング補正係数のうち一方のデフォルトシェーディング補正係数と、２つのホワイトバランス設計調整値のうち一方のホワイトバランス設計調整値が選択される。次に、選択されたデフォルトシェーディング補正係数を用いて第２のＲＧＢブロック統計値を算出し、算出された第２のＲＧＢブロック統計値と、選択されたホワイトバランス設計調整値を用いることで、より正しく光源推定をすることができる。
【００７８】
光源推定結果によって、予め光源種類別に用意されたシェーディング補正差分係数のうち１つが選択される。又は、シェーディング補正差分係数は、複数の光源種類別シェーディング補正差分係数に基づいて、補間処理などによって算出される。既に求められたデフォルトシェーディング補正係数と、選択又は算出されたシェーディング補正差分係数の乗算によって、現在シェーディング補正係数が求められる。
【００７９】
このように、デフォルトシェーディング補正係数を複数用意することで、より精度の高い光源推定を行うことが可能となる。
【００８０】
＜本発明の一又は別の実施形態の効果＞
（１）ホワイトバランスゲイン算出時に画像全体を評価すること、（２）ホワイトバランスゲイン算出のための色評価時にシェーディングの影響を抑えること、（３）ホワイトバランスゲイン収束点の調整などの必要がなく、簡単にホワイトバランスゲインを算出すること、という要求を満たすために、ホワイトバランスゲイン算出のための光源判定処理の前段で、シェーディング補正を行う方法が考えられる。
【００８１】
しかし、シェーディングは、ズームや絞りといったレンズの光学的要素だけでなく、撮影環境光の影響を受けて変化する。そのため、シェーディング補正のためには、撮影環境に適したシェーディング補正係数を動的に算出することが望ましい。ところが、シェーディング補正係数を動的に変化させると、光源判定のための入力値であるＲＧＢブロック統計値が、動的に変化するシェーディング補正の影響を受けてしまう。そのため、正しい光源判定をすることができないという問題が発生する。
【００８２】
一方、以上詳細に説明したように、本実施形態は、ホワイトバランスゲイン算出部１３０の入力値にデフォルトシェーディング補正係数を適用することによって、シェーディングの影響を抑制し画像全体より光源推定行うことができる。また、ズーム位置や絞り、光源推定の結果に基づいて、動的にシェーディング補正を適用する場合であっても、シェーディング補正係数の変化分の逆補正を行うことによって光源推定に影響しないようにすることができる。
【００８３】
ホワイトバランスゲインは、出力画像の画像処理部１１０に適用されるシェーディング補正係数が反映された第１のＲＧＢブロック統計値から算出されるため、ホワイトバランスの収束点を調整するなど複雑な処理を必要としない。以上によりシェーディング補正の最適化とホワイトバランス補正の最適化を両立できるようになり良好な画質を提供できる。
【００８４】
以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。
【００８５】
例えば、上述した実施形態では、第１のＲＧＢブロック統計値に変換係数を乗算することで、第２のＲＧＢブロック統計値を取得するとしたが、本発明はこの例に限定されない。例えば、第２のＲＧＢブロック統計値は、入力された画像データに対してデフォルトシェーディング係数を乗算してＲＧＢブロック統計値を取得するとしてもよい。
【符号の説明】
【００８６】
１１０ 画像処理部
１０２ イメージセンサ
１０４ 画像前処理部
１０６ シェーディング補正部
１０８ ホワイトバランス処理部
１１２ デモザイク処理部
１１４ 色補正部
１１６ ガンマ処理部
【特許請求の範囲】
【請求項１】
直前までの画像フレームに基づいて算出された直前光源推定値又は撮像時の撮影設定情報に基づいて現在シェーディング係数を算出する現在シェーディング係数算出部と、
現在シェーディング係数に基づいて撮像画像をシェーディング補正して第１のシェーディング補正済み画像を生成する第１のシェーディング補正部と、
前記第１のシェーディング補正済み画像をブロックに分割して統計処理し第１のＲＧＢブロック統計値を算出する第１のＲＧＢブロック統計部と、
予め決められたデフォルトシェーディング係数に基づいて前記撮像画像をシェーディング補正して第２のシェーディング補正済み画像を生成する第２のシェーディング補正部と、
前記第２のシェーディング補正済み画像をブロックに分割して統計処理し第２のＲＧＢブロック統計値を算出する第２のＲＧＢブロック統計部と、
前記第２のＲＧＢブロック統計値に基づいて現在の光源推定値を算出する光源推定部と、
前記現在の光源推定値と前記第１のＲＧＢブロック統計値に基づいてホワイトバランスゲインを算出するホワイトバランスゲイン算出部と、
前記ホワイトバランスゲインを前記第１のシェーディング補正済み画像に適用してホワイトバランス補正するホワイトバランス処理部と
を備えることを特徴とする、撮像装置。
【請求項２】
前記第２のＲＧＢブロック統計部は、
前記デフォルトシェーディング係数と前記現在シェーディング係数の差分を算出し、前記第１のＲＧＢブロック統計値に乗算することによって、前記第２のＲＧＢブロック統計値を算出することを特徴とする、請求項１に記載の撮像装置。
【請求項３】
前記デフォルトシェーディング係数は、光源色によって変化するシェーディングに基づいて算出した平均的な単一の係数であることを特徴とする、請求項１又は２に記載の撮像装置。
【請求項４】
前記デフォルトシェーディング係数は、撮像時の撮影設定条件別に複数用意されていることを特徴とする、請求項１〜３のいずれか１項に記載の撮像装置。
【請求項５】
前記デフォルトシェーディング係数を適用して撮像された光源色データに基づいて調整されたホワイトバランス設計調整値と、前記第２のＲＧＢブロック統計値に基づいて前記ブロックの色評価をして、前記ブロック毎にブロック重みを算出し、
前記光源推定部は、前記ブロック重みと前記第２のＲＧＢブロック統計値に基づいて前記光源推定値を算出することを特徴とする、請求項１〜４のいずれか１項に記載の撮像装置。
【請求項６】
前記光源推定部は、前記第２のＲＧＢブロック統計値に基づいて算出した色座標と、前記ブロック重みに基づいて加重平均することで前記光源推定値を算出することを特徴とする、請求項１〜５のいずれか１項に記載の撮像装置。
【請求項７】
前記ホワイトバランスゲイン算出部は、前記ブロック重みを用いて、前記第１のＲＧＢブロック統計値に基づいて前記ホワイトバランスゲインを算出することを特徴とする、請求項５又は６に記載の撮像装置。
【請求項８】
前記ブロック重みは、前記光源推定値と、撮影設定情報から算出される被写体輝度によって変化するように算出される、請求項５〜７のいずれか１項に記載の撮像装置。
【請求項９】
直前までの画像フレームに基づいて算出された直前光源推定値又は撮像時の撮影設定情報に基づいて現在シェーディング係数を算出するステップと、
現在シェーディング係数に基づいて撮像画像をシェーディング補正して第１のシェーディング補正済み画像を生成するステップと、
前記第１のシェーディング補正済み画像をブロックに分割して統計処理し第１のＲＧＢブロック統計値を算出するステップと、
予め決められたデフォルトシェーディング係数に基づいて前記撮像画像をシェーディング補正して第２のシェーディング補正済み画像を生成するステップと、
前記第２のシェーディング補正済み画像をブロックに分割して統計処理し第２のＲＧＢブロック統計値を算出するステップと、
前記第２のＲＧＢブロック統計値に基づいて現在の光源推定値を算出するステップと、
前記現在の光源推定値と前記第１のＲＧＢブロック統計値に基づいてホワイトバランスゲインを算出するステップと、
前記ホワイトバランスゲインを前記第１のシェーディング補正済み画像に適用してホワイトバランス補正するステップと
を備えることを特徴とする、撮像方法。
【請求項１】
直前までの画像フレームに基づいて算出された直前光源推定値又は撮像時の撮影設定情報に基づいて現在シェーディング係数を算出する現在シェーディング係数算出部と、
現在シェーディング係数に基づいて撮像画像をシェーディング補正して第１のシェーディング補正済み画像を生成する第１のシェーディング補正部と、
前記第１のシェーディング補正済み画像をブロックに分割して統計処理し第１のＲＧＢブロック統計値を算出する第１のＲＧＢブロック統計部と、
予め決められたデフォルトシェーディング係数に基づいて前記撮像画像をシェーディング補正して第２のシェーディング補正済み画像を生成する第２のシェーディング補正部と、
前記第２のシェーディング補正済み画像をブロックに分割して統計処理し第２のＲＧＢブロック統計値を算出する第２のＲＧＢブロック統計部と、
前記第２のＲＧＢブロック統計値に基づいて現在の光源推定値を算出する光源推定部と、
前記現在の光源推定値と前記第１のＲＧＢブロック統計値に基づいてホワイトバランスゲインを算出するホワイトバランスゲイン算出部と、
前記ホワイトバランスゲインを前記第１のシェーディング補正済み画像に適用してホワイトバランス補正するホワイトバランス処理部と
を備えることを特徴とする、撮像装置。
【請求項２】
前記第２のＲＧＢブロック統計部は、
前記デフォルトシェーディング係数と前記現在シェーディング係数の差分を算出し、前記第１のＲＧＢブロック統計値に乗算することによって、前記第２のＲＧＢブロック統計値を算出することを特徴とする、請求項１に記載の撮像装置。
【請求項３】
前記デフォルトシェーディング係数は、光源色によって変化するシェーディングに基づいて算出した平均的な単一の係数であることを特徴とする、請求項１又は２に記載の撮像装置。
【請求項４】
前記デフォルトシェーディング係数は、撮像時の撮影設定条件別に複数用意されていることを特徴とする、請求項１〜３のいずれか１項に記載の撮像装置。
【請求項５】
前記デフォルトシェーディング係数を適用して撮像された光源色データに基づいて調整されたホワイトバランス設計調整値と、前記第２のＲＧＢブロック統計値に基づいて前記ブロックの色評価をして、前記ブロック毎にブロック重みを算出し、
前記光源推定部は、前記ブロック重みと前記第２のＲＧＢブロック統計値に基づいて前記光源推定値を算出することを特徴とする、請求項１〜４のいずれか１項に記載の撮像装置。
【請求項６】
前記光源推定部は、前記第２のＲＧＢブロック統計値に基づいて算出した色座標と、前記ブロック重みに基づいて加重平均することで前記光源推定値を算出することを特徴とする、請求項１〜５のいずれか１項に記載の撮像装置。
【請求項７】
前記ホワイトバランスゲイン算出部は、前記ブロック重みを用いて、前記第１のＲＧＢブロック統計値に基づいて前記ホワイトバランスゲインを算出することを特徴とする、請求項５又は６に記載の撮像装置。
【請求項８】
前記ブロック重みは、前記光源推定値と、撮影設定情報から算出される被写体輝度によって変化するように算出される、請求項５〜７のいずれか１項に記載の撮像装置。
【請求項９】
直前までの画像フレームに基づいて算出された直前光源推定値又は撮像時の撮影設定情報に基づいて現在シェーディング係数を算出するステップと、
現在シェーディング係数に基づいて撮像画像をシェーディング補正して第１のシェーディング補正済み画像を生成するステップと、
前記第１のシェーディング補正済み画像をブロックに分割して統計処理し第１のＲＧＢブロック統計値を算出するステップと、
予め決められたデフォルトシェーディング係数に基づいて前記撮像画像をシェーディング補正して第２のシェーディング補正済み画像を生成するステップと、
前記第２のシェーディング補正済み画像をブロックに分割して統計処理し第２のＲＧＢブロック統計値を算出するステップと、
前記第２のＲＧＢブロック統計値に基づいて現在の光源推定値を算出するステップと、
前記現在の光源推定値と前記第１のＲＧＢブロック統計値に基づいてホワイトバランスゲインを算出するステップと、
前記ホワイトバランスゲインを前記第１のシェーディング補正済み画像に適用してホワイトバランス補正するステップと
を備えることを特徴とする、撮像方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【公開番号】特開２０１１−４１０５６（Ｐ２０１１−４１０５６Ａ）
【公開日】平成２３年２月２４日（２０１１．２．２４）
【国際特許分類】
【出願番号】特願２００９−１８７３００（Ｐ２００９−１８７３００）
【出願日】平成２１年８月１２日（２００９．８．１２）
【出願人】（５００５４８８８４）三星テクウィン株式会社 (156)
【Ｆターム（参考）】
【公開日】平成２３年２月２４日（２０１１．２．２４）
【国際特許分類】
【出願日】平成２１年８月１２日（２００９．８．１２）
【出願人】（５００５４８８８４）三星テクウィン株式会社 (156)
【Ｆターム（参考）】
[ Back to top ]