撮像装置、その制御方法、及びプログラム
【課題】周波数成分を考慮せずに目標輝度補正量を決定する場合であっても、良好な輝度補正結果の画像を出力する。
【解決手段】撮像により順次出力された画像の輝度分布から輝度補正の目標量を決定する。また出力された対象画像の低周波数領域を特定し、対象画像に含まれる画素のうち、低周波数領域に含まれ、かつ輝度値が所定値以下の画素に対して、直近に決定された目標量で輝度補正を行い、補正後の対象画像を出力する。そして直近の目標量で補正された補正後の対象画像の輝度分布と、補正前の対象画像の輝度分布とから実効補正量を取得し、次の補正対象の画像についての輝度補正の目標量を、対象画像の輝度分布、及び直近の目標量に対する実効補正量の比率に応じて決定する。
【解決手段】撮像により順次出力された画像の輝度分布から輝度補正の目標量を決定する。また出力された対象画像の低周波数領域を特定し、対象画像に含まれる画素のうち、低周波数領域に含まれ、かつ輝度値が所定値以下の画素に対して、直近に決定された目標量で輝度補正を行い、補正後の対象画像を出力する。そして直近の目標量で補正された補正後の対象画像の輝度分布と、補正前の対象画像の輝度分布とから実効補正量を取得し、次の補正対象の画像についての輝度補正の目標量を、対象画像の輝度分布、及び直近の目標量に対する実効補正量の比率に応じて決定する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置、その制御方法、及びプログラムに関し、特に連続的に撮像された画像に対する輝度補正技術に関する。
【背景技術】
【０００２】
デジタルカメラやデジタルビデオカメラ等の撮像装置は、撮像して得られた画像に対して種々の画像処理を適用することにより、所望の状態に該画像を補正することができる。撮像装置において適用される補正処理には、例えば明るさ補正、階調補正、コントラスト補正等があり、多くの撮像装置では得られた画像の特徴を判断し、自動で、あるいは設定された撮影モード等に従って、これらの補正処理を適用している。
【０００３】
画像に対する補正処理が適用される例として、被写体の背景に光源が存在する逆光シーンがある。例えば主被写体である人物の背景に太陽が存在する逆光シーンでは、主被写体の撮像装置に対する面に陰影が生じ、輝度が低くなることがある。このような場合、ストロボ光を発光させ、背景が白飛びしない露出条件で撮影を行うことにより、主被写体の輝度を確保しつつ、被写体と明るい背景とが好適な状態の画像を得ることができる。しかしながら、人工光であるストロボ光を使用することで主被写体の輝度が不自然になる、あるいは主被写体と撮像装置との距離によってはストロボ光が届かず、逆に主被写体の輝度が低下して黒潰れてしまう場合がある。このため近年では、逆光シーンで撮影された画像に対して、輝度信号の階調補正を行う画像処理を適用することで、黒潰れ領域や白飛び領域を低減している。具体的には、各画素の信号レベル（明るさ）に応じて信号増幅率を変化させる、あるいは画素が属する信号レベルの範囲ごとに割り当てる階調を調整することにより補正は実行される。
【０００４】
しかしながら、このように画像の全画素について輝度補正を行なった場合、画像に含まれる被写体によっては次のような問題が生じることがある。図９（ａ）は、空と木とが撮影範囲に含まれる逆光シーンにおいて撮像された画像９０１を示している。画像９０１において、空に対応する領域は、木に対応する領域よりも輝度が高くなっており、また画像上部から下部に向けて輝度が緩やかに低下するグラデーション状の輝度変化を示している。このような画像の全画素に対して、上述したような信号レベルの範囲ごとに輝度を割り当てる輝度補正を行った場合、図９（ｂ）のような画像９０２が得られる。画像９０２において、輝度の高い空の領域と輝度の低い木の領域との境界部がぼやけている。これは木の周辺領域が、水平方向あるいは垂直方向において、輝度の低い木の枝葉を示す画素と輝度の高い空を示す画素とが頻繁に切り替わる、所謂高周波数成分の領域であるためである。所望の高周波成分領域の抽出において、明暗の境界付近に存在する各画素が輝度補正対象画素となるか非対象画素となるかは、領域抽出性能に依存する部分がある。本来補正対象とすべきでないある程度輝度レベルの高い画素が、補正すべき高周波成分領域として抽出され、さらに明るく補正されてしまうことで、境界部分に滲みのような現象が発生することがある。
【０００５】
ここで、低周波数成分の領域と高周波数成分の領域に対して輝度補正を行う場合の補正結果の差について、図１０を用いて説明する。図１０（ａ）には、全体的に低周波数成分を示す画像１０００と、全体的に高周波数成分を示す画像１０１０とが例示されている。画像１０００と画像１０１０とはそれぞれ、輝度分布の中心値が１８０である高輝度領域１００１及び１０１１と、輝度分布の中心値が３０である低輝度領域１００２及び１０１２とで構成されている。低輝度領域は、画像１０００では集合しているのに対し、画像１０１０の例では複数の低輝度領域が存在し、各領域間に高輝度領域が挟まれているため、画像１０１０は高周波数成分を示している。このとき、画像１０００における低輝度領域１００２の画素数と、画像１０１０における低輝度領域１０１２の総画素数とは同一であり、輝度分布は図１０（ｂ）に示すように同じになる。
【０００６】
このような画像１０００及び１０１０に対して、低輝度領域の輝度を持ち上げる輝度補正を適用した場合、処理後の両者の輝度分布変化には図１０（ｃ）に示されるように差が現れる。具体的には、例えば画像１０００の低輝度領域１００２の輝度分布の中心値が６０に上昇しているのに対し、画像１０１０の低輝度領域１０１２の輝度分布の中心値は４０までの上昇に留まっている。即ち、低輝度領域に対する輝度補正の効果は、該領域の周辺領域が低周波数成分の領域であるか高周波数成分の領域であるかによって、図１１に示されるように変化することになる。図１１は、輝度補正の目標量に対する実際に補正後の補正量が、低周波数成分の領域よりも高周波数成分の領域の方が小さい、即ち補正効果が低いことを示している。
【０００７】
一方、図９（ｂ）の画像９０２において、木の周辺領域以外の空の領域は、輝度が緩やかに切り替わる低周波数成分の領域であるため、エッジがぼやける等の問題は発生しない。しかしながら、画像９０２に示すように、信号レベルの範囲ごとの輝度の割り当てによってグラデーション状であった輝度変化が再現されなくなってしまう。特に輝度が高い領域では、該階調の割り当てによる輝度差が目立ちやすくなるため、補正後の画像は階調劣化が生じた印象をユーザに与えうる。
【０００８】
即ち、画像の高周波数成分の領域に対する輝度補正は、画像の解像感を低下させることになるため、該領域には輝度補正を適用しない、あるいは輝度補正の補正量を制限することが好ましい。また、画像のうちの高い輝度レベルを有する低周波数成分の領域に対する輝度補正は、画像の階調が劣化した印象をユーザに与えうるため、該領域に対する輝度補正も適用しない、あるいは補正量を制限することが好ましい。このため特許文献１のように、逆光シーンにおける低輝度領域の輝度補正を低周波数成分の領域に限定して適用する方法も提案されている。
【先行技術文献】
【特許文献】
【０００９】
【特許文献１】特開２００８−０７２６０４号公報
【発明の概要】
【発明が解決しようとする課題】
【００１０】
特許文献１のように、低い輝度レベルを有する低周波数成分の領域に輝度補正を行うためには、撮像により得られた画像信号に対して、例えば高速フーリエ変換を実行することにより低周波数成分の領域を抽出する必要がある。撮像装置において静止画像の撮影を行う場合、記録される静止画像については、例えば次のような手順で撮像回路及び補正回路において輝度補正が実行される。
【００１１】
１．撮像された画像信号を現像
２．現像した画像を輝度画像に変換
３．輝度画像から低周波数成分の領域を抽出
４．低周波数成分の領域の輝度レベルに基づいて、目標輝度補正量を決定
５．決定した目標輝度補正量で、現像した画像の低周波数成分の領域を輝度補正
６．輝度補正後の画像を記録
【００１２】
しかしながら、動画撮影時やライブビュー時等、連続的に撮像して得られた画像が順次補正回路に入力される場合は、入力された画像に対して順次輝度補正を実行して出力する必要がある。即ち、静止画像のように撮影指示から記録まで、他の画像が補正回路に入力される場合とは異なり、処理に時間的制約が設けられることになる。
【００１３】
例えば動画撮影時は、各フレームで、撮像して得られた画像から目標輝度補正量を決定する補正量決定処理と、撮像して得られた画像の低周波数成分の領域を目標輝度補正量で輝度補正してフレーム画像を記録する記録処理とを並行して実行する必要がある。このとき各処理は同時に別ラインで独立に行われる必要があるが、輝度画像から低周波数成分の領域の抽出回路を各ラインについて設けると、回路規模の増大や、コスト上昇、あるいは使用電力の増加につながるため現実的ではない。このため、上述した高周波数成分の領域に輝度補正を実行した場合の問題を考えると、記録処理のライン側に低周波数成分の領域の抽出回路を設ける必要がある。
【００１４】
なお、補正量決定処理のライン側に低周波数成分の領域の抽出回路を設け、補正量決定処理に用いた低周波数成分の領域を示す情報を保持して記録処理に使用する方法も考えられるが、次のような問題がある。補正量決定処理と記録処理とを同時に実行する場合、静止画像のように目標輝度補正量の決定後に補正処理を行うことは時間的制約により不可能であるため、決定された目標輝度補正量は次のフレーム以降のフレームでないと使用することができない。つまり、動画像のように被写体に動きがあることが想定される場合は、目標輝度補正量を用いて輝度補正を行う際に、補正量決定に用いたフレームと輝度補正を行うフレームとで低周波数成分の領域が変わる可能性がある。このため、上述したような、高周波数成分の領域に対する輝度補正を実行してしまい画質劣化を引き起こしてしまう可能性がある。
【００１５】
ところで、記録処理のライン側に低周波数成分の領域の抽出回路を設ける構成では、連続的に撮像して得られた画像を順次輝度補正する場合に、高周波数成分の領域も含む画素の輝度レベルに基づいて、目標輝度補正量を決定することになる。このように決定した目標輝度補正量で現像した画像の低周波数成分の領域について輝度補正を行った場合、過補正等、低周波数成分の領域について適切な補正がなされず、良好な画質の補正画像が出力されない可能性があった。
【００１６】
本発明は、上述の問題点に鑑みてなされたものであり、周波数成分を考慮せずに目標輝度補正量を決定する場合であっても、良好な輝度補正結果の画像を出力する撮像装置、その制御方法、及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【００１７】
前述の目的を達成するために、本発明の撮像装置は、以下の構成を備える。
被写体を撮像して得られた画像を順次出力する撮像手段と、撮像手段により出力された画像の輝度分布から輝度補正の目標量を決定する決定手段と、撮像手段により出力された対象画像の低周波数領域を特定する特定手段と、対象画像に含まれる画素のうち、特定手段により特定された低周波数領域に含まれ、かつ輝度値が所定値以下の画素に対して、直近に決定手段により決定された目標量で輝度補正を行う補正手段と、補正手段により直近の目標量で補正された補正後の対象画像の輝度分布と、補正前の対象画像の輝度分布とから実効補正量を取得する取得手段と、補正後の対象画像を出力する出力手段と、を有し、決定手段は、次の補正対象の画像についての輝度補正の目標量を、対象画像の輝度分布、及び直近の目標量に対する実効補正量の比率に応じて決定することを特徴とする。
【発明の効果】
【００１８】
このような構成により本発明によれば、周波数成分を考慮せずに目標輝度補正量を決定する場合であっても、良好な輝度補正結果の画像を出力することが可能となる。
【図面の簡単な説明】
【００１９】
【図１】本発明の実施形態に係るデジタルカメラ１００の機能構成を示したブロック図
【図２】本発明の実施形態に係るライブビュー処理のフローチャート
【図３】本発明の実施形態に係る輝度補正処理のフローチャート
【図４】本発明の実施形態に係るライブビュー処理の各処理のタイミングチャート
【図５】本発明の実施形態に係る輝度補正前後の輝度分布の例を示した図
【図６】本発明の実施形態に係る輝度補正による実効補正量を説明するための図
【図７】本発明の実施形態に係る適正露出との差分に応じた輝度補正の目標量の制御を説明するための図
【図８】本発明の実施形態に係る顔検出結果に応じた輝度補正の目標量の制御を説明するための図
【図９】画像の周波数成分ごとに、輝度補正の従来の問題点を説明するための図
【図１０】画像の周波数成分ごとに、輝度補正を例示するための図
【図１１】画像の周波数成分ごとに、輝度補正における目標量と実効補正量との関係を示した図
【発明を実施するための形態】
【００２０】
以下、本発明の例示的な実施形態について、図面を参照して詳細に説明する。なお、以下に説明する一実施形態は、撮像装置の一例としての、連続的に撮像して得られた画像に対して順次輝度補正を行うことが可能なデジタルカメラに、本発明を適用した例を説明する。しかし、本発明は、順次出力される画像に対して輝度補正を行うことが可能な任意の機器に適用可能である。
【００２１】
＜デジタルカメラ１００の機能構成＞
図１は、本発明の実施形態に係るデジタルカメラ１００の機能構成を示すブロック図である。
【００２２】
制御部１０１は、例えばＣＰＵであり、デジタルカメラ１００が有する各ブロックの動作を制御する。具体的には制御部１０１は、後述するライブビュー処理の動作プログラムをＲＯＭ１０２より読み出し、ＲＡＭ１０３に展開して実行することにより、各ブロックの動作を制御する。
【００２３】
ＲＯＭ１０２は、例えば書き換え可能な不揮発性メモリであり、ライブビュー処理の動作プログラムに加えて、デジタルカメラ１００が有する各ブロックの動作において必要となるパラメータ等の情報を記憶する。
【００２４】
ＲＡＭ１０３は、揮発性メモリであり、ライブビュー処理の動作プログラムの展開領域としてだけでなく、デジタルカメラ１００が有する各ブロックの動作において出力された中間データを一時的に記憶する格納領域としても用いられる。
【００２５】
なお、本実施形態ではハードウェアとしてデジタルカメラ１００が備える各ブロックにおいて処理が実現されるものとして説明するが、本発明の実施はこれに限らず、各ブロックの処理は該各ブロックと同様の処理を行うプログラムで実現されてもよい。
【００２６】
撮像部１０５は、例えばＣＣＤやＣＭＯＳセンサ等の撮像素子を有し、撮像光学系１０４により該撮像素子上に結像された光学像を光電変換する。撮像部１０５は、光電変換して得られたアナログ画像信号に対してＡ／Ｄ変換処理を適用し、得られたデジタル画像信号を画像処理部１０６に出力する。
【００２７】
画像処理部１０６は、入力されたデジタル画像信号に対して、色変換処理や輝度補正処理等を含む現像処理を実行し、後述する表示部１１０に表示されるライブビュー画面や、記録媒体１１１に記録する画像あるいは動画像のフレーム画像を生成する。画像処理部１０６は予め定められた低輝度とみなす範囲の輝度値を有する画素であって、低周波数成分の領域に属する画素を対象として輝度補正を行う。本実施形態では、画像処理部１０６は後述する補正領域抽出部１０８を有し、輝度補正の対象となる領域あるいは画素の情報を補正領域抽出部１０８より取得するものとする。
【００２８】
また画像処理部１０６は、現像処理時に輝度補正を行なった画像とは別に、輝度補正を行なっていない画像も生成する。輝度補正の目標量の情報は、後述する補正目標量決定部１０７が、輝度補正を行った画像及び行なっていない画像とから決定する。具体的には画像処理部１０６は、輝度補正の目標量の決定のために、輝度補正を行なった画像及び行なっていない画像の各々について輝度画像を生成する。そして画像処理部１０６は、輝度補正を行なった画像及び行なっていない画像の輝度画像を、補正目標量決定部１０７あるいは補正判定部１０９に出力する。
【００２９】
補正目標量決定部１０７は、画像処理部１０６における輝度補正についての補正の目標量（ＥＶ値）を決定する。具体的には補正目標量決定部１０７は、画像処理部１０６から入力された輝度補正を行なっていない画像の輝度画像について、低輝度とみなす予め定められた輝度範囲に含まれる輝度を有する画素数の情報を取得する。そして補正目標量決定部１０７は、低輝度画素の数に応じて輝度補正の目標量を決定する。補正目標量決定部１０７は、決定した輝度補正の目標量の情報を、例えばＲＡＭ１０３に出力して記憶させる。なお、低輝度とみなす予め定められた輝度範囲を示す情報は、それ以下の値を低輝度と判断する上限閾値であってよく、例えばＲＯＭ１０２に記憶されているものとする。
【００３０】
なお、デジタルカメラ１００が人物の顔領域を検出する顔検出機能を有する場合は、顔領域が適正露出となるような輝度補正の目標量が設定されることが好ましい。一方で、例えば人物が存在しない逆光シーンのように、低輝度領域が適正露出となるように輝度補正を行うと、かえって補正後の画像が不自然である印象をユーザに与える可能性がある。このため本実施形態では、後者のような状況を想定し、低輝度領域の画素数に応じて輝度補正の目標量を決定するものとして説明する。しかしながら、輝度補正の目標量の設定方法はこれに限られるものではなく、撮影モードやユーザ設定に応じて、適宜変更可能であってよい。
【００３１】
補正領域抽出部１０８は、画像処理部１０６において輝度補正を行う領域あるいは画素位置の情報を抽出する。具体的には補正領域抽出部１０８は、まず画像処理部１０６に入力されたデジタル画像信号に対して例えば高速フーリエ変換を実行することにより周波数成分を解析し、低周波数成分の領域（低周波数領域）を抽出する。なお、低周波数とみなす周波数帯の情報は例えばＲＯＭ１０２に記憶されているものとし、補正領域抽出部１０８は該情報を取得して低周波数領域を抽出する。そして補正領域抽出部１０８は、抽出された低周波数領域の画素について輝度成分を参照し、低輝度とみなす予め定められた輝度範囲に含まれる輝度を有する画素をさらに抽出する。補正領域抽出部１０８は、このようにして得られた、低周波数成分の領域に含まれる低輝度画素の位置情報を画像処理部１０６に出力する。
【００３２】
補正判定部１０９は、輝度補正の目標量と、該目標量での輝度補正後の画像における実際の補正量（実効補正量）とから、目標量による輝度補正を評価する。補正判定部１０９は、まず入力された輝度補正を行なった画像及び行なっていない画像の輝度画像から、輝度補正による実効補正量を解析する。そして補正判定部１０９は、輝度補正に用いられた補正の目標量と実効補正量とから、該目標量での輝度補正の結果が過補正であるか否かを判定し、輝度補正の目標量を調整する係数（目標量調整係数）を決定する。補正判定部１０９は、決定した目標量調整係数の情報を例えばＲＡＭ１０３に出力して記憶させる。このようにして決定された目標量調整係数は、補正目標量決定部１０７における輝度補正の目標量の決定にも用いられる。
【００３３】
表示部１１０は、例えば小型ＬＣＤ等のデジタルカメラ１００が有する表示装置である。後述する本実施形態のライブビュー処理において、表示部１１０には画像処理部１０６による輝度補正後の画像が表示される。具体的には画像処理部１０６における輝度補正が完了した後、制御部１０１の制御のもと、画像処理部１０６は補正後の画像を表示部１１０に出力する。表示部１１０は、入力された補正後の画像に対して、例えばＲＯＭ１０２に記憶されているＧＵＩデータ群から重畳するデータを読み出して重畳し、得られた画像を表示する制御を行う。
【００３４】
記録媒体１１１は、例えばデジタルカメラ１００が有する内蔵メモリや、メモリカードやＨＤＤ等のデジタルカメラ１００に着脱可能に接続される記録装置である。本実施形態では説明を省略するが、デジタルカメラ１００において動画像を撮影する場合、画像処理部１０６において輝度補正がなされた画像は、記録媒体１１１に記録される。なお、この場合、画像処理部１０６は輝度補正後の画像を動画像の記録形式に応じた符号化形式で符号化し、出力するものとする。
【００３５】
操作入力部１１２は、デジタルカメラ１００が有するレリーズボタンやメニューボタン等のユーザインタフェースである。操作入力部１１２は、デジタルカメラ１００が有する操作部材がユーザにより操作されたことを検出すると、該操作に対応する制御信号を制御部１０１に出力する。
【００３６】
＜ライブビュー処理＞
このような構成をもつ本実施形態のデジタルカメラ１００のライブビュー処理について、図２のフローチャートを用いて具体的な処理を説明する。該フローチャートに対応する処理は、制御部１０１が、例えばＲＯＭ１０２に記憶されている対応する処理プログラムを読み出し、ＲＡＭ１０３に展開して実行することにより実現することができる。なお、本ライブビュー処理は、例えばデジタルカメラ１００が撮影モードで起動された際に開始されるものとして説明する。
【００３７】
Ｓ２０１で、制御部１０１はＡＥ処理を実行し、露出条件の決定を行う。具体的には制御部１０１は、不図示の測光部に被写体を測光させ、得られた測光結果に応じて、シャッタースピード及び絞り値、感度設定等の露出条件を決定する。
【００３８】
Ｓ２０２で、制御部１０１は、撮像部１０５に被写体を撮像させる。具体的には制御部１０１は、Ｓ２０１で決定した露出条件に従って、撮像部１０５における露光及び撮像素子からのアナログ画像信号の読み出しを指示するタイミング信号を、不図示のタイミングジェネレータに生成させ、撮像部１０５に出力させる。撮像部１０５は、該タイミング信号に応じて露光及びアナログ画像信号の読み出しを行う。そして撮像部１０５は、アナログ画像信号にＡ／Ｄ変換処理を適用し、得られたデジタル画像信号を画像処理部１０６に出力する。
【００３９】
Ｓ２０２の後、制御部１０１は、以下のＳ２０３、Ｓ２０４、及びＳ２０５の処理を、それぞれ並列で実行する。
【００４０】
Ｓ２０３で、制御部１０１は、Ｓ２０１と同様にＡＥ処理を実行し、次の露出の露出条件の決定を行う。またＳ２０４で、制御部１０１は、例えばコントラスト検出方式のＡＦ処理を実行し、撮像光学系１０４に含まれる焦点レンズの駆動制御を行う。具体的には制御部１０１は、得られたデジタル画像信号について被写体のデフォーカス量を検出し、該デフォーカス量に応じて焦点レンズの駆動位置を決定し、不図示の焦点レンズ駆動部に焦点レンズを駆動位置に駆動させる。
【００４１】
またＳ２０５で、制御部１０１は、輝度補正処理を実行し、輝度補正の目標量の決定、及び輝度補正が適用された画像の表示部１１０への表示を行う。そして制御部１０１は、１フレーム時間におけるＳ２０３、Ｓ２０４、及びＳ２０５の処理が完了すると、処理をＳ２０２に戻し、次のフレームの露光を行う。
【００４２】
（輝度補正処理）
ここで、本実施形態の輝度補正処理について、図３のフローチャートを用いてさらに説明する。
【００４３】
Ｓ３０１で、制御部１０１は補正領域抽出部１０８に、画像処理部１０６に入力されたデジタル画像信号（対象画像）に含まれる画素のうち、輝度補正を行う画素を特定させる。具体的には補正領域抽出部１０８は、入力された輝度画像に対して高速フーリエ変換を実行して低周波数領域を特定する。さらに補正領域抽出部１０８は、特定した低周波数領域に含まれる画素のうち、輝度成分が所定値以下の画素を特定し、該画素を特定する情報を画像処理部１０６に出力する。
【００４４】
Ｓ３０２で、制御部１０１は、デジタル画像信号について画像処理部１０６に現像処理を実行させる。まず制御部１０１は、ライブビュー画像として表示部１１０に表示させる、輝度補正が適用された画像を画像処理部１０６に生成させる。具体的には制御部１０１は、ＲＡＭ１０３に記憶されている直近に決定された輝度補正の目標量の情報を取得し、画像処理部１０６に入力する。そして画像処理部１０６は、輝度補正の目標量に対応する、各画素の輝度成分に応じた補正量を決定するための補正カーブをＲＯＭ１０２より読み出す。画像処理部１０６は、Ｓ３０１で補正領域抽出部１０８により特定された補正対象の画素に対して、輝度補正の目標量に対応する補正カーブに従って決定した補正値で輝度補正を行う。また制御部１０１は、輝度補正が適用された画像とは別に、輝度補正が適用されていない画像を画像処理部１０６に生成させる。即ち、本ステップでは、画像処理部１０６は輝度補正が適用されている画像と適用されていない画像とを同時に生成する現像処理を行う。
【００４５】
Ｓ３０３で、制御部１０１は、Ｓ３０２で生成された輝度補正が適用された画像を画像処理部１０６から表示部１１０に伝送させ、ライブビュー画像として表示させる。
【００４６】
なお、Ｓ３０２の現像処理における輝度補正で用いられる輝度補正の目標量は、「直近に決定された輝度補正の目標量」となる。本実施形態では、連続的に撮像されて撮像部１０５から順次出力されるデジタル画像信号を、遅延を最小限にしてライブビュー画像として輝度補正を行なって提示する。このため、撮像部１０５により出力されたデジタル画像信号に対応した輝度補正の目標量の決定は、図４に示すように該デジタル画像信号に対応する画像に輝度補正を適用して得られた画像を表示するタイミングよりも後になる。即ち、Ｓ３０２の輝度補正に用いられる目標量は、撮像部１０５より出力されたデジタル画像信号よりも前に撮像されて得られたデジタル画像信号について、補正目標量決定部１０７により決定されてＲＡＭ１０３に記憶された最新の目標量となる。
【００４７】
図４では、垂直同期（ＶＤ）信号に応じて露光、撮像素子からのアナログ画像信号の読み出し、及び現像処理が実行された後に、輝度ヒストグラムの生成がなされ、輝度補正の目標量が決定されている。この例では、１つのフレームで撮像された画像について決定された輝度補正の目標量は、２つ後のフレームで撮像された画像についての輝度補正に用いられることを示している。しかしながら、決定された輝度補正の目標量が使用される補正対象の画像はこれに限らず、制御部１０１の処理速度、撮像素子の有効画素数、あるいは輝度ヒストグラム生成の対象とされる画素数に応じて変化させることが可能である。
【００４８】
なお、図４の例では、実際に撮像して得られたデジタル画像信号から輝度補正の目標量が決定されるまでは、輝度補正を行なっても補正前後の画像に変化がない値（ＥＶ＝０）が目標量として設定されるものとする。
【００４９】
Ｓ３０４で、制御部１０１は、Ｓ３０２で生成した輝度補正が適用された画像及び適用されていない画像の各々について、画素値を変換して輝度成分で構成される輝度画像を画像処理部１０６に生成させる。そして画像処理部１０６は、制御部１０１の制御のもと、輝度補正が適用されていない画像についての輝度画像を補正目標量決定部１０７に出力する。また画像処理部１０６は、制御部１０１の制御のもと、輝度補正が適用された画像についての輝度画像を補正判定部１０９に出力する。
【００５０】
Ｓ３０４の後、制御部１０１は、以下のＳ３０５〜Ｓ３０６の処理とＳ３０７〜Ｓ３０９の処理とを並列で実行する。Ｓ３０５〜Ｓ３０６の処理とＳ３０７〜Ｓ３０９の処理とは、処理の主体が異なっており、本実施形態では前者は補正目標量決定部１０７により実行され、後者は補正判定部１０９により実行される。
【００５１】
Ｓ３０５で、制御部１０１は、輝度補正が適用されていない画像についての輝度ヒストグラムを補正目標量決定部１０７に生成させる。具体的には補正目標量決定部１０７は、輝度画像の各画素の輝度値（０〜２５５）を参照して輝度画像の輝度分布を解析し、輝度ヒストグラムを生成する。なお、本ステップにおいて補正目標量決定部１０７は制御部１０１の制御のもと、生成した輝度補正が適用されていない画像の輝度ヒストグラムを、補正判定部１０９に出力する。
【００５２】
Ｓ３０６で、制御部１０１は、補正目標量決定部１０７に輝度補正の目標量を決定させる。具体的には補正目標量決定部１０７は、Ｓ３０５で生成した輝度ヒストグラムを参照し、低輝度とみなす所定値以下の輝度値を有する画素数に応じて、新たな輝度補正の目標量を決定する。
【００５３】
一方Ｓ３０７で、制御部１０１は、輝度補正が適用された画像についての輝度ヒストグラムを補正判定部１０９に生成させる。そして制御部１０１は、補正目標量決定部１０７より輝度補正が適用されていない画像についての輝度ヒストグラムを受信した場合は処理をＳ３０８に移す。
【００５４】
Ｓ３０８で、制御部１０１は補正判定部１０９に、輝度補正が適用された画像及び適用されていない画像それぞれの輝度ヒストグラムを比較させ、実効補正量を算出させる。本実施形態では、実効補正量を以下の方法で算出する。
【００５５】
（実効補正量の算出）
例えば、輝度補正が適用されていない画像の輝度ヒストグラムが図５（ａ）のようであった場合、補正判定部１０９は、予め定められた輝度値毎に、最低値０から該輝度値までの範囲に含まれる画素数を取得する。本実施形態では、予め定められた輝度値は図６のＹ１に示される値となっており、補正判定部１０９は、各輝度値までの範囲に含まれる画素数（ＰｉｘｅｌＮｕｍ）を取得する。
【００５６】
次に、補正判定部１０９は、輝度補正が適用された画像の輝度ヒストグラム（図５（ｂ））を参照し、最低値０からの累積画素数がＰｉｘｅｌＮｕｍになる（ＰｉｘｅｌＮｕｍを超える）輝度値（Ｙ２）を特定する。即ち、輝度補正前に特定の輝度範囲に分布していた画素が、輝度補正によってどの程度拡張された輝度範囲に分布することになったかを解析する。そして補正判定部１０９は、以下の式により予め定められた輝度値毎に輝度補正による実効補正量ΔＹを以下の式により算出する。
ΔＹ＝ｌｏｇ２（Ｙ２／Ｙ１）
【００５７】
このように実効補正量をＡＰＥＸ系で算出することにより、輝度補正の目標量であるＡＰＥＸ系のＥＶ値と比較が容易になる。
【００５８】
Ｓ３０９で、制御部１０１は補正判定部１０９に、Ｓ３０２の現像処理で用いた直近の輝度補正の目標量と実効補正量とから目標量調整係数を決定する。具体的には補正判定部１０９は、まず実効補正量が直近の輝度補正の目標量を超える、即ち、直近の輝度補正の目標量に対する実効補正量が１を超えるか否かを判断する。つまり、実効補正量が直近の輝度補正の目標量を超える場合は、輝度補正を実行することにより過補正が起きていることを示している。補正判定部１０９は、実効補正量が直近の輝度補正の目標量を超えると判断した場合は目標量調整係数を０に決定してＲＡＭ１０３に記憶させ、超えないと判断した場合は目標量調整係数を１に決定してＲＡＭ１０３に記憶させる。
【００５９】
Ｓ３１０で、制御部１０１は、目標量調整係数を反映した次の輝度補正に用いられる最終的な目標量を、補正目標量決定部１０７に決定させる。具体的には制御部１０１は、ＲＡＭ１０３より目標量調整係数を読み出して補正目標量決定部１０７に伝送する。そして補正目標量決定部１０７は、入力された目標量調整係数をＳ３０６で決定した新たな輝度補正の目標量に乗じて次の輝度補正の最終的な目標量を決定し、本輝度補正処理を完了する。即ち、過補正であるとＳ３０９で判断された場合は次の輝度補正の目標量は０となるため、輝度補正が行われないようになる。
【００６０】
このようにすることで、低周波数領域に限定せずに決定した目標量で輝度補正を行った場合であっても、輝度補正の結果が過補正であるか否かを判断することができる。そして過補正であると判断した場合は、輝度補正が実行されないように制御することができるため、過補正によって画質劣化した画像が連続して表示、あるいは記録されることを回避することができる。
【００６１】
なお、本実施形態では実効補正量が直近の輝度補正の目標量を超えると判断した場合に、次の輝度補正において補正がなされないように制御するものとして説明したが、本発明の実施はこれに限られるものではない。次の輝度補正の目標量の決定については、例えば以下のように変形して、あるいは以下の方法を組み合わせて制御を行なってもよい。
【００６２】
（１）過補正時には目標量を減少させる
過補正が生じる場合、補正判定部１０９は、目標量調整係数を１以下の値に決定することで、次の輝度補正の目標量を直近の目標量よりも小さい値に減少させてもよい。
【００６３】
（２）補正効果が見込めない場合は補正しない
直近の輝度補正の目標量に対する実効補正量の比率が、予め定められた閾値以下である場合は、画像に対して輝度補正を行なっても補正効果が見込めないと考えられる。この場合、補正判定部１０９は、目標量調整係数を０に決定することで、次の目標量を輝度補正が行われない値に制御してもよい。あるいは補正判定部１０９は、目標量調整係数を順次０に近づける値に決定することで、次の目標量を直近の目標量以下の値に制御してもよい。なお、輝度補正を行なっても補正効果が見込めない場合は、例えば画像に高周波数成分の領域が多い場合や、画像全体の輝度が高い場合等が考えられる。
【００６４】
（３）直近の輝度補正の目標量に対する実効補正量の比率に応じて目標量を制御
直近の輝度補正の目標量に対する実効補正量の比率が１ではない場合は、目標量で輝度補正を行なっても所望の補正結果が得られないことを示している。図１１に示したように、実効補正量が輝度補正の目標量と比例関係にあることを考慮すると、直近の輝度補正の目標量と実効補正量の差に応じて新たな目標量を決定することで、好適な補正結果に近づけられると考えられる。補正判定部１０９は、目標量調整係数を直近の輝度補正の目標量に対する実効補正量の逆数に決定することで、次の目標量を、好適な輝度補正結果に収束させる値に制御してもよい。
【００６５】
（４）適正露出との差分に応じて輝度補正の目標量を制御
上述したように、ライブビュー表示中や動画撮影時にはＡＥ処理が行われている。例えば被写体の変化や光源の変化等によって主被写体についての露出量Ｂｖが変化した場合、主被写体が適正露出から外れることがある。画像に含まれる主被写体の露出量が適正露出ではない場合、該画像内には白飛び領域や黒潰れ領域が含まれる可能性がある。即ち、適正露出に調整されていない画像に対応する輝度画像から輝度補正の目標量を決定したとしても、良好な補正結果を得ることができないと考えられる。このため補正判定部１０９は、例えば図７に示すように画像内の主被写体の露出量と適正露出との差分の絶対値が閾値以上である場合は、目標量調整係数を１に決定することで、輝度補正の目標量の変更を行わずに保持してもよい。図７の例では、主被写体の露出量と適正露出との差分の絶対値が１以上である間、輝度補正の目標量の変更を行わないように保持する例を示している。
【００６６】
（５）顔検出結果に応じて輝度補正の目標量を制御
デジタルカメラ１００が顔領域を検出する機能を有する場合は、顔領域が検出された画像については、該顔領域を適正露出とする輝度補正が行われる。これに対し、顔領域が検出されなかった画像については適正露出とする領域が特定できないため、上述した輝度分布の解析による輝度補正が行われる。しかしながら、人物の顔の向きによって顔領域の検出結果は変わることがある。即ち、顔領域が次のフレーム等、顔領域が検出された画像よりも後に撮像された画像について、顔領域が検出されない場合に輝度分布の解析による輝度補正を行なってしまうと、好適な補正結果が得られない可能性がある。あるいは、フレーム間で補正結果が異なるため、ユーザに画像がちらついているような印象を与えてしまう可能性がある。このため、補正判定部１０９は、図８に示すように顔領域が検出された後に撮像された画像において顔領域が検出されない場合は、輝度補正の目標量の変更を行わずに保持してもよい。
【００６７】
なお、目標量調整係数を加味して決定された次の輝度補正の目標量から直近の目標量への変化量によっては、輝度補正結果に急峻な輝度変化を引き起こし、ユーザに不快感を与えてしまう可能性がある。このため、次の輝度補正の目標量と直近の目標量との差分が、ユーザに不快感を与えない輝度変化として定められた所定値を超える場合、補正判定部１０９は次の輝度補正の目標量を該差分が所定値以下となる値に変更してもよい。
【００６８】
また、上述の図２のフローチャートでは便宜上、並列に実行されるＳ２０３、Ｓ２０４、及びＳ２０５の処理について、各ステップの処理が完了してから処理をＳ２０２に戻すものとして説明した。しかしながら、実際はライブビュー用の画像は撮像部１０５から順次出力されるため、例えば図４のように現像処理の開始から１フレーム時間経過した場合に強制的に処理をＳ２０２に戻してもよい。このとき、Ｓ２０５の輝度補正処理にＳ３０４以降の処理は、１フレーム時間経過後も継続して実行されることは言うまでもない。
【００６９】
以上説明したように、本実施形態の撮像装置は、周波数成分を考慮せずに目標輝度補正量を決定する場合であっても、良好な輝度補正結果の画像を出力することができる。具体的には撮像装置は、撮像により順次出力された画像の輝度分布から輝度補正の目標量を決定する。また出力された対象画像の低周波数領域を特定し、対象画像に含まれる画素のうち、低周波数領域に含まれ、かつ輝度値が所定値以下の画素に対して、直近に決定された目標量で輝度補正を行い、補正後の対象画像を出力する。そして直近の目標量で補正された補正後の対象画像の輝度分布と、補正前の対象画像の輝度分布とから実効補正量を取得し、次の補正対象の画像についての輝度補正の目標量を、対象画像の輝度分布、及び直近の目標量に対する実効補正量の比率に応じて決定する。
【００７０】
［その他の実施形態］
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
【技術分野】
【０００１】
本発明は、撮像装置、その制御方法、及びプログラムに関し、特に連続的に撮像された画像に対する輝度補正技術に関する。
【背景技術】
【０００２】
デジタルカメラやデジタルビデオカメラ等の撮像装置は、撮像して得られた画像に対して種々の画像処理を適用することにより、所望の状態に該画像を補正することができる。撮像装置において適用される補正処理には、例えば明るさ補正、階調補正、コントラスト補正等があり、多くの撮像装置では得られた画像の特徴を判断し、自動で、あるいは設定された撮影モード等に従って、これらの補正処理を適用している。
【０００３】
画像に対する補正処理が適用される例として、被写体の背景に光源が存在する逆光シーンがある。例えば主被写体である人物の背景に太陽が存在する逆光シーンでは、主被写体の撮像装置に対する面に陰影が生じ、輝度が低くなることがある。このような場合、ストロボ光を発光させ、背景が白飛びしない露出条件で撮影を行うことにより、主被写体の輝度を確保しつつ、被写体と明るい背景とが好適な状態の画像を得ることができる。しかしながら、人工光であるストロボ光を使用することで主被写体の輝度が不自然になる、あるいは主被写体と撮像装置との距離によってはストロボ光が届かず、逆に主被写体の輝度が低下して黒潰れてしまう場合がある。このため近年では、逆光シーンで撮影された画像に対して、輝度信号の階調補正を行う画像処理を適用することで、黒潰れ領域や白飛び領域を低減している。具体的には、各画素の信号レベル（明るさ）に応じて信号増幅率を変化させる、あるいは画素が属する信号レベルの範囲ごとに割り当てる階調を調整することにより補正は実行される。
【０００４】
しかしながら、このように画像の全画素について輝度補正を行なった場合、画像に含まれる被写体によっては次のような問題が生じることがある。図９（ａ）は、空と木とが撮影範囲に含まれる逆光シーンにおいて撮像された画像９０１を示している。画像９０１において、空に対応する領域は、木に対応する領域よりも輝度が高くなっており、また画像上部から下部に向けて輝度が緩やかに低下するグラデーション状の輝度変化を示している。このような画像の全画素に対して、上述したような信号レベルの範囲ごとに輝度を割り当てる輝度補正を行った場合、図９（ｂ）のような画像９０２が得られる。画像９０２において、輝度の高い空の領域と輝度の低い木の領域との境界部がぼやけている。これは木の周辺領域が、水平方向あるいは垂直方向において、輝度の低い木の枝葉を示す画素と輝度の高い空を示す画素とが頻繁に切り替わる、所謂高周波数成分の領域であるためである。所望の高周波成分領域の抽出において、明暗の境界付近に存在する各画素が輝度補正対象画素となるか非対象画素となるかは、領域抽出性能に依存する部分がある。本来補正対象とすべきでないある程度輝度レベルの高い画素が、補正すべき高周波成分領域として抽出され、さらに明るく補正されてしまうことで、境界部分に滲みのような現象が発生することがある。
【０００５】
ここで、低周波数成分の領域と高周波数成分の領域に対して輝度補正を行う場合の補正結果の差について、図１０を用いて説明する。図１０（ａ）には、全体的に低周波数成分を示す画像１０００と、全体的に高周波数成分を示す画像１０１０とが例示されている。画像１０００と画像１０１０とはそれぞれ、輝度分布の中心値が１８０である高輝度領域１００１及び１０１１と、輝度分布の中心値が３０である低輝度領域１００２及び１０１２とで構成されている。低輝度領域は、画像１０００では集合しているのに対し、画像１０１０の例では複数の低輝度領域が存在し、各領域間に高輝度領域が挟まれているため、画像１０１０は高周波数成分を示している。このとき、画像１０００における低輝度領域１００２の画素数と、画像１０１０における低輝度領域１０１２の総画素数とは同一であり、輝度分布は図１０（ｂ）に示すように同じになる。
【０００６】
このような画像１０００及び１０１０に対して、低輝度領域の輝度を持ち上げる輝度補正を適用した場合、処理後の両者の輝度分布変化には図１０（ｃ）に示されるように差が現れる。具体的には、例えば画像１０００の低輝度領域１００２の輝度分布の中心値が６０に上昇しているのに対し、画像１０１０の低輝度領域１０１２の輝度分布の中心値は４０までの上昇に留まっている。即ち、低輝度領域に対する輝度補正の効果は、該領域の周辺領域が低周波数成分の領域であるか高周波数成分の領域であるかによって、図１１に示されるように変化することになる。図１１は、輝度補正の目標量に対する実際に補正後の補正量が、低周波数成分の領域よりも高周波数成分の領域の方が小さい、即ち補正効果が低いことを示している。
【０００７】
一方、図９（ｂ）の画像９０２において、木の周辺領域以外の空の領域は、輝度が緩やかに切り替わる低周波数成分の領域であるため、エッジがぼやける等の問題は発生しない。しかしながら、画像９０２に示すように、信号レベルの範囲ごとの輝度の割り当てによってグラデーション状であった輝度変化が再現されなくなってしまう。特に輝度が高い領域では、該階調の割り当てによる輝度差が目立ちやすくなるため、補正後の画像は階調劣化が生じた印象をユーザに与えうる。
【０００８】
即ち、画像の高周波数成分の領域に対する輝度補正は、画像の解像感を低下させることになるため、該領域には輝度補正を適用しない、あるいは輝度補正の補正量を制限することが好ましい。また、画像のうちの高い輝度レベルを有する低周波数成分の領域に対する輝度補正は、画像の階調が劣化した印象をユーザに与えうるため、該領域に対する輝度補正も適用しない、あるいは補正量を制限することが好ましい。このため特許文献１のように、逆光シーンにおける低輝度領域の輝度補正を低周波数成分の領域に限定して適用する方法も提案されている。
【先行技術文献】
【特許文献】
【０００９】
【特許文献１】特開２００８−０７２６０４号公報
【発明の概要】
【発明が解決しようとする課題】
【００１０】
特許文献１のように、低い輝度レベルを有する低周波数成分の領域に輝度補正を行うためには、撮像により得られた画像信号に対して、例えば高速フーリエ変換を実行することにより低周波数成分の領域を抽出する必要がある。撮像装置において静止画像の撮影を行う場合、記録される静止画像については、例えば次のような手順で撮像回路及び補正回路において輝度補正が実行される。
【００１１】
１．撮像された画像信号を現像
２．現像した画像を輝度画像に変換
３．輝度画像から低周波数成分の領域を抽出
４．低周波数成分の領域の輝度レベルに基づいて、目標輝度補正量を決定
５．決定した目標輝度補正量で、現像した画像の低周波数成分の領域を輝度補正
６．輝度補正後の画像を記録
【００１２】
しかしながら、動画撮影時やライブビュー時等、連続的に撮像して得られた画像が順次補正回路に入力される場合は、入力された画像に対して順次輝度補正を実行して出力する必要がある。即ち、静止画像のように撮影指示から記録まで、他の画像が補正回路に入力される場合とは異なり、処理に時間的制約が設けられることになる。
【００１３】
例えば動画撮影時は、各フレームで、撮像して得られた画像から目標輝度補正量を決定する補正量決定処理と、撮像して得られた画像の低周波数成分の領域を目標輝度補正量で輝度補正してフレーム画像を記録する記録処理とを並行して実行する必要がある。このとき各処理は同時に別ラインで独立に行われる必要があるが、輝度画像から低周波数成分の領域の抽出回路を各ラインについて設けると、回路規模の増大や、コスト上昇、あるいは使用電力の増加につながるため現実的ではない。このため、上述した高周波数成分の領域に輝度補正を実行した場合の問題を考えると、記録処理のライン側に低周波数成分の領域の抽出回路を設ける必要がある。
【００１４】
なお、補正量決定処理のライン側に低周波数成分の領域の抽出回路を設け、補正量決定処理に用いた低周波数成分の領域を示す情報を保持して記録処理に使用する方法も考えられるが、次のような問題がある。補正量決定処理と記録処理とを同時に実行する場合、静止画像のように目標輝度補正量の決定後に補正処理を行うことは時間的制約により不可能であるため、決定された目標輝度補正量は次のフレーム以降のフレームでないと使用することができない。つまり、動画像のように被写体に動きがあることが想定される場合は、目標輝度補正量を用いて輝度補正を行う際に、補正量決定に用いたフレームと輝度補正を行うフレームとで低周波数成分の領域が変わる可能性がある。このため、上述したような、高周波数成分の領域に対する輝度補正を実行してしまい画質劣化を引き起こしてしまう可能性がある。
【００１５】
ところで、記録処理のライン側に低周波数成分の領域の抽出回路を設ける構成では、連続的に撮像して得られた画像を順次輝度補正する場合に、高周波数成分の領域も含む画素の輝度レベルに基づいて、目標輝度補正量を決定することになる。このように決定した目標輝度補正量で現像した画像の低周波数成分の領域について輝度補正を行った場合、過補正等、低周波数成分の領域について適切な補正がなされず、良好な画質の補正画像が出力されない可能性があった。
【００１６】
本発明は、上述の問題点に鑑みてなされたものであり、周波数成分を考慮せずに目標輝度補正量を決定する場合であっても、良好な輝度補正結果の画像を出力する撮像装置、その制御方法、及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【００１７】
前述の目的を達成するために、本発明の撮像装置は、以下の構成を備える。
被写体を撮像して得られた画像を順次出力する撮像手段と、撮像手段により出力された画像の輝度分布から輝度補正の目標量を決定する決定手段と、撮像手段により出力された対象画像の低周波数領域を特定する特定手段と、対象画像に含まれる画素のうち、特定手段により特定された低周波数領域に含まれ、かつ輝度値が所定値以下の画素に対して、直近に決定手段により決定された目標量で輝度補正を行う補正手段と、補正手段により直近の目標量で補正された補正後の対象画像の輝度分布と、補正前の対象画像の輝度分布とから実効補正量を取得する取得手段と、補正後の対象画像を出力する出力手段と、を有し、決定手段は、次の補正対象の画像についての輝度補正の目標量を、対象画像の輝度分布、及び直近の目標量に対する実効補正量の比率に応じて決定することを特徴とする。
【発明の効果】
【００１８】
このような構成により本発明によれば、周波数成分を考慮せずに目標輝度補正量を決定する場合であっても、良好な輝度補正結果の画像を出力することが可能となる。
【図面の簡単な説明】
【００１９】
【図１】本発明の実施形態に係るデジタルカメラ１００の機能構成を示したブロック図
【図２】本発明の実施形態に係るライブビュー処理のフローチャート
【図３】本発明の実施形態に係る輝度補正処理のフローチャート
【図４】本発明の実施形態に係るライブビュー処理の各処理のタイミングチャート
【図５】本発明の実施形態に係る輝度補正前後の輝度分布の例を示した図
【図６】本発明の実施形態に係る輝度補正による実効補正量を説明するための図
【図７】本発明の実施形態に係る適正露出との差分に応じた輝度補正の目標量の制御を説明するための図
【図８】本発明の実施形態に係る顔検出結果に応じた輝度補正の目標量の制御を説明するための図
【図９】画像の周波数成分ごとに、輝度補正の従来の問題点を説明するための図
【図１０】画像の周波数成分ごとに、輝度補正を例示するための図
【図１１】画像の周波数成分ごとに、輝度補正における目標量と実効補正量との関係を示した図
【発明を実施するための形態】
【００２０】
以下、本発明の例示的な実施形態について、図面を参照して詳細に説明する。なお、以下に説明する一実施形態は、撮像装置の一例としての、連続的に撮像して得られた画像に対して順次輝度補正を行うことが可能なデジタルカメラに、本発明を適用した例を説明する。しかし、本発明は、順次出力される画像に対して輝度補正を行うことが可能な任意の機器に適用可能である。
【００２１】
＜デジタルカメラ１００の機能構成＞
図１は、本発明の実施形態に係るデジタルカメラ１００の機能構成を示すブロック図である。
【００２２】
制御部１０１は、例えばＣＰＵであり、デジタルカメラ１００が有する各ブロックの動作を制御する。具体的には制御部１０１は、後述するライブビュー処理の動作プログラムをＲＯＭ１０２より読み出し、ＲＡＭ１０３に展開して実行することにより、各ブロックの動作を制御する。
【００２３】
ＲＯＭ１０２は、例えば書き換え可能な不揮発性メモリであり、ライブビュー処理の動作プログラムに加えて、デジタルカメラ１００が有する各ブロックの動作において必要となるパラメータ等の情報を記憶する。
【００２４】
ＲＡＭ１０３は、揮発性メモリであり、ライブビュー処理の動作プログラムの展開領域としてだけでなく、デジタルカメラ１００が有する各ブロックの動作において出力された中間データを一時的に記憶する格納領域としても用いられる。
【００２５】
なお、本実施形態ではハードウェアとしてデジタルカメラ１００が備える各ブロックにおいて処理が実現されるものとして説明するが、本発明の実施はこれに限らず、各ブロックの処理は該各ブロックと同様の処理を行うプログラムで実現されてもよい。
【００２６】
撮像部１０５は、例えばＣＣＤやＣＭＯＳセンサ等の撮像素子を有し、撮像光学系１０４により該撮像素子上に結像された光学像を光電変換する。撮像部１０５は、光電変換して得られたアナログ画像信号に対してＡ／Ｄ変換処理を適用し、得られたデジタル画像信号を画像処理部１０６に出力する。
【００２７】
画像処理部１０６は、入力されたデジタル画像信号に対して、色変換処理や輝度補正処理等を含む現像処理を実行し、後述する表示部１１０に表示されるライブビュー画面や、記録媒体１１１に記録する画像あるいは動画像のフレーム画像を生成する。画像処理部１０６は予め定められた低輝度とみなす範囲の輝度値を有する画素であって、低周波数成分の領域に属する画素を対象として輝度補正を行う。本実施形態では、画像処理部１０６は後述する補正領域抽出部１０８を有し、輝度補正の対象となる領域あるいは画素の情報を補正領域抽出部１０８より取得するものとする。
【００２８】
また画像処理部１０６は、現像処理時に輝度補正を行なった画像とは別に、輝度補正を行なっていない画像も生成する。輝度補正の目標量の情報は、後述する補正目標量決定部１０７が、輝度補正を行った画像及び行なっていない画像とから決定する。具体的には画像処理部１０６は、輝度補正の目標量の決定のために、輝度補正を行なった画像及び行なっていない画像の各々について輝度画像を生成する。そして画像処理部１０６は、輝度補正を行なった画像及び行なっていない画像の輝度画像を、補正目標量決定部１０７あるいは補正判定部１０９に出力する。
【００２９】
補正目標量決定部１０７は、画像処理部１０６における輝度補正についての補正の目標量（ＥＶ値）を決定する。具体的には補正目標量決定部１０７は、画像処理部１０６から入力された輝度補正を行なっていない画像の輝度画像について、低輝度とみなす予め定められた輝度範囲に含まれる輝度を有する画素数の情報を取得する。そして補正目標量決定部１０７は、低輝度画素の数に応じて輝度補正の目標量を決定する。補正目標量決定部１０７は、決定した輝度補正の目標量の情報を、例えばＲＡＭ１０３に出力して記憶させる。なお、低輝度とみなす予め定められた輝度範囲を示す情報は、それ以下の値を低輝度と判断する上限閾値であってよく、例えばＲＯＭ１０２に記憶されているものとする。
【００３０】
なお、デジタルカメラ１００が人物の顔領域を検出する顔検出機能を有する場合は、顔領域が適正露出となるような輝度補正の目標量が設定されることが好ましい。一方で、例えば人物が存在しない逆光シーンのように、低輝度領域が適正露出となるように輝度補正を行うと、かえって補正後の画像が不自然である印象をユーザに与える可能性がある。このため本実施形態では、後者のような状況を想定し、低輝度領域の画素数に応じて輝度補正の目標量を決定するものとして説明する。しかしながら、輝度補正の目標量の設定方法はこれに限られるものではなく、撮影モードやユーザ設定に応じて、適宜変更可能であってよい。
【００３１】
補正領域抽出部１０８は、画像処理部１０６において輝度補正を行う領域あるいは画素位置の情報を抽出する。具体的には補正領域抽出部１０８は、まず画像処理部１０６に入力されたデジタル画像信号に対して例えば高速フーリエ変換を実行することにより周波数成分を解析し、低周波数成分の領域（低周波数領域）を抽出する。なお、低周波数とみなす周波数帯の情報は例えばＲＯＭ１０２に記憶されているものとし、補正領域抽出部１０８は該情報を取得して低周波数領域を抽出する。そして補正領域抽出部１０８は、抽出された低周波数領域の画素について輝度成分を参照し、低輝度とみなす予め定められた輝度範囲に含まれる輝度を有する画素をさらに抽出する。補正領域抽出部１０８は、このようにして得られた、低周波数成分の領域に含まれる低輝度画素の位置情報を画像処理部１０６に出力する。
【００３２】
補正判定部１０９は、輝度補正の目標量と、該目標量での輝度補正後の画像における実際の補正量（実効補正量）とから、目標量による輝度補正を評価する。補正判定部１０９は、まず入力された輝度補正を行なった画像及び行なっていない画像の輝度画像から、輝度補正による実効補正量を解析する。そして補正判定部１０９は、輝度補正に用いられた補正の目標量と実効補正量とから、該目標量での輝度補正の結果が過補正であるか否かを判定し、輝度補正の目標量を調整する係数（目標量調整係数）を決定する。補正判定部１０９は、決定した目標量調整係数の情報を例えばＲＡＭ１０３に出力して記憶させる。このようにして決定された目標量調整係数は、補正目標量決定部１０７における輝度補正の目標量の決定にも用いられる。
【００３３】
表示部１１０は、例えば小型ＬＣＤ等のデジタルカメラ１００が有する表示装置である。後述する本実施形態のライブビュー処理において、表示部１１０には画像処理部１０６による輝度補正後の画像が表示される。具体的には画像処理部１０６における輝度補正が完了した後、制御部１０１の制御のもと、画像処理部１０６は補正後の画像を表示部１１０に出力する。表示部１１０は、入力された補正後の画像に対して、例えばＲＯＭ１０２に記憶されているＧＵＩデータ群から重畳するデータを読み出して重畳し、得られた画像を表示する制御を行う。
【００３４】
記録媒体１１１は、例えばデジタルカメラ１００が有する内蔵メモリや、メモリカードやＨＤＤ等のデジタルカメラ１００に着脱可能に接続される記録装置である。本実施形態では説明を省略するが、デジタルカメラ１００において動画像を撮影する場合、画像処理部１０６において輝度補正がなされた画像は、記録媒体１１１に記録される。なお、この場合、画像処理部１０６は輝度補正後の画像を動画像の記録形式に応じた符号化形式で符号化し、出力するものとする。
【００３５】
操作入力部１１２は、デジタルカメラ１００が有するレリーズボタンやメニューボタン等のユーザインタフェースである。操作入力部１１２は、デジタルカメラ１００が有する操作部材がユーザにより操作されたことを検出すると、該操作に対応する制御信号を制御部１０１に出力する。
【００３６】
＜ライブビュー処理＞
このような構成をもつ本実施形態のデジタルカメラ１００のライブビュー処理について、図２のフローチャートを用いて具体的な処理を説明する。該フローチャートに対応する処理は、制御部１０１が、例えばＲＯＭ１０２に記憶されている対応する処理プログラムを読み出し、ＲＡＭ１０３に展開して実行することにより実現することができる。なお、本ライブビュー処理は、例えばデジタルカメラ１００が撮影モードで起動された際に開始されるものとして説明する。
【００３７】
Ｓ２０１で、制御部１０１はＡＥ処理を実行し、露出条件の決定を行う。具体的には制御部１０１は、不図示の測光部に被写体を測光させ、得られた測光結果に応じて、シャッタースピード及び絞り値、感度設定等の露出条件を決定する。
【００３８】
Ｓ２０２で、制御部１０１は、撮像部１０５に被写体を撮像させる。具体的には制御部１０１は、Ｓ２０１で決定した露出条件に従って、撮像部１０５における露光及び撮像素子からのアナログ画像信号の読み出しを指示するタイミング信号を、不図示のタイミングジェネレータに生成させ、撮像部１０５に出力させる。撮像部１０５は、該タイミング信号に応じて露光及びアナログ画像信号の読み出しを行う。そして撮像部１０５は、アナログ画像信号にＡ／Ｄ変換処理を適用し、得られたデジタル画像信号を画像処理部１０６に出力する。
【００３９】
Ｓ２０２の後、制御部１０１は、以下のＳ２０３、Ｓ２０４、及びＳ２０５の処理を、それぞれ並列で実行する。
【００４０】
Ｓ２０３で、制御部１０１は、Ｓ２０１と同様にＡＥ処理を実行し、次の露出の露出条件の決定を行う。またＳ２０４で、制御部１０１は、例えばコントラスト検出方式のＡＦ処理を実行し、撮像光学系１０４に含まれる焦点レンズの駆動制御を行う。具体的には制御部１０１は、得られたデジタル画像信号について被写体のデフォーカス量を検出し、該デフォーカス量に応じて焦点レンズの駆動位置を決定し、不図示の焦点レンズ駆動部に焦点レンズを駆動位置に駆動させる。
【００４１】
またＳ２０５で、制御部１０１は、輝度補正処理を実行し、輝度補正の目標量の決定、及び輝度補正が適用された画像の表示部１１０への表示を行う。そして制御部１０１は、１フレーム時間におけるＳ２０３、Ｓ２０４、及びＳ２０５の処理が完了すると、処理をＳ２０２に戻し、次のフレームの露光を行う。
【００４２】
（輝度補正処理）
ここで、本実施形態の輝度補正処理について、図３のフローチャートを用いてさらに説明する。
【００４３】
Ｓ３０１で、制御部１０１は補正領域抽出部１０８に、画像処理部１０６に入力されたデジタル画像信号（対象画像）に含まれる画素のうち、輝度補正を行う画素を特定させる。具体的には補正領域抽出部１０８は、入力された輝度画像に対して高速フーリエ変換を実行して低周波数領域を特定する。さらに補正領域抽出部１０８は、特定した低周波数領域に含まれる画素のうち、輝度成分が所定値以下の画素を特定し、該画素を特定する情報を画像処理部１０６に出力する。
【００４４】
Ｓ３０２で、制御部１０１は、デジタル画像信号について画像処理部１０６に現像処理を実行させる。まず制御部１０１は、ライブビュー画像として表示部１１０に表示させる、輝度補正が適用された画像を画像処理部１０６に生成させる。具体的には制御部１０１は、ＲＡＭ１０３に記憶されている直近に決定された輝度補正の目標量の情報を取得し、画像処理部１０６に入力する。そして画像処理部１０６は、輝度補正の目標量に対応する、各画素の輝度成分に応じた補正量を決定するための補正カーブをＲＯＭ１０２より読み出す。画像処理部１０６は、Ｓ３０１で補正領域抽出部１０８により特定された補正対象の画素に対して、輝度補正の目標量に対応する補正カーブに従って決定した補正値で輝度補正を行う。また制御部１０１は、輝度補正が適用された画像とは別に、輝度補正が適用されていない画像を画像処理部１０６に生成させる。即ち、本ステップでは、画像処理部１０６は輝度補正が適用されている画像と適用されていない画像とを同時に生成する現像処理を行う。
【００４５】
Ｓ３０３で、制御部１０１は、Ｓ３０２で生成された輝度補正が適用された画像を画像処理部１０６から表示部１１０に伝送させ、ライブビュー画像として表示させる。
【００４６】
なお、Ｓ３０２の現像処理における輝度補正で用いられる輝度補正の目標量は、「直近に決定された輝度補正の目標量」となる。本実施形態では、連続的に撮像されて撮像部１０５から順次出力されるデジタル画像信号を、遅延を最小限にしてライブビュー画像として輝度補正を行なって提示する。このため、撮像部１０５により出力されたデジタル画像信号に対応した輝度補正の目標量の決定は、図４に示すように該デジタル画像信号に対応する画像に輝度補正を適用して得られた画像を表示するタイミングよりも後になる。即ち、Ｓ３０２の輝度補正に用いられる目標量は、撮像部１０５より出力されたデジタル画像信号よりも前に撮像されて得られたデジタル画像信号について、補正目標量決定部１０７により決定されてＲＡＭ１０３に記憶された最新の目標量となる。
【００４７】
図４では、垂直同期（ＶＤ）信号に応じて露光、撮像素子からのアナログ画像信号の読み出し、及び現像処理が実行された後に、輝度ヒストグラムの生成がなされ、輝度補正の目標量が決定されている。この例では、１つのフレームで撮像された画像について決定された輝度補正の目標量は、２つ後のフレームで撮像された画像についての輝度補正に用いられることを示している。しかしながら、決定された輝度補正の目標量が使用される補正対象の画像はこれに限らず、制御部１０１の処理速度、撮像素子の有効画素数、あるいは輝度ヒストグラム生成の対象とされる画素数に応じて変化させることが可能である。
【００４８】
なお、図４の例では、実際に撮像して得られたデジタル画像信号から輝度補正の目標量が決定されるまでは、輝度補正を行なっても補正前後の画像に変化がない値（ＥＶ＝０）が目標量として設定されるものとする。
【００４９】
Ｓ３０４で、制御部１０１は、Ｓ３０２で生成した輝度補正が適用された画像及び適用されていない画像の各々について、画素値を変換して輝度成分で構成される輝度画像を画像処理部１０６に生成させる。そして画像処理部１０６は、制御部１０１の制御のもと、輝度補正が適用されていない画像についての輝度画像を補正目標量決定部１０７に出力する。また画像処理部１０６は、制御部１０１の制御のもと、輝度補正が適用された画像についての輝度画像を補正判定部１０９に出力する。
【００５０】
Ｓ３０４の後、制御部１０１は、以下のＳ３０５〜Ｓ３０６の処理とＳ３０７〜Ｓ３０９の処理とを並列で実行する。Ｓ３０５〜Ｓ３０６の処理とＳ３０７〜Ｓ３０９の処理とは、処理の主体が異なっており、本実施形態では前者は補正目標量決定部１０７により実行され、後者は補正判定部１０９により実行される。
【００５１】
Ｓ３０５で、制御部１０１は、輝度補正が適用されていない画像についての輝度ヒストグラムを補正目標量決定部１０７に生成させる。具体的には補正目標量決定部１０７は、輝度画像の各画素の輝度値（０〜２５５）を参照して輝度画像の輝度分布を解析し、輝度ヒストグラムを生成する。なお、本ステップにおいて補正目標量決定部１０７は制御部１０１の制御のもと、生成した輝度補正が適用されていない画像の輝度ヒストグラムを、補正判定部１０９に出力する。
【００５２】
Ｓ３０６で、制御部１０１は、補正目標量決定部１０７に輝度補正の目標量を決定させる。具体的には補正目標量決定部１０７は、Ｓ３０５で生成した輝度ヒストグラムを参照し、低輝度とみなす所定値以下の輝度値を有する画素数に応じて、新たな輝度補正の目標量を決定する。
【００５３】
一方Ｓ３０７で、制御部１０１は、輝度補正が適用された画像についての輝度ヒストグラムを補正判定部１０９に生成させる。そして制御部１０１は、補正目標量決定部１０７より輝度補正が適用されていない画像についての輝度ヒストグラムを受信した場合は処理をＳ３０８に移す。
【００５４】
Ｓ３０８で、制御部１０１は補正判定部１０９に、輝度補正が適用された画像及び適用されていない画像それぞれの輝度ヒストグラムを比較させ、実効補正量を算出させる。本実施形態では、実効補正量を以下の方法で算出する。
【００５５】
（実効補正量の算出）
例えば、輝度補正が適用されていない画像の輝度ヒストグラムが図５（ａ）のようであった場合、補正判定部１０９は、予め定められた輝度値毎に、最低値０から該輝度値までの範囲に含まれる画素数を取得する。本実施形態では、予め定められた輝度値は図６のＹ１に示される値となっており、補正判定部１０９は、各輝度値までの範囲に含まれる画素数（ＰｉｘｅｌＮｕｍ）を取得する。
【００５６】
次に、補正判定部１０９は、輝度補正が適用された画像の輝度ヒストグラム（図５（ｂ））を参照し、最低値０からの累積画素数がＰｉｘｅｌＮｕｍになる（ＰｉｘｅｌＮｕｍを超える）輝度値（Ｙ２）を特定する。即ち、輝度補正前に特定の輝度範囲に分布していた画素が、輝度補正によってどの程度拡張された輝度範囲に分布することになったかを解析する。そして補正判定部１０９は、以下の式により予め定められた輝度値毎に輝度補正による実効補正量ΔＹを以下の式により算出する。
ΔＹ＝ｌｏｇ２（Ｙ２／Ｙ１）
【００５７】
このように実効補正量をＡＰＥＸ系で算出することにより、輝度補正の目標量であるＡＰＥＸ系のＥＶ値と比較が容易になる。
【００５８】
Ｓ３０９で、制御部１０１は補正判定部１０９に、Ｓ３０２の現像処理で用いた直近の輝度補正の目標量と実効補正量とから目標量調整係数を決定する。具体的には補正判定部１０９は、まず実効補正量が直近の輝度補正の目標量を超える、即ち、直近の輝度補正の目標量に対する実効補正量が１を超えるか否かを判断する。つまり、実効補正量が直近の輝度補正の目標量を超える場合は、輝度補正を実行することにより過補正が起きていることを示している。補正判定部１０９は、実効補正量が直近の輝度補正の目標量を超えると判断した場合は目標量調整係数を０に決定してＲＡＭ１０３に記憶させ、超えないと判断した場合は目標量調整係数を１に決定してＲＡＭ１０３に記憶させる。
【００５９】
Ｓ３１０で、制御部１０１は、目標量調整係数を反映した次の輝度補正に用いられる最終的な目標量を、補正目標量決定部１０７に決定させる。具体的には制御部１０１は、ＲＡＭ１０３より目標量調整係数を読み出して補正目標量決定部１０７に伝送する。そして補正目標量決定部１０７は、入力された目標量調整係数をＳ３０６で決定した新たな輝度補正の目標量に乗じて次の輝度補正の最終的な目標量を決定し、本輝度補正処理を完了する。即ち、過補正であるとＳ３０９で判断された場合は次の輝度補正の目標量は０となるため、輝度補正が行われないようになる。
【００６０】
このようにすることで、低周波数領域に限定せずに決定した目標量で輝度補正を行った場合であっても、輝度補正の結果が過補正であるか否かを判断することができる。そして過補正であると判断した場合は、輝度補正が実行されないように制御することができるため、過補正によって画質劣化した画像が連続して表示、あるいは記録されることを回避することができる。
【００６１】
なお、本実施形態では実効補正量が直近の輝度補正の目標量を超えると判断した場合に、次の輝度補正において補正がなされないように制御するものとして説明したが、本発明の実施はこれに限られるものではない。次の輝度補正の目標量の決定については、例えば以下のように変形して、あるいは以下の方法を組み合わせて制御を行なってもよい。
【００６２】
（１）過補正時には目標量を減少させる
過補正が生じる場合、補正判定部１０９は、目標量調整係数を１以下の値に決定することで、次の輝度補正の目標量を直近の目標量よりも小さい値に減少させてもよい。
【００６３】
（２）補正効果が見込めない場合は補正しない
直近の輝度補正の目標量に対する実効補正量の比率が、予め定められた閾値以下である場合は、画像に対して輝度補正を行なっても補正効果が見込めないと考えられる。この場合、補正判定部１０９は、目標量調整係数を０に決定することで、次の目標量を輝度補正が行われない値に制御してもよい。あるいは補正判定部１０９は、目標量調整係数を順次０に近づける値に決定することで、次の目標量を直近の目標量以下の値に制御してもよい。なお、輝度補正を行なっても補正効果が見込めない場合は、例えば画像に高周波数成分の領域が多い場合や、画像全体の輝度が高い場合等が考えられる。
【００６４】
（３）直近の輝度補正の目標量に対する実効補正量の比率に応じて目標量を制御
直近の輝度補正の目標量に対する実効補正量の比率が１ではない場合は、目標量で輝度補正を行なっても所望の補正結果が得られないことを示している。図１１に示したように、実効補正量が輝度補正の目標量と比例関係にあることを考慮すると、直近の輝度補正の目標量と実効補正量の差に応じて新たな目標量を決定することで、好適な補正結果に近づけられると考えられる。補正判定部１０９は、目標量調整係数を直近の輝度補正の目標量に対する実効補正量の逆数に決定することで、次の目標量を、好適な輝度補正結果に収束させる値に制御してもよい。
【００６５】
（４）適正露出との差分に応じて輝度補正の目標量を制御
上述したように、ライブビュー表示中や動画撮影時にはＡＥ処理が行われている。例えば被写体の変化や光源の変化等によって主被写体についての露出量Ｂｖが変化した場合、主被写体が適正露出から外れることがある。画像に含まれる主被写体の露出量が適正露出ではない場合、該画像内には白飛び領域や黒潰れ領域が含まれる可能性がある。即ち、適正露出に調整されていない画像に対応する輝度画像から輝度補正の目標量を決定したとしても、良好な補正結果を得ることができないと考えられる。このため補正判定部１０９は、例えば図７に示すように画像内の主被写体の露出量と適正露出との差分の絶対値が閾値以上である場合は、目標量調整係数を１に決定することで、輝度補正の目標量の変更を行わずに保持してもよい。図７の例では、主被写体の露出量と適正露出との差分の絶対値が１以上である間、輝度補正の目標量の変更を行わないように保持する例を示している。
【００６６】
（５）顔検出結果に応じて輝度補正の目標量を制御
デジタルカメラ１００が顔領域を検出する機能を有する場合は、顔領域が検出された画像については、該顔領域を適正露出とする輝度補正が行われる。これに対し、顔領域が検出されなかった画像については適正露出とする領域が特定できないため、上述した輝度分布の解析による輝度補正が行われる。しかしながら、人物の顔の向きによって顔領域の検出結果は変わることがある。即ち、顔領域が次のフレーム等、顔領域が検出された画像よりも後に撮像された画像について、顔領域が検出されない場合に輝度分布の解析による輝度補正を行なってしまうと、好適な補正結果が得られない可能性がある。あるいは、フレーム間で補正結果が異なるため、ユーザに画像がちらついているような印象を与えてしまう可能性がある。このため、補正判定部１０９は、図８に示すように顔領域が検出された後に撮像された画像において顔領域が検出されない場合は、輝度補正の目標量の変更を行わずに保持してもよい。
【００６７】
なお、目標量調整係数を加味して決定された次の輝度補正の目標量から直近の目標量への変化量によっては、輝度補正結果に急峻な輝度変化を引き起こし、ユーザに不快感を与えてしまう可能性がある。このため、次の輝度補正の目標量と直近の目標量との差分が、ユーザに不快感を与えない輝度変化として定められた所定値を超える場合、補正判定部１０９は次の輝度補正の目標量を該差分が所定値以下となる値に変更してもよい。
【００６８】
また、上述の図２のフローチャートでは便宜上、並列に実行されるＳ２０３、Ｓ２０４、及びＳ２０５の処理について、各ステップの処理が完了してから処理をＳ２０２に戻すものとして説明した。しかしながら、実際はライブビュー用の画像は撮像部１０５から順次出力されるため、例えば図４のように現像処理の開始から１フレーム時間経過した場合に強制的に処理をＳ２０２に戻してもよい。このとき、Ｓ２０５の輝度補正処理にＳ３０４以降の処理は、１フレーム時間経過後も継続して実行されることは言うまでもない。
【００６９】
以上説明したように、本実施形態の撮像装置は、周波数成分を考慮せずに目標輝度補正量を決定する場合であっても、良好な輝度補正結果の画像を出力することができる。具体的には撮像装置は、撮像により順次出力された画像の輝度分布から輝度補正の目標量を決定する。また出力された対象画像の低周波数領域を特定し、対象画像に含まれる画素のうち、低周波数領域に含まれ、かつ輝度値が所定値以下の画素に対して、直近に決定された目標量で輝度補正を行い、補正後の対象画像を出力する。そして直近の目標量で補正された補正後の対象画像の輝度分布と、補正前の対象画像の輝度分布とから実効補正量を取得し、次の補正対象の画像についての輝度補正の目標量を、対象画像の輝度分布、及び直近の目標量に対する実効補正量の比率に応じて決定する。
【００７０】
［その他の実施形態］
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
【特許請求の範囲】
【請求項１】
被写体を撮像して得られた画像を順次出力する撮像手段と、
前記撮像手段により出力された画像の輝度分布から輝度補正の目標量を決定する決定手段と、
前記撮像手段により出力された対象画像の低周波数領域を特定する特定手段と、
前記対象画像に含まれる画素のうち、前記特定手段により特定された前記低周波数領域に含まれ、かつ輝度値が所定値以下の画素に対して、直近に前記決定手段により決定された目標量で輝度補正を行う補正手段と、
前記補正手段により前記直近の目標量で補正された補正後の前記対象画像の輝度分布と、補正前の前記対象画像の輝度分布とから実効補正量を取得する取得手段と、
前記補正後の対象画像を出力する出力手段と、を有し、
前記決定手段は、次の補正対象の画像についての輝度補正の目標量を、前記対象画像の輝度分布、及び前記直近の目標量に対する前記実効補正量の比率に応じて決定する
ことを特徴とする撮像装置。
【請求項２】
前記決定手段は、前記直近の目標量に対する前記実効補正量の比率の逆数を、前記対象画像の輝度分布から決定された輝度補正の目標量に乗じて得られた値を、次の目標量とすることを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記決定手段は、前記直近の目標量に対する前記実効補正量の比率が閾値以下である場合は、前記直近の目標量以下の値に前記次の目標量を決定することを特徴とする請求項１または２に記載の撮像装置。
【請求項４】
前記決定手段は、前記次の目標量と前記直近の目標量の差分が所定値以下になる値に前記次の目標量を決定することを特徴とする請求項１乃至３のいずれか１項に記載の撮像装置。
【請求項５】
前記決定手段は、前記直近の目標量に対する前記実効補正量の比率が１を超える場合に、前記次の目標量を前記補正手段による輝度補正が行われない値に決定することを特徴とする請求項１乃至３のいずれか１項に記載の撮像装置。
【請求項６】
前記決定手段は、前記直近の目標量に対する前記実効補正量の比率が１を超える場合に、前記次の目標量を前記直近の目標量よりも小さい値に決定することを特徴とする請求項１乃至３のいずれか１項に記載の撮像装置。
【請求項７】
前記決定手段は、前記直近の補正量での補正後の対象画像における主被写体の露出量と、予め定められた適正露出との差の絶対値が閾値以上である場合に、前記次の目標量を前記補正手段による輝度補正が行われない値に決定することを特徴とする請求項１乃至６のいずれか１項に記載の撮像装置。
【請求項８】
前記撮像手段により出力された画像について、顔領域を検出する顔検出手段をさらに有し、
前記決定手段は、前記顔検出手段により顔領域が検出された画像より後に前記撮像手段により出力された画像について前記顔検出手段により顔領域が検出されない場合に、輝度補正の目標量を、前記顔領域が検出された画像について決定した目標量と同じ値にする
ことを特徴とする請求項１乃至７のいずれか１項に記載の撮像装置。
【請求項９】
撮像装置の撮像手段が、被写体を撮像して得られた画像を順次出力する撮像工程と、
前記撮像装置の決定手段が、前記撮像工程において出力された画像の輝度分布から輝度補正の目標量を決定する決定工程と、
前記撮像装置の特定手段が、前記撮像工程において出力された対象画像の低周波数領域を特定する特定工程と、
前記撮像装置の補正手段が、前記対象画像に含まれる画素のうち、前記特定工程において特定された前記低周波数領域に含まれ、かつ輝度値が所定値以下の画素に対して、直近に前記決定工程において決定された目標量で輝度補正を行う補正工程と、
前記撮像装置の取得手段が、前記補正工程において前記直近の目標量で補正された補正後の前記対象画像の輝度分布と、補正前の前記対象画像の輝度分布とから実効補正量を取得する取得工程と、
前記撮像装置の出力手段が、前記補正後の対象画像を出力する出力工程と、を有し、
前記決定手段は前記決定工程において、次の補正対象の画像についての輝度補正の目標量を、前記対象画像の輝度分布、及び前記直近の目標量に対する前記実効補正量の比率に応じて決定する
ことを特徴とする撮像装置の制御方法。
【請求項１０】
コンピュータを、請求項１乃至８のいずれか１項に記載の撮像装置の撮像手段以外の各手段として機能させるためのプログラム。
【請求項１】
被写体を撮像して得られた画像を順次出力する撮像手段と、
前記撮像手段により出力された画像の輝度分布から輝度補正の目標量を決定する決定手段と、
前記撮像手段により出力された対象画像の低周波数領域を特定する特定手段と、
前記対象画像に含まれる画素のうち、前記特定手段により特定された前記低周波数領域に含まれ、かつ輝度値が所定値以下の画素に対して、直近に前記決定手段により決定された目標量で輝度補正を行う補正手段と、
前記補正手段により前記直近の目標量で補正された補正後の前記対象画像の輝度分布と、補正前の前記対象画像の輝度分布とから実効補正量を取得する取得手段と、
前記補正後の対象画像を出力する出力手段と、を有し、
前記決定手段は、次の補正対象の画像についての輝度補正の目標量を、前記対象画像の輝度分布、及び前記直近の目標量に対する前記実効補正量の比率に応じて決定する
ことを特徴とする撮像装置。
【請求項２】
前記決定手段は、前記直近の目標量に対する前記実効補正量の比率の逆数を、前記対象画像の輝度分布から決定された輝度補正の目標量に乗じて得られた値を、次の目標量とすることを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記決定手段は、前記直近の目標量に対する前記実効補正量の比率が閾値以下である場合は、前記直近の目標量以下の値に前記次の目標量を決定することを特徴とする請求項１または２に記載の撮像装置。
【請求項４】
前記決定手段は、前記次の目標量と前記直近の目標量の差分が所定値以下になる値に前記次の目標量を決定することを特徴とする請求項１乃至３のいずれか１項に記載の撮像装置。
【請求項５】
前記決定手段は、前記直近の目標量に対する前記実効補正量の比率が１を超える場合に、前記次の目標量を前記補正手段による輝度補正が行われない値に決定することを特徴とする請求項１乃至３のいずれか１項に記載の撮像装置。
【請求項６】
前記決定手段は、前記直近の目標量に対する前記実効補正量の比率が１を超える場合に、前記次の目標量を前記直近の目標量よりも小さい値に決定することを特徴とする請求項１乃至３のいずれか１項に記載の撮像装置。
【請求項７】
前記決定手段は、前記直近の補正量での補正後の対象画像における主被写体の露出量と、予め定められた適正露出との差の絶対値が閾値以上である場合に、前記次の目標量を前記補正手段による輝度補正が行われない値に決定することを特徴とする請求項１乃至６のいずれか１項に記載の撮像装置。
【請求項８】
前記撮像手段により出力された画像について、顔領域を検出する顔検出手段をさらに有し、
前記決定手段は、前記顔検出手段により顔領域が検出された画像より後に前記撮像手段により出力された画像について前記顔検出手段により顔領域が検出されない場合に、輝度補正の目標量を、前記顔領域が検出された画像について決定した目標量と同じ値にする
ことを特徴とする請求項１乃至７のいずれか１項に記載の撮像装置。
【請求項９】
撮像装置の撮像手段が、被写体を撮像して得られた画像を順次出力する撮像工程と、
前記撮像装置の決定手段が、前記撮像工程において出力された画像の輝度分布から輝度補正の目標量を決定する決定工程と、
前記撮像装置の特定手段が、前記撮像工程において出力された対象画像の低周波数領域を特定する特定工程と、
前記撮像装置の補正手段が、前記対象画像に含まれる画素のうち、前記特定工程において特定された前記低周波数領域に含まれ、かつ輝度値が所定値以下の画素に対して、直近に前記決定工程において決定された目標量で輝度補正を行う補正工程と、
前記撮像装置の取得手段が、前記補正工程において前記直近の目標量で補正された補正後の前記対象画像の輝度分布と、補正前の前記対象画像の輝度分布とから実効補正量を取得する取得工程と、
前記撮像装置の出力手段が、前記補正後の対象画像を出力する出力工程と、を有し、
前記決定手段は前記決定工程において、次の補正対象の画像についての輝度補正の目標量を、前記対象画像の輝度分布、及び前記直近の目標量に対する前記実効補正量の比率に応じて決定する
ことを特徴とする撮像装置の制御方法。
【請求項１０】
コンピュータを、請求項１乃至８のいずれか１項に記載の撮像装置の撮像手段以外の各手段として機能させるためのプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図１１】
【図９】
【図１０】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図１１】
【図９】
【図１０】
【公開番号】特開２０１３−６２６８９（Ｐ２０１３−６２６８９Ａ）
【公開日】平成２５年４月４日（２０１３．４．４）
【国際特許分類】
【出願番号】特願２０１１−１９９９３８（Ｐ２０１１−１９９９３８）
【出願日】平成２３年９月１３日（２０１１．９．１３）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
【公開日】平成２５年４月４日（２０１３．４．４）
【国際特許分類】
【出願日】平成２３年９月１３日（２０１１．９．１３）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
[ Back to top ]