撮像装置およびその制御方法
【課題】 ノイズの増加を抑制しながら広ダイナミックレンジの画像を得ることが可能な撮像装置及びその制御方法を提供する。
【解決手段】 画像の白飛び量に基づいて、白飛び量を低減させるためのダイナミックレンジ拡大量を決定する。そして、ダイナミックレンジ拡大量に基づいて低減させた感度で撮像を行い、感度低減による撮像画像の明るさの低下を補正することにより、ダイナミックレンジが拡大された画像を得る。ダイナミックレンジ拡大量に基づく感度の低減は、感度設定を優先し、感度設定のみでは実現ができない場合には露出条件の変更を組み合わせる。
【解決手段】 画像の白飛び量に基づいて、白飛び量を低減させるためのダイナミックレンジ拡大量を決定する。そして、ダイナミックレンジ拡大量に基づいて低減させた感度で撮像を行い、感度低減による撮像画像の明るさの低下を補正することにより、ダイナミックレンジが拡大された画像を得る。ダイナミックレンジ拡大量に基づく感度の低減は、感度設定を優先し、感度設定のみでは実現ができない場合には露出条件の変更を組み合わせる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置およびその制御方法に関する。
【背景技術】
【０００２】
従来、ＣＣＤイメージセンサやＣＭＯＳイメージセンサなどの撮像素子を用いたデジタルカメラやデジタルビデオが広く用いられている。しかし、これらの撮像素子は銀塩フィルムと比較してダイナミックスレンジ（ラチチュード）が狭い。そのため、高コントラストのシーンを撮像すると、低輝度部分の階調性悪化（黒つぶれ）や高輝度部分の階調性悪化（白飛び）が発生しやすかった。
【０００３】
このような問題に対し、自動的にダイナミックスレンジをコントロール可能なシステムが提案されている。
【０００４】
例えば特許文献１では、撮像された画像から、主要被写体が逆光又はハイコントラストであると検出された場合には、画像のヒストグラムから黒色飽和点及び白色飽和点を特定し、主要被写体の明るさが適正となるように階調補正を行うことが提案されている。
【０００５】
また、特許文献２では、高感度の受光素子と低感度の受光素子を配置した撮像素子を用い、同一シーンを異なる感度の受光素子で撮像してダイナミックレンジの異なる２種類の画像を取得し、それらをシーン解析結果に応じて合成することが提案されている。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００５−２０９０１２号公報
【特許文献２】特開２００４−１８６８７６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかし、特許文献１の方法では、コントラスト感を高めるための効果はあるものの、センサーが飽和するポイントは変わらないため、ダイナミックレンジを拡げる効果は得られない。また、入力に対して出力が大きくなるように階調補正すると、ノイズ成分も同時に増幅してしまうという問題があった。
【０００８】
また、特許文献２の方法では、ダイナミックレンジを拡げる効果は得られるが、感度の低い受光素子の出力と感度の高い受光素子の出力とを合成するため、感度の低い受光素子の出力を加算する際にノイズ成分も加算されてしまう。そのため、画質劣化が生じるという問題があった。
【０００９】
本発明はこのような従来技術の課題に鑑みてなされたものであり、ノイズの増加を抑制しながら広ダイナミックレンジの画像を得ることが可能な撮像装置及びその制御方法を提供することを目的の１つとする。
【課題を解決するための手段】
【００１０】
上述の目的は、撮像素子を用いて撮像された画像から、当画像の白飛び量を算出する白飛び量算出手段と、白飛び量の大きさに基づいて、白飛び量を低減するためのダイナミックレンジ拡大量を決定するＤレンジ拡大量決定手段と、ダイナミックレンジ拡大量に応じた撮像感度の低減量と、当低減された撮像感度で撮像された画像の明るさを補正するための補正量とを決定する補正量決定手段と、撮像感度の低減量を実現する撮像条件を設定する設定手段であって、撮像感度の設定により低減量の実現が可能である場合には、低減量を実現する撮像感度を撮像条件として設定し、撮像感度の設定により低減量が実現できない場合には、可能な範囲で低減した撮像感度と、当撮像感度との組み合わせにより低減量を実現する露出条件とを撮像条件として設定する設定手段と、撮像素子を用い、設定手段が設定した撮像条件に従って撮像を行う撮像制御手段と、撮像制御手段で撮像された画像の明るさを、補正量に従って補正する補正手段とを有することを特徴とする撮像装置によって達成される。
【００１１】
また、上述の目的は、撮像素子を用いて撮像された画像から、当画像の白飛び量を算出する白飛び量算出ステップと、白飛び量の大きさに基づいて、白飛び量を低減するためのダイナミックレンジ拡大量を決定するＤレンジ拡大量決定ステップと、ダイナミックレンジ拡大量に応じた撮像感度の低減量と、当低減された撮像感度で撮像された画像の明るさを補正するための補正量とを決定する補正量決定ステップと、撮像感度の低減量を実現する撮像条件を設定する設定ステップであって、撮像感度の設定により低減量の実現が可能である場合には、低減量を実現する撮像感度を撮像条件として設定し、撮像感度の設定により低減量が実現できない場合には、可能な範囲で低減した撮像感度と、当撮像感度との組み合わせにより低減量を実現する露出条件とを撮像条件として設定する設定ステップと、撮像素子を用い、設定ステップで設定された撮像条件に従って撮像を行う撮像制御ステップと、撮像制御ステップにおいて撮像された画像の明るさを、補正量に従って補正する補正ステップとを有することを特徴とする撮像装置の制御方法によっても達成される。
【発明の効果】
【００１２】
このような構成により、本発明によれば、ノイズの増加を抑制しながら広ダイナミックレンジの画像を得ることが可能となる。
【図面の簡単な説明】
【００１３】
【図１】本発明の実施形態に係る撮像装置の構成例を示すブロック図である。
【図２】原画像から顔が検出される過程を模式的に示した図である。
【図３】本発明の実施形態に係る撮像装置の顔検出回路における顔検出動作を説明するためのフローチャートである。
【図４】ＣＩＥ−Ｌ＊ａ＊ｂ＊色空間における代表色を示した色度図である。
【図５】本発明の実施形態に係る撮像装置の顔検出回路が用いる２次元ハイパスフィルタの係数の例を示す図である。
【図６】本発明の実施形態に係る撮像装置のＡＦＥ回路の構成例を示すブロック図である。
【図７】本発明の実施形態に係る撮像装置のヒストグラム作成回路が作成するヒストグラムの例を模式的に示す図である。
【図８】本発明の実施形態に係る撮像装置における、撮像スタンバイ時の信号処理の流れを示したブロック図である。
【図９】本発明の実施形態に係る撮像装置における、ダイナミックレンジ（Ｄレンジ）拡大量の決定動作を説明するためのフローチャートである。
【図１０】本発明の実施形態に係る撮像装置において、顔領域のＤレンジ拡大量と画像全体のＤレンジ拡大量の大きさに応じて最終的に決定するＤレンジ拡大量の具体例を示す図である。
【図１１】本発明の実施形態に係る撮像装置におけるＤレンジの概念図を表す図である。
【図１２】本発明の実施形態に係る撮像装置における、ＡＥ目標値、飽和信号値およびＤレンジの関係例を示す図である。
【図１３】本発明の実施形態に係る撮像装置の信号処理回路におけるガンマ補正特性の設定例を示す図である。
【図１４】本発明の実施形態に係る撮像装置における、Ｄレンジ拡大時の本撮像処理の動作を説明するフローチャートである。
【発明を実施するための形態】
【００１４】
以下、添付図面を参照して、本発明を例示的な実施形態に基づき詳細に説明する。
図１は、本発明の実施形態に係る撮像装置の構成例を示すブロック図である。本実施形態の撮像装置は、撮像素子を用いて画像を撮像する機能を有する任意の装置を包含する。このような装置は、デジタルスチルカメラおよびデジタルビデオカメラはもとより、カメラを内蔵または接続した携帯電話、ＰＤＡ、パーソナルコンピュータなどを含む。
【００１５】
図１において、操作部１１２は、ボタン、スイッチなどを含み、ユーザが撮像装置に指示を与えたり、設定を行ったりするために用いられる。シャッターボタンも操作部１１２に含まれ、本実施形態ではシャッターボタンの半押し状態と全押し状態とを検出可能であるものとする。
【００１６】
システムコントローラ１０７は、シャッターボタンの半押し状態を撮像準備開始指示、全押し状態を撮像開始指示として認識する。システムコントローラ１０７は、例えば、ＣＰＵ、ＲＯＭ、ＲＡＭなどを含み、ＲＯＭに記憶されたプログラムをＲＡＭを用いてＣＰＵが実行することにより、撮像装置の動作全般を制御する。
【００１７】
レンズ装置２００は、フォーカスレンズを含むレンズ群と、フォーカスレンズを駆動する駆動装置と、絞りと、メカニカルシャッターとを有し、システムコントローラ１０７の制御に基づいて動作する。
【００１８】
撮像素子１０１はＣＣＤイメージセンサ、ＣＭＯＳイメージセンサなどの光電変換素子である。アナログフロントエンド（ＡＦＥ）回路１５０は、撮像素子１０１から出力されるアナログ画像信号に対してゲイン調整やＡ／Ｄ変換などを行い、デジタル画像信号として出力する。ＡＦＥ回路１５０の詳細については後述する。
【００１９】
バッファメモリ１０３は、ＡＦＥ回路１５０が出力するデジタル画像信号を一時的に記憶する。
圧縮・伸長回路１０４は、撮像画像データを記録用の画像ファイル（例えばＪＰＥＧファイル）の形式に符号化したり、記録媒体１０６から読み出された画像ファイルの復号化を行ったりする。
【００２０】
記録装置１０５は、内蔵メモリや、着脱可能なメモリカードのような記録媒体１０６に対し、システムコントローラ１０７の制御に従ってデータの読み書きを行う。
表示制御回路１０８は、システムコントローラ１０７の制御に従い、ＬＣＤなどの表示デバイスを有する表示部１１０への表示動作を制御する。
Ｄ／Ａコンバータ１０９は、表示制御回路１０８が出力する表示用のデジタル画像信号を表示部１１０が表示可能なアナログ画像信号に変換する。
【００２１】
表示部１１０は、撮像した画像の表示はもとより、ユーザが撮像装置に対して各種の設定や指示を行うためのＧＵＩ画面や、撮像装置に関する各種情報などの表示を行う。また、連続的に撮像した画像を表示部１１０に逐次表示することにより、表示部１１０を電子ビューファインダ（ＥＶＦ）として機能させることができる。この、表示部１１０をＥＶＦとして機能させるための逐次撮像・表示動作は、スルー表示、ライブビュー表示とも呼ばれる。
【００２２】
顔検出回路１２０は、バッファメモリ１０３に記憶された、ＹＵＶ形式またはＲＡＷ形式の画像データに対して顔検出処理を行い、画像中の顔領域の大きさ、位置を含む顔検出結果をヒストグラム作成回路１３０に出力する。
【００２３】
顔検出回路１２０が用いる顔検出方法に特に制限はなく、任意かつ公知の方法を適用することができる。公知の顔検出技術としては、ニューラルネットワークなどを利用した学習に基づく手法、テンプレートマッチングを用いて目、鼻、口等の形状に特徴のある部位を画像から探し出し、類似度が高ければ顔とみなす手法などがある。また、他にも、肌の色や目の形といった画像特徴量を検出し、統計的解析を用いた手法等、多数提案されている。これらの手法を複数組み合わせ、顔検出の精度を向上させることもできる。具体的な例としては特開２００２−２５１３８０号公報に記載のウェーブレット変換と画像特徴量を利用して顔検出する方法などが挙げられる。
【００２４】
ここで、図２〜図４を参照して、顔検出回路１２０の具体的な顔検出動作例について説明する。
図２は、原画像から顔が検出される過程を模式的に示した図であり、図２（ａ）が原画像を示している。
【００２５】
図３は、顔検出回路１２０の顔検出動作を説明するためのフローチャートである。
Ｓ１０１で顔検出回路１２０は原画像から、肌色領域を抽出する。図４は、ＣＩＥ−Ｌ＊ａ＊ｂ＊色空間における代表色を示した色度図であり、その中の楕円は、肌色である可能性が高い領域である。
顔検出回路１２０は、ＲＧＢ形式の原画像データを公知の方法でＬ＊ａ＊ｂ＊形式に変換し、図４の楕円で示した領域内の色度を有する画素からなる肌色領域を抽出する。図２（ｂ）は、原画像から抽出された肌色領域を模式的に示している。
【００２６】
次に、Ｓ１０２で顔検出回路１２０は、抽出した肌色領域から高周波成分を抽出する。具体的には、顔検出回路１２０は、肌色領域に対してハイパスフィルタを適用する。図５は、２次元ハイパスフィルタの係数の例を示す図である。図２（ｂ）の画像にハイパスフィルタを適用した画像の例を図２（ｃ）に示す。
【００２７】
Ｓ１０３で顔検出回路１２０は、ハイパスフィルタを適用後の画像に対し、図２（ｄ）二示すように目のテンプレートを用いたテンプレートマッチングを行い、画像中における目の検出を行う。
Ｓ１０４で顔検出回路１２０は、Ｓ１０３で検出した目の領域の位置関係などに基づいて顔領域を判定し、顔領域の位置や大きさ等を含んだ顔検出結果を求める。
【００２８】
図１に戻って、ヒストグラム作成回路１３０は、顔領域の検出結果を顔検出回路１２０から取得し、顔領域に含まれる画素の輝度値に関するヒストグラムを作成する。ヒストグラム作成回路１３０はまた、画像を複数に分割した部分領域毎に、含まれる画素の輝度値のヒストグラムも作成することが可能である。作成したヒストグラムはバッファメモリ１０３に格納する。
【００２９】
信号処理回路１４０は、システムコントローラ１０７によって設定される信号処理パラメータ（ホワイトバランス補正係数やガンマパラメータなど）に従って、バッファメモリ１０３に格納されている画像データに対して信号処理を適用する。そして、信号処理回路１４０は、ＹＵＶ形式の画像データを生成し、再びバッファメモリ１０３に格納する。
【００３０】
後述するように、本実施形態の撮像装置は、ＡＦＥ回路１５０における感度調整（ゲイン調整）と、信号処理回路１４０におけるガンマ補正とによって、ダイナミックレンジの拡大を実現する。
【００３１】
図６は、ＡＦＥ回路１５０の構成例を示すブロック図である。
クランプ回路１５１は、撮像素子１０１から出力された信号を、センサーの遮光レベルまたは基準電圧領域の出力値が０となるよう、基準黒レベルにクランプする。
ＣＤＳゲイン回路１５２は、クランプされた信号に対し、ＣＤＳゲイン（アナログゲイン）を適用する。一般的なＡＦＥ回路で適用されるＣＤＳゲインは０，３，６［ｄＢ］といった離散的な値を有する。
【００３２】
アナログゲインが適用された信号は、Ａ／Ｄコンバータ１５３でデジタルデータに変換される。次に、可変利得増幅器（ＶＧＡ）ゲイン回路１５４が、デジタルデータに対してＶＧＡゲインを適用する。本実施形態において、ＶＧＡゲインの値は、例えば０〜３６ｄＢの範囲で、０．１２５ｄＢ単位で調整可能であるとする。ＶＧＡゲインが適用された信号は、クリップ回路１５５で所定のビット数にクリップしてバッファメモリ１０３へ出力する。
【００３３】
本実施形態において、撮像装置の撮像感度（ＩＳＯ感度）設定は、ＡＦＥ回路１５０で適用するＣＤＳゲインおよびＶＧＡゲインの値をシステムコントローラ１０７によって制御することにより実現される。
【００３４】
また、基準光量の光で撮像装置を照射し、撮像装置から一定の輝度信号値が出力されるようにＣＤＳゲインおよびＶＧＡゲインを制御することにより、撮像素子１０１の感度特性のバラツキを補正する感度調整を行うことができる。
【００３５】
本実施形態において、感度設定はＣＤＳゲインとＶＧＡゲインの組み合わせて行う。例えば低感度時に全体で６ｄＢのゲインを設定する場合、例えばＣＤＳゲインを３ｄＢ、ＶＧＡゲインを３ｄＢに設定する。また高感度時に２４ｄＢのゲインを設定する場合には、例えばＣＤＳゲインを６ｄＢ、ＶＧＡゲインを１８ｄＢに設定する。上述の通り、一般にＣＤＳゲインは細かい設定ができないため、大まかなゲインを前段のＣＤＳゲインで設定し、感度調整部分など微妙な感度コントロールを行うためにＶＧＡゲインをコントロールする。
【００３６】
一般的に、ゲイン回路は信号成分と同時にノイズ成分も増幅させる。そのため、アナログ回路で重畳するノイズ成分が増幅されることを抑制するために、合計のゲイン量を実現できるＣＤＳゲインとＶＧＡゲインの組み合わせにおいて、前段のＣＤＳゲインをなるべく高めに設定することが好ましい。そのような設定により、Ａ／Ｄコンバータ１５３の量子化精度を最大限に有効利用可能となるという効果も実現できる。
【００３７】
次に、上述の構成を有する撮像装置における、撮像時の動作について説明する。
撮像モードで動作しており、撮像準備指示や撮像開始指示が入力されていないスタンバイ時において、本実施形態の撮像装置は、表示部１１０をＥＶＦとして機能させている。すなわち、システムコントローラ１０７は、所定のレート（例えば３０フレーム／秒）で連続的に撮像し、撮像した画像から表示用画像を生成して、表示部１１０に表示させる処理を実行している。
【００３８】
顔検出の実行が設定されている場合、顔検出回路１２０は表示用画像（以下、ＥＶＦ画像とも呼ぶ）に対して顔検出し、検出結果をシステムコントローラ１０７に出力する。そして、システムコントローラ１０７は、検出された顔領域をユーザに提示するための顔枠をＥＶＦ画像に重畳表示するよう、顔領域の位置情報とともに表示制御回路１０８に対して指示する。
【００３９】
また、顔検出結果はヒストグラム作成回路１３０にも供給され、ヒストグラム作成回路１３０はＥＶＦ画像中の顔領域に含まれる画素からヒストグラムを作成する。また、ヒストグラム作成回路１３０は、画像全体を複数に分割した領域ごとのヒストグラムを作成することもできる。作成したヒストグラムはバッファメモリ１０３に格納される。
【００４０】
図７は、本実施形態においてヒストグラム作成回路１３０が作成するヒストグラムの例を模式的に示す図である。
図７において、画像全体を縦横それぞれ４等分して得られる部分領域７１の各々についてのヒストグラム７３と、顔領域７２についてのヒストグラム７４がそれぞれ作成されることを示している。なお、図７におけるヒストグラム７３，７４は累積ヒストグラムである。なお、部分領域についてヒストグラムを作成する際、顔領域を除外してもよい。そうすることで、顔領域とそれ以外（背景）とのヒストグラムを作成することができる。
【００４１】
本実施形態において、部分領域７１の累積ヒストグラム７３において、頻度８０％となる輝度値ＹＨｉと、顔領域７２の累積ヒストグラム７４において頻度９０％となる輝度値ＹＨｉＦａｃｅは、後述するように、撮像画像の白飛び領域の評価に用いられる。
【００４２】
ユーザがシャッターボタンを全押しして撮像開始指示が入力されると、システムコントローラ１０７は、自動露出制御（ＡＥ）、自動焦点検出（ＡＦ）などの処理結果に基づく撮像動作を行う。具体的には、システムコントローラ１０７は、レンズ装置２００の焦点位置や絞り、メカニカルシャッター、撮像素子１０１、さらに必要に応じてフラッシュ（図示せず）などを制御し、撮像する。
【００４３】
撮像素子１０１から出力されるアナログ画像信号は、上述したＡＦＥ回路１５０を通じて、デジタル画像データとしてバッファメモリ１０３に格納される。このデジタル画像データに対し、信号処理回路１４０は、システムコントローラ１０７から設定された様々な信号処理パラメータに従って処理し、ＹＵＶ形式の画像データを生成して、バッファメモリ１０３に再度格納する。
【００４４】
信号処理回路１４０で処理された画像データは、圧縮・伸長回路１０４によって例えばＪＰＥＧ形式のファイルに符号化され、記録装置１０５によって記録媒体１０６に記録される。
【００４５】
また、表示制御回路１０８は、バッファメモリ１０３に格納されたＹＵＶ形式の画像データから表示用の画像を生成し、クイックレビュー画像として、Ｄ／Ａコンバータ１０９を通じて表示部１１０に表示させる。
【００４６】
図８は、本実施形態の撮像装置における、撮像スタンバイ時の信号処理の流れを示したブロック図である。上述の通り、撮像スタンバイ時において、本実施形態の撮像装置は表示部１１０をＥＶＦとして機能させるための連続的な撮像及び表示を行っている。
【００４７】
撮像素子１０１から出力されたアナログ画像信号は、ＡＦＥ回路１５０によりゲイン調整（感度調整）及びデジタルデータ化される。そして、このＲＡＷ形式の画像データに対して信号処理回路１４０にて画素補間処理やホワイトバランス補正などの所謂現像処理を行い、ＹＵＶ形式のデジタル画像データを生成する。
【００４８】
このデジタル画像データは、バッファメモリ１０３の表示用領域（通称ＶＲＡＭ）１０３ａに格納され、表示制御回路１０８およびＤ／Ａコンバータ１０９を通じて表示部１１０に出力される。
【００４９】
一方、信号処理回路１４０が生成したデジタル画像データは、バッファメモリ１０３の画像解析用領域（画像解析用バッファ）１０３ｂにも格納される。画像解析用バッファ１０３ｂに格納された画像データは、顔検出回路１２０による顔検出および、ヒストグラム作成回路１３０によるヒストグラム作成に用いられる。なお、画像解析用バッファ１０３ｂには、全てのＥＶＦ画像データが格納される必要はなく、顔検出及びヒストグラム作成を行う周期に応じた一部のＥＶＦ画像データが格納される。
【００５０】
顔検出回路１２０は、画像解析用バッファ１０３ｂに格納されている画像データに対して顔検出を行い、顔が検出された場合には、顔領域を特定可能な情報（例えば位置及び大きさ）を含んだ顔検出結果を出力する。
【００５１】
ヒストグラム作成回路１３０は、画像解析用バッファ１０３ｂに格納されている画像データと、顔検出回路１２０からの顔検出結果とに基づいて、ヒストグラムを作成する。上述の通り、ヒストグラム作成回路１３０は、顔領域についての顔領域ヒストグラム１３０ａと、画像全体を分割した領域画像ごとの分割領域ヒストグラム１３０ｂとを作成することができる。
【００５２】
分割領域ヒストグラム１３０ｂは、画像全体について、顔領域を含んだ領域画像毎に作成することも、顔領域を除外した領域画像毎に求めることもできる。前者は処理が容易であるが、白飛びしている領域が顔領域か背景領域かを精度良く検出するためには、後者が好ましい。
【００５３】
上述のように、表示部１１０をＥＶＦとして機能させている間は、連続的に撮像が繰り返され、ＶＲＡＭは短時間で書き換えられてしまう。一般に、顔検出やヒストグラムの作成に要する時間は、ＥＶＦ画像の表示周期（例えば１／３０秒）よりも長い。そのため、本実施形態では、ＶＲＡＭの他に画像解析用バッファ１０３ｂを設け、画像解析用バッファ１０３ｂに格納されている画像データに対する顔検出およびヒストグラム作成が終了するまでは、画像解析用バッファ１０３ｂを更新しない。
【００５４】
この構成により、同一ＥＶＦ画像に対して顔検出及びヒストグラム作成を行うことが可能になり、画像解析を容易かつ高精度に行うことが可能となる。もちろん、ＥＶＦ画像の各フレームに対して顔検出及びヒストグラム作成が可能であれば実行しても構わないが、一般にはフレーム毎に撮像シーンが大幅に変化する可能性は低いため、各フレームに対して実行しなくてもよい。
【００５５】
図９は、本実施形態の撮像装置におけるダイナミックレンジ拡大量（Ｄレンジ拡大量）の決定動作を説明するためのフローチャートである。
本実施形態では、ＥＶＦ画像に対する顔検出結果及びヒストグラム作成結果に基づいて撮像画像における白飛び量を求め、白飛び量に応じてＤレンジ拡大量を決定する。そして、ＥＶＦ画像を用いて予め決定しておいたＤレンジ拡大量を用いて、本撮像時の露出や感度を調整する。
【００５６】
Ｓ２０１で、システムコントローラ１０７は、上述のように連続的に撮像を行い、ＥＶＦ画像を生成させ、信号処理回路１４０から順次バッファメモリ１０３の表示用領域１０３ａに格納させる。また、予め定めた周期で、ＥＶＦ画像をバッファメモリ１０３の画像解析用領域１０３ｂにも格納させる。
【００５７】
Ｓ２０２で顔検出回路１２０は、画像解析用バッファ１０３ｂに格納されたＥＶＦ画像に対して顔検出を行う。
顔検出に成功した場合（Ｓ２０３，Ｙ）、ヒストグラム作成回路１３０は、顔検出回路１２０からの顔検出結果に基づいてＥＶＦ画像の顔領域から顔領域ヒストグラムを作成する（Ｓ２０４）。
Ｓ２０５で、白飛び量算出手段としてのシステムコントローラ１０７は、顔領域のヒストグラムから、顔領域の白飛び量を算出する。
【００５８】
顔検出に失敗した場合（Ｓ２０３，Ｎ）および、顔領域の白飛び量の算出後、Ｓ２０６で、ヒストグラム作成回路１３０は、ＥＶＦ画像全体を分割した領域画像ごとの分割領域ヒストグラムを作成する。
【００５９】
Ｓ２０７で、システムコントローラ１０７は、分割領域ヒストグラムからＥＶＦ画像全体における白飛び量を算出する。
Ｓ２０８で、Ｄレンジ拡大量決定手段としてのシステムコントローラ１０７は、少なくともＳ２０７で求めた画像全体における白飛び量に基づいて、Ｄレンジ拡大量を決定する。
【００６０】
次に、図９のＳ２０５及びＳ２０７でシステムコントローラ１０７が行う白飛び量の算出処理の具体例を説明する。
まず、顔領域の白飛び量の算出処理について説明する。
Ｓ２０５で、システムコントローラ１０７は、Ｓ２０４で作成された顔領域ヒストグラムから、顔領域の白飛び量として、累積ヒストグラムの累積頻度が所定値（図７の例では９０％）となる輝度値ＹＨｉＦａｃｅを算出する。
【００６１】
そして、Ｓ２０８で、システムコントローラ１０７は、顔領域の白飛び量ＹＨｉＦａｃｅの値と、予め定めたしきい値との大小関係に応じて、顔領域のＤレンジ拡大量（Ｄ＋（顔））を決定する。
【００６２】
具体的には、例えば、予め定めたしきい値を、大きい値から順にＴＨＨｉＦａｃｅ、ＴＨＭｉｄＦａｃｅ、ＴＨＬｏｗＦａｃｅの３段階とすると、
Ｄ＋（顔）＝補正レベル１段 （ＹＨｉＦａｃｅ＞ＴＨＨｉＦａｃｅの場合）
Ｄ＋（顔）＝補正レベル２／３段 （ＴＨＨｉＦａｃｅ≧ＹＨｉＦａｃｅ＞ＴＨＭｉｄＦａｃｅの場合）
Ｄ＋（顔）＝補正レベル１／３段 （ＴＨＭｉｄＦａｃｅ≧ＹＨｉＦａｃｅ＞ＴＨＬｏｗＦａｃｅの場合）
Ｄ＋（顔）＝補正レベル０段 （ＴＨＬｏｗＦａｃｅ≧ＹＨｉＦａｃｅの場合）
と決定する。
【００６３】
またＳ２０６で、システムコントローラ１０７は、Ｓ２０６で作成された分割領域ヒストグラムの各々について、部分領域の白飛び量として、累積ヒストグラムの累積頻度が所定値（図７の例では８０％）となる輝度値ＹＨｉ＿ｎ（ｎは１〜分割数。図７の例では１６）を算出する。
【００６４】
Ｓ２０７で、システムコントローラ１０７は、輝度値ＹＨｉ＿ｎが、予め定められたしきい値Ｙ＿Ｂ＿Ｔｈを超えた領域の数ＹＨ＿ＢＮｕｍをカウントする。そして、システムコントローラ１０７は、領域の数ＹＨ＿ＢＮｕｍと、予め定めたしきい値との大小関係に応じて、画像全体のＤレンジ拡大量（Ｄ＋（背景））を決定する。
【００６５】
具体的には、例えば、予め定めたしきい値を、大きい値から順にＴｈＹＨ＿ＢＮｕｍＨｉ，ＴｈＹＨ＿ＢＮｕｍＭｉｄ、ＴｈＹＨ＿ＢＮｕｍＬｏｗとすると、
Ｄ＋（背景）＝補正レベル１段 （ＹＨ＿ＢＮｕｍ＞ＴｈＹＨ＿ＢＮｕｍＨｉの場合）
Ｄ＋（背景）＝補正レベル２／３段 （ＴｈＹＨ＿ＢＮｕｍＨｉ≧ＹＨ＿ＢＮｕｍ＞ＴｈＹＨ＿ＢＮｕｍＭｉｄの場合）
Ｄ＋（背景）＝補正レベル１／３段 （ＴｈＹＨ＿ＢＮｕｍＭｉｄ≧ＹＨ＿ＢＮｕｍ＞ＴｈＹＨ＿ＢＮｕｍＬｏｗの場合）
Ｄ＋（背景）＝補正レベル０段 （ＴｈＹＨ＿ＢＮｕｍＬｏｗ≧ＹＨ＿ＢＮｕｍの場合）
と決定する。
【００６６】
つまり、システムコントローラ１０７は、画像中の白飛び領域の面積が多いほど、大きなＤレンジ拡大量を決定する。
なお、白飛び領域の決定方法はここで説明した累積ヒストグラムを用いた手法に限定されず、他の任意の手法を用いることができる。
【００６７】
Ｓ２０８で、システムコントローラ１０７は、最終的なＤレンジ拡大量を決定する。ここで、顔検出が成功している場合、Ｄレンジ拡大量決定手段としてのシステムコントローラ１０７は、Ｓ２０５およびＳ２０７で決定したＤレンジ拡大量を比較して、最終的なＤレンジ拡大量を決定する。例えば、システムコントローラ１０７は、顔領域のＤレンジ拡大量と画像全体のＤレンジ拡大量のうち、拡大量が大きいほうを最終的なＤレンジ拡大量として決定することができる。
【００６８】
あるいは、操作部１１２に含まれるモードダイヤルなどにより設定されている撮像モードに応じて顔領域のＤレンジ拡大量と画像全体のＤレンジ拡大量の一方を最終的なＤレンジ拡大量として決定してもよい。例えば、人物の撮像モード（例えばポートレートモード）の場合には、顔領域のＤレンジ拡大量を、風景の撮像モード（例えば風景モード）の場合には、画像全体のＤレンジ拡大量をそれぞれ最終的なＤレンジ拡大量として決定することができる。
【００６９】
また、モードダイヤルなどで予め設定されている撮像モードだけでなく、シーン判別結果に応じて自動的に選択された撮像モードに応じて選択されている場合などにおいても同様に決定することができる。
【００７０】
また、顔領域のＤレンジ拡大量と画像全体のＤレンジ拡大量の一方を選択して最終的なＤレンジ拡大量として決定するだけでなく、顔領域のＤレンジ拡大量と画像全体のＤレンジ拡大量の大きさに応じて最終的なＤレンジ拡大量を決定することもできる。
【００７１】
図１０は、顔領域のＤレンジ拡大量と画像全体のＤレンジ拡大量の大きさに応じて最終的に決定するＤレンジ拡大量の具体例を示す図である。
図１０に示す例では、撮像モード毎に、最終的に決定されるＤレンジ拡大量の値を変えている。例えば、顔領域のＤレンジ拡大量が１／３段、画像全体のＤレンジ拡大量が０／３段の場合、最終的なＤレンジ拡大量は、Ａｕｔｏモード（図１０（ａ））及びポートレートモード（図１０（ｃ））では１／３段、風景モード（図１０（ｂ））では０／３段である。
【００７２】
システムコントローラ１０７は、以上のように決定したＤレンジ拡大量をバッファメモリ１０３に格納し、本撮像時に参照する。Ｄレンジ拡大量の決定動作は、スタンバイ時において、例えばＥＶＦ画像の一定フレーム毎、あるいは一定時間毎に行うことができ、バッファメモリ１０３には最新のＤレンジ拡大量が格納される。
【００７３】
図１１は、本実施形態におけるＤレンジの概念図を表す図である。
本実施形態において、Ｄレンジとは、適正輝度に対する撮像素子の飽和信号量輝度の比率と定義する。適正輝度とは、自動露出制御（ＡＥ）を行う際の輝度目標値レベルであり、例えばＡＥのモードが平均測光モードであれば、画面輝度の平均値に相当する。
【００７４】
従って、
Ｄレンジ＝センサー飽和信号量輝度／ＡＥ目標値
と定義することができる。
なお、ここでのＡＥ目標値はＡＦＥ回路１５０で感度調整を行う前の、撮像素子１０１の出力信号に基づくＡＥ目標値である。
【００７５】
ＡＥ目標値は、ＡＥのモードに応じて変化してよく、評価測光モードやスポット測光モードであっても、それぞれのモードによるＡＥ目標値を用いることができる。
図１２は、ＡＥ目標値、飽和信号値およびＤレンジの関係例を示す図である。
図１２から、ＡＥ目標値を下げることにより、Ｄレンジ量を大きくしていくことが可能であることがわかる。
【００７６】
図１３は、本実施形態の信号処理回路１４０におけるガンマ補正特性の設定例を示す図である。
Ｄレンジ拡大量を、通常（０／３段）、＋１／３段、＋２／３段、＋３／３段分の４段階に設定した場合のガンマ特性（明るさ補正量）の設定例を示している。
【００７７】
ここで各Ｄレンジ拡大量に対応したＡＥ目標値は図１２で示したものと同値である。図１３に示すように、各Ｄレンジ拡大時におけるＡＥ目標値に対してガンマ補正した後のＡＥ目標値が、Ｄレンジ拡大量によらず、Ｄレンジ拡大をしない通常のＡＥ目標値となるようにガンマ補正特性を設定する。
【００７８】
図１１および図１２を用いて説明したように、ＡＥ目標値を下げることで、Ｄレンジを拡大することができる。しかし、単純にＡＥ目標値を下げると、露出アンダーとなり、撮像画像が暗くなってしまう。そのため、Ｄレンジ拡大量に応じて、撮像後の画像データを明るくするように信号処理回路１４０でガンマ補正することにより、撮像画像の明るさ（露出）を適正にしながら、Ｄレンジを拡大することができる。従って、信号処理回路１４０は補正手段として動作する。
【００７９】
なお、本実施形態では、ＡＥ目標値を下げたことによる撮像画像の輝度低下を、ガンマ補正により補償する構成について例示したが、ルックアップテーブルなど別の手段を用いて同様の輝度補正を行ってもよい。
【００８０】
また、ホワイトバランスを補正するホワイトバランス係数のゲインなどのゲインと、飽和信号量を決定するクリッピング量とを制御してもよい。つまり、露光量の低減やＡＦＥゲインの低減などによりゲインダウンされた画像信号をＡ／Ｄ変換した後、後段の信号処理回路でゲインアップし、クリッピング量をゲインアップ分だけ拡大させる（飽和信号量を大きくする）ことによっても同じ効果が得られる。
【００８１】
図１４は、本実施形態の撮像装置における、Ｄレンジ拡大時の本撮像処理の動作を説明するフローチャートである。
なお、撮像スタンバイ時において、ＥＶＦ画像から上述した方法によりＤレンジ拡大量を例えば一定周期で決定しているものとする。本実施形態ではＤレンジ拡大量（ＡＥ目標値の低減量）を１／３段単位で０／３段から３／３段までの４段階で決定可能であるとする。なお、Ｄレンジ拡大量の範囲および１段階あたりの大きさは任意に設定することが可能である。
【００８２】
そして、撮像スタンバイ時において、操作部１１２に含まれるシャッターボタンが全押しされ、撮像開始指示が入力されたことに応答して、以下の処理を撮像制御手段としてのシステムコントローラ１０７が開始する。
【００８３】
Ｓ４０１で、システムコントローラ１０７は、撮像開始指示が入力される直前に決定されたＤレンジ拡大量をバッファメモリ１０３から取得する。
Ｓ４０２でシステムコントローラ１０７は、取得したＤレンジ拡大量、すなわちＡＥ目標値の低減量が、ＡＦＥ回路１５０における感度調整（ＣＤＳゲイン回路およびＶＧＡゲイン回路の制御）により実現可能であるか否か判定する。この判定は、ＡＦＥ回路１５０で調整可能な感度の範囲とＳ４０１で取得したＤレンジ拡大量とを比較して行うことができる。Ｄレンジ拡大量に相当する感度の低減（ゲインの低減）ができない場合、システムコントローラ１０７は、ＡＦＥ回路１５０での感度調整のみではＤレンジ拡大量を実現できないと判断する。
【００８４】
ＡＦＥ回路１５０における感度調整でＤレンジ拡大量を実現可能な場合、補正量決定手段としてのシステムコントローラ１０７は、Ｓ４０４で、ゲイン設定を撮像条件として算出する。なお、ＣＤＳゲインとＶＧＡゲインとをどのように組み合わせて設定するかには特に制限はなく、任意の組み合わせで設定可能である。
【００８５】
一方、ＡＦＥ回路１５０での感度調整だけではＤレンジ拡大量を実現できないと判断される場合、システムコントローラ１０７はＡＦＥ回路１５０で可能なゲイン制御を行っても依然として不足するゲイン量に基づいて、露出条件を変更する（Ｓ４０５）。具体的には、システムコントローラ１０７は、不足するゲイン量を実現するための露出補正量を算出する。
ここでの露出補正はマイナス補正であり、絞りを小さくする、シャッター速度を早くする、減光フィルタ（ＮＤフィルタ）を挿入するといった、一般的な方法によって実現することができる。
【００８６】
Ｓ４０６でシステムコントローラ１０７は、Ｓ４０５で算出した露出補正が可能か否かを判定する。例えば、ＮＤフィルタを持たない撮像装置では、自動露出制御により、シャッター速度が最高速度に、かつ絞りが最小（絞り値が最大）に既に設定されている場合、露出をマイナス補正することはできない。また、フラッシュ撮像時において、同調可能な最高シャッター速度に設定されている場合には、シャッター速度を上げることはできない。その他、シャッター速度の上限が決定されている場合なども同様である。なお、絞り優先ＡＥモードであれば、ユーザが設定した絞り値を変えないことが好ましいので、既にシャッター速度が最高速であれば、マイナス補正できないとの判定になることもある。シャッター速度優先ＡＥモードであっても同様である。
【００８７】
ゲイン調整での不足分に相当する露出のマイナス補正ができないと判定される場合、システムコントローラ１０７は、Ｓ４０７で、Ｄレンジ拡大量を、感度調整および露出補正によって実現可能な最大の値に補正する。そして、システムコントローラ１０７は、ＡＦＥ回路１５０に設定するゲイン量と、必要に応じてさらに露出補正量を算出する。
【００８８】
Ｓ４０８で、システムコントローラ１０７は、ＡＦＥ回路１５０のＣＤＳゲイン回路１５２およびＶＧＡゲイン回路１５４に、撮像条件としてのゲイン量を設定する。また、露出補正を行う場合には、ＡＥ結果に応じた露出パラメータ（シャッター速度、絞り値、ＮＤフィルタの使用有無の設定など）を、露出補正量に応じて変更し、やはり撮像条件としてレンズ装置２００に設定する。
【００８９】
Ｓ４０９でシステムコントローラ１０７は、Ｄレンジ拡大量に応じたガンマパラメータを信号処理回路１４０に設定する。
Ｓ４１０でシステムコントローラ１０７は、静止画撮像（本露光）を行う。
【００９０】
ここで、感度設定（ＡＦＥ回路１５０のゲイン設定）と、撮像素子１０１の飽和との関係について説明を行う。
一般に、光量およびカメラの露出値（入力）に対して、出力が所定の関係を満たすように、撮像素子の出力信号に対するゲインが制御される。
【００９１】
しかしながら、撮像素子が有するフォトダイオードに蓄積可能な電荷量は上限がある。そのため、撮像素子の撮像感度を下げる目的で、ＡＦＥ回路１５０で適用するゲインを下げると、ゲイン適用後の最大信号量も低下する。従って、ゲインの低下とともに飽和信号量も低下する。
【００９２】
このように、撮像素子の感度を増加させる方向については、ノイズの増幅を無視すれば所望の感度設定を行うことは可能であるのに対し、感度を低減させる方向では、飽和信号量から生じる限界値が存在する。
【００９３】
図１４のＳ４０８において、感度が下げられない場合は、撮像装置で設定可能な最低感度が既に設定されている場合であることが多い。これは、撮像素子の出力信号に対するゲインがすでに最低感度に相当にする値まで低減されていることを意味する。そのため、ＡＦＥ回路１５０のゲインを制御することによってさらに感度を低減することはできない。従って、本実施形態では、ＡＦＥ回路１５０のゲインを制御しても目標のＡＥ目標値（感度）低減量を実現できない場合、露出補正によってさらなる感度低減を実現する。
【００９４】
露出補正によって感度を低減した撮像を行い、得られた暗い画像に対して信号処理回路１４０でガンマ補正して明るさを補正する操作は、結局のところ感度を増加することと同じであり、ガンマ補正時にノイズも増幅され、画質の劣化を生じる。
【００９５】
しかし、本実施形態においては、Ｄレンジ拡大量に対応する撮像感度の低減をＡＦＥ回路１５０のゲイン制御で実現できる場合には、ゲイン制御での撮像感度低減を優先して行う。そして、ゲイン制御のみではＤレンジ拡大量に対応する撮像感度の低減を実現できない場合でも、ゲインを最低まで低減し、不足分の感度低減を露出補正で補っている。この場合、ガンマ補正時にノイズが増幅されたとしても、既にＡＦＥ回路１５０のゲインが最低感度に相当するレベルまで低減されているため、ノイズ自体が大きくない。そのため、画質の劣化は最低限に抑制することができる。
【００９６】
（他の実施形態）
上述の実施形態においては、静止画撮像において本発明によるＤレンジ拡大を適用した場合について説明したが、ＥＶＦ画像の撮像時や動画撮像時にも同様に適応可能である。この場合、ＡＦＥ回路１５０のゲイン制御（および必要に応じた露出補正）と、信号処理回路１４０におけるガンマ補正とが同じ画像に対して適用されるよう、これらパラメータ設定のタイミングを調整する。
【００９７】
上述の実施形態は、システム或は装置のコンピュータ（或いはＣＰＵ、ＭＰＵ等）によりソフトウェア的に実現することも可能である。
従って、上述の実施形態をコンピュータで実現するために、該コンピュータに供給されるプログラム自体も本発明を実現するものである。つまり、上述の実施形態の機能を実現するためのプログラム自体も本発明の一つである。
【００９８】
なお、上述の実施形態を実現するためのプログラムは、コンピュータで読み取り可能であれば、どのような形態であってもよい。例えば、オブジェクトコード、インタプリタにより実行されるプログラム、ＯＳに供給するスクリプトデータ等で構成することができるが、これらに限るものではない。
【００９９】
上述の実施形態を実現するためのプログラムは、コンピュータ読み取り可能な記録媒体又は有線／無線通信によりコンピュータに供給される。プログラムを供給するためのコンピュータ読み取り可能な記録媒体としては、例えば、フレキシブルディスク、ハードディスク、磁気テープ等の磁気記録媒体、ＭＯ、ＣＤ、ＤＶＤ等の光／光磁気記録媒体、不揮発性の半導体メモリなどがある。
【０１００】
有線／無線通信を用いたコンピュータプログラムの供給方法としては、コンピュータネットワーク上のサーバを利用する方法がある。この場合、本発明を形成するコンピュータプログラムとなりうるデータファイル（プログラムファイル）をサーバに記録しておく。プログラムファイルとしては、実行形式のものであっても、ソースコードであっても良い。
【０１０１】
そして、このサーバにアクセスしたクライアントコンピュータに、プログラムファイルをダウンロードすることによって供給する。この場合、プログラムファイルを複数のセグメントファイルに分割し、セグメントファイルを異なるサーバに分散して配置することも可能である。
つまり、上述の実施形態を実現するためのプログラムファイルをクライアントコンピュータに提供するサーバ装置も本発明の一つである。
【０１０２】
また、上述の実施形態を実現するためのコンピュータプログラムを暗号化して格納した記録媒体を配布し、所定の条件を満たしたユーザに、暗号化を解く鍵情報を供給し、ユーザの有するコンピュータへのインストールを許可してもよい。鍵情報は、例えばインターネットを介してホームページからダウンロードさせることによって供給することができる。
【０１０３】
また、上述の実施形態を実現するためのコンピュータプログラムは、すでにコンピュータ上で稼働するＯＳの機能を利用するものであってもよい。
さらに、上述の実施形態を実現するためのコンピュータプログラムは、その一部をコンピュータに装着される拡張ボード等のファームウェアで構成してもよいし、拡張ボード等が備えるＣＰＵで実行するようにしてもよい。
【技術分野】
【０００１】
本発明は、撮像装置およびその制御方法に関する。
【背景技術】
【０００２】
従来、ＣＣＤイメージセンサやＣＭＯＳイメージセンサなどの撮像素子を用いたデジタルカメラやデジタルビデオが広く用いられている。しかし、これらの撮像素子は銀塩フィルムと比較してダイナミックスレンジ（ラチチュード）が狭い。そのため、高コントラストのシーンを撮像すると、低輝度部分の階調性悪化（黒つぶれ）や高輝度部分の階調性悪化（白飛び）が発生しやすかった。
【０００３】
このような問題に対し、自動的にダイナミックスレンジをコントロール可能なシステムが提案されている。
【０００４】
例えば特許文献１では、撮像された画像から、主要被写体が逆光又はハイコントラストであると検出された場合には、画像のヒストグラムから黒色飽和点及び白色飽和点を特定し、主要被写体の明るさが適正となるように階調補正を行うことが提案されている。
【０００５】
また、特許文献２では、高感度の受光素子と低感度の受光素子を配置した撮像素子を用い、同一シーンを異なる感度の受光素子で撮像してダイナミックレンジの異なる２種類の画像を取得し、それらをシーン解析結果に応じて合成することが提案されている。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００５−２０９０１２号公報
【特許文献２】特開２００４−１８６８７６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかし、特許文献１の方法では、コントラスト感を高めるための効果はあるものの、センサーが飽和するポイントは変わらないため、ダイナミックレンジを拡げる効果は得られない。また、入力に対して出力が大きくなるように階調補正すると、ノイズ成分も同時に増幅してしまうという問題があった。
【０００８】
また、特許文献２の方法では、ダイナミックレンジを拡げる効果は得られるが、感度の低い受光素子の出力と感度の高い受光素子の出力とを合成するため、感度の低い受光素子の出力を加算する際にノイズ成分も加算されてしまう。そのため、画質劣化が生じるという問題があった。
【０００９】
本発明はこのような従来技術の課題に鑑みてなされたものであり、ノイズの増加を抑制しながら広ダイナミックレンジの画像を得ることが可能な撮像装置及びその制御方法を提供することを目的の１つとする。
【課題を解決するための手段】
【００１０】
上述の目的は、撮像素子を用いて撮像された画像から、当画像の白飛び量を算出する白飛び量算出手段と、白飛び量の大きさに基づいて、白飛び量を低減するためのダイナミックレンジ拡大量を決定するＤレンジ拡大量決定手段と、ダイナミックレンジ拡大量に応じた撮像感度の低減量と、当低減された撮像感度で撮像された画像の明るさを補正するための補正量とを決定する補正量決定手段と、撮像感度の低減量を実現する撮像条件を設定する設定手段であって、撮像感度の設定により低減量の実現が可能である場合には、低減量を実現する撮像感度を撮像条件として設定し、撮像感度の設定により低減量が実現できない場合には、可能な範囲で低減した撮像感度と、当撮像感度との組み合わせにより低減量を実現する露出条件とを撮像条件として設定する設定手段と、撮像素子を用い、設定手段が設定した撮像条件に従って撮像を行う撮像制御手段と、撮像制御手段で撮像された画像の明るさを、補正量に従って補正する補正手段とを有することを特徴とする撮像装置によって達成される。
【００１１】
また、上述の目的は、撮像素子を用いて撮像された画像から、当画像の白飛び量を算出する白飛び量算出ステップと、白飛び量の大きさに基づいて、白飛び量を低減するためのダイナミックレンジ拡大量を決定するＤレンジ拡大量決定ステップと、ダイナミックレンジ拡大量に応じた撮像感度の低減量と、当低減された撮像感度で撮像された画像の明るさを補正するための補正量とを決定する補正量決定ステップと、撮像感度の低減量を実現する撮像条件を設定する設定ステップであって、撮像感度の設定により低減量の実現が可能である場合には、低減量を実現する撮像感度を撮像条件として設定し、撮像感度の設定により低減量が実現できない場合には、可能な範囲で低減した撮像感度と、当撮像感度との組み合わせにより低減量を実現する露出条件とを撮像条件として設定する設定ステップと、撮像素子を用い、設定ステップで設定された撮像条件に従って撮像を行う撮像制御ステップと、撮像制御ステップにおいて撮像された画像の明るさを、補正量に従って補正する補正ステップとを有することを特徴とする撮像装置の制御方法によっても達成される。
【発明の効果】
【００１２】
このような構成により、本発明によれば、ノイズの増加を抑制しながら広ダイナミックレンジの画像を得ることが可能となる。
【図面の簡単な説明】
【００１３】
【図１】本発明の実施形態に係る撮像装置の構成例を示すブロック図である。
【図２】原画像から顔が検出される過程を模式的に示した図である。
【図３】本発明の実施形態に係る撮像装置の顔検出回路における顔検出動作を説明するためのフローチャートである。
【図４】ＣＩＥ−Ｌ＊ａ＊ｂ＊色空間における代表色を示した色度図である。
【図５】本発明の実施形態に係る撮像装置の顔検出回路が用いる２次元ハイパスフィルタの係数の例を示す図である。
【図６】本発明の実施形態に係る撮像装置のＡＦＥ回路の構成例を示すブロック図である。
【図７】本発明の実施形態に係る撮像装置のヒストグラム作成回路が作成するヒストグラムの例を模式的に示す図である。
【図８】本発明の実施形態に係る撮像装置における、撮像スタンバイ時の信号処理の流れを示したブロック図である。
【図９】本発明の実施形態に係る撮像装置における、ダイナミックレンジ（Ｄレンジ）拡大量の決定動作を説明するためのフローチャートである。
【図１０】本発明の実施形態に係る撮像装置において、顔領域のＤレンジ拡大量と画像全体のＤレンジ拡大量の大きさに応じて最終的に決定するＤレンジ拡大量の具体例を示す図である。
【図１１】本発明の実施形態に係る撮像装置におけるＤレンジの概念図を表す図である。
【図１２】本発明の実施形態に係る撮像装置における、ＡＥ目標値、飽和信号値およびＤレンジの関係例を示す図である。
【図１３】本発明の実施形態に係る撮像装置の信号処理回路におけるガンマ補正特性の設定例を示す図である。
【図１４】本発明の実施形態に係る撮像装置における、Ｄレンジ拡大時の本撮像処理の動作を説明するフローチャートである。
【発明を実施するための形態】
【００１４】
以下、添付図面を参照して、本発明を例示的な実施形態に基づき詳細に説明する。
図１は、本発明の実施形態に係る撮像装置の構成例を示すブロック図である。本実施形態の撮像装置は、撮像素子を用いて画像を撮像する機能を有する任意の装置を包含する。このような装置は、デジタルスチルカメラおよびデジタルビデオカメラはもとより、カメラを内蔵または接続した携帯電話、ＰＤＡ、パーソナルコンピュータなどを含む。
【００１５】
図１において、操作部１１２は、ボタン、スイッチなどを含み、ユーザが撮像装置に指示を与えたり、設定を行ったりするために用いられる。シャッターボタンも操作部１１２に含まれ、本実施形態ではシャッターボタンの半押し状態と全押し状態とを検出可能であるものとする。
【００１６】
システムコントローラ１０７は、シャッターボタンの半押し状態を撮像準備開始指示、全押し状態を撮像開始指示として認識する。システムコントローラ１０７は、例えば、ＣＰＵ、ＲＯＭ、ＲＡＭなどを含み、ＲＯＭに記憶されたプログラムをＲＡＭを用いてＣＰＵが実行することにより、撮像装置の動作全般を制御する。
【００１７】
レンズ装置２００は、フォーカスレンズを含むレンズ群と、フォーカスレンズを駆動する駆動装置と、絞りと、メカニカルシャッターとを有し、システムコントローラ１０７の制御に基づいて動作する。
【００１８】
撮像素子１０１はＣＣＤイメージセンサ、ＣＭＯＳイメージセンサなどの光電変換素子である。アナログフロントエンド（ＡＦＥ）回路１５０は、撮像素子１０１から出力されるアナログ画像信号に対してゲイン調整やＡ／Ｄ変換などを行い、デジタル画像信号として出力する。ＡＦＥ回路１５０の詳細については後述する。
【００１９】
バッファメモリ１０３は、ＡＦＥ回路１５０が出力するデジタル画像信号を一時的に記憶する。
圧縮・伸長回路１０４は、撮像画像データを記録用の画像ファイル（例えばＪＰＥＧファイル）の形式に符号化したり、記録媒体１０６から読み出された画像ファイルの復号化を行ったりする。
【００２０】
記録装置１０５は、内蔵メモリや、着脱可能なメモリカードのような記録媒体１０６に対し、システムコントローラ１０７の制御に従ってデータの読み書きを行う。
表示制御回路１０８は、システムコントローラ１０７の制御に従い、ＬＣＤなどの表示デバイスを有する表示部１１０への表示動作を制御する。
Ｄ／Ａコンバータ１０９は、表示制御回路１０８が出力する表示用のデジタル画像信号を表示部１１０が表示可能なアナログ画像信号に変換する。
【００２１】
表示部１１０は、撮像した画像の表示はもとより、ユーザが撮像装置に対して各種の設定や指示を行うためのＧＵＩ画面や、撮像装置に関する各種情報などの表示を行う。また、連続的に撮像した画像を表示部１１０に逐次表示することにより、表示部１１０を電子ビューファインダ（ＥＶＦ）として機能させることができる。この、表示部１１０をＥＶＦとして機能させるための逐次撮像・表示動作は、スルー表示、ライブビュー表示とも呼ばれる。
【００２２】
顔検出回路１２０は、バッファメモリ１０３に記憶された、ＹＵＶ形式またはＲＡＷ形式の画像データに対して顔検出処理を行い、画像中の顔領域の大きさ、位置を含む顔検出結果をヒストグラム作成回路１３０に出力する。
【００２３】
顔検出回路１２０が用いる顔検出方法に特に制限はなく、任意かつ公知の方法を適用することができる。公知の顔検出技術としては、ニューラルネットワークなどを利用した学習に基づく手法、テンプレートマッチングを用いて目、鼻、口等の形状に特徴のある部位を画像から探し出し、類似度が高ければ顔とみなす手法などがある。また、他にも、肌の色や目の形といった画像特徴量を検出し、統計的解析を用いた手法等、多数提案されている。これらの手法を複数組み合わせ、顔検出の精度を向上させることもできる。具体的な例としては特開２００２−２５１３８０号公報に記載のウェーブレット変換と画像特徴量を利用して顔検出する方法などが挙げられる。
【００２４】
ここで、図２〜図４を参照して、顔検出回路１２０の具体的な顔検出動作例について説明する。
図２は、原画像から顔が検出される過程を模式的に示した図であり、図２（ａ）が原画像を示している。
【００２５】
図３は、顔検出回路１２０の顔検出動作を説明するためのフローチャートである。
Ｓ１０１で顔検出回路１２０は原画像から、肌色領域を抽出する。図４は、ＣＩＥ−Ｌ＊ａ＊ｂ＊色空間における代表色を示した色度図であり、その中の楕円は、肌色である可能性が高い領域である。
顔検出回路１２０は、ＲＧＢ形式の原画像データを公知の方法でＬ＊ａ＊ｂ＊形式に変換し、図４の楕円で示した領域内の色度を有する画素からなる肌色領域を抽出する。図２（ｂ）は、原画像から抽出された肌色領域を模式的に示している。
【００２６】
次に、Ｓ１０２で顔検出回路１２０は、抽出した肌色領域から高周波成分を抽出する。具体的には、顔検出回路１２０は、肌色領域に対してハイパスフィルタを適用する。図５は、２次元ハイパスフィルタの係数の例を示す図である。図２（ｂ）の画像にハイパスフィルタを適用した画像の例を図２（ｃ）に示す。
【００２７】
Ｓ１０３で顔検出回路１２０は、ハイパスフィルタを適用後の画像に対し、図２（ｄ）二示すように目のテンプレートを用いたテンプレートマッチングを行い、画像中における目の検出を行う。
Ｓ１０４で顔検出回路１２０は、Ｓ１０３で検出した目の領域の位置関係などに基づいて顔領域を判定し、顔領域の位置や大きさ等を含んだ顔検出結果を求める。
【００２８】
図１に戻って、ヒストグラム作成回路１３０は、顔領域の検出結果を顔検出回路１２０から取得し、顔領域に含まれる画素の輝度値に関するヒストグラムを作成する。ヒストグラム作成回路１３０はまた、画像を複数に分割した部分領域毎に、含まれる画素の輝度値のヒストグラムも作成することが可能である。作成したヒストグラムはバッファメモリ１０３に格納する。
【００２９】
信号処理回路１４０は、システムコントローラ１０７によって設定される信号処理パラメータ（ホワイトバランス補正係数やガンマパラメータなど）に従って、バッファメモリ１０３に格納されている画像データに対して信号処理を適用する。そして、信号処理回路１４０は、ＹＵＶ形式の画像データを生成し、再びバッファメモリ１０３に格納する。
【００３０】
後述するように、本実施形態の撮像装置は、ＡＦＥ回路１５０における感度調整（ゲイン調整）と、信号処理回路１４０におけるガンマ補正とによって、ダイナミックレンジの拡大を実現する。
【００３１】
図６は、ＡＦＥ回路１５０の構成例を示すブロック図である。
クランプ回路１５１は、撮像素子１０１から出力された信号を、センサーの遮光レベルまたは基準電圧領域の出力値が０となるよう、基準黒レベルにクランプする。
ＣＤＳゲイン回路１５２は、クランプされた信号に対し、ＣＤＳゲイン（アナログゲイン）を適用する。一般的なＡＦＥ回路で適用されるＣＤＳゲインは０，３，６［ｄＢ］といった離散的な値を有する。
【００３２】
アナログゲインが適用された信号は、Ａ／Ｄコンバータ１５３でデジタルデータに変換される。次に、可変利得増幅器（ＶＧＡ）ゲイン回路１５４が、デジタルデータに対してＶＧＡゲインを適用する。本実施形態において、ＶＧＡゲインの値は、例えば０〜３６ｄＢの範囲で、０．１２５ｄＢ単位で調整可能であるとする。ＶＧＡゲインが適用された信号は、クリップ回路１５５で所定のビット数にクリップしてバッファメモリ１０３へ出力する。
【００３３】
本実施形態において、撮像装置の撮像感度（ＩＳＯ感度）設定は、ＡＦＥ回路１５０で適用するＣＤＳゲインおよびＶＧＡゲインの値をシステムコントローラ１０７によって制御することにより実現される。
【００３４】
また、基準光量の光で撮像装置を照射し、撮像装置から一定の輝度信号値が出力されるようにＣＤＳゲインおよびＶＧＡゲインを制御することにより、撮像素子１０１の感度特性のバラツキを補正する感度調整を行うことができる。
【００３５】
本実施形態において、感度設定はＣＤＳゲインとＶＧＡゲインの組み合わせて行う。例えば低感度時に全体で６ｄＢのゲインを設定する場合、例えばＣＤＳゲインを３ｄＢ、ＶＧＡゲインを３ｄＢに設定する。また高感度時に２４ｄＢのゲインを設定する場合には、例えばＣＤＳゲインを６ｄＢ、ＶＧＡゲインを１８ｄＢに設定する。上述の通り、一般にＣＤＳゲインは細かい設定ができないため、大まかなゲインを前段のＣＤＳゲインで設定し、感度調整部分など微妙な感度コントロールを行うためにＶＧＡゲインをコントロールする。
【００３６】
一般的に、ゲイン回路は信号成分と同時にノイズ成分も増幅させる。そのため、アナログ回路で重畳するノイズ成分が増幅されることを抑制するために、合計のゲイン量を実現できるＣＤＳゲインとＶＧＡゲインの組み合わせにおいて、前段のＣＤＳゲインをなるべく高めに設定することが好ましい。そのような設定により、Ａ／Ｄコンバータ１５３の量子化精度を最大限に有効利用可能となるという効果も実現できる。
【００３７】
次に、上述の構成を有する撮像装置における、撮像時の動作について説明する。
撮像モードで動作しており、撮像準備指示や撮像開始指示が入力されていないスタンバイ時において、本実施形態の撮像装置は、表示部１１０をＥＶＦとして機能させている。すなわち、システムコントローラ１０７は、所定のレート（例えば３０フレーム／秒）で連続的に撮像し、撮像した画像から表示用画像を生成して、表示部１１０に表示させる処理を実行している。
【００３８】
顔検出の実行が設定されている場合、顔検出回路１２０は表示用画像（以下、ＥＶＦ画像とも呼ぶ）に対して顔検出し、検出結果をシステムコントローラ１０７に出力する。そして、システムコントローラ１０７は、検出された顔領域をユーザに提示するための顔枠をＥＶＦ画像に重畳表示するよう、顔領域の位置情報とともに表示制御回路１０８に対して指示する。
【００３９】
また、顔検出結果はヒストグラム作成回路１３０にも供給され、ヒストグラム作成回路１３０はＥＶＦ画像中の顔領域に含まれる画素からヒストグラムを作成する。また、ヒストグラム作成回路１３０は、画像全体を複数に分割した領域ごとのヒストグラムを作成することもできる。作成したヒストグラムはバッファメモリ１０３に格納される。
【００４０】
図７は、本実施形態においてヒストグラム作成回路１３０が作成するヒストグラムの例を模式的に示す図である。
図７において、画像全体を縦横それぞれ４等分して得られる部分領域７１の各々についてのヒストグラム７３と、顔領域７２についてのヒストグラム７４がそれぞれ作成されることを示している。なお、図７におけるヒストグラム７３，７４は累積ヒストグラムである。なお、部分領域についてヒストグラムを作成する際、顔領域を除外してもよい。そうすることで、顔領域とそれ以外（背景）とのヒストグラムを作成することができる。
【００４１】
本実施形態において、部分領域７１の累積ヒストグラム７３において、頻度８０％となる輝度値ＹＨｉと、顔領域７２の累積ヒストグラム７４において頻度９０％となる輝度値ＹＨｉＦａｃｅは、後述するように、撮像画像の白飛び領域の評価に用いられる。
【００４２】
ユーザがシャッターボタンを全押しして撮像開始指示が入力されると、システムコントローラ１０７は、自動露出制御（ＡＥ）、自動焦点検出（ＡＦ）などの処理結果に基づく撮像動作を行う。具体的には、システムコントローラ１０７は、レンズ装置２００の焦点位置や絞り、メカニカルシャッター、撮像素子１０１、さらに必要に応じてフラッシュ（図示せず）などを制御し、撮像する。
【００４３】
撮像素子１０１から出力されるアナログ画像信号は、上述したＡＦＥ回路１５０を通じて、デジタル画像データとしてバッファメモリ１０３に格納される。このデジタル画像データに対し、信号処理回路１４０は、システムコントローラ１０７から設定された様々な信号処理パラメータに従って処理し、ＹＵＶ形式の画像データを生成して、バッファメモリ１０３に再度格納する。
【００４４】
信号処理回路１４０で処理された画像データは、圧縮・伸長回路１０４によって例えばＪＰＥＧ形式のファイルに符号化され、記録装置１０５によって記録媒体１０６に記録される。
【００４５】
また、表示制御回路１０８は、バッファメモリ１０３に格納されたＹＵＶ形式の画像データから表示用の画像を生成し、クイックレビュー画像として、Ｄ／Ａコンバータ１０９を通じて表示部１１０に表示させる。
【００４６】
図８は、本実施形態の撮像装置における、撮像スタンバイ時の信号処理の流れを示したブロック図である。上述の通り、撮像スタンバイ時において、本実施形態の撮像装置は表示部１１０をＥＶＦとして機能させるための連続的な撮像及び表示を行っている。
【００４７】
撮像素子１０１から出力されたアナログ画像信号は、ＡＦＥ回路１５０によりゲイン調整（感度調整）及びデジタルデータ化される。そして、このＲＡＷ形式の画像データに対して信号処理回路１４０にて画素補間処理やホワイトバランス補正などの所謂現像処理を行い、ＹＵＶ形式のデジタル画像データを生成する。
【００４８】
このデジタル画像データは、バッファメモリ１０３の表示用領域（通称ＶＲＡＭ）１０３ａに格納され、表示制御回路１０８およびＤ／Ａコンバータ１０９を通じて表示部１１０に出力される。
【００４９】
一方、信号処理回路１４０が生成したデジタル画像データは、バッファメモリ１０３の画像解析用領域（画像解析用バッファ）１０３ｂにも格納される。画像解析用バッファ１０３ｂに格納された画像データは、顔検出回路１２０による顔検出および、ヒストグラム作成回路１３０によるヒストグラム作成に用いられる。なお、画像解析用バッファ１０３ｂには、全てのＥＶＦ画像データが格納される必要はなく、顔検出及びヒストグラム作成を行う周期に応じた一部のＥＶＦ画像データが格納される。
【００５０】
顔検出回路１２０は、画像解析用バッファ１０３ｂに格納されている画像データに対して顔検出を行い、顔が検出された場合には、顔領域を特定可能な情報（例えば位置及び大きさ）を含んだ顔検出結果を出力する。
【００５１】
ヒストグラム作成回路１３０は、画像解析用バッファ１０３ｂに格納されている画像データと、顔検出回路１２０からの顔検出結果とに基づいて、ヒストグラムを作成する。上述の通り、ヒストグラム作成回路１３０は、顔領域についての顔領域ヒストグラム１３０ａと、画像全体を分割した領域画像ごとの分割領域ヒストグラム１３０ｂとを作成することができる。
【００５２】
分割領域ヒストグラム１３０ｂは、画像全体について、顔領域を含んだ領域画像毎に作成することも、顔領域を除外した領域画像毎に求めることもできる。前者は処理が容易であるが、白飛びしている領域が顔領域か背景領域かを精度良く検出するためには、後者が好ましい。
【００５３】
上述のように、表示部１１０をＥＶＦとして機能させている間は、連続的に撮像が繰り返され、ＶＲＡＭは短時間で書き換えられてしまう。一般に、顔検出やヒストグラムの作成に要する時間は、ＥＶＦ画像の表示周期（例えば１／３０秒）よりも長い。そのため、本実施形態では、ＶＲＡＭの他に画像解析用バッファ１０３ｂを設け、画像解析用バッファ１０３ｂに格納されている画像データに対する顔検出およびヒストグラム作成が終了するまでは、画像解析用バッファ１０３ｂを更新しない。
【００５４】
この構成により、同一ＥＶＦ画像に対して顔検出及びヒストグラム作成を行うことが可能になり、画像解析を容易かつ高精度に行うことが可能となる。もちろん、ＥＶＦ画像の各フレームに対して顔検出及びヒストグラム作成が可能であれば実行しても構わないが、一般にはフレーム毎に撮像シーンが大幅に変化する可能性は低いため、各フレームに対して実行しなくてもよい。
【００５５】
図９は、本実施形態の撮像装置におけるダイナミックレンジ拡大量（Ｄレンジ拡大量）の決定動作を説明するためのフローチャートである。
本実施形態では、ＥＶＦ画像に対する顔検出結果及びヒストグラム作成結果に基づいて撮像画像における白飛び量を求め、白飛び量に応じてＤレンジ拡大量を決定する。そして、ＥＶＦ画像を用いて予め決定しておいたＤレンジ拡大量を用いて、本撮像時の露出や感度を調整する。
【００５６】
Ｓ２０１で、システムコントローラ１０７は、上述のように連続的に撮像を行い、ＥＶＦ画像を生成させ、信号処理回路１４０から順次バッファメモリ１０３の表示用領域１０３ａに格納させる。また、予め定めた周期で、ＥＶＦ画像をバッファメモリ１０３の画像解析用領域１０３ｂにも格納させる。
【００５７】
Ｓ２０２で顔検出回路１２０は、画像解析用バッファ１０３ｂに格納されたＥＶＦ画像に対して顔検出を行う。
顔検出に成功した場合（Ｓ２０３，Ｙ）、ヒストグラム作成回路１３０は、顔検出回路１２０からの顔検出結果に基づいてＥＶＦ画像の顔領域から顔領域ヒストグラムを作成する（Ｓ２０４）。
Ｓ２０５で、白飛び量算出手段としてのシステムコントローラ１０７は、顔領域のヒストグラムから、顔領域の白飛び量を算出する。
【００５８】
顔検出に失敗した場合（Ｓ２０３，Ｎ）および、顔領域の白飛び量の算出後、Ｓ２０６で、ヒストグラム作成回路１３０は、ＥＶＦ画像全体を分割した領域画像ごとの分割領域ヒストグラムを作成する。
【００５９】
Ｓ２０７で、システムコントローラ１０７は、分割領域ヒストグラムからＥＶＦ画像全体における白飛び量を算出する。
Ｓ２０８で、Ｄレンジ拡大量決定手段としてのシステムコントローラ１０７は、少なくともＳ２０７で求めた画像全体における白飛び量に基づいて、Ｄレンジ拡大量を決定する。
【００６０】
次に、図９のＳ２０５及びＳ２０７でシステムコントローラ１０７が行う白飛び量の算出処理の具体例を説明する。
まず、顔領域の白飛び量の算出処理について説明する。
Ｓ２０５で、システムコントローラ１０７は、Ｓ２０４で作成された顔領域ヒストグラムから、顔領域の白飛び量として、累積ヒストグラムの累積頻度が所定値（図７の例では９０％）となる輝度値ＹＨｉＦａｃｅを算出する。
【００６１】
そして、Ｓ２０８で、システムコントローラ１０７は、顔領域の白飛び量ＹＨｉＦａｃｅの値と、予め定めたしきい値との大小関係に応じて、顔領域のＤレンジ拡大量（Ｄ＋（顔））を決定する。
【００６２】
具体的には、例えば、予め定めたしきい値を、大きい値から順にＴＨＨｉＦａｃｅ、ＴＨＭｉｄＦａｃｅ、ＴＨＬｏｗＦａｃｅの３段階とすると、
Ｄ＋（顔）＝補正レベル１段 （ＹＨｉＦａｃｅ＞ＴＨＨｉＦａｃｅの場合）
Ｄ＋（顔）＝補正レベル２／３段 （ＴＨＨｉＦａｃｅ≧ＹＨｉＦａｃｅ＞ＴＨＭｉｄＦａｃｅの場合）
Ｄ＋（顔）＝補正レベル１／３段 （ＴＨＭｉｄＦａｃｅ≧ＹＨｉＦａｃｅ＞ＴＨＬｏｗＦａｃｅの場合）
Ｄ＋（顔）＝補正レベル０段 （ＴＨＬｏｗＦａｃｅ≧ＹＨｉＦａｃｅの場合）
と決定する。
【００６３】
またＳ２０６で、システムコントローラ１０７は、Ｓ２０６で作成された分割領域ヒストグラムの各々について、部分領域の白飛び量として、累積ヒストグラムの累積頻度が所定値（図７の例では８０％）となる輝度値ＹＨｉ＿ｎ（ｎは１〜分割数。図７の例では１６）を算出する。
【００６４】
Ｓ２０７で、システムコントローラ１０７は、輝度値ＹＨｉ＿ｎが、予め定められたしきい値Ｙ＿Ｂ＿Ｔｈを超えた領域の数ＹＨ＿ＢＮｕｍをカウントする。そして、システムコントローラ１０７は、領域の数ＹＨ＿ＢＮｕｍと、予め定めたしきい値との大小関係に応じて、画像全体のＤレンジ拡大量（Ｄ＋（背景））を決定する。
【００６５】
具体的には、例えば、予め定めたしきい値を、大きい値から順にＴｈＹＨ＿ＢＮｕｍＨｉ，ＴｈＹＨ＿ＢＮｕｍＭｉｄ、ＴｈＹＨ＿ＢＮｕｍＬｏｗとすると、
Ｄ＋（背景）＝補正レベル１段 （ＹＨ＿ＢＮｕｍ＞ＴｈＹＨ＿ＢＮｕｍＨｉの場合）
Ｄ＋（背景）＝補正レベル２／３段 （ＴｈＹＨ＿ＢＮｕｍＨｉ≧ＹＨ＿ＢＮｕｍ＞ＴｈＹＨ＿ＢＮｕｍＭｉｄの場合）
Ｄ＋（背景）＝補正レベル１／３段 （ＴｈＹＨ＿ＢＮｕｍＭｉｄ≧ＹＨ＿ＢＮｕｍ＞ＴｈＹＨ＿ＢＮｕｍＬｏｗの場合）
Ｄ＋（背景）＝補正レベル０段 （ＴｈＹＨ＿ＢＮｕｍＬｏｗ≧ＹＨ＿ＢＮｕｍの場合）
と決定する。
【００６６】
つまり、システムコントローラ１０７は、画像中の白飛び領域の面積が多いほど、大きなＤレンジ拡大量を決定する。
なお、白飛び領域の決定方法はここで説明した累積ヒストグラムを用いた手法に限定されず、他の任意の手法を用いることができる。
【００６７】
Ｓ２０８で、システムコントローラ１０７は、最終的なＤレンジ拡大量を決定する。ここで、顔検出が成功している場合、Ｄレンジ拡大量決定手段としてのシステムコントローラ１０７は、Ｓ２０５およびＳ２０７で決定したＤレンジ拡大量を比較して、最終的なＤレンジ拡大量を決定する。例えば、システムコントローラ１０７は、顔領域のＤレンジ拡大量と画像全体のＤレンジ拡大量のうち、拡大量が大きいほうを最終的なＤレンジ拡大量として決定することができる。
【００６８】
あるいは、操作部１１２に含まれるモードダイヤルなどにより設定されている撮像モードに応じて顔領域のＤレンジ拡大量と画像全体のＤレンジ拡大量の一方を最終的なＤレンジ拡大量として決定してもよい。例えば、人物の撮像モード（例えばポートレートモード）の場合には、顔領域のＤレンジ拡大量を、風景の撮像モード（例えば風景モード）の場合には、画像全体のＤレンジ拡大量をそれぞれ最終的なＤレンジ拡大量として決定することができる。
【００６９】
また、モードダイヤルなどで予め設定されている撮像モードだけでなく、シーン判別結果に応じて自動的に選択された撮像モードに応じて選択されている場合などにおいても同様に決定することができる。
【００７０】
また、顔領域のＤレンジ拡大量と画像全体のＤレンジ拡大量の一方を選択して最終的なＤレンジ拡大量として決定するだけでなく、顔領域のＤレンジ拡大量と画像全体のＤレンジ拡大量の大きさに応じて最終的なＤレンジ拡大量を決定することもできる。
【００７１】
図１０は、顔領域のＤレンジ拡大量と画像全体のＤレンジ拡大量の大きさに応じて最終的に決定するＤレンジ拡大量の具体例を示す図である。
図１０に示す例では、撮像モード毎に、最終的に決定されるＤレンジ拡大量の値を変えている。例えば、顔領域のＤレンジ拡大量が１／３段、画像全体のＤレンジ拡大量が０／３段の場合、最終的なＤレンジ拡大量は、Ａｕｔｏモード（図１０（ａ））及びポートレートモード（図１０（ｃ））では１／３段、風景モード（図１０（ｂ））では０／３段である。
【００７２】
システムコントローラ１０７は、以上のように決定したＤレンジ拡大量をバッファメモリ１０３に格納し、本撮像時に参照する。Ｄレンジ拡大量の決定動作は、スタンバイ時において、例えばＥＶＦ画像の一定フレーム毎、あるいは一定時間毎に行うことができ、バッファメモリ１０３には最新のＤレンジ拡大量が格納される。
【００７３】
図１１は、本実施形態におけるＤレンジの概念図を表す図である。
本実施形態において、Ｄレンジとは、適正輝度に対する撮像素子の飽和信号量輝度の比率と定義する。適正輝度とは、自動露出制御（ＡＥ）を行う際の輝度目標値レベルであり、例えばＡＥのモードが平均測光モードであれば、画面輝度の平均値に相当する。
【００７４】
従って、
Ｄレンジ＝センサー飽和信号量輝度／ＡＥ目標値
と定義することができる。
なお、ここでのＡＥ目標値はＡＦＥ回路１５０で感度調整を行う前の、撮像素子１０１の出力信号に基づくＡＥ目標値である。
【００７５】
ＡＥ目標値は、ＡＥのモードに応じて変化してよく、評価測光モードやスポット測光モードであっても、それぞれのモードによるＡＥ目標値を用いることができる。
図１２は、ＡＥ目標値、飽和信号値およびＤレンジの関係例を示す図である。
図１２から、ＡＥ目標値を下げることにより、Ｄレンジ量を大きくしていくことが可能であることがわかる。
【００７６】
図１３は、本実施形態の信号処理回路１４０におけるガンマ補正特性の設定例を示す図である。
Ｄレンジ拡大量を、通常（０／３段）、＋１／３段、＋２／３段、＋３／３段分の４段階に設定した場合のガンマ特性（明るさ補正量）の設定例を示している。
【００７７】
ここで各Ｄレンジ拡大量に対応したＡＥ目標値は図１２で示したものと同値である。図１３に示すように、各Ｄレンジ拡大時におけるＡＥ目標値に対してガンマ補正した後のＡＥ目標値が、Ｄレンジ拡大量によらず、Ｄレンジ拡大をしない通常のＡＥ目標値となるようにガンマ補正特性を設定する。
【００７８】
図１１および図１２を用いて説明したように、ＡＥ目標値を下げることで、Ｄレンジを拡大することができる。しかし、単純にＡＥ目標値を下げると、露出アンダーとなり、撮像画像が暗くなってしまう。そのため、Ｄレンジ拡大量に応じて、撮像後の画像データを明るくするように信号処理回路１４０でガンマ補正することにより、撮像画像の明るさ（露出）を適正にしながら、Ｄレンジを拡大することができる。従って、信号処理回路１４０は補正手段として動作する。
【００７９】
なお、本実施形態では、ＡＥ目標値を下げたことによる撮像画像の輝度低下を、ガンマ補正により補償する構成について例示したが、ルックアップテーブルなど別の手段を用いて同様の輝度補正を行ってもよい。
【００８０】
また、ホワイトバランスを補正するホワイトバランス係数のゲインなどのゲインと、飽和信号量を決定するクリッピング量とを制御してもよい。つまり、露光量の低減やＡＦＥゲインの低減などによりゲインダウンされた画像信号をＡ／Ｄ変換した後、後段の信号処理回路でゲインアップし、クリッピング量をゲインアップ分だけ拡大させる（飽和信号量を大きくする）ことによっても同じ効果が得られる。
【００８１】
図１４は、本実施形態の撮像装置における、Ｄレンジ拡大時の本撮像処理の動作を説明するフローチャートである。
なお、撮像スタンバイ時において、ＥＶＦ画像から上述した方法によりＤレンジ拡大量を例えば一定周期で決定しているものとする。本実施形態ではＤレンジ拡大量（ＡＥ目標値の低減量）を１／３段単位で０／３段から３／３段までの４段階で決定可能であるとする。なお、Ｄレンジ拡大量の範囲および１段階あたりの大きさは任意に設定することが可能である。
【００８２】
そして、撮像スタンバイ時において、操作部１１２に含まれるシャッターボタンが全押しされ、撮像開始指示が入力されたことに応答して、以下の処理を撮像制御手段としてのシステムコントローラ１０７が開始する。
【００８３】
Ｓ４０１で、システムコントローラ１０７は、撮像開始指示が入力される直前に決定されたＤレンジ拡大量をバッファメモリ１０３から取得する。
Ｓ４０２でシステムコントローラ１０７は、取得したＤレンジ拡大量、すなわちＡＥ目標値の低減量が、ＡＦＥ回路１５０における感度調整（ＣＤＳゲイン回路およびＶＧＡゲイン回路の制御）により実現可能であるか否か判定する。この判定は、ＡＦＥ回路１５０で調整可能な感度の範囲とＳ４０１で取得したＤレンジ拡大量とを比較して行うことができる。Ｄレンジ拡大量に相当する感度の低減（ゲインの低減）ができない場合、システムコントローラ１０７は、ＡＦＥ回路１５０での感度調整のみではＤレンジ拡大量を実現できないと判断する。
【００８４】
ＡＦＥ回路１５０における感度調整でＤレンジ拡大量を実現可能な場合、補正量決定手段としてのシステムコントローラ１０７は、Ｓ４０４で、ゲイン設定を撮像条件として算出する。なお、ＣＤＳゲインとＶＧＡゲインとをどのように組み合わせて設定するかには特に制限はなく、任意の組み合わせで設定可能である。
【００８５】
一方、ＡＦＥ回路１５０での感度調整だけではＤレンジ拡大量を実現できないと判断される場合、システムコントローラ１０７はＡＦＥ回路１５０で可能なゲイン制御を行っても依然として不足するゲイン量に基づいて、露出条件を変更する（Ｓ４０５）。具体的には、システムコントローラ１０７は、不足するゲイン量を実現するための露出補正量を算出する。
ここでの露出補正はマイナス補正であり、絞りを小さくする、シャッター速度を早くする、減光フィルタ（ＮＤフィルタ）を挿入するといった、一般的な方法によって実現することができる。
【００８６】
Ｓ４０６でシステムコントローラ１０７は、Ｓ４０５で算出した露出補正が可能か否かを判定する。例えば、ＮＤフィルタを持たない撮像装置では、自動露出制御により、シャッター速度が最高速度に、かつ絞りが最小（絞り値が最大）に既に設定されている場合、露出をマイナス補正することはできない。また、フラッシュ撮像時において、同調可能な最高シャッター速度に設定されている場合には、シャッター速度を上げることはできない。その他、シャッター速度の上限が決定されている場合なども同様である。なお、絞り優先ＡＥモードであれば、ユーザが設定した絞り値を変えないことが好ましいので、既にシャッター速度が最高速であれば、マイナス補正できないとの判定になることもある。シャッター速度優先ＡＥモードであっても同様である。
【００８７】
ゲイン調整での不足分に相当する露出のマイナス補正ができないと判定される場合、システムコントローラ１０７は、Ｓ４０７で、Ｄレンジ拡大量を、感度調整および露出補正によって実現可能な最大の値に補正する。そして、システムコントローラ１０７は、ＡＦＥ回路１５０に設定するゲイン量と、必要に応じてさらに露出補正量を算出する。
【００８８】
Ｓ４０８で、システムコントローラ１０７は、ＡＦＥ回路１５０のＣＤＳゲイン回路１５２およびＶＧＡゲイン回路１５４に、撮像条件としてのゲイン量を設定する。また、露出補正を行う場合には、ＡＥ結果に応じた露出パラメータ（シャッター速度、絞り値、ＮＤフィルタの使用有無の設定など）を、露出補正量に応じて変更し、やはり撮像条件としてレンズ装置２００に設定する。
【００８９】
Ｓ４０９でシステムコントローラ１０７は、Ｄレンジ拡大量に応じたガンマパラメータを信号処理回路１４０に設定する。
Ｓ４１０でシステムコントローラ１０７は、静止画撮像（本露光）を行う。
【００９０】
ここで、感度設定（ＡＦＥ回路１５０のゲイン設定）と、撮像素子１０１の飽和との関係について説明を行う。
一般に、光量およびカメラの露出値（入力）に対して、出力が所定の関係を満たすように、撮像素子の出力信号に対するゲインが制御される。
【００９１】
しかしながら、撮像素子が有するフォトダイオードに蓄積可能な電荷量は上限がある。そのため、撮像素子の撮像感度を下げる目的で、ＡＦＥ回路１５０で適用するゲインを下げると、ゲイン適用後の最大信号量も低下する。従って、ゲインの低下とともに飽和信号量も低下する。
【００９２】
このように、撮像素子の感度を増加させる方向については、ノイズの増幅を無視すれば所望の感度設定を行うことは可能であるのに対し、感度を低減させる方向では、飽和信号量から生じる限界値が存在する。
【００９３】
図１４のＳ４０８において、感度が下げられない場合は、撮像装置で設定可能な最低感度が既に設定されている場合であることが多い。これは、撮像素子の出力信号に対するゲインがすでに最低感度に相当にする値まで低減されていることを意味する。そのため、ＡＦＥ回路１５０のゲインを制御することによってさらに感度を低減することはできない。従って、本実施形態では、ＡＦＥ回路１５０のゲインを制御しても目標のＡＥ目標値（感度）低減量を実現できない場合、露出補正によってさらなる感度低減を実現する。
【００９４】
露出補正によって感度を低減した撮像を行い、得られた暗い画像に対して信号処理回路１４０でガンマ補正して明るさを補正する操作は、結局のところ感度を増加することと同じであり、ガンマ補正時にノイズも増幅され、画質の劣化を生じる。
【００９５】
しかし、本実施形態においては、Ｄレンジ拡大量に対応する撮像感度の低減をＡＦＥ回路１５０のゲイン制御で実現できる場合には、ゲイン制御での撮像感度低減を優先して行う。そして、ゲイン制御のみではＤレンジ拡大量に対応する撮像感度の低減を実現できない場合でも、ゲインを最低まで低減し、不足分の感度低減を露出補正で補っている。この場合、ガンマ補正時にノイズが増幅されたとしても、既にＡＦＥ回路１５０のゲインが最低感度に相当するレベルまで低減されているため、ノイズ自体が大きくない。そのため、画質の劣化は最低限に抑制することができる。
【００９６】
（他の実施形態）
上述の実施形態においては、静止画撮像において本発明によるＤレンジ拡大を適用した場合について説明したが、ＥＶＦ画像の撮像時や動画撮像時にも同様に適応可能である。この場合、ＡＦＥ回路１５０のゲイン制御（および必要に応じた露出補正）と、信号処理回路１４０におけるガンマ補正とが同じ画像に対して適用されるよう、これらパラメータ設定のタイミングを調整する。
【００９７】
上述の実施形態は、システム或は装置のコンピュータ（或いはＣＰＵ、ＭＰＵ等）によりソフトウェア的に実現することも可能である。
従って、上述の実施形態をコンピュータで実現するために、該コンピュータに供給されるプログラム自体も本発明を実現するものである。つまり、上述の実施形態の機能を実現するためのプログラム自体も本発明の一つである。
【００９８】
なお、上述の実施形態を実現するためのプログラムは、コンピュータで読み取り可能であれば、どのような形態であってもよい。例えば、オブジェクトコード、インタプリタにより実行されるプログラム、ＯＳに供給するスクリプトデータ等で構成することができるが、これらに限るものではない。
【００９９】
上述の実施形態を実現するためのプログラムは、コンピュータ読み取り可能な記録媒体又は有線／無線通信によりコンピュータに供給される。プログラムを供給するためのコンピュータ読み取り可能な記録媒体としては、例えば、フレキシブルディスク、ハードディスク、磁気テープ等の磁気記録媒体、ＭＯ、ＣＤ、ＤＶＤ等の光／光磁気記録媒体、不揮発性の半導体メモリなどがある。
【０１００】
有線／無線通信を用いたコンピュータプログラムの供給方法としては、コンピュータネットワーク上のサーバを利用する方法がある。この場合、本発明を形成するコンピュータプログラムとなりうるデータファイル（プログラムファイル）をサーバに記録しておく。プログラムファイルとしては、実行形式のものであっても、ソースコードであっても良い。
【０１０１】
そして、このサーバにアクセスしたクライアントコンピュータに、プログラムファイルをダウンロードすることによって供給する。この場合、プログラムファイルを複数のセグメントファイルに分割し、セグメントファイルを異なるサーバに分散して配置することも可能である。
つまり、上述の実施形態を実現するためのプログラムファイルをクライアントコンピュータに提供するサーバ装置も本発明の一つである。
【０１０２】
また、上述の実施形態を実現するためのコンピュータプログラムを暗号化して格納した記録媒体を配布し、所定の条件を満たしたユーザに、暗号化を解く鍵情報を供給し、ユーザの有するコンピュータへのインストールを許可してもよい。鍵情報は、例えばインターネットを介してホームページからダウンロードさせることによって供給することができる。
【０１０３】
また、上述の実施形態を実現するためのコンピュータプログラムは、すでにコンピュータ上で稼働するＯＳの機能を利用するものであってもよい。
さらに、上述の実施形態を実現するためのコンピュータプログラムは、その一部をコンピュータに装着される拡張ボード等のファームウェアで構成してもよいし、拡張ボード等が備えるＣＰＵで実行するようにしてもよい。
【特許請求の範囲】
【請求項１】
撮像素子を用いて撮像された画像から、当該画像の白飛び量を算出する白飛び量算出手段と、
前記白飛び量の大きさに基づいて、前記白飛び量を低減するためのダイナミックレンジ拡大量を決定するＤレンジ拡大量決定手段と、
前記ダイナミックレンジ拡大量に応じた撮像感度の低減量と、当該低減された撮像感度で撮像された画像の明るさを補正するための補正量とを決定する補正量決定手段と、
前記撮像感度の低減量を実現する撮像条件を設定する設定手段であって、撮像感度の設定により前記低減量の実現が可能である場合には、前記低減量を実現する撮像感度を前記撮像条件として設定し、撮像感度の設定により前記低減量が実現できない場合には、可能な範囲で低減した撮像感度と、当該撮像感度との組み合わせにより前記低減量を実現する露出条件とを前記撮像条件として設定する設定手段と、
前記撮像素子を用い、前記設定手段が設定した撮像条件に従って撮像を行う撮像制御手段と、
前記撮像制御手段で撮像された画像の明るさを、前記補正量に従って補正する補正手段とを有することを特徴とする撮像装置。
【請求項２】
前記設定手段は、撮像感度の設定及び露出条件の組み合わせによっても前記低減量を実現できないと判断される場合、実現可能な最大の低減量に対応する撮像感度及び露出条件を前記撮像条件として設定するとともに、前記補正量を、前記実現可能な最大の低減量に対応した値に補正することを特徴とする請求項１記載の撮像装置。
【請求項３】
撮像された画像から、顔領域を検出する顔検出手段をさらに有し、
前記白飛び量算出手段は、前記顔領域と、前記画像全体のそれぞれについて前記白飛び量を求め、
前記決定手段は、前記ダイナミックレンジ拡大量を、前記顔領域と、前記画像全体のそれぞれについてのダイナミックレンジ拡大量に基づいて決定する、
ことを特徴とする請求項１または請求項２記載の撮像装置。
【請求項４】
前記決定手段は、人物を撮像するための撮像モードでは、前記顔領域についてのダイナミックレンジ拡大量を前記画像全体についてのダイナミックレンジ拡大量より優先させて前記ダイナミックレンジ拡大量を決定することを特徴とする請求項３記載の撮像装置。
【請求項５】
前記白飛び量算出手段による前記白飛び量の算出、前記決定手段による前記ダイナミックレンジ拡大量の決定および前記補正量決定手段による前記撮像感度及び補正量の決定を、静止画撮像のスタンバイ時において撮像されるＥＶＦ画像に対して行い、
前記撮像制御手段は、撮像開始指示に応答して、直前に決定された前記撮像感度及び補正量を用いて前記撮像を行うことを特徴とする請求項１乃至請求項４のいずれか１項に記載の撮像装置。
【請求項６】
撮像素子を用いて撮像された画像から、当該画像の白飛び量を算出する白飛び量算出ステップと、
前記白飛び量の大きさに基づいて、前記白飛び量を低減するためのダイナミックレンジ拡大量を決定するＤレンジ拡大量決定ステップと、
前記ダイナミックレンジ拡大量に応じた撮像感度の低減量と、当該低減された撮像感度で撮像された画像の明るさを補正するための補正量とを決定する補正量決定ステップと、
前記撮像感度の低減量を実現する撮像条件を設定する設定ステップであって、撮像感度の設定により前記低減量の実現が可能である場合には、前記低減量を実現する撮像感度を前記撮像条件として設定し、撮像感度の設定により前記低減量が実現できない場合には、可能な範囲で低減した撮像感度と、当該撮像感度との組み合わせにより前記低減量を実現する露出条件とを前記撮像条件として設定する設定ステップと、
前記撮像素子を用い、前記設定ステップで設定された撮像条件に従って撮像を行う撮像制御ステップと、
前記撮像制御ステップにおいて撮像された画像の明るさを、前記補正量に従って補正する補正ステップとを有することを特徴とする撮像装置の制御方法。
【請求項７】
撮像素子を有する撮像装置のコンピュータに、請求項６記載の撮像装置の制御方法の各ステップを実行させるためのプログラム。
【請求項１】
撮像素子を用いて撮像された画像から、当該画像の白飛び量を算出する白飛び量算出手段と、
前記白飛び量の大きさに基づいて、前記白飛び量を低減するためのダイナミックレンジ拡大量を決定するＤレンジ拡大量決定手段と、
前記ダイナミックレンジ拡大量に応じた撮像感度の低減量と、当該低減された撮像感度で撮像された画像の明るさを補正するための補正量とを決定する補正量決定手段と、
前記撮像感度の低減量を実現する撮像条件を設定する設定手段であって、撮像感度の設定により前記低減量の実現が可能である場合には、前記低減量を実現する撮像感度を前記撮像条件として設定し、撮像感度の設定により前記低減量が実現できない場合には、可能な範囲で低減した撮像感度と、当該撮像感度との組み合わせにより前記低減量を実現する露出条件とを前記撮像条件として設定する設定手段と、
前記撮像素子を用い、前記設定手段が設定した撮像条件に従って撮像を行う撮像制御手段と、
前記撮像制御手段で撮像された画像の明るさを、前記補正量に従って補正する補正手段とを有することを特徴とする撮像装置。
【請求項２】
前記設定手段は、撮像感度の設定及び露出条件の組み合わせによっても前記低減量を実現できないと判断される場合、実現可能な最大の低減量に対応する撮像感度及び露出条件を前記撮像条件として設定するとともに、前記補正量を、前記実現可能な最大の低減量に対応した値に補正することを特徴とする請求項１記載の撮像装置。
【請求項３】
撮像された画像から、顔領域を検出する顔検出手段をさらに有し、
前記白飛び量算出手段は、前記顔領域と、前記画像全体のそれぞれについて前記白飛び量を求め、
前記決定手段は、前記ダイナミックレンジ拡大量を、前記顔領域と、前記画像全体のそれぞれについてのダイナミックレンジ拡大量に基づいて決定する、
ことを特徴とする請求項１または請求項２記載の撮像装置。
【請求項４】
前記決定手段は、人物を撮像するための撮像モードでは、前記顔領域についてのダイナミックレンジ拡大量を前記画像全体についてのダイナミックレンジ拡大量より優先させて前記ダイナミックレンジ拡大量を決定することを特徴とする請求項３記載の撮像装置。
【請求項５】
前記白飛び量算出手段による前記白飛び量の算出、前記決定手段による前記ダイナミックレンジ拡大量の決定および前記補正量決定手段による前記撮像感度及び補正量の決定を、静止画撮像のスタンバイ時において撮像されるＥＶＦ画像に対して行い、
前記撮像制御手段は、撮像開始指示に応答して、直前に決定された前記撮像感度及び補正量を用いて前記撮像を行うことを特徴とする請求項１乃至請求項４のいずれか１項に記載の撮像装置。
【請求項６】
撮像素子を用いて撮像された画像から、当該画像の白飛び量を算出する白飛び量算出ステップと、
前記白飛び量の大きさに基づいて、前記白飛び量を低減するためのダイナミックレンジ拡大量を決定するＤレンジ拡大量決定ステップと、
前記ダイナミックレンジ拡大量に応じた撮像感度の低減量と、当該低減された撮像感度で撮像された画像の明るさを補正するための補正量とを決定する補正量決定ステップと、
前記撮像感度の低減量を実現する撮像条件を設定する設定ステップであって、撮像感度の設定により前記低減量の実現が可能である場合には、前記低減量を実現する撮像感度を前記撮像条件として設定し、撮像感度の設定により前記低減量が実現できない場合には、可能な範囲で低減した撮像感度と、当該撮像感度との組み合わせにより前記低減量を実現する露出条件とを前記撮像条件として設定する設定ステップと、
前記撮像素子を用い、前記設定ステップで設定された撮像条件に従って撮像を行う撮像制御ステップと、
前記撮像制御ステップにおいて撮像された画像の明るさを、前記補正量に従って補正する補正ステップとを有することを特徴とする撮像装置の制御方法。
【請求項７】
撮像素子を有する撮像装置のコンピュータに、請求項６記載の撮像装置の制御方法の各ステップを実行させるためのプログラム。
【図１】
【図３】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図２】
【図４】
【図３】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図２】
【図４】
【公開番号】特開２０１０−１８３４６１（Ｐ２０１０−１８３４６１Ａ）
【公開日】平成２２年８月１９日（２０１０．８．１９）
【国際特許分類】
【出願番号】特願２００９−２６６９５（Ｐ２００９−２６６９５）
【出願日】平成２１年２月６日（２００９．２．６）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
【公開日】平成２２年８月１９日（２０１０．８．１９）
【国際特許分類】
【出願日】平成２１年２月６日（２００９．２．６）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
[ Back to top ]