説明

撮像装置及び撮像方法

【課題】 被写体を最適な露光状態で、且つ所定のダイナミックレンジを確保した状態で撮像する。
【解決手段】 入射光量に対して電気信号が線形的に変換されて出力される線形特性領域と、入射光量に対して電気信号が対数的に変換されて出力される対数特性領域とからなる光電変換特性を有する撮像センサ30(30a)と、被写体の輝度情報に基づいて露出の制御に関する露出評価値を検出する評価値検出部405と、評価値検出部405によって検出された露出評価値に基づいて露出制御する全体制御部50(50a)(露出制御手段)とを備え、全体制御部50(50a)は、露出評価値を用いて光電変換特性に基づき露光量を制御する露光量制御パラメータ算出部511(511a)と、露出評価値を用いて光電変換特性に基づきダイナミックレンジを制御するダイナミックレンジ制御パラメータ算出部512(512a)とを備える。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、入射光量に応じた電気信号を発生する撮像センサを具備する撮像装置に関し、特に、その光電変換特性として入射光量に対して前記電気信号が線形的に変換されて出力される線形特性領域と、入射光量に対して前記電気信号が対数的に変換されて出力される対数特性領域とを備えている(線形特性の動作と対数特性の動作とが切り替え可能とされている)撮像センサを用いた撮像装置及び撮像方法に関するものである。
【背景技術】
【0002】
従来、フォトダイオード等の光電変換素子をマトリクス状に配置してなる固体撮像素子に、MOSFET等を備えた対数変換回路を付加し、前記MOSFETのサブスレッショルド特性を利用することで、固体撮像素子の出力特性を入射光量に対して電気信号が対数的に変換されるようにした撮像センサ(「LOGセンサ」とも呼ばれている)が知られている。このような撮像センサにおいて、固体撮像素子本来の出力特性、すなわち入射光量に応じて電気信号が線形的に変換されて出力される線形動作状態と、前述の対数動作状態とを切り替えることが可能とされた撮像センサが知られている。
【0003】
例えば特許文献1では、MOSFETに特定のリセット電圧を与えることで、線形動作状態から対数動作状態へ自動的に切り替え可能とすると共に、前記各画素の前記切り替え点を等しくした撮像装置が開示されている。また特許文献2にも、線形動作状態から対数動作状態へ自動的に切り替え可能とすると共に、MOSFETのリセット時間を調整することでMOSFETのポテンシャル状態を調整可能とした撮像装置が開示されている。
【0004】
ところで、撮像センサを線形動作状態で用いた場合、光電変換素子で発生した電荷量に比例した出力が得られることから、低輝度の被写体でも高コントラストな(高い階調性を有した)画像信号が得られる等の利点がある反面、ダイナミックレンジが狭くなってしまうという不都合がある。一方、撮像センサを対数動作状態で用いた場合、入射光量に対して自然対数的に変換された出力が得られることから、広いダイナミックレンジが確保できるという利点がある反面、画像信号が対数圧縮されることからコントラスト性が悪くなるという不都合がある。
【特許文献1】特開2002−77733号公報
【特許文献2】特開2002−300476号公報
【発明の開示】
【発明が解決しようとする課題】
【0005】
前記特許文献1及び特許文献2に係る撮像装置は、撮像センサを線形動作状態から対数動作状態へ自動的に切り替え可能とすることを開示しているに止まる。しかしながら、上述の線形動作状態及び対数動作状態の長所並びに短所に鑑みた場合、単に自動切り替えさせるだけでなく、それぞれの動作状態が備える長所を積極的に活用して撮像動作を行わせる構成とすることが望ましいと言える。例えば自動露光制御を行う場合においても、ターゲットとなる被写体の輝度と、撮像センサの線形動作状態から対数動作状態への切り替り点とを関連付けてその制御を行えば、専ら各動作状態が備える長所を活用した最適な自動露光制御を行い得る可能性がある。
【0006】
従って本発明は、撮像装置の露出制御を、当該撮像装置が備える撮像センサの光電変換特性と関連づけて行うことで、被写体からの光量(被写体輝度)に応じて、被写体を最適な露光状態で、しかも所定のダイナミックレンジを確保した状態で撮像することができる撮像装置及び撮像方法を提供することを目的とする。
【課題を解決するための手段】
【0007】
本発明の請求項1にかかる撮像装置は、入射光量に応じた電気信号を発生すると共に、前記入射光量に対して電気信号が線形的に変換されて出力される線形特性領域と、前記入射光量に対して電気信号が対数的に変換されて出力される対数特性領域とからなる光電変換特性を有する撮像センサと、被写体の輝度情報に基づいて、被写体を撮像するに際しての露出の制御に関する露出評価値を検出する露出評価値検出手段と、前記露出評価値検出手段によって検出された露出評価値に基づいて露出制御する露出制御手段とを備え、前記露出制御手段は、前記露出評価値を用いて、所要の露光量を確保するべく前記光電変換特性に基づき露光量を制御する露光量制御手段と、前記露出評価値を用いて、所要のダイナミックレンジを確保するべく前記光電変換特性に基づきダイナミックレンジを制御するダイナミックレンジ制御手段とを備えることを特徴とする。
【0008】
この構成によれば、被写体の輝度情報に基づいて露出評価値検出手段により露出評価値が検出される。そして、この露出評価値を用いて、光電変換特性に基づき露光量制御手段により露光量の制御が行われると共に、この露出評価値を用いて、光電変換特性に基づきダイナミックレンジ制御手段によりダイナミックレンジの制御が行われる。このように、撮像装置が備える撮像センサの光電変換特性と関連付けて、露光量制御手段による露光量制御とダイナミックレンジ制御手段によるダイナミックレンジ制御とを行うことによって当該撮像装置の露出制御を行うことができるため、被写体輝度に応じて、被写体を最適な露光状態で、しかも所定のダイナミックレンジを確保した状態で撮像することができる。
【0009】
ここで、本発明で言う「露出制御(以下、適宜「AE制御」という)」の概念に関する定義につき、図6に基づいて説明しておく。いわゆる銀塩カメラと異なり、デジタルカメラやデジタルムービィ等の撮像装置においては、AE制御のための制御要素としては、撮像センサの光電変換特性に関連づけて(光電変換特性を作為的に変化させて)制御する方法と、撮像センサの撮像面に届く光の総量と光電変換後の光電変換電流の積分時間を調整する方法とがある。本明細書では、前者を「ダイナミックレンジ制御」と呼び、後者を「露光量制御」と呼ぶものとする。なお、前記「ダイナミックレンジ制御」は、例えば撮像センサの線形特性領域と対数特性領域との切り替わり点(以下、変曲点という)を制御することで実行される。また、前記「露光量制御」は、例えば絞りの開口量調整や、或いはメカニカルシャッタのシャッタスピードの調整、又は撮像センサに対するリセット動作の制御による電荷の積分時間制御により実行される。
【0010】
請求項2にかかる撮像装置は、請求項1において、前記露光量制御手段は、露光量設定用の被写体輝度に対する撮像センサの出力が前記線形特性領域において所定の目標出力レベルとなる光電変換特性を算出すると共に、当該算出した光電変換特性に対応する露光量設定値を算出する露光量設定値算出手段を備え、前記露光量設定値算出手段により算出した露光量設定値に基づいて露光量を制御することを特徴とする。この構成によれば、線形特性領域において、露光量設定用の或る被写体輝度に対する撮像センサの出力が、所定の目標出力レベルとなるような(このような光電変換特性が得られる)露光量設定値を用いて露光量の制御が行われるため、低輝度の被写体でも高コントラストな画像信号が得られる線形特性領域での撮像における所望の露光量を確保することができる。
【0011】
請求項3にかかる撮像装置は、請求項2において、絞り装置をさらに備え、前記露光量設定値は、撮像センサに対する露光時間の調整に関する露光時間設定値及び/又は前記絞り装置に対する絞り開口面積の調整に関する絞り設定値であって、前記露光量制御手段は、露光量設定値算出手段により算出された露光時間設定値に基づく撮像センサの露光時間の制御及び/又は露光量設定値算出手段により算出された絞り設定値に基づく絞り装置の絞り開口面積の制御を行うことを特徴とする。この構成によれば、露光量の制御が、露光時間設定値に基づく制御、すなわち撮像センサに対する露光時間(撮像センサの電荷蓄積に関する積分時間或いはシャッタの開放時間)、及び/又は絞り設定値に基づく制御、すなわち絞り装置に対する絞り開口面積の制御によってなされるため、特に露光量制御用の装置を新規に設けることなく、既設の撮像センサ及び絞り装置等を利用して露光量を制御できるだけでなく、当該複数の制御手段(撮像センサ及び絞りの制御)を用いて、より精度の高い且つ自由度の高い露光量制御を行うことが可能となる。
【0012】
請求項4にかかる撮像装置は、請求項1において、前記ダイナミックレンジ制御手段は、ダイナミックレンジ設定用の被写体輝度に対する撮像センサの出力が所定の飽和出力レベルとなる光電変換特性を算出すると共に、当該算出した光電変換特性に対応するダイナミックレンジ設定値を算出するダイナミックレンジ設定値算出手段を備え、前記ダイナミックレンジ設定値算出手段により算出したダイナミックレンジ設定値に基づいてダイナミックレンジを制御することを特徴とする。この構成によれば、ダイナミックレンジ設定用の被写体輝度に対する撮像センサの出力が、所定の飽和出力レベルとなるような(このような光電変換特性が得られる)ダイナミックレンジ設定値を用いてダイナミックレンジの制御が行われるため、例えばダイナミックレンジ設定用の被写体輝度を被写体の最大輝度として当該被写体最大輝度が飽和出力レベルとなるように、すなわち被写体輝度(被写体輝度の範囲)に対するセンサ出力が、撮像センサの出力レベル範囲に入るように制御することができ、撮像に対する所望のダイナミックレンジ(被写体輝度の範囲)を確保することができる。
【0013】
請求項5にかかる撮像装置は、請求項4において、前記ダイナミックレンジ設定値は、撮像センサに対する光電変換特性の調整に関する光電変換特性設定値であって、前記ダイナミックレンジ制御手段は、ダイナミックレンジ設定値算出手段により算出された光電変換特性設定値に基づいて、光電変換特性の変曲点位置を制御することを特徴とする。この構成によれば、ダイナミックレンジの制御が、光電変換特性の調整に関する光電変換特性設定値を用いた、光電変換特性の変曲点位置の制御、すなわち変曲点位置を変化(光電変換特性の状態を変化)させることによる光電変換特性自体の制御によってなされるため、特にダイナミックレンジ制御用の装置を新規に設けることなく、既設の撮像センサ(撮像センサの光電変換特性を変化させる手段)を利用してダイナミックレンジ制御を行うことができると共に、変曲点位置のみの制御に基づいて光電変換特性の制御が行うことができ、より簡易な方法でのダイナミックレンジ制御が可能となる。
【0014】
請求項6にかかる撮像装置は、請求項3において、前記露光量設定値算出手段は、線形特性領域における第1の被写体輝度に対する出力レベル及び/又は対数特性領域における第2の被写体輝度に対する出力レベルから、前記露光量設定用の被写体輝度に対する出力レベルとしての平均出力レベルを算出すると共に、該平均出力レベルが前記目標出力レベルとなるよう、前記露光時間設定値及び絞り設定値を算出することを特徴とする。この構成によれば、線形特性領域を代表する或る被写体輝度に対する出力レベル及び/又は対数特性領域を代表する或る被写体輝度に対する出力レベルから、これらの平均出力レベル、すなわち光電変換特性を代表する出力レベルが算出され、この平均出力レベルが目標出力レベルとなる(このような光電変換特性が得られる)露光量が得られるような露光時間(露光時間設定値)及び絞りの開口面積(絞り設定値)が算出されるため、平均出力レベルを用いた、或いはこの平均出力レベルを目標出力レベルにするといった簡易な演算によって露光時間設定値及び絞り設定値を求めることができる。
【0015】
請求項7にかかる撮像装置は、請求項6において、前記露光量設定値算出手段は、前記目標出力レベルに対する前記平均出力レベルの第1の増幅率を算出し、該第1の増幅率から、露出制御前の露光時間に対する露出制御後の露光時間の第2の増幅率と、露出制御前の絞り開口面積に対する露出制御後の絞り開口面積の第3の増幅率とを決定すると共に、該第2及び第3の増幅率からそれぞれ露出制御後の露光時間に対応する前記露光時間設定値、及び露出制御後の絞り開口面積に対応する前記絞り設定値を算出することを特徴とする。この構成によれば、目標出力レベルに対する平均出力レベルの第1の増幅率から、露光時間の第2の増幅率及び絞り開口面積の第3の増幅率が決定され、当該第2及び第3の増幅率から露光時間設定値及び絞り設定値が得られるため、第1の増幅率が得られるような第2及び第3の増幅率を任意に(第1の増幅率に対する第2及び第3の増幅率それぞれの比率を任意に)、すなわち所要の露光量が得られるような露光時間設定値及び絞り設定値を任意に、且つ簡易な演算によって求めることができる。
【0016】
請求項8にかかる撮像装置は、請求項7において、前記露光量設定値算出手段は、前記第2の増幅率による露光量の制御及び前記第3の増幅率による露光量の制御のいずれかを優先させるよう、第1の増幅率から第2及び第3の増幅率を決定することを特徴とする。この構成によれば、第1の増幅率から第2及び第3の増幅率を決定する際に、第2の増幅率及び第3の増幅率のいずれかを優先させて決定するため、露光量の制御を、露光時間の制御及び絞りの制御のいずれかを優先させて行うことができ、すなわち、必ずしも露光時間制御と絞り制御とによる露光量制御を行わずともよく、一方の制御に依存させてより簡易に露光量制御を行わせることが可能となる。
【0017】
請求項9にかかる撮像装置は、請求項6〜8のいずれかにおいて、所定のデータ変換を行うための変換情報を記憶する変換情報記憶手段をさらに備え、前記露光量設定値算出手段は、前記変換情報記憶手段に記憶された変換情報を用いたデータ変換に基づいて、対数特性領域における前記第2の被写体輝度の出力レベルを、該対数特性領域に対応する線形特性領域における出力レベルに換算することを特徴とする。この構成によれば、変換情報を用いたデータ変換を行うことにより、対数特性領域における被写体輝度に対する出力レベルの値が線形特性領域における出力レベルの値に換算されるため、すなわち各被写体輝度に対する出力レベルのデータを、一旦線形特性領域でのデータに統一して扱うことができるため、当該各データを用いた演算を容易に且つ確実に行えるようになり、ひいては演算速度(処理速度)が向上し、迅速な露光量制御(露出制御)を行うことができる。
【0018】
請求項10にかかる撮像装置は、請求項5において、前記ダイナミックレンジ設定値算出手段は、ダイナミックレンジ設定用の被写体輝度として設定した被写体最大輝度に対する出力レベルの変化量を算出し、前記光電変換特性設定値を算出することを特徴とする。この構成によれば、光電変換特性設定値が、ダイナミックレンジ設定用の被写体輝度として設定された被写体最大輝度に対する出力レベルの変化量の算出に基づいて算出されるため、より簡易な方法によって光電変換特性設定値を求めることができる。
【0019】
請求項11にかかる撮像装置は、請求項1〜10のいずれかにおいて、前記露出評価値検出手段は、前記被写体の撮影画像を、少なくとも主被写体領域と該主被写体領域の周辺に位置する周辺被写体領域とに区画して該撮影画像の輝度の検出を行う分割測光手段を備え、前記分割測光手段による輝度の検出によって得られる主被写体領域及び周辺被写体領域それぞれに対する主被写体輝度及び周辺被写体輝度に基づいて、前記露出評価値を検出することを特徴とする。この構成によれば、所謂分割測光方式により、被写体の撮影画像が主被写体領域と周辺被写体領域とに区画されて当該撮影画像の輝度が検出され、当該各主被写体領域及び周辺被写体領域に対する主被写体輝度及び周辺被写体輝度に基づいて露出評価値の検出が行われるため、露出制御を行う際に、常に撮影画像(撮像領域)全体の輝度情報を用いるのではなく、露出制御における各制御(露光量制御又はダイナミックレンジ制御)に対応して最適な露出評価値(輝度情報)が用いられるように、当該露出評価値(輝度情報)を得る領域(ここでは主被写体領域又は周辺被写体領域)を選択することが可能となる。
【0020】
請求項12にかかる撮像装置は、請求項11において、前記露出評価値検出手段は、主被写体領域に対する主被写体輝度ヒストグラム及び周辺被写体領域に対する周辺被写体輝度ヒストグラムを算出するヒストグラム算出手段をさらに備え、該主被写体輝度ヒストグラム及び周辺被写体輝度ヒストグラムに基づいて、前記露出評価値を検出することを特徴とする。この構成によれば、露出評価値が、ヒストグラム算出手段による輝度ヒストグラム(主被写体輝度ヒストグラム及び周辺被写体輝度ヒストグラム)に基づいて検出されるため、各領域における被写体輝度から容易に且つ確実に所要の露出評価値の検出を行うことができる。
【0021】
請求項13にかかる撮像装置は、請求項12において、前記ヒストグラム算出手段は、前記主被写体輝度ヒストグラム及び周辺被写体輝度ヒストグラムにおける所定の閾値より小さい度数の輝度データを、前記露出評価値の算出に用いないことを特徴とする。この構成によれば、輝度ヒストグラムにおける所定の閾値より小さい度数の輝度データを用いない、すなわち所定の閾値によって輝度データの所謂「足切り」を行うため、撮像におけるノイズ等による輝度の誤差を低減することができる。
【0022】
請求項14にかかる撮像装置は、請求項11〜13のいずれかにおいて、前記第1の被写体輝度及び第2の被写体輝度は、それぞれ撮像センサによる線形特性領域及び対数特性領域において検出された主被写体輝度を平均してなる主被写体平均輝度であることを特徴とする。この構成によれば、第1の被写体輝度及び第2の被写体輝度が主被写体領域での輝度(主被写体輝度)から得られるため、主被写体領域での被写体の輝度を露光量の制御に反映させることができる。また、第1の被写体輝度として線形特性領域での主被写体輝度の平均値を、第2の被写体輝度として対数特性領域での主被写体輝度の平均値を用いるため、当該第1及び第2の被写体輝度(主被写体平均輝度)を、それぞれ線形特性領域及び対数特性領域における被写体輝度を反映(代表)するものとして容易に設定(算出)することができる。
【0023】
請求項15にかかる撮像装置は、請求項11〜13のいずれかにおいて、前記第1の増幅率は、前記主被写体輝度の最大値である主被写体最大輝度及び主被写体輝度の最小値である主被写体最小輝度に基づいて算出されることを特徴とする。この構成によれば、第1の増幅率が主被写体領域での輝度(主被写体輝度)から得られるため、主被写体領域での被写体の輝度を露光量の制御に反映させることができる。また、第1の増幅率が主被写体最大輝度及び主被写体最小輝度に基づいて算出されるため、第1の増幅率、すなわち目標出力レベルに対する平均出力レベルの増幅率、を得るための露光量の制御に用いられる被写体輝度を、上記最大値或いは最小値として容易に設定(算出)することができる。
【0024】
請求項16にかかる撮像装置は、請求項14又は15において、前記主被写体平均輝度、並びに主被写体最大輝度及び主被写体最小輝度は、それぞれレッド、グリーン及びブルーの各色の輝度データを用いた色空間変換に基づいて算出されることを特徴とする。この構成によれば、主被写体平均輝度、並びに主被写体最大輝度及び主被写体最小輝度が、RGBの3原色の輝度データから算出されるため、当該算出された各輝度に基づいてより精度の高い露光量制御(露出制御)を行うことができる。
【0025】
請求項17にかかる撮像装置は、請求項16において、前記各色の輝度データが対数特性領域における輝度データである場合には、前記変換情報記憶手段に記憶された変換情報に基づいて、当該対数特性領域における各色の輝度データを線形特性領域における輝度データに換算することを特徴とする。この構成によれば、変換情報を用いたデータ変換を行うことにより、各色の輝度データに対する出力レベルのデータを、一旦線形特性領域でのデータに統一して扱うことができるため、当該各輝度データを用いた演算を容易に且つ確実に行えるようになり、ひいては演算速度が向上し、迅速な露光量制御(露出制御)を行うことができる。
【0026】
請求項18にかかる撮像装置は、請求項11において、前記ダイナミックレンジ設定用の被写体輝度として設定した被写体最大輝度は、対数特性領域において検出された主被写体輝度及び周辺被写体輝度をそれぞれ平均してなる主被写体平均輝度及び周辺被写体平均輝度のうちの大きな方の輝度であることを特徴とする。この構成によれば、ダイナミックレンジ設定用の被写体最大輝度として、主被写体平均輝度及び周辺被写体平均輝度のうちの大きな方の輝度が採用されるため、撮影画像における被写体の最大輝度を反映(代表)するダイナミックレンジ設定用の被写体最大輝度を、容易に設定(算出)することができる。
【0027】
請求項19にかかる撮像装置は、請求項11において、前記ダイナミックレンジ設定用の被写体輝度として設定した被写体最大輝度は、主被写体輝度の最大値である主被写体最大輝度、及び周辺被写体輝度の最大値である周辺被写体最大輝度のうちの大きな方の輝度であることを特徴とする。この構成によれば、ダイナミックレンジ設定用の被写体最大輝度として、主被写体最大輝度及び周辺被写体最大輝度のうちの大きな方の輝度が採用されるため、撮影画像における被写体の最大輝度を反映(代表)するダイナミックレンジ設定用の被写体最大輝度を、容易に設定(算出)することができる。
【0028】
請求項20にかかる撮像装置は、請求項12において、前記ヒストグラム算出手段は、主被写体領域及び周辺被写体領域を合わせた全撮像領域に対する全領域輝度ヒストグラムを算出し、前記露出評価値検出手段は、前記全領域輝度ヒストグラムに基づいて、撮像センサの出力レベルが飽和出力レベルに達しているか否かを判別する飽和判別手段をさらに備えることを特徴とする。この構成によれば、ヒストグラム算出手段により算出された全領域輝度ヒストグラムに基づいて、撮像センサの出力レベルが飽和出力レベルに達しているか否かが飽和判別手段によって判別されるため、当該飽和出力レベルに達しているか否かの判別が容易に行えると共に、この飽和出力レベルの判別を利用して露出を最適に制御する、例えば撮像センサに対する入射光量が多くなって撮像センサが飽和出力レベルに達した場合等に、ダイナミックレンジを広げるように光電変換特性を制御する、といったことが可能となる。
【0029】
請求項21にかかる撮像装置は、請求項20において、前記飽和判別手段は、前記全領域輝度ヒストグラムにおける、被写体輝度及び度数が所定の閾値以上となる領域の飽和輝度データ数が所定数以上となる場合に、前記飽和出力レベルに達したと判別することを特徴とする。この構成によれば、被写体輝度及び度数が所定の閾値以上となる飽和輝度データ数が所定数以上となったか否かの判別によって、撮像センサが飽和出力レベルに達したか否かを判別するため、当該撮像センサが飽和出力レベルに達したか否かの判別を容易に行うことができる。
【0030】
請求項22にかかる撮像装置は、請求項21において、前記ダイナミックレンジ制御手段は、前記飽和判別手段により撮像センサが飽和出力レベルに達したと判別された場合に、前記飽和輝度データ数に比例して光電変換特性の変曲点に対する出力レベルを下げるよう、当該変曲点位置の制御を行うことを特徴とする。この構成によれば、撮像センサが飽和出力レベルに達した場合に、飽和輝度データ数に比例して光電変換特性の変曲点に対する出力レベルが下げられるため、撮像センサの出力レベルの飽和の度合いに応じた(飽和輝度データ数に応じた)ダイナミックレンジの制御(ダイナミックレンジを広げる制御)を自動的に行うことができる。
【0031】
請求項23にかかる撮像方法は、入射光量に応じた電気信号を発生すると共に、前記入射光量に対して電気信号が線形的に変換されて出力される線形特性領域と、前記入射光量に対して電気信号が対数的に変換されて出力される対数特性領域とからなる光電変換特性を有する撮像センサを備える撮像装置を用い、被写体の輝度情報に基づいて、被写体を撮像するに際しての露出制御に関する露出評価値を検出し、前記露出評価値を用いて、所要の露光量を確保するべく前記光電変換特性に基づき露光量制御を行うと共に、所要のダイナミックレンジを確保するべく光電変換特性に基づきダイナミックレンジ制御を行うことで、撮像にあたっての露出制御を行うことを特徴とする。
【0032】
この構成によれば、被写体の輝度情報に基づいて露出評価値検出手段により露出評価値が検出される。そして、この露出評価値を用いて、光電変換特性に基づき露光量制御手段により露光量の制御が行われると共に、この露出評価値を用いて、光電変換特性に基づきダイナミックレンジ制御手段によりダイナミックレンジの制御が行われる。このように、撮像装置が備える撮像センサの光電変換特性と関連付けて、露光量制御手段による露光量制御とダイナミックレンジ制御手段によるダイナミックレンジ制御とを行うことによって当該撮像装置の露出制御を行うことができるため、被写体輝度に応じて、被写体を最適な露光状態で、しかも所定のダイナミックレンジを確保した状態で撮像することができる。
【0033】
請求項24にかかる撮像装置は、請求項1において、前記撮像センサは、対数特性領域での光電変換を露光時間に依存せず実行することが可能に構成されたものであって、絞り装置をさらに備え、前記露光量制御手段は、絞り装置に対する絞り開口面積の調整に関する絞り設定値に基づいて露光量を制御する絞り制御手段及び/又は撮像センサに対する露光時間の調整に関する露光時間設定値に基づいて露光量を制御する露光時間制御手段を備え、前記露出制御手段は、それぞれ独立に露出制御が可能に構成された絞り制御手段及び/又は露光時間制御手段、並びに前記ダイナミックレンジ制御手段によって露出制御を行うことを特徴とする。
【0034】
この構成によれば、撮像センサが対数特性領域での光電変換を露光時間に依存せず実行することが可能に構成され、露光量制御手段が備える絞り制御手段による絞り開口面積の調整に関する絞り設定値、及び/又は露光量制御手段が備える露光時間制御手段による露光時間の調整に関する露光時間設定値に基づいて露光量が制御され、露出制御手段によって、それぞれ独立に露出制御が可能、すなわち絞り制御及び/又は露光時間制御、並びにダイナミックレンジ制御それぞれに応じて光電変換特性を変化させて各設定値(制御パラメータ)を得ることが可能に構成された絞り制御手段及び/又は露光時間制御手段、並びにダイナミックレンジ制御手段による露出制御が行われる。このように、撮像センサの(対数特性領域での光電変換が露光時間に依存せず実行されるという)光電変換特性と関連付けて、露出制御が、絞り制御及び/又は露光時間制御、並びにダイナミックレンジ制御の互いに独立した複数種類の制御を用いて実行されることで、より自由度の高い、またこれら各制御の組み合わせに応じて効率の良い露出制御を行うことが可能となる。
【0035】
請求項25にかかる撮像装置は、請求項24において、前記絞り制御手段は、当該絞りの制御に応じて、線形特性領域及び対数特性領域からなる光電変換特性全体を変化させて露光量制御を行うことを特徴とする。この構成によれば、絞り制御手段による絞りの制御に応じて、線形特性領域及び対数特性領域からなる光電変換特性全体を変化させて露光量制御が行われるため、光電変換特性における線形特性領域を変化させて該線形特性領域での露光量調整を行いつつ、対数特性領域を変化させてダイナミックレンジの調整(対数特性領域での露光量調整)も同時に行うことができ、暗い画像に対する露光量を全体的に増加させる(全体的に明るくする)といった露出制御を効率良く行うことが可能となる。
【0036】
請求項26にかかる撮像装置は、請求項25において、前記絞り制御手段は、露光量設定用の被写体輝度に対する撮像センサの出力が前記線形特性領域において所定の目標出力レベルとなる光電変換特性を算出すると共に、当該算出した光電変換特性に対応する絞り設定値を算出する絞り設定値算出手段を備え、当該絞り設定値算出手段により算出した絞り設定値に基づいて前記絞りの制御を行うことを特徴とする。この構成によれば、絞り制御手段によって、露光量設定用の被写体輝度に対する撮像センサの出力が線形特性領域において所定の目標出力レベルとなる光電変換特性が算出されると共に、当該算出された光電変換特性に対応する絞り設定値が、絞り制御手段が備える絞り設定値算出手段により算出され、当該算出された絞り設定値に基づいて絞りの制御が行われため、或る被写体輝度に対して所定の目標出力レベルが得られる光電変換特性から絞り設定値を求めるという簡易な演算に基づいて当該絞り制御による露光量制御を実現することができる。
【0037】
請求項27にかかる撮像装置は、請求項24〜26のいずれかにおいて、前記露光時間制御手段は、当該露光時間の制御に応じて、光電変換特性における対数特性領域を固定した状態で線形特性領域を変化させて露光量制御を行うことを特徴とする。この構成によれば、露光時間制御手段による露光時間の制御に応じて、光電変換特性における対数特性領域が固定された状態で線形特性領域が変化されて露光量制御が行われるため、対数特性領域を固定してダイナミックレンジを変化させることなく(所定のダイナミックレンジを維持した状態で)線形特性領域を変化させて該線形特性領域での露光量調整のみを実行することができ、画像の全体的な明るさは維持したまま低輝度部分だけ明るくするといった露出制御を行うことが可能となる。
【0038】
請求項28にかかる撮像装置は、請求項27において、前記露光時間制御手段は、露光量設定用の被写体輝度に対する撮像センサの出力が前記線形特性領域において所定の目標出力レベルとなる光電変換特性を算出すると共に、当該算出した光電変換特性に対応する露光時間設定値を算出する露光時間設定値算出手段を備え、当該露光時間設定値算出手段により算出した露光時間設定値に基づいて前記露光時間の制御を行うことを特徴とする。この構成によれば、露光時間制御手段によって、露光量設定用の被写体輝度に対する撮像センサの出力が線形特性領域において所定の目標出力レベルとなる光電変換特性が算出されると共に、当該算出された光電変換特性に対応する露光時間設定値が、露光時間制御手段が備える露光時間設定値算出手段により算出され、当該算出された露光時間設定値に基づいて露光時間の制御が行われるため、或る被写体輝度に対して所定の目標出力レベルが得られる光電変換特性から露光時間設定値を求めるという簡易な演算に基づいて当該露光時間制御による露光量制御を実現することができる。
【0039】
請求項29にかかる撮像装置は、請求項24〜28のいずれかにおいて、シャッタ装置をさらに備え、前記露光時間制御手段は、撮像センサの積分時間及び/又はシャッタ装置のシャッタ開放時間の制御に基づいて露光時間の制御を行うことを特徴とする。この構成によれば、露光時間制御手段によって、撮像センサの積分時間(電荷の蓄積時間)及び/又はシャッタ装置のシャッタ開放時間の制御に基づいて露光時間の制御が行われるため、当該積分時間及び/又はシャッタ開放時間の制御を用いた自由度の高い露光時間制御が可能となる。
【0040】
請求項30にかかる撮像装置は、請求項24〜29のいずれかにおいて、前記ダイナミックレンジ制御手段は、ダイナミックレンジ設定用の被写体輝度に対する撮像センサの出力が所定の飽和出力レベルとなる光電変換特性を算出すると共に、当該算出した光電変換特性に対応するダイナミックレンジ設定値を算出するダイナミックレンジ設定値算出手段を備え、前記ダイナミックレンジ設定値算出手段により算出したダイナミックレンジ設定値に基づいてダイナミックレンジを制御することを特徴とする。この構成によれば、ダイナミックレンジ制御手段によって、ダイナミックレンジ設定用の被写体輝度に対する撮像センサの出力が所定の飽和出力レベルとなる光電変換特性が算出されると共に、当該算出された光電変換特性に対応するダイナミックレンジ設定値が、ダイナミックレンジ制御手段が備えるダイナミックレンジ設定値算出手段により算出され、当該算出されたダイナミックレンジ設定値に基づいてダイナミックレンジの制御が行われるため、或る被写体輝度に対して所定の飽和出力レベルが得られる光電変換特性からダイナミックレンジ設定値を求めるという簡易な演算に基づいてダイナミックレンジ制御を実現することができる。
【0041】
請求項31にかかる撮像装置は、請求項30において、前記ダイナミックレンジ設定値は、撮像センサに対する光電変換特性の調整に関する光電変換特性設定値であって、前記ダイナミックレンジ制御手段は、ダイナミックレンジ設定値算出手段により算出された光電変換特性設定値に基づいて光電変換特性の変曲点位置を制御することでダイナミックレンジを制御することを特徴とする。この構成によれば、ダイナミックレンジ制御手段によって、光電変換特性設定値に基づく光電変換特性の変曲点位置の制御によりダイナミックレンジが制御されるため、より簡易な方法でのダイナミックレンジ制御が可能となる。
【0042】
請求項32にかかる撮像装置は、請求項24〜31のいずれかにおいて、前記撮像センサは、入射光に対して光電流を発生させるフォトダイオードからの電荷を蓄積して該電荷を電圧に変換するフローティングディフュージョンと、該フローティングディフュージョンに対するリセットバイアス印加用のトランジスタとを備え、該トランジスタのゲート電圧がハイ電位及びロー電位間の中電位に設定されることで前記線形特性領域及び対数特性領域からなる光電変換特性を有する信号を出力することを特徴とする。この構成によれば、撮像センサにフローティングディフュージョンとリセットバイアス印加用のトランジスタとが備えられ、該トランジスタのゲート電圧が中電位に設定されることで線形特性領域及び対数特性領域からなる光電変換特性を有する信号が出力されるため、簡易な構成による撮像センサを用いて、線形特性領域及び対数特性領域を有する光電変換特性を得ることが可能となると共に、露出制御に関してそれぞれ独立した制御である(各制御別に異なる光電変換特性の変化が得られる)絞り制御及び/又は露光時間制御、並びにダイナミックレンジ制御による露出制御を実現することが可能となる。
【0043】
請求項33にかかる撮像方法は、請求項23において、前記撮像センサは、対数特性領域での光電変換を露光時間に依存せず実行することが可能に構成されたものであって、絞り装置に対する絞り開口面積の調整に関する絞り設定値に基づいて露光量を制御する絞り制御及び/又は撮像センサに対する露光時間の調整に関する露光時間設定値に基づいて露光量を制御する露光時間制御を行い、露出制御に関してそれぞれ独立に露出制御が可能とされた前記絞り制御及び/又は露光時間制御、並びにダイナミックレンジ制御によって露出制御を行うことを特徴とする。
【0044】
この構成によれば、撮像センサが対数特性領域での光電変換を露光時間に依存せず実行することが可能に構成され、露光量制御手段が備える絞り制御手段による絞り開口面積の調整に関する絞り設定値、及び/又は露光量制御手段が備える露光時間制御手段による露光時間の調整に関する露光時間設定値に基づいて露光量が制御され、露出制御手段によって、それぞれ独立に露出制御が可能とされた絞り制御手段及び/又は露光時間制御手段、並びにダイナミックレンジ制御手段による露出制御が行われる。このように、撮像センサの(対数特性領域での光電変換が露光時間に依存せず実行されるという)光電変換特性と関連付けて、露出制御が、絞り制御及び/又は露光時間制御、並びにダイナミックレンジ制御の互いに独立した複数種類の制御を用いて実行されることで、より自由度の高い、またこれら各制御の組み合わせに応じて効率の良い露出制御を行うことが可能となる。
【発明の効果】
【0045】
請求項1にかかる撮像装置によれば、撮像装置が備える撮像センサの光電変換特性と関連付けて、露光量制御手段による露光量制御とダイナミックレンジ制御手段によるダイナミックレンジ制御とを行うことによって当該撮像装置の露出制御を行うことができるため、被写体輝度に応じて、被写体を最適な露光状態で、しかも所定のダイナミックレンジを確保した状態で撮像することができる。
【0046】
請求項2にかかる撮像装置によれば、線形特性領域において、露光量設定用の或る被写体輝度に対する撮像センサの出力が、所定の目標出力レベルとなるような(このような光電変換特性が得られる)露光量設定値を用いて露光量の制御が行われるため、低輝度の被写体でも高コントラストな画像信号が得られる線形特性領域での撮像における所望の露光量を確保することができる。
【0047】
請求項3にかかる撮像装置によれば、特に露光量制御用の装置を新規に設けることなく、既設の撮像センサ及び絞り装置等を利用して露光量を制御できるだけでなく、当該複数の制御手段(撮像センサ及び絞りの制御)を用いて、より精度の高い且つ自由度の高い露光量制御を行うことが可能となる。
【0048】
請求項4にかかる撮像装置によれば、被写体輝度(被写体輝度の範囲)に対するセンサ出力が、撮像センサの出力レベル範囲に入るように制御することができ、撮像に対する所望のダイナミックレンジ(被写体輝度の範囲)を確保することができる。
【0049】
請求項5にかかる撮像装置によれば、特にダイナミックレンジ制御用の装置を新規に設けることなく、既設の撮像センサ(撮像センサの光電変換特性を変化させる手段)を利用してダイナミックレンジ制御を行うことができると共に、変曲点位置のみの制御に基づいて光電変換特性の制御が行うことができ、より簡易な方法でのダイナミックレンジ制御が可能となる。
【0050】
請求項6にかかる撮像装置によれば、平均出力レベルを用いた、或いはこの平均出力レベルを目標出力レベルにするといった簡易な演算によって露光時間設定値及び絞り設定値を求めることができる。
【0051】
請求項7にかかる撮像装置によれば、第1の増幅率が得られるような第2及び第3の増幅率を任意に(第1の増幅率に対する第2及び第3の増幅率それぞれの比率を任意に)、すなわち所要の露光量が得られるような露光時間設定値及び絞り設定値を任意に、且つ簡易な演算によって求めることができる。
【0052】
請求項8にかかる撮像装置によれば、露光量の制御を、露光時間の制御及び絞りの制御のいずれかを優先させて行うことができ、すなわち、必ずしも露光時間制御と絞り制御とによる露光量制御を行わずともよく、一方の制御に依存させてより簡易に露光量制御を行わせることが可能となる。
【0053】
請求項9にかかる撮像装置によれば、各被写体輝度に対する出力レベルのデータを、一旦線形特性領域でのデータに統一して扱うことができるため、当該各データを用いた演算を容易に且つ確実に行えるようになり、ひいては演算速度(処理速度)が向上し、迅速な露光量制御(露出制御)を行うことができる。
【0054】
請求項10にかかる撮像装置によれば、光電変換特性設定値が、ダイナミックレンジ設定用の被写体輝度として設定された被写体最大輝度に対する出力レベルの変化量の算出に基づいて算出されるため、より簡易な方法によって光電変換特性設定値を求めることができる。
【0055】
請求項11にかかる撮像装置によれば、露出制御を行う際に、常に撮影画像(撮像領域)全体の輝度情報を用いるのではなく、露出制御における各制御(露光量制御又はダイナミックレンジ制御)に対応して最適な露出評価値(輝度情報)が用いられるように、当該露出評価値(輝度情報)を得る領域(主被写体領域又は周辺被写体領域)を選択することが可能となる。
【0056】
請求項12にかかる撮像装置によれば、露出評価値が、ヒストグラム算出手段による輝度ヒストグラム(主被写体輝度ヒストグラム及び周辺被写体輝度ヒストグラム)に基づいて検出されるため、各領域における被写体輝度から容易に且つ確実に所要の露出評価値の検出を行うことができる。
【0057】
請求項13にかかる撮像装置によれば、輝度ヒストグラムにおける所定の閾値より小さい度数の輝度データを用いない、すなわち所定の閾値によって輝度データの所謂「足切り」を行うため、撮像におけるノイズ等による輝度の誤差を低減することができる。
【0058】
請求項14にかかる撮像装置によれば、第1の被写体輝度及び第2の被写体輝度が主被写体領域での輝度(主被写体輝度)から得られるため、主被写体領域での被写体の輝度を露光量の制御に反映させることができる。また、第1の被写体輝度として線形特性領域での主被写体輝度の平均値を、第2の被写体輝度として対数特性領域での主被写体輝度の平均値を用いるため、当該第1及び第2の被写体輝度(主被写体平均輝度)を、それぞれ線形特性領域及び対数特性領域における被写体輝度を反映(代表)するものとして容易に設定(算出)することができる。
【0059】
請求項15にかかる撮像装置によれば、第1の増幅率が主被写体領域での輝度(主被写体輝度)から得られるため、主被写体領域での被写体の輝度を露光量の制御に反映させることができる。また、第1の増幅率が主被写体最大輝度及び主被写体最小輝度に基づいて算出されるため、第1の増幅率、すなわち目標出力レベルに対する平均出力レベルの増幅率、を得るための露光量の制御に用いられる被写体輝度を、上記最大値或いは最小値として容易に設定(算出)することができる。
【0060】
請求項16にかかる撮像装置によれば、主被写体平均輝度、並びに主被写体最大輝度及び主被写体最小輝度が、RGBの3原色の輝度データから算出されるため、当該算出された各輝度に基づいてより精度の高い露光量制御(露出制御)を行うことができる。
【0061】
請求項17にかかる撮像装置によれば、変換情報を用いたデータ変換を行うことにより、各色の輝度データに対する出力レベルのデータを、一旦線形特性領域でのデータに統一して扱うことができるため、当該各輝度データを用いた演算を容易に且つ確実に行えるようになり、ひいては演算速度が向上し、迅速な露光量制御(露出制御)を行うことができる。
【0062】
請求項18にかかる撮像装置によれば、ダイナミックレンジ設定用の被写体最大輝度として、主被写体平均輝度及び周辺被写体平均輝度のうちの大きな方の輝度が採用されるため、撮影画像における被写体の最大輝度を反映(代表)するダイナミックレンジ設定用の被写体最大輝度を、容易に設定(算出)することができる。
【0063】
請求項19にかかる撮像装置によれば、ダイナミックレンジ設定用の被写体最大輝度として、主被写体最大輝度及び周辺被写体最大輝度のうちの大きな方の輝度が採用されるため、撮影画像における被写体の最大輝度を反映(代表)するダイナミックレンジ設定用の被写体最大輝度を、容易に設定(算出)することができる。
【0064】
請求項20にかかる撮像装置によれば、撮像センサが飽和出力レベルに達しているか否かの判別が容易に行えると共に、この飽和出力レベルの判別を利用して露出を最適に制御する、例えば撮像センサに対する入射光量が多くなって撮像センサが飽和出力レベルに達した場合等に、ダイナミックレンジを広げるように光電変換特性を制御する、といったことが可能となる。
【0065】
請求項21にかかる撮像装置によれば、被写体輝度及び度数が所定の閾値以上となる飽和輝度データ数が所定数以上となったか否かの判別によって、撮像センサが飽和出力レベルに達したか否かを判別するため、当該撮像センサが飽和出力レベルに達したか否かの判別を容易に行うことができる。
【0066】
請求項22にかかる撮像装置によれば、撮像センサが飽和出力レベルに達した場合に、飽和輝度データ数に比例して光電変換特性の変曲点に対する出力レベルが下げられるため、撮像センサの出力レベルの飽和の度合いに応じた(飽和輝度データ数に応じた)ダイナミックレンジの制御(ダイナミックレンジを広げる制御)を自動的に行うことができる。
【0067】
請求項23にかかる撮像方法によれば、撮像装置が備える撮像センサの光電変換特性と関連付けて、露光量制御手段による露光量制御とダイナミックレンジ制御手段によるダイナミックレンジ制御とを行うことによって当該撮像装置の露出制御を行うことができるため、被写体輝度に応じて、被写体を最適な露光状態で、しかも所定のダイナミックレンジを確保した状態で撮像することができる。
【0068】
請求項24にかかる撮像装置によれば、撮像センサの(対数特性領域での光電変換が露光時間に依存せず実行されるという)光電変換特性と関連付けて、露出制御が、絞り制御及び/又は露光時間制御、並びにダイナミックレンジ制御との互いに独立した複数種類の制御を用いて実行されることで、より自由度の高い、またこれら各制御の組み合わせに応じて効率の良い露出制御を行うことが可能となる。
【0069】
請求項25にかかる撮像装置によれば、絞り制御手段による絞りの制御に応じて、線形特性領域及び対数特性領域からなる光電変換特性全体を変化させて露光量制御が行われるため、光電変換特性における線形特性領域を変化させて該線形特性領域での露光量調整を行いつつ、対数特性領域を変化させてダイナミックレンジの調整(対数特性領域での露光量調整)も同時に行うことができ、暗い画像に対する露光量を全体的に増加させる(全体的に明るくする)といった露出制御を効率良く行うことが可能となる。
【0070】
請求項26にかかる撮像装置によれば、絞り制御手段によって、露光量設定用の被写体輝度に対する撮像センサの出力が線形特性領域において所定の目標出力レベルとなる光電変換特性が算出されると共に、当該算出された光電変換特性に対応する絞り設定値が、絞り制御手段が備える絞り設定値算出手段により算出され、当該算出された絞り設定値に基づいて絞りの制御が行われため、或る被写体輝度に対して所定の目標出力レベルが得られる光電変換特性から絞り設定値を求めるという簡易な演算に基づいて当該絞り制御による露光量制御を実現することができる。
【0071】
請求項27にかかる撮像装置によれば、露光時間制御手段による露光時間の制御に応じて、光電変換特性における対数特性領域が固定された状態で線形特性領域が変化されて露光量制御が行われるため、対数特性領域を固定してダイナミックレンジを変化させることなく(所定のダイナミックレンジを維持した状態で)線形特性領域を変化させて該線形特性領域での露光量調整のみを実行することができ、画像の全体的な明るさは維持したまま低輝度部分だけ明るくするといった露出制御を行うことが可能となる。
【0072】
請求項28にかかる撮像装置によれば、露光時間制御手段によって、露光量設定用の被写体輝度に対する撮像センサの出力が線形特性領域において所定の目標出力レベルとなる光電変換特性が算出されると共に、当該算出された光電変換特性に対応する露光時間設定値が、露光時間制御手段が備える露光時間設定値算出手段により算出され、当該算出された露光時間設定値に基づいて露光時間の制御が行われるため、或る被写体輝度に対して所定の目標出力レベルが得られる光電変換特性から露光時間設定値を求めるという簡易な演算に基づいて当該露光時間制御による露光量制御を実現することができる。
【0073】
請求項29にかかる撮像装置によれば、露光時間制御手段によって、撮像センサの積分時間(電荷の蓄積時間)及び/又はシャッタ装置のシャッタ開放時間の制御に基づいて露光時間の制御が行われるため、当該積分時間及び/又はシャッタ開放時間の制御を用いた自由度の高い露光時間制御が可能となる。
【0074】
請求項30にかかる撮像装置によれば、ダイナミックレンジ制御手段によって、ダイナミックレンジ設定用の被写体輝度に対する撮像センサの出力が所定の飽和出力レベルとなる光電変換特性が算出されると共に、当該算出された光電変換特性に対応するダイナミックレンジ設定値が、ダイナミックレンジ制御手段が備えるダイナミックレンジ設定値算出手段により算出され、当該算出されたダイナミックレンジ設定値に基づいてダイナミックレンジの制御が行われるため、或る被写体輝度に対して所定の飽和出力レベルが得られる光電変換特性からダイナミックレンジ設定値を求めるという簡易な演算に基づいてダイナミックレンジ制御を実現することができる。
【0075】
請求項31にかかる撮像装置によれば、ダイナミックレンジ制御手段によって、光電変換特性設定値に基づく光電変換特性の変曲点位置の制御によりダイナミックレンジが制御されるため、より簡易な方法でのダイナミックレンジ制御が可能となる。
【0076】
請求項32にかかる撮像装置によれば、撮像センサにフローティングディフュージョンとリセットバイアス印加用のトランジスタとが備えられ、該トランジスタのゲート電圧が中電位に設定されることで線形特性領域及び対数特性領域からなる光電変換特性を有する信号が出力されるため、簡易な構成による撮像センサを用いて、線形特性領域及び対数特性領域を有する光電変換特性を得ることが可能となると共に、露出制御に関してそれぞれ独立した制御である(各制御別に異なる光電変換特性の変化が得られる)絞り制御及び/又は露光時間制御、並びにダイナミックレンジ制御による露出制御を実現することが可能となる。
【0077】
請求項33にかかる撮像方法によれば、撮像センサの(対数特性領域での光電変換が露光時間に依存せず実行されるという)光電変換特性と関連付けて、露出制御が、絞り制御及び/又は露光時間制御、並びにダイナミックレンジ制御との互いに独立した複数種類の制御を用いて実行されることで、より自由度の高い、またこれら各制御の組み合わせに応じて効率の良い露出制御を行うことが可能となる。
【発明を実施するための最良の形態】
【0078】
(実施形態1)
以下、図面に基づいて、本発明の第1の実施形態につき説明する。
(撮像装置の外観構造の説明)
図1は、第1の実施形態にかかる撮像装置が好適に適用される小型のデジタルカメラ1の外観を示す図であり、(a)はその上面図、(b)は正面図、(c)は背面図をそれぞれ示している。このデジタルカメラ(撮像装置)1は、カメラ本体ボディ10の頂面には電源スイッチ101及びレリーズスイッチ102等が、正面側にはフラッシュ発光部103及び撮影レンズ窓104等が、また背面側にはモード設定スイッチ105などの各種の操作ボタンや液晶モニター(LCD)からなるLCD表示部106等がそれぞれ配置されている。そして本体ボディ10の内部には、各種本体機器のほか、屈曲型の鏡胴20が配置されている。
【0079】
電源スイッチ101は、カメラ1の電源をON(起動)、OFF(起動停止)するための押下スイッチであり、押下動作によりカメラ電源のON、OFFが順次繰り返される。またモード設定スイッチ105は、静止画を撮影する静止画撮影モードと、動画を撮影する動画撮影モードとの2つのモードを設定するためのものである。
【0080】
レリーズスイッチ102は、途中まで押し込んだ「半押し状態」の操作と、さらに押し込んだ「全押し状態」の操作とが可能とされた押下スイッチである。例えば前記静止画撮影モードにおいて、レリーズスイッチ102が半押しされると、被写体の静止画を撮影するための準備動作(後述の自動露出制御や自動焦点制御等の準備動作)が実行され、レリーズスイッチ102が全押しされると、撮影動作(後述する撮像センサを露光し、その露光によって得られた画像信号に所定の画像処理を施してメモリカード等に記録する一連の動作)が実行される。また、前記動画撮影モードにおいて、レリーズスイッチ102が全押しされると、所定の動画撮影動作が実行され、再度レリーズスイッチ102が全押しされると、動画撮影動作が終了される。
【0081】
フラッシュ発光部103は、レリーズスイッチ102が半押しされている状態(静止画撮影モード)において、被写体像が暗い場合に発光して被写体を照明する。撮影レンズ窓104は、被写体の光学像を、本体ボディ10の内部に配置された屈曲型鏡胴20へ取り入れるための開口部である。また表示部106は、内蔵する記録媒体に記録された記録画像を再生表示させたり、撮影待機中や動画撮影モードにおいてビデオ撮影された被写体のスルー画像(ライブビュー画像)を表示させたりするものである。なお、前記モード設定スイッチ105以外に、ズームスイッチ、メニュー選択スイッチ、選択決定スイッチ等のプッシュスイッチ群が備えられている。
【0082】
屈曲型の鏡胴20は、前記撮影レンズ窓104を通して被写体像を取り入れ、本体ボディ10の内部に配置されている撮像センサ30へ導く撮影レンズ系を構成するものである。この鏡胴20は、ズーミングやフォーカシング駆動時においてもその長さの変動しない、つまり本体ボディ10から外部に突出することのない鏡胴である。この鏡胴20の内部には、光軸に沿って直列的に配置されるズームレンズブロックや固定レンズブロックからなる撮影光学系を構成するレンズ群21(図2参照)と、このレンズ群21の適所に配置される絞り22とが備えられている。さらに前記レンズ群21の適所にはシャッタ23が配置されており、該シャッタ23の開閉動作により撮影光学系の光路が遮光若しくは通光されるようになっている。すなわち、絞り22の開口面積設定度合い及びシャッタ23の開閉動作制御等により、撮像センサ30の露光量が制御されるものである。
【0083】
(撮像装置の電気的構成の全体的な説明)
図2は、本発明にかかるデジタルカメラ1における撮像処理ブロック図である。このデジタルカメラ1は、操作部100、上述した屈曲型の鏡胴20、撮像センサ30、信号処理部40、全体制御部50、及び駆動部60などを備えている。なお、操作部100は、前記で説明した電源スイッチ101、レリーズスイッチ102及びモード設定スイッチ105などからなる。
【0084】
撮像センサ30は、鏡胴20内のレンズ群21により結像された被写体光像の光量に応じ、R(赤)、G(緑)、B(青)の各成分の画像信号(撮像センサ30の各画素で受光された画素信号の信号列からなる信号)に光電変換して信号処理部40へ出力するものである。本実施形態においては、この撮像センサ30として、入射光量に対して出力画素信号(光電変換により発生する出力電気信号)が線形的ではなく対数的に変換されて出力される対数変換型固体撮像素子が用いられる。なお当該撮像センサ30は、入射光量が少ない場合は、出力画素信号が線形的に変換されて出力される特性を有しており、その光電変換特性が線形的である領域(線形特性領域=暗時)と対数的である領域(対数特性領域=明時)とを備えている。さらに前記線形特性領域と対数特性領域との切り替り点(変曲点)が、特定の制御信号(ダイナミックレンジ制御信号)により任意に制御可能とされている。この撮像センサ30の構成、動作等については後に詳述する。
【0085】
タイミング生成回路(タイミングジェネレータ)31は、撮像センサ30による撮影動作(露光に基づく電荷蓄積や蓄積電荷の読出し等)を制御するものである。タイミング生成回路31は、全体制御部50からの撮影制御信号に基づいて所定のタイミングパルス(画素駆動信号、水平同期信号、垂直同期信号、水平走査回路駆動信号、垂直走査回路駆動信号等)を生成して撮像センサ30に出力し、動画撮影モード時(スルー画表示モード時)には、例えば1/30(秒)毎にフレーム画像を取り込み、順次信号処理部40に出力させる。また、静止画撮影モード時の露光中には撮像センサ30の露光動作に連動して電荷を蓄積させ(すなわち、被写体光像を画像信号に光電変換させ)、その蓄積電荷を信号処理部40に出力させる。さらにタイミング生成回路31は、後述のA/D変換器402において用いられるA/D変換用のクロックも生成する。
【0086】
信号処理部40は、撮像センサ30から送出される画像信号に所定のアナログ信号処理およびデジタル信号処理を施すもので、前記画像信号の信号処理は、該画像信号を構成するそれぞれの画素信号ごとに行われる。この信号処理部40は、アナログ信号処理部41、A/D変換器402、黒基準補正部403、FPN補正部404、評価値検出部405、ホワイトバランス(WB)制御部406、色補間部407、3×3色補正部408、階調変換部409、ノイズキャンセル部410及び画像メモリ411を備えている。
【0087】
アナログ信号処理部41は、撮像センサ30から出力される画像信号(撮像センサ30の各画素で受光されたアナログ信号群)に所定のアナログ信号処理を施すもので、アナログ画像信号に含まれるリセット雑音を低減するCDS回路(相関二重サンプリング回路)と、アナログ画像信号のレベルを補正するAGC回路(オートゲインコントロール回路)とを備えている。なお、AGC回路は、適正露出が得られなかった場合等に、後段のA/D変換器402の入力電圧範囲に合うよう、アナログ画像信号を適正な増幅率で増幅して撮影画像のレベル不足を補償するアンプ機能も有している。
【0088】
A/D変換器402は、アナログ信号処理部41から出力されるアナログ画像信号を、例えば12ビットのデジタル画像信号(画像データ)に変換する役目を果たす。このA/D変換器402は、前記タイミング生成回路31から入力されるA/D変換用のクロックに基づいて、アナログ画像信号をデジタル画像信号に変換する。
【0089】
黒基準補正部403は、A/D変換器402から入力されるデジタル画像信号の黒レベル(暗黒時の画像信号レベル)を基準の値(例えば、A/D変換後のデジタル信号レベルで0)に補正するために、A/D変換器402から入力される画像信号レベルをSD1とし、また暗黒時の画像信号レベルをSD2とするときに、
SD1−SD2
の演算を行う。なお、かかる黒基準補正は、全体制御部50から入力される撮像センサ30の光電変換特性に対応した撮像ダイナミックレンジ情報に基づいて行われる。これは、本実施形態にかかるデジタルカメラ1においては、撮像センサ30の光電変換特性が制御可能とされており、従ってA/D変換器402から入力されるデジタル画像信号の暗黒時における画像信号レベルが、撮像センサ30の光電変換特性の変化により変動することから、その変動に追従した正確な黒基準補正が行えるようにするためである。
【0090】
FPN(Fixed Pattern Noise)補正部404は、黒基準補正部403から入力される画像信号のFPN(固定パターンノイズ)を除去するためのものである。固定パターンノイズとは、撮像センサ30の各画素回路が備えるFETの閾値バラツキ等が要因となって生じる、各画素が発生する画像信号の出力値のバラツキに起因するノイズである。FPN補正部404は、黒基準補正部403から入力される画像信号レベルをSD3とし、また黒基準補正部403から入力される画像信号の固定パターン成分をSD4とするとき、
SD3−SD4
の演算を行う。
【0091】
評価値検出部405は、撮像センサ30で実際に撮影された画像信号から、自動露出制御(AE)、自動焦点制御(AF;オートフォーカス)、或いはホワイトバランス制御(WB制御)等を行うに際してのベース値となる評価値、すなわちAE評価値、AF評価値、ホワイトバランス評価値(以降、WB評価値という)等を検出する。例えばAE制御を行う場合、
(1)撮像ターゲットとなる被写体の輝度レベル及び輝度範囲を計測し、
(2)その輝度レベル及び輝度範囲に適合する出力が撮像センサから得られるよう、必要な露出制御量を算出し、
(3)前記算出結果に基づいて露光量等を具体的に調整し、本撮像に臨む、
というステップが一般的に採られるが、この評価値検出部405においては、前記ステップ(1)の役目を担うべく、撮像センサ30で実際に撮影された画像信号から被写体の輝度レベル及び輝度範囲が求められ、これがAE評価値として全体制御部50へ出力され、後段ステップにおけるAE制御動作用に供される。
【0092】
またAF制御の場合は、例えばフォーカスレンズ(レンズ群21)の光軸方向の駆動と撮像センサ30による撮像動作とを交互に行いながら、その撮像動作により得た画像のコントラストが最大となるフォーカスレンズの位置が求められ(所謂山登り検出方式)、これがAF評価値として全体制御部50へ出力され、後段ステップにおけるAF制御動作の用に供される。さらにホワイトバランス制御は、出力画像の色を被写体の光源色に適したものに補正することを目的とするもので、この場合、前段のFPN補正部404から入力される画像信号に基づいてR、G、B各色の輝度比及び輝度差が評価値検出部405で算出され、これがWB評価値として全体制御部50へ出力されるものである。これら評価値の具体的な取得方法等については、後に詳述する。
【0093】
ホワイトバランス制御部406は、全体制御部50から与えられるダイナミックレンジ情報と前記WB評価値とに基づいて、画像信号の色バランスが所定の色バランスになるよう、各色成分R、G、Bの各画素データのレベルを変換する補正を行う。なお本実施形態では、撮像センサ30として線形特性領域と対数特性領域とを備えるものを用いることから、線形特性領域及び対数特性領域ごとにWB評価値を取得し、各々の領域に適したホワイトバランス補正を行うようにすることが望ましい。
【0094】
色補間部407は、ホワイトバランス制御部406から入力される画像信号の各色成分R、G、Bごとに、フレーム画像の不足する画素位置のデータを補間するものである。すなわち、本実施形態で用いられる対数変換型の撮像センサ30のカラーフィルタ構造は、Gが市松状でR、Bが線順次配列された所謂ベイヤー方式が採用されている関係上、色情報が不足していることから、色補間部407は、実在する複数の画素データを用いて実在しない画素位置の画素データを補間するものである。
【0095】
具体的には色補間部407は、高帯域まで画素を持つGの色成分のフレーム画像については、フレーム画像を構成する画像データを所定のフィルタパターンでマスキングした後、メディアン(中間値)フィルターを用いて、補間すべき画素位置の周辺に実在する画素データのうち、最大値と最小値とを除去した画素データの平均値を演算し、その平均値を当該画素位置の画素データとして補間する。また、R、Bの色成分については、フレーム画像を構成する画像データを所定のフィルタパターンでマスキングした後、補間すべき画素位置の周辺に実在する画素データの平均値を演算し、その平均値を当該画素位置の画素データとして補間する。
【0096】
図3に、撮像センサ30のカラーフィルタ構造の一例を示す。かかるカラーフィルタ構造において、前記色補間による各画素における色成分R、G、Bの画像信号は、例えば以下のようにして生成される。
(イ)アドレス11(B11)の色補間式
R11=(R00+R20+R02+R22)/4
G11=(Gr10+Gb01+Gb21+Gr12)/4
B11=B11
(ロ)アドレス12(Gr12)の色補間式
R12=(R02+R22)/2
G12=Gr12
B12=(B11+B13)/2
(ハ)アドレス21(Gb21)の色補間式
R21=(R20+R22)/2
G21=Gb21
B21=(B11+B31)/2
(ニ)アドレス22(R22)の色補間式
R22=R22
G22=(Gb21+Gr12+Gr32+Gb23)/4
B22=(B11+B31+B13+B33)/4
【0097】
3×3色補正部408は、色補間部407から入力される色成分R、G、Bの画像信号の彩度を補正(色合いを補正)するものである。3×3色補正部408は、色成分R、G、Bの画像信号のレベル比を変換する3種類の変換係数を有し、撮影シーンに応じた変換係数で前記レベル比を変換して画像データの彩度を補正する。例えば、a1〜c3の合計9個の変換係数を用い、次のように画像信号を線形変換する。
R´=a1*R+a2*G+a3*B
G´=b1*R+b2*G+b3*B
B´=c1*R+c2*G+c3*B
【0098】
階調変換部409は、3×3色補正部408から入力される色成分R、G、Bの画像信号が適切な出力レベルになるよう、画像信号のレベルを色成分毎に所定のガンマ特性を用いて非線形変換すると共にオフセット調整する。すなわち階調変換部409は、ホワイトバランス調整及び色補正がなされた画像信号の階調特性(γカーブやデジタルゲイン)を、LCD表示部106や外部出力されるモニターテレビ等の階調特性に補正するものである。階調変換部409においては、全体制御部50から入力されるダイナミックレンジ情報と、評価値検出部405で検出されたAE評価値等に基づいて、画像信号の階調特性を変化させる。
【0099】
ノイズキャンセル部410は、階調変換部409から入力される画像信号のノイズ成分を除去すると共に、エッジ成分のみを抽出・強調することで、画像のシャープネスを良好な状態に補正するものである。ノイズキャンセル部410は、全体制御部50から入力されるダイナミックレンジ情報に基づいて、コアリング係数(画像信号のノイズ成分のみを除去し、エッジ成分を抽出する係数及び強調する係数)を変化させることで、適正な補正を行う。
【0100】
画像メモリ411は、ROMやRAM等のメモリからなり、信号処理部40での信号処理を終えた画像データを一時的に保存するもので、例えば1フレーム分の画像データを記憶し得る容量を有している。
【0101】
メモリカードI/F部412は、信号処理部40で生成されたメモリカード記録用画像データを、メモリカード107に記録させるべく出力するためのインターフェイスである。またメモリカード107は、静止画像や動画像などの画像データを記録して保存しておくためのメモリであって、デジタルカメラ1に対して取り外し自在とされており、外部の記録媒体との画像データ交換を可能とするものである。LCD表示I/F部413は、信号処理部40で生成されたLCD表示用画像データを、例えばNTSC方式若しくはPAL方式の画像信号に変換してLCD表示部106に出力するためのインターフェイスである。
【0102】
全体制御部50は、CPU(中央演算処理装置)等からなり、デジタルカメラ1の撮影動作を集中制御するものである。すなわち全体制御部50は、前記信号処理部40の各部から送られてくる情報(前述のAE評価値、AF評価値、WB評価値等)と、本デジタルカメラ1の動作モード等に基づき、信号処理部40の各部が必要とするパラメータ等の動作情報を算出して送信することで、各処理部の動作を制御する。このほか全体制御部50は、撮影動作のためのタイミング生成回路31の制御、レンズ群21のズーミングやフォーカシング駆動、並びに絞り22及びシャッタ23の駆動のための駆動部60の制御、画像信号の出力制御などを行う。
【0103】
図4は、全体制御部50の機能を説明するための機能ブロック図である。全体制御部50は、情報受信部501及び情報送信部502、メモリ部515を具備する演算部510、制御信号発生部520及び入出力部530を備えている。
【0104】
情報受信部501は、信号処理部40の評価値検出部405にて検出されるAE評価値、AF評価値及びWB評価値を取得し、これらを演算部510が備える各パラメータ算出部へ振り分けて送信する。一方、情報送信部502は、信号処理部40において必要とされる情報(光電変換特性情報やコアリング係数等)をメモリ部515から適宜取り出し、信号処理部40の各処理部に適時振り分けて送信する。
【0105】
演算部510は、前記情報受信部501から与えられる評価値に基づいて制御パラメータを算出する動作を為すもので、露光量制御パラメータ算出部511及びダイナミックレンジ制御パラメータ算出部512からなるAE制御パラメータ算出部5110、AF制御パラメータ算出部513、ホワイトバランス(WB)制御パラメータ算出部514及びメモリ部515を備えている。
【0106】
前記メモリ部515はROMやRAM等からなり、撮像センサ30の光電変換特性の情報(撮影に際しての所望の光電変換特性を得るための情報)、すなわち、後述する露光時間設定値や絞り設定値、或いは光電変換特性設定値(該光電変換特性に対応するダイナミックレンジ情報)を記憶する光電変換特性情報記憶部516、ノイズキャンセル部410において用いられるコアリング係数の設置位置を記憶するコアリング係数記憶部517、撮像センサ30の線形特性領域と対数特性領域とで得られたデータに対するデータ変換(相互変換)を行うための変換情報、すなわちLUT(Look Up Table)等を記憶するLUT記憶部518等から構成されている。
【0107】
なお、光電変換特性情報記憶部516には、光電変換特性そのもの(後述する図10に示すような光電変換特性曲線)が記憶される構成であってもよい。また、LUT記憶部518は、上記LUTの他に、後述する露光時間(T1)や絞りの開口面積(S2)の値と露光時間設定値や絞り設定値とのデータ変換を行うLUT、光電変換特性の変曲点の値(出力レベル)と光電変換特性設定値とのデータ変換を行うLUT、最大輝度出力レベルから光電変換特性設定値を出力するLUTもしくは最大輝度出力レベルの変化量から光電変換特性設定値の変化量を出力するLUT、或いは飽和画素数の値と変曲点変化量(ΔVth)の値とのデータ変換を行うLUT等、種々のデータ変換用のLUTを記憶している。また、上述した通り、光電変換特性情報記憶部516、コアリング係数記憶部517及びLUT記憶部518に記憶されているデータ値は、適宜情報送信部502から信号処理部40の適所へ送信されるようになっている。
【0108】
AE制御パラメータ算出部5110は、被写体の輝度に応じた露出制御(AE制御)を行うべく、撮影の際の最適な露光量と撮像センサ30の光電変換特性とに設定するための制御パラメータを算出する。すなわち、AE制御パラメータ算出部5110の露光量制御パラメータ算出部511は、露光時間や絞りを最適化するための制御パラメータを算出するものであり、露光量制御パラメータ算出部511は、評価値検出部405にて検出されるAE評価値と、前記光電変換特性情報記憶部516に記憶されている前記AE評価値取得時点における撮像センサ30の光電変換特性情報とに基づいて、被写体輝度に応じた露光時間設定値や絞り設定値を算出する。
【0109】
またダイナミックレンジ制御パラメータ算出部512は、被写体輝度に応じ撮像センサ30の光電変換特性を最適化するための制御パラメータを算出するものである。ダイナミックレンジ制御パラメータ算出部512は、例えばダイナミックレンジ設定用の被写体輝度が、当該撮像センサ30における所望の飽和出力レベルになるような光電変換特性設定値を算出する。この算出に際しても、光電変換特性情報記憶部516に記憶されている前記AE評価値取得時点における撮像センサ30の光電変換特性情報が参照される。このAE制御パラメータ算出部5110の動作等については、後に詳述する。
【0110】
AF制御パラメータ算出部513は、評価値検出部405にて検出されるAF評価値に基づいて、被写体の撮影にあたり最適な焦点距離に設定するための制御パラメータを算出する。この制御パラメータの算出にあたり、参照するAF評価値を、撮像センサ30の対数特性領域及び線形特性領域のそれぞれで取得し、それぞれの特性領域の特徴を活用して粗測距(対数特性領域から得たAF評価値)用、詳測距(線形特性領域から得たAF評価値)用の制御パラメータを算出するよう構成することが好ましい。
【0111】
ホワイトバランス制御パラメータ算出部514は、評価値検出部405にて検出されるWB評価値に基づいて、画像信号の色バランスが所定の色バランスに設定するための制御パラメータを算出する。この制御パラメータの算出にあたり、同様に参照するAF評価値を、撮像センサ30の対数特性領域及び線形特性領域のそれぞれで取得し、それぞれの特性領域に応じた制御パラメータを算出するよう構成することが好ましい。
【0112】
制御信号発生部520は、前記演算部510で算出された各種の制御パラメータに応じて、各制御動作要素を駆動させるための制御信号を生成するもので、該制御信号発生部520は、ダイナミックレンジ制御信号発生部521、センサ露光時間制御信号発生部522、シャッタ制御信号発生部523、ズーム/フォーカス制御信号発生部524及び絞り制御信号発生部525を備えて構成されている。
【0113】
ダイナミックレンジ制御信号発生部521は、前記ダイナミックレンジ制御パラメータ算出部512において算出された撮像センサ30の光電変換特性設定値に応じて、光電変換特性が線形特性領域から対数特性領域に切り替える出力レベルポイント(変曲点)を調整する撮像センサ30の駆動信号を生成し、これをタイミング生成回路31へ送信する。タイミング生成回路31は、入力された駆動信号に応じて、撮像センサ30のダイナミックレンジを制御するタイミング信号を生成して撮像センサ30を駆動させる。具体的には、後述するように撮像センサ30の光電変換特性は、当該撮像センサ30に対する信号φVPS(φVPSにおける電圧VPHの高さ、或いは時間ΔTの長さ)を制御することでその変曲点が変動することから、ダイナミックレンジ制御信号発生部521は、光電変換特性設定値に応じて、前記信号φVPSを制御するためのタイミング生成回路31に対する駆動信号を制御することで、撮像センサ30のダイナミックレンジを被写体の輝度に適するよう制御する。
【0114】
センサ露光時間制御信号発生部522は、撮像センサ30の露光時間(積分時間)を、絞り22やシャッタ23等のメカ操作に依らず、電子回路的な制御動作により制御するための制御信号を発生するものである。センサ露光時間制御信号発生部522は、前記露光量制御パラメータ算出部511にて算出された最適な露光量に基づいて、所期の露光時間が確保されるよう撮像センサ30の駆動信号(具体的には、後述するように撮像センサ30に対する信号φVPSが中電位Mとなる時間ΔSを制御する信号)を生成し、これをタイミング生成回路31へ送信する。タイミング生成回路31は、入力された駆動信号に応じて、撮像センサ30の露光時間を制御するタイミング信号を生成して撮像センサ30を駆動させる。
【0115】
シャッタ制御信号発生部523は、同様に露光量制御パラメータ算出部511にて算出された最適な露光量に基づいて、シャッタ23のシャッタスピード(シャッタ開放時間)を露光時間に合わせて設定する制御信号を生成する。またズーム/フォーカス制御信号発生部524は、前記AF制御パラメータ算出部513にて算出された最適な焦点距離に基づいて、レンズ群21を駆動させるための制御信号を生成する。さらに絞り制御信号発生部525は、前記露光量制御パラメータ算出部511にて算出された最適な露光量に基づいて、絞り22の開口面積を設定する制御信号を生成する。これらシャッタ制御信号発生部523、ズーム/フォーカス制御信号発生部524及び絞り制御信号発生部525にて生成された制御信号は、駆動部60の対応箇所へそれぞれ送信される。
【0116】
入出力部530は、メモリカードI/F部412及びLCD表示I/F部413と接続され、操作部100からの指示信号等に対応して、撮影画像に対して所定の画像処理を行った後、その撮影画像信号をメモリカード107に記録させたり、LCD表示部106に表示させたり、或いは逆にメモリカード107から画像信号を取り入れたりする出入力作用を為す。
【0117】
図2に戻って、駆動部60は、前記制御信号発生部520で生成された制御信号に基づいて、実際に当該デジタルカメラ1が具備するメカ駆動部を動作させるもので、シャッタ駆動部61、ズーム/フォーカス駆動部62及び絞り駆動部63を備えている。
【0118】
シャッタ駆動部61は、前記シャッタ制御信号発生部523から与えられる制御信号に応じて、シャッタ23が所定時間開放されるようシャッタ23を開閉駆動する。ズーム/フォーカス駆動部62は、ズーム/フォーカス制御信号発生部524から与えられる制御信号に応じて、レンズ群21のズームレンズブロックまたはフォーカスレンズブロックを動作させるモータ等を動作させ、前記レンズブロックを焦点位置に移動させる。さらに絞り駆動部63は、絞り制御信号発生部525から与えられる制御信号に応じ、絞り22を駆動し、所定の開口量に絞りを設定するものである。
【0119】
(動作の全体的なフローの説明)
以上の通り構成された本実施形態にかかるデジタルカメラ1の動作につき、先ず全体的なフローを説明する。図5は、デジタルカメラ1の全体的な動作の一例を示すフローチャートである。図示する通り、動作を大略的に区分すると、AE評価値、AF評価値、及びWB評価値等の評価値を検出する評価値検出ステップ(ステップS1)と、得られた評価値に基づき各種パラメータを算出する制御パラメータ算出ステップ(ステップS2)と、算出された各種パラメータを該当するデジタルカメラ1各部に設定し、当該パラメータに応じた撮影状態となるようにデジタルカメラ1各部を駆動する制御パラメータを設定する制御パラメータ設定ステップ(ステップS3)とからなる。
【0120】
前記各ステップS1〜S3においては、具体的には以下の処理が行われる。
先ず、評価値検出ステップS1では、各種の制御のベースとなる評価値情報を取得し、該評価値情報に基づいて評価値を算出する。AE制御の場合は、撮像ターゲットとなる被写体の輝度レベルが計測(検出)され、この計測値からAE評価値が算出されることとなる。前記輝度レベル及び輝度範囲の検出に際しては、撮像センサ30により実際に撮像された撮影画像から求めることが合理的であり、撮像センサ30は静止画及び動画の撮像が可能であることから、
(ステップS1−1)静止画からの検出:撮像センサ30により、評価値検出用の画像を本撮影前の静止画にて取得して輝度レベル及び輝度範囲を計測する。
(ステップS1−2)動画からの計測:撮像センサ30により、評価値検出用の画像を本撮影前の動画にて取得して輝度レベル及び輝度範囲を計測する。
という2通りの輝度情報の取得ステップを例示することができる。しかる後、
(ステップS1−3)評価値の算出:取得した画像の輝度情報に基づいてAE評価値を含む各種評価値を評価値検出部405により算出する。
というステップが行われる。
【0121】
次にステップS2では、評価値に基づき各種パラメータが算出されるが、AE制御の場合は、露光量又はダイナミックレンジがAE制御の要素となることから、これらの制御パラメータが、前記AE評価値に基づいて算出される。すなわちステップS2としては、
(ステップS2−1)露光量制御パラメータの算出:全体制御部50により、AE評価値に基づいて露光量制御パラメータを算出する。
(ステップS2−2)ダイナミックレンジ制御パラメータの算出:全体制御部50により、AE評価値に基づいてダイナミックレンジ制御パラメータを算出する。
という2通りのパラメータ算出ステップを例示することができる。
【0122】
最後にステップS3では、デジタルカメラ1各部を駆動する制御パラメータの設定が為される。AE制御の場合は、前記(ステップS2−1)又は(ステップS2−2)に基づく制御パラメータの設定が行われる、すなわちステップS3としては、
(ステップS3−1)露光量制御パラメータの設定:算出された露光量制御パラメータに基づいてメモリ部515や制御信号発生部520等に当該パラメータを設定し、タイミング生成回路31や駆動部60を動作させる。
(ステップS3−2)ダイナミックレンジ制御パラメータの設定:算出されたダイナミックレンジ制御パラメータに基づいて、メモリ部515や制御信号発生部520等に当該パラメータを設定し、タイミング生成回路31を動作させる。
という2通りのパラメータ設定ステップを例示することができる。
【0123】
(本実施形態で用いる撮像センサの基本的特性について)
以下、上述した各ステップにつき順次詳述するが、本実施形態においては、その光電変換特性として入射光量に対して前記電気信号が線形的に変換されて出力される線形特性領域と、入射光量に対して前記電気信号が対数的に変換されて出力される対数特性領域とを備える撮像センサ30を用いることが前提とされている関係上、先ず本実施形態で用いられる撮像センサ30の基本的特性について、その具体的な一例を詳述する。
【0124】
図7は、撮像センサ30の一例である二次元のMOS型固体撮像装置の概略構成図である。同図において、G11〜Gmnは、行列(マトリクス)配列された画素を示している。この画素G11〜Gmnからなる画素部の外周縁部近傍には、垂直走査回路301と水平走査回路302とが配設されている。垂直走査回路301は、行のライン(信号線)304−1、304−2、・・・304−n(これらを纏めて行ライン304という)を順次走査する。水平走査回路302は、各画素から出力信号線306−1、306−2、・・・306−m(これらを纏めて出力信号線306という)に導出された光電変換信号を画素毎に水平方向に順次読み出す。なお、各画素は電源ライン305により電力供給がなされている。各画素には、前記各ラインや出力信号線だけでなく、他のライン(例えばクロックライン)も接続されているが、図7では図示を省略している。
【0125】
出力信号線306−1、306−2、・・・306−mには、それぞれ、後述のトランジスタT5と対になって増幅回路を構成する定電流源307−1、307−2、・・・307−m(これらを纏めて定電流源307という)が設けられている。ただし、この増幅回路として、定電流源307に代えて抵抗やトランジスタ(MOSトランジスタ)を設けてもよい。この出力信号線306を介して出力される各画素の撮像時の画像データ及びリセット時の補正データが、順次、選択回路(サンプルホールド回路)308−1、308−2、・・・308−m(これらを纏めて選択回路308という)に出力される。この選択回路308に対して、行毎に画像データ及び補正データが出力されてサンプルホールドされる。サンプルホールドされた画像データ及び補正データは、列毎に、補正回路309に出力され、補正回路309において、感度バラツキによるノイズ成分が除去されるように、補正データに基づいて画像データの補正が行われる。そして、補正回路309から各画素の感度バラツキが補正された画像データが、各画素毎にシリアルに出力される。
【0126】
図8は、図7に示す各画素G11〜Gmnの構成例を示す回路図である。同図に示すように、画素は、フォトダイオードPD、MOSFET(Metal Oxide Semiconductor Field Effect Transistor)としてのトランジスタT1〜T6、及び積分用のコンデンサとしてのキャパシタCから構成されている。トランジスタT1〜T6は、ここではPチャンネルMOSFETが採用されている。φVD、φV、φVPS、φRST、φS及びRSBは、各トランジスタやキャパシタCに対する信号(電圧)を示し、GNDは接地を示している。
【0127】
フォトダイオードPDは、感光部(光電変換部)であり、被写体からの入射光量に応じた電気信号(光電流IPD)を出力する。トランジスタT5は、図7に示す定電流源307と対になってソースフォロワ増幅用の増幅回路(ソースフォロワアンプ)を構成するものであり、後述する電圧VOUTに対する増幅(電流増幅)を行う。トランジスタT6は、ゲートに印加する電圧に応じてオン、オフされるスイッチとして動作する信号読み出し用のトランジスタである。すなわち、トランジスタT6のソースは、図7に示す出力信号線306に接続されており、オンした場合、トランジスタT5で増幅された電流を出力電流として出力信号線306へ導出する。
【0128】
トランジスタT2は、同トランジスタのゲートに、光電流IPDに対して線形変換又は対数変換した電圧を発生させる。ところで、MOSFETでは、ゲート電圧が閾値以下の時に、サブスレッショルド電流と呼ばれる微小電流が流れるが、トランジスタT2はこのサブスレッショルド特性を利用して前記線形変換又は対数変換を行う。
【0129】
具体的には、撮像する被写体の輝度が低い(被写体が暗い)場合、すなわち、フォトダイオードPDに入射される入射光量が少ない場合には、トランジスタT2のゲート電位が同トランジスタのソース電位より高くなっており、トランジスタT2が所謂カットオフ状態でありトランジスタT2にサブスレッショルド電流が流れず(トランジスタT2がサブスレッショルド領域で動作せず)、フォトダイオードPDで発生する光電流がフォトダイオードPDの寄生容量に流れて電荷が蓄積され、蓄積電荷量に応じた電圧が発生する。このときT1はオンされているので、上記の寄生容量に蓄積された電荷の量に応じた電圧が、電圧VGとしてトランジスタT2、T3のゲートに発生する。この電圧VGにより、トランジスタT3に電流が流れ、この電圧VGに比例した量の電荷がキャパシタCに蓄積される(トランジスタT3とキャパシタCとで積分回路を構成している)。そして、トランジスタT3とキャパシタCとの接続ノードa、すなわち出力VOUTには、光電流IPDの積分値に対して線形的に比例した電圧が現れる。このときトランジスタT4はオフ状態である。そして、トランジスタT6がオンされると、キャパシタCに蓄積された電荷がトランジスタT5を介して出力電流として出力信号線306に導出される。この出力電流は、光電流IPDの積分値を線形的に変換した値となっている。これが当該撮像センサ30の、線形特性領域における動作である。
【0130】
一方、撮像する被写体の輝度が高く(被写体が明るく)、フォトダイオードPDに入射される入射光量が多い場合には、トランジスタT2のゲート電位が同トランジスタのソース電位以下となり、トランジスタT2にサブスレッショルド電流が流れ(トランジスタT2がサブスレッショルド領域で動作し)、光電流IPDを自然対数的に変換した値の電圧VGがトランジスタT2、T3のゲートに発生する。そして、この電圧VGにより、トランジスタT3に電流が流れ、キャパシタCに、光電流IPDの積分値を自然対数的に変換した値と同等の電荷が蓄積される。これにより、キャパシタCとトランジスタT3との接続ノードa(出力VOUT)には、光電流IPDの積分値を自然対数的に変換した値に比例した電圧が生じる。このときトランジスタT4はオフ状態である。そして、トランジスタT6がオンされると、キャパシタCに蓄積された電荷がトランジスタT5を介して出力電流として出力信号線306に導出される。この出力電流は、光電流IPDの積分値を自然対数的に変換した値となっている。これが当該撮像センサ30の、対数特性領域における動作である。以上のように、各画素によって、入射光量(被写体輝度)に応じて線形的又は自然対数的に比例した電圧が出力される。
【0131】
トランジスタT1は、リセット時のノイズデータ(トランジスタT2の製造バラツキに起因して発生するノイズ信号)を取り出す際に用いるスイッチである。トランジスタT1は、リセット時以外にはオン状態とされており、トランジスタT2(のドレイン)及びフォトダイオードPD間に光電流IPDが流れるようになっている。リセット時には、オフ状態となりフォトダイオードPDの光電流IPDが遮断され、前記のバラツキ分だけが取り出される。この取り出されたバラツキ分(ノイズ信号)は、後述の映像信号から減算される。
【0132】
トランジスタT4は、該トランジスタT4のゲートに印加される電圧に応じてオン、オフされるスイッチとして動作する、キャパシタCをリセットするためのトランジスタである。トランジスタT4がオンされるとリセット電圧(前記信号RSBの電圧)が印加され、キャパシタCに蓄積されていた電荷(電荷量)が元の状態、すなわち積分開始前の状態に戻される。
【0133】
図9は、撮像センサ30(画素)の撮像動作に関するタイミングチャートの一例である。ここではPチャンネルMOSFETの極性上、以下のようにHi(ハイ)でオフ、Low(ロー)でオンとなる。先ず、信号φVが符号311に示す位置でLowとなり、トランジスタT6がオンされ、映像信号が読み出される、すなわちキャパシタCに蓄積されている電荷が出力電流(映像信号)として出力信号線306に導出される。次に信号φSが符号312に示す位置でHiとなり、トランジスタT1がオフされてフォトダイオードPDが切り離される。次に信号φVPSが符号313に示す位置でHiとなり、トランジスタT2のリセットが行われる。また、トランジスタT2がリセットされるのと同時に、信号φRSTが符号314に示す位置でLowとなり、トランジスタT4がオンされ、キャパシタC(接続ノードa)に信号RSBによるリセット電圧が印加されて(接続ノードaの電位がRSBの電位(VRSB)となり)、キャパシタCの(電荷の)リセットが行われる。このようにトランジスタT2及びキャパシタCがリセットされた後、符号315に示す位置で信号φVが再度LowとなってトランジスタT6がオンされ、出力信号線306にノイズ信号が導出される。
【0134】
次に、信号φSが符号316に示す位置でLowになり(トランジスタT1がオンされ)、フォトダイオードPDの切り離しが解除される。そして、信号φVPSが符号318に示す位置で中電位Mとなって、残像低減のためにフォトダイオードPDの寄生容量のリセットを行う。また、次フレームの積分開始電圧を一定にするために、信号φRSTが符号317に示す位置で再度LowとなってトランジスタT4がオンされ、キャパシタCのリセットが再度行われる。
【0135】
その後、信号φVPSが符号319に示す位置でMからLowになり、フォトダイオードPDの寄生容量のリセットが終了する。併せて、信号φRSTもLowからHiとなりキャパシタCのリセット動作も終了される。このときの時刻t1からキャパシタCの積分が開始され、信号φVがHiからLowとなる符号311に示す位置、すなわち次フレームにおける映像信号の読み出しが開始される時刻t2までの間、当該積分が継続される。この時刻t1、t2間の時間がキャパシタCの積分時間、すなわち撮像における露光時間となる。この露光時間は、前記中電位Mとなる信号φVPSを与える時間ΔS(長さ)を制御することで制御される。この時間ΔSは、タイミング生成回路31を介したセンサ露光時間制御信号発生部522によって制御される。
【0136】
信号φVDは、前記増幅回路(ソースフォロワアンプ)の動作範囲に合わせ込むべく、或いは映像信号やノイズ信号に発生するオフセットの調整を行うべく電位操作を行うものである。信号φVDのVh、Vm及びVlは、それぞれ高電位、中電位及び低電位を示している。
【0137】
撮像センサ30は、上述のように被写体の輝度に応じて線形変換又は対数変換した出力信号を得ることが可能であり、図10に示すような光電変換特性320を有している。同図に示すように、光電変換特性320は、変曲点321を境にして線形特性領域と対数特性領域とに分かれている。この変曲点321は、線形特性領域から対数特性領域へ切り替わる点であり、この変曲点321のセンサ出力の値をVthで示している。一般的に、線形特性領域では、幅広い輝度範囲の被写体の撮像は不可能であるものの(ダイナミックレンジが狭い)、画像全体の階調性を高くすることができ(高いコントラストを得ることができ)、暗い被写体(例えば曇天時や日陰での被写体)であっても階調性豊かな高品位な画像を得ることができる。一方、対数特性領域では、高輝度での階調性は乏しくなるが、幅広い輝度範囲の被写体の撮像が可能であり(ダイナミックレンジが広い)、明るい被写体(例えば直射日光が照射されていたり、直射日光が背後に存在たりする被写体)であっても、暗い部分も含め、奥行きのある高品位な画像を得ることができる。
【0138】
ところで、この光電変換特性320(変曲点321)は、トランジスタT2のソースに入力されている信号φVPSの、Hi及びLowの電圧の差を変化させることにより変化(移動)させることができる。すなわち、当該Hi時の電圧をVPHとし、Low時の電圧をVPLとすると、電圧の差ΔVPS(=VPH−VPL)(図9参照)を変化させることにより、図11に示すように、光電変換特性320(変曲点321)から、光電変換特性322(変曲点324)や光電変換特性323(変曲点325)へ任意に変化させることができる。このように光電変換特性が変化することにより、線形特性領域と対数特性領域との比率が変化し、光電変換特性322に示すように線形特性領域の割合が大きな光電変換特性、或いは光電変換特性323に示すように対数特性領域の割合が大きな光電変換特性を得ることができる。この場合、光電変換特性の全てが線形特性領域又は対数特性領域となるように変化させてもよい。
【0139】
本実施形態では、電圧VPHを変化させることによりΔVPSを変化させ、撮像センサ30の光電変換特性を変化させている。図11では、VPHが高くなるほど(ΔVPSが大きくなるほど)、線形特性領域の割合が増えて光電変換特性322側へ変化し、VPHが低くなるほど(ΔVPSが小さくなるほど)、対数特性領域の割合が増えて光電変換特性323側へ変化する。この電圧VPHは、タイミング生成回路31を介したダイナミックレンジ制御信号発生部521によって制御される。
【0140】
なお、光電変換特性を上述のように変化させるために、電圧VPHとなる信号φVPSを与える時間ΔTを変化させてもよい。この場合、時間ΔTを長いほど線形特性領域の割合が大きくなり、短いほど対数特性領域の割合が大きくなるように光電変換特性が変化する。図11では、前記時間ΔTが長い場合が光電変換特性322に、時間ΔTが短い場合が光電変換特性323に相当する。
【0141】
(評価値検出ステップS1)
続いて、信号処理部40の評価値検出部405におけるAE評価値等の評価値の具体的な取得方法について説明する。
(ステップS1−1)静止画からの評価値検出例
図12は、上述した撮像センサ30が実際に撮像した静止画像から、被写体のAE評価値等を検出する場合の動作例を示すフローチャートである。すなわち、本実施形態にかかるデジタルカメラ1で静止画を撮影(本撮影)する場合において、その本撮影の前にAE評価値を取得するための静止画を撮影(予備撮影)し、該予備撮影画像に基づいてAE評価値を算出するフローを示している。この評価値検出手法は、デジタル一眼レフカメラ等の、撮影準備段階において被写体光像が光学ファインダに入射され撮像センサ30には入光しないタイプの撮像装置に好適な手法である。
【0142】
先ず、本デジタルカメラ1の電源スイッチ101が押下され電源ONとされている状態において、撮影開始の操作が為されたかが確認され(ステップS111)、レリーズスイッチ102が操作(例えば半押し操作)されると(ステップS111のYES)、予備撮影準備の動作が開始される(ステップS112)。
【0143】
ステップS112では、AE評価値を算出するために予備撮影を行うに当り、当該予備撮影のためのダイナミックレンジ制御が行われる。ここでのダイナミックレンジ制御は、被写体の輝度を広い範囲で感知できるよう、撮像センサ30が最大のダイナミックレンジを備えるように制御される。つまり、デジタル一眼レフカメラ等においては、予備撮影のチャンスは本撮影の前の1回しかないことから、いかなる被写体であってもその輝度を確実に検出できるよう、広いダイナミックレンジに設定される。
【0144】
このため、撮像センサ30が全領域において対数変換出力動作をなすよう、撮像センサ30の動作状態が制御される。具体的には、レリーズスイッチ102が半押しされると、全体制御部50から予備撮影モードへの移行指示が各部に出され、これを受けてダイナミックレンジ制御信号発生部521が、例えば図8に示すトランジスタT2のソースに入力されている信号φVPSの、Hi及びLowの電圧の差を変化させる(この場合、前述のΔVPSを小さくする。図9参照)信号を発生し、これにより撮像センサ30の対数特性領域の割合が増加されるよう制御される。なお、広いダイナミックレンジを確保するという観点からは全領域を対数特性領域とすることが望ましいが、必ずしも全領域を対数特性領域に変換せずとも良く、ある程度線形特性領域が残存していてもよい。
【0145】
続いて、予備撮影のための露出制御が行われ、予備撮影が行われる(ステップS113)。具体的には、例えばセンサ露光時間制御信号発生部522が、前記信号φVPSが中電位Mとなる時間ΔSの長さを所定の露光時間に合わせて設定する駆動信号を生成し、これをタイミング生成回路31に送ることで撮像センサ30の予備撮影用露出制御(露光量制御)が行われる。この他、シャッタ制御信号発生部523によって生成された制御信号に基づくシャッタ駆動部61によるシャッタ23のシャッタスピードの調整、及び絞り制御信号発生部525によって生成された制御信号に基づく絞り駆動部63により絞り22の調整によっても露出制御が行われる。このような露出制御が為された上で、静止画の予備撮影が行われる。そして、撮影された予備撮影画像に基づいて、評価値検出部405によりAE評価値が算出される(ステップS114)。このAE評価値算出ステップについては、後記で詳述する。AE評価値が算出されると予備撮影は終了し(ステップS115)、当該AE評価値に基づく露出制御が行われた上で本撮影が開始されることとなる(ステップS116)。なお、以上はAE評価値を取得する場合について説明したが、AF評価値やホワイトバランス評価値についても同様にして取得することができる。
【0146】
(ステップS1−2)動画からの評価値検出例
図13は、撮像センサ30が継続的に撮像している動画像から、被写体のAE評価値等を検出する場合の動作例を示すフローチャートである。すなわち、本デジタルカメラ1が撮影待機中にある場合や、動画撮影モードにある場合、或いは本実施形態の撮像装置をデジタルムービィに適用した場合において、撮像センサ30が撮像している全てのフレーム画像を用いて、AE評価値を算出するフローを示している。
【0147】
先ず、撮影開始の操作が為されたかが確認され(ステップS121)、例えばモード設定スイッチ105が操作されて動画撮影モードに移行され撮影開始が確認されると(ステップS121のYES)、動画の撮影が開始される(ステップS122)。この撮影開始時における撮像ダイナミックレンジ、露光時間、及び絞り等の各制御値は、初期設定値とされる。
【0148】
続いて、ステップS122において撮像された画像に基づいて、評価値検出部405によりAE評価値が算出される(ステップS123)。そして検出されたAE評価値に基づいて、ダイナミックレンジ制御信号発生部521により信号φVPSの設定を変化させてダイナミックレンジを制御し、またシャッタ駆動信号発生部523及び絞り制御信号発生部525にて生成される制御信号により絞りを制御する等して、所定の撮像AE制御が行われる(ステップS124)。
【0149】
そして撮影が終了したかが確認され(ステップS125)、撮影の終了指令が無い場合は(ステップS125のNO)、前記ステップS123に戻り同様なAE評価値算出、及びステップS124の撮像AE制御が繰り返されるものである。すなわち、動画撮影が行われているときに、その撮影画像の全てがAE評価値検出のための評価画像として活用され、得られたAE評価値に基づいて次の撮影のための撮像AE制御が行われるというサイクルが繰り返されるものである。なお、撮影画像の全てを評価画像とせず、撮影画像の一部(例えば撮影画像の数フレームに1枚の割合)を評価画像とし、該評価画像からAE評価値を取得するようにしてもよい。
【0150】
(ステップS1−3)評価値の算出
次に、上記のフローにおける評価値算出のステップ(上記ステップS114、S123)について詳述する。図14は、評価値検出部405の機能を説明するための機能ブロック図である。評価値検出部405は、分割測光部4051、ヒストグラム算出部4052及び飽和判別部4055を備えている。
【0151】
分割測光部4051は、被写体に対する分割測光(マルチパターン測光)方式による測光を行うものである。すなわち、分割測光部4051は、撮像センサ30による撮像によって得られた撮影画像を所定数の領域(及び区画)に分割し、当該撮影画像(各領域や区画)における輝度を画像信号(画像データ)から検出するものである。図15は、撮像センサによる分割測光に際しての撮像領域(測光範囲)の分割の状態を示す模式図である。符号330は、撮像センサ30による撮像によって得られた撮像領域(撮像領域330)であり、この撮像領域330において被写体が撮影(撮像)される。この撮像領域330には撮像センサ30を構成する撮像素子に対応した多数の画素情報、すなわち被写体の輝度情報が含まれている。撮像領域330は、例えば撮像領域330の中央部である中央領域と、この中央領域の周辺部である周辺領域とに区分されており、さらに中央領域及び周辺領域はそれぞれ所定数の検出ブロック(検出区画)に分割されている。中央領域は、例えばA、B、C、・・・Z、AA、AB、・・・AJブロック(A〜AJブロック)といった36個の検出ブロックに分割されており、周辺領域は、例えば第1〜第16ブロックといった16個の検出ブロックに分割されている。本実施形態では、この中央領域に撮像されている被写体を主被写体とし(以降、中央領域のことを主被写体領域331という)、周辺領域に撮像されている被写体を周辺被写体と称する(以降、周辺領域のことを周辺被写体領域332という)。なお、主被写体領域331の中央部におけるO、P、U及びVブロックから形成される領域は、フォーカス制御のためのAF評価値の検出が行われるAF領域(AF領域333)となっている。また、主被写体領域331における(撮影画像の)輝度を主被写体輝度、周辺被写体領域332における輝度を周辺被写体輝度という。
【0152】
ヒストグラム算出部4052は、各A〜AJブロック毎の主被写体輝度ヒストグラム(分布)を算出すると共に、このA〜AJブロック毎の主被写体輝度ヒストグラムを用いて、図16(a)に示すような主被写体領域331全体における主被写体全体輝度ヒストグラムを算出する。また、各第1〜第16ブロック毎の周辺被写体輝度ヒストグラムを算出すると共に、この第1〜第16ブロック毎の主被写体輝度ヒストグラムを用いて、図16(b)に示すような周辺被写体領域332全体における周辺被写体全体輝度ヒストグラムを算出する。
【0153】
また、ヒストグラム算出部4052は、前記算出した主被写体全体輝度ヒストグラム及び周辺被写体全体輝度ヒストグラムを用いて、主被写体全体の輝度範囲及び周辺被写体全体の輝度範囲を算出する。この算出の際、所定の閾値を用いて足切りを行う、すなわちこの閾値より小さい度数の輝度データを使用しない。主被写体においては、図16(a)に示すように閾値D1にて足切りを行い、D1以上の度数を有する輝度の最小値L1〜最大値L8の範囲を主被写体全体輝度範囲とする。同様に、周辺被写体においては、図16(b)に示すように閾値D2にて足切りを行い、D2以上の度数を有する輝度の最小値L12〜最大値L19の範囲を主被写体全体輝度範囲とする。この閾値による「足切り」は、ノイズ等による誤差を低減するために行われる。なお、図16に示す各輝度ヒストグラムの輝度(画像(輝度)データ)は、ここでは説明の便宜上、L1〜L19などとしているが、実際には、例えば8ビットでの画像データを扱う場合には、256段階(階調)で表し、例えばL1〜L256となる。
【0154】
ヒストグラム算出部4052は、平均輝度算出部4053及び最大/最小輝度算出部4054を備えている。平均輝度算出部4053は、各A〜AJブロック毎の主被写体の平均輝度、及び各第1〜第16ブロック毎の周辺被写体の平均輝度を算出する。この平均輝度は、R、G、Bの各色に対して算出される。当該平均輝度の算出においては、各A〜AJブロック及び各第1〜第16ブロック毎にそれぞれ主被写体輝度ヒストグラム及び周辺被写体輝度ヒストグラムを算出し、前記と同様に所定の閾値を設定して「足切り」を行い、この足切り後の各輝度値を平均することにより各平均輝度を得る。
【0155】
最大/最小輝度算出部4054は、各A〜AJブロック毎の主被写体の最大/最小輝度、及び各第1〜第16ブロック毎の周辺被写体の最大/最小輝度を算出する。この場合も同様に、各ブロック毎に算出した主被写体輝度ヒストグラム又は周辺被写体輝度ヒストグラムに対して所定の閾値での「足切り」を行い、足切り後の各輝度値(輝度範囲)から最大又は最小輝度を算出する。
【0156】
なお、ヒストグラム算出部4052は、後述の飽和判別部4055による飽和判別に用いるべく、主被写体領域331及び周辺被写体領域332を合わせた全撮像領域(撮像領域330)における全領域輝度ヒストグラムを算出する。ただし、この全領域輝度ヒストグラムは、上記主被写体全体輝度ヒストグラム及び周辺被写体全体輝度ヒストグラムを合わせることによって算出してもよい。
【0157】
飽和判別部4055は、前記ヒストグラム算出部4052によって算出された全領域輝度ヒストグラムに基づいて、AE(AF、WB)評価値検出時に撮像センサ30の出力が飽和しているか否かを判別するものである。
【0158】
図17は、撮像センサの出力飽和時における全領域輝度ヒストグラムの一例を示すグラフ図である。同図中におけるPmaxは、撮像センサ30が飽和出力レベルVmax(撮像センサ30の出力レベルの最大値)となっているときのセンサ入射輝度(飽和輝度)を示し、Pmaxthは、飽和/非飽和の判別を行うべく所定の閾値として設定されたセンサ出力Vmaxthに対するセンサ入射輝度(輝度閾値)を示している。また、Dthは、同様に飽和/非飽和の判別を行うべく予め閾値として設定された度数(度数閾値)を示している。ただし、前記Vmaxは、実際の最大出力レベルとしての飽和出力レベルとしてもよいし、任意に設定した(例えばこの実際の最大出力レベルより幾分低く設定された出力レベルとしての)飽和出力レベルとしてもよい。
【0159】
飽和判別部4055は、全領域輝度ヒストグラム341において、輝度閾値Pmaxth以上及び度数閾値Dth以上となる同図中の符号342に示す斜線領域(飽和領域342という)における総度数、すなわち総画素数(飽和領域での総画素数を飽和画素数という)を算出し、該飽和画素数が所定数以上である場合に、撮像センサ30の出力レベルが飽和していると判別する(所定数より少ない場合は飽和していないと判別する)。なお、飽和/非飽和の判別は、飽和輝度Pmaxの度数(画素数)のみを用いて行ってもよい。
【0160】
評価値検出部405は、上述のように、分割測光を行い、主被写体及び周辺被写体領域の各検出ブロックにおける輝度情報(画像データ)から、平均輝度、最大/最小輝度、輝度ヒストグラム或いは輝度範囲等の情報をAE(AF、WB)評価値として検出する。この評価値データは、情報受信部501を介して演算部510の各種評価値に対応するパラメータ算出部、例えばAE評価値であればAE制御パラメータ算出部5110に、AF評価値であればAF制御パラメータ算出部513に、WB評価値であればホワイトバランス制御パラメータ算出部514に出力され、当該各算出部においてこの評価値に基づき各種制御パラメータが算出される。
【0161】
(AE制御パラメータ算出ステップS2)
続いて、本実施形態における、撮像センサ30の光電変換特性に基づいた露光量制御及びダイナミックレンジ制御によるAE制御について以下に詳述する。図18は、AE制御を行う場合において、撮像センサの光電変換特性が変化する様子を示すグラフ図であり、(a)は、露光量制御を行う場合の変化を示し、(b)は、ダイナミックレンジ制御を行う場合の変化を示す図である。図18(a)、(b)は、横軸がセンサ入射輝度、縦軸がセンサ出力であり、横軸は対数座標(センサ入射輝度の対数値)となっている。ただし、センサ入射輝度とは、撮像センサ30に入射された被写体の輝度を示しており、以降、単に輝度という。
【0162】
本実施形態によるAE制御は、光電変換特性に基づく露光量の制御(露光量制御)、及び光電変換特性に基づくダイナミックレンジの制御(ダイナミックレンジ制御)によって行われる。具体的には、以下(A)、(B)の各制御に基づいてAE制御が行われる。
(A)シャッタ23及び/又は撮像センサ30における露光時間、すなわちシャッタ23の開放時間及び/又は撮像センサ30の積分時間、及び/又は絞り23の開口面積の制御に基づく露光量制御。
(B)撮像センサ30の光電変換特性の制御(具体的には、光電変換特性の変曲点位置の制御;図22参照)に基づくダイナミックレンジ制御。
【0163】
(ステップS2−1)露光量制御パラメータの算出
先ず(A)の場合の露光量制御について図18(a)を用いて説明する。光電変換特性601は、AE評価値取得時点において光電変換特性情報記憶部516に記憶されている撮像センサ30の光電変換特性である。光電変換特性601は変曲点603(このときのセンサ出力はVth)を境として線形特性領域と対数特性領域とに分かれている。この光電変換特性601が、露光量設定用の所定の輝度(露光量設定用輝度)に対して所定のセンサ出力が得られる光電変換特性602へ変化する露光量を得るための露光量制御パラメータ(露光量設定値)、すなわち前記露光時間を制御するための露光時間設定値及び絞りの開口面積を制御するための絞り設定値が、露光量制御パラメータ算出部511によって算出される。
【0164】
ここでは、光電変換特性601の線形特性領域における所定の輝度Lt1(前記露光量設定用輝度に相当)に対するセンサ出力の値(点605でのセンサ出力)が、Vtarget(点606でのセンサ出力)となるような光電変換特性602を算出する、換言すれば、光電変換特性601を、点606を通る光電変換特性602となるように符合608に示す矢印方向(矢印608方向)に向けて変化(移動)させる(このとき、変曲点603は変曲点604へ平行移動され、センサ出力Vthの値は変化しない)。ただし、Vtargetとは、センサ出力の或る目標となるターゲット出力であり、予め設定された値である。このVtargetは露光量制御パラメータ算出部511等に記憶されている。
【0165】
この場合、輝度Lt1におけるセンサ出力が、光電変換特性601の点605でのセンサ出力から光電変換特性602の点606でのセンサ出力(Vtarget)まで増加するように、すなわち同じ大きさの輝度に対するセンサ出力が増加するように、露光量の増加を図ることができる露光時間設定値や絞り設定値が算出される。別の見方をすれば、Vtargetに相当する輝度がLt2(点607での輝度)からLt1へ変化し、すなわちVtargetのセンサ出力を得るための輝度がLt2より小さいLt1で済むように当該露光量が増加される露光時間設定値や絞り設定値が、露光量制御パラメータ算出部511によって算出される。このとき、当該露光時間設定値や絞り設定値に基づいて、シャッタ23の開放時間又は撮像センサ30による積分時間が増加され、また、絞り22の開口面積が増加されるように制御される。
【0166】
なお、光電変換特性601から光電変換特性602へ変化する場合、Vmaxにおける輝度がLm2からLm1まで変化(低下)し、ダイナミックレンジは低下する。Vmaxとは、撮像センサ30におけるセンサ出力の最大値、すなわち飽和出力レベルである。ただし、当該Vmaxは、物理的な最大出力レベルとしての飽和出力レベルとしてもよいし、任意に設定した(例えばこの物理的な最大出力レベルより幾分低く設定された出力レベルとしての)飽和出力レベルとしてもよい。
【0167】
また、図18(a)の場合では、露光量設定用輝度(Lt1)に対してVtargetを得るために、光電変換特性を矢印608方向に変化させているが、矢印608方向と逆方向(右方向)に向けて変化(移動)させてもよい。また、AE評価値取得時における光電変換特性が、既に上述のように露光量設定用輝度に対してVtargetが得られるものとなっている場合には、光電変換特性は変化(移動)されない。ただし、この場合、前回のAE評価値取得時における露光時間設定値や絞り設定値と同じ値になったとしても、今回における露光時間設定値や絞り設定値の算出が行われる構成であってもよい。
【0168】
(ステップS2−2)ダイナミックレンジ制御パラメータの算出
次に、前記(B)の場合のダイナミックレンジ制御について図18(b)を用いて説明する。光電変換特性701は、AE評価値取得時において光電変換特性情報記憶部516に記憶されている撮像センサ30の光電変換特性である。光電変換特性701は変曲点703(このときのセンサ出力はVth1)を境として線形特性領域と対数特性領域とに分かれている。ダイナミックレンジ制御パラメータ(光電変換特性設定値)は、この光電変換特性701が、ダイナミックレンジ設定用の所定の輝度(ダイナミックレンジ設定用輝度)に対して所定のセンサ出力が得られる光電変換特性702へと変化されるような光電変換特性の制御値、具体的には、変化後の光電変換特性(702)における変曲点(変曲点704)の位置(該変曲点に対する出力レベル)に関する設定値として求められる。この光電変換特性設定値はダイナミックレンジ制御パラメータ算出部512により算出される。
【0169】
ここでは、ダイナミックレンジにおける最大輝度として設定した輝度Lm20をダイナミックレンジ設定用被写体輝度とし、該輝度Lm20に対するセンサ出力の値が、撮像センサ30の飽和出力レベルであるVmax(図18(a)に示すVmaxと同様)となるように光電変換特性曲線702を算出する。換言すれば、光電変換特性701を、点704を通る光電変換特性702となるように符合705に示す矢印方向(矢印705方向)に向けて変化させる。このとき、変曲点703は変曲点704へ移り、該変曲点に対するセンサ出力もVth1からVth2へ変化する。
【0170】
この場合、輝度Lm20におけるセンサ出力が点706でのセンサ出力(Vover:Vmaxを超えるセンサ出力値)から点707でのセンサ出力(Vmax)まで減少されるような光電変換特性設定値が算出される。別の見方をすれば、センサ出力Vmaxを得ることが可能な最大輝度がLm10(点708での輝度)からLm20へと大きくなるような(ダイナミックレンジを広げるような)光電変換特性設定値が、ダイナミックレンジ制御パラメータ算出部512によって算出される。
【0171】
なお、光電変換特性701から光電変換特性702へ変化する場合、Vtargetにおける輝度はLt10からLt20まで変化(増加)し、露光量は低下する。ただし、この図18(b)に示すVtargetは、露光量の変化について説明するために設定したものであり、図18(a)に示すVtargetの値とは異なっていてもよい。
【0172】
また、図18(b)の場合では、ダイナミックレンジ設定用輝度(Lm20)に対してVmaxを得るために、光電変換特性を矢印705方向に変化させているが、矢印705方向と逆方向(上方向)に向けて変化させてもよい。また、AE評価値取得時点における光電変換特性が、上述のようにダイナミックレンジ設定用輝度に対してVmaxが得られるものとなっている場合には、光電変換特性は変化されない。ただし、この場合、前回のAE評価値取得時における光電変換特性設定値と同じ値になったとしても今回における光電変換特性設定値の算出が行われる構成であってもよい。
【0173】
このように前記(A)の露光量制御、及び(B)のダイナミックレンジ制御によるAE制御により、露光量設定用輝度を光電変換特性の線形特性領域で撮影し、且つ所定のセンサ出力レベルで出力すると共に、ダイナミックレンジ設定用輝度(ここでは被写体の最大輝度;ダイナミックレンジにおける最大輝度)がセンサ飽和出力レベル以下となるようにして撮影することが可能となる。
【0174】
(露光量制御パラメータの算出方法の詳細説明)
ここで、前記図18(a)の露光量制御の場合における、評価値検出部405によって検出されたAE評価値に基づく、露光量制御パラメータ算出部511による露光量制御パラメータ(露光時間設定値及び絞り設定値)の算出について、より具体的に説明する。
【0175】
図19は、図18(a)における輝度Lt1(露光量設定用輝度)に対するセンサ出力の値がVtargetとなるようにするための演算方法の一例について説明する図である。同図における光電変換特性α1は、AE評価値取得時における光電変換特性であり、変曲点611(これに対するセンサ出力はVth)を境として線形特性領域612と対数特性領域613とに分かれている。光電変換特性β1は、光電変換特性α1における対数特性領域613を線形特性(線形特性領域614)に変換した場合の、すなわち全て線形特性領域となる光電変換特性を示している。
【0176】
図19に示すA点におけるLtLinは、光電変換特性α1の線形特性領域612における平均輝度(線形特性領域平均輝度)であり、この輝度LtLinに対するセンサ出力がVtLinとなっている。また、B点におけるLtLogは、光電変換特性α1の対数特性領域613における平均輝度(対数特性領域平均輝度)であり、この輝度LtLogに対するセンサ出力がVtLogとなっている。先ず、この光電変換特性α1の対数特性領域613におけるLtLogに対するB点が、線形特性領域614上のC点に移るように、すなわち対数特性領域613におけるLtLogに対するセンサ出力の値(VtLog)が線形特性領域614での値(VtLogLin)となるようにデータ変換が行われる(これにより、光電変換特性α1での各データを線形特性領域でのデータに統一して扱えるようになる)。前記対数特性領域613(光電変換特性α1)から線形特性領域614(光電変換特性β1)へのデータ変換は、LUT記憶部518に記憶されているLUTを用いて行われる。そして、A点でのVtLinとC点でのVtLogLinとから、以下の式により、D点でのセンサ出力VtAveが算出される。なお、VtAveにおける輝度LtAveが、図18(a)に示す露光量設定用輝度としてのLt1に相当する。
【0177】
VtAve=(VtLin*k1)+(VtLogLin*(1−k1))
ただし、k1=m/(m+n)
m:A点の輝度LtLinの算出時に用いた総画素数
n:B点の輝度LtLogの算出時に用いた総画素数
このように、LtLin及びLtLogの値から、VtLin及びVtLogLinの値を算出し、VtLin及びVtLogLinの値からVtAveを算出する。
【0178】
次に、このVtAveが、図18(a)に示すVtargetとなるような露光量の増幅率Gain(ゲイン)、この露光量の増幅率Gainに基づく露光時間の増幅率Gt及び絞りの増幅率Gs、さらに、増幅率Gt及びGsに基づくそれぞれ露光時間T2及び絞りの開口面積S2を以下の式により算出する。ただし、当該各式を用いたGt及びGsの値の算出は、以下図20に示すフローチャートによる場合分けによって決定される。
【0179】
Gain=Vtarget/VtAve
Gt*Gs=Gain
【0180】
≪露光時間に関する増幅率を算出する式≫
Tmax/T1=Gtmax(露光時間の最大増幅率)
Tmin/T1=Gtmin(露光時間の最小増幅率)
Gain/Gtmax=GGtmax(最大増幅率での不足分を補うための増幅率)
Gain/Gtmin=GGtmin(最小増幅率での不足分を補うための増幅率)
T2=T1*Gt
ただし、T1:AE評価値検出時の露光時間
T2:AE補正後の露光時間
Tmax:撮像センサ30の最大露光時間
Tmin:撮像センサ30の最小露光時間
【0181】
≪絞りに関する増幅率を算出する式≫
Smax/S1=Gsmax(絞りの最大増幅率)
Smin/S1=Gsmin(絞りの最小増幅率)
Gain/Gsmax=GGsmax(最大増幅率での不足分を補うための増幅率)
Gain/Gsmin=GGsmin(最小増幅率での不足分を補うための増幅率)
S2=S1*Gs
ただし、S1:AE評価値検出時の絞りの開口面積
S2:AE補正後の絞りの開口面積
Smax:絞り22の最大開口率
Smin:絞り22の最小開口率
【0182】
図20のフローチャートに示すように、先ず、VtAveがVtargetの値と同じ値である場合、すなわち露光量の増幅率Gain=1.0であり、露光量の制御(露光量制御パラメータの変更)が必要ない場合には(ステップS11のYES)、露光時間の増幅率Gt=1.0及び絞りの増幅率Gs=1.0となり(ステップS12)、露光時間及び絞りの開口面積は変更されない。増幅率Gain=1.0でなく(ステップS11のNO)、また、Gain>1.0であり(ステップS13のYES)、且つGain>Gtmaxでない場合には(ステップS14のNO)、すなわちGainが1.0より大きく、露光量の制御が必要であり、露光量の増幅率Gainが露光時間の増幅率Gt(最大増幅率Gtmax以下の増幅率Gt)にて対応できる場合には、Gt=Gain及びGs=1.0となる(ステップS15)。
【0183】
前記ステップS13において、Gain>1.0でなく(ステップS13のNO)、且つGain<Gtminでない場合には(ステップS16のNO)、前記ステップS15の場合と同様に、Gainが1.0より小さく露光量の制御が必要であり、露光量の増幅率Gainが、露光時間の増幅率Gt(最小増幅率Gtmin以上の増幅率Gt)にて対応できるため、Gt=Gain及びGs=1.0となる(ステップS17)。
【0184】
前記ステップS14において、Gain>Gtmaxであり(ステップS14のYES)、且つGsmax>GGtmaxである場合には(ステップS18のYES)、Gt=Gtmax及びGs=GGtmaxとなる(ステップS19)。このステップS19では、露光量の増幅率Gainが、露光時間の最大増幅率Gtmaxよりも大きな値となってしまい、絞りの増幅率Gsを変化させることなく(Gs=1.0)、露光時間の増幅率Gtだけで対応することできないため、当該Gainに対するGtの増幅率の不足分を、絞りの増幅率Gsを変化させることで対応(補充)している。ただし、この絞りの増幅率Gsの値としては、露光時間の最大増幅率Gtmaxでの不足分を補うための増幅率GGtmaxが用いられる。これは、増幅率GGtmaxが、絞りの最大増幅率Gsmaxよりも小さい値であるため(絞りの最大増幅率Gsmaxを用いる必要がなく)、露光時間に関する増幅率GGtmaxを用いている。これにより、絞りを制御するための値(増幅率
)を、前記絞りに関する増幅率を算出する式を用いて算出する手間が省かれる。
【0185】
また、前記ステップS16において、Gain<Gtminであり(ステップS16のYES)、且つGsmin<GGtminである場合には(ステップS21のYES)、Gt=Gtmin及びGs=GGtminとなる(ステップS22)。この場合も前記ステップS19と同様に、露光量の増幅率Gainが、露光時間の最小増幅率Gtminよりも小さな値となってしまい、絞りの増幅率Gsを変化させることなく(Gs=1.0)、露光時間の増幅率Gtだけで対応することできないため、Gainに対するGtの増幅率の不足分を、絞りの増幅率Gsを変化させることで対応している。ただし、この絞りの増幅率Gsの値としては、露光時間の最小増幅率Gtminでの不足分を補うための増幅率GGtminが用いられる。これは、増幅率GGtminが、絞りの最小増幅率Gsminよりも小さい値であるため(絞りの最小増幅率Gsminを用いる必要がなく)、露光時間に関する増幅率GGtminを用いている。この場合も同様に、絞りを制御するための値(増幅率)を、前記絞りに関する増幅率を算出する式を用いて算出する手間が省かれる。
【0186】
前記ステップSe8において、Gsmax>GGtmaxでない場合には(ステップS18のNO)、Gt=Gtmax及びGs=Gsmaxとなる(ステップS20)。また、前記ステップS21において、Gsmin<GGtminでない場合には(ステップS21のNO)、Gt=Gtmin及びGs=Gsminとなる(ステップS23)。前記ステップS20においては、増幅率GGtmaxが、絞りの最大増幅率Gsmax以上の値となる場合に、絞りの増幅率Gsの値として最大増幅率Gsmaxが用いられている。同様に、前記ステップS23においては、増幅率GGtminが、絞りの最小増幅率Gsmin以下の値となる場合に、絞りの増幅率Gsの値として最小増幅率Gsminが用いられている。
【0187】
なお、本実施形態では、図20のフローチャートに示すように、露光量の増幅率Gainを得るための制御パラメータを選択する際、露光時間の増幅率Gtを優先させている(露光時間の制御を優先させている)が、絞りの増幅率Gsを優先させる(絞りの制御を優先させる)構成であってもよい。また、本実施形態では、1つの露光量設定用輝度(Lt1)に対して、増幅率Gt及びGsの算出を行っているが、2つ以上の露光量設定用輝度に対して同様の算出を行ってもよく、この場合には、それぞれで算出した増幅率(Gt、Gs)の平均値、或いは最大値や最小値を用いる構成であってもよい。
【0188】
このようにして増幅率Gt、Gsが算出され、このGt、GsからそれぞれAE補正後の露光時間T2、AE補正後の絞りの開口面積S2が算出される。そして、これらT2及びS2に応じた撮像センサ30やシャッタ23に対する設定値(露光時間設定値)、或いは絞り22に対する設定値(絞り設定値)が、それぞれLUTを用いたデータ変換によって算出される。そして、当該データ変換によって得られた露光時間設定値や絞り設定値は、光電変換特性情報記憶部516に記憶される(或いは前回のAE評価値取得時点における露光時間設定値や絞り設定値を、当該新たに得られた同設定値で更新する構成であってもよい。以下の光電変換特性設定値に対しても同様である)。
【0189】
なお、シャッタ制御信号発生部523及び絞り制御信号発生部525は、それぞれ露光量制御パラメータ算出部511で算出された露光時間設定値及び絞り設定値に基づいて、撮像センサ30やシャッタ23による露光時間(積分時間)が前記T2となるような、或いは絞り22の開口面積が前記S2となるような、シャッタ駆動部61及び絞り駆動部63に対する制御信号を発生させる。
【0190】
ここで、前記図19に示す線形特性領域平均輝度LtLinに対応するセンサ出力レベルVtLin及び対数特性領域平均輝度LtLogに対応するセンサ出力レベルVtLogの具体的な算出方法について説明する。先ず、線形特性領域平均輝度LtLinに対応するセンサ出力レベルVtLinの算出方法について説明する。図15に示す主被写体領域331における各検出ブロック(A〜AJブロック)によって検出した被写体の輝度情報を基に、当該各検出ブロック毎の線形特性領域での平均輝度(ブロック線形平均輝度という)を算出する。このブロック線形平均輝度の算出は、R、G及びBの3色それぞれの線形特性領域の平均値(色線形平均値という)を用いて行う。すなわち、A〜AJブロックから得られるR色の色線形平均値をそれぞれAveRA、AveRB、・・・AveRAJとして算出し、同様に、G色、及びB色の色線形平均値をそれぞれAveGA、AveGB、・・・AveGAJ、及びAveBA、AveBB、・・・AveBAJとして算出する。そして、これらRGB各色の色線形平均値を用いて、以下の色空間変換を行う式により、A〜AJブロック毎のブロック線形平均輝度を算出する。例えばAブロックに対するブロック線形平均輝度をAveYAとすると、AveYAは次式にて求めることができる。
【0191】
AveYA=AveRA*K1+AveGA*K2+AveBA*K3
ただし、K1、K2、K3:RGBからYCbCrへの色空間変換に用いる係数であり、例えばK1=0.2989、K2=0.5866、K3=0.1145である。
【0192】
他のB〜AJブロックに対しても同様に演算し、この結果、A〜AJブロック毎のブロック線形平均輝度AveYA、AveYB、・・・AveYAJを算出する。そして、さらにこれらブロック線形平均輝度AveYA、AveYB、・・・AveYAJ全体での平均値を算出する。この平均値のことをMainYとすると、MainYが前記線形特性領域平均輝度LtLinに対応するセンサ出力レベルVtLinとなる。
【0193】
一方、対数特性領域平均輝度LtLogに対応するセンサ出力レベルVtLogの算出も、前記線形特性領域平均輝度LtLinの場合と同様にして行う。すなわち、図15に示す主被写体領域331におけるA〜AJブロックによって検出した被写体の輝度情報を基に、当該各検出ブロック毎の対数特性領域での平均輝度(ブロック対数平均輝度という)を算出する。このブロック対数平均輝度の算出は、R、G及びBの3色それぞれの対数特性領域の平均値(色対数平均値という)を用いて行う。すなわち、A〜AJブロックから得られるR色の色対数平均値をそれぞれAveRLogA、AveRLogB、・・・AveRLogAJとして算出し、同様に、G色、及びB色の色対数平均値をそれぞれAveGLogA、AveGLogB、・・・AveGLogAJ、及びAveBLogA、AveBLogB、・・・AveBLogAJとして算出する。
【0194】
ところで、これら対数特性領域でのRGB各色の色対数平均値は、一旦、LUT記憶部518に記憶されているLUTを用いて線形特性領域での値に変換して線形データとしておき、この線形データに変換された値を用いて前記と同様に色空間変換の式を用い、A〜AJブロック毎のブロック対数平均輝度AveYLogA、AveYLogB、・・・AveYLogAJを算出する。そして、さらにこれらブロック対数平均輝度AveYLogA、AveYLogB、・・・AveYLogAJ全体での平均値を算出する。この平均値のことをMainYLogとすると、MainYLogが前記線形特性領域平均輝度LtLogに対応するセンサ出力レベルVtLogLinとなる。なお、前記各A〜AJブロックでの各色の色線形平均値(色対数平均値)は、当該各A〜AJブロック毎の線形特性領域(対数特性領域)での輝度ヒストグラムを算出すると共に輝度ヒストグラムの「足切り」を行い、該足切り後の各輝度値を平均することにより算出してもよい。
【0195】
ところで、前記図19、20において説明した増幅率Gain(露光量制御パラメータ)の具体的な算出方法は、以下に示すものであってもよい。先ず、主被写体領域331における各A〜AJブロックでのRGB各色における輝度の最大値(色最大値という)を算出する。すなわち、R色の最大値をそれぞれMaxRA、MaxRB、・・・MaxRAJとして算出し、同様に、G色、及びB色の最大値をそれぞれMaxGA、MaxGB、・・・MaxGAJ、及びMaxBA、MaxBB、・・・MaxBAJとして算出する。そして、これら各色毎の輝度の最大値を用いて、以下の色空間変換を行う式により、A〜AJブロック毎のブロック最大輝度を算出する。例えばAブロックに対するブロック最大輝度をMaxYAとすると、MaxYAは次式にて求めることができる。
【0196】
MaxYA=MaxRA*K1+MaxGA*K2+MaxBA*K3
ただし、前記と同様に例えばK1=0.2989、K2=0.5866、K3=0.1145である。他のB〜AJブロックに対しても同様に演算し、この結果、A〜AJブロック毎のブロック最大輝度MaxYA、MaxYB、・・・MaxYAJを算出する。そして、さらにこれらブロック最大輝度MaxYA、MaxYB、・・・MaxYAJ全体での最大値(主被写体領域331での最大輝度値という)を算出する。この最大輝度値のことをMaxYとすると、MaxYが、図21に示す輝度Ltmaxに対応するセンサ出力レベルVtAve2となる。
【0197】
同様に、各A〜AJブロックでのRGB各色における輝度の最小値(色最小値)を、それぞれMinRA、MinRB、・・・MinRAJ、及びMinGA、MinGB、・・・MinGAJ、及びMinBA、MinBB、・・・MinBAJとして算出し、これらの最小値を用いて前記と同様の色空間変換の式によりA〜AJブロック毎のブロック最小輝度MinYA、MinYB、・・・MinYAJを算出する。そして、さらにこれらブロック最小輝度MinYA、MinYB、・・・MinYAJ全体での最小値(主被写体領域a2での最小輝度値という)を算出する。この最小輝度値のことをMinYとすると、MinYが、図21に示す輝度Ltminに対応するセンサ出力レベルVtAve1となる。
【0198】
ただし、前記色最大値及び色最小値のうちで対数特性領域での値であるものに対しては、同様にLUTを用いての線形特性領域への変換を行った後に色空間変換を行う。また、各A〜AJブロックでの各色の色最大値及び色最小値は、当該各A〜AJブロック毎に輝度ヒストグラムを算出すると共に輝度ヒストグラムの「足切り」を行い、該足切り後の各輝度値から算出してもよい。
【0199】
そして、図21に示すように、輝度Ltminに対するセンサ出力値VtAve1が、予め設定されたターゲット出力値であるVtarget1となるような増幅率(Vtarget1/VtAve1;第1増幅率という)を算出すると共に、輝度Ltmaxに対するセンサ出力値VtAve2が、予め設定されたターゲット出力値であるVtarget2となるような増幅率(Vtarget2/VtAve2;第2増幅率という)を算出し、これら2つの増幅率のうちの小さい方の増幅率を選択し、当該選択された増幅率を前記露光量の増幅率Gainとして、前記図20に示すように場合分けを行い、露光時間の増幅率Gt及び絞りの増幅率Gsを算出する構成であってもよい。
【0200】
なお、上述のように第1及び第2増幅率のうちの大きい方を選択してもよく、或いは、第1及び第2増幅率を比較して一方を選択するのではなく、第1又は第2増幅率のみを算出して用いる構成であってもよい。また、これら第1及び第2増幅率を平均したものを用いる構成であってもよい。また、上記Vtarget1やVtarget2の値は、露光量制御パラメータ算出部511等に記憶されている。
【0201】
また、前記最小輝度値MinY及び最大輝度値MaxYは、各A〜AJブロックの輝度ヒストグラムを纏めてなるA〜AJブロック全体での全体輝度ヒストグラムから算出してもよい。この場合、同様に「足切り」を行うことで当該全体輝度ヒストグラムにおける輝度範囲を算出し、この輝度範囲から最小輝度値MinY及び最大輝度値MaxYを算出する。なお、当該算出時に、最小輝度値MinY=最大輝度値MaxY−輝度範囲、或いは最大輝度値MaxY=最小輝度値MinY+輝度範囲というように、最小又は最大輝度値の一方の輝度値と輝度範囲とから、他方の輝度値を求めてもよい。
【0202】
(ダイナミックレンジ制御パラメータの算出方法の詳細説明)
続いて、前記図18(b)の露光量制御の場合における、評価値検出部405によって検出されたAE評価値に基づく、ダイナミックレンジ制御パラメータ算出部512によるダイナミックレンジ制御パラメータ(光電変換特性設定値)の算出についてより具体的に説明する。
【0203】
図22は、ダイナミックレンジ制御パラメータ算出に際しての、光電変換特性における変曲点の位置の算出方法について説明するグラフ図であり、(a)は、輝度Lmaxに対して所定のセンサ出力となるように光電変換特性を変化させた場合の図であり、(b)は、光電変換特性をモデル化した場合の図である。先ず、図22(a)において、輝度Lmaxは、ダイナミックレンジ設定用輝度であり、例えば図18(b)に示すLm20に相当するものとする。光電変換特性α2は変曲点711を有する変化前の光電変換特性、光電変換特性β2は変曲点712を有する変化後の光電変換特性を示している。Vmax2は、撮像センサ30の飽和出力レベル(最大出力レベル)を示している。輝度Lmaxに対するセンサ出力の値が、光電変換特性α2上のE点でのVmax1から光電変換特性β2上のF点でのVmax2へ移るように光電変換特性を変化させる。この場合、光電変換特性α2は、変曲点711でのセンサ出力Vth1から変曲点712でのセンサ出力Vth2となる変曲点の変化量ΔVthに応じて光電変換特性β2の状態へ変化する。
【0204】
ところで、前記Vth2は、E、F点間のセンサ出力ΔVmax(=Vmax2−Vmax1)から算出される。これについて説明する。図22(b)に示すように、光電変換特性α2、β2における線形特性領域及び対数特性領域をそれぞれモデル化(グラフ化)して関数(数式)で表すと、以下のように表される。
【0205】
線形特性領域をモデル化した関数:V=K2*L(光電変換特性α2、β2で共通)
対数特性領域をモデル化した関数:V=K1*ln(L)+Wα(光電変換特性α2)
:V=K1*ln(L)+Wβ(光電変換特性β2)
ただし、K1、K2は定数、Lはセンサ入射輝度(図22の横軸座標)、Wα及びWβは切片を示している。
【0206】
ここで、ΔVmaxは、ΔVmax=Wβ−Wαと表されるので、前記V=K1*ln(L)+Wβの数式は、V=K1*ln(L)+Wα+ΔVmaxと表される。この数式と、前記V=K2*Lの数式との交点713におけるセンサ出力値がVth2となる。したがって、交点713(の座標)を算出するための当該2つの数式の連立式;K1*ln(L)+Wα+ΔVmax=K2*Lを満たす「L」の値、すなわち図22(b)に示す輝度Lを求めることによって、該輝度Lに対応するセンサ出力のVth2が算出される。ただし、算出された出力レベルVth2が飽和出力レベルVmax2より大きくなる場合には、撮像センサ30は、対数特性領域の無い線形特性領域のみの光電変換特性を有することとなる。
【0207】
そして、上述のように算出したVth2に応じた撮像センサ30に対する設定値、すなわち、光電変換特性の変曲点がVth2の位置となるように光電変換特性を変化させるための設定値(光電変換特性設定値)が、LUTを用いた当該Vth2のデータ変換によって算出される。そして、当該データ変換によって得られた変曲点Vth2に対応する光電変換特性設定値は、光電変換特性情報記憶部516に記憶される。なお、ダイナミックレンジ制御信号発生部521は、ダイナミックレンジ制御パラメータ算出部512で算出された光電変換特性設定値に基づいて、撮像センサ30の光電変換特性(の変曲点位置)が上述のように変化するような、タイミング生成回路31に対する制御信号を発生させる。
【0208】
ところで、前記図22に示すダイナミックレンジ設定用輝度である輝度Lmaxに対応するセンサ出力レベルVmax1の具体的な算出方法は以下のとおりである。先ず、前記図19における対数特性領域平均輝度LtLogに対応するセンサ出力レベルVtLogの算出と同様に、図15に示す主被写体領域331(A〜AJブロック)での対数特性領域平均輝度を算出すると共に、周辺被写体領域332(第1〜第16ブロック)での対数特性領域平均輝度を、主被写体領域331での場合と同様に算出する。そして、これら主被写体領域331及び周辺被写体領域332で算出した対数特性領域平均輝度を比較して大きな方の対数特性領域平均輝度を選択し、該選択した対数特性領域平均輝度に対応するセンサ出力レベルをVmax1とする。
【0209】
なお、主被写体領域331及び周辺被写体領域332において、前記対数特性領域平均輝度だけでなく、図19における線形特性領域平均輝度LtLinと同様の線形特性領域平均輝度に対応するセンサ出力も算出し、主被写体領域331及び周辺被写体領域332毎にこれら線形特性領域平均輝度と対数特性領域平均輝度とを平均した全特性領域平均輝度を算出し、これら各領域における全特性領域平均輝度のうちの大きな方を輝度Lmaxに対応するセンサ出力とする構成であってもよい。ただし、当該輝度が同じ大きさであった場合には、いずれの輝度値を輝度Lmaxに対応するセンサ出力としてもよい(以降も同様)。
【0210】
また、主被写体領域331のみでの対数特性領域平均輝度(或いは線形特性領域平均輝度と合わせた全特性領域平均輝度)から輝度Lmaxに対応するセンサ出力を得る構成であってもよいし、周辺被写体領域332のみでの対数特性領域平均輝度(或いは線形特性領域平均輝度と合わせた全特性領域平均輝度)から輝度Lmaxに対応するセンサ出力を得る構成であってもよい。
【0211】
さらに、輝度Lmaxに対応するセンサ出力の具体的な算出方法は、以下に示すものであってもよい。すなわち、先ず、前記図21における最大輝度値Ltmax(MaxY)に対応するセンサ出力の算出と同様に、主被写体領域331での最大輝度値を算出すると共に、周辺被写体領域332での最大輝度値を、主被写体領域331での場合と同様に算出する。そして、これら主被写体領域331及び周辺被写体領域332で算出した最大輝度値を比較して大きな方の最大輝度値を選択し、該選択した最大輝度値に対応するセンサ出力レベルを求め、この出力レベルに対応する輝度を輝度Lmaxとする。なお、主被写体領域331のみでの最大輝度値から輝度Lmaxに対応するセンサ出力を得る構成であってもよいし、周辺被写体領域332のみでの最大輝度値から輝度Lmaxに対応するセンサ出力を得る構成であってもよい。
【0212】
ところで、図22に示すような、光電変換特性設定値に基づく光電変換特性(変曲点位置)の制御は、実際には、前記図15で説明したように、飽和判別部4055(図14参照)によって撮像センサ30の出力レベルが飽和していないと判別された場合に行われ、該出力レベルが飽和していると判別された場合には、飽和画素数に応じて、図23(a)に示すようにΔVth分だけ変曲点での出力レベルを低下させるように、すなわち、撮像センサ30によって、より高輝度側での撮影を可能とするべくダイナミックレンジを広げるように光電変換特性を変化させる。ここでは、光電変換特性α3から光電変換特性β3へ変化させる。ただし、このΔVthの値は、図23(b)に示すように、飽和画素数が増加するにつれて増加するように設定されており、該飽和画素数に対応するΔVthの算出は、LUTによるデータ変換によって行われる構成となっている。そして、この算出されたΔVthを、AE評価値時算出時における光電変換特性α3の変曲点721での出力レベルVth1から減算することにより、変化後の光電変換特性β3(光電変換特性α3と比較してダイナミックレンジが広くなる特性)の変曲点722での出力レベルVth2が得られる。さらに、当該得られたVth2に応じた撮像センサ30に対する設定値(光電変換特性設定値)が、LUTによるデータ変換によって算出される。そして、当該データ変換によって得られた変曲点Vth2に対応する光電変換特性設定値は、光電変換特性情報記憶部516に記憶される。
【0213】
(ステップS3−1)露光量制御パラメータの設定
上記ステップS2−1で説明したような手法でAE制御のための露光量制御パラメータが算出されたならば、該露光量制御パラメータに基づいてAE制御が行われ、実際の撮像動作が行われる。すなわち、静止画像を撮影する場合は、予備撮影画像より取得されたAE評価値に基づいたAE制御がなされた上で本撮影が行われる。また、動画像を撮影する場合は、例えば直前に撮影された撮影画像より取得されたAE評価値に基づいたAE制御がなされた上で順次動画撮影が行われる。
【0214】
具体的には、全体制御部50の露光量制御パラメータ算出部511で算出された露光量制御パラメータは制御信号発生部520に入力され、実際の露光量制御動作を行わせる駆動信号を生成するタイミング生成回路31や駆動部60を動作させるための制御信号が制御信号発生部520の各部で生成される。すなわち、制御信号発生部520のセンサ露光時間制御信号発生部522は、前記露光量制御パラメータに応じて、所期の露光時間が確保されるよう撮像センサ30の制御信号を生成し、これをタイミング生成回路31へ送信する。ここでの制御信号は、例えば図9に示すタイミングチャートにおいて、撮像センサ30に対する信号φVPSが中電位Mとなる時間ΔSを、露光量制御パラメータに応じて適宜な時間に設定する信号(つまり、フォトダイオードPDの寄生容量のリセット動作終了時刻t1から次フレームの映像信号読み出しが開始される時刻t2までの積分時間を適宜な時間に設定する信号)である。タイミング生成回路31は、入力された駆動信号に応じて、撮像センサ30の露光時間を制御するタイミング信号を生成して撮像センサ30を駆動させる。
【0215】
またシャッタ制御信号発生部523は、同様に露光量制御パラメータに基づいて、シャッタ23のシャッタスピード(シャッタ開放時間)を露光時間に合わせて設定する制御信号を生成する。この制御信号は駆動部60のシャッタ駆動部61へ送られ、シャッタ駆動部61は該制御信号に基づいてシャッタ23の駆動信号を生成し、露光量制御パラメータに応じたシャッタ23のシャッタ開放動作を行わせる。
【0216】
さらに絞り制御信号発生部525も、同様に露光量制御パラメータに基づいて、絞り22の開口面積を設定する制御信号を生成する。この制御信号は絞り駆動部63へ送られ、絞り駆動部63は該制御信号に基づいて絞り22の駆動信号を生成し、露光量制御パラメータに応じた絞り22の開口面積設定動作を行わせる。
【0217】
以上のように、露光量制御(積分時間の制御)の要素としては、タイミング生成回路31のよる撮像センサ30の駆動制御、シャッタスピード制御及び絞り制御があり、これら3つの制御を全て行うようにしても良いが、高速に制御を達成する観点からは、図21のフローチャートに基づいて説明したように、タイミング生成回路31による電子回路的な露光量制御を優先させるようにすることが望ましい。
【0218】
(ステップS3−2)ダイナミックレンジ制御パラメータの設定
一方、ダイナミックレンジ制御により本実施形態にかかるAE制御を行う場合、全体制御部50のダイナミックレンジ制御パラメータ算出部512で算出されたダイナミックレンジ制御パラメータは制御信号発生部520に入力され、そのダイナミックレンジ制御信号発生部521において、実際のダイナミックレンジ制御動作を行わせる制御信号が生成される。
【0219】
すなわちダイナミックレンジ制御信号発生部521は、ダイナミックレンジ制御パラメータ算出部512において算出された撮像センサ30の光電変換特性設定値に応じて、光電変換特性が線形特性領域から対数特性領域に切り替わる出力レベルポイント(変曲点)を調整する撮像センサ30の制御信号を生成し、これをタイミング生成回路31へ送信する。ここでの制御信号は、例えば図9に示すタイミングチャートにおいて、撮像センサ30に対する信号φVPSを、算出されたダイナミックレンジ制御パラメータに応じて適宜設定する制御信号である。
【0220】
つまり、前記φVPSにおける電圧VPHの高さ、或いは時間ΔTの長さを制御することでその変曲点が変動されることから、ダイナミックレンジ制御信号発生部521は、ダイナミックレンジ制御パラメータに基づいてφVPSを制御する制御信号を生成し、これをタイミング生成回路31へ送信する。そしてタイミング生成回路31は、入力された制御信号に応じて、撮像センサ30のダイナミックレンジを制御するタイミング信号を生成して撮像センサ30を、所定の光電変換特性の状態として実際に駆動させるものである。
【0221】
以上、AE制御を中心に説明したが、実際のデジタルカメラ1においては、AF制御やWB制御等も行われる。AF制御の場合も同様に、撮像センサ30の撮影画像から取得したAF評価値に基づいて制御を行うことができる。例えば、図14に示した主被写体領域331のO、P、U及びVブロックから検出される輝度ヒストグラムを活用し、評価値検出部405にて隣接輝度とのコントラストが最大となるポイントを求める所謂「山登り法」等によってAF評価値を算出することができる。この場合、撮像センサ30の線形特性領域及び対数特性領域の各々からAF評価値を検出し、それぞれの特性領域の特徴を生かし、例えば対数特性領域から得られるAF評価値を、AF制御に際しての粗測距用として用い、また線形特性領域から得られるAF評価値を、詳測距用として用いるようにすることが望ましい。
【0222】
このようにして評価値検出部405で検出されたAF評価値は、全体制御部50のAF制御パラメータ算出部513へ送られる。AF制御パラメータ算出部513は、該AF評価値に応じたAF制御パラメータを算出し、これをズーム/フォーカス制御信号発生部524へ送信する。該ズーム/フォーカス制御信号発生部524にて、入力されたAF制御パラメータに応じた制御信号が生成され、これがズーム/フォーカス駆動部62へ送信される。そして、ズーム/フォーカス駆動部62により前記制御信号に応じた駆動信号が生成され、該駆動信号により鏡胴20のレンズ群21がフォーカス駆動されるものである。
【0223】
またWB制御についても、撮像センサ30の撮影画像から取得したWB評価値に基づいて制御を行うことができる。この場合も、撮像センサ30の線形特性領域及び対数特性領域の各々からWB評価値を検出することが望ましい。すなわち、撮影画像に基づきニュートラルな画像によるWB評価値検出を行うものとし、前記ニュートラル画像として線形特性領域と対数特性領域との2種類の画像に基づき、各RGBレベル(R−Log,G−Log,B−Log,R−Lin,G−Lin,B−Lin)を検出するよう構成することが望ましい。評価値検出部405はこのようなWB評価値を検出し、該WB評価値をホワイトバランス制御部406へ送り、ホワイトバランス制御部406により適宜な色バランスとなるようホワイトバランス補正が行われるものである。
【0224】
(実施形態2)
以下、図面に基づいて、本発明の第2の実施形態につき説明する。
第2の実施形態では、第1の実施形態とAE制御方法が異なるものとなっている。第1の実施形態におけるAE制御は、図18(a)に示す露光量制御と、図18(b)に示すダイナミックレンジ制御とによって行われ、以下、(A)、(B)に示すように(この(A)(B)は前述の内容を要約したもの)、露光量制御は、露光時間(撮像センサの積分時間、或いはシャッタの開放時間)と、絞り(絞りの開口面積)との制御によってなされ、一方、ダイナミックレンジ制御は、光電変換特性(変曲点位置)の制御によってなされる構成であった。
(A)露光量制御(露光時間制御(積分時間やシャッタ開放時間制御)、或いは絞り制御(絞りの開口面積制御))
(B)ダイナミックレンジ制御(光電変換特性制御(変曲点位置制御))
【0225】
これに対し、第2の実施形態におけるAE制御では、以下[A]〜[C]に示すように、露光量制御を、絞り制御に基づく露光量制御と積分時間やシャッタ開放時間の制御に基づく露光量制御との各場合で(独立して)行い、ダイナミックレンジ制御を、前記と同様に光電変換特性(変曲点位置)の制御によって行うようにする。
[A]露光量制御(絞り制御(絞りの開口面積制御))
[B]ダイナミックレンジ制御(光電変換特性制御(変曲点位置制御))
[C]露光量制御(露光時間制御(積分時間制御やシャッタ開放時間制御))
【0226】
このようなAE制御方法の違いに関し、第1の実施形態と本実施形態とでは、図24に示すように、撮像センサ30a、全体制御部50a(演算部510a、制御信号発生部520a)及びタイミング生成回路31a等が異なる構成とされている。第1の実施形態と同様の構成を有するものについては同一の番号を付し、この説明を省略する。なお、第2の実施形態におけるデジタルカメラをデジタルカメラ1aとする。
【0227】
先ず、撮像センサ30aについて詳述する。図25は、第2の実施形態にかかるデジタルカメラ1aの撮像センサ30aにおける各画素の回路構成図の一例を示すものであり、第1の実施形態の図7に示す各画素G11〜Gmnに相当するものである。同図に示すように、撮像センサ30aの各画素G11〜Gmnは、フォトダイオードPD1、MOSFET(Metal Oxide Semiconductor Field Effect Transistor)としてのトランジスタT10〜T13、及びFD(Floating Diffusion)から構成されている。トランジスタT10〜T13は、ここではNチャンネルMOSFETが採用されている。VDD、φRSB、φRST、φTX及びφVは、各トランジスタに対する信号(電圧)を示し、GNDは接地を示している。
【0228】
フォトダイオードPD1は、感光部(光電変換部)であり、被写体からの入射光量に応じた電気信号(光電流IPD1)を出力する。トランジスタT12は、図7に示す定電流源307と対になってソースフォロワ増幅用の増幅回路(ソースフォロワアンプ)を構成するものであり、後述する電圧V1OUTに対する増幅(電流増幅)を行う。トランジスタT13は、ゲートに印加する電圧(信号φV)に応じてオン、オフされるスイッチとして動作する信号読み出し用のトランジスタである。トランジスタT13のソースは、図7に示す出力信号線306に接続されており、トランジスタT13がオンした場合、トランジスタT12で増幅された電流を出力電流として出力信号線306へ導出する。
【0229】
トランジスタT10は、同トランジスタのゲートに印加される電圧に応じてオン、オフされるスイッチとして動作するものであって、当該ゲート電位の高低によるオン、オフ切り替えに応じて、フォトダイオードPD1で発生した光電流IPD1(電荷)のFDに対する転送、非転送の切り替えを行う所謂転送ゲートとなるものである。フォトダイオードPD1で発生した光電流IPD1はフォトダイオードPD1の寄生容量に流れてその電荷が蓄積され、蓄積電荷量に応じた電圧が発生する。このときトランジスタT10がオン状態であれば、この寄生容量に蓄積された電荷(負電荷)がFDへ向けて移動する。FDは、電荷(信号電荷)を一旦保持しておく電荷保持部であり、この保持した電荷を電圧に変える(電荷電圧変換を行う)所謂キャパシタの役割を担うものである。
【0230】
トランジスタT11(リセットゲートトランジスタ)は、同トランジスタのゲート電圧の高低によるオン、オフ切り替えに応じてFDに対するリセットバイアスの印加、非印加の切り替えを行うものであるとともに(例えばトランジスタT11がオン状態の場合、トランジスタT10もオン状態となっており、トランジスタT11、FD、トランジスタT10及びフォトダイオードPD1を挟んだφRSB及びGND間にリセットバイアスがかけられた状態となる)、ゲート電圧を後述のMid電位(中電位)とすることで、フォトダイオードPD1からFDに移動する電荷(FDを流れる電流)のFD及びトランジスタT11による電荷電圧変換によってそれぞれ線形変換及び対数変換を行わせるものである。
【0231】
この場合、トランジスタT11にはMid電位に応じた電流(リセット電流)が流れ、トランジスタT11のソースが当該リセット電流に応じた電位となる。そして、フォトダイオードPD1から移動してくる電荷による電位が、Mid電位に応じたトランジスタT11のソース電位より小さい場合には(撮像する被写体の輝度が低く、つまり被写体が暗く、フォトダイオードPD1に入射される入射光量が少ない場合には)、FDにおいて線形変換としての電荷電圧変換が行われ、一方、当該ソース電位を超える場合には(撮像する被写体の輝度が高く、つまり被写体が明るく、フォトダイオードPD1に入射される入射光量が多い場合には)、トランジスタT11において対数変換としての電荷電圧変換が行われる。
【0232】
これにより、FDとトランジスタT12との接続ノード、すなわち出力V1OUTには、FDにおける光電流IPD1の積分値による線形出力としての電圧、或いはトランジスタT11における光電流IPD1に応じた電流−電圧変換による対数出力としての電圧が現れる。すなわち、光電変換特性における線形特性領域での出力値は、当該FDにおける光電流IPD1の積分値となるが、対数特性領域については、FD部に蓄えられた電荷による電位がトランジスタT11(リセットゲート)のソース電流を超えた領域において、光電流IPD1と等しい電流が該トランジスタT11に流れ、このトランジスタT11において光電流IPD1が電流−電圧変換された値(電圧)が当該出力値としてFD部に現れる。このトランジスタT11での電流−電圧変換が上記対数変換に相当する。したがって、後述するように、線形特性領域での出力値にはFD部や寄生容量部での積分効果が現れて、撮像センサ30aの露光時間に応じて該線形特性領域(線形特性領域の傾き)が変化するが、対数特性領域での出力値には、FD部や寄生容量部での積分効果は現れず、撮像センサ30aの露光時間に関わらず該対数特性領域の光電変換特性は固定となる(この場合の対数特性領域には時間の概念が含まれないと表現することもできる)。そして、トランジスタT13がオンされると、これら各電圧に応じたトランジスタT12による増幅電流が、トランジスタT13を介して出力電流として出力信号線306に導出される。このように第2の実施形態において、撮像センサ30a(各画素)は、前記撮像センサ30におけるキャパシタCやトランジスタT3からなる積分回路を備えておらず、当該積分回路を備えずにFD(或いはこのFDに対する転送ゲートやリセットゲート等)を備えた回路構成とされることで、被写体輝度(或いはセンサ入射輝度)に応じて線形変換又は対数変換された出力信号を得ることが可能となる。
【0233】
なお、撮像センサ30aは、撮像センサ30と比べて回路構成がより簡易なものとなっていることから(例えば上述のようにキャパシタCやトランジスタT3からなる積分回路等が削除された回路構成となっているため)、撮像センサ30aの開口率が増加し、センサ面に入射される光に対する感度(センサ出力)が向上する。
【0234】
図26は、図25に示す撮像センサ30aにおける各画素の撮像動作に関するタイミングチャートの一例であり、図26(a)は、全画素における垂直ブランク期間中の電荷蓄積(露光)動作に関するタイミングチャートを示し、図26(b)は、水平ブランク期間中における、電荷蓄積終了後の垂直走査による各行の画素の電荷掃き出し動作に関するタイミングチャートを示している。ここではNチャンネルMOSFETの極性上、以下のようにHi(ハイ)でオン、Low(ロー)でオフとなる。
【0235】
まず、図26(a)において、符号801で示す位置で信号φRSTをHi、符号802で示す位置で信号φTXをHiにする。これによりFDに対して前記リセットバイアスが印加される。そして、信号φRST、φTXの両方がHiである期間内に、符号803で示す位置で信号φRSBを一旦Lowとすることで、FD部の電位を高輝度光入射時の状態にセットし(電荷ゼロの状態から電荷蓄積が開始できるようにセットし)、さらに当該電位を符号804に示す位置でHiに戻すことで、全画素のFDに対するリセット(リフレッシュ)動作を行う。このFDに対するリセット動作によりFD部の電荷の安定性が保たれるようになる。
【0236】
その後、符号805に示す位置で、全画素同時にトランジスタT11のゲートに対する信号φRSTをHiから中(Middle)電位(この電位をMidと表現する)とし、このMid電位となっている期間(符号805の位置から後述の符号806の位置までの区間)において、FDでの電荷の蓄積及びこの蓄積電荷に対する線形変換又は対数変換での電圧変換を行う。このとき、信号φRSTのHi電位とMid電位との差分(この差分をΔRSTとする)の大きさに応じて、線形変換(又は対数変換)される割合が変化する。
【0237】
具体的には、ΔRSTが大きいほど、撮像センサ30aの光電変換特性の変曲点におけるセンサ出力レベル(Vth)が高くなり、つまり光電変換特性における線形特性領域の割合が大きくなり(対数特性領域の割合が小さくなり)、ΔRSTが小さいほど、同変曲点レベルが低くなり、線形特性領域の割合が小さくなる(対数特性領域の割合が大きくなる)。このように、差分ΔRSTの大きさを制御することによって、前記図11での説明と同様、撮像センサ30aの光電変換特性の変曲点の出力レベル(変曲点位置)が制御されることになる(これは後述の図29に示す場合に相当する)。
【0238】
なお、前記ΔRST(Midレベル)の制御は、線形特性領域と対数特性領域との傾きがいずれも固定された状態で変曲点の位置を変化させていく、つまり光電変換特性における線形特性から対数特性への切り替わり点(オフセット)を変化させる制御であるとも言える。
【0239】
ところで、上述のように信号φTXがHiの状態において、信号φRSTがHiからMidとなる時点を開始点として、信号φTXがHiからLowとなり且つ信号φRSTがMidからLowとなる時点を終了点とした期間、すなわち信号φRSTがMidとなっている期間(この期間をΔLとする)が、ここではこの期間ΔLが撮像センサ30aの各画素の露光時間(積分時間)つまり電荷の蓄積時間(蓄積時間ΔL)となる。この蓄積時間ΔLの長さの制御は、後述するタイミング生成回路31aを介したセンサ露光時間制御信号発生部522aによって行われる。なお、前記ΔRST値の大きさの制御、すなわち信号φRSTをHiからMidにするときのMid電位のレベルの制御は、後述するタイミング生成回路31aを介したダイナミックレンジ制御信号発生部521aによって行われる。
【0240】
そして、符号806の位置で信号φTXをHiからLowにするとともに、符号807の位置で信号φRSTをMidからLowにすることで、電荷蓄積期間(この電荷蓄積期間をΔLとする)内にFDに蓄積された電荷がホールドされる(全画素同時に電荷の蓄積動作が終了される)。
【0241】
次に、図26(b)において、前記図26(a)での全画素に対する電荷蓄積が終了した後、図7に示す垂直走査回路301による垂直走査によって選択された行(画素行)の信号φVを、符号811に示す位置でHiとすることでトランジスタT13をオンし、当該選択された行の各画素のFDに蓄積された電荷を垂直信号線(図7に示す出力信号線306−1、306−2、・・・306−m)に読み出す(掃き出す)。ただし、この符号811に示す位置での電荷読み出し動作は、図26(a)の符号806(807)に示す位置での電荷蓄積終了を受けて開始されることを示している。そして、この読み出した信号電荷を垂直信号線で伝送させ、図7に示す各選択回路308に備えるサンプルホールド回路に一旦保持させる。
【0242】
その後、符号812に示す位置において、前記選択された行の(各画素に対する)信号φRSTをLowからHiに変化させ、同時に、符号813に示す位置において当該選択された行の信号φRSBをHiからLowにすることで、FD部の電位を高輝度入射時の状態にセットする。そして、信号φRSTをHiにしたままの状態で、符号814に示す位置において信号φRSBをHiに戻し、リセットゲート(トランジスタT11)の閾値に応じた値にFDをリセットする。この状態で信号φVを符号815に示す位置でHiとすることで、ノイズ信号を垂直信号線に読み出し、図7に示す後段の補正回路309に備えたノイズ用サンプルホールド回路に保持する。
【0243】
ところで、図26(b)に示す信号φSHS及びφSHNは、それぞれ後段の選択回路308における(シグナル用)サンプルホールド回路及び補正回路309におけるノイズ用サンプルホールド回路でのサンプルホールド制御信号を示している。これらサンプルホールド制御信号に基づいて、符号816及び符号817に示すように、前記符号811、815に示す信号φVがHiとなるタイミングに応じて、それぞれ各サンプルホールド回路によりシグナル(画像信号)及びノイズ(ノイズ信号)がサンプルホールドされる。そして、このサンプルホールドにより得られた画像信号とノイズ信号との差分をとる(シグナル信号からノイズ信号を減算する)ことで、当該各行の各画素に対する、リセットゲートの閾値ばらつきが除去された画像信号が得られる。なお、信号φTXは、水平ブランク期間中において常時Lowレベルとなっている。
【0244】
図24に戻って、デジタルカメラ1aの全体制御部50aでは、AE制御パラメータ算出部5110aにおいて、第1の実施形態と同様、被写体輝度に応じた露出制御(AE制御)を行うべく、撮影の際の最適な露光量と撮像センサ30aの光電変換特性(ダイナミックレンジ)とに設定するための制御パラメータが算出される。これに関し、第2の実施形態では、上述した[A]、[B]、[C]の各場合の制御に関する制御パラメータが算出される。AE制御パラメータ算出部5110aは、露光量制御パラメータ算出部511aとしての露光時間制御パラメータ算出部5111及び絞り制御パラメータ算出部5112と、ダイナミックレンジ制御パラメータ算出部512aとを備えて構成されている。
【0245】
露光時間制御パラメータ算出部5111は、露光時間を最適化するための制御パラメータを算出するものであり、前記評価値検出部405において検出されるAE評価値と、前記光電変換特性情報記憶部516に記憶されているAE評価値取得時点における撮像センサ30aの光電変換特性情報とに基づいて、被写体輝度に応じた露光時間設定値を算出する。この露光時間設定値は、露光量設定用の所定の輝度(露光量設定用輝度)に対して所定のセンサ出力が得られる光電変換特性へと変化する露光量となるように、露光時間(撮像センサ30aの積分時間、或いはシャッタ23の開放時間)を制御するためのための設定値である。
【0246】
絞り制御パラメータ算出部5112は、絞りを最適化するための制御パラメータを算出するものであり、前記露光時間設定値と同様に、評価値検出部405にて検出されるAE評価値と、光電変換特性情報記憶部516に記憶されているAE評価値取得時点における撮像センサ30aの光電変換特性情報とに基づいて、被写体輝度に応じた絞り設定値を算出する。この絞り設定値は、露光量設定用輝度に対して所定のセンサ出力が得られる光電変換特性へと変化する露光量となるように、絞り(絞り22の開口面積)を制御するための設定値である。
【0247】
ダイナミックレンジ制御パラメータ算出部512aは、被写体輝度に応じて撮像センサ30aの光電変換特性(ダイナミックレンジ)を最適化するための制御パラメータを算出するものである。ダイナミックレンジ制御パラメータ算出部512aは、ダイナミックレンジ設定用の被写体輝度に対して撮像センサ30aが飽和出力レベルとなる光電変換特性(ダイナミックレンジ)が得られるように、光電変換特性の変曲点位置を制御するための光電変換特性設定値を算出する。この算出に際しても、光電変換特性情報記憶部516に記憶されているAE評価値取得時点における撮像センサ30aの光電変換特性情報が参照される。
【0248】
全体制御部50aの露光量制御パラメータ算出部511a及びダイナミックレンジ制御パラメータ算出部512aにより算出された露光量制御パラメータ(露光時間制御パラメータや絞り制御パラメータ)、及びダイナミックレンジ制御パラメータは、制御信号発生部520aに入力され、実際の露光量制御動作を行わせる駆動信号を生成するタイミング生成回路31aや駆動部60を動作させるための制御信号が制御信号発生部520aの各部で生成される。この制御信号発生部520aでは、特にダイナミックレンジ制御信号発生部521a及びセンサ露光時間制御信号発生部522aにおける動作が、撮像センサ30aに対するものとして第1の実施形態の場合と異なっている。
【0249】
すなわち、ダイナミックレンジ制御信号発生部521aは、ダイナミックレンジ制御パラメータ算出部512aにおいて算出された撮像センサ30aの光電変換特性設定値に応じて、線形特性領域から対数特性領域への切り替わり点である変曲点の出力レベルを調整するためのタイミング生成回路31a(撮像センサ30a)に対する駆動信号を生成し、これをタイミング生成回路31aへ送信する。上述したように撮像センサ30aの光電変換特性は当該撮像センサ30aに対する信号φRSTのHiとMidとの差分ΔRSTを制御することでその変曲点が変動することから、ダイナミックレンジ制御信号発生部521aは、この信号φRSTのΔRST(Midレベル)の大きさを制御するべくタイミング生成回路31aに対する駆動信号を制御することで、撮像センサ30aのダイナミックレンジが被写体の輝度に適するよう制御する。なお、タイミング生成回路31aは、入力された当該ΔRSTに対応する駆動信号に応じて、撮像センサ30aのダイナミックレンジを制御するタイミング信号を生成して撮像センサ30aを駆動させる。
【0250】
また、センサ露光時間制御信号発生部522aは、露光時間制御パラメータ算出部5111において算出された露光時間設定値に応じて、所要の露光時間を確保するためのタイミング生成回路31aに対する駆動信号を生成し、これをタイミング生成回路31aへ送信する。ここでの駆動信号は、上述したように撮像センサ30aに対する信号φRSTが中電位Midとなる蓄積時間ΔLを、露光時間設定値に応じて適宜な時間に設定する制御信号である。なお、タイミング生成回路31aは、上記と同様、入力されたΔLに対応する駆動信号に応じて、撮像センサ30aの露光時間を制御するタイミング信号を生成して撮像センサ30aを駆動させる。
【0251】
なお、前記絞り制御パラメータ算出部5112によって算出された絞り設定値は絞り制御信号発生部525に入力され、絞り制御信号発生部525では、この絞り設定値に基づいて、絞り22の開口面積を設定するための駆動部60に対する駆動信号を生成し、これを駆動部60へ送信する。また、シャッタ制御信号発生部523では、同様に、露光時間制御パラメータ算出部5111にて算出された露光時間設定値に基づいて、シャッタ23のシャッタスピード(シャッタ開放時間)を該露光時間に合わせて設定する制御信号を生成し、これを駆動部60へ送信する。
【0252】
次に、図27〜図29を用いて、本実施形態のAE制御における、上述の[A]絞り制御に基づく露光量制御、[B]光電変換特性制御に基づくダイナミックレンジ制御、[C]露光時間制御に基づく露光量制御について説明する。
【0253】
図27は、[A]における、「絞り制御」に基づく露光量制御を行う場合の撮像センサ30aの光電変換特性が変化する様子を示すグラフ図である。ただし、同図の横軸は、第1の実施形態における光電変換特性グラフ(例えば図18)の横軸に示す「センサ入射輝度」ではなく、「被写体輝度」となっている(図28、29も同じ)。これは、ここで扱う横軸の輝度が、被写体からの輝度光によって撮像センサが所定時間(積分時間、シャッタ開放時間)露光された結果得られる値としての所謂時間の概念を含む輝度値(センサ入力輝度)ではなく、被写体の輝度そのものの値(絶対的な輝度値)であることを示すものである。なお、縦軸は第1の実施形態と同じくセンサ出力を示している。
【0254】
図27に示すように、絞り、すなわち絞り22の開口面積が制御されることで、撮像センサ30aの光電変換特性全体が、符号Hで示す矢印方向に変化(移動)する。具体的には、第1の実施形態における図18(a)の場合と同様に、例えば、光電変換特性821の線形特性領域における所定の輝度Lt1(露光量設定用輝度)に対するセンサ出力の値(点822でのセンサ出力)が、Vtarget(点823でのセンサ出力)となる(ここでは輝度Lt1でのセンサ出力は点822から点823へ増加している)ような光電変換特性831を算出する(このとき、変曲点824は変曲点825へ平行移動され、センサ出力Vthの値は変化しない)。換言すれば、Vtargetとなるセンサ出力を得るための被写体輝度が、輝度Lt2からLt1へと変化(低下)するように光電変換特性が変化する。なお、上述したように被写体輝度を扱うことにより、露光時間に依存せず、すなわち時間(露光時間)の概念とは関係なく、絞りの開口面積を変化させて、その絶対的な輝度としての被写体輝度に対して得られるセンサ出力値を変化させることができる。これにより、図27に示すように光電変換特性全体が変化するように制御することが可能となる。
【0255】
ここで、前記露光量設定用輝度(輝度Lt1)に対するセンサ出力の値が、Vtargetとなるよう光電変換特性を変化させるために必要な絞り22の開口面積は、第1の実施形態と同様にして算出する。具体的には、例えば前記図19、21で説明した方法と同様にして増幅率Gain(=Vtarget/VtAve)を求め、この増幅率Gainから、前記図20に示すように場合分けを行うなどして増幅率Gt及び増幅率Gsを算出し(Gain=Gt*Gs)、さらにこれら増幅率Gt及び増幅率Gsから露光時間T2及び絞りの開口面積S2を算出するという方法で行う(当該演算によって得られる絞りの開口面積S2が、図27での露光量制御で用いられる絞りの開口面積に相当し、この絞り開口面積が得られるよう調整するための設定値が「絞り設定値」となる)。
【0256】
前記絞りの開口面積を求めるための演算は(絞りの開口面積を算出する過程で露光時間も自ずと算出される)、演算部510aの絞り制御パラメータ算出部5112にて行われる。なお、これに限らず、例えば絞りの開口面積を導出する途中過程での演算(例えば増幅率Gt及び増幅率Gsの算出)は、露光時間制御パラメータ算出部5111にて行い、その後、増幅率Gsからの絞りの開口面積の算出を、絞り制御パラメータ算出部5112で行うようにしてもよい。
【0257】
なお、上記演算に用いる例えば輝度Lt1といった輝度情報は、第1の実施形態と同様、分割測光部4051にて分割測光を行い主被写体輝度や周辺被写体輝度を求めるとともに、ヒストグラム算出部4052や最大/最小輝度算出部4054において輝度ヒストグラムや最大・最小輝度の情報等を求め、これらの情報を用いて算出してもよい(以下の[C]、[B]の場合も同様である)。
【0258】
図28は、前記[C]における、「露光時間制御」に基づく露光量制御を行う場合の撮像センサ30aの光電変換特性が変化する様子を示すグラフ図である。第1の実施形態では、露光時間を制御することで線形特性領域及び対数特性領域(光電変換特性全体)が変化していたが(図18(a)参照)、本実施形態では撮像センサ30aの特性上、露光時間(積分時間)が変化しようとも、被写体輝度に対して対数変換されて出力されるセンサ出力値は変化しない、つまり対数特性領域には露光時間に関する時間の概念が含まれず、したがって、露光時間を変化させることにより、対数特性領域が固定された状態で(対数特性領域の位置や傾きが変化せずに)線形特性領域の傾きが変化する。
【0259】
図28においては、露光時間が変化することで、例えば実線で示す光電変換特性841の線形特性領域における傾きK1が、2点鎖線で示す光電変換特性851の線形特性領域における傾きK2へと変化する(逆の変化もある)。線形特性領域の傾きが変化する一方で、対数特性領域は固定された状態となっているため、見かけ上、線形特性領域と対数特性領域との切り替わり点である変曲点の位置が、符号Iで示す矢印方向(対数特性領域の傾きに沿った方向)に例えば変曲点842から変曲点852に移動されるようにして、光電変換特性841から光電変換特性851へと変化する。なお、線形特性領域の傾きが変化する(見かけ上の変曲点位置が変化する)ことにより、光電変換特性における線形特性領域と対数特性領域との割合も変化する。
【0260】
具体的には、露光時間を制御することによって、例えば同じ被写体輝度(例えばLt100)に対するセンサ出力が、光電変換特性841における符号843に示すセンサ出力レベルから光電変換特性851における符号853に示すセンサ出力レベル(Vtarget)まで増加する(被写体輝度が同じでも、それが露光される時間が増加すれば、それに応じてセンサ出力が増加する)。換言すれば、Vtargetとなるセンサ出力を得るための被写体輝度が、光電変換特性841に対するLt200から光電変換特性851に対するLt100へと変化(低下)するように光電変換特性が変化する。
【0261】
ところで、露光時間の制御は、上述したように撮像センサ30aの積分時間(蓄積時間ΔL)、及び/又はシャッタ23の開放時間(シャッタ速度)の制御によって行われるが、上記輝度Lt100(露光量設定用輝度)に対するセンサ出力の値がVtargetとなるよう光電変換特性を変化させるために必要な撮像センサ30aの積分時間、或いはシャッタ23の開放時間は、上記[A]の絞りの制御による露光量制御の場合と同様にして算出する。すなわち、先ず増幅率Gain(=Vtarget/VtAve)を求め、この増幅率Gainから、増幅率Gt及び増幅率Gsを算出し(Gain=Gt*Gs)、さらにこれら増幅率Gt及び増幅率Gsから露光時間T2及び絞りの開口面積S2を算出するという方法で行う(当該演算によって得られる露光時間T2が、図28での露光量制御で用いられる露光時間に相当し、この露光時間が得られるよう調整するための設定値が「露光時間設定値」となる)。
【0262】
前記露光時間設定値を求めるための演算は(露光時間を算出する過程で絞りの開口面積も自ずと算出される)、露光時間制御パラメータ算出部5111にて行われる。なお、この場合も前記[A]と同様、露光時間を導出する途中過程での演算(増幅率Gt及び増幅率Gsの算出)は、絞り制御パラメータ算出部5112にて行い、その後、増幅率Gtからの露光時間の算出を、露光時間制御パラメータ算出部5111において行うようにしてもよい。
【0263】
このように、露光時間を制御して、対数特性領域を固定させた状態で線形特性領域を変化させるような露光量制御を行うことで、ダイナミックレンジを維持したまま、つまり図28においてセンサ出力飽和レベルVmaxに対する被写体輝度Lm100の値を変化させることなく、線形特性領域だけ変化させる制御が可能となる。
【0264】
換言すれば、当該[C]の場合の露光量制御が可能となることで、例えば全体的に露光量を調整したい場合、すなわち暗い場所で撮影された画像を全体的に明るくしたい場合には、[A]における光電変換特性全体を変化させてダイナミックレンジを広げることが可能な露光量制御を行い(図27参照)、一方、例えばダイナミックレンジはこれでよいものの、輝度が低い部分の画像の露光量調整(コントラストや明るさの調整)を行いたい場合には、[C]の露光量制御を行う、というように、露光量制御方法の選択肢(自由度)が増すことになり、ひいてはより精度の高いAE制御が行えるようになる。なお、デジタルカメラ1aは、[A]の絞り制御に基づく露光量制御を行う構成、又は[C]の露光時間制御に基づく露光量制御を行う構成の何れか一方のみを備えている、すなわち当該露光量制御を、絞り制御又は露光時間制御の何れか一方のみの制御により行う構成であってよい。
【0265】
図29は、前記[B]における、「光電変換特性制御」に基づくダイナミックレンジ制御を行う場合の撮像センサ30aの光電変換特性が変化する様子を示すグラフ図である。ここでは、光電変換特性、すなわち変曲点の出力レベル(センサ出力Vth)が制御されることでダイナミックレンジの制御が行われる。具体的には、第1の実施形態における図18(b)の場合と同様、例えばダイナミックレンジ設定用被写体輝度である輝度Lm20に対するセンサ出力が、光電変換特性861における点862でのセンサ出力(Vover)から光電変換特性871における点872でのセンサ出力(Vmax;撮像センサ30aの飽和出力レベル)まで減少するように、別の見方をすれば、センサ出力Vmaxを得ることが可能な最大輝度が、点863での輝度Lm10から点872での輝度Lm20へと大きくなるように(ダイナミックレンジが広がるように)、変曲点位置が変曲点864(Vth1)から変曲点874(Vth2)に変化される(この変曲点の変化によって、対数特性領域が符号Jで示す矢印方向(センサ出力軸方向)に傾きが一定のまま平行移動する)。
【0266】
このようにダイナミックレンジを制御するための変曲点位置の制御に関する光電変換特性設定値は、ダイナミックレンジ制御パラメータ算出部512aによって算出される。光電変換特性設定値の算出方法は、図22に示す第1の実施形態と同様である。すなわち、光電変換特性の線形特性領域及び対数特性領域をそれぞれモデル化することで、所要のダイナミックレンジを確保するべく変化(移動)した後の光電変換特性の変曲点(図29では例えば変曲点874;Vth2)を算出し、変化前の光電変換特性の変曲点(例えば変曲点864;Vth1)がこの変化後の変曲点の位置となるよう光電変換特性を変化させるための制御値として「光電変換特性設定値」が算出される。
【0267】
この算出された光電変換特性設定値に基づいて、実際に変曲点の出力レベル(Vth)を変化させるための制御信号、つまり上述したΔRST(信号φRSTのMid電位のレベル)を制御するための信号がダイナミックレンジ制御信号発生部521aにより発生される。そして、このΔRSTが制御されることにより、撮像センサ30aの光電変換特性における変曲点での出力レベルが制御される。図29においては、光電変換特性861に対する或るΔRSTによる変曲点864の出力レベルがセンサ出力865である場合、例えばこのΔRSTを減少させると、センサ出力865からセンサ出力875へと出力レベルが小さくなり、これに応じて変曲点位置も光電変換特性871の変曲点874へと移動する(ΔRSTを増加させる場合は逆に変曲点874から変曲点864へと変化する)。このように、[B]の場合のダイナミックレンジ制御における光電変換特性の制御は、ΔRSTの制御によって実現される。
【0268】
なお、第2の実施形態においても同様に、光電変換特性設定値に基づく光電変換特性(変曲点位置)の制御は、飽和判別部4055(図14参照)によって撮像センサ30の出力レベルが飽和していないと判別された場合に行われ、該出力レベルが飽和していると判別された場合には、飽和画素数に応じてΔVth分だけ変曲点での出力レベルを低下させるように(図23(a)参照)、すなわち撮像センサ30aによって、より高輝度側での撮影を可能とするべくダイナミックレンジを広げるように光電変換特性を変化させてもよい。
【0269】
以上のように、本発明の第1の実施形態における撮像装置(デジタルカメラ1)によれば、被写体の輝度情報に基づいて、被写体を撮像するに際しての露出の制御に関するAE評価値が評価値検出部405によって検出される。そして、このAE評価値を用いて、撮像センサ30の光電変換特性に基づいて露光量制御パラメータ算出部511(露光量制御手段)によって露光量の制御が行われると共に、このAE評価値を用いて、撮像センサ30の光電変換特性に基づいてダイナミックレンジ制御パラメータ算出部512(ダイナミックレンジ制御手段)によってダイナミックレンジの制御が行われる。このように、デジタルカメラ1が備える撮像センサ30の光電変換特性と関連付けて、露光量制御パラメータ算出部511(露光量制御手段)による露光量制御と、ダイナミックレンジ制御パラメータ算出部512(ダイナミックレンジ制御手段)によるダイナミックレンジ制御とを行うことによってデジタルカメラ1の露出制御を行うことができるため、被写体輝度に応じて、被写体を最適な露光状態で、且つ所定のダイナミックレンジを確保した状態で撮像することができる。
【0270】
また、露光量制御パラメータ算出部511(露光量制御手段/露光量設定値算出手段)により、線形特性領域において、露光量設定用の被写体輝度(Lt1)に対する撮像センサ30のセンサ出力が、所定の目標出力レベル(Vtarget)となるような(このような光電変換特性が得られる)露光量設定値を用いて露光量の制御が行われるため、低輝度の被写体でも高コントラストな画像信号が得られる線形特性領域での撮像における所望の露光量を確保することができる。
【0271】
また、露光量制御パラメータ算出部511(露光量制御手段)による露光量の制御が、露光時間設定値に基づく制御、すなわち撮像センサ30に対する露光時間(撮像センサ30の電荷蓄積に関する積分時間或いはシャッタ23の開放時間)、及び/又は絞り設定値に基づく制御、すなわち絞り22に対する絞り開口面積の制御によってなされるため、特に露光量制御用の装置を新規に設けることなく、既設の撮像センサ30及び絞り22等を利用して露光量を制御できるだけでなく、当該複数の制御手段(撮像センサ30及び絞り22の制御)を用いて、より精度の高い且つ自由度の高い露光量制御を行うことが可能となる。
【0272】
また、ダイナミックレンジ制御パラメータ算出部512(ダイナミックレンジ制御手段/ダイナミックレンジ設定値算出手段)により、ダイナミックレンジ設定用の被写体輝度に対する撮像センサ30のセンサ出力が、所定の飽和出力レベル(Vmax)となるような(このような光電変換特性が得られる)ダイナミックレンジ設定値を用いてダイナミックレンジの制御が行われるため、例えばダイナミックレンジ設定用の被写体輝度を被写体の最大輝度として当該被写体最大輝度(Lm20)が飽和出力レベル(Vmax)となるように、すなわち被写体輝度(被写体輝度の範囲)に対するセンサ出力が、撮像センサ30の出力レベル範囲に入るように制御することができ、撮像に対する所望のダイナミックレンジ(被写体輝度の範囲)を確保することができる。
【0273】
また、ダイナミックレンジ制御パラメータ算出部512(ダイナミックレンジ制御手段)によるダイナミックレンジの制御が、ダイナミックレンジ設定値算出手段(ダイナミックレンジ制御パラメータ算出部512)により算出された光電変換特性の調整に関する光電変換特性設定値を用いた光電変換特性の変曲点位置の制御、すなわち変曲点位置(Vth)を変化(光電変換特性の状態を変化)させることによる光電変換特性自体の制御によってなされるため、特にダイナミックレンジ制御用の装置を新規に設けることなく、既設の撮像センサ30(撮像センサ30の光電変換特性を変化させる手段)を利用してダイナミックレンジ制御を行うことができると共に、変曲点位置のみの制御に基づいて光電変換特性の制御が行うことができ、より簡易な方法でのダイナミックレンジ制御が可能となる。
【0274】
また、露光量制御パラメータ算出部511(露光量設定値算出手段)により、線形特性領域を代表する被写体輝度(LtLin)に対する出力レベル(VtLin)及び/又は対数特性領域を代表する被写体輝度(LtLog)に対する出力レベル(VtLogLin)から、これらの平均出力レベル(VtAve)、すなわち光電変換特性を代表する出力レベルが算出され、この平均出力レベル(VtAve)が目標出力レベル(Vtarget)となる(このような光電変換特性が得られる)露光量が得られるような露光時間(露光時間設定値)及び絞り22の開口面積(絞り設定値)が算出されるため、平均出力レベルを用いた、或いはこの平均出力レベルを目標出力レベルにするといった簡易な演算によって露光時間設定値及び絞り設定値を求めることができる。
【0275】
また、露光量制御パラメータ算出部511(露光量設定値算出手段)により、目標出力レベルに対する平均出力レベルの第1の増幅率(Gain)が算出され、この第1の増幅率から、露光時間の第2の増幅率Gt及び絞り開口面積の第3の増幅率Gsが決定され、さらに当該第2及び第3の増幅率Gt、Gsから露光時間設定値及び絞り設定値が算出されるため、第1の増幅率Gainが得られるような第2及び第3の増幅率Gt、Gsを任意に(第1の増幅率Gainに対する第2及び第3の増幅率Gt、Gsそれぞれの比率を任意に)、すなわち所要の露光量が得られるような露光時間設定値及び絞り設定値を任意に、且つ簡易な演算によって求めることができる。
【0276】
また、露光量制御パラメータ算出部511(露光量設定値算出手段)により、第1の増幅率Gainから第2及び第3の増幅率Gt、Gsを決定する際に、第2の増幅率及び第3の増幅率Gt、Gsのいずれかが優先されて決定されるため、露光量の制御を、露光時間の制御及び絞りの制御のいずれかを優先させて行うことができ、すなわち、必ずしも露光時間制御と絞り制御とによる露光量制御を行わずともよく、一方の制御に依存させてより簡易に露光量制御を行わせることが可能となる。
【0277】
また、露光量制御パラメータ算出部511(露光量設定値算出手段)は、LUT記憶部518に記憶されている変換情報(LUT)を用いてデータ変換を行うことにより、対数特性領域における被写体輝度に対する出力レベル(VtLog)の値が線形特性領域における出力レベル(VtLogLin)の値に換算するため、すなわち各被写体輝度に対する出力レベルのデータを、一旦線形特性領域でのデータに統一して扱うことができるため、当該各データを用いた演算を容易に且つ確実に行えるようになり、ひいては演算速度(処理速度)が向上し、迅速な露光量制御(露出制御)を行うことができる。
【0278】
また、ダイナミックレンジ制御パラメータ算出部512(ダイナミックレンジ設定値算出手段)により、光電変換特性設定値が、ダイナミックレンジ設定用の被写体輝度として設定された被写体最大輝度に対する出力レベルの変化量の算出に基づいて算出されるため、より簡易な方法によって当該光電変換特性設定値を求めることができる。
【0279】
また、評価値検出部405(分割測光部4051)により、所謂分割測光方式によって被写体の撮影画像(撮像領域330)が主被写体領域331と周辺被写体領域332とに区画されて当該撮影画像の輝度が検出され、当該各主被写体領域331及び周辺被写体領域332に対する主被写体輝度及び周辺被写体輝度に基づいてAE評価値の検出が行われるため、露出制御を行う際に、常に撮影画像(撮像領域330)全体の輝度情報を用いるのではなく、露出制御における各制御(露光量制御又はダイナミックレンジ制御)に対応して最適なAE評価値(輝度情報)が用いられるように、当該AE評価値(輝度情報)を得る領域(ここでは主被写体領域331又は周辺被写体領域332)を選択することが可能となる。
【0280】
また、評価値検出部405により、AE評価値が、ヒストグラム算出部4052による輝度ヒストグラム(主被写体輝度ヒストグラム及び周辺被写体輝度ヒストグラム)に基づいて検出されるため、各領域における被写体輝度から容易に且つ確実に所要のAE評価値の検出を行うことができる。
【0281】
また、ヒストグラム算出部4052により、輝度ヒストグラムにおける所定の閾値(D1、D2)より小さい度数の輝度データを用いない、すなわち所定の閾値による輝度データの所謂「足切り」が行われるため、撮像におけるノイズ等による輝度の誤差を低減することができる。
【0282】
また、被写体輝度LtLin及び被写体輝度LtLogが主被写体領域331での輝度(主被写体輝度)から得られるため、主被写体領域331での被写体の輝度を露光量の制御に反映させることができる。また、被写体輝度LtLinとして線形特性領域での主被写体輝度の平均値を、被写体輝度LtLogとして対数特性領域での主被写体輝度の平均値を用いるため、当該被写体輝度LtLin及びLtLog(主被写体平均輝度)を、それぞれ線形特性領域及び対数特性領域における被写体輝度を反映(代表)するものとして容易に設定(算出)することができる。
【0283】
また、第1の増幅率Gainが主被写体領域331での輝度(主被写体輝度)から得られるため、主被写体領域331での被写体の輝度を露光量の制御に反映させることができる。また、第1の増幅率Gainが主被写体最大輝度及び主被写体最小輝度に基づいて算出されるため、第1の増幅率Gain、すなわち目標出力レベル(Vtarget)に対する平均出力レベル(VtAve)の増幅率Gain、を得るための露光量の制御に用いられる被写体輝度を、上記最大値或いは最小値として容易に設定(算出)することができる。
【0284】
また、主被写体平均輝度、並びに主被写体最大輝度及び主被写体最小輝度が、RGBの3原色の輝度データから算出されるため、当該算出された各輝度に基づいてより精度の高い露光量制御(露出制御)を行うことができる。
【0285】
また、RGBの各色の輝度データが対数特性領域における輝度データである場合には、LUT記憶部518に記憶された変換情報(LUT)を用いたデータ変換を行うことにより、各色の輝度データに対する出力レベルのデータを、一旦線形特性領域でのデータに統一して扱うことができるため、当該各輝度データを用いた演算を容易に且つ確実に行えるようになり、ひいては演算速度が向上し、迅速な露光量制御(露出制御)を行うことができる。
【0286】
また、ダイナミックレンジ設定用の被写体最大輝度(Lm20)として、主被写体平均輝度及び周辺被写体平均輝度のうちの大きな方の輝度が採用されるため、撮影画像における被写体の最大輝度を反映(代表)するダイナミックレンジ設定用の被写体最大輝度を、容易に設定(算出)することができる。
【0287】
また、ダイナミックレンジ設定用の被写体輝度として設定した被写体最大輝度(Lm20)は、主被写体最大輝度及び周辺被写体最大輝度のうちの大きな方の輝度が採用されるため、撮影画像における被写体の最大輝度を反映(代表)するダイナミックレンジ設定用の被写体最大輝度を、容易に設定(算出)することができる。
【0288】
また、ヒストグラム算出部4052により算出された全領域輝度ヒストグラムに基づいて、撮像センサ30の出力レベルが飽和出力レベルに達しているか否かが飽和判別部4055によって判別されるため、当該飽和出力レベルに達しているか否かの判別が容易に行えると共に、この飽和出力レベルの判別を利用して露出を最適に制御する、例えば撮像センサ30に対する入射光量が多くなって撮像センサ30が飽和出力レベルに達した場合等に、ダイナミックレンジを広げるように光電変換特性を制御する、といったことが可能となる。
【0289】
また、飽和判別部4055により、被写体輝度(Dth)及び度数が所定の閾値(Pmaxth)以上となる飽和輝度データ数が所定数以上となったか否かの判別によって、撮像センサが飽和出力レベルに達したか否かが判別されるため、当該撮像センサ30が飽和出力レベルに達したか否かの判別を容易に行うことができる。
【0290】
また、ダイナミックレンジ制御パラメータ算出部512(ダイナミックレンジ制御手段)により、撮像センサ30が飽和出力レベルに達した場合に、飽和輝度データ数に比例して光電変換特性の変曲点に対する出力レベルが下げられるため、撮像センサ30の出力レベルの飽和の度合いに応じた(飽和輝度データ数に応じた)ダイナミックレンジの制御(ダイナミックレンジを広げる制御)を自動的に行うことができる。
【0291】
さらに第1の実施形態における撮像方法によれば、被写体の輝度情報に基づいて評価値検出部405によりAE評価値が検出される。そして、このAE評価値を用いて、光電変換特性に基づき露光量制御パラメータ算出部511(露光量制御手段)により露光量の制御が行われると共に、このAE評価値を用いて、光電変換特性に基づきダイナミックレンジ制御パラメータ算出部512(ダイナミックレンジ制御手段)によりダイナミックレンジの制御が行われる。このように、デジタルカメラ1が備える撮像センサ30の光電変換特性と関連付けて、露光量制御パラメータ算出部511(露光量制御手段)による露光量制御とダイナミックレンジ制御パラメータ算出部512(ダイナミックレンジ制御手段)によるダイナミックレンジ制御とを行うことによって当該デジタルカメラ1の露出制御を行うことができるため、被写体輝度に応じて、被写体を最適な露光状態で、しかも所定のダイナミックレンジを確保した状態で撮像することができる。
【0292】
また、本発明の第2の実施形態における撮像装置(デジタルカメラ1a)によれば、撮像センサ30aが対数特性領域での光電変換を露光時間に依存せず実行することが可能に構成され、露光量制御パラメータ算出部511a(露光量制御手段)が備える絞り制御パラメータ算出部5112(絞り制御手段)による絞り開口面積の調整に関する絞り設定値、及び/又は露光量制御パラメータ算出部511aが備える露光時間制御パラメータ算出部5111(露光時間制御手段)による露光時間の調整に関する露光時間設定値に基づいて露光量が制御され、全体制御部50a(露出制御手段)によって、それぞれ独立にAE制御が可能、すなわち絞り制御及び/又は露光時間制御、並びにダイナミックレンジ制御それぞれに応じて光電変換特性を変化させて各設定値(制御パラメータ)を得ることが可能、に構成された絞り制御パラメータ算出部5112及び/又は露光時間制御パラメータ算出部5111、並びにダイナミックレンジ制御パラメータ算出部512a(ダイナミックレンジ制御手段)によるAE制御が行われる。このように、撮像センサ30aの(対数特性領域での光電変換が露光時間(撮像センサ30aの積分時間、或いはシャッタ開放時間)に依存せず実行されるという)光電変換特性と関連付けて、AE制御が、絞り制御及び/又は露光時間制御、並びにダイナミックレンジ制御の互いに独立した複数種類(2種類又は3種類)の制御を用いて実行されることで、より自由度の高い、またこれら各制御の組み合わせに応じて効率の良いAE制御を行うことが可能となる。
【0293】
また、絞り制御パラメータ算出部5112による絞りの制御に応じて、線形特性領域及び対数特性領域からなる光電変換特性全体を変化させて露光量制御が行われるため、光電変換特性における線形特性領域を変化させて該線形特性領域での露光量調整を行いつつ、対数特性領域を変化させてダイナミックレンジの調整(対数特性領域での露光量調整)も同時に行うことができ、暗い画像に対する露光量を全体的に増加させる(全体的に明るくする)といったAE制御を効率良く行うことが可能となる。
【0294】
また、絞り制御パラメータ算出部5112(絞り制御手段)によって、露光量設定用の被写体輝度(Lt1;図27参照)に対する撮像センサ30aの出力が線形特性領域において所定の目標出力レベル(Vtarget)となる光電変換特性が算出されると共に、当該算出された光電変換特性に対応する絞り設定値が、絞り制御パラメータ算出部5112が備える絞り設定値算出手段により算出され、当該算出された絞り設定値に基づいて絞りの制御が行われため、或る被写体輝度に対して所定の目標出力レベルが得られる光電変換特性から絞り設定値を求めるという簡易な演算に基づいて当該絞り制御による露光量制御を実現することができる。
【0295】
また、露光時間制御パラメータ算出部5111による露光時間の制御に応じて、光電変換特性における対数特性領域が固定された状態で線形特性領域が変化されて露光量制御が行われるため、対数特性領域を固定してダイナミックレンジを変化させることなく(所定のダイナミックレンジを維持した状態で)線形特性領域を変化させて該線形特性領域での露光量調整のみを実行することができ、画像の全体的な明るさは維持したまま低輝度部分だけ明るくするといったAE制御を行うことが可能となる。
【0296】
また、露光時間制御パラメータ算出部5111(露光時間制御手段)によって、露光量設定用の被写体輝度(Lt100;図28参照)に対する撮像センサ30aの出力が線形特性領域において所定の目標出力レベル(Vtarget)となる光電変換特性が算出されると共に、当該算出された光電変換特性に対応する露光時間設定値が、露光時間制御パラメータ算出部5111が備える露光時間設定値算出手段により算出され、当該算出された露光時間設定値に基づいて露光時間の制御が行われるため、或る被写体輝度に対して所定の目標出力レベルが得られる光電変換特性から露光時間設定値を求めるという簡易な演算に基づいて当該露光時間制御による露光量制御を実現することができる。
【0297】
また、露光時間制御パラメータ算出部5111(露光時間制御手段)によって、撮像センサ30aの積分時間(電荷の蓄積時間)及び/又はシャッタ23のシャッタ開放時間の制御に基づいて露光時間の制御が行われるため、当該積分時間及び/又はシャッタ開放時間の制御を用いた自由度の高い露光時間制御が可能となる。
【0298】
また、ダイナミックレンジ制御パラメータ算出部512a(ダイナミックレンジ制御手段)によって、ダイナミックレンジ設定用の被写体輝度に対する撮像センサ30aの出力が所定の飽和出力レベル(Vmax)となる光電変換特性が算出されると共に、当該算出された光電変換特性に対応するダイナミックレンジ設定値が、ダイナミックレンジ制御パラメータ算出部512aが備えるダイナミックレンジ設定値算出手段により算出され、当該算出されたダイナミックレンジ設定値に基づいてダイナミックレンジの制御が行われるため、或る被写体輝度に対して所定の飽和出力レベルが得られる光電変換特性からダイナミックレンジ設定値を求めるという簡易な演算に基づいてダイナミックレンジ制御を実現することができる。
【0299】
また、ダイナミックレンジ制御パラメータ算出部512a(ダイナミックレンジ制御手段)によって、光電変換特性設定値に基づく光電変換特性の変曲点位置の制御によりダイナミックレンジが制御されるため、より簡易な方法でのダイナミックレンジ制御が可能となる。
【0300】
また、撮像センサ30aにフローティングディフュージョン(FD)とリセットバイアス印加用のトランジスタ(トランジスタT11)とが備えられ、該トランジスタのゲート電圧が中電位(Mid;図26(a)参照)に設定されることで線形特性領域及び対数特性領域からなる光電変換特性を有する信号が出力されるため、簡易な構成による撮像センサ30aを用いて、線形特性領域及び対数特性領域を有する光電変換特性を得ることが可能となると共に、AE制御に関してそれぞれ独立した制御である(各制御別に異なる光電変換特性の変化が得られる)絞り制御及び/又は露光時間制御、並びにダイナミックレンジ制御によるAE制御を実現することが可能となる。
【0301】
さらに、第2の実施形態における撮像方法によれば、撮像センサ30aが対数特性領域での光電変換を露光時間に依存せず実行することが可能に構成され、露光量制御パラメータ算出部511a(露光量制御手段)が備える絞り制御パラメータ算出部5112(絞り制御手段)による絞り開口面積の調整に関する絞り設定値、及び/又は露光量制御パラメータ算出部511aが備える露光時間制御パラメータ算出部5111による露光時間の調整に関する露光時間設定値に基づいて露光量が制御され、全体制御部50a(露出制御手段)によって、それぞれ独立にAE制御が可能とされた絞り制御手段及び/又は露光時間制御手段、並びにダイナミックレンジ制御手段によるAE制御が行われる。このように、撮像センサ30aの(対数特性領域での光電変換が露光時間に依存せず実行されるという)光電変換特性と関連付けて、AE制御が、絞り制御及び/又は露光時間制御、並びにダイナミックレンジ制御の互いに独立した複数種類の制御を用いて実行されることで、より自由度の高い、またこれら各制御の組み合わせに応じて効率の良いAE制御を行うことが可能となる。なお、本発明は、以下の態様をとることができる。
【0302】
(A)上記第1の実施形態では、撮像センサ30の各画素において、PチャンネルMOSFETを採用しているが、NチャンネルMOSFETを採用してもよい。また、上記第2の実施形態では、撮像センサ30aの各画素において、NチャンネルMOSFETを採用しているが、PチャンネルMOSFETを採用してもよい。
【0303】
(B)上記第1及び第2の実施形態について、これら各場合と同様に動作する(第1の実施形態では、例えば露光量制御としての絞り制御及び露光時間制御に応じて光電変換特性全体が変化する。第2の実施形態では、例えば絞り制御により光電変換特性全体が変化するものの、露光時間制御については、線形特性領域では積分効果があり該特性が露光時間に応じて変化するが、対数特性領域では積分効果がなく露光時間に依らず該特性が固定される。ただし、各実施形態も変曲点位置の制御に基づくダイナミックレンジ制御が行われる)撮像センサであれば、いずれの撮像センサであってもよい。
【0304】
(C)上記第1(第2)の実施形態では、撮像センサ30(撮像センサ30a)によって被写体輝度を検出しているが、撮像センサ30(撮像センサ30a)とは別に設けた測光素子(被写体の輝度を複数の受光素子にて分割して測光する素子)等を用いて被写体輝度(AE評価値)を検出するようにしてもよい。ただし、機構の簡略化の観点からは撮像センサ30(撮像センサ30a)により撮像される実際の撮影画像から得られる画像信号に基づいて被写体輝度(AE評価値)を検出することが望ましい。
【0305】
(D)上記第1(第2)の実施形態では、シャッタ23及び撮像センサ30(撮像センサ30a)の構成を備えて露光時間を制御する構成であるが、シャッタ23及び撮像センサ30(撮像センサ30a)のいずれか一方のみの構成を備えて露光時間を制御する構成としてもよい。
【0306】
(E)上記第1の実施形態では、露光時間T2及び絞りの開口面積S2をLUTによるデータ変換することにより得られた撮像センサ30やシャッタ23、絞り22に対する設定値を、それぞれ露光時間設定値及び絞り設定値としているが、増幅率Gt、Gs(又は露光時間T2、絞りの開口面積S2)を、それぞれ露光時間設定値及び絞り設定値としてもよい。同様に、変曲点の出力レベルVth2(又はΔVth)を光電変換特性設定値としてもよい。第2の実施形態の場合もこれと同様、増幅率Gt、Gsを、それぞれ露光時間設定値及び絞り設定値としてもよいし、変曲点の出力レベルを光電変換特性設定値としてもよい。
【0307】
(F)上記第1及び第2の実施形態では、評価値算出用の画像データとしてRGB原色データを用いているが、その他の画像データ、例えば補色画像データ、モノクロ輝度データ等を用いてもよい。
【0308】
(G)撮像領域330の分割(領域分割)は、分割測光方式による分割でなくともよく、例えばスポット測光方式或いは中央部部分測光方式等、いずれの方式によってもよい。また、撮像領域330の主被写体領域331及び周辺被写体領域332のブロック構成は、図15に示すような構成でなくともよい。また、当該ブロック毎に評価値を算出しているが、主被写体領域331と周辺被写体領域332との2つの領域(2ブロック;各領域を1ブロックとする)における評価値を算出する構成であってもよい。また、撮像領域330を主被写体領域331及び周辺被写体領域332といった2つの領域に分けるのではなく、3つ以上の領域に分け、当該各領域(のブロック)での輝度情報から評価値を算出し、これに基づくAE制御を行う構成としてもよい。或いは撮像領域を分けずに当該1つの撮像領域に対して同様に評価値を算出してAE制御を行う構成としてもよい、さらに、撮像領域330の上述のような各領域(ブロック)の領域設定を、ユーザの操作指示に応じて随時行う構成であってもよい。
【図面の簡単な説明】
【0309】
【図1】第1の実施形態にかかる撮像装置が好適に適用される小型のデジタルカメラの外観を示す図であり、(a)はその上面図、(b)は正面図、(c)は背面図である。
【図2】上記デジタルカメラにおける撮像処理ブロック図である。
【図3】上記デジタルカメラに用いられる撮像センサのカラーフィルタ構造の一例を示す模式図である。
【図4】上記デジタルカメラが備える全体制御部の機能を説明するための機能ブロック図である。
【図5】上記デジタルカメラの全体的な動作の一例を示すフローチャートである。
【図6】露出制御に関する用語の定義を説明するための表形式の図である。
【図7】撮像センサの一例である、二次元のMOS型固体撮像装置の概略構成図である。
【図8】図7に示す各画素G11〜Gmnの構成例を示す回路図である。
【図9】撮像センサの撮像動作に関するタイミングチャートの一例を示す図である。
【図10】撮像センサの光電変換特性の一例を示す図である。
【図11】上記光電変換特性の変化動作を説明するためのグラフ図である。
【図12】撮像センサが実際に撮像した静止画像から、被写体のAE評価値等を検出する場合の動作例を示すフローチャートである。
【図13】撮像センサが継続的に撮像している動画像から、被写体のAE評価値等を検出する場合の動作例を示すフローチャートである。
【図14】評価値検出部の機能を説明するための機能ブロック図である。
【図15】撮像センサによる分割測光に際しての撮像領域(測光範囲)の分割の状態を示す模式図である。
【図16】上記分割測光による輝度ヒストグラムの一例を示すグラフ図であり、(a)は主被写体全体輝度ヒストグラムを、(b)は周辺被写体全体ヒストグラムをそれぞれ示す図である。
【図17】撮像センサの出力飽和時における全領域ヒストグラムの一例を示すグラフ図である。
【図18】AE制御を行う場合において、撮像センサの光電変換特性が変化する様子を示すグラフ図であり、(a)は、露光量制御を行う場合の変化を示し、(b)は、ダイナミックレンジ制御を行う場合の変化を示す図である。
【図19】露光量制御パラメータ算出に際しての線形変換プロセスを説明するためのグラフ図である。
【図20】露光量制御パラメータ算出のフローの一例を示すフローチャートである。
【図21】露光量制御パラメータ算出に際してのプロセスを説明するためのグラフ図である。
【図22】ダイナミックレンジ制御パラメータ算出に際しての、光電変換特性における変曲点の位置の算出方法について説明するグラフ図であり、(a)は、輝度Lmaxに対して所定のセンサ出力となるように光電変換特性を変化させた場合の図であり、(b)は、光電変換特性をモデル化した場合の図である。
【図23】ダイナミックレンジ制御パラメータ算出に際してのプロセスを説明するためのグラフ図である。
【図24】第2の実施形態にかかるデジタルカメラが備える全体制御部の機能を説明するための機能ブロック図である。
【図25】図24に示すデジタルカメラの撮像センサにおける各画素の構成例を示す回路図である。
【図26】図25に示す撮像センサにおける各画素の撮像動作に関するタイミングチャートの一例であり、(a)は、全画素における垂直ブランク期間中の電荷蓄積(露光)動作に関するタイミングチャートであり、(b)は、水平ブランク期間中における、電荷蓄積終了後の垂直走査による各行の画素の電荷掃き出し動作に関するタイミングチャートである。
【図27】[A]における、「絞り制御」に基づく露光量制御を行う場合の撮像センサの光電変換特性が変化する様子を示すグラフ図である。
【図28】[C]における、「露光時間制御」に基づく露光量制御を行う場合の撮像センサの光電変換特性が変化する様子を示すグラフ図である。
【図29】[B]における、「光電変換特性制御」に基づくダイナミックレンジ制御を行う場合の撮像センサの光電変換特性が変化する様子を示すグラフ図である。
【符号の説明】
【0310】
1、1a デジタルカメラ(撮像装置)
100 操作部
20 鏡胴
21 レンズ群
22 絞り(絞り装置)
23 シャッタ(シャッタ装置)
30、30a 撮像センサ
31、31a タイミング生成回路
40 信号処理部
405 評価値検出部(露出評価値検出手段)
4051 分割測光部(分割測光手段)
4052 ヒストグラム算出部(ヒストグラム算出手段)
4055 飽和判別部(飽和判別手段)
50、50a 全体制御部(露出制御手段)
510、510a 演算部
511、511a 露光量制御パラメータ算出部(露光量制御手段/露光量設定値算出手段)
5110、5110a AE制御パラメータ算出部
5111 露光時間制御パラメータ算出部(露光時間制御手段/露光時間設定値算出手段)
5112 絞り制御パラメータ算出部(絞り制御手段/絞り設定値算出手段)
512、512a ダイナミックレンジ制御パラメータ算出部(ダイナミックレンジ制御手段/ダイナミックレンジ設定値算出手段)
516 光電変換特性情報記憶部
518 LUT記憶部(変換情報記憶手段)
520、520a 制御信号発生部
521、521a ダイナミックレンジ制御信号発生部
522、522a センサ露光時間制御信号発生部
523 シャッタ制御信号発生部
525 絞り制御信号発生部
60 駆動部
320 光電変換特性
330 撮像領域
331 主被写体領域
332 周辺被写体領域
FD フローティングディフュージョン
T11 トランジスタ(請求項32記載のトランジスタ)
PD1 フォトダイオード

【特許請求の範囲】
【請求項1】
入射光量に応じた電気信号を発生すると共に、前記入射光量に対して電気信号が線形的に変換されて出力される線形特性領域と、前記入射光量に対して電気信号が対数的に変換されて出力される対数特性領域とからなる光電変換特性を有する撮像センサと、
被写体の輝度情報に基づいて、被写体を撮像するに際しての露出の制御に関する露出評価値を検出する露出評価値検出手段と、
前記露出評価値検出手段によって検出された露出評価値に基づいて露出制御する露出制御手段とを備え、
前記露出制御手段は、
前記露出評価値を用いて、所要の露光量を確保するべく前記光電変換特性に基づき露光量を制御する露光量制御手段と、
前記露出評価値を用いて、所要のダイナミックレンジを確保するべく前記光電変換特性に基づきダイナミックレンジを制御するダイナミックレンジ制御手段とを備えることを特徴とする撮像装置。
【請求項2】
前記露光量制御手段は、
露光量設定用の被写体輝度に対する撮像センサの出力が前記線形特性領域において所定の目標出力レベルとなる光電変換特性を算出すると共に、当該算出した光電変換特性に対応する露光量設定値を算出する露光量設定値算出手段を備え、
前記露光量設定値算出手段により算出した露光量設定値に基づいて露光量を制御することを特徴とする請求項1記載の撮像装置。
【請求項3】
絞り装置をさらに備え、
前記露光量設定値は、撮像センサに対する露光時間の調整に関する露光時間設定値及び/又は前記絞り装置に対する絞り開口面積の調整に関する絞り設定値であって、
前記露光量制御手段は、露光量設定値算出手段により算出された露光時間設定値に基づく撮像センサの露光時間の制御及び/又は露光量設定値算出手段により算出された絞り設定値に基づく絞り装置の絞り開口面積の制御を行うことを特徴とする請求項2記載の撮像装置。
【請求項4】
前記ダイナミックレンジ制御手段は、
ダイナミックレンジ設定用の被写体輝度に対する撮像センサの出力が所定の飽和出力レベルとなる光電変換特性を算出すると共に、当該算出した光電変換特性に対応するダイナミックレンジ設定値を算出するダイナミックレンジ設定値算出手段を備え、
前記ダイナミックレンジ設定値算出手段により算出したダイナミックレンジ設定値に基づいてダイナミックレンジを制御することを特徴とする請求項1記載の撮像装置。
【請求項5】
前記ダイナミックレンジ設定値は、撮像センサに対する光電変換特性の調整に関する光電変換特性設定値であって、
前記ダイナミックレンジ制御手段は、ダイナミックレンジ設定値算出手段により算出された光電変換特性設定値に基づいて、光電変換特性の変曲点位置を制御することを特徴とする請求項4記載の撮像装置。
【請求項6】
前記露光量設定値算出手段は、線形特性領域における第1の被写体輝度に対する出力レベル及び/又は対数特性領域における第2の被写体輝度に対する出力レベルから、前記露光量設定用の被写体輝度に対する出力レベルとしての平均出力レベルを算出すると共に、該平均出力レベルが前記目標出力レベルとなるよう、前記露光時間設定値及び絞り設定値を算出することを特徴とする請求項3記載の撮像装置。
【請求項7】
前記露光量設定値算出手段は、前記目標出力レベルに対する前記平均出力レベルの第1の増幅率を算出し、該第1の増幅率から、露出制御前の露光時間に対する露出制御後の露光時間の第2の増幅率と、露出制御前の絞り開口面積に対する露出制御後の絞り開口面積の第3の増幅率とを決定すると共に、該第2及び第3の増幅率からそれぞれ露出制御後の露光時間に対応する前記露光時間設定値、及び露出制御後の絞り開口面積に対応する前記絞り設定値を算出することを特徴とする請求項6記載の撮像装置。
【請求項8】
前記露光量設定値算出手段は、前記第2の増幅率による露光量の制御及び前記第3の増幅率による露光量の制御のいずれかを優先させるよう、第1の増幅率から第2及び第3の増幅率を決定することを特徴とする請求項7記載の撮像装置。
【請求項9】
所定のデータ変換を行うための変換情報を記憶する変換情報記憶手段をさらに備え、
前記露光量設定値算出手段は、前記変換情報記憶手段に記憶された変換情報を用いたデータ変換に基づいて、対数特性領域における前記第2の被写体輝度の出力レベルを、該対数特性領域に対応する線形特性領域における出力レベルに換算することを特徴とする請求項6〜8のいずれかに記載の撮像装置。
【請求項10】
前記ダイナミックレンジ設定値算出手段は、ダイナミックレンジ設定用の被写体輝度として設定した被写体最大輝度に対する出力レベルの変化量を算出し、前記光電変換特性設定値を算出することを特徴とする請求項5記載の撮像装置。
【請求項11】
前記露出評価値検出手段は、
前記被写体の撮影画像を、少なくとも主被写体領域と該主被写体領域の周辺に位置する周辺被写体領域とに区画して該撮影画像の輝度の検出を行う分割測光手段を備え、
前記分割測光手段による輝度の検出によって得られる主被写体領域及び周辺被写体領域それぞれに対する主被写体輝度及び周辺被写体輝度に基づいて、前記露出評価値を検出することを特徴とする請求項1〜10のいずれかに記載の撮像装置。
【請求項12】
前記露出評価値検出手段は、主被写体領域に対する主被写体輝度ヒストグラム及び周辺被写体領域に対する周辺被写体輝度ヒストグラムを算出するヒストグラム算出手段をさらに備え、
該主被写体輝度ヒストグラム及び周辺被写体輝度ヒストグラムに基づいて、前記露出評価値を検出することを特徴とする請求項11記載の撮像装置。
【請求項13】
前記ヒストグラム算出手段は、前記主被写体輝度ヒストグラム及び周辺被写体輝度ヒストグラムにおける所定の閾値より小さい度数の輝度データを、前記露出評価値の算出に用いないことを特徴とする請求項12記載の撮像装置。
【請求項14】
前記第1の被写体輝度及び第2の被写体輝度は、それぞれ撮像センサによる線形特性領域及び対数特性領域において検出された主被写体輝度を平均してなる主被写体平均輝度であることを特徴とする請求項11〜13のいずれかに記載の撮像装置。
【請求項15】
前記第1の増幅率は、前記主被写体輝度の最大値である主被写体最大輝度及び主被写体輝度の最小値である主被写体最小輝度に基づいて算出されることを特徴とする請求項11〜13のいずれかに記載の撮像装置。
【請求項16】
前記主被写体平均輝度、並びに主被写体最大輝度及び主被写体最小輝度は、それぞれレッド、グリーン及びブルーの各色の輝度データを用いた色空間変換に基づいて算出されることを特徴とする請求項14又は15記載の撮像装置。
【請求項17】
前記各色の輝度データが対数特性領域における輝度データである場合には、前記変換情報記憶手段に記憶された変換情報に基づいて、当該対数特性領域における各色の輝度データを線形特性領域における輝度データに換算することを特徴とする請求項16記載の撮像装置。
【請求項18】
前記ダイナミックレンジ設定用の被写体輝度として設定した被写体最大輝度は、対数特性領域において検出された主被写体輝度及び周辺被写体輝度をそれぞれ平均してなる主被写体平均輝度及び周辺被写体平均輝度のうちの大きな方の輝度であることを特徴とする請求項11記載の撮像装置。
【請求項19】
前記ダイナミックレンジ設定用の被写体輝度として設定した被写体最大輝度は、主被写体輝度の最大値である主被写体最大輝度、及び周辺被写体輝度の最大値である周辺被写体最大輝度のうちの大きな方の輝度であることを特徴とする請求項11記載の撮像装置。
【請求項20】
前記ヒストグラム算出手段は、主被写体領域及び周辺被写体領域を合わせた全撮像領域に対する全領域輝度ヒストグラムを算出し、
前記露出評価値検出手段は、前記全領域輝度ヒストグラムに基づいて、撮像センサの出力レベルが飽和出力レベルに達しているか否かを判別する飽和判別手段をさらに備えることを特徴とする請求項12記載の撮像装置。
【請求項21】
前記飽和判別手段は、前記全領域輝度ヒストグラムにおける、被写体輝度及び度数が所定の閾値以上となる領域の飽和輝度データ数が所定数以上となる場合に、前記飽和出力レベルに達したと判別することを特徴とする請求項20記載の撮像装置。
【請求項22】
前記ダイナミックレンジ制御手段は、前記飽和判別手段により撮像センサが飽和出力レベルに達したと判別された場合に、前記飽和輝度データ数に比例して光電変換特性の変曲点に対する出力レベルを下げるよう、当該変曲点位置の制御を行うことを特徴とする請求項21記載の撮像装置。
【請求項23】
入射光量に応じた電気信号を発生すると共に、前記入射光量に対して電気信号が線形的に変換されて出力される線形特性領域と、前記入射光量に対して電気信号が対数的に変換されて出力される対数特性領域とからなる光電変換特性を有する撮像センサを備える撮像装置を用い、
被写体の輝度情報に基づいて、被写体を撮像するに際しての露出制御に関する露出評価値を検出し、前記露出評価値を用いて、所要の露光量を確保するべく前記光電変換特性に基づき露光量制御を行うと共に、所要のダイナミックレンジを確保するべく光電変換特性に基づきダイナミックレンジ制御を行うことで、撮像にあたっての露出制御を行うことを特徴とする撮像方法。
【請求項24】
前記撮像センサは、対数特性領域での光電変換を露光時間に依存せず実行することが可能に構成されたものであって、
絞り装置をさらに備え、
前記露光量制御手段は、絞り装置に対する絞り開口面積の調整に関する絞り設定値に基づいて露光量を制御する絞り制御手段及び/又は撮像センサに対する露光時間の調整に関する露光時間設定値に基づいて露光量を制御する露光時間制御手段を備え、
前記露出制御手段は、それぞれ独立に露出制御が可能に構成された絞り制御手段及び/又は露光時間制御手段、並びに前記ダイナミックレンジ制御手段によって露出制御を行うことを特徴とする請求項1記載の撮像装置。
【請求項25】
前記絞り制御手段は、当該絞りの制御に応じて、線形特性領域及び対数特性領域からなる光電変換特性全体を変化させて露光量制御を行うことを特徴とする請求項24記載の撮像装置。
【請求項26】
前記絞り制御手段は、露光量設定用の被写体輝度に対する撮像センサの出力が前記線形特性領域において所定の目標出力レベルとなる光電変換特性を算出すると共に、当該算出した光電変換特性に対応する絞り設定値を算出する絞り設定値算出手段を備え、
当該絞り設定値算出手段により算出した絞り設定値に基づいて前記絞りの制御を行うことを特徴とする請求項25記載の撮像装置。
【請求項27】
前記露光時間制御手段は、当該露光時間の制御に応じて、光電変換特性における対数特性領域を固定した状態で線形特性領域を変化させて露光量制御を行うことを特徴とする請求項24〜26のいずれかに記載の撮像装置。
【請求項28】
前記露光時間制御手段は、露光量設定用の被写体輝度に対する撮像センサの出力が前記線形特性領域において所定の目標出力レベルとなる光電変換特性を算出すると共に、当該算出した光電変換特性に対応する露光時間設定値を算出する露光時間設定値算出手段を備え、
当該露光時間設定値算出手段により算出した露光時間設定値に基づいて前記露光時間の制御を行うことを特徴とする請求項27記載の撮像装置。
【請求項29】
シャッタ装置をさらに備え、
前記露光時間制御手段は、撮像センサの積分時間及び/又はシャッタ装置のシャッタ開放時間の制御に基づいて露光時間の制御を行うことを特徴とする請求項24〜28のいずれかに記載の撮像装置。
【請求項30】
前記ダイナミックレンジ制御手段は、
ダイナミックレンジ設定用の被写体輝度に対する撮像センサの出力が所定の飽和出力レベルとなる光電変換特性を算出すると共に、当該算出した光電変換特性に対応するダイナミックレンジ設定値を算出するダイナミックレンジ設定値算出手段を備え、
前記ダイナミックレンジ設定値算出手段により算出したダイナミックレンジ設定値に基づいてダイナミックレンジを制御することを特徴とする請求項24〜29のいずれかに記載の撮像装置。
【請求項31】
前記ダイナミックレンジ設定値は、撮像センサに対する光電変換特性の調整に関する光電変換特性設定値であって、
前記ダイナミックレンジ制御手段は、ダイナミックレンジ設定値算出手段により算出された光電変換特性設定値に基づいて、光電変換特性の変曲点位置を制御することでダイナミックレンジを制御することを特徴とする請求項30記載の撮像装置。
【請求項32】
前記撮像センサは、入射光に対して光電流を発生させるフォトダイオードからの電荷を蓄積して該電荷を電圧に変換するフローティングディフュージョンと、該フローティングディフュージョンに対するリセットバイアス印加用のトランジスタとを備え、該トランジスタのゲート電圧がハイ電位及びロー電位間の中電位に設定されることで前記線形特性領域及び対数特性領域からなる光電変換特性を有する信号を出力することを特徴とする請求項24〜31のいずれかに記載の撮像装置。
【請求項33】
前記撮像センサは、対数特性領域での光電変換を露光時間に依存せず実行することが可能に構成されたものであって、
絞り装置に対する絞り開口面積の調整に関する絞り設定値に基づいて露光量を制御する絞り制御及び/又は撮像センサに対する露光時間の調整に関する露光時間設定値に基づいて露光量を制御する露光時間制御を行い、
露出制御に関してそれぞれ独立に露出制御が可能とされた前記絞り制御及び/又は露光時間制御、並びにダイナミックレンジ制御によって露出制御を行うことを特徴とする請求項23記載の撮像方法。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate

【図9】
image rotate

【図10】
image rotate

【図11】
image rotate

【図12】
image rotate

【図13】
image rotate

【図14】
image rotate

【図15】
image rotate

【図16】
image rotate

【図17】
image rotate

【図18】
image rotate

【図19】
image rotate

【図20】
image rotate

【図21】
image rotate

【図22】
image rotate

【図23】
image rotate

【図24】
image rotate

【図25】
image rotate

【図26】
image rotate

【図27】
image rotate

【図28】
image rotate

【図29】
image rotate


【公開番号】特開2006−14277(P2006−14277A)
【公開日】平成18年1月12日(2006.1.12)
【国際特許分類】
【出願番号】特願2005−77556(P2005−77556)
【出願日】平成17年3月17日(2005.3.17)
【出願人】(000001270)コニカミノルタホールディングス株式会社 (4,463)
【Fターム(参考)】