撮像装置および撮像方法
【課題】撮像素子に蓄積された電荷を掃出す時間を調整してダイナミックレンジの広い撮影をする。
【解決手段】撮像装置10は、マトリクス状に配列された複数の画素を有する撮像素子を備え、撮像素子に露光して被写体を撮像する撮像装置であって、被写体の撮像状態を検出する検出部202と、撮像素子を遮光するように走行する幕体の動作を制御する動作制御部206と、幕体の走行に先行して、撮像素子に蓄積された電荷を掃出すことにより撮像素子の露光開始走査を制御する走査制御部204と、を備え、走査制御部204は、被写体の撮像状態に応じて、撮像素子に蓄積された電荷を掃出すための掃出し時間を調整する。
【解決手段】撮像装置10は、マトリクス状に配列された複数の画素を有する撮像素子を備え、撮像素子に露光して被写体を撮像する撮像装置であって、被写体の撮像状態を検出する検出部202と、撮像素子を遮光するように走行する幕体の動作を制御する動作制御部206と、幕体の走行に先行して、撮像素子に蓄積された電荷を掃出すことにより撮像素子の露光開始走査を制御する走査制御部204と、を備え、走査制御部204は、被写体の撮像状態に応じて、撮像素子に蓄積された電荷を掃出すための掃出し時間を調整する。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、撮像装置および撮像方法に関し、特に、マトリクス状に配列された複数の画素を有する撮像素子を備える撮像装置および撮像方法に関する。
【背景技術】
【0002】
CMOS(Complementary Metal Oxide Semiconductor)型の撮像素子を搭載した撮像装置において、シャッタ動作の先幕を電子シャッタで行い、後幕をメカニカルシャッタで行うことが開示されている(例えば、特許文献1)。また、電子シャッタとメカニカルシャッタを組み合わせる方式において、領域またはラインごとに電荷蓄積を開始するタイミングを変更して、レンズの種類や絞りの値、シャッタ速度の違いで発生する露光ムラを防ぐ技術も開示されている(例えば、特許文献2および3)。
【0003】
特許文献2および3では、従来のメカニカルな先幕を電子的なリセット機能に置き換えたことにより生じる画質的な不具合を補正することを目的としている。したがって、先幕となる電子シャッタの動作タイミングは、後幕となるメカニカルシャッタの後幕とほぼ同じ特性を有するように設定される。また、レンズの種類や絞りの値など、シャッタの特性を変化させる要因について、補正パラメータを盛り込んで動作タイミングが設定される。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開平11−41523号公報
【特許文献2】特開2007−159061号公報
【特許文献3】特開2007−53742号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
ところで、一般的に撮像素子のダイナミックレンジはまだ低く、暗所から明所までを1つの画像で再現できない場合が多い。例えば、明るい青空を背景に人物を撮影しようとした場合、人物に露出を合わせると空は飽和して、いわゆる白飛びを起こし青空が再現できない。一方、青空に露出を合わせると人物が露光不足で黒くつぶれてしまうということがあった。
【0006】
上記した電子シャッタは、撮像素子に蓄積された電荷を掃出すことにより撮像素子の露光を開始するシャッタの先幕として機能するが、電荷を掃出す時間が不足する場合には、残留電荷が発生し残像現象が生じる。通常は、残像現象が生じないように、電荷を完全に掃出すのに必要十分な掃出し時間が設定されている。しかし、残留電荷を敢えて発生させることで長時間露光したと同様の効果を得ることができるため、領域ごとまたはラインごとに電荷を掃出す時間を調整してダイナミックレンジの広い良好な画像を得ることが望まれている。
【0007】
そこで、本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、電子シャッタとメカニカルシャッタを併用する構成において、撮像素子に蓄積された電荷を掃出す時間を調整してダイナミックレンジの広い撮影をすることが可能な、新規かつ改良された撮像装置および撮像方法を提供することにある。
【課題を解決するための手段】
【0008】
上記課題を解決するために、本発明のある観点によれば、マトリクス状に配列された複数の画素を有する撮像素子を備え、撮像素子に露光して被写体を撮像する撮像装置であって、被写体の撮像状態を検出する検出部と、撮像素子を遮光するように走行する幕体の動作を制御する動作制御部と、幕体の走行に先行して、撮像素子に蓄積された電荷を掃出すことにより撮像素子の露光開始走査を制御する走査制御部と、を備え、走査制御部は、被写体の撮像状態に応じて、撮像素子に蓄積された電荷を掃出すための掃出し時間を調整することを特徴とする、撮像装置が提供される。
【0009】
かかる構成によれば、被写体の撮像状態を検出し、該撮像状態に応じて撮像素子に蓄積された電荷を掃出すための掃出し時間を調整して撮像素子に蓄積された電荷を掃出して撮像素子の露光が開始された後、幕体が撮像素子を遮光するように走行する。これにより、撮像状態に応じて撮像素子の露光時間を調整してダイナミックレンジの広い撮影をすることが可能となる。
【0010】
また、走査制御部は、撮像素子の露光開始走査を、走査パターンに基づいてリセット信号を各画素に与えることにより撮像素子の露光を開始するシャッタの先幕(以降、電子先幕シャッタとも称する。)として機能させ、動作制御部は、撮像素子を遮光する幕体をシャッタの後幕(以降、メカ後幕シャッタとも称する。)として機能させる。これにより、先幕としての電子シャッタと後幕としてのメカニカルシャッタを併用し、先幕となる電子シャッタのタイミングを制御して露光時間を調整することができる。
【0011】
また、検出部は、被写体の撮像状態が画像を再現する際に適切なダイナミックレンジの範囲内となるか否かを検出し、走査制御部は、検出部により被写体の撮像状態が適切なダイナミックレンジ外であることが検出された場合に、撮像素子に蓄積された電荷を掃出すための掃出し時間を調整してもよい。これにより、撮像状態がダイナミックレンジ外、すなわち、白飛びしていたり黒くつぶれていたりして画像が再現できない場合に露光時間を調整することができる。
【0012】
また、走査制御部は、幕体の走行カーブに対応するように、撮像素子に蓄積された電荷を掃出すための掃出しパルスを発生させ、被写体の撮像状態に応じて、掃出しパルスのパルス幅を調整する。これにより、掃出しパルスを幕体の走行カーブに対応させて電子先幕の走査開始速度を制御するとともに、掃出しパルスのパルス幅を撮像状態に応じて可変とすることにより撮像素子の露光時間を調整することができる。
【0013】
また、走査制御部は、撮像素子のラインごとに掃出しパルスのパルス幅を調整してもよい。また、走査制御部は、撮像素子の領域ごとに掃出しパルスのパルス幅を調整してもよい。これにより、ラインごとまたは領域ごとに撮像素子の露光時間を調整することができる。
【0014】
また、走査制御部は、被写体の輝度情報に応じて、掃出し時間を調整してもよい。さらに、走査制御部は、被写体の輝度が所定の基準値より低い場合に、掃出し時間を予め設定された掃出し時間より短くすることが好ましい。さらに、走査制御部は、被写体の輝度が所定の基準値より低い場合に、被写体の輝度に応じて段階的に掃出し時間を短くすることが好ましい。これにより、被写体の輝度情報に応じて撮像素子の露光時間を調整することができる。
【0015】
また、走査制御部は、撮像素子の各画素の読み出し走査を制御し、走査制御部による撮像素子の水平方向の画素の読み出しに同期させて所定の領域ごとにゲインを調整するゲイン調整部を備えてもよい。これにより、水平方向のゲインを調整することができる。
【0016】
また、上記課題を解決するために、本発明の別の観点によれば、マトリクス状に配列された複数の画素を有する撮像素子に露光して被写体を撮像する撮像方法であって、被写体の撮像状態を検出するステップと、被写体の撮像状態に応じて、撮像素子に蓄積された電荷を掃出すための掃出し時間を調整して撮像素子の露光を開始させるステップと、撮像素子の露光開始後に撮像素子を遮光するように走行する幕体を動作させるステップと、を含むことを特徴とする、撮像方法が提供される。
【発明の効果】
【0017】
以上説明したように本発明によれば、撮像素子に蓄積された電荷を掃出す時間を調整してダイナミックレンジの広い撮影をすることができる。
【図面の簡単な説明】
【0018】
【図1】本発明の実施形態にかかる画質改善の具体例について説明する説明図である。
【図2】同実施形態の概要を説明する説明図である。
【図3】同実施形態にかかる撮像装置の機能構成を示すブロック図である。
【図4】同実施形態にかかるCPUの構成を示すブロック図である。
【図5】同実施形態にかかる撮像シーンの検出について説明する説明図である。
【図6】同実施形態にかかる撮像シーンの検出について説明する説明図である。
【図7】同実施形態にかかる撮像シーンと電荷掃出しパルスのパルス幅との関係について説明する説明図である。
【図8】同実施形態にかかる撮像シーンと電荷掃出しパルスのパルス幅との関係について説明する説明図である。
【図9】同実施形態にかかるゲインおよびシャッタの調整について説明する説明図である。
【図10A】同実施形態にかかる撮像装置の動作の詳細を示すフローチャートである。
【図10B】同実施形態にかかる撮像装置の動作の詳細を示すフローチャートである。
【発明を実施するための形態】
【0019】
以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
【0020】
また、以下に示す順序に従って当該「発明を実施するための最良の形態」を説明する。
〔1〕本実施形態の目的
〔2〕撮像装置の概要
〔3〕撮像装置の機能構成
〔4〕撮像装置の動作の詳細
【0021】
〔1〕本実施形態の目的
まず、本実施形態の目的について説明する。CMOS(Complementary Metal Oxide Semiconductor)型の撮像素子を搭載した撮像装置において、シャッタ動作の先幕を電子シャッタで行い、後幕をメカニカルシャッタで行うことが開示されている。また、電子シャッタとメカニカルシャッタを組み合わせる方式において、領域またはラインごとに電荷蓄積を開始するタイミングを変更して、レンズの種類や絞りの値、シャッタ速度の違いで発生する露光ムラを防ぐ技術も開示されている。
【0022】
上記技術では、従来のメカニカルな先幕を電子的なリセット機能に置き換えたことにより生じる画質的な不具合を補正することを目的としている。したがって、先幕となる電子シャッタの動作タイミングは、後幕となるメカニカルシャッタの後幕とほぼ同じ特性を有するように設定される。また、レンズの種類や絞りの値など、シャッタの特性を変化させる要因について、補正パラメータを盛り込んで動作タイミングが設定される。
【0023】
ところで、一般的に撮像素子のダイナミックレンジはまだ低く、暗所から明所までを1つの画像で再現できない場合が多い。例えば、明るい青空を背景に人物を撮影しようとした場合、人物に露出を合わせると空は飽和して、いわゆる白飛びを起こし青空が再現できない。一方、青空に露出を合わせると人物が露光不足で黒くつぶれてしまうということがあった。
【0024】
上記した電子シャッタは、撮像素子に蓄積された電荷を掃出すことにより撮像素子の露光を開始するシャッタの先幕として機能するが、電界を掃出す時間が不足する場合には、残留電荷が発生し残像現象が生じる。通常は、残像現象が生じないように、電荷を完全に掃出すのに必要十分な掃出し時間が設定されている。しかし、残留電荷を敢えて発生させることで長時間露光したと同様の効果を得ることができるため、領域ごとまたはラインごとに電荷を掃出す時間を調整してダイナミックレンジの広い良好な画像を得ることが望まれている。
【0025】
そこで、上記のような事情を一着眼点として、本発明の実施形態にかかる撮像装置が創作されるに至った。本実施形態にかかる撮像装置10によれば、電子シャッタとメカニカルシャッタを併用する構成において、撮像素子に蓄積された電荷を掃出す時間を調整してダイナミックレンジの広い撮影をすることが可能となる。
【0026】
〔2〕撮像装置の概要
次に、図1および図2を参照して、本実施形態にかかる撮像装置10の概要について説明する。まず、図1を参照して、本実施形態にかかる撮像装置10による画質改善について説明する。図1は、撮像装置10による画質改善の具体例について説明する説明図である。図1の画像例51〜53は、太陽や山、ススキなどを含む風景を撮影した画像である。画像例51は、画像下部に露出を合わせて撮影した画像である。画像例51では、画像下部のススキなどはよく撮影されているが、上部の太陽周辺はいわゆる白飛びを起こしてしまっている。また、画像例52は、画像上部の太陽に露出を合わせて撮影した画像である。画像例52では、画像上部の太陽はよく撮影されているが、画像下部のススキなどは露光不足で黒くなってしまっている。
【0027】
画像例53は、撮像装置10により露出調整されて撮影された画像である。画像例53では、太陽周辺が画像例51ほど白くなく、画像下部が画像例52ほど黒くなっておらず、太陽も山もススキもよく撮影されている画像となっている。上記したように、撮像装置10は、電子シャッタとメカニカルシャッタを併用している。撮像装置10は、先幕となる電子シャッタ(電子先幕シャッタ)により露光を開始する際に、撮像素子に蓄積された電荷を掃出すための掃出し時間を調整して領域ごとまたはラインごとに露光時間を調整することができる。
【0028】
上記したように、撮像素子に蓄積された電荷をすべて掃出すための時間が不足している場合には残留電荷が発生し、その結果、残像現象が生じる。例えば、画像の暗い部分に対して意図時に残留電荷を残すように電荷を掃出す時間を設定することで、画像の暗い部分に長時間露光したことと同様の効果を得ることができる。具体的には、撮像装置10は、撮像画面を領域ごとに分割し、領域ごとの明るさの分布を検知して撮像シーンの分析を行う。そして、領域ごとの測光値をもとに、電子先幕シャッタの電荷掃出し時間を変更して、画面内での露光時間を撮影シーンに合わせて調整することができる。
【0029】
例えば、画像例53では、上部と下部で明るさが異なっている。すなわち、上部は明るく、下部が暗い画像である。そこで、撮像装置10は、画面の上部では蓄積された電荷がすべて掃出されるように掃出し時間を設定し、画面の下部では電荷掃出し時間を短く設定し、敢えて残留電荷を残して露光時間が長くなるようにする。
【0030】
例えば、画面内の明るさ(輝度)が128より大きい場合には、電荷がすべて掃出される掃出し時間を設定し、輝度が128以下の場合には、輝度の値に応じて掃出し時間を調整するようにしてもよい。すなわち、画面内の明るさが暗くなり輝度の値が小さくなるほど掃出し時間を短くして残留電荷を多く残すことにより、暗い部分に長時間露光したことと同様の効果を得ることができる。
【0031】
ここで、図2を参照して、シャッタの先幕と後幕について説明する。図2は、電子先幕シャッタと機械式シャッタの後幕の動作について説明する説明図である。図2にでは、右方向に時間の経過を表し、下方向に撮像素子のライン(Line)数を表している。ここで、Line[N]におけるNは、撮像素子の垂直方向の有効ライン数に相当する。また、撮像装置10を使用した撮影は、ライブビューモードからの静止画撮影で使用されることとする。
【0032】
先幕として電子シャッタを用いる場合には、撮像素子が備える各画素にリセット動作を行わせるリセット信号を画素ライン単位で順次に与えて、当該撮像素子に露光動作を開始させる。そして、設定された露光時間の経過後に幕体を走行させる機械的な遮光を行い当該撮像素子の露光動作を終了させる。撮像素子の露光動作が終了すると、撮像素子から画像データの読み出しが行われる。
【0033】
図2に示したように、機械式シャッタは、幕体の移動速度が一定ではなく、移動始端では比較的幕速が遅く、移動終端になるほど加速されて比較的幕速が速くなっている。また、温湿度の変化や姿勢差などによっても、幕速が変化する場合がある。そこで、撮像装置10では、先幕として用いる電子シャッタの幕速を機械式シャッタの幕速に合わせるようにしている。電子シャッタの幕速を機械式シャッタの幕速に合わせるとは、すなわち、電子先幕シャッタのリセット走査(露光開始走査)の走査カーブを、機械式シャッタの走行カーブとほぼ同じ形状とすることを意味する。
【0034】
図2に示したように、電子先幕シャッタの露光開始走査は、電荷掃出しパルスの発生により開始される。具体的には、電荷掃出しポインター(Pointer)により電荷が掃出されるラインアドレスが指定される。電荷掃出しパルスが「H」(H=High)となったときに、電荷掃出しポインターで指定されたラインの撮像素子がグランド(GND)に接続されて、当該画素に蓄積されていた電荷が掃出される。撮像素子に蓄積されていた電荷を掃出すことを、以降、電荷がリセットされるとも称する。
【0035】
上記したように、撮像装置10を用いた撮影は、ライブビューモードからの静止画撮影で使用される。したがって、電荷掃出しパルスが「H」となっている間にライブビューモードにおいて蓄積された電荷が掃出されることとなる。通常、電荷を完全に掃出すのに必要十分なパルス幅が設定されている。しかし、電荷掃出しパルスが「H」となっている時間が短い場合には、蓄積されていた電荷をすべて掃出す時間が不足して残留電荷が発生して残像現象が生じる。画像の暗い部分に対して、意図的に残留電荷を残すようにすることで、画像の暗い部分に長時間露光をしたことと同様の効果を得ることが可能となる。撮像装置10では、図2に示したように、電荷掃出し時間、すなわち、電荷掃出しパルスが「H」となる時間を可変にして、電荷を完全に掃出したり意図的に残留電荷を発生させたりして露光時間を調整している。
【0036】
図2では、撮像素子のLine[N]付近では、Line[0]よりもパルス幅が狭くなっている。Line[0]において電荷を完全に掃出すために必要なパルス幅が設定されており、Line[N]付近ではパルス幅を狭くして電荷掃出し時間を短くすることにより残留電荷を発生させている。したがって、Line[N]付近では、結果的に露光時間が長くなり、画像の暗い部分を明るくすることが可能となる。
【0037】
撮像装置10は、画面の領域ごとまたはラインごとの測光値をもとに、白飛びしている領域や黒くつぶれている領域など被写体の撮像シーン(撮像状態)を検出する。そして検出した撮像シーンに応じて電荷掃出し時間を調整している。例えば、検知した撮影シーンの上部が明るく下部が暗い場合には、電子先幕の移動始端(Line[0]付近)では電荷をすべて掃出すのに必要十分なパルス幅を設定する。また、電子先幕の移動終端(Line[N]付近)では、残留電荷が残るようにLine[0]付近より狭いパルス幅を設定する。このように、撮像装置10によれば、撮影シーンに応じて電荷掃出し時間を調整して、ダイナミックレンジの広い撮影をすることが可能となる。
【0038】
さらに、領域ごとの測光値をもとに、部分的に感度(ゲイン)を変更するようにしてもよい。例えば、白飛びする画面領域と黒くつぶれてしまう画面領域の割合や、コントラスト、それぞれの位置などから、1画面の領域ごとに電子先幕シャッタにより露光時間を調整するか、感度を変更(ゲイン変更)するかのいずれかまたは両方により調整するようにしてもよい。これにより、ダイナミックレンジの広い、良好な画像を取得することが可能となる。
【0039】
〔3〕撮像装置の機能構成
以上、撮像装置10の概要について説明した。次に、図3を参照して、撮像装置10の機能構成について説明する。図3は、撮像装置10の機能構成を示すブロック図である。図3に示したように、撮像装置10は、CMOS102、シャッタ104a、104b(以降、シャッタユニット104とも称する)、AFE(Analog Front End:アナログフロントエンド)106、TG(タイミングジェネレータ)108、撮像信号処理部110、メモリコントローラ112、メモリ114、メモリコントローラ116、AE/AF/AWB120、CPU122、LCD/Image Output(LCD/IO)124、LCD126、RAMテーブル130、シャッタドライバ132、レンズユニット15などを備える。
【0040】
CMOS102は、本発明のマトリクス状に配列された複数の画素を有する撮像素子の一例であり、レンズユニット15から入射された光を電気信号に変換するための素子である。詳しくは、CMOS102は、レンズユニット15により結像された被写体の光像をR(赤)、G(緑)、B(青)の各色成分のアナログの電気信号(画像信号)に変換し、R、G、B各色の画像信号として出力する。本実施形態においては、CMOS102の各画素に所定のタイミングでリセット信号を与えることで、CMOS102の露光動作を開始させて電子先幕シャッタとして機能させている。
【0041】
シャッタユニット104は、CMOS102の所定の画素ラインの垂直方向に移動する幕体を備え、CMOS102に露光される光の遮断動作を行う後幕として機能する。シャッタユニット104の動作は、シャッタドライバ132により制御される。
【0042】
AFE106は、アナログ前段回路であり、CMOS102から出力されたアナログの電気信号を撮像信号処理部110に提供する。TG(タイミングジェネレータ)108は、CMOS102におよびAFE106にタイミング信号を入力する機能を有する。TG108からのタイミング信号によりシャッタ速度が決定される。つまり、TG108からのタイミング信号によりCMOS102の駆動が制御され、CMOS102が駆動する時間内に被写体からの映像光を入射することで、画像データの基となる電気信号が生成される。
【0043】
撮像信号処理部110は、AFE106から出力されたアナログの電気信号をデジタル信号に変換した画像の生データを生成する機能を有する。また、撮像信号処理部110は、CMOS102から得られる画像の生データに対して、光量のゲイン補正やホワイトバランスを調整する。メモリコントローラ112は、撮影した画像をメモリ114に一時的に記憶させたり、記憶された画像を読み出したりする機能を有する。メモリ114は、複数の画像を記憶だけるだけの記憶容量を有している。メモリ114としては、例えば、SDRAM(Synchronous Dynamic Random Access Memory)を用いてもよい。
【0044】
メモリカードコントローラ116は、メモリカード118に撮影された画像や合成された画像を記録させる機能を有する。メモリカード118は、フラッシュメモリにデータを記録するカード型の記憶装置である。
【0045】
AE/AF/AWB120は、撮像時における周辺光量(明るさ)や、焦点距離、絞り値(フォーカス)、色温度などを検知して、検知結果をCPU122に提供する機能を有する。CPU122は、CMOS102やTG108などに対して信号系の命令を行ったり、操作部150に対する操作系の命令を行ったりする。本実施形態では、信号系の命令と走査系の命令を1つのCPU122で行っているが、かかる例に限定されず、2つのCPUでそれぞれ実行するようにしてもよい。CPU122による電子シャッタによる先幕とメカニカルシャッタによる後幕の制御については後で詳細に説明する。
【0046】
LCD126は、撮影操作する前のライブビュー表示や、撮像装置10の各種設定画面や、撮像した画像を表示する機能を有する。また、TV128は、撮像した画像などをテレビジョン受像機の画面に表示する機能を有する。画像データ等のLCD126やTV128への表示は、LCD/IO(ImageOutput)124を介して表示される。
【0047】
RAMテーブル130は、本発明の走査テーブルを記憶しているテーブルである。RAMテーブル130には、予め複数の走査パターンを記憶しておき撮像シーンに応じた走査パターンを選択するようにしてもよい。また、基準となる走査パターンをRAMテーブル130に記憶させておき、撮像シーンの周辺光量等の値と基準値との差異に応じて走査パターンを変更させるようにしてもよい。走査パターンは、電子先幕シャッタによるリセットタイミング(露光開始タイミング)を出力するタイミングである。本実施形態では、電子先幕シャッタのリセット走査の走査カーブを、機械式の後幕シャッタの走行カーブとほぼ同じ形状としている。
【0048】
また、RAMテーブル130には、撮像素子の電荷蓄積量と蓄積した電荷を掃出すのに要する時間特性が記憶されている。また、撮影画像の輝度などの撮像シーンに応じた電荷掃出し時間の割合を記憶してもよい。例えば、撮像素子に蓄積した電荷をすべて掃出すのに要する時間を基準時間とし、輝度値と基準時間に対する減算割合との関係を示すテーブルを記憶する。これにより、基準時間と減算割合とを用いて撮像シーンに応じた電荷掃出し時間の調整を行うことが可能となる。
【0049】
また、走査パターンを記憶するRAMテーブル130に代えて、関数発生回路(図示せず)を搭載してもよい。この場合、関数は、単純に2次関数で表現する方法や、1次関数で補間していく方法などが挙げられる。関数発生回路により走査タイミングを出力することにより、搭載回路を小さくすることができる。
【0050】
操作部150は、撮像装置10の操作を行ったり、撮像時の各種の設定を行ったりするための部材が配置されている。操作部150に配置される部材には、電源ボタン、撮影モードや撮影ドライブモードの選択および効果パラメータを設定する十字キーおよび選択ボタン、被写体の撮影動作を開始するシャッタボタン等を含んでいてもよい。
【0051】
次に、図4を参照して、CPU122による先幕と後幕の制御について説明する。図4は、CPU122の構成を示すブロック図である。図4に示したようにCPU122は、検出部202、走査制御部204、動作制御部206、ゲイン調整部208などを備える。
【0052】
検出部202は、被写体の撮像状態を検出する機能を有する。具体的には、検出部202は、AE/AF/AEBなどの各種センサ120により検知された周辺光量(明るさ)や、焦点距離、絞り値、色温度などから撮像状態(撮像シーン)を検出し、撮影シーンが画像を再現する際に適切なダイナミックレンジの範囲内となるか否かを検出する。例えば、露光過多で白飛びしてしまっていたり、露光不足で黒くつぶれてしまったりという、再現できない画像があるか否かを検出する。
【0053】
ここで、図5および図6を参照して、検出部202による撮像シーンの検出について説明する。図5および図6は、検出部202による撮像シーンの検出について説明する説明図である。図5は、画像の上部がいわゆる白飛びを起こし、青空が再現できていない画像である。検出部202は、画面71内で白飛びしている領域を求める。例えば、説明図72に示したように、画面71を所定の領域に分割して、白飛びしている領域を求めるようにしてもよい。この場合、画面71の上部4つの領域が白飛びしている領域、すなわちダイナミックレンジの上限を超えている領域であることを検出する。
【0054】
また、図6に示したヒストグラム73により画面内の白飛びしている領域を求めるようにしてもよい。ヒストグラム73では、右側に大きな山が現れている。すなわち、画面の一部に特に白飛びしている領域があることがわかる。撮像装置10では、後述する走査制御部204により撮像素子の露光量を制御することにより、画面の領域またはラインごとの露光時間を補正して、白飛びしている領域の露出を抑えることが可能となる。
【0055】
図4に戻り、CPU122の構成についての説明を続ける。走査制御部204は、後述する動作制御部206による幕体の走行に先行して、CMOS102に蓄積された電荷を掃出すことによりCMOS102の露光を開始する。走査制御部204は、検出部202により検出された被写体の撮像状態に応じて、撮像素子に蓄積された電荷を掃出すための掃出し時間を調整する。走査制御部204は、走査パターン記憶部(RAMテーブル)130に記憶されている走査パターンに基づいてCMOS102に蓄積された電荷を掃出す。
【0056】
また、走査パターン記憶部130に記憶されている電荷掃出し時間の割合をもとに、CMOS102に蓄積された電荷を掃出すための掃出し時間を調整する。CMOS102に蓄積された電荷を掃出すための掃出し時間は、電荷掃出しパルスのパルス幅を調整することにより可変とすることができる。
【0057】
ここで、図7および図8を参照して、撮像シーンと電荷掃出しパルスのパルス幅との関係について説明する。図7および図8は、撮像シーンと電荷掃出しパルスのパルス幅との関係について説明する説明図である。図7に示したように、撮像素子のLine[0]〜Line[M]までは、撮像素子に蓄積された電荷をすべて掃出す(残留電荷ゼロ)完全掃出し領域となっている。また、撮像素子のLine[M]〜Line[N]までは、撮像素子に蓄積された電荷を意図的に残留させる(残留電荷有り)不完全掃出し領域となっている。
【0058】
Line[0]〜Line[M]までの完全掃出し領域では、電荷掃出しパルスのパルス幅は一定の幅となっており、CMOS102に蓄積された電荷を掃出すのに必要十分なパルス幅が設定されている。また、Line[M]〜Line[N]までの不完全掃出し領域では、Line[0]〜Line[M]で設定されたパルス幅より短いパルス幅が設定されて、蓄積された電荷が残留するパルス幅となっている。さらに、Line[M]からLine[N]までライン数が増える毎にパルス幅が狭くなっている。上記したようにパルス幅を狭くすることにより、より多くの電荷が撮像素子に残留して、より長時間露光したと同様の効果を得ることができる。
【0059】
例えば、撮像装置10では、撮像画像の下部から上部に向かって露光開始走査が行われる。撮像画像の上部が暗くなっている、すなわち、撮像画像の上部の輝度値が低い場合には、図7に示したように、撮像画像の上部のLineにおけるパルス幅を撮像画像の下部のLineにおけるパルス幅より狭くして、撮像画像の上部の暗くなっている部分の露光時間を長くすることができる。
【0060】
例えば、画面の明るさ(輝度)を0〜255の256段階で表す場合には、輝度値が128以上の場合は適正露光であると判断して、残留電荷がゼロとなるようにパルス幅を設定する。一方、輝度が128より小さい値である場合には、暗い画像であると判断して、蓄積された電荷が残留するように完全掃出し領域のパルス幅より狭いパルス幅を設定する。さらに、輝度が128より小さい値である場合には、輝度の値に対するパルス幅の減算割合を設定して、輝度が小さくなるほどパルス幅が狭くなるようにする。これにより、ライン毎に露光時間を調整して、ダイナミックレンジの広い良好な画像を得ることが可能となる。
【0061】
また、撮像画像の下部が暗くなっている、すなわち、撮像画像の下部の輝度値が低い場合には、図8に示したように、撮像画像の下部のLineにおけるパルスは場を撮像画像の上部のLineにおけるパルス幅より狭くして、撮像画像の下部の暗くなっている部分の露光時間を長くすることができる。
【0062】
図8では、撮像素子のLine[M]〜Line[N]までは、撮像素子に蓄積された電荷を意図的に残留させる(残留電荷有り)不完全掃出し領域となっている。また、撮像素子のLine[0]〜Line[M]までは、撮像素子に蓄積された電荷をすべて掃出す(残留電荷ゼロ)完全掃出し領域となっている。
【0063】
また、Line[M]〜Line[N]までの不完全掃出し領域では、Line[0]〜Line[M]で設定されたパルス幅より短いパルス幅が設定されて、蓄積された電荷が残留するパルス幅となっている。さらに、Line[M]からLine[N]までライン数が増える毎にパルス幅が狭くなっている。上記したようにパルス幅を狭くすることにより、より多くの電荷が撮像素子に残留して、より長時間露光したと同様の効果を得ることができる。一方、Line[0]〜Line[M]までの完全掃出し領域では、電荷掃出しパルスのパルス幅は一定の幅となっており、CMOS102に蓄積された電荷を掃出すのに必要十分なパルス幅が設定されている。
【0064】
図4に戻り、動作制御部206は、CMOS102を遮光するように走行する幕体の動作を制御する機能を有する。動作制御部206は、シャッタドライバ132を介して幕体の動作を制御する。動作制御部206は、走査制御部204の制御により、CMOS102に露光動作を開始させた後、設定された露光時間の経過後に幕体を走行させることにより、機械的な遮光を行いCMOS102の露光動作を終了させる。
【0065】
走査制御部204は、CMOS102の露光開始走査を、走査パターンに基づいてリセット信号を各画素に与えることによりCMOS102の露光を開始するシャッタの先幕として機能させる。そして、動作制御部206は、CMOS102を遮光する幕体をシャッタの後幕とて機能させる。また、走査制御部204は、撮像シーンに応じてリセット信号のパルス幅を調整する。このように、走査制御部204が撮像シーンに応じたリセット信号のパルス幅に基づいて電子先幕シャッタを制御し、動作制御部206がメカ後幕シャッタを制御することにより、ライン毎または領域毎に露出を調整することが可能となる。
【0066】
ゲイン調整部208は、走査制御部204により、CMOS102の各画素の読み出し操作が制御された場合に、走査制御部204によるCMOS102の水平方向の画素の読み出しに同期させて所定の領域ごとにゲインを調整する機能を有する。ゲイン調整部208は、CMOS102の画素単位でゲインを調整し、CMOS102の水平方向の画素の読み出し位置に同期させてゲインの変化幅を示す所定の関数に基づいてゲインを調整する。
【0067】
例えば、ゲイン調整部208は、CMOS102内で水平方向に複数の領域、または画素単位の読み出し回路が搭載され、その各々に利得調整アンプが備わっている場合には、該アンプのゲインを領域毎に調整する。また、AFE106内にあるゲイン調整回路の利得を、水平方向の画素読み出しに同期させて変更させるようにしてもよい。この場合、水平位置に合わせてゲインを提示する回路は、AFE106内部にあってもよいし、外部の撮像信号処理部110やTG108にもたせるようにしてもよい。また、ゲイン調整部208は、撮像信号処理部110内にあるゲイン調整回路の利得を、水平方向の画素読み出しに同期させて変更させるようにしてもよい。この場合、水平方向の位置によるゲインの変化量を提供する回路を撮像信号処理部110にもたせる。
【0068】
本実施形態では、ゲイン調整部208により所定の領域または画素ごとにゲインを調整したが、かかる例に限定されず、領域単位でガンマカーブを変更するようにしてもよい。ガンマカーブは、入力される映像の信号レベルと出力される映像の明るさとの比率を表した特性曲線である。CPU122は、このガンマカーブを調整することにより画面の露出を調整してもよい。
【0069】
ここで、図9を参照して、ゲインの調整やシャッタの調整について説明する。図9は、ゲインおよびシャッタの調整について説明する説明図である。図9のグラフ81は、水平方向に利得を変えた例である。グラフ81によれば、例えば、画面の右側部分の利得を変更して、露出を調整している。また、グラフ82は、垂直方向にシャッタのスリット幅を変更させた例である。すなわち、電子先幕シャッタの露出開始タイミングをラインごとに変更して、シャッタのスリット幅を変更させている。グラフ82によれば、例えば、画面の上部でスリット幅を狭くしている。
【0070】
また、グラフ83は、垂直方向にシャッタのスリット幅を広げた例である。グラフ83によれば、グラフ82の場合に比べて、画面の下部のスリット幅が広がり、暗部の露光量が多くなっている。このように、撮像装置10によれば、電子先幕シャッタの露出開始タイミングをラインごとに変更して、シャッタのスリット幅を変えることにより垂直方向の露光量を調整することができる。さらに、シャッタのスリット幅を変えるだけでは調整しきれない水平方向の露光量については、水平方向に利得を変更して調整することが可能となる。したがって、より細かく露出を調整することができる。
【0071】
〔4〕撮像装置の動作の詳細
以上、撮像装置10の機能構成について説明した。次に、図10Aおよび図10Bを参照して、撮像装置10の動作の詳細について説明する。図10Aはおよび図10Bは、垂直および水平方向の画像補正の処理を示すフローチャートである。図10Aに示したように、まず、検出部202は、画面内の分割領域毎の測光データを取得する(S102)。そして、ステップS102において取得した分割領域毎の測光データをもとに、垂直方向のヒストグラムと、水平方向のヒストグラムを算出する(S104)。
【0072】
ステップS104において算出した垂直/水平方向のヒストグラムから、水平方向および垂直方向の輝度分布やコントラストなどを分析する(S106)。そして、ステップS104において算出したヒストグラムから、被写体(撮影シーン)を認識する(S108)。ステップ108においては、AE情報だけでなく、AF/AWB情報を利用してもよい。
【0073】
そして、ステップS108において認識した撮影シーンがダイナミックレンジ(Dレンジ)内であるか否かを判定する(S110)。
【0074】
ステップS110において、画面内の撮影シーンがダイナミックレンジ内ではないと判定された場合には、ステップS102において取得した測光データを用いて、分割測光アルゴリズムにしたがって露出を算出する(S112)。そして、設定されているモードに応じて絞り値とシャッタスピードを決定する(S114)。そして、電子先幕の露光走査とメカ後幕シャッタの遮光動作により、撮像素子(CMOS)102に露光されて蓄積された電荷を読み出して、撮影したり、画像の取り込みをしたりする(S116)。
【0075】
ステップS110において、画面内の撮影シーンがダイナミックレンジ内ではないと判定された場合には、次に、カメラの縦/横を検出する(S118)。ステップS118においては、ユーザがカメラを縦に構えたか、横に構えたかを検出する。この場合、撮像装置10には、筐体の縦横を検知するセンサが搭載されており、該センサによりカメラの縦横を検出することができる。
【0076】
ステップS118において、カメラが縦位置であると判定された場合には、縦位置対応のための基本パラメータを変更する(S120)。具体的には、画面の分割数や、分割範囲、分割比率、利得やシャッタによる調整手段の重み付けなどを変更する。ステップS120において基本パラメータを変更するのは、撮像装置10の画面が長方形である場合、カメラが縦か横かで画面の分割比や面積が異なってくるためである。また、シャッタにより露出を調整する場合には、横位置か縦位置かでシャッタの幕速度が異なってくるため、幕速度に応じて電子先幕の走査速度を変更する必要がある。
【0077】
そして、検出部202は、画面内において白飛びしている領域を求める(S122)。さらに、画面内において黒くつぶれている(黒つぶれ)領域を求める(S124)。
【0078】
図10Bを参照して、説明を続ける。走査制御部204は、ステップS122およびステップS124において求められた白飛び/黒つぶれの情報から、画面内の垂直方向の補正すべき領域と補正量を決定する(S126)。そして、ステップS126において決定された補正すべき領域と補正量から、電荷掃出しパルスのパルス幅を調整して補正する領域と補正量を決定する(S128)。次に、ゲイン調整やガンマカーブにより補正する領域と補正量を決定する(S130)。
【0079】
そして、ステップS128において決定した補正領域と補正量により、電子先幕シャッタの電荷掃出し量の値を書き換え、ステップS130において決定した補正領域と補正量により水平ゲインテーブルの値を書き換える(S132)。電子先幕シャッタの電荷掃出し量の値を書き換えるとは、電荷掃出しパルスのパルス幅の値を書き換えることを意味する。
【0080】
そして、予め設定された走査テーブルの値に基づいて、電子先幕シャッタを動作させ、ステップS132において書き換えた電荷掃出しパルスのパルス幅を用いて露光を開始する(S134)。ステップS134において露光が開始され、メカ後幕シャッタの遮光動作によりCMOS102に蓄積された電荷の読み出しに同期させて横方向のゲインを補正する(S136)。
【0081】
以上、垂直および水平方向の画像補正の処理について説明した。図10Aおよび図10Bに示したように、撮像装置10によれば、電子先幕シャッタの電荷掃出しパルスのパルス幅を変更して垂直方向の露光量を調整することができる。さらに、シャッタのスリット幅の調整だけでは補正しきれない水平方向の露光量についても、水平方向の利得を調整して補正することが可能となる。
【0082】
以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。
【0083】
例えば、本明細書の撮像装置10の処理における各ステップは、必ずしもフローチャートとして記載された順序に沿って時系列に処理する必要はない。すなわち、撮像装置10の処理における各ステップは、異なる処理であっても並列的に実行されてもよい。
【0084】
また、撮像装置10などに内蔵されるCPU、ROMおよびRAMなどのハードウェアを、上述した撮像装置10の各構成と同等の機能を発揮させるためのコンピュータプログラムも作成可能である。また、該コンピュータプログラムを記憶させた記憶媒体も提供される。
【符号の説明】
【0085】
10 撮像装置
102 撮像素子(CMOS)
104a、104b シャッタ
202 検出部
204 走査制御部
206 動作制御部
208 ゲイン調整部
【技術分野】
【0001】
本発明は、撮像装置および撮像方法に関し、特に、マトリクス状に配列された複数の画素を有する撮像素子を備える撮像装置および撮像方法に関する。
【背景技術】
【0002】
CMOS(Complementary Metal Oxide Semiconductor)型の撮像素子を搭載した撮像装置において、シャッタ動作の先幕を電子シャッタで行い、後幕をメカニカルシャッタで行うことが開示されている(例えば、特許文献1)。また、電子シャッタとメカニカルシャッタを組み合わせる方式において、領域またはラインごとに電荷蓄積を開始するタイミングを変更して、レンズの種類や絞りの値、シャッタ速度の違いで発生する露光ムラを防ぐ技術も開示されている(例えば、特許文献2および3)。
【0003】
特許文献2および3では、従来のメカニカルな先幕を電子的なリセット機能に置き換えたことにより生じる画質的な不具合を補正することを目的としている。したがって、先幕となる電子シャッタの動作タイミングは、後幕となるメカニカルシャッタの後幕とほぼ同じ特性を有するように設定される。また、レンズの種類や絞りの値など、シャッタの特性を変化させる要因について、補正パラメータを盛り込んで動作タイミングが設定される。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開平11−41523号公報
【特許文献2】特開2007−159061号公報
【特許文献3】特開2007−53742号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
ところで、一般的に撮像素子のダイナミックレンジはまだ低く、暗所から明所までを1つの画像で再現できない場合が多い。例えば、明るい青空を背景に人物を撮影しようとした場合、人物に露出を合わせると空は飽和して、いわゆる白飛びを起こし青空が再現できない。一方、青空に露出を合わせると人物が露光不足で黒くつぶれてしまうということがあった。
【0006】
上記した電子シャッタは、撮像素子に蓄積された電荷を掃出すことにより撮像素子の露光を開始するシャッタの先幕として機能するが、電荷を掃出す時間が不足する場合には、残留電荷が発生し残像現象が生じる。通常は、残像現象が生じないように、電荷を完全に掃出すのに必要十分な掃出し時間が設定されている。しかし、残留電荷を敢えて発生させることで長時間露光したと同様の効果を得ることができるため、領域ごとまたはラインごとに電荷を掃出す時間を調整してダイナミックレンジの広い良好な画像を得ることが望まれている。
【0007】
そこで、本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、電子シャッタとメカニカルシャッタを併用する構成において、撮像素子に蓄積された電荷を掃出す時間を調整してダイナミックレンジの広い撮影をすることが可能な、新規かつ改良された撮像装置および撮像方法を提供することにある。
【課題を解決するための手段】
【0008】
上記課題を解決するために、本発明のある観点によれば、マトリクス状に配列された複数の画素を有する撮像素子を備え、撮像素子に露光して被写体を撮像する撮像装置であって、被写体の撮像状態を検出する検出部と、撮像素子を遮光するように走行する幕体の動作を制御する動作制御部と、幕体の走行に先行して、撮像素子に蓄積された電荷を掃出すことにより撮像素子の露光開始走査を制御する走査制御部と、を備え、走査制御部は、被写体の撮像状態に応じて、撮像素子に蓄積された電荷を掃出すための掃出し時間を調整することを特徴とする、撮像装置が提供される。
【0009】
かかる構成によれば、被写体の撮像状態を検出し、該撮像状態に応じて撮像素子に蓄積された電荷を掃出すための掃出し時間を調整して撮像素子に蓄積された電荷を掃出して撮像素子の露光が開始された後、幕体が撮像素子を遮光するように走行する。これにより、撮像状態に応じて撮像素子の露光時間を調整してダイナミックレンジの広い撮影をすることが可能となる。
【0010】
また、走査制御部は、撮像素子の露光開始走査を、走査パターンに基づいてリセット信号を各画素に与えることにより撮像素子の露光を開始するシャッタの先幕(以降、電子先幕シャッタとも称する。)として機能させ、動作制御部は、撮像素子を遮光する幕体をシャッタの後幕(以降、メカ後幕シャッタとも称する。)として機能させる。これにより、先幕としての電子シャッタと後幕としてのメカニカルシャッタを併用し、先幕となる電子シャッタのタイミングを制御して露光時間を調整することができる。
【0011】
また、検出部は、被写体の撮像状態が画像を再現する際に適切なダイナミックレンジの範囲内となるか否かを検出し、走査制御部は、検出部により被写体の撮像状態が適切なダイナミックレンジ外であることが検出された場合に、撮像素子に蓄積された電荷を掃出すための掃出し時間を調整してもよい。これにより、撮像状態がダイナミックレンジ外、すなわち、白飛びしていたり黒くつぶれていたりして画像が再現できない場合に露光時間を調整することができる。
【0012】
また、走査制御部は、幕体の走行カーブに対応するように、撮像素子に蓄積された電荷を掃出すための掃出しパルスを発生させ、被写体の撮像状態に応じて、掃出しパルスのパルス幅を調整する。これにより、掃出しパルスを幕体の走行カーブに対応させて電子先幕の走査開始速度を制御するとともに、掃出しパルスのパルス幅を撮像状態に応じて可変とすることにより撮像素子の露光時間を調整することができる。
【0013】
また、走査制御部は、撮像素子のラインごとに掃出しパルスのパルス幅を調整してもよい。また、走査制御部は、撮像素子の領域ごとに掃出しパルスのパルス幅を調整してもよい。これにより、ラインごとまたは領域ごとに撮像素子の露光時間を調整することができる。
【0014】
また、走査制御部は、被写体の輝度情報に応じて、掃出し時間を調整してもよい。さらに、走査制御部は、被写体の輝度が所定の基準値より低い場合に、掃出し時間を予め設定された掃出し時間より短くすることが好ましい。さらに、走査制御部は、被写体の輝度が所定の基準値より低い場合に、被写体の輝度に応じて段階的に掃出し時間を短くすることが好ましい。これにより、被写体の輝度情報に応じて撮像素子の露光時間を調整することができる。
【0015】
また、走査制御部は、撮像素子の各画素の読み出し走査を制御し、走査制御部による撮像素子の水平方向の画素の読み出しに同期させて所定の領域ごとにゲインを調整するゲイン調整部を備えてもよい。これにより、水平方向のゲインを調整することができる。
【0016】
また、上記課題を解決するために、本発明の別の観点によれば、マトリクス状に配列された複数の画素を有する撮像素子に露光して被写体を撮像する撮像方法であって、被写体の撮像状態を検出するステップと、被写体の撮像状態に応じて、撮像素子に蓄積された電荷を掃出すための掃出し時間を調整して撮像素子の露光を開始させるステップと、撮像素子の露光開始後に撮像素子を遮光するように走行する幕体を動作させるステップと、を含むことを特徴とする、撮像方法が提供される。
【発明の効果】
【0017】
以上説明したように本発明によれば、撮像素子に蓄積された電荷を掃出す時間を調整してダイナミックレンジの広い撮影をすることができる。
【図面の簡単な説明】
【0018】
【図1】本発明の実施形態にかかる画質改善の具体例について説明する説明図である。
【図2】同実施形態の概要を説明する説明図である。
【図3】同実施形態にかかる撮像装置の機能構成を示すブロック図である。
【図4】同実施形態にかかるCPUの構成を示すブロック図である。
【図5】同実施形態にかかる撮像シーンの検出について説明する説明図である。
【図6】同実施形態にかかる撮像シーンの検出について説明する説明図である。
【図7】同実施形態にかかる撮像シーンと電荷掃出しパルスのパルス幅との関係について説明する説明図である。
【図8】同実施形態にかかる撮像シーンと電荷掃出しパルスのパルス幅との関係について説明する説明図である。
【図9】同実施形態にかかるゲインおよびシャッタの調整について説明する説明図である。
【図10A】同実施形態にかかる撮像装置の動作の詳細を示すフローチャートである。
【図10B】同実施形態にかかる撮像装置の動作の詳細を示すフローチャートである。
【発明を実施するための形態】
【0019】
以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
【0020】
また、以下に示す順序に従って当該「発明を実施するための最良の形態」を説明する。
〔1〕本実施形態の目的
〔2〕撮像装置の概要
〔3〕撮像装置の機能構成
〔4〕撮像装置の動作の詳細
【0021】
〔1〕本実施形態の目的
まず、本実施形態の目的について説明する。CMOS(Complementary Metal Oxide Semiconductor)型の撮像素子を搭載した撮像装置において、シャッタ動作の先幕を電子シャッタで行い、後幕をメカニカルシャッタで行うことが開示されている。また、電子シャッタとメカニカルシャッタを組み合わせる方式において、領域またはラインごとに電荷蓄積を開始するタイミングを変更して、レンズの種類や絞りの値、シャッタ速度の違いで発生する露光ムラを防ぐ技術も開示されている。
【0022】
上記技術では、従来のメカニカルな先幕を電子的なリセット機能に置き換えたことにより生じる画質的な不具合を補正することを目的としている。したがって、先幕となる電子シャッタの動作タイミングは、後幕となるメカニカルシャッタの後幕とほぼ同じ特性を有するように設定される。また、レンズの種類や絞りの値など、シャッタの特性を変化させる要因について、補正パラメータを盛り込んで動作タイミングが設定される。
【0023】
ところで、一般的に撮像素子のダイナミックレンジはまだ低く、暗所から明所までを1つの画像で再現できない場合が多い。例えば、明るい青空を背景に人物を撮影しようとした場合、人物に露出を合わせると空は飽和して、いわゆる白飛びを起こし青空が再現できない。一方、青空に露出を合わせると人物が露光不足で黒くつぶれてしまうということがあった。
【0024】
上記した電子シャッタは、撮像素子に蓄積された電荷を掃出すことにより撮像素子の露光を開始するシャッタの先幕として機能するが、電界を掃出す時間が不足する場合には、残留電荷が発生し残像現象が生じる。通常は、残像現象が生じないように、電荷を完全に掃出すのに必要十分な掃出し時間が設定されている。しかし、残留電荷を敢えて発生させることで長時間露光したと同様の効果を得ることができるため、領域ごとまたはラインごとに電荷を掃出す時間を調整してダイナミックレンジの広い良好な画像を得ることが望まれている。
【0025】
そこで、上記のような事情を一着眼点として、本発明の実施形態にかかる撮像装置が創作されるに至った。本実施形態にかかる撮像装置10によれば、電子シャッタとメカニカルシャッタを併用する構成において、撮像素子に蓄積された電荷を掃出す時間を調整してダイナミックレンジの広い撮影をすることが可能となる。
【0026】
〔2〕撮像装置の概要
次に、図1および図2を参照して、本実施形態にかかる撮像装置10の概要について説明する。まず、図1を参照して、本実施形態にかかる撮像装置10による画質改善について説明する。図1は、撮像装置10による画質改善の具体例について説明する説明図である。図1の画像例51〜53は、太陽や山、ススキなどを含む風景を撮影した画像である。画像例51は、画像下部に露出を合わせて撮影した画像である。画像例51では、画像下部のススキなどはよく撮影されているが、上部の太陽周辺はいわゆる白飛びを起こしてしまっている。また、画像例52は、画像上部の太陽に露出を合わせて撮影した画像である。画像例52では、画像上部の太陽はよく撮影されているが、画像下部のススキなどは露光不足で黒くなってしまっている。
【0027】
画像例53は、撮像装置10により露出調整されて撮影された画像である。画像例53では、太陽周辺が画像例51ほど白くなく、画像下部が画像例52ほど黒くなっておらず、太陽も山もススキもよく撮影されている画像となっている。上記したように、撮像装置10は、電子シャッタとメカニカルシャッタを併用している。撮像装置10は、先幕となる電子シャッタ(電子先幕シャッタ)により露光を開始する際に、撮像素子に蓄積された電荷を掃出すための掃出し時間を調整して領域ごとまたはラインごとに露光時間を調整することができる。
【0028】
上記したように、撮像素子に蓄積された電荷をすべて掃出すための時間が不足している場合には残留電荷が発生し、その結果、残像現象が生じる。例えば、画像の暗い部分に対して意図時に残留電荷を残すように電荷を掃出す時間を設定することで、画像の暗い部分に長時間露光したことと同様の効果を得ることができる。具体的には、撮像装置10は、撮像画面を領域ごとに分割し、領域ごとの明るさの分布を検知して撮像シーンの分析を行う。そして、領域ごとの測光値をもとに、電子先幕シャッタの電荷掃出し時間を変更して、画面内での露光時間を撮影シーンに合わせて調整することができる。
【0029】
例えば、画像例53では、上部と下部で明るさが異なっている。すなわち、上部は明るく、下部が暗い画像である。そこで、撮像装置10は、画面の上部では蓄積された電荷がすべて掃出されるように掃出し時間を設定し、画面の下部では電荷掃出し時間を短く設定し、敢えて残留電荷を残して露光時間が長くなるようにする。
【0030】
例えば、画面内の明るさ(輝度)が128より大きい場合には、電荷がすべて掃出される掃出し時間を設定し、輝度が128以下の場合には、輝度の値に応じて掃出し時間を調整するようにしてもよい。すなわち、画面内の明るさが暗くなり輝度の値が小さくなるほど掃出し時間を短くして残留電荷を多く残すことにより、暗い部分に長時間露光したことと同様の効果を得ることができる。
【0031】
ここで、図2を参照して、シャッタの先幕と後幕について説明する。図2は、電子先幕シャッタと機械式シャッタの後幕の動作について説明する説明図である。図2にでは、右方向に時間の経過を表し、下方向に撮像素子のライン(Line)数を表している。ここで、Line[N]におけるNは、撮像素子の垂直方向の有効ライン数に相当する。また、撮像装置10を使用した撮影は、ライブビューモードからの静止画撮影で使用されることとする。
【0032】
先幕として電子シャッタを用いる場合には、撮像素子が備える各画素にリセット動作を行わせるリセット信号を画素ライン単位で順次に与えて、当該撮像素子に露光動作を開始させる。そして、設定された露光時間の経過後に幕体を走行させる機械的な遮光を行い当該撮像素子の露光動作を終了させる。撮像素子の露光動作が終了すると、撮像素子から画像データの読み出しが行われる。
【0033】
図2に示したように、機械式シャッタは、幕体の移動速度が一定ではなく、移動始端では比較的幕速が遅く、移動終端になるほど加速されて比較的幕速が速くなっている。また、温湿度の変化や姿勢差などによっても、幕速が変化する場合がある。そこで、撮像装置10では、先幕として用いる電子シャッタの幕速を機械式シャッタの幕速に合わせるようにしている。電子シャッタの幕速を機械式シャッタの幕速に合わせるとは、すなわち、電子先幕シャッタのリセット走査(露光開始走査)の走査カーブを、機械式シャッタの走行カーブとほぼ同じ形状とすることを意味する。
【0034】
図2に示したように、電子先幕シャッタの露光開始走査は、電荷掃出しパルスの発生により開始される。具体的には、電荷掃出しポインター(Pointer)により電荷が掃出されるラインアドレスが指定される。電荷掃出しパルスが「H」(H=High)となったときに、電荷掃出しポインターで指定されたラインの撮像素子がグランド(GND)に接続されて、当該画素に蓄積されていた電荷が掃出される。撮像素子に蓄積されていた電荷を掃出すことを、以降、電荷がリセットされるとも称する。
【0035】
上記したように、撮像装置10を用いた撮影は、ライブビューモードからの静止画撮影で使用される。したがって、電荷掃出しパルスが「H」となっている間にライブビューモードにおいて蓄積された電荷が掃出されることとなる。通常、電荷を完全に掃出すのに必要十分なパルス幅が設定されている。しかし、電荷掃出しパルスが「H」となっている時間が短い場合には、蓄積されていた電荷をすべて掃出す時間が不足して残留電荷が発生して残像現象が生じる。画像の暗い部分に対して、意図的に残留電荷を残すようにすることで、画像の暗い部分に長時間露光をしたことと同様の効果を得ることが可能となる。撮像装置10では、図2に示したように、電荷掃出し時間、すなわち、電荷掃出しパルスが「H」となる時間を可変にして、電荷を完全に掃出したり意図的に残留電荷を発生させたりして露光時間を調整している。
【0036】
図2では、撮像素子のLine[N]付近では、Line[0]よりもパルス幅が狭くなっている。Line[0]において電荷を完全に掃出すために必要なパルス幅が設定されており、Line[N]付近ではパルス幅を狭くして電荷掃出し時間を短くすることにより残留電荷を発生させている。したがって、Line[N]付近では、結果的に露光時間が長くなり、画像の暗い部分を明るくすることが可能となる。
【0037】
撮像装置10は、画面の領域ごとまたはラインごとの測光値をもとに、白飛びしている領域や黒くつぶれている領域など被写体の撮像シーン(撮像状態)を検出する。そして検出した撮像シーンに応じて電荷掃出し時間を調整している。例えば、検知した撮影シーンの上部が明るく下部が暗い場合には、電子先幕の移動始端(Line[0]付近)では電荷をすべて掃出すのに必要十分なパルス幅を設定する。また、電子先幕の移動終端(Line[N]付近)では、残留電荷が残るようにLine[0]付近より狭いパルス幅を設定する。このように、撮像装置10によれば、撮影シーンに応じて電荷掃出し時間を調整して、ダイナミックレンジの広い撮影をすることが可能となる。
【0038】
さらに、領域ごとの測光値をもとに、部分的に感度(ゲイン)を変更するようにしてもよい。例えば、白飛びする画面領域と黒くつぶれてしまう画面領域の割合や、コントラスト、それぞれの位置などから、1画面の領域ごとに電子先幕シャッタにより露光時間を調整するか、感度を変更(ゲイン変更)するかのいずれかまたは両方により調整するようにしてもよい。これにより、ダイナミックレンジの広い、良好な画像を取得することが可能となる。
【0039】
〔3〕撮像装置の機能構成
以上、撮像装置10の概要について説明した。次に、図3を参照して、撮像装置10の機能構成について説明する。図3は、撮像装置10の機能構成を示すブロック図である。図3に示したように、撮像装置10は、CMOS102、シャッタ104a、104b(以降、シャッタユニット104とも称する)、AFE(Analog Front End:アナログフロントエンド)106、TG(タイミングジェネレータ)108、撮像信号処理部110、メモリコントローラ112、メモリ114、メモリコントローラ116、AE/AF/AWB120、CPU122、LCD/Image Output(LCD/IO)124、LCD126、RAMテーブル130、シャッタドライバ132、レンズユニット15などを備える。
【0040】
CMOS102は、本発明のマトリクス状に配列された複数の画素を有する撮像素子の一例であり、レンズユニット15から入射された光を電気信号に変換するための素子である。詳しくは、CMOS102は、レンズユニット15により結像された被写体の光像をR(赤)、G(緑)、B(青)の各色成分のアナログの電気信号(画像信号)に変換し、R、G、B各色の画像信号として出力する。本実施形態においては、CMOS102の各画素に所定のタイミングでリセット信号を与えることで、CMOS102の露光動作を開始させて電子先幕シャッタとして機能させている。
【0041】
シャッタユニット104は、CMOS102の所定の画素ラインの垂直方向に移動する幕体を備え、CMOS102に露光される光の遮断動作を行う後幕として機能する。シャッタユニット104の動作は、シャッタドライバ132により制御される。
【0042】
AFE106は、アナログ前段回路であり、CMOS102から出力されたアナログの電気信号を撮像信号処理部110に提供する。TG(タイミングジェネレータ)108は、CMOS102におよびAFE106にタイミング信号を入力する機能を有する。TG108からのタイミング信号によりシャッタ速度が決定される。つまり、TG108からのタイミング信号によりCMOS102の駆動が制御され、CMOS102が駆動する時間内に被写体からの映像光を入射することで、画像データの基となる電気信号が生成される。
【0043】
撮像信号処理部110は、AFE106から出力されたアナログの電気信号をデジタル信号に変換した画像の生データを生成する機能を有する。また、撮像信号処理部110は、CMOS102から得られる画像の生データに対して、光量のゲイン補正やホワイトバランスを調整する。メモリコントローラ112は、撮影した画像をメモリ114に一時的に記憶させたり、記憶された画像を読み出したりする機能を有する。メモリ114は、複数の画像を記憶だけるだけの記憶容量を有している。メモリ114としては、例えば、SDRAM(Synchronous Dynamic Random Access Memory)を用いてもよい。
【0044】
メモリカードコントローラ116は、メモリカード118に撮影された画像や合成された画像を記録させる機能を有する。メモリカード118は、フラッシュメモリにデータを記録するカード型の記憶装置である。
【0045】
AE/AF/AWB120は、撮像時における周辺光量(明るさ)や、焦点距離、絞り値(フォーカス)、色温度などを検知して、検知結果をCPU122に提供する機能を有する。CPU122は、CMOS102やTG108などに対して信号系の命令を行ったり、操作部150に対する操作系の命令を行ったりする。本実施形態では、信号系の命令と走査系の命令を1つのCPU122で行っているが、かかる例に限定されず、2つのCPUでそれぞれ実行するようにしてもよい。CPU122による電子シャッタによる先幕とメカニカルシャッタによる後幕の制御については後で詳細に説明する。
【0046】
LCD126は、撮影操作する前のライブビュー表示や、撮像装置10の各種設定画面や、撮像した画像を表示する機能を有する。また、TV128は、撮像した画像などをテレビジョン受像機の画面に表示する機能を有する。画像データ等のLCD126やTV128への表示は、LCD/IO(ImageOutput)124を介して表示される。
【0047】
RAMテーブル130は、本発明の走査テーブルを記憶しているテーブルである。RAMテーブル130には、予め複数の走査パターンを記憶しておき撮像シーンに応じた走査パターンを選択するようにしてもよい。また、基準となる走査パターンをRAMテーブル130に記憶させておき、撮像シーンの周辺光量等の値と基準値との差異に応じて走査パターンを変更させるようにしてもよい。走査パターンは、電子先幕シャッタによるリセットタイミング(露光開始タイミング)を出力するタイミングである。本実施形態では、電子先幕シャッタのリセット走査の走査カーブを、機械式の後幕シャッタの走行カーブとほぼ同じ形状としている。
【0048】
また、RAMテーブル130には、撮像素子の電荷蓄積量と蓄積した電荷を掃出すのに要する時間特性が記憶されている。また、撮影画像の輝度などの撮像シーンに応じた電荷掃出し時間の割合を記憶してもよい。例えば、撮像素子に蓄積した電荷をすべて掃出すのに要する時間を基準時間とし、輝度値と基準時間に対する減算割合との関係を示すテーブルを記憶する。これにより、基準時間と減算割合とを用いて撮像シーンに応じた電荷掃出し時間の調整を行うことが可能となる。
【0049】
また、走査パターンを記憶するRAMテーブル130に代えて、関数発生回路(図示せず)を搭載してもよい。この場合、関数は、単純に2次関数で表現する方法や、1次関数で補間していく方法などが挙げられる。関数発生回路により走査タイミングを出力することにより、搭載回路を小さくすることができる。
【0050】
操作部150は、撮像装置10の操作を行ったり、撮像時の各種の設定を行ったりするための部材が配置されている。操作部150に配置される部材には、電源ボタン、撮影モードや撮影ドライブモードの選択および効果パラメータを設定する十字キーおよび選択ボタン、被写体の撮影動作を開始するシャッタボタン等を含んでいてもよい。
【0051】
次に、図4を参照して、CPU122による先幕と後幕の制御について説明する。図4は、CPU122の構成を示すブロック図である。図4に示したようにCPU122は、検出部202、走査制御部204、動作制御部206、ゲイン調整部208などを備える。
【0052】
検出部202は、被写体の撮像状態を検出する機能を有する。具体的には、検出部202は、AE/AF/AEBなどの各種センサ120により検知された周辺光量(明るさ)や、焦点距離、絞り値、色温度などから撮像状態(撮像シーン)を検出し、撮影シーンが画像を再現する際に適切なダイナミックレンジの範囲内となるか否かを検出する。例えば、露光過多で白飛びしてしまっていたり、露光不足で黒くつぶれてしまったりという、再現できない画像があるか否かを検出する。
【0053】
ここで、図5および図6を参照して、検出部202による撮像シーンの検出について説明する。図5および図6は、検出部202による撮像シーンの検出について説明する説明図である。図5は、画像の上部がいわゆる白飛びを起こし、青空が再現できていない画像である。検出部202は、画面71内で白飛びしている領域を求める。例えば、説明図72に示したように、画面71を所定の領域に分割して、白飛びしている領域を求めるようにしてもよい。この場合、画面71の上部4つの領域が白飛びしている領域、すなわちダイナミックレンジの上限を超えている領域であることを検出する。
【0054】
また、図6に示したヒストグラム73により画面内の白飛びしている領域を求めるようにしてもよい。ヒストグラム73では、右側に大きな山が現れている。すなわち、画面の一部に特に白飛びしている領域があることがわかる。撮像装置10では、後述する走査制御部204により撮像素子の露光量を制御することにより、画面の領域またはラインごとの露光時間を補正して、白飛びしている領域の露出を抑えることが可能となる。
【0055】
図4に戻り、CPU122の構成についての説明を続ける。走査制御部204は、後述する動作制御部206による幕体の走行に先行して、CMOS102に蓄積された電荷を掃出すことによりCMOS102の露光を開始する。走査制御部204は、検出部202により検出された被写体の撮像状態に応じて、撮像素子に蓄積された電荷を掃出すための掃出し時間を調整する。走査制御部204は、走査パターン記憶部(RAMテーブル)130に記憶されている走査パターンに基づいてCMOS102に蓄積された電荷を掃出す。
【0056】
また、走査パターン記憶部130に記憶されている電荷掃出し時間の割合をもとに、CMOS102に蓄積された電荷を掃出すための掃出し時間を調整する。CMOS102に蓄積された電荷を掃出すための掃出し時間は、電荷掃出しパルスのパルス幅を調整することにより可変とすることができる。
【0057】
ここで、図7および図8を参照して、撮像シーンと電荷掃出しパルスのパルス幅との関係について説明する。図7および図8は、撮像シーンと電荷掃出しパルスのパルス幅との関係について説明する説明図である。図7に示したように、撮像素子のLine[0]〜Line[M]までは、撮像素子に蓄積された電荷をすべて掃出す(残留電荷ゼロ)完全掃出し領域となっている。また、撮像素子のLine[M]〜Line[N]までは、撮像素子に蓄積された電荷を意図的に残留させる(残留電荷有り)不完全掃出し領域となっている。
【0058】
Line[0]〜Line[M]までの完全掃出し領域では、電荷掃出しパルスのパルス幅は一定の幅となっており、CMOS102に蓄積された電荷を掃出すのに必要十分なパルス幅が設定されている。また、Line[M]〜Line[N]までの不完全掃出し領域では、Line[0]〜Line[M]で設定されたパルス幅より短いパルス幅が設定されて、蓄積された電荷が残留するパルス幅となっている。さらに、Line[M]からLine[N]までライン数が増える毎にパルス幅が狭くなっている。上記したようにパルス幅を狭くすることにより、より多くの電荷が撮像素子に残留して、より長時間露光したと同様の効果を得ることができる。
【0059】
例えば、撮像装置10では、撮像画像の下部から上部に向かって露光開始走査が行われる。撮像画像の上部が暗くなっている、すなわち、撮像画像の上部の輝度値が低い場合には、図7に示したように、撮像画像の上部のLineにおけるパルス幅を撮像画像の下部のLineにおけるパルス幅より狭くして、撮像画像の上部の暗くなっている部分の露光時間を長くすることができる。
【0060】
例えば、画面の明るさ(輝度)を0〜255の256段階で表す場合には、輝度値が128以上の場合は適正露光であると判断して、残留電荷がゼロとなるようにパルス幅を設定する。一方、輝度が128より小さい値である場合には、暗い画像であると判断して、蓄積された電荷が残留するように完全掃出し領域のパルス幅より狭いパルス幅を設定する。さらに、輝度が128より小さい値である場合には、輝度の値に対するパルス幅の減算割合を設定して、輝度が小さくなるほどパルス幅が狭くなるようにする。これにより、ライン毎に露光時間を調整して、ダイナミックレンジの広い良好な画像を得ることが可能となる。
【0061】
また、撮像画像の下部が暗くなっている、すなわち、撮像画像の下部の輝度値が低い場合には、図8に示したように、撮像画像の下部のLineにおけるパルスは場を撮像画像の上部のLineにおけるパルス幅より狭くして、撮像画像の下部の暗くなっている部分の露光時間を長くすることができる。
【0062】
図8では、撮像素子のLine[M]〜Line[N]までは、撮像素子に蓄積された電荷を意図的に残留させる(残留電荷有り)不完全掃出し領域となっている。また、撮像素子のLine[0]〜Line[M]までは、撮像素子に蓄積された電荷をすべて掃出す(残留電荷ゼロ)完全掃出し領域となっている。
【0063】
また、Line[M]〜Line[N]までの不完全掃出し領域では、Line[0]〜Line[M]で設定されたパルス幅より短いパルス幅が設定されて、蓄積された電荷が残留するパルス幅となっている。さらに、Line[M]からLine[N]までライン数が増える毎にパルス幅が狭くなっている。上記したようにパルス幅を狭くすることにより、より多くの電荷が撮像素子に残留して、より長時間露光したと同様の効果を得ることができる。一方、Line[0]〜Line[M]までの完全掃出し領域では、電荷掃出しパルスのパルス幅は一定の幅となっており、CMOS102に蓄積された電荷を掃出すのに必要十分なパルス幅が設定されている。
【0064】
図4に戻り、動作制御部206は、CMOS102を遮光するように走行する幕体の動作を制御する機能を有する。動作制御部206は、シャッタドライバ132を介して幕体の動作を制御する。動作制御部206は、走査制御部204の制御により、CMOS102に露光動作を開始させた後、設定された露光時間の経過後に幕体を走行させることにより、機械的な遮光を行いCMOS102の露光動作を終了させる。
【0065】
走査制御部204は、CMOS102の露光開始走査を、走査パターンに基づいてリセット信号を各画素に与えることによりCMOS102の露光を開始するシャッタの先幕として機能させる。そして、動作制御部206は、CMOS102を遮光する幕体をシャッタの後幕とて機能させる。また、走査制御部204は、撮像シーンに応じてリセット信号のパルス幅を調整する。このように、走査制御部204が撮像シーンに応じたリセット信号のパルス幅に基づいて電子先幕シャッタを制御し、動作制御部206がメカ後幕シャッタを制御することにより、ライン毎または領域毎に露出を調整することが可能となる。
【0066】
ゲイン調整部208は、走査制御部204により、CMOS102の各画素の読み出し操作が制御された場合に、走査制御部204によるCMOS102の水平方向の画素の読み出しに同期させて所定の領域ごとにゲインを調整する機能を有する。ゲイン調整部208は、CMOS102の画素単位でゲインを調整し、CMOS102の水平方向の画素の読み出し位置に同期させてゲインの変化幅を示す所定の関数に基づいてゲインを調整する。
【0067】
例えば、ゲイン調整部208は、CMOS102内で水平方向に複数の領域、または画素単位の読み出し回路が搭載され、その各々に利得調整アンプが備わっている場合には、該アンプのゲインを領域毎に調整する。また、AFE106内にあるゲイン調整回路の利得を、水平方向の画素読み出しに同期させて変更させるようにしてもよい。この場合、水平位置に合わせてゲインを提示する回路は、AFE106内部にあってもよいし、外部の撮像信号処理部110やTG108にもたせるようにしてもよい。また、ゲイン調整部208は、撮像信号処理部110内にあるゲイン調整回路の利得を、水平方向の画素読み出しに同期させて変更させるようにしてもよい。この場合、水平方向の位置によるゲインの変化量を提供する回路を撮像信号処理部110にもたせる。
【0068】
本実施形態では、ゲイン調整部208により所定の領域または画素ごとにゲインを調整したが、かかる例に限定されず、領域単位でガンマカーブを変更するようにしてもよい。ガンマカーブは、入力される映像の信号レベルと出力される映像の明るさとの比率を表した特性曲線である。CPU122は、このガンマカーブを調整することにより画面の露出を調整してもよい。
【0069】
ここで、図9を参照して、ゲインの調整やシャッタの調整について説明する。図9は、ゲインおよびシャッタの調整について説明する説明図である。図9のグラフ81は、水平方向に利得を変えた例である。グラフ81によれば、例えば、画面の右側部分の利得を変更して、露出を調整している。また、グラフ82は、垂直方向にシャッタのスリット幅を変更させた例である。すなわち、電子先幕シャッタの露出開始タイミングをラインごとに変更して、シャッタのスリット幅を変更させている。グラフ82によれば、例えば、画面の上部でスリット幅を狭くしている。
【0070】
また、グラフ83は、垂直方向にシャッタのスリット幅を広げた例である。グラフ83によれば、グラフ82の場合に比べて、画面の下部のスリット幅が広がり、暗部の露光量が多くなっている。このように、撮像装置10によれば、電子先幕シャッタの露出開始タイミングをラインごとに変更して、シャッタのスリット幅を変えることにより垂直方向の露光量を調整することができる。さらに、シャッタのスリット幅を変えるだけでは調整しきれない水平方向の露光量については、水平方向に利得を変更して調整することが可能となる。したがって、より細かく露出を調整することができる。
【0071】
〔4〕撮像装置の動作の詳細
以上、撮像装置10の機能構成について説明した。次に、図10Aおよび図10Bを参照して、撮像装置10の動作の詳細について説明する。図10Aはおよび図10Bは、垂直および水平方向の画像補正の処理を示すフローチャートである。図10Aに示したように、まず、検出部202は、画面内の分割領域毎の測光データを取得する(S102)。そして、ステップS102において取得した分割領域毎の測光データをもとに、垂直方向のヒストグラムと、水平方向のヒストグラムを算出する(S104)。
【0072】
ステップS104において算出した垂直/水平方向のヒストグラムから、水平方向および垂直方向の輝度分布やコントラストなどを分析する(S106)。そして、ステップS104において算出したヒストグラムから、被写体(撮影シーン)を認識する(S108)。ステップ108においては、AE情報だけでなく、AF/AWB情報を利用してもよい。
【0073】
そして、ステップS108において認識した撮影シーンがダイナミックレンジ(Dレンジ)内であるか否かを判定する(S110)。
【0074】
ステップS110において、画面内の撮影シーンがダイナミックレンジ内ではないと判定された場合には、ステップS102において取得した測光データを用いて、分割測光アルゴリズムにしたがって露出を算出する(S112)。そして、設定されているモードに応じて絞り値とシャッタスピードを決定する(S114)。そして、電子先幕の露光走査とメカ後幕シャッタの遮光動作により、撮像素子(CMOS)102に露光されて蓄積された電荷を読み出して、撮影したり、画像の取り込みをしたりする(S116)。
【0075】
ステップS110において、画面内の撮影シーンがダイナミックレンジ内ではないと判定された場合には、次に、カメラの縦/横を検出する(S118)。ステップS118においては、ユーザがカメラを縦に構えたか、横に構えたかを検出する。この場合、撮像装置10には、筐体の縦横を検知するセンサが搭載されており、該センサによりカメラの縦横を検出することができる。
【0076】
ステップS118において、カメラが縦位置であると判定された場合には、縦位置対応のための基本パラメータを変更する(S120)。具体的には、画面の分割数や、分割範囲、分割比率、利得やシャッタによる調整手段の重み付けなどを変更する。ステップS120において基本パラメータを変更するのは、撮像装置10の画面が長方形である場合、カメラが縦か横かで画面の分割比や面積が異なってくるためである。また、シャッタにより露出を調整する場合には、横位置か縦位置かでシャッタの幕速度が異なってくるため、幕速度に応じて電子先幕の走査速度を変更する必要がある。
【0077】
そして、検出部202は、画面内において白飛びしている領域を求める(S122)。さらに、画面内において黒くつぶれている(黒つぶれ)領域を求める(S124)。
【0078】
図10Bを参照して、説明を続ける。走査制御部204は、ステップS122およびステップS124において求められた白飛び/黒つぶれの情報から、画面内の垂直方向の補正すべき領域と補正量を決定する(S126)。そして、ステップS126において決定された補正すべき領域と補正量から、電荷掃出しパルスのパルス幅を調整して補正する領域と補正量を決定する(S128)。次に、ゲイン調整やガンマカーブにより補正する領域と補正量を決定する(S130)。
【0079】
そして、ステップS128において決定した補正領域と補正量により、電子先幕シャッタの電荷掃出し量の値を書き換え、ステップS130において決定した補正領域と補正量により水平ゲインテーブルの値を書き換える(S132)。電子先幕シャッタの電荷掃出し量の値を書き換えるとは、電荷掃出しパルスのパルス幅の値を書き換えることを意味する。
【0080】
そして、予め設定された走査テーブルの値に基づいて、電子先幕シャッタを動作させ、ステップS132において書き換えた電荷掃出しパルスのパルス幅を用いて露光を開始する(S134)。ステップS134において露光が開始され、メカ後幕シャッタの遮光動作によりCMOS102に蓄積された電荷の読み出しに同期させて横方向のゲインを補正する(S136)。
【0081】
以上、垂直および水平方向の画像補正の処理について説明した。図10Aおよび図10Bに示したように、撮像装置10によれば、電子先幕シャッタの電荷掃出しパルスのパルス幅を変更して垂直方向の露光量を調整することができる。さらに、シャッタのスリット幅の調整だけでは補正しきれない水平方向の露光量についても、水平方向の利得を調整して補正することが可能となる。
【0082】
以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。
【0083】
例えば、本明細書の撮像装置10の処理における各ステップは、必ずしもフローチャートとして記載された順序に沿って時系列に処理する必要はない。すなわち、撮像装置10の処理における各ステップは、異なる処理であっても並列的に実行されてもよい。
【0084】
また、撮像装置10などに内蔵されるCPU、ROMおよびRAMなどのハードウェアを、上述した撮像装置10の各構成と同等の機能を発揮させるためのコンピュータプログラムも作成可能である。また、該コンピュータプログラムを記憶させた記憶媒体も提供される。
【符号の説明】
【0085】
10 撮像装置
102 撮像素子(CMOS)
104a、104b シャッタ
202 検出部
204 走査制御部
206 動作制御部
208 ゲイン調整部
【特許請求の範囲】
【請求項1】
マトリクス状に配列された複数の画素を有する撮像素子を備え、前記撮像素子に露光して被写体を撮像する撮像装置であって、
被写体の撮像状態を検出する検出部と、
前記撮像素子を遮光するように走行する幕体の動作を制御する動作制御部と、
前記幕体の走行に先行して、前記撮像素子に蓄積された電荷を掃出すことにより前記撮像素子の露光開始走査を制御する走査制御部と、
を備え、
前記走査制御部は、前記被写体の撮像状態に応じて、前記撮像素子に蓄積された電荷を掃出すための掃出し時間を調整することを特徴とする、撮像装置。
【請求項2】
前記走査制御部は、
前記撮像素子の露光開始走査を、前記撮像素子に蓄積された電荷を掃出すことにより前記撮像素子の露光を開始するシャッタの先幕として機能させ、
前記動作制御部は、前記撮像素子を遮光する前記幕体を、前記シャッタの後幕として機能させることを特徴とする、請求項1に記載の撮像装置。
【請求項3】
前記検出部は、前記被写体の撮像状態が画像を再現する際に適切なダイナミックレンジの範囲内となるか否かを検出し、
前記走査制御部は、前記検出部により前記被写体の撮像状態が適切なダイナミックレンジ外であることが検出された場合に、前記撮像素子に蓄積された電荷を掃出すための掃出し時間を調整することを特徴とする、請求項1に記載の撮像装置。
【請求項4】
前記走査制御部は、
前記幕体の走行カーブに対応するように、前記撮像素子に蓄積された電荷を掃出すための掃出しパルスを発生させ、
前記被写体の撮像状態に応じて、前記掃出しパルスのパルス幅を調整することを特徴とする、請求項1に記載の撮像装置。
【請求項5】
前記走査制御部は、
前記撮像素子のラインごとに前記掃出しパルスのパルス幅を調整することを特徴とする、請求項4に記載の撮像装置。
【請求項6】
前記走査制御部は、
前記撮像素子の領域ごとに前記掃出しパルスのパルス幅を調整することを特徴とする、請求項4に記載の撮像装置。
【請求項7】
前記走査制御部は、
被写体の輝度情報に応じて、前記掃出し時間を調整することを特徴とする、請求項1に記載の撮像装置。
【請求項8】
前記走査制御部は、
前記被写体の輝度が所定の基準値より低い場合に、前記掃出し時間を予め設定された掃出し時間より短くすることを特徴とする、請求項7に記載の撮像装置。
【請求項9】
前記走査制御部は、
前記被写体の輝度が所定の基準値より低い場合に、前記被写体の輝度に応じて段階的に掃出し時間を短くすることを特徴とする、請求項8に記載の撮像装置。
【請求項10】
前記走査制御部は、前記撮像素子の各画素の読み出し走査を制御し、
前記走査制御部による前記撮像素子の水平方向の画素の読み出しに同期させて所定の領域ごとにゲインを調整するゲイン調整部を備えることを特徴とする、請求項1に記載の撮像装置。
【請求項11】
マトリクス状に配列された複数の画素を有する撮像素子に露光して被写体を撮像する撮像方法であって、
被写体の撮像状態を検出するステップと、
前記被写体の撮像状態に応じて、前記撮像素子に蓄積された電荷を掃出すための掃出し時間を調整して前記撮像素子の露光を開始させるステップと、
前記撮像素子の露光開始後に前記撮像素子を遮光するように走行する幕体を動作させるステップと、
を含むことを特徴とする、撮像方法。
【請求項1】
マトリクス状に配列された複数の画素を有する撮像素子を備え、前記撮像素子に露光して被写体を撮像する撮像装置であって、
被写体の撮像状態を検出する検出部と、
前記撮像素子を遮光するように走行する幕体の動作を制御する動作制御部と、
前記幕体の走行に先行して、前記撮像素子に蓄積された電荷を掃出すことにより前記撮像素子の露光開始走査を制御する走査制御部と、
を備え、
前記走査制御部は、前記被写体の撮像状態に応じて、前記撮像素子に蓄積された電荷を掃出すための掃出し時間を調整することを特徴とする、撮像装置。
【請求項2】
前記走査制御部は、
前記撮像素子の露光開始走査を、前記撮像素子に蓄積された電荷を掃出すことにより前記撮像素子の露光を開始するシャッタの先幕として機能させ、
前記動作制御部は、前記撮像素子を遮光する前記幕体を、前記シャッタの後幕として機能させることを特徴とする、請求項1に記載の撮像装置。
【請求項3】
前記検出部は、前記被写体の撮像状態が画像を再現する際に適切なダイナミックレンジの範囲内となるか否かを検出し、
前記走査制御部は、前記検出部により前記被写体の撮像状態が適切なダイナミックレンジ外であることが検出された場合に、前記撮像素子に蓄積された電荷を掃出すための掃出し時間を調整することを特徴とする、請求項1に記載の撮像装置。
【請求項4】
前記走査制御部は、
前記幕体の走行カーブに対応するように、前記撮像素子に蓄積された電荷を掃出すための掃出しパルスを発生させ、
前記被写体の撮像状態に応じて、前記掃出しパルスのパルス幅を調整することを特徴とする、請求項1に記載の撮像装置。
【請求項5】
前記走査制御部は、
前記撮像素子のラインごとに前記掃出しパルスのパルス幅を調整することを特徴とする、請求項4に記載の撮像装置。
【請求項6】
前記走査制御部は、
前記撮像素子の領域ごとに前記掃出しパルスのパルス幅を調整することを特徴とする、請求項4に記載の撮像装置。
【請求項7】
前記走査制御部は、
被写体の輝度情報に応じて、前記掃出し時間を調整することを特徴とする、請求項1に記載の撮像装置。
【請求項8】
前記走査制御部は、
前記被写体の輝度が所定の基準値より低い場合に、前記掃出し時間を予め設定された掃出し時間より短くすることを特徴とする、請求項7に記載の撮像装置。
【請求項9】
前記走査制御部は、
前記被写体の輝度が所定の基準値より低い場合に、前記被写体の輝度に応じて段階的に掃出し時間を短くすることを特徴とする、請求項8に記載の撮像装置。
【請求項10】
前記走査制御部は、前記撮像素子の各画素の読み出し走査を制御し、
前記走査制御部による前記撮像素子の水平方向の画素の読み出しに同期させて所定の領域ごとにゲインを調整するゲイン調整部を備えることを特徴とする、請求項1に記載の撮像装置。
【請求項11】
マトリクス状に配列された複数の画素を有する撮像素子に露光して被写体を撮像する撮像方法であって、
被写体の撮像状態を検出するステップと、
前記被写体の撮像状態に応じて、前記撮像素子に蓄積された電荷を掃出すための掃出し時間を調整して前記撮像素子の露光を開始させるステップと、
前記撮像素子の露光開始後に前記撮像素子を遮光するように走行する幕体を動作させるステップと、
を含むことを特徴とする、撮像方法。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10A】
【図10B】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10A】
【図10B】
【公開番号】特開2011−135171(P2011−135171A)
【公開日】平成23年7月7日(2011.7.7)
【国際特許分類】
【出願番号】特願2009−290774(P2009−290774)
【出願日】平成21年12月22日(2009.12.22)
【出願人】(390019839)三星電子株式会社 (8,520)
【氏名又は名称原語表記】Samsung Electronics Co.,Ltd.
【住所又は居所原語表記】416,Maetan−dong,Yeongtong−gu,Suwon−si,Gyeonggi−do,Republic of Korea
【Fターム(参考)】
【公開日】平成23年7月7日(2011.7.7)
【国際特許分類】
【出願日】平成21年12月22日(2009.12.22)
【出願人】(390019839)三星電子株式会社 (8,520)
【氏名又は名称原語表記】Samsung Electronics Co.,Ltd.
【住所又は居所原語表記】416,Maetan−dong,Yeongtong−gu,Suwon−si,Gyeonggi−do,Republic of Korea
【Fターム(参考)】
[ Back to top ]