撮像装置、撮像方法及びプログラム
【課題】撮像素子からの画像信号の読出し処理に係る負担を軽減しながら、画像全体にわたって良好な露出状態の撮像を実現する。
【解決手段】撮像面に入射される被写体像に応じて画素単位で電荷を蓄積し、蓄積した電荷量に対応した画像信号を出力するCMOSイメージセンサ13と、画像処理部14を介して該イメージセンサ13の画素毎に露光量を取得し、得た画素毎の露光量により1回の露光期間中で該イメージセンサ13の画素毎に露光時間を調整してCMOSドライバ23を介して駆動し、該イメージセンサ13から画像信号を得る制御部17、メインメモリ18及びプログラムメモリ19と、該イメージセンサ13から得た1画面分の画像信号を記憶するバッファメモリ15とを備える。
【解決手段】撮像面に入射される被写体像に応じて画素単位で電荷を蓄積し、蓄積した電荷量に対応した画像信号を出力するCMOSイメージセンサ13と、画像処理部14を介して該イメージセンサ13の画素毎に露光量を取得し、得た画素毎の露光量により1回の露光期間中で該イメージセンサ13の画素毎に露光時間を調整してCMOSドライバ23を介して駆動し、該イメージセンサ13から画像信号を得る制御部17、メインメモリ18及びプログラムメモリ19と、該イメージセンサ13から得た1画面分の画像信号を記憶するバッファメモリ15とを備える。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、例えばCMOSイメージセンサを用いたデジタルカメラ等に好適な撮像装置、撮像方法及びプログラムに関する。
【背景技術】
【0002】
従来、電子スチルカメラで1回の露光中、撮像素子から複数回の非破壊読出しを行なった上で画像合成を行ない、露出条件がより好ましい撮影画像を取得する技術が考えられている。(例えば、特許文献1)
【特許文献1】特開10−173988号公報
【発明の開示】
【発明が解決しようとする課題】
【0003】
上記特許文献1に記載された技術では、画面中の複数の領域毎に異なる露出条件の画像を部分的に採用して画像全面で良好な露出条件を得るべく、1回の露光中に全画面に渡る非破壊読出し動作を複数回繰返し実行する。そのため、信号の読出しに係る処理の負担が大きいという問題があった。
【0004】
本発明は上記のような実情に鑑みてなされたもので、その目的とするところは、撮像素子からの画像信号の読出し処理に係る負担を軽減しながら、画像全体にわたって良好な露出状態の撮像を実現可能な撮像装置、撮像方法及びプログラムを提供することにある。
【課題を解決するための手段】
【0005】
請求項1記載の発明は、撮像面に入射される被写体像に応じて画素単位で電荷を蓄積し、蓄積した電荷量に対応した画像信号を出力する撮像素子と、上記撮像素子の撮像面を分割する複数のエリア毎に露光量を取得する露光量取得手段と、上記露光量取得手段で得た複数のエリア毎の露光量により、1回の露光期間中で上記撮像素子の複数のエリア毎に露光時間を調整して駆動し、撮像素子から画像信号を得る露光制御手段と、上記撮像素子から得た1画面分の画像信号を記憶する記憶手段とを具備したことを特徴とする。
【0006】
請求項2記載の発明は、上記請求項1記載の発明において、上記露光量取得手段は、上記露光制御手段により上記撮像素子の複数のエリア同時に1回の露光を開始してから予め設定されたタイミングで、上記撮像素子での露光に基づく電荷の蓄積を阻害しない非破壊読出しにより露光量を取得することを特徴とする。
【0007】
請求項3記載の発明は、上記請求項1記載の発明において、上記露光量取得手段は、上記露光制御手段により上記撮像素子の複数のエリア同時に露光を開始してから一定時間周期で上記撮像素子での露光に基づく電荷の蓄積を阻害しない非破壊読出しにより複数のエリア毎の露光量を取得し、上記露光制御手段は、上記露光量取得手段で得る複数のエリア毎の露光量により、露光量が所定値に達したタイミングでエリアから画像信号を出力させることを特徴とする。
【0008】
請求項4記載の発明は、上記請求項1記載の発明において、上記露光量取得手段は、上記露光制御手段による露光時間を調整する本撮影の露光動作に先立つ事前露光時に上記撮像素子を分割する複数のエリア同時に予め設定される時間だけ露光して撮像素子から画像信号を得ることでエリア毎の露光量を取得し、上記露光制御手段は、上記露光量取得手段で得た複数のエリア毎の露光量により本撮影の露光時に上記複数のエリア毎に露光を開始するタイミングを可変することで露光時間を調整し、上記複数のエリアから蓄積した電荷量に対応した画像信号を得るタイミングを略一致させることを特徴とする。
【0009】
請求項5記載の発明は、上記請求項1記載の発明において、上記撮像素子への被写体像の入射を開閉制御するシャッタ機構と、上記シャッタ機構により上記露光制御手段による撮影露光の直前に上記撮像素子への入射を遮断した状態で上記撮像素子の複数のエリア毎の暗電流を測定する測定手段と、上記測定手段での測定結果により上記記憶手段で記憶する画像信号を複数のエリア毎に補正する補正手段とをさらに具備したことを特徴とする。
【0010】
請求項6記載の発明は、上記請求項4記載の発明において、上記撮像素子への被写体像の入射を開閉制御するシャッタ機構をさらに具備し、上記露光制御手段は、上記撮像素子の複数のエリアからの画像信号の出力タイミングに応じて上記シャッタ機構で上記撮像素子への入射を遮断させることを特徴とする。
【0011】
請求項7記載の発明は、上記請求項2記載の発明において、上記撮像素子の少なくとも1エリアでの露光時間を決定する露光時間決定手段をさらに具備し、上記露光量取得手段は、上記露光時間決定手段で決定した露光時間の終了タイミングより速いタイミングで上記非破壊読出しにより露光量を取得することを特徴とする。
【0012】
請求項8記載の発明は、上記請求項1記載の発明において、上記複数のエリアは上記撮像素子の撮像面を構成する画素単位とすることを特徴とする。
【0013】
請求項9記載の発明は、上記請求項1記載の発明において、上記露光制御手段は、1回の露光期間中で最大となる露光量を上記撮像素子の受光容量に合わせて制限することを特徴とする。
【0014】
請求項10記載の発明は、上記請求項1記載の発明において、上記露光制御手段は、露光量が多い側の少なくとも1つのエリアの露光時間を上記撮像素子の受光容量に対応させることを特徴とする。
【0015】
請求項11記載の発明は、上記請求項1記載の発明において、上記記憶手段に記憶した画像信号を複数のエリア毎に輝度調整する輝度調整手段をさらに具備したことを特徴とする。
【0016】
請求項12記載の発明は、上記請求項11記載の発明において、上記輝度調整手段は、露光時間と露光量とに基づいて画像信号を複数のエリア毎に輝度調整することを特徴とする。
【0017】
請求項13記載の発明は、上記請求項1記載の発明において、上記露光制御手段は、上記露光量取得手段で得た複数のエリア毎の露光量の分布に対応して上記複数のエリア毎に露光時間を調整することを特徴とする。
【0018】
請求項14記載の発明は、上記請求項1記載の発明において、上記露光制御手段は、上記露光量取得手段で得た複数のエリア毎の露光量の分布に対応して最長露光時間を設定することを特徴とする。
【0019】
請求項15記載の発明は、上記請求項1記載の発明において、上記露光制御手段は、上記撮像素子の複数のエリア毎に露光の前後で電荷の蓄積をリセットすることを特徴とする。
【0020】
請求項16記載の発明は、上記請求項1記載の発明において、上記記憶手段は、画像信号及び複数のエリア毎の露光時間を対応付けて記憶することを特徴とする。
【0021】
請求項17記載の発明は、撮像面に入射される被写体像に応じて画素単位で電荷を蓄積し、蓄積した電荷量に対応した画像信号を出力する撮像素子を備えた撮像装置での撮像方法であって、上記撮像素子の撮像面を分割する複数のエリア毎に露光量を取得する露光量取得工程と、上記露光量取得工程で得た複数のエリア毎の露光量により、1回の露光期間中で上記撮像素子の複数のエリア毎に露光時間を調整して駆動し、撮像素子から画像信号を得る露光制御工程と、上記撮像素子から得た1画面分の画像信号を記憶する記憶工程と
を有したことを特徴とする。
【0022】
請求項18記載の発明は、撮像面に入射される被写体像に応じて画素単位で電荷を蓄積し、蓄積した電荷量に対応した画像信号を出力する撮像素子を備えた撮像装置が内蔵するコンピュータ用のプログラムであって、上記撮像素子の撮像面を分割する複数のエリア毎に露光量を取得する露光量取得ステップと、上記露光量取得ステップで得た複数のエリア毎の露光量により、1回の露光期間中で上記撮像素子の複数のエリア毎に露光時間を調整して駆動し、撮像素子から画像信号を得る露光制御ステップと、上記撮像素子から得た1画面分の画像信号を記憶する記憶ステップとをコンピュータに実行させることを特徴とする。
【発明の効果】
【0023】
本発明によれば、撮像素子からの画像信号の読出し処理に係る負担を軽減しながら、画像全体にわたって良好な露出状態の撮像を実現することが可能となる。
【発明を実施するための最良の形態】
【0024】
以下本発明をデジタルカメラに適用した場合の一実施形態について図面を参照して説明する。本実施形態では、撮像素子としてCMOS(Complementary Metal Oxide Semicinductor)イメージセンサを用いる。
図1は、本実施形態に係るデジタルカメラ10の回路構成を示すものである。同図で、レンズ光学系11によりメカニカルシャッタ12を介して、CMOSイメージセンサ13の撮像面上に被写体の光像が結像される。
【0025】
モニタ状態でこのCMOSイメージセンサ13での撮像により得た画像信号は画像処理部14に送られ、相関二乗サンプリングや自動ゲイン調整、A/D変換処理が実行された後に画素補間処理、γ補正処理を含むカラープロセス処理が施されてバッファメモリ15に一時的に保持される。
【0026】
このバッファメモリ15に保持された画像データが画像処理部14に読出されて表示部16へ送られ、モニタ画像として表示される。
【0027】
以上の動作をすべて制御部17が統括制御する。この制御部17はCPUで構成され、メインメモリ18、プログラムメモリ19と接続される。メインメモリ18は、SDRAM(シンクロナスDRAM)で構成される。プログラムメモリ19は、後述する撮影モード時の制御を含む動作プログラムやデータ等を記憶した不揮発性メモリで構成される。
【0028】
制御部17はプログラムメモリ19から必要なプログラムやデータ等を読出し、メインメモリ18に適宜一時的に展開記憶させながら、このデジタルカメラ10全体の制御動作を司る。
【0029】
上記制御部17は、キー操作部20から直接入力されるキー操作信号に対応して各種制御動作を実行するもので、システムバスSBを介して上記画像処理部14、表示部16の他、レンズ光学系駆動部21、フラッシュ駆動部22、CMOSドライバ23、メモリカード24、及び音声処理部25とも接続される。
【0030】
キー操作部20は、例えば電源キー、撮影モードキー、再生モードキー、メニューキー、カーソルキー、セットキー、シーンプログラムキー等を備える。
【0031】
レンズ光学系駆動部21は、制御部17からの制御信号を受けてレンズモータ(M)26を回転制御し、上記レンズ光学系11を構成する複数のレンズ中の一部、具体的にはフォーカスレンズ及びズームレンズの位置をそれぞれ光軸方向に沿って移動させる。
【0032】
またレンズ光学系駆動部21は、制御部17からの制御信号に基づいてステッピングモータで構成されるシャッタモータ27を回動駆動し、上記メカニカルシャッタ12の開閉制御を行なう。
【0033】
メカニカルシャッタ12は、静止画撮影時にCMOSイメージセンサ13の電子シャッタを閉じるタイミングに同期させて全閉状態とすることで、それ以上の露光動作が係属されるのを回避する。
【0034】
フラッシュ駆動部22は、静止画像撮影時に制御部17からの制御信号を受けて複数の白色高輝度LEDで構成されるフラッシュ部28を撮影タイミングに同期して点灯駆動する。
【0035】
メモリカード24は、カードコネクタCを介してこのデジタルカメラ10に着脱自在に装着される画像データ等の記録用のメモリである。
【0036】
音声処理部25は、PCM音源等の音源回路を備え、音声の録音時にはこのデジタルカメラ10の筐体前面に配設されたマイクロホン部29より入力された音声信号をデジタル化し、所定のデータファイル形式、例えばAAC(moving picture experts group−4 Advanced Audio Coding)形式でデータ圧縮して音声データファイルを作成し、上記メモリカード24へ送出する。
【0037】
一方、音声処理部25は、音声の再生時にメモリカード24から読出されてきた音声データファイルの圧縮を解いてアナログ化し、上記デジタルカメラ10の背面に設けられるスピーカ部30を駆動して、拡声放音させる。
【0038】
次に上記実施形態の動作について説明する。
なお、上記キー操作部20の一部を構成するシャッタキーは、2段階の操作ストロークを有するものとする。すなわち、シャッタキーを操作していない状態から、全ストロークの半分程度押圧操作する、所謂「半押し」状態で適度なクリック感が得られると共に、第1段階の操作状態をスイッチで検出して、AF(自動合焦)機能及びAE(自動露出)機能及びを働かせ、撮影条件として合焦距離とシャッタ速度、及び絞り値をロックする。
【0039】
この半押し状態からさらに続けて全ストローク分押圧操作する、所謂「全押し」状態となると、上記ロックした撮影条件での撮影を実行し、撮影により得た画像データをメモリカード24に記録する。
【0040】
図2は、静止画の撮影モード下で実行される基本的な処理内容を示すもので、その制御動作は制御部17がプログラムメモリ19に記憶されている動作プログラムをメインメモリ18に展開することで実行される。
【0041】
同図では、まずモニタ状態で所定のフレームレート、例えば30[フレーム/秒]により被写体像を撮影して表示部16でスルー画像表示した後(ステップS101)、キー操作部20のシャッタキーが半押し操作されたか否かを判断する(ステップS102)、という処理を繰返し実行することで、スルー画像の表示を行ないながらシャッタキーが半押し操作されるのを待機する。
【0042】
このとき、スルー画像は上記フレームレートに対応して充分に速いシャッタ速度、例えば1/125[秒]に固定されて撮影されるもので、AE機能による絞り値の可変制御及びAF機能による画像中の所定位置での合焦制御が実行される。
【0043】
キー操作部20のシャッタキーが半押し操作されると上記ステップS102でそれを判断し、あらためて適正な合焦位置及び露出条件を得るべくAF処理及びAE処理を実行する(ステップS103,S104)。このときシャッタ速度は、上記スルー画像のための撮影時とは関連なく、その時点で設定されている撮影モードやシーンプログラム等に基づいてあらたに決定される。
【0044】
そして、上記決定されたシャッタ速度(SS)が予め設定される閾値としてのシャッタ速度(SSth)、例えば1/60[秒]より速いか否かを判断する(ステップS105)。
【0045】
ここで決定されたシャッタ速度が閾値としてのシャッタ速度より速いと判断した場合には、通常の撮影動作を実行するべく、さらにまだシャッタキーは半押し操作されているか否かを判断する(ステップS106)。シャッタキーが依然として半押し操作されていることを確認すると、次にシャッタキーが全押し操作されたか否かを判断する(ステップS107)。
【0046】
ここでまだ全押し操作されていないと判断すると、再び上記ステップS106からの処理に戻る。こうしてステップS106,S107の処理を繰返し実行することで、シャッタキーの半押し操作が解除されるか、全押し操作されるのを待機する。
【0047】
シャッタキーの半押し操作が解除された場合、上記ステップS106でそれを判断し、再び上記ステップS101のスルー画像表示からの処理に戻る
また、シャッタキーが全押し操作されると、ステップS107でそれを判断し、直前のステップS103,S104で決定した撮影条件での撮影動作を実行する(ステップS108)。
【0048】
さらに、上記ステップS108での撮影に際しては、CMOSイメージセンサ13での露光を終了するタイミングに同期してメカニカルシャッタ12を全閉制御することで、それ以上の露光を一時的に停止する。
【0049】
上記撮影動作により画像処理部14から得た画像データに画像処理部14で上述した適宜画像処理を施した上でバッファメモリ15に一時的に記憶する。
【0050】
しかるに、上記撮影に基づくCMOSイメージセンサ13での各画素単位の電荷量の読出し動作とリセット動作によりCMOSイメージセンサ13の各画素位置では蓄積された電荷が転送され、且つあらたな電荷の蓄積がない状態となる。
【0051】
このようなリセット動作を伴う電荷量の読出し動作を、以下の文中及び図面では「破壊読出し」と称するものとする。
【0052】
この状態を一定時間、例えば0.3[秒]だけ維持した後に、再度CMOSイメージセンサ13の各画素単位での破壊読出しによる電荷量の読出しを行なうことで、CMOSイメージセンサ13に生じている暗電流に基づくノイズ成分を読出す。同ノイズを、以下の文中及び図面では「暗ノイズ」と呼称する。
【0053】
こうして得た暗ノイズを用いて、バッファメモリ15に記憶している画像データに修正処理を施す(ステップS110)。
【0054】
上記ステップS109,S110の処理により、CMOSイメージセンサ13に発生する暗ノイズ成分を画像データから除去し、正確な画像データを得ることができる。
なお、上記ステップS108での撮影に関しては、シャッタ速度が閾値より速い場合での動作であり、暗ノイズの影響が無視できる程度に低いと考えることもできる。そのため、上記ステップS109,S110の処理は省略するものとしてもよい。
【0055】
その後、バッファメモリ15に記憶される画像データを所定のデータファイル形式、例えばJPEG(Joint Photographic Experts Group)形式で規定されるADCT(適応離散コサイン変換)等のデータ圧縮処理を施してデータ量を大幅に減らし、当該形式でデータファイル化した上でこのデジタルカメラ10の記録媒体であるメモリカード24に記録する(ステップS111)。
【0056】
以上で一連の撮影動作を完了し、次の撮影に備えるために再び上記ステップS101からの処理に戻る。
【0057】
また、上記ステップS105で直前のステップS104での処理により決定されたシャッタ速度(SS)が予め設定される閾値としてのシャッタ速度(SSth)、例えば1/60[秒]と同じか、あるいは遅いと判断した場合には、次にまだシャッタキーが半押し操作されているか否かを判断する(ステップS112)。シャッタキーが依然として半押し操作されていることを確認すると、次にシャッタキーが全押し操作されたか否かを判断する(ステップS113)。
【0058】
ここでまだ全押し操作されていないと判断すると、再び上記ステップS112からの処理に戻る。こうしてステップS112,S113の処理を繰返し実行することで、シャッタキーの半押し操作が解除されるか、全押し操作されるのを待機する。
【0059】
シャッタキーの半押し操作が解除された場合、上記ステップS112でそれを判断し、再び上記ステップS101のスルー画像表示からの処理に戻る
また、シャッタキーが全押し操作されると、ステップS113でそれを判断し、次にCMOSイメージセンサ13の全画素を一旦リセットすると共にメカニカルシャッタ12を全閉制御することで、それ以上のCMOSイメージセンサ13への露光を一時的に停止する。
【0060】
メカニカルシャッタ12の全閉制御とCMOSイメージセンサ13のリセット動作によりCMOSイメージセンサ13の各画素位置では電荷が一掃され、あらたな電荷の蓄積がない状態となる。
【0061】
この状態を一定時間、例えば0.3[秒]だけ維持した後に、再度CMOSイメージセンサ13の各画素単位での破壊読出しによる電荷量の読出しを行なうことで、CMOSイメージセンサ13の暗ノイズを読出し、保持しておく(ステップS112)。
【0062】
その後、撮影処理を実行する(ステップS114)。
図3は、この撮影処理の詳細な内容を示すサブルーチンである。まず、その処理当初に露光時間を示す変数tを初期値「0」に設定する(ステップS201)。次に、メカニカルシャッタ12を全開制御し、CMOSイメージセンサ13での露光を開始させる(ステップS202)。
【0063】
さらに、時間変数tの値を「+1」更新設定する(ステップS203)。この更新設定した時間変数tの値が所定の時間値t1となったか否かを判断し(ステップS204)、まだ時間値t1に達していなければ、再び上記ステップS203からの処理に戻る。
【0064】
ここで、所定の時間値t1は、直前のステップS104で決定したシャッタ速度SSの1/4の値が設定されるものとする。例えばシャッタ速度SSが1/30[秒](正確には1/32[秒])であれば、時間値t1はその1/4の1/125[秒](正確には1/128[秒])となる。
【0065】
しかるに上記ステップS203,S204の処理を繰返し実行し、変数tの値が時間値t1になった時点で、ステップS204でそれを判断し、CMOSイメージセンサ13の全画素から、リセット動作を伴わず、画素毎の露光による電荷の蓄積を以後も続行する非破壊読出しでその時点での露光量を取得する(ステップS205)。
【0066】
こうして取得したCMOSイメージセンサ13の全画素の露光量により、画素毎の露光時間t2、及び最長露光時間tlim を決定する(ステップS206)。
【0067】
ここで画素毎の露光時間t2は、上記時間値t1で取得した露光量を基に、当該画素位置での露光量が当該画素を構成するフォトダイオードの飽和容量の90[%]に達すると見込まれる露光時間を設定する。
【0068】
また、最長露光時間tlimは、例えば上記時間値t1で取得した全画素の露光量の平均値を求め、平均値となる画素を構成するフォトダイオードの飽和容量の90[%]に達すると見込まれる露光時間を設定する。
【0069】
上記設定結果に基づき、各画素位置と露光時間t2との関係を示すテーブルを作成してメインメモリ18に保持する(ステップS207)。
【0070】
図4はこうして作成されたテーブルの内容を例示する図である。
同図で、縦軸は露光時間t2を上記時間値t1との差で表したものであり、横軸が各画素位置を示している。テーブル中の符号“1”が時間t2と画素位置とを対応付けるものである。併せて、少なくとも1つの画素位置で符号が“1”となっている時間t2に対し、フラグF(t)が“1”にセットされる。
【0071】
上記テーブル作成後、さらに時間変数tを「+1」更新設定し、更新設定した変数tの値から上記テーブルの時間t2に相当するフラグF(t)の内容を参照し(ステップS208)、フラグF(t)が“1”にセットされているか否かを判断する(ステップS209)。
【0072】
ここで“1”にセットされていないと判断した場合には、その時点での時間変数tを露光時間t2として設定した画素位置は存在しないことになるため、再び上記ステップS208からの処理に戻る。
【0073】
こうしてステップS208,S209の処理を繰返すことで、時間変数tを順次更新設定しながら、露光時間t2として設定した画素位置が現れるのを待機する。
【0074】
しかして、ステップS209でフラグF(t)が“1”にセットされていると判断した場合、その時点での時間変数tの内容を露光時間t2として設定した画素があることになる。
【0075】
そのため、上記テーブルで符号が“1”となっているすべての画素位置に対してそれぞれ、リセット動作を伴わず、露光による電荷の蓄積を以後も続行する非破壊読出しでその画素の露光量を取得し、画像データの一部としてバッファメモリ15に保持する(ステップS210)。
【0076】
その後、CMOSイメージセンサ13のすべての画素位置からの露光量の読出しを終了したか否かを判断する(ステップS211)。ここで、まだ終了していないと判断した場合には、さらにその時点の時間変数tが上記最長露光時間tlim を超えたか否かを判断する(ステップS212)。
【0077】
時間変数tが最長露光時間tlim を超えていないと判断すると、再び上記ステップS208からの処理に戻る。
【0078】
このように、時間変数tを順次更新設定しながら、時間変数tが露光時間t2として設定した内容になる毎に、対応する画素位置での露光量を非破壊読出しで取得して、画像データの一部としてバッファメモリ15に保持していく。
【0079】
その後、CMOSイメージセンサ13のすべての画素位置からの露光量を非破壊読出しで取得する前に、時間変数tが上記最長露光時間tlim を超えた場合、上記ステップS212でそれを判断し、読出しを行なっていない残るすべての画素位置からそれぞれ露光量を非破壊読出しで取得して画像データの一部としてバッファメモリ15に保持する(ステップS213)。
【0080】
そして、上記ステップS213で最長露光時間tlim を超えて残るすべての画素位置から露光量を取得した場合、または上記ステップS211ですべての画素位置からの露光量の読出しを終了した場合、次いで撮影直前に上記ステップS14で取得した画素毎の暗ノイズを用いて、バッファメモリ15に保持している画像データに修正処理を施す(ステップS214)。
【0081】
その後、画素毎の露光量と露光時間とを勘案して、露光量が同じであれば露光時間の短い方が結果的に露光量が多いものとなるように各画素毎の露光量調整を行なう(ステップS215)。
【0082】
さらに、上記露光量調整後の画像データに対し、各種プロセス処理を施して1枚の画像としての画像データを生成する(ステップS216)。以上で図3の撮影処理のサブルーチンを終了し、メインルーチンである図2に戻る。
【0083】
図2では、ステップS115の撮影処理後に、バッファメモリ15に記憶される画像データを所定のデータファイル形式、例えばJPEG形式で規定されるデータ圧縮処理を施してデータ量を大幅に減らし、当該形式でデータファイル化した上でこのデジタルカメラ10の記録媒体であるメモリカード24に記録する(ステップS116)。
【0084】
以上で一連の撮影動作を完了し、次の撮影に備えるために再び上記ステップS101からの処理に戻る。
【0085】
上記図3で説明した撮影処理について補足説明する。
図5(A)は、画素毎に得られる輝度と露光時間との関係を示すものである。同図(A)に示す如く、一般的な撮影のように輝度の明暗に関係なく露光時間を一律に設定した場合の輝度と画素毎の露光量を図5(B)に例示する。
【0086】
このような一般的な撮影では、輝度の低い部分で露光による電荷の蓄積を得ることができず、階調が得られずに一様に黒くなる、所謂「黒つぶれ」と呼称される領域Abkと、輝度の高い部分で露光が飽和して、階調が得られずに一様に白くなる、所謂「白とび」と呼称される領域Awtとが発生することになる。
【0087】
したがって、図5(B)中で上記2つの領域Abk,Awtに挟まれた領域が輝度に対する階調表現が可能領域となり、この範囲がCCDやダイナミックレンジとなる。一般に、CCDやCMOSイメージセンサ等の固体撮像素子は、銀塩フィルムに比して、ラチチュードとも称されるこのダイナミックレンジが極端に劣るものとされている。
【0088】
これに対し、図6(A)は、上記図3で説明した露光方法による、画素毎に得られる輝度と露光時間との関係を示すものである。ここでは、平均的な輝度の画素に合わせて最長露光時間tlim を設定することで、平均以下の輝度の画素はいずれも上記最長露光時間tlim だけ露光するものとしている。加えて、平均より高い輝度の画素については、輝度が大きいだけ短くなるような露光時間t2を設定している。
【0089】
このような露光時間の設定により、輝度の明暗と実際に各画素で得られる露光量の関係は図6(B)に示すようになる。
【0090】
平均的な輝度より高い輝度の画素位置ではいずれも、当該画素の露光が飽和するレベルより若干低い値、例えばその画素のフォトダイオードの飽和容量の90[%]となるような露光時間t2を設定することで、露光量が高いレベルで等しい値となっている。
【0091】
したがって、白つぶれとなる領域Awtの発生を確実に阻止することができるものの、このまま画像データとして記録した場合には、平均的な輝度より高い輝度の画素位置に限定すれば、全体に平板で不自然な描写となってしまうことになる。
【0092】
一方で、輝度の低い画素位置に関しては、長い露光時間を設定することで、確実に黒つぶれとなる領域Abkを狭めることができ、低輝度側ではダイナミックレンジを拡大できる。
【0093】
そこで、上記ステップS215で各画素間の露光量を露光時間に基づいて調整することにより、上記狭まった黒つぶれ領域Abkを除いて、全体にダイナミックレンジを大幅に拡大した画像を得ることができる。
【0094】
図7はその調整結果を示すもので、狭い黒つぶれ領域Abk以外では、白とび領域Awtが発生することなく、ダイナミックレンジが大幅に拡大された、きわめて自然で表現力の豊かな描写が可能であることが理解できる。
【0095】
図8は、上記図3の撮影処理に係る、特に明るい画素、明るい画素、平均以下の明るさの画素の露光タイミングを示す。シャッタキーの全押し操作のタイミングをSとし、一定時間、例えば0.3[秒]だけ暗ノイズ検出のための期間LCが設けられ、その後続けて全画素とも露光を開始している。
【0096】
露光の開始タイミングをt0とすると、その後、AE処理で設定されたシャッタ速度に対応して設定されタイミングt1で全画素とも非破壊読出しにより露光量が取得される。その取得された露光量により、その後に当該画素の画像データとして露光量を取得するタイミングt2が決定されるもので、上述した如く露光量の多い画素ほど露光時間が短く設定される。また、露光量の少ない画素でも、電荷が飽和しない範囲で本来のシャッタ速度に比して大幅に長い露光時間が設定されるため、黒つぶれの発生する領域を大幅に減少させることができる。
【0097】
各画素とも計2回の電荷量の読出し処理により画像データを取得でき、そのうちの初めの1回は電荷量を取得するだけでその後に保持する必要もないため、上記特許文献1に記載された、1枚の画像データを得るために複数枚分の記憶部を必要とするような技術とは異なり、回路規模を非常に小さく抑えることができる。
【0098】
なお、露光量の多い画素位置では、露光時間t2のタイミングで電荷量が非破壊読出しにより取得された後も電荷の蓄積が継続されるので、フォトダイオードに蓄積される電荷がオーバーフローし、当該画素と隣接し、まだ電荷の読出しを終えていない画素がある場合にはその画素で白とびが生じてしまう可能性もある。この場合の白とびは、露光量の多い画素を中心にして円状に広がるものと思われる。
【0099】
しかしながら、実際に露光量の多い画素に隣接して、露光量が極端に少ない画像が存在することは一般的にほぼないと考えられるので、上述したような不具合の影響を受けることは少ないものと考える。
【0100】
また、上記実施形態では、平均的な露光量の画素に合わせて最長露光時間tlim を設定するものとしたが、特に露光量が多い画素と、露光量が少ない画素とが近在する場合には、上記最長露光時間tlim を短く設定することにより、上述した不具合の影響を受けることをさらに回避できる。
【0101】
また、上述した如く非常にダイナミックレンジの広い画像を取得できるため、そのままでは既存のJPEG形式のデータファイルでは階調数が充分に表現することができないことも考えられる。
【0102】
そのため、ガンマ補正により任意の階調領域を圧縮することで、画像データの保存に適したより好ましい撮影画像を取得することができる。
【0103】
このように本実施形態によれば、撮像素子からの画像の読出し処理に係る処理上、及び回路上の負担を共に軽減しながらも、画像全体にわたって良好な露出状態の撮像を実現することが可能となる。
【0104】
特に、本実施形態では、全画素同時に露光を開始し、露光開始から所定時間経過した時点t1で非破壊読出しにより露光量を取得し、そのまま露光を続行して各画素毎に画像データを得るための露光量取得のタイミングt2を異なるようにしているため、シャッタキーを操作してから即時露光を開始することができ、所謂レリーズタイムラグを最少限に抑えることができる。
【0105】
その場合、露光を開始してから非破壊読出しにより露光量を取得するまでの時間t1は、事前のAE処理で決定したシャッタ速度に基づいて充分に短い時間を設定するものとしたので、露光量が多く、速いタイミングで露光が飽和する可能性の高い画素にも時間的な余裕を持って対処することができ、白とびの発生を回避できる。
【0106】
加えて、上記実施形態では、撮影時にメカニカルシャッタ12を用いることで暗ノイズを測定し、撮影後の画像データの補正を行なうものとしているため、暗電流による影響を排除して、より高い画質を得ることができる。
【0107】
なお、上記実施形態では、画素単位で露光時間を異なるものとして説明したが、本発明はこれに限らず、CMOSイメージセンサ13の撮像面を少なくとも複数のエリアに分割し、そのエリア毎に露光時間を調整することにより、撮像面全体を一律の露光時間で制御する場合に比して、黒つぶれ及び白とびの発生範囲を減少させて、ダイナミックレンジを広げることができる。
【0108】
しかしながら、エリアの分割数を増大し、本実施形態のように画素単位とすることにより、最大限に緻密で最も広いダイナミックレンジを実現できる。
【0109】
また、上記実施形態では、露光量が多い画素での露光量をその受光容量に応じて制限するものとした。これにより、白とびの発生を抑えてダイナミックレンジの拡大に寄与できる
さらに、上記実施形態では、露光量が多い画素位置での露光時間をその受光容量に対応して極力多くなるものとしたので、白とびの発生を回避しながらも表現力のある描写にできる。
【0110】
また、上記実施形態では、撮像面全面の画像データを取得後に、取得した画像データを分割単位毎に輝度調整するものとしたので、明るい部分が平坦な描写となってしまうのを避け、表現力のある画像を得ることができる。
【0111】
この点で、具体的には分割単位毎に露光時間と露光量とに基づいて画像データを輝度調整するものとしたので、調整の基準が明確であり、簡易な演算で表現力のある画像を得ることができる。
【0112】
なお、上記実施形態では、画素毎に上述した如く一定時間の露光で得た露光量に露光時間を決定するものとしたが、これに加えて露光量の分布パターンを参照し、当該分布パターンにより露光時間を決定するものとしてもよい。
【0113】
これにより、特に一部が突出して周囲と異なる露光量となるのを避け、撮影の失敗等を未然に回避できる。
【0114】
また、上記露光量の分布に基づいて最長露光時間を設定するものとすれば、露光時間が延びて画像にぶれ等が発生するのを極力回避できる。
【0115】
なお、上記実施形態では、上記図8に示した如く全画素一斉に露光を開始し、一定時間経過時に非破壊読出しで各画素の露光量を取得し、取得した露光量に応じて以後の露光時間を制御するものとしたが、本発明はこれに限るものではない。
【0116】
図9は、そのような他の動作例を示すものであり、シャッタキーの全押し操作のタイミングSから、直ちに暗ノイズ検出期間LCを経て全画素一斉に露光を開始し、以後所定の時間間隔で非破壊読出しにより全画素の露光量をサンプリングし続ける。そして、露光量が所定量に達したと思われる画素から順に非破壊読出しによる露光量の取得を停止させていくもので、非破壊読出しを行なう回数は増えるものの、上記図4に示したようなテーブルの作成を必要とせず、非常に簡易な制御手法により露光制御を実現できる。
【0117】
さらに、上記図8、図9に説明した如く全画素の露光の開始タイミングを一致させるのではなく、終了タイミングを一致させることも考えられる。
【0118】
図10は、そのような露光制御の動作例を示すものである。同図では、シャッタキーの全押し操作のタイミングSから、所定の時間tpとなるまで全画素同時にリセット動作を伴う破壊読出しにより露光量を取得し、各画素毎の露光時間を算出する。その後、露光時間を長く設定した画素から順次先に露光を開始させることで、最終的に全画素の露光終了のタイミングを一致させるものである。
【0119】
このような制御手法を採ることで、非破壊読出しを一切行わず、リセット動作を伴う破壊読出しのみで画素毎に露光時間を異ならせることができる。
【0120】
このように動作は、リセット動作が画素単位、あるいはエリア単位で制御できる固体撮像素子を用いることにより実現できる。現状の実用段階では、そのような分割領域毎にリセット動作を行なう固体撮像素子は一般化していないが、技術的にはそのような動作が可能なCMOSイメージセンサを現時点でも製造可能であることを確認している。
【0121】
また、図10で説明した露光制御手法によれば、露光時間の終了を全画素で一致させることができるため、そのタイミングにメカニカルシャッタを同期させて全閉制御するものとすれば、フォーカルプレーン蓄積やローリングシャッタとも呼称されるライン露光の弊害を回避できる。
【0122】
さらに、上述した如く撮像面の分割領域毎に電荷の蓄積をリセットできる固体撮像素子を用いることで、当該領域の露光量読出しを終えた時点でリセット動作を行ない、露光が飽和してオーバーフローにより隣接する周囲の領域にまで白とびが生じるのを確実に回避できる。
【0123】
また、上記実施形態では、データ圧縮を伴うようなデータファイル形式で記録媒体に画像データを記録するものとしたが、一切のデータ圧縮処理を行なわないままに画像データの記録を実行し、以後はレタッチソフト等の利用により画像データを加工できるものとしてもよい。
【0124】
例えば現状では規格化されていないRAWデータに、さらに画素単位での露光時間の情報を付加して記録できるようなデータファイル形式を用いるものとすれば、より高い画質が要求されるような要求にも対応することができ、積極的に利用される可能性がある。
【0125】
さらに、上記実施形態では、図3に示した撮影動作を、AE処理で決定したシャッタ速度の値に対応して実行するか否か判断するものとしたが、これに限らず、ほとんどのデジタルカメラで採用されているシーンプログラム機能の1つとして採用するものとしてもよい。
【0126】
図11は、そのようなシーンプログラム機能の1つとして、サンプル画像SI及び説明文と共に「暗〜明・被写体混合」と名付けた本撮影処理を選択する画面を例示するものである。同図では、
「暗い被写体〜明るい被写体が含まれるとき、
すべてに露出があったダイナミックレンジの広い撮影が可能です。
逆光補正にも使用できます。
注)レリーズ図タイムラグが少し延びます 」
なる説明文を付して、「32」番の番号が付けられた当該シーンプログラムをサンプル画像SIと共に例示している。
【0127】
その他、本発明は上述した実施形態に限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で種々に変形することが可能である。また、上述した実施形態で実行される機能は可能な限り適宜組合わせて実施しても良い。上述した実施形態には種々の段階が含まれており、開示される複数の構成要件により適宜の組合せにより種々の発明が抽出され得る。例えば、実施形態に示される全構成要件からいくつかの構成要件が削除されても、効果が得られるのであれば、この構成要件が削除された構成が発明として抽出され得る。
【図面の簡単な説明】
【0128】
【図1】本発明の一実施形態に係るデジタルカメラの電子回路の機能構成を示すブロック図。
【図2】同実施形態に係る静止画撮影モードでの処理内容を示すフローチャート。
【図3】同実施形態に係る上記図2の撮影処理のサブルーチンの内容を示すフローチャート。
【図4】同実施形態に係る上記図3のサブルーチンで作成される露光タイミングテーブルの内容を例示する図。
【図5】一律に露光時間を設定した場合の輝度と露光量の関係を示す図。
【図6】同実施形態に係る輝度と露光時間、及び露光量の関係を示す図。
【図7】同実施形態に係る調整後の輝度と露光時間、及び露光量の関係を示す図。
【図8】同実施形態に係る露光量に応じた露光時間の違いを示す図。
【図9】同実施形態に係る他の撮影制御動作を例示する図。
【図10】同実施形態に係る他の撮影制御動作を例示する図。
【図11】同実施形態に係るシーンプログラム機能での画面表示例を示す図。
【符号の説明】
【0129】
10…デジタルカメラ、11…レンズ光学系、12…メカニカルシャッタ、13…CMOSイメージセンサ、14…画像処理部、15…バッファメモリ、16…表示部、17…制御部、18…メインメモリ、19…プログラムメモリ、20…キー操作部、21…レンズ光学系駆動部、22…フラッシュ駆動部、23…CMOSドライバ、24…メモリカード、25…音声処理部、26…レンズモータ(M)、27…シャッタモータ(M)、28…フラッシュ部、29…マイクロホン部、30…スピーカ部、C…カードコネクタ、SB…システムバス。
【技術分野】
【0001】
本発明は、例えばCMOSイメージセンサを用いたデジタルカメラ等に好適な撮像装置、撮像方法及びプログラムに関する。
【背景技術】
【0002】
従来、電子スチルカメラで1回の露光中、撮像素子から複数回の非破壊読出しを行なった上で画像合成を行ない、露出条件がより好ましい撮影画像を取得する技術が考えられている。(例えば、特許文献1)
【特許文献1】特開10−173988号公報
【発明の開示】
【発明が解決しようとする課題】
【0003】
上記特許文献1に記載された技術では、画面中の複数の領域毎に異なる露出条件の画像を部分的に採用して画像全面で良好な露出条件を得るべく、1回の露光中に全画面に渡る非破壊読出し動作を複数回繰返し実行する。そのため、信号の読出しに係る処理の負担が大きいという問題があった。
【0004】
本発明は上記のような実情に鑑みてなされたもので、その目的とするところは、撮像素子からの画像信号の読出し処理に係る負担を軽減しながら、画像全体にわたって良好な露出状態の撮像を実現可能な撮像装置、撮像方法及びプログラムを提供することにある。
【課題を解決するための手段】
【0005】
請求項1記載の発明は、撮像面に入射される被写体像に応じて画素単位で電荷を蓄積し、蓄積した電荷量に対応した画像信号を出力する撮像素子と、上記撮像素子の撮像面を分割する複数のエリア毎に露光量を取得する露光量取得手段と、上記露光量取得手段で得た複数のエリア毎の露光量により、1回の露光期間中で上記撮像素子の複数のエリア毎に露光時間を調整して駆動し、撮像素子から画像信号を得る露光制御手段と、上記撮像素子から得た1画面分の画像信号を記憶する記憶手段とを具備したことを特徴とする。
【0006】
請求項2記載の発明は、上記請求項1記載の発明において、上記露光量取得手段は、上記露光制御手段により上記撮像素子の複数のエリア同時に1回の露光を開始してから予め設定されたタイミングで、上記撮像素子での露光に基づく電荷の蓄積を阻害しない非破壊読出しにより露光量を取得することを特徴とする。
【0007】
請求項3記載の発明は、上記請求項1記載の発明において、上記露光量取得手段は、上記露光制御手段により上記撮像素子の複数のエリア同時に露光を開始してから一定時間周期で上記撮像素子での露光に基づく電荷の蓄積を阻害しない非破壊読出しにより複数のエリア毎の露光量を取得し、上記露光制御手段は、上記露光量取得手段で得る複数のエリア毎の露光量により、露光量が所定値に達したタイミングでエリアから画像信号を出力させることを特徴とする。
【0008】
請求項4記載の発明は、上記請求項1記載の発明において、上記露光量取得手段は、上記露光制御手段による露光時間を調整する本撮影の露光動作に先立つ事前露光時に上記撮像素子を分割する複数のエリア同時に予め設定される時間だけ露光して撮像素子から画像信号を得ることでエリア毎の露光量を取得し、上記露光制御手段は、上記露光量取得手段で得た複数のエリア毎の露光量により本撮影の露光時に上記複数のエリア毎に露光を開始するタイミングを可変することで露光時間を調整し、上記複数のエリアから蓄積した電荷量に対応した画像信号を得るタイミングを略一致させることを特徴とする。
【0009】
請求項5記載の発明は、上記請求項1記載の発明において、上記撮像素子への被写体像の入射を開閉制御するシャッタ機構と、上記シャッタ機構により上記露光制御手段による撮影露光の直前に上記撮像素子への入射を遮断した状態で上記撮像素子の複数のエリア毎の暗電流を測定する測定手段と、上記測定手段での測定結果により上記記憶手段で記憶する画像信号を複数のエリア毎に補正する補正手段とをさらに具備したことを特徴とする。
【0010】
請求項6記載の発明は、上記請求項4記載の発明において、上記撮像素子への被写体像の入射を開閉制御するシャッタ機構をさらに具備し、上記露光制御手段は、上記撮像素子の複数のエリアからの画像信号の出力タイミングに応じて上記シャッタ機構で上記撮像素子への入射を遮断させることを特徴とする。
【0011】
請求項7記載の発明は、上記請求項2記載の発明において、上記撮像素子の少なくとも1エリアでの露光時間を決定する露光時間決定手段をさらに具備し、上記露光量取得手段は、上記露光時間決定手段で決定した露光時間の終了タイミングより速いタイミングで上記非破壊読出しにより露光量を取得することを特徴とする。
【0012】
請求項8記載の発明は、上記請求項1記載の発明において、上記複数のエリアは上記撮像素子の撮像面を構成する画素単位とすることを特徴とする。
【0013】
請求項9記載の発明は、上記請求項1記載の発明において、上記露光制御手段は、1回の露光期間中で最大となる露光量を上記撮像素子の受光容量に合わせて制限することを特徴とする。
【0014】
請求項10記載の発明は、上記請求項1記載の発明において、上記露光制御手段は、露光量が多い側の少なくとも1つのエリアの露光時間を上記撮像素子の受光容量に対応させることを特徴とする。
【0015】
請求項11記載の発明は、上記請求項1記載の発明において、上記記憶手段に記憶した画像信号を複数のエリア毎に輝度調整する輝度調整手段をさらに具備したことを特徴とする。
【0016】
請求項12記載の発明は、上記請求項11記載の発明において、上記輝度調整手段は、露光時間と露光量とに基づいて画像信号を複数のエリア毎に輝度調整することを特徴とする。
【0017】
請求項13記載の発明は、上記請求項1記載の発明において、上記露光制御手段は、上記露光量取得手段で得た複数のエリア毎の露光量の分布に対応して上記複数のエリア毎に露光時間を調整することを特徴とする。
【0018】
請求項14記載の発明は、上記請求項1記載の発明において、上記露光制御手段は、上記露光量取得手段で得た複数のエリア毎の露光量の分布に対応して最長露光時間を設定することを特徴とする。
【0019】
請求項15記載の発明は、上記請求項1記載の発明において、上記露光制御手段は、上記撮像素子の複数のエリア毎に露光の前後で電荷の蓄積をリセットすることを特徴とする。
【0020】
請求項16記載の発明は、上記請求項1記載の発明において、上記記憶手段は、画像信号及び複数のエリア毎の露光時間を対応付けて記憶することを特徴とする。
【0021】
請求項17記載の発明は、撮像面に入射される被写体像に応じて画素単位で電荷を蓄積し、蓄積した電荷量に対応した画像信号を出力する撮像素子を備えた撮像装置での撮像方法であって、上記撮像素子の撮像面を分割する複数のエリア毎に露光量を取得する露光量取得工程と、上記露光量取得工程で得た複数のエリア毎の露光量により、1回の露光期間中で上記撮像素子の複数のエリア毎に露光時間を調整して駆動し、撮像素子から画像信号を得る露光制御工程と、上記撮像素子から得た1画面分の画像信号を記憶する記憶工程と
を有したことを特徴とする。
【0022】
請求項18記載の発明は、撮像面に入射される被写体像に応じて画素単位で電荷を蓄積し、蓄積した電荷量に対応した画像信号を出力する撮像素子を備えた撮像装置が内蔵するコンピュータ用のプログラムであって、上記撮像素子の撮像面を分割する複数のエリア毎に露光量を取得する露光量取得ステップと、上記露光量取得ステップで得た複数のエリア毎の露光量により、1回の露光期間中で上記撮像素子の複数のエリア毎に露光時間を調整して駆動し、撮像素子から画像信号を得る露光制御ステップと、上記撮像素子から得た1画面分の画像信号を記憶する記憶ステップとをコンピュータに実行させることを特徴とする。
【発明の効果】
【0023】
本発明によれば、撮像素子からの画像信号の読出し処理に係る負担を軽減しながら、画像全体にわたって良好な露出状態の撮像を実現することが可能となる。
【発明を実施するための最良の形態】
【0024】
以下本発明をデジタルカメラに適用した場合の一実施形態について図面を参照して説明する。本実施形態では、撮像素子としてCMOS(Complementary Metal Oxide Semicinductor)イメージセンサを用いる。
図1は、本実施形態に係るデジタルカメラ10の回路構成を示すものである。同図で、レンズ光学系11によりメカニカルシャッタ12を介して、CMOSイメージセンサ13の撮像面上に被写体の光像が結像される。
【0025】
モニタ状態でこのCMOSイメージセンサ13での撮像により得た画像信号は画像処理部14に送られ、相関二乗サンプリングや自動ゲイン調整、A/D変換処理が実行された後に画素補間処理、γ補正処理を含むカラープロセス処理が施されてバッファメモリ15に一時的に保持される。
【0026】
このバッファメモリ15に保持された画像データが画像処理部14に読出されて表示部16へ送られ、モニタ画像として表示される。
【0027】
以上の動作をすべて制御部17が統括制御する。この制御部17はCPUで構成され、メインメモリ18、プログラムメモリ19と接続される。メインメモリ18は、SDRAM(シンクロナスDRAM)で構成される。プログラムメモリ19は、後述する撮影モード時の制御を含む動作プログラムやデータ等を記憶した不揮発性メモリで構成される。
【0028】
制御部17はプログラムメモリ19から必要なプログラムやデータ等を読出し、メインメモリ18に適宜一時的に展開記憶させながら、このデジタルカメラ10全体の制御動作を司る。
【0029】
上記制御部17は、キー操作部20から直接入力されるキー操作信号に対応して各種制御動作を実行するもので、システムバスSBを介して上記画像処理部14、表示部16の他、レンズ光学系駆動部21、フラッシュ駆動部22、CMOSドライバ23、メモリカード24、及び音声処理部25とも接続される。
【0030】
キー操作部20は、例えば電源キー、撮影モードキー、再生モードキー、メニューキー、カーソルキー、セットキー、シーンプログラムキー等を備える。
【0031】
レンズ光学系駆動部21は、制御部17からの制御信号を受けてレンズモータ(M)26を回転制御し、上記レンズ光学系11を構成する複数のレンズ中の一部、具体的にはフォーカスレンズ及びズームレンズの位置をそれぞれ光軸方向に沿って移動させる。
【0032】
またレンズ光学系駆動部21は、制御部17からの制御信号に基づいてステッピングモータで構成されるシャッタモータ27を回動駆動し、上記メカニカルシャッタ12の開閉制御を行なう。
【0033】
メカニカルシャッタ12は、静止画撮影時にCMOSイメージセンサ13の電子シャッタを閉じるタイミングに同期させて全閉状態とすることで、それ以上の露光動作が係属されるのを回避する。
【0034】
フラッシュ駆動部22は、静止画像撮影時に制御部17からの制御信号を受けて複数の白色高輝度LEDで構成されるフラッシュ部28を撮影タイミングに同期して点灯駆動する。
【0035】
メモリカード24は、カードコネクタCを介してこのデジタルカメラ10に着脱自在に装着される画像データ等の記録用のメモリである。
【0036】
音声処理部25は、PCM音源等の音源回路を備え、音声の録音時にはこのデジタルカメラ10の筐体前面に配設されたマイクロホン部29より入力された音声信号をデジタル化し、所定のデータファイル形式、例えばAAC(moving picture experts group−4 Advanced Audio Coding)形式でデータ圧縮して音声データファイルを作成し、上記メモリカード24へ送出する。
【0037】
一方、音声処理部25は、音声の再生時にメモリカード24から読出されてきた音声データファイルの圧縮を解いてアナログ化し、上記デジタルカメラ10の背面に設けられるスピーカ部30を駆動して、拡声放音させる。
【0038】
次に上記実施形態の動作について説明する。
なお、上記キー操作部20の一部を構成するシャッタキーは、2段階の操作ストロークを有するものとする。すなわち、シャッタキーを操作していない状態から、全ストロークの半分程度押圧操作する、所謂「半押し」状態で適度なクリック感が得られると共に、第1段階の操作状態をスイッチで検出して、AF(自動合焦)機能及びAE(自動露出)機能及びを働かせ、撮影条件として合焦距離とシャッタ速度、及び絞り値をロックする。
【0039】
この半押し状態からさらに続けて全ストローク分押圧操作する、所謂「全押し」状態となると、上記ロックした撮影条件での撮影を実行し、撮影により得た画像データをメモリカード24に記録する。
【0040】
図2は、静止画の撮影モード下で実行される基本的な処理内容を示すもので、その制御動作は制御部17がプログラムメモリ19に記憶されている動作プログラムをメインメモリ18に展開することで実行される。
【0041】
同図では、まずモニタ状態で所定のフレームレート、例えば30[フレーム/秒]により被写体像を撮影して表示部16でスルー画像表示した後(ステップS101)、キー操作部20のシャッタキーが半押し操作されたか否かを判断する(ステップS102)、という処理を繰返し実行することで、スルー画像の表示を行ないながらシャッタキーが半押し操作されるのを待機する。
【0042】
このとき、スルー画像は上記フレームレートに対応して充分に速いシャッタ速度、例えば1/125[秒]に固定されて撮影されるもので、AE機能による絞り値の可変制御及びAF機能による画像中の所定位置での合焦制御が実行される。
【0043】
キー操作部20のシャッタキーが半押し操作されると上記ステップS102でそれを判断し、あらためて適正な合焦位置及び露出条件を得るべくAF処理及びAE処理を実行する(ステップS103,S104)。このときシャッタ速度は、上記スルー画像のための撮影時とは関連なく、その時点で設定されている撮影モードやシーンプログラム等に基づいてあらたに決定される。
【0044】
そして、上記決定されたシャッタ速度(SS)が予め設定される閾値としてのシャッタ速度(SSth)、例えば1/60[秒]より速いか否かを判断する(ステップS105)。
【0045】
ここで決定されたシャッタ速度が閾値としてのシャッタ速度より速いと判断した場合には、通常の撮影動作を実行するべく、さらにまだシャッタキーは半押し操作されているか否かを判断する(ステップS106)。シャッタキーが依然として半押し操作されていることを確認すると、次にシャッタキーが全押し操作されたか否かを判断する(ステップS107)。
【0046】
ここでまだ全押し操作されていないと判断すると、再び上記ステップS106からの処理に戻る。こうしてステップS106,S107の処理を繰返し実行することで、シャッタキーの半押し操作が解除されるか、全押し操作されるのを待機する。
【0047】
シャッタキーの半押し操作が解除された場合、上記ステップS106でそれを判断し、再び上記ステップS101のスルー画像表示からの処理に戻る
また、シャッタキーが全押し操作されると、ステップS107でそれを判断し、直前のステップS103,S104で決定した撮影条件での撮影動作を実行する(ステップS108)。
【0048】
さらに、上記ステップS108での撮影に際しては、CMOSイメージセンサ13での露光を終了するタイミングに同期してメカニカルシャッタ12を全閉制御することで、それ以上の露光を一時的に停止する。
【0049】
上記撮影動作により画像処理部14から得た画像データに画像処理部14で上述した適宜画像処理を施した上でバッファメモリ15に一時的に記憶する。
【0050】
しかるに、上記撮影に基づくCMOSイメージセンサ13での各画素単位の電荷量の読出し動作とリセット動作によりCMOSイメージセンサ13の各画素位置では蓄積された電荷が転送され、且つあらたな電荷の蓄積がない状態となる。
【0051】
このようなリセット動作を伴う電荷量の読出し動作を、以下の文中及び図面では「破壊読出し」と称するものとする。
【0052】
この状態を一定時間、例えば0.3[秒]だけ維持した後に、再度CMOSイメージセンサ13の各画素単位での破壊読出しによる電荷量の読出しを行なうことで、CMOSイメージセンサ13に生じている暗電流に基づくノイズ成分を読出す。同ノイズを、以下の文中及び図面では「暗ノイズ」と呼称する。
【0053】
こうして得た暗ノイズを用いて、バッファメモリ15に記憶している画像データに修正処理を施す(ステップS110)。
【0054】
上記ステップS109,S110の処理により、CMOSイメージセンサ13に発生する暗ノイズ成分を画像データから除去し、正確な画像データを得ることができる。
なお、上記ステップS108での撮影に関しては、シャッタ速度が閾値より速い場合での動作であり、暗ノイズの影響が無視できる程度に低いと考えることもできる。そのため、上記ステップS109,S110の処理は省略するものとしてもよい。
【0055】
その後、バッファメモリ15に記憶される画像データを所定のデータファイル形式、例えばJPEG(Joint Photographic Experts Group)形式で規定されるADCT(適応離散コサイン変換)等のデータ圧縮処理を施してデータ量を大幅に減らし、当該形式でデータファイル化した上でこのデジタルカメラ10の記録媒体であるメモリカード24に記録する(ステップS111)。
【0056】
以上で一連の撮影動作を完了し、次の撮影に備えるために再び上記ステップS101からの処理に戻る。
【0057】
また、上記ステップS105で直前のステップS104での処理により決定されたシャッタ速度(SS)が予め設定される閾値としてのシャッタ速度(SSth)、例えば1/60[秒]と同じか、あるいは遅いと判断した場合には、次にまだシャッタキーが半押し操作されているか否かを判断する(ステップS112)。シャッタキーが依然として半押し操作されていることを確認すると、次にシャッタキーが全押し操作されたか否かを判断する(ステップS113)。
【0058】
ここでまだ全押し操作されていないと判断すると、再び上記ステップS112からの処理に戻る。こうしてステップS112,S113の処理を繰返し実行することで、シャッタキーの半押し操作が解除されるか、全押し操作されるのを待機する。
【0059】
シャッタキーの半押し操作が解除された場合、上記ステップS112でそれを判断し、再び上記ステップS101のスルー画像表示からの処理に戻る
また、シャッタキーが全押し操作されると、ステップS113でそれを判断し、次にCMOSイメージセンサ13の全画素を一旦リセットすると共にメカニカルシャッタ12を全閉制御することで、それ以上のCMOSイメージセンサ13への露光を一時的に停止する。
【0060】
メカニカルシャッタ12の全閉制御とCMOSイメージセンサ13のリセット動作によりCMOSイメージセンサ13の各画素位置では電荷が一掃され、あらたな電荷の蓄積がない状態となる。
【0061】
この状態を一定時間、例えば0.3[秒]だけ維持した後に、再度CMOSイメージセンサ13の各画素単位での破壊読出しによる電荷量の読出しを行なうことで、CMOSイメージセンサ13の暗ノイズを読出し、保持しておく(ステップS112)。
【0062】
その後、撮影処理を実行する(ステップS114)。
図3は、この撮影処理の詳細な内容を示すサブルーチンである。まず、その処理当初に露光時間を示す変数tを初期値「0」に設定する(ステップS201)。次に、メカニカルシャッタ12を全開制御し、CMOSイメージセンサ13での露光を開始させる(ステップS202)。
【0063】
さらに、時間変数tの値を「+1」更新設定する(ステップS203)。この更新設定した時間変数tの値が所定の時間値t1となったか否かを判断し(ステップS204)、まだ時間値t1に達していなければ、再び上記ステップS203からの処理に戻る。
【0064】
ここで、所定の時間値t1は、直前のステップS104で決定したシャッタ速度SSの1/4の値が設定されるものとする。例えばシャッタ速度SSが1/30[秒](正確には1/32[秒])であれば、時間値t1はその1/4の1/125[秒](正確には1/128[秒])となる。
【0065】
しかるに上記ステップS203,S204の処理を繰返し実行し、変数tの値が時間値t1になった時点で、ステップS204でそれを判断し、CMOSイメージセンサ13の全画素から、リセット動作を伴わず、画素毎の露光による電荷の蓄積を以後も続行する非破壊読出しでその時点での露光量を取得する(ステップS205)。
【0066】
こうして取得したCMOSイメージセンサ13の全画素の露光量により、画素毎の露光時間t2、及び最長露光時間tlim を決定する(ステップS206)。
【0067】
ここで画素毎の露光時間t2は、上記時間値t1で取得した露光量を基に、当該画素位置での露光量が当該画素を構成するフォトダイオードの飽和容量の90[%]に達すると見込まれる露光時間を設定する。
【0068】
また、最長露光時間tlimは、例えば上記時間値t1で取得した全画素の露光量の平均値を求め、平均値となる画素を構成するフォトダイオードの飽和容量の90[%]に達すると見込まれる露光時間を設定する。
【0069】
上記設定結果に基づき、各画素位置と露光時間t2との関係を示すテーブルを作成してメインメモリ18に保持する(ステップS207)。
【0070】
図4はこうして作成されたテーブルの内容を例示する図である。
同図で、縦軸は露光時間t2を上記時間値t1との差で表したものであり、横軸が各画素位置を示している。テーブル中の符号“1”が時間t2と画素位置とを対応付けるものである。併せて、少なくとも1つの画素位置で符号が“1”となっている時間t2に対し、フラグF(t)が“1”にセットされる。
【0071】
上記テーブル作成後、さらに時間変数tを「+1」更新設定し、更新設定した変数tの値から上記テーブルの時間t2に相当するフラグF(t)の内容を参照し(ステップS208)、フラグF(t)が“1”にセットされているか否かを判断する(ステップS209)。
【0072】
ここで“1”にセットされていないと判断した場合には、その時点での時間変数tを露光時間t2として設定した画素位置は存在しないことになるため、再び上記ステップS208からの処理に戻る。
【0073】
こうしてステップS208,S209の処理を繰返すことで、時間変数tを順次更新設定しながら、露光時間t2として設定した画素位置が現れるのを待機する。
【0074】
しかして、ステップS209でフラグF(t)が“1”にセットされていると判断した場合、その時点での時間変数tの内容を露光時間t2として設定した画素があることになる。
【0075】
そのため、上記テーブルで符号が“1”となっているすべての画素位置に対してそれぞれ、リセット動作を伴わず、露光による電荷の蓄積を以後も続行する非破壊読出しでその画素の露光量を取得し、画像データの一部としてバッファメモリ15に保持する(ステップS210)。
【0076】
その後、CMOSイメージセンサ13のすべての画素位置からの露光量の読出しを終了したか否かを判断する(ステップS211)。ここで、まだ終了していないと判断した場合には、さらにその時点の時間変数tが上記最長露光時間tlim を超えたか否かを判断する(ステップS212)。
【0077】
時間変数tが最長露光時間tlim を超えていないと判断すると、再び上記ステップS208からの処理に戻る。
【0078】
このように、時間変数tを順次更新設定しながら、時間変数tが露光時間t2として設定した内容になる毎に、対応する画素位置での露光量を非破壊読出しで取得して、画像データの一部としてバッファメモリ15に保持していく。
【0079】
その後、CMOSイメージセンサ13のすべての画素位置からの露光量を非破壊読出しで取得する前に、時間変数tが上記最長露光時間tlim を超えた場合、上記ステップS212でそれを判断し、読出しを行なっていない残るすべての画素位置からそれぞれ露光量を非破壊読出しで取得して画像データの一部としてバッファメモリ15に保持する(ステップS213)。
【0080】
そして、上記ステップS213で最長露光時間tlim を超えて残るすべての画素位置から露光量を取得した場合、または上記ステップS211ですべての画素位置からの露光量の読出しを終了した場合、次いで撮影直前に上記ステップS14で取得した画素毎の暗ノイズを用いて、バッファメモリ15に保持している画像データに修正処理を施す(ステップS214)。
【0081】
その後、画素毎の露光量と露光時間とを勘案して、露光量が同じであれば露光時間の短い方が結果的に露光量が多いものとなるように各画素毎の露光量調整を行なう(ステップS215)。
【0082】
さらに、上記露光量調整後の画像データに対し、各種プロセス処理を施して1枚の画像としての画像データを生成する(ステップS216)。以上で図3の撮影処理のサブルーチンを終了し、メインルーチンである図2に戻る。
【0083】
図2では、ステップS115の撮影処理後に、バッファメモリ15に記憶される画像データを所定のデータファイル形式、例えばJPEG形式で規定されるデータ圧縮処理を施してデータ量を大幅に減らし、当該形式でデータファイル化した上でこのデジタルカメラ10の記録媒体であるメモリカード24に記録する(ステップS116)。
【0084】
以上で一連の撮影動作を完了し、次の撮影に備えるために再び上記ステップS101からの処理に戻る。
【0085】
上記図3で説明した撮影処理について補足説明する。
図5(A)は、画素毎に得られる輝度と露光時間との関係を示すものである。同図(A)に示す如く、一般的な撮影のように輝度の明暗に関係なく露光時間を一律に設定した場合の輝度と画素毎の露光量を図5(B)に例示する。
【0086】
このような一般的な撮影では、輝度の低い部分で露光による電荷の蓄積を得ることができず、階調が得られずに一様に黒くなる、所謂「黒つぶれ」と呼称される領域Abkと、輝度の高い部分で露光が飽和して、階調が得られずに一様に白くなる、所謂「白とび」と呼称される領域Awtとが発生することになる。
【0087】
したがって、図5(B)中で上記2つの領域Abk,Awtに挟まれた領域が輝度に対する階調表現が可能領域となり、この範囲がCCDやダイナミックレンジとなる。一般に、CCDやCMOSイメージセンサ等の固体撮像素子は、銀塩フィルムに比して、ラチチュードとも称されるこのダイナミックレンジが極端に劣るものとされている。
【0088】
これに対し、図6(A)は、上記図3で説明した露光方法による、画素毎に得られる輝度と露光時間との関係を示すものである。ここでは、平均的な輝度の画素に合わせて最長露光時間tlim を設定することで、平均以下の輝度の画素はいずれも上記最長露光時間tlim だけ露光するものとしている。加えて、平均より高い輝度の画素については、輝度が大きいだけ短くなるような露光時間t2を設定している。
【0089】
このような露光時間の設定により、輝度の明暗と実際に各画素で得られる露光量の関係は図6(B)に示すようになる。
【0090】
平均的な輝度より高い輝度の画素位置ではいずれも、当該画素の露光が飽和するレベルより若干低い値、例えばその画素のフォトダイオードの飽和容量の90[%]となるような露光時間t2を設定することで、露光量が高いレベルで等しい値となっている。
【0091】
したがって、白つぶれとなる領域Awtの発生を確実に阻止することができるものの、このまま画像データとして記録した場合には、平均的な輝度より高い輝度の画素位置に限定すれば、全体に平板で不自然な描写となってしまうことになる。
【0092】
一方で、輝度の低い画素位置に関しては、長い露光時間を設定することで、確実に黒つぶれとなる領域Abkを狭めることができ、低輝度側ではダイナミックレンジを拡大できる。
【0093】
そこで、上記ステップS215で各画素間の露光量を露光時間に基づいて調整することにより、上記狭まった黒つぶれ領域Abkを除いて、全体にダイナミックレンジを大幅に拡大した画像を得ることができる。
【0094】
図7はその調整結果を示すもので、狭い黒つぶれ領域Abk以外では、白とび領域Awtが発生することなく、ダイナミックレンジが大幅に拡大された、きわめて自然で表現力の豊かな描写が可能であることが理解できる。
【0095】
図8は、上記図3の撮影処理に係る、特に明るい画素、明るい画素、平均以下の明るさの画素の露光タイミングを示す。シャッタキーの全押し操作のタイミングをSとし、一定時間、例えば0.3[秒]だけ暗ノイズ検出のための期間LCが設けられ、その後続けて全画素とも露光を開始している。
【0096】
露光の開始タイミングをt0とすると、その後、AE処理で設定されたシャッタ速度に対応して設定されタイミングt1で全画素とも非破壊読出しにより露光量が取得される。その取得された露光量により、その後に当該画素の画像データとして露光量を取得するタイミングt2が決定されるもので、上述した如く露光量の多い画素ほど露光時間が短く設定される。また、露光量の少ない画素でも、電荷が飽和しない範囲で本来のシャッタ速度に比して大幅に長い露光時間が設定されるため、黒つぶれの発生する領域を大幅に減少させることができる。
【0097】
各画素とも計2回の電荷量の読出し処理により画像データを取得でき、そのうちの初めの1回は電荷量を取得するだけでその後に保持する必要もないため、上記特許文献1に記載された、1枚の画像データを得るために複数枚分の記憶部を必要とするような技術とは異なり、回路規模を非常に小さく抑えることができる。
【0098】
なお、露光量の多い画素位置では、露光時間t2のタイミングで電荷量が非破壊読出しにより取得された後も電荷の蓄積が継続されるので、フォトダイオードに蓄積される電荷がオーバーフローし、当該画素と隣接し、まだ電荷の読出しを終えていない画素がある場合にはその画素で白とびが生じてしまう可能性もある。この場合の白とびは、露光量の多い画素を中心にして円状に広がるものと思われる。
【0099】
しかしながら、実際に露光量の多い画素に隣接して、露光量が極端に少ない画像が存在することは一般的にほぼないと考えられるので、上述したような不具合の影響を受けることは少ないものと考える。
【0100】
また、上記実施形態では、平均的な露光量の画素に合わせて最長露光時間tlim を設定するものとしたが、特に露光量が多い画素と、露光量が少ない画素とが近在する場合には、上記最長露光時間tlim を短く設定することにより、上述した不具合の影響を受けることをさらに回避できる。
【0101】
また、上述した如く非常にダイナミックレンジの広い画像を取得できるため、そのままでは既存のJPEG形式のデータファイルでは階調数が充分に表現することができないことも考えられる。
【0102】
そのため、ガンマ補正により任意の階調領域を圧縮することで、画像データの保存に適したより好ましい撮影画像を取得することができる。
【0103】
このように本実施形態によれば、撮像素子からの画像の読出し処理に係る処理上、及び回路上の負担を共に軽減しながらも、画像全体にわたって良好な露出状態の撮像を実現することが可能となる。
【0104】
特に、本実施形態では、全画素同時に露光を開始し、露光開始から所定時間経過した時点t1で非破壊読出しにより露光量を取得し、そのまま露光を続行して各画素毎に画像データを得るための露光量取得のタイミングt2を異なるようにしているため、シャッタキーを操作してから即時露光を開始することができ、所謂レリーズタイムラグを最少限に抑えることができる。
【0105】
その場合、露光を開始してから非破壊読出しにより露光量を取得するまでの時間t1は、事前のAE処理で決定したシャッタ速度に基づいて充分に短い時間を設定するものとしたので、露光量が多く、速いタイミングで露光が飽和する可能性の高い画素にも時間的な余裕を持って対処することができ、白とびの発生を回避できる。
【0106】
加えて、上記実施形態では、撮影時にメカニカルシャッタ12を用いることで暗ノイズを測定し、撮影後の画像データの補正を行なうものとしているため、暗電流による影響を排除して、より高い画質を得ることができる。
【0107】
なお、上記実施形態では、画素単位で露光時間を異なるものとして説明したが、本発明はこれに限らず、CMOSイメージセンサ13の撮像面を少なくとも複数のエリアに分割し、そのエリア毎に露光時間を調整することにより、撮像面全体を一律の露光時間で制御する場合に比して、黒つぶれ及び白とびの発生範囲を減少させて、ダイナミックレンジを広げることができる。
【0108】
しかしながら、エリアの分割数を増大し、本実施形態のように画素単位とすることにより、最大限に緻密で最も広いダイナミックレンジを実現できる。
【0109】
また、上記実施形態では、露光量が多い画素での露光量をその受光容量に応じて制限するものとした。これにより、白とびの発生を抑えてダイナミックレンジの拡大に寄与できる
さらに、上記実施形態では、露光量が多い画素位置での露光時間をその受光容量に対応して極力多くなるものとしたので、白とびの発生を回避しながらも表現力のある描写にできる。
【0110】
また、上記実施形態では、撮像面全面の画像データを取得後に、取得した画像データを分割単位毎に輝度調整するものとしたので、明るい部分が平坦な描写となってしまうのを避け、表現力のある画像を得ることができる。
【0111】
この点で、具体的には分割単位毎に露光時間と露光量とに基づいて画像データを輝度調整するものとしたので、調整の基準が明確であり、簡易な演算で表現力のある画像を得ることができる。
【0112】
なお、上記実施形態では、画素毎に上述した如く一定時間の露光で得た露光量に露光時間を決定するものとしたが、これに加えて露光量の分布パターンを参照し、当該分布パターンにより露光時間を決定するものとしてもよい。
【0113】
これにより、特に一部が突出して周囲と異なる露光量となるのを避け、撮影の失敗等を未然に回避できる。
【0114】
また、上記露光量の分布に基づいて最長露光時間を設定するものとすれば、露光時間が延びて画像にぶれ等が発生するのを極力回避できる。
【0115】
なお、上記実施形態では、上記図8に示した如く全画素一斉に露光を開始し、一定時間経過時に非破壊読出しで各画素の露光量を取得し、取得した露光量に応じて以後の露光時間を制御するものとしたが、本発明はこれに限るものではない。
【0116】
図9は、そのような他の動作例を示すものであり、シャッタキーの全押し操作のタイミングSから、直ちに暗ノイズ検出期間LCを経て全画素一斉に露光を開始し、以後所定の時間間隔で非破壊読出しにより全画素の露光量をサンプリングし続ける。そして、露光量が所定量に達したと思われる画素から順に非破壊読出しによる露光量の取得を停止させていくもので、非破壊読出しを行なう回数は増えるものの、上記図4に示したようなテーブルの作成を必要とせず、非常に簡易な制御手法により露光制御を実現できる。
【0117】
さらに、上記図8、図9に説明した如く全画素の露光の開始タイミングを一致させるのではなく、終了タイミングを一致させることも考えられる。
【0118】
図10は、そのような露光制御の動作例を示すものである。同図では、シャッタキーの全押し操作のタイミングSから、所定の時間tpとなるまで全画素同時にリセット動作を伴う破壊読出しにより露光量を取得し、各画素毎の露光時間を算出する。その後、露光時間を長く設定した画素から順次先に露光を開始させることで、最終的に全画素の露光終了のタイミングを一致させるものである。
【0119】
このような制御手法を採ることで、非破壊読出しを一切行わず、リセット動作を伴う破壊読出しのみで画素毎に露光時間を異ならせることができる。
【0120】
このように動作は、リセット動作が画素単位、あるいはエリア単位で制御できる固体撮像素子を用いることにより実現できる。現状の実用段階では、そのような分割領域毎にリセット動作を行なう固体撮像素子は一般化していないが、技術的にはそのような動作が可能なCMOSイメージセンサを現時点でも製造可能であることを確認している。
【0121】
また、図10で説明した露光制御手法によれば、露光時間の終了を全画素で一致させることができるため、そのタイミングにメカニカルシャッタを同期させて全閉制御するものとすれば、フォーカルプレーン蓄積やローリングシャッタとも呼称されるライン露光の弊害を回避できる。
【0122】
さらに、上述した如く撮像面の分割領域毎に電荷の蓄積をリセットできる固体撮像素子を用いることで、当該領域の露光量読出しを終えた時点でリセット動作を行ない、露光が飽和してオーバーフローにより隣接する周囲の領域にまで白とびが生じるのを確実に回避できる。
【0123】
また、上記実施形態では、データ圧縮を伴うようなデータファイル形式で記録媒体に画像データを記録するものとしたが、一切のデータ圧縮処理を行なわないままに画像データの記録を実行し、以後はレタッチソフト等の利用により画像データを加工できるものとしてもよい。
【0124】
例えば現状では規格化されていないRAWデータに、さらに画素単位での露光時間の情報を付加して記録できるようなデータファイル形式を用いるものとすれば、より高い画質が要求されるような要求にも対応することができ、積極的に利用される可能性がある。
【0125】
さらに、上記実施形態では、図3に示した撮影動作を、AE処理で決定したシャッタ速度の値に対応して実行するか否か判断するものとしたが、これに限らず、ほとんどのデジタルカメラで採用されているシーンプログラム機能の1つとして採用するものとしてもよい。
【0126】
図11は、そのようなシーンプログラム機能の1つとして、サンプル画像SI及び説明文と共に「暗〜明・被写体混合」と名付けた本撮影処理を選択する画面を例示するものである。同図では、
「暗い被写体〜明るい被写体が含まれるとき、
すべてに露出があったダイナミックレンジの広い撮影が可能です。
逆光補正にも使用できます。
注)レリーズ図タイムラグが少し延びます 」
なる説明文を付して、「32」番の番号が付けられた当該シーンプログラムをサンプル画像SIと共に例示している。
【0127】
その他、本発明は上述した実施形態に限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で種々に変形することが可能である。また、上述した実施形態で実行される機能は可能な限り適宜組合わせて実施しても良い。上述した実施形態には種々の段階が含まれており、開示される複数の構成要件により適宜の組合せにより種々の発明が抽出され得る。例えば、実施形態に示される全構成要件からいくつかの構成要件が削除されても、効果が得られるのであれば、この構成要件が削除された構成が発明として抽出され得る。
【図面の簡単な説明】
【0128】
【図1】本発明の一実施形態に係るデジタルカメラの電子回路の機能構成を示すブロック図。
【図2】同実施形態に係る静止画撮影モードでの処理内容を示すフローチャート。
【図3】同実施形態に係る上記図2の撮影処理のサブルーチンの内容を示すフローチャート。
【図4】同実施形態に係る上記図3のサブルーチンで作成される露光タイミングテーブルの内容を例示する図。
【図5】一律に露光時間を設定した場合の輝度と露光量の関係を示す図。
【図6】同実施形態に係る輝度と露光時間、及び露光量の関係を示す図。
【図7】同実施形態に係る調整後の輝度と露光時間、及び露光量の関係を示す図。
【図8】同実施形態に係る露光量に応じた露光時間の違いを示す図。
【図9】同実施形態に係る他の撮影制御動作を例示する図。
【図10】同実施形態に係る他の撮影制御動作を例示する図。
【図11】同実施形態に係るシーンプログラム機能での画面表示例を示す図。
【符号の説明】
【0129】
10…デジタルカメラ、11…レンズ光学系、12…メカニカルシャッタ、13…CMOSイメージセンサ、14…画像処理部、15…バッファメモリ、16…表示部、17…制御部、18…メインメモリ、19…プログラムメモリ、20…キー操作部、21…レンズ光学系駆動部、22…フラッシュ駆動部、23…CMOSドライバ、24…メモリカード、25…音声処理部、26…レンズモータ(M)、27…シャッタモータ(M)、28…フラッシュ部、29…マイクロホン部、30…スピーカ部、C…カードコネクタ、SB…システムバス。
【特許請求の範囲】
【請求項1】
撮像面に入射される被写体像に応じて画素単位で電荷を蓄積し、蓄積した電荷量に対応した画像信号を出力する撮像素子と、
上記撮像素子の撮像面を分割する複数のエリア毎に露光量を取得する露光量取得手段と、
上記露光量取得手段で得た複数のエリア毎の露光量により、1回の露光期間中で上記撮像素子の複数のエリア毎に露光時間を調整して駆動し、撮像素子から画像信号を得る露光制御手段と、
上記撮像素子から得た1画面分の画像信号を記憶する記憶手段と
を具備したことを特徴とする撮像装置。
【請求項2】
上記露光量取得手段は、上記露光制御手段により上記撮像素子の複数のエリア同時に1回の露光を開始してから予め設定されたタイミングで、上記撮像素子での露光に基づく電荷の蓄積を阻害しない非破壊読出しにより露光量を取得することを特徴とする請求項1記載の撮像装置。
【請求項3】
上記露光量取得手段は、上記露光制御手段により上記撮像素子の複数のエリア同時に露光を開始してから一定時間周期で上記撮像素子での露光に基づく電荷の蓄積を阻害しない非破壊読出しにより複数のエリア毎の露光量を取得し、
上記露光制御手段は、上記露光量取得手段で得る複数のエリア毎の露光量により、露光量が所定値に達したタイミングでエリアから画像信号を出力させる
ことを特徴とする請求項1記載の撮像装置。
【請求項4】
上記露光量取得手段は、上記露光制御手段による露光時間を調整する本撮影の露光動作に先立つ事前露光時に上記撮像素子を分割する複数のエリア同時に予め設定される時間だけ露光して撮像素子から画像信号を得ることでエリア毎の露光量を取得し、
上記露光制御手段は、上記露光量取得手段で得た複数のエリア毎の露光量により本撮影の露光時に上記複数のエリア毎に露光を開始するタイミングを可変することで露光時間を調整し、上記複数のエリアから蓄積した電荷量に対応した画像信号を得るタイミングを略一致させる
ことを特徴とする請求項1記載の撮像装置。
【請求項5】
上記撮像素子への被写体像の入射を開閉制御するシャッタ機構と、
上記シャッタ機構により上記露光制御手段による撮影露光の直前に上記撮像素子への入射を遮断した状態で上記撮像素子の複数のエリア毎の暗電流を測定する測定手段と、
上記測定手段での測定結果により上記記憶手段で記憶する画像信号を複数のエリア毎に補正する補正手段と
をさらに具備したことを特徴とする請求項1記載の撮像装置。
【請求項6】
上記撮像素子への被写体像の入射を開閉制御するシャッタ機構をさらに具備し、
上記露光制御手段は、上記撮像素子の複数のエリアからの画像信号の出力タイミングに応じて上記シャッタ機構で上記撮像素子への入射を遮断させる
ことを特徴とする請求項4記載の撮像装置。
【請求項7】
上記撮像素子の少なくとも1エリアでの露光時間を決定する露光時間決定手段をさらに具備し、
上記露光量取得手段は、上記露光時間決定手段で決定した露光時間の終了タイミングより速いタイミングで上記非破壊読出しにより露光量を取得する
ことを特徴とする請求項2記載の撮像装置。
【請求項8】
上記複数のエリアは上記撮像素子の撮像面を構成する画素単位とすることを特徴とする請求項1記載の撮像装置。
【請求項9】
上記露光制御手段は、1回の露光期間中で最大となる露光量を上記撮像素子の受光容量に合わせて制限することを特徴とする請求項1記載の撮像装置。
【請求項10】
上記露光制御手段は、露光量が多い側の少なくとも1つのエリアの露光時間を上記撮像素子の受光容量に対応させることを特徴とする請求項1記載の撮像装置。
【請求項11】
上記記憶手段に記憶した画像信号を複数のエリア毎に輝度調整する輝度調整手段をさらに具備したことを特徴とする請求項1記載の撮像装置。
【請求項12】
上記輝度調整手段は、露光時間と露光量とに基づいて画像信号を複数のエリア毎に輝度調整することを特徴とする請求項11記載の撮像装置。
【請求項13】
上記露光制御手段は、上記露光量取得手段で得た複数のエリア毎の露光量の分布に対応して上記複数のエリア毎に露光時間を調整することを特徴とする請求項1記載の撮像装置。
【請求項14】
上記露光制御手段は、上記露光量取得手段で得た複数のエリア毎の露光量の分布に対応して最長露光時間を設定することを特徴とする請求項1記載の撮像装置。
【請求項15】
上記露光制御手段は、上記撮像素子の複数のエリア毎に露光の前後で電荷の蓄積をリセットすることを特徴とする請求項1記載の撮像装置。
【請求項16】
上記記憶手段は、画像信号及び複数のエリア毎の露光時間を対応付けて記憶することを特徴とする請求項1記載の撮像装置。
【請求項17】
撮像面に入射される被写体像に応じて画素単位で電荷を蓄積し、蓄積した電荷量に対応した画像信号を出力する撮像素子を備えた撮像装置での撮像方法であって、
上記撮像素子の撮像面を分割する複数のエリア毎に露光量を取得する露光量取得工程と、
上記露光量取得工程で得た複数のエリア毎の露光量により、1回の露光期間中で上記撮像素子の複数のエリア毎に露光時間を調整して駆動し、撮像素子から画像信号を得る露光制御工程と、
上記撮像素子から得た1画面分の画像信号を記憶する記憶工程と
を有したことを特徴とする撮像方法。
【請求項18】
撮像面に入射される被写体像に応じて画素単位で電荷を蓄積し、蓄積した電荷量に対応した画像信号を出力する撮像素子を備えた撮像装置が内蔵するコンピュータ用のプログラムであって、
上記撮像素子の撮像面を分割する複数のエリア毎に露光量を取得する露光量取得ステップと、
上記露光量取得ステップで得た複数のエリア毎の露光量により、1回の露光期間中で上記撮像素子の複数のエリア毎に露光時間を調整して駆動し、撮像素子から画像信号を得る露光制御ステップと、
上記撮像素子から得た1画面分の画像信号を記憶する記憶ステップと
をコンピュータに実行させることを特徴とするプログラム。
【請求項1】
撮像面に入射される被写体像に応じて画素単位で電荷を蓄積し、蓄積した電荷量に対応した画像信号を出力する撮像素子と、
上記撮像素子の撮像面を分割する複数のエリア毎に露光量を取得する露光量取得手段と、
上記露光量取得手段で得た複数のエリア毎の露光量により、1回の露光期間中で上記撮像素子の複数のエリア毎に露光時間を調整して駆動し、撮像素子から画像信号を得る露光制御手段と、
上記撮像素子から得た1画面分の画像信号を記憶する記憶手段と
を具備したことを特徴とする撮像装置。
【請求項2】
上記露光量取得手段は、上記露光制御手段により上記撮像素子の複数のエリア同時に1回の露光を開始してから予め設定されたタイミングで、上記撮像素子での露光に基づく電荷の蓄積を阻害しない非破壊読出しにより露光量を取得することを特徴とする請求項1記載の撮像装置。
【請求項3】
上記露光量取得手段は、上記露光制御手段により上記撮像素子の複数のエリア同時に露光を開始してから一定時間周期で上記撮像素子での露光に基づく電荷の蓄積を阻害しない非破壊読出しにより複数のエリア毎の露光量を取得し、
上記露光制御手段は、上記露光量取得手段で得る複数のエリア毎の露光量により、露光量が所定値に達したタイミングでエリアから画像信号を出力させる
ことを特徴とする請求項1記載の撮像装置。
【請求項4】
上記露光量取得手段は、上記露光制御手段による露光時間を調整する本撮影の露光動作に先立つ事前露光時に上記撮像素子を分割する複数のエリア同時に予め設定される時間だけ露光して撮像素子から画像信号を得ることでエリア毎の露光量を取得し、
上記露光制御手段は、上記露光量取得手段で得た複数のエリア毎の露光量により本撮影の露光時に上記複数のエリア毎に露光を開始するタイミングを可変することで露光時間を調整し、上記複数のエリアから蓄積した電荷量に対応した画像信号を得るタイミングを略一致させる
ことを特徴とする請求項1記載の撮像装置。
【請求項5】
上記撮像素子への被写体像の入射を開閉制御するシャッタ機構と、
上記シャッタ機構により上記露光制御手段による撮影露光の直前に上記撮像素子への入射を遮断した状態で上記撮像素子の複数のエリア毎の暗電流を測定する測定手段と、
上記測定手段での測定結果により上記記憶手段で記憶する画像信号を複数のエリア毎に補正する補正手段と
をさらに具備したことを特徴とする請求項1記載の撮像装置。
【請求項6】
上記撮像素子への被写体像の入射を開閉制御するシャッタ機構をさらに具備し、
上記露光制御手段は、上記撮像素子の複数のエリアからの画像信号の出力タイミングに応じて上記シャッタ機構で上記撮像素子への入射を遮断させる
ことを特徴とする請求項4記載の撮像装置。
【請求項7】
上記撮像素子の少なくとも1エリアでの露光時間を決定する露光時間決定手段をさらに具備し、
上記露光量取得手段は、上記露光時間決定手段で決定した露光時間の終了タイミングより速いタイミングで上記非破壊読出しにより露光量を取得する
ことを特徴とする請求項2記載の撮像装置。
【請求項8】
上記複数のエリアは上記撮像素子の撮像面を構成する画素単位とすることを特徴とする請求項1記載の撮像装置。
【請求項9】
上記露光制御手段は、1回の露光期間中で最大となる露光量を上記撮像素子の受光容量に合わせて制限することを特徴とする請求項1記載の撮像装置。
【請求項10】
上記露光制御手段は、露光量が多い側の少なくとも1つのエリアの露光時間を上記撮像素子の受光容量に対応させることを特徴とする請求項1記載の撮像装置。
【請求項11】
上記記憶手段に記憶した画像信号を複数のエリア毎に輝度調整する輝度調整手段をさらに具備したことを特徴とする請求項1記載の撮像装置。
【請求項12】
上記輝度調整手段は、露光時間と露光量とに基づいて画像信号を複数のエリア毎に輝度調整することを特徴とする請求項11記載の撮像装置。
【請求項13】
上記露光制御手段は、上記露光量取得手段で得た複数のエリア毎の露光量の分布に対応して上記複数のエリア毎に露光時間を調整することを特徴とする請求項1記載の撮像装置。
【請求項14】
上記露光制御手段は、上記露光量取得手段で得た複数のエリア毎の露光量の分布に対応して最長露光時間を設定することを特徴とする請求項1記載の撮像装置。
【請求項15】
上記露光制御手段は、上記撮像素子の複数のエリア毎に露光の前後で電荷の蓄積をリセットすることを特徴とする請求項1記載の撮像装置。
【請求項16】
上記記憶手段は、画像信号及び複数のエリア毎の露光時間を対応付けて記憶することを特徴とする請求項1記載の撮像装置。
【請求項17】
撮像面に入射される被写体像に応じて画素単位で電荷を蓄積し、蓄積した電荷量に対応した画像信号を出力する撮像素子を備えた撮像装置での撮像方法であって、
上記撮像素子の撮像面を分割する複数のエリア毎に露光量を取得する露光量取得工程と、
上記露光量取得工程で得た複数のエリア毎の露光量により、1回の露光期間中で上記撮像素子の複数のエリア毎に露光時間を調整して駆動し、撮像素子から画像信号を得る露光制御工程と、
上記撮像素子から得た1画面分の画像信号を記憶する記憶工程と
を有したことを特徴とする撮像方法。
【請求項18】
撮像面に入射される被写体像に応じて画素単位で電荷を蓄積し、蓄積した電荷量に対応した画像信号を出力する撮像素子を備えた撮像装置が内蔵するコンピュータ用のプログラムであって、
上記撮像素子の撮像面を分割する複数のエリア毎に露光量を取得する露光量取得ステップと、
上記露光量取得ステップで得た複数のエリア毎の露光量により、1回の露光期間中で上記撮像素子の複数のエリア毎に露光時間を調整して駆動し、撮像素子から画像信号を得る露光制御ステップと、
上記撮像素子から得た1画面分の画像信号を記憶する記憶ステップと
をコンピュータに実行させることを特徴とするプログラム。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【公開番号】特開2009−246757(P2009−246757A)
【公開日】平成21年10月22日(2009.10.22)
【国際特許分類】
【出願番号】特願2008−92041(P2008−92041)
【出願日】平成20年3月31日(2008.3.31)
【出願人】(000001443)カシオ計算機株式会社 (8,748)
【Fターム(参考)】
【公開日】平成21年10月22日(2009.10.22)
【国際特許分類】
【出願日】平成20年3月31日(2008.3.31)
【出願人】(000001443)カシオ計算機株式会社 (8,748)
【Fターム(参考)】
[ Back to top ]