撮像装置
【課題】明るさ調整動作がどの状態にあるかを報知して、ユーザにとって使い勝手の良い撮像装置を提供する。
【解決手段】デジタルカメラであって、連続撮像された複数の画像フレームを合成して合成画像を生成する画像加算部5dと、被写体の連続撮像の際に、合成必要数の画像フレームを合成して合成画像の明るさを調整する画像明るさ調整処理を実行する画像処理装置5と、画像明るさ調整処理にて、画像加算部による合成途中の画像を表示する表示装置とを備える。
【解決手段】デジタルカメラであって、連続撮像された複数の画像フレームを合成して合成画像を生成する画像加算部5dと、被写体の連続撮像の際に、合成必要数の画像フレームを合成して合成画像の明るさを調整する画像明るさ調整処理を実行する画像処理装置5と、画像明るさ調整処理にて、画像加算部による合成途中の画像を表示する表示装置とを備える。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、被写体を連続撮像した複数の画像フレームを合成して合成画像を生成する撮像装置に関する。
【背景技術】
【0002】
従来、デジタルカメラ等の撮像装置は、光学レンズにより被写体の光学像を結像して、CMOS型イメージセンサ等の撮像素子により光学像を電気信号に変換するようになっている。
【0003】
ところで、暗所を撮像する方法として、手ぶれの影響の少ない露光時間で被写体を連続撮像して、これら複数の画像の動きを補正しながら当該画像を加算して、一枚の画像を生成する方法が知られている(例えば、特許文献1参照)。
【特許文献1】特開2000−224470号公報
【発明の開示】
【発明が解決しようとする課題】
【0004】
しかしながら、上記特許文献1の場合、予め規定枚数を一括して連続撮像し、その後、画像合成処理を行うようになっているため、撮像開始後から最後の画像を得るまでの時間が長いと、撮像処理を失敗する虞があり、また、撮り直しを行うとさらに時間が長くかかってしまうといった問題がある。
【0005】
また、合成枚数が予め決められているため、非常に暗い場所を撮像する場合などでは、規定枚数を合成しても画像が十分に明るくならないといった問題もある。
【0006】
さらに、暗所での撮像で夜景をバックに人物を撮像する場合などでは、人物の顔と夜景の明るい部分との明暗の差が大きいため、顔部分を十分に明るくして階調を十分に表現するためには、画像合成枚数を画像が十分な明るさを得る以上の枚数を撮像しなければならないといった問題もある。
【0007】
このように、被写体の撮像条件によって必要十分な連写枚数が変動してしまい、合成枚数不足を回避する上では、常に多めに撮像するという方法も考えられるが、かかる場合、ユーザはカメラを長時間ぶれないように保持しなければならないといった問題が生じてしまう。
【0008】
そこで、本発明の課題は、撮影中に画像合成の状態を報知することができ、ユーザにとって使い勝手の良い撮像装置を提供することである。
【課題を解決するための手段】
【0009】
請求項1に記載の発明の撮像装置(例えば、図1のデジタルカメラ100等)は、
被写体を連続して撮像して、複数の画像フレームを出力する連続撮像手段(例えば、図1のイメージセンサ2等)と、
前記複数の画像フレームを合成して合成画像を生成する画像合成手段(例えば、図2の画像加算部5d等)と、
前記連続撮像手段による前記被写体の連続撮像の際に、前記画像フレームを前記画像合成手段により合成して、前記合成画像の明るさを調整する画像明るさ調整処理を実行する画像明るさ調整手段(例えば、図2の画像処理装置5等)と、
前記画像明るさ調整手段による前記画像明るさ調整処理にて、前記画像合成手段による合成途中の画像を表示する途中画像表示手段(例えば、図1の表示装置4等)とを備えることを特徴としている。
【0010】
請求項2に記載の発明は、請求項1に記載の撮像装置において、
前記画像合成手段により生成される前記合成画像の明るさが、通常の撮像方法にて撮像された画像と略同等の明るさに達する前と後とでは、前記画像明るさ調整手段による前記画像明るさ調整処理を異ならせることを特徴としている。
【0011】
請求項3に記載の発明は、請求項2に記載の撮像装置において、
前記画像合成手段により生成される前記合成画像の明るさが、通常の撮像方法にて撮像された画像と略同等の明るさに達した後、前記画像明るさ調整手段による前記画像明るさ調整処理後の前記合成画像に、前記画像フレームを前記画像合成手段によりさらに合成して、前記合成画像のノイズを軽減するノイズ軽減処理を実行するノイズ軽減手段(例えば、図2の画像処理装置5等)を備えることを特徴としている。
【0012】
請求項4に記載の発明は、請求項1に記載の撮像装置において、
前記合成画像の色調を調整する色調調整処理を実行する色調調整手段(例えば、図2のトーン補正部5q等)をさらに備え、
前記画像合成手段により生成される前記合成画像の明るさが、通常の撮像方法にて撮像された画像と略同等の明るさに達する前と後とでは、前記色調調整手段による色調調整処理を異ならせることを特徴としている。
【0013】
請求項5に記載の発明は、請求項1に記載の撮像装置において、
前記被写体を撮像した画像の明るさに基づいて、前記画像合成手段により生成される前記合成画像が所定の明るさを有するために必要な前記画像フレームの合成必要数を算出する合成必要数算出手段(例えば、図2の現像パラメータ計算部5m等)と、
前記画像合成手段により合成された画像フレーム数を計測する合成数計測手段(例えば、図2の加算枚数カウンタ5l等)と、
前記連続撮像手段による前記被写体の撮像の際に、前記合成必要数算出手段により算出された前記合成必要数及び前記合成数計測手段により計測された前記画像フレーム数を表示する数表示手段(例えば、図1の表示装置4等)とをさらに備えることを特徴としている。
【0014】
請求項6に記載の発明は、請求項1〜5の何れか一項に記載の撮像装置において、
前記連続撮像手段による前記被写体の撮像指示を入力する撮像操作入力部(例えば、図1のシャッター6等)を備え、
前記画像明るさ調整手段は、操作者による前記撮像操作入力部の一操作に基づいて、前記画像明るさ調整処理を実行して、前記画像合成手段により前記合成必要数の前記画像フレームを合成することを特徴としている。
【0015】
請求項7に記載の発明は、請求項1〜5の何れか一項に記載の撮像装置において、
前記連続撮像手段による前記被写体の撮像指示を入力する撮像操作入力部(例えば、図1のシャッター6等)を備え、
前記画像明るさ調整手段は、操作者により前記撮像操作入力部が操作されている間、前記画像明るさ調整処理を実行することを特徴としている。
【0016】
請求項8に記載の発明は、請求項7に記載の撮像装置において、
前記画像明るさ調整手段による前記画像明るさ調整処理にて、前記画像合成手段により所定数の前記画像フレームが合成される毎に生成される前記合成画像を記憶する画像記憶手段(例えば、図10の結果表示用メモリ33等)と、
前記画像記憶手段に記憶された前記合成画像を表示する画像表示手段(例えば、図1の表示装置4等)とを備えることを特徴としている。
【発明の効果】
【0017】
本発明によれば、撮像装置が複数の画像フレームを合成して、合成画像の明るさを適正に調整する様子をユーザが知ることができる。従って、ユーザは撮影中に今どのような状態にあるのかを知ることができ、使い勝手の良い撮像装置を提供することができる。
【発明を実施するための最良の形態】
【0018】
以下に、本発明について、図面を用いて具体的な態様を説明する。ただし、発明の範囲は、図示例に限定されない。
【0019】
[実施形態1]
図1は、本発明を適用した実施形態1のデジタルカメラ100の概略構成を示すブロック図である。
実施形態1のデジタルカメラ(撮像装置)100は、所定の露光時間で通常の撮像動作を行う一枚撮像モードと、一枚撮像モードよりも短時間の露光で被写体を連続撮像して、複数の画像フレームを加算(合成)して一枚の画像を生成する連写撮像モードを具備している。
具体的には、デジタルカメラ100は、例えば、光学レンズ装置1と、イメージセンサ2と、メモリ3と、表示装置4と、画像処理装置5と、シャッター6と、モードキー7と、コンピュータIF部8と、外部記憶IF装置9と、プログラムコード記憶装置10と、CPU11等を備えている。
【0020】
シャッター6は、ユーザによる押下操作に基づいて、被写体の撮像指示をCPU11に出力するものである。
即ち、シャッター6は、連写撮像モードにて、ユーザによる押下操作に基づいて、光学レンズ装置1及びイメージセンサ2等を用いた被写体の撮像動作の指示をCPU11に出力して入力するための撮像操作入力部を構成している。
【0021】
モードキー7は、例えば、ユーザによる操作に基づいて撮像モードを選択するためのダイヤル等から構成され、一枚撮像モードや連写撮像モード等を選択できるようになっている。
【0022】
光学レンズ装置1は、例えば、撮像レンズ部とその駆動部とを備え、被写体にて反射した光を集光してイメージセンサ2上に結像するものである。
【0023】
イメージセンサ2は、例えば、CCD等を備え、結像した画像をデジタル化した画像データとして取り込むためのものである。
また、イメージセンサ2は、例えば、CPU11によって制御され、ユーザによりシャッター6が押下されない場合には、プレビュー用の露光時間の短い高速フレーム(デジタル画像データ)を生成し、当該画像データを秒間30枚程度の間隔で、定期的に読み出してメモリ3に出力する。そして、ユーザによりシャッター6が押下されると、イメージセンサ2は、高解像度の画像データを生成して、当該画像データをメモリ3に出力する。
なお、イメージセンサ2は、例えば、CPU11の制御下にて、被写体の明るさに応じて撮像感度(ISO感度)を調整可能となっている。
【0024】
また、イメージセンサ2は、連続撮像手段として、連写撮像モードにて、ユーザによりシャッター6が押下操作されている間、短時間露光を複数回連続して行うことで被写体を連続して撮像して、複数の画像フレームを出力するようになっている。
【0025】
メモリ3は、例えば、イメージセンサ2から出力されたプレビュー用の画像データ、高解像度の画像データ又は画像処理装置5により画像処理される元画像データ、処理後の画像データを一時的に記憶するものである。また、メモリ3は、例えば、一時記憶した画像データを表示装置4や画像処理装置5に出力するようになっている。
また、メモリ3は、例えば、CPU11の作業用メモリとしても用いられるようになっている。
【0026】
画像処理装置5は、例えば、メモリ3に一時記憶された画像データに対して、画像合成処理、加算画像の現像処理や画像データの圧縮処理等を行うものである。
以下に、画像処理装置5について、図2を参照して詳細に説明する。
【0027】
図2に示すように、画像処理装置5は、例えば、参照画像記憶部5a、動き検出部5b、動き補正部5c、画像加算部5d、遮断回路5e、加算画像記憶部5f、選択回路5g、画像リサイズ部5h、画像輝度情報検出部5i、記憶部5j、反転回路5k、加算枚数カウンタ5l、現像パラメータ計算部5m、輝度最大固定数値記憶部5n、必要な明るさ固定数値記憶部5o、輝度調整部5p、トーン補正部5q、比較器5r、オンスクリーン回路5s、画像圧縮部5t等を備えている。
【0028】
参照画像記憶部5aは、例えば、イメージセンサ2から出力され入力された画像フレームを参照画像として記憶するものである。
また、参照画像記憶部5aは、例えば、記憶された参照画像を動き検出部5bに出力するようになっており、CPU11から出力された参照画像取り込み信号が入力されている間は、参照画像として入力画像と同じ画像を出力するようになっている。
【0029】
動き検出部5bは、例えば、参照画像記憶部5aから出力され入力される参照画像と、イメージセンサ2から出力され入力される対象画像とを比較判定して、動きを検出するものである。即ち、動き検出部5bは、連写撮像モードにて、1枚目の参照画像を2枚目以降の画像の動き量を検出するための基準画像として、対象画像と比較判定して動きを検出するようになっている。
例えば、参照画像記憶部5aから入力された画像と同じ画像が出力される場合、当該画像とイメージセンサ2から出力され入力される対象画像とが同じ画像となって、動き検出部5bは、動き補正Hを動きなしとして出力するようになっている。
【0030】
動き補正部5cは、例えば、イメージセンサ2から出力され入力された画像の動き補正:Hを行って、補正画像を出力するものであるが、一枚目の画像の場合には動き補正はないので、入力された画像をそのまま補正画像信号として画像加算部5dに出力するようになっている。
【0031】
画像加算部5dは、画像合成手段として、イメージセンサ2から出力され入力された複数の画像フレームを加算(合成)して加算画像を生成するものである。即ち、画像加算部5dは、例えば、連写撮像モード(後述)にて、動き補正部5cから出力され入力された補正画像信号と、加算画像記憶装置から出力され遮断回路5eを介して入力される加算画像を加算するようになっている。
ここで、例えば、遮断回路5eの制御端子に参照画像取り込み信号が入力されている場合、遮断回路5eに入力される信号は遮断され、「0」が出力されるようになっているため、画像加算部5dは、動き補正部5cから出力され入力された画像データそのものを加算画像記憶部5fに出力するようになっている。
【0032】
なお、画像加算は、ユーザによりシャッター6が押下操作されている間は実行されるため、画像加算部5dは、例えば、必要枚数以上の画像を加算しても、オーバーフローしないほど十分なビット数が確保されている。
【0033】
加算画像記憶部5fは、例えば、画像加算部5dから出力され入力された画像データを記憶するものである。
また、加算画像記憶部5fは、例えば、記憶されている画像データ(加算画像)を選択回路5g及び遮断回路5eに出力するようになっている。
【0034】
選択回路5gは、例えば、CPU11から出力され入力される連写合成信号に基づいて、イメージセンサ2から出力される信号と加算画像記憶部5fから出力される信号の入力を切り換えるものである。具体的には、選択回路5gは、例えば、連写合成信号が「0」の場合は、イメージセンサ2から出力される信号の入力を選択する一方で、連写合成信号が「1」の場合は、加算画像記憶部5fから出力される信号の入力を選択するようになっている。
そして、選択回路5gは、入力された信号を画像リサイズ部5h及び画像輝度情報検出部5iに出力するようになっている。
【0035】
画像リサイズ部5hは、例えば、CPU11から出力され入力される画像リサイズ信号に基づいて、選択回路5gから出力され入力される画像のサイズを変更するものである。例えば、画像リサイズ部5hは、画像サイズをプレビュー画像用の最小画像サイズ(QVGAサイズ)や本撮像画像用の最大画像サイズ等に設定して変更するようになっている。
また、画像リサイズ部5hは、リサイズ後の画像を輝度調整部5pに出力するようになっている。
【0036】
画像輝度情報検出部5iは、例えば、入力画像に基づいて画像の輝度情報を検出するものである。具体的には、画像輝度情報検出部5iは、入力画像信号に基づいて輝度変換を行って、画像の明るさを測定するための測光領域部分(例えば、画像中央部等)を選択してヒストグラムを作成する。また、画像データが順次入力される場合、ヒストグラム計測は画像中央部の画像データが入力されるごとに行われるようになっている。
そして、画像輝度情報検出部5iは、計測されたヒストグラムに基づいて画像の輝度分布を検出して、当該輝度分布を画像輝度情報として現像パラメータ計算部5m及び記憶部5jに出力する。
【0037】
記憶部5jは、例えば、反転回路5kから出力された反転信号「1」の入力に基づいて、画像輝度情報検出部5iから出力され入力された画像輝度情報を記憶するようになっている。
【0038】
加算枚数カウンタ5lは、合成数計測手段として、CPU11から出力され入力された画像加算信号に基づいて、加算(合成)された画像フレーム数である加算枚数をカウント(計測)してカウンタ値を「+1」するものである。
また、加算枚数カウンタ5lは、例えば、連写合成信号が「0」の場合、当該信号が反転回路5kによって「1」に反転された後、クリア信号端子に入力されることで、カウンタ値をクリアする(「0」とする)。
そして、加算枚数カウンタ5lは、加算枚数をオンスクリーン回路5s及び比較器5rに出力するようになっている。
【0039】
現像パラメータ計算部5mは、例えば、画像輝度情報検出部5iから出力された画像輝度情報が入力される毎に、当該画像輝度情報に基づいて、ヒストグラムの平均値から出力画像の明るさのゲイン調整を行うものである。
そして、現像パラメータ計算部5mは、算出された輝度ゲインを輝度調整パラメータとして輝度調整部5pに出力するようになっている。
【0040】
また、現像パラメータ計算部5mは、合成必要数算出手段として、画像合成に必要な画像フレームの枚数(合成必要枚数)を算出するようになっている。即ち、現像パラメータ計算部5mは、被写体を撮像した画像(入力画像)の明るさに基づいて、画像加算部5dにより生成される加算画像が通常の一枚撮像モード(撮像方法)にて撮像された画像と略同等の明るさを有するために必要な画像フレームの合成必要数を算出する。
具体的には、通常、所定のS/N値を得るのに必要な明るさに対して、入力画像の明るさが1/Bである場合、合成して所定のS/N値を得るにはB2枚の画像が必要となる。よって、画像輝度情報の輝度調整パラメータ(輝度ゲイン)がBである場合は、連写に必要な枚数はB2枚となる。例えば、被写体の明るさが所望の輝度に対して1/2.8である場合、必要枚数は2.82(≒8)となる。
そして、現像パラメータ計算部5mは、算出された必要枚数をオンスクリーン回路5sに出力するようになっている。
【0041】
また、現像パラメータ計算部5mは、例えば、加算画像の明るさと所定のS/N値に到達するのに必要な明るさとの比(以下、「明るさの達成比k」という)を計算するものである。
即ち、現像パラメータ計算部5mは、例えば、加算画像の画像輝度情報に基づいて算出した平均輝度と、必要な明るさ固定数値記憶部5oに記憶されている明るさ固定数値、即ち、通常の撮像方法にて撮像された所定のS/N値を有する画像と略同程度となる明るさを規定する数値に基づいて、下記式(1)に従って明るさの達成比kを算出するようになっている。
【数1】
【数2】
そして、現像パラメータ計算部5mは、例えば、算出された明るさの達成比kを式(2)に従って%表示(以下、「明るさの達成比Lk(%)」という)に変換して、オンスクリーン回路5sに出力するようになっている。
【0042】
また、現像パラメータ計算部5mは、例えば、画像輝度情報検出部5iから出力され入力された加算画像の画像輝度情報に基づいて、加算画像が所定のS/N値に到達するまでは所定の明るさ以下となるように、そして、加算枚数が増えるに従って画像の暗い部分をより明るくするようにトーン補正部5qによるトーン補正パラメータを算出するようになっている。
即ち、現像パラメータ計算部5mは、例えば、上記の明るさの達成比kを適用して、この明るさの達成比kが1.0を超えるまでは、トーンカーブを真っ直ぐの直線(図3における実線)にし、1.0を超えると、暗い部分の引き伸ばし量を調整するため、トーンカーブを画像の暗い部分をより明るくするような曲線(図3における破線)に変化させるようなトーン補正パラメータを算出する。
【0043】
輝度調整部5pは、例えば、現像パラメータ計算部5mにて算出された輝度ゲイン(輝度調整パラメータ)に基づいて、入力画像の明るさを調整して、トーン補正部5q及び画像圧縮部5tに出力するものである。
なお、輝度調整部5pは、例えば、規定レベル以上の明るさの画像が入力されても、輝度調整パラメータが1以下の数が入力されて、適正な明るさに調整されるようになっている。
【0044】
トーン補正部5qは、例えば、現像パラメータ計算部5mにて算出されたトーン補正パラメータに基づいて、トーンカーブを変更して入力画像のトーンを調整して、オンスクリーン回路5sに出力するものである。
即ち、トーン補正部5qは、色調調整手段として、加算画像の色調を調整する色調調整処理を実行するようになっている。具体的には、トーン補正部5qは、加算画像の明るさが、一枚撮像モード(通常の撮像方法)にて撮像された画像と略同等の明るさに達する前と後とで、トーン補正パラメータγを変更することで色調調整処理を異ならせるようになっている。例えば、トーン補正部5qは、明るさの達成比kが1.0を超えた場合に、トーンカーブを画像の暗い部分をより明るくするような曲線(図3における破線)に変化させて、暗い部分の引き伸ばし量を調整するようになっている。
トーンカーブの調整には、例えば、明るさの達成比kによって求めたγを用いてγ補正が適用され、このγ補正によって、下記式(3)に入力された画素値xが変換されてyとして出力されることとなる。
【数3】
ここで、aは0〜3までの定数であり、0は「変化なし」を表し、値が大きくなるほど撮像枚数あたりの暗い部分の引き伸ばし量の変化量が大きくなるようになっている。
なお、入力画素値xは、0以上で最大値xmax以下である。また、最大値xmaxは、輝度最大固定数値記憶部5nに記憶されている値と加算枚数とを乗算することで求められるようになっている。
【0045】
ここで、出力画像の明るさ(平均輝度L)と輝度調整パラメータG及びトーン補正パラメータγとの対応関係について、図17〜図21を参照してより詳細に説明する。
図17は、デジタルカメラで連写撮像した際の加算枚数(N)とその加算枚数に応じて出力される画像の明るさ(平均輝度L)との対応関係を示したものである。
【0046】
図17に示すように、出力画像が必要な明るさを得るまでは、加算(合成)枚数に応じて画像全体を徐々に明るくするが、必要枚数に達した後は、画像が白飛び(オーバーフロー)しないように明るい部分はそれ以上に明るくせずに、暗い部分のみを明るくする。
ここで、暗い部分を明るくしすぎると画像全体のコントラストが低下するので、さらに加算枚数を増やす場合には、出力画像の明るさが略一定となって出力されるように制御する。
以下に、このような制御に係るデジタルカメラの動作について説明する。
【0047】
先ず、出力画像が常に略一定の明るさになるように制御する場合について、図18を参照して説明する。
輝度調整パラメータGは、画像輝度情報検出部5iで検出された入力画像輝度の平均値から、出力画像の輝度平均が必要な明るさになるように下記式(4)に従って算出される。
ここで、入力画像輝度は加算枚数(N)に比例するので、略一定の明るさにするためのゲイン調整パラメータGは、下記式(5)の関係が成立する(図18参照)。
【数4】
【数5】
【0048】
また、S/Nの悪い領域では画像が明るくならないように制御する場合について、図19を参照して説明する。。
即ち、必要枚数に達する前の画像はS/Nが悪く、一定の明るさにするとノイズが目立つので、図19に示すように、必要枚数に達するまでは、下記式(6)に従って輝度調整パラメータGが略一定値となるように制御する。これにより、出力画像の明るさは、図17に示すようになる。
【数6】
【0049】
また、出力画像のノイズレベルが一定になるように制御する場合について、図20を参照して説明する。
図20に示すように、必要枚数に達するまでは、下記式(7)に従って輝度調整パラメータGを制御する。
この場合、必要枚数に到達するまので明るさ変動は直線ではなくN1/2で変化していくこととなる。即ち、図19の場合の一枚目のゲインが1/(必要枚数)1/2であるのに対して、図20の場合では明るさが1となるので明るく、且つ、必要枚数に達するまでは、撮影枚数に関係なくS/Nが略一定になる。
【数7】
【0050】
次に、トーン補正により出力画像の明るさを制御する場合について図21を参照して説明する。
図21に示すように、必要枚数に達するまではトーン補正パラメータγ値は1.0で一定として、必要枚数に達した後は徐々にγを強くしていって暗い部分を明るくしていく。そして、γ値が所定の指定値に達すると一定にする。
これにより、図17に示したように、必要枚数に達するまでは、トーンを変更することなく出力画像の明るさだけを変化することができ、必要枚数に達した以降は、ゲインを略一定にしながらトーン補正パラメータγを強くすることで、明るい部分の明るさは維持しながら、暗い部分を明るくなるように補正することができる。さらに加算枚数を増やすと、トーン補正パラメータγ値は略一定になり、それ以降は、略一定の明るさの画像が出力されることとなる。
【0051】
比較器5rは、例えば、加算枚数カウンタ5lから出力された加算枚数信号、及び現像パラメータ計算部5mから出力された必要枚数信号が入力されると、これらの値を比較するようになっている。そして、加算枚数が必要枚数以上になると、比較器5rは、加算枚数超過信号をCPU11及びオンスクリーン回路5sに出力するようになっている。
【0052】
オンスクリーン回路5sは、CPU11から出力され入力されるオンスクリーン制御信号に基づいて、現像パラメータ計算部5mから出力され入力された画像合成に必要な画像フレームの枚数である必要枚数、及び加算枚数カウンタ5lから出力され入力された画像合成(連写撮像)した枚数である加算枚数を現像処理後のプレビュー画像に重畳して出力するものである。
【0053】
また、オンスクリーン回路5sは、例えば、現像パラメータ計算部5mから出力され入力された明るさの達成比Lkに係るプログレスバーを現像処理後のプレビュー画像に重畳して出力するものである。
なお、明るさの達成比Lkは、プログレスバーによる表示に限られるものではない。
【0054】
画像圧縮部5tは、例えば、CPU11から出力され入力される圧縮制御信号に基づいて、トーン補正部5qから出力され入力された現像後の画像をJPEG画像に圧縮する画像圧縮処理を実行するものである。
また、画像圧縮部5tは、例えば、現像後の画像をJPEG画像に圧縮して、圧縮画像信号としてメモリ3の出力画像領域に出力するようになっている。
【0055】
上記構成の画像処理装置5は、CPU11の制御下にて駆動して、画像明るさ調整手段として機能する。即ち、画像処理装置5は、ユーザによるシャッター6の押下操作に従って光学レンズ装置1及びイメージセンサ2を用いて被写体の連続撮像が行われる際に、現像パラメータ計算部5mにより算出された合成必要枚数の画像フレームを画像加算部5dにより加算して、所定のS/N値を得るように加算画像の明るさを調整する画像明るさ調整処理を実行するようになっている。具体的には、画像処理装置5は、加算画像の明るさが、一枚撮像モード(通常の撮像方法)にて撮像された画像と略同等の明るさに達する前と後とで、輝度調整パラメータGを変更することで画像明るさ調整処理を異ならせるようになっている。
さらに、画像処理装置5は、CPU11の制御下にて駆動して、ノイズ軽減手段として機能する。即ち、画像処理装置5は、加算画像の明るさが一枚撮像モードにて撮像された画像と略同等の明るさに達した後、ユーザによりシャッター6が押下操作されている間は、画像明るさ調整処理後の加算画像に、画像フレームを画像加算部5dによりさらに加算していくことで加算画像のノイズNを軽減するノイズ軽減処理を実行するようになっている。これにより、画像フレームの加算枚数を増加させて加算画像のS/N値をより改善していくことができる。
【0056】
表示装置4は、例えば、画像が表示される液晶モニタを備え、CPU11の制御下にて、メモリ3に一時記憶されたプレビュー画像や高解像度の本撮像画像を表示するようになっている。
即ち、表示装置4は、途中画像表示手段として、連写撮像モードにて、画像明るさ調整処理の際に、画像加算部5dによる合成途中の画像を順次表示するようになっている。具体的には、例えば、図4(a)〜図7(b)に示すように、表示装置4には、画像明るさ調整処理にて次第に明るくなっていく加算画像が順次表示されることとなる。
ここで、図4(a)は、画像フレーム1枚の画像を表し、図4(b)は、画像フレーム2枚が加算された画像を表し、図5(a)は、画像フレーム3枚が加算された画像を表し、図5(b)は、画像フレーム4枚が加算された画像を表し、図6(a)は、画像フレーム5枚が加算された画像を表し、図6(b)は、画像フレーム6枚が加算された画像を表し、図7(a)は、画像フレーム7枚が加算された画像を表し、図7(b)は、画像フレーム8枚が加算された画像を表している。
なお、図4(a)〜図7(b)にあっては、画像上のドット数が多いほど暗い画像を表している。
【0057】
また、表示装置4は、画像処理装置5によりノイズ軽減処理後の画像を表示するようになっている。これにより、例えば、図8(a)及び図8(b)に示すように、表示装置4には、画像フレームの加算枚数を増加させることによって、画像の明るさ自体(人物の背景のドット数)は図7(b)のものと変化しないものの、ランダムノイズNが次第に軽減された鮮明な画像、特に、背景に比べて明るい人物部分のS/N値が改善された画像が表示されることとなる。
ここで、図8(a)は、図7(b)の加算画像にさらに画像フレームが加算された画像を表し、図8(b)は、図8(a)の加算画像にさらにそれ以上の画像フレームが加算された画像を表している。
【0058】
また、表示装置4は、数表示手段として、連写撮像モードにて、被写体の連続撮像の際に、現像パラメータ計算部5mにより算出された画像フレームの合成必要枚数及び加算枚数カウンタ5lによりカウントされた加算された加算枚数(画像フレーム数)を加算画像に重畳して表示するようになっている。具体的には、例えば、図4(a)〜図7(b)に示すように、表示装置4はその表示画面の左上隅部に、合成必要枚数を分母とし、順次増加する加算枚数を分子とするような態様で表示する。そして、表示装置4は、合成必要枚数分の画像フレームが加算されると、当該合成必要枚数及び加算枚数の表示を停止するようになっている。
【0059】
さらに、表示装置4は、加算画像の明るさの達成比Lk(%)に係るプログレスバーを加算画像に重畳して表示するようになっている。具体的には、例えば、図4(a)〜図8(b)に示すように、表示装置4はその表示画面の下部に、左端を0%とし、右端を100%として、明るさの達成比Lk(%)に応じて長くなるような態様のプログレスバーを表示する。
【0060】
コンピュータIF部8は、例えば、デジタルカメラ100がコンピュータ(図示略)に接続された場合に、USBのストアレジクラスドライバとして動作するものである。これにより、デジタルカメラ100に接続されたコンピュータは、例えば、メモリカードMをコンピュータの外部記憶装置として取り扱うようになっている。
【0061】
外部記憶IF装置9は、例えば、メモリカードMとの間で、画像データ等の入出力を行うためのものである。
メモリカードMは、例えば、外部記憶装置として、外部記憶IF装置9から出力された画像データ等を記憶するようになっている。
【0062】
プログラムコード記憶装置10は、例えば、ROMやフラッシュメモリ等から構成され、CPU11により実行されるプログラムを記憶するためのものである。
【0063】
CPU11は、例えば、プログラムコード記憶装置10に格納されているプログラムに従って、システム全体を統括的に制御するものである。
具体的には、例えば、CPU11は、ユーザによるシャッター6の所定操作に基づいて出力された操作情報が入力されると、当該操作情報に基づいて、イメージセンサ2、メモリ3、表示装置4、画像処理装置5等を制御して、画像の撮像処理や現像処理を行う。また、CPU11は、例えば、外部記憶IF装置9を介してメモリカードMにJPEGフォーマットで圧縮した高解像度の画像データを記録させたり、メモリカードMから画像データを読み出す制御を行うようになっている。
【0064】
次に、連写撮像処理について、図9を参照して詳細に説明する。
ここで、図9は、連射撮像処理にかかる動作の一例を示すフローチャートである。
【0065】
電源投入後、ユーザによるモードキー7の所定操作に基づいて連写撮像モードが選択指示されると、CPU11は、光学レンズ装置1、イメージセンサ2、画像処理装置5、表示装置4等を初期状態に設定する(ステップS1)。
次に、CPU11は、画像処理装置5の制御用の各種信号を連写撮像の初期状態に設定し、一枚撮像動作と異なり、オンスクリーン制御信号を「有効」にする(ステップS2)。これにより、プレビュー画像にオンスクリーン情報が表示されるようになる。
そして、CPU11は、本画像/加算画像切り換え信号を本撮像画像に設定する(ステップS3)。
【0066】
その後、CPU11は、連写合成信号に基づいて、連写合成中であるか否かを判定する(ステップS4)。ここで、初期状態では、連写合成信号は「0」であるので、CPU11は、連写合成中ではないと判定する(ステップS4;NO)。
続けて、ユーザによりシャッター6が押下操作されているか否かを判定する(ステップS5)。ここで、ユーザによりシャッター6が押下操作されていない場合(ステップS5;NO)、CPU11は、イメージセンサ2により撮像されている画像を表示装置4に表示させる制御を行う。
具体的には、CPU11は、画像処理装置5のための画像リサイズ信号をプレビューの縮小画像サイズに設定し(ステップS6)、続けて、イメージセンサ2を制御して、プレビュー用の露光時間の短い高速フレーム(デジタル画像データ)を生成して(ステップS7)、当該プレビュー画像を入力画像信号として画像処理装置5に出力する(ステップS8)。
【0067】
画像処理装置5は、CPU11の制御下にて、プレビュー画像の現像処理を行う(ステップS9)。このとき、画像処理装置5は、オンスクリーン制御信号が「有効」になっているので、オンスクリーン回路5sにて画像加算に必要な画像フレームの枚数である合成必要枚数及び画像加算(連写撮像)した枚数である加算枚数を現像処理後のプレビュー画像に上書きして出力する。
そして、CPU11は、表示装置4を制御して、メモリ3のプレビュー表示領域を読み出して、必要枚数及び加算枚数がオンスクリーン表示されたプレビュー画像を表示装置4に表示させる(ステップS10;図4(a)参照)。
これにより、ユーザは、現在撮像を行おうとしている被写体の明るさに応じて連写合成する枚数を表示装置4で認識することができる。
【0068】
そして、CPU11は、ユーザによるモードキー7の操作の有無を判定して(ステップS11)、モードキー7が操作されていないと判定されると、ステップS4に移行して、それ以降の処理の実行を制御する。
【0069】
その後、ユーザによりシャッター6が押下操作されると(ステップS5;YES)、CPU11は、連写合成信号を「1」にして、連写合成中の状態に設定する(ステップS12)。
続けて、CPU11は、画像処理装置5の参照画像取り込み信号を参照画像記憶部5aに出力する(ステップS13)。
【0070】
次に、CPU11は、画像加算信号を生成して、加算枚数カウンタ5lに出力する(ステップS14)。
ここで、連写合成信号は「1」となっていることから、当該信号は反転回路5kにて「0」に反転されて加算枚数カウンタ5lのクリア信号端子に入力されるので、カウンタ値のクリア制御は解除されている。従って、加算枚数カウンタ5lは、画像加算信号の入力によりカウンタ値を「+1」することで、加算枚数が「1」となる。そして、加算枚数カウンタ5lは、加算枚数信号を比較器5rに出力する。
【0071】
その後、CPU11は、画像の本撮像処理を実行する(ステップS15)。
この本撮像処理にあっては、先ず、CPU11は、画像リサイズ信号を本撮像画像サイズ(例えば、最大画像サイズ等)に設定する。続けて、CPU11は、イメージセンサ2を制御して、本撮像用の高解像度のデジタル画像データを生成する。
そして、CPU11は、生成された画像データを入力画像信号として画像処理装置5に出力する(ステップS16)。
その後、ステップS9に移行して、画像処理装置5は、CPU11の制御下にて、本撮像画像の現像処理を実行した後、表示装置4は、CPU11の制御下にて、必要枚数及び加算枚数がオンスクリーン表示された本撮影画像を表示する(ステップS10)。
【0072】
そして、モードキー7が操作されていない場合(ステップS11;NO)、ステップS4に移行することとなるが、連写合成信号は「1」となっているので、CPU11は、連写合成中であると判定する(ステップS4;YES)。
続けて、CPU11は、ユーザによりシャッター6が押下操作されているか否かを判定する(ステップS17)。ここで、ユーザによりシャッター6が押下操作されている場合(ステップS17;YES)、CPU11は、参照画像取り込み信号の出力を解除する(ステップS18。これにより、2枚目以降の画像は参照画像記憶部5aに記憶されることはなくなって、1枚目の画像が保存された状態が維持される。
【0073】
その後、ステップS14に移行して、CPU11は、画像加算信号を生成して、撮像枚数を「+1」してから、本画像撮像を行って、当該画像を画像処理装置5に読み込む処理の実行を制御する(ステップS15〜ステップS16)。
【0074】
画像処理装置5にあっては、本画像が読み込まれる毎に、当該本画像と一枚目の画像との動き量を動き検出部5bにて検出して、その動き補正量に応じて動き補正部5cで補正を行って、その補正画像を加算画像記憶部5fに記憶されている画像と加算する。これにより、2枚目以降の画像を、動き量に応じて合成する位置を補正しながら重ねることができるので、手持ちで撮像して手ぶれが生じた場合であっても、ぶれのない画像が加算されて画像合成される。
【0075】
その後、ステップS9に移行して、画像処理装置5は、CPU11の制御下にて、本撮像画像の現像処理を実行した後、表示装置4は、CPU11の制御下にて、必要枚数及び加算枚数がオンスクリーン表示された本撮影画像を表示する(ステップS10)。
【0076】
上記の動作は、ユーザによりシャッター6が押下操作されている限り(ステップS17;YES)、繰り返し実行されるようになっている。
即ち、画像明るさ調整処理の実行により、画像フレームが順次加算されることで次第に明るくなっていく加算画像を合成する(図4(a)〜図7(b)参照)。そして、画像明るさ調整処理後のノイズ軽減処理の実行により、画像フレームが必要枚数以上さらに加算されることでランダムノイズNが次第に軽減された鮮明な画像を合成する(図8(a)及び図8(b)参照)。
加えて、色調調整処理の実行により、画像フレームの加算枚数に応じて加算画像の色調を調整することで、ユーザによる画像フレームの加算枚数の見極めを容易にして、シャッター6の押下操作の解除タイミングを分かり易くすることができる。
【0077】
なお、画像明るさ調整処理の実行中に、画像加算された枚数が必要枚数以上となると、即ち、比較器5rによって、加算枚数カウンタ5lから出力された加算枚数信号と、現像パラメータ計算部5mから出力された必要枚数信号の値が比較され、加算枚数が必要枚数以上となった場合、比較器5rは、加算枚数超過信号をCPU11に出力する。
すると、CPU11は、オンスクリーン回路5sを制御して、加算枚数及び必要枚数のオンスクリーン表示を解除する(図8(a)参照)。
【0078】
ステップS17にて、シャッター6の押下操作が解除されると(ステップS17;NO)、CPU11は、画像リサイズを撮像画像の画像サイズに変更した後(ステップS19)、画像処理装置5を制御して、画像加算部5dに記憶されている加算画像を読み出して、当該画像の現像処理を行う(ステップS20)。具体的には、読み出された加算画像は、選択回路5gを経由して画像リサイズ部5h及び画像輝度情報検出部5iに出力される。画像リサイズ部5hは、撮像画像をそのままのサイズで輝度調整部5pに出力し、当該輝度調整部5pは、画像の明るさを調整して画像圧縮部5tに出力する。
【0079】
そして、画像処理装置5は、画像圧縮部5tに画像圧縮処理を行わせて、圧縮された画像信号をメモリ3の出力画像領域に出力する(ステップS21)。
その後、CPU11は、圧縮された画像データをメモリ3から読み出して、外部記憶IF装置9に出力して、メモリカードMに記憶させる(ステップS22)。
【0080】
そして、CPU11は、連写合成信号「1」の生成を解除して、連写撮像処理を終了する(ステップS23)。
【0081】
以上のように、実施形態1のデジタルカメラ100によれば、画像フレームが所定枚数加算された途中加算画像を表示することができるので、現像される画像は目標とする明るさに到達するまでは暗いものとなって、ユーザはプレビュー画像で画像の明るさを確認しながら、明るくなるまで待機することができる。特に、色調調整処理の実行により、画像フレームの加算枚数に応じて加算画像の色調を調整することで、ユーザによる画像フレームの加算枚数の見極めをより容易にして、シャッター6の押下操作の解除タイミングを分かり易くすることができる。
このように、デジタルカメラ100により合成される加算画像の明るさが適正に調整される様子をユーザは知ることができる。従って、ユーザは撮影中に今どのような状態にあるのかを知ることができ、ユーザにとって使い勝手の良いデジタルカメラ100を提供することができる。
【0082】
また、プレビュー画像の撮像段階にて取得した被写体の画像の明るさに基づいて、連写撮像処理における画像フレームの合成必要枚数を算出して、画像明るさ調整処理にて合成必要枚数の画像フレームを合成して、加算画像の明るさを適正に調整することができる。従って、従来のように被写体の撮像条件の変動による合成必要枚数不足を回避するために常に多めに撮像しなければならないといった問題を解消することができる。
さらに、連写撮像処理にてユーザがカメラを長時間ぶれないように保持する際に、表示装置4に画像フレームの合成必要枚数及び加算枚数をオンスクリーン表示してユーザに報知することができる。
【0083】
また、画像明るさ調整処理後に、ノイズ軽減処理を行うことにより、加算画像のS/N値をより改善していくことができる。これにより、ランダムノイズNが軽減された鮮明な画像、特に、背景に比べて明るい人物部分のS/N値が改善された画像を合成することができる。
【0084】
なお、上記実施形態1では、被写体を撮像した画像(入力画像)の明るさに基づいて、画像加算部5dにより生成される加算画像が通常の一枚撮像モード(撮像方法)にて撮像された画像と略同等の明るさを有するために必要な画像フレームの合成必要数を予め算出するようにしたが、これに限られるものではなく、必ずしも画像フレームの合成必要数を予め算出する必要はない。即ち、加算画像が生成される毎に、その明るさを通常の一枚撮像モードにて撮像された画像の明るさと比較して略同等になったかどうかを判定することにより、比較器5rによる「必要枚数に達したかどうか」の判定に換えるようにしても良い。
【0085】
また、加算枚数が必要枚数以上となった場合、加算枚数及び必要枚数のオンスクリーン表示を解除するようにしたが、これに限られるものではなく、例えば、比較器5rから出力された画像枚数超過信号が画像処理装置5のオンスクリーン回路5sの色制御端子に入力されると、加算枚数等の表示色を変更するようにしても良い。
【0086】
[実施形態2]
以下に、実施形態2のデジタルカメラについて図10〜図12を参照して説明する。
ここで、図10は、本発明を適用した実施形態2のデジタルカメラに備わるメモリの要部構成を示すブロック図である。
実施形態2のデジタルカメラは、画像処理装置5により所定の枚数の画像フレームが加算される毎に、当該加算の結果生成された加算画像を表示装置4に表示させるようになっている。
なお、実施形態2のデジタルカメラは、所定枚数の画像フレームが加算される毎に、当該加算の結果生成された加算画像を表示する以外の点では、実施形態1におけるものと略同様であり、その詳細な説明については省略するものとする。
【0087】
即ち、デジタルカメラのメモリ103は、例えば、図10に示すように、一時記憶用の一時メモリ31の他に、画像フレームが加算される毎に生成される加算画像を上書きして記憶する合成メモリ32と、所定枚数の画像フレームが加算されることで生成された加算結果の表示用の画像を記憶する結果表示用メモリ33とを備えている。
この結果表示用メモリ33は、具体的には、画像記憶手段として、画像明るさ調整処理にて、画像加算部5dにより所定数(例えば、5枚)の画像フレームが加算される毎に生成される加算画像を記憶するようになっている。
【0088】
そして、表示装置(画像表示手段)4に、画像フレームの加算枚数に応じて結果表示用メモリ33に記憶され当該結果表示用メモリ33から読み出された加算画像を表示するようになっている。
これにより、例えば、図11に示すように、表示装置4には、1枚目の画像を撮像した段階では1枚目の画像が表示され、画像フレームが5枚加算されると、当該5枚加算の画像が表示され、さらに5枚加算されると、当該10枚加算の画像が表示されるといったように、加算枚数が合成必要枚数(例えば、20枚)に到達するまで、所定枚数の画像フレームが加算された加算画像が段階的に表示されるようになっている。
なお、図11中、実線は加算枚数を表し、破線は表示画像を表している。
【0089】
次に、連写撮像処理について、図13を参照して詳細に説明する。
ここで、図13は、連射撮像処理にかかる動作の一例を示すフローチャートである。
【0090】
電源投入後、ユーザによるモードキー7の所定操作に基づいて連写撮像モードが選択指示されると、CPU11は、光学レンズ装置1、イメージセンサ2、画像処理装置5、表示装置4等を初期状態に設定する(ステップS101)。
その後、ユーザによりシャッター6が押下操作されると、CPU11は、当該デジタルカメラの各部を制御して、被写体の連写撮像を開始する(ステップS102)。
【0091】
そして、この被写体の撮像にて、光学レンズ装置1及びイメージセンサ2等を用いて取得した画像データは、先ず、CPU11の制御下にて、メモリ103の一時メモリ31に転送されて記憶される(ステップS103)。
その後、CPU11は、一時メモリ31から画像データを取得して、画像処理装置5に転送する(ステップS104)。
【0092】
画像処理装置5は、入力された画像データと合成メモリ32の加算画像に係るデータを加算して加算画像を生成した後、合成メモリ32に上書きして記憶する(ステップS105)。なお、ステップS104にて、画像処理装置5に転送されてくる画像データが一枚目の画像フレームに係るものの場合、合成メモリ32に記憶されている画像データは存在しないので、当該一枚目の画像フレームのデータが合成メモリ32に記憶されることとなる。
【0093】
続けて、所定のカウンタ(図示略)にて加算枚数(カウンタ値)が「+1」されると(ステップS106)、CPU11は、加算枚数が所定の枚数(例えば、5枚等)に到達したか否かを判定する(ステップS107)。
ここで、加算枚数が所定の枚数に達していないと判定されると(ステップS107;NO)、CPU11は、ユーザによるシャッター6の押下操作が解除されているか否かを判定する(ステップS108)。
ユーザによるシャッター6の押下操作が解除されていない場合、即ち、未だ、シャッター6が押下操作されている場合には、ステップS103に移行して、CPU11は、それ以降の処理の実行を制御する。
【0094】
一方、画像フレームの加算が繰り返し行われて、ステップS107にて、加算枚数が所定の枚数に達したと判定されると(ステップS107;YES)、CPU11は、合成メモリ32に記憶されている加算画像の画像データを読み出して、表示装置4に表示させるための加工処理を行った後、当該加工後の画像データを結果表示用メモリ33に転送して記憶させる(ステップS109)。
また、CPU11は、加工後の画像データを表示装置4に転送して、所定の枚数の画像フレームが加算された加算枚数を表示させる(ステップS110)。
【0095】
続けて、CPU11は、カウンタのカウンタ値をリセットして、ステップS108に移行する。
ステップS108にて、ユーザによるシャッター6の押下操作が解除されていると判定されると(ステップS108;YES)、CPU11は、連写撮像処理を終了して、結果表示用メモリ33内の加算画像の画像データをメモリカードMに転送して記憶させる(ステップS112)。
【0096】
以上のように、実施形態2のデジタルカメラによれば、加算画像が記憶される合成メモリ32とは別に、結果表示用メモリ33を設けて、当該結果表示用メモリ33に記憶される加算画像を所定枚数の画像フレームが加算される毎に更新するようにしたので、画像表示のための現像処理に係る画像処理装置5の負担を軽減することができる。
さらに、ユーザによりシャッター6が押下操作されている間、連写撮像処理を実行する構成のものであっても、順次画像フレームが加算される画像とは異なり、結果表示用メモリ33内に保持された加算画像が表示されることで、ユーザは、加算画像を確認しながら撮像することができ、ユーザにとって適正な明るさの加算画像が表示されてからシャッター6の押下操作を解除するまでのタイムラグの発生を防止して、露光時間オーバーの画像の記憶を防止することができる。
【0097】
なお、上記実施形態1及び実施形態2では、撮像結果をメモリカードMに転送して記憶するようにしたが、これに限られるものではなく、例えば、メモリ103等の内部記憶装置に保存用メモリを設け、このメモリに記憶するような構成としても良い。
【0098】
また、結果表示用メモリ33に記憶される加算画像の画像フレームの加算枚数は、ユーザによって手作業で変更可能としても良いし、明るさや露光時間に応じて自動的に変更するような構成としても良い。
【0099】
[実施形態3]
以下に、実施形態3のデジタルカメラについて説明する。
実施形態3のデジタルカメラは、ユーザによりシャッター6の一押下操作に基づいて、画像明るさ調整処理を実行して、画像加算部5dにより必要枚数の画像フレームを加算(合成)して、その加算した画像と、必要枚数及び撮像枚数を表示装置4にオンスクリーン表示するようになっている。
【0100】
即ち、CPU11は、連写撮像モードにて、ユーザによるシャッター6の一押下操作に基づいて、光学レンズ装置1及びイメージセンサ2等を制御して、被写体の連続した撮像動作の実行を制御するようになっている。つまり、ユーザによりシャッター6が一度押下操作されれば、その後押下されていない場合であっても、必要枚数までは連写撮像されて画像フレームが加算される。
このとき、画像処理装置5は、画像加算部5dにより合成必要枚数の画像フレームを加算して合成画像を生成する画像明るさ調整処理を実行するようになっている。具体的には、連写撮像処理にて、画像処理装置5の比較器5rにより加算枚数が必要枚数以上となったと判定されるまで、画像明るさ調整処理を実行するようになっている。
【0101】
また、現像パラメータ計算部5mは、例えば、画像輝度情報検出部5iから出力され入力された画像輝度情報に基づいて、ヒストグラムの平均値から出力画像の明るさが一枚撮像処理にて撮像される画像と略同程度の所定の明るさとなるようにゲイン調整を行うようになっている。具体的には、現像パラメータ計算部5mは、ヒストグラムの平均値が低い場合には入力画像が暗いので明るくするように輝度ゲインを高くする一方で、平均値が高い場合には入力画像が明るいので暗くするように輝度ゲインを低くするようになっている。
これにより、加算枚数に応じて加算画像の明るさを調整するのではなく、プレビュー表示や本撮像画像の一枚目の画像フレームを取得することで、表示装置4に画像加算後に想定される程度の明るさの加算画像を表示することができる。
【0102】
次に、連写撮像処理について、図13を参照して詳細に説明する。
ここで、図13は、実施形態3のデジタルカメラによる連写撮像処理に係る動作の一例を示すフローチャートである。
【0103】
先ず、CPU11の制御下にて、実施形態1と同様にして、プレビュー画像の撮像が行われ、画像処理装置5に出力されると(ステップS1〜ステップS8)、画像処理装置5は、CPU11の制御下にて、プレビュー画像の現像処理を行う(ステップS209)。
この現像処理にて、画像処理装置5の輝度調整部5pは、現像パラメータ計算部5mから出力され入力された輝度調整パラメータに基づいて、出力画像の明るさが一枚撮像処理にて撮像される画像と略同程度の所定の明るさとなるようにゲイン調整を行うようになっている。
【0104】
そして、CPU11の制御下にて、表示装置4に必要枚数及び加算枚数がオンスクリーン表示されたプレビュー画像が表示された後(ステップS10)、ユーザによりシャッター6が押下操作されて本画像が撮像されると(ステップS11〜ステップS15)、CPU11は、比較器5rから出力され入力される加算枚数超過信号の有無を判定する(ステップS216)。
ここで、加算枚数超過信号が入力されていないと判定すると(ステップS216;NO)、ステップS16に移行して、CPU11は、それ以降の処理の実行を制御する。
【0105】
一方、2枚目以降の画像フレームの連写合成が開始され、参照画像取り込み信号の出力が解除された後(ステップS18)、ステップS216にて、加算枚数超過信号がCPU11に入力されたと判定されると(ステップS216;YES)、CPU11は、画像リサイズを本画像の画像サイズに設定した後、生成された画像データを入力画像信号として画像処理装置5に出力する(ステップS19及びステップS220)。
続けて、ステップS20に移行して、CPU11は、それ以降の処理の実行を制御する。
【0106】
以上のように、実施形態3のデジタルカメラによれば、ユーザによってシャッター6が一度押下操作されれば、その後押下されていない場合であっても、必要枚数までは連写撮像されて画像フレームが加算された加算画像を得ることができるので、ユーザにとってより使い勝手の良いデジタルカメラを提供することができる。例えば、三脚等を利用して所定位置にデジタルカメラを設置して行う場合等のように、手ぶれの発生がほとんどあり得ない撮像状況等にてより有用となる。
【0107】
<変形例1>
また、上記実施形態1〜3にあっては、表示装置4に明るさの達成比Lkのプログレスバーをオンスクリーン表示するようにしたが、当該プログレスバーを表示するか否かは適宜変更することができる。
即ち、変形例1のデジタルカメラによれば、例えば、図14に示すように、表示装置4は、その表示画面の右下隅部に、合成必要枚数を分母とし、順次増加する加算枚数を分子とするような態様で表示するようになっている。
【0108】
<変形例2>
また、上記実施形態1〜3にあっては、画像明るさ調整処理に加えて、ノイズ軽減処理及び色調調整処理を実行するようにしたが、これらノイズ軽減処理及び色調調整処理を実行するか否かは適宜変更することができる。
即ち、変形例2のデジタルカメラは、例えば、図15に示すように、必要な明るさ固定数値記憶部5o及びトーン補正部5qを備えずに、画像明るさ調整処理のみを実行して画像フレームの加算して加算画像を生成するようになっている。
これにより、例えば、図16(a)〜図16(c)に示すように、必要枚数(例えば、7枚)の画像フレームの加算が完了した時点の画像が加算画像としてメモリカードMに記憶されることとなる。
【0109】
なお、図示は省略するが、少なくとも画像明るさ調整処理を実行するデジタルカメラであれば、画像明るさ調整処理とノイズ軽減処理を実行したり、画像明るさ調整処理と色調調整処理を実行するものであっても良い。
【0110】
また、本発明は、上記実施形態1〜3に限定されることなく、本発明の趣旨を逸脱しない範囲において、種々の改良並びに設計の変更を行っても良い。
【図面の簡単な説明】
【0111】
【図1】本発明を適用した実施形態1のデジタルカメラの概略構成を示すブロック図である。
【図2】図1のデジタルカメラに備わる画像処理装置の要部構成を示すブロック図である。
【図3】図2の画像処理装置による色調調整処理に係るトーンカーブを模式的に示す図である。
【図4】図2の画像処理装置による画像明るさ調整処理に係る画像を模式的に示す図である。
【図5】図2の画像処理装置による画像明るさ調整処理に係る画像を模式的に示す図である。
【図6】図2の画像処理装置による画像明るさ調整処理に係る画像を模式的に示す図である。
【図7】図2の画像処理装置による画像明るさ調整処理に係る画像を模式的に示す図である。
【図8】図2の画像処理装置によるノイズ軽減処理に係る画像を模式的に示す図である。
【図9】図1のデジタルカメラによる連写撮像処理に係る動作の一例を示すフローチャートである。
【図10】本発明を適用した実施形態2のデジタルカメラに備わるメモリの要部構成を示すブロック図である。
【図11】図11のデジタルカメラによる連写撮像処理に係る画像フレームの加算枚数と、加算画像の表示時間との対応関係を模式的に示す図である。
【図12】図10のデジタルカメラによる連写撮像処理に係る動作の一例を示すフローチャートである。
【図13】本発明を適用した実施形態3のデジタルカメラによる連写撮像処理に係る動作の一例を示すフローチャートである。
【図14】変形例1のデジタルカメラによる連写撮像処理に係る画像を模式的に示す図である。
【図15】変形例2のデジタルカメラに備わる画像処理装置の要部構成を示すブロック図である。
【図16】図15のデジタルカメラによる連写撮像処理に係る画像を模式的に示す図である。
【図17】図1のデジタルカメラによる加算枚数と出力画像の明るさとの対応関係を示す図である。
【図18】図1のデジタルカメラによる画像明るさ調整処理に係る輝度調整パラメータと加算枚数の対応関係の一例を示す図である。
【図19】図1のデジタルカメラによる画像明るさ調整処理に係る輝度調整パラメータと加算枚数の対応関係の一例を示す図である。
【図20】図1のデジタルカメラによる画像明るさ調整処理に係る輝度調整パラメータと加算枚数の対応関係の一例を示す図である。
【図21】図1のデジタルカメラによる色調調整処理に係るトーン補正パラメータと加算枚数の対応関係の一例を示す図である。
【符号の説明】
【0112】
100 デジタルカメラ(撮像装置)
2 イメージセンサ(連続撮像手段)
4 表示装置(数表示手段、途中画像表示手段、画像表示手段)
5 画像処理装置(画像明るさ調整手段、ノイズ軽減処理)
5d 画像加算部(画像合成手段)
5l 加算枚数カウンタ(合成数計測手段)
5m 現像パラメータ計算部(合成必要数算出手段)
5q トーン補正部(色調調整手段)
6 シャッター(撮像操作入力部)
33 結果表示用メモリ(画像記憶手段)
【技術分野】
【0001】
本発明は、被写体を連続撮像した複数の画像フレームを合成して合成画像を生成する撮像装置に関する。
【背景技術】
【0002】
従来、デジタルカメラ等の撮像装置は、光学レンズにより被写体の光学像を結像して、CMOS型イメージセンサ等の撮像素子により光学像を電気信号に変換するようになっている。
【0003】
ところで、暗所を撮像する方法として、手ぶれの影響の少ない露光時間で被写体を連続撮像して、これら複数の画像の動きを補正しながら当該画像を加算して、一枚の画像を生成する方法が知られている(例えば、特許文献1参照)。
【特許文献1】特開2000−224470号公報
【発明の開示】
【発明が解決しようとする課題】
【0004】
しかしながら、上記特許文献1の場合、予め規定枚数を一括して連続撮像し、その後、画像合成処理を行うようになっているため、撮像開始後から最後の画像を得るまでの時間が長いと、撮像処理を失敗する虞があり、また、撮り直しを行うとさらに時間が長くかかってしまうといった問題がある。
【0005】
また、合成枚数が予め決められているため、非常に暗い場所を撮像する場合などでは、規定枚数を合成しても画像が十分に明るくならないといった問題もある。
【0006】
さらに、暗所での撮像で夜景をバックに人物を撮像する場合などでは、人物の顔と夜景の明るい部分との明暗の差が大きいため、顔部分を十分に明るくして階調を十分に表現するためには、画像合成枚数を画像が十分な明るさを得る以上の枚数を撮像しなければならないといった問題もある。
【0007】
このように、被写体の撮像条件によって必要十分な連写枚数が変動してしまい、合成枚数不足を回避する上では、常に多めに撮像するという方法も考えられるが、かかる場合、ユーザはカメラを長時間ぶれないように保持しなければならないといった問題が生じてしまう。
【0008】
そこで、本発明の課題は、撮影中に画像合成の状態を報知することができ、ユーザにとって使い勝手の良い撮像装置を提供することである。
【課題を解決するための手段】
【0009】
請求項1に記載の発明の撮像装置(例えば、図1のデジタルカメラ100等)は、
被写体を連続して撮像して、複数の画像フレームを出力する連続撮像手段(例えば、図1のイメージセンサ2等)と、
前記複数の画像フレームを合成して合成画像を生成する画像合成手段(例えば、図2の画像加算部5d等)と、
前記連続撮像手段による前記被写体の連続撮像の際に、前記画像フレームを前記画像合成手段により合成して、前記合成画像の明るさを調整する画像明るさ調整処理を実行する画像明るさ調整手段(例えば、図2の画像処理装置5等)と、
前記画像明るさ調整手段による前記画像明るさ調整処理にて、前記画像合成手段による合成途中の画像を表示する途中画像表示手段(例えば、図1の表示装置4等)とを備えることを特徴としている。
【0010】
請求項2に記載の発明は、請求項1に記載の撮像装置において、
前記画像合成手段により生成される前記合成画像の明るさが、通常の撮像方法にて撮像された画像と略同等の明るさに達する前と後とでは、前記画像明るさ調整手段による前記画像明るさ調整処理を異ならせることを特徴としている。
【0011】
請求項3に記載の発明は、請求項2に記載の撮像装置において、
前記画像合成手段により生成される前記合成画像の明るさが、通常の撮像方法にて撮像された画像と略同等の明るさに達した後、前記画像明るさ調整手段による前記画像明るさ調整処理後の前記合成画像に、前記画像フレームを前記画像合成手段によりさらに合成して、前記合成画像のノイズを軽減するノイズ軽減処理を実行するノイズ軽減手段(例えば、図2の画像処理装置5等)を備えることを特徴としている。
【0012】
請求項4に記載の発明は、請求項1に記載の撮像装置において、
前記合成画像の色調を調整する色調調整処理を実行する色調調整手段(例えば、図2のトーン補正部5q等)をさらに備え、
前記画像合成手段により生成される前記合成画像の明るさが、通常の撮像方法にて撮像された画像と略同等の明るさに達する前と後とでは、前記色調調整手段による色調調整処理を異ならせることを特徴としている。
【0013】
請求項5に記載の発明は、請求項1に記載の撮像装置において、
前記被写体を撮像した画像の明るさに基づいて、前記画像合成手段により生成される前記合成画像が所定の明るさを有するために必要な前記画像フレームの合成必要数を算出する合成必要数算出手段(例えば、図2の現像パラメータ計算部5m等)と、
前記画像合成手段により合成された画像フレーム数を計測する合成数計測手段(例えば、図2の加算枚数カウンタ5l等)と、
前記連続撮像手段による前記被写体の撮像の際に、前記合成必要数算出手段により算出された前記合成必要数及び前記合成数計測手段により計測された前記画像フレーム数を表示する数表示手段(例えば、図1の表示装置4等)とをさらに備えることを特徴としている。
【0014】
請求項6に記載の発明は、請求項1〜5の何れか一項に記載の撮像装置において、
前記連続撮像手段による前記被写体の撮像指示を入力する撮像操作入力部(例えば、図1のシャッター6等)を備え、
前記画像明るさ調整手段は、操作者による前記撮像操作入力部の一操作に基づいて、前記画像明るさ調整処理を実行して、前記画像合成手段により前記合成必要数の前記画像フレームを合成することを特徴としている。
【0015】
請求項7に記載の発明は、請求項1〜5の何れか一項に記載の撮像装置において、
前記連続撮像手段による前記被写体の撮像指示を入力する撮像操作入力部(例えば、図1のシャッター6等)を備え、
前記画像明るさ調整手段は、操作者により前記撮像操作入力部が操作されている間、前記画像明るさ調整処理を実行することを特徴としている。
【0016】
請求項8に記載の発明は、請求項7に記載の撮像装置において、
前記画像明るさ調整手段による前記画像明るさ調整処理にて、前記画像合成手段により所定数の前記画像フレームが合成される毎に生成される前記合成画像を記憶する画像記憶手段(例えば、図10の結果表示用メモリ33等)と、
前記画像記憶手段に記憶された前記合成画像を表示する画像表示手段(例えば、図1の表示装置4等)とを備えることを特徴としている。
【発明の効果】
【0017】
本発明によれば、撮像装置が複数の画像フレームを合成して、合成画像の明るさを適正に調整する様子をユーザが知ることができる。従って、ユーザは撮影中に今どのような状態にあるのかを知ることができ、使い勝手の良い撮像装置を提供することができる。
【発明を実施するための最良の形態】
【0018】
以下に、本発明について、図面を用いて具体的な態様を説明する。ただし、発明の範囲は、図示例に限定されない。
【0019】
[実施形態1]
図1は、本発明を適用した実施形態1のデジタルカメラ100の概略構成を示すブロック図である。
実施形態1のデジタルカメラ(撮像装置)100は、所定の露光時間で通常の撮像動作を行う一枚撮像モードと、一枚撮像モードよりも短時間の露光で被写体を連続撮像して、複数の画像フレームを加算(合成)して一枚の画像を生成する連写撮像モードを具備している。
具体的には、デジタルカメラ100は、例えば、光学レンズ装置1と、イメージセンサ2と、メモリ3と、表示装置4と、画像処理装置5と、シャッター6と、モードキー7と、コンピュータIF部8と、外部記憶IF装置9と、プログラムコード記憶装置10と、CPU11等を備えている。
【0020】
シャッター6は、ユーザによる押下操作に基づいて、被写体の撮像指示をCPU11に出力するものである。
即ち、シャッター6は、連写撮像モードにて、ユーザによる押下操作に基づいて、光学レンズ装置1及びイメージセンサ2等を用いた被写体の撮像動作の指示をCPU11に出力して入力するための撮像操作入力部を構成している。
【0021】
モードキー7は、例えば、ユーザによる操作に基づいて撮像モードを選択するためのダイヤル等から構成され、一枚撮像モードや連写撮像モード等を選択できるようになっている。
【0022】
光学レンズ装置1は、例えば、撮像レンズ部とその駆動部とを備え、被写体にて反射した光を集光してイメージセンサ2上に結像するものである。
【0023】
イメージセンサ2は、例えば、CCD等を備え、結像した画像をデジタル化した画像データとして取り込むためのものである。
また、イメージセンサ2は、例えば、CPU11によって制御され、ユーザによりシャッター6が押下されない場合には、プレビュー用の露光時間の短い高速フレーム(デジタル画像データ)を生成し、当該画像データを秒間30枚程度の間隔で、定期的に読み出してメモリ3に出力する。そして、ユーザによりシャッター6が押下されると、イメージセンサ2は、高解像度の画像データを生成して、当該画像データをメモリ3に出力する。
なお、イメージセンサ2は、例えば、CPU11の制御下にて、被写体の明るさに応じて撮像感度(ISO感度)を調整可能となっている。
【0024】
また、イメージセンサ2は、連続撮像手段として、連写撮像モードにて、ユーザによりシャッター6が押下操作されている間、短時間露光を複数回連続して行うことで被写体を連続して撮像して、複数の画像フレームを出力するようになっている。
【0025】
メモリ3は、例えば、イメージセンサ2から出力されたプレビュー用の画像データ、高解像度の画像データ又は画像処理装置5により画像処理される元画像データ、処理後の画像データを一時的に記憶するものである。また、メモリ3は、例えば、一時記憶した画像データを表示装置4や画像処理装置5に出力するようになっている。
また、メモリ3は、例えば、CPU11の作業用メモリとしても用いられるようになっている。
【0026】
画像処理装置5は、例えば、メモリ3に一時記憶された画像データに対して、画像合成処理、加算画像の現像処理や画像データの圧縮処理等を行うものである。
以下に、画像処理装置5について、図2を参照して詳細に説明する。
【0027】
図2に示すように、画像処理装置5は、例えば、参照画像記憶部5a、動き検出部5b、動き補正部5c、画像加算部5d、遮断回路5e、加算画像記憶部5f、選択回路5g、画像リサイズ部5h、画像輝度情報検出部5i、記憶部5j、反転回路5k、加算枚数カウンタ5l、現像パラメータ計算部5m、輝度最大固定数値記憶部5n、必要な明るさ固定数値記憶部5o、輝度調整部5p、トーン補正部5q、比較器5r、オンスクリーン回路5s、画像圧縮部5t等を備えている。
【0028】
参照画像記憶部5aは、例えば、イメージセンサ2から出力され入力された画像フレームを参照画像として記憶するものである。
また、参照画像記憶部5aは、例えば、記憶された参照画像を動き検出部5bに出力するようになっており、CPU11から出力された参照画像取り込み信号が入力されている間は、参照画像として入力画像と同じ画像を出力するようになっている。
【0029】
動き検出部5bは、例えば、参照画像記憶部5aから出力され入力される参照画像と、イメージセンサ2から出力され入力される対象画像とを比較判定して、動きを検出するものである。即ち、動き検出部5bは、連写撮像モードにて、1枚目の参照画像を2枚目以降の画像の動き量を検出するための基準画像として、対象画像と比較判定して動きを検出するようになっている。
例えば、参照画像記憶部5aから入力された画像と同じ画像が出力される場合、当該画像とイメージセンサ2から出力され入力される対象画像とが同じ画像となって、動き検出部5bは、動き補正Hを動きなしとして出力するようになっている。
【0030】
動き補正部5cは、例えば、イメージセンサ2から出力され入力された画像の動き補正:Hを行って、補正画像を出力するものであるが、一枚目の画像の場合には動き補正はないので、入力された画像をそのまま補正画像信号として画像加算部5dに出力するようになっている。
【0031】
画像加算部5dは、画像合成手段として、イメージセンサ2から出力され入力された複数の画像フレームを加算(合成)して加算画像を生成するものである。即ち、画像加算部5dは、例えば、連写撮像モード(後述)にて、動き補正部5cから出力され入力された補正画像信号と、加算画像記憶装置から出力され遮断回路5eを介して入力される加算画像を加算するようになっている。
ここで、例えば、遮断回路5eの制御端子に参照画像取り込み信号が入力されている場合、遮断回路5eに入力される信号は遮断され、「0」が出力されるようになっているため、画像加算部5dは、動き補正部5cから出力され入力された画像データそのものを加算画像記憶部5fに出力するようになっている。
【0032】
なお、画像加算は、ユーザによりシャッター6が押下操作されている間は実行されるため、画像加算部5dは、例えば、必要枚数以上の画像を加算しても、オーバーフローしないほど十分なビット数が確保されている。
【0033】
加算画像記憶部5fは、例えば、画像加算部5dから出力され入力された画像データを記憶するものである。
また、加算画像記憶部5fは、例えば、記憶されている画像データ(加算画像)を選択回路5g及び遮断回路5eに出力するようになっている。
【0034】
選択回路5gは、例えば、CPU11から出力され入力される連写合成信号に基づいて、イメージセンサ2から出力される信号と加算画像記憶部5fから出力される信号の入力を切り換えるものである。具体的には、選択回路5gは、例えば、連写合成信号が「0」の場合は、イメージセンサ2から出力される信号の入力を選択する一方で、連写合成信号が「1」の場合は、加算画像記憶部5fから出力される信号の入力を選択するようになっている。
そして、選択回路5gは、入力された信号を画像リサイズ部5h及び画像輝度情報検出部5iに出力するようになっている。
【0035】
画像リサイズ部5hは、例えば、CPU11から出力され入力される画像リサイズ信号に基づいて、選択回路5gから出力され入力される画像のサイズを変更するものである。例えば、画像リサイズ部5hは、画像サイズをプレビュー画像用の最小画像サイズ(QVGAサイズ)や本撮像画像用の最大画像サイズ等に設定して変更するようになっている。
また、画像リサイズ部5hは、リサイズ後の画像を輝度調整部5pに出力するようになっている。
【0036】
画像輝度情報検出部5iは、例えば、入力画像に基づいて画像の輝度情報を検出するものである。具体的には、画像輝度情報検出部5iは、入力画像信号に基づいて輝度変換を行って、画像の明るさを測定するための測光領域部分(例えば、画像中央部等)を選択してヒストグラムを作成する。また、画像データが順次入力される場合、ヒストグラム計測は画像中央部の画像データが入力されるごとに行われるようになっている。
そして、画像輝度情報検出部5iは、計測されたヒストグラムに基づいて画像の輝度分布を検出して、当該輝度分布を画像輝度情報として現像パラメータ計算部5m及び記憶部5jに出力する。
【0037】
記憶部5jは、例えば、反転回路5kから出力された反転信号「1」の入力に基づいて、画像輝度情報検出部5iから出力され入力された画像輝度情報を記憶するようになっている。
【0038】
加算枚数カウンタ5lは、合成数計測手段として、CPU11から出力され入力された画像加算信号に基づいて、加算(合成)された画像フレーム数である加算枚数をカウント(計測)してカウンタ値を「+1」するものである。
また、加算枚数カウンタ5lは、例えば、連写合成信号が「0」の場合、当該信号が反転回路5kによって「1」に反転された後、クリア信号端子に入力されることで、カウンタ値をクリアする(「0」とする)。
そして、加算枚数カウンタ5lは、加算枚数をオンスクリーン回路5s及び比較器5rに出力するようになっている。
【0039】
現像パラメータ計算部5mは、例えば、画像輝度情報検出部5iから出力された画像輝度情報が入力される毎に、当該画像輝度情報に基づいて、ヒストグラムの平均値から出力画像の明るさのゲイン調整を行うものである。
そして、現像パラメータ計算部5mは、算出された輝度ゲインを輝度調整パラメータとして輝度調整部5pに出力するようになっている。
【0040】
また、現像パラメータ計算部5mは、合成必要数算出手段として、画像合成に必要な画像フレームの枚数(合成必要枚数)を算出するようになっている。即ち、現像パラメータ計算部5mは、被写体を撮像した画像(入力画像)の明るさに基づいて、画像加算部5dにより生成される加算画像が通常の一枚撮像モード(撮像方法)にて撮像された画像と略同等の明るさを有するために必要な画像フレームの合成必要数を算出する。
具体的には、通常、所定のS/N値を得るのに必要な明るさに対して、入力画像の明るさが1/Bである場合、合成して所定のS/N値を得るにはB2枚の画像が必要となる。よって、画像輝度情報の輝度調整パラメータ(輝度ゲイン)がBである場合は、連写に必要な枚数はB2枚となる。例えば、被写体の明るさが所望の輝度に対して1/2.8である場合、必要枚数は2.82(≒8)となる。
そして、現像パラメータ計算部5mは、算出された必要枚数をオンスクリーン回路5sに出力するようになっている。
【0041】
また、現像パラメータ計算部5mは、例えば、加算画像の明るさと所定のS/N値に到達するのに必要な明るさとの比(以下、「明るさの達成比k」という)を計算するものである。
即ち、現像パラメータ計算部5mは、例えば、加算画像の画像輝度情報に基づいて算出した平均輝度と、必要な明るさ固定数値記憶部5oに記憶されている明るさ固定数値、即ち、通常の撮像方法にて撮像された所定のS/N値を有する画像と略同程度となる明るさを規定する数値に基づいて、下記式(1)に従って明るさの達成比kを算出するようになっている。
【数1】
【数2】
そして、現像パラメータ計算部5mは、例えば、算出された明るさの達成比kを式(2)に従って%表示(以下、「明るさの達成比Lk(%)」という)に変換して、オンスクリーン回路5sに出力するようになっている。
【0042】
また、現像パラメータ計算部5mは、例えば、画像輝度情報検出部5iから出力され入力された加算画像の画像輝度情報に基づいて、加算画像が所定のS/N値に到達するまでは所定の明るさ以下となるように、そして、加算枚数が増えるに従って画像の暗い部分をより明るくするようにトーン補正部5qによるトーン補正パラメータを算出するようになっている。
即ち、現像パラメータ計算部5mは、例えば、上記の明るさの達成比kを適用して、この明るさの達成比kが1.0を超えるまでは、トーンカーブを真っ直ぐの直線(図3における実線)にし、1.0を超えると、暗い部分の引き伸ばし量を調整するため、トーンカーブを画像の暗い部分をより明るくするような曲線(図3における破線)に変化させるようなトーン補正パラメータを算出する。
【0043】
輝度調整部5pは、例えば、現像パラメータ計算部5mにて算出された輝度ゲイン(輝度調整パラメータ)に基づいて、入力画像の明るさを調整して、トーン補正部5q及び画像圧縮部5tに出力するものである。
なお、輝度調整部5pは、例えば、規定レベル以上の明るさの画像が入力されても、輝度調整パラメータが1以下の数が入力されて、適正な明るさに調整されるようになっている。
【0044】
トーン補正部5qは、例えば、現像パラメータ計算部5mにて算出されたトーン補正パラメータに基づいて、トーンカーブを変更して入力画像のトーンを調整して、オンスクリーン回路5sに出力するものである。
即ち、トーン補正部5qは、色調調整手段として、加算画像の色調を調整する色調調整処理を実行するようになっている。具体的には、トーン補正部5qは、加算画像の明るさが、一枚撮像モード(通常の撮像方法)にて撮像された画像と略同等の明るさに達する前と後とで、トーン補正パラメータγを変更することで色調調整処理を異ならせるようになっている。例えば、トーン補正部5qは、明るさの達成比kが1.0を超えた場合に、トーンカーブを画像の暗い部分をより明るくするような曲線(図3における破線)に変化させて、暗い部分の引き伸ばし量を調整するようになっている。
トーンカーブの調整には、例えば、明るさの達成比kによって求めたγを用いてγ補正が適用され、このγ補正によって、下記式(3)に入力された画素値xが変換されてyとして出力されることとなる。
【数3】
ここで、aは0〜3までの定数であり、0は「変化なし」を表し、値が大きくなるほど撮像枚数あたりの暗い部分の引き伸ばし量の変化量が大きくなるようになっている。
なお、入力画素値xは、0以上で最大値xmax以下である。また、最大値xmaxは、輝度最大固定数値記憶部5nに記憶されている値と加算枚数とを乗算することで求められるようになっている。
【0045】
ここで、出力画像の明るさ(平均輝度L)と輝度調整パラメータG及びトーン補正パラメータγとの対応関係について、図17〜図21を参照してより詳細に説明する。
図17は、デジタルカメラで連写撮像した際の加算枚数(N)とその加算枚数に応じて出力される画像の明るさ(平均輝度L)との対応関係を示したものである。
【0046】
図17に示すように、出力画像が必要な明るさを得るまでは、加算(合成)枚数に応じて画像全体を徐々に明るくするが、必要枚数に達した後は、画像が白飛び(オーバーフロー)しないように明るい部分はそれ以上に明るくせずに、暗い部分のみを明るくする。
ここで、暗い部分を明るくしすぎると画像全体のコントラストが低下するので、さらに加算枚数を増やす場合には、出力画像の明るさが略一定となって出力されるように制御する。
以下に、このような制御に係るデジタルカメラの動作について説明する。
【0047】
先ず、出力画像が常に略一定の明るさになるように制御する場合について、図18を参照して説明する。
輝度調整パラメータGは、画像輝度情報検出部5iで検出された入力画像輝度の平均値から、出力画像の輝度平均が必要な明るさになるように下記式(4)に従って算出される。
ここで、入力画像輝度は加算枚数(N)に比例するので、略一定の明るさにするためのゲイン調整パラメータGは、下記式(5)の関係が成立する(図18参照)。
【数4】
【数5】
【0048】
また、S/Nの悪い領域では画像が明るくならないように制御する場合について、図19を参照して説明する。。
即ち、必要枚数に達する前の画像はS/Nが悪く、一定の明るさにするとノイズが目立つので、図19に示すように、必要枚数に達するまでは、下記式(6)に従って輝度調整パラメータGが略一定値となるように制御する。これにより、出力画像の明るさは、図17に示すようになる。
【数6】
【0049】
また、出力画像のノイズレベルが一定になるように制御する場合について、図20を参照して説明する。
図20に示すように、必要枚数に達するまでは、下記式(7)に従って輝度調整パラメータGを制御する。
この場合、必要枚数に到達するまので明るさ変動は直線ではなくN1/2で変化していくこととなる。即ち、図19の場合の一枚目のゲインが1/(必要枚数)1/2であるのに対して、図20の場合では明るさが1となるので明るく、且つ、必要枚数に達するまでは、撮影枚数に関係なくS/Nが略一定になる。
【数7】
【0050】
次に、トーン補正により出力画像の明るさを制御する場合について図21を参照して説明する。
図21に示すように、必要枚数に達するまではトーン補正パラメータγ値は1.0で一定として、必要枚数に達した後は徐々にγを強くしていって暗い部分を明るくしていく。そして、γ値が所定の指定値に達すると一定にする。
これにより、図17に示したように、必要枚数に達するまでは、トーンを変更することなく出力画像の明るさだけを変化することができ、必要枚数に達した以降は、ゲインを略一定にしながらトーン補正パラメータγを強くすることで、明るい部分の明るさは維持しながら、暗い部分を明るくなるように補正することができる。さらに加算枚数を増やすと、トーン補正パラメータγ値は略一定になり、それ以降は、略一定の明るさの画像が出力されることとなる。
【0051】
比較器5rは、例えば、加算枚数カウンタ5lから出力された加算枚数信号、及び現像パラメータ計算部5mから出力された必要枚数信号が入力されると、これらの値を比較するようになっている。そして、加算枚数が必要枚数以上になると、比較器5rは、加算枚数超過信号をCPU11及びオンスクリーン回路5sに出力するようになっている。
【0052】
オンスクリーン回路5sは、CPU11から出力され入力されるオンスクリーン制御信号に基づいて、現像パラメータ計算部5mから出力され入力された画像合成に必要な画像フレームの枚数である必要枚数、及び加算枚数カウンタ5lから出力され入力された画像合成(連写撮像)した枚数である加算枚数を現像処理後のプレビュー画像に重畳して出力するものである。
【0053】
また、オンスクリーン回路5sは、例えば、現像パラメータ計算部5mから出力され入力された明るさの達成比Lkに係るプログレスバーを現像処理後のプレビュー画像に重畳して出力するものである。
なお、明るさの達成比Lkは、プログレスバーによる表示に限られるものではない。
【0054】
画像圧縮部5tは、例えば、CPU11から出力され入力される圧縮制御信号に基づいて、トーン補正部5qから出力され入力された現像後の画像をJPEG画像に圧縮する画像圧縮処理を実行するものである。
また、画像圧縮部5tは、例えば、現像後の画像をJPEG画像に圧縮して、圧縮画像信号としてメモリ3の出力画像領域に出力するようになっている。
【0055】
上記構成の画像処理装置5は、CPU11の制御下にて駆動して、画像明るさ調整手段として機能する。即ち、画像処理装置5は、ユーザによるシャッター6の押下操作に従って光学レンズ装置1及びイメージセンサ2を用いて被写体の連続撮像が行われる際に、現像パラメータ計算部5mにより算出された合成必要枚数の画像フレームを画像加算部5dにより加算して、所定のS/N値を得るように加算画像の明るさを調整する画像明るさ調整処理を実行するようになっている。具体的には、画像処理装置5は、加算画像の明るさが、一枚撮像モード(通常の撮像方法)にて撮像された画像と略同等の明るさに達する前と後とで、輝度調整パラメータGを変更することで画像明るさ調整処理を異ならせるようになっている。
さらに、画像処理装置5は、CPU11の制御下にて駆動して、ノイズ軽減手段として機能する。即ち、画像処理装置5は、加算画像の明るさが一枚撮像モードにて撮像された画像と略同等の明るさに達した後、ユーザによりシャッター6が押下操作されている間は、画像明るさ調整処理後の加算画像に、画像フレームを画像加算部5dによりさらに加算していくことで加算画像のノイズNを軽減するノイズ軽減処理を実行するようになっている。これにより、画像フレームの加算枚数を増加させて加算画像のS/N値をより改善していくことができる。
【0056】
表示装置4は、例えば、画像が表示される液晶モニタを備え、CPU11の制御下にて、メモリ3に一時記憶されたプレビュー画像や高解像度の本撮像画像を表示するようになっている。
即ち、表示装置4は、途中画像表示手段として、連写撮像モードにて、画像明るさ調整処理の際に、画像加算部5dによる合成途中の画像を順次表示するようになっている。具体的には、例えば、図4(a)〜図7(b)に示すように、表示装置4には、画像明るさ調整処理にて次第に明るくなっていく加算画像が順次表示されることとなる。
ここで、図4(a)は、画像フレーム1枚の画像を表し、図4(b)は、画像フレーム2枚が加算された画像を表し、図5(a)は、画像フレーム3枚が加算された画像を表し、図5(b)は、画像フレーム4枚が加算された画像を表し、図6(a)は、画像フレーム5枚が加算された画像を表し、図6(b)は、画像フレーム6枚が加算された画像を表し、図7(a)は、画像フレーム7枚が加算された画像を表し、図7(b)は、画像フレーム8枚が加算された画像を表している。
なお、図4(a)〜図7(b)にあっては、画像上のドット数が多いほど暗い画像を表している。
【0057】
また、表示装置4は、画像処理装置5によりノイズ軽減処理後の画像を表示するようになっている。これにより、例えば、図8(a)及び図8(b)に示すように、表示装置4には、画像フレームの加算枚数を増加させることによって、画像の明るさ自体(人物の背景のドット数)は図7(b)のものと変化しないものの、ランダムノイズNが次第に軽減された鮮明な画像、特に、背景に比べて明るい人物部分のS/N値が改善された画像が表示されることとなる。
ここで、図8(a)は、図7(b)の加算画像にさらに画像フレームが加算された画像を表し、図8(b)は、図8(a)の加算画像にさらにそれ以上の画像フレームが加算された画像を表している。
【0058】
また、表示装置4は、数表示手段として、連写撮像モードにて、被写体の連続撮像の際に、現像パラメータ計算部5mにより算出された画像フレームの合成必要枚数及び加算枚数カウンタ5lによりカウントされた加算された加算枚数(画像フレーム数)を加算画像に重畳して表示するようになっている。具体的には、例えば、図4(a)〜図7(b)に示すように、表示装置4はその表示画面の左上隅部に、合成必要枚数を分母とし、順次増加する加算枚数を分子とするような態様で表示する。そして、表示装置4は、合成必要枚数分の画像フレームが加算されると、当該合成必要枚数及び加算枚数の表示を停止するようになっている。
【0059】
さらに、表示装置4は、加算画像の明るさの達成比Lk(%)に係るプログレスバーを加算画像に重畳して表示するようになっている。具体的には、例えば、図4(a)〜図8(b)に示すように、表示装置4はその表示画面の下部に、左端を0%とし、右端を100%として、明るさの達成比Lk(%)に応じて長くなるような態様のプログレスバーを表示する。
【0060】
コンピュータIF部8は、例えば、デジタルカメラ100がコンピュータ(図示略)に接続された場合に、USBのストアレジクラスドライバとして動作するものである。これにより、デジタルカメラ100に接続されたコンピュータは、例えば、メモリカードMをコンピュータの外部記憶装置として取り扱うようになっている。
【0061】
外部記憶IF装置9は、例えば、メモリカードMとの間で、画像データ等の入出力を行うためのものである。
メモリカードMは、例えば、外部記憶装置として、外部記憶IF装置9から出力された画像データ等を記憶するようになっている。
【0062】
プログラムコード記憶装置10は、例えば、ROMやフラッシュメモリ等から構成され、CPU11により実行されるプログラムを記憶するためのものである。
【0063】
CPU11は、例えば、プログラムコード記憶装置10に格納されているプログラムに従って、システム全体を統括的に制御するものである。
具体的には、例えば、CPU11は、ユーザによるシャッター6の所定操作に基づいて出力された操作情報が入力されると、当該操作情報に基づいて、イメージセンサ2、メモリ3、表示装置4、画像処理装置5等を制御して、画像の撮像処理や現像処理を行う。また、CPU11は、例えば、外部記憶IF装置9を介してメモリカードMにJPEGフォーマットで圧縮した高解像度の画像データを記録させたり、メモリカードMから画像データを読み出す制御を行うようになっている。
【0064】
次に、連写撮像処理について、図9を参照して詳細に説明する。
ここで、図9は、連射撮像処理にかかる動作の一例を示すフローチャートである。
【0065】
電源投入後、ユーザによるモードキー7の所定操作に基づいて連写撮像モードが選択指示されると、CPU11は、光学レンズ装置1、イメージセンサ2、画像処理装置5、表示装置4等を初期状態に設定する(ステップS1)。
次に、CPU11は、画像処理装置5の制御用の各種信号を連写撮像の初期状態に設定し、一枚撮像動作と異なり、オンスクリーン制御信号を「有効」にする(ステップS2)。これにより、プレビュー画像にオンスクリーン情報が表示されるようになる。
そして、CPU11は、本画像/加算画像切り換え信号を本撮像画像に設定する(ステップS3)。
【0066】
その後、CPU11は、連写合成信号に基づいて、連写合成中であるか否かを判定する(ステップS4)。ここで、初期状態では、連写合成信号は「0」であるので、CPU11は、連写合成中ではないと判定する(ステップS4;NO)。
続けて、ユーザによりシャッター6が押下操作されているか否かを判定する(ステップS5)。ここで、ユーザによりシャッター6が押下操作されていない場合(ステップS5;NO)、CPU11は、イメージセンサ2により撮像されている画像を表示装置4に表示させる制御を行う。
具体的には、CPU11は、画像処理装置5のための画像リサイズ信号をプレビューの縮小画像サイズに設定し(ステップS6)、続けて、イメージセンサ2を制御して、プレビュー用の露光時間の短い高速フレーム(デジタル画像データ)を生成して(ステップS7)、当該プレビュー画像を入力画像信号として画像処理装置5に出力する(ステップS8)。
【0067】
画像処理装置5は、CPU11の制御下にて、プレビュー画像の現像処理を行う(ステップS9)。このとき、画像処理装置5は、オンスクリーン制御信号が「有効」になっているので、オンスクリーン回路5sにて画像加算に必要な画像フレームの枚数である合成必要枚数及び画像加算(連写撮像)した枚数である加算枚数を現像処理後のプレビュー画像に上書きして出力する。
そして、CPU11は、表示装置4を制御して、メモリ3のプレビュー表示領域を読み出して、必要枚数及び加算枚数がオンスクリーン表示されたプレビュー画像を表示装置4に表示させる(ステップS10;図4(a)参照)。
これにより、ユーザは、現在撮像を行おうとしている被写体の明るさに応じて連写合成する枚数を表示装置4で認識することができる。
【0068】
そして、CPU11は、ユーザによるモードキー7の操作の有無を判定して(ステップS11)、モードキー7が操作されていないと判定されると、ステップS4に移行して、それ以降の処理の実行を制御する。
【0069】
その後、ユーザによりシャッター6が押下操作されると(ステップS5;YES)、CPU11は、連写合成信号を「1」にして、連写合成中の状態に設定する(ステップS12)。
続けて、CPU11は、画像処理装置5の参照画像取り込み信号を参照画像記憶部5aに出力する(ステップS13)。
【0070】
次に、CPU11は、画像加算信号を生成して、加算枚数カウンタ5lに出力する(ステップS14)。
ここで、連写合成信号は「1」となっていることから、当該信号は反転回路5kにて「0」に反転されて加算枚数カウンタ5lのクリア信号端子に入力されるので、カウンタ値のクリア制御は解除されている。従って、加算枚数カウンタ5lは、画像加算信号の入力によりカウンタ値を「+1」することで、加算枚数が「1」となる。そして、加算枚数カウンタ5lは、加算枚数信号を比較器5rに出力する。
【0071】
その後、CPU11は、画像の本撮像処理を実行する(ステップS15)。
この本撮像処理にあっては、先ず、CPU11は、画像リサイズ信号を本撮像画像サイズ(例えば、最大画像サイズ等)に設定する。続けて、CPU11は、イメージセンサ2を制御して、本撮像用の高解像度のデジタル画像データを生成する。
そして、CPU11は、生成された画像データを入力画像信号として画像処理装置5に出力する(ステップS16)。
その後、ステップS9に移行して、画像処理装置5は、CPU11の制御下にて、本撮像画像の現像処理を実行した後、表示装置4は、CPU11の制御下にて、必要枚数及び加算枚数がオンスクリーン表示された本撮影画像を表示する(ステップS10)。
【0072】
そして、モードキー7が操作されていない場合(ステップS11;NO)、ステップS4に移行することとなるが、連写合成信号は「1」となっているので、CPU11は、連写合成中であると判定する(ステップS4;YES)。
続けて、CPU11は、ユーザによりシャッター6が押下操作されているか否かを判定する(ステップS17)。ここで、ユーザによりシャッター6が押下操作されている場合(ステップS17;YES)、CPU11は、参照画像取り込み信号の出力を解除する(ステップS18。これにより、2枚目以降の画像は参照画像記憶部5aに記憶されることはなくなって、1枚目の画像が保存された状態が維持される。
【0073】
その後、ステップS14に移行して、CPU11は、画像加算信号を生成して、撮像枚数を「+1」してから、本画像撮像を行って、当該画像を画像処理装置5に読み込む処理の実行を制御する(ステップS15〜ステップS16)。
【0074】
画像処理装置5にあっては、本画像が読み込まれる毎に、当該本画像と一枚目の画像との動き量を動き検出部5bにて検出して、その動き補正量に応じて動き補正部5cで補正を行って、その補正画像を加算画像記憶部5fに記憶されている画像と加算する。これにより、2枚目以降の画像を、動き量に応じて合成する位置を補正しながら重ねることができるので、手持ちで撮像して手ぶれが生じた場合であっても、ぶれのない画像が加算されて画像合成される。
【0075】
その後、ステップS9に移行して、画像処理装置5は、CPU11の制御下にて、本撮像画像の現像処理を実行した後、表示装置4は、CPU11の制御下にて、必要枚数及び加算枚数がオンスクリーン表示された本撮影画像を表示する(ステップS10)。
【0076】
上記の動作は、ユーザによりシャッター6が押下操作されている限り(ステップS17;YES)、繰り返し実行されるようになっている。
即ち、画像明るさ調整処理の実行により、画像フレームが順次加算されることで次第に明るくなっていく加算画像を合成する(図4(a)〜図7(b)参照)。そして、画像明るさ調整処理後のノイズ軽減処理の実行により、画像フレームが必要枚数以上さらに加算されることでランダムノイズNが次第に軽減された鮮明な画像を合成する(図8(a)及び図8(b)参照)。
加えて、色調調整処理の実行により、画像フレームの加算枚数に応じて加算画像の色調を調整することで、ユーザによる画像フレームの加算枚数の見極めを容易にして、シャッター6の押下操作の解除タイミングを分かり易くすることができる。
【0077】
なお、画像明るさ調整処理の実行中に、画像加算された枚数が必要枚数以上となると、即ち、比較器5rによって、加算枚数カウンタ5lから出力された加算枚数信号と、現像パラメータ計算部5mから出力された必要枚数信号の値が比較され、加算枚数が必要枚数以上となった場合、比較器5rは、加算枚数超過信号をCPU11に出力する。
すると、CPU11は、オンスクリーン回路5sを制御して、加算枚数及び必要枚数のオンスクリーン表示を解除する(図8(a)参照)。
【0078】
ステップS17にて、シャッター6の押下操作が解除されると(ステップS17;NO)、CPU11は、画像リサイズを撮像画像の画像サイズに変更した後(ステップS19)、画像処理装置5を制御して、画像加算部5dに記憶されている加算画像を読み出して、当該画像の現像処理を行う(ステップS20)。具体的には、読み出された加算画像は、選択回路5gを経由して画像リサイズ部5h及び画像輝度情報検出部5iに出力される。画像リサイズ部5hは、撮像画像をそのままのサイズで輝度調整部5pに出力し、当該輝度調整部5pは、画像の明るさを調整して画像圧縮部5tに出力する。
【0079】
そして、画像処理装置5は、画像圧縮部5tに画像圧縮処理を行わせて、圧縮された画像信号をメモリ3の出力画像領域に出力する(ステップS21)。
その後、CPU11は、圧縮された画像データをメモリ3から読み出して、外部記憶IF装置9に出力して、メモリカードMに記憶させる(ステップS22)。
【0080】
そして、CPU11は、連写合成信号「1」の生成を解除して、連写撮像処理を終了する(ステップS23)。
【0081】
以上のように、実施形態1のデジタルカメラ100によれば、画像フレームが所定枚数加算された途中加算画像を表示することができるので、現像される画像は目標とする明るさに到達するまでは暗いものとなって、ユーザはプレビュー画像で画像の明るさを確認しながら、明るくなるまで待機することができる。特に、色調調整処理の実行により、画像フレームの加算枚数に応じて加算画像の色調を調整することで、ユーザによる画像フレームの加算枚数の見極めをより容易にして、シャッター6の押下操作の解除タイミングを分かり易くすることができる。
このように、デジタルカメラ100により合成される加算画像の明るさが適正に調整される様子をユーザは知ることができる。従って、ユーザは撮影中に今どのような状態にあるのかを知ることができ、ユーザにとって使い勝手の良いデジタルカメラ100を提供することができる。
【0082】
また、プレビュー画像の撮像段階にて取得した被写体の画像の明るさに基づいて、連写撮像処理における画像フレームの合成必要枚数を算出して、画像明るさ調整処理にて合成必要枚数の画像フレームを合成して、加算画像の明るさを適正に調整することができる。従って、従来のように被写体の撮像条件の変動による合成必要枚数不足を回避するために常に多めに撮像しなければならないといった問題を解消することができる。
さらに、連写撮像処理にてユーザがカメラを長時間ぶれないように保持する際に、表示装置4に画像フレームの合成必要枚数及び加算枚数をオンスクリーン表示してユーザに報知することができる。
【0083】
また、画像明るさ調整処理後に、ノイズ軽減処理を行うことにより、加算画像のS/N値をより改善していくことができる。これにより、ランダムノイズNが軽減された鮮明な画像、特に、背景に比べて明るい人物部分のS/N値が改善された画像を合成することができる。
【0084】
なお、上記実施形態1では、被写体を撮像した画像(入力画像)の明るさに基づいて、画像加算部5dにより生成される加算画像が通常の一枚撮像モード(撮像方法)にて撮像された画像と略同等の明るさを有するために必要な画像フレームの合成必要数を予め算出するようにしたが、これに限られるものではなく、必ずしも画像フレームの合成必要数を予め算出する必要はない。即ち、加算画像が生成される毎に、その明るさを通常の一枚撮像モードにて撮像された画像の明るさと比較して略同等になったかどうかを判定することにより、比較器5rによる「必要枚数に達したかどうか」の判定に換えるようにしても良い。
【0085】
また、加算枚数が必要枚数以上となった場合、加算枚数及び必要枚数のオンスクリーン表示を解除するようにしたが、これに限られるものではなく、例えば、比較器5rから出力された画像枚数超過信号が画像処理装置5のオンスクリーン回路5sの色制御端子に入力されると、加算枚数等の表示色を変更するようにしても良い。
【0086】
[実施形態2]
以下に、実施形態2のデジタルカメラについて図10〜図12を参照して説明する。
ここで、図10は、本発明を適用した実施形態2のデジタルカメラに備わるメモリの要部構成を示すブロック図である。
実施形態2のデジタルカメラは、画像処理装置5により所定の枚数の画像フレームが加算される毎に、当該加算の結果生成された加算画像を表示装置4に表示させるようになっている。
なお、実施形態2のデジタルカメラは、所定枚数の画像フレームが加算される毎に、当該加算の結果生成された加算画像を表示する以外の点では、実施形態1におけるものと略同様であり、その詳細な説明については省略するものとする。
【0087】
即ち、デジタルカメラのメモリ103は、例えば、図10に示すように、一時記憶用の一時メモリ31の他に、画像フレームが加算される毎に生成される加算画像を上書きして記憶する合成メモリ32と、所定枚数の画像フレームが加算されることで生成された加算結果の表示用の画像を記憶する結果表示用メモリ33とを備えている。
この結果表示用メモリ33は、具体的には、画像記憶手段として、画像明るさ調整処理にて、画像加算部5dにより所定数(例えば、5枚)の画像フレームが加算される毎に生成される加算画像を記憶するようになっている。
【0088】
そして、表示装置(画像表示手段)4に、画像フレームの加算枚数に応じて結果表示用メモリ33に記憶され当該結果表示用メモリ33から読み出された加算画像を表示するようになっている。
これにより、例えば、図11に示すように、表示装置4には、1枚目の画像を撮像した段階では1枚目の画像が表示され、画像フレームが5枚加算されると、当該5枚加算の画像が表示され、さらに5枚加算されると、当該10枚加算の画像が表示されるといったように、加算枚数が合成必要枚数(例えば、20枚)に到達するまで、所定枚数の画像フレームが加算された加算画像が段階的に表示されるようになっている。
なお、図11中、実線は加算枚数を表し、破線は表示画像を表している。
【0089】
次に、連写撮像処理について、図13を参照して詳細に説明する。
ここで、図13は、連射撮像処理にかかる動作の一例を示すフローチャートである。
【0090】
電源投入後、ユーザによるモードキー7の所定操作に基づいて連写撮像モードが選択指示されると、CPU11は、光学レンズ装置1、イメージセンサ2、画像処理装置5、表示装置4等を初期状態に設定する(ステップS101)。
その後、ユーザによりシャッター6が押下操作されると、CPU11は、当該デジタルカメラの各部を制御して、被写体の連写撮像を開始する(ステップS102)。
【0091】
そして、この被写体の撮像にて、光学レンズ装置1及びイメージセンサ2等を用いて取得した画像データは、先ず、CPU11の制御下にて、メモリ103の一時メモリ31に転送されて記憶される(ステップS103)。
その後、CPU11は、一時メモリ31から画像データを取得して、画像処理装置5に転送する(ステップS104)。
【0092】
画像処理装置5は、入力された画像データと合成メモリ32の加算画像に係るデータを加算して加算画像を生成した後、合成メモリ32に上書きして記憶する(ステップS105)。なお、ステップS104にて、画像処理装置5に転送されてくる画像データが一枚目の画像フレームに係るものの場合、合成メモリ32に記憶されている画像データは存在しないので、当該一枚目の画像フレームのデータが合成メモリ32に記憶されることとなる。
【0093】
続けて、所定のカウンタ(図示略)にて加算枚数(カウンタ値)が「+1」されると(ステップS106)、CPU11は、加算枚数が所定の枚数(例えば、5枚等)に到達したか否かを判定する(ステップS107)。
ここで、加算枚数が所定の枚数に達していないと判定されると(ステップS107;NO)、CPU11は、ユーザによるシャッター6の押下操作が解除されているか否かを判定する(ステップS108)。
ユーザによるシャッター6の押下操作が解除されていない場合、即ち、未だ、シャッター6が押下操作されている場合には、ステップS103に移行して、CPU11は、それ以降の処理の実行を制御する。
【0094】
一方、画像フレームの加算が繰り返し行われて、ステップS107にて、加算枚数が所定の枚数に達したと判定されると(ステップS107;YES)、CPU11は、合成メモリ32に記憶されている加算画像の画像データを読み出して、表示装置4に表示させるための加工処理を行った後、当該加工後の画像データを結果表示用メモリ33に転送して記憶させる(ステップS109)。
また、CPU11は、加工後の画像データを表示装置4に転送して、所定の枚数の画像フレームが加算された加算枚数を表示させる(ステップS110)。
【0095】
続けて、CPU11は、カウンタのカウンタ値をリセットして、ステップS108に移行する。
ステップS108にて、ユーザによるシャッター6の押下操作が解除されていると判定されると(ステップS108;YES)、CPU11は、連写撮像処理を終了して、結果表示用メモリ33内の加算画像の画像データをメモリカードMに転送して記憶させる(ステップS112)。
【0096】
以上のように、実施形態2のデジタルカメラによれば、加算画像が記憶される合成メモリ32とは別に、結果表示用メモリ33を設けて、当該結果表示用メモリ33に記憶される加算画像を所定枚数の画像フレームが加算される毎に更新するようにしたので、画像表示のための現像処理に係る画像処理装置5の負担を軽減することができる。
さらに、ユーザによりシャッター6が押下操作されている間、連写撮像処理を実行する構成のものであっても、順次画像フレームが加算される画像とは異なり、結果表示用メモリ33内に保持された加算画像が表示されることで、ユーザは、加算画像を確認しながら撮像することができ、ユーザにとって適正な明るさの加算画像が表示されてからシャッター6の押下操作を解除するまでのタイムラグの発生を防止して、露光時間オーバーの画像の記憶を防止することができる。
【0097】
なお、上記実施形態1及び実施形態2では、撮像結果をメモリカードMに転送して記憶するようにしたが、これに限られるものではなく、例えば、メモリ103等の内部記憶装置に保存用メモリを設け、このメモリに記憶するような構成としても良い。
【0098】
また、結果表示用メモリ33に記憶される加算画像の画像フレームの加算枚数は、ユーザによって手作業で変更可能としても良いし、明るさや露光時間に応じて自動的に変更するような構成としても良い。
【0099】
[実施形態3]
以下に、実施形態3のデジタルカメラについて説明する。
実施形態3のデジタルカメラは、ユーザによりシャッター6の一押下操作に基づいて、画像明るさ調整処理を実行して、画像加算部5dにより必要枚数の画像フレームを加算(合成)して、その加算した画像と、必要枚数及び撮像枚数を表示装置4にオンスクリーン表示するようになっている。
【0100】
即ち、CPU11は、連写撮像モードにて、ユーザによるシャッター6の一押下操作に基づいて、光学レンズ装置1及びイメージセンサ2等を制御して、被写体の連続した撮像動作の実行を制御するようになっている。つまり、ユーザによりシャッター6が一度押下操作されれば、その後押下されていない場合であっても、必要枚数までは連写撮像されて画像フレームが加算される。
このとき、画像処理装置5は、画像加算部5dにより合成必要枚数の画像フレームを加算して合成画像を生成する画像明るさ調整処理を実行するようになっている。具体的には、連写撮像処理にて、画像処理装置5の比較器5rにより加算枚数が必要枚数以上となったと判定されるまで、画像明るさ調整処理を実行するようになっている。
【0101】
また、現像パラメータ計算部5mは、例えば、画像輝度情報検出部5iから出力され入力された画像輝度情報に基づいて、ヒストグラムの平均値から出力画像の明るさが一枚撮像処理にて撮像される画像と略同程度の所定の明るさとなるようにゲイン調整を行うようになっている。具体的には、現像パラメータ計算部5mは、ヒストグラムの平均値が低い場合には入力画像が暗いので明るくするように輝度ゲインを高くする一方で、平均値が高い場合には入力画像が明るいので暗くするように輝度ゲインを低くするようになっている。
これにより、加算枚数に応じて加算画像の明るさを調整するのではなく、プレビュー表示や本撮像画像の一枚目の画像フレームを取得することで、表示装置4に画像加算後に想定される程度の明るさの加算画像を表示することができる。
【0102】
次に、連写撮像処理について、図13を参照して詳細に説明する。
ここで、図13は、実施形態3のデジタルカメラによる連写撮像処理に係る動作の一例を示すフローチャートである。
【0103】
先ず、CPU11の制御下にて、実施形態1と同様にして、プレビュー画像の撮像が行われ、画像処理装置5に出力されると(ステップS1〜ステップS8)、画像処理装置5は、CPU11の制御下にて、プレビュー画像の現像処理を行う(ステップS209)。
この現像処理にて、画像処理装置5の輝度調整部5pは、現像パラメータ計算部5mから出力され入力された輝度調整パラメータに基づいて、出力画像の明るさが一枚撮像処理にて撮像される画像と略同程度の所定の明るさとなるようにゲイン調整を行うようになっている。
【0104】
そして、CPU11の制御下にて、表示装置4に必要枚数及び加算枚数がオンスクリーン表示されたプレビュー画像が表示された後(ステップS10)、ユーザによりシャッター6が押下操作されて本画像が撮像されると(ステップS11〜ステップS15)、CPU11は、比較器5rから出力され入力される加算枚数超過信号の有無を判定する(ステップS216)。
ここで、加算枚数超過信号が入力されていないと判定すると(ステップS216;NO)、ステップS16に移行して、CPU11は、それ以降の処理の実行を制御する。
【0105】
一方、2枚目以降の画像フレームの連写合成が開始され、参照画像取り込み信号の出力が解除された後(ステップS18)、ステップS216にて、加算枚数超過信号がCPU11に入力されたと判定されると(ステップS216;YES)、CPU11は、画像リサイズを本画像の画像サイズに設定した後、生成された画像データを入力画像信号として画像処理装置5に出力する(ステップS19及びステップS220)。
続けて、ステップS20に移行して、CPU11は、それ以降の処理の実行を制御する。
【0106】
以上のように、実施形態3のデジタルカメラによれば、ユーザによってシャッター6が一度押下操作されれば、その後押下されていない場合であっても、必要枚数までは連写撮像されて画像フレームが加算された加算画像を得ることができるので、ユーザにとってより使い勝手の良いデジタルカメラを提供することができる。例えば、三脚等を利用して所定位置にデジタルカメラを設置して行う場合等のように、手ぶれの発生がほとんどあり得ない撮像状況等にてより有用となる。
【0107】
<変形例1>
また、上記実施形態1〜3にあっては、表示装置4に明るさの達成比Lkのプログレスバーをオンスクリーン表示するようにしたが、当該プログレスバーを表示するか否かは適宜変更することができる。
即ち、変形例1のデジタルカメラによれば、例えば、図14に示すように、表示装置4は、その表示画面の右下隅部に、合成必要枚数を分母とし、順次増加する加算枚数を分子とするような態様で表示するようになっている。
【0108】
<変形例2>
また、上記実施形態1〜3にあっては、画像明るさ調整処理に加えて、ノイズ軽減処理及び色調調整処理を実行するようにしたが、これらノイズ軽減処理及び色調調整処理を実行するか否かは適宜変更することができる。
即ち、変形例2のデジタルカメラは、例えば、図15に示すように、必要な明るさ固定数値記憶部5o及びトーン補正部5qを備えずに、画像明るさ調整処理のみを実行して画像フレームの加算して加算画像を生成するようになっている。
これにより、例えば、図16(a)〜図16(c)に示すように、必要枚数(例えば、7枚)の画像フレームの加算が完了した時点の画像が加算画像としてメモリカードMに記憶されることとなる。
【0109】
なお、図示は省略するが、少なくとも画像明るさ調整処理を実行するデジタルカメラであれば、画像明るさ調整処理とノイズ軽減処理を実行したり、画像明るさ調整処理と色調調整処理を実行するものであっても良い。
【0110】
また、本発明は、上記実施形態1〜3に限定されることなく、本発明の趣旨を逸脱しない範囲において、種々の改良並びに設計の変更を行っても良い。
【図面の簡単な説明】
【0111】
【図1】本発明を適用した実施形態1のデジタルカメラの概略構成を示すブロック図である。
【図2】図1のデジタルカメラに備わる画像処理装置の要部構成を示すブロック図である。
【図3】図2の画像処理装置による色調調整処理に係るトーンカーブを模式的に示す図である。
【図4】図2の画像処理装置による画像明るさ調整処理に係る画像を模式的に示す図である。
【図5】図2の画像処理装置による画像明るさ調整処理に係る画像を模式的に示す図である。
【図6】図2の画像処理装置による画像明るさ調整処理に係る画像を模式的に示す図である。
【図7】図2の画像処理装置による画像明るさ調整処理に係る画像を模式的に示す図である。
【図8】図2の画像処理装置によるノイズ軽減処理に係る画像を模式的に示す図である。
【図9】図1のデジタルカメラによる連写撮像処理に係る動作の一例を示すフローチャートである。
【図10】本発明を適用した実施形態2のデジタルカメラに備わるメモリの要部構成を示すブロック図である。
【図11】図11のデジタルカメラによる連写撮像処理に係る画像フレームの加算枚数と、加算画像の表示時間との対応関係を模式的に示す図である。
【図12】図10のデジタルカメラによる連写撮像処理に係る動作の一例を示すフローチャートである。
【図13】本発明を適用した実施形態3のデジタルカメラによる連写撮像処理に係る動作の一例を示すフローチャートである。
【図14】変形例1のデジタルカメラによる連写撮像処理に係る画像を模式的に示す図である。
【図15】変形例2のデジタルカメラに備わる画像処理装置の要部構成を示すブロック図である。
【図16】図15のデジタルカメラによる連写撮像処理に係る画像を模式的に示す図である。
【図17】図1のデジタルカメラによる加算枚数と出力画像の明るさとの対応関係を示す図である。
【図18】図1のデジタルカメラによる画像明るさ調整処理に係る輝度調整パラメータと加算枚数の対応関係の一例を示す図である。
【図19】図1のデジタルカメラによる画像明るさ調整処理に係る輝度調整パラメータと加算枚数の対応関係の一例を示す図である。
【図20】図1のデジタルカメラによる画像明るさ調整処理に係る輝度調整パラメータと加算枚数の対応関係の一例を示す図である。
【図21】図1のデジタルカメラによる色調調整処理に係るトーン補正パラメータと加算枚数の対応関係の一例を示す図である。
【符号の説明】
【0112】
100 デジタルカメラ(撮像装置)
2 イメージセンサ(連続撮像手段)
4 表示装置(数表示手段、途中画像表示手段、画像表示手段)
5 画像処理装置(画像明るさ調整手段、ノイズ軽減処理)
5d 画像加算部(画像合成手段)
5l 加算枚数カウンタ(合成数計測手段)
5m 現像パラメータ計算部(合成必要数算出手段)
5q トーン補正部(色調調整手段)
6 シャッター(撮像操作入力部)
33 結果表示用メモリ(画像記憶手段)
【特許請求の範囲】
【請求項1】
被写体を連続して撮像して、複数の画像フレームを出力する連続撮像手段と、
前記複数の画像フレームを合成して合成画像を生成する画像合成手段と、
前記連続撮像手段による前記被写体の連続撮像の際に、前記画像フレームを前記画像合成手段により合成して、前記合成画像の明るさを調整する画像明るさ調整処理を実行する画像明るさ調整手段と、
前記画像明るさ調整手段による前記画像明るさ調整処理にて、前記画像合成手段による合成途中の画像を表示する途中画像表示手段とを備えることを特徴とする撮像装置。
【請求項2】
前記画像合成手段により生成される前記合成画像の明るさが、通常の撮像方法にて撮像された画像と略同等の明るさに達する前と後とでは、前記画像明るさ調整手段による前記画像明るさ調整処理を異ならせることを特徴とする請求項1に記載の撮像装置。
【請求項3】
前記画像合成手段により生成される前記合成画像の明るさが、通常の撮像方法にて撮像された画像と略同等の明るさに達した後、前記画像明るさ調整手段による前記画像明るさ調整処理後の前記合成画像に、前記画像フレームを前記画像合成手段によりさらに合成して、前記合成画像のノイズを軽減するノイズ軽減処理を実行するノイズ軽減手段を備えることを特徴とする請求項2に記載の撮像装置。
【請求項4】
前記合成画像の色調を調整する色調調整処理を実行する色調調整手段をさらに備え、
前記画像合成手段により生成される前記合成画像の明るさが、通常の撮像方法にて撮像された画像と略同等の明るさに達する前と後とでは、前記色調調整手段による色調調整処理を異ならせることを特徴とする請求項1に記載の撮像装置。
【請求項5】
前記被写体を撮像した画像の明るさに基づいて、前記画像合成手段により生成される前記合成画像が所定の明るさを有するために必要な前記画像フレームの合成必要数を算出する合成必要数算出手段と、
前記画像合成手段により合成された画像フレーム数を計測する合成数計測手段と、
前記連続撮像手段による前記被写体の撮像の際に、前記合成必要数算出手段により算出された前記合成必要数及び前記合成数計測手段により計測された前記画像フレーム数を表示する数表示手段とをさらに備えることを特徴とする請求項1に記載の撮像装置。
【請求項6】
前記連続撮像手段による前記被写体の撮像指示を入力する撮像操作入力部を備え、
前記画像明るさ調整手段は、操作者による前記撮像操作入力部の一操作に基づいて、前記画像明るさ調整処理を実行して、前記画像合成手段により前記合成必要数の前記画像フレームを合成することを特徴とする請求項1〜5の何れか一項に記載の撮像装置。
【請求項7】
前記連続撮像手段による前記被写体の撮像指示を入力する撮像操作入力部を備え、
前記画像明るさ調整手段は、操作者により前記撮像操作入力部が操作されている間、前記画像明るさ調整処理を実行することを特徴とする請求項1〜5の何れか一項に記載の撮像装置。
【請求項8】
前記画像明るさ調整手段による前記画像明るさ調整処理にて、前記画像合成手段により所定数の前記画像フレームが合成される毎に生成される前記合成画像を記憶する画像記憶手段と、
前記画像記憶手段に記憶された前記合成画像を表示する画像表示手段とを備えることを特徴とする請求項7に記載の撮像装置。
【請求項1】
被写体を連続して撮像して、複数の画像フレームを出力する連続撮像手段と、
前記複数の画像フレームを合成して合成画像を生成する画像合成手段と、
前記連続撮像手段による前記被写体の連続撮像の際に、前記画像フレームを前記画像合成手段により合成して、前記合成画像の明るさを調整する画像明るさ調整処理を実行する画像明るさ調整手段と、
前記画像明るさ調整手段による前記画像明るさ調整処理にて、前記画像合成手段による合成途中の画像を表示する途中画像表示手段とを備えることを特徴とする撮像装置。
【請求項2】
前記画像合成手段により生成される前記合成画像の明るさが、通常の撮像方法にて撮像された画像と略同等の明るさに達する前と後とでは、前記画像明るさ調整手段による前記画像明るさ調整処理を異ならせることを特徴とする請求項1に記載の撮像装置。
【請求項3】
前記画像合成手段により生成される前記合成画像の明るさが、通常の撮像方法にて撮像された画像と略同等の明るさに達した後、前記画像明るさ調整手段による前記画像明るさ調整処理後の前記合成画像に、前記画像フレームを前記画像合成手段によりさらに合成して、前記合成画像のノイズを軽減するノイズ軽減処理を実行するノイズ軽減手段を備えることを特徴とする請求項2に記載の撮像装置。
【請求項4】
前記合成画像の色調を調整する色調調整処理を実行する色調調整手段をさらに備え、
前記画像合成手段により生成される前記合成画像の明るさが、通常の撮像方法にて撮像された画像と略同等の明るさに達する前と後とでは、前記色調調整手段による色調調整処理を異ならせることを特徴とする請求項1に記載の撮像装置。
【請求項5】
前記被写体を撮像した画像の明るさに基づいて、前記画像合成手段により生成される前記合成画像が所定の明るさを有するために必要な前記画像フレームの合成必要数を算出する合成必要数算出手段と、
前記画像合成手段により合成された画像フレーム数を計測する合成数計測手段と、
前記連続撮像手段による前記被写体の撮像の際に、前記合成必要数算出手段により算出された前記合成必要数及び前記合成数計測手段により計測された前記画像フレーム数を表示する数表示手段とをさらに備えることを特徴とする請求項1に記載の撮像装置。
【請求項6】
前記連続撮像手段による前記被写体の撮像指示を入力する撮像操作入力部を備え、
前記画像明るさ調整手段は、操作者による前記撮像操作入力部の一操作に基づいて、前記画像明るさ調整処理を実行して、前記画像合成手段により前記合成必要数の前記画像フレームを合成することを特徴とする請求項1〜5の何れか一項に記載の撮像装置。
【請求項7】
前記連続撮像手段による前記被写体の撮像指示を入力する撮像操作入力部を備え、
前記画像明るさ調整手段は、操作者により前記撮像操作入力部が操作されている間、前記画像明るさ調整処理を実行することを特徴とする請求項1〜5の何れか一項に記載の撮像装置。
【請求項8】
前記画像明るさ調整手段による前記画像明るさ調整処理にて、前記画像合成手段により所定数の前記画像フレームが合成される毎に生成される前記合成画像を記憶する画像記憶手段と、
前記画像記憶手段に記憶された前記合成画像を表示する画像表示手段とを備えることを特徴とする請求項7に記載の撮像装置。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【公開番号】特開2008−66978(P2008−66978A)
【公開日】平成20年3月21日(2008.3.21)
【国際特許分類】
【出願番号】特願2006−241704(P2006−241704)
【出願日】平成18年9月6日(2006.9.6)
【出願人】(000001443)カシオ計算機株式会社 (8,748)
【Fターム(参考)】
【公開日】平成20年3月21日(2008.3.21)
【国際特許分類】
【出願日】平成18年9月6日(2006.9.6)
【出願人】(000001443)カシオ計算機株式会社 (8,748)
【Fターム(参考)】
[ Back to top ]