撮像装置、撮像方法および撮像プログラム
【課題】特に夜間撮影などにおいて、撮影画像に十分な明るさを確保するとともに、感度変更によるノイズや、シャッタスピード変更による手ぶれとのバランスの良い画像を、簡単な演算処理で得る。
【解決手段】制御部20は、夜間撮影時には、まず、絞りを開放し、感度を最大、シャッタスピードを手ぶれしない程度の最大時間に設定して撮影センサ16による1回目の露光を行って夜景を撮影した後、引き続き、感度を最小、フラッシュを最大発光に設定して、フラッシュを発光させて撮影センサ16による2回目の露光を行って手前の被写体を撮影する。デジタル信号処理部28は、1回目の高感度撮影による画像と2回目のフラッシュ発光撮影による画像とを、画素毎の輝度値に基づいて、所定の閾値、所定の合成比率(重み)に従って合成して記録用の画像を生成する。
【解決手段】制御部20は、夜間撮影時には、まず、絞りを開放し、感度を最大、シャッタスピードを手ぶれしない程度の最大時間に設定して撮影センサ16による1回目の露光を行って夜景を撮影した後、引き続き、感度を最小、フラッシュを最大発光に設定して、フラッシュを発光させて撮影センサ16による2回目の露光を行って手前の被写体を撮影する。デジタル信号処理部28は、1回目の高感度撮影による画像と2回目のフラッシュ発光撮影による画像とを、画素毎の輝度値に基づいて、所定の閾値、所定の合成比率(重み)に従って合成して記録用の画像を生成する。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、デジタルカメラなどに係り、夜景撮影を行う撮像装置、撮像方法および撮像プログラムに関する。
【背景技術】
【0002】
従来より、デジタルカメラでは、フラッシュを発光させて適切な露出で手前の人物を撮影するとともに、背景の夜景を例えばシャッタスピードをかなり遅くして撮影するという、いわゆる「夜景撮影」という撮影方法があった。
【0003】
図13は、従来技術によるデジタルカメラの夜景撮影時の動作例を示すタイミングチャートである。夜景撮影時には、一度の撮影で、まず、メカニカルシャッタを開放し、シャッタボタンが押下されると、フラッシュを所定の時間だけ発光させ、その後、所定時間経過後、メカニカルシャッタを閉じる。この結果、フラッシュ発光期間に主に手前の人物の画像が撮影され、このシャッタボタンが押下されてからメカニカルシャッタを閉じるまでの期間に背景(夜景)の画像が撮影される。
【0004】
この場合、フラッシュ光が届きにくい背景で適正露出を得るためには、シャッタスピードを遅くする必要である。このように一度の撮影で手前の人物と背景とを撮影する場合、全体としてどうしてもシャッタスピードを遅くしなければならないため、手ぶれを防止するために、三脚等、デジタルカメラ本体を固定する必要があった。また、夜景の中に動くものがあると、薄く流れて撮影されてしまうという問題があった。
【0005】
そこで、一度の撮影指示に対して、フラッシュを発光させる撮影とフラッシュを発光させない撮影とをそれぞれ行い、双方の画像の相関を検出し、該相関に基づいて撮影画像を補正する技術がが提案されている(例えば特許文献1参照)。
【特許文献1】特開2000−102022号公報
【発明の開示】
【発明が解決しようとする課題】
【0006】
しかしながら、上述した従来技術では、フラッシュを発光させて撮影した画像と、フラッシュを発光させないで撮影した画像とを用いて撮影画像を補正しても、明るさとノイズとのバランスの良い画像を得ることができないという問題がある。また、フラッシュ光による影響を受けた画像部分とフラッシュ光による影響を受けなかった画像部分とを識別するための相関検出処理と、この識別された画像部分に対する画像補正処理の2つの複雑な演算を別々に行う必要があるため、回路構成あるいはソフトウェアが複雑になるという問題がある。
【0007】
そこで本発明は、特に夜間撮影などにおいて、撮影画像に十分な明るさを確保するとともに、感度変更によるノイズや、シャッタスピード変更による手ぶれとのバランスの良い画像を、簡単な演算処理で得ることのできる撮像装置、撮像方法および撮像プログラムを提供することを目的とする。
【課題を解決するための手段】
【0008】
上記目的達成のため、請求項1記載の発明による撮像装置は、被写体像を撮像する撮像手段と、発光手段と、前記発光手段を発光させずに前記撮像手段により撮影する際には撮像感度を高くし、前記発光手段を発光させて前記撮像手段により撮影する際には撮像感度を低く設定する撮影感度設定手段と、前記発光手段を発光させずに前記撮像手段により撮影した第1の画像データと、前記発光手段を発光させて前記撮像手段により撮影した第2の画像データとの合成比率を、各画素毎に決定する合成比率決定手段と、前記合成比率決定手段により決定された各画素毎に異なる合成比率で前記第1の画像データと前記第2の画像データとを合成し、記録用の画像データを生成する合成手段とを具備することを特徴とする。
【0009】
また、好ましい態様として、例えば請求項2記載のように、請求項1記載の撮像装置において、一度の撮影指示に応じて、前記発光手段を発光させない前記撮像手段による撮影と、前記発光手段を発光させる前記撮像手段による撮影とを続けて行うように、前記撮像手段、前記発光手段および前記感度制御手段を制御する撮影制御手段を具備するようにしてもよい。
【0010】
また、好ましい態様として、例えば請求項3記載のように、請求項1または2記載の撮像装置において、前記合成比率決定手段は、前記第1の画像データの画素値と前記第2の画像データの画素値との組み合わせにより分類される複数の領域毎に、前記第1の画像データと前記第2の画像データとの合成比率を決定するようにしてもよい。
【0011】
また、好ましい態様として、例えば請求項4記載のように、請求項3記載の撮像装置において、前記合成比率決定手段は、前記第2の画像データの画素値が所定の閾値より大きい場合には、前記第2の画像データの画素値を用い、前記第2の画像データの画素値が所定の閾値以下である場合には、前記第1の画像データの画素値を用いるように前記合成比率を決定するようにしてもよい。
【0012】
また、好ましい態様として、例えば請求項5記載のように、請求項3記載の撮像装置において、前記合成比率決定手段は、前記第1の画像データの画素値と前記第2の画像データの画素値とを大小比較して、大きい方の画像データの画素値を用いるように前記合成比率を決定するようにしてもよい。
【0013】
また、好ましい態様として、例えば請求項6記載のように、請求項3記載の撮像装置において、前記合成比率決定手段は、前記第1の画像データの画素値と前記第2の画像データの画素値との差分に基づいて、前記複数の領域のうち、どの領域に属するかを判別し、属する領域に基づいて前記合成比率を決定するようにしてもよい。
【0014】
また、上記目的達成のため、請求項7記載の発明による撮像方法は、一度の撮影指示に応じて、高い撮像感度でフラッシュを発光させない撮影と低い撮像感度でフラッシュを発光させた撮影とを続けて行うステップと、フラッシュを発光させずに撮影した第1の画像データと、フラッシュを発光させて撮影した第2の画像データとの合成比率を、各画素毎に決定するステップと、前記決定された各画素毎に異なる合成比率で前記第1の画像データと前記第2の画像データとを合成し、記録用の画像データを生成するステップとを含むことを特徴とする。
【0015】
また、上記目的達成のため、請求項8記載の発明による撮像プログラムは、コンピュータに、一度の撮影指示に応じて、高い撮像感度でフラッシュを発光させない撮影と低い撮像感度でフラッシュを発光させた撮影とを続けて行う撮影機能と、フラッシュを発光させずに撮影した第1の画像データと、フラッシュを発光させて撮影した第2の画像データとの合成比率を、各画素毎に決定する合成比率決定機能と、前記決定された各画素毎に異なる合成比率で前記第1の画像データと前記第2の画像データとを合成し、記録用の画像データを生成する合成機能とを実現させることを特徴とする。
【発明の効果】
【0016】
請求項1記載の発明によれば、撮影感度設定手段により、発光手段を発光させずに撮像手段により撮影する際には撮像感度を高くし、発光手段を発光させて撮像手段により撮影する際には撮像感度を低くし、合成比率決定手段により、前記発光手段を発光させずに前記撮像手段により撮影した第1の画像データと、前記発光手段を発光させて前記撮像手段により撮影した第2の画像データとの合成比率を、各画素毎に決定し、合成手段により、決定された各画素毎に異なる合成比率で前記第1の画像データと前記第2の画像データとを合成し、記録用の画像データを生成するようにしたので、特に夜間撮影などにおいて、撮影画像に十分な明るさを確保するとともに、感度変更によるノイズや、シャッタスピード変更による手ぶれとのバランスの良い画像を、簡単な演算処理で得ることができるという利点が得られる。
【0017】
また、請求項2記載の発明によれば、撮影制御手段により、一度の撮影指示に応じて、発光手段を発光させない撮影と、発光手段を発光させる撮影とを続けて行うように、撮像手段、発光手段および感度制御手段を制御するようにしたので、特に夜間撮影などにおいて、各被写体までの距離やフラッシュ光の照射量を特定するための特別な処理を行うことなく、撮影感度を低くしてフラッシュ発光させて撮影された手前の被写体部分と、撮影感度を高くして撮影された奥の被写体部分とを略識別して、手前の被写体部分に対してはフラッシュ発光により明るさを確保したノイズの少ない画像を選択し、奥の被写体部分に対してはノイズはあるが高感度による明るさを確保した画像を選択して合成を行ったのと同等の画像を、より簡単な演算処理で得ることができるという利点が得られる。
【0018】
また、請求項3記載の発明によれば、合成比率決定手段により、第1の画像データの画素値と第2の画像データの画素値との組み合わせにより分類される複数の領域毎に、第1の画像データと前記第2の画像データとの合成比率を決定するようにしたので、特に夜間撮影などにおいて、撮影感度を低くしてフラッシュ発光させて撮影された手前の被写体部分と、撮影感度を高くして撮影された奥の被写体部分とを略識別して、手前の被写体部分に対してはフラッシュ発光により明るさを確保したノイズの少ない画像を選択し、奥の被写体部分に対してはノイズはあるが高感度による明るさを確保した画像を選択して合成を行ったのと同等の画像を、より簡単な演算処理で得ることができるという利点が得られる。
【0019】
また、請求項4記載の発明によれば、合成比率決定手段により、第2の画像データの画素値が所定の閾値より大きい場合には、第2の画像データの画素値を用い、第2の画像データの画素値が所定の閾値以下である場合には、第1の画像データの画素値を用いるように前記合成比率を決定するようにしたので、特に夜間撮影などにおいて、撮影感度を低くしてフラッシュ発光させて撮影された手前の被写体部分と、撮影感度を高くして撮影された奥の被写体部分とを略識別して、手前の被写体部分に対してはフラッシュ発光により明るさを確保したノイズの少ない画像を選択し、奥の被写体部分に対してはノイズはあるが高感度による明るさを確保した画像を選択して合成を行ったのと同等の画像を、より簡単な演算処理で得ることができるという利点が得られる。
【0020】
また、請求項5記載によれば、合成比率決定手段により、第1の画像データの画素値と第2の画像データの画素値とを大小比較し、大きい方の画像データの画素値を用いるように前記合成比率を決定するようにしたので、特に夜間撮影などにおいて、撮影感度を低くしてフラッシュ発光させて撮影された手前の被写体部分と、撮影感度を高くして撮影された奥の被写体部分とを略識別して、手前の被写体部分に対してはフラッシュ発光により明るさを確保したノイズの少ない画像を選択し、奥の被写体部分に対してはノイズはあるが高感度による明るさを確保した画像を選択して合成を行ったのと同等の画像を、より簡単な演算処理で得ることができるという利点が得られる。
【0021】
また、請求項6記載の発明によれば、合成比率決定手段により、第1の画像データの画素値と第2の画像データの画素値との差分に基づいて、複数の領域のうち、どの領域に属するかを判別し、属する領域に基づいて前記合成比率を決定するようにしたので、特に夜間撮影などにおいて、撮影感度を低くしてフラッシュ発光させて撮影された手前の被写体部分と、撮影感度を高くして撮影された奥の被写体部分とを略識別して、手前の被写体部分に対してはフラッシュ発光により明るさを確保したノイズの少ない画像を選択し、奥の被写体部分に対してはノイズはあるが高感度による明るさを確保した画像を選択して合成を行ったのと同等の画像を、より簡単な演算処理で得ることができるという利点が得られる。
【0022】
また、請求項7記載の発明によれば、一度の撮影指示に応じて、高い撮像感度でフラッシュを発光させない撮影と低い撮像感度でフラッシュを発光させた撮影とを続けて行うステップと、フラッシュを発光させずに撮影した第1の画像データと、フラッシュを発光させて撮影した第2の画像データとの合成比率を、各画素毎に決定するステップと、前記決定された各画素毎に異なる合成比率で前記第1の画像データと前記第2の画像データとを合成し、記録用の画像データを生成するステップとを含むようにしたので、特に夜間撮影などにおいて、撮影画像に十分な明るさを確保するとともに、感度変更によるノイズや、シャッタスピード変更による手ぶれとのバランスの良い画像を、簡単な演算処理で得ることができるという利点が得られる。
【0023】
また、請求項8記載の発明によれば、コンピュータに、一度の撮影指示に応じて、高い撮像感度でフラッシュを発光させない撮影と低い撮像感度でフラッシュを発光させた撮影とを続けて行う撮影機能と、フラッシュを発光させずに撮影した第1の画像データと、フラッシュを発光させて撮影した第2の画像データとの合成比率を、各画素毎に決定する合成比率決定機能と、前記決定された各画素毎に異なる合成比率で前記第1の画像データと前記第2の画像データとを合成し、記録用の画像データを生成する合成機能とを実現させるようにしたので、特に夜間撮影などにおいて、撮影画像に十分な明るさを確保するとともに、感度変更によるノイズや、シャッタスピード変更による手ぶれとのバランスの良い画像を、簡単な演算処理で得ることができるという利点が得られる。
【発明を実施するための最良の形態】
【0024】
以下、本発明の実施の形態を、図面を参照して説明する。
【0025】
A.第1実施形態
A−1.第1実施形態の構成
図1は、本発明の第1実施形態によるデジタルカメラの構成を示すブロック図である。図において、画像取得部10は、レンズ11、シャッタ12、LPF13からなる。レンズ11は、通常の光学レンズであり、非球面レンズを重ねたレンズ群からなる。シャッタ12は、シャッタボタンが操作されると、制御部20によって駆動されるドライバ14により動作する、所謂メカニカルシャッタである。なお、デジタルカメラによっては、メカニカルシャッタを備えない場合もあり、沈胴式のレンズ構造、メカニカルズームを搭載する機種の場合、これらの駆動制御もドライバ14で行う。LPF13は、水晶ローパスフィルタであり、モアレの発生を防ぐために搭載されている。
【0026】
次に、アナログ信号処理部15は、撮像センサ(CCD,CMOS)16、サンプリング/信号増幅処理部17、A/Dコンバータ18からなる。撮像センサ16は、被写体画像(イメージ)を結像し、RGBの各色の光の強さを、電流値に変換する。サンプリング/信号増幅処理部17は、ノイズや色むらを抑えるための相関二重サンプリング処理や信号増幅処理を行う。A/Dコンバータ18は、アナログフロントエンドとも呼ばれ、サンプリング・増幅したアナログ信号をデジタル信号に変換する(RGB,CMYG各色について12bitデータに変換してバスラインに出力する)。
【0027】
次に、制御部(CPU)20は、後述するプログラムメモリ格納されるプログラムに従ってデジタルカメラ1(撮像装置)の全体を制御する。特に、本第1実施形態では、夜景撮影において、2回の露光により背景の夜景と手前の被写体(人物など)とを撮影するようになっている。詳細は後述するが、1回目の撮影(高感度撮影)では、ISO感度を上げて露光し、2回目の撮影(フラッシュ発光撮影)では、ISO感度を下げ、フラッシュを発光させて露光する。そして、1回目の画像と2回目の画像とを、後述する所定の閾値、所定の合成比率(重み)に従って合成するようになっている。制御部20は、これら夜景撮影時の動作、画像取り込み、画像合成等を制御する。
【0028】
プレビューエンジン22は、録画モード(記録モード、撮影モードともいう)において、画像取得部10、アナログ信号処理部15を介して入力されたデジタルデータ、もしくはシャッタ操作検出直後、イメージバッファ26に格納されたデジタルデータ、および、画像メモリ31に格納されたデジタルデータを表示部25に表示させるために間引き処理を行う。D/Aコンバータ23は、プレビューエンジン22により間引き処理されたデジタルデータを変換し、後段のドライバ24に出力する。
【0029】
ドライバ24は、後段の表示部25に表示されるデジタルデータを一時記憶するバッファ領域を備え、キー操作部27、制御部20を介して入力された制御信号に基づいて表示部25を駆動させる。表示部25は、カラーTFT液晶や、STN液晶などからなり、プレビュー画像や、撮影後の画像データ、設定メニューなどを表示する。
【0030】
イメージバッファ26は、アナログ信号処理部15、もしくはデジタル信号処理部28を介して入力され、デジタル信号処理部28に渡すまで一時的に撮影直後のデジタルデータを格納する。キー操作部27は、シャッタボタンや、記録/再生モード選択スライドスイッチ、メニューボタン、十字キー(中央押しで決定)などからなる。
【0031】
デジタル信号処理部28は、アナログ信号処理部15を介して入力されたデジタルデータに対して、ホワイトバランス処理、色処理、階調処理、輸郭強調、RGB形式からYUV形式への変換、YUV形式からJPEG形式への変換を行う。特に、本第1実施形態では、デジタル信号処理部28は、夜景撮影時において、ISO感度を上げて露光した、1回目の撮影(高感度撮影)による画像と、ISO感度を下げ、フラッシュを発光させて露光した、2回目の撮影(フラッシュ発光撮影)による画像とを、後述する所定の閾値、所定の合成比率(重み)に従って合成する。
【0032】
画像圧縮/伸張処理部29は、デジタル信号処理部28を介して入力されたデジタルデータをJPEG方式に圧縮符号化したり、モーションJPEG形式の動画ファイルを生成したり、モーションJPEG形式の動画ファイルをMPEG形式の動画ファイルに変換したり、再生モードにおいては、JPEG形式、モーションJPEG形式、あるいはMPEG形式の動画ファイルを伸張したりする。
【0033】
プログラムメモリ30は、制御部20にロードされる各種プログラムや、ベストショット機能におけるEV値、色補正情報などを格納する。画像メモリ31は、イメージバッファ26に一時的に保持された画像データや、各種ファイル形式に変換されたデジタルデータ、動画データなどを格納する。カードI/F32は、外部記録媒体33と撮像装置本体との間のデータ交換を制御する。
【0034】
外部記録媒体33は、コンパクトフラッシュ(登録商標)、メモリースティック、SDカード等からなる着脱可能な記録媒体である。外部接続用I/F34は、USBコネクター用スロットなどからなり、パーソナルコンピュータなどと接続され、撮影した画像データの転送などに用いられる。RAM35は、制御部(CPU)20の制御に必要な各種パラメータや、夜景撮影時の各種パラメータ(ゲイン(ISO感度)、絞り、シャッタスピード、画像合成のための閾値、重みなど)などを記憶する。
【0035】
次に、図2は、本第1実施形態によるデジタルカメラの夜景撮影時の動作を示すタイミングチャートである。夜景撮影時には、まず、メカニカルシャッタを開放し、シャッタボタンが押下されると、まず、露光期間ET1で、ISO感度を上げて画像を露光させ、メカニカルシャッタを閉じた後、そのデータを転送期間TT1で読み出す。該画像が背景(遠景)の夜景の画像に相当する。その後、すぐにメカニカルシャッタを開放するとともにISO感度を下げ、フラッシュを発光させて、露光時間ET2で露光させ、メカニカルシャッタを閉じた後、そのデータを転送期間TT2で読み出す。該画像が手前の人物などの被写体の画像に相当する。
【0036】
次に、図3は、本第1実施形態のデジタルカメラによる高感度撮影時の画像とフラッシュ発光撮影時の画像とを合成する際の閾値を示す概念図である。本第1実施形態では、2回目のフラッシュ発光撮影時に取り込んだ画像データD2について、画素毎に、その画素の輝度値が閾値THAより大きいか判定し、その画素の輝度値が閾値THAより大きく領域Aにあれば、2回目のフラッシュ発光撮影時に取り込んだ画像データD2(D1×0%+D2×100%)の画素を用い、その画素の輝度値が閾値THA以下で領域Bにあれば、1回目の高感度撮影時の画像データD1(D1×100%+D2×0%)の画素を用いて画像を合成して記録用の画像を得るようになっている。これら閾値THAや画像データD1,D2との合成比率は、上述したRAM35にデータテーブルまたは計算式の形で記憶されている。
【0037】
A−B.第1実施形態の動作
次に、本第1実施形態の動作について説明する。ここで、図4は、本第1実施形態によるデジタルカメラの夜景撮影時の動作を説明するためのフローチャートである。また、図5は、夜景撮影時の画像、および画像合成例を示す模式図である。
【0038】
夜景撮影が選択されると、まず、高感度設定として、絞りを開放、ゲイン(ISO感度)を最大、シャッタスピードを手ぶれしない最大時間に設定する(ステップS10)。次に、シャッタボタンが押下されると、高感度露光(図2に示す露光期間ET1)し、主に遠景の夜景を撮影し(ステップS12)、画像データD1としてイメージバッファ26に転送して一時保存する(ステップS14)。該夜景の画像は、図5(a)に示すように、手ぶれせずに、背景である夜景がより良い状態で撮られている。但し、近景の被写体については露出不足となる。
【0039】
次に、フラッシュ露光設定として、ゲイン(ISO感度)を最小、フラッシュを最大発光、その他として上記二条件下で最も高画質な撮影ができるように設定する(ステップS16)。次に、フラッシュを発光して露光(図2に示す露光期間ET2)し、近景の被写体(人物など)を撮影し(ステップS18)、画像データD2としてイメージバッファ26に転送して一時保存する(ステップS20)。該近景の画像は、図5(b)に示すように、被写体である人物がより良い状態で撮られている。但し、遠景の夜景については、フラッシュ光が届かず、露出時間ET2も短いので露出不足となる。
【0040】
次に、ステップS22〜S32で各画素のデータ作成のループ処理を実行する。まず、所定の座標の、フラッシュ発光撮影時の画像データD2を読み込み(ステップS24)、画像データD2の輝度値が閾値THAを超えているか否かを判断する(ステップS26)。そして、フラッシュ発光撮影時の輝度値が閾値THAを超えている場合、すなわち、図2の領域Aである場合には、該フラッシュ発光撮影時の画像データD2(D1×0%+D2×100%)を合成データとして画像メモリ31に保存する(ステップS28)。
【0041】
一方、フラッシュ発光撮影時の輝度値が閾値THAを超えていない場合、すなわち、図2の領域Bである場合には、1回目の高感度撮影時の画像データD1(D1×100%+D2×0%)を合成データとして画像メモリ31に保存する(ステップS30)。以上の処理を全画素について行って記録用の画像データを得る。
【0042】
この結果、合成された画像は、図5(c)に示すように、より良い状態で撮影された夜景とより良い状態で撮影された近景の被写体とが合成され、手ぶれのない、露出、S/N比のバランスが良好な撮影画像となる。
【0043】
B.第2実施形態
次に、本発明の第2実施形態について説明する。なお、デジタルカメラの構成は、図1と同様であるので説明を省略する。また、デジタルカメラの夜景撮影時の動作についても、図2に示すタイミングチャートと同様である。本第2実施形態では、1回目の画像と2回目の画像とを合成する際の閾値の設定方法を変えており、図6に示すように、閾値THBを1:1のところに設けており、画素毎に、1回目の高感度撮影時に取り込んだ画像の輝度値と2回目のフラッシュ発光撮影時に取り込んだ画像の輝度値とを比較し、輝度値が大きい方の画素を用いて画像を合成して記録用の画像を得るようになっている。
【0044】
すなわち、2回目のフラッシュ発光撮影時に取り込んだ画像の画素の輝度値の方が大きい場合、言い換えると、領域Aにあれば、2回目のフラッシュ発光撮影時に取り込んだ画像の画素値である画像データD2(D1×0%+D2×100%)を用い、1回目の高感度撮影時に取り込んだ画像の画素の輝度値の方が大きい場合、言い換えると、領域Bにあれば、1回目の高感度撮影時に取り込んだ画像の画素値である画像データD1(D1×100%+D2×0%)を用いて画像を合成して記録用の画像を得るようになっている。これら閾値THBや画像データD1,D2との合成比率は、上述したRAM35にデータテーブルまたは計算式の形で記憶されている。
【0045】
B−2.第2実施形態の動作
次に、上述した第2実施形態の動作について説明する。ここで、図7は、本第2実施形態によるデジタルカメラの夜景撮影時の動作を説明するためのフローチャートである。夜景撮影が選択されると、まず、高感度設定として、絞りを開放、ゲイン(ISO感度)を最大、シャッタスピードを手ぶれしない最大時間に設定する(ステップS40)。次に、シャッタボタンが押下されると、高感度露光(図2に示す露光期間ET1)し、主に遠景の夜景を撮影し(ステップS42)、画像データD1としてイメージバッファ26に転送して一時保存する(ステップS44)。該夜景の画像は、図5(a)に示すように、手ぶれせずに、背景である夜景がより良い状態で撮られている。但し、近景の被写体については露出不足となる。
【0046】
次に、フラッシュ露光設定として、ゲイン(ISO感度)を最小、フラッシュを最大発光、その他として上記二条件下で最も高画質な撮影ができるように設定する(ステップS46)。次に、フラッシュを発光して露光(図2に示す露光期間ET2)し、近景の被写体(人物など)を撮影し(ステップS48)、画像データD2としてイメージバッファ26に転送して一時保存する(ステップS50)。該近景の画像は、図5(b)に示すように、被写体である人物がより良い状態で撮られている。但し、遠景の夜景については、フラッシュ光が届かず、露出時間ET2も短いので露出不足となる。
【0047】
次に、ステップS52〜S62で各画素のデータ作成のループ処理を実行する。まず、所定の座標の、高感度撮影時の画像データD1とフラッシュ発光撮影時の画像データD2とを読み込み(ステップS54)、画像データD1の輝度値が画像データD2の輝度値より大きいかか否かを判断する(ステップS56)。そして、高感度撮影時の輝度値の方が大きい場合、すなわち、図6の領域Bである場合には、1回目の高感度撮影時の画像データD1(D1×100%+D2×0%)を合成データとして画像メモリ31に保存する(ステップS58)。
【0048】
一方、フラッシュ発光撮影時の輝度値の方が大きい場合、すなわち、図6の領域Aである場合には、2回目のフラッシュ発光撮影時の画像データD2(D1×0%+D2×100%)を合成データとして画像メモリ31に保存する(ステップS60)。以上の処理を全画素について行って記録用の画像データを得る。
【0049】
この結果、合成された画像は、より良い状態で撮影された夜景とより良い状態で撮影された近景の被写体とが合成され、手ぶれのない、露出、S/N比のバランスが良好な撮影画像となる。
【0050】
C.第3実施形態
次に、本発明の第3実施形態について説明する。なお、デジタルカメラの構成は、図1と同様であるので説明を省略する。本第3実施形態では、1回目の画像と2回目の画像とを合成する際の閾値、および合成比率を変えており、図8に示すように、閾値THC1、THC2を設け、フラッシュ発光撮影時の輝度値と高感度撮影時の輝度値との関係で得られる領域を、4つの領域A〜Dに細分化している。なお、領域Bと領域Cとの境界は、大小比較で判定する。そして、画素毎に、1回目の高感度撮影時に取り込んだ画像の輝度値と2回目のフラッシュ発光撮影時に取り込んだ画像の輝度値とを比較し、輝度値がどの領域にあるかで、記録用の画像(の画素)として用いる画素合成比率を決めるようになっている。
【0051】
例えば、領域Aでは、合成画像の画素値を、高感度撮影時の画像データD1×0%+フラッシュ発光撮影時の画像データD2×100%とし、領域Bでは、高感度撮影時の画像データD1×25%+フラッシュ発光撮影時の画像データD2×75%とし、領域Cでは、高感度撮影時の画像データD1×75%+フラッシュ発光撮影時の画像データD2×25%とし、領域Dでは、D1×100%+D2×0%とする。これら閾値THC1、THC2や画像データD1,D2との合成比率は、上述したRAM35にデータテーブルまたは計算式の形で記憶されている。
【0052】
次に、本第3実施形態の動作について説明する。ここで、図9および図10は、本第3実施形態によるデジタルカメラの夜景撮影時の動作を説明するためのフローチャートである。夜景撮影が選択されると、まず、高感度設定として、絞りを開放、ゲイン(ISO感度)を最大、シャッタスピードを手ぶれしない最大時間に設定する(ステップS70)。次に、シャッタボタンが押下されると、高感度露光(図2に示す露光期間ET1)し、主に遠景の夜景を撮影し(ステップS72)、画像データD1としてイメージバッファ26に転送して一時保存する(ステップS74)。該夜景の画像は、図5(a)に示すように、手ぶれせずに、背景である夜景がより良い状態で撮られている。但し、近景の被写体については露出不足となる。
【0053】
次に、フラッシュ露光設定として、ゲイン(ISO感度)を最小、フラッシュを最大発光、その他として上記二条件下で最も高画質な撮影ができるように設定する(ステップS76)。次に、フラッシュを発光して露光(図2に示す露光期間ET2)し、近景の被写体(人物など)を撮影し(ステップS78)、画像データD2としてイメージバッファ26に転送して一時保存する(ステップS80)。該近景の画像は、図5(b)に示すように、被写体である人物がより良い状態で撮られている。但し、遠景の夜景については、フラッシュ光が届かず、露出時間ET2も短いので露出不足となる。
【0054】
次に、ステップS82〜S104で各画素のデータ作成のループ処理を実行する。まず、所定の座標の、高感度撮影時の画像データD1とフラッシュ発光撮影時の画像データD2とを読み込み(ステップS84)、画像データD1の輝度値が画像データD2の輝度値より大きいかか否かを判断する(ステップS86)。そして、高感度撮影時の画像データD1の輝度値の方が大きい場合、すなわち、図8の領域Cまたは領域Dである場合には、画像データD1の輝度値と画像データD2の輝度値との差が、図8に示す閾値THC2より大きいか否かを判断する(ステップS88)。そして、画像データD1の輝度値と画像データD2の輝度値との差が閾値THC2より大きい場合には、領域Dにあると判断し、1回目の高感度撮影時の画像データD1(D1×100%+D2×0%)を合成データとして画像メモリ31に保存する(ステップS90)。
【0055】
一方、画像データD1の輝度値と画像データD2の輝度値との差が閾値THC2以下の場合には、領域Cにあると判断し、合成画像データDbとして、画像データD1×3/4+画像データD2×1/4を算出し(ステップS92)、該合成画像データDbを画像メモリ31に保存する(ステップS94)。
【0056】
一方、ステップS86において、フラッシュ発光撮影時の画像データD2の輝度値の方が大きい場合には、すなわち、図8の領域Aまたは領域Bである場合には、画像データD1の輝度値と画像データD2の輝度値との差が、図8に示す閾値THC1より大きいか否かを判断する(ステップS96)。そして、画像データD1の輝度値と画像データD2の輝度値との差が閾値THC1より小さい場合には、領域Bにあると判断し、合成画像データDcとして、画像データD1×1/4+画像データD2×3/4を算出し(ステップS98)、該合成画像データDcを画像メモリ31に保存する(ステップS100)。
【0057】
一方、画像データD1の輝度値と画像データD2の輝度値との差が閾値THC1以上の場合には、領域Aにあると判断し、2回目のフラッシュ発光撮影時の画像データD2(D1×0%+D2×100%)を合成データとして画像メモリ31に保存する(ステップS102)。
【0058】
この結果、合成された画像は、より良い状態で撮影された夜景とより良い状態で撮影された近景の被写体とが合成され、手ぶれのない、露出、S/N比のバランスが良好な撮影画像となる。
【0059】
D.第4実施形態
次に、本発明の第4実施形態について説明する。なお、デジタルカメラの構成は、図1と同様であるので説明を省略する。本第4実施形態では、1回目の画像と2回目の画像とを合成する際の閾値、および合成比率を変えており、図11に示すように、閾値THD1〜THD4を設け、フラッシュ発光撮影時の輝度値と高感度撮影時の輝度値との関係で得られる領域を、9つの領域A〜Iに細分化している。そして、画素毎に、1回目の高感度撮影時に取り込んだ画像の輝度値と2回目のフラッシュ発光撮影時に取り込んだ画像の輝度値とを比較し、輝度値がどの領域にあるかで、記録用の画像(の画素)として用いる画素合成比率を決めるようになっている。
【0060】
例えば、領域A、Iでは、合成画像の画素値を、高感度撮影時の画像データD1×50%+フラッシュ発光撮影時の画像データD2×50%とし、領域B、C、E、G、Hでは、高感度撮影時の画像データD1×0%+フラッシュ発光撮影時の画像データD2×100%とし、領域D、Fでは、高感度撮影時の画像データD1×100%+フラッシュ発光撮影時の画像データD2×0%とする。これら閾値THD1〜THD4や画像データD1,D2との合成比率は、上述したRAM35にデータテーブルまたは計算式の形で記憶されている。なお、領域の判別、画像の合成については基本的に上述した第3実施形態などと同じであるので説明を省略する。
【0061】
E.変形例
次に、本発明の変形例について説明する。上述した第1ないし第4実施形態では、画素合成比率を決定するための領域毎に明らかに異なる合成比率を設定していた。すなわち、隣り合う領域においては、境界近傍に存在する場合であっても、合成比率が異なっていた。これに対して、本変形例では、図12に示すように、例えば、領域Aと領域Bとの境界部分をより細かい領域C1〜C6に分割し、段階的に合成比率を変化させるようにする。これにより、より精細な合成画像を得ることが可能となる。
【0062】
また、他の変形例としては、上述したように、領域Aと領域Bとの境界部分をより細かく分割するのではなく、実際にアナログ回路により合成比率を徐々に変化させるようにしてもよい。また、各位置の画素値を同じ位置の画素同士の合成により決定したが、周辺領域の画素を用いるようにしてもよい。また、3つ以上の撮影画像を用いてもよい。
【0063】
また、上述した実施形態では、手前の被写体部分と背景の被写体部分との識別と画素合成とを同時に行うことで、手前の被写体部分と背景の被写体部分とを正確に識別するための識別処理を不要としているが、被写体までの距離を示す測距情報などが利用できるのであれば、該測距情報を用いて識別するようにしてもよい。
【0064】
また、上述した実施形態では、異なる画素合成方法を異なる実施形態として説明したが、複数の画素合成方法の中からモード選択により1つの画素合成方法を予め設定しておき、撮影指示が行われた際に設定モードを判別し、選択された画素合成方法に従って画素合成を実行するようにしてもよい。この場合、画素合成モードの設定は、ユーザが任意に指定してもよいし、外部の明るさをセンサで感知して自動設定するようにしてもよいし、撮像センサにより得られる画像情報に基づいて自動設定するようにしてもよい。
【0065】
なお、上述した実施形態においては、デジタルカメラについてのみ説明したが、これ限らず、携帯電話などの撮像装置を備える電子機器に適用するようにしてもよい。また、上述した実施形態による画像合成処理等については、制御部20によるソフトウェア制御で実現されるものであるが、処理速度、汎用性、装置サイズ、コストなどを考慮して、その全てまたは一部を回路により実現するようにしてもよい。
【図面の簡単な説明】
【0066】
【図1】本発明の第1実施形態によるデジタルカメラの構成を示すブロック図である。
【図2】本第1実施形態によるデジタルカメラの夜景撮影時の動作を示すタイミングチャートである。
【図3】本第1実施形態のデジタルカメラによる高感度撮影時の画像とフラッシュ発光撮影時の画像とを合成する際の閾値を示す概念図である。
【図4】本第1実施形態によるデジタルカメラの夜景撮影時の動作を説明するためのフローチャートである。
【図5】本第1実施形態によるデジタルカメラの夜景撮影時の画像、および画像合成例を示す模式図である。
【図6】本発明の第2実施形態のデジタルカメラによる高感度撮影時の画像とフラッシュ発光撮影時の画像とを合成する際の閾値を示す概念図である。
【図7】本第2実施形態によるデジタルカメラの夜景撮影時の動作を説明するためのフローチャートである。
【図8】本発明の第3実施形態のデジタルカメラによる高感度撮影時の画像とフラッシュ発光撮影時の画像とを合成する際の閾値を示す概念図である。
【図9】本第3実施形態によるデジタルカメラの夜景撮影時の動作を説明するためのフローチャートである。
【図10】本第3実施形態によるデジタルカメラの夜景撮影時の動作を説明するためのフローチャートである。
【図11】本発明の第4実施形態のデジタルカメラによる高感度撮影時の画像とフラッシュ発光撮影時の画像とを合成する際の閾値を示す概念図である。
【図12】本発明の変形例のデジタルカメラによる高感度撮影時の画像とフラッシュ発光撮影時の画像とを合成する際の閾値を示す概念図である。
【図13】従来技術による夜景撮影時のデジタルカメラの動作を示すタイミングチャートである。
【符号の説明】
【0067】
1 デジタルカメラ
10 画像取得部
11 レンズ
12 シャッタ
13 LPF
14 ドライバ
15 アナログ信号処理部
16 撮像センサ(撮像手段)
17 サンプリング/信号増幅処理部
18 A/Dコンバータ
19 フラッシュ(発光手段)
20 制御部(撮影感度設定手段、撮影制御手段)
22 プレビューエンジン
23 D/Aコンバータ
24 ドライバ
25 表示部
26 イメージバッファ
27 キー操作部
28 デジタル信号処理部(合成手段)
29 画像圧縮/伸張処理部
30 プログラムメモリ
31 画像メモリ
32 カードI/F
33 外部記録媒体
34 外部接続用I/F
35 RAM
【技術分野】
【0001】
本発明は、デジタルカメラなどに係り、夜景撮影を行う撮像装置、撮像方法および撮像プログラムに関する。
【背景技術】
【0002】
従来より、デジタルカメラでは、フラッシュを発光させて適切な露出で手前の人物を撮影するとともに、背景の夜景を例えばシャッタスピードをかなり遅くして撮影するという、いわゆる「夜景撮影」という撮影方法があった。
【0003】
図13は、従来技術によるデジタルカメラの夜景撮影時の動作例を示すタイミングチャートである。夜景撮影時には、一度の撮影で、まず、メカニカルシャッタを開放し、シャッタボタンが押下されると、フラッシュを所定の時間だけ発光させ、その後、所定時間経過後、メカニカルシャッタを閉じる。この結果、フラッシュ発光期間に主に手前の人物の画像が撮影され、このシャッタボタンが押下されてからメカニカルシャッタを閉じるまでの期間に背景(夜景)の画像が撮影される。
【0004】
この場合、フラッシュ光が届きにくい背景で適正露出を得るためには、シャッタスピードを遅くする必要である。このように一度の撮影で手前の人物と背景とを撮影する場合、全体としてどうしてもシャッタスピードを遅くしなければならないため、手ぶれを防止するために、三脚等、デジタルカメラ本体を固定する必要があった。また、夜景の中に動くものがあると、薄く流れて撮影されてしまうという問題があった。
【0005】
そこで、一度の撮影指示に対して、フラッシュを発光させる撮影とフラッシュを発光させない撮影とをそれぞれ行い、双方の画像の相関を検出し、該相関に基づいて撮影画像を補正する技術がが提案されている(例えば特許文献1参照)。
【特許文献1】特開2000−102022号公報
【発明の開示】
【発明が解決しようとする課題】
【0006】
しかしながら、上述した従来技術では、フラッシュを発光させて撮影した画像と、フラッシュを発光させないで撮影した画像とを用いて撮影画像を補正しても、明るさとノイズとのバランスの良い画像を得ることができないという問題がある。また、フラッシュ光による影響を受けた画像部分とフラッシュ光による影響を受けなかった画像部分とを識別するための相関検出処理と、この識別された画像部分に対する画像補正処理の2つの複雑な演算を別々に行う必要があるため、回路構成あるいはソフトウェアが複雑になるという問題がある。
【0007】
そこで本発明は、特に夜間撮影などにおいて、撮影画像に十分な明るさを確保するとともに、感度変更によるノイズや、シャッタスピード変更による手ぶれとのバランスの良い画像を、簡単な演算処理で得ることのできる撮像装置、撮像方法および撮像プログラムを提供することを目的とする。
【課題を解決するための手段】
【0008】
上記目的達成のため、請求項1記載の発明による撮像装置は、被写体像を撮像する撮像手段と、発光手段と、前記発光手段を発光させずに前記撮像手段により撮影する際には撮像感度を高くし、前記発光手段を発光させて前記撮像手段により撮影する際には撮像感度を低く設定する撮影感度設定手段と、前記発光手段を発光させずに前記撮像手段により撮影した第1の画像データと、前記発光手段を発光させて前記撮像手段により撮影した第2の画像データとの合成比率を、各画素毎に決定する合成比率決定手段と、前記合成比率決定手段により決定された各画素毎に異なる合成比率で前記第1の画像データと前記第2の画像データとを合成し、記録用の画像データを生成する合成手段とを具備することを特徴とする。
【0009】
また、好ましい態様として、例えば請求項2記載のように、請求項1記載の撮像装置において、一度の撮影指示に応じて、前記発光手段を発光させない前記撮像手段による撮影と、前記発光手段を発光させる前記撮像手段による撮影とを続けて行うように、前記撮像手段、前記発光手段および前記感度制御手段を制御する撮影制御手段を具備するようにしてもよい。
【0010】
また、好ましい態様として、例えば請求項3記載のように、請求項1または2記載の撮像装置において、前記合成比率決定手段は、前記第1の画像データの画素値と前記第2の画像データの画素値との組み合わせにより分類される複数の領域毎に、前記第1の画像データと前記第2の画像データとの合成比率を決定するようにしてもよい。
【0011】
また、好ましい態様として、例えば請求項4記載のように、請求項3記載の撮像装置において、前記合成比率決定手段は、前記第2の画像データの画素値が所定の閾値より大きい場合には、前記第2の画像データの画素値を用い、前記第2の画像データの画素値が所定の閾値以下である場合には、前記第1の画像データの画素値を用いるように前記合成比率を決定するようにしてもよい。
【0012】
また、好ましい態様として、例えば請求項5記載のように、請求項3記載の撮像装置において、前記合成比率決定手段は、前記第1の画像データの画素値と前記第2の画像データの画素値とを大小比較して、大きい方の画像データの画素値を用いるように前記合成比率を決定するようにしてもよい。
【0013】
また、好ましい態様として、例えば請求項6記載のように、請求項3記載の撮像装置において、前記合成比率決定手段は、前記第1の画像データの画素値と前記第2の画像データの画素値との差分に基づいて、前記複数の領域のうち、どの領域に属するかを判別し、属する領域に基づいて前記合成比率を決定するようにしてもよい。
【0014】
また、上記目的達成のため、請求項7記載の発明による撮像方法は、一度の撮影指示に応じて、高い撮像感度でフラッシュを発光させない撮影と低い撮像感度でフラッシュを発光させた撮影とを続けて行うステップと、フラッシュを発光させずに撮影した第1の画像データと、フラッシュを発光させて撮影した第2の画像データとの合成比率を、各画素毎に決定するステップと、前記決定された各画素毎に異なる合成比率で前記第1の画像データと前記第2の画像データとを合成し、記録用の画像データを生成するステップとを含むことを特徴とする。
【0015】
また、上記目的達成のため、請求項8記載の発明による撮像プログラムは、コンピュータに、一度の撮影指示に応じて、高い撮像感度でフラッシュを発光させない撮影と低い撮像感度でフラッシュを発光させた撮影とを続けて行う撮影機能と、フラッシュを発光させずに撮影した第1の画像データと、フラッシュを発光させて撮影した第2の画像データとの合成比率を、各画素毎に決定する合成比率決定機能と、前記決定された各画素毎に異なる合成比率で前記第1の画像データと前記第2の画像データとを合成し、記録用の画像データを生成する合成機能とを実現させることを特徴とする。
【発明の効果】
【0016】
請求項1記載の発明によれば、撮影感度設定手段により、発光手段を発光させずに撮像手段により撮影する際には撮像感度を高くし、発光手段を発光させて撮像手段により撮影する際には撮像感度を低くし、合成比率決定手段により、前記発光手段を発光させずに前記撮像手段により撮影した第1の画像データと、前記発光手段を発光させて前記撮像手段により撮影した第2の画像データとの合成比率を、各画素毎に決定し、合成手段により、決定された各画素毎に異なる合成比率で前記第1の画像データと前記第2の画像データとを合成し、記録用の画像データを生成するようにしたので、特に夜間撮影などにおいて、撮影画像に十分な明るさを確保するとともに、感度変更によるノイズや、シャッタスピード変更による手ぶれとのバランスの良い画像を、簡単な演算処理で得ることができるという利点が得られる。
【0017】
また、請求項2記載の発明によれば、撮影制御手段により、一度の撮影指示に応じて、発光手段を発光させない撮影と、発光手段を発光させる撮影とを続けて行うように、撮像手段、発光手段および感度制御手段を制御するようにしたので、特に夜間撮影などにおいて、各被写体までの距離やフラッシュ光の照射量を特定するための特別な処理を行うことなく、撮影感度を低くしてフラッシュ発光させて撮影された手前の被写体部分と、撮影感度を高くして撮影された奥の被写体部分とを略識別して、手前の被写体部分に対してはフラッシュ発光により明るさを確保したノイズの少ない画像を選択し、奥の被写体部分に対してはノイズはあるが高感度による明るさを確保した画像を選択して合成を行ったのと同等の画像を、より簡単な演算処理で得ることができるという利点が得られる。
【0018】
また、請求項3記載の発明によれば、合成比率決定手段により、第1の画像データの画素値と第2の画像データの画素値との組み合わせにより分類される複数の領域毎に、第1の画像データと前記第2の画像データとの合成比率を決定するようにしたので、特に夜間撮影などにおいて、撮影感度を低くしてフラッシュ発光させて撮影された手前の被写体部分と、撮影感度を高くして撮影された奥の被写体部分とを略識別して、手前の被写体部分に対してはフラッシュ発光により明るさを確保したノイズの少ない画像を選択し、奥の被写体部分に対してはノイズはあるが高感度による明るさを確保した画像を選択して合成を行ったのと同等の画像を、より簡単な演算処理で得ることができるという利点が得られる。
【0019】
また、請求項4記載の発明によれば、合成比率決定手段により、第2の画像データの画素値が所定の閾値より大きい場合には、第2の画像データの画素値を用い、第2の画像データの画素値が所定の閾値以下である場合には、第1の画像データの画素値を用いるように前記合成比率を決定するようにしたので、特に夜間撮影などにおいて、撮影感度を低くしてフラッシュ発光させて撮影された手前の被写体部分と、撮影感度を高くして撮影された奥の被写体部分とを略識別して、手前の被写体部分に対してはフラッシュ発光により明るさを確保したノイズの少ない画像を選択し、奥の被写体部分に対してはノイズはあるが高感度による明るさを確保した画像を選択して合成を行ったのと同等の画像を、より簡単な演算処理で得ることができるという利点が得られる。
【0020】
また、請求項5記載によれば、合成比率決定手段により、第1の画像データの画素値と第2の画像データの画素値とを大小比較し、大きい方の画像データの画素値を用いるように前記合成比率を決定するようにしたので、特に夜間撮影などにおいて、撮影感度を低くしてフラッシュ発光させて撮影された手前の被写体部分と、撮影感度を高くして撮影された奥の被写体部分とを略識別して、手前の被写体部分に対してはフラッシュ発光により明るさを確保したノイズの少ない画像を選択し、奥の被写体部分に対してはノイズはあるが高感度による明るさを確保した画像を選択して合成を行ったのと同等の画像を、より簡単な演算処理で得ることができるという利点が得られる。
【0021】
また、請求項6記載の発明によれば、合成比率決定手段により、第1の画像データの画素値と第2の画像データの画素値との差分に基づいて、複数の領域のうち、どの領域に属するかを判別し、属する領域に基づいて前記合成比率を決定するようにしたので、特に夜間撮影などにおいて、撮影感度を低くしてフラッシュ発光させて撮影された手前の被写体部分と、撮影感度を高くして撮影された奥の被写体部分とを略識別して、手前の被写体部分に対してはフラッシュ発光により明るさを確保したノイズの少ない画像を選択し、奥の被写体部分に対してはノイズはあるが高感度による明るさを確保した画像を選択して合成を行ったのと同等の画像を、より簡単な演算処理で得ることができるという利点が得られる。
【0022】
また、請求項7記載の発明によれば、一度の撮影指示に応じて、高い撮像感度でフラッシュを発光させない撮影と低い撮像感度でフラッシュを発光させた撮影とを続けて行うステップと、フラッシュを発光させずに撮影した第1の画像データと、フラッシュを発光させて撮影した第2の画像データとの合成比率を、各画素毎に決定するステップと、前記決定された各画素毎に異なる合成比率で前記第1の画像データと前記第2の画像データとを合成し、記録用の画像データを生成するステップとを含むようにしたので、特に夜間撮影などにおいて、撮影画像に十分な明るさを確保するとともに、感度変更によるノイズや、シャッタスピード変更による手ぶれとのバランスの良い画像を、簡単な演算処理で得ることができるという利点が得られる。
【0023】
また、請求項8記載の発明によれば、コンピュータに、一度の撮影指示に応じて、高い撮像感度でフラッシュを発光させない撮影と低い撮像感度でフラッシュを発光させた撮影とを続けて行う撮影機能と、フラッシュを発光させずに撮影した第1の画像データと、フラッシュを発光させて撮影した第2の画像データとの合成比率を、各画素毎に決定する合成比率決定機能と、前記決定された各画素毎に異なる合成比率で前記第1の画像データと前記第2の画像データとを合成し、記録用の画像データを生成する合成機能とを実現させるようにしたので、特に夜間撮影などにおいて、撮影画像に十分な明るさを確保するとともに、感度変更によるノイズや、シャッタスピード変更による手ぶれとのバランスの良い画像を、簡単な演算処理で得ることができるという利点が得られる。
【発明を実施するための最良の形態】
【0024】
以下、本発明の実施の形態を、図面を参照して説明する。
【0025】
A.第1実施形態
A−1.第1実施形態の構成
図1は、本発明の第1実施形態によるデジタルカメラの構成を示すブロック図である。図において、画像取得部10は、レンズ11、シャッタ12、LPF13からなる。レンズ11は、通常の光学レンズであり、非球面レンズを重ねたレンズ群からなる。シャッタ12は、シャッタボタンが操作されると、制御部20によって駆動されるドライバ14により動作する、所謂メカニカルシャッタである。なお、デジタルカメラによっては、メカニカルシャッタを備えない場合もあり、沈胴式のレンズ構造、メカニカルズームを搭載する機種の場合、これらの駆動制御もドライバ14で行う。LPF13は、水晶ローパスフィルタであり、モアレの発生を防ぐために搭載されている。
【0026】
次に、アナログ信号処理部15は、撮像センサ(CCD,CMOS)16、サンプリング/信号増幅処理部17、A/Dコンバータ18からなる。撮像センサ16は、被写体画像(イメージ)を結像し、RGBの各色の光の強さを、電流値に変換する。サンプリング/信号増幅処理部17は、ノイズや色むらを抑えるための相関二重サンプリング処理や信号増幅処理を行う。A/Dコンバータ18は、アナログフロントエンドとも呼ばれ、サンプリング・増幅したアナログ信号をデジタル信号に変換する(RGB,CMYG各色について12bitデータに変換してバスラインに出力する)。
【0027】
次に、制御部(CPU)20は、後述するプログラムメモリ格納されるプログラムに従ってデジタルカメラ1(撮像装置)の全体を制御する。特に、本第1実施形態では、夜景撮影において、2回の露光により背景の夜景と手前の被写体(人物など)とを撮影するようになっている。詳細は後述するが、1回目の撮影(高感度撮影)では、ISO感度を上げて露光し、2回目の撮影(フラッシュ発光撮影)では、ISO感度を下げ、フラッシュを発光させて露光する。そして、1回目の画像と2回目の画像とを、後述する所定の閾値、所定の合成比率(重み)に従って合成するようになっている。制御部20は、これら夜景撮影時の動作、画像取り込み、画像合成等を制御する。
【0028】
プレビューエンジン22は、録画モード(記録モード、撮影モードともいう)において、画像取得部10、アナログ信号処理部15を介して入力されたデジタルデータ、もしくはシャッタ操作検出直後、イメージバッファ26に格納されたデジタルデータ、および、画像メモリ31に格納されたデジタルデータを表示部25に表示させるために間引き処理を行う。D/Aコンバータ23は、プレビューエンジン22により間引き処理されたデジタルデータを変換し、後段のドライバ24に出力する。
【0029】
ドライバ24は、後段の表示部25に表示されるデジタルデータを一時記憶するバッファ領域を備え、キー操作部27、制御部20を介して入力された制御信号に基づいて表示部25を駆動させる。表示部25は、カラーTFT液晶や、STN液晶などからなり、プレビュー画像や、撮影後の画像データ、設定メニューなどを表示する。
【0030】
イメージバッファ26は、アナログ信号処理部15、もしくはデジタル信号処理部28を介して入力され、デジタル信号処理部28に渡すまで一時的に撮影直後のデジタルデータを格納する。キー操作部27は、シャッタボタンや、記録/再生モード選択スライドスイッチ、メニューボタン、十字キー(中央押しで決定)などからなる。
【0031】
デジタル信号処理部28は、アナログ信号処理部15を介して入力されたデジタルデータに対して、ホワイトバランス処理、色処理、階調処理、輸郭強調、RGB形式からYUV形式への変換、YUV形式からJPEG形式への変換を行う。特に、本第1実施形態では、デジタル信号処理部28は、夜景撮影時において、ISO感度を上げて露光した、1回目の撮影(高感度撮影)による画像と、ISO感度を下げ、フラッシュを発光させて露光した、2回目の撮影(フラッシュ発光撮影)による画像とを、後述する所定の閾値、所定の合成比率(重み)に従って合成する。
【0032】
画像圧縮/伸張処理部29は、デジタル信号処理部28を介して入力されたデジタルデータをJPEG方式に圧縮符号化したり、モーションJPEG形式の動画ファイルを生成したり、モーションJPEG形式の動画ファイルをMPEG形式の動画ファイルに変換したり、再生モードにおいては、JPEG形式、モーションJPEG形式、あるいはMPEG形式の動画ファイルを伸張したりする。
【0033】
プログラムメモリ30は、制御部20にロードされる各種プログラムや、ベストショット機能におけるEV値、色補正情報などを格納する。画像メモリ31は、イメージバッファ26に一時的に保持された画像データや、各種ファイル形式に変換されたデジタルデータ、動画データなどを格納する。カードI/F32は、外部記録媒体33と撮像装置本体との間のデータ交換を制御する。
【0034】
外部記録媒体33は、コンパクトフラッシュ(登録商標)、メモリースティック、SDカード等からなる着脱可能な記録媒体である。外部接続用I/F34は、USBコネクター用スロットなどからなり、パーソナルコンピュータなどと接続され、撮影した画像データの転送などに用いられる。RAM35は、制御部(CPU)20の制御に必要な各種パラメータや、夜景撮影時の各種パラメータ(ゲイン(ISO感度)、絞り、シャッタスピード、画像合成のための閾値、重みなど)などを記憶する。
【0035】
次に、図2は、本第1実施形態によるデジタルカメラの夜景撮影時の動作を示すタイミングチャートである。夜景撮影時には、まず、メカニカルシャッタを開放し、シャッタボタンが押下されると、まず、露光期間ET1で、ISO感度を上げて画像を露光させ、メカニカルシャッタを閉じた後、そのデータを転送期間TT1で読み出す。該画像が背景(遠景)の夜景の画像に相当する。その後、すぐにメカニカルシャッタを開放するとともにISO感度を下げ、フラッシュを発光させて、露光時間ET2で露光させ、メカニカルシャッタを閉じた後、そのデータを転送期間TT2で読み出す。該画像が手前の人物などの被写体の画像に相当する。
【0036】
次に、図3は、本第1実施形態のデジタルカメラによる高感度撮影時の画像とフラッシュ発光撮影時の画像とを合成する際の閾値を示す概念図である。本第1実施形態では、2回目のフラッシュ発光撮影時に取り込んだ画像データD2について、画素毎に、その画素の輝度値が閾値THAより大きいか判定し、その画素の輝度値が閾値THAより大きく領域Aにあれば、2回目のフラッシュ発光撮影時に取り込んだ画像データD2(D1×0%+D2×100%)の画素を用い、その画素の輝度値が閾値THA以下で領域Bにあれば、1回目の高感度撮影時の画像データD1(D1×100%+D2×0%)の画素を用いて画像を合成して記録用の画像を得るようになっている。これら閾値THAや画像データD1,D2との合成比率は、上述したRAM35にデータテーブルまたは計算式の形で記憶されている。
【0037】
A−B.第1実施形態の動作
次に、本第1実施形態の動作について説明する。ここで、図4は、本第1実施形態によるデジタルカメラの夜景撮影時の動作を説明するためのフローチャートである。また、図5は、夜景撮影時の画像、および画像合成例を示す模式図である。
【0038】
夜景撮影が選択されると、まず、高感度設定として、絞りを開放、ゲイン(ISO感度)を最大、シャッタスピードを手ぶれしない最大時間に設定する(ステップS10)。次に、シャッタボタンが押下されると、高感度露光(図2に示す露光期間ET1)し、主に遠景の夜景を撮影し(ステップS12)、画像データD1としてイメージバッファ26に転送して一時保存する(ステップS14)。該夜景の画像は、図5(a)に示すように、手ぶれせずに、背景である夜景がより良い状態で撮られている。但し、近景の被写体については露出不足となる。
【0039】
次に、フラッシュ露光設定として、ゲイン(ISO感度)を最小、フラッシュを最大発光、その他として上記二条件下で最も高画質な撮影ができるように設定する(ステップS16)。次に、フラッシュを発光して露光(図2に示す露光期間ET2)し、近景の被写体(人物など)を撮影し(ステップS18)、画像データD2としてイメージバッファ26に転送して一時保存する(ステップS20)。該近景の画像は、図5(b)に示すように、被写体である人物がより良い状態で撮られている。但し、遠景の夜景については、フラッシュ光が届かず、露出時間ET2も短いので露出不足となる。
【0040】
次に、ステップS22〜S32で各画素のデータ作成のループ処理を実行する。まず、所定の座標の、フラッシュ発光撮影時の画像データD2を読み込み(ステップS24)、画像データD2の輝度値が閾値THAを超えているか否かを判断する(ステップS26)。そして、フラッシュ発光撮影時の輝度値が閾値THAを超えている場合、すなわち、図2の領域Aである場合には、該フラッシュ発光撮影時の画像データD2(D1×0%+D2×100%)を合成データとして画像メモリ31に保存する(ステップS28)。
【0041】
一方、フラッシュ発光撮影時の輝度値が閾値THAを超えていない場合、すなわち、図2の領域Bである場合には、1回目の高感度撮影時の画像データD1(D1×100%+D2×0%)を合成データとして画像メモリ31に保存する(ステップS30)。以上の処理を全画素について行って記録用の画像データを得る。
【0042】
この結果、合成された画像は、図5(c)に示すように、より良い状態で撮影された夜景とより良い状態で撮影された近景の被写体とが合成され、手ぶれのない、露出、S/N比のバランスが良好な撮影画像となる。
【0043】
B.第2実施形態
次に、本発明の第2実施形態について説明する。なお、デジタルカメラの構成は、図1と同様であるので説明を省略する。また、デジタルカメラの夜景撮影時の動作についても、図2に示すタイミングチャートと同様である。本第2実施形態では、1回目の画像と2回目の画像とを合成する際の閾値の設定方法を変えており、図6に示すように、閾値THBを1:1のところに設けており、画素毎に、1回目の高感度撮影時に取り込んだ画像の輝度値と2回目のフラッシュ発光撮影時に取り込んだ画像の輝度値とを比較し、輝度値が大きい方の画素を用いて画像を合成して記録用の画像を得るようになっている。
【0044】
すなわち、2回目のフラッシュ発光撮影時に取り込んだ画像の画素の輝度値の方が大きい場合、言い換えると、領域Aにあれば、2回目のフラッシュ発光撮影時に取り込んだ画像の画素値である画像データD2(D1×0%+D2×100%)を用い、1回目の高感度撮影時に取り込んだ画像の画素の輝度値の方が大きい場合、言い換えると、領域Bにあれば、1回目の高感度撮影時に取り込んだ画像の画素値である画像データD1(D1×100%+D2×0%)を用いて画像を合成して記録用の画像を得るようになっている。これら閾値THBや画像データD1,D2との合成比率は、上述したRAM35にデータテーブルまたは計算式の形で記憶されている。
【0045】
B−2.第2実施形態の動作
次に、上述した第2実施形態の動作について説明する。ここで、図7は、本第2実施形態によるデジタルカメラの夜景撮影時の動作を説明するためのフローチャートである。夜景撮影が選択されると、まず、高感度設定として、絞りを開放、ゲイン(ISO感度)を最大、シャッタスピードを手ぶれしない最大時間に設定する(ステップS40)。次に、シャッタボタンが押下されると、高感度露光(図2に示す露光期間ET1)し、主に遠景の夜景を撮影し(ステップS42)、画像データD1としてイメージバッファ26に転送して一時保存する(ステップS44)。該夜景の画像は、図5(a)に示すように、手ぶれせずに、背景である夜景がより良い状態で撮られている。但し、近景の被写体については露出不足となる。
【0046】
次に、フラッシュ露光設定として、ゲイン(ISO感度)を最小、フラッシュを最大発光、その他として上記二条件下で最も高画質な撮影ができるように設定する(ステップS46)。次に、フラッシュを発光して露光(図2に示す露光期間ET2)し、近景の被写体(人物など)を撮影し(ステップS48)、画像データD2としてイメージバッファ26に転送して一時保存する(ステップS50)。該近景の画像は、図5(b)に示すように、被写体である人物がより良い状態で撮られている。但し、遠景の夜景については、フラッシュ光が届かず、露出時間ET2も短いので露出不足となる。
【0047】
次に、ステップS52〜S62で各画素のデータ作成のループ処理を実行する。まず、所定の座標の、高感度撮影時の画像データD1とフラッシュ発光撮影時の画像データD2とを読み込み(ステップS54)、画像データD1の輝度値が画像データD2の輝度値より大きいかか否かを判断する(ステップS56)。そして、高感度撮影時の輝度値の方が大きい場合、すなわち、図6の領域Bである場合には、1回目の高感度撮影時の画像データD1(D1×100%+D2×0%)を合成データとして画像メモリ31に保存する(ステップS58)。
【0048】
一方、フラッシュ発光撮影時の輝度値の方が大きい場合、すなわち、図6の領域Aである場合には、2回目のフラッシュ発光撮影時の画像データD2(D1×0%+D2×100%)を合成データとして画像メモリ31に保存する(ステップS60)。以上の処理を全画素について行って記録用の画像データを得る。
【0049】
この結果、合成された画像は、より良い状態で撮影された夜景とより良い状態で撮影された近景の被写体とが合成され、手ぶれのない、露出、S/N比のバランスが良好な撮影画像となる。
【0050】
C.第3実施形態
次に、本発明の第3実施形態について説明する。なお、デジタルカメラの構成は、図1と同様であるので説明を省略する。本第3実施形態では、1回目の画像と2回目の画像とを合成する際の閾値、および合成比率を変えており、図8に示すように、閾値THC1、THC2を設け、フラッシュ発光撮影時の輝度値と高感度撮影時の輝度値との関係で得られる領域を、4つの領域A〜Dに細分化している。なお、領域Bと領域Cとの境界は、大小比較で判定する。そして、画素毎に、1回目の高感度撮影時に取り込んだ画像の輝度値と2回目のフラッシュ発光撮影時に取り込んだ画像の輝度値とを比較し、輝度値がどの領域にあるかで、記録用の画像(の画素)として用いる画素合成比率を決めるようになっている。
【0051】
例えば、領域Aでは、合成画像の画素値を、高感度撮影時の画像データD1×0%+フラッシュ発光撮影時の画像データD2×100%とし、領域Bでは、高感度撮影時の画像データD1×25%+フラッシュ発光撮影時の画像データD2×75%とし、領域Cでは、高感度撮影時の画像データD1×75%+フラッシュ発光撮影時の画像データD2×25%とし、領域Dでは、D1×100%+D2×0%とする。これら閾値THC1、THC2や画像データD1,D2との合成比率は、上述したRAM35にデータテーブルまたは計算式の形で記憶されている。
【0052】
次に、本第3実施形態の動作について説明する。ここで、図9および図10は、本第3実施形態によるデジタルカメラの夜景撮影時の動作を説明するためのフローチャートである。夜景撮影が選択されると、まず、高感度設定として、絞りを開放、ゲイン(ISO感度)を最大、シャッタスピードを手ぶれしない最大時間に設定する(ステップS70)。次に、シャッタボタンが押下されると、高感度露光(図2に示す露光期間ET1)し、主に遠景の夜景を撮影し(ステップS72)、画像データD1としてイメージバッファ26に転送して一時保存する(ステップS74)。該夜景の画像は、図5(a)に示すように、手ぶれせずに、背景である夜景がより良い状態で撮られている。但し、近景の被写体については露出不足となる。
【0053】
次に、フラッシュ露光設定として、ゲイン(ISO感度)を最小、フラッシュを最大発光、その他として上記二条件下で最も高画質な撮影ができるように設定する(ステップS76)。次に、フラッシュを発光して露光(図2に示す露光期間ET2)し、近景の被写体(人物など)を撮影し(ステップS78)、画像データD2としてイメージバッファ26に転送して一時保存する(ステップS80)。該近景の画像は、図5(b)に示すように、被写体である人物がより良い状態で撮られている。但し、遠景の夜景については、フラッシュ光が届かず、露出時間ET2も短いので露出不足となる。
【0054】
次に、ステップS82〜S104で各画素のデータ作成のループ処理を実行する。まず、所定の座標の、高感度撮影時の画像データD1とフラッシュ発光撮影時の画像データD2とを読み込み(ステップS84)、画像データD1の輝度値が画像データD2の輝度値より大きいかか否かを判断する(ステップS86)。そして、高感度撮影時の画像データD1の輝度値の方が大きい場合、すなわち、図8の領域Cまたは領域Dである場合には、画像データD1の輝度値と画像データD2の輝度値との差が、図8に示す閾値THC2より大きいか否かを判断する(ステップS88)。そして、画像データD1の輝度値と画像データD2の輝度値との差が閾値THC2より大きい場合には、領域Dにあると判断し、1回目の高感度撮影時の画像データD1(D1×100%+D2×0%)を合成データとして画像メモリ31に保存する(ステップS90)。
【0055】
一方、画像データD1の輝度値と画像データD2の輝度値との差が閾値THC2以下の場合には、領域Cにあると判断し、合成画像データDbとして、画像データD1×3/4+画像データD2×1/4を算出し(ステップS92)、該合成画像データDbを画像メモリ31に保存する(ステップS94)。
【0056】
一方、ステップS86において、フラッシュ発光撮影時の画像データD2の輝度値の方が大きい場合には、すなわち、図8の領域Aまたは領域Bである場合には、画像データD1の輝度値と画像データD2の輝度値との差が、図8に示す閾値THC1より大きいか否かを判断する(ステップS96)。そして、画像データD1の輝度値と画像データD2の輝度値との差が閾値THC1より小さい場合には、領域Bにあると判断し、合成画像データDcとして、画像データD1×1/4+画像データD2×3/4を算出し(ステップS98)、該合成画像データDcを画像メモリ31に保存する(ステップS100)。
【0057】
一方、画像データD1の輝度値と画像データD2の輝度値との差が閾値THC1以上の場合には、領域Aにあると判断し、2回目のフラッシュ発光撮影時の画像データD2(D1×0%+D2×100%)を合成データとして画像メモリ31に保存する(ステップS102)。
【0058】
この結果、合成された画像は、より良い状態で撮影された夜景とより良い状態で撮影された近景の被写体とが合成され、手ぶれのない、露出、S/N比のバランスが良好な撮影画像となる。
【0059】
D.第4実施形態
次に、本発明の第4実施形態について説明する。なお、デジタルカメラの構成は、図1と同様であるので説明を省略する。本第4実施形態では、1回目の画像と2回目の画像とを合成する際の閾値、および合成比率を変えており、図11に示すように、閾値THD1〜THD4を設け、フラッシュ発光撮影時の輝度値と高感度撮影時の輝度値との関係で得られる領域を、9つの領域A〜Iに細分化している。そして、画素毎に、1回目の高感度撮影時に取り込んだ画像の輝度値と2回目のフラッシュ発光撮影時に取り込んだ画像の輝度値とを比較し、輝度値がどの領域にあるかで、記録用の画像(の画素)として用いる画素合成比率を決めるようになっている。
【0060】
例えば、領域A、Iでは、合成画像の画素値を、高感度撮影時の画像データD1×50%+フラッシュ発光撮影時の画像データD2×50%とし、領域B、C、E、G、Hでは、高感度撮影時の画像データD1×0%+フラッシュ発光撮影時の画像データD2×100%とし、領域D、Fでは、高感度撮影時の画像データD1×100%+フラッシュ発光撮影時の画像データD2×0%とする。これら閾値THD1〜THD4や画像データD1,D2との合成比率は、上述したRAM35にデータテーブルまたは計算式の形で記憶されている。なお、領域の判別、画像の合成については基本的に上述した第3実施形態などと同じであるので説明を省略する。
【0061】
E.変形例
次に、本発明の変形例について説明する。上述した第1ないし第4実施形態では、画素合成比率を決定するための領域毎に明らかに異なる合成比率を設定していた。すなわち、隣り合う領域においては、境界近傍に存在する場合であっても、合成比率が異なっていた。これに対して、本変形例では、図12に示すように、例えば、領域Aと領域Bとの境界部分をより細かい領域C1〜C6に分割し、段階的に合成比率を変化させるようにする。これにより、より精細な合成画像を得ることが可能となる。
【0062】
また、他の変形例としては、上述したように、領域Aと領域Bとの境界部分をより細かく分割するのではなく、実際にアナログ回路により合成比率を徐々に変化させるようにしてもよい。また、各位置の画素値を同じ位置の画素同士の合成により決定したが、周辺領域の画素を用いるようにしてもよい。また、3つ以上の撮影画像を用いてもよい。
【0063】
また、上述した実施形態では、手前の被写体部分と背景の被写体部分との識別と画素合成とを同時に行うことで、手前の被写体部分と背景の被写体部分とを正確に識別するための識別処理を不要としているが、被写体までの距離を示す測距情報などが利用できるのであれば、該測距情報を用いて識別するようにしてもよい。
【0064】
また、上述した実施形態では、異なる画素合成方法を異なる実施形態として説明したが、複数の画素合成方法の中からモード選択により1つの画素合成方法を予め設定しておき、撮影指示が行われた際に設定モードを判別し、選択された画素合成方法に従って画素合成を実行するようにしてもよい。この場合、画素合成モードの設定は、ユーザが任意に指定してもよいし、外部の明るさをセンサで感知して自動設定するようにしてもよいし、撮像センサにより得られる画像情報に基づいて自動設定するようにしてもよい。
【0065】
なお、上述した実施形態においては、デジタルカメラについてのみ説明したが、これ限らず、携帯電話などの撮像装置を備える電子機器に適用するようにしてもよい。また、上述した実施形態による画像合成処理等については、制御部20によるソフトウェア制御で実現されるものであるが、処理速度、汎用性、装置サイズ、コストなどを考慮して、その全てまたは一部を回路により実現するようにしてもよい。
【図面の簡単な説明】
【0066】
【図1】本発明の第1実施形態によるデジタルカメラの構成を示すブロック図である。
【図2】本第1実施形態によるデジタルカメラの夜景撮影時の動作を示すタイミングチャートである。
【図3】本第1実施形態のデジタルカメラによる高感度撮影時の画像とフラッシュ発光撮影時の画像とを合成する際の閾値を示す概念図である。
【図4】本第1実施形態によるデジタルカメラの夜景撮影時の動作を説明するためのフローチャートである。
【図5】本第1実施形態によるデジタルカメラの夜景撮影時の画像、および画像合成例を示す模式図である。
【図6】本発明の第2実施形態のデジタルカメラによる高感度撮影時の画像とフラッシュ発光撮影時の画像とを合成する際の閾値を示す概念図である。
【図7】本第2実施形態によるデジタルカメラの夜景撮影時の動作を説明するためのフローチャートである。
【図8】本発明の第3実施形態のデジタルカメラによる高感度撮影時の画像とフラッシュ発光撮影時の画像とを合成する際の閾値を示す概念図である。
【図9】本第3実施形態によるデジタルカメラの夜景撮影時の動作を説明するためのフローチャートである。
【図10】本第3実施形態によるデジタルカメラの夜景撮影時の動作を説明するためのフローチャートである。
【図11】本発明の第4実施形態のデジタルカメラによる高感度撮影時の画像とフラッシュ発光撮影時の画像とを合成する際の閾値を示す概念図である。
【図12】本発明の変形例のデジタルカメラによる高感度撮影時の画像とフラッシュ発光撮影時の画像とを合成する際の閾値を示す概念図である。
【図13】従来技術による夜景撮影時のデジタルカメラの動作を示すタイミングチャートである。
【符号の説明】
【0067】
1 デジタルカメラ
10 画像取得部
11 レンズ
12 シャッタ
13 LPF
14 ドライバ
15 アナログ信号処理部
16 撮像センサ(撮像手段)
17 サンプリング/信号増幅処理部
18 A/Dコンバータ
19 フラッシュ(発光手段)
20 制御部(撮影感度設定手段、撮影制御手段)
22 プレビューエンジン
23 D/Aコンバータ
24 ドライバ
25 表示部
26 イメージバッファ
27 キー操作部
28 デジタル信号処理部(合成手段)
29 画像圧縮/伸張処理部
30 プログラムメモリ
31 画像メモリ
32 カードI/F
33 外部記録媒体
34 外部接続用I/F
35 RAM
【特許請求の範囲】
【請求項1】
被写体像を撮像する撮像手段と、
発光手段と、
前記発光手段を発光させずに前記撮像手段により撮影する際には撮像感度を高くし、前記発光手段を発光させて前記撮像手段により撮影する際には撮像感度を低くする撮影感度設定手段と、
前記発光手段を発光させずに前記撮像手段により撮影した第1の画像データと、前記発光手段を発光させて前記撮像手段により撮影した第2の画像データとの合成比率を、各画素毎に決定する合成比率決定手段と、
前記合成比率決定手段により決定された各画素毎に異なる合成比率で前記第1の画像データと前記第2の画像データとを合成し、記録用の画像データを生成する合成手段と
を具備することを特徴とする撮像装置。
【請求項2】
一度の撮影指示に応じて、前記発光手段を発光させない前記撮像手段による撮影と、前記発光手段を発光させる前記撮像手段による撮影とを続けて行うように、前記撮像手段、前記発光手段および前記感度制御手段を制御する撮影制御手段を具備することを特徴とする請求項1記載の撮像装置。
【請求項3】
前記合成比率決定手段は、前記第1の画像データの画素値と前記第2の画像データの画素値との組み合わせにより分類される複数の領域毎に、前記第1の画像データと前記第2の画像データとの合成比率を決定することを特徴とする請求項1または2記載の撮像装置。
【請求項4】
前記合成比率決定手段は、前記第2の画像データの画素値が所定の閾値より大きい場合には、前記第2の画像データの画素値を用い、前記第2の画像データの画素値が所定の閾値以下である場合には、前記第1の画像データの画素値を用いるように前記合成比率を決定することを特徴とする請求項3記載の撮像装置。
【請求項5】
前記合成比率決定手段は、前記第1の画像データの画素値と前記第2の画像データの画素値とを大小比較して、大きい方の画像データの画素値を用いるように前記合成比率を決定することを特徴とする請求項3記載の撮像装置。
【請求項6】
前記合成比率決定手段は、前記第1の画像データの画素値と前記第2の画像データの画素値との差分に基づいて、前記複数の領域のうち、どの領域に属するかを判別し、属する領域に基づいて前記合成比率を決定することを特徴とする請求項3記載の撮像装置。
【請求項7】
一度の撮影指示に応じて、高い撮像感度でフラッシュを発光させない撮影と低い撮像感度でフラッシュを発光させた撮影とを続けて行うステップと、
フラッシュを発光させずに撮影した第1の画像データと、フラッシュを発光させて撮影した第2の画像データとの合成比率を、各画素毎に決定するステップと、
前記決定された各画素毎に異なる合成比率で前記第1の画像データと前記第2の画像データとを合成し、記録用の画像データを生成するステップと
を含むことを特徴とする撮像方法。
【請求項8】
コンピュータに、
一度の撮影指示に応じて、高い撮像感度でフラッシュを発光させない撮影と低い撮像感度でフラッシュを発光させた撮影とを続けて行う撮影機能と、
フラッシュを発光させずに撮影した第1の画像データと、フラッシュを発光させて撮影した第2の画像データとの合成比率を、各画素毎に決定する合成比率決定機能と、
前記決定された各画素毎に異なる合成比率で前記第1の画像データと前記第2の画像データとを合成し、記録用の画像データを生成する合成機能と
を実現させることを特徴とする撮像プログラム。
【請求項1】
被写体像を撮像する撮像手段と、
発光手段と、
前記発光手段を発光させずに前記撮像手段により撮影する際には撮像感度を高くし、前記発光手段を発光させて前記撮像手段により撮影する際には撮像感度を低くする撮影感度設定手段と、
前記発光手段を発光させずに前記撮像手段により撮影した第1の画像データと、前記発光手段を発光させて前記撮像手段により撮影した第2の画像データとの合成比率を、各画素毎に決定する合成比率決定手段と、
前記合成比率決定手段により決定された各画素毎に異なる合成比率で前記第1の画像データと前記第2の画像データとを合成し、記録用の画像データを生成する合成手段と
を具備することを特徴とする撮像装置。
【請求項2】
一度の撮影指示に応じて、前記発光手段を発光させない前記撮像手段による撮影と、前記発光手段を発光させる前記撮像手段による撮影とを続けて行うように、前記撮像手段、前記発光手段および前記感度制御手段を制御する撮影制御手段を具備することを特徴とする請求項1記載の撮像装置。
【請求項3】
前記合成比率決定手段は、前記第1の画像データの画素値と前記第2の画像データの画素値との組み合わせにより分類される複数の領域毎に、前記第1の画像データと前記第2の画像データとの合成比率を決定することを特徴とする請求項1または2記載の撮像装置。
【請求項4】
前記合成比率決定手段は、前記第2の画像データの画素値が所定の閾値より大きい場合には、前記第2の画像データの画素値を用い、前記第2の画像データの画素値が所定の閾値以下である場合には、前記第1の画像データの画素値を用いるように前記合成比率を決定することを特徴とする請求項3記載の撮像装置。
【請求項5】
前記合成比率決定手段は、前記第1の画像データの画素値と前記第2の画像データの画素値とを大小比較して、大きい方の画像データの画素値を用いるように前記合成比率を決定することを特徴とする請求項3記載の撮像装置。
【請求項6】
前記合成比率決定手段は、前記第1の画像データの画素値と前記第2の画像データの画素値との差分に基づいて、前記複数の領域のうち、どの領域に属するかを判別し、属する領域に基づいて前記合成比率を決定することを特徴とする請求項3記載の撮像装置。
【請求項7】
一度の撮影指示に応じて、高い撮像感度でフラッシュを発光させない撮影と低い撮像感度でフラッシュを発光させた撮影とを続けて行うステップと、
フラッシュを発光させずに撮影した第1の画像データと、フラッシュを発光させて撮影した第2の画像データとの合成比率を、各画素毎に決定するステップと、
前記決定された各画素毎に異なる合成比率で前記第1の画像データと前記第2の画像データとを合成し、記録用の画像データを生成するステップと
を含むことを特徴とする撮像方法。
【請求項8】
コンピュータに、
一度の撮影指示に応じて、高い撮像感度でフラッシュを発光させない撮影と低い撮像感度でフラッシュを発光させた撮影とを続けて行う撮影機能と、
フラッシュを発光させずに撮影した第1の画像データと、フラッシュを発光させて撮影した第2の画像データとの合成比率を、各画素毎に決定する合成比率決定機能と、
前記決定された各画素毎に異なる合成比率で前記第1の画像データと前記第2の画像データとを合成し、記録用の画像データを生成する合成機能と
を実現させることを特徴とする撮像プログラム。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【公開番号】特開2007−124292(P2007−124292A)
【公開日】平成19年5月17日(2007.5.17)
【国際特許分類】
【出願番号】特願2005−314032(P2005−314032)
【出願日】平成17年10月28日(2005.10.28)
【出願人】(000001443)カシオ計算機株式会社 (8,748)
【Fターム(参考)】
【公開日】平成19年5月17日(2007.5.17)
【国際特許分類】
【出願日】平成17年10月28日(2005.10.28)
【出願人】(000001443)カシオ計算機株式会社 (8,748)
【Fターム(参考)】
[ Back to top ]