撮像装置、撮像方法、およびプログラム
【課題】ユーザが所望する露光量の画像を容易に取得する。
【解決手段】撮像部４１は、入射する光を光電変換することにより、画像を撮像し、ユーザによって操作されるレリーズ・スイッチ３１が操作されている間に、加算画像生成部５８は、撮像部４１が適正露光未満の露光時間で撮像した画像を加算し、加算画像を生成する。また、レリーズ・スイッチ３１の操作が停止されたとき、入出力制御部６２は、加算画像を記憶部６３またはメモリカード６５に記録する。本発明は、例えば、デジタルカメラなどに適用することができる。
【解決手段】撮像部４１は、入射する光を光電変換することにより、画像を撮像し、ユーザによって操作されるレリーズ・スイッチ３１が操作されている間に、加算画像生成部５８は、撮像部４１が適正露光未満の露光時間で撮像した画像を加算し、加算画像を生成する。また、レリーズ・スイッチ３１の操作が停止されたとき、入出力制御部６２は、加算画像を記憶部６３またはメモリカード６５に記録する。本発明は、例えば、デジタルカメラなどに適用することができる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置、撮像方法、およびプログラムに関し、特に、例えば、ユーザが所望する露光量の画像を容易に取得することができるようにした撮像装置、撮像方法、およびプログラムに関する。
【背景技術】
【０００２】
例えば、デジタルカメラ（デジタルスチルカメラ）による画像の撮影の方法として、バルブ撮影（撮像）という撮像の方法がある。バルブ撮影とは、ユーザが、レリーズ・ボタン（スイッチ）を押圧し続けている間、露光状態を継続し、レリーズ・ボタンの押圧が停止されるときに露光を終了する、長時間の露光による撮影で行われる方法である。
【０００３】
バルブ撮影では、露光時間に応じた露光量の画像を得ることができるが、どの程度の露光量の画像を得ることができるかを確認する方法として、レリーズ・ボタンがオンされた直後に、適正露光未満の露光時間で撮影された１枚の画像（プレ撮影画像）の輝度ゲインを、所定の時間としての書換インターバルが経過するごとに１段階上げて表示する方法がある（例えば、特許文献１参照）。
【特許文献１】特開２００４−２３５９７３号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、プレ撮影画像の輝度ゲインを上げた画像は、例えば、プレ撮影画像のS/N(Signal/Noise)などに起因して、実際のバルブ撮影で撮影される画像との誤差が無視できない程度の画像となることがあり、この場合、プレ撮影画像の輝度ゲインを上げた画像と実際のバルブ撮影で撮影される画像とが異なるものとなって、所望の露光量の画像を得ることができないことがあった。
【０００５】
本発明は、このような状況に鑑みてなされたものであり、ユーザが所望する露光量の画像を容易に取得することができるようにするものである。
【課題を解決するための手段】
【０００６】
本発明の第１の側面の撮像装置は、画像を撮像する撮像装置であり、入射する光を光電変換することにより、画像を撮像する撮像手段と、ユーザによって操作される操作手段と、前記操作手段が操作されている間に、前記撮像手段が適正露光未満の露光時間で撮像した画像を加算し、加算画像を生成する加算画像生成手段と、前記操作手段の操作が停止されたとき、前記加算画像を記録媒体に記録する記録制御手段とを備える。
【０００７】
第１の側面の撮像装置には、画像を表示する表示手段と、前記撮像手段が撮像した画像が加算された新たな前記加算画像が生成されるたびに、新たな前記加算画像を、前記表示手段に表示させる表示制御手段とをさらに備えることができる。
【０００８】
第１の側面の撮像装置には、前記加算画像の画素値を、所定の値で除算する除算手段をさらに備えることができる。
【０００９】
第１の側面の撮像装置には、前記操作手段が操作されている間に、前記撮像手段が撮像した複数の画像それぞれに映っている被写体の位置を合わせるように、前記撮像手段が撮像した画像を補正する補正手段をさらに備えることができ、前記加算画像生成手段では、前記補正手段による補正がされた画像を加算させることができる。
【００１０】
本発明の第１の側面の撮像方法、またはプログラムは、入射する光を光電変換することにより、画像を撮像する撮像手段を備える撮像装置の撮像方法、または入射する光を光電変換することにより、画像を撮像する撮像手段を備える撮像装置の撮像処理をコンピュータに実行させるプログラムであり、ユーザによって操作される操作手段が操作されている間に、前記撮像手段が適正露光未満の露光時間で撮像した画像を加算することにより加算画像を生成し、前記操作手段の操作が停止されたとき、前記加算画像を記録媒体に記録するステップを含む。
【００１１】
本発明の第１の側面においては、ユーザによって操作される操作手段が操作されている間に、前記撮像手段により、適正露光未満の露光時間で撮像された画像が加算されることにより加算画像が生成され、前記操作手段の操作が停止されたとき、前記加算画像が記録媒体に記録される。
【００１２】
本発明の第２の側面の撮像装置は、画像を撮像する撮像装置であり、入射する光を光電変換することにより、画像を撮像する撮像手段と、前記撮像手段が適正露光未満の露光時間で撮像した画像を加算し、加算画像を生成する加算画像生成手段と、画像を表示する表示手段と、前記撮像手段が撮像した画像が加算された新たな前記加算画像が生成されるたびに、新たな前記加算画像を、前記表示手段に表示させる表示制御手段とを備える。
【００１３】
第２の側面の撮像装置には、前記加算画像を記録媒体に記録する記録制御手段をさらに備えることができる。
【００１４】
第２の側面の撮像装置には、前記加算画像の画素値を、所定の値で除算する除算手段をさらに備えることができる。
【００１５】
第２の側面の撮像装置には、前記撮像手段が撮像した複数の画像それぞれに映っている被写体の位置を合わせるように、前記撮像手段が撮像した画像を補正する補正手段をさらに備えることができ、前記加算画像生成手段では、前記補正手段による補正がされた画像を加算させることができる。
【００１６】
本発明の第２の側面の撮像方法、またはプログラムは、入射する光を光電変換することにより、画像を撮像する撮像手段を備える撮像装置の撮像方法、または入射する光を光電変換することにより、画像を撮像する撮像手段を備える撮像装置の撮像処理をコンピュータに実行させるプログラムであり、前記撮像手段が適正露光未満の露光時間で撮像した画像を加算することにより加算画像を生成し、前記撮像手段が撮像した画像が加算された新たな前記加算画像が生成されるたびに、新たな前記加算画像を、画像を表示する表示手段に表示させるステップを含む。
【００１７】
本発明の第２の側面においては、前記撮像手段により、適正露光未満の露光時間で撮像された画像が加算されることにより加算画像が生成され、前記撮像手段により撮像された画像が加算された新たな前記加算画像が生成されるたびに、新たな前記加算画像が、画像を表示させる表示手段に表示される。
【発明の効果】
【００１８】
本発明によれば、例えば、ユーザが所望する露光量の画像を容易に取得することができる。
【発明を実施するための最良の形態】
【００１９】
以下に本発明の実施の形態を説明するが、本発明の構成要件と、明細書又は図面に記載の実施の形態との対応関係を例示すると、次のようになる。この記載は、本発明をサポートする実施の形態が、明細書又は図面に記載されていることを確認するためのものである。従って、明細書又は図面中には記載されているが、本発明の構成要件に対応する実施の形態として、ここには記載されていない実施の形態があったとしても、そのことは、その実施の形態が、その構成要件に対応するものではないことを意味するものではない。逆に、実施の形態が構成要件に対応するものとしてここに記載されていたとしても、そのことは、その実施の形態が、その構成要件以外の構成要件には対応しないものであることを意味するものでもない。
【００２０】
本発明の第１の側面の撮像装置は、画像を撮像する撮像装置（例えば、図１のデジタルカメラ１１）において、入射する光を光電変換することにより、画像を撮像する撮像手段（例えば、図１の撮像部４１）と、ユーザによって操作される操作手段（例えば、図１の操作部２１）と、前記操作手段が操作されている間に、前記撮像手段が適正露光未満の露光時間で撮像した画像を加算し、加算画像を生成する加算画像生成手段（例えば、図１の加算画像生成部５８）と、前記操作手段の操作が停止されたとき、前記加算画像を記録媒体（例えば、図１の記憶部６３またはメモリカード６５）に記録する記録制御手段（例えば、図１の入出力制御部６２）とを備える。
【００２１】
第１の側面の撮像装置は、画像を表示する表示手段（例えば、図１の表示部６１）と、前記撮像手段が撮像した画像が加算された新たな前記加算画像が生成されるたびに、新たな前記加算画像を、前記表示手段に表示させる表示制御手段（例えば、図１の表示制御部６０）とをさらに備えることができる。
【００２２】
第１の側面の撮像装置は、前記加算画像の画素値を、所定の値で除算する除算手段（例えば、図１の入出力制御部６２）をさらに備えることができる。
【００２３】
第１の側面の撮像装置は、前記操作手段が操作されている間に、前記撮像手段が撮像した複数の画像それぞれに映っている被写体の位置を合わせるように、前記撮像手段が撮像した画像を補正する補正手段（例えば、図１の補正部５７）をさらに備え、前記加算画像生成手段は、前記補正手段による補正がされた画像を加算することができる。
【００２４】
第１の側面の撮像方法、またはプログラムは、入射する光を光電変換することにより、画像を撮像する撮像手段を備える撮像装置の撮像方法、または入射する光を光電変換することにより、画像を撮像する撮像手段を備える撮像装置の撮像処理をコンピュータに実行させるプログラムにおいて、ユーザによって操作される操作手段が操作されている間に、前記撮像手段が適正露光未満の露光時間で撮像した画像を加算することにより加算画像を生成し（例えば、図７のステップＳ３７）、前記操作手段の操作が停止されたとき、前記加算画像を記録媒体に記録する（例えば、図７のステップＳ４０）ステップを含む。
【００２５】
本発明の第２の側面の撮像装置は、画像を撮像する撮像装置（例えば、図１のデジタルカメラ１１）において、入射する光を光電変換することにより、画像を撮像する撮像手段（例えば、図１の撮像部４１）と、前記撮像手段が適正露光未満の露光時間で撮像した画像を加算し、加算画像を生成する加算画像生成手段（例えば、図１の加算画像生成部５８）と、画像を表示する表示手段（例えば、図１の表示部６１）と、前記撮像手段が撮像した画像が加算された新たな前記加算画像が生成されるたびに、新たな前記加算画像を、前記表示手段に表示させる表示制御手段（例えば、図１の表示制御部６０）とを備える。
【００２６】
第２の側面の撮像装置は、前記加算画像を記録媒体に記録する記録制御手段（例えば、図１の入出力制御部６２）をさらに備えることができる。
【００２７】
第２の側面の撮像装置は、前記加算画像の画素値を、所定の値で除算する除算手段（例えば、図１の入出力制御部６２）をさらに備えることができる。
【００２８】
第２の側面の撮像装置は、前記撮像手段が撮像した複数の画像それぞれに映っている被写体の位置を合わせるように、前記撮像手段が撮像した画像を補正する補正手段（例えば、図１の補正部５７）をさらに備え、前記加算画像生成手段は、前記補正手段による補正がされた画像を加算することができる。
【００２９】
第２の側面の撮像方法、またはプログラムは、入射する光を光電変換することにより、画像を撮像する撮像手段を備える撮像装置の撮像方法、または入射する光を光電変換することにより、画像を撮像する撮像手段を備える撮像装置の撮像処理をコンピュータに実行させるプログラムにおいて、前記撮像手段が適正露光未満の露光時間で撮像した画像を加算することにより加算画像を生成し（例えば、図７のステップＳ３７）、前記撮像手段が撮像した画像が加算された新たな前記加算画像が生成されるたびに、新たな前記加算画像を、画像を表示する表示手段に表示させる（例えば、図７のステップＳ３８）ステップを含む。
【００３０】
以下、図を参照して、本発明の実施の形態について説明する。
【００３１】
図１は、本発明を適用したデジタルカメラ（デジタルスチルカメラ）１１の一実施の形態の構成例を示すブロック図である。
【００３２】
図１のデジタルカメラ１１は、操作部２１、撮像部４１、SDRAM(Synchronous Dynamic Random Access Memory)５４、動きベクトル検出部５５、SAD(Sum of Absolute Differences)テーブル５６、補正部５７、加算画像生成部５８、SDRAM５９、表示制御部６０、表示部６１、入出力制御部６２、記憶部６３、ドライブ６４、およびメモリカード６５により構成される。
【００３３】
操作部２１は、例えば、レリーズ・スイッチ３１および後述する表示部６１に重畳されたタッチパネルなどにより構成され、ユーザによって操作される。操作部２１は、ユーザの操作に応じた操作信号を、デジタルカメラ１１の必要なブロックに供給する。
【００３４】
撮像部４１は、そこに入射する光を受光して光電変換することにより被写体を撮像し、その結果得られる撮影画像をSDRAM５４に供給して、（一時的に）記憶させる。
【００３５】
ここで、撮像部４１は、撮像レンズ５１、撮像素子５２、およびカメラ信号処理部５３により構成されており、撮像レンズ５１は、撮像素子５２の受光面に被写体の像を結像させる。撮像素子５２は、例えば、CCD(Charge Coupled Devices)やCMOS(Complementary Metal Oxide Semiconductor)センサなどで構成され、その受光面に結像された被写体の像（光）を、光電変換することでアナログの画像信号として、カメラ信号処理部５３に供給する。
【００３６】
カメラ信号処理部５３は、撮像素子５２から供給されたアナログの画像信号に対して、例えばガンマ補正処理や白バランス処理などを行う。その後、カメラ信号処理部５３は、そのアナログの画像信号をA/D(Analog/Digital)変換し、その結果得られるデジタルの画像信号（撮像画像）をSDRAM５４に供給して、記憶させる。
【００３７】
SDRAM５４は、カメラ信号処理部５３（撮像部４１）から供給された撮像画像を記憶する。
【００３８】
ここで、デジタルカメラ１１の撮影モードとしては、例えば、撮像部４１において、レリーズ・スイッチ３１の１回の押圧操作に応じて、１枚の撮像画像を適正露光となる露光時間で撮像する通常撮影モードと、レリーズ・スイッチ３１の押圧操作に応じて、複数枚の撮像画像を加算することにより、所定の露光時間で撮像された画像を得るバルブ撮影モードとがある。以下では、撮影モードが、バルブ撮影モードになっている場合について説明する。なお、上述したバルブ撮影モードとは、例えば、ユーザが、レリーズ・スイッチ３１を押圧し続けている間、露光状態を継続し、レリーズ・スイッチ３１の押圧が停止されるときに露光を中止するバルブ撮影と同様、実質的に、長時間の露光の撮像を行うことができる。
【００３９】
また、撮影モードが、通常撮影モードの場合は、以下に説明する動きベクトル検出部５５乃至加算画像生成部５８が機能しないだけである。
【００４０】
動きベクトル検出部５５は、撮像部４１で撮像された撮像画像を、撮像された順番で、SDRAM５４から読み出す。動きベクトル検出部５５は、SDRAM５４から読み出した１枚目の撮像画像（レリーズ・スイッチ３１が押圧されてから、撮像部４１により最初に撮像された撮像画像）を、補正部５７および加算画像生成部５８を介してSDRAM５９に供給し、後述する加算画像として記憶させるとともに、SADテーブル５６に供給して、後述する基準画像として記憶させる。
【００４１】
ここで、加算画像とは、撮像部４１により撮像された撮像画像が、後述する加算画像生成部５８により加算されることで生成される画像をいう。また、基準画像とは、後述する補正部５７が、２枚目以降の撮像画像（レリーズ・スイッチ３１が押圧されてから、撮像部４１により２番目以降に撮像された撮像画像）の位置を補正するにあたって基準となる画像をいう。
【００４２】
さらに、ｎ枚目の撮像画像とは、バルブ撮影モードで撮像された複数枚の撮像画像のうちの、ｎ番目に撮像された撮像画像をいう。即ち、バルブ撮影モードにおけるデジタルカメラ１１では、レリーズ・スイッチ３１の押圧操作が開始されてから、その押圧操作が停止（解除）されるまでの間に撮像されたＮ枚の撮像画像が、加算の対象とされるようになっている。ｎ枚目の撮像画像とは、レリーズ・スイッチ３１の押圧操作がされている間に撮像されたＮ枚の撮像画像のうちの、ｎ（ｎ＝１，２，・・・，Ｎ―１，Ｎ）番目に撮像された撮像画像である。
【００４３】
動きベクトル検出部５５は、SDRAM５４から読み出した２枚目以降の撮像画像については、SADテーブル５６に記憶された基準画像に対する撮像画像の動きを表す動きベクトルを検出し、その撮像画像とともに補正部５７に供給する。
【００４４】
SADテーブル５６は、動きベクトル検出部５５から供給される１枚目の撮像画像を、基準画像として記憶する。
【００４５】
補正部５７は、動きベクトル検出部５５から供給された撮像画像の動きベクトルに基づいて、同じく、動きベクトル検出部５５から供給されたその撮像画像を補正し、補正後の撮像画像を加算画像生成部５８に供給する。
【００４６】
加算画像生成部５８は、SDRAM５９から読み出した加算画像と、補正部５７から供給された補正後の撮像画像とを加算し、これにより得られた画像を、新たな加算画像として、SDRAM５９に供給し、上書きする形で記憶させる。
【００４７】
SDRAM５９は、加算画像生成部５８から供給された加算画像を記憶する。
【００４８】
表示制御部６０は、加算画像生成部５８において、新たな加算画像（１枚目の撮像画像を含む）が生成され、SDRAM５９に記憶されるたびに、SDRAM５９からその新たな加算画像を読み出し、表示部６１に供給して表示させる。
【００４９】
表示部６１は、表示制御部６０の制御に従い、表示制御部６０から供給された加算画像などを表示する。表示部６１としては、例えば、LCD(Liquid Crystal Display)などを採用することができる。
【００５０】
入出力制御部６２には、SDRAM５９、記憶部６３、およびドライブ６４が接続されている。入出力制御部６２は、SDRAM５９、記憶部６３、またはドライブ６４それぞれとの間での画像のやりとりを制御する。
【００５１】
記憶部６３は、入出力制御部６２から供給された画像を記憶する。
【００５２】
ドライブ６４は、入出力制御部６２から供給された画像を、メモリカード６５に供給し、記憶させる。また、ドライブ６４は、メモリカード６５から画像を読み出し、入出力制御部６２に供給する。
【００５３】
メモリカード６５は、デジタルカメラ１１のドライブ６４に脱着可能でリムーバブルなメモリカードであり、入出力制御部６２から供給された画像を記憶する。
【００５４】
次に、図２および図３を参照して図１の動きベクトル検出部５５の処理について説明する。
【００５５】
図２は、動きベクトル検出部５５が、バルブ撮影モードにおいて、２枚目以降の撮像画像の動きを表す動きベクトルを検出する様子を示す図である。
【００５６】
図２上側は、被写体１６１が投影された基準画像１５１、および被写体１６１と同一の被写体１６２が投影された（２枚目以降の）撮像画像１５２を示す図である。図２下側は、縦×横がｍ×ｎ個のブロックに分割された基準画像１５１を示す図である。また、図２下側のｍ×ｎ個のブロック内の矢印は、それぞれのブロックに基づいて検出された動きベクトルを表している。
【００５７】
なお、上述したように、基準画像１５１とは、１枚目の撮像画像を表しており、撮像画像１５２とは、２枚目以降の撮像画像を表している。また、基準画像１５１に対する被写体１６１の位置と、撮像画像１５２に対する被写体１６２の位置が異なるのは、例えば、手振れが生じたことによる。
【００５８】
動きベクトル検出部５５は、基準画像１５１と撮像画像１５２とを用いて、基準画像１５１に対する撮像画像１５２の動きを表す動きベクトルを検出する。
【００５９】
即ち、動きベクトル検出部５５は、図２下側に示されるように、基準画像１５１を縦×横がｍ×ｎ個のブロックに分割し、それぞれのブロックに一番類似している撮像画像１５２上の領域を求めることで動きベクトルを検出するブロックマッチングを行う。
【００６０】
図３は、このようなブロックマッチングにより動きベクトルを検出する方法を説明する図である。
【００６１】
図３では、基準画像１５１と撮像画像１５２とが重ね合わされている。また、図３では、基準画像１５１（撮像画像１５２）の左下の点を原点Ｏとし、右方向をｘ方向、上方向をｙ方向とするｘｙ座標系を定義してある。
【００６２】
動きベクトル検出部５５は、図３に示されるように、基準画像１５１上の分割されたブロック１５１ａ乃至１５１ｃをテンプレートとして、それぞれのブロック１５１ａ乃至１５１ｃに一番類似している撮像画像１５２上の領域１５２ａ乃至１５２ｃを求める。さらに、動きベクトル検出部５５は、例えば、基準画像１５１上のブロック１５１ａ乃至１５１ｃの中心（重心）の位置（Ｃx，Ｃy）を始点とし、領域１５２ａ乃至１５２ｃの中心の位置（Ｃx'，Ｃy'）を終点とする動きベクトルを検出する。
【００６３】
このようにして、動きベクトル検出部５５は、図２下側に示される基準画像１５１上のｍ×ｎ個のブロックに対して検出したｍ×ｎ個の動きベクトルを、（２枚目以降の）撮像画像１５２とともに、補正部５７に供給する。
【００６４】
次に、図４を参照して、図１における補正部５７の処理について説明する。
【００６５】
補正部５７は、基準画像１５１を基準として、撮像画像１５２を補正する。即ち、補正部５７は、基準画像１５１上の被写体１６１の位置と、撮像画像１５２上の、被写体１６１と同一の被写体１６２の位置とを位置合わせするため、例えば、アフィン変換によって、撮像画像１５２を補正する。
【００６６】
アフィン変換では、基準画像１５１（の画素）の位置（ｘ，ｙ）と、撮像画像１５２の位置（ｘ'，ｙ'）との位置関係は、次の式（１）で表される。
【００６７】
【数１】
【００６８】
ここで、式（１）のアフィン変換によれば、位置（ｘ，ｙ）は、その位置（ｘ，ｙ）を原点Ｏの回りに角度θだけ回転させ、（ｘ，ｙ）＝（ｓ，ｔ）だけ平行移動させた位置（ｘ'，ｙ'）に変換（補正）される。
【００６９】
また、以下では、式（１）のアフィン変換を定義するパラメータｓ，ｔ，θを、アフィンパラメータ（ｓ，ｔ，θ）という。
【００７０】
なお、式（１）のアフィン変換では、デジタルカメラ１１から被写体に向かう方向の、デジタルカメラ１１の動きは考慮されていないが、アフィン変換は、かかる動きをも考慮して行うことが可能である。この場合、式（１）の右辺の２×２の行列に代えて、その行列に、拡大/縮小に関するパラメータが乗算された行列が使用される。
【００７１】
補正部５７は、図２下側に示されるｍ×ｎ個の動きベクトルと上述した式（１）を用いて、最小自乗法により、アフィンパラメータ（ｓ，ｔ，θ）を求める。
【００７２】
具体的には、補正部５７は、基準画像１５１上のｍ×ｎ個のブロックの中心の位置（Ｃx，Ｃy）に対して、上述した式（１）によりアフィン変換を行う。そして、補正部５７は、基準画像１５１上のｍ×ｎ個のブロックの中心の位置（Ｃx，Ｃy）を始点とし、位置（Ｃx，Ｃy）をアフィン変換した後の位置を終点とする動きベクトルを、変換動きベクトルＶGMとして算出する。変換動きベクトルＶGMは、次の式（２）で表される。
【００７３】
【数２】
【００７４】
ここで、式（２）における変換動きベクトルＶGMは、アフィンパラメータ（ｓ，ｔ，θ）を変数とする式で表される。
【００７５】
補正部５７は、基準画像１５１上のブロックの変換動きベクトルＶGMと、そのブロックの、上述したブロックマッチングにより検出された動きベクトル（以下、適宜、マッチング動きベクトルＶBMともいう）との自乗誤差の総和Ｅを最小にするアフィンパラメータ（ｓ，ｔ，θ）を求める。この自乗誤差の総和Ｅは、次の式（３）で表される。
【００７６】
【数３】
【００７７】
ここで、式（３）のΣは、図２下側に示された、基準画像１５１上のｍ×ｎ個のブロックの総和を表す。式（３）の自乗誤差の総和Ｅを最小にするアフィンパラメータ（ｓ，ｔ，θ）は、自乗誤差の総和Ｅを、アフィンパラメータ（ｓ，ｔ，θ）で偏微分した式を求め、その式を０とした方程式を解くことで求めることができる。
【００７８】
次に、補正部５７は、求めたアフィンパラメータ（ｓ，ｔ，θ）を用いて、撮像画像１５２の位置（ｘ'，ｙ'）を基準画像１５１の位置（ｘ，ｙ）に補正（位置合わせ）するアフィン変換の逆変換を行う。これにより、撮像画像１５２は、図４に示されるように、基準画像１５１上の被写体１６１と、撮像画像１５２上の被写体１６２との位置を合わせるように補正される。
【００７９】
ここで、撮像部４１では、撮像画像１５２として採用される有効画素数よりも多くの画素数により撮像しているため、実際には、撮像画像１５２よりも大きな画像（画素数が多い画像）１８２の撮像が行われている。
【００８０】
補正部５７は、撮像画像１５２を含む画像１８２の補正を行った後、画像１８２のうちの基準画像１５１の範囲と完全に一致する範囲の画像を、補正後の撮像画像１５２として抽出し、加算画像生成部５８に供給する。
【００８１】
なお、画像１８２を、撮像画像１５２よりもどれだけ大の画像（画素数の多い画像）とするかは、例えば、人が、いわゆる手持ち撮像を行うときの手振れ量の統計量などに基づいて決定される。
【００８２】
次に、図５および図６を参照して、図１の加算画像生成部５８で生成される加算画像について説明する。
【００８３】
図５は、加算画像生成部５８において、新たな加算画像が生成されていく様子を示す図である。
【００８４】
図５上側は、適正露光未満の露光時間で撮像された１乃至Ｎ枚目の撮像画像の露光量２１１1乃至２１１Nを表しており、図５左側は、加算画像生成部５８で生成される加算画像の露光量２３２1乃至２３２Nを表している。
【００８５】
加算画像生成部５８は、補正部５７から供給される１枚目の撮像画像をそのまま、露光量２１１1（２３２1）の加算画像とする。
【００８６】
さらに、加算画像生成部５８は、露光量２３２1の加算画像と、補正部５７から供給される２枚目の撮像画像とを加算し、露光量２３２2（露光量２３２1と露光量２１１2とを加算した露光量）の加算画像を生成する。次に、加算画像生成部５８は、露光量２３２2の加算画像と、補正部５７から供給される３枚目の撮像画像とを加算し、露光量２３２3の加算画像を生成する。このような処理を繰り返すことにより、加算画像生成部５８は、露光量２３２n―1の加算画像と、補正部５７から供給されるｎ枚目の撮像画像とを加算し、露光量２３２nの加算画像を生成する（ｎ＝２，３，・・・，Ｎ―１，Ｎ）。
【００８７】
図６は、図１の表示部６１の加算画像の表示例を示している。
【００８８】
上述したように、表示部６１では、新たな加算画像が生成されるたびに、その新たな加算画像が表示される。
【００８９】
従って、表示部６１では、図６に示されるように、まず、露光量２３２1の加算画像２６１1が表示され、続いて、露光量２３２2の加算画像２６１2が表示される。このように、加算画像生成部５８で加算画像２６１nが生成されるたびに、新たに生成された加算画像２６１nが表示される（ｎ＝１，２，・・・，Ｎ―１，Ｎ）。
【００９０】
上述したように、新たな加算画像２６１nの生成は、レリーズ・スイッチ３１が押圧操作されている間行われる。従って、ユーザは所望する露光の加算画像２６１Nが表示部６１に表示されたときに、レリーズ・スイッチ３１の押圧操作を停止することにより、所望の露光状態の加算画像２６１Nを、記憶部６３やメモリカード６５に記憶させる（撮像する）ことができる。
【００９１】
なお、ユーザが、レリーズ・スイッチ３１の押圧操作を続けた結果、表示部６１に表示される加算画像２６１Nが明るすぎる画像になってしまった場合、入出力制御部６２が、加算画像２６１Nの各画素値を所定の値で除算することにより、加算画像２６１Nの明るさを調整することができるようになっている。この点については、後述する図８のフローチャートを参照して説明する。
【００９２】
次に、図７のフローチャートを参照し、図１のデジタルカメラ１１のバルブ撮影モードの処理を説明する。
【００９３】
ユーザが、レリーズ・スイッチ３１の押圧操作を開始すると、ステップＳ３１において、撮像部４１は、適正露光未満の露光時間により被写体を撮像し、その結果得られる撮影画像をSDRAM５４に供給して記憶させ、ステップＳ３２に進む。
【００９４】
ステップＳ３２において、動きベクトル検出部５５は、撮像部４１で撮像された撮像画像を、撮像された順番で、SDRAM５４から読み出す。ステップＳ３２において、動きベクトル検出部５５は、SDRAM５４から読み出した撮像画像が１枚目の撮像画像であるかどうかを判定し、１枚目の撮像画像であると判定した場合、ステップＳ３３に進み、１枚目の撮像画像を、補正部５７および加算画像生成部５８を介してSDRAM５９に供給し、加算画像として記憶させるとともに、SADテーブル５６に供給して、基準画像として記憶させ、ステップＳ３８に進む。
【００９５】
一方、ステップＳ３２において、動きベクトル検出部５５は、１枚目の撮像画像でない（２枚目以降の撮像画像である）と判定した場合、ステップＳ３４に進み、SDRAM５４から読み出した２枚目以降の撮像画像については、SADテーブル５６に記憶された基準画像に対する撮像画像の動きを表す動きベクトルを検出し、その撮像画像とともに補正部５７に供給して、ステップＳ３５に進む。
【００９６】
ステップＳ３５において、補正部５７は、動きベクトル検出部５５から供給された動きベクトルと上述した式（１）を用いて、最小自乗法により、アフィンパラメータ（ｓ，ｔ，θ）を求めて、ステップＳ３６に進み、求めたアフィンパラメータ（ｓ，ｔ，θ）を用いて、動きベクトル検出部５５から供給された撮像画像を補正し、補正後の撮像画像を加算画像生成部５８に供給して、ステップＳ３７に進む。
【００９７】
ステップＳ３７において、加算画像生成部５８は、SDRAM５９から加算画像を読み出し、その加算画像と、補正部５７から供給された補正後の撮像画像の画素値を加算し、これにより得られた画像を、新たな加算画像として、SDRAM５９に供給して、上書きする形で記憶させ、ステップＳ３８に進む。
【００９８】
ステップＳ３８において、表示制御部６０は、直前に行われたステップＳ３３またはステップＳ３７において、SDRAM５９に記憶された加算画像を読み出し、表示部６１に供給して表示させ、ステップＳ３９に進む。
【００９９】
ステップＳ３９において、加算画像生成部５８は、レリーズ・スイッチ３１の押圧操作が続けられているかどうかを判定する。ステップＳ３９において、レリーズ・スイッチ３１の押圧操作が続けられていると判定された場合、ステップＳ３１に戻り、以下、同様の処理を繰り返す。これにより、ステップＳ３７において、加算画像生成部５８が新たな加算画像を生成するたびに、その新たな加算画像が表示部６１に表示される。
【０１００】
一方、ステップＳ３９において、レリーズ・スイッチ３１の押圧操作が停止されたと判定された場合、即ち、レリーズ・スイッチ３１を押圧操作し続けていたユーザが、表示部６１に表示された加算画像を見て、所望の露光量の画像（加算画像）が得られたとして、レリーズ・スイッチ３１の押圧操作を停止した場合、ステップＳ４０に進み、入出力制御部６２は、SDRAM５９から加算画像（レリーズ・スイッチ３１の押圧操作を停止したときに、表示部６１に表示されていた加算画像）を読み出し、記憶部６３または（ドライブ６４を介して）メモリカード６５に供給して、記憶させる。その後、処理は終了する。
【０１０１】
以上のバルブ撮影モードの処理によれば、撮像部４１では、適正露光未満の露光時間により被写体を撮像するため、通常撮影モードで撮像した場合と比較して、ボケのない画像を撮像することができる。
【０１０２】
また、補正部５７では、撮像部４１により撮像された撮像画像の位置が、基準画像の位置に補正されるため、撮像中に生じた手振れなどの画像振れ（位置ズレ）を補正することができる。
【０１０３】
さらに、表示部６１では、加算画像生成部５８で加算画像が生成されるたびに、その加算画像が表示されるので、ユーザは、加算画像の露光の具合をリアルタイムに確認することができる。これにより、ユーザは、所望の露光量の画像（加算画像）を得ることができる。
【０１０４】
また、以上のバルブ撮影モードの処理によれば、レリーズ・スイッチ３１が押圧操作されている間に、適正露光未満で撮像された画像が加算されていくため、ユーザは、例えば、低照度の被写体を撮像する場合、通常撮影モードでの撮像と比較して、S/N比が改善されダイナミックレンジが拡大された鮮明な加算画像を得ることができる。
【０１０５】
さらに、ユーザは、レリーズ・スイッチ３１の押圧操作を開始し、表示部６１に、所望の露光量の画像が表示されたときに、レリーズ・スイッチ３１の押圧操作を停止するという簡単な操作をするだけで、所望の露光量の（好みの）画像を得ることができる。
【０１０６】
ここで、図７におけるバルブ撮影モードの処理においては、例えば、ユーザが、不注意などにより、レリーズ・スイッチ３１の押圧操作をし続けたことにより、所望の露光量を超える露光量の画像（加算画像）が得られることがある。このとき、デジタルカメラ１１では、その画像の露光量を、実質的に減少させる処理を行うことで、画像の明るさを調整することができる。
【０１０７】
そこで、図８のフローチャートを参照し、加算画像の露光量を減少させることで、明るさを調整する処理について説明する。
【０１０８】
例えば、ユーザが、記憶部６３またはメモリカード６５に記憶された加算画像を表示部６１に表示させるように、操作部２１を操作すると、ステップＳ８１において、入出力制御部６２は、記憶部６３またはメモリカード６５に記憶された加算画像を読み出し、SDRAM５９に供給して記憶させる。ステップＳ８１において、加算画像がSDRAM５９に記憶されると、表示制御部６０は、SDRAM５９から加算画像を読み出し、表示部６１に表示させ、ステップＳ８２に進む。
【０１０９】
ステップＳ８２において、ユーザが、表示部６１に表示された加算画像の明るさを調整するように、操作部２１を操作すると、入出力制御部６２は、SDRAM５９から加算画像を読み出し、ユーザの操作に応じた所定の値により、その加算画像の画素値を除算して、その結果得られた除算画像を、SDRAM５９に供給し、記憶させる。さらに、ステップＳ８２において、表示制御部６０は、SDRAM５９から除算画像を読み出し、表示部６１に表示させる。
【０１１０】
その後、ステップＳ８２からステップＳ８３に進み、表示部６１に表示された除算画像を確認したユーザが、表示部６１に表示された除算画像を確定するように、操作部２１を操作すると、入出力制御部６２は、SDRAM５９から除算画像を読み出し、記憶部６３またはメモリカード６５に供給して、元の加算画像に上書きする形で記憶させる。その後、この処理は終了する。
【０１１１】
なお、ステップＳ８２において、表示制御部６０は、SDRAM５９から読み出した除算画像を、表示部６１に表示させることとしたので、ユーザは、除算画像の露光量の具合を確認することができる。これにより、ユーザが所望する除算画像が得られるまで、ステップＳ８２における処理を繰り返すことができる。
【０１１２】
なお、ステップＳ８３において、除算画像を、元の加算画像に上書きする形で記憶させることとしたが、この除算画像は、元の加算画像とは別に記憶させるようにしてもよい。
【０１１３】
上述した動きベクトル検出部５５、補正部５７、加算画像生成部５８、表示制御部６０、および入出力制御部６２が行う一連の処理は、専用のハードウエアにより実行させることもできるし、ソフトウエアにより実行させることもできる。一連の処理をソフトウエアにより実行させる場合には、そのソフトウエアを構成するプログラムが、いわゆる組み込み型のコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、プログラム格納媒体からインストールされる。
【０１１４】
図９は、上述した一連の処理をプログラムにより実行するコンピュータの構成例を示すブロック図である。
【０１１５】
CPU（Central Processing Unit）３０１は、ROM（Read Only Memory）３０２、または記憶部３０８に記憶されているプログラムに従って各種の処理を実行する。RAM（Random Access Memory）３０３には、CPU３０１が実行するプログラムやデータなどが適宜記憶される。これらのCPU３０１、ROM３０２、およびRAM３０３は、バス３０４により相互に接続されている。
【０１１６】
CPU３０１にはまた、バス３０４を介して入出力インタフェース３０５が接続されている。入出力インタフェース３０５には、キーボード、マウス、マイクロホンなどよりなる入力部３０６、ディスプレイ、スピーカなどよりなる出力部３０７が接続されている。CPU３０１は、入力部３０６から入力される指令に対応して各種の処理を実行する。そして、CPU３０１は、処理の結果を出力部３０７に出力する。
【０１１７】
入出力インタフェース３０５に接続されている記憶部３０８は、例えばハードディスクからなり、CPU３０１が実行するプログラムや各種のデータを記憶する。通信部３０９は、インターネットやローカルエリアネットワークなどのネットワークを介して外部の装置と通信する。
【０１１８】
また、通信部３０９を介してプログラムを取得し、記憶部３０８に記憶してもよい。
【０１１９】
入出力インタフェース３０５に接続されているドライブ３１０は、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア３１１が装着されたとき、それらを駆動し、そこに記録されているプログラムやデータなどを取得する。取得されたプログラムやデータは、必要に応じて記憶部３０８に転送され、記憶される。
【０１２０】
コンピュータにインストールされ、コンピュータによって実行可能な状態とされるプログラムを格納するプログラム格納媒体は、図９に示されるように、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(Compact Disc-Read Only Memory),DVD(Digital Versatile Disc)を含む）、光磁気ディスク（ＭＤ（Mini-Disc）を含む）、もしくは半導体メモリなどよりなるパッケージメディアであるリムーバブルメディア３１１、または、プログラムが一時的もしくは永続的に格納されるROM３０２や、記憶部３０８を構成するハードディスクなどにより構成される。プログラム格納媒体へのプログラムの格納は、必要に応じてルータ、モデムなどのインタフェースである通信部３０９を介して、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の通信媒体を利用して行われる。
【０１２１】
なお、本明細書において、プログラム格納媒体に格納されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
【０１２２】
以上のようなバルブ撮影モードの処理において、図１の動きベクトル検出部５５は、上述したブロックマッチングにより動きベクトルを検出することとしたが、動きベクトルの検出方法は、これに限定されるものではなく、例えば、勾配法などにより動きベクトルを検出することとしてもよい。
【０１２３】
また、図１の動きベクトル検出部５５は、適当な縮小率で縮小した基準画像と（２枚目以降の）撮像画像とを用いて、動きベクトルを検出することもできる。
【０１２４】
さらに、図１の補正部５７では、アフィン変換によって、被写体の位置合わせをする補正を行うこととしたが、例えば、デジタルカメラ１１に角速度センサや加速度センサなどのセンサを用いることで、画像振れを検出し、光学的な補正をするようにしてもよい。
【０１２５】
また、表示制御部６０は、加算画像生成部５８が、新たな加算画像を生成し、SDRAM５９に供給して記憶させるたびに、その加算画像をSDRAM５９から読み出し、表示部６１に表示させることとしたが、加算画像生成部５８で生成される加算画像を、例えば、ｍ（＜Ｎ）枚おきに表示させることとしてもよい。これにより、表示制御部６０は、加算画像生成部５８で新たな加算画像が生成されるたびに、その加算画像を表示部６１に表示させるときと比較して、加算画像を表示させる処理の負担を軽減させることができる。
【０１２６】
なお、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。
【図面の簡単な説明】
【０１２７】
【図１】本発明を適用したデジタルカメラの一実施の形態の構成例を示すブロック図である。
【図２】図１の動きベクトル検出部による２枚目以降の撮像画像の動きベクトルを検出する方法を説明する図である。
【図３】図１の動きベクトル検出部による２枚目以降の撮像画像の動きベクトルを検出する方法を説明する他の図である。
【図４】図１の補正部による２枚目以降の撮像画像の補正を説明する図である。
【図５】図１の加算画像生成部が、新たな加算画像を生成する様子を示す図である。
【図６】図１の表示部に、加算画像が表示される様子を示す図である。
【図７】バルブ撮影モードの処理について説明するフローチャートである。
【図８】加算画像の明るさを調整する処理について説明するフローチャートである。
【図９】コンピュータの構成例を示すブロック図である。
【符号の説明】
【０１２８】
２１ 操作部， ３１ レリーズ・スイッチ， ４１ 撮像部， ５４ SDRAM， ５５ 動きベクトル検出部， ５６ SADテーブル， ５７ 補正部， ５８ 加算画像生成部， ５９ SDRAM， ６０ 表示制御部， ６１ 表示部， ６２ 入出力制御部， ６３ 記憶部， ６４ ドライブ， ６５ メモリカード
【技術分野】
【０００１】
本発明は、撮像装置、撮像方法、およびプログラムに関し、特に、例えば、ユーザが所望する露光量の画像を容易に取得することができるようにした撮像装置、撮像方法、およびプログラムに関する。
【背景技術】
【０００２】
例えば、デジタルカメラ（デジタルスチルカメラ）による画像の撮影の方法として、バルブ撮影（撮像）という撮像の方法がある。バルブ撮影とは、ユーザが、レリーズ・ボタン（スイッチ）を押圧し続けている間、露光状態を継続し、レリーズ・ボタンの押圧が停止されるときに露光を終了する、長時間の露光による撮影で行われる方法である。
【０００３】
バルブ撮影では、露光時間に応じた露光量の画像を得ることができるが、どの程度の露光量の画像を得ることができるかを確認する方法として、レリーズ・ボタンがオンされた直後に、適正露光未満の露光時間で撮影された１枚の画像（プレ撮影画像）の輝度ゲインを、所定の時間としての書換インターバルが経過するごとに１段階上げて表示する方法がある（例えば、特許文献１参照）。
【特許文献１】特開２００４−２３５９７３号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、プレ撮影画像の輝度ゲインを上げた画像は、例えば、プレ撮影画像のS/N(Signal/Noise)などに起因して、実際のバルブ撮影で撮影される画像との誤差が無視できない程度の画像となることがあり、この場合、プレ撮影画像の輝度ゲインを上げた画像と実際のバルブ撮影で撮影される画像とが異なるものとなって、所望の露光量の画像を得ることができないことがあった。
【０００５】
本発明は、このような状況に鑑みてなされたものであり、ユーザが所望する露光量の画像を容易に取得することができるようにするものである。
【課題を解決するための手段】
【０００６】
本発明の第１の側面の撮像装置は、画像を撮像する撮像装置であり、入射する光を光電変換することにより、画像を撮像する撮像手段と、ユーザによって操作される操作手段と、前記操作手段が操作されている間に、前記撮像手段が適正露光未満の露光時間で撮像した画像を加算し、加算画像を生成する加算画像生成手段と、前記操作手段の操作が停止されたとき、前記加算画像を記録媒体に記録する記録制御手段とを備える。
【０００７】
第１の側面の撮像装置には、画像を表示する表示手段と、前記撮像手段が撮像した画像が加算された新たな前記加算画像が生成されるたびに、新たな前記加算画像を、前記表示手段に表示させる表示制御手段とをさらに備えることができる。
【０００８】
第１の側面の撮像装置には、前記加算画像の画素値を、所定の値で除算する除算手段をさらに備えることができる。
【０００９】
第１の側面の撮像装置には、前記操作手段が操作されている間に、前記撮像手段が撮像した複数の画像それぞれに映っている被写体の位置を合わせるように、前記撮像手段が撮像した画像を補正する補正手段をさらに備えることができ、前記加算画像生成手段では、前記補正手段による補正がされた画像を加算させることができる。
【００１０】
本発明の第１の側面の撮像方法、またはプログラムは、入射する光を光電変換することにより、画像を撮像する撮像手段を備える撮像装置の撮像方法、または入射する光を光電変換することにより、画像を撮像する撮像手段を備える撮像装置の撮像処理をコンピュータに実行させるプログラムであり、ユーザによって操作される操作手段が操作されている間に、前記撮像手段が適正露光未満の露光時間で撮像した画像を加算することにより加算画像を生成し、前記操作手段の操作が停止されたとき、前記加算画像を記録媒体に記録するステップを含む。
【００１１】
本発明の第１の側面においては、ユーザによって操作される操作手段が操作されている間に、前記撮像手段により、適正露光未満の露光時間で撮像された画像が加算されることにより加算画像が生成され、前記操作手段の操作が停止されたとき、前記加算画像が記録媒体に記録される。
【００１２】
本発明の第２の側面の撮像装置は、画像を撮像する撮像装置であり、入射する光を光電変換することにより、画像を撮像する撮像手段と、前記撮像手段が適正露光未満の露光時間で撮像した画像を加算し、加算画像を生成する加算画像生成手段と、画像を表示する表示手段と、前記撮像手段が撮像した画像が加算された新たな前記加算画像が生成されるたびに、新たな前記加算画像を、前記表示手段に表示させる表示制御手段とを備える。
【００１３】
第２の側面の撮像装置には、前記加算画像を記録媒体に記録する記録制御手段をさらに備えることができる。
【００１４】
第２の側面の撮像装置には、前記加算画像の画素値を、所定の値で除算する除算手段をさらに備えることができる。
【００１５】
第２の側面の撮像装置には、前記撮像手段が撮像した複数の画像それぞれに映っている被写体の位置を合わせるように、前記撮像手段が撮像した画像を補正する補正手段をさらに備えることができ、前記加算画像生成手段では、前記補正手段による補正がされた画像を加算させることができる。
【００１６】
本発明の第２の側面の撮像方法、またはプログラムは、入射する光を光電変換することにより、画像を撮像する撮像手段を備える撮像装置の撮像方法、または入射する光を光電変換することにより、画像を撮像する撮像手段を備える撮像装置の撮像処理をコンピュータに実行させるプログラムであり、前記撮像手段が適正露光未満の露光時間で撮像した画像を加算することにより加算画像を生成し、前記撮像手段が撮像した画像が加算された新たな前記加算画像が生成されるたびに、新たな前記加算画像を、画像を表示する表示手段に表示させるステップを含む。
【００１７】
本発明の第２の側面においては、前記撮像手段により、適正露光未満の露光時間で撮像された画像が加算されることにより加算画像が生成され、前記撮像手段により撮像された画像が加算された新たな前記加算画像が生成されるたびに、新たな前記加算画像が、画像を表示させる表示手段に表示される。
【発明の効果】
【００１８】
本発明によれば、例えば、ユーザが所望する露光量の画像を容易に取得することができる。
【発明を実施するための最良の形態】
【００１９】
以下に本発明の実施の形態を説明するが、本発明の構成要件と、明細書又は図面に記載の実施の形態との対応関係を例示すると、次のようになる。この記載は、本発明をサポートする実施の形態が、明細書又は図面に記載されていることを確認するためのものである。従って、明細書又は図面中には記載されているが、本発明の構成要件に対応する実施の形態として、ここには記載されていない実施の形態があったとしても、そのことは、その実施の形態が、その構成要件に対応するものではないことを意味するものではない。逆に、実施の形態が構成要件に対応するものとしてここに記載されていたとしても、そのことは、その実施の形態が、その構成要件以外の構成要件には対応しないものであることを意味するものでもない。
【００２０】
本発明の第１の側面の撮像装置は、画像を撮像する撮像装置（例えば、図１のデジタルカメラ１１）において、入射する光を光電変換することにより、画像を撮像する撮像手段（例えば、図１の撮像部４１）と、ユーザによって操作される操作手段（例えば、図１の操作部２１）と、前記操作手段が操作されている間に、前記撮像手段が適正露光未満の露光時間で撮像した画像を加算し、加算画像を生成する加算画像生成手段（例えば、図１の加算画像生成部５８）と、前記操作手段の操作が停止されたとき、前記加算画像を記録媒体（例えば、図１の記憶部６３またはメモリカード６５）に記録する記録制御手段（例えば、図１の入出力制御部６２）とを備える。
【００２１】
第１の側面の撮像装置は、画像を表示する表示手段（例えば、図１の表示部６１）と、前記撮像手段が撮像した画像が加算された新たな前記加算画像が生成されるたびに、新たな前記加算画像を、前記表示手段に表示させる表示制御手段（例えば、図１の表示制御部６０）とをさらに備えることができる。
【００２２】
第１の側面の撮像装置は、前記加算画像の画素値を、所定の値で除算する除算手段（例えば、図１の入出力制御部６２）をさらに備えることができる。
【００２３】
第１の側面の撮像装置は、前記操作手段が操作されている間に、前記撮像手段が撮像した複数の画像それぞれに映っている被写体の位置を合わせるように、前記撮像手段が撮像した画像を補正する補正手段（例えば、図１の補正部５７）をさらに備え、前記加算画像生成手段は、前記補正手段による補正がされた画像を加算することができる。
【００２４】
第１の側面の撮像方法、またはプログラムは、入射する光を光電変換することにより、画像を撮像する撮像手段を備える撮像装置の撮像方法、または入射する光を光電変換することにより、画像を撮像する撮像手段を備える撮像装置の撮像処理をコンピュータに実行させるプログラムにおいて、ユーザによって操作される操作手段が操作されている間に、前記撮像手段が適正露光未満の露光時間で撮像した画像を加算することにより加算画像を生成し（例えば、図７のステップＳ３７）、前記操作手段の操作が停止されたとき、前記加算画像を記録媒体に記録する（例えば、図７のステップＳ４０）ステップを含む。
【００２５】
本発明の第２の側面の撮像装置は、画像を撮像する撮像装置（例えば、図１のデジタルカメラ１１）において、入射する光を光電変換することにより、画像を撮像する撮像手段（例えば、図１の撮像部４１）と、前記撮像手段が適正露光未満の露光時間で撮像した画像を加算し、加算画像を生成する加算画像生成手段（例えば、図１の加算画像生成部５８）と、画像を表示する表示手段（例えば、図１の表示部６１）と、前記撮像手段が撮像した画像が加算された新たな前記加算画像が生成されるたびに、新たな前記加算画像を、前記表示手段に表示させる表示制御手段（例えば、図１の表示制御部６０）とを備える。
【００２６】
第２の側面の撮像装置は、前記加算画像を記録媒体に記録する記録制御手段（例えば、図１の入出力制御部６２）をさらに備えることができる。
【００２７】
第２の側面の撮像装置は、前記加算画像の画素値を、所定の値で除算する除算手段（例えば、図１の入出力制御部６２）をさらに備えることができる。
【００２８】
第２の側面の撮像装置は、前記撮像手段が撮像した複数の画像それぞれに映っている被写体の位置を合わせるように、前記撮像手段が撮像した画像を補正する補正手段（例えば、図１の補正部５７）をさらに備え、前記加算画像生成手段は、前記補正手段による補正がされた画像を加算することができる。
【００２９】
第２の側面の撮像方法、またはプログラムは、入射する光を光電変換することにより、画像を撮像する撮像手段を備える撮像装置の撮像方法、または入射する光を光電変換することにより、画像を撮像する撮像手段を備える撮像装置の撮像処理をコンピュータに実行させるプログラムにおいて、前記撮像手段が適正露光未満の露光時間で撮像した画像を加算することにより加算画像を生成し（例えば、図７のステップＳ３７）、前記撮像手段が撮像した画像が加算された新たな前記加算画像が生成されるたびに、新たな前記加算画像を、画像を表示する表示手段に表示させる（例えば、図７のステップＳ３８）ステップを含む。
【００３０】
以下、図を参照して、本発明の実施の形態について説明する。
【００３１】
図１は、本発明を適用したデジタルカメラ（デジタルスチルカメラ）１１の一実施の形態の構成例を示すブロック図である。
【００３２】
図１のデジタルカメラ１１は、操作部２１、撮像部４１、SDRAM(Synchronous Dynamic Random Access Memory)５４、動きベクトル検出部５５、SAD(Sum of Absolute Differences)テーブル５６、補正部５７、加算画像生成部５８、SDRAM５９、表示制御部６０、表示部６１、入出力制御部６２、記憶部６３、ドライブ６４、およびメモリカード６５により構成される。
【００３３】
操作部２１は、例えば、レリーズ・スイッチ３１および後述する表示部６１に重畳されたタッチパネルなどにより構成され、ユーザによって操作される。操作部２１は、ユーザの操作に応じた操作信号を、デジタルカメラ１１の必要なブロックに供給する。
【００３４】
撮像部４１は、そこに入射する光を受光して光電変換することにより被写体を撮像し、その結果得られる撮影画像をSDRAM５４に供給して、（一時的に）記憶させる。
【００３５】
ここで、撮像部４１は、撮像レンズ５１、撮像素子５２、およびカメラ信号処理部５３により構成されており、撮像レンズ５１は、撮像素子５２の受光面に被写体の像を結像させる。撮像素子５２は、例えば、CCD(Charge Coupled Devices)やCMOS(Complementary Metal Oxide Semiconductor)センサなどで構成され、その受光面に結像された被写体の像（光）を、光電変換することでアナログの画像信号として、カメラ信号処理部５３に供給する。
【００３６】
カメラ信号処理部５３は、撮像素子５２から供給されたアナログの画像信号に対して、例えばガンマ補正処理や白バランス処理などを行う。その後、カメラ信号処理部５３は、そのアナログの画像信号をA/D(Analog/Digital)変換し、その結果得られるデジタルの画像信号（撮像画像）をSDRAM５４に供給して、記憶させる。
【００３７】
SDRAM５４は、カメラ信号処理部５３（撮像部４１）から供給された撮像画像を記憶する。
【００３８】
ここで、デジタルカメラ１１の撮影モードとしては、例えば、撮像部４１において、レリーズ・スイッチ３１の１回の押圧操作に応じて、１枚の撮像画像を適正露光となる露光時間で撮像する通常撮影モードと、レリーズ・スイッチ３１の押圧操作に応じて、複数枚の撮像画像を加算することにより、所定の露光時間で撮像された画像を得るバルブ撮影モードとがある。以下では、撮影モードが、バルブ撮影モードになっている場合について説明する。なお、上述したバルブ撮影モードとは、例えば、ユーザが、レリーズ・スイッチ３１を押圧し続けている間、露光状態を継続し、レリーズ・スイッチ３１の押圧が停止されるときに露光を中止するバルブ撮影と同様、実質的に、長時間の露光の撮像を行うことができる。
【００３９】
また、撮影モードが、通常撮影モードの場合は、以下に説明する動きベクトル検出部５５乃至加算画像生成部５８が機能しないだけである。
【００４０】
動きベクトル検出部５５は、撮像部４１で撮像された撮像画像を、撮像された順番で、SDRAM５４から読み出す。動きベクトル検出部５５は、SDRAM５４から読み出した１枚目の撮像画像（レリーズ・スイッチ３１が押圧されてから、撮像部４１により最初に撮像された撮像画像）を、補正部５７および加算画像生成部５８を介してSDRAM５９に供給し、後述する加算画像として記憶させるとともに、SADテーブル５６に供給して、後述する基準画像として記憶させる。
【００４１】
ここで、加算画像とは、撮像部４１により撮像された撮像画像が、後述する加算画像生成部５８により加算されることで生成される画像をいう。また、基準画像とは、後述する補正部５７が、２枚目以降の撮像画像（レリーズ・スイッチ３１が押圧されてから、撮像部４１により２番目以降に撮像された撮像画像）の位置を補正するにあたって基準となる画像をいう。
【００４２】
さらに、ｎ枚目の撮像画像とは、バルブ撮影モードで撮像された複数枚の撮像画像のうちの、ｎ番目に撮像された撮像画像をいう。即ち、バルブ撮影モードにおけるデジタルカメラ１１では、レリーズ・スイッチ３１の押圧操作が開始されてから、その押圧操作が停止（解除）されるまでの間に撮像されたＮ枚の撮像画像が、加算の対象とされるようになっている。ｎ枚目の撮像画像とは、レリーズ・スイッチ３１の押圧操作がされている間に撮像されたＮ枚の撮像画像のうちの、ｎ（ｎ＝１，２，・・・，Ｎ―１，Ｎ）番目に撮像された撮像画像である。
【００４３】
動きベクトル検出部５５は、SDRAM５４から読み出した２枚目以降の撮像画像については、SADテーブル５６に記憶された基準画像に対する撮像画像の動きを表す動きベクトルを検出し、その撮像画像とともに補正部５７に供給する。
【００４４】
SADテーブル５６は、動きベクトル検出部５５から供給される１枚目の撮像画像を、基準画像として記憶する。
【００４５】
補正部５７は、動きベクトル検出部５５から供給された撮像画像の動きベクトルに基づいて、同じく、動きベクトル検出部５５から供給されたその撮像画像を補正し、補正後の撮像画像を加算画像生成部５８に供給する。
【００４６】
加算画像生成部５８は、SDRAM５９から読み出した加算画像と、補正部５７から供給された補正後の撮像画像とを加算し、これにより得られた画像を、新たな加算画像として、SDRAM５９に供給し、上書きする形で記憶させる。
【００４７】
SDRAM５９は、加算画像生成部５８から供給された加算画像を記憶する。
【００４８】
表示制御部６０は、加算画像生成部５８において、新たな加算画像（１枚目の撮像画像を含む）が生成され、SDRAM５９に記憶されるたびに、SDRAM５９からその新たな加算画像を読み出し、表示部６１に供給して表示させる。
【００４９】
表示部６１は、表示制御部６０の制御に従い、表示制御部６０から供給された加算画像などを表示する。表示部６１としては、例えば、LCD(Liquid Crystal Display)などを採用することができる。
【００５０】
入出力制御部６２には、SDRAM５９、記憶部６３、およびドライブ６４が接続されている。入出力制御部６２は、SDRAM５９、記憶部６３、またはドライブ６４それぞれとの間での画像のやりとりを制御する。
【００５１】
記憶部６３は、入出力制御部６２から供給された画像を記憶する。
【００５２】
ドライブ６４は、入出力制御部６２から供給された画像を、メモリカード６５に供給し、記憶させる。また、ドライブ６４は、メモリカード６５から画像を読み出し、入出力制御部６２に供給する。
【００５３】
メモリカード６５は、デジタルカメラ１１のドライブ６４に脱着可能でリムーバブルなメモリカードであり、入出力制御部６２から供給された画像を記憶する。
【００５４】
次に、図２および図３を参照して図１の動きベクトル検出部５５の処理について説明する。
【００５５】
図２は、動きベクトル検出部５５が、バルブ撮影モードにおいて、２枚目以降の撮像画像の動きを表す動きベクトルを検出する様子を示す図である。
【００５６】
図２上側は、被写体１６１が投影された基準画像１５１、および被写体１６１と同一の被写体１６２が投影された（２枚目以降の）撮像画像１５２を示す図である。図２下側は、縦×横がｍ×ｎ個のブロックに分割された基準画像１５１を示す図である。また、図２下側のｍ×ｎ個のブロック内の矢印は、それぞれのブロックに基づいて検出された動きベクトルを表している。
【００５７】
なお、上述したように、基準画像１５１とは、１枚目の撮像画像を表しており、撮像画像１５２とは、２枚目以降の撮像画像を表している。また、基準画像１５１に対する被写体１６１の位置と、撮像画像１５２に対する被写体１６２の位置が異なるのは、例えば、手振れが生じたことによる。
【００５８】
動きベクトル検出部５５は、基準画像１５１と撮像画像１５２とを用いて、基準画像１５１に対する撮像画像１５２の動きを表す動きベクトルを検出する。
【００５９】
即ち、動きベクトル検出部５５は、図２下側に示されるように、基準画像１５１を縦×横がｍ×ｎ個のブロックに分割し、それぞれのブロックに一番類似している撮像画像１５２上の領域を求めることで動きベクトルを検出するブロックマッチングを行う。
【００６０】
図３は、このようなブロックマッチングにより動きベクトルを検出する方法を説明する図である。
【００６１】
図３では、基準画像１５１と撮像画像１５２とが重ね合わされている。また、図３では、基準画像１５１（撮像画像１５２）の左下の点を原点Ｏとし、右方向をｘ方向、上方向をｙ方向とするｘｙ座標系を定義してある。
【００６２】
動きベクトル検出部５５は、図３に示されるように、基準画像１５１上の分割されたブロック１５１ａ乃至１５１ｃをテンプレートとして、それぞれのブロック１５１ａ乃至１５１ｃに一番類似している撮像画像１５２上の領域１５２ａ乃至１５２ｃを求める。さらに、動きベクトル検出部５５は、例えば、基準画像１５１上のブロック１５１ａ乃至１５１ｃの中心（重心）の位置（Ｃx，Ｃy）を始点とし、領域１５２ａ乃至１５２ｃの中心の位置（Ｃx'，Ｃy'）を終点とする動きベクトルを検出する。
【００６３】
このようにして、動きベクトル検出部５５は、図２下側に示される基準画像１５１上のｍ×ｎ個のブロックに対して検出したｍ×ｎ個の動きベクトルを、（２枚目以降の）撮像画像１５２とともに、補正部５７に供給する。
【００６４】
次に、図４を参照して、図１における補正部５７の処理について説明する。
【００６５】
補正部５７は、基準画像１５１を基準として、撮像画像１５２を補正する。即ち、補正部５７は、基準画像１５１上の被写体１６１の位置と、撮像画像１５２上の、被写体１６１と同一の被写体１６２の位置とを位置合わせするため、例えば、アフィン変換によって、撮像画像１５２を補正する。
【００６６】
アフィン変換では、基準画像１５１（の画素）の位置（ｘ，ｙ）と、撮像画像１５２の位置（ｘ'，ｙ'）との位置関係は、次の式（１）で表される。
【００６７】
【数１】
【００６８】
ここで、式（１）のアフィン変換によれば、位置（ｘ，ｙ）は、その位置（ｘ，ｙ）を原点Ｏの回りに角度θだけ回転させ、（ｘ，ｙ）＝（ｓ，ｔ）だけ平行移動させた位置（ｘ'，ｙ'）に変換（補正）される。
【００６９】
また、以下では、式（１）のアフィン変換を定義するパラメータｓ，ｔ，θを、アフィンパラメータ（ｓ，ｔ，θ）という。
【００７０】
なお、式（１）のアフィン変換では、デジタルカメラ１１から被写体に向かう方向の、デジタルカメラ１１の動きは考慮されていないが、アフィン変換は、かかる動きをも考慮して行うことが可能である。この場合、式（１）の右辺の２×２の行列に代えて、その行列に、拡大/縮小に関するパラメータが乗算された行列が使用される。
【００７１】
補正部５７は、図２下側に示されるｍ×ｎ個の動きベクトルと上述した式（１）を用いて、最小自乗法により、アフィンパラメータ（ｓ，ｔ，θ）を求める。
【００７２】
具体的には、補正部５７は、基準画像１５１上のｍ×ｎ個のブロックの中心の位置（Ｃx，Ｃy）に対して、上述した式（１）によりアフィン変換を行う。そして、補正部５７は、基準画像１５１上のｍ×ｎ個のブロックの中心の位置（Ｃx，Ｃy）を始点とし、位置（Ｃx，Ｃy）をアフィン変換した後の位置を終点とする動きベクトルを、変換動きベクトルＶGMとして算出する。変換動きベクトルＶGMは、次の式（２）で表される。
【００７３】
【数２】
【００７４】
ここで、式（２）における変換動きベクトルＶGMは、アフィンパラメータ（ｓ，ｔ，θ）を変数とする式で表される。
【００７５】
補正部５７は、基準画像１５１上のブロックの変換動きベクトルＶGMと、そのブロックの、上述したブロックマッチングにより検出された動きベクトル（以下、適宜、マッチング動きベクトルＶBMともいう）との自乗誤差の総和Ｅを最小にするアフィンパラメータ（ｓ，ｔ，θ）を求める。この自乗誤差の総和Ｅは、次の式（３）で表される。
【００７６】
【数３】
【００７７】
ここで、式（３）のΣは、図２下側に示された、基準画像１５１上のｍ×ｎ個のブロックの総和を表す。式（３）の自乗誤差の総和Ｅを最小にするアフィンパラメータ（ｓ，ｔ，θ）は、自乗誤差の総和Ｅを、アフィンパラメータ（ｓ，ｔ，θ）で偏微分した式を求め、その式を０とした方程式を解くことで求めることができる。
【００７８】
次に、補正部５７は、求めたアフィンパラメータ（ｓ，ｔ，θ）を用いて、撮像画像１５２の位置（ｘ'，ｙ'）を基準画像１５１の位置（ｘ，ｙ）に補正（位置合わせ）するアフィン変換の逆変換を行う。これにより、撮像画像１５２は、図４に示されるように、基準画像１５１上の被写体１６１と、撮像画像１５２上の被写体１６２との位置を合わせるように補正される。
【００７９】
ここで、撮像部４１では、撮像画像１５２として採用される有効画素数よりも多くの画素数により撮像しているため、実際には、撮像画像１５２よりも大きな画像（画素数が多い画像）１８２の撮像が行われている。
【００８０】
補正部５７は、撮像画像１５２を含む画像１８２の補正を行った後、画像１８２のうちの基準画像１５１の範囲と完全に一致する範囲の画像を、補正後の撮像画像１５２として抽出し、加算画像生成部５８に供給する。
【００８１】
なお、画像１８２を、撮像画像１５２よりもどれだけ大の画像（画素数の多い画像）とするかは、例えば、人が、いわゆる手持ち撮像を行うときの手振れ量の統計量などに基づいて決定される。
【００８２】
次に、図５および図６を参照して、図１の加算画像生成部５８で生成される加算画像について説明する。
【００８３】
図５は、加算画像生成部５８において、新たな加算画像が生成されていく様子を示す図である。
【００８４】
図５上側は、適正露光未満の露光時間で撮像された１乃至Ｎ枚目の撮像画像の露光量２１１1乃至２１１Nを表しており、図５左側は、加算画像生成部５８で生成される加算画像の露光量２３２1乃至２３２Nを表している。
【００８５】
加算画像生成部５８は、補正部５７から供給される１枚目の撮像画像をそのまま、露光量２１１1（２３２1）の加算画像とする。
【００８６】
さらに、加算画像生成部５８は、露光量２３２1の加算画像と、補正部５７から供給される２枚目の撮像画像とを加算し、露光量２３２2（露光量２３２1と露光量２１１2とを加算した露光量）の加算画像を生成する。次に、加算画像生成部５８は、露光量２３２2の加算画像と、補正部５７から供給される３枚目の撮像画像とを加算し、露光量２３２3の加算画像を生成する。このような処理を繰り返すことにより、加算画像生成部５８は、露光量２３２n―1の加算画像と、補正部５７から供給されるｎ枚目の撮像画像とを加算し、露光量２３２nの加算画像を生成する（ｎ＝２，３，・・・，Ｎ―１，Ｎ）。
【００８７】
図６は、図１の表示部６１の加算画像の表示例を示している。
【００８８】
上述したように、表示部６１では、新たな加算画像が生成されるたびに、その新たな加算画像が表示される。
【００８９】
従って、表示部６１では、図６に示されるように、まず、露光量２３２1の加算画像２６１1が表示され、続いて、露光量２３２2の加算画像２６１2が表示される。このように、加算画像生成部５８で加算画像２６１nが生成されるたびに、新たに生成された加算画像２６１nが表示される（ｎ＝１，２，・・・，Ｎ―１，Ｎ）。
【００９０】
上述したように、新たな加算画像２６１nの生成は、レリーズ・スイッチ３１が押圧操作されている間行われる。従って、ユーザは所望する露光の加算画像２６１Nが表示部６１に表示されたときに、レリーズ・スイッチ３１の押圧操作を停止することにより、所望の露光状態の加算画像２６１Nを、記憶部６３やメモリカード６５に記憶させる（撮像する）ことができる。
【００９１】
なお、ユーザが、レリーズ・スイッチ３１の押圧操作を続けた結果、表示部６１に表示される加算画像２６１Nが明るすぎる画像になってしまった場合、入出力制御部６２が、加算画像２６１Nの各画素値を所定の値で除算することにより、加算画像２６１Nの明るさを調整することができるようになっている。この点については、後述する図８のフローチャートを参照して説明する。
【００９２】
次に、図７のフローチャートを参照し、図１のデジタルカメラ１１のバルブ撮影モードの処理を説明する。
【００９３】
ユーザが、レリーズ・スイッチ３１の押圧操作を開始すると、ステップＳ３１において、撮像部４１は、適正露光未満の露光時間により被写体を撮像し、その結果得られる撮影画像をSDRAM５４に供給して記憶させ、ステップＳ３２に進む。
【００９４】
ステップＳ３２において、動きベクトル検出部５５は、撮像部４１で撮像された撮像画像を、撮像された順番で、SDRAM５４から読み出す。ステップＳ３２において、動きベクトル検出部５５は、SDRAM５４から読み出した撮像画像が１枚目の撮像画像であるかどうかを判定し、１枚目の撮像画像であると判定した場合、ステップＳ３３に進み、１枚目の撮像画像を、補正部５７および加算画像生成部５８を介してSDRAM５９に供給し、加算画像として記憶させるとともに、SADテーブル５６に供給して、基準画像として記憶させ、ステップＳ３８に進む。
【００９５】
一方、ステップＳ３２において、動きベクトル検出部５５は、１枚目の撮像画像でない（２枚目以降の撮像画像である）と判定した場合、ステップＳ３４に進み、SDRAM５４から読み出した２枚目以降の撮像画像については、SADテーブル５６に記憶された基準画像に対する撮像画像の動きを表す動きベクトルを検出し、その撮像画像とともに補正部５７に供給して、ステップＳ３５に進む。
【００９６】
ステップＳ３５において、補正部５７は、動きベクトル検出部５５から供給された動きベクトルと上述した式（１）を用いて、最小自乗法により、アフィンパラメータ（ｓ，ｔ，θ）を求めて、ステップＳ３６に進み、求めたアフィンパラメータ（ｓ，ｔ，θ）を用いて、動きベクトル検出部５５から供給された撮像画像を補正し、補正後の撮像画像を加算画像生成部５８に供給して、ステップＳ３７に進む。
【００９７】
ステップＳ３７において、加算画像生成部５８は、SDRAM５９から加算画像を読み出し、その加算画像と、補正部５７から供給された補正後の撮像画像の画素値を加算し、これにより得られた画像を、新たな加算画像として、SDRAM５９に供給して、上書きする形で記憶させ、ステップＳ３８に進む。
【００９８】
ステップＳ３８において、表示制御部６０は、直前に行われたステップＳ３３またはステップＳ３７において、SDRAM５９に記憶された加算画像を読み出し、表示部６１に供給して表示させ、ステップＳ３９に進む。
【００９９】
ステップＳ３９において、加算画像生成部５８は、レリーズ・スイッチ３１の押圧操作が続けられているかどうかを判定する。ステップＳ３９において、レリーズ・スイッチ３１の押圧操作が続けられていると判定された場合、ステップＳ３１に戻り、以下、同様の処理を繰り返す。これにより、ステップＳ３７において、加算画像生成部５８が新たな加算画像を生成するたびに、その新たな加算画像が表示部６１に表示される。
【０１００】
一方、ステップＳ３９において、レリーズ・スイッチ３１の押圧操作が停止されたと判定された場合、即ち、レリーズ・スイッチ３１を押圧操作し続けていたユーザが、表示部６１に表示された加算画像を見て、所望の露光量の画像（加算画像）が得られたとして、レリーズ・スイッチ３１の押圧操作を停止した場合、ステップＳ４０に進み、入出力制御部６２は、SDRAM５９から加算画像（レリーズ・スイッチ３１の押圧操作を停止したときに、表示部６１に表示されていた加算画像）を読み出し、記憶部６３または（ドライブ６４を介して）メモリカード６５に供給して、記憶させる。その後、処理は終了する。
【０１０１】
以上のバルブ撮影モードの処理によれば、撮像部４１では、適正露光未満の露光時間により被写体を撮像するため、通常撮影モードで撮像した場合と比較して、ボケのない画像を撮像することができる。
【０１０２】
また、補正部５７では、撮像部４１により撮像された撮像画像の位置が、基準画像の位置に補正されるため、撮像中に生じた手振れなどの画像振れ（位置ズレ）を補正することができる。
【０１０３】
さらに、表示部６１では、加算画像生成部５８で加算画像が生成されるたびに、その加算画像が表示されるので、ユーザは、加算画像の露光の具合をリアルタイムに確認することができる。これにより、ユーザは、所望の露光量の画像（加算画像）を得ることができる。
【０１０４】
また、以上のバルブ撮影モードの処理によれば、レリーズ・スイッチ３１が押圧操作されている間に、適正露光未満で撮像された画像が加算されていくため、ユーザは、例えば、低照度の被写体を撮像する場合、通常撮影モードでの撮像と比較して、S/N比が改善されダイナミックレンジが拡大された鮮明な加算画像を得ることができる。
【０１０５】
さらに、ユーザは、レリーズ・スイッチ３１の押圧操作を開始し、表示部６１に、所望の露光量の画像が表示されたときに、レリーズ・スイッチ３１の押圧操作を停止するという簡単な操作をするだけで、所望の露光量の（好みの）画像を得ることができる。
【０１０６】
ここで、図７におけるバルブ撮影モードの処理においては、例えば、ユーザが、不注意などにより、レリーズ・スイッチ３１の押圧操作をし続けたことにより、所望の露光量を超える露光量の画像（加算画像）が得られることがある。このとき、デジタルカメラ１１では、その画像の露光量を、実質的に減少させる処理を行うことで、画像の明るさを調整することができる。
【０１０７】
そこで、図８のフローチャートを参照し、加算画像の露光量を減少させることで、明るさを調整する処理について説明する。
【０１０８】
例えば、ユーザが、記憶部６３またはメモリカード６５に記憶された加算画像を表示部６１に表示させるように、操作部２１を操作すると、ステップＳ８１において、入出力制御部６２は、記憶部６３またはメモリカード６５に記憶された加算画像を読み出し、SDRAM５９に供給して記憶させる。ステップＳ８１において、加算画像がSDRAM５９に記憶されると、表示制御部６０は、SDRAM５９から加算画像を読み出し、表示部６１に表示させ、ステップＳ８２に進む。
【０１０９】
ステップＳ８２において、ユーザが、表示部６１に表示された加算画像の明るさを調整するように、操作部２１を操作すると、入出力制御部６２は、SDRAM５９から加算画像を読み出し、ユーザの操作に応じた所定の値により、その加算画像の画素値を除算して、その結果得られた除算画像を、SDRAM５９に供給し、記憶させる。さらに、ステップＳ８２において、表示制御部６０は、SDRAM５９から除算画像を読み出し、表示部６１に表示させる。
【０１１０】
その後、ステップＳ８２からステップＳ８３に進み、表示部６１に表示された除算画像を確認したユーザが、表示部６１に表示された除算画像を確定するように、操作部２１を操作すると、入出力制御部６２は、SDRAM５９から除算画像を読み出し、記憶部６３またはメモリカード６５に供給して、元の加算画像に上書きする形で記憶させる。その後、この処理は終了する。
【０１１１】
なお、ステップＳ８２において、表示制御部６０は、SDRAM５９から読み出した除算画像を、表示部６１に表示させることとしたので、ユーザは、除算画像の露光量の具合を確認することができる。これにより、ユーザが所望する除算画像が得られるまで、ステップＳ８２における処理を繰り返すことができる。
【０１１２】
なお、ステップＳ８３において、除算画像を、元の加算画像に上書きする形で記憶させることとしたが、この除算画像は、元の加算画像とは別に記憶させるようにしてもよい。
【０１１３】
上述した動きベクトル検出部５５、補正部５７、加算画像生成部５８、表示制御部６０、および入出力制御部６２が行う一連の処理は、専用のハードウエアにより実行させることもできるし、ソフトウエアにより実行させることもできる。一連の処理をソフトウエアにより実行させる場合には、そのソフトウエアを構成するプログラムが、いわゆる組み込み型のコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、プログラム格納媒体からインストールされる。
【０１１４】
図９は、上述した一連の処理をプログラムにより実行するコンピュータの構成例を示すブロック図である。
【０１１５】
CPU（Central Processing Unit）３０１は、ROM（Read Only Memory）３０２、または記憶部３０８に記憶されているプログラムに従って各種の処理を実行する。RAM（Random Access Memory）３０３には、CPU３０１が実行するプログラムやデータなどが適宜記憶される。これらのCPU３０１、ROM３０２、およびRAM３０３は、バス３０４により相互に接続されている。
【０１１６】
CPU３０１にはまた、バス３０４を介して入出力インタフェース３０５が接続されている。入出力インタフェース３０５には、キーボード、マウス、マイクロホンなどよりなる入力部３０６、ディスプレイ、スピーカなどよりなる出力部３０７が接続されている。CPU３０１は、入力部３０６から入力される指令に対応して各種の処理を実行する。そして、CPU３０１は、処理の結果を出力部３０７に出力する。
【０１１７】
入出力インタフェース３０５に接続されている記憶部３０８は、例えばハードディスクからなり、CPU３０１が実行するプログラムや各種のデータを記憶する。通信部３０９は、インターネットやローカルエリアネットワークなどのネットワークを介して外部の装置と通信する。
【０１１８】
また、通信部３０９を介してプログラムを取得し、記憶部３０８に記憶してもよい。
【０１１９】
入出力インタフェース３０５に接続されているドライブ３１０は、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア３１１が装着されたとき、それらを駆動し、そこに記録されているプログラムやデータなどを取得する。取得されたプログラムやデータは、必要に応じて記憶部３０８に転送され、記憶される。
【０１２０】
コンピュータにインストールされ、コンピュータによって実行可能な状態とされるプログラムを格納するプログラム格納媒体は、図９に示されるように、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(Compact Disc-Read Only Memory),DVD(Digital Versatile Disc)を含む）、光磁気ディスク（ＭＤ（Mini-Disc）を含む）、もしくは半導体メモリなどよりなるパッケージメディアであるリムーバブルメディア３１１、または、プログラムが一時的もしくは永続的に格納されるROM３０２や、記憶部３０８を構成するハードディスクなどにより構成される。プログラム格納媒体へのプログラムの格納は、必要に応じてルータ、モデムなどのインタフェースである通信部３０９を介して、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の通信媒体を利用して行われる。
【０１２１】
なお、本明細書において、プログラム格納媒体に格納されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
【０１２２】
以上のようなバルブ撮影モードの処理において、図１の動きベクトル検出部５５は、上述したブロックマッチングにより動きベクトルを検出することとしたが、動きベクトルの検出方法は、これに限定されるものではなく、例えば、勾配法などにより動きベクトルを検出することとしてもよい。
【０１２３】
また、図１の動きベクトル検出部５５は、適当な縮小率で縮小した基準画像と（２枚目以降の）撮像画像とを用いて、動きベクトルを検出することもできる。
【０１２４】
さらに、図１の補正部５７では、アフィン変換によって、被写体の位置合わせをする補正を行うこととしたが、例えば、デジタルカメラ１１に角速度センサや加速度センサなどのセンサを用いることで、画像振れを検出し、光学的な補正をするようにしてもよい。
【０１２５】
また、表示制御部６０は、加算画像生成部５８が、新たな加算画像を生成し、SDRAM５９に供給して記憶させるたびに、その加算画像をSDRAM５９から読み出し、表示部６１に表示させることとしたが、加算画像生成部５８で生成される加算画像を、例えば、ｍ（＜Ｎ）枚おきに表示させることとしてもよい。これにより、表示制御部６０は、加算画像生成部５８で新たな加算画像が生成されるたびに、その加算画像を表示部６１に表示させるときと比較して、加算画像を表示させる処理の負担を軽減させることができる。
【０１２６】
なお、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。
【図面の簡単な説明】
【０１２７】
【図１】本発明を適用したデジタルカメラの一実施の形態の構成例を示すブロック図である。
【図２】図１の動きベクトル検出部による２枚目以降の撮像画像の動きベクトルを検出する方法を説明する図である。
【図３】図１の動きベクトル検出部による２枚目以降の撮像画像の動きベクトルを検出する方法を説明する他の図である。
【図４】図１の補正部による２枚目以降の撮像画像の補正を説明する図である。
【図５】図１の加算画像生成部が、新たな加算画像を生成する様子を示す図である。
【図６】図１の表示部に、加算画像が表示される様子を示す図である。
【図７】バルブ撮影モードの処理について説明するフローチャートである。
【図８】加算画像の明るさを調整する処理について説明するフローチャートである。
【図９】コンピュータの構成例を示すブロック図である。
【符号の説明】
【０１２８】
２１ 操作部， ３１ レリーズ・スイッチ， ４１ 撮像部， ５４ SDRAM， ５５ 動きベクトル検出部， ５６ SADテーブル， ５７ 補正部， ５８ 加算画像生成部， ５９ SDRAM， ６０ 表示制御部， ６１ 表示部， ６２ 入出力制御部， ６３ 記憶部， ６４ ドライブ， ６５ メモリカード
【特許請求の範囲】
【請求項１】
画像を撮像する撮像装置において、
入射する光を光電変換することにより、画像を撮像する撮像手段と、
ユーザによって操作される操作手段と、
前記操作手段が操作されている間に、前記撮像手段が適正露光未満の露光時間で撮像した画像を加算し、加算画像を生成する加算画像生成手段と、
前記操作手段の操作が停止されたとき、前記加算画像を記録媒体に記録する記録制御手段と
を備える撮像装置。
【請求項２】
画像を表示する表示手段と、
前記撮像手段が撮像した画像が加算された新たな前記加算画像が生成されるたびに、新たな前記加算画像を、前記表示手段に表示させる表示制御手段と
をさらに備える請求項１に記載の撮像装置。
【請求項３】
前記加算画像の画素値を、所定の値で除算する除算手段をさらに備える
請求項１に記載の撮像装置。
【請求項４】
前記操作手段が操作されている間に、前記撮像手段が撮像した複数の画像それぞれに映っている被写体の位置を合わせるように、前記撮像手段が撮像した画像を補正する補正手段をさらに備え、
前記加算画像生成手段は、前記補正手段による補正がされた画像を加算する
請求項１に記載の撮像装置。
【請求項５】
入射する光を光電変換することにより、画像を撮像する撮像手段を備える撮像装置の撮像方法において、
ユーザによって操作される操作手段が操作されている間に、前記撮像手段が適正露光未満の露光時間で撮像した画像を加算することにより加算画像を生成し、
前記操作手段の操作が停止されたとき、前記加算画像を記録媒体に記録する
ステップを含む撮像方法。
【請求項６】
入射する光を光電変換することにより、画像を撮像する撮像手段を備える撮像装置の撮像処理をコンピュータに実行させるプログラムにおいて、
ユーザによって操作される操作手段が操作されている間に、前記撮像手段が適正露光未満の露光時間で撮像した画像を加算することにより加算画像を生成し、
前記操作手段の操作が停止されたとき、前記加算画像を記録媒体に記録する
ステップを含む撮像処理をコンピュータに実行させるプログラム。
【請求項７】
画像を撮像する撮像装置において、
入射する光を光電変換することにより、画像を撮像する撮像手段と、
前記撮像手段が適正露光未満の露光時間で撮像した画像を加算し、加算画像を生成する加算画像生成手段と、
画像を表示する表示手段と、
前記撮像手段が撮像した画像が加算された新たな前記加算画像が生成されるたびに、新たな前記加算画像を、前記表示手段に表示させる表示制御手段と
を備える撮像装置。
【請求項８】
前記加算画像を記録媒体に記録する記録制御手段をさらに備える
請求項７に記載の撮像装置。
【請求項９】
前記加算画像の画素値を、所定の値で除算する除算手段をさらに備える
請求項７に記載の撮像装置。
【請求項１０】
前記撮像手段が撮像した複数の画像それぞれに映っている被写体の位置を合わせるように、前記撮像手段が撮像した画像を補正する補正手段をさらに備え、
前記加算画像生成手段は、前記補正手段による補正がされた画像を加算する
請求項７に記載の撮像装置。
【請求項１１】
入射する光を光電変換することにより、画像を撮像する撮像手段を備える撮像装置の撮像方法において、
前記撮像手段が適正露光未満の露光時間で撮像した画像を加算することにより加算画像を生成し、
前記撮像手段が撮像した画像が加算された新たな前記加算画像が生成されるたびに、新たな前記加算画像を、画像を表示する表示手段に表示させる
ステップを含む撮像方法。
【請求項１２】
入射する光を光電変換することにより、画像を撮像する撮像手段を備える撮像装置の撮像処理をコンピュータに実行させるプログラムにおいて、
前記撮像手段が適正露光未満の露光時間で撮像した画像を加算することにより加算画像を生成し、
前記撮像手段が撮像した画像が加算された新たな前記加算画像が生成されるたびに、新たな前記加算画像を、画像を表示する表示手段に表示させる
ステップを含む撮像処理をコンピュータに実行させるプログラム。
【請求項１】
画像を撮像する撮像装置において、
入射する光を光電変換することにより、画像を撮像する撮像手段と、
ユーザによって操作される操作手段と、
前記操作手段が操作されている間に、前記撮像手段が適正露光未満の露光時間で撮像した画像を加算し、加算画像を生成する加算画像生成手段と、
前記操作手段の操作が停止されたとき、前記加算画像を記録媒体に記録する記録制御手段と
を備える撮像装置。
【請求項２】
画像を表示する表示手段と、
前記撮像手段が撮像した画像が加算された新たな前記加算画像が生成されるたびに、新たな前記加算画像を、前記表示手段に表示させる表示制御手段と
をさらに備える請求項１に記載の撮像装置。
【請求項３】
前記加算画像の画素値を、所定の値で除算する除算手段をさらに備える
請求項１に記載の撮像装置。
【請求項４】
前記操作手段が操作されている間に、前記撮像手段が撮像した複数の画像それぞれに映っている被写体の位置を合わせるように、前記撮像手段が撮像した画像を補正する補正手段をさらに備え、
前記加算画像生成手段は、前記補正手段による補正がされた画像を加算する
請求項１に記載の撮像装置。
【請求項５】
入射する光を光電変換することにより、画像を撮像する撮像手段を備える撮像装置の撮像方法において、
ユーザによって操作される操作手段が操作されている間に、前記撮像手段が適正露光未満の露光時間で撮像した画像を加算することにより加算画像を生成し、
前記操作手段の操作が停止されたとき、前記加算画像を記録媒体に記録する
ステップを含む撮像方法。
【請求項６】
入射する光を光電変換することにより、画像を撮像する撮像手段を備える撮像装置の撮像処理をコンピュータに実行させるプログラムにおいて、
ユーザによって操作される操作手段が操作されている間に、前記撮像手段が適正露光未満の露光時間で撮像した画像を加算することにより加算画像を生成し、
前記操作手段の操作が停止されたとき、前記加算画像を記録媒体に記録する
ステップを含む撮像処理をコンピュータに実行させるプログラム。
【請求項７】
画像を撮像する撮像装置において、
入射する光を光電変換することにより、画像を撮像する撮像手段と、
前記撮像手段が適正露光未満の露光時間で撮像した画像を加算し、加算画像を生成する加算画像生成手段と、
画像を表示する表示手段と、
前記撮像手段が撮像した画像が加算された新たな前記加算画像が生成されるたびに、新たな前記加算画像を、前記表示手段に表示させる表示制御手段と
を備える撮像装置。
【請求項８】
前記加算画像を記録媒体に記録する記録制御手段をさらに備える
請求項７に記載の撮像装置。
【請求項９】
前記加算画像の画素値を、所定の値で除算する除算手段をさらに備える
請求項７に記載の撮像装置。
【請求項１０】
前記撮像手段が撮像した複数の画像それぞれに映っている被写体の位置を合わせるように、前記撮像手段が撮像した画像を補正する補正手段をさらに備え、
前記加算画像生成手段は、前記補正手段による補正がされた画像を加算する
請求項７に記載の撮像装置。
【請求項１１】
入射する光を光電変換することにより、画像を撮像する撮像手段を備える撮像装置の撮像方法において、
前記撮像手段が適正露光未満の露光時間で撮像した画像を加算することにより加算画像を生成し、
前記撮像手段が撮像した画像が加算された新たな前記加算画像が生成されるたびに、新たな前記加算画像を、画像を表示する表示手段に表示させる
ステップを含む撮像方法。
【請求項１２】
入射する光を光電変換することにより、画像を撮像する撮像手段を備える撮像装置の撮像処理をコンピュータに実行させるプログラムにおいて、
前記撮像手段が適正露光未満の露光時間で撮像した画像を加算することにより加算画像を生成し、
前記撮像手段が撮像した画像が加算された新たな前記加算画像が生成されるたびに、新たな前記加算画像を、画像を表示する表示手段に表示させる
ステップを含む撮像処理をコンピュータに実行させるプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【公開番号】特開２００７−３０６１０６（Ｐ２００７−３０６１０６Ａ）
【公開日】平成１９年１１月２２日（２００７．１１．２２）
【国際特許分類】
【出願番号】特願２００６−１３００９６（Ｐ２００６−１３００９６）
【出願日】平成１８年５月９日（２００６．５．９）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
【公開日】平成１９年１１月２２日（２００７．１１．２２）
【国際特許分類】
【出願日】平成１８年５月９日（２００６．５．９）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
[ Back to top ]