撮像装置及び方法、プログラム、並びに記録媒体
【課題】多重露光撮影を実現する。
【解決手段】撮像素子６からの信号は、カメラ信号処理部２２に供給される。多重露光撮影のために、複数枚の画像が重ねられる場合、メモリ１２には、既に撮像されている画像の信号が記憶される。カメラ信号処理部２２は、撮像素子６からの信号と、メモリ１２からの信号を加算した合成画像を生成し、メモリ１２に記憶させる。また、多重露光時には、黒信号も必要となるが、その黒信号が取得されるときに、メモリ１２から合成画像の信号が読み出され、取得される黒信号が減算される処理が行われる。このため、メモリ１２には、１枚の画像が記憶されるだけの容量が確保されればよい。本発明はデジタルカメラに適用できる。
【解決手段】撮像素子６からの信号は、カメラ信号処理部２２に供給される。多重露光撮影のために、複数枚の画像が重ねられる場合、メモリ１２には、既に撮像されている画像の信号が記憶される。カメラ信号処理部２２は、撮像素子６からの信号と、メモリ１２からの信号を加算した合成画像を生成し、メモリ１２に記憶させる。また、多重露光時には、黒信号も必要となるが、その黒信号が取得されるときに、メモリ１２から合成画像の信号が読み出され、取得される黒信号が減算される処理が行われる。このため、メモリ１２には、１枚の画像が記憶されるだけの容量が確保されればよい。本発明はデジタルカメラに適用できる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は撮像装置及び方法、プログラム、並びに記録媒体に関し、特に、多重露光時の処理に適用して好適な撮像装置及び方法、プログラム、並びに記録媒体に関する。
【背景技術】
【０００２】
画像を撮影するカメラにおいて、多重露光という撮影手法がある。多重露光とは、単一フレームに同一被写体、または複数の被写体を２度以上露光する撮影手法であり、複数の画像を重ね合わせて合成画像を生成する技術である。特に、スローシャッターやバルブシャッターを利用した長時間露光時の多重露光撮影では、夜景や花火等の芸術的効果の高い写真が撮影可能となる技術である。
【０００３】
記録媒体としてフィルムを用いるフィルムカメラにおいては、フィルムを巻き上げずに複数回のシャッターを切ることにより多重露光撮影を実現可能であった。近年普及しているデジタルスチルカメラやデジタルビデオカメラ等のデジタル撮像機器においては、フィルムカメラと同様の処理で多重露光を実現することはできない。しかしながら、フィルムカメラからの流れで、デジタル撮像機器においても多重露光機能の実現が要望され、徐々に普及しつつある。
【０００４】
デジタル撮像機器において多重露光機能を実現しようとした場合、合成画像を生成するための複数の画像を保持する必要があり、複数の画像を保持するためのメモリ等の大規模容量の記憶素子が必要となる。そのために撮像機器が、大規模になってしまい、高コストになってしまう。特に、近年の撮像素子の多画素化及び小型化の潮流下においては、より大規模となってしまう可能性があった。
【０００５】
また、メモリ容量の大規模化と共に、メモリ帯域が増大化してしまう。メモリ帯域の増大は、メモリを利用する他の機能との競合を発生させ、撮影速度等の撮像機器のシステム全体の処理性能に大きな影響を与える。
【０００６】
さらに、長時間露光時の多重露光においては、固体撮像素子の所謂暗電流起因の黒信号レベルの増加並びに固定パターンノイズの発生により、撮像素子の感度やダイナミックレンジを低減させ、撮像多重露光画像の画質を劣化させる。この暗電流は、半導体の熱励起による電子−正孔対の発生に起因するものであり、温度や固体撮像素子の電荷の蓄積時間に比例して影響が大きくなる性質を有する。
【０００７】
特許文献１には、複数画像中の主被写体部分を抽出して主要画像信号を生成し、隣接する２つの主要画像信号間の差分画像を記録することにより、合成画像を生成するのに必要なメモリ容量を低減する多重露光撮影方法が提案されている。
【特許文献１】特開２００１−２８７２６号公報
【発明の開示】
【発明が解決しようとする課題】
【０００８】
上記した特許文献１においては、画像抽出手段や第１及び第２の主要画像保持手段等を別途必要とするため、機器全体としての小型化には繋がらず、また画像抽出という処理が付加されるため、処理速度が低下してしまう。また、特許文献１においては、長時間露光時の多重露光においての感度やダイナミックレンジの低下という課題は解決できない。
【０００９】
本発明は、このような状況に鑑みてなされたものであり、デジタルスチルカメラ等のデジタル撮像機器における多重露光において、メモリ容量やメモリ帯域を削減し、また、長時間露光時の感度やダイナミックレンジの欠損を抑制し、かつ処理性能を向上させた多重露光ができるようにするものである。
【課題を解決するための手段】
【００１０】
本発明の一側面の撮像装置は、単一フレームに同一の被写体、または複数の被写体を２度以上露光し、複数の画像を重ね合わせて合成画像を生成するとき、前記フレームの加算または減算を行うフレーム演算手段と、前記フレーム演算手段による演算結果を記憶する記憶手段とを備え、前記フレーム演算手段と前記記憶手段との間は、前記記憶手段への書き込み１系統と、前記記憶手段からの読み出し１系統の計２系統のデータバスを具備する。
【００１１】
前記フレーム演算手段は、撮像素子からの信号に対し、一定のオフセット信号成分を減じるオフセット減算手段を含むようにすることができる。
【００１２】
前記撮像素子からの出力信号レベルが飽和する前に前記撮像素子より一旦露光途中で読み出しを行い、前記オフセット減算手段によるオフセット成分の減算処理を施すようにすることができる。
【００１３】
前記フレーム演算手段からのＲａｗデータ形式の信号を圧縮した後、前記記憶手段に記憶し、前記記憶手段からの圧縮された信号をＲａｗデータ形式に伸張した後、前記フレーム演算手段に供給するようにすることができる。
【００１４】
前記フレーム演算手段は、フレーム加算及びフレーム減算の処理時に、撮像素子からの読み出しと同時に、前記記憶手段から読み出した画像に対してフレーム演算処理を施すようにすることができる。
【００１５】
本発明の一側面の撮像装置においては、単一フレームに同一の被写体、または複数の被写体を２度以上露光し、複数の画像を重ね合わせて合成画像を生成するとき、フレームの加算または減算を行うフレーム演算手段と、フレーム演算手段による演算結果を記憶する記憶手段との間には、記憶手段への書き込み１系統と、記憶手段からの読み出し１系統の計２系統のデータバスが具備される。
【００１６】
本発明の一側面の撮像方法は、撮像素子、前記撮像素子からの信号を記憶する記憶手段、前記撮像素子からの信号と前記記憶手段に記憶されている信号とを用いた演算を行う演算手段とを少なくとも含む撮像装置の撮像方法において、前記撮像素子から所定の被写体を撮像したときの信号を前記記憶手段に記憶し、さらに前記信号が取得されたとき、前記演算手段は、前記記憶手段に記憶されている前記信号を読み出し、取得された信号と加算し、前記記憶手段に記憶し、前記加算が所定の回数繰り返された後、前記演算手段は、前記信号を取得したときの露光時間と同じ時間だけ露光したときに取得される黒信号を前記撮像素子から取得し、前記記憶手段に記憶されている前記信号を読み出し、その信号から前記黒信号を減算し、前記記憶手段に記憶し、前記減算を前記所定の回数だけ繰り返すステップを含む。
【００１７】
前記撮像素子からの信号に対し、一定のオフセット信号成分を減じるオフセット減算ステップをさらに含むようにすることができる。
【００１８】
前記撮像素子からの出力信号レベルが飽和する前に前記撮像素子より一旦露光途中で読み出しを行い、前記オフセット減算ステップによるオフセット成分の減算処理を施すようにすることができる。
【００１９】
本発明の一側面のプログラムは、撮像素子、前記撮像素子からの信号を記憶する記憶手段、および、前記撮像素子からの信号及び前記記憶手段に記憶されている信号を用いた演算を行う演算手段とを少なくとも含む撮像装置に、前記撮像素子から所定の被写体を撮像したときの信号を前記記憶手段に記憶し、さらに前記信号が取得されたとき、前記演算手段は、前記記憶手段に記憶されている前記信号を読み出し、取得された信号と加算し、前記記憶手段に記憶し、前記加算が所定の回数繰り返された後、前記演算手段は、前記信号を取得したときの露光時間と同じ時間だけ露光したときに取得される黒信号を前記撮像素子から取得し、前記記憶手段に記憶されている前記信号を読み出し、その信号から前記黒信号を減算し、前記記憶手段に記憶し、前記減算を前記所定の回数だけ繰り返すステップを含む処理を実行させるコンピュータが読み取り可能なプログラム。
【００２０】
本発明の一側面の記録媒体は、撮像素子、前記撮像素子からの信号を記憶する記憶手段、および、前記撮像素子からの信号及び前記記憶手段に記憶されている信号を用いた演算を行う演算手段とを少なくとも含む撮像装置に、前記撮像素子から所定の被写体を撮像したときの信号を前記記憶手段に記憶し、さらに前記信号が取得されたとき、前記演算手段は、前記記憶手段に記憶されている前記信号を読み出し、取得された信号と加算し、前記記憶手段に記憶し、前記加算が所定の回数繰り返された後、前記演算手段は、前記信号を取得したときの露光時間と同じ時間だけ露光したときに取得される黒信号を前記撮像素子から取得し、前記記憶手段に記憶されている前記信号を読み出し、その信号から前記黒信号を減算し、前記記憶手段に記憶し、前記減算を前記所定の回数だけ繰り返すステップを含む処理を実行させるコンピュータが読み取り可能なプログラムを記録している。
【００２１】
本発明の一側面の撮像方法、およびプログラムにおいては、撮像素子から所定の被写体を撮像したときの信号が記憶され、さらに信号が取得されたとき、記憶されている信号が読み出され、取得された信号と加算され、記憶手段に戻され、そのような加算が所定の回数繰り返されると、信号を取得したときの露光時間と同じ時間だけ露光したときに取得される黒信号が取得され、記憶されている信号が読み出され、その読み出された信号から黒信号が減算され、記憶手段に戻され、そのような減算が所定の回数だけ繰り返されることで、多重露光時の画像が生成される。
【発明の効果】
【００２２】
本発明の一側面によれば、デジタルスチルカメラ等のデジタル撮像機器における多重露光において、メモリ容量やメモリ帯域を削減し、また、長時間露光時の感度やダイナミックレンジの欠損を抑制し、かつ処理性能を向上させた多重露光ができるようになる。
【発明を実施するための最良の形態】
【００２３】
以下に、本発明の実施の形態について図面を参照して説明する。
【００２４】
図１は、本発明を適用した多重露光装置の一実施の形態の構成を示す図である。本発明を適用した多重露光装置は、例えば、デジタルスチルカメラやデジタルビデオカメラなどのデジタル撮像機器に適用したり、組み込んだりして用いることが可能である。
【００２５】
図１に示した多重露光装置は、レンズ１、モータ２、モータ駆動部３、アイリス４、駆動回路５、撮像素子６、駆動回路７、フロントエンド（F/E：Front End）処理部８、信号処理部９、システム制御部１０、メモリコントローラ１１、及びメモリ１２を含む構成とされている。また、信号処理部９は、同期信号生成部２１、カメラ信号処理部２２、制御演算処理部２３、及び解像度変換部２４を含む構成とされている。
【００２６】
レンズ１は、光源からの入射光及び撮像被写体からの反射光を集光する。モータ２は、モータ駆動部３の制御で駆動され、被写体の焦点距離及び焦点位置にレンズ１を移動する。モータ駆動部３は、システム制御部１０からの制御信号に従い動作するものであり、ユーザの変倍動作に応じて焦点距離、すなわちズーム位置を決定し、その決定に応じて、モータ２を制御する。
【００２７】
アイリス４は、駆動回路５により駆動され、被写体照度に応じた絞りの調整や、レンズ１を通過した光の量（光量）、すなわち露出の決定等の処理を行う。撮像素子６は、駆動回路７によりアイリス４を通過した光信号に光電変換処理を施し、電荷信号として後段に出力する。撮像素子６は、例えば、CCD（Charge Coupled Device）や、CMOS（Complementary Metal-Oxide Semiconductor）といった素子で構成される。
【００２８】
フロントエンド処理部８は、アナログの電荷信号にノイズ除去、増幅等の処理を施しデジタル信号に変換する。フロントエンド処理部８は、図示しないが、入力信号をサンプリング（標本化）後に一定値にサンプルホールド（保持）するCDS（Correlated Double Sampling）部、増幅処理を行うオートゲインコントロール（Automatic Gain Control）部、そして、アナログからデジタルへの変換を行うA/D変換部で構成されている。なお、フロントエンド処理部８は、撮像素子６と同一基盤上に形成されても良い（所謂カラムAD方式イメージセンサ等）。
【００２９】
信号処理部９は、フロントエンド処理部８でデジタル信号に変換された撮像被写体信号に対し、レンズ１、アイリス４、撮像素子６等に起因する各種補正処理を施す。また、信号処理部９は、システム制御部１０からの制御信号に従い、AWB（Auto White Balance：オートホワイトバランス）、AE（Automatic Exposure：自動露出）、AF（Auto Focus：自動焦点）に代表されるカメラ制御処理を施し、被写体の映像信号（輝度信号及び色差信号）を生成する。
【００３０】
信号処理部９は、水平・垂直方向の同期信号や各種タイミング信号を生成する同期信号生成部２１、システム制御部１０からの制御信号により制御処理を施し被写体映像信号を生成するカメラ信号処理部２２、被写体映像信号に対し制御処理を施すための各種演算処理を行う制御演算処理部２３、及び被写体映像信号に対し解像度の変換や歪みの補正処理を行う解像度変換部２４から構成される。
【００３１】
信号処理部９において処理された映像信号は、ＪＰＥＧ（Joint Photographic Experts Group）やＭＰＥＧ（Moving Picture Experts Group）に代表される画像圧縮処理等を施すビデオ系信号処理部（不図示）へと供給される。
【００３２】
メモリコントローラ１１は、システム制御部１０からの制御信号に従い、信号処理部９からの映像信号とメモリ１２間とのデータ転送を制御する。なお、映像信号は、撮像素子６からの入力信号形式（例えば、Ｒ（赤）、Ｇ（緑）、Ｂ（青）からなる原色信号：所謂Ｒａｗデータ形式）、及び輝度及び色差信号形式のいずれの信号形式からも構成されるものである。また、メモリ１２は、撮像被写体の映像信号の保持等に使用される記憶素子である。
【００３３】
このような構成において、信号処理部９は集積回路（ハードウェア）で実現でき、システム制御部１０はCPU（Central Processor Unit）で実現することができる。
【００３４】
図２は、図１に示したカメラ信号処理部２２の構成例を示すブロック図である。カメラ信号処理部２２は、カメラ信号前処理部４１とカメラ信号後処理部４２を含む構成とされ、カメラ信号前処理部４１は、フレーム演算処理部５１を含む構成とされる。
【００３５】
カメラ信号前処理部４１は、同期信号生成部２１（図１）からの各種同期信号を用いて、フロントエンド処理部８からの撮像被写体信号に、レンズ１、アイリス４、撮像素子６等に起因する欠陥画素や、シェーディング、ノイズ等の各種補正処理を施す。特にカメラ信号前処理部４１に含まれるフレーム演算処理部５１は、長時間露光の多重露光時に、フレーム加算やフレーム減算のフレーム演算処理を施す処理部である。
【００３６】
カメラ信号後処理部４２は、カメラ信号前処理部４１による処理が施された被写体の撮像信号から、輝度信号と色差信号からなる映像信号を生成する。カメラ信号処理部２２のカメラ信号前処理部４１からは、撮像素子からの入力信号形式（Ｒａｗデータ形式）の映像信号が出力され、カメラ信号処理部２２のカメラ信号後処理部４２からは、輝度及び色差信号形式の映像信号が出力され、それらの信号は、メモリコントローラ１１（図１）を介して、メモリ１２（図１）に供給される。
【００３７】
図３は、図２に示したフレーム演算処理部５１の構成例を示すブロック図である。フレーム演算処理部５１は、オフセット減算部７１、フレーム加算部７２、フレーム減算部７３、及び出力信号選択部７４から構成されている。
【００３８】
オフセット減算部７１は、撮像素子６からの入力映像信号に対し、特に長時間露光時に生じる暗電流起因の黒信号レベルの増加による感度やダイナミックレンジの低下を抑制するために、一定のオフセット信号成分を減じる。オフセット減算部７１には、メモリ１２内に保持された映像信号もメモリコントローラ１１を介して入力され、撮像素子６からの入力信号とは別のオフセット成分の減算処理を行う。オフセット減算部７１でのダイナミックレンジの低下抑制の原理については後述する。
【００３９】
フレーム加算部７２は、オフセット減算部７１にてオフセット減算処理の施された撮像素子入力系、及びメモリ入力系の各々の映像信号に対し、多重露光時の画像合成処理を施す。フレーム減算部７３は、長時間露光時に生じる暗電流起因の固定パターンノイズの発生に対し、メモリ入力系の撮像被写体信号と、被写体からの撮像光を遮光し、前記被写体撮像時と同一時間露光した状態で得られる撮像素子入力系の黒信号との減算処理を実行する。この処理により、暗電流起因の固定パターンノイズが低減される。
【００４０】
出力信号選択部７４は、オフセット減算部７１、フレーム加算部７２、またはフレーム減算部７３からの出力信号から１つの出力信号を選択し、後段の処理部に出力する。
【００４１】
ここで、オフセット減算部７１でのダイナミックレンジ低下の抑制について、図４と図５を参照して模式的に説明を行う。まず、図４Ａは、通常露光時間（長時間露光ではない状況）での、撮像素子６への入射光量と出力信号レベルを模式的に示したものである。通常露光時は、暗電流起因の黒信号レベル増加の影響はないため、出力信号のダイナミックレンジは十分に広く得られる。
【００４２】
これに対し、図４Ｂに示すように、長時間露光時は、暗電流起因の黒信号レベルの増加が発生するために、出力信号のダイナミックレンジが狭まってしまう。そこで、長時間露光時にダイナミックレンジが狭くならないように、出力信号レベルが飽和する前に、撮像素子６より一旦露光途中で読み出しが行われる。そして、暗電流起因により増加した黒信号レベルのオフセット成分を減算した上でメモリ１２内に保持される。そして引き続き同様に途中読み出しが行われ、オフセット成分を減じた次フレームとのフレーム加算処理が行われる。そのような処理が行われることで、長時間露光時のダイナミックレンジの低下を十分に抑制することが可能となる。
【００４３】
このような処理を模式的に示したものが、図５Ａ乃至図５Ｃに示した図である。途中読み出し段階での出力信号レベルのダイナミックレンジ（図５Ａ、及び図５Ｂ）に対し、オフセット成分を減算しフレーム加算処理を行うことで、出力信号のダイナミックレンジを通常露光時と同様に十分に広く得ることが可能となる（図５Ｃ）。
【００４４】
次に、本発明における多重露光時の処理について説明する前に、本発明における多重露光時の処理と、従来の多重露光時の処理との違いを明確にするために、従来の多重露光時の処理について説明を加える。
【００４５】
図６乃至図８を参照し、従来の多重露光時の処理について説明する。図６Ａは、従来のカメラ信号処理システム（多重露光装置）の構成の概略を示す図である。図６Ａに示すように、従来のカメラ信号処理システムは、撮像素子１００、カメラ信号処理部１０１、メモリコントローラ１０２、及びメモリ１０３を含む構成とされる。
【００４６】
撮像素子１００、カメラ信号処理部１０１、メモリコントローラ１０２、及びメモリ１０３は、それぞれ、図１に示した本発明を適用した多重露光装置の構成において、撮像素子６、カメラ信号処理部２２、メモリコントローラ１１、及びメモリ１２にそれぞれ相当している。
【００４７】
しかしながら、その構成は異なる。図１に示した本発明を適用した多重露光装置は、カメラ信号処理部２２とメモリコントローラ１１間のデータ転送の為のバスが２系統であり、メモリコントローラ１１とメモリ１２間のデータ転送のためのバスも、２系統である。これに対して、図６Ａに示した従来の多重露光装置は、カメラ信号処理部１０１とメモリコントローラ１０２間のデータ転送の為のバスが３系統であり、メモリコントローラ１０２とメモリ１０３間のデータ転送のためのバスも、３系統である。
【００４８】
また、図６Ａに示した従来の多重露光装置には、長時間露光時に生じる暗電流起因の黒信号レベルの増加によるオフセット信号成分を減じるオフセット減算部７１（図３）と同等の機能を有する処理部は、備えられていない。
【００４９】
従来の多重露光装置が３系統のバスを必要とする理由を、従来の多重露光装置が行う多重露光時の処理を説明して明らかにする。
【００５０】
従来の多重露光装置では、まず図６Ｂに示すように、撮像素子１００より被写体信号（Ｒａｗ１）が読み出され、メモリコントローラ１０２を介して、メモリ１０３への書き込みが行われる。続いて、図６Ｃに示すように、シャッターを閉じずに開放したまま、再度、被写体信号（Ｒａｗ２）の読み出しが行われ、メモリコントローラ１０２を介して、被写体信号（Ｒａｗ１）を記録した領域とは異なるメモリ１０３の領域に書き込まれる。この時点で、メモリ１０３には、Ｒａｗ１という被写体信号と、Ｒａｗ２という被写体信号が記憶されている。
【００５１】
このように２つの信号がメモリ１０３に記憶されると、図７Ａに示すように、被写体信号（Ｒａｗ１）と被写体信号（Ｒａｗ２）が、メモリコントローラ１０２を介して、メモリ１０３から読み出される。そして、カメラ信号処理部１０１において、フレーム加算処理が施された合成画像信号（Ｒａｗ１＋Ｒａｗ２）が生成される。その生成された合成画像信号（Ｒａｗ１＋Ｒａｗ２）は、被写体信号（Ｒａｗ１）と被写体信号（Ｒａｗ２）が記録されている領域とは異なるメモリ１０３の領域に書き込まれる。
【００５２】
このように、メモリ１０３に記憶されている２つの被写体信号を読み出し、１つの合成画像信号がメモリ１０３に記憶されるため、多重露光装置は、３系統のバスを必要とする。
【００５３】
前述のように、長時間露光時には、暗電流起因の固定パターンノイズの発生に対し、メモリ入力系の撮像被写体の被写体信号（上記した例の場合、Ｒａｗ１とＲａｗ２）と、被写体からの撮像光を遮光し、被写体の撮像時と同一時間だけ露光した状態で得られる撮像素子入力系の黒信号との減算処理を実行することで、暗電流起因の固定パターンノイズを低減することが可能である。
【００５４】
この処理として図７Ｂに示すように、被写体からの撮像光を遮光し、被写体の撮像時（図６Ｂ）と同一の時間だけ露光した状態で得られる黒信号（黒１）が、撮像素子１００から取得される。そして、その黒信号（黒１）、メモリコントローラ１０２を介して被写体の合成画像信号（Ｒａｗ１＋Ｒａｗ２）が記憶されている領域とは異なるメモリ１０３の領域に書き込まれる。
【００５５】
さらに、図７Ｃに示すように、被写体からの撮像光を遮光したまま、被写体の撮像時（図６Ｃ）と同一時間露光した状態で得られる黒信号（黒２）が撮像素子１００から読み出され、合成画像信号（Ｒａｗ１＋Ｒａｗ２）や黒信号（黒１）が記録されている領域とは異なるメモリ１０３の領域に書き込まれる。
【００５６】
そして、図８Ａに示すように、黒信号（黒１）と黒信号（黒２）が、メモリコントローラ１０２を介してメモリ１０３から読み出され、カメラ信号処理部１０１において、フレーム加算処理が実行され、合成黒信号（黒１＋黒２）が生成される。生成された合成黒信号は、合成画像信号（Ｒａｗ１＋Ｒａｗ２）が記録された領域とは異なるメモリ１０３の領域に書き込まれる。
【００５７】
そして、図８Ｂに示すように、合成画像信号（Ｒａｗ１＋Ｒａｗ２）と合成黒信号（黒１＋黒２）が、メモリコントローラ１０２を介して、メモリ１０３から読み出され、カメラ信号処理部１０１において、フレーム減算処理が施される。減算処理が施された信号は、最終的な合成画像（（Ｒａｗ１＋Ｒａｗ２）−（黒１＋黒２））とされる。このように生成された合成画像（（Ｒａｗ１＋Ｒａｗ２）−（黒１＋黒２））が、メモリ１０３に書き込まれることにより、最終的に長時間露光時の多重露光画像が生成される。
【００５８】
ここでは、２枚の画像（Ｒａｗ１とＲａｗ２）を多重化し、１枚の画像を生成する例を示したが、複数枚の画像を多重介して１枚の画像を生成する場合も同様に行われる。すなわち、通常撮影の後に黒画像が撮影され、それらの画像が合成されることで多重化された画像が生成される。
【００５９】
このような処理を実行する従来の多重露光装置における多重露光撮影方法では、まず、非常に多くのメモリ容量を必要とすることが明らかである。上記した従来の多重露光撮影方式では、２回の多重露光に対し、最終的な多重露光画像を得るまでに、最低３フレーム分のメモリ容量が必要である。よって、多重露光回数（合成画像枚数）が増すにつれ、必要となるフレーム数が増大し、フレームメモリが増大することになる。
【００６０】
そして、露光回数に応じて、一旦メモリ１０３に画像信号を保持するために、処理性能が低下し、処理時間を増大させてしまう。また、フレームの加算や減算といったカメラ信号処理部１０１における演算時、例えば、図７Ａに示したような処理のときに、メモリ１０３への書き込み１系統及びメモリ１０３からの読み出し２系統の計３系統のデータバスが使用され、メモリ１０３とのデータ転送処理が行われるため、メモリ帯域が増大してしまう。
【００６１】
さらに、上述のように、長時間露光時は、暗電流起因の黒信号レベルの増加に伴い、出力信号のダイナミックレンジが狭まる。従来方法においても、メモリ入力系の撮像被写体信号と、被写体からの撮像光を遮光し、被写体撮像時と同一時間露光した状態で得られる撮像素子入力系の黒信号との減算処理を施すことにより、増加黒信号レベルの低減は可能であるが、ダイナミックレンジの拡大には繋がらない。
【００６２】
以下に、本発明における多重露光撮影に係わる処理について説明する。図９Ａは、図１に示した多重露光装置から、説明に必要な部分を抽出した図である。上記したように、カメラ信号処理部２２とメモリコントローラ１１との間でデータの授受が行われるバスは、２系統であり、メモリコントローラ１１とメモリ１２との間でデータの授受が行われるバスも、２系統である。このように、２系統のバスを備えている本発明を適用した多重露光装置における多重露光時の処理について説明する。
【００６３】
まず、図９Ｂに示すように、撮像素子６より通常に撮像された被写体の被写体信号（Ｒａｗ１）が読み出される。この被写体信号（Ｒａｗ１）は、メモリコントローラ１１を介して、メモリ１２に供給され、書き込まれる。
【００６４】
特に、長時間露光時は、出力信号レベルが飽和する前に、撮像素子６より一旦露光途中で読み出しが行われ、暗電流起因により増加した黒信号レベルのオフセット成分が、フレーム演算処理部５１内のオフセット減算部７１（図３）にて減算された上でメモリ１２に書き込まれる。
【００６５】
続いて、図９Ｃに示すように、シャッターを閉じずに開放したまま、再度、通常の被写体の撮像が行われ、その被写体信号（Ｒａｗ２）が撮像素子６から読み出される。この読み出しと同時に、メモリコントローラ１１を介して、先に撮像され、記憶されている被写体信号（Ｒａｗ１）がメモリ１２から読み出され、カメラ信号処理部２２に供給される。被写体信号（Ｒａｗ１）と、被写体信号（Ｒａｗ２）は、カメラ信号処理部２２のフレーム演算処理部５１（図３）に供給される。
【００６６】
フレーム演算処理部５１において、フレーム加算部７２により、フレーム加算処理が施され、合成画像信号（Ｒａｗ１＋Ｒａｗ２）が生成される。この生成された合成画像信号（Ｒａｗ１＋Ｒａｗ２）は、メモリコントローラ１１を介して、メモリ１２に供給され、書き込まれる。
【００６７】
特に、長時間露光時は、出力信号レベルが飽和する前に、撮像素子６より一旦露光途中で読み出しが行われ、暗電流起因により増加した黒信号レベルのオフセット成分がフレーム演算処理部５１内のオフセット減算部７１にて減算され、メモリ１２に書き込まれる。なお、合成画像信号（Ｒａｗ１＋Ｒａｗ２）は、被写体信号（Ｒａｗ１）を記録した領域と同一領域に書き込みが行われても良い。
【００６８】
続いて、図１０Ａに示すように、被写体からの撮像光を遮光し、被写体撮像時（図９Ｂ）と同一の時間だけ露光した状態で得られる黒信号（黒１）が、撮像素子６から読み出される。この読み出しと同時に、メモリ１２から、メモリコントローラ１１を介して、合成画像信号（Ｒａｗ１＋Ｒａｗ２）が読み出される。読み出された黒信号（黒１）と合成画像信号（Ｒａｗ１＋Ｒａｗ２）は、共にフレーム演算処理部５１に供給される。
【００６９】
フレーム演算処理部５１は、フレーム減算部７３において、フレーム減算処理を実行し、合成画像信号（Ｒａｗ１＋Ｒａｗ２−黒１）を生成する。すなわち、フレーム減算部７３は、合成画像信号（Ｒａｗ１＋Ｒａｗ２）から黒信号（黒１）を減算し、その信号を出力信号選択部７４に出力する。出力信号選択部７４は、フレーム減算部７３からの信号を選択し、メモリコントローラ１１に出力する。このような処理が行われることで、合成画像信号（Ｒａｗ１＋Ｒａｗ２）から黒信号（黒１）が減算された合成画像信号（Ｒａｗ１＋Ｒａｗ２−黒１）が、メモリ１２に書き込まれる。
【００７０】
特に、長時間露光時は、出力信号レベルが飽和する前に、撮像素子６より一旦露光途中で読み出しが行われ、暗電流起因により増加した黒信号レベルのオフセット成分がフレーム演算処理部５１内のオフセット減算部７１で減算された後にメモリ１２に書き込まれる。なお、合成画像信号（Ｒａｗ１＋Ｒａｗ２−黒１）は、メモリ１２内の合成画像信号（Ｒａｗ１＋Ｒａｗ２）を記録した領域と同一領域に書き込まれるようにしても良い。
【００７１】
さらに、図１０Ｂに示すように、被写体からの撮像光を遮光したまま、被写体の撮像時（図９Ｃ）と同一の時間だけ露光した状態で得られる黒信号（黒２）が、撮像素子６から読み出される。この読み出しが行われると同時に、メモリ１２から、メモリコントローラ１１を介して、合成画像信号（Ｒａｗ１＋Ｒａｗ２−黒１）が読み出される。この読み出された黒信号（黒２）と合成画像信号（Ｒａｗ１＋Ｒａｗ２−黒１）は、フレーム演算処理部５１に供給される。
【００７２】
フレーム演算処理部５１は、フレーム減算部７３において、フレーム減算処理を実行し、合成画像信号（（Ｒａｗ１＋Ｒａｗ２）−（黒１＋黒２））を生成し、その信号を出力信号選択部７４に出力する。出力信号選択部７４は、フレーム減算部７３からの信号を選択し、メモリコントローラ１１に出力する。このような処理が行われることで、合成画像信号（Ｒａｗ１＋Ｒａｗ２―（黒１））から黒信号（黒２）が減算された合成画像信号（（Ｒａｗ１＋Ｒａｗ２）―（黒１＋黒２））が、メモリ１２に書き込まれる。
【００７３】
このような処理が実行されることで、最終的に長時間露光時の多重露光画像の信号である合成画像信号（（Ｒａｗ１＋Ｒａｗ２）―（黒１＋黒２））が、メモリ１２に記憶される。
【００７４】
特に、長時間露光時は、出力信号レベルが飽和する前に、撮像素子６より一旦露光途中で読み出しが行われ、暗電流起因により増加した黒信号レベルのオフセット成分が、フレーム演算処理部５１内のオフセット減算部７１にて減算された後で、メモリ１２への書き込みが行われる。なお、合成画像信号（（Ｒａｗ１＋Ｒａｗ２）−（黒１＋黒２））は、メモリ１２の合成画像信号（Ｒａｗ１＋Ｒａｗ２−黒１）が記録されていた領域と同一領域に書き込まれるようにしても良い。
【００７５】
以上のように、本発明を適用した多重露光装置、および多重露光装置における処理では、最終的な多重露光画像を得るまでに、最低１フレーム分のメモリ容量があれば良く、メモリ容量の削減が可能である。例えば、図９Ｃに示した例では、メモリ１２に被写体信号（Ｒａｗ１）と合成信号（Ｒａｗ１＋Ｒａｗ２）が記憶されているように図示されているが、被写体信号（Ｒａｗ１）が読み出された後、その被写体信号（Ｒａｗ１）が記憶されていた領域に合成信号（Ｒａｗ１＋Ｒａｗ２）を書き込むことが可能であるので、結果として、１フレーム分の容量がメモリ１２にあれば処理が行えることになる。
【００７６】
また、多重露光回数（合成画像枚数）が増しても、必要となるフレームメモリが増大することはない。よって、上述した例では、２回の多重露光が行われる例を示したが、２回以上の多重露光が行われても、記憶している信号が読み出され、その読み出された領域に生成された信号が書き込まれるので、１フレーム分のメモリ容量があれば処理できる。
【００７７】
そして、フレーム加算やフレーム減算時に、撮像素子からの読み出しと同時にメモリ１２からの読み出しを行った画像に対してフレーム演算処理を施すため、露光回数に応じて、一旦メモリに画像信号を保持する必要がなくなり、処理性能の低下（処理時間の増大）を抑制することが可能である。
【００７８】
また、フレーム演算時、例えば、図９Ｃ、図１０Ａ、図１０Ｂを参照して説明した演算時に、メモリ１２への書き込みは１系統であり、メモリ１２からの読み出しは１系統であるので、合計２系統のデータバスのみを使用し、メモリ１２とのデータ転送処理を行うことが可能となる。よって、メモリ帯域を削減することが可能となる。
【００７９】
さらに長時間露光時には、出力信号レベルが飽和する前に、撮像素子６より一旦露光途中で読み出しが行われ、暗電流起因により増加した黒信号レベルのオフセット成分がフレーム演算処理部５１内のオフセット減算部７１にて減算処理が施されるため、出力信号のダイナミックレンジの欠損を抑制することが可能となる。
【００８０】
ここで、さらにメモリ１２の容量を削減するための多重露光装置の他の構成について図１１を参照して説明する。図１１に示した多重露光装置は、カメラ信号処理部２２とメモリコントローラ１１との間に、Ｒａｗデータ圧縮／伸張部１５１を追加した構成とされている。図１に示した多重露光装置に、Ｒａｗデータ圧縮／伸張部１５１を、カメラ信号処理部２２とメモリコントローラ１１との間に追加した構成とされる。
【００８１】
このＲａｗデータ圧縮／伸張部１５１は、撮像素子６からの入力信号形式（例えば、Ｒ（赤）、Ｇ（緑）、Ｂ（青）からなる原色信号）の所謂Ｒａｗデータ形式のデータを圧縮する圧縮部と、メモリ１２からの圧縮されている信号をＲａｗデータに伸張する伸張部を含む構成とされている。
【００８２】
このＲａｗデータ圧縮／伸張部１５１は、Ｒａｗデータ信号の語長を、固定長または可変長に圧縮及び伸張処理を施すものであり、例えば、１画素当たり１２ビットの信号語長を８ビットにデータ圧縮する処理を施す。
【００８３】
なお、固定長及び可変長のＲａｗデータを圧縮または伸張する方法は、特開２００７−２２８５１５号公報に開示されている方法を適用することができる。
【００８４】
図１１に示したような構成とした場合、メモリコントローラ１１を介して、メモリ１２への書き込みまたは読み出しの処理を行うとき、Ｒａｗデータ圧縮／伸張部１５１において、Ｒａｗデータ信号の圧縮または伸張処理が施される。このため、メモリ１２内に保持される画像信号は、実際のＲａｗデータ信号量よりも少ない量になる。よって、このＲａｗデータ圧縮／伸張部１５１を設けることで、メモリ１２のメモリ容量を、さらに削減することが可能となる。
【００８５】
なお、Ｒａｗデータ圧縮／伸張部１５１が、メモリ１２へのデータを圧縮し、メモリ１２からのデータを伸張するといった処理が含まれる以外の処理は、図９、図１０を参照して説明した多重露光に係わる処理と同様に行われるため、ここではその説明は省略する。また、図９、図１０を参照して説明したように処理が行われるため、Ｒａｗデータ圧縮／伸張部１５１を設けた場合も、上記したようなさまざまな効果を得られることは言うまでもない。
【００８６】
次に、図１１に示したフローチャートを参照し、さらに本実施の形態における多重露光時の処理について説明を加える。
【００８７】
ステップＳ１００において、撮像素子６での露光モードが、通常露光モードか、または被写体からの撮像光を遮光する遮光モードであるのかの判定が行われる。ステップＳ１０１において、通常露光モードではないと判定された場合、換言すれば、遮光モードであると判定された場合、ステップＳ１０１に処理が進められ、シャッターがクローズされ、被写体からの撮像光が遮光され、通常露光時と同一時間の露光が行われる。この処理は、図１０Ａ、図１０Ｂを参照した説明において、黒信号（黒１）や黒信号（黒２）を取得するときの処理である。
【００８８】
一方、ステップＳ１００において、通常露光モードであると判断された場合、または、ステップＳ１０１における全黒露光の処理が終了された場合、ステップＳ１０２に処理が進められる。ステップＳ１０２において、撮像素子６での露光モードが、長時間露光であるか否かが判断される。ステップＳ１０２において、長時間露光モードであると判断された場合、ステップＳ１０３に処理が進められ、出力信号レベルが飽和する前に、撮像素子６より一旦露光途中で読み出しが行われる。そして、ステップＳ１０４において、フレーム演算処理部５１内のオフセット減算部７１は、暗電流起因により増加した黒信号レベルのオフセット成分の減算処理を行う。
【００８９】
一方、ステップＳ１０２において、長時間露光モードではないと判定された場合、撮像素子６により通常の読み出し処理が実行される。通常の読み出し処理とは、撮像素子６より一旦露光途中で読み出しが行われないような読み出し処理のことである。
【００９０】
ステップＳ１０４における処理、または、ステップＳ１０５における処理が終了されると、ステップＳ１０６に処理が進められる。ステップＳ１０６において、処理フレーム数の判定が行われ、処理されているフレームが第１フレームであるか否かが判定される。ステップＳ１０６において、処理されているフレームが第１フレームではないと判定された場合、ステップＳ１０７に処理が進められる。ステップＳ１０７において、撮像素子６での露光モードの判定が再度行われる。ステップＳ１０７において、通常露光モードであると判断された場合、ステップＳ１０８に処理が進められる。
【００９１】
ステップＳ１０８において、フレーム加算部７２は、フレーム加算処理を実行し、合成画像信号を生成する。この処理は、例えば、図９Ｃを参照して説明した処理である。すなわち、図９Ｃを参照して説明した例によると、多重する被写体信号（Ｒａｗ１）と被写体信号（Ｒａｗ２）を加算する処理である。図１２に示したフローチャートにおいては、ステップＳ１００乃至Ｓ１０７の処理で、撮像素子６からの被写体信号が取得され、後述するステップＳ１１５までの処理で、メモリ１２からの被写体信号が取得され、それらの取得される信号が、ステップＳ１０８で加算されることになる。
【００９２】
一方、ステップＳ１０７において、通常露光モードではないと判断された場合、換言すれば、遮光露光モードであると判断された場合、ステップＳ１０９に処理が進められる。ステップＳ１０９において、フレーム減算部７３は、フレーム減算処理を施し合成画像信号の生成を行う。この処理は、例えば、図１０Ａや図１０Ｂを参照して説明した処理である。すなわち、図１０Ａを参照して説明した例によると、合成画像信号（Ｒａｗ１＋Ｒａｗ２）から黒信号（黒１）を減算し、合成画像信号（Ｒａｗ１＋Ｒａｗ２―黒１）を生成する処理である。図１２に示したフローチャートにおいては、ステップＳ１００乃至Ｓ１０７の処理で、撮像素子６からの黒信号が取得され、後述するステップＳ１１５までの処理で、メモリ１２からの合成信号が取得され、それらの取得される信号で、ステップＳ１０９での減算処理が実行されることになる。
【００９３】
一方、ステップＳ１０６において、処理しているフレームは、第１フレームであると判定された場合、ステップＳ１１０に処理が進められる。ステップＳ１１０の処理には、ステップＳ１０８の処理またはステップＳ１０９の処理が終了された場合も来る。ステップＳ１１０において、出力信号選択部７４は、オフセット減算部７１からの出力信号、フレーム加算部７２からの出力信号、または、フレーム減算部７３からの出力信号のうちの１つの出力信号を選択し、メモリコントローラ１１に対して出力する。この出力信号選択部７４における出力信号の選択は、ステップＳ１１０への処理に、ステップＳ１０６から来たときには、オフセット減算部７１からの出力信号が選択され、ステップＳ１０８から来たときには、フレーム加算部７２からの出力信号が選択され、ステップＳ１０９から来たときには、オフセット減算部７３からの出力信号が選択される。
【００９４】
図１１に示したようなＲａｗデータ圧縮／伸張部１５１を備える構成と多重露光装置を構成した場合、ステップＳ１１１において、出力信号選択部７４にて選択されたＲａｗデータ信号に対して圧縮処理が施される。ステップＳ１１２において、圧縮処理が施された信号がメモリコントローラ１１を介して、メモリ１２に供給され、書き込まれる。
【００９５】
そして、ステップＳ１１３において、多重露光処理の終了判定処理が行われる。ステップＳ１１３において、所定の多重露光回数に達していないと判定された場合、再びステップＳ１００に処理が戻され、ステップＳ１００以下の処理が再び繰り返されると同時に、ステップＳ１１４以下の処理が実行される。ステップＳ１００以下の処理が繰り返されることにより、撮像素子６からの被写体信号または黒信号が取得されると共に、ステップＳ１１４以下の処理が実行されることにより、メモリ１２から信号が読み出される。すなわち、ステップＳ１１４において、メモリコントローラ１１を介して、メモリ１２からの読み出し処理が実行され、ステップＳ１１５において、Ｒａｗデータ圧縮／伸張部１５１において、メモリ１２から読み出されたＲａｗデータ信号の伸張処理が施される。
【００９６】
このようにして、伸張された信号は、フレーム演算処理部５１へと入力される。そして、ステップＳ１０７において、露光モードの判定処理が行われ、所定のフレーム演算処理が施される。このような処理が、所定の多重露光回数に達するまで繰り返し行われる。
【００９７】
一方、ステップＳ１１３にて、所定の多重露光回数に達し、多重露光終了と判定された場合、処理は終了される。
【００９８】
以上のように、本発明によれば、まず、最終的な多重露光画像を得るまでに、最低１フレーム分のメモリ容量があれば良く、メモリ容量の削減が可能である。また、多重露光回数（合成画像枚数）が増しても、必要となるフレームメモリが増大することはない。また、Ｒａｗデータ圧縮／伸張処理部１５１を付加することによって、更なるメモリ容量の削減が可能である。
【００９９】
そして、フレーム加算やフレーム減算時に、撮像素子６からの読み出しと同時にメモリ１２からの読み出しを行った画像に対してフレーム演算処理を施すため、露光回数に応じて、一旦メモリ１２に画像信号を保持する必要はないため、処理性能の低下（処理時間の増大）を抑制することが可能である。
【０１００】
また、フレーム演算時に、メモリ１２への書き込み１系統及びメモリ１２からの読み出し１系統の計２系統のデータバスのみを使用しメモリ１２とのデータ転送処理を行うため、メモリ帯域を削減可能である。
【０１０１】
さらに、長時間露光時は、出力信号レベルが飽和する前に、撮像素子より一旦露光途中で読み出しを行い、暗電流起因により増加した黒信号レベルのオフセット成分をフレーム演算処理部５１内のオフセット減算部７１にて減算処理を施すため、出力信号のダイナミックレンジの欠損を抑制可能である。
【０１０２】
なお、上述した実施の形態においては、２重露光（２フレーム）の場合の多重露光撮影方法の例を示したが、３重露光以上の任意の多重露光回数に対しても同様の効果を奏する。
【０１０３】
上述した実施の形態においては、信号処理部９を集積回路（ハードウェア）で構成する例を示し説明したが、上述した構成の全て、あるいはその一部を、コンピュータ等を利用してソフトウエア的に実現するようにしてもよく、この場合においても本実施の形態と同様の効果を奏する。
【０１０４】
一連の処理をソフトウエアにより実行させる場合には、そのソフトウエアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、プログラム記録媒体からインストールされる。
【０１０５】
図１３は、上述した一連の処理をプログラムにより実行するパーソナルコンピュータのハードウェアの構成の例を示すブロック図である。
【０１０６】
コンピュータにおいて、ＣＰＵ（Central Processing Unit）２０１、ＲＯＭ（Read Only Memory）２０２、ＲＡＭ（Random Access Memory）２０３は、バス２０４により相互に接続されている。
【０１０７】
バス２０４には、さらに、入出力インターフェース２０５が接続されている。入出力インターフェース２０５には、キーボード、マウス、マイクロホンなどよりなる入力部２０６、ディスプレイ、スピーカなどよりなる出力部２０７、ハードディスクや不揮発性のメモリなどよりなる記憶部２０８、ネットワークインタフェースなどよりなる通信部２０９、磁気ディスク、光ディスク、光磁気ディスク、あるいは半導体メモリなどのリムーバブルメディア２１１を駆動するドライブ２１０が接続されている。
【０１０８】
以上のように構成されるコンピュータでは、ＣＰＵ２０１が、例えば、記憶部２０８に記憶されているプログラムを、入出力インターフェース２０５及びバス２０４を介して、ＲＡＭ２０３にロードして実行することにより、上述した一連の処理が行われる。
【０１０９】
コンピュータ（ＣＰＵ２０１）が実行するプログラムは、例えば、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(Compact Disc-Read Only Memory),DVD(Digital Versatile Disc)等）、光磁気ディスク、もしくは半導体メモリなどよりなるパッケージメディアであるリムーバブルメディア２１１に記録して、あるいは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供される。
【０１１０】
そして、プログラムは、リムーバブルメディア２１１をドライブ２１０に装着することにより、入出力インターフェース２０５を介して、記憶部２０８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部２０９で受信し、記憶部２０８にインストールすることができる。その他、プログラムは、ＲＯＭ２０２や記憶部２０８に、あらかじめインストールしておくことができる。
【０１１１】
なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
【０１１２】
また、本明細書において、システムとは、複数の装置により構成される装置全体を表すものである。
【０１１３】
なお、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。
【図面の簡単な説明】
【０１１４】
【図１】本発明を適用した多重露光装置の一実施の形態の構成を示す図である。
【図２】カメラ信号処理部の内部構成例を示す図である。
【図３】フレーム演算処理部の内部構成例を示す図である。
【図４】ダイナミックレンジについて説明するための図である。
【図５】ダイナミックレンジについて説明するための図である。
【図６】従来の多重露光に関する処理について説明する図である。
【図７】従来の多重露光に関する処理について説明する図である。
【図８】従来の多重露光に関する処理について説明する図である。
【図９】本発明を適用した多重露光に関する処理について説明する図である。
【図１０】本発明を適用した多重露光に関する処理について説明する図である。
【図１１】多重露光装置の他の構成を示す図である。
【図１２】多重露光装置の処理について説明するフローチャートである。
【図１３】記録媒体について説明する図である。
【符号の説明】
【０１１５】
１ レンズ， ２ モータ， ３ モータ駆動部， ４ アイリス， ５ 駆動回路， ６ 撮像素子， ７ 駆動回路， ８ フロントエンド処理部， ９ 信号処理部， １０ システム制御部， １１ メモリコントローラ， １２ メモリ， ２１ 同期信号生成部， ２２ カメラ信号処理部， ２３ 制御演算処理部， ２４ 解像度変換部２４， ４１ カメラ信号前処理部， ４２ カメラ信号後処理部， ５１ フレーム演算処理部， ７１ オフセット減算部， ７２ フレーム加算部， ７３ フレーム減算部， ７４ 出力信号選択部
【技術分野】
【０００１】
本発明は撮像装置及び方法、プログラム、並びに記録媒体に関し、特に、多重露光時の処理に適用して好適な撮像装置及び方法、プログラム、並びに記録媒体に関する。
【背景技術】
【０００２】
画像を撮影するカメラにおいて、多重露光という撮影手法がある。多重露光とは、単一フレームに同一被写体、または複数の被写体を２度以上露光する撮影手法であり、複数の画像を重ね合わせて合成画像を生成する技術である。特に、スローシャッターやバルブシャッターを利用した長時間露光時の多重露光撮影では、夜景や花火等の芸術的効果の高い写真が撮影可能となる技術である。
【０００３】
記録媒体としてフィルムを用いるフィルムカメラにおいては、フィルムを巻き上げずに複数回のシャッターを切ることにより多重露光撮影を実現可能であった。近年普及しているデジタルスチルカメラやデジタルビデオカメラ等のデジタル撮像機器においては、フィルムカメラと同様の処理で多重露光を実現することはできない。しかしながら、フィルムカメラからの流れで、デジタル撮像機器においても多重露光機能の実現が要望され、徐々に普及しつつある。
【０００４】
デジタル撮像機器において多重露光機能を実現しようとした場合、合成画像を生成するための複数の画像を保持する必要があり、複数の画像を保持するためのメモリ等の大規模容量の記憶素子が必要となる。そのために撮像機器が、大規模になってしまい、高コストになってしまう。特に、近年の撮像素子の多画素化及び小型化の潮流下においては、より大規模となってしまう可能性があった。
【０００５】
また、メモリ容量の大規模化と共に、メモリ帯域が増大化してしまう。メモリ帯域の増大は、メモリを利用する他の機能との競合を発生させ、撮影速度等の撮像機器のシステム全体の処理性能に大きな影響を与える。
【０００６】
さらに、長時間露光時の多重露光においては、固体撮像素子の所謂暗電流起因の黒信号レベルの増加並びに固定パターンノイズの発生により、撮像素子の感度やダイナミックレンジを低減させ、撮像多重露光画像の画質を劣化させる。この暗電流は、半導体の熱励起による電子−正孔対の発生に起因するものであり、温度や固体撮像素子の電荷の蓄積時間に比例して影響が大きくなる性質を有する。
【０００７】
特許文献１には、複数画像中の主被写体部分を抽出して主要画像信号を生成し、隣接する２つの主要画像信号間の差分画像を記録することにより、合成画像を生成するのに必要なメモリ容量を低減する多重露光撮影方法が提案されている。
【特許文献１】特開２００１−２８７２６号公報
【発明の開示】
【発明が解決しようとする課題】
【０００８】
上記した特許文献１においては、画像抽出手段や第１及び第２の主要画像保持手段等を別途必要とするため、機器全体としての小型化には繋がらず、また画像抽出という処理が付加されるため、処理速度が低下してしまう。また、特許文献１においては、長時間露光時の多重露光においての感度やダイナミックレンジの低下という課題は解決できない。
【０００９】
本発明は、このような状況に鑑みてなされたものであり、デジタルスチルカメラ等のデジタル撮像機器における多重露光において、メモリ容量やメモリ帯域を削減し、また、長時間露光時の感度やダイナミックレンジの欠損を抑制し、かつ処理性能を向上させた多重露光ができるようにするものである。
【課題を解決するための手段】
【００１０】
本発明の一側面の撮像装置は、単一フレームに同一の被写体、または複数の被写体を２度以上露光し、複数の画像を重ね合わせて合成画像を生成するとき、前記フレームの加算または減算を行うフレーム演算手段と、前記フレーム演算手段による演算結果を記憶する記憶手段とを備え、前記フレーム演算手段と前記記憶手段との間は、前記記憶手段への書き込み１系統と、前記記憶手段からの読み出し１系統の計２系統のデータバスを具備する。
【００１１】
前記フレーム演算手段は、撮像素子からの信号に対し、一定のオフセット信号成分を減じるオフセット減算手段を含むようにすることができる。
【００１２】
前記撮像素子からの出力信号レベルが飽和する前に前記撮像素子より一旦露光途中で読み出しを行い、前記オフセット減算手段によるオフセット成分の減算処理を施すようにすることができる。
【００１３】
前記フレーム演算手段からのＲａｗデータ形式の信号を圧縮した後、前記記憶手段に記憶し、前記記憶手段からの圧縮された信号をＲａｗデータ形式に伸張した後、前記フレーム演算手段に供給するようにすることができる。
【００１４】
前記フレーム演算手段は、フレーム加算及びフレーム減算の処理時に、撮像素子からの読み出しと同時に、前記記憶手段から読み出した画像に対してフレーム演算処理を施すようにすることができる。
【００１５】
本発明の一側面の撮像装置においては、単一フレームに同一の被写体、または複数の被写体を２度以上露光し、複数の画像を重ね合わせて合成画像を生成するとき、フレームの加算または減算を行うフレーム演算手段と、フレーム演算手段による演算結果を記憶する記憶手段との間には、記憶手段への書き込み１系統と、記憶手段からの読み出し１系統の計２系統のデータバスが具備される。
【００１６】
本発明の一側面の撮像方法は、撮像素子、前記撮像素子からの信号を記憶する記憶手段、前記撮像素子からの信号と前記記憶手段に記憶されている信号とを用いた演算を行う演算手段とを少なくとも含む撮像装置の撮像方法において、前記撮像素子から所定の被写体を撮像したときの信号を前記記憶手段に記憶し、さらに前記信号が取得されたとき、前記演算手段は、前記記憶手段に記憶されている前記信号を読み出し、取得された信号と加算し、前記記憶手段に記憶し、前記加算が所定の回数繰り返された後、前記演算手段は、前記信号を取得したときの露光時間と同じ時間だけ露光したときに取得される黒信号を前記撮像素子から取得し、前記記憶手段に記憶されている前記信号を読み出し、その信号から前記黒信号を減算し、前記記憶手段に記憶し、前記減算を前記所定の回数だけ繰り返すステップを含む。
【００１７】
前記撮像素子からの信号に対し、一定のオフセット信号成分を減じるオフセット減算ステップをさらに含むようにすることができる。
【００１８】
前記撮像素子からの出力信号レベルが飽和する前に前記撮像素子より一旦露光途中で読み出しを行い、前記オフセット減算ステップによるオフセット成分の減算処理を施すようにすることができる。
【００１９】
本発明の一側面のプログラムは、撮像素子、前記撮像素子からの信号を記憶する記憶手段、および、前記撮像素子からの信号及び前記記憶手段に記憶されている信号を用いた演算を行う演算手段とを少なくとも含む撮像装置に、前記撮像素子から所定の被写体を撮像したときの信号を前記記憶手段に記憶し、さらに前記信号が取得されたとき、前記演算手段は、前記記憶手段に記憶されている前記信号を読み出し、取得された信号と加算し、前記記憶手段に記憶し、前記加算が所定の回数繰り返された後、前記演算手段は、前記信号を取得したときの露光時間と同じ時間だけ露光したときに取得される黒信号を前記撮像素子から取得し、前記記憶手段に記憶されている前記信号を読み出し、その信号から前記黒信号を減算し、前記記憶手段に記憶し、前記減算を前記所定の回数だけ繰り返すステップを含む処理を実行させるコンピュータが読み取り可能なプログラム。
【００２０】
本発明の一側面の記録媒体は、撮像素子、前記撮像素子からの信号を記憶する記憶手段、および、前記撮像素子からの信号及び前記記憶手段に記憶されている信号を用いた演算を行う演算手段とを少なくとも含む撮像装置に、前記撮像素子から所定の被写体を撮像したときの信号を前記記憶手段に記憶し、さらに前記信号が取得されたとき、前記演算手段は、前記記憶手段に記憶されている前記信号を読み出し、取得された信号と加算し、前記記憶手段に記憶し、前記加算が所定の回数繰り返された後、前記演算手段は、前記信号を取得したときの露光時間と同じ時間だけ露光したときに取得される黒信号を前記撮像素子から取得し、前記記憶手段に記憶されている前記信号を読み出し、その信号から前記黒信号を減算し、前記記憶手段に記憶し、前記減算を前記所定の回数だけ繰り返すステップを含む処理を実行させるコンピュータが読み取り可能なプログラムを記録している。
【００２１】
本発明の一側面の撮像方法、およびプログラムにおいては、撮像素子から所定の被写体を撮像したときの信号が記憶され、さらに信号が取得されたとき、記憶されている信号が読み出され、取得された信号と加算され、記憶手段に戻され、そのような加算が所定の回数繰り返されると、信号を取得したときの露光時間と同じ時間だけ露光したときに取得される黒信号が取得され、記憶されている信号が読み出され、その読み出された信号から黒信号が減算され、記憶手段に戻され、そのような減算が所定の回数だけ繰り返されることで、多重露光時の画像が生成される。
【発明の効果】
【００２２】
本発明の一側面によれば、デジタルスチルカメラ等のデジタル撮像機器における多重露光において、メモリ容量やメモリ帯域を削減し、また、長時間露光時の感度やダイナミックレンジの欠損を抑制し、かつ処理性能を向上させた多重露光ができるようになる。
【発明を実施するための最良の形態】
【００２３】
以下に、本発明の実施の形態について図面を参照して説明する。
【００２４】
図１は、本発明を適用した多重露光装置の一実施の形態の構成を示す図である。本発明を適用した多重露光装置は、例えば、デジタルスチルカメラやデジタルビデオカメラなどのデジタル撮像機器に適用したり、組み込んだりして用いることが可能である。
【００２５】
図１に示した多重露光装置は、レンズ１、モータ２、モータ駆動部３、アイリス４、駆動回路５、撮像素子６、駆動回路７、フロントエンド（F/E：Front End）処理部８、信号処理部９、システム制御部１０、メモリコントローラ１１、及びメモリ１２を含む構成とされている。また、信号処理部９は、同期信号生成部２１、カメラ信号処理部２２、制御演算処理部２３、及び解像度変換部２４を含む構成とされている。
【００２６】
レンズ１は、光源からの入射光及び撮像被写体からの反射光を集光する。モータ２は、モータ駆動部３の制御で駆動され、被写体の焦点距離及び焦点位置にレンズ１を移動する。モータ駆動部３は、システム制御部１０からの制御信号に従い動作するものであり、ユーザの変倍動作に応じて焦点距離、すなわちズーム位置を決定し、その決定に応じて、モータ２を制御する。
【００２７】
アイリス４は、駆動回路５により駆動され、被写体照度に応じた絞りの調整や、レンズ１を通過した光の量（光量）、すなわち露出の決定等の処理を行う。撮像素子６は、駆動回路７によりアイリス４を通過した光信号に光電変換処理を施し、電荷信号として後段に出力する。撮像素子６は、例えば、CCD（Charge Coupled Device）や、CMOS（Complementary Metal-Oxide Semiconductor）といった素子で構成される。
【００２８】
フロントエンド処理部８は、アナログの電荷信号にノイズ除去、増幅等の処理を施しデジタル信号に変換する。フロントエンド処理部８は、図示しないが、入力信号をサンプリング（標本化）後に一定値にサンプルホールド（保持）するCDS（Correlated Double Sampling）部、増幅処理を行うオートゲインコントロール（Automatic Gain Control）部、そして、アナログからデジタルへの変換を行うA/D変換部で構成されている。なお、フロントエンド処理部８は、撮像素子６と同一基盤上に形成されても良い（所謂カラムAD方式イメージセンサ等）。
【００２９】
信号処理部９は、フロントエンド処理部８でデジタル信号に変換された撮像被写体信号に対し、レンズ１、アイリス４、撮像素子６等に起因する各種補正処理を施す。また、信号処理部９は、システム制御部１０からの制御信号に従い、AWB（Auto White Balance：オートホワイトバランス）、AE（Automatic Exposure：自動露出）、AF（Auto Focus：自動焦点）に代表されるカメラ制御処理を施し、被写体の映像信号（輝度信号及び色差信号）を生成する。
【００３０】
信号処理部９は、水平・垂直方向の同期信号や各種タイミング信号を生成する同期信号生成部２１、システム制御部１０からの制御信号により制御処理を施し被写体映像信号を生成するカメラ信号処理部２２、被写体映像信号に対し制御処理を施すための各種演算処理を行う制御演算処理部２３、及び被写体映像信号に対し解像度の変換や歪みの補正処理を行う解像度変換部２４から構成される。
【００３１】
信号処理部９において処理された映像信号は、ＪＰＥＧ（Joint Photographic Experts Group）やＭＰＥＧ（Moving Picture Experts Group）に代表される画像圧縮処理等を施すビデオ系信号処理部（不図示）へと供給される。
【００３２】
メモリコントローラ１１は、システム制御部１０からの制御信号に従い、信号処理部９からの映像信号とメモリ１２間とのデータ転送を制御する。なお、映像信号は、撮像素子６からの入力信号形式（例えば、Ｒ（赤）、Ｇ（緑）、Ｂ（青）からなる原色信号：所謂Ｒａｗデータ形式）、及び輝度及び色差信号形式のいずれの信号形式からも構成されるものである。また、メモリ１２は、撮像被写体の映像信号の保持等に使用される記憶素子である。
【００３３】
このような構成において、信号処理部９は集積回路（ハードウェア）で実現でき、システム制御部１０はCPU（Central Processor Unit）で実現することができる。
【００３４】
図２は、図１に示したカメラ信号処理部２２の構成例を示すブロック図である。カメラ信号処理部２２は、カメラ信号前処理部４１とカメラ信号後処理部４２を含む構成とされ、カメラ信号前処理部４１は、フレーム演算処理部５１を含む構成とされる。
【００３５】
カメラ信号前処理部４１は、同期信号生成部２１（図１）からの各種同期信号を用いて、フロントエンド処理部８からの撮像被写体信号に、レンズ１、アイリス４、撮像素子６等に起因する欠陥画素や、シェーディング、ノイズ等の各種補正処理を施す。特にカメラ信号前処理部４１に含まれるフレーム演算処理部５１は、長時間露光の多重露光時に、フレーム加算やフレーム減算のフレーム演算処理を施す処理部である。
【００３６】
カメラ信号後処理部４２は、カメラ信号前処理部４１による処理が施された被写体の撮像信号から、輝度信号と色差信号からなる映像信号を生成する。カメラ信号処理部２２のカメラ信号前処理部４１からは、撮像素子からの入力信号形式（Ｒａｗデータ形式）の映像信号が出力され、カメラ信号処理部２２のカメラ信号後処理部４２からは、輝度及び色差信号形式の映像信号が出力され、それらの信号は、メモリコントローラ１１（図１）を介して、メモリ１２（図１）に供給される。
【００３７】
図３は、図２に示したフレーム演算処理部５１の構成例を示すブロック図である。フレーム演算処理部５１は、オフセット減算部７１、フレーム加算部７２、フレーム減算部７３、及び出力信号選択部７４から構成されている。
【００３８】
オフセット減算部７１は、撮像素子６からの入力映像信号に対し、特に長時間露光時に生じる暗電流起因の黒信号レベルの増加による感度やダイナミックレンジの低下を抑制するために、一定のオフセット信号成分を減じる。オフセット減算部７１には、メモリ１２内に保持された映像信号もメモリコントローラ１１を介して入力され、撮像素子６からの入力信号とは別のオフセット成分の減算処理を行う。オフセット減算部７１でのダイナミックレンジの低下抑制の原理については後述する。
【００３９】
フレーム加算部７２は、オフセット減算部７１にてオフセット減算処理の施された撮像素子入力系、及びメモリ入力系の各々の映像信号に対し、多重露光時の画像合成処理を施す。フレーム減算部７３は、長時間露光時に生じる暗電流起因の固定パターンノイズの発生に対し、メモリ入力系の撮像被写体信号と、被写体からの撮像光を遮光し、前記被写体撮像時と同一時間露光した状態で得られる撮像素子入力系の黒信号との減算処理を実行する。この処理により、暗電流起因の固定パターンノイズが低減される。
【００４０】
出力信号選択部７４は、オフセット減算部７１、フレーム加算部７２、またはフレーム減算部７３からの出力信号から１つの出力信号を選択し、後段の処理部に出力する。
【００４１】
ここで、オフセット減算部７１でのダイナミックレンジ低下の抑制について、図４と図５を参照して模式的に説明を行う。まず、図４Ａは、通常露光時間（長時間露光ではない状況）での、撮像素子６への入射光量と出力信号レベルを模式的に示したものである。通常露光時は、暗電流起因の黒信号レベル増加の影響はないため、出力信号のダイナミックレンジは十分に広く得られる。
【００４２】
これに対し、図４Ｂに示すように、長時間露光時は、暗電流起因の黒信号レベルの増加が発生するために、出力信号のダイナミックレンジが狭まってしまう。そこで、長時間露光時にダイナミックレンジが狭くならないように、出力信号レベルが飽和する前に、撮像素子６より一旦露光途中で読み出しが行われる。そして、暗電流起因により増加した黒信号レベルのオフセット成分を減算した上でメモリ１２内に保持される。そして引き続き同様に途中読み出しが行われ、オフセット成分を減じた次フレームとのフレーム加算処理が行われる。そのような処理が行われることで、長時間露光時のダイナミックレンジの低下を十分に抑制することが可能となる。
【００４３】
このような処理を模式的に示したものが、図５Ａ乃至図５Ｃに示した図である。途中読み出し段階での出力信号レベルのダイナミックレンジ（図５Ａ、及び図５Ｂ）に対し、オフセット成分を減算しフレーム加算処理を行うことで、出力信号のダイナミックレンジを通常露光時と同様に十分に広く得ることが可能となる（図５Ｃ）。
【００４４】
次に、本発明における多重露光時の処理について説明する前に、本発明における多重露光時の処理と、従来の多重露光時の処理との違いを明確にするために、従来の多重露光時の処理について説明を加える。
【００４５】
図６乃至図８を参照し、従来の多重露光時の処理について説明する。図６Ａは、従来のカメラ信号処理システム（多重露光装置）の構成の概略を示す図である。図６Ａに示すように、従来のカメラ信号処理システムは、撮像素子１００、カメラ信号処理部１０１、メモリコントローラ１０２、及びメモリ１０３を含む構成とされる。
【００４６】
撮像素子１００、カメラ信号処理部１０１、メモリコントローラ１０２、及びメモリ１０３は、それぞれ、図１に示した本発明を適用した多重露光装置の構成において、撮像素子６、カメラ信号処理部２２、メモリコントローラ１１、及びメモリ１２にそれぞれ相当している。
【００４７】
しかしながら、その構成は異なる。図１に示した本発明を適用した多重露光装置は、カメラ信号処理部２２とメモリコントローラ１１間のデータ転送の為のバスが２系統であり、メモリコントローラ１１とメモリ１２間のデータ転送のためのバスも、２系統である。これに対して、図６Ａに示した従来の多重露光装置は、カメラ信号処理部１０１とメモリコントローラ１０２間のデータ転送の為のバスが３系統であり、メモリコントローラ１０２とメモリ１０３間のデータ転送のためのバスも、３系統である。
【００４８】
また、図６Ａに示した従来の多重露光装置には、長時間露光時に生じる暗電流起因の黒信号レベルの増加によるオフセット信号成分を減じるオフセット減算部７１（図３）と同等の機能を有する処理部は、備えられていない。
【００４９】
従来の多重露光装置が３系統のバスを必要とする理由を、従来の多重露光装置が行う多重露光時の処理を説明して明らかにする。
【００５０】
従来の多重露光装置では、まず図６Ｂに示すように、撮像素子１００より被写体信号（Ｒａｗ１）が読み出され、メモリコントローラ１０２を介して、メモリ１０３への書き込みが行われる。続いて、図６Ｃに示すように、シャッターを閉じずに開放したまま、再度、被写体信号（Ｒａｗ２）の読み出しが行われ、メモリコントローラ１０２を介して、被写体信号（Ｒａｗ１）を記録した領域とは異なるメモリ１０３の領域に書き込まれる。この時点で、メモリ１０３には、Ｒａｗ１という被写体信号と、Ｒａｗ２という被写体信号が記憶されている。
【００５１】
このように２つの信号がメモリ１０３に記憶されると、図７Ａに示すように、被写体信号（Ｒａｗ１）と被写体信号（Ｒａｗ２）が、メモリコントローラ１０２を介して、メモリ１０３から読み出される。そして、カメラ信号処理部１０１において、フレーム加算処理が施された合成画像信号（Ｒａｗ１＋Ｒａｗ２）が生成される。その生成された合成画像信号（Ｒａｗ１＋Ｒａｗ２）は、被写体信号（Ｒａｗ１）と被写体信号（Ｒａｗ２）が記録されている領域とは異なるメモリ１０３の領域に書き込まれる。
【００５２】
このように、メモリ１０３に記憶されている２つの被写体信号を読み出し、１つの合成画像信号がメモリ１０３に記憶されるため、多重露光装置は、３系統のバスを必要とする。
【００５３】
前述のように、長時間露光時には、暗電流起因の固定パターンノイズの発生に対し、メモリ入力系の撮像被写体の被写体信号（上記した例の場合、Ｒａｗ１とＲａｗ２）と、被写体からの撮像光を遮光し、被写体の撮像時と同一時間だけ露光した状態で得られる撮像素子入力系の黒信号との減算処理を実行することで、暗電流起因の固定パターンノイズを低減することが可能である。
【００５４】
この処理として図７Ｂに示すように、被写体からの撮像光を遮光し、被写体の撮像時（図６Ｂ）と同一の時間だけ露光した状態で得られる黒信号（黒１）が、撮像素子１００から取得される。そして、その黒信号（黒１）、メモリコントローラ１０２を介して被写体の合成画像信号（Ｒａｗ１＋Ｒａｗ２）が記憶されている領域とは異なるメモリ１０３の領域に書き込まれる。
【００５５】
さらに、図７Ｃに示すように、被写体からの撮像光を遮光したまま、被写体の撮像時（図６Ｃ）と同一時間露光した状態で得られる黒信号（黒２）が撮像素子１００から読み出され、合成画像信号（Ｒａｗ１＋Ｒａｗ２）や黒信号（黒１）が記録されている領域とは異なるメモリ１０３の領域に書き込まれる。
【００５６】
そして、図８Ａに示すように、黒信号（黒１）と黒信号（黒２）が、メモリコントローラ１０２を介してメモリ１０３から読み出され、カメラ信号処理部１０１において、フレーム加算処理が実行され、合成黒信号（黒１＋黒２）が生成される。生成された合成黒信号は、合成画像信号（Ｒａｗ１＋Ｒａｗ２）が記録された領域とは異なるメモリ１０３の領域に書き込まれる。
【００５７】
そして、図８Ｂに示すように、合成画像信号（Ｒａｗ１＋Ｒａｗ２）と合成黒信号（黒１＋黒２）が、メモリコントローラ１０２を介して、メモリ１０３から読み出され、カメラ信号処理部１０１において、フレーム減算処理が施される。減算処理が施された信号は、最終的な合成画像（（Ｒａｗ１＋Ｒａｗ２）−（黒１＋黒２））とされる。このように生成された合成画像（（Ｒａｗ１＋Ｒａｗ２）−（黒１＋黒２））が、メモリ１０３に書き込まれることにより、最終的に長時間露光時の多重露光画像が生成される。
【００５８】
ここでは、２枚の画像（Ｒａｗ１とＲａｗ２）を多重化し、１枚の画像を生成する例を示したが、複数枚の画像を多重介して１枚の画像を生成する場合も同様に行われる。すなわち、通常撮影の後に黒画像が撮影され、それらの画像が合成されることで多重化された画像が生成される。
【００５９】
このような処理を実行する従来の多重露光装置における多重露光撮影方法では、まず、非常に多くのメモリ容量を必要とすることが明らかである。上記した従来の多重露光撮影方式では、２回の多重露光に対し、最終的な多重露光画像を得るまでに、最低３フレーム分のメモリ容量が必要である。よって、多重露光回数（合成画像枚数）が増すにつれ、必要となるフレーム数が増大し、フレームメモリが増大することになる。
【００６０】
そして、露光回数に応じて、一旦メモリ１０３に画像信号を保持するために、処理性能が低下し、処理時間を増大させてしまう。また、フレームの加算や減算といったカメラ信号処理部１０１における演算時、例えば、図７Ａに示したような処理のときに、メモリ１０３への書き込み１系統及びメモリ１０３からの読み出し２系統の計３系統のデータバスが使用され、メモリ１０３とのデータ転送処理が行われるため、メモリ帯域が増大してしまう。
【００６１】
さらに、上述のように、長時間露光時は、暗電流起因の黒信号レベルの増加に伴い、出力信号のダイナミックレンジが狭まる。従来方法においても、メモリ入力系の撮像被写体信号と、被写体からの撮像光を遮光し、被写体撮像時と同一時間露光した状態で得られる撮像素子入力系の黒信号との減算処理を施すことにより、増加黒信号レベルの低減は可能であるが、ダイナミックレンジの拡大には繋がらない。
【００６２】
以下に、本発明における多重露光撮影に係わる処理について説明する。図９Ａは、図１に示した多重露光装置から、説明に必要な部分を抽出した図である。上記したように、カメラ信号処理部２２とメモリコントローラ１１との間でデータの授受が行われるバスは、２系統であり、メモリコントローラ１１とメモリ１２との間でデータの授受が行われるバスも、２系統である。このように、２系統のバスを備えている本発明を適用した多重露光装置における多重露光時の処理について説明する。
【００６３】
まず、図９Ｂに示すように、撮像素子６より通常に撮像された被写体の被写体信号（Ｒａｗ１）が読み出される。この被写体信号（Ｒａｗ１）は、メモリコントローラ１１を介して、メモリ１２に供給され、書き込まれる。
【００６４】
特に、長時間露光時は、出力信号レベルが飽和する前に、撮像素子６より一旦露光途中で読み出しが行われ、暗電流起因により増加した黒信号レベルのオフセット成分が、フレーム演算処理部５１内のオフセット減算部７１（図３）にて減算された上でメモリ１２に書き込まれる。
【００６５】
続いて、図９Ｃに示すように、シャッターを閉じずに開放したまま、再度、通常の被写体の撮像が行われ、その被写体信号（Ｒａｗ２）が撮像素子６から読み出される。この読み出しと同時に、メモリコントローラ１１を介して、先に撮像され、記憶されている被写体信号（Ｒａｗ１）がメモリ１２から読み出され、カメラ信号処理部２２に供給される。被写体信号（Ｒａｗ１）と、被写体信号（Ｒａｗ２）は、カメラ信号処理部２２のフレーム演算処理部５１（図３）に供給される。
【００６６】
フレーム演算処理部５１において、フレーム加算部７２により、フレーム加算処理が施され、合成画像信号（Ｒａｗ１＋Ｒａｗ２）が生成される。この生成された合成画像信号（Ｒａｗ１＋Ｒａｗ２）は、メモリコントローラ１１を介して、メモリ１２に供給され、書き込まれる。
【００６７】
特に、長時間露光時は、出力信号レベルが飽和する前に、撮像素子６より一旦露光途中で読み出しが行われ、暗電流起因により増加した黒信号レベルのオフセット成分がフレーム演算処理部５１内のオフセット減算部７１にて減算され、メモリ１２に書き込まれる。なお、合成画像信号（Ｒａｗ１＋Ｒａｗ２）は、被写体信号（Ｒａｗ１）を記録した領域と同一領域に書き込みが行われても良い。
【００６８】
続いて、図１０Ａに示すように、被写体からの撮像光を遮光し、被写体撮像時（図９Ｂ）と同一の時間だけ露光した状態で得られる黒信号（黒１）が、撮像素子６から読み出される。この読み出しと同時に、メモリ１２から、メモリコントローラ１１を介して、合成画像信号（Ｒａｗ１＋Ｒａｗ２）が読み出される。読み出された黒信号（黒１）と合成画像信号（Ｒａｗ１＋Ｒａｗ２）は、共にフレーム演算処理部５１に供給される。
【００６９】
フレーム演算処理部５１は、フレーム減算部７３において、フレーム減算処理を実行し、合成画像信号（Ｒａｗ１＋Ｒａｗ２−黒１）を生成する。すなわち、フレーム減算部７３は、合成画像信号（Ｒａｗ１＋Ｒａｗ２）から黒信号（黒１）を減算し、その信号を出力信号選択部７４に出力する。出力信号選択部７４は、フレーム減算部７３からの信号を選択し、メモリコントローラ１１に出力する。このような処理が行われることで、合成画像信号（Ｒａｗ１＋Ｒａｗ２）から黒信号（黒１）が減算された合成画像信号（Ｒａｗ１＋Ｒａｗ２−黒１）が、メモリ１２に書き込まれる。
【００７０】
特に、長時間露光時は、出力信号レベルが飽和する前に、撮像素子６より一旦露光途中で読み出しが行われ、暗電流起因により増加した黒信号レベルのオフセット成分がフレーム演算処理部５１内のオフセット減算部７１で減算された後にメモリ１２に書き込まれる。なお、合成画像信号（Ｒａｗ１＋Ｒａｗ２−黒１）は、メモリ１２内の合成画像信号（Ｒａｗ１＋Ｒａｗ２）を記録した領域と同一領域に書き込まれるようにしても良い。
【００７１】
さらに、図１０Ｂに示すように、被写体からの撮像光を遮光したまま、被写体の撮像時（図９Ｃ）と同一の時間だけ露光した状態で得られる黒信号（黒２）が、撮像素子６から読み出される。この読み出しが行われると同時に、メモリ１２から、メモリコントローラ１１を介して、合成画像信号（Ｒａｗ１＋Ｒａｗ２−黒１）が読み出される。この読み出された黒信号（黒２）と合成画像信号（Ｒａｗ１＋Ｒａｗ２−黒１）は、フレーム演算処理部５１に供給される。
【００７２】
フレーム演算処理部５１は、フレーム減算部７３において、フレーム減算処理を実行し、合成画像信号（（Ｒａｗ１＋Ｒａｗ２）−（黒１＋黒２））を生成し、その信号を出力信号選択部７４に出力する。出力信号選択部７４は、フレーム減算部７３からの信号を選択し、メモリコントローラ１１に出力する。このような処理が行われることで、合成画像信号（Ｒａｗ１＋Ｒａｗ２―（黒１））から黒信号（黒２）が減算された合成画像信号（（Ｒａｗ１＋Ｒａｗ２）―（黒１＋黒２））が、メモリ１２に書き込まれる。
【００７３】
このような処理が実行されることで、最終的に長時間露光時の多重露光画像の信号である合成画像信号（（Ｒａｗ１＋Ｒａｗ２）―（黒１＋黒２））が、メモリ１２に記憶される。
【００７４】
特に、長時間露光時は、出力信号レベルが飽和する前に、撮像素子６より一旦露光途中で読み出しが行われ、暗電流起因により増加した黒信号レベルのオフセット成分が、フレーム演算処理部５１内のオフセット減算部７１にて減算された後で、メモリ１２への書き込みが行われる。なお、合成画像信号（（Ｒａｗ１＋Ｒａｗ２）−（黒１＋黒２））は、メモリ１２の合成画像信号（Ｒａｗ１＋Ｒａｗ２−黒１）が記録されていた領域と同一領域に書き込まれるようにしても良い。
【００７５】
以上のように、本発明を適用した多重露光装置、および多重露光装置における処理では、最終的な多重露光画像を得るまでに、最低１フレーム分のメモリ容量があれば良く、メモリ容量の削減が可能である。例えば、図９Ｃに示した例では、メモリ１２に被写体信号（Ｒａｗ１）と合成信号（Ｒａｗ１＋Ｒａｗ２）が記憶されているように図示されているが、被写体信号（Ｒａｗ１）が読み出された後、その被写体信号（Ｒａｗ１）が記憶されていた領域に合成信号（Ｒａｗ１＋Ｒａｗ２）を書き込むことが可能であるので、結果として、１フレーム分の容量がメモリ１２にあれば処理が行えることになる。
【００７６】
また、多重露光回数（合成画像枚数）が増しても、必要となるフレームメモリが増大することはない。よって、上述した例では、２回の多重露光が行われる例を示したが、２回以上の多重露光が行われても、記憶している信号が読み出され、その読み出された領域に生成された信号が書き込まれるので、１フレーム分のメモリ容量があれば処理できる。
【００７７】
そして、フレーム加算やフレーム減算時に、撮像素子からの読み出しと同時にメモリ１２からの読み出しを行った画像に対してフレーム演算処理を施すため、露光回数に応じて、一旦メモリに画像信号を保持する必要がなくなり、処理性能の低下（処理時間の増大）を抑制することが可能である。
【００７８】
また、フレーム演算時、例えば、図９Ｃ、図１０Ａ、図１０Ｂを参照して説明した演算時に、メモリ１２への書き込みは１系統であり、メモリ１２からの読み出しは１系統であるので、合計２系統のデータバスのみを使用し、メモリ１２とのデータ転送処理を行うことが可能となる。よって、メモリ帯域を削減することが可能となる。
【００７９】
さらに長時間露光時には、出力信号レベルが飽和する前に、撮像素子６より一旦露光途中で読み出しが行われ、暗電流起因により増加した黒信号レベルのオフセット成分がフレーム演算処理部５１内のオフセット減算部７１にて減算処理が施されるため、出力信号のダイナミックレンジの欠損を抑制することが可能となる。
【００８０】
ここで、さらにメモリ１２の容量を削減するための多重露光装置の他の構成について図１１を参照して説明する。図１１に示した多重露光装置は、カメラ信号処理部２２とメモリコントローラ１１との間に、Ｒａｗデータ圧縮／伸張部１５１を追加した構成とされている。図１に示した多重露光装置に、Ｒａｗデータ圧縮／伸張部１５１を、カメラ信号処理部２２とメモリコントローラ１１との間に追加した構成とされる。
【００８１】
このＲａｗデータ圧縮／伸張部１５１は、撮像素子６からの入力信号形式（例えば、Ｒ（赤）、Ｇ（緑）、Ｂ（青）からなる原色信号）の所謂Ｒａｗデータ形式のデータを圧縮する圧縮部と、メモリ１２からの圧縮されている信号をＲａｗデータに伸張する伸張部を含む構成とされている。
【００８２】
このＲａｗデータ圧縮／伸張部１５１は、Ｒａｗデータ信号の語長を、固定長または可変長に圧縮及び伸張処理を施すものであり、例えば、１画素当たり１２ビットの信号語長を８ビットにデータ圧縮する処理を施す。
【００８３】
なお、固定長及び可変長のＲａｗデータを圧縮または伸張する方法は、特開２００７−２２８５１５号公報に開示されている方法を適用することができる。
【００８４】
図１１に示したような構成とした場合、メモリコントローラ１１を介して、メモリ１２への書き込みまたは読み出しの処理を行うとき、Ｒａｗデータ圧縮／伸張部１５１において、Ｒａｗデータ信号の圧縮または伸張処理が施される。このため、メモリ１２内に保持される画像信号は、実際のＲａｗデータ信号量よりも少ない量になる。よって、このＲａｗデータ圧縮／伸張部１５１を設けることで、メモリ１２のメモリ容量を、さらに削減することが可能となる。
【００８５】
なお、Ｒａｗデータ圧縮／伸張部１５１が、メモリ１２へのデータを圧縮し、メモリ１２からのデータを伸張するといった処理が含まれる以外の処理は、図９、図１０を参照して説明した多重露光に係わる処理と同様に行われるため、ここではその説明は省略する。また、図９、図１０を参照して説明したように処理が行われるため、Ｒａｗデータ圧縮／伸張部１５１を設けた場合も、上記したようなさまざまな効果を得られることは言うまでもない。
【００８６】
次に、図１１に示したフローチャートを参照し、さらに本実施の形態における多重露光時の処理について説明を加える。
【００８７】
ステップＳ１００において、撮像素子６での露光モードが、通常露光モードか、または被写体からの撮像光を遮光する遮光モードであるのかの判定が行われる。ステップＳ１０１において、通常露光モードではないと判定された場合、換言すれば、遮光モードであると判定された場合、ステップＳ１０１に処理が進められ、シャッターがクローズされ、被写体からの撮像光が遮光され、通常露光時と同一時間の露光が行われる。この処理は、図１０Ａ、図１０Ｂを参照した説明において、黒信号（黒１）や黒信号（黒２）を取得するときの処理である。
【００８８】
一方、ステップＳ１００において、通常露光モードであると判断された場合、または、ステップＳ１０１における全黒露光の処理が終了された場合、ステップＳ１０２に処理が進められる。ステップＳ１０２において、撮像素子６での露光モードが、長時間露光であるか否かが判断される。ステップＳ１０２において、長時間露光モードであると判断された場合、ステップＳ１０３に処理が進められ、出力信号レベルが飽和する前に、撮像素子６より一旦露光途中で読み出しが行われる。そして、ステップＳ１０４において、フレーム演算処理部５１内のオフセット減算部７１は、暗電流起因により増加した黒信号レベルのオフセット成分の減算処理を行う。
【００８９】
一方、ステップＳ１０２において、長時間露光モードではないと判定された場合、撮像素子６により通常の読み出し処理が実行される。通常の読み出し処理とは、撮像素子６より一旦露光途中で読み出しが行われないような読み出し処理のことである。
【００９０】
ステップＳ１０４における処理、または、ステップＳ１０５における処理が終了されると、ステップＳ１０６に処理が進められる。ステップＳ１０６において、処理フレーム数の判定が行われ、処理されているフレームが第１フレームであるか否かが判定される。ステップＳ１０６において、処理されているフレームが第１フレームではないと判定された場合、ステップＳ１０７に処理が進められる。ステップＳ１０７において、撮像素子６での露光モードの判定が再度行われる。ステップＳ１０７において、通常露光モードであると判断された場合、ステップＳ１０８に処理が進められる。
【００９１】
ステップＳ１０８において、フレーム加算部７２は、フレーム加算処理を実行し、合成画像信号を生成する。この処理は、例えば、図９Ｃを参照して説明した処理である。すなわち、図９Ｃを参照して説明した例によると、多重する被写体信号（Ｒａｗ１）と被写体信号（Ｒａｗ２）を加算する処理である。図１２に示したフローチャートにおいては、ステップＳ１００乃至Ｓ１０７の処理で、撮像素子６からの被写体信号が取得され、後述するステップＳ１１５までの処理で、メモリ１２からの被写体信号が取得され、それらの取得される信号が、ステップＳ１０８で加算されることになる。
【００９２】
一方、ステップＳ１０７において、通常露光モードではないと判断された場合、換言すれば、遮光露光モードであると判断された場合、ステップＳ１０９に処理が進められる。ステップＳ１０９において、フレーム減算部７３は、フレーム減算処理を施し合成画像信号の生成を行う。この処理は、例えば、図１０Ａや図１０Ｂを参照して説明した処理である。すなわち、図１０Ａを参照して説明した例によると、合成画像信号（Ｒａｗ１＋Ｒａｗ２）から黒信号（黒１）を減算し、合成画像信号（Ｒａｗ１＋Ｒａｗ２―黒１）を生成する処理である。図１２に示したフローチャートにおいては、ステップＳ１００乃至Ｓ１０７の処理で、撮像素子６からの黒信号が取得され、後述するステップＳ１１５までの処理で、メモリ１２からの合成信号が取得され、それらの取得される信号で、ステップＳ１０９での減算処理が実行されることになる。
【００９３】
一方、ステップＳ１０６において、処理しているフレームは、第１フレームであると判定された場合、ステップＳ１１０に処理が進められる。ステップＳ１１０の処理には、ステップＳ１０８の処理またはステップＳ１０９の処理が終了された場合も来る。ステップＳ１１０において、出力信号選択部７４は、オフセット減算部７１からの出力信号、フレーム加算部７２からの出力信号、または、フレーム減算部７３からの出力信号のうちの１つの出力信号を選択し、メモリコントローラ１１に対して出力する。この出力信号選択部７４における出力信号の選択は、ステップＳ１１０への処理に、ステップＳ１０６から来たときには、オフセット減算部７１からの出力信号が選択され、ステップＳ１０８から来たときには、フレーム加算部７２からの出力信号が選択され、ステップＳ１０９から来たときには、オフセット減算部７３からの出力信号が選択される。
【００９４】
図１１に示したようなＲａｗデータ圧縮／伸張部１５１を備える構成と多重露光装置を構成した場合、ステップＳ１１１において、出力信号選択部７４にて選択されたＲａｗデータ信号に対して圧縮処理が施される。ステップＳ１１２において、圧縮処理が施された信号がメモリコントローラ１１を介して、メモリ１２に供給され、書き込まれる。
【００９５】
そして、ステップＳ１１３において、多重露光処理の終了判定処理が行われる。ステップＳ１１３において、所定の多重露光回数に達していないと判定された場合、再びステップＳ１００に処理が戻され、ステップＳ１００以下の処理が再び繰り返されると同時に、ステップＳ１１４以下の処理が実行される。ステップＳ１００以下の処理が繰り返されることにより、撮像素子６からの被写体信号または黒信号が取得されると共に、ステップＳ１１４以下の処理が実行されることにより、メモリ１２から信号が読み出される。すなわち、ステップＳ１１４において、メモリコントローラ１１を介して、メモリ１２からの読み出し処理が実行され、ステップＳ１１５において、Ｒａｗデータ圧縮／伸張部１５１において、メモリ１２から読み出されたＲａｗデータ信号の伸張処理が施される。
【００９６】
このようにして、伸張された信号は、フレーム演算処理部５１へと入力される。そして、ステップＳ１０７において、露光モードの判定処理が行われ、所定のフレーム演算処理が施される。このような処理が、所定の多重露光回数に達するまで繰り返し行われる。
【００９７】
一方、ステップＳ１１３にて、所定の多重露光回数に達し、多重露光終了と判定された場合、処理は終了される。
【００９８】
以上のように、本発明によれば、まず、最終的な多重露光画像を得るまでに、最低１フレーム分のメモリ容量があれば良く、メモリ容量の削減が可能である。また、多重露光回数（合成画像枚数）が増しても、必要となるフレームメモリが増大することはない。また、Ｒａｗデータ圧縮／伸張処理部１５１を付加することによって、更なるメモリ容量の削減が可能である。
【００９９】
そして、フレーム加算やフレーム減算時に、撮像素子６からの読み出しと同時にメモリ１２からの読み出しを行った画像に対してフレーム演算処理を施すため、露光回数に応じて、一旦メモリ１２に画像信号を保持する必要はないため、処理性能の低下（処理時間の増大）を抑制することが可能である。
【０１００】
また、フレーム演算時に、メモリ１２への書き込み１系統及びメモリ１２からの読み出し１系統の計２系統のデータバスのみを使用しメモリ１２とのデータ転送処理を行うため、メモリ帯域を削減可能である。
【０１０１】
さらに、長時間露光時は、出力信号レベルが飽和する前に、撮像素子より一旦露光途中で読み出しを行い、暗電流起因により増加した黒信号レベルのオフセット成分をフレーム演算処理部５１内のオフセット減算部７１にて減算処理を施すため、出力信号のダイナミックレンジの欠損を抑制可能である。
【０１０２】
なお、上述した実施の形態においては、２重露光（２フレーム）の場合の多重露光撮影方法の例を示したが、３重露光以上の任意の多重露光回数に対しても同様の効果を奏する。
【０１０３】
上述した実施の形態においては、信号処理部９を集積回路（ハードウェア）で構成する例を示し説明したが、上述した構成の全て、あるいはその一部を、コンピュータ等を利用してソフトウエア的に実現するようにしてもよく、この場合においても本実施の形態と同様の効果を奏する。
【０１０４】
一連の処理をソフトウエアにより実行させる場合には、そのソフトウエアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、プログラム記録媒体からインストールされる。
【０１０５】
図１３は、上述した一連の処理をプログラムにより実行するパーソナルコンピュータのハードウェアの構成の例を示すブロック図である。
【０１０６】
コンピュータにおいて、ＣＰＵ（Central Processing Unit）２０１、ＲＯＭ（Read Only Memory）２０２、ＲＡＭ（Random Access Memory）２０３は、バス２０４により相互に接続されている。
【０１０７】
バス２０４には、さらに、入出力インターフェース２０５が接続されている。入出力インターフェース２０５には、キーボード、マウス、マイクロホンなどよりなる入力部２０６、ディスプレイ、スピーカなどよりなる出力部２０７、ハードディスクや不揮発性のメモリなどよりなる記憶部２０８、ネットワークインタフェースなどよりなる通信部２０９、磁気ディスク、光ディスク、光磁気ディスク、あるいは半導体メモリなどのリムーバブルメディア２１１を駆動するドライブ２１０が接続されている。
【０１０８】
以上のように構成されるコンピュータでは、ＣＰＵ２０１が、例えば、記憶部２０８に記憶されているプログラムを、入出力インターフェース２０５及びバス２０４を介して、ＲＡＭ２０３にロードして実行することにより、上述した一連の処理が行われる。
【０１０９】
コンピュータ（ＣＰＵ２０１）が実行するプログラムは、例えば、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(Compact Disc-Read Only Memory),DVD(Digital Versatile Disc)等）、光磁気ディスク、もしくは半導体メモリなどよりなるパッケージメディアであるリムーバブルメディア２１１に記録して、あるいは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供される。
【０１１０】
そして、プログラムは、リムーバブルメディア２１１をドライブ２１０に装着することにより、入出力インターフェース２０５を介して、記憶部２０８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部２０９で受信し、記憶部２０８にインストールすることができる。その他、プログラムは、ＲＯＭ２０２や記憶部２０８に、あらかじめインストールしておくことができる。
【０１１１】
なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
【０１１２】
また、本明細書において、システムとは、複数の装置により構成される装置全体を表すものである。
【０１１３】
なお、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。
【図面の簡単な説明】
【０１１４】
【図１】本発明を適用した多重露光装置の一実施の形態の構成を示す図である。
【図２】カメラ信号処理部の内部構成例を示す図である。
【図３】フレーム演算処理部の内部構成例を示す図である。
【図４】ダイナミックレンジについて説明するための図である。
【図５】ダイナミックレンジについて説明するための図である。
【図６】従来の多重露光に関する処理について説明する図である。
【図７】従来の多重露光に関する処理について説明する図である。
【図８】従来の多重露光に関する処理について説明する図である。
【図９】本発明を適用した多重露光に関する処理について説明する図である。
【図１０】本発明を適用した多重露光に関する処理について説明する図である。
【図１１】多重露光装置の他の構成を示す図である。
【図１２】多重露光装置の処理について説明するフローチャートである。
【図１３】記録媒体について説明する図である。
【符号の説明】
【０１１５】
１ レンズ， ２ モータ， ３ モータ駆動部， ４ アイリス， ５ 駆動回路， ６ 撮像素子， ７ 駆動回路， ８ フロントエンド処理部， ９ 信号処理部， １０ システム制御部， １１ メモリコントローラ， １２ メモリ， ２１ 同期信号生成部， ２２ カメラ信号処理部， ２３ 制御演算処理部， ２４ 解像度変換部２４， ４１ カメラ信号前処理部， ４２ カメラ信号後処理部， ５１ フレーム演算処理部， ７１ オフセット減算部， ７２ フレーム加算部， ７３ フレーム減算部， ７４ 出力信号選択部
【特許請求の範囲】
【請求項１】
単一フレームに同一の被写体、または複数の被写体を２度以上露光し、複数の画像を重ね合わせて合成画像を生成するとき、前記フレームの加算または減算を行うフレーム演算手段と、
前記フレーム演算手段による演算結果を記憶する記憶手段と
を備え、
前記フレーム演算手段と前記記憶手段との間は、前記記憶手段への書き込み１系統と、前記記憶手段からの読み出し１系統の計２系統のデータバスを具備する
撮像装置。
【請求項２】
前記フレーム演算手段は、撮像素子からの信号に対し、一定のオフセット信号成分を減じるオフセット減算手段を含む
請求項１に記載の撮像装置。
【請求項３】
前記撮像素子からの出力信号レベルが飽和する前に前記撮像素子より一旦露光途中で読み出しを行い、前記オフセット減算手段によるオフセット成分の減算処理を施す
請求項２に記載の撮像装置。
【請求項４】
前記フレーム演算手段からのＲａｗデータ形式の信号を圧縮した後、前記記憶手段に記憶し、前記記憶手段からの圧縮された信号をＲａｗデータ形式に伸張した後、前記フレーム演算手段に供給する
請求項１に記載の撮像装置。
【請求項５】
前記フレーム演算手段は、フレーム加算及びフレーム減算の処理時に、撮像素子からの読み出しと同時に、前記記憶手段から読み出した画像に対してフレーム演算処理を施す
請求項１に記載の撮像装置。
【請求項６】
撮像素子、前記撮像素子からの信号を記憶する記憶手段、前記撮像素子からの信号と前記記憶手段に記憶されている信号とを用いた演算を行う演算手段とを少なくとも含む撮像装置の撮像方法において、
前記撮像素子から所定の被写体を撮像したときの信号を前記記憶手段に記憶し、
さらに前記信号が取得されたとき、前記演算手段は、前記記憶手段に記憶されている前記信号を読み出し、取得された信号と加算し、前記記憶手段に記憶し、
前記加算が所定の回数繰り返された後、前記演算手段は、
前記信号を取得したときの露光時間と同じ時間だけ露光したときに取得される黒信号を前記撮像素子から取得し、前記記憶手段に記憶されている前記信号を読み出し、その信号から前記黒信号を減算し、前記記憶手段に記憶し、
前記減算を前記所定の回数だけ繰り返す
ステップを含む撮像方法。
【請求項７】
前記撮像素子からの信号に対し、一定のオフセット信号成分を減じるオフセット減算ステップをさらに含む
請求項６に記載の撮像方法。
【請求項８】
前記撮像素子からの出力信号レベルが飽和する前に前記撮像素子より一旦露光途中で読み出しを行い、前記オフセット減算ステップによるオフセット成分の減算処理を施す
請求項７に記載の撮像方法。
【請求項９】
撮像素子、前記撮像素子からの信号を記憶する記憶手段、および、前記撮像素子からの信号及び前記記憶手段に記憶されている信号を用いた演算を行う演算手段とを少なくとも含む撮像装置に、
前記撮像素子から所定の被写体を撮像したときの信号を前記記憶手段に記憶し、
さらに前記信号が取得されたとき、前記演算手段は、前記記憶手段に記憶されている前記信号を読み出し、取得された信号と加算し、前記記憶手段に記憶し、
前記加算が所定の回数繰り返された後、前記演算手段は、
前記信号を取得したときの露光時間と同じ時間だけ露光したときに取得される黒信号を前記撮像素子から取得し、前記記憶手段に記憶されている前記信号を読み出し、その信号から前記黒信号を減算し、前記記憶手段に記憶し、
前記減算を前記所定の回数だけ繰り返す
ステップを含む処理を実行させるコンピュータが読み取り可能なプログラム。
【請求項１０】
撮像素子、前記撮像素子からの信号を記憶する記憶手段、および、前記撮像素子からの信号及び前記記憶手段に記憶されている信号を用いた演算を行う演算手段とを少なくとも含む撮像装置に、
前記撮像素子から所定の被写体を撮像したときの信号を前記記憶手段に記憶し、
さらに前記信号が取得されたとき、前記演算手段は、前記記憶手段に記憶されている前記信号を読み出し、取得された信号と加算し、前記記憶手段に記憶し、
前記加算が所定の回数繰り返された後、前記演算手段は、
前記信号を取得したときの露光時間と同じ時間だけ露光したときに取得される黒信号を前記撮像素子から取得し、前記記憶手段に記憶されている前記信号を読み出し、その信号から前記黒信号を減算し、前記記憶手段に記憶し、
前記減算を前記所定の回数だけ繰り返す
ステップを含む処理を実行させるコンピュータが読み取り可能なプログラムを記録している記録媒体。
【請求項１】
単一フレームに同一の被写体、または複数の被写体を２度以上露光し、複数の画像を重ね合わせて合成画像を生成するとき、前記フレームの加算または減算を行うフレーム演算手段と、
前記フレーム演算手段による演算結果を記憶する記憶手段と
を備え、
前記フレーム演算手段と前記記憶手段との間は、前記記憶手段への書き込み１系統と、前記記憶手段からの読み出し１系統の計２系統のデータバスを具備する
撮像装置。
【請求項２】
前記フレーム演算手段は、撮像素子からの信号に対し、一定のオフセット信号成分を減じるオフセット減算手段を含む
請求項１に記載の撮像装置。
【請求項３】
前記撮像素子からの出力信号レベルが飽和する前に前記撮像素子より一旦露光途中で読み出しを行い、前記オフセット減算手段によるオフセット成分の減算処理を施す
請求項２に記載の撮像装置。
【請求項４】
前記フレーム演算手段からのＲａｗデータ形式の信号を圧縮した後、前記記憶手段に記憶し、前記記憶手段からの圧縮された信号をＲａｗデータ形式に伸張した後、前記フレーム演算手段に供給する
請求項１に記載の撮像装置。
【請求項５】
前記フレーム演算手段は、フレーム加算及びフレーム減算の処理時に、撮像素子からの読み出しと同時に、前記記憶手段から読み出した画像に対してフレーム演算処理を施す
請求項１に記載の撮像装置。
【請求項６】
撮像素子、前記撮像素子からの信号を記憶する記憶手段、前記撮像素子からの信号と前記記憶手段に記憶されている信号とを用いた演算を行う演算手段とを少なくとも含む撮像装置の撮像方法において、
前記撮像素子から所定の被写体を撮像したときの信号を前記記憶手段に記憶し、
さらに前記信号が取得されたとき、前記演算手段は、前記記憶手段に記憶されている前記信号を読み出し、取得された信号と加算し、前記記憶手段に記憶し、
前記加算が所定の回数繰り返された後、前記演算手段は、
前記信号を取得したときの露光時間と同じ時間だけ露光したときに取得される黒信号を前記撮像素子から取得し、前記記憶手段に記憶されている前記信号を読み出し、その信号から前記黒信号を減算し、前記記憶手段に記憶し、
前記減算を前記所定の回数だけ繰り返す
ステップを含む撮像方法。
【請求項７】
前記撮像素子からの信号に対し、一定のオフセット信号成分を減じるオフセット減算ステップをさらに含む
請求項６に記載の撮像方法。
【請求項８】
前記撮像素子からの出力信号レベルが飽和する前に前記撮像素子より一旦露光途中で読み出しを行い、前記オフセット減算ステップによるオフセット成分の減算処理を施す
請求項７に記載の撮像方法。
【請求項９】
撮像素子、前記撮像素子からの信号を記憶する記憶手段、および、前記撮像素子からの信号及び前記記憶手段に記憶されている信号を用いた演算を行う演算手段とを少なくとも含む撮像装置に、
前記撮像素子から所定の被写体を撮像したときの信号を前記記憶手段に記憶し、
さらに前記信号が取得されたとき、前記演算手段は、前記記憶手段に記憶されている前記信号を読み出し、取得された信号と加算し、前記記憶手段に記憶し、
前記加算が所定の回数繰り返された後、前記演算手段は、
前記信号を取得したときの露光時間と同じ時間だけ露光したときに取得される黒信号を前記撮像素子から取得し、前記記憶手段に記憶されている前記信号を読み出し、その信号から前記黒信号を減算し、前記記憶手段に記憶し、
前記減算を前記所定の回数だけ繰り返す
ステップを含む処理を実行させるコンピュータが読み取り可能なプログラム。
【請求項１０】
撮像素子、前記撮像素子からの信号を記憶する記憶手段、および、前記撮像素子からの信号及び前記記憶手段に記憶されている信号を用いた演算を行う演算手段とを少なくとも含む撮像装置に、
前記撮像素子から所定の被写体を撮像したときの信号を前記記憶手段に記憶し、
さらに前記信号が取得されたとき、前記演算手段は、前記記憶手段に記憶されている前記信号を読み出し、取得された信号と加算し、前記記憶手段に記憶し、
前記加算が所定の回数繰り返された後、前記演算手段は、
前記信号を取得したときの露光時間と同じ時間だけ露光したときに取得される黒信号を前記撮像素子から取得し、前記記憶手段に記憶されている前記信号を読み出し、その信号から前記黒信号を減算し、前記記憶手段に記憶し、
前記減算を前記所定の回数だけ繰り返す
ステップを含む処理を実行させるコンピュータが読み取り可能なプログラムを記録している記録媒体。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【公開番号】特開２０１０−５６７３３（Ｐ２０１０−５６７３３Ａ）
【公開日】平成２２年３月１１日（２０１０．３．１１）
【国際特許分類】
【出願番号】特願２００８−２１８０１０（Ｐ２００８−２１８０１０）
【出願日】平成２０年８月２７日（２００８．８．２７）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
【公開日】平成２２年３月１１日（２０１０．３．１１）
【国際特許分類】
【出願日】平成２０年８月２７日（２００８．８．２７）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
[ Back to top ]