撮像装置および撮像装置の制御方法
【課題】 本発明の目的は、連写によって得られた複数の画像を用いた合成画像を簡単な操作で作成可能な撮像装置および撮像方法を提供することである。
【解決手段】 ２枚の画像上の同一アドレスの画素値を所定の閾値と比較し、少なくとも一方が前記所定の閾値を超えるとき、小さくない方の値で前記第２の画素値を更新する。これを複数画面分の画像データに対して繰り返させた後のメモリ内の画像データを用いて、合成画像データを生成することを特徴とする。
【解決手段】 ２枚の画像上の同一アドレスの画素値を所定の閾値と比較し、少なくとも一方が前記所定の閾値を超えるとき、小さくない方の値で前記第２の画素値を更新する。これを複数画面分の画像データに対して繰り返させた後のメモリ内の画像データを用いて、合成画像データを生成することを特徴とする。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置および撮像装置の制御方法に関するものである。
【背景技術】
【０００２】
従来、花火のような光の軌跡を撮影するためには、シャッタ秒時を長秒に設定するマニュアル露出で撮影するか、あるいは連写によって得られた複数の画像を用いて合成画像を作成する方法があった。
【０００３】
特許文献１では、被写体を所定の時間間隔で連続的に撮影して得られた所定コマ数分の画像を時系列順に保持し、時系列的な合成範囲を指定した、合成処理が行われている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００５−０８６２２８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、上述の特許文献１に開示された方法では、所望の合成画像を得るための操作が複雑で煩わしいという問題があった。
【０００６】
そこで、本発明の目的は、連写によって得られた複数の画像を用いた所望の合成画像を、簡単な操作で作成可能な撮像装置および撮像方法を提供することである。
【課題を解決するための手段】
【０００７】
上記目的を達成するために、本発明の撮像装置は、請求項１に記載のとおり、被写体を撮像し、画像データを出力する撮像手段と、前記撮像手段から出力される１画面分の画像データを保持可能な容量を有するメモリと、前記撮像手段から出力される第１の画像データの第１の画素値と、前記メモリに保持された１画面分の第２の画像データの、前記第１の画像データの前記第１の画素値と同一アドレスの第２の画素値との両方を、所定の閾値と比較する比較手段と、前記比較手段による比較で前記第１及び前記第２の画素値のうち少なくとも一方が前記所定の閾値を超えるとき、前記第１及び前記第２の画素値のうち、小さくない方の値で前記第２の画素値を更新する更新手段と、前記比較手段に前記比較を、前記更新手段に前記更新を、複数画面分の画像データに対して繰り返させた後の前記メモリ内の画像データを用いて、前記複数画面分の画像データの合成画像データを生成する制御手段と、を有することを特徴とする。
【０００８】
また、本発明の撮像装置は、請求項１６に記載のとおり、被写体を撮像し、画像データを出力する撮像手段と、前記撮像手段から得られる複数の画像データを画素ごとに合成して合成画像データを生成する合成手段と、を有し、前記合成手段は、前記複数の画像データの同一アドレスの各画素値の少なくとも１つが所定の閾値よりも大きければ、前記各画素値のうちの最大値を当該アドレスの画素値とし、前記複数の画像データの同一アドレスの各画素値がすべて所定の閾値より小さければ、前記各画素値の平均値を当該アドレスの画素値として、１画面分の前記合成画像データを生成することを特徴とする。
【０００９】
また、本発明の撮像装置の制御方法は、請求項１７に記載のとおり、被写体を撮像し、画像データを出力する撮像手段と、前記撮像手段から出力される１画面分の画像データを保持可能な容量を有するメモリと、を有する撮像装置であって、前記撮像手段から出力される第１の画像データの第１の画素値と、前記メモリに保持された１画面分の第２の画像データの前記第１の画像データの前記第１の画素値と同一アドレスの第２の画素値との両方を、所定の閾値と比較する比較ステップと、前記比較ステップでの比較で前記第１及び前記第２の画素値のうち少なくとも一方が前記所定の閾値を超えるとき、前記第１及び前記第２の画素値のうち、小さくない方の値で前記第２の画素値を更新する更新ステップと、
前記比較ステップと前記更新ステップを、複数画面分の画像データに対して繰り返した後の前記メモリ内の画像データを用いて、前記複数画面分の画像データの合成画像データを生成する生成ステップと、を有することを特徴とする。
【００１０】
また、本発明の撮像装置の制御方法は、請求項１８に記載のとおり、被写体を撮像し、画像データを出力する撮像手段と、前記撮像手段から得られる複数の画像データを画素ごとに合成して合成画像データを生成する合成手段と、を有する撮像装置の制御方法であって、前記複数の画像データの同一アドレスの各画素値と所定の閾値とを比較する比較ステップと、前記比較ステップでの比較で前記各画素値の少なくとも１つが所定の閾値よりも大きければ、前記各画素値のうちの最大値を当該アドレスの画素値とし、前記比較ステップでの比較で前記各画素値がすべて所定の閾値より小さければ、前記各画素値の平均値を当該アドレスの画素値として、１画面分の前記合成画像データを生成する生成ステップと、を有することを特徴とする。
【発明の効果】
【００１１】
本発明によれば、連写によって得られた複数の画像を用いた合成画像を簡単な操作で作成可能となる。
【図面の簡単な説明】
【００１２】
【図１】本発明における撮像装置
【図２】第１の実施形態における撮像装置の駆動方法
【図３】第１の実施形態における撮像素子の駆動タイミング
【図４】第１の実施形態における撮影画像と合成後の画像
【図５】第２の実施形態における撮像装置の駆動方法
【図６】第２の実施形態における撮像素子の駆動タイミング
【図７】第２の実施形態における撮影画像と合成後の画像
【図８】第３の実施形態における撮像装置の駆動方法
【図９】第３の実施形態における撮影画像と合成後の画像
【発明を実施するための形態】
【００１３】
以下に、本発明の好ましい実施の形態を、添付の図面に基づいて詳細に説明する。
【００１４】
（第１の実施形態）
本実施形態では、閾値を超える大きい信号値を選択的に保存することと、低輝度部の信号値を平均して保存することを、信号値に応じて切り替える。
【００１５】
以下、図１を参照して、本発明の第１の実施形態による、撮像装置の構成について説明する。
【００１６】
１００１は被写体像を結像させるためのレンズであり、ここでは光量を調整するための絞りも含むものとする。
１００２はレンズの光路上に配置されているメカニカルシャッタである。
１００３はレンズ１００１で結像した被写体像を撮像し、電気的な情報に変換するための撮像部である。本発明では、撮像部に含まれる撮像素子としてＣＭＯＳイメージセンサやＣＣＤイメージセンサが使用される。また、撮像部１００３には撮像素子のほかにＣＤＳ回路（相関二重サンプリング回路）やＡＧＣ回路（オートゲインコントロール回路）を含むものとして扱う。撮像部１００３の出力は画像データとして比較部１００６、バッファメモリ１００４に出力される。
【００１７】
１００４は撮像部１００３からの情報を一時的に保持可能なバッファメモリであり、少なくとも撮像部１００３からの１画面分の情報を蓄える容量を持つ。
１００５は撮像装置を制御するためのＣＰＵでありレンズ１００１、メカニカルシャッタ１００２、撮像部１００３の他に、後に説明する表示部１００９、外部メモリ１００８を制御する。
【００１８】
１００６は撮像部１００３から出力される信号と、バッファメモリ１００４に記録されている信号を比較するための比較部である。
１００７は比較部１００６の比較結果と撮像部１００３からの出力信号値、バッファメモリ１００４に記録されている信号値を基に演算を行う演算処理部である。
【００１９】
１００８はバッファメモリ１００４に蓄えられた信号をＣＰＵ１００５で処理して作成された画像を保存する外部メモリである。
１００９は撮影条件や、スルー画など、撮像装置の各種情報を表示するための表示部である。
１０１０は撮影のトリガとなるシャッタボタンや、撮影の中断を行う撮影中断ボタン、撮影条件設定ボタンなどを含む操作部であり、押下されたボタンによりＣＰＵ１００５の判断で各種動作を行う。
【００２０】
また、操作部１０１０は、ユーザの意図する操作が可能であれば、その形状はボタンに限定されず、リング、面圧力センサなどでもよい。
１０１１は、演算部１００７から出力される画像信号に対して公知のホワイトバランス処理、色空間変換処理等の現像処理などを行う信号処理部である。
その他撮像装置に備えられる一般的な部材及び処理ブロックについては、本件とは直接関係しないため省略する。
【００２１】
次に、図２を用いて本発明における撮像装置の動作を説明する。
図２は本発明における撮影時のフローチャートである。各処理はＣＰＵ１００５あるいはＣＰＵ１００５の指示により各部で実行される。
【００２２】
まず、閾値ＫＲ、ＫＧ、ＫＢの設定を行う（Ｓ１００１）、これらの閾値は、撮像素子のカラーフィルタ毎に設定される。
上記理由としては、撮像装置でよく用いられる赤（Ｒ）、緑（Ｇ）、青（Ｂ）、のカラーフィルタをベイヤー配列に配置した撮像素子では、白い被写体に対し、カラーフィルタによって感度差が生じるためである。
【００２３】
また、太陽光や蛍光灯などの光源の種類によっても、上記カラーフィルタの感度比は変化する。
【００２４】
上記を鑑み、輝度値Ｙに対して、Ｒ画素、Ｇ画素、Ｂ画素の各カラーフィルタの閾値ＫＲ、ＫＧ、ＫＢを下式（１）のように計算することができる。
ＫＲ＝（Ｙ＋１．４０２００×Ｃｒ）／ＷＢｒ
ＫＧ＝（Ｙ−０．３４４１４×Ｃｂ−０．７１４１４×Ｃｒ）／ＷＢｇ （１）
ＫＢ＝（Ｙ＋１．７７２００×Ｃｂ）／ＷＢｂ
ここで、Ｃｂ、Ｃｒは色差信号を示す。
【００２５】
上記のように閾値となる輝度値Ｙのみを決めておけば、各カラーフィルタの閾値ＫＲ、ＫＧ、ＫＢは式（１）を用いて自動的に求まる。
【００２６】
各カラーフィルタの信号値からの変換式は下式（２）で表される。
Ｙ＝０．２９８９１×ＳＲ＋０．５８６６１×ＳＧ＋０．１１４４８×ＳＢ
Ｃｂ＝−０．１６８７４×ＳＲ−０．３３１２６×ＳＧ＋０．５００００×ＳＢ （２）
Ｃｒ＝０．５００００×ＳＲ−０．４１８６９×ＳＧ−０．０８１３１×ＳＢ
ここで、ＳＲはＲ画素の信号値、ＳＧはＧ画素の信号値、ＳＢはＢ画素の信号値である。
【００２７】
また、ＷＢｒはＲ画素のホワイトバランス係数、ＷＢｇはＧ画素のホワイトバランス係数、ＷＢｂはＢ画素のホワイトバランス係数であり、もともと信号処理部１０１１（ホワイトバランス処理手段）でのホワイトバランス処理の際に用いられる。
【００２８】
輝度値および、ホワイトバランス係数の詳細については、一般に知られた内容であるためここでは説明しないが、ホワイトバランス係数が決まっている状態にすれば、上記のように輝度値のみの指定でＲＧＢ各カラーフィルタの画素信号値の閾値を簡単に指定できる。
【００２９】
また、上記ホワイトバランス係数は、合成画像撮影前に予備撮影動作（予備露光）を行った結果を用い撮像装置内のプログラムで決定しても良いし、好みの画作りを行うためにユーザが任意に決定しても良い。
また、閾値となる輝度値Ｙについても、撮像装置内に予め値を保持しておいても良いし、好みの画作りを行うためにユーザが任意に決定しても良い。
【００３０】
次に、撮影開始前に指定された露光条件によって、露光を開始する（Ｓ１００２）。
ここでは、露光条件は予めユーザまたは撮像装置のプログラムによって、決定されているものとする。
【００３１】
また、複数枚の画像における露光条件はすべて等しいものとする。
これは、第１の実施形態では時間的に形状の変化する同一の被写体に対し、複数回の露光を行うことを前提としているためである。
【００３２】
また、露光条件の導出方法は本発明特有の信号処理とは直接関係しないため省略する。
また、上記露光条件には、露光時間、絞り値、ＩＳＯ感度（撮像部１００３からの出力の信号ゲインに相当）が挙げられる。
【００３３】
第１の実施形態において、露光時間は１画面の読み出し時間すなわちフレームレートと略等しくなる。これは、複数枚の画像撮影時に、露光しない時間をできるだけ短くすることで、時間と共に位置を変える輝線の軌跡を、合成画像上で途切れること無く連続的にとらえるためである。
【００３４】
また、露光量がオーバーする場合には、絞りを絞って撮像部１００３内の撮像素子への入射光量を制御するか、撮像部１００３内のＡＧＣ回路にて信号ゲインを減らしてフレームレートと露光時間を略等しくすることが好ましい。
また、撮像部１００３内のＡＧＣ回路の信号ゲインが増大すると、ＳＮが悪化するため、「開放でも光量が足りない場合や、被写界深度を深くとるために小絞りにしておく必要がある場合」など絞りで露光量の調整に対応できない場合にゲインをアップすることが望ましい。
【００３５】
露光終了後、撮像素子からの信号は１画素ずつ読み出され（Ｓ１００３）、バッファメモリに保存される（Ｓ１００４）。
上記信号の読み出しは、全画素分が終わるまで繰り返される（Ｓ１００５）。
【００３６】
また読み出しの際には、撮像部１００３内のＡＧＣ回路にて、撮像部１００３からの出力信号に対し適切なゲインをかける。前記作業は予め設定したＩＳＯ感度相当に信号を増やすために必要となる。
【００３７】
次に、２度目の露光が開始される（Ｓ１００６）。
先に述べたように、２度目以降の露光条件についても、１度目の露光条件と等しい。
【００３８】
上記２度目の露光終了後、１画素分の信号を読み出す（Ｓ１００７）。
また前記同様、読み出し時には信号に対し所望のＩＳＯ感度となるよう適切なゲインをかける。
【００３９】
撮像部１００３から読み出された画像データ（第１の画像データ）からの信号をＳｉ（第１の画素値）、バッファメモリ１００４に蓄えられた画像データ（第２の画像データ）のＳｉと対応する画素の信号値をＳｍ（第２の画素値）とする。Ｓｉと「対応する」画素とは、ここでは撮像している被写体が対応している画素のことを指し、画像同士の位置合わせの処理を行わない本実施形態では、同一アドレスの関係にある画素のことを指す。２画像の差分などから画像間のずれ量を算出するなどして位置合わせ処理を行った上で合成する場合には、「対応する」画素は位置合わせ後に同一アドレスとみなされる画素のことを指す。比較部１００６は、Ｓｉ、Ｓｍの両方が予め設定された前記カラーフィルタ毎の閾値ＫＲ、ＫＧ、ＫＢと比較して小さいかどうかを判断する（Ｓ１００８）。
【００４０】
もし小さい場合には、演算処理部１００７が、撮像部１００３から読み出された信号と、バッファメモリ１００４に蓄えられた同一アドレスの信号値の加算平均処理を行い、その結果を同一アドレスの信号値として上書きする（Ｓ１００９）。
【００４１】
この際、前記加算平均処理は、重み付け加算平均処理を行い、撮影される複数画面分の画像データの重みが等しくなるようにすると良い。
具体的には、２番目以降のｎ番目の画像読み出し時における加算平均処理では、重み付けの結果得られる信号値は下記になる。
Ｓｍ’＝（１／ｎ）×Ｓｉ＋（（ｎ−１）／ｎ）×Ｓｍ
上記重み付け加算平均の結果Ｓｍ’をバッファメモリ１００４の同一アドレスに書き込む。
【００４２】
次に、（Ｓ１００８）でＳｉとＳｍの少なくとも一方が閾値以下とならなかった場合は、演算処理部１００７が、ＳｉとＳｍのうち信号値の少なくない方の値でバッファメモリ１００４の同一アドレスに書き込む（Ｓ１０１０）。
【００４３】
上記のように、第１の実施形態では、閾値を超える大きい信号値を選択的に保存することと、低輝度部の信号値を平均して保存することを、信号値に応じて切り替える。
【００４４】
上記のように信号値に応じて処理を変える理由は、すべての画素で大きい信号値を保存するようにした場合に比して、ランダムノイズによる信号浮きを抑えることができるためである。
【００４５】
上記処理を１画面分の信号値が読み出し完了するまで繰り返す（Ｓ１０１１）。
１画面分の信号値が読み出し完了した後に、撮影終了の判定を行う（Ｓ１０１２）。ユーザによる撮影終了の指示があった場合にはそのときメモリ内に生成されている画像データを最終的な合成画像データとして出力し、合成画像取得までの処理を終了する。
【００４６】
撮影終了の判断は、操作部１０１０を用いたユーザによる撮影終了の合図が入力されることによって行っても良い。
ユーザによる撮影終了の合図とは、通常知られているバルブ撮影のように、「撮影開始ボタンが押されてから離すまで」と定義しても良いし、操作部１０１０に撮影終了用のボタンを機能として割り振っても良い。また、予めユーザによって枚数が指定されていても良い。
前記操作により、ユーザはリアルタイムに撮影期間を決定することができる。
【００４７】
また、バッファメモリ１００４に記録された信号値を１画面分更新される度にＣＰＵ１００５に読み出し、画像の輝度平均値が所定の値を超えるか否かを判定し、所定の値を超えた場合に撮影を終了し合成画像を出力するようにしても良い。
【００４８】
また、ユーザに予め撮影枚数や時間を操作部１０１０より指定させ、その条件に達した場合に撮影終了の合図をＣＰＵ１００５より発し、撮影を終了してもよい。
【００４９】
前記のような操作方法により、ユーザは合成方法等について特に操作することなく、撮影作業をより簡便にできる。
【００５０】
次に、撮影時における露光のタイミングについて図３を用いて説明する。
図３は第１の実施形態の撮像装置について、露光のタイミングを記したものである。
【００５１】
図３（ａ）は撮像部１００３にＣＭＯＳイメージセンサを使用した場合である。
以下、図３（ａ）を用いて露光のタイミングを説明する。
ここで、ＳＲはＣＰＵ１００５より撮像部１００３に出力される読み出し信号を、ＲＳＴはリセット信号を示す。また、ＥＸＰは画像の露光タイミングを示し、ＵＰが画面上部を、ＬＯが画面下部を示す。
【００５２】
まず、ｔ１でリセット信号がＣＰＵより撮像部１００３に発せられる。上記信号を受けて、撮像部１００３の画素が上部より順次電荷の吐き捨てが行われ、ｔ２までに全画素の電荷の吐き捨てが完了する。
【００５３】
上記電荷の吐き捨てを画素のリセット動作という。
ＣＭＯＳイメージセンサで電子シャッタを使用した撮影を行うと、原理上画素の読み出しタイミングと露光の終了タイミングがほぼ等しく、かつ画面内を同時に読み出すことはできないのが一般的である。
【００５４】
そこで、上記のように、画面内でリセット動作のタイミングに読み出しの時間差と同等の時間差を持たせることにより、画面内での露光時間を均一に保っている。
【００５５】
上記をローリングシャッタと呼ぶが、一般的に知られている内容なので、これ以上はここでは言及しない。
ｔ３は画面の読み出し開始タイミングであり、ｔ１〜ｔ３までが画面上部の露光期間となる。ｔ３は読み出しパルスがＣＰＵから撮像部１００３に発せられることで画素の信号を読み出してゆく。
【００５６】
画面全体を読み出すのにかかる期間はｔ５−ｔ３であるが、この時間差が画面上部と画面下部の露光タイミング差となる。
ｔ４は２フレーム目のためのリセット開始位置である。
ここでは、露光しない期間をできる限り短くするため、１フレーム目の読み出しが完了する前に、２フレーム目のリセット動作を開始している。
【００５７】
このように、露光しない期間を短くすることで、時間と共に位置を変える輝線の軌跡を途切れることなく連続的にとらえることが可能となる。
ｔ６は２フレーム目のリセット完了のタイミングである。
ｔ７、ｔ８、ｔ９、ｔ１０は、それぞれ、ｔ４、ｔ５、ｔ６、ｔ７に相当する。
以下同様の繰り返しとなる。
【００５８】
最終的な露光枚数をｎとすると、そのフレームのタイミングは下記のようになる。
ｔ４ｎのタイミングで画面上部から露光開始、ｔ４ｎ＋２のタイミングで画面下部までの露光終了。
ｔ４ｎ＋３のタイミングで画面上部から読み出し開始ｔ４ｎ＋４のタイミングで画面下部までの読み出し終了。
【００５９】
上記のように、露光間隔を空けずに撮影するため、現在のフレームの読み出し完了前に次フレームの露光を開始することが望ましい。
上記のように露光時間は、フレームレートと略等しくなることが望ましい。
また、上記フレームレートと略等しい露光時間では露出がオーバーする場合は、絞りの絞り光量を減らすか、信号ゲインを下げることにより、フレームレートと略等しい露光時間のまま適正な信号値を確保することができる。
【００６０】
上記のように、適正露光に相当する信号値を得るために絞りや信号ゲインを調節することが望ましい。
また、具体的な適正露光を得る方法はカメラの一般知識になるためここでは述べない。
また、上記フレームレートでは露光時間が十分に確保できない場合において、絞りや、ゲインの設定範囲を超えている状況では、フレームレートを遅くすることにより適正なフレームレートを確保することができる。
【００６１】
次に、図３（ｂ）は撮像部１００３にＣＣＤイメージセンサを使用した場合である。
以下、図３（ｂ）を用いて露光タイミングを説明する。
ここで、ＳＲ１はＣＰＵ１００５より撮像部１００３に出力される第１フィールドの読み出し信号を、ＳＲ２は第２フィールドの読み出し信号を、ＳＲ３は第３フィールドの読み出し信号を示す。
そのほかの記号は図３（ａ）と同様である。
【００６２】
ＣＣＤイメージセンサではＣＭＯＳイメージセンサに見られるようなローリングシャッタではなく、全画面一括でのリセット動作を行うのが一般的である。
また、ＣＣＤイメージセンサでの画素加算や画素間引きを行わない読み出し方式、すなわち全画素読み出し方式では画面全体を複数のフィールドに分けて読み出すのが一般的である。
【００６３】
上記のようにフィールドに分けて読み出す理由については、一般的な内容であるため詳細は説明しない。今回は３フィールドで全画面の画素を読み出すものとして説明するが、実際にはフィールド数はいくつでも同様である。
【００６４】
本実施例では、最初のフィールドでは全画面を３行置きに飛ばして読み出しを行い、２番目のフィールドでは、１番目のフィールドで読み出した行の直下にあたる行の読み出しを行い、３番目のフィールドでは、残りの行の読み出しを行うものとして説明する。
【００６５】
まず、ｔ１で第１フィールドの読み出し信号をＣＰＵより撮像部１００３へ送り、上記読み出し信号を受けた撮像部１００３より、第１フィールドに相当する画素の信号を読み出す。
【００６６】
次に、ｔ２、ｔ３において同様に第２フィールド、第３フィールドの読み出し信号をＣＰＵより撮像部１００３へ送り、画素の信号を読み出す。
通常ＣＣＤイメージセンサでは全画面一括露光を行うのが一般的であるが、その場合露光終了時にメカニカルシャッタを使用しないと各フィールドで露光時間差が発生してしまう。しかし、本実施形態では、露光しない期間をできる限り短くするため、電子シャッタを使用し、全画面一括リセットでなく、各フィールドの読み出しによるリセット動作を行う。
【００６７】
それぞれのフィールドの読み出し期間は、第１フィールドがｔ４−ｔ１，第２フィールドがｔ５−ｔ２，第３フィールドがｔ６−ｔ３となり、それぞれのフィールドの読み出し期間は略等しい。
【００６８】
ｔ４、ｔ５、ｔ６では１番目のフレームの第１フィールド、第２フィールド、第３フィールドの出力値が読み出され、左記出力値を１枚目の画像としてバッファメモリに蓄える。
【００６９】
次にｔ７、ｔ８、ｔ９では２番目のフレームの第１フィールド、第２フィールド、第３フィールドの出直値が読み出され、左記出力値を２枚目の画像としてバッファメモリの信号値と比較し、演算結果を再度バッファメモリに書き込む。
【００７０】
ｎフレーム目の露光では、第１フィールド、第２フィールド、第３フィールドの露光開始タイミングは、その前の読み出しタイミングである、ｔ３ｎ＋１、ｔ３ｎ＋２、ｔ３ｎ＋３にあたる。
【００７１】
また、第１フィールド、第２フィールド、第３フィールドの露光終了タイミングは、ｔ３ｎ＋４、ｔ３ｎ＋５、ｔ３ｎ＋６にあたる。
【００７２】
上記のようにＣＣＤイメージセンサでは、読み出しを行うと同時に、次のフレームの露光が開始される。
このように露光間隔を空けずに撮影するため、前のフレームの読み出し完了前に次フレームの露光を開始することが望ましい。
【００７３】
上記のように露光時間は、フレームレートと略等しくなることが望ましい。
また、上記フレームレートと略等しい露光時間では露出がオーバーする場合は、絞りを絞り光量を減らすか、信号ゲインを下げることにより、フレームレートと略等しい露光時間のまま適正な露光量を確保することができる。
【００７４】
上記のように、適正露光を得るために絞りや信号ゲインを調節することが望ましい。
また、上記フレームレートでは露光時間が十分に確保できない場合において、絞りや、ゲインの設定範囲を超えている状況では、フレームレートを遅くすることにより適正なフレームレートを確保することができる。
【００７５】
次に、図４を用いて第１の実施形態の撮像装置での撮影例を示す。
図４（ａ）は、１度目の露光によって得られた画像、図４（ｂ）は２度目の露光によって得られた画像、図４（ｃ）は３度目の露光によって得られた画像である。
【００７６】
第１の実施形態の露光では、３枚の画像のうち、閾値を超えた画素アドレスについては、その信号値が維持される。また、閾値を超えなかった画素アドレスについては、平均化処理が行われる。上記処理により、暗部でのノイズ成分が減少し、同時に最大値保持による信号浮きを抑えることができる。
【００７７】
上記のようにして得られた画像は、図４（ｄ）の様に輝度の高い部分を重ねた画像になり、時間とともに位置が変わる輝線を途切れることなく、簡単に取得することが可能となる。また、本実施形態では、所定の閾値を用いた画素値の更新を撮影直後の合成毎に行うため、少量のメモリで作成可能となる。
【００７８】
また、本実施形態では、画像の撮影直後に画素値の更新によって合成を行っているが、これに限らず、複数の画像を撮影しメモリに保持した後、合成時に一度に画素値の比較と更新等の本実施形態と同様の処理を行うようにしてもよい。
【００７９】
（第２の実施形態）
図５は本発明の第２の実施形態における撮影時のフローチャートである。
ここでは、露光条件は第１の実施形態同様に予めユーザまたは撮像装置のプログラムによって、決定されているものとする。
また、本実施形態では、複数枚の画像における撮影時露光条件は等しいとは限らない。
これは、第２の実施形態では異なる被写体に対し露光を行い、合成画像を作成することを目的としているためである。
【００８０】
また、第１の実施形態同様に前記撮影時露光条件の導出方法は本発明特有の信号処理とは直接関係しないため省略する。
また、上記露出条件には、露光時間、絞り値、ＩＳＯ感度（撮像素子出力の信号ゲインに相当）が挙げられる。
第２の実施形態ではメカニカルシャッタ１００２を使用した撮影となるため、画面内一括露光が可能となり、第１の実施形態のような画面内露光時間差は発生しない。
【００８１】
上記理由により、露光時間は画像１枚分の読み出し時間がフレームレートに略等しい必要が無くなるため、第１の実施形態のようにフレームレートによる露光時間や絞り、ゲインの制約が小さくなる。
よって、ユーザが好みの撮影条件（しぼり、ゲイン、露光時間）で撮影を行いやすい。
【００８２】
まず第１の実施形態同様に、閾値ＫＲ、ＫＧ、ＫＢを設定する（Ｓ２００１）。
上記閾値の設定については、第１の実施形態と同様である。
次に、シャッタボタンが押されたか否かの判定を行い（Ｓ２００２）、押下された場合撮影開始前に指定された条件によって、露光を開始する（Ｓ２００３）。
露光終了後、メカニカルシャッタ１００２を閉じ、撮像部１００３に含まれる撮像素子の撮像面に光が当たらないようにする。
【００８３】
次に、露光終了後撮像素子からの信号を１画素ずつ読み出し（Ｓ２００４）、バッファメモリに保存する（Ｓ２００５）。
上記信号の読み出しは、全画素分が終わるまで繰り返される（Ｓ２００６）。
また読み出しの際には、信号に対し適切なゲインをかける。前記作業は予め設定したＩＳＯ感度相当に信号を増やすために必要となる。
【００８４】
次に、２度目のシャッタボタンが押されたか否かの判定を行い（Ｓ２００６）、押下された場合露光を開始する（Ｓ２００８）。
上記２度目の露光では、１度目の露光と同条件である必要はなく、むしろ撮影の目的に応じて露光条件を設定した方がよい。
上記２度目の露光終了時には１度目と同様メカニカルシャッタ１００２を閉じる。
【００８５】
次に、１画素分の信号を読み出す（Ｓ２００８）し、前記と同様に信号に対し適切なゲインをかける。
次に、撮像部１００３から読み出された１画素の信号値Ｓｉと、バッファメモリ１００４に蓄えられた撮像部１００３から読みだされた信号の画素と対応した画素の信号値Ｓｍの両方を予め設定された閾値と比較する（Ｓ２０１０）。Ｓｉと「対応する」画素とは、ここでは撮像している被写体が対応している画素のことを指し、画像同士の位置合わせの処理を行わない本実施形態では、同一アドレスの関係にある画素のことを指す。２画像の差分などから画像間のずれ量を算出するなどして位置合わせ処理を行った上で合成する場合には、「対応する」画素は位置合わせ後に同一アドレスとみなされる画素のことを指す。
もしＳｉ、Ｓｍが閾値より小さい場合には、ＳｉとＳｍの加算平均処理を行い、その結果を同一アドレスの信号値として上書きする（Ｓ２０１１）。
重み付け加算平均処理については第１の実施形態にて述べた。
【００８６】
次にＳｉとＳｍの少なくとも一方が閾値以下とならなかった場合は、ＳｉとＳｍのうち信号値の小さくない方の値でバッファメモリを更新する（Ｓ２０１２）。
上記のように、信号値に応じて処理を変える理由は、（１）高輝度部の信号値を保持すること、（２）低輝度部の信号値を平均することにより、ノイズを抑えるためである。
上記のように、暗部と高輝度部で処理を分けることにより、全ての画素について大きい方の信号値を保存するようにした場合に比して、ランダムノイズによる黒部の信号浮きを抑えることができる。
【００８７】
上記処理を１画面分の信号値が読み出し完了するまで繰り返す（Ｓ２０１３）。
シャッタボタンが押される度（Ｓ２０１４）に、露光（Ｓ２００８）から画素信号の読み出し、比較、メモリの更新（Ｓ２００１）、（Ｓ２０１２）を繰り返す。
【００８８】
またユーザによる撮影終了の合図や、予め規定された枚数分の画像データを取得したとき、また撮影時間に達したとき、撮影終了の合図がＣＰＵ１００５より発せられたときに撮影を終了する（Ｓ２０１５）。このとき、メモリ内に生成されている画像データを最終的な画像データとして出力し、合成画像取得までの処理を終了する。
【００８９】
ユーザによる撮影終了の合図としては、操作部１０１０に撮影終了用のボタンを機能として割り振ることがユーザにとって簡単であり望ましい。
【００９０】
図６は第２の実施形態の撮像装置について、露光のタイミングを記したものである。
図６（ａ）は撮像部１００３にＣＭＯＳイメージセンサを使用した場合である。
ここで、ＭＳＴはＣＰＵ１００５よりメカニカルシャッタ１００２に出力されるシャッタ信号を示し、閉側で閉じた状態を、開側で開いた状態を示す。そのほかの記号は図３と同様である。
【００９１】
以下、図６（ａ）を用いて露光のタイミングを説明する。
まず、ユーザによるシャッタボタンをトリガとして、ｔ１でリセット信号がＣＰＵより撮像部１００３に発せられる。上記信号を受けて、撮像部１００３に含まれる撮像素子の全画素の電荷が一斉に吐き捨てられる。
【００９２】
次に、ｔ２でＣＰＵよりメカニカルシャッタ１００２に閉信号が送られ、メカニカルシャッタ１００２が閉じ露光が完了する。
第２の実施形態では、複数の画像の撮影間隔が開くためメカニカルシャッタの使用が可能となる。また、メカニカルシャッタを使用することにより、第１の実施形態と異なり画面内の露光タイミングずれを抑えることができる。
ｔ２ではメカニカルシャッタ１００２が閉じると同時に撮像部１００３から信号の読み出しが開始される。
【００９３】
第１の実施形態で述べたように、ＣＭＯＳイメージセンサでは画面上部から下部へ逐次読み出しが行われる。
ｔ３で撮像部からの信号読み出しが完了し、操作部に備えられたシャッタボタンが次に押されるのを待つ。
時間を置いて、ユーザにより再度シャッタボタンが押されると、ｔ４でリセット信号がＣＰＵより撮像部１００３に発せられる左記により２度目の露光が開始される。
露光・読み出し動作としては、ｔ４、ｔ５、ｔ６がｔ１、ｔ２、ｔ３に相当する。
【００９４】
以下同様の繰り返しとなる。
最終的な露光枚数をｎとすると、ｎ枚目の撮影では、ｔ３ｎ＋１、ｔ３ｎ＋２、ｔ３ｎ＋３がｔ１、ｔ２、ｔ３に相当する。
【００９５】
次に、図６（ｂ）は撮像部１００３に含まれる撮像素子としてＣＣＤイメージセンサを使用した場合である。
図に含まれる記号は図３および、図４（ａ）と同様である。
【００９６】
以下、図６（ｂ）を用いて露光タイミングを説明する。
本実施形態でも、最初のフィールドでは全画面を３行置きに飛ばして読み出しを行い、２番目のフィールドでは、第１のフィールドで読み出した行の直下にあたる行の読み出しを行い、３番目のフィールドでは、残りの行の読み出しを行うものとして説明する。
【００９７】
まず、ユーザによるシャッタボタンをトリガとして、ｔ１でリセット信号がＣＰＵより撮像部１００３に発せられる。上記信号を受けて、撮像部１００３に含まれる撮像素子の全画素の電荷が一斉に吐き捨てられる。
【００９８】
次に、ｔ２でＣＰＵよりメカニカルシャッタに信号が送られ、メカニカルシャッタが閉じ露光が完了する。
ｔ２ではメカニカルシャッタが閉じると同時に撮像部１００３から第１フィールドの信号の読み出しが開始される。
【００９９】
第１フィールドの信号読み出し完了後、ｔ３で撮像部１００３から第２フィールドの信号の読み出しが開始される。
第２フィールドの信号読み出し完了後、ｔ４で撮像部１００３から第３フィールドの信号の読み出しが開始される。
全てのフィールドの読み出し完了後、操作部に備えられたシャッタボタンが次に押されるのを待つ。
【０１００】
次に、ユーザによるシャッタボタンをトリガとして、ｔ５でリセット信号がＣＰＵより撮像部１００３に発せられる。上記信号を受けて、撮像部１００３に含まれる撮像素子の全画素の電荷が一斉に吐き捨てられる。以降のタイミングチャートは１度目の露光と同様となり、ｔ５、ｔ６、ｔ７、ｔ８がそれぞれｔ１、ｔ２、ｔ３、ｔ４に相当する。
【０１０１】
以下同様の繰り返しとなる。
最終的な露光枚数をｎとすると、ｎ枚目の撮影では、ｔ４ｎ＋１、ｔ４ｎ＋２、ｔ４ｎ＋３、ｔ４ｎ＋４がｔ１、ｔ２、ｔ３、ｔ４に相当する。
【０１０２】
上記のように第２の実施形態では、ＣＣＤイメージセンサを使用した場合と、ＣＭＯＳイメージセンサとＣＣＤイメージセンサどちらを使用した場合でも、フレームレートに関係しないため、露光時間に制約はない。
このため、露光時間を自由に設定することができる。
【０１０３】
また、撮影間隔を空けることにより、ユーザは、自分が望むタイミングで撮影を行うことができる。
また、撮影間隔を空けることにより、ユーザは、複数枚の各画像の撮影条件（ゲイン、絞り、露光時間）を自由に設定することができる。
上記設定により、簡単な操作でユーザの画作りの幅を大きく広げることが可能となる。
【０１０４】
図７は第２の実施形態の撮像装置で撮影を行った結果を図示したものである。
まず、花火の撮影例を示す。
図７（ａ）は、１度目の露光によって得られた画像、図７（ｂ）は２度目の露光によって得られた画像である。図７（ｃ）は合成後の画像である。
第２の実施形態の露光では、各画像の露出条件をユーザが任意に指定できるため、より自由度の高い撮影が可能となる。
【０１０５】
また、２枚の画像のうち、撮像部１００３から信号値と、バッファメモリの信号値のうちどちらか一方が閾値を超えた画素アドレスについては、高い方の信号値でバッファメモリが更新される。また、閾値を超えなかった画素アドレスについては、平均化処理が行われる。上記処理により第１の実施形態同様、暗部でのノイズ成分が減少し、同時に最大値保持による信号浮きを抑えることができる。
【０１０６】
上記のようにして得られた画像は、図７（ｃ）の様に輝度の高い部分を重ねた画像になり、複数の花火を写した合成画像を、白飛びや露光不足などなく、簡単に取得することが可能となる。また第１の実施形態で発生した、ＣＭＯＳイメージセンサやＣＣＤイメージセンサの読み出し方法によって生じる、画面内露光時間差が本実施形態では発生しないため、より良好な画像を得ることができる。
【０１０７】
次に、図７（ｄ）は、１度目の露光によって得られた画像、図７（ｅ）は２度目の露光によって得られた画像である。図７（ｆ）は合成後の画像である。
この例では、室内の照明を消して窓から見える夜景を撮影した画像と（図７（ｄ））と室内照明をつけた屋内の風景（図７（ｅ））から、室内、室外の両方の風景が見える合成画像（図７（ｆ））を作成した例である。
ここで、図７（ｄ）、図７（ｅ）はそれぞれの被写体に対して、適正な露光条件で撮影を行う。
【０１０８】
通常、このような合成画像を撮影する場合、図７（ｄ）と図７（ｅ）の加算処理を行うか、図７（ｅ）の窓枠内に図７（ｄ）の画像をはめ込み合成を行うことが一般的である。
【０１０９】
また、このような処理は作業性の面からパーソナルコンピュータなどを使用して行われることが多いため、撮影してすぐに合成画像を作成することが困難である。
【０１１０】
しかし、本実施形態では、ユーザは２回の撮影と簡単な信号処理により、ユーザに負担をかけることなく、短時間に上記合成画像を得ることができる。
上記のようにして、連写によって得られた複数の画像を用いた合成画像を、少量のメモリかつ簡単な操作で作成可能となる。
【０１１１】
（第３の実施形態）
図８を用いて本発明の第３の実施形態における撮像装置の駆動方法を説明する。
図８は本発明における撮影時のフローチャートである。
ここでは、第１の実施形態同様露光条件は予めユーザまたは撮像装置のプログラムによって、決定されているものとする。
【０１１２】
また、第１の実施形態同様複数枚の画像における撮影時露光条件はすべて等しいものとする。
これは、第１の実施形態同様、時間的に形状の変化する同一の被写体に対し、複数回の露光を行うことを前提としているためである。
【０１１３】
また、第１の実施形態同様、前記撮影時露光条件の導出方法は本発明特有の信号処理とは直接関係しないため省略する。
また、上記露出条件には、露光時間、絞り値、ＩＳＯ感度（撮像素子出力の信号ゲインに相当）が挙げられる。
【０１１４】
第３の実施形態においても第１の実施形態同様、露光時間は画像１枚分の読み出し時間すなわちフレームレートと略等しくなる。これは、露光しない時間をできるだけ短くすることにより、移動する輝線を途切れさせないで撮影するためである。
また、露光量がオーバーする場合には、絞りを絞って撮像素子への入射光量を減らすか、信号ゲインを減らしてフレームレートと露光時間を略等しくすることが好ましい。
また、信号ゲインが増大すると、ＳＮが悪化するため、「開放でも光量が足りない場合や、被写界深度を深くとるために小絞りにしておく必要がある場合」などではゲインをアップすることが望ましい。
【０１１５】
第３の実施形態は第１の実施形態に撮影中断機能を追加したものであり、フローチャートは一部を除き同様のものとなる。
まず、最初に閾値ＫＲ、ＫＧ、ＫＢの設定を行う（Ｓ３００１）。以下（Ｓ３００６）までが、第１の実施形態の（Ｓ１００１）から（Ｓ１００６）に相当する。
【０１１６】
二度目の露光完了（Ｓ３００６）後、記録中断中か否かの判定を行う（Ｓ３０１２）。
操作部に記録中断ボタンを設け、ユーザが記録中断ボタンを押下した際には、記録中断中と判断することが望ましい。
【０１１７】
次に、記録中断中と判断された場合には、撮像部１００３より１画面分の信号を読み出し（Ｓ３０１３）、次の露光を開始する（Ｓ３００６）。すなわち、ここでは、バッファメモリ１００４の内容の更新を行わない。上記のような、バッファメモリ１００４の更新を行わない撮像部１００３からの信号読み出しを空読み出しという。
【０１１８】
次に、記録中断中ではないと判断された場合には、画素の信号を読み出し（Ｓ３００７）、バッファメモリに記録されている信号値との比較および、メモリの信号値更新を行ってゆく。上記作業を１画面分行うが、第３の実施形態のＳ３００７からＳ３０１０が第１の実施形態のＳ１００７からＳ１０１１に相当する。
【０１１９】
上記のように複数の画像が読み出される度に、記録中断中か否かの判断を行い、記録中断中ではない場合には、第１の実施形態同様にバッファメモリの内容を更新する。
【０１２０】
次に、第３の実施形態の撮影時における露光のタイミングについては第１の実施形態と同様になるため、説明を省略する。
図９は第３の実施形態の撮像装置で撮影を行った結果を図示したものである。
【０１２１】
この例では、花火の撮影例を示す。
図９（ａ）は、１度目の露光によって得られた画像、図９（ｂ）および図９（ｆ）は２度目以降の各露光によって得られた画像である。
また、図９（ａ）、図９（ｂ）、図９（ｃ）は連続して露光された３枚の画像である。
図９（ｄ）、図９（ｅ）、図９（ｆ）は、図９（ｃ）の撮影の後に撮影中断期間を経て、３枚連続して露光された画像である。
【０１２２】
上記のように、第３の実施形態では、図９（ｃ）と、図９（ｄ）の間では、バッファメモリの信号値を更新しない、空読み出しが行われる。
ユーザの操作としては下記のようになる。
【０１２３】
撮影が開始され、図９（ａ）、図９（ｂ）、図９（ｃ）までが、露光された後に、ユーザが露光不要と判断した場合、露光中断ボタンを押下することにより、バッファメモリの信号値の更新を止めることができる。この間に撮影された画像は、合成画像には反映されない。次に、ユーザが露光再開ボタンを押下することにより、撮影が再開されると、図９（ｄ）、図９（ｅ）、図９（ｆ）の画像が連続して取得される。ユーザが撮影を終了することにより、上記図９（ａ）および、図９（ｆ）までの画像を合成した、図９（ｇ）が作成される。
【０１２４】
第３の実施形態のように、第１の実施形態に露光中断機能を加えることにより、ユーザの好みのタイミングのみで合成用の画像を取得し、ユーザの意図する画作りを行うことができる。
【０１２５】
また、本実施形態では、空読み出しの際読み出した信号について何も行っていないが、読み出した信号を直接ＣＰＵ１００５に送り、スルー画を表示させても良い。
【０１２６】
また、本実施形態では、露光中断中も撮像部を駆動していたが、省電力のため、露光中断中は撮像部を停止させてもよい。
【０１２７】
上記のようにして、連写によって得られた複数の画像を用いた合成画像を、少量のメモリかつ簡単な操作で作成可能となる。
【０１２８】
（他の実施形態）
本発明の目的は以下のようにしても達成できる。すなわち、前述した各実施形態の機能を実現するための手順が記述されたソフトウェアのプログラムコードを記録した記憶媒体を、システムまたは装置に供給する。そしてそのシステムまたは装置のコンピュータ（またはＣＰＵ、ＭＰＵ等）が記憶媒体に格納されたプログラムコードを読み出して実行するのである。
【０１２９】
この場合、記憶媒体から読み出されたプログラムコード自体が本発明の新規な機能を実現することになり、そのプログラムコードを記憶した記憶媒体およびプログラムは本発明を構成することになる。
【０１３０】
また、プログラムコードを供給するための記憶媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスクなどが挙げられる。また、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭ、ＤＶＤ−ＲＷ、ＤＶＤ−Ｒ、磁気テープ、不揮発性のメモリカード、ＲＯＭ等も用いることができる。
【０１３１】
また、コンピュータが読み出したプログラムコードを実行可能とすることにより、前述した各実施形態の機能が実現される。さらに、そのプログラムコードの指示に基づき、コンピュータ上で稼動しているＯＳ（オペレーティングシステム）等が実際の処理の一部または全部を行い、その処理によって前述した各実施形態の機能が実現される場合も含まれる。
【０１３２】
更に、以下の場合も含まれる。まず記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれる。その後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵ等が実際の処理の一部または全部を行う。
【符号の説明】
【０１３３】
１００１ レンズ
１００２ メカニカルシャッタ
１００３ 撮像部
１００４ バッファメモリ
１００５ ＣＰＵ
１００６ 比較部
１００７ 演算部
１００８ 外部メモリ
１００９ 表示部
１０１０ 操作部
【技術分野】
【０００１】
本発明は、撮像装置および撮像装置の制御方法に関するものである。
【背景技術】
【０００２】
従来、花火のような光の軌跡を撮影するためには、シャッタ秒時を長秒に設定するマニュアル露出で撮影するか、あるいは連写によって得られた複数の画像を用いて合成画像を作成する方法があった。
【０００３】
特許文献１では、被写体を所定の時間間隔で連続的に撮影して得られた所定コマ数分の画像を時系列順に保持し、時系列的な合成範囲を指定した、合成処理が行われている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００５−０８６２２８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、上述の特許文献１に開示された方法では、所望の合成画像を得るための操作が複雑で煩わしいという問題があった。
【０００６】
そこで、本発明の目的は、連写によって得られた複数の画像を用いた所望の合成画像を、簡単な操作で作成可能な撮像装置および撮像方法を提供することである。
【課題を解決するための手段】
【０００７】
上記目的を達成するために、本発明の撮像装置は、請求項１に記載のとおり、被写体を撮像し、画像データを出力する撮像手段と、前記撮像手段から出力される１画面分の画像データを保持可能な容量を有するメモリと、前記撮像手段から出力される第１の画像データの第１の画素値と、前記メモリに保持された１画面分の第２の画像データの、前記第１の画像データの前記第１の画素値と同一アドレスの第２の画素値との両方を、所定の閾値と比較する比較手段と、前記比較手段による比較で前記第１及び前記第２の画素値のうち少なくとも一方が前記所定の閾値を超えるとき、前記第１及び前記第２の画素値のうち、小さくない方の値で前記第２の画素値を更新する更新手段と、前記比較手段に前記比較を、前記更新手段に前記更新を、複数画面分の画像データに対して繰り返させた後の前記メモリ内の画像データを用いて、前記複数画面分の画像データの合成画像データを生成する制御手段と、を有することを特徴とする。
【０００８】
また、本発明の撮像装置は、請求項１６に記載のとおり、被写体を撮像し、画像データを出力する撮像手段と、前記撮像手段から得られる複数の画像データを画素ごとに合成して合成画像データを生成する合成手段と、を有し、前記合成手段は、前記複数の画像データの同一アドレスの各画素値の少なくとも１つが所定の閾値よりも大きければ、前記各画素値のうちの最大値を当該アドレスの画素値とし、前記複数の画像データの同一アドレスの各画素値がすべて所定の閾値より小さければ、前記各画素値の平均値を当該アドレスの画素値として、１画面分の前記合成画像データを生成することを特徴とする。
【０００９】
また、本発明の撮像装置の制御方法は、請求項１７に記載のとおり、被写体を撮像し、画像データを出力する撮像手段と、前記撮像手段から出力される１画面分の画像データを保持可能な容量を有するメモリと、を有する撮像装置であって、前記撮像手段から出力される第１の画像データの第１の画素値と、前記メモリに保持された１画面分の第２の画像データの前記第１の画像データの前記第１の画素値と同一アドレスの第２の画素値との両方を、所定の閾値と比較する比較ステップと、前記比較ステップでの比較で前記第１及び前記第２の画素値のうち少なくとも一方が前記所定の閾値を超えるとき、前記第１及び前記第２の画素値のうち、小さくない方の値で前記第２の画素値を更新する更新ステップと、
前記比較ステップと前記更新ステップを、複数画面分の画像データに対して繰り返した後の前記メモリ内の画像データを用いて、前記複数画面分の画像データの合成画像データを生成する生成ステップと、を有することを特徴とする。
【００１０】
また、本発明の撮像装置の制御方法は、請求項１８に記載のとおり、被写体を撮像し、画像データを出力する撮像手段と、前記撮像手段から得られる複数の画像データを画素ごとに合成して合成画像データを生成する合成手段と、を有する撮像装置の制御方法であって、前記複数の画像データの同一アドレスの各画素値と所定の閾値とを比較する比較ステップと、前記比較ステップでの比較で前記各画素値の少なくとも１つが所定の閾値よりも大きければ、前記各画素値のうちの最大値を当該アドレスの画素値とし、前記比較ステップでの比較で前記各画素値がすべて所定の閾値より小さければ、前記各画素値の平均値を当該アドレスの画素値として、１画面分の前記合成画像データを生成する生成ステップと、を有することを特徴とする。
【発明の効果】
【００１１】
本発明によれば、連写によって得られた複数の画像を用いた合成画像を簡単な操作で作成可能となる。
【図面の簡単な説明】
【００１２】
【図１】本発明における撮像装置
【図２】第１の実施形態における撮像装置の駆動方法
【図３】第１の実施形態における撮像素子の駆動タイミング
【図４】第１の実施形態における撮影画像と合成後の画像
【図５】第２の実施形態における撮像装置の駆動方法
【図６】第２の実施形態における撮像素子の駆動タイミング
【図７】第２の実施形態における撮影画像と合成後の画像
【図８】第３の実施形態における撮像装置の駆動方法
【図９】第３の実施形態における撮影画像と合成後の画像
【発明を実施するための形態】
【００１３】
以下に、本発明の好ましい実施の形態を、添付の図面に基づいて詳細に説明する。
【００１４】
（第１の実施形態）
本実施形態では、閾値を超える大きい信号値を選択的に保存することと、低輝度部の信号値を平均して保存することを、信号値に応じて切り替える。
【００１５】
以下、図１を参照して、本発明の第１の実施形態による、撮像装置の構成について説明する。
【００１６】
１００１は被写体像を結像させるためのレンズであり、ここでは光量を調整するための絞りも含むものとする。
１００２はレンズの光路上に配置されているメカニカルシャッタである。
１００３はレンズ１００１で結像した被写体像を撮像し、電気的な情報に変換するための撮像部である。本発明では、撮像部に含まれる撮像素子としてＣＭＯＳイメージセンサやＣＣＤイメージセンサが使用される。また、撮像部１００３には撮像素子のほかにＣＤＳ回路（相関二重サンプリング回路）やＡＧＣ回路（オートゲインコントロール回路）を含むものとして扱う。撮像部１００３の出力は画像データとして比較部１００６、バッファメモリ１００４に出力される。
【００１７】
１００４は撮像部１００３からの情報を一時的に保持可能なバッファメモリであり、少なくとも撮像部１００３からの１画面分の情報を蓄える容量を持つ。
１００５は撮像装置を制御するためのＣＰＵでありレンズ１００１、メカニカルシャッタ１００２、撮像部１００３の他に、後に説明する表示部１００９、外部メモリ１００８を制御する。
【００１８】
１００６は撮像部１００３から出力される信号と、バッファメモリ１００４に記録されている信号を比較するための比較部である。
１００７は比較部１００６の比較結果と撮像部１００３からの出力信号値、バッファメモリ１００４に記録されている信号値を基に演算を行う演算処理部である。
【００１９】
１００８はバッファメモリ１００４に蓄えられた信号をＣＰＵ１００５で処理して作成された画像を保存する外部メモリである。
１００９は撮影条件や、スルー画など、撮像装置の各種情報を表示するための表示部である。
１０１０は撮影のトリガとなるシャッタボタンや、撮影の中断を行う撮影中断ボタン、撮影条件設定ボタンなどを含む操作部であり、押下されたボタンによりＣＰＵ１００５の判断で各種動作を行う。
【００２０】
また、操作部１０１０は、ユーザの意図する操作が可能であれば、その形状はボタンに限定されず、リング、面圧力センサなどでもよい。
１０１１は、演算部１００７から出力される画像信号に対して公知のホワイトバランス処理、色空間変換処理等の現像処理などを行う信号処理部である。
その他撮像装置に備えられる一般的な部材及び処理ブロックについては、本件とは直接関係しないため省略する。
【００２１】
次に、図２を用いて本発明における撮像装置の動作を説明する。
図２は本発明における撮影時のフローチャートである。各処理はＣＰＵ１００５あるいはＣＰＵ１００５の指示により各部で実行される。
【００２２】
まず、閾値ＫＲ、ＫＧ、ＫＢの設定を行う（Ｓ１００１）、これらの閾値は、撮像素子のカラーフィルタ毎に設定される。
上記理由としては、撮像装置でよく用いられる赤（Ｒ）、緑（Ｇ）、青（Ｂ）、のカラーフィルタをベイヤー配列に配置した撮像素子では、白い被写体に対し、カラーフィルタによって感度差が生じるためである。
【００２３】
また、太陽光や蛍光灯などの光源の種類によっても、上記カラーフィルタの感度比は変化する。
【００２４】
上記を鑑み、輝度値Ｙに対して、Ｒ画素、Ｇ画素、Ｂ画素の各カラーフィルタの閾値ＫＲ、ＫＧ、ＫＢを下式（１）のように計算することができる。
ＫＲ＝（Ｙ＋１．４０２００×Ｃｒ）／ＷＢｒ
ＫＧ＝（Ｙ−０．３４４１４×Ｃｂ−０．７１４１４×Ｃｒ）／ＷＢｇ （１）
ＫＢ＝（Ｙ＋１．７７２００×Ｃｂ）／ＷＢｂ
ここで、Ｃｂ、Ｃｒは色差信号を示す。
【００２５】
上記のように閾値となる輝度値Ｙのみを決めておけば、各カラーフィルタの閾値ＫＲ、ＫＧ、ＫＢは式（１）を用いて自動的に求まる。
【００２６】
各カラーフィルタの信号値からの変換式は下式（２）で表される。
Ｙ＝０．２９８９１×ＳＲ＋０．５８６６１×ＳＧ＋０．１１４４８×ＳＢ
Ｃｂ＝−０．１６８７４×ＳＲ−０．３３１２６×ＳＧ＋０．５００００×ＳＢ （２）
Ｃｒ＝０．５００００×ＳＲ−０．４１８６９×ＳＧ−０．０８１３１×ＳＢ
ここで、ＳＲはＲ画素の信号値、ＳＧはＧ画素の信号値、ＳＢはＢ画素の信号値である。
【００２７】
また、ＷＢｒはＲ画素のホワイトバランス係数、ＷＢｇはＧ画素のホワイトバランス係数、ＷＢｂはＢ画素のホワイトバランス係数であり、もともと信号処理部１０１１（ホワイトバランス処理手段）でのホワイトバランス処理の際に用いられる。
【００２８】
輝度値および、ホワイトバランス係数の詳細については、一般に知られた内容であるためここでは説明しないが、ホワイトバランス係数が決まっている状態にすれば、上記のように輝度値のみの指定でＲＧＢ各カラーフィルタの画素信号値の閾値を簡単に指定できる。
【００２９】
また、上記ホワイトバランス係数は、合成画像撮影前に予備撮影動作（予備露光）を行った結果を用い撮像装置内のプログラムで決定しても良いし、好みの画作りを行うためにユーザが任意に決定しても良い。
また、閾値となる輝度値Ｙについても、撮像装置内に予め値を保持しておいても良いし、好みの画作りを行うためにユーザが任意に決定しても良い。
【００３０】
次に、撮影開始前に指定された露光条件によって、露光を開始する（Ｓ１００２）。
ここでは、露光条件は予めユーザまたは撮像装置のプログラムによって、決定されているものとする。
【００３１】
また、複数枚の画像における露光条件はすべて等しいものとする。
これは、第１の実施形態では時間的に形状の変化する同一の被写体に対し、複数回の露光を行うことを前提としているためである。
【００３２】
また、露光条件の導出方法は本発明特有の信号処理とは直接関係しないため省略する。
また、上記露光条件には、露光時間、絞り値、ＩＳＯ感度（撮像部１００３からの出力の信号ゲインに相当）が挙げられる。
【００３３】
第１の実施形態において、露光時間は１画面の読み出し時間すなわちフレームレートと略等しくなる。これは、複数枚の画像撮影時に、露光しない時間をできるだけ短くすることで、時間と共に位置を変える輝線の軌跡を、合成画像上で途切れること無く連続的にとらえるためである。
【００３４】
また、露光量がオーバーする場合には、絞りを絞って撮像部１００３内の撮像素子への入射光量を制御するか、撮像部１００３内のＡＧＣ回路にて信号ゲインを減らしてフレームレートと露光時間を略等しくすることが好ましい。
また、撮像部１００３内のＡＧＣ回路の信号ゲインが増大すると、ＳＮが悪化するため、「開放でも光量が足りない場合や、被写界深度を深くとるために小絞りにしておく必要がある場合」など絞りで露光量の調整に対応できない場合にゲインをアップすることが望ましい。
【００３５】
露光終了後、撮像素子からの信号は１画素ずつ読み出され（Ｓ１００３）、バッファメモリに保存される（Ｓ１００４）。
上記信号の読み出しは、全画素分が終わるまで繰り返される（Ｓ１００５）。
【００３６】
また読み出しの際には、撮像部１００３内のＡＧＣ回路にて、撮像部１００３からの出力信号に対し適切なゲインをかける。前記作業は予め設定したＩＳＯ感度相当に信号を増やすために必要となる。
【００３７】
次に、２度目の露光が開始される（Ｓ１００６）。
先に述べたように、２度目以降の露光条件についても、１度目の露光条件と等しい。
【００３８】
上記２度目の露光終了後、１画素分の信号を読み出す（Ｓ１００７）。
また前記同様、読み出し時には信号に対し所望のＩＳＯ感度となるよう適切なゲインをかける。
【００３９】
撮像部１００３から読み出された画像データ（第１の画像データ）からの信号をＳｉ（第１の画素値）、バッファメモリ１００４に蓄えられた画像データ（第２の画像データ）のＳｉと対応する画素の信号値をＳｍ（第２の画素値）とする。Ｓｉと「対応する」画素とは、ここでは撮像している被写体が対応している画素のことを指し、画像同士の位置合わせの処理を行わない本実施形態では、同一アドレスの関係にある画素のことを指す。２画像の差分などから画像間のずれ量を算出するなどして位置合わせ処理を行った上で合成する場合には、「対応する」画素は位置合わせ後に同一アドレスとみなされる画素のことを指す。比較部１００６は、Ｓｉ、Ｓｍの両方が予め設定された前記カラーフィルタ毎の閾値ＫＲ、ＫＧ、ＫＢと比較して小さいかどうかを判断する（Ｓ１００８）。
【００４０】
もし小さい場合には、演算処理部１００７が、撮像部１００３から読み出された信号と、バッファメモリ１００４に蓄えられた同一アドレスの信号値の加算平均処理を行い、その結果を同一アドレスの信号値として上書きする（Ｓ１００９）。
【００４１】
この際、前記加算平均処理は、重み付け加算平均処理を行い、撮影される複数画面分の画像データの重みが等しくなるようにすると良い。
具体的には、２番目以降のｎ番目の画像読み出し時における加算平均処理では、重み付けの結果得られる信号値は下記になる。
Ｓｍ’＝（１／ｎ）×Ｓｉ＋（（ｎ−１）／ｎ）×Ｓｍ
上記重み付け加算平均の結果Ｓｍ’をバッファメモリ１００４の同一アドレスに書き込む。
【００４２】
次に、（Ｓ１００８）でＳｉとＳｍの少なくとも一方が閾値以下とならなかった場合は、演算処理部１００７が、ＳｉとＳｍのうち信号値の少なくない方の値でバッファメモリ１００４の同一アドレスに書き込む（Ｓ１０１０）。
【００４３】
上記のように、第１の実施形態では、閾値を超える大きい信号値を選択的に保存することと、低輝度部の信号値を平均して保存することを、信号値に応じて切り替える。
【００４４】
上記のように信号値に応じて処理を変える理由は、すべての画素で大きい信号値を保存するようにした場合に比して、ランダムノイズによる信号浮きを抑えることができるためである。
【００４５】
上記処理を１画面分の信号値が読み出し完了するまで繰り返す（Ｓ１０１１）。
１画面分の信号値が読み出し完了した後に、撮影終了の判定を行う（Ｓ１０１２）。ユーザによる撮影終了の指示があった場合にはそのときメモリ内に生成されている画像データを最終的な合成画像データとして出力し、合成画像取得までの処理を終了する。
【００４６】
撮影終了の判断は、操作部１０１０を用いたユーザによる撮影終了の合図が入力されることによって行っても良い。
ユーザによる撮影終了の合図とは、通常知られているバルブ撮影のように、「撮影開始ボタンが押されてから離すまで」と定義しても良いし、操作部１０１０に撮影終了用のボタンを機能として割り振っても良い。また、予めユーザによって枚数が指定されていても良い。
前記操作により、ユーザはリアルタイムに撮影期間を決定することができる。
【００４７】
また、バッファメモリ１００４に記録された信号値を１画面分更新される度にＣＰＵ１００５に読み出し、画像の輝度平均値が所定の値を超えるか否かを判定し、所定の値を超えた場合に撮影を終了し合成画像を出力するようにしても良い。
【００４８】
また、ユーザに予め撮影枚数や時間を操作部１０１０より指定させ、その条件に達した場合に撮影終了の合図をＣＰＵ１００５より発し、撮影を終了してもよい。
【００４９】
前記のような操作方法により、ユーザは合成方法等について特に操作することなく、撮影作業をより簡便にできる。
【００５０】
次に、撮影時における露光のタイミングについて図３を用いて説明する。
図３は第１の実施形態の撮像装置について、露光のタイミングを記したものである。
【００５１】
図３（ａ）は撮像部１００３にＣＭＯＳイメージセンサを使用した場合である。
以下、図３（ａ）を用いて露光のタイミングを説明する。
ここで、ＳＲはＣＰＵ１００５より撮像部１００３に出力される読み出し信号を、ＲＳＴはリセット信号を示す。また、ＥＸＰは画像の露光タイミングを示し、ＵＰが画面上部を、ＬＯが画面下部を示す。
【００５２】
まず、ｔ１でリセット信号がＣＰＵより撮像部１００３に発せられる。上記信号を受けて、撮像部１００３の画素が上部より順次電荷の吐き捨てが行われ、ｔ２までに全画素の電荷の吐き捨てが完了する。
【００５３】
上記電荷の吐き捨てを画素のリセット動作という。
ＣＭＯＳイメージセンサで電子シャッタを使用した撮影を行うと、原理上画素の読み出しタイミングと露光の終了タイミングがほぼ等しく、かつ画面内を同時に読み出すことはできないのが一般的である。
【００５４】
そこで、上記のように、画面内でリセット動作のタイミングに読み出しの時間差と同等の時間差を持たせることにより、画面内での露光時間を均一に保っている。
【００５５】
上記をローリングシャッタと呼ぶが、一般的に知られている内容なので、これ以上はここでは言及しない。
ｔ３は画面の読み出し開始タイミングであり、ｔ１〜ｔ３までが画面上部の露光期間となる。ｔ３は読み出しパルスがＣＰＵから撮像部１００３に発せられることで画素の信号を読み出してゆく。
【００５６】
画面全体を読み出すのにかかる期間はｔ５−ｔ３であるが、この時間差が画面上部と画面下部の露光タイミング差となる。
ｔ４は２フレーム目のためのリセット開始位置である。
ここでは、露光しない期間をできる限り短くするため、１フレーム目の読み出しが完了する前に、２フレーム目のリセット動作を開始している。
【００５７】
このように、露光しない期間を短くすることで、時間と共に位置を変える輝線の軌跡を途切れることなく連続的にとらえることが可能となる。
ｔ６は２フレーム目のリセット完了のタイミングである。
ｔ７、ｔ８、ｔ９、ｔ１０は、それぞれ、ｔ４、ｔ５、ｔ６、ｔ７に相当する。
以下同様の繰り返しとなる。
【００５８】
最終的な露光枚数をｎとすると、そのフレームのタイミングは下記のようになる。
ｔ４ｎのタイミングで画面上部から露光開始、ｔ４ｎ＋２のタイミングで画面下部までの露光終了。
ｔ４ｎ＋３のタイミングで画面上部から読み出し開始ｔ４ｎ＋４のタイミングで画面下部までの読み出し終了。
【００５９】
上記のように、露光間隔を空けずに撮影するため、現在のフレームの読み出し完了前に次フレームの露光を開始することが望ましい。
上記のように露光時間は、フレームレートと略等しくなることが望ましい。
また、上記フレームレートと略等しい露光時間では露出がオーバーする場合は、絞りの絞り光量を減らすか、信号ゲインを下げることにより、フレームレートと略等しい露光時間のまま適正な信号値を確保することができる。
【００６０】
上記のように、適正露光に相当する信号値を得るために絞りや信号ゲインを調節することが望ましい。
また、具体的な適正露光を得る方法はカメラの一般知識になるためここでは述べない。
また、上記フレームレートでは露光時間が十分に確保できない場合において、絞りや、ゲインの設定範囲を超えている状況では、フレームレートを遅くすることにより適正なフレームレートを確保することができる。
【００６１】
次に、図３（ｂ）は撮像部１００３にＣＣＤイメージセンサを使用した場合である。
以下、図３（ｂ）を用いて露光タイミングを説明する。
ここで、ＳＲ１はＣＰＵ１００５より撮像部１００３に出力される第１フィールドの読み出し信号を、ＳＲ２は第２フィールドの読み出し信号を、ＳＲ３は第３フィールドの読み出し信号を示す。
そのほかの記号は図３（ａ）と同様である。
【００６２】
ＣＣＤイメージセンサではＣＭＯＳイメージセンサに見られるようなローリングシャッタではなく、全画面一括でのリセット動作を行うのが一般的である。
また、ＣＣＤイメージセンサでの画素加算や画素間引きを行わない読み出し方式、すなわち全画素読み出し方式では画面全体を複数のフィールドに分けて読み出すのが一般的である。
【００６３】
上記のようにフィールドに分けて読み出す理由については、一般的な内容であるため詳細は説明しない。今回は３フィールドで全画面の画素を読み出すものとして説明するが、実際にはフィールド数はいくつでも同様である。
【００６４】
本実施例では、最初のフィールドでは全画面を３行置きに飛ばして読み出しを行い、２番目のフィールドでは、１番目のフィールドで読み出した行の直下にあたる行の読み出しを行い、３番目のフィールドでは、残りの行の読み出しを行うものとして説明する。
【００６５】
まず、ｔ１で第１フィールドの読み出し信号をＣＰＵより撮像部１００３へ送り、上記読み出し信号を受けた撮像部１００３より、第１フィールドに相当する画素の信号を読み出す。
【００６６】
次に、ｔ２、ｔ３において同様に第２フィールド、第３フィールドの読み出し信号をＣＰＵより撮像部１００３へ送り、画素の信号を読み出す。
通常ＣＣＤイメージセンサでは全画面一括露光を行うのが一般的であるが、その場合露光終了時にメカニカルシャッタを使用しないと各フィールドで露光時間差が発生してしまう。しかし、本実施形態では、露光しない期間をできる限り短くするため、電子シャッタを使用し、全画面一括リセットでなく、各フィールドの読み出しによるリセット動作を行う。
【００６７】
それぞれのフィールドの読み出し期間は、第１フィールドがｔ４−ｔ１，第２フィールドがｔ５−ｔ２，第３フィールドがｔ６−ｔ３となり、それぞれのフィールドの読み出し期間は略等しい。
【００６８】
ｔ４、ｔ５、ｔ６では１番目のフレームの第１フィールド、第２フィールド、第３フィールドの出力値が読み出され、左記出力値を１枚目の画像としてバッファメモリに蓄える。
【００６９】
次にｔ７、ｔ８、ｔ９では２番目のフレームの第１フィールド、第２フィールド、第３フィールドの出直値が読み出され、左記出力値を２枚目の画像としてバッファメモリの信号値と比較し、演算結果を再度バッファメモリに書き込む。
【００７０】
ｎフレーム目の露光では、第１フィールド、第２フィールド、第３フィールドの露光開始タイミングは、その前の読み出しタイミングである、ｔ３ｎ＋１、ｔ３ｎ＋２、ｔ３ｎ＋３にあたる。
【００７１】
また、第１フィールド、第２フィールド、第３フィールドの露光終了タイミングは、ｔ３ｎ＋４、ｔ３ｎ＋５、ｔ３ｎ＋６にあたる。
【００７２】
上記のようにＣＣＤイメージセンサでは、読み出しを行うと同時に、次のフレームの露光が開始される。
このように露光間隔を空けずに撮影するため、前のフレームの読み出し完了前に次フレームの露光を開始することが望ましい。
【００７３】
上記のように露光時間は、フレームレートと略等しくなることが望ましい。
また、上記フレームレートと略等しい露光時間では露出がオーバーする場合は、絞りを絞り光量を減らすか、信号ゲインを下げることにより、フレームレートと略等しい露光時間のまま適正な露光量を確保することができる。
【００７４】
上記のように、適正露光を得るために絞りや信号ゲインを調節することが望ましい。
また、上記フレームレートでは露光時間が十分に確保できない場合において、絞りや、ゲインの設定範囲を超えている状況では、フレームレートを遅くすることにより適正なフレームレートを確保することができる。
【００７５】
次に、図４を用いて第１の実施形態の撮像装置での撮影例を示す。
図４（ａ）は、１度目の露光によって得られた画像、図４（ｂ）は２度目の露光によって得られた画像、図４（ｃ）は３度目の露光によって得られた画像である。
【００７６】
第１の実施形態の露光では、３枚の画像のうち、閾値を超えた画素アドレスについては、その信号値が維持される。また、閾値を超えなかった画素アドレスについては、平均化処理が行われる。上記処理により、暗部でのノイズ成分が減少し、同時に最大値保持による信号浮きを抑えることができる。
【００７７】
上記のようにして得られた画像は、図４（ｄ）の様に輝度の高い部分を重ねた画像になり、時間とともに位置が変わる輝線を途切れることなく、簡単に取得することが可能となる。また、本実施形態では、所定の閾値を用いた画素値の更新を撮影直後の合成毎に行うため、少量のメモリで作成可能となる。
【００７８】
また、本実施形態では、画像の撮影直後に画素値の更新によって合成を行っているが、これに限らず、複数の画像を撮影しメモリに保持した後、合成時に一度に画素値の比較と更新等の本実施形態と同様の処理を行うようにしてもよい。
【００７９】
（第２の実施形態）
図５は本発明の第２の実施形態における撮影時のフローチャートである。
ここでは、露光条件は第１の実施形態同様に予めユーザまたは撮像装置のプログラムによって、決定されているものとする。
また、本実施形態では、複数枚の画像における撮影時露光条件は等しいとは限らない。
これは、第２の実施形態では異なる被写体に対し露光を行い、合成画像を作成することを目的としているためである。
【００８０】
また、第１の実施形態同様に前記撮影時露光条件の導出方法は本発明特有の信号処理とは直接関係しないため省略する。
また、上記露出条件には、露光時間、絞り値、ＩＳＯ感度（撮像素子出力の信号ゲインに相当）が挙げられる。
第２の実施形態ではメカニカルシャッタ１００２を使用した撮影となるため、画面内一括露光が可能となり、第１の実施形態のような画面内露光時間差は発生しない。
【００８１】
上記理由により、露光時間は画像１枚分の読み出し時間がフレームレートに略等しい必要が無くなるため、第１の実施形態のようにフレームレートによる露光時間や絞り、ゲインの制約が小さくなる。
よって、ユーザが好みの撮影条件（しぼり、ゲイン、露光時間）で撮影を行いやすい。
【００８２】
まず第１の実施形態同様に、閾値ＫＲ、ＫＧ、ＫＢを設定する（Ｓ２００１）。
上記閾値の設定については、第１の実施形態と同様である。
次に、シャッタボタンが押されたか否かの判定を行い（Ｓ２００２）、押下された場合撮影開始前に指定された条件によって、露光を開始する（Ｓ２００３）。
露光終了後、メカニカルシャッタ１００２を閉じ、撮像部１００３に含まれる撮像素子の撮像面に光が当たらないようにする。
【００８３】
次に、露光終了後撮像素子からの信号を１画素ずつ読み出し（Ｓ２００４）、バッファメモリに保存する（Ｓ２００５）。
上記信号の読み出しは、全画素分が終わるまで繰り返される（Ｓ２００６）。
また読み出しの際には、信号に対し適切なゲインをかける。前記作業は予め設定したＩＳＯ感度相当に信号を増やすために必要となる。
【００８４】
次に、２度目のシャッタボタンが押されたか否かの判定を行い（Ｓ２００６）、押下された場合露光を開始する（Ｓ２００８）。
上記２度目の露光では、１度目の露光と同条件である必要はなく、むしろ撮影の目的に応じて露光条件を設定した方がよい。
上記２度目の露光終了時には１度目と同様メカニカルシャッタ１００２を閉じる。
【００８５】
次に、１画素分の信号を読み出す（Ｓ２００８）し、前記と同様に信号に対し適切なゲインをかける。
次に、撮像部１００３から読み出された１画素の信号値Ｓｉと、バッファメモリ１００４に蓄えられた撮像部１００３から読みだされた信号の画素と対応した画素の信号値Ｓｍの両方を予め設定された閾値と比較する（Ｓ２０１０）。Ｓｉと「対応する」画素とは、ここでは撮像している被写体が対応している画素のことを指し、画像同士の位置合わせの処理を行わない本実施形態では、同一アドレスの関係にある画素のことを指す。２画像の差分などから画像間のずれ量を算出するなどして位置合わせ処理を行った上で合成する場合には、「対応する」画素は位置合わせ後に同一アドレスとみなされる画素のことを指す。
もしＳｉ、Ｓｍが閾値より小さい場合には、ＳｉとＳｍの加算平均処理を行い、その結果を同一アドレスの信号値として上書きする（Ｓ２０１１）。
重み付け加算平均処理については第１の実施形態にて述べた。
【００８６】
次にＳｉとＳｍの少なくとも一方が閾値以下とならなかった場合は、ＳｉとＳｍのうち信号値の小さくない方の値でバッファメモリを更新する（Ｓ２０１２）。
上記のように、信号値に応じて処理を変える理由は、（１）高輝度部の信号値を保持すること、（２）低輝度部の信号値を平均することにより、ノイズを抑えるためである。
上記のように、暗部と高輝度部で処理を分けることにより、全ての画素について大きい方の信号値を保存するようにした場合に比して、ランダムノイズによる黒部の信号浮きを抑えることができる。
【００８７】
上記処理を１画面分の信号値が読み出し完了するまで繰り返す（Ｓ２０１３）。
シャッタボタンが押される度（Ｓ２０１４）に、露光（Ｓ２００８）から画素信号の読み出し、比較、メモリの更新（Ｓ２００１）、（Ｓ２０１２）を繰り返す。
【００８８】
またユーザによる撮影終了の合図や、予め規定された枚数分の画像データを取得したとき、また撮影時間に達したとき、撮影終了の合図がＣＰＵ１００５より発せられたときに撮影を終了する（Ｓ２０１５）。このとき、メモリ内に生成されている画像データを最終的な画像データとして出力し、合成画像取得までの処理を終了する。
【００８９】
ユーザによる撮影終了の合図としては、操作部１０１０に撮影終了用のボタンを機能として割り振ることがユーザにとって簡単であり望ましい。
【００９０】
図６は第２の実施形態の撮像装置について、露光のタイミングを記したものである。
図６（ａ）は撮像部１００３にＣＭＯＳイメージセンサを使用した場合である。
ここで、ＭＳＴはＣＰＵ１００５よりメカニカルシャッタ１００２に出力されるシャッタ信号を示し、閉側で閉じた状態を、開側で開いた状態を示す。そのほかの記号は図３と同様である。
【００９１】
以下、図６（ａ）を用いて露光のタイミングを説明する。
まず、ユーザによるシャッタボタンをトリガとして、ｔ１でリセット信号がＣＰＵより撮像部１００３に発せられる。上記信号を受けて、撮像部１００３に含まれる撮像素子の全画素の電荷が一斉に吐き捨てられる。
【００９２】
次に、ｔ２でＣＰＵよりメカニカルシャッタ１００２に閉信号が送られ、メカニカルシャッタ１００２が閉じ露光が完了する。
第２の実施形態では、複数の画像の撮影間隔が開くためメカニカルシャッタの使用が可能となる。また、メカニカルシャッタを使用することにより、第１の実施形態と異なり画面内の露光タイミングずれを抑えることができる。
ｔ２ではメカニカルシャッタ１００２が閉じると同時に撮像部１００３から信号の読み出しが開始される。
【００９３】
第１の実施形態で述べたように、ＣＭＯＳイメージセンサでは画面上部から下部へ逐次読み出しが行われる。
ｔ３で撮像部からの信号読み出しが完了し、操作部に備えられたシャッタボタンが次に押されるのを待つ。
時間を置いて、ユーザにより再度シャッタボタンが押されると、ｔ４でリセット信号がＣＰＵより撮像部１００３に発せられる左記により２度目の露光が開始される。
露光・読み出し動作としては、ｔ４、ｔ５、ｔ６がｔ１、ｔ２、ｔ３に相当する。
【００９４】
以下同様の繰り返しとなる。
最終的な露光枚数をｎとすると、ｎ枚目の撮影では、ｔ３ｎ＋１、ｔ３ｎ＋２、ｔ３ｎ＋３がｔ１、ｔ２、ｔ３に相当する。
【００９５】
次に、図６（ｂ）は撮像部１００３に含まれる撮像素子としてＣＣＤイメージセンサを使用した場合である。
図に含まれる記号は図３および、図４（ａ）と同様である。
【００９６】
以下、図６（ｂ）を用いて露光タイミングを説明する。
本実施形態でも、最初のフィールドでは全画面を３行置きに飛ばして読み出しを行い、２番目のフィールドでは、第１のフィールドで読み出した行の直下にあたる行の読み出しを行い、３番目のフィールドでは、残りの行の読み出しを行うものとして説明する。
【００９７】
まず、ユーザによるシャッタボタンをトリガとして、ｔ１でリセット信号がＣＰＵより撮像部１００３に発せられる。上記信号を受けて、撮像部１００３に含まれる撮像素子の全画素の電荷が一斉に吐き捨てられる。
【００９８】
次に、ｔ２でＣＰＵよりメカニカルシャッタに信号が送られ、メカニカルシャッタが閉じ露光が完了する。
ｔ２ではメカニカルシャッタが閉じると同時に撮像部１００３から第１フィールドの信号の読み出しが開始される。
【００９９】
第１フィールドの信号読み出し完了後、ｔ３で撮像部１００３から第２フィールドの信号の読み出しが開始される。
第２フィールドの信号読み出し完了後、ｔ４で撮像部１００３から第３フィールドの信号の読み出しが開始される。
全てのフィールドの読み出し完了後、操作部に備えられたシャッタボタンが次に押されるのを待つ。
【０１００】
次に、ユーザによるシャッタボタンをトリガとして、ｔ５でリセット信号がＣＰＵより撮像部１００３に発せられる。上記信号を受けて、撮像部１００３に含まれる撮像素子の全画素の電荷が一斉に吐き捨てられる。以降のタイミングチャートは１度目の露光と同様となり、ｔ５、ｔ６、ｔ７、ｔ８がそれぞれｔ１、ｔ２、ｔ３、ｔ４に相当する。
【０１０１】
以下同様の繰り返しとなる。
最終的な露光枚数をｎとすると、ｎ枚目の撮影では、ｔ４ｎ＋１、ｔ４ｎ＋２、ｔ４ｎ＋３、ｔ４ｎ＋４がｔ１、ｔ２、ｔ３、ｔ４に相当する。
【０１０２】
上記のように第２の実施形態では、ＣＣＤイメージセンサを使用した場合と、ＣＭＯＳイメージセンサとＣＣＤイメージセンサどちらを使用した場合でも、フレームレートに関係しないため、露光時間に制約はない。
このため、露光時間を自由に設定することができる。
【０１０３】
また、撮影間隔を空けることにより、ユーザは、自分が望むタイミングで撮影を行うことができる。
また、撮影間隔を空けることにより、ユーザは、複数枚の各画像の撮影条件（ゲイン、絞り、露光時間）を自由に設定することができる。
上記設定により、簡単な操作でユーザの画作りの幅を大きく広げることが可能となる。
【０１０４】
図７は第２の実施形態の撮像装置で撮影を行った結果を図示したものである。
まず、花火の撮影例を示す。
図７（ａ）は、１度目の露光によって得られた画像、図７（ｂ）は２度目の露光によって得られた画像である。図７（ｃ）は合成後の画像である。
第２の実施形態の露光では、各画像の露出条件をユーザが任意に指定できるため、より自由度の高い撮影が可能となる。
【０１０５】
また、２枚の画像のうち、撮像部１００３から信号値と、バッファメモリの信号値のうちどちらか一方が閾値を超えた画素アドレスについては、高い方の信号値でバッファメモリが更新される。また、閾値を超えなかった画素アドレスについては、平均化処理が行われる。上記処理により第１の実施形態同様、暗部でのノイズ成分が減少し、同時に最大値保持による信号浮きを抑えることができる。
【０１０６】
上記のようにして得られた画像は、図７（ｃ）の様に輝度の高い部分を重ねた画像になり、複数の花火を写した合成画像を、白飛びや露光不足などなく、簡単に取得することが可能となる。また第１の実施形態で発生した、ＣＭＯＳイメージセンサやＣＣＤイメージセンサの読み出し方法によって生じる、画面内露光時間差が本実施形態では発生しないため、より良好な画像を得ることができる。
【０１０７】
次に、図７（ｄ）は、１度目の露光によって得られた画像、図７（ｅ）は２度目の露光によって得られた画像である。図７（ｆ）は合成後の画像である。
この例では、室内の照明を消して窓から見える夜景を撮影した画像と（図７（ｄ））と室内照明をつけた屋内の風景（図７（ｅ））から、室内、室外の両方の風景が見える合成画像（図７（ｆ））を作成した例である。
ここで、図７（ｄ）、図７（ｅ）はそれぞれの被写体に対して、適正な露光条件で撮影を行う。
【０１０８】
通常、このような合成画像を撮影する場合、図７（ｄ）と図７（ｅ）の加算処理を行うか、図７（ｅ）の窓枠内に図７（ｄ）の画像をはめ込み合成を行うことが一般的である。
【０１０９】
また、このような処理は作業性の面からパーソナルコンピュータなどを使用して行われることが多いため、撮影してすぐに合成画像を作成することが困難である。
【０１１０】
しかし、本実施形態では、ユーザは２回の撮影と簡単な信号処理により、ユーザに負担をかけることなく、短時間に上記合成画像を得ることができる。
上記のようにして、連写によって得られた複数の画像を用いた合成画像を、少量のメモリかつ簡単な操作で作成可能となる。
【０１１１】
（第３の実施形態）
図８を用いて本発明の第３の実施形態における撮像装置の駆動方法を説明する。
図８は本発明における撮影時のフローチャートである。
ここでは、第１の実施形態同様露光条件は予めユーザまたは撮像装置のプログラムによって、決定されているものとする。
【０１１２】
また、第１の実施形態同様複数枚の画像における撮影時露光条件はすべて等しいものとする。
これは、第１の実施形態同様、時間的に形状の変化する同一の被写体に対し、複数回の露光を行うことを前提としているためである。
【０１１３】
また、第１の実施形態同様、前記撮影時露光条件の導出方法は本発明特有の信号処理とは直接関係しないため省略する。
また、上記露出条件には、露光時間、絞り値、ＩＳＯ感度（撮像素子出力の信号ゲインに相当）が挙げられる。
【０１１４】
第３の実施形態においても第１の実施形態同様、露光時間は画像１枚分の読み出し時間すなわちフレームレートと略等しくなる。これは、露光しない時間をできるだけ短くすることにより、移動する輝線を途切れさせないで撮影するためである。
また、露光量がオーバーする場合には、絞りを絞って撮像素子への入射光量を減らすか、信号ゲインを減らしてフレームレートと露光時間を略等しくすることが好ましい。
また、信号ゲインが増大すると、ＳＮが悪化するため、「開放でも光量が足りない場合や、被写界深度を深くとるために小絞りにしておく必要がある場合」などではゲインをアップすることが望ましい。
【０１１５】
第３の実施形態は第１の実施形態に撮影中断機能を追加したものであり、フローチャートは一部を除き同様のものとなる。
まず、最初に閾値ＫＲ、ＫＧ、ＫＢの設定を行う（Ｓ３００１）。以下（Ｓ３００６）までが、第１の実施形態の（Ｓ１００１）から（Ｓ１００６）に相当する。
【０１１６】
二度目の露光完了（Ｓ３００６）後、記録中断中か否かの判定を行う（Ｓ３０１２）。
操作部に記録中断ボタンを設け、ユーザが記録中断ボタンを押下した際には、記録中断中と判断することが望ましい。
【０１１７】
次に、記録中断中と判断された場合には、撮像部１００３より１画面分の信号を読み出し（Ｓ３０１３）、次の露光を開始する（Ｓ３００６）。すなわち、ここでは、バッファメモリ１００４の内容の更新を行わない。上記のような、バッファメモリ１００４の更新を行わない撮像部１００３からの信号読み出しを空読み出しという。
【０１１８】
次に、記録中断中ではないと判断された場合には、画素の信号を読み出し（Ｓ３００７）、バッファメモリに記録されている信号値との比較および、メモリの信号値更新を行ってゆく。上記作業を１画面分行うが、第３の実施形態のＳ３００７からＳ３０１０が第１の実施形態のＳ１００７からＳ１０１１に相当する。
【０１１９】
上記のように複数の画像が読み出される度に、記録中断中か否かの判断を行い、記録中断中ではない場合には、第１の実施形態同様にバッファメモリの内容を更新する。
【０１２０】
次に、第３の実施形態の撮影時における露光のタイミングについては第１の実施形態と同様になるため、説明を省略する。
図９は第３の実施形態の撮像装置で撮影を行った結果を図示したものである。
【０１２１】
この例では、花火の撮影例を示す。
図９（ａ）は、１度目の露光によって得られた画像、図９（ｂ）および図９（ｆ）は２度目以降の各露光によって得られた画像である。
また、図９（ａ）、図９（ｂ）、図９（ｃ）は連続して露光された３枚の画像である。
図９（ｄ）、図９（ｅ）、図９（ｆ）は、図９（ｃ）の撮影の後に撮影中断期間を経て、３枚連続して露光された画像である。
【０１２２】
上記のように、第３の実施形態では、図９（ｃ）と、図９（ｄ）の間では、バッファメモリの信号値を更新しない、空読み出しが行われる。
ユーザの操作としては下記のようになる。
【０１２３】
撮影が開始され、図９（ａ）、図９（ｂ）、図９（ｃ）までが、露光された後に、ユーザが露光不要と判断した場合、露光中断ボタンを押下することにより、バッファメモリの信号値の更新を止めることができる。この間に撮影された画像は、合成画像には反映されない。次に、ユーザが露光再開ボタンを押下することにより、撮影が再開されると、図９（ｄ）、図９（ｅ）、図９（ｆ）の画像が連続して取得される。ユーザが撮影を終了することにより、上記図９（ａ）および、図９（ｆ）までの画像を合成した、図９（ｇ）が作成される。
【０１２４】
第３の実施形態のように、第１の実施形態に露光中断機能を加えることにより、ユーザの好みのタイミングのみで合成用の画像を取得し、ユーザの意図する画作りを行うことができる。
【０１２５】
また、本実施形態では、空読み出しの際読み出した信号について何も行っていないが、読み出した信号を直接ＣＰＵ１００５に送り、スルー画を表示させても良い。
【０１２６】
また、本実施形態では、露光中断中も撮像部を駆動していたが、省電力のため、露光中断中は撮像部を停止させてもよい。
【０１２７】
上記のようにして、連写によって得られた複数の画像を用いた合成画像を、少量のメモリかつ簡単な操作で作成可能となる。
【０１２８】
（他の実施形態）
本発明の目的は以下のようにしても達成できる。すなわち、前述した各実施形態の機能を実現するための手順が記述されたソフトウェアのプログラムコードを記録した記憶媒体を、システムまたは装置に供給する。そしてそのシステムまたは装置のコンピュータ（またはＣＰＵ、ＭＰＵ等）が記憶媒体に格納されたプログラムコードを読み出して実行するのである。
【０１２９】
この場合、記憶媒体から読み出されたプログラムコード自体が本発明の新規な機能を実現することになり、そのプログラムコードを記憶した記憶媒体およびプログラムは本発明を構成することになる。
【０１３０】
また、プログラムコードを供給するための記憶媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスクなどが挙げられる。また、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭ、ＤＶＤ−ＲＷ、ＤＶＤ−Ｒ、磁気テープ、不揮発性のメモリカード、ＲＯＭ等も用いることができる。
【０１３１】
また、コンピュータが読み出したプログラムコードを実行可能とすることにより、前述した各実施形態の機能が実現される。さらに、そのプログラムコードの指示に基づき、コンピュータ上で稼動しているＯＳ（オペレーティングシステム）等が実際の処理の一部または全部を行い、その処理によって前述した各実施形態の機能が実現される場合も含まれる。
【０１３２】
更に、以下の場合も含まれる。まず記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれる。その後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵ等が実際の処理の一部または全部を行う。
【符号の説明】
【０１３３】
１００１ レンズ
１００２ メカニカルシャッタ
１００３ 撮像部
１００４ バッファメモリ
１００５ ＣＰＵ
１００６ 比較部
１００７ 演算部
１００８ 外部メモリ
１００９ 表示部
１０１０ 操作部
【特許請求の範囲】
【請求項１】
被写体を撮像し、画像データを出力する撮像手段と、
前記撮像手段から出力される１画面分の画像データを保持可能な容量を有するメモリと、
前記撮像手段から出力される第１の画像データの第１の画素値と、前記メモリに保持された１画面分の第２の画像データの、前記第１の画像データの前記第１の画素値に対応する第２の画素値との両方を、所定の閾値と比較する比較手段と、
前記比較手段による比較で前記第１及び前記第２の画素値のうち少なくとも一方が前記所定の閾値を超えるとき、前記第１及び前記第２の画素値のうち、小さくない方の値で前記第２の画素値を更新する更新手段と、
前記比較手段に前記比較を、前記更新手段に前記更新を、複数画面分の画像データに対して繰り返させた後の前記メモリ内の画像データを用いて、前記複数画面分の画像データの合成画像データを生成する制御手段と、を有することを特徴とする撮像装置。
【請求項２】
前記更新手段は、前記比較手段による比較で前記第１及び前記第２の画素値の両方が前記所定の閾値を超えないとき、前記第１及び前記第２の画素値の平均値で前記第２の画素値を更新することを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記更新手段による前記平均値は、１画面あたりの重みが等しくなるように重みづけ平均を行って得られる値であることを特徴とする請求項２に記載の撮像装置。
【請求項４】
前記所定の閾値は、撮像素子のカラーフィルタ毎に設定されることを特徴とする請求項１乃至３のいずれか１つに記載の撮像装置。
【請求項５】
前記撮像手段から出力される画像データにホワイトバランスの処理を施すホワイトバランス処理手段を有し、
前記カラーフィルタ毎の所定の閾値は、前記ホワイトバランス処理に用いられるホワイトバランス係数に基づいて決定されることを特徴とする、請求項４に記載の撮像装置。
【請求項６】
前記ホワイトバランス係数は、前記撮像手段による撮像の前に予備撮影を行い、その結果を用いて決定されることを特徴とする請求項５に記載の撮像装置。
【請求項７】
前記制御手段は、前記更新手段によって更新される前記メモリに記録された１画面分の画像データの輝度値の平均値が所定の輝度値を超えると、前記合成画像データの生成を終了することを特徴とする請求項３に記載の撮像装置。
【請求項８】
ユーザの操作によって前記撮像手段による撮像の枚数を指定する指定手段を有し、
前記制御手段は、前記指定手段によって指定された枚数分の画像データを用いて前記合成画像データを生成することを特徴とする請求項３に記載の撮像装置。
【請求項９】
ユーザの操作によって前記撮像手段による撮像を終了する指示を行う指示手段を有することを特徴とする請求項１乃至６のいずれか１つに記載の撮像装置。
【請求項１０】
前記撮像手段は、前記複数画面分の画像データを取得する時の露光において、電子シャッタを使用することを特徴とする請求項１乃至９のいずれか１つに記載の撮像装置。
【請求項１１】
前記撮像手段にはＣＭＯＳイメージセンサが用いられ、
前記撮像手段は、前記複数画面分の画像データを取得する時の露光においてローリングシャッタを使用し、
現在のフレームの信号読み出し中に、次のフレームのリセット動作を開始することを特徴とする請求項１および請求項９に記載の撮像装置。
【請求項１２】
前記撮像手段は、前記複数画面分の画像データを取得する時の露光条件について、同一の露光条件で撮像することを特徴とする請求項１乃至１１のいずれか１つに記載の撮像装置。
【請求項１３】
前記撮像手段は、前記複数画面分の画像データを取得する時の露光条件を、１枚目の画像の撮像前にユーザが指定することを特徴とする請求項１乃至１１のいずれか１つに記載の撮像装置。
【請求項１４】
前記撮像手段は、前記複数画面分の画像データを取得する時の露光条件を、１枚目の画像撮像前に予備撮影を行うことにより、その結果を用いて前記撮像画像の露光条件を決定し、前記露光条件で撮像を行うことを特徴とする請求項１乃至１１のいずれか１つに記載の撮像装置。
【請求項１５】
前記撮像手段は、前記複数画面分の画像データを取得する時に、露光終了時のシャッタとしてメカニカルシャッタを使用することを特徴とする請求項１乃至９のいずれか１つに記載の撮像装置。
【請求項１６】
被写体を撮像し、画像データを出力する撮像手段と、
前記撮像手段から得られる複数の画像データを画素ごとに合成して合成画像データを生成する合成手段と、を有し、
前記合成手段は、前記複数の画像データ間の対応する画素の各画素値の少なくとも１つが所定の閾値よりも大きければ、前記各画素値のうちの最大値を当該アドレスの画素値とし、
前記複数の画像データ間の対応する画素の各画素値がすべて所定の閾値より小さければ、前記各画素値の平均値を当該アドレスの画素値として、１画面分の前記合成画像データを生成することを特徴とする撮像装置。
【請求項１７】
被写体を撮像し、画像データを出力する撮像手段と、前記撮像手段から出力される１画面分の画像データを保持可能な容量を有するメモリと、を有する撮像装置であって、
前記撮像手段から出力される第１の画像データの第１の画素値と、前記メモリに保持された１画面分の第２の画像データの前記第１の画像データの前記第１の画素値に対応する第２の画素値との両方を、所定の閾値と比較する比較ステップと、
前記比較ステップでの比較で前記第１及び前記第２の画素値のうち少なくとも一方が前記所定の閾値を超えるとき、前記第１及び前記第２の画素値のうち、小さくない方の値で前記第２の画素値を更新する更新ステップと、
前記比較ステップと前記更新ステップを、複数画面分の画像データに対して繰り返した後の前記メモリ内の画像データを用いて、前記複数画面分の画像データの合成画像データを生成する生成ステップと、を有することを特徴とする撮像装置の制御方法。
【請求項１８】
被写体を撮像し、画像データを出力する撮像手段と、前記撮像手段から得られる複数の画像データを画素ごとに合成して合成画像データを生成する合成手段と、を有する撮像装置の制御方法であって、
前記複数の画像データ間の対応する画素の各画素値を所定の閾値と比較する比較ステップと、
前記比較ステップでの比較で前記各画素値の少なくとも１つが所定の閾値よりも大きければ、前記各画素値のうちの最大値を当該アドレスの画素値とし、
前記比較ステップでの比較で前記各画素値がすべて所定の閾値より小さければ、前記各画素値の平均値を当該アドレスの画素値として、１画面分の前記合成画像データを生成する生成ステップと、を有することを特徴とする撮像装置の制御方法。
【請求項１９】
請求項１７または１８に記載の撮像装置の制御方法の手順が記述されたコンピュータで実行可能なプログラム。
【請求項２０】
請求項１７または１８に記載の撮像装置の制御方法の手順が記述されたプログラムが記憶されたコンピュータが読み取り可能な記憶媒体。
【請求項１】
被写体を撮像し、画像データを出力する撮像手段と、
前記撮像手段から出力される１画面分の画像データを保持可能な容量を有するメモリと、
前記撮像手段から出力される第１の画像データの第１の画素値と、前記メモリに保持された１画面分の第２の画像データの、前記第１の画像データの前記第１の画素値に対応する第２の画素値との両方を、所定の閾値と比較する比較手段と、
前記比較手段による比較で前記第１及び前記第２の画素値のうち少なくとも一方が前記所定の閾値を超えるとき、前記第１及び前記第２の画素値のうち、小さくない方の値で前記第２の画素値を更新する更新手段と、
前記比較手段に前記比較を、前記更新手段に前記更新を、複数画面分の画像データに対して繰り返させた後の前記メモリ内の画像データを用いて、前記複数画面分の画像データの合成画像データを生成する制御手段と、を有することを特徴とする撮像装置。
【請求項２】
前記更新手段は、前記比較手段による比較で前記第１及び前記第２の画素値の両方が前記所定の閾値を超えないとき、前記第１及び前記第２の画素値の平均値で前記第２の画素値を更新することを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記更新手段による前記平均値は、１画面あたりの重みが等しくなるように重みづけ平均を行って得られる値であることを特徴とする請求項２に記載の撮像装置。
【請求項４】
前記所定の閾値は、撮像素子のカラーフィルタ毎に設定されることを特徴とする請求項１乃至３のいずれか１つに記載の撮像装置。
【請求項５】
前記撮像手段から出力される画像データにホワイトバランスの処理を施すホワイトバランス処理手段を有し、
前記カラーフィルタ毎の所定の閾値は、前記ホワイトバランス処理に用いられるホワイトバランス係数に基づいて決定されることを特徴とする、請求項４に記載の撮像装置。
【請求項６】
前記ホワイトバランス係数は、前記撮像手段による撮像の前に予備撮影を行い、その結果を用いて決定されることを特徴とする請求項５に記載の撮像装置。
【請求項７】
前記制御手段は、前記更新手段によって更新される前記メモリに記録された１画面分の画像データの輝度値の平均値が所定の輝度値を超えると、前記合成画像データの生成を終了することを特徴とする請求項３に記載の撮像装置。
【請求項８】
ユーザの操作によって前記撮像手段による撮像の枚数を指定する指定手段を有し、
前記制御手段は、前記指定手段によって指定された枚数分の画像データを用いて前記合成画像データを生成することを特徴とする請求項３に記載の撮像装置。
【請求項９】
ユーザの操作によって前記撮像手段による撮像を終了する指示を行う指示手段を有することを特徴とする請求項１乃至６のいずれか１つに記載の撮像装置。
【請求項１０】
前記撮像手段は、前記複数画面分の画像データを取得する時の露光において、電子シャッタを使用することを特徴とする請求項１乃至９のいずれか１つに記載の撮像装置。
【請求項１１】
前記撮像手段にはＣＭＯＳイメージセンサが用いられ、
前記撮像手段は、前記複数画面分の画像データを取得する時の露光においてローリングシャッタを使用し、
現在のフレームの信号読み出し中に、次のフレームのリセット動作を開始することを特徴とする請求項１および請求項９に記載の撮像装置。
【請求項１２】
前記撮像手段は、前記複数画面分の画像データを取得する時の露光条件について、同一の露光条件で撮像することを特徴とする請求項１乃至１１のいずれか１つに記載の撮像装置。
【請求項１３】
前記撮像手段は、前記複数画面分の画像データを取得する時の露光条件を、１枚目の画像の撮像前にユーザが指定することを特徴とする請求項１乃至１１のいずれか１つに記載の撮像装置。
【請求項１４】
前記撮像手段は、前記複数画面分の画像データを取得する時の露光条件を、１枚目の画像撮像前に予備撮影を行うことにより、その結果を用いて前記撮像画像の露光条件を決定し、前記露光条件で撮像を行うことを特徴とする請求項１乃至１１のいずれか１つに記載の撮像装置。
【請求項１５】
前記撮像手段は、前記複数画面分の画像データを取得する時に、露光終了時のシャッタとしてメカニカルシャッタを使用することを特徴とする請求項１乃至９のいずれか１つに記載の撮像装置。
【請求項１６】
被写体を撮像し、画像データを出力する撮像手段と、
前記撮像手段から得られる複数の画像データを画素ごとに合成して合成画像データを生成する合成手段と、を有し、
前記合成手段は、前記複数の画像データ間の対応する画素の各画素値の少なくとも１つが所定の閾値よりも大きければ、前記各画素値のうちの最大値を当該アドレスの画素値とし、
前記複数の画像データ間の対応する画素の各画素値がすべて所定の閾値より小さければ、前記各画素値の平均値を当該アドレスの画素値として、１画面分の前記合成画像データを生成することを特徴とする撮像装置。
【請求項１７】
被写体を撮像し、画像データを出力する撮像手段と、前記撮像手段から出力される１画面分の画像データを保持可能な容量を有するメモリと、を有する撮像装置であって、
前記撮像手段から出力される第１の画像データの第１の画素値と、前記メモリに保持された１画面分の第２の画像データの前記第１の画像データの前記第１の画素値に対応する第２の画素値との両方を、所定の閾値と比較する比較ステップと、
前記比較ステップでの比較で前記第１及び前記第２の画素値のうち少なくとも一方が前記所定の閾値を超えるとき、前記第１及び前記第２の画素値のうち、小さくない方の値で前記第２の画素値を更新する更新ステップと、
前記比較ステップと前記更新ステップを、複数画面分の画像データに対して繰り返した後の前記メモリ内の画像データを用いて、前記複数画面分の画像データの合成画像データを生成する生成ステップと、を有することを特徴とする撮像装置の制御方法。
【請求項１８】
被写体を撮像し、画像データを出力する撮像手段と、前記撮像手段から得られる複数の画像データを画素ごとに合成して合成画像データを生成する合成手段と、を有する撮像装置の制御方法であって、
前記複数の画像データ間の対応する画素の各画素値を所定の閾値と比較する比較ステップと、
前記比較ステップでの比較で前記各画素値の少なくとも１つが所定の閾値よりも大きければ、前記各画素値のうちの最大値を当該アドレスの画素値とし、
前記比較ステップでの比較で前記各画素値がすべて所定の閾値より小さければ、前記各画素値の平均値を当該アドレスの画素値として、１画面分の前記合成画像データを生成する生成ステップと、を有することを特徴とする撮像装置の制御方法。
【請求項１９】
請求項１７または１８に記載の撮像装置の制御方法の手順が記述されたコンピュータで実行可能なプログラム。
【請求項２０】
請求項１７または１８に記載の撮像装置の制御方法の手順が記述されたプログラムが記憶されたコンピュータが読み取り可能な記憶媒体。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【公開番号】特開２０１２−１４７３９１（Ｐ２０１２−１４７３９１Ａ）
【公開日】平成２４年８月２日（２０１２．８．２）
【国際特許分類】
【出願番号】特願２０１１−６１２４（Ｐ２０１１−６１２４）
【出願日】平成２３年１月１４日（２０１１．１．１４）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
【公開日】平成２４年８月２日（２０１２．８．２）
【国際特許分類】
【出願日】平成２３年１月１４日（２０１１．１．１４）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
[ Back to top ]