画像処理装置及び画像処理装置の制御方法
【課題】ダイナミックレンジを拡大するため、多重露光撮影によって得られた画像を加算するによる場合において、撮像条件によらず露出オーバーとならないように制御する。
【解決手段】多重露光装置において、撮影モードに応じて、複数の画像を画素値比較によっていずかの画像の画素値を選択して合成を行う合成処理と、複数の画像を加算あるいは減算により合成を行う合成処理を切り替える。
【解決手段】多重露光装置において、撮影モードに応じて、複数の画像を画素値比較によっていずかの画像の画素値を選択して合成を行う合成処理と、複数の画像を加算あるいは減算により合成を行う合成処理を切り替える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、複数回の撮影により得られた複数の画像を複数の合成方法によって合成が可能な画像処理装置及び画像処理装置の制御方法に関する。
【背景技術】
【０００２】
近年、デジタルカメラは、受光した光信号を電気信号に変換し蓄積することが可能な固体撮像素子をもちいて、静止画や動画を撮影、記録するものが一般的である。
しかし、この固体撮像素子は長時間露光を行うと熱等により発生する暗電流により、信号電荷より多い暗電流が蓄積されることがある。そのため、固体撮像素子を用いて長時間露光を行うとＳ／Ｎ比が低下し画質が低下してしまう。
【０００３】
また、固体撮像素子の内部に蓄積できる電荷量は非常に少ないため、長時間露光により暗電流が大量に蓄積されることは、カメラのダイナミックレンジを狭くすることにもなり画質の低下につながる。
【０００４】
そこで、固体撮像素子を用いて長時間露光を実現するために
例えば特許文献１では、複数回露光による撮像データを読み出して累積することにより画質の劣化を来たすことなく、長時間露光に相当する技術が公開されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開平５−２３６４２２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、特許文献１では、撮影条件によっては固体撮像素子一個あたりの電荷量が大きくなり、複数枚の画像データを加算するだけでは、露出オーバーになる場合がある。
【０００７】
上記課題に鑑み、本発明は、複数枚の画像データを加算して合成するかあるいは選択的に出力して合成するかを選択可能であり、かつこれらの合成を１つの回路で実現する画像処理装置または画像処理装置の制御方法を提供することを目的とする。
【課題を解決するための手段】
【０００８】
上記の課題を解決するために、本発明の画像処理装置は、請求項１に記載の通り、第１及び第２の画像データを取得する取得手段と、前記第１の画像データから前記第２の画像データを加算、または減算する加減算手段と、前記加減算手段からの出力を用いて前記第１及び前記第２の画像データを比較し、比較結果に応じて前記第１及び前記第２の画像データのいずれか１つを選択して出力する比較手段と、撮影モードに応じて、前記比較手段の出力と前記加減算手段の出力のいずれか１つを選択して出力する第１の選択手段と、を有することを特徴とする。
【０００９】
また、本発明の画像処理装置の制御方法は、請求項９に記載の通り、取得手段が、第１及び第２の画像データを取得する取得ステップと、加減算手段が、前記第１の画像データから前記第２の画像データを加算、または減算する加減算ステップと、比較手段が、前記加減算手段からの出力を用いて前記第１及び前記第２の画像データを比較し、比較結果に応じて前記第１及び前記第２の画像データのいずれか１つを選択して出力する比較ステップと、選択手段が、撮影モードに応じて前記比較手段の出力と前記加減算手段の出力のいずれか１つを選択して出力する選択ステップと、を有することを特徴とする。
【発明の効果】
【００１０】
本発明によれば、多重露光撮影において、撮影モードに応じて、画素値比較による画像合成と、画素加算による多重合成を選択することが可能となり、かつこのような合成を達成する回路を小規模で得ることができる。
【図面の簡単な説明】
【００１１】
【図１】撮像装置のブロック図
【図２】デジタル信号処理部のブロック図
【図３】画像合成部のブロック図
【図４】加算比較のブロック図
【図５】比較明モードの合成処理のイメージ図
【図６】比較暗モードの合成処理のイメージ図
【図７】加算、加算平均モードの合成処理のイメージ図
【図８】画素値の説明図
【発明を実施するための形態】
【００１２】
（第１の実施形態）
以下、本発明を適用した具体例について、図面を参照しながら詳細に説明する。
【００１３】
本実施形態の中で説明のために用いる言葉として、撮像データとはセンサ出力のＡＤ変換後のデジタルデータを指す。現像データとは撮像データを基にベイヤー画像の同時化およびＲＧＢからＹＣｒＣｂ変換後のデータをさし、圧縮画像データは現像データを例えばＪＰＥＧ圧縮処理などで圧縮したデータをさす。
【００１４】
図１は、第１の実施形態における画像処理装置の一例である撮像装置の全体構成を示すブロック図である。本発明の適用できる画像処理装置としてはこれに限らず、ＰＣや携帯端末などでも、後述するような複数の画像合成方法が達成できるような装置であればよい。
【００１５】
光学系（１００）によって結像される被写体像を、撮像素子（１０１）にて画素毎に電気信号に変換する（撮像する）。撮像素子（１０１）から出力された電気信号はＡ／Ｄ変換部（１０２）にて、デジタル信号に変換される。このようにして取得された撮像データは、デジタル信号処理部（１０４）にて現像データに変換される。
【００１６】
また、操作部（１０３）には撮影モードの切り替えスイッチやシャッター釦が装備されており、ＣＰＵ（１０７）で操作部（１０３）の設定状態を判断することで、撮影モード（例えば多重露光において比較明、比較暗、多重加算など）の切り替えを行う。
【００１７】
またＣＰＵ（１０７）は、撮影モードによって、デジタル信号処理部（１０４）のパラメータを切り替える。
【００１８】
デジタル信号処理部（１０４）から出力される撮像データ、または現像データは、ＤＡＴＡバス（１０８）とメモリ制御部（１０９）を介して、一旦、メモリ（１１０）に記録される。
【００１９】
データ圧縮／伸長部（１１１）では、例えばＪＰＥＧ圧縮処理が行われ、圧縮画像データとしてメモリ（１１０）に記録されている現像データを圧縮し出力する。圧縮画像データはＤＡＴＡバス（１０８）および記録制御部（１１２）を介して記録媒体（１１３）に記録される。
【００２０】
表示制御部（１１４）は、ＤＡＴＡバス（１０８）を介して入力される現像データにリサイズ、ガンマ補正等の所定の処理を施し、表示部１１５に表示させる。
【００２１】
なお、図示していないが、メモリ制御部（１０９）、記録制御部（１１２）、表示制御部（１１４）を含めた各部はＣＰＵ（１０７）の制御信号により動作する。
【００２２】
図２は図１におけるデジタル信号処理部（１０４）の内部構成を示したブロック図である。
【００２３】
Ａ／Ｄ変換部（１０２）から入力される撮像データは、センサ補正部（２０３）で、光学部（１００）で生じる色収差や撮像素子（１０１）が持つ素子のゲインバラツキの補正、欠陥画素の判別と補正などが施される。センサ補正部（２０３）から出力される撮像データはＤＡＴＡバス（１０８）を介してメモリ（１１０）に記録されることが可能である。センサ補正部（２０３）から出力される撮像データは、画像合成部（２０１）に入力される。画像合成部（２０１）ではＤＡＴＡバス（１０８）を介してメモリ（１１０）に記録されている撮像データを読み出し、センサ補正部（２０３）から入力される撮像データと画素毎に合成処理を行う。
【００２４】
多重化された撮像データは、現像処理部（２０２）において現像処理を行い現像データが生成される。ここで現像処理とは、例えばベイヤー画像を同時化処理（補間処理）、ガンマ補正処理、色空間変換処理などを行いＲＧＢからＹＣｒＣｂ変換後の現像データを生成することを指す。現像処理部（２０２）で生成された現像データはＤＡＴＡバス（１０８）を介してメモリ（１１０）に記録される。
【００２５】
本実施形態では、デジタル信号処理部の各ブロックはハードで実現されているが、加算比較部（３０２）以外の構成はソフトウェアモジュールとして実現するようにしてもよい。
ここで、多重露出撮影モードにおける撮影処理の流れを説明する。ユーザにより設定された、あるいはシーン判別等により自動で決定された露出、フォーカス等の撮影条件に従って、ＣＰＵ（１０７）は制御信号によりタイミングジェネレータ（１０６）、センサ駆動制御部（１０５）を介して撮像素子（１０１）を駆動する。またＣＰＵ（１０７）は、レンズ駆動制御部（１１６）を介して光学系（１００）を駆動する。撮像素子からの電気信号は、その後Ａ／Ｄ変換部（１０２）を介して撮像データとしてデジタル信号処理部（１０４）に入力される。
【００２６】
デジタル信号処理部（１０４）ではセンサ補正部（２０３）において光学部（１００）で生じる色収差や撮像素子（１０１）が持つ素子のゲインバラツキの補正、欠陥画素の判別、補正処理等を行う。多重露出撮影モードにおいて、１枚目に撮影された撮像データは、一旦、ＤＡＴＡバス（１０８）を介してメモリ（１１０）に記録される。
【００２７】
２枚目以降に撮影された撮像データは、１枚目と同様に処理され、センサ補正部（２０３）から出力されると画像合成部（２０１）に図３における画像２として入力される。前回までに撮像、合成され、メモリ１１０に記録されている撮像データが画像１として画像合成部（２０１）に入力され、画像合成部（２０１）では各モードに応じた合成方法で画像の合成処理が行われる。画像合成部（２０１）から出力された合成画像データは現像処理部２０２で現像され、現像された現像データは、データ圧縮／伸長部（１１１）で圧縮され、記録制御部（１１２）を介して記録媒体（１１３）に記録される。あるいは、現像データは表示制御部（１１４）を介して表示部１１５に表示される。
【００２８】
次に、画像合成部（２０１）における画像合成処理の詳細を説明する。
【００２９】
図３は図２における画像合成部（２０１）の内部構成を示したブロック図である。画像合成部（２０１）は二つの入力口を持ち、画像１（第１の画像データ）と画像２（第２の画像データ）を画像合成部（３００）に入力する。第１のゲイン調整部（３００）、第２のゲイン調整部（３０１）ではそれぞれ入力される画像１、画像２に対してゲインが掛けられる。具体的には、加算平均処理において、例えば画像１が３枚目までの合成画像、画像２が４枚目の画像であった場合には、画像１：画像２＝３：１となるようにゲインが掛けられる。加算比較部（３０２）では入力された二つの画像を、比較、加算といった画素毎の合成処理を行い第３のゲイン調整部（３０３）に合成画像を出力する。第３のゲイン調整部（３０３）では、例えば加算比較部（３０２）からの前述したような３枚目までの合成画像と４枚目を合成した合成画像に、１／４のゲインを掛けることで、後述する加算平均処理を行うことが可能になる。
【００３０】
図４は図３における加算比較部（３０２）の内部構成について示した図である。
加算比較部（３０２）では、図１に示したＣＰＵ（１０７）からのパラメータを基に、加算、加算平均、比較明、比較暗といった合成処理が可能であり、本実施形態では、多重露出撮影モードとして加算モード、加算平均モード、比較明モード、比較暗モードを備える。
【００３１】
合成前の画像のそれぞれの画素値をＩ＿ｉ（ｘ，ｙ）（ｉ＝１〜Ｎ，ｘ，ｙは画面内の座標を表す）、それらのＮ枚の画像の合成後の画像の画素値をＩ（ｘ，ｙ）とする。このとき、加算モードは、
Ｉ（ｘ，ｙ）＝Ｉ＿１（ｘ，ｙ）＋Ｉ＿２（ｘ，ｙ）＋・・・＋Ｉ＿Ｎ（ｘ，ｙ）
で表され、画素別にＮ枚の画像の画素値の加算処理がなされたものが合成画像データとなる。加算平均モードは、
Ｉ（ｘ，ｙ）＝（Ｉ＿１（ｘ，ｙ）＋Ｉ＿２（ｘ，ｙ）＋・・・＋Ｉ＿Ｎ（ｘ，ｙ））／Ｎ
で表され、画素別にＮ枚の画像の画素値の平均値処理がなされたものが合成画像データとなる。比較明モードは、
Ｉ（ｘ，ｙ）＝ｍａｘ（Ｉ＿１（ｘ，ｙ），Ｉ＿２（ｘ，ｙ），・・・，Ｉ＿Ｎ（ｘ，ｙ））
で表され、画素別にＮ枚の画像の画素値の最大値が選択されたものが合成画像データとなる。比較暗モードは、
Ｉ（ｘ，ｙ）＝ｍｉｎ（Ｉ＿１（ｘ，ｙ），Ｉ＿２（ｘ，ｙ），・・・，Ｉ＿Ｎ（ｘ，ｙ））
で表され、画素別にＮ枚の画像の画素値の最小値が選択されたものが合成画像データとなる。
【００３２】
本実施形態では、加算比較部（３０２）による２枚の合成処理を繰り返すことでＮ枚の合成画像を生成する。すなわち、加算モードでは、
Ｉ２（ｘ，ｙ）＝Ｉ＿１（ｘ，ｙ）＋Ｉ＿２（ｘ，ｙ），
Ｉ３（ｘ，ｙ）＝Ｉ２（ｘ，ｙ）＋Ｉ＿３（ｘ，ｙ），
‥‥
Ｉ（ｘ，ｙ）＝ＩＮ（ｘ，ｙ）＝ＩＮ−１（ｘ，ｙ）＋Ｉ＿Ｎ（ｘ，ｙ）
となる。また、加算平均モードでは、
Ｉ２（ｘ，ｙ）＝（Ｉ＿１（ｘ，ｙ）＋Ｉ＿２（ｘ，ｙ））／２，
Ｉ３（ｘ，ｙ）＝Ｉ２（ｘ，ｙ）／３＋Ｉ＿３（ｘ，ｙ）／３，
‥‥
Ｉ（ｘ，ｙ）＝ＩＮ（ｘ，ｙ）＝ＩＮ−１（ｘ，ｙ）／Ｎ＋Ｉ＿Ｎ（ｘ，ｙ）／Ｎ
となる。また、比較明モードでは、
Ｉ２（ｘ，ｙ）＝ｍａｘ（Ｉ＿１（ｘ，ｙ），Ｉ＿２（ｘ，ｙ）），
Ｉ３（ｘ，ｙ）＝ｍａｘ（Ｉ２（ｘ，ｙ），Ｉ＿３（ｘ，ｙ）），
‥‥
Ｉ（ｘ，ｙ）＝ＩＮ（ｘ，ｙ）＝ｍａｘ（ＩＮ−１（ｘ，ｙ），Ｉ＿Ｎ（ｘ，ｙ）），
となる。また、比較暗モードでは、
Ｉ２（ｘ，ｙ）＝ｍｉｎ（Ｉ＿１（ｘ，ｙ），Ｉ＿２（ｘ，ｙ）），
Ｉ３（ｘ，ｙ）＝ｍｉｎ（Ｉ２（ｘ，ｙ），Ｉ＿３（ｘ，ｙ）），
‥‥
Ｉ（ｘ，ｙ）＝ＩＮ（ｘ，ｙ）＝ｍｉｎ（ＩＮ−１（ｘ，ｙ），Ｉ＿Ｎ（ｘ，ｙ））
となる。
【００３３】
加減算回路（４００）は入力１及び入力２を加算あるいは減算する回路であり、またＥＸＯＲ（４０１）には減算結果の符号であるＭＳＢ（Ｍｏｓｔ Ｓｉｇｎｉｆｉｃａｎｔ Ｂｉｔ）を出力する。ＥＸＯＲ（４０１）は加減算回路（４００）からのＭＳＢとＣＭＰ＿ＳＥＬの入力に対する排他的論理和を出力する論理回路である。セレクタ１（４０２）（第２の選択手段）、セレクタ２（４０３）（第１の選択手段）は入力のいずれかを選択的に出力する。ＣＭＰ＿ＳＥＬ及びＳＵＢ＿ＳＥＬはレジスタから出力される値であり、各モードに応じてＣＰＵ（１０７）からの制御信号により設定される値である。
【００３４】
ここで、各モードにおける加算比較部（３０２）内の各部の動作について詳細に説明する。
【００３５】
加算モードと加算平均モードでは、前後の第１乃至第３のゲイン調整部（３００、３０１，３０３）において各画像データに掛けられるゲインが異なるだけで、加算比較部（３０２）における処理は変わらない。入力１から入力される画像１と、入力２から入力される画像２に対して加減算回路（４００）において加算処理が行われる。ＳＵＢ＿ＳＥＬには‘１’が設定されるため、ＣＭＰ＿ＳＥＬの設定に依らず、セレクタ２（４０３）からは、画像１と画像２の加算結果が合成処理の結果として画素毎に出力される。
【００３６】
比較明モードでは、入力１から入力される画像１と、入力２から入力される画像２に対して加減算回路（４００）において減算処理が行われる。ここで加減算回路（４００）は例えば、加算時は入力１と入力２の値をそのまま加算器で加算を行い、減算時は入力２の値を反転して‘１’を足してから、入力１と加算器により加算をすることで一つの加算器で加減算を実現している。その後、加減算回路（４００）の減算結果よりＭＳＢがＥＸＯＲ（４０１）に入力される。比較明モードでは、ＣＭＰ＿ＳＥＬは‘０’が設定されているので、セレクタ１（４０２）は加減算回路（４００）の減算結果におけるＭＳＢに基づいて、入力１と入力２のうち、小さくない方の値を選択して出力する。また、ＳＵＢ＿ＳＥＬは‘０’が設定されているため、セレクタ２（４０３）からは、セレクタ１（４０２）からの出力、すなわち、画像１と画像２を画素毎に値を比較し小さくない方の値が合成処理の結果として画素毎に出力される。
【００３７】
比較暗モードでは、入力１から入力される画像１と、入力２から入力される画像２に対して加減算回路（４００）において減算処理が行われる。その後、加減算回路（４００）の減算結果よりＭＳＢがＥＸＯＲ（４０１）に入力される。比較暗モードでは、ＣＭＰ＿ＳＥＬは‘１’が設定されているので、セレクタ１（４０２）にはＭＳＢを反転させた結果が入力され、セレクタ１（４０２）は、入力１と入力２のうち、大きくない方の値を選択して出力する。また、ＳＵＢ＿ＳＥＬは‘０’が設定されているため、セレクタ２（４０３）からは、セレクタ１（４０２）からの出力、すなわち、画像１と画像２を画素毎に値を比較し大きくない方の値が合成処理の結果として画素毎に出力される。
【００３８】
図５を用いて比較明における画像１と画像２の合成内容を説明する。
【００３９】
図５の（ａ）は画像合成部（２０１）に入力される画像１のイメージ図で、図５の（ｂ）は画像２のイメージ図である。
【００４０】
図５で示した画素は８ｂｉｔ（０〜２５５）の値をとるものとし、図８に示したように白抜きした画素は、画素値Ｘ（例えば８Ｂｉｔデータとする）が２００≦Ｘの画素値を持つ。また、斜線の画素は１００≦Ｘ＜２００の画素値を持ち、点模様の画素はＸ＜１００の画素値を持つとする。
【００４１】
それぞれの画像は、左上（Ａ１）の画素から入力され水平方向に順次入力される。
つまりＡ１，Ｂ１，Ｃ１・・・Ｍ１，Ｎ１，Ａ２，Ｂ２，Ｃ２・・・の順でＮ８までの画素データが入力される。
【００４２】
例えば図４において入力１には図５（ａ）のＫ１画素（白抜き画素）が、入力２には図５（ｂ）のＫ１画素（点模様画素）が入力される場合を説明する。
その場合、図４の加減算回路（４００）とＥＸＯＲ（４０１）、セレクタ１（４０２）によって、入力された二つの画素が比較され、値が大きい方、つまり入力１の図５（ａ）のＫ１画素が画像合成部（３００）より出力される。
【００４３】
図５（ｃ）はＫ１における画素比較結果のイメージを図示したものである。
【００４４】
図５（ｄ）は同様に画像１、画像２のＦ１画素における値を比較したイメージ図である。この場合、画像２のＦ１画素が大きい値を持つため、比較の結果、画像２の画素が選択されて出力する。
【００４５】
複数回の撮影によって、図５（ａ）と図５（ｂ）のような画像が得られた場合の比較明における画像合成結果をイメージ図で示したのが図５（ｅ）になる。
【００４６】
以上より、例えば１回目の撮影では、被写体の右下からライティングして撮影し、２回目の撮影では被写体の左上からライティングして撮影を行う。すると、本実施形態の比較明による画像合成により、右下、左上共にライティングによってより階調の出た画像が得られる。これが単純な加算処理では露出オーバーになったり、加算平均処理ではゲイン調整などでダイナミックレンジが低減されたりしてしまう。
【００４７】
図６を用いて比較暗における画像１と画像２の合成内容を説明する。
【００４８】
図６の（ａ）は画像合成部（２０１）に入力される画像１のイメージ図で、図６の（ｂ）は画像２のイメージ図である。
【００４９】
それぞれの画像は、左上（Ａ１）の画素から入力され水平方向に順次入力される。
つまりＡ１，Ｂ１，Ｃ１・・・Ｍ１，Ｎ１，Ａ２，Ｂ２，Ｃ２・・・の順でＮ８までの画素データが入力される。
【００５０】
例えば図４において入力１には図６（ａ）のＥ２画素が、入力２には図６（ｂ）のＥ２画素が入力され、入力１のＥ２画素の方が小さい値を持つとする。
【００５１】
この場合、図４の加減算回路（４００）とＥＸＯＲ（４０１）、セレクタ１（４０２）によって、入力された二つの画素が比較され、値が小さい方、つまり入力１の図６（ｂ）のＥ２画素が画像合成部（３００）より出力される。
【００５２】
図６（ｃ）はＥ２における画素比較結果のイメージを図示したものである。
【００５３】
図６（ｄ）は同様に画像１、画像２のＥ８画素における値を比較したイメージ図である。この場合、画像２のＥ８画素が小さい値を持つため、比較の結果、画像２の画素が選択されて出力する。
【００５４】
複数回の撮影によって、図６（ａ）と図６（ｂ）のような画像が得られた場合の比較暗における画像合成結果をイメージ図で示したのが図６（ｅ）になる。
【００５５】
以上より、例えば１回目の撮影で露出オーバーな画素が生じてしまったような場合に、その露出オーバーが解消されるようなライティングの撮影条件下で２回目の撮影を行う。これらに比較暗による画像合成を行うことにより、露出オーバーの内良好な画像を得ることができる。このとき単純な加算処理では露出オーバーな画素がそのまま存在してしまうし、加算平均処理ではやはりゲイン調整によってダイナミックレンジを低減してしまう。
【００５６】
図７を用いて加算合成における画像１と画像２の合成内容を説明する。
【００５７】
図７の（ａ）は画像合成部（２０１）に入力される画像１のイメージ図で、図７の（ｂ）は画像２のイメージ図である。
【００５８】
それぞれの画像は、左上（Ａ１）の画素から入力され水平方向に順次入力される。
つまりＡ１，Ｂ１，Ｃ１・・・Ｍ１，Ｎ１，Ａ２，Ｂ２，Ｃ２・・・の順でＮ８までの画素データが入力される。
【００５９】
例えば図４において入力１には図７（ａ）のＡ１画素が、入力２には図７（ｂ）のＡ１画素が入力されるとする。
【００６０】
その場合、図４の加減算回路（４００）によって、入力された二つの画素が加算され、加算結果がＡ１の画素として画像合成部（３００）より出力される。図７（ｃ）はＡ１における画素加算結果のイメージを図示したものである。
【００６１】
複数回の撮影によって得られた画像１、つまり図７の（ａ）と、画像２、つまり図７の（ｂ）が加算された画像合成結果をイメージ図で示したのが図７（ｄ）になる。
【００６２】
また画像合成部（３００）より出力される画像を図３に記載のゲイン調整部（３０１）において１／２倍にすることで加算平均処理として画像合成部（２０１）から合成結果を出力する事も可能である。
【００６３】
以上のように、本実施形態では、多重露光撮影において、撮影モードに応じて、画素値比較による画像合成と、画素加算による多重合成を選択することが可能となり、かつこのような合成を達成する回路を小規模で得ることができる。
【００６４】
本実施形態では、画像合成の対象画像として画像合成部（３００）に入力される画像データをセンサ補正部（２０３）からの出力画像データとした。しかし、これに限らず、例えば図５等で示したベイヤー配列の撮像データに同時化処理で各画素毎にＲＧＢの画素値を持つようにした状態の画像データでも良い。また、ガンマ補正、色空間変換などの現像処理を行って例えばＹＣｒＣｂの形式に変換された、すなわち現像処理後の画像データを合成してもよい。その場合、図２において、現像処理部（２０２）で処理される処理の一部（同時化処理を含む）あるいは全部を行う処理ブロックが、画像合成部（２０１）の前段でありセンサ補正部（２０３）の直後である位置に設けられることになる。
【００６５】
（他の実施形態）
本発明の目的は以下のようにしても達成できる。すなわち、前述した各実施形態の機能を実現するための手順が記述されたソフトウェアのプログラムコードを記録した記憶媒体を、システムまたは装置に供給する。そしてそのシステムまたは装置のコンピュータ（またはＣＰＵ、ＭＰＵ等）が記憶媒体に格納されたプログラムコードを読み出して実行するのである。
【００６６】
この場合、記憶媒体から読み出されたプログラムコード自体が本発明の新規な機能を実現することになり、そのプログラムコードを記憶した記憶媒体およびプログラムは本発明を構成することになる。
【００６７】
また、プログラムコードを供給するための記憶媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスクなどが挙げられる。また、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭ、ＤＶＤ−ＲＷ、ＤＶＤ−Ｒ、磁気テープ、不揮発性のメモリカード、ＲＯＭ等も用いることができる。
【００６８】
また、コンピュータが読み出したプログラムコードを実行可能とすることにより、前述した各実施形態の機能が実現される。さらに、そのプログラムコードの指示に基づき、コンピュータ上で稼動しているＯＳ（オペレーティングシステム）等が実際の処理の一部または全部を行い、その処理によって前述した各実施形態の機能が実現される場合も含まれる。
【００６９】
更に、以下の場合も含まれる。まず記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれる。その後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵ等が実際の処理の一部または全部を行う。
【符号の説明】
【００７０】
１００ 光学系
１０１ 撮像素子
１０２ Ａ／Ｄ変換部
１０３ 操作部
１０４ デジタル信号処理部
１０５ センサ駆動制御部
１０６ タイミングジェネレータ
１０７ ＣＰＵ
１０８ ＤＡＴＡバス
１０９ メモリ制御部
１１０ メモリ
１１１ データ圧縮／伸張部
１１２ 記録制御部
１１３ 記録媒体
２０１ センサ補正部
２０２ 画像合成部
２０３ 現像処理部
３００ 画像合成部
３０１ ゲイン調整部
４００ 加減算回路
４０１ ＥＸＯＲ回路
４０２ セレクタ１
４０３ セレクタ２
【技術分野】
【０００１】
本発明は、複数回の撮影により得られた複数の画像を複数の合成方法によって合成が可能な画像処理装置及び画像処理装置の制御方法に関する。
【背景技術】
【０００２】
近年、デジタルカメラは、受光した光信号を電気信号に変換し蓄積することが可能な固体撮像素子をもちいて、静止画や動画を撮影、記録するものが一般的である。
しかし、この固体撮像素子は長時間露光を行うと熱等により発生する暗電流により、信号電荷より多い暗電流が蓄積されることがある。そのため、固体撮像素子を用いて長時間露光を行うとＳ／Ｎ比が低下し画質が低下してしまう。
【０００３】
また、固体撮像素子の内部に蓄積できる電荷量は非常に少ないため、長時間露光により暗電流が大量に蓄積されることは、カメラのダイナミックレンジを狭くすることにもなり画質の低下につながる。
【０００４】
そこで、固体撮像素子を用いて長時間露光を実現するために
例えば特許文献１では、複数回露光による撮像データを読み出して累積することにより画質の劣化を来たすことなく、長時間露光に相当する技術が公開されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開平５−２３６４２２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、特許文献１では、撮影条件によっては固体撮像素子一個あたりの電荷量が大きくなり、複数枚の画像データを加算するだけでは、露出オーバーになる場合がある。
【０００７】
上記課題に鑑み、本発明は、複数枚の画像データを加算して合成するかあるいは選択的に出力して合成するかを選択可能であり、かつこれらの合成を１つの回路で実現する画像処理装置または画像処理装置の制御方法を提供することを目的とする。
【課題を解決するための手段】
【０００８】
上記の課題を解決するために、本発明の画像処理装置は、請求項１に記載の通り、第１及び第２の画像データを取得する取得手段と、前記第１の画像データから前記第２の画像データを加算、または減算する加減算手段と、前記加減算手段からの出力を用いて前記第１及び前記第２の画像データを比較し、比較結果に応じて前記第１及び前記第２の画像データのいずれか１つを選択して出力する比較手段と、撮影モードに応じて、前記比較手段の出力と前記加減算手段の出力のいずれか１つを選択して出力する第１の選択手段と、を有することを特徴とする。
【０００９】
また、本発明の画像処理装置の制御方法は、請求項９に記載の通り、取得手段が、第１及び第２の画像データを取得する取得ステップと、加減算手段が、前記第１の画像データから前記第２の画像データを加算、または減算する加減算ステップと、比較手段が、前記加減算手段からの出力を用いて前記第１及び前記第２の画像データを比較し、比較結果に応じて前記第１及び前記第２の画像データのいずれか１つを選択して出力する比較ステップと、選択手段が、撮影モードに応じて前記比較手段の出力と前記加減算手段の出力のいずれか１つを選択して出力する選択ステップと、を有することを特徴とする。
【発明の効果】
【００１０】
本発明によれば、多重露光撮影において、撮影モードに応じて、画素値比較による画像合成と、画素加算による多重合成を選択することが可能となり、かつこのような合成を達成する回路を小規模で得ることができる。
【図面の簡単な説明】
【００１１】
【図１】撮像装置のブロック図
【図２】デジタル信号処理部のブロック図
【図３】画像合成部のブロック図
【図４】加算比較のブロック図
【図５】比較明モードの合成処理のイメージ図
【図６】比較暗モードの合成処理のイメージ図
【図７】加算、加算平均モードの合成処理のイメージ図
【図８】画素値の説明図
【発明を実施するための形態】
【００１２】
（第１の実施形態）
以下、本発明を適用した具体例について、図面を参照しながら詳細に説明する。
【００１３】
本実施形態の中で説明のために用いる言葉として、撮像データとはセンサ出力のＡＤ変換後のデジタルデータを指す。現像データとは撮像データを基にベイヤー画像の同時化およびＲＧＢからＹＣｒＣｂ変換後のデータをさし、圧縮画像データは現像データを例えばＪＰＥＧ圧縮処理などで圧縮したデータをさす。
【００１４】
図１は、第１の実施形態における画像処理装置の一例である撮像装置の全体構成を示すブロック図である。本発明の適用できる画像処理装置としてはこれに限らず、ＰＣや携帯端末などでも、後述するような複数の画像合成方法が達成できるような装置であればよい。
【００１５】
光学系（１００）によって結像される被写体像を、撮像素子（１０１）にて画素毎に電気信号に変換する（撮像する）。撮像素子（１０１）から出力された電気信号はＡ／Ｄ変換部（１０２）にて、デジタル信号に変換される。このようにして取得された撮像データは、デジタル信号処理部（１０４）にて現像データに変換される。
【００１６】
また、操作部（１０３）には撮影モードの切り替えスイッチやシャッター釦が装備されており、ＣＰＵ（１０７）で操作部（１０３）の設定状態を判断することで、撮影モード（例えば多重露光において比較明、比較暗、多重加算など）の切り替えを行う。
【００１７】
またＣＰＵ（１０７）は、撮影モードによって、デジタル信号処理部（１０４）のパラメータを切り替える。
【００１８】
デジタル信号処理部（１０４）から出力される撮像データ、または現像データは、ＤＡＴＡバス（１０８）とメモリ制御部（１０９）を介して、一旦、メモリ（１１０）に記録される。
【００１９】
データ圧縮／伸長部（１１１）では、例えばＪＰＥＧ圧縮処理が行われ、圧縮画像データとしてメモリ（１１０）に記録されている現像データを圧縮し出力する。圧縮画像データはＤＡＴＡバス（１０８）および記録制御部（１１２）を介して記録媒体（１１３）に記録される。
【００２０】
表示制御部（１１４）は、ＤＡＴＡバス（１０８）を介して入力される現像データにリサイズ、ガンマ補正等の所定の処理を施し、表示部１１５に表示させる。
【００２１】
なお、図示していないが、メモリ制御部（１０９）、記録制御部（１１２）、表示制御部（１１４）を含めた各部はＣＰＵ（１０７）の制御信号により動作する。
【００２２】
図２は図１におけるデジタル信号処理部（１０４）の内部構成を示したブロック図である。
【００２３】
Ａ／Ｄ変換部（１０２）から入力される撮像データは、センサ補正部（２０３）で、光学部（１００）で生じる色収差や撮像素子（１０１）が持つ素子のゲインバラツキの補正、欠陥画素の判別と補正などが施される。センサ補正部（２０３）から出力される撮像データはＤＡＴＡバス（１０８）を介してメモリ（１１０）に記録されることが可能である。センサ補正部（２０３）から出力される撮像データは、画像合成部（２０１）に入力される。画像合成部（２０１）ではＤＡＴＡバス（１０８）を介してメモリ（１１０）に記録されている撮像データを読み出し、センサ補正部（２０３）から入力される撮像データと画素毎に合成処理を行う。
【００２４】
多重化された撮像データは、現像処理部（２０２）において現像処理を行い現像データが生成される。ここで現像処理とは、例えばベイヤー画像を同時化処理（補間処理）、ガンマ補正処理、色空間変換処理などを行いＲＧＢからＹＣｒＣｂ変換後の現像データを生成することを指す。現像処理部（２０２）で生成された現像データはＤＡＴＡバス（１０８）を介してメモリ（１１０）に記録される。
【００２５】
本実施形態では、デジタル信号処理部の各ブロックはハードで実現されているが、加算比較部（３０２）以外の構成はソフトウェアモジュールとして実現するようにしてもよい。
ここで、多重露出撮影モードにおける撮影処理の流れを説明する。ユーザにより設定された、あるいはシーン判別等により自動で決定された露出、フォーカス等の撮影条件に従って、ＣＰＵ（１０７）は制御信号によりタイミングジェネレータ（１０６）、センサ駆動制御部（１０５）を介して撮像素子（１０１）を駆動する。またＣＰＵ（１０７）は、レンズ駆動制御部（１１６）を介して光学系（１００）を駆動する。撮像素子からの電気信号は、その後Ａ／Ｄ変換部（１０２）を介して撮像データとしてデジタル信号処理部（１０４）に入力される。
【００２６】
デジタル信号処理部（１０４）ではセンサ補正部（２０３）において光学部（１００）で生じる色収差や撮像素子（１０１）が持つ素子のゲインバラツキの補正、欠陥画素の判別、補正処理等を行う。多重露出撮影モードにおいて、１枚目に撮影された撮像データは、一旦、ＤＡＴＡバス（１０８）を介してメモリ（１１０）に記録される。
【００２７】
２枚目以降に撮影された撮像データは、１枚目と同様に処理され、センサ補正部（２０３）から出力されると画像合成部（２０１）に図３における画像２として入力される。前回までに撮像、合成され、メモリ１１０に記録されている撮像データが画像１として画像合成部（２０１）に入力され、画像合成部（２０１）では各モードに応じた合成方法で画像の合成処理が行われる。画像合成部（２０１）から出力された合成画像データは現像処理部２０２で現像され、現像された現像データは、データ圧縮／伸長部（１１１）で圧縮され、記録制御部（１１２）を介して記録媒体（１１３）に記録される。あるいは、現像データは表示制御部（１１４）を介して表示部１１５に表示される。
【００２８】
次に、画像合成部（２０１）における画像合成処理の詳細を説明する。
【００２９】
図３は図２における画像合成部（２０１）の内部構成を示したブロック図である。画像合成部（２０１）は二つの入力口を持ち、画像１（第１の画像データ）と画像２（第２の画像データ）を画像合成部（３００）に入力する。第１のゲイン調整部（３００）、第２のゲイン調整部（３０１）ではそれぞれ入力される画像１、画像２に対してゲインが掛けられる。具体的には、加算平均処理において、例えば画像１が３枚目までの合成画像、画像２が４枚目の画像であった場合には、画像１：画像２＝３：１となるようにゲインが掛けられる。加算比較部（３０２）では入力された二つの画像を、比較、加算といった画素毎の合成処理を行い第３のゲイン調整部（３０３）に合成画像を出力する。第３のゲイン調整部（３０３）では、例えば加算比較部（３０２）からの前述したような３枚目までの合成画像と４枚目を合成した合成画像に、１／４のゲインを掛けることで、後述する加算平均処理を行うことが可能になる。
【００３０】
図４は図３における加算比較部（３０２）の内部構成について示した図である。
加算比較部（３０２）では、図１に示したＣＰＵ（１０７）からのパラメータを基に、加算、加算平均、比較明、比較暗といった合成処理が可能であり、本実施形態では、多重露出撮影モードとして加算モード、加算平均モード、比較明モード、比較暗モードを備える。
【００３１】
合成前の画像のそれぞれの画素値をＩ＿ｉ（ｘ，ｙ）（ｉ＝１〜Ｎ，ｘ，ｙは画面内の座標を表す）、それらのＮ枚の画像の合成後の画像の画素値をＩ（ｘ，ｙ）とする。このとき、加算モードは、
Ｉ（ｘ，ｙ）＝Ｉ＿１（ｘ，ｙ）＋Ｉ＿２（ｘ，ｙ）＋・・・＋Ｉ＿Ｎ（ｘ，ｙ）
で表され、画素別にＮ枚の画像の画素値の加算処理がなされたものが合成画像データとなる。加算平均モードは、
Ｉ（ｘ，ｙ）＝（Ｉ＿１（ｘ，ｙ）＋Ｉ＿２（ｘ，ｙ）＋・・・＋Ｉ＿Ｎ（ｘ，ｙ））／Ｎ
で表され、画素別にＮ枚の画像の画素値の平均値処理がなされたものが合成画像データとなる。比較明モードは、
Ｉ（ｘ，ｙ）＝ｍａｘ（Ｉ＿１（ｘ，ｙ），Ｉ＿２（ｘ，ｙ），・・・，Ｉ＿Ｎ（ｘ，ｙ））
で表され、画素別にＮ枚の画像の画素値の最大値が選択されたものが合成画像データとなる。比較暗モードは、
Ｉ（ｘ，ｙ）＝ｍｉｎ（Ｉ＿１（ｘ，ｙ），Ｉ＿２（ｘ，ｙ），・・・，Ｉ＿Ｎ（ｘ，ｙ））
で表され、画素別にＮ枚の画像の画素値の最小値が選択されたものが合成画像データとなる。
【００３２】
本実施形態では、加算比較部（３０２）による２枚の合成処理を繰り返すことでＮ枚の合成画像を生成する。すなわち、加算モードでは、
Ｉ２（ｘ，ｙ）＝Ｉ＿１（ｘ，ｙ）＋Ｉ＿２（ｘ，ｙ），
Ｉ３（ｘ，ｙ）＝Ｉ２（ｘ，ｙ）＋Ｉ＿３（ｘ，ｙ），
‥‥
Ｉ（ｘ，ｙ）＝ＩＮ（ｘ，ｙ）＝ＩＮ−１（ｘ，ｙ）＋Ｉ＿Ｎ（ｘ，ｙ）
となる。また、加算平均モードでは、
Ｉ２（ｘ，ｙ）＝（Ｉ＿１（ｘ，ｙ）＋Ｉ＿２（ｘ，ｙ））／２，
Ｉ３（ｘ，ｙ）＝Ｉ２（ｘ，ｙ）／３＋Ｉ＿３（ｘ，ｙ）／３，
‥‥
Ｉ（ｘ，ｙ）＝ＩＮ（ｘ，ｙ）＝ＩＮ−１（ｘ，ｙ）／Ｎ＋Ｉ＿Ｎ（ｘ，ｙ）／Ｎ
となる。また、比較明モードでは、
Ｉ２（ｘ，ｙ）＝ｍａｘ（Ｉ＿１（ｘ，ｙ），Ｉ＿２（ｘ，ｙ）），
Ｉ３（ｘ，ｙ）＝ｍａｘ（Ｉ２（ｘ，ｙ），Ｉ＿３（ｘ，ｙ）），
‥‥
Ｉ（ｘ，ｙ）＝ＩＮ（ｘ，ｙ）＝ｍａｘ（ＩＮ−１（ｘ，ｙ），Ｉ＿Ｎ（ｘ，ｙ）），
となる。また、比較暗モードでは、
Ｉ２（ｘ，ｙ）＝ｍｉｎ（Ｉ＿１（ｘ，ｙ），Ｉ＿２（ｘ，ｙ）），
Ｉ３（ｘ，ｙ）＝ｍｉｎ（Ｉ２（ｘ，ｙ），Ｉ＿３（ｘ，ｙ）），
‥‥
Ｉ（ｘ，ｙ）＝ＩＮ（ｘ，ｙ）＝ｍｉｎ（ＩＮ−１（ｘ，ｙ），Ｉ＿Ｎ（ｘ，ｙ））
となる。
【００３３】
加減算回路（４００）は入力１及び入力２を加算あるいは減算する回路であり、またＥＸＯＲ（４０１）には減算結果の符号であるＭＳＢ（Ｍｏｓｔ Ｓｉｇｎｉｆｉｃａｎｔ Ｂｉｔ）を出力する。ＥＸＯＲ（４０１）は加減算回路（４００）からのＭＳＢとＣＭＰ＿ＳＥＬの入力に対する排他的論理和を出力する論理回路である。セレクタ１（４０２）（第２の選択手段）、セレクタ２（４０３）（第１の選択手段）は入力のいずれかを選択的に出力する。ＣＭＰ＿ＳＥＬ及びＳＵＢ＿ＳＥＬはレジスタから出力される値であり、各モードに応じてＣＰＵ（１０７）からの制御信号により設定される値である。
【００３４】
ここで、各モードにおける加算比較部（３０２）内の各部の動作について詳細に説明する。
【００３５】
加算モードと加算平均モードでは、前後の第１乃至第３のゲイン調整部（３００、３０１，３０３）において各画像データに掛けられるゲインが異なるだけで、加算比較部（３０２）における処理は変わらない。入力１から入力される画像１と、入力２から入力される画像２に対して加減算回路（４００）において加算処理が行われる。ＳＵＢ＿ＳＥＬには‘１’が設定されるため、ＣＭＰ＿ＳＥＬの設定に依らず、セレクタ２（４０３）からは、画像１と画像２の加算結果が合成処理の結果として画素毎に出力される。
【００３６】
比較明モードでは、入力１から入力される画像１と、入力２から入力される画像２に対して加減算回路（４００）において減算処理が行われる。ここで加減算回路（４００）は例えば、加算時は入力１と入力２の値をそのまま加算器で加算を行い、減算時は入力２の値を反転して‘１’を足してから、入力１と加算器により加算をすることで一つの加算器で加減算を実現している。その後、加減算回路（４００）の減算結果よりＭＳＢがＥＸＯＲ（４０１）に入力される。比較明モードでは、ＣＭＰ＿ＳＥＬは‘０’が設定されているので、セレクタ１（４０２）は加減算回路（４００）の減算結果におけるＭＳＢに基づいて、入力１と入力２のうち、小さくない方の値を選択して出力する。また、ＳＵＢ＿ＳＥＬは‘０’が設定されているため、セレクタ２（４０３）からは、セレクタ１（４０２）からの出力、すなわち、画像１と画像２を画素毎に値を比較し小さくない方の値が合成処理の結果として画素毎に出力される。
【００３７】
比較暗モードでは、入力１から入力される画像１と、入力２から入力される画像２に対して加減算回路（４００）において減算処理が行われる。その後、加減算回路（４００）の減算結果よりＭＳＢがＥＸＯＲ（４０１）に入力される。比較暗モードでは、ＣＭＰ＿ＳＥＬは‘１’が設定されているので、セレクタ１（４０２）にはＭＳＢを反転させた結果が入力され、セレクタ１（４０２）は、入力１と入力２のうち、大きくない方の値を選択して出力する。また、ＳＵＢ＿ＳＥＬは‘０’が設定されているため、セレクタ２（４０３）からは、セレクタ１（４０２）からの出力、すなわち、画像１と画像２を画素毎に値を比較し大きくない方の値が合成処理の結果として画素毎に出力される。
【００３８】
図５を用いて比較明における画像１と画像２の合成内容を説明する。
【００３９】
図５の（ａ）は画像合成部（２０１）に入力される画像１のイメージ図で、図５の（ｂ）は画像２のイメージ図である。
【００４０】
図５で示した画素は８ｂｉｔ（０〜２５５）の値をとるものとし、図８に示したように白抜きした画素は、画素値Ｘ（例えば８Ｂｉｔデータとする）が２００≦Ｘの画素値を持つ。また、斜線の画素は１００≦Ｘ＜２００の画素値を持ち、点模様の画素はＸ＜１００の画素値を持つとする。
【００４１】
それぞれの画像は、左上（Ａ１）の画素から入力され水平方向に順次入力される。
つまりＡ１，Ｂ１，Ｃ１・・・Ｍ１，Ｎ１，Ａ２，Ｂ２，Ｃ２・・・の順でＮ８までの画素データが入力される。
【００４２】
例えば図４において入力１には図５（ａ）のＫ１画素（白抜き画素）が、入力２には図５（ｂ）のＫ１画素（点模様画素）が入力される場合を説明する。
その場合、図４の加減算回路（４００）とＥＸＯＲ（４０１）、セレクタ１（４０２）によって、入力された二つの画素が比較され、値が大きい方、つまり入力１の図５（ａ）のＫ１画素が画像合成部（３００）より出力される。
【００４３】
図５（ｃ）はＫ１における画素比較結果のイメージを図示したものである。
【００４４】
図５（ｄ）は同様に画像１、画像２のＦ１画素における値を比較したイメージ図である。この場合、画像２のＦ１画素が大きい値を持つため、比較の結果、画像２の画素が選択されて出力する。
【００４５】
複数回の撮影によって、図５（ａ）と図５（ｂ）のような画像が得られた場合の比較明における画像合成結果をイメージ図で示したのが図５（ｅ）になる。
【００４６】
以上より、例えば１回目の撮影では、被写体の右下からライティングして撮影し、２回目の撮影では被写体の左上からライティングして撮影を行う。すると、本実施形態の比較明による画像合成により、右下、左上共にライティングによってより階調の出た画像が得られる。これが単純な加算処理では露出オーバーになったり、加算平均処理ではゲイン調整などでダイナミックレンジが低減されたりしてしまう。
【００４７】
図６を用いて比較暗における画像１と画像２の合成内容を説明する。
【００４８】
図６の（ａ）は画像合成部（２０１）に入力される画像１のイメージ図で、図６の（ｂ）は画像２のイメージ図である。
【００４９】
それぞれの画像は、左上（Ａ１）の画素から入力され水平方向に順次入力される。
つまりＡ１，Ｂ１，Ｃ１・・・Ｍ１，Ｎ１，Ａ２，Ｂ２，Ｃ２・・・の順でＮ８までの画素データが入力される。
【００５０】
例えば図４において入力１には図６（ａ）のＥ２画素が、入力２には図６（ｂ）のＥ２画素が入力され、入力１のＥ２画素の方が小さい値を持つとする。
【００５１】
この場合、図４の加減算回路（４００）とＥＸＯＲ（４０１）、セレクタ１（４０２）によって、入力された二つの画素が比較され、値が小さい方、つまり入力１の図６（ｂ）のＥ２画素が画像合成部（３００）より出力される。
【００５２】
図６（ｃ）はＥ２における画素比較結果のイメージを図示したものである。
【００５３】
図６（ｄ）は同様に画像１、画像２のＥ８画素における値を比較したイメージ図である。この場合、画像２のＥ８画素が小さい値を持つため、比較の結果、画像２の画素が選択されて出力する。
【００５４】
複数回の撮影によって、図６（ａ）と図６（ｂ）のような画像が得られた場合の比較暗における画像合成結果をイメージ図で示したのが図６（ｅ）になる。
【００５５】
以上より、例えば１回目の撮影で露出オーバーな画素が生じてしまったような場合に、その露出オーバーが解消されるようなライティングの撮影条件下で２回目の撮影を行う。これらに比較暗による画像合成を行うことにより、露出オーバーの内良好な画像を得ることができる。このとき単純な加算処理では露出オーバーな画素がそのまま存在してしまうし、加算平均処理ではやはりゲイン調整によってダイナミックレンジを低減してしまう。
【００５６】
図７を用いて加算合成における画像１と画像２の合成内容を説明する。
【００５７】
図７の（ａ）は画像合成部（２０１）に入力される画像１のイメージ図で、図７の（ｂ）は画像２のイメージ図である。
【００５８】
それぞれの画像は、左上（Ａ１）の画素から入力され水平方向に順次入力される。
つまりＡ１，Ｂ１，Ｃ１・・・Ｍ１，Ｎ１，Ａ２，Ｂ２，Ｃ２・・・の順でＮ８までの画素データが入力される。
【００５９】
例えば図４において入力１には図７（ａ）のＡ１画素が、入力２には図７（ｂ）のＡ１画素が入力されるとする。
【００６０】
その場合、図４の加減算回路（４００）によって、入力された二つの画素が加算され、加算結果がＡ１の画素として画像合成部（３００）より出力される。図７（ｃ）はＡ１における画素加算結果のイメージを図示したものである。
【００６１】
複数回の撮影によって得られた画像１、つまり図７の（ａ）と、画像２、つまり図７の（ｂ）が加算された画像合成結果をイメージ図で示したのが図７（ｄ）になる。
【００６２】
また画像合成部（３００）より出力される画像を図３に記載のゲイン調整部（３０１）において１／２倍にすることで加算平均処理として画像合成部（２０１）から合成結果を出力する事も可能である。
【００６３】
以上のように、本実施形態では、多重露光撮影において、撮影モードに応じて、画素値比較による画像合成と、画素加算による多重合成を選択することが可能となり、かつこのような合成を達成する回路を小規模で得ることができる。
【００６４】
本実施形態では、画像合成の対象画像として画像合成部（３００）に入力される画像データをセンサ補正部（２０３）からの出力画像データとした。しかし、これに限らず、例えば図５等で示したベイヤー配列の撮像データに同時化処理で各画素毎にＲＧＢの画素値を持つようにした状態の画像データでも良い。また、ガンマ補正、色空間変換などの現像処理を行って例えばＹＣｒＣｂの形式に変換された、すなわち現像処理後の画像データを合成してもよい。その場合、図２において、現像処理部（２０２）で処理される処理の一部（同時化処理を含む）あるいは全部を行う処理ブロックが、画像合成部（２０１）の前段でありセンサ補正部（２０３）の直後である位置に設けられることになる。
【００６５】
（他の実施形態）
本発明の目的は以下のようにしても達成できる。すなわち、前述した各実施形態の機能を実現するための手順が記述されたソフトウェアのプログラムコードを記録した記憶媒体を、システムまたは装置に供給する。そしてそのシステムまたは装置のコンピュータ（またはＣＰＵ、ＭＰＵ等）が記憶媒体に格納されたプログラムコードを読み出して実行するのである。
【００６６】
この場合、記憶媒体から読み出されたプログラムコード自体が本発明の新規な機能を実現することになり、そのプログラムコードを記憶した記憶媒体およびプログラムは本発明を構成することになる。
【００６７】
また、プログラムコードを供給するための記憶媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスクなどが挙げられる。また、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭ、ＤＶＤ−ＲＷ、ＤＶＤ−Ｒ、磁気テープ、不揮発性のメモリカード、ＲＯＭ等も用いることができる。
【００６８】
また、コンピュータが読み出したプログラムコードを実行可能とすることにより、前述した各実施形態の機能が実現される。さらに、そのプログラムコードの指示に基づき、コンピュータ上で稼動しているＯＳ（オペレーティングシステム）等が実際の処理の一部または全部を行い、その処理によって前述した各実施形態の機能が実現される場合も含まれる。
【００６９】
更に、以下の場合も含まれる。まず記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれる。その後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵ等が実際の処理の一部または全部を行う。
【符号の説明】
【００７０】
１００ 光学系
１０１ 撮像素子
１０２ Ａ／Ｄ変換部
１０３ 操作部
１０４ デジタル信号処理部
１０５ センサ駆動制御部
１０６ タイミングジェネレータ
１０７ ＣＰＵ
１０８ ＤＡＴＡバス
１０９ メモリ制御部
１１０ メモリ
１１１ データ圧縮／伸張部
１１２ 記録制御部
１１３ 記録媒体
２０１ センサ補正部
２０２ 画像合成部
２０３ 現像処理部
３００ 画像合成部
３０１ ゲイン調整部
４００ 加減算回路
４０１ ＥＸＯＲ回路
４０２ セレクタ１
４０３ セレクタ２
【特許請求の範囲】
【請求項１】
第１及び第２の画像データを取得する取得手段と、
前記第１の画像データから前記第２の画像データを加算、または減算する加減算手段と、
前記加減算手段からの出力を用いて前記第１及び前記第２の画像データを比較し、
比較結果に応じて前記第１及び前記第２の画像データのいずれか１つを選択して出力する比較手段と、
撮影モードに応じて前記比較手段の出力と前記加減算手段の出力のいずれか１つを選択して出力する第１の選択手段と、を有することを特徴とする画像処理装置。
【請求項２】
前記比較手段は、前記第１及び前記第２の画像データの画素値を画素ごとに比較し、当該画素値の小さくない方の値を出力することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記比較手段は、前記第１及び前記第２の画像データの画素値を画素ごとに比較し、当該画素値の大きくない方の値を出力することを特徴とする請求項１または２に記載の画像処理装置。
【請求項４】
前記比較手段は、前記減算手段からの出力の符号を示す値とレジスタの値との排他的論理和を出力する排他手段と、
前記排他手段からの出力に基づいて前記第１及び前記第２の画像データのいずれか１つを出力する第２の選択手段と、
前記レジスタの値を撮影モードに応じて制御する制御手段と、を有することを特徴とする請求項１乃至３のいずれか１つに記載の画像処理装置。
【請求項５】
前記第１及び第２の画像データは、それぞれベイヤー配列の画素値で構成される画像データであることを特徴とする請求項１乃至４のいずれか１つに記載の画像処理装置。
【請求項６】
前記第１及び第２の画像データは、それぞれベイヤー配列の画素値で構成される画像データに補間処理を施した画像データであることを特徴とする請求項１乃至４のいずれか１つに記載の画像処理装置。
【請求項７】
前記第１及び第２の画像データは、それぞれ現像処理後の画像データであることを特徴とする請求項１乃至４のいずれか１つに記載の画像処理装置。
【請求項８】
被写体像を撮像し、前記第１及び第２の画像データを出力する撮像手段と、
請求項１乃至７のいずれか１つに記載の画像処理装置と、
前記第１の選択手段からの出力に所定の処理を施し、前記第１及び第２の画像データの合成画像データとして記録媒体に記録する記録手段と、を有することを特徴とする撮像装置。
【請求項９】
取得手段が、第１及び第２の画像データを取得する取得ステップと、
加減算手段が、前記第１の画像データから前記第２の画像データを加算、または減算する加減算ステップと、
比較手段が、前記加減算手段からの出力を用いて前記第１及び前記第２の画像データを比較し、比較結果に応じて前記第１及び前記第２の画像データのいずれか１つを選択して出力する比較ステップと、
選択手段が、撮影モードに応じて前記比較手段の出力と前記加減算手段の出力のいずれか１つを選択して出力する選択ステップと、を有することを特徴とする画像処理装置の制御方法。
【請求項１０】
請求項９に記載の画像処理装置の制御方法の手順が記述されたコンピュータで実行可能なプログラム。
【請求項１１】
コンピュータに、請求項９に記載の画像処理装置の制御方法の各ステップを実行させるためのプログラムが記憶されたコンピュータが読み取り可能な記憶媒体。
【請求項１】
第１及び第２の画像データを取得する取得手段と、
前記第１の画像データから前記第２の画像データを加算、または減算する加減算手段と、
前記加減算手段からの出力を用いて前記第１及び前記第２の画像データを比較し、
比較結果に応じて前記第１及び前記第２の画像データのいずれか１つを選択して出力する比較手段と、
撮影モードに応じて前記比較手段の出力と前記加減算手段の出力のいずれか１つを選択して出力する第１の選択手段と、を有することを特徴とする画像処理装置。
【請求項２】
前記比較手段は、前記第１及び前記第２の画像データの画素値を画素ごとに比較し、当該画素値の小さくない方の値を出力することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記比較手段は、前記第１及び前記第２の画像データの画素値を画素ごとに比較し、当該画素値の大きくない方の値を出力することを特徴とする請求項１または２に記載の画像処理装置。
【請求項４】
前記比較手段は、前記減算手段からの出力の符号を示す値とレジスタの値との排他的論理和を出力する排他手段と、
前記排他手段からの出力に基づいて前記第１及び前記第２の画像データのいずれか１つを出力する第２の選択手段と、
前記レジスタの値を撮影モードに応じて制御する制御手段と、を有することを特徴とする請求項１乃至３のいずれか１つに記載の画像処理装置。
【請求項５】
前記第１及び第２の画像データは、それぞれベイヤー配列の画素値で構成される画像データであることを特徴とする請求項１乃至４のいずれか１つに記載の画像処理装置。
【請求項６】
前記第１及び第２の画像データは、それぞれベイヤー配列の画素値で構成される画像データに補間処理を施した画像データであることを特徴とする請求項１乃至４のいずれか１つに記載の画像処理装置。
【請求項７】
前記第１及び第２の画像データは、それぞれ現像処理後の画像データであることを特徴とする請求項１乃至４のいずれか１つに記載の画像処理装置。
【請求項８】
被写体像を撮像し、前記第１及び第２の画像データを出力する撮像手段と、
請求項１乃至７のいずれか１つに記載の画像処理装置と、
前記第１の選択手段からの出力に所定の処理を施し、前記第１及び第２の画像データの合成画像データとして記録媒体に記録する記録手段と、を有することを特徴とする撮像装置。
【請求項９】
取得手段が、第１及び第２の画像データを取得する取得ステップと、
加減算手段が、前記第１の画像データから前記第２の画像データを加算、または減算する加減算ステップと、
比較手段が、前記加減算手段からの出力を用いて前記第１及び前記第２の画像データを比較し、比較結果に応じて前記第１及び前記第２の画像データのいずれか１つを選択して出力する比較ステップと、
選択手段が、撮影モードに応じて前記比較手段の出力と前記加減算手段の出力のいずれか１つを選択して出力する選択ステップと、を有することを特徴とする画像処理装置の制御方法。
【請求項１０】
請求項９に記載の画像処理装置の制御方法の手順が記述されたコンピュータで実行可能なプログラム。
【請求項１１】
コンピュータに、請求項９に記載の画像処理装置の制御方法の各ステップを実行させるためのプログラムが記憶されたコンピュータが読み取り可能な記憶媒体。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【公開番号】特開２０１３−５１５８４（Ｐ２０１３−５１５８４Ａ）
【公開日】平成２５年３月１４日（２０１３．３．１４）
【国際特許分類】
【出願番号】特願２０１１−１８９１３８（Ｐ２０１１−１８９１３８）
【出願日】平成２３年８月３１日（２０１１．８．３１）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
【公開日】平成２５年３月１４日（２０１３．３．１４）
【国際特許分類】
【出願日】平成２３年８月３１日（２０１１．８．３１）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
[ Back to top ]