画像処理装置及び画像処理装置の制御方法
【課題】 多重露出合成のための視認性の良い構図確認表示方法を実現する。
【解決手段】 記録用にリニアな信号で多重露出を行うリニア多重露出処理と表示用にガンマをかけたノンリニアな信号で多重露出を行うノンリニア多重露出処理の２つの構成を持つ。
【解決手段】 記録用にリニアな信号で多重露出を行うリニア多重露出処理と表示用にガンマをかけたノンリニアな信号で多重露出を行うノンリニア多重露出処理の２つの構成を持つ。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は多重露出撮影が可能な画像処理装置及び画像処理装置の制御方法に関するものである。
【背景技術】
【０００２】
複数回の撮影によって得られた画像を合成して１枚の合成画像として記録する多重露出撮影をデジタルカメラで行う技術がある。
【０００３】
特許文献１では、記録済み画像の再生処理によって得られるベース画像および撮像部から得られる未撮影画像を透過させるように重ね合わせている。この透過重ね合わせ画像を背面液晶ディスプレイ上に表示させることで多重露出画像を確認する方法を提案している。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００１−１９７３４５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
デジタルカメラに上述の多重露出機能を設けた場合、画質および使い勝手の上でも高い効果が得られるという付加価値を得ることができる。一般的に多重露出というと画像信号値の加算を意味する。多重露出処理の加算をする場合、ガンマ変換前のリニアな信号で画像合成することがフィルムカメラでの多重露出と原理的には近い。しかし、リニアな信号を観賞可能な画像に現像するためには、色補間処理、マトリクス変換処理、ガンマ変換処理、色調整処理と多くの処理を行う必要がある。多重露出の撮影時に、背面液晶ディスプレイで合成画像をリアルタイムに確認するためにはこれらの処理を１フレーム毎に処理しなければならない。６０ｆｐｓの映像では１秒間に６０回処理する必要があるが、近年の増大したデジタルカメラの画素数では処理が重くなりリアルタイムに処理することが困難となる。
【０００６】
本発明は上記課題に鑑みてなされたものであり、記録画像の画質を良好に保ち、かつ構図確認を好適に行うことができる多重露出機能を実現することである。
【課題を解決するための手段】
【０００７】
上記課題を解決するために、本発明の撮像装置は、請求項１に記載の通り、被写体を撮像し、画像データを出力する撮像手段と、前記撮像手段から出力される画像データに現像処理を行う現像手段と、画像データを一時的に記憶するメモリと、画像データを記録する記録手段と、複数の画像データを合成する合成手段と、前記撮像手段から出力される画像データあるいは前記合成手段から出力される合成画像データをリアルタイムに表示手段に表示するライブビューモードを備える表示制御手段と、前記撮像手段から出力され前記現像処理が施されていない複数の画像データが前記合成手段で合成されたリニア合成画像データを前記記録手段に記録させ、前記ライブビューモードでは、前記現像処理が施された前記メモリの画像データと前記撮像手段からリアルタイムに出力され前記現像処理が施された画像データとが前記合成手段で合成されたノンリニア合成画像データを前記表示制御手段によって前記表示手段に表示させる制御手段と、を有することを特徴とする。
【０００８】
また、本発明の撮像装置の制御方法は、請求項８に記載の通り、被写体を撮像し、画像データを出力する撮像手段と、前記撮像手段から出力される画像データに現像処理を行う現像手段と、画像データを一時的に記憶するメモリと、画像データを記録する記録手段と、複数の画像データを合成する合成手段と、前記撮像手段から出力される画像データあるいは前記合成手段から出力される合成画像データをリアルタイムに表示手段に表示するライブビューモードを備える表示制御手段と、を有する撮像装置の制御方法であって、前記撮像手段から出力され前記現像処理が施されていない複数の画像データが前記合成手段で合成されたリニア合成画像データを前記記録手段に記録させる記録ステップと、前記ライブビューモードにおいて、前記現像処理が施された前記メモリの画像データと前記撮像手段からリアルタイムに出力され前記現像処理が施された画像データとが前記合成手段で合成されたノンリニア合成画像データを前記表示制御手段によって前記表示手段に表示させる表示ステップと、を有することを特徴とする。
【発明の効果】
【０００９】
本発明によれば、多重露出撮影時に記録画像の画質を良好に保ち、かつ構図確認を好適に行うことができる。
【図面の簡単な説明】
【００１０】
【図１】第１の実施形態における画像処理装置の一例を示すブロック図
【図２】画像合成処理部を示すブロック図
【図３】合成処理部を示すブロック図
【図４】画像合成処理の手順を示すフローチャート
【図５】比較（明）のシーンを示した図
【図６】第１の実施形態におけるライブビュー表示の手順を示すフローチャート
【図７】実施例２に対応する合成処理を示すフローチャート
【図８】加重加算の合成処理における前処理の輝度特性を示す図
【図９】第３の実施形態における合成処理を示すブロック図及びフローチャート
【図１０】係数算出処理を示すブロック図及びフローチャート
【発明を実施するための形態】
【００１１】
（第１の実施形態）
以下、本発明の好適な実施形態について説明する。
【００１２】
図１に第１の実施形態に用いられる画像処理装置の１例としてのカメラのブロック図を示す。
【００１３】
図１において、被写体は結像光学系（レンズ）１０１を経て、被写体像を光電変換する撮像素子１０２上に結像する。撮像素子１０２は、例えば、一般的な原色カラーフィルタを備える単板カラー撮像素子とする。原色カラーフィルタは、各々６５０ｎｍ、５５０ｎｍ、４５０ｎｍ近傍に透過主波長帯を持つ３種類の色フィルタからなり、各々Ｒ（赤）、Ｇ（緑）、Ｂ（青）の各バンドに対応する色プレーンを撮影する。単板カラー撮像素子では、この色フィルタを画素毎に空間的に配列し、各画素では各々単一の色プレーンにおける強度を得ることしかできない。このため撮像素子からは色モザイク画像が出力される。Ａ／Ｄ変換部１０３では撮像素子１０２からアナログ電圧として出力される色モザイク画像を、以降の画像処理に適するデジタルデータへと変換する。ホワイトバランス部１０４では白くあるべき領域のＲ，Ｇ，Ｂが等色になるようなゲインがＲ、Ｇ、Ｂ各々にかけられる。本実施形態では、この時点では各色１６ｂｉｔのデジタルデータであり、リニアな画像データ（リニア画像）であるとする。色補間部１０６では色モザイク画像を補間することによって、全ての画素においてＲ、Ｇ、Ｂの色情報が揃ったカラー画像を生成する。生成されたカラー画像は、マトリクス変換部１０７によってＲ、Ｇ、Ｂの信号がＹ（輝度）、Ｕ、Ｖ（色差）の信号に変換され、ガンマ変換部１０８によって階調補正が行われて現像後の８ｂｉｔのノンリニアな画像データ（ノンリニア画像）が生成される。その後色調整部１０９で画像の見栄えを改善するための処理がカラー画像に対し行われ、例えば、ノイズ低減、彩度強調、色相補正、エッジ強調といった画像補正が行われる。所望の色調整を行った画像を圧縮部１１０で設定された記録形式の例えばＪＰＥＧの形式で圧縮し、記録部１１１にてフラッシュメモリ等の記録媒体に記録する。各処理部で用いられる画像データや、撮影時情報などのデータは一時的にメモリ１２１に蓄えられ、制御部１２０によって各処理部が制御される。尚、多重露出用１コマ目の画像は記録部１１１に記録されるほか、Ａ／Ｄ変換後にリニア画像として、色調整後にノンリニア画像として一時的にメモリ１２１に記録される。また場合によってはユーザー指示などの外部操作がインターフェースＩ／Ｆ１２２を介して画像処理装置等へ入力される。表示部１１２（表示制御部）は、通常の撮影画像あるいは多重露出画像に表示媒体に合わせたリサイズ、ガンマ等の処理を施し、撮影時、あるいは再生時に表示媒体に表示する。表示媒体は本実施形態では液晶ディスプレイとするが、これに限らない。また表示部１１２は撮影時、撮像素子１０２から入力される画像を各部で処理し、リアルタイムに表示するライブビュー表示を行うことが可能である（ライブビューモード）。この際必要に応じて撮像素子１０２から入力される画像のフレームレートとは異なるフレームレートで表示を行うことも可能である。
【００１４】
次に、本実施形態における画像合成処理（多重露出処理）の概要を説明する。本実施形態では、入力される画像信号に対して非線形な処理の掛かっていないリニア画像で画像合成処理を行い、生成される合成画像を多重露出画像とするリニア多重露出処理を行うことが可能である。また、入力される画像信号に対して非線形な処理が掛かった後のノンリニア画像で画像合成処理を行い多重露出画像を生成するノンリニア多重露出処理を行うことが可能である。図１においてリニア多重露出処理を説明する。制御部１２０は２コマ目が撮像素子１０２によって撮影されるとＡ／Ｄ変換部１０３のＡ／Ｄ変換処理、ホワイトバランス部１０４のホワイトバランス処理を経てリニア画像の状態で画像合成部１０５に入力される。一方１コマ目のリニア画像は、１コマ目の撮影時に同様にホワイトバランス部１０４からの出力がメモリ１２１に記憶されており、２コマ目の撮影のタイミングで画像合成部１０５へ読み出される。そして各々の出力を画像合成部１０５にて合成し、多重露出画像（リニア合成画像データ）を生成する。その後、制御部１２０は色補間部１０６、マトリクス変換部１０７、ガンマ変換部１０８、色調整部１０９で多重露出画像に対して適当な画像処理をかけた上で、圧縮部１１０にて圧縮を行い、記録部１１１に処理後の多重露出画像を出力する。また、制御部１２０は表示部１１２にて、２コマ目の撮影時にはライブビュー画像と１コマ目の画像との合成画像を表示し、２コマ目の画像の撮影直後には多重露出画像を表示する。その後３コマ目以降も多重露出していく場合はライブビュー画像と２コマ目までの多重露出画像との合成画像を表示媒体に表示する。そのため、３コマ目以降も多重露出していく場合、多重露出画像は記録部１１１に出力するほか、メモリ１２１に記録される。
【００１５】
次に図１においてノンリニア多重露出処理を説明する。制御部１２０は２コマ目が撮像素子１０２によって撮影されると色調整部１０９までの各部の処理を経てノンリニア画像の状態で画像合成部１０５に入力される。一方１コマ目のノンリニア画像は、１コマ目の撮影時に、同様に色調整部１０９からの出力がメモリ１２１に記憶されており、２コマ目の撮影のタイミングで画像合成部１０５へ読み出される。そして各々の出力を画像合成部１０５にて合成し、多重露出画像（ノンリニア合成画像データ）を生成する。本実施形態では、リニア多重露出処理と、ノンリニア多重露出処理とでは、対象画像が異なるだけで、画素毎の合成方法は変わらない。画像合成部１０５における各合成処理の詳細については後述する。その後、表示部１１２で表示媒体に多重露出結果を表示する。尚、続けて３コマ目以降も多重露出していく場合は、画像合成処理後に多重ノンリニア画像としてメモリ１２１に記録される。３コマ目以降の多重露出処理については、メモリ１２１から読み出す撮影済み画像が１コマ目のノンリニア画像と同じように扱われることになる。
【００１６】
先述したように、リニア多重露出処理では、リニア画像同士の合成処理となるため処理負荷が大きく、例えばライブビューのフレームレートに合わせてリアルタイムに出力するというのが困難であるという問題があった。そこで本実施形態では、記録系として、多重露出を忠実に処理して記録するリニア多重露出処理を行い、表示系として、現像後に画像合成する簡易的なノンリニア多重露出処理を行うようにする構成を提案する。
【００１７】
以下、図２を参照して本実施形態の画像合成処理（多重露出処理）方法について説明する。
【００１８】
図１の画像合成部１０５の詳細を図２に記す。まず入力された画像２０１および２０２に対して、オフセット２０３を減算する。オフセット値は設定値として図１のメモリ１２１に予め格納しておく。その出力結果を合成方法の指定２０５に従い合成方法を決定し、合成処理部２０４で合成する。その後オフセット２０３を加算し最後にリミッタ２０６で画像に割り当てられたメモリ制約の上限を超えないようにリミッタをかけることで画像合成後の画像として出力２０７が得られる。合成方法の指定２０５はユーザーによって図１のデジタルカメラのメニュー等からＩ／Ｆ１２２を経由して入力されるか、表示用の画像合成方法として制御部１２０から指示が入力される。
【００１９】
続いて、合成処理部２０４の詳細について説明する。アナログの銀塩カメラでの多重露出は、既に感光しているフィルムを巻かずにシャッターを切ることで重ねて感光させるものであり、光量が加算された写真が得られる。一方デジタルカメラにおける多重露出は、多重露出本来の加算処理に留まらない手法が可能となる。例えば、合成しても露光量が変わらないようにする加重加算処理、２つの画像に対して明るい方を選択する比較（明）処理、反対に暗い方を選択する比較（暗）処理などである。比較（明）は、花火や蛍等のシーンを幾つも重ねたりして迫力を増大したい場合に、比較（暗）は、眼鏡など光を反射しやすい被写体に異なる角度から照明を照射した画像を重ね、不要な反射を除去したい場合等に効果的な多重露出処理である。
【００２０】
合成処理部２０４ではこれらの多重露出処理が実現可能な構成にあり、各々の構成について図３、図４を用いて説明する。なお、前述したように図４に示す各フローによって行われる各合成処理は、リニア多重露出処理及びノンリニア多重露出処理のどちらにおいても同様に行われる。まず、合成方法指定２０５が「加算」あるいは「加重加算」の場合、図４（ａ）のフローによって合成処理部２０４にて合成処理が行われる。乗算処理部３０３では「加算」である場合、入力１、２どちらにもα＝β＝１倍のゲインをかける（Ｓ３０４２）。そして、加算部３０４に乗算結果が入力されて加算処理される（Ｓ３０４３）。また「加重加算」である場合、乗算処理部３０３でかけるゲインを入力１に対してはα倍、入力２に対してはβ＝（１−α）倍とする。特にαが０．５倍の場合は、加算平均処理となる。ステップＳ３０４２、Ｓ３０４３を全画素について行うと加算処理を終了する。次に、合成方法指定２０５が「比較（明）」の場合、図４（ｂ）のフローによって合成処理部２０４にて合成処理が行われる。乗算処理部３０３ではα＝β＝１のゲインをかける（Ｓ３０５２）。そして、比較（明）部３０５に各々の乗算結果が入力されて比較（明）処理される。比較（明）処理とは、２つの入力信号のうち、小さくない方の信号を出力する処理である（Ｓ３０５３）。すなわち、ｉ番目の画素についての処理はそれぞれ入力１ｉ、入力２ｉとすると（出力Ｉ）＝Ｍａｘ（入力１ｉ，入力２ｉ）から出力Ｉを出力する。ステップＳ３０５２、Ｓ３０５３を全画素について行うと比較（明）処理を終了する。
【００２１】
同様に合成方法指定２０５が「比較（暗）」の場合、図４（ｃ）のフローによって合成処理部２０４にて合成処理が行われる。乗算処理部３０３ではα＝β＝１倍のゲインをかける（Ｓ３０６２）。そして、比較（暗）部３０６に各々の乗算結果が入力されて比較（暗）処理される。比較（暗）とは２つの入力信号のうち、大きくない方の信号を出力する処理である（Ｓ３０６３）。すなわち、ｉ番目の画素についての処理はそれぞれ入力１ｉ、入力２ｉとすると（出力Ｉ）＝Ｍｉｎ（入力１ｉ，入力２ｉ）から出力Ｉを出力する。ステップＳ３０６２、Ｓ３０６３を全画素について行うと比較（暗）処理を終了する。
【００２２】
本実施形態では、通常動作としては、記録系として多重露出を忠実に処理して記録するリニア多重露出処理と、表示系として記録系で記録される画像への画像処理に忠実ではないが構図確認のために現像後に画像合成する簡易的なノンリニア多重露出処理の２つの構成を提案する。ノンリニア多重露出処理では画像合成が現像処理後の画像データに対して行われるため、処理するデータ量がリニア多重露出処理に比べて少なく、処理が高速になり高フレームレートでもリアルタイム性を確保することが可能となる。一方、ユーザーが記録画像における合成方法に忠実な表示を求める場合には、ユーザー指示に応じて、記録系と同様リニア多重露出処理の画像合成を行った多重露出画像を表示させる。この場合は、リアルタイム処理ではなく、コマ落ちした処理もしくは静止画として表示する。ユーザー指示は背面液晶に表示される設定メニューで出しても良いし、レンズの絞り込み釦などのＩ／Ｆ１２２を介して出しても良い。シャッターが切られた際はリニア多重露出処理を通して多重露出がなされる。
【００２３】
図５に撮影時のライブビュー表示についての処理フローを示す。本フローの処理は制御部１２０によって各部に指示がなされ処理が行われるものとする。まずユーザー指示による撮影モードの設定と多重枚数の設定の情報を取得する（Ｓ５００）。次に、撮影が２コマ目以降あるいは１枚目にメモリ１２１内の画像を使用する場合であり、ライブビュー画像に合成する対象の画像がある状態か否かを判定する（Ｓ５０１）。ライブビュー画像に対する合成対象画像がある状態と判定される場合、次にユーザー指示によって忠実モードがＯＮになっているか否かを判定する（Ｓ５０２）。忠実モードがＯＦＦになっていると判定される場合、前述したノンリニア多重露出処理が行われ（Ｓ５０３）、表示部１１２によって表示媒体に表示される（Ｓ５０５）。この際、ノンリニア多重処理は負荷が小さく、通常の１枚画像のライブビュー表示と同様のフレームレートでライブビュー表示が行われる。忠実モードがＯＮになっていると判定される場合、前述したリニア多重露出処理が行われ（Ｓ５０４）、表示部１１２によって表示媒体に表示される（Ｓ５０５）。この際、リニア多重露出処理である忠実モードでは負荷が大きいため、フレームレートを落として表示を行う。また、忠実モードがＯＮとなっている間静止画として表示されるなどしても良い。ステップＳ５０１〜Ｓ５０５の処理は、撮影指示があるまで繰り返される（Ｓ５０６）。
【００２４】
以上のように、本実施形態では、高画質記録を目的として記録系ではリニア多重露出処理で合成を行った多重露出画像を記録し、構図確認のための表示系においてはリアルタイム性を重視したノンリニア多重露出処理で合成を行った画像を表示する。これにより、記録画像の画質を良好に保ち、かつ構図確認を好適に行うことができる多重露出機能を実現することができる。
【００２５】
本実施形態では、記録される多重露出画像の合成方法と同じ合成方法の種類（加算、加重加算、比較（明）、比較（暗））で撮影時及び撮影直後の表示用の画像を合成しているが、これに限らない。すなわち、記録系にリニア多重露出処理を、表示系にノンリニア多重露出処理を用いていれば、撮影時には予め設定される記録画像用の合成方法とは別の合成方法で合成された画像を表示用の画像として表示しても良いものとする。
【００２６】
（第２の実施形態）
上述した第１の実施形態では、表示系として表示する画像に行うノンリニア多重露出処理としても、記録系と同様加算、加重加算、比較（明）、比較（暗）などの複数の多重露出の方法から１つの合成方法を行っていた。これに対して本実施形態では、表示用の画像に対する画像合成処理、すなわちノンリニア多重露出処理では常に構図確認に適した加重加算を行う点が異なる。
【００２７】
本実施形態に用いられる画像処理装置は第１の実施形態と同様図１〜３で示され、本実施形態で行う画像合成処理も第１の実施形態と基本的には同様で図４、５に示される。
【００２８】
本実施形態で用いる多重露出撮影のうち、加算、比較（明）及び比較（暗）の処理は、撮影時にライブビュー画像と撮影済みの多重露出画像と合成する際に各合成方法で行うと被写体の状況によっては輪郭が分かりづらくなり構図が決めにくくなってしまう。例えば図６（ａ）のような撮影済みの花火の画像に対して、図６（ｂ）のような人物をストロボ発光撮影して多重露出する場合を考える。このような場合は、いずれの被写体も明るいため比較（明）合成が有効である。しかし、撮影時にライブビューに表示する表示系の画像にも記録系の設定と同じ比較（明）合成をした場合、例えばそれぞれの被写体の位置が重なってしまっている場合、図６（ｃ）のように輪郭がわかりづらくなり構図を取り難い。
【００２９】
そこで本実施形態では、記録系の多重露出画像の合成方法として指定されている合成方法に依らず、表示系では通常常に加重加算を行う。すなわち、画像合成部１０５における表示用のノンリニア多重露出処理では、図３の乗算処理部３０３、加算部３０４を用いた図４（ａ）のフローチャートに示す加重加算処理を行う。このときの乗算処理部３０３における係数αおよびβは未撮影の画像（ライブビュー画像）に重きを置いてα＝０．６、β＝０．４とする。
【００３０】
以上説明した第２の実施形態では、ノンリニア多重露出処理では常に加重加算をすることで多重露出方法によらず、構図確認のための視認性を向上させることが可能となる。
【００３１】
本実施形態では、加重加算の重み係数である係数α、βを撮影モード（合成処理方法）によらず一定とした。しかし、これに限らずまた、合成処理方法に応じて、加重加算のための乗算係数を変えてもよい。合成方法が比較（明）の場合、背景のように静止した被写体を撮影済み画像とし、人物のような動く被写体をこれから撮影する画像とするシチュエーションが多い。そこで、未撮影の画像（ライブビュー画像）である入力１に対応する係数αには例えば０．６を、撮影済み画像である入力２に対応する係数βに例えば０．４を図１メモリ１２１に予め記録しておく。そして図１Ｉ／Ｆ１２２を介して設定された多重露出の合成方法を読み出す（Ｓ７００）。読み出された合成方法に応じて係数１を取得し、入力１に乗算する（Ｓ７０１）。同様に、係数２を取得し、入力２に乗算する（Ｓ７０２）。このようにして加重加算した結果を図７に示す。比較（明）で忠実に合成した結果の図６（ｃ）と比較して視認性が良くなっている。別の例として比較（暗）の場合は、不要な光の反射を抑えたいなど、同じシーンを同じ画角で取るシチュエーションが多い。そこで、被写体の重要度は撮影済み画像と、これから撮影する画像とで差は無いため、係数は双方とも例えば０．５を設定する。さらに効果を向上させる方法として比較（明）の場合、加重加算処理の前に、これから撮影する画像に対して、図８（ａ）に示されるような特性を持つガンマ処理を施し、かつ撮影済み画像に対して、図８（ｂ）に示される特性を持つガンマ処理を施しても良い。ここで図８（ａ）、（ｂ）は横軸に入力輝度、縦軸に出力輝度をとるガンマカーブを示している。このように合成処理方法に応じて、加重加算のための乗算係数を変えることで、ライブビューでの構図確認においてさらに視認性を高めることができる。
【００３２】
（第３の実施形態）
上述した第２の実施形態では、表示系には構図確認用にある重みづけ係数で加重加算処理を行った多重露出画像を使用するようにしていた。以下で説明する第３の実施形態では、加重加算のための重みづけ係数を入力画像から算出している点が異なる。
【００３３】
本実施形態における合成処理部２０４のブロック図を図９（ａ）に示す。また、合成処理部２０４で実行される画像合成処理のフローチャートを図９（ｂ）に示す。入力１（３０１）および入力２（３０２）は係数算出処理部３０８に入力され、合成用の係数αを算出する（Ｓ９００）。入力１（３０１）と入力２（３０２）および係数算出処理部３０８より出力された係数αは乗算処理部３０３へ入力される。乗算処理部３０３では、入力１に対し係数αを乗算する（Ｓ９０１）。また、入力２に対し係数β＝１−αを乗算する（Ｓ９０２）。その後、加算部３０４にて、係数をかけた入力１および入力２を加算し（Ｓ９０３）、出力３０７を得る。
【００３４】
続いて、係数算出処理部３０８の詳細について、ブロック図に図１０（ａ）、フローチャートに図１０（ｂ）を用いて説明する。まず、本実施形態では、入力画像の解像度を期と抽出処理用にカメラの処理能力に応じた解像度まで下げて処理する。すなわち、ぼかし処理部３０８１は入力３０１及び入力３０２の画像に対してぼかし処理を行う。ぼかし処理には縮小処理を用いているが、ローパスフィルタ処理など、これに限らない。次に輝度情報抽出処理部３０８２において入力１（３０１）の輝度積分値Ｉｔｇ１及び入力を算出する。入力１（３０１）は現像後のＹＵＶであればＹを、ＲＧＢ信号であれば、下記の変換式でＹを得る。
【００３５】
【数１】
【００３６】
次に、入力１の全画素の輝度値を積分して輝度積分値Ｉｔｇ１を以下の式で計算する（Ｓ１０００）。
【００３７】
【数２】
【００３８】
ここでｎは入力１の画素数を示す。同様の手順で、Ｉｔｇ２も計算する（Ｓ１００１）。これら輝度積分値を用いて比率算出処理部３０８３で合成比率を算出する。入力１の加重加算のための乗算係数αは
【００３９】
【数３】
【００４０】
で算出される（Ｓ１００２）。一方入力２の加重加算のための乗算係数はβ＝１−αで算出される（Ｓ１００３）。
【００４１】
以上のように、本実施形態では、ノンリニア多重露出処理では加重加算比率を入力画像を考慮して求める。これにより、例えば比較（明）モードではこれから撮影する主被写体が撮影済み画像に対して明るくなる程加算比率は大きくなり、視認性が向上し構図確認がし易くなる。
【００４２】
（他の実施形態）
本発明の目的は以下のようにしても達成できる。すなわち、前述した各実施形態の機能を実現するための手順が記述されたソフトウェアのプログラムコードを記録した記憶媒体を、システムまたは装置に供給する。そしてそのシステムまたは装置のコンピュータ（またはＣＰＵ、ＭＰＵ等）が記憶媒体に格納されたプログラムコードを読み出して実行するのである。
【００４３】
この場合、記憶媒体から読み出されたプログラムコード自体が本発明の新規な機能を実現することになり、そのプログラムコードを記憶した記憶媒体およびプログラムは本発明を構成することになる。
【００４４】
また、プログラムコードを供給するための記憶媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスクなどが挙げられる。また、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭ、ＤＶＤ−ＲＷ、ＤＶＤ−Ｒ、磁気テープ、不揮発性のメモリカード、ＲＯＭ等も用いることができる。
【００４５】
また、コンピュータが読み出したプログラムコードを実行可能とすることにより、前述した各実施形態の機能が実現される。さらに、そのプログラムコードの指示に基づき、コンピュータ上で稼動しているＯＳ（オペレーティングシステム）等が実際の処理の一部または全部を行い、その処理によって前述した各実施形態の機能が実現される場合も含まれる。
【００４６】
更に、以下の場合も含まれる。まず記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれる。その後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵ等が実際の処理の一部または全部を行う。
【００４７】
以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。
【符号の説明】
【００４８】
１０１ 結像光学系（レンズ）
１０２ 撮像素子
１０３ Ａ／Ｄ変換部
１０４ ホワイトバランス部
１０５ 画像合成部
１０６ 色補間部
１０７ マトリクス変換部
１０８ ガンマ変換部
１０９ 色調整部
１１０ 圧縮部
１１１ 記録部
１１２ 表示部
１２０ 制御部
１２１ メモリ
１２２ Ｉ／Ｆ
【技術分野】
【０００１】
本発明は多重露出撮影が可能な画像処理装置及び画像処理装置の制御方法に関するものである。
【背景技術】
【０００２】
複数回の撮影によって得られた画像を合成して１枚の合成画像として記録する多重露出撮影をデジタルカメラで行う技術がある。
【０００３】
特許文献１では、記録済み画像の再生処理によって得られるベース画像および撮像部から得られる未撮影画像を透過させるように重ね合わせている。この透過重ね合わせ画像を背面液晶ディスプレイ上に表示させることで多重露出画像を確認する方法を提案している。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００１−１９７３４５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
デジタルカメラに上述の多重露出機能を設けた場合、画質および使い勝手の上でも高い効果が得られるという付加価値を得ることができる。一般的に多重露出というと画像信号値の加算を意味する。多重露出処理の加算をする場合、ガンマ変換前のリニアな信号で画像合成することがフィルムカメラでの多重露出と原理的には近い。しかし、リニアな信号を観賞可能な画像に現像するためには、色補間処理、マトリクス変換処理、ガンマ変換処理、色調整処理と多くの処理を行う必要がある。多重露出の撮影時に、背面液晶ディスプレイで合成画像をリアルタイムに確認するためにはこれらの処理を１フレーム毎に処理しなければならない。６０ｆｐｓの映像では１秒間に６０回処理する必要があるが、近年の増大したデジタルカメラの画素数では処理が重くなりリアルタイムに処理することが困難となる。
【０００６】
本発明は上記課題に鑑みてなされたものであり、記録画像の画質を良好に保ち、かつ構図確認を好適に行うことができる多重露出機能を実現することである。
【課題を解決するための手段】
【０００７】
上記課題を解決するために、本発明の撮像装置は、請求項１に記載の通り、被写体を撮像し、画像データを出力する撮像手段と、前記撮像手段から出力される画像データに現像処理を行う現像手段と、画像データを一時的に記憶するメモリと、画像データを記録する記録手段と、複数の画像データを合成する合成手段と、前記撮像手段から出力される画像データあるいは前記合成手段から出力される合成画像データをリアルタイムに表示手段に表示するライブビューモードを備える表示制御手段と、前記撮像手段から出力され前記現像処理が施されていない複数の画像データが前記合成手段で合成されたリニア合成画像データを前記記録手段に記録させ、前記ライブビューモードでは、前記現像処理が施された前記メモリの画像データと前記撮像手段からリアルタイムに出力され前記現像処理が施された画像データとが前記合成手段で合成されたノンリニア合成画像データを前記表示制御手段によって前記表示手段に表示させる制御手段と、を有することを特徴とする。
【０００８】
また、本発明の撮像装置の制御方法は、請求項８に記載の通り、被写体を撮像し、画像データを出力する撮像手段と、前記撮像手段から出力される画像データに現像処理を行う現像手段と、画像データを一時的に記憶するメモリと、画像データを記録する記録手段と、複数の画像データを合成する合成手段と、前記撮像手段から出力される画像データあるいは前記合成手段から出力される合成画像データをリアルタイムに表示手段に表示するライブビューモードを備える表示制御手段と、を有する撮像装置の制御方法であって、前記撮像手段から出力され前記現像処理が施されていない複数の画像データが前記合成手段で合成されたリニア合成画像データを前記記録手段に記録させる記録ステップと、前記ライブビューモードにおいて、前記現像処理が施された前記メモリの画像データと前記撮像手段からリアルタイムに出力され前記現像処理が施された画像データとが前記合成手段で合成されたノンリニア合成画像データを前記表示制御手段によって前記表示手段に表示させる表示ステップと、を有することを特徴とする。
【発明の効果】
【０００９】
本発明によれば、多重露出撮影時に記録画像の画質を良好に保ち、かつ構図確認を好適に行うことができる。
【図面の簡単な説明】
【００１０】
【図１】第１の実施形態における画像処理装置の一例を示すブロック図
【図２】画像合成処理部を示すブロック図
【図３】合成処理部を示すブロック図
【図４】画像合成処理の手順を示すフローチャート
【図５】比較（明）のシーンを示した図
【図６】第１の実施形態におけるライブビュー表示の手順を示すフローチャート
【図７】実施例２に対応する合成処理を示すフローチャート
【図８】加重加算の合成処理における前処理の輝度特性を示す図
【図９】第３の実施形態における合成処理を示すブロック図及びフローチャート
【図１０】係数算出処理を示すブロック図及びフローチャート
【発明を実施するための形態】
【００１１】
（第１の実施形態）
以下、本発明の好適な実施形態について説明する。
【００１２】
図１に第１の実施形態に用いられる画像処理装置の１例としてのカメラのブロック図を示す。
【００１３】
図１において、被写体は結像光学系（レンズ）１０１を経て、被写体像を光電変換する撮像素子１０２上に結像する。撮像素子１０２は、例えば、一般的な原色カラーフィルタを備える単板カラー撮像素子とする。原色カラーフィルタは、各々６５０ｎｍ、５５０ｎｍ、４５０ｎｍ近傍に透過主波長帯を持つ３種類の色フィルタからなり、各々Ｒ（赤）、Ｇ（緑）、Ｂ（青）の各バンドに対応する色プレーンを撮影する。単板カラー撮像素子では、この色フィルタを画素毎に空間的に配列し、各画素では各々単一の色プレーンにおける強度を得ることしかできない。このため撮像素子からは色モザイク画像が出力される。Ａ／Ｄ変換部１０３では撮像素子１０２からアナログ電圧として出力される色モザイク画像を、以降の画像処理に適するデジタルデータへと変換する。ホワイトバランス部１０４では白くあるべき領域のＲ，Ｇ，Ｂが等色になるようなゲインがＲ、Ｇ、Ｂ各々にかけられる。本実施形態では、この時点では各色１６ｂｉｔのデジタルデータであり、リニアな画像データ（リニア画像）であるとする。色補間部１０６では色モザイク画像を補間することによって、全ての画素においてＲ、Ｇ、Ｂの色情報が揃ったカラー画像を生成する。生成されたカラー画像は、マトリクス変換部１０７によってＲ、Ｇ、Ｂの信号がＹ（輝度）、Ｕ、Ｖ（色差）の信号に変換され、ガンマ変換部１０８によって階調補正が行われて現像後の８ｂｉｔのノンリニアな画像データ（ノンリニア画像）が生成される。その後色調整部１０９で画像の見栄えを改善するための処理がカラー画像に対し行われ、例えば、ノイズ低減、彩度強調、色相補正、エッジ強調といった画像補正が行われる。所望の色調整を行った画像を圧縮部１１０で設定された記録形式の例えばＪＰＥＧの形式で圧縮し、記録部１１１にてフラッシュメモリ等の記録媒体に記録する。各処理部で用いられる画像データや、撮影時情報などのデータは一時的にメモリ１２１に蓄えられ、制御部１２０によって各処理部が制御される。尚、多重露出用１コマ目の画像は記録部１１１に記録されるほか、Ａ／Ｄ変換後にリニア画像として、色調整後にノンリニア画像として一時的にメモリ１２１に記録される。また場合によってはユーザー指示などの外部操作がインターフェースＩ／Ｆ１２２を介して画像処理装置等へ入力される。表示部１１２（表示制御部）は、通常の撮影画像あるいは多重露出画像に表示媒体に合わせたリサイズ、ガンマ等の処理を施し、撮影時、あるいは再生時に表示媒体に表示する。表示媒体は本実施形態では液晶ディスプレイとするが、これに限らない。また表示部１１２は撮影時、撮像素子１０２から入力される画像を各部で処理し、リアルタイムに表示するライブビュー表示を行うことが可能である（ライブビューモード）。この際必要に応じて撮像素子１０２から入力される画像のフレームレートとは異なるフレームレートで表示を行うことも可能である。
【００１４】
次に、本実施形態における画像合成処理（多重露出処理）の概要を説明する。本実施形態では、入力される画像信号に対して非線形な処理の掛かっていないリニア画像で画像合成処理を行い、生成される合成画像を多重露出画像とするリニア多重露出処理を行うことが可能である。また、入力される画像信号に対して非線形な処理が掛かった後のノンリニア画像で画像合成処理を行い多重露出画像を生成するノンリニア多重露出処理を行うことが可能である。図１においてリニア多重露出処理を説明する。制御部１２０は２コマ目が撮像素子１０２によって撮影されるとＡ／Ｄ変換部１０３のＡ／Ｄ変換処理、ホワイトバランス部１０４のホワイトバランス処理を経てリニア画像の状態で画像合成部１０５に入力される。一方１コマ目のリニア画像は、１コマ目の撮影時に同様にホワイトバランス部１０４からの出力がメモリ１２１に記憶されており、２コマ目の撮影のタイミングで画像合成部１０５へ読み出される。そして各々の出力を画像合成部１０５にて合成し、多重露出画像（リニア合成画像データ）を生成する。その後、制御部１２０は色補間部１０６、マトリクス変換部１０７、ガンマ変換部１０８、色調整部１０９で多重露出画像に対して適当な画像処理をかけた上で、圧縮部１１０にて圧縮を行い、記録部１１１に処理後の多重露出画像を出力する。また、制御部１２０は表示部１１２にて、２コマ目の撮影時にはライブビュー画像と１コマ目の画像との合成画像を表示し、２コマ目の画像の撮影直後には多重露出画像を表示する。その後３コマ目以降も多重露出していく場合はライブビュー画像と２コマ目までの多重露出画像との合成画像を表示媒体に表示する。そのため、３コマ目以降も多重露出していく場合、多重露出画像は記録部１１１に出力するほか、メモリ１２１に記録される。
【００１５】
次に図１においてノンリニア多重露出処理を説明する。制御部１２０は２コマ目が撮像素子１０２によって撮影されると色調整部１０９までの各部の処理を経てノンリニア画像の状態で画像合成部１０５に入力される。一方１コマ目のノンリニア画像は、１コマ目の撮影時に、同様に色調整部１０９からの出力がメモリ１２１に記憶されており、２コマ目の撮影のタイミングで画像合成部１０５へ読み出される。そして各々の出力を画像合成部１０５にて合成し、多重露出画像（ノンリニア合成画像データ）を生成する。本実施形態では、リニア多重露出処理と、ノンリニア多重露出処理とでは、対象画像が異なるだけで、画素毎の合成方法は変わらない。画像合成部１０５における各合成処理の詳細については後述する。その後、表示部１１２で表示媒体に多重露出結果を表示する。尚、続けて３コマ目以降も多重露出していく場合は、画像合成処理後に多重ノンリニア画像としてメモリ１２１に記録される。３コマ目以降の多重露出処理については、メモリ１２１から読み出す撮影済み画像が１コマ目のノンリニア画像と同じように扱われることになる。
【００１６】
先述したように、リニア多重露出処理では、リニア画像同士の合成処理となるため処理負荷が大きく、例えばライブビューのフレームレートに合わせてリアルタイムに出力するというのが困難であるという問題があった。そこで本実施形態では、記録系として、多重露出を忠実に処理して記録するリニア多重露出処理を行い、表示系として、現像後に画像合成する簡易的なノンリニア多重露出処理を行うようにする構成を提案する。
【００１７】
以下、図２を参照して本実施形態の画像合成処理（多重露出処理）方法について説明する。
【００１８】
図１の画像合成部１０５の詳細を図２に記す。まず入力された画像２０１および２０２に対して、オフセット２０３を減算する。オフセット値は設定値として図１のメモリ１２１に予め格納しておく。その出力結果を合成方法の指定２０５に従い合成方法を決定し、合成処理部２０４で合成する。その後オフセット２０３を加算し最後にリミッタ２０６で画像に割り当てられたメモリ制約の上限を超えないようにリミッタをかけることで画像合成後の画像として出力２０７が得られる。合成方法の指定２０５はユーザーによって図１のデジタルカメラのメニュー等からＩ／Ｆ１２２を経由して入力されるか、表示用の画像合成方法として制御部１２０から指示が入力される。
【００１９】
続いて、合成処理部２０４の詳細について説明する。アナログの銀塩カメラでの多重露出は、既に感光しているフィルムを巻かずにシャッターを切ることで重ねて感光させるものであり、光量が加算された写真が得られる。一方デジタルカメラにおける多重露出は、多重露出本来の加算処理に留まらない手法が可能となる。例えば、合成しても露光量が変わらないようにする加重加算処理、２つの画像に対して明るい方を選択する比較（明）処理、反対に暗い方を選択する比較（暗）処理などである。比較（明）は、花火や蛍等のシーンを幾つも重ねたりして迫力を増大したい場合に、比較（暗）は、眼鏡など光を反射しやすい被写体に異なる角度から照明を照射した画像を重ね、不要な反射を除去したい場合等に効果的な多重露出処理である。
【００２０】
合成処理部２０４ではこれらの多重露出処理が実現可能な構成にあり、各々の構成について図３、図４を用いて説明する。なお、前述したように図４に示す各フローによって行われる各合成処理は、リニア多重露出処理及びノンリニア多重露出処理のどちらにおいても同様に行われる。まず、合成方法指定２０５が「加算」あるいは「加重加算」の場合、図４（ａ）のフローによって合成処理部２０４にて合成処理が行われる。乗算処理部３０３では「加算」である場合、入力１、２どちらにもα＝β＝１倍のゲインをかける（Ｓ３０４２）。そして、加算部３０４に乗算結果が入力されて加算処理される（Ｓ３０４３）。また「加重加算」である場合、乗算処理部３０３でかけるゲインを入力１に対してはα倍、入力２に対してはβ＝（１−α）倍とする。特にαが０．５倍の場合は、加算平均処理となる。ステップＳ３０４２、Ｓ３０４３を全画素について行うと加算処理を終了する。次に、合成方法指定２０５が「比較（明）」の場合、図４（ｂ）のフローによって合成処理部２０４にて合成処理が行われる。乗算処理部３０３ではα＝β＝１のゲインをかける（Ｓ３０５２）。そして、比較（明）部３０５に各々の乗算結果が入力されて比較（明）処理される。比較（明）処理とは、２つの入力信号のうち、小さくない方の信号を出力する処理である（Ｓ３０５３）。すなわち、ｉ番目の画素についての処理はそれぞれ入力１ｉ、入力２ｉとすると（出力Ｉ）＝Ｍａｘ（入力１ｉ，入力２ｉ）から出力Ｉを出力する。ステップＳ３０５２、Ｓ３０５３を全画素について行うと比較（明）処理を終了する。
【００２１】
同様に合成方法指定２０５が「比較（暗）」の場合、図４（ｃ）のフローによって合成処理部２０４にて合成処理が行われる。乗算処理部３０３ではα＝β＝１倍のゲインをかける（Ｓ３０６２）。そして、比較（暗）部３０６に各々の乗算結果が入力されて比較（暗）処理される。比較（暗）とは２つの入力信号のうち、大きくない方の信号を出力する処理である（Ｓ３０６３）。すなわち、ｉ番目の画素についての処理はそれぞれ入力１ｉ、入力２ｉとすると（出力Ｉ）＝Ｍｉｎ（入力１ｉ，入力２ｉ）から出力Ｉを出力する。ステップＳ３０６２、Ｓ３０６３を全画素について行うと比較（暗）処理を終了する。
【００２２】
本実施形態では、通常動作としては、記録系として多重露出を忠実に処理して記録するリニア多重露出処理と、表示系として記録系で記録される画像への画像処理に忠実ではないが構図確認のために現像後に画像合成する簡易的なノンリニア多重露出処理の２つの構成を提案する。ノンリニア多重露出処理では画像合成が現像処理後の画像データに対して行われるため、処理するデータ量がリニア多重露出処理に比べて少なく、処理が高速になり高フレームレートでもリアルタイム性を確保することが可能となる。一方、ユーザーが記録画像における合成方法に忠実な表示を求める場合には、ユーザー指示に応じて、記録系と同様リニア多重露出処理の画像合成を行った多重露出画像を表示させる。この場合は、リアルタイム処理ではなく、コマ落ちした処理もしくは静止画として表示する。ユーザー指示は背面液晶に表示される設定メニューで出しても良いし、レンズの絞り込み釦などのＩ／Ｆ１２２を介して出しても良い。シャッターが切られた際はリニア多重露出処理を通して多重露出がなされる。
【００２３】
図５に撮影時のライブビュー表示についての処理フローを示す。本フローの処理は制御部１２０によって各部に指示がなされ処理が行われるものとする。まずユーザー指示による撮影モードの設定と多重枚数の設定の情報を取得する（Ｓ５００）。次に、撮影が２コマ目以降あるいは１枚目にメモリ１２１内の画像を使用する場合であり、ライブビュー画像に合成する対象の画像がある状態か否かを判定する（Ｓ５０１）。ライブビュー画像に対する合成対象画像がある状態と判定される場合、次にユーザー指示によって忠実モードがＯＮになっているか否かを判定する（Ｓ５０２）。忠実モードがＯＦＦになっていると判定される場合、前述したノンリニア多重露出処理が行われ（Ｓ５０３）、表示部１１２によって表示媒体に表示される（Ｓ５０５）。この際、ノンリニア多重処理は負荷が小さく、通常の１枚画像のライブビュー表示と同様のフレームレートでライブビュー表示が行われる。忠実モードがＯＮになっていると判定される場合、前述したリニア多重露出処理が行われ（Ｓ５０４）、表示部１１２によって表示媒体に表示される（Ｓ５０５）。この際、リニア多重露出処理である忠実モードでは負荷が大きいため、フレームレートを落として表示を行う。また、忠実モードがＯＮとなっている間静止画として表示されるなどしても良い。ステップＳ５０１〜Ｓ５０５の処理は、撮影指示があるまで繰り返される（Ｓ５０６）。
【００２４】
以上のように、本実施形態では、高画質記録を目的として記録系ではリニア多重露出処理で合成を行った多重露出画像を記録し、構図確認のための表示系においてはリアルタイム性を重視したノンリニア多重露出処理で合成を行った画像を表示する。これにより、記録画像の画質を良好に保ち、かつ構図確認を好適に行うことができる多重露出機能を実現することができる。
【００２５】
本実施形態では、記録される多重露出画像の合成方法と同じ合成方法の種類（加算、加重加算、比較（明）、比較（暗））で撮影時及び撮影直後の表示用の画像を合成しているが、これに限らない。すなわち、記録系にリニア多重露出処理を、表示系にノンリニア多重露出処理を用いていれば、撮影時には予め設定される記録画像用の合成方法とは別の合成方法で合成された画像を表示用の画像として表示しても良いものとする。
【００２６】
（第２の実施形態）
上述した第１の実施形態では、表示系として表示する画像に行うノンリニア多重露出処理としても、記録系と同様加算、加重加算、比較（明）、比較（暗）などの複数の多重露出の方法から１つの合成方法を行っていた。これに対して本実施形態では、表示用の画像に対する画像合成処理、すなわちノンリニア多重露出処理では常に構図確認に適した加重加算を行う点が異なる。
【００２７】
本実施形態に用いられる画像処理装置は第１の実施形態と同様図１〜３で示され、本実施形態で行う画像合成処理も第１の実施形態と基本的には同様で図４、５に示される。
【００２８】
本実施形態で用いる多重露出撮影のうち、加算、比較（明）及び比較（暗）の処理は、撮影時にライブビュー画像と撮影済みの多重露出画像と合成する際に各合成方法で行うと被写体の状況によっては輪郭が分かりづらくなり構図が決めにくくなってしまう。例えば図６（ａ）のような撮影済みの花火の画像に対して、図６（ｂ）のような人物をストロボ発光撮影して多重露出する場合を考える。このような場合は、いずれの被写体も明るいため比較（明）合成が有効である。しかし、撮影時にライブビューに表示する表示系の画像にも記録系の設定と同じ比較（明）合成をした場合、例えばそれぞれの被写体の位置が重なってしまっている場合、図６（ｃ）のように輪郭がわかりづらくなり構図を取り難い。
【００２９】
そこで本実施形態では、記録系の多重露出画像の合成方法として指定されている合成方法に依らず、表示系では通常常に加重加算を行う。すなわち、画像合成部１０５における表示用のノンリニア多重露出処理では、図３の乗算処理部３０３、加算部３０４を用いた図４（ａ）のフローチャートに示す加重加算処理を行う。このときの乗算処理部３０３における係数αおよびβは未撮影の画像（ライブビュー画像）に重きを置いてα＝０．６、β＝０．４とする。
【００３０】
以上説明した第２の実施形態では、ノンリニア多重露出処理では常に加重加算をすることで多重露出方法によらず、構図確認のための視認性を向上させることが可能となる。
【００３１】
本実施形態では、加重加算の重み係数である係数α、βを撮影モード（合成処理方法）によらず一定とした。しかし、これに限らずまた、合成処理方法に応じて、加重加算のための乗算係数を変えてもよい。合成方法が比較（明）の場合、背景のように静止した被写体を撮影済み画像とし、人物のような動く被写体をこれから撮影する画像とするシチュエーションが多い。そこで、未撮影の画像（ライブビュー画像）である入力１に対応する係数αには例えば０．６を、撮影済み画像である入力２に対応する係数βに例えば０．４を図１メモリ１２１に予め記録しておく。そして図１Ｉ／Ｆ１２２を介して設定された多重露出の合成方法を読み出す（Ｓ７００）。読み出された合成方法に応じて係数１を取得し、入力１に乗算する（Ｓ７０１）。同様に、係数２を取得し、入力２に乗算する（Ｓ７０２）。このようにして加重加算した結果を図７に示す。比較（明）で忠実に合成した結果の図６（ｃ）と比較して視認性が良くなっている。別の例として比較（暗）の場合は、不要な光の反射を抑えたいなど、同じシーンを同じ画角で取るシチュエーションが多い。そこで、被写体の重要度は撮影済み画像と、これから撮影する画像とで差は無いため、係数は双方とも例えば０．５を設定する。さらに効果を向上させる方法として比較（明）の場合、加重加算処理の前に、これから撮影する画像に対して、図８（ａ）に示されるような特性を持つガンマ処理を施し、かつ撮影済み画像に対して、図８（ｂ）に示される特性を持つガンマ処理を施しても良い。ここで図８（ａ）、（ｂ）は横軸に入力輝度、縦軸に出力輝度をとるガンマカーブを示している。このように合成処理方法に応じて、加重加算のための乗算係数を変えることで、ライブビューでの構図確認においてさらに視認性を高めることができる。
【００３２】
（第３の実施形態）
上述した第２の実施形態では、表示系には構図確認用にある重みづけ係数で加重加算処理を行った多重露出画像を使用するようにしていた。以下で説明する第３の実施形態では、加重加算のための重みづけ係数を入力画像から算出している点が異なる。
【００３３】
本実施形態における合成処理部２０４のブロック図を図９（ａ）に示す。また、合成処理部２０４で実行される画像合成処理のフローチャートを図９（ｂ）に示す。入力１（３０１）および入力２（３０２）は係数算出処理部３０８に入力され、合成用の係数αを算出する（Ｓ９００）。入力１（３０１）と入力２（３０２）および係数算出処理部３０８より出力された係数αは乗算処理部３０３へ入力される。乗算処理部３０３では、入力１に対し係数αを乗算する（Ｓ９０１）。また、入力２に対し係数β＝１−αを乗算する（Ｓ９０２）。その後、加算部３０４にて、係数をかけた入力１および入力２を加算し（Ｓ９０３）、出力３０７を得る。
【００３４】
続いて、係数算出処理部３０８の詳細について、ブロック図に図１０（ａ）、フローチャートに図１０（ｂ）を用いて説明する。まず、本実施形態では、入力画像の解像度を期と抽出処理用にカメラの処理能力に応じた解像度まで下げて処理する。すなわち、ぼかし処理部３０８１は入力３０１及び入力３０２の画像に対してぼかし処理を行う。ぼかし処理には縮小処理を用いているが、ローパスフィルタ処理など、これに限らない。次に輝度情報抽出処理部３０８２において入力１（３０１）の輝度積分値Ｉｔｇ１及び入力を算出する。入力１（３０１）は現像後のＹＵＶであればＹを、ＲＧＢ信号であれば、下記の変換式でＹを得る。
【００３５】
【数１】
【００３６】
次に、入力１の全画素の輝度値を積分して輝度積分値Ｉｔｇ１を以下の式で計算する（Ｓ１０００）。
【００３７】
【数２】
【００３８】
ここでｎは入力１の画素数を示す。同様の手順で、Ｉｔｇ２も計算する（Ｓ１００１）。これら輝度積分値を用いて比率算出処理部３０８３で合成比率を算出する。入力１の加重加算のための乗算係数αは
【００３９】
【数３】
【００４０】
で算出される（Ｓ１００２）。一方入力２の加重加算のための乗算係数はβ＝１−αで算出される（Ｓ１００３）。
【００４１】
以上のように、本実施形態では、ノンリニア多重露出処理では加重加算比率を入力画像を考慮して求める。これにより、例えば比較（明）モードではこれから撮影する主被写体が撮影済み画像に対して明るくなる程加算比率は大きくなり、視認性が向上し構図確認がし易くなる。
【００４２】
（他の実施形態）
本発明の目的は以下のようにしても達成できる。すなわち、前述した各実施形態の機能を実現するための手順が記述されたソフトウェアのプログラムコードを記録した記憶媒体を、システムまたは装置に供給する。そしてそのシステムまたは装置のコンピュータ（またはＣＰＵ、ＭＰＵ等）が記憶媒体に格納されたプログラムコードを読み出して実行するのである。
【００４３】
この場合、記憶媒体から読み出されたプログラムコード自体が本発明の新規な機能を実現することになり、そのプログラムコードを記憶した記憶媒体およびプログラムは本発明を構成することになる。
【００４４】
また、プログラムコードを供給するための記憶媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスクなどが挙げられる。また、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭ、ＤＶＤ−ＲＷ、ＤＶＤ−Ｒ、磁気テープ、不揮発性のメモリカード、ＲＯＭ等も用いることができる。
【００４５】
また、コンピュータが読み出したプログラムコードを実行可能とすることにより、前述した各実施形態の機能が実現される。さらに、そのプログラムコードの指示に基づき、コンピュータ上で稼動しているＯＳ（オペレーティングシステム）等が実際の処理の一部または全部を行い、その処理によって前述した各実施形態の機能が実現される場合も含まれる。
【００４６】
更に、以下の場合も含まれる。まず記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれる。その後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵ等が実際の処理の一部または全部を行う。
【００４７】
以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。
【符号の説明】
【００４８】
１０１ 結像光学系（レンズ）
１０２ 撮像素子
１０３ Ａ／Ｄ変換部
１０４ ホワイトバランス部
１０５ 画像合成部
１０６ 色補間部
１０７ マトリクス変換部
１０８ ガンマ変換部
１０９ 色調整部
１１０ 圧縮部
１１１ 記録部
１１２ 表示部
１２０ 制御部
１２１ メモリ
１２２ Ｉ／Ｆ
【特許請求の範囲】
【請求項１】
被写体を撮像し、画像データを出力する撮像手段と、
前記撮像手段から出力される画像データに現像処理を行う現像手段と、
画像データを一時的に記憶するメモリと、
画像データを記録する記録手段と、
複数の画像データを合成する合成手段と、
前記撮像手段から出力される画像データあるいは前記合成手段から出力される合成画像データをリアルタイムに表示手段に表示するライブビューモードを備える表示制御手段と、前記撮像手段から出力され前記現像処理が施されていない複数の画像データが前記合成手段で合成されたリニア合成画像データを前記記録手段に記録させ、
前記ライブビューモードでは、前記現像処理が施された前記メモリの画像データと前記撮像手段からリアルタイムに出力され前記現像処理が施された画像データとが前記合成手段で合成されたノンリニア合成画像データを前記表示制御手段によって前記表示手段に表示させる制御手段と、を有することを特徴とする撮像装置。
【請求項２】
前記制御手段は、ユーザーの指示に応じて、前記ライブビューモードにおいても、前記撮像手段から出力され前記現像処理が施されていない複数の画像データが前記合成手段で合成されたリニア合成画像データを前記表示制御手段によって前記表示手段に表示させることを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記合成手段は複数の合成方法で前記合成が可能であることを特徴とする請求項１または２に記載の撮像装置。
【請求項４】
前記複数の合成方法は、
複数の画像データを画素毎に加算して合成する加算、
複数の画像データを画素毎に加重加算して合成する加重加算、
複数の画像データを画素毎に比較して、最も小さくない値を選択する比較（明）、
複数の画像データを画素毎に比較して、最も大きくない値を選択する比較（暗）の少なくとも１つを含むことを特徴とする請求項３に記載の撮像装置。
【請求項５】
前記制御手段は、ユーザーからの指示に応じて、前記記録手段に記録される前記リニア合成画像データの生成に用いられる合成方法を決定し、このとき前記表示手段に表示されるノンリニア合成画像データの生成に用いられる合成方法は前記加重加算であることを特徴とする請求項４に記載の撮像装置。
【請求項６】
前記制御手段は、前記ノンリニア合成画像データの生成に用いられる合成方法が加重加算であるとき、前記リニア合成画像データの生成に用いられる合成方法に応じて、当該加重加算の加算比率を切り換えることを特徴とする請求項５に記載の撮像装置。
【請求項７】
前記メモリに記憶される画像データと、前記撮像手段よりリアルタイムに出力される画像データの輝度情報に基づいて前記加重加算の加算比率を算出する算出手段を有することを特徴とする請求項５に記載の撮像装置。
【請求項８】
被写体を撮像し、画像データを出力する撮像手段と、前記撮像手段から出力される画像データに現像処理を行う現像手段と、画像データを一時的に記憶するメモリと、画像データを記録する記録手段と、複数の画像データを合成する合成手段と、前記撮像手段から出力される画像データあるいは前記合成手段から出力される合成画像データをリアルタイムに表示手段に表示するライブビューモードを備える表示制御手段と、を有する撮像装置の制御方法であって、
前記撮像手段から出力され前記現像処理が施されていない複数の画像データが前記合成手段で合成されたリニア合成画像データを前記記録手段に記録させる記録ステップと、
前記ライブビューモードにおいて、前記現像処理が施された前記メモリの画像データと前記撮像手段からリアルタイムに出力され前記現像処理が施された画像データとが前記合成手段で合成されたノンリニア合成画像データを前記表示制御手段によって前記表示手段に表示させる表示ステップと、を有することを特徴とする撮像装置の制御方法。
【請求項９】
請求項８に記載の撮像装置の制御方法の手順が記述されたコンピュータで実行可能なプログラム。
【請求項１０】
コンピュータに、請求項８に記載の撮像装置の制御方法の各工程を実行させるためのプログラムが記憶されたコンピュータが読み取り可能な記憶媒体。
【請求項１】
被写体を撮像し、画像データを出力する撮像手段と、
前記撮像手段から出力される画像データに現像処理を行う現像手段と、
画像データを一時的に記憶するメモリと、
画像データを記録する記録手段と、
複数の画像データを合成する合成手段と、
前記撮像手段から出力される画像データあるいは前記合成手段から出力される合成画像データをリアルタイムに表示手段に表示するライブビューモードを備える表示制御手段と、前記撮像手段から出力され前記現像処理が施されていない複数の画像データが前記合成手段で合成されたリニア合成画像データを前記記録手段に記録させ、
前記ライブビューモードでは、前記現像処理が施された前記メモリの画像データと前記撮像手段からリアルタイムに出力され前記現像処理が施された画像データとが前記合成手段で合成されたノンリニア合成画像データを前記表示制御手段によって前記表示手段に表示させる制御手段と、を有することを特徴とする撮像装置。
【請求項２】
前記制御手段は、ユーザーの指示に応じて、前記ライブビューモードにおいても、前記撮像手段から出力され前記現像処理が施されていない複数の画像データが前記合成手段で合成されたリニア合成画像データを前記表示制御手段によって前記表示手段に表示させることを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記合成手段は複数の合成方法で前記合成が可能であることを特徴とする請求項１または２に記載の撮像装置。
【請求項４】
前記複数の合成方法は、
複数の画像データを画素毎に加算して合成する加算、
複数の画像データを画素毎に加重加算して合成する加重加算、
複数の画像データを画素毎に比較して、最も小さくない値を選択する比較（明）、
複数の画像データを画素毎に比較して、最も大きくない値を選択する比較（暗）の少なくとも１つを含むことを特徴とする請求項３に記載の撮像装置。
【請求項５】
前記制御手段は、ユーザーからの指示に応じて、前記記録手段に記録される前記リニア合成画像データの生成に用いられる合成方法を決定し、このとき前記表示手段に表示されるノンリニア合成画像データの生成に用いられる合成方法は前記加重加算であることを特徴とする請求項４に記載の撮像装置。
【請求項６】
前記制御手段は、前記ノンリニア合成画像データの生成に用いられる合成方法が加重加算であるとき、前記リニア合成画像データの生成に用いられる合成方法に応じて、当該加重加算の加算比率を切り換えることを特徴とする請求項５に記載の撮像装置。
【請求項７】
前記メモリに記憶される画像データと、前記撮像手段よりリアルタイムに出力される画像データの輝度情報に基づいて前記加重加算の加算比率を算出する算出手段を有することを特徴とする請求項５に記載の撮像装置。
【請求項８】
被写体を撮像し、画像データを出力する撮像手段と、前記撮像手段から出力される画像データに現像処理を行う現像手段と、画像データを一時的に記憶するメモリと、画像データを記録する記録手段と、複数の画像データを合成する合成手段と、前記撮像手段から出力される画像データあるいは前記合成手段から出力される合成画像データをリアルタイムに表示手段に表示するライブビューモードを備える表示制御手段と、を有する撮像装置の制御方法であって、
前記撮像手段から出力され前記現像処理が施されていない複数の画像データが前記合成手段で合成されたリニア合成画像データを前記記録手段に記録させる記録ステップと、
前記ライブビューモードにおいて、前記現像処理が施された前記メモリの画像データと前記撮像手段からリアルタイムに出力され前記現像処理が施された画像データとが前記合成手段で合成されたノンリニア合成画像データを前記表示制御手段によって前記表示手段に表示させる表示ステップと、を有することを特徴とする撮像装置の制御方法。
【請求項９】
請求項８に記載の撮像装置の制御方法の手順が記述されたコンピュータで実行可能なプログラム。
【請求項１０】
コンピュータに、請求項８に記載の撮像装置の制御方法の各工程を実行させるためのプログラムが記憶されたコンピュータが読み取り可能な記憶媒体。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【公開番号】特開２０１３−９００９４（Ｐ２０１３−９００９４Ａ）
【公開日】平成２５年５月１３日（２０１３．５．１３）
【国際特許分類】
【出願番号】特願２０１１−２２７９７０（Ｐ２０１１−２２７９７０）
【出願日】平成２３年１０月１７日（２０１１．１０．１７）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
【公開日】平成２５年５月１３日（２０１３．５．１３）
【国際特許分類】
【出願日】平成２３年１０月１７日（２０１１．１０．１７）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
[ Back to top ]