画像処理装置、電子カメラおよび画像処理プログラム
【課題】 同一の撮影シーンから互いに異なる露光条件で撮像された複数枚の画像から、元の画像よりも高ダイナミックレンジの合成画像を生成する際に、コントラスト、色相、彩度の変化が少ない自然な合成画像を、簡単な構成で生成すること。
【解決手段】 同一の撮影シーンから互いに異なる露光条件で撮像されたＮ（ただしＮは２以上の整数）枚の画像に対して合成処理を施し、Ｎ枚の画像よりも高ダイナミックレンジの合成画像を生成する画像処理装置であって、Ｎ枚の画像を取得する取得部と、Ｎ枚の画像のうち、少なくとも１枚の画像に対してローパス処理を行い、ローパス画像を生成するローパス処理部と、合成処理における重み付け量を、ローパス画像に基づいて決定する決定部と、重み付け量にしたがって、Ｎ枚の画像に対して合成処理を施し、合成画像を生成する合成処理部とを備える。
【解決手段】 同一の撮影シーンから互いに異なる露光条件で撮像されたＮ（ただしＮは２以上の整数）枚の画像に対して合成処理を施し、Ｎ枚の画像よりも高ダイナミックレンジの合成画像を生成する画像処理装置であって、Ｎ枚の画像を取得する取得部と、Ｎ枚の画像のうち、少なくとも１枚の画像に対してローパス処理を行い、ローパス画像を生成するローパス処理部と、合成処理における重み付け量を、ローパス画像に基づいて決定する決定部と、重み付け量にしたがって、Ｎ枚の画像に対して合成処理を施し、合成画像を生成する合成処理部とを備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、電子カメラおよび画像処理プログラムに関する。
【背景技術】
【０００２】
従来より、同一の撮影シーンから互いに異なる露光条件で撮像された複数の画像を合成して、元の画像よりも高ダイナミックレンジの画像を生成する手法が知られている（例えば、特許文献１）。特許文献１の発明では、入力信号のレベルに応じて異なる階調カーブを用いて、第１の画像および第２の画像を合成することにより、高ダイナミックレンジの画像を生成している。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特許第３０７４９６７号
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかし、特許文献１の発明では、中間の階調からハイライトにかけては、階調カーブの傾きがゆるくなり、合成画像のハイライト部分のコントラストが低下する場合がある。また、色調が変化することにより彩度が低下したり、色相が変化したりする場合があった。
【０００５】
本発明は、上記問題に鑑みてなされたものであり、同一の撮影シーンから互いに異なる露光条件で撮像された複数枚の画像から、元の画像よりも高ダイナミックレンジの合成画像を生成する際に、コントラスト、色相、彩度の変化が少ない自然な合成画像を、簡単な構成で生成することを目的とする。
【課題を解決するための手段】
【０００６】
本発明の画像処理装置は、同一の撮影シーンから互いに異なる露光条件で撮像されたＮ（ただしＮは２以上の整数）枚の画像に対して合成処理を施し、前記Ｎ枚の画像よりも高ダイナミックレンジの合成画像を生成する画像処理装置であって、前記Ｎ枚の画像を取得する取得部と、前記Ｎ枚の画像のうち、少なくとも１枚の画像に対してローパス処理を行い、ローパス画像を生成するローパス処理部と、前記合成処理における重み付け量を、前記ローパス画像に基づいて決定する決定部と、前記重み付け量にしたがって、前記Ｎ枚の画像に対して前記合成処理を施し、前記合成画像を生成する合成処理部とを備える。
【０００７】
なお、前記ローパス処理部は、前記Ｎ枚の画像のうち、前記露光条件による露出量がより少ない画像から前記ローパス画像を生成しても良い。
【０００８】
また、前記ローパス画像に所定の階調変換処理を施す階調変換処理部をさらに備え、前記決定部は、前記階調変換処理が施された前記ローパス画像に基づいて、前記重み付け量を決定しても良い。
【０００９】
また、前記階調変換処理における階調変換特性を、ユーザ操作に基づいて設定する設定部をさらに備えても良い。
【００１０】
また、前記階調変換処理における階調変換特性を、前記Ｎ枚の画像の輝度情報に基づいて設定する設定部をさらに備えても良い。
【００１１】
また、前記取得部は、前記Ｎ枚の画像として、３枚以上の画像を取得し、前記ローパス処理部と、前記決定部と、前記合成処理部とによる処理を複数回繰り返すことにより、前記合成画像を生成しても良い。
【００１２】
また、被写体像を撮像して画像データを生成する撮像部と、上記した何れかの画像処理装置とを備え、前記取得部は、前記撮像部から前記Ｎ枚の画像を取得する電子カメラも本発明の具体的態様として有効である。
【００１３】
また、上記発明に関する構成を、処理対象の画像データに対する画像処理をコンピュータで実現するための画像処理プログラムに変換して表現したものも本発明の具体的態様として有効である。
【発明の効果】
【００１４】
本発明によれば、同一の撮影シーンから互いに異なる露光条件で撮像された複数枚の画像から、元の画像よりも高ダイナミックレンジの合成画像を生成する際に、コントラスト、色相、彩度の変化が少ない自然な合成画像を、簡単な構成で生成することができる。
【図面の簡単な説明】
【００１５】
【図１】第１実施形態の電子カメラ１０の構成を示す図である。
【図２】第１実施形態の合成処理部１５の詳細を示す図である。
【図３】第１実施形態の合成処理部１５の動作を示すフローチャートである。
【図４】ローパスフィルタについて説明する図である。
【図５】階調カーブGm1について説明する図である。
【図６】階調カーブの変更について説明する図である。
【図７】階調カーブの変更について説明する別の図である。
【図８】第２実施形態の合成処理部１５の詳細を示す図である。
【図９】第２実施形態の合成処理部１５の動作を示すフローチャートである。
【図１０】階調カーブGm2,Gm3について説明する図である。
【図１１】第３実施形態の合成処理部１５の詳細を示す図である。
【図１２】第３実施形態の合成処理部１５の動作を示すフローチャートである。
【図１３】階調カーブGm4,Gm5,Gm6について説明する図である。
【図１４】第４実施形態の合成処理部１５の詳細を示す図である。
【図１５】第４実施形態の合成処理部１５の動作を示すフローチャートである。
【発明を実施するための形態】
【００１６】
＜第１実施形態＞
以下、図面を用いて本発明の第１実施形態について説明する。第１実施形態では、本発明の画像処理装置を備えた電子カメラを例に挙げて説明する。
【００１７】
図１は、第１実施形態の電子カメラ１０の構成を示す図である。図１に示すように、電子カメラ１０は、撮影レンズ１１、撮像素子１２、アナログフロントエンド（Analog Front End）部（以下、ＡＦＥ部と称する）１３、画像処理部１４、合成処理部１５、圧縮伸長部１６、記録部１７の各部を備えるとともに、各部を統括的に制御する制御部１８を備える。
【００１８】
また、電子カメラ１０は、撮像により生成された画像などを表示する不図示の表示部、レリーズ釦や設定釦などを含む不図示の操作部を備える。制御部１８は、内部に不図示のメモリを備え、各部を制御するためのプログラムを予め記録するとともに、操作部の操作状態を検知する。
【００１９】
撮影時、制御部１８は、撮影レンズ１１を介した被写体像を撮像素子１２により撮像し、ＡＦＥ部１３によりディジタルの画像データを生成する。そして、制御部１８は、画像処理部１４により色処理、階調変換処理を施した後、圧縮伸長部１６により適宜圧縮し、記録部１７に記録する。
【００２０】
なお、電子カメラ１０は、高ダイナミックレンジ撮影の機能を有している。この機能は、同一の撮影シーンから互いに異なる露光条件で撮像された複数の画像を合成して、元の画像よりも高ダイナミックレンジの画像を生成する機能である。電子カメラ１０は、操作部を介したユーザ操作によりこの機能を実行しても良いし、制御部１８による判断に基づいてこの機能を実行しても良い。また、この機能を実行する際には、画像処理部１４の出力は合成処理部１５に供給され、合成処理部１５の出力は圧縮伸長部１６に接続される。
【００２１】
高ダイナミックレンジ撮影を行う際に、制御部１８は、各部を制御し、同一の撮影シーンを異なる露光条件で撮像し、複数の画像を生成する。処理の具体的な方法は公知技術と同様であるため説明を省略する。露光条件の設定は、操作部を介したユーザ操作に基づいて行っても良いし、制御部１８による自動制御で行っても良い。
【００２２】
以下では、上述した撮影により、第１画像と第２画像とが生成されたものとして説明を行う。第１画像は、第２画像よりも露出量が少ない画像である。
【００２３】
図２は、合成処理部１５の詳細を示す図である。合成処理部１５は、図２に示すように、ローパス画像作成部２１、階調変換処理部２２、合成部２３の各部を備える。なお、色処理、階調変換処理など、通常の画像処理を行う各部については、図示および説明を省略する。
【００２４】
図２で説明した合成処理部１５における動作について、図３のフローチャートを用いて説明する。
【００２５】
ステップＳ１において、合成処理部１５は、第１画像および第２画像を取得する。この第１画像および第２画像は、通常の画像処理を施した後の画像であっても良いし、通常の画像処理の途中の画像であっても良い。また、第１画像のＲＧＢ値を、それぞれR1[x,y]，G1[x,y]，B1[x,y]で示し、第２画像のＲＧＢ値を、それぞれR2[x,y]，G2[x,y]，B2[x,y]で示す。
【００２６】
ステップＳ２において、合成処理部１５は、ローパス画像作成部２１によって、第１画像のローパス画像を作成する。ローパス画像作成部２１は、第１画像のＲＧＢ値に基づいて、次式を用いて輝度値Y1[x,y]を求める。
【００２７】
Y1[x,y]＝kr・R1[x,y]＋kg・G1[x,y]＋kb・B1[x,y] …（式１）
式１中のkr、kg、kbは、輝度値Y1[x,y]を算出するための所定の係数である。
【００２８】
さらに、図４に例示する幅ｄが比較的広いフィルタＬｐｗと、次式を用いて、ローパス画像LY1[x,y]を求める。
【００２９】
【数１】
【００３０】
ステップＳ３において、合成処理部１５は、階調変換処理部２２によって、ローパス画像LY1[x,y]に対して階調変換処理を行う。階調変換処理部２２は、次式を用いて階調変換処理を行い、階調処理後のローパス画像LY1t[x,y]を求める。
【００３１】
LY1t[x,y]＝Gm1（LY1[x,y]） …（式３）
式３中のGm1は、図５に示す階調カーブGm1である。
【００３２】
ステップＳ４において、合成処理部１５は、合成部２３によって、合成処理を行い、合成画像を生成する。合成部２３は、ステップＳ１で取得した第１画像および第２画像を、ステップＳ３で階調変換処理を施したローパス画像LY1t[x,y]に基づいて合成し、合成画像を生成する。画像の合成は、以下の式４から式６を用いてＲＧＢ値のそれぞれについて行われる。
【００３３】
Rmix[x,y]＝（R1[x,y]・LY1t[x,y]＋R2[x,y]・（255−LY1t[x,y]））÷255 …（式４）
Gmix[x,y]＝（G1[x,y]・LY1t[x,y]＋G2[x,y]・（255−LY1t[x,y]））÷255 …（式５）
Bmix[x,y]＝（B1[x,y]・LY1t[x,y]＋B2[x,y]・（255−LY1t[x,y]））÷255 …（式６）
ステップＳ５において、合成処理部１５は、ステップＳ４で算出したRmix[x,y]，Gmix[x,y]，Bmix[x,y]からなる合成画像を出力する。なお、合成処理部１５は、合成画像のＲＧＢ値に対して変換処理を行い、ＹＣｂＣｒ化してから出力しても良い。また、合成処理部１５から出力された合成画像は、圧縮伸長部１６により適宜圧縮され、記録部１７に記録される。
【００３４】
以上説明したように、第１実施形態によれば、同一の撮影シーンから互いに異なる露光条件で撮像されたＮ（ただしＮは２以上の整数）枚の画像を取得し、Ｎ枚の画像のうち、少なくとも１枚の画像に対してローパス処理を行い、ローパス画像を生成する。そして、合成処理における重み付け量を、ローパス画像に基づいて決定し、決定した重み付け量にしたがって、Ｎ枚の画像に対して前記合成処理を施し、合成画像を生成する。したがって、ローパス画像から合成時の重み付け量を算出することにより、第１画像および第２画像の暗部と明部とを大まかに区別することができる。そのため、第１画像のみ、または、第２画像のみが合成画像に反映される領域については、コントラストや彩度の低下が発生しない。結果として、第１実施形態によれば、同一の撮影シーンから互いに異なる露光条件で撮像された複数枚の画像から、元の画像よりも高ダイナミックレンジの合成画像を生成する際に、コントラスト、色相、彩度の変化が少ない自然な合成画像を、簡単な構成で生成することができる。
【００３５】
なお、第１実施形態では、図５に示した階調カーブGm1を用いて階調変換処理を行う例を示したが、本発明はこの例に限定されない。
【００３６】
例えば、図６に示すように、標準的な階調カーブ（例えば、図５に示した階調カーブGm1）を変化させることにより、合成画像における２つの画像（第１画像および第２画像）の境界の加減を変化させることができる。図６に示すように、変化のなだらかな階調カーブに変化させると、上述した境界はあいまいになり、２つの画像の境界は目立ちにくくソフトな合成画像となる。一方、変化の急な階調カーブに変化させると、上述した境界は明確になり、２つの画像の境界がくっきりとして目立つ合成画像となる。
【００３７】
また、図７に示すように、標準的な階調カーブ（例えば、図５に示した階調カーブGm1）を変化させることにより、合成画像において２つの画像（第１画像および第２画像）のそれぞれを重視する割合を変化させることができる。図７に示すように、階調カーブの変化が暗部側にシフトした階調カーブを採用すると、上述した割合は、第１画像の方が多くなり、第１画像を重視した合成画像が生成される。この場合、合成処理において、露出量が少な目である第１画像を選択する領域が増えるので、結果として白トビが少ない明部重視の合成画像が生成される。一方、階調カーブの変化が明部側にシフトした階調カーブを採用すると、上述した割合は、第２画像の方が多くなり、第２画像を重視した合成画像が生成される。この場合、合成処理において、露出量が多めである第２画像を選択する領域が増えるので、結果として黒つぶれの少ない暗部重視の合成画像が生成される。
【００３８】
図６および図７を用いて説明した階調カーブの変更は、操作部を介したユーザ操作により行う構成としても良いし、制御部１８による判断に基づいて行う構成としても良い。制御部１８により判断を行う場合には、画像解析を行い、解析結果に応じて階調カーブを変更しても良い。
【００３９】
例えば、ステップＳ２において説明した輝度値Y1[x,y]のヒストグラムの分散を評価し、ヒストグラムの広がりに応じて、図６で説明したように、階調カーブを変更しても良い。この場合、例えば、分散が小さいほど境界が目立つ傾向があるので、より「あいまいに」なるように階調カーブを変更する。
【００４０】
また、ステップＳ２において説明した輝度値Y1[x,y]の累積度数分布を評価し、累積度数に応じて、図７で説明したように、階調カーブを変更しても良い。この場合、例えば、累積度数が１／２となる輝度値を閾値として、階調カーブを変更する。
【００４１】
＜第２実施形態＞
以下、図面を用いて本発明の第２実施形態について説明する。第２実施形態は、上述した第１実施形態の変形例であるため、第１実施形態と異なる部分についてのみ説明を行う。また、第１実施形態と同様の構成については、第１実施形態と同様の符号を用いて説明を行う。
【００４２】
図８は、第２実施形態の合成処理部１５の詳細を示す図である。第２実施形態の合成処理部１５は、第１実施形態の合成処理部１５における階調変換処理部２２に代えて第１階調変換処理部３１および第２階調変換処理部３２を備え、合成部２３に代えて合成部３３を備える。
【００４３】
図８で説明した合成処理部１５における動作について、図９のフローチャートを用いて説明する。
【００４４】
ステップＳ１１およびステップＳ１２において、合成処理部１５は、第１実施形態の図３のステップＳ１およびステップＳ２と同様の処理を行う。
【００４５】
ステップＳ１３において、合成処理部１５は、第１階調変換処理部３１によって、ステップＳ１２で作成したローパス画像LY1[x,y]に対して第１階調変換処理を行う。第１階調変換処理部３１は、次式を用いて第１階調変換処理を行い、階調処理後のローパス画像LY1t[x,y]を求める。
【００４６】
LY1t[x,y]＝Gm2（LY1[x,y]） …（式７）
式７中のGm2は、図１０に示す階調カーブGm2である。なお、階調カーブGm2は、図５に示した階調カーブGm1と同じ階調カーブであっても良いし、異なる階調カーブであっても良い。
【００４７】
ステップＳ１４において、合成処理部１５は、第２階調変換処理部３２によって、ステップＳ１２で作成したローパス画像LY1[x,y]に対して第２階調変換処理を行う。第２階調変換処理部３２は、次式を用いて第２階調変換処理を行い、階調処理後のローパス画像LY2t[x,y]を求める。
【００４８】
LY2t[x,y]＝Gm3（LY1[x,y]） …（式８）
式８中のGm3は、図１０に示す階調カーブGm3である。
【００４９】
ステップＳ１５において、合成処理部１５は、合成部３３によって、合成処理を行い、合成画像を生成する。合成部３３は、ステップＳ１１で取得した第１画像および第２画像を、ステップＳ１３で第１階調変換処理を施したローパス画像LY1t[x,y]およびステップＳ１４で第２階調変換処理を施したローパス画像LY2t[x,y]に基づいて合成し、合成画像を生成する。画像の合成は、以下の式９から式１１を用いてＲＧＢ値のそれぞれについて行われる。
【００５０】
Rmix[x,y]＝（R1[x,y]・LY1t[x,y]＋R2[x,y]・LY2t[x,y]）÷255 …（式９）
Gmix[x,y]＝（G1[x,y]・LY1t[x,y]＋G2[x,y]・LY2t[x,y]）÷255 …（式１０）
Bmix[x,y]＝（B1[x,y]・LY1t[x,y]＋B2[x,y]・LY2t[x,y]）÷255 …（式１１）
ステップＳ１６において、合成処理部１５は、ステップＳ１５で算出したRmix[x,y]，Gmix[x,y]，Bmix[x,y]からなる合成画像を出力する。なお、合成処理部１５は、合成画像のＲＧＢ値に対して処理の変換処理を行い、ＹＣｂＣｒ化してから出力しても良い。また、合成処理部１５から出力された合成画像は、圧縮伸長部１６により適宜圧縮され、記録部１７に記録される。
【００５１】
以上説明したように、第２実施形態によれば、第１画像用の階調カーブと第２画像用の階調カーブとを用意し、合成処理時に用いるローパス画像を個別に作成することにより、合成処理に関して、第１実施形態よりもさらに細かな調整を施すことが可能となる。
【００５２】
なお、第１実施形態または第２実施形態で説明した各処理を繰り返し実行することにより、互いに異なる露光条件で撮像された３枚以上の画像の合成処理を行うことができる。例えば、第１画像、第２画像および第３画像を取得し、まず、第１実施形態で説明した処理により、第１画像および第２画像から合成画像を生成する。そして、合成画像を第１画像とし、第３画像を第２画像として、第１実施形態で説明した処理を再び実行することにより、３枚の画像の合成処理を行うことができる。第２実施形態で説明した処理についても同様である。また、４枚以上の画像の合成処理についても同様である。
【００５３】
さらに、第１の実施形態の処理と第２の実施形態の処理とを適宜組み合わせて３枚以上の画像の合成処理を行う構成としても良い。
【００５４】
＜第３実施形態＞
以下、図面を用いて本発明の第３実施形態について説明する。第３実施形態は、上述した第１実施形態の変形例であるため、第１実施形態と異なる部分についてのみ説明を行う。また、第１実施形態と同様の構成については、第１実施形態と同様の符号を用いて説明を行う。
【００５５】
図１１は、第３実施形態の合成処理部１５の詳細を示す図である。第３実施形態の合成処理部１５は、第１実施形態の合成処理部１５における階調変換処理部２２に代えて第１階調変換処理部４１，第２階調変換処理部４２および第３階調変換処理部４３を備え、合成部２３に代えて合成部４４を備える。
【００５６】
図１１で説明した合成処理部１５における動作について、図１２のフローチャートを用いて説明する。
【００５７】
ステップＳ２１において、合成処理部１５は、第１画像、第２画像および第３画像を取得する。第１画像は、第２画像よりも露出量が少ない画像であり、第２画像は、第３画像よりも露出量が少ない画像である。この第１画像、第２画像および第３画像は、通常の画像処理を施した後の画像であっても良いし、通常の画像処理の途中の画像であっても良い。また、第１画像のＲＧＢ値を、それぞれR1[x,y]，G1[x,y]，B1[x,y]で示し、第２画像のＲＧＢ値を、それぞれR2[x,y]，G2[x,y]，B2[x,y]で示し、第３画像のＲＧＢ値を、それぞれR3[x,y]，G3[x,y]，B3[x,y]で示す。
【００５８】
ステップＳ２２において、合成処理部１５は、図３のフローチャートのステップＳ２と同様に、ローパス画像作成部２１によって、第１画像のローパス画像LY1[x,y]を求める。
【００５９】
ステップＳ２３において、合成処理部１５は、第１階調変換処理部４１によって、ステップＳ２２で作成したローパス画像LY1[x,y]に対して第１階調変換処理を行う。第１階調変換処理部４１は、次式を用いて第１階調変換処理を行い、階調処理後のローパス画像LY1t[x,y]を求める。
【００６０】
LY1t[x,y]＝Gm4（LY1[x,y]） …（式１２）
式１２中のGm4は、図１３に示す階調カーブGm4である。なお、階調カーブGm4は、図５に示した階調カーブGm1と同じ階調カーブであっても良いし、異なる階調カーブであっても良い。
【００６１】
ステップＳ２４において、合成処理部１５は、第２階調変換処理部４２によって、ステップＳ２２で作成したローパス画像LY1[x,y]に対して第２階調変換処理を行う。第２階調変換処理部４２は、次式を用いて第２階調変換処理を行い、階調処理後のローパス画像LY2t[x,y]を求める。
【００６２】
LY2t[x,y]＝Gm5（LY1[x,y]） …（式１３）
式１３中のGm5は、図１３に示す階調カーブGm5である。
【００６３】
ステップＳ２５において、合成処理部１５は、第３階調変換処理部４３によって、ステップＳ２２で作成したローパス画像LY1[x,y]に対して第３階調変換処理を行う。第３階調変換処理部４３は、次式を用いて第３階調変換処理を行い、階調処理後のローパス画像LY3t[x,y]を求める。
【００６４】
LY3t[x,y]＝Gm6（LY1[x,y]） …（式１４）
式１４中のGm6は、図１３に示す階調カーブGm6である。なお、階調カーブGm6は、図１０に示した階調カーブGm3と同じ階調カーブであっても良いし、異なる階調カーブであっても良い。
【００６５】
ステップＳ２６において、合成処理部１５は、合成部４４によって、合成処理を行い、合成画像を生成する。合成部４４は、ステップＳ２１で取得した第１画像、第２画像および第３画像を、ステップＳ２３で第１階調変換処理を施したローパス画像LY1t[x,y]、ステップＳ２４で第２階調変換処理を施したローパス画像LY2t[x,y]およびステップＳ２５で第３階調変換処理を施したローパス画像LY3t[x,y]に基づいて合成し、合成画像を生成する。画像の合成は、以下の式１５から式１７を用いてＲＧＢ値のそれぞれについて行われる。
【００６６】
Rmix[x,y]＝（R1[x,y]・LY1t[x,y]＋R2[x,y]・LY2t[x,y] ＋R3[x,y]・LY3t[x,y]）÷255 …（式１５）
Gmix[x,y]＝（G1[x,y]・LY1t[x,y]＋G2[x,y]・LY2t[x,y] ＋G3[x,y]・LY3t[x,y]）÷255 …（式１６）
Bmix[x,y]＝（B1[x,y]・LY1t[x,y]＋B2[x,y]・LY2t[x,y] ＋B3[x,y]・LY3t[x,y]）÷255 …（式１７）
ステップＳ２６において、合成処理部１５は、ステップＳ２６で算出したRmix[x,y]，Gmix[x,y]，Bmix[x,y]からなる合成画像を出力する。なお、合成処理部１５は、合成画像のＲＧＢ値に対して処理の変換処理を行い、ＹＣｂＣｒ化してから出力しても良い。また、合成処理部１５から出力された合成画像は、圧縮伸長部１６により適宜圧縮され、記録部１７に記録される。
【００６７】
なお、第３実施形態では、３枚の画像を合成する場合を例に挙げて説明したが、４枚以上の画像を合成する際にも、同様に階調変換処理部を増やすことにより対応することができる。
【００６８】
以上説明したように、第３実施形態によれば、３枚以上の画像を合成する際に、処理は多少複雑化するが、第１実施形態および第２実施形態を繰り返す場合よりも高速に処理を行うことができる。
【００６９】
＜第４実施形態＞
以下、図面を用いて本発明の第４実施形態について説明する。第４実施形態は、上述した第２実施形態の変形例であるため、第２実施形態と異なる部分についてのみ説明を行う。また、第２実施形態と同様の構成については、第２実施形態と同様の符号を用いて説明を行う。
【００７０】
図１４は、第４実施形態の合成処理部１５の詳細を示す図である。第４実施形態の合成処理部１５は、第２実施形態の合成処理部１５におけるローパス画像作成部２１に代えて第１ローパス画像作成部５１および第２ローパス画像作成部５２を備え、第１階調変換処理部３１および第２階調変換処理部３２に代えて第１階調変換処理部５３および第２階調変換処理部５４を備え、合成部３３に代えて合成部５５を備える。
【００７１】
図１４で説明した合成処理部１５における動作について、図１５のフローチャートを用いて説明する。
【００７２】
ステップＳ３１において、合成処理部１５は、第１画像および第２画像を取得する。この第１画像および第２画像は、通常の画像処理を施した後の画像であっても良いし、通常の画像処理の途中の画像であっても良い。また、第１画像のＲＧＢ値を、それぞれR1[x,y]，G1[x,y]，B1[x,y]で示し、第２画像のＲＧＢ値を、それぞれR2[x,y]，G2[x,y]，B2[x,y]で示す。
【００７３】
ステップＳ３２において、合成処理部１５は、第１ローパス画像作成部５１によって、第１ローパス画像を作成する。第１ローパス画像作成部５１は、第２実施形態のステップＳ１２と同様の処理を行い、第１画像から第１ローパス画像LY1[x,y]を求める。
【００７４】
ステップＳ３３において、合成処理部１５は、第１階調変換処理部５３によって、ステップＳ３２で作成した第１ローパス画像LY1[x,y]に対して第１階調変換処理を行う。第１階調変換処理部５３は、第２実施形態のステップＳ１３と同様の処理を行い、階調処理後の第１ローパス画像LY1t[x,y]を求める。
【００７５】
ステップＳ３４において、合成処理部１５は、第２ローパス画像作成部５２によって、第２ローパス画像を作成する。第２ローパス画像作成部５２は、第２画像に対して、第２実施形態のステップＳ１２と同様の処理を行い、第２画像から第２ローパス画像LY2[x,y]を求める。
【００７６】
ステップＳ３５において、合成処理部１５は、第２階調変換処理部５４によって、ステップＳ３４で作成した第２ローパス画像LY2[x,y]に対して第２階調変換処理を行う。第２階調変換処理部５４は、第２実施形態のステップＳ１４と同様の処理を行い、階調処理後の第２ローパス画像LY2t[x,y]を求める。
【００７７】
ステップＳ３６において、合成処理部１５は、合成部５５によって、合成処理を行い、合成画像を生成する。合成部５５は、ステップＳ３１で取得した第１画像および第２画像を、ステップＳ３３で第１階調変換処理を施したローパス画像LY1t[x,y]およびステップＳ３５で第２階調変換処理を施したローパス画像LY2t[x,y]に基づいて合成し、合成画像を生成する。画像の合成処理は、第２実施形態のステップＳ１５と同様に行われる。
【００７８】
ステップＳ３７において、合成処理部１５は、ステップＳ３６で算出したRmix[x,y]，Gmix[x,y]，Bmix[x,y]からなる合成画像を出力する。なお、合成処理部１５は、合成画像のＲＧＢ値に対して変換処理を行い、ＹＣｂＣｒ化してから出力しても良い。また、合成処理部１５から出力された合成画像は、圧縮伸長部１６により適宜圧縮され、記録部１７に記録される。
【００７９】
以上説明したように、第４実施形態によれば、処理は多少複雑化するが、合成処理に関して、第２実施形態よりもさらに細かな調整を施すことが可能となる。
【００８０】
なお、上述した各実施形態で説明した高ダイナミックレンジ撮影の機能は、操作部を介したユーザ操作により実行しても良いし、制御部１８による判断に基づいて実行しても良い。制御部１８による判断に基づいて実行する場合には、撮影モード（例えば、「ポートレートモード」、「風景モード」など）、画像のコントラストの強弱、画像の調整モード、シーン解析や顔認識による画像判断結果等に応じて判断を行うと良い。
【００８１】
また、上述した各実施形態において、ホワイトバランスを自動で設定するオートホワイトバランス処理が選択されている場合には、第１画像および第２画像の生成に際して、それぞれ個別のホワイトバランス設定とすることにより、明部と暗部とのそれぞれに最適なホワイトバランス処理が施された画像を生成することができる。
【００８２】
また、上述した各実施形態では、本発明の技術を電子カメラ１０において実現する例について説明した。しかしながら、本発明はこれに限定されるものではない。例えば、コンパクトタイプの電子カメラや動画撮影を行うムービーカメラなどにも本発明を同様に適用することができる。
【００８３】
また、コンピュータと画像処理プログラムとにより、上述した各実施形態で説明した画像処理装置をソフトウェア的に実現しても良い。この場合、合成処理部１５による処理（図３，図９，図１２，図１５のフローチャートの処理）の一部または全部をコンピュータで実現する構成とすれば良い。このような構成とすることにより、上述した各実施形態と同様の処理を実施することが可能になる。
【００８４】
なお、本発明は、その精神または主要な特徴から逸脱することなく、他のいろいろな形で実施することができる。そのため、前述の実施例はあらゆる点で単なる例示に過ぎず、限定的に解釈してはならない。本発明の範囲は、特許請求の範囲によって示すものであって、明細書本文には、なんら拘束されない。さらに、特許請求の範囲の均等範囲に属する変形や変更は、すべて本発明の範囲内のものである。
【符号の説明】
【００８５】
１…電子カメラ，１４…画像処理部，１５…合成処理部，１８…制御部，２１・５１・５２…ローパス画像作成部，２２・３１・３２・４１・４２・４３・５３・５４…階調変換処理部，２３・３３・４４・５５…合成部
【技術分野】
【０００１】
本発明は、画像処理装置、電子カメラおよび画像処理プログラムに関する。
【背景技術】
【０００２】
従来より、同一の撮影シーンから互いに異なる露光条件で撮像された複数の画像を合成して、元の画像よりも高ダイナミックレンジの画像を生成する手法が知られている（例えば、特許文献１）。特許文献１の発明では、入力信号のレベルに応じて異なる階調カーブを用いて、第１の画像および第２の画像を合成することにより、高ダイナミックレンジの画像を生成している。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特許第３０７４９６７号
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかし、特許文献１の発明では、中間の階調からハイライトにかけては、階調カーブの傾きがゆるくなり、合成画像のハイライト部分のコントラストが低下する場合がある。また、色調が変化することにより彩度が低下したり、色相が変化したりする場合があった。
【０００５】
本発明は、上記問題に鑑みてなされたものであり、同一の撮影シーンから互いに異なる露光条件で撮像された複数枚の画像から、元の画像よりも高ダイナミックレンジの合成画像を生成する際に、コントラスト、色相、彩度の変化が少ない自然な合成画像を、簡単な構成で生成することを目的とする。
【課題を解決するための手段】
【０００６】
本発明の画像処理装置は、同一の撮影シーンから互いに異なる露光条件で撮像されたＮ（ただしＮは２以上の整数）枚の画像に対して合成処理を施し、前記Ｎ枚の画像よりも高ダイナミックレンジの合成画像を生成する画像処理装置であって、前記Ｎ枚の画像を取得する取得部と、前記Ｎ枚の画像のうち、少なくとも１枚の画像に対してローパス処理を行い、ローパス画像を生成するローパス処理部と、前記合成処理における重み付け量を、前記ローパス画像に基づいて決定する決定部と、前記重み付け量にしたがって、前記Ｎ枚の画像に対して前記合成処理を施し、前記合成画像を生成する合成処理部とを備える。
【０００７】
なお、前記ローパス処理部は、前記Ｎ枚の画像のうち、前記露光条件による露出量がより少ない画像から前記ローパス画像を生成しても良い。
【０００８】
また、前記ローパス画像に所定の階調変換処理を施す階調変換処理部をさらに備え、前記決定部は、前記階調変換処理が施された前記ローパス画像に基づいて、前記重み付け量を決定しても良い。
【０００９】
また、前記階調変換処理における階調変換特性を、ユーザ操作に基づいて設定する設定部をさらに備えても良い。
【００１０】
また、前記階調変換処理における階調変換特性を、前記Ｎ枚の画像の輝度情報に基づいて設定する設定部をさらに備えても良い。
【００１１】
また、前記取得部は、前記Ｎ枚の画像として、３枚以上の画像を取得し、前記ローパス処理部と、前記決定部と、前記合成処理部とによる処理を複数回繰り返すことにより、前記合成画像を生成しても良い。
【００１２】
また、被写体像を撮像して画像データを生成する撮像部と、上記した何れかの画像処理装置とを備え、前記取得部は、前記撮像部から前記Ｎ枚の画像を取得する電子カメラも本発明の具体的態様として有効である。
【００１３】
また、上記発明に関する構成を、処理対象の画像データに対する画像処理をコンピュータで実現するための画像処理プログラムに変換して表現したものも本発明の具体的態様として有効である。
【発明の効果】
【００１４】
本発明によれば、同一の撮影シーンから互いに異なる露光条件で撮像された複数枚の画像から、元の画像よりも高ダイナミックレンジの合成画像を生成する際に、コントラスト、色相、彩度の変化が少ない自然な合成画像を、簡単な構成で生成することができる。
【図面の簡単な説明】
【００１５】
【図１】第１実施形態の電子カメラ１０の構成を示す図である。
【図２】第１実施形態の合成処理部１５の詳細を示す図である。
【図３】第１実施形態の合成処理部１５の動作を示すフローチャートである。
【図４】ローパスフィルタについて説明する図である。
【図５】階調カーブGm1について説明する図である。
【図６】階調カーブの変更について説明する図である。
【図７】階調カーブの変更について説明する別の図である。
【図８】第２実施形態の合成処理部１５の詳細を示す図である。
【図９】第２実施形態の合成処理部１５の動作を示すフローチャートである。
【図１０】階調カーブGm2,Gm3について説明する図である。
【図１１】第３実施形態の合成処理部１５の詳細を示す図である。
【図１２】第３実施形態の合成処理部１５の動作を示すフローチャートである。
【図１３】階調カーブGm4,Gm5,Gm6について説明する図である。
【図１４】第４実施形態の合成処理部１５の詳細を示す図である。
【図１５】第４実施形態の合成処理部１５の動作を示すフローチャートである。
【発明を実施するための形態】
【００１６】
＜第１実施形態＞
以下、図面を用いて本発明の第１実施形態について説明する。第１実施形態では、本発明の画像処理装置を備えた電子カメラを例に挙げて説明する。
【００１７】
図１は、第１実施形態の電子カメラ１０の構成を示す図である。図１に示すように、電子カメラ１０は、撮影レンズ１１、撮像素子１２、アナログフロントエンド（Analog Front End）部（以下、ＡＦＥ部と称する）１３、画像処理部１４、合成処理部１５、圧縮伸長部１６、記録部１７の各部を備えるとともに、各部を統括的に制御する制御部１８を備える。
【００１８】
また、電子カメラ１０は、撮像により生成された画像などを表示する不図示の表示部、レリーズ釦や設定釦などを含む不図示の操作部を備える。制御部１８は、内部に不図示のメモリを備え、各部を制御するためのプログラムを予め記録するとともに、操作部の操作状態を検知する。
【００１９】
撮影時、制御部１８は、撮影レンズ１１を介した被写体像を撮像素子１２により撮像し、ＡＦＥ部１３によりディジタルの画像データを生成する。そして、制御部１８は、画像処理部１４により色処理、階調変換処理を施した後、圧縮伸長部１６により適宜圧縮し、記録部１７に記録する。
【００２０】
なお、電子カメラ１０は、高ダイナミックレンジ撮影の機能を有している。この機能は、同一の撮影シーンから互いに異なる露光条件で撮像された複数の画像を合成して、元の画像よりも高ダイナミックレンジの画像を生成する機能である。電子カメラ１０は、操作部を介したユーザ操作によりこの機能を実行しても良いし、制御部１８による判断に基づいてこの機能を実行しても良い。また、この機能を実行する際には、画像処理部１４の出力は合成処理部１５に供給され、合成処理部１５の出力は圧縮伸長部１６に接続される。
【００２１】
高ダイナミックレンジ撮影を行う際に、制御部１８は、各部を制御し、同一の撮影シーンを異なる露光条件で撮像し、複数の画像を生成する。処理の具体的な方法は公知技術と同様であるため説明を省略する。露光条件の設定は、操作部を介したユーザ操作に基づいて行っても良いし、制御部１８による自動制御で行っても良い。
【００２２】
以下では、上述した撮影により、第１画像と第２画像とが生成されたものとして説明を行う。第１画像は、第２画像よりも露出量が少ない画像である。
【００２３】
図２は、合成処理部１５の詳細を示す図である。合成処理部１５は、図２に示すように、ローパス画像作成部２１、階調変換処理部２２、合成部２３の各部を備える。なお、色処理、階調変換処理など、通常の画像処理を行う各部については、図示および説明を省略する。
【００２４】
図２で説明した合成処理部１５における動作について、図３のフローチャートを用いて説明する。
【００２５】
ステップＳ１において、合成処理部１５は、第１画像および第２画像を取得する。この第１画像および第２画像は、通常の画像処理を施した後の画像であっても良いし、通常の画像処理の途中の画像であっても良い。また、第１画像のＲＧＢ値を、それぞれR1[x,y]，G1[x,y]，B1[x,y]で示し、第２画像のＲＧＢ値を、それぞれR2[x,y]，G2[x,y]，B2[x,y]で示す。
【００２６】
ステップＳ２において、合成処理部１５は、ローパス画像作成部２１によって、第１画像のローパス画像を作成する。ローパス画像作成部２１は、第１画像のＲＧＢ値に基づいて、次式を用いて輝度値Y1[x,y]を求める。
【００２７】
Y1[x,y]＝kr・R1[x,y]＋kg・G1[x,y]＋kb・B1[x,y] …（式１）
式１中のkr、kg、kbは、輝度値Y1[x,y]を算出するための所定の係数である。
【００２８】
さらに、図４に例示する幅ｄが比較的広いフィルタＬｐｗと、次式を用いて、ローパス画像LY1[x,y]を求める。
【００２９】
【数１】
【００３０】
ステップＳ３において、合成処理部１５は、階調変換処理部２２によって、ローパス画像LY1[x,y]に対して階調変換処理を行う。階調変換処理部２２は、次式を用いて階調変換処理を行い、階調処理後のローパス画像LY1t[x,y]を求める。
【００３１】
LY1t[x,y]＝Gm1（LY1[x,y]） …（式３）
式３中のGm1は、図５に示す階調カーブGm1である。
【００３２】
ステップＳ４において、合成処理部１５は、合成部２３によって、合成処理を行い、合成画像を生成する。合成部２３は、ステップＳ１で取得した第１画像および第２画像を、ステップＳ３で階調変換処理を施したローパス画像LY1t[x,y]に基づいて合成し、合成画像を生成する。画像の合成は、以下の式４から式６を用いてＲＧＢ値のそれぞれについて行われる。
【００３３】
Rmix[x,y]＝（R1[x,y]・LY1t[x,y]＋R2[x,y]・（255−LY1t[x,y]））÷255 …（式４）
Gmix[x,y]＝（G1[x,y]・LY1t[x,y]＋G2[x,y]・（255−LY1t[x,y]））÷255 …（式５）
Bmix[x,y]＝（B1[x,y]・LY1t[x,y]＋B2[x,y]・（255−LY1t[x,y]））÷255 …（式６）
ステップＳ５において、合成処理部１５は、ステップＳ４で算出したRmix[x,y]，Gmix[x,y]，Bmix[x,y]からなる合成画像を出力する。なお、合成処理部１５は、合成画像のＲＧＢ値に対して変換処理を行い、ＹＣｂＣｒ化してから出力しても良い。また、合成処理部１５から出力された合成画像は、圧縮伸長部１６により適宜圧縮され、記録部１７に記録される。
【００３４】
以上説明したように、第１実施形態によれば、同一の撮影シーンから互いに異なる露光条件で撮像されたＮ（ただしＮは２以上の整数）枚の画像を取得し、Ｎ枚の画像のうち、少なくとも１枚の画像に対してローパス処理を行い、ローパス画像を生成する。そして、合成処理における重み付け量を、ローパス画像に基づいて決定し、決定した重み付け量にしたがって、Ｎ枚の画像に対して前記合成処理を施し、合成画像を生成する。したがって、ローパス画像から合成時の重み付け量を算出することにより、第１画像および第２画像の暗部と明部とを大まかに区別することができる。そのため、第１画像のみ、または、第２画像のみが合成画像に反映される領域については、コントラストや彩度の低下が発生しない。結果として、第１実施形態によれば、同一の撮影シーンから互いに異なる露光条件で撮像された複数枚の画像から、元の画像よりも高ダイナミックレンジの合成画像を生成する際に、コントラスト、色相、彩度の変化が少ない自然な合成画像を、簡単な構成で生成することができる。
【００３５】
なお、第１実施形態では、図５に示した階調カーブGm1を用いて階調変換処理を行う例を示したが、本発明はこの例に限定されない。
【００３６】
例えば、図６に示すように、標準的な階調カーブ（例えば、図５に示した階調カーブGm1）を変化させることにより、合成画像における２つの画像（第１画像および第２画像）の境界の加減を変化させることができる。図６に示すように、変化のなだらかな階調カーブに変化させると、上述した境界はあいまいになり、２つの画像の境界は目立ちにくくソフトな合成画像となる。一方、変化の急な階調カーブに変化させると、上述した境界は明確になり、２つの画像の境界がくっきりとして目立つ合成画像となる。
【００３７】
また、図７に示すように、標準的な階調カーブ（例えば、図５に示した階調カーブGm1）を変化させることにより、合成画像において２つの画像（第１画像および第２画像）のそれぞれを重視する割合を変化させることができる。図７に示すように、階調カーブの変化が暗部側にシフトした階調カーブを採用すると、上述した割合は、第１画像の方が多くなり、第１画像を重視した合成画像が生成される。この場合、合成処理において、露出量が少な目である第１画像を選択する領域が増えるので、結果として白トビが少ない明部重視の合成画像が生成される。一方、階調カーブの変化が明部側にシフトした階調カーブを採用すると、上述した割合は、第２画像の方が多くなり、第２画像を重視した合成画像が生成される。この場合、合成処理において、露出量が多めである第２画像を選択する領域が増えるので、結果として黒つぶれの少ない暗部重視の合成画像が生成される。
【００３８】
図６および図７を用いて説明した階調カーブの変更は、操作部を介したユーザ操作により行う構成としても良いし、制御部１８による判断に基づいて行う構成としても良い。制御部１８により判断を行う場合には、画像解析を行い、解析結果に応じて階調カーブを変更しても良い。
【００３９】
例えば、ステップＳ２において説明した輝度値Y1[x,y]のヒストグラムの分散を評価し、ヒストグラムの広がりに応じて、図６で説明したように、階調カーブを変更しても良い。この場合、例えば、分散が小さいほど境界が目立つ傾向があるので、より「あいまいに」なるように階調カーブを変更する。
【００４０】
また、ステップＳ２において説明した輝度値Y1[x,y]の累積度数分布を評価し、累積度数に応じて、図７で説明したように、階調カーブを変更しても良い。この場合、例えば、累積度数が１／２となる輝度値を閾値として、階調カーブを変更する。
【００４１】
＜第２実施形態＞
以下、図面を用いて本発明の第２実施形態について説明する。第２実施形態は、上述した第１実施形態の変形例であるため、第１実施形態と異なる部分についてのみ説明を行う。また、第１実施形態と同様の構成については、第１実施形態と同様の符号を用いて説明を行う。
【００４２】
図８は、第２実施形態の合成処理部１５の詳細を示す図である。第２実施形態の合成処理部１５は、第１実施形態の合成処理部１５における階調変換処理部２２に代えて第１階調変換処理部３１および第２階調変換処理部３２を備え、合成部２３に代えて合成部３３を備える。
【００４３】
図８で説明した合成処理部１５における動作について、図９のフローチャートを用いて説明する。
【００４４】
ステップＳ１１およびステップＳ１２において、合成処理部１５は、第１実施形態の図３のステップＳ１およびステップＳ２と同様の処理を行う。
【００４５】
ステップＳ１３において、合成処理部１５は、第１階調変換処理部３１によって、ステップＳ１２で作成したローパス画像LY1[x,y]に対して第１階調変換処理を行う。第１階調変換処理部３１は、次式を用いて第１階調変換処理を行い、階調処理後のローパス画像LY1t[x,y]を求める。
【００４６】
LY1t[x,y]＝Gm2（LY1[x,y]） …（式７）
式７中のGm2は、図１０に示す階調カーブGm2である。なお、階調カーブGm2は、図５に示した階調カーブGm1と同じ階調カーブであっても良いし、異なる階調カーブであっても良い。
【００４７】
ステップＳ１４において、合成処理部１５は、第２階調変換処理部３２によって、ステップＳ１２で作成したローパス画像LY1[x,y]に対して第２階調変換処理を行う。第２階調変換処理部３２は、次式を用いて第２階調変換処理を行い、階調処理後のローパス画像LY2t[x,y]を求める。
【００４８】
LY2t[x,y]＝Gm3（LY1[x,y]） …（式８）
式８中のGm3は、図１０に示す階調カーブGm3である。
【００４９】
ステップＳ１５において、合成処理部１５は、合成部３３によって、合成処理を行い、合成画像を生成する。合成部３３は、ステップＳ１１で取得した第１画像および第２画像を、ステップＳ１３で第１階調変換処理を施したローパス画像LY1t[x,y]およびステップＳ１４で第２階調変換処理を施したローパス画像LY2t[x,y]に基づいて合成し、合成画像を生成する。画像の合成は、以下の式９から式１１を用いてＲＧＢ値のそれぞれについて行われる。
【００５０】
Rmix[x,y]＝（R1[x,y]・LY1t[x,y]＋R2[x,y]・LY2t[x,y]）÷255 …（式９）
Gmix[x,y]＝（G1[x,y]・LY1t[x,y]＋G2[x,y]・LY2t[x,y]）÷255 …（式１０）
Bmix[x,y]＝（B1[x,y]・LY1t[x,y]＋B2[x,y]・LY2t[x,y]）÷255 …（式１１）
ステップＳ１６において、合成処理部１５は、ステップＳ１５で算出したRmix[x,y]，Gmix[x,y]，Bmix[x,y]からなる合成画像を出力する。なお、合成処理部１５は、合成画像のＲＧＢ値に対して処理の変換処理を行い、ＹＣｂＣｒ化してから出力しても良い。また、合成処理部１５から出力された合成画像は、圧縮伸長部１６により適宜圧縮され、記録部１７に記録される。
【００５１】
以上説明したように、第２実施形態によれば、第１画像用の階調カーブと第２画像用の階調カーブとを用意し、合成処理時に用いるローパス画像を個別に作成することにより、合成処理に関して、第１実施形態よりもさらに細かな調整を施すことが可能となる。
【００５２】
なお、第１実施形態または第２実施形態で説明した各処理を繰り返し実行することにより、互いに異なる露光条件で撮像された３枚以上の画像の合成処理を行うことができる。例えば、第１画像、第２画像および第３画像を取得し、まず、第１実施形態で説明した処理により、第１画像および第２画像から合成画像を生成する。そして、合成画像を第１画像とし、第３画像を第２画像として、第１実施形態で説明した処理を再び実行することにより、３枚の画像の合成処理を行うことができる。第２実施形態で説明した処理についても同様である。また、４枚以上の画像の合成処理についても同様である。
【００５３】
さらに、第１の実施形態の処理と第２の実施形態の処理とを適宜組み合わせて３枚以上の画像の合成処理を行う構成としても良い。
【００５４】
＜第３実施形態＞
以下、図面を用いて本発明の第３実施形態について説明する。第３実施形態は、上述した第１実施形態の変形例であるため、第１実施形態と異なる部分についてのみ説明を行う。また、第１実施形態と同様の構成については、第１実施形態と同様の符号を用いて説明を行う。
【００５５】
図１１は、第３実施形態の合成処理部１５の詳細を示す図である。第３実施形態の合成処理部１５は、第１実施形態の合成処理部１５における階調変換処理部２２に代えて第１階調変換処理部４１，第２階調変換処理部４２および第３階調変換処理部４３を備え、合成部２３に代えて合成部４４を備える。
【００５６】
図１１で説明した合成処理部１５における動作について、図１２のフローチャートを用いて説明する。
【００５７】
ステップＳ２１において、合成処理部１５は、第１画像、第２画像および第３画像を取得する。第１画像は、第２画像よりも露出量が少ない画像であり、第２画像は、第３画像よりも露出量が少ない画像である。この第１画像、第２画像および第３画像は、通常の画像処理を施した後の画像であっても良いし、通常の画像処理の途中の画像であっても良い。また、第１画像のＲＧＢ値を、それぞれR1[x,y]，G1[x,y]，B1[x,y]で示し、第２画像のＲＧＢ値を、それぞれR2[x,y]，G2[x,y]，B2[x,y]で示し、第３画像のＲＧＢ値を、それぞれR3[x,y]，G3[x,y]，B3[x,y]で示す。
【００５８】
ステップＳ２２において、合成処理部１５は、図３のフローチャートのステップＳ２と同様に、ローパス画像作成部２１によって、第１画像のローパス画像LY1[x,y]を求める。
【００５９】
ステップＳ２３において、合成処理部１５は、第１階調変換処理部４１によって、ステップＳ２２で作成したローパス画像LY1[x,y]に対して第１階調変換処理を行う。第１階調変換処理部４１は、次式を用いて第１階調変換処理を行い、階調処理後のローパス画像LY1t[x,y]を求める。
【００６０】
LY1t[x,y]＝Gm4（LY1[x,y]） …（式１２）
式１２中のGm4は、図１３に示す階調カーブGm4である。なお、階調カーブGm4は、図５に示した階調カーブGm1と同じ階調カーブであっても良いし、異なる階調カーブであっても良い。
【００６１】
ステップＳ２４において、合成処理部１５は、第２階調変換処理部４２によって、ステップＳ２２で作成したローパス画像LY1[x,y]に対して第２階調変換処理を行う。第２階調変換処理部４２は、次式を用いて第２階調変換処理を行い、階調処理後のローパス画像LY2t[x,y]を求める。
【００６２】
LY2t[x,y]＝Gm5（LY1[x,y]） …（式１３）
式１３中のGm5は、図１３に示す階調カーブGm5である。
【００６３】
ステップＳ２５において、合成処理部１５は、第３階調変換処理部４３によって、ステップＳ２２で作成したローパス画像LY1[x,y]に対して第３階調変換処理を行う。第３階調変換処理部４３は、次式を用いて第３階調変換処理を行い、階調処理後のローパス画像LY3t[x,y]を求める。
【００６４】
LY3t[x,y]＝Gm6（LY1[x,y]） …（式１４）
式１４中のGm6は、図１３に示す階調カーブGm6である。なお、階調カーブGm6は、図１０に示した階調カーブGm3と同じ階調カーブであっても良いし、異なる階調カーブであっても良い。
【００６５】
ステップＳ２６において、合成処理部１５は、合成部４４によって、合成処理を行い、合成画像を生成する。合成部４４は、ステップＳ２１で取得した第１画像、第２画像および第３画像を、ステップＳ２３で第１階調変換処理を施したローパス画像LY1t[x,y]、ステップＳ２４で第２階調変換処理を施したローパス画像LY2t[x,y]およびステップＳ２５で第３階調変換処理を施したローパス画像LY3t[x,y]に基づいて合成し、合成画像を生成する。画像の合成は、以下の式１５から式１７を用いてＲＧＢ値のそれぞれについて行われる。
【００６６】
Rmix[x,y]＝（R1[x,y]・LY1t[x,y]＋R2[x,y]・LY2t[x,y] ＋R3[x,y]・LY3t[x,y]）÷255 …（式１５）
Gmix[x,y]＝（G1[x,y]・LY1t[x,y]＋G2[x,y]・LY2t[x,y] ＋G3[x,y]・LY3t[x,y]）÷255 …（式１６）
Bmix[x,y]＝（B1[x,y]・LY1t[x,y]＋B2[x,y]・LY2t[x,y] ＋B3[x,y]・LY3t[x,y]）÷255 …（式１７）
ステップＳ２６において、合成処理部１５は、ステップＳ２６で算出したRmix[x,y]，Gmix[x,y]，Bmix[x,y]からなる合成画像を出力する。なお、合成処理部１５は、合成画像のＲＧＢ値に対して処理の変換処理を行い、ＹＣｂＣｒ化してから出力しても良い。また、合成処理部１５から出力された合成画像は、圧縮伸長部１６により適宜圧縮され、記録部１７に記録される。
【００６７】
なお、第３実施形態では、３枚の画像を合成する場合を例に挙げて説明したが、４枚以上の画像を合成する際にも、同様に階調変換処理部を増やすことにより対応することができる。
【００６８】
以上説明したように、第３実施形態によれば、３枚以上の画像を合成する際に、処理は多少複雑化するが、第１実施形態および第２実施形態を繰り返す場合よりも高速に処理を行うことができる。
【００６９】
＜第４実施形態＞
以下、図面を用いて本発明の第４実施形態について説明する。第４実施形態は、上述した第２実施形態の変形例であるため、第２実施形態と異なる部分についてのみ説明を行う。また、第２実施形態と同様の構成については、第２実施形態と同様の符号を用いて説明を行う。
【００７０】
図１４は、第４実施形態の合成処理部１５の詳細を示す図である。第４実施形態の合成処理部１５は、第２実施形態の合成処理部１５におけるローパス画像作成部２１に代えて第１ローパス画像作成部５１および第２ローパス画像作成部５２を備え、第１階調変換処理部３１および第２階調変換処理部３２に代えて第１階調変換処理部５３および第２階調変換処理部５４を備え、合成部３３に代えて合成部５５を備える。
【００７１】
図１４で説明した合成処理部１５における動作について、図１５のフローチャートを用いて説明する。
【００７２】
ステップＳ３１において、合成処理部１５は、第１画像および第２画像を取得する。この第１画像および第２画像は、通常の画像処理を施した後の画像であっても良いし、通常の画像処理の途中の画像であっても良い。また、第１画像のＲＧＢ値を、それぞれR1[x,y]，G1[x,y]，B1[x,y]で示し、第２画像のＲＧＢ値を、それぞれR2[x,y]，G2[x,y]，B2[x,y]で示す。
【００７３】
ステップＳ３２において、合成処理部１５は、第１ローパス画像作成部５１によって、第１ローパス画像を作成する。第１ローパス画像作成部５１は、第２実施形態のステップＳ１２と同様の処理を行い、第１画像から第１ローパス画像LY1[x,y]を求める。
【００７４】
ステップＳ３３において、合成処理部１５は、第１階調変換処理部５３によって、ステップＳ３２で作成した第１ローパス画像LY1[x,y]に対して第１階調変換処理を行う。第１階調変換処理部５３は、第２実施形態のステップＳ１３と同様の処理を行い、階調処理後の第１ローパス画像LY1t[x,y]を求める。
【００７５】
ステップＳ３４において、合成処理部１５は、第２ローパス画像作成部５２によって、第２ローパス画像を作成する。第２ローパス画像作成部５２は、第２画像に対して、第２実施形態のステップＳ１２と同様の処理を行い、第２画像から第２ローパス画像LY2[x,y]を求める。
【００７６】
ステップＳ３５において、合成処理部１５は、第２階調変換処理部５４によって、ステップＳ３４で作成した第２ローパス画像LY2[x,y]に対して第２階調変換処理を行う。第２階調変換処理部５４は、第２実施形態のステップＳ１４と同様の処理を行い、階調処理後の第２ローパス画像LY2t[x,y]を求める。
【００７７】
ステップＳ３６において、合成処理部１５は、合成部５５によって、合成処理を行い、合成画像を生成する。合成部５５は、ステップＳ３１で取得した第１画像および第２画像を、ステップＳ３３で第１階調変換処理を施したローパス画像LY1t[x,y]およびステップＳ３５で第２階調変換処理を施したローパス画像LY2t[x,y]に基づいて合成し、合成画像を生成する。画像の合成処理は、第２実施形態のステップＳ１５と同様に行われる。
【００７８】
ステップＳ３７において、合成処理部１５は、ステップＳ３６で算出したRmix[x,y]，Gmix[x,y]，Bmix[x,y]からなる合成画像を出力する。なお、合成処理部１５は、合成画像のＲＧＢ値に対して変換処理を行い、ＹＣｂＣｒ化してから出力しても良い。また、合成処理部１５から出力された合成画像は、圧縮伸長部１６により適宜圧縮され、記録部１７に記録される。
【００７９】
以上説明したように、第４実施形態によれば、処理は多少複雑化するが、合成処理に関して、第２実施形態よりもさらに細かな調整を施すことが可能となる。
【００８０】
なお、上述した各実施形態で説明した高ダイナミックレンジ撮影の機能は、操作部を介したユーザ操作により実行しても良いし、制御部１８による判断に基づいて実行しても良い。制御部１８による判断に基づいて実行する場合には、撮影モード（例えば、「ポートレートモード」、「風景モード」など）、画像のコントラストの強弱、画像の調整モード、シーン解析や顔認識による画像判断結果等に応じて判断を行うと良い。
【００８１】
また、上述した各実施形態において、ホワイトバランスを自動で設定するオートホワイトバランス処理が選択されている場合には、第１画像および第２画像の生成に際して、それぞれ個別のホワイトバランス設定とすることにより、明部と暗部とのそれぞれに最適なホワイトバランス処理が施された画像を生成することができる。
【００８２】
また、上述した各実施形態では、本発明の技術を電子カメラ１０において実現する例について説明した。しかしながら、本発明はこれに限定されるものではない。例えば、コンパクトタイプの電子カメラや動画撮影を行うムービーカメラなどにも本発明を同様に適用することができる。
【００８３】
また、コンピュータと画像処理プログラムとにより、上述した各実施形態で説明した画像処理装置をソフトウェア的に実現しても良い。この場合、合成処理部１５による処理（図３，図９，図１２，図１５のフローチャートの処理）の一部または全部をコンピュータで実現する構成とすれば良い。このような構成とすることにより、上述した各実施形態と同様の処理を実施することが可能になる。
【００８４】
なお、本発明は、その精神または主要な特徴から逸脱することなく、他のいろいろな形で実施することができる。そのため、前述の実施例はあらゆる点で単なる例示に過ぎず、限定的に解釈してはならない。本発明の範囲は、特許請求の範囲によって示すものであって、明細書本文には、なんら拘束されない。さらに、特許請求の範囲の均等範囲に属する変形や変更は、すべて本発明の範囲内のものである。
【符号の説明】
【００８５】
１…電子カメラ，１４…画像処理部，１５…合成処理部，１８…制御部，２１・５１・５２…ローパス画像作成部，２２・３１・３２・４１・４２・４３・５３・５４…階調変換処理部，２３・３３・４４・５５…合成部
【特許請求の範囲】
【請求項１】
同一の撮影シーンから互いに異なる露光条件で撮像されたＮ（ただしＮは２以上の整数）枚の画像に対して合成処理を施し、前記Ｎ枚の画像よりも高ダイナミックレンジの合成画像を生成する画像処理装置であって、
前記Ｎ枚の画像を取得する取得部と、
前記Ｎ枚の画像のうち、少なくとも１枚の画像に対してローパス処理を行い、ローパス画像を生成するローパス処理部と、
前記合成処理における重み付け量を、前記ローパス画像に基づいて決定する決定部と、
前記重み付け量にしたがって、前記Ｎ枚の画像に対して前記合成処理を施し、前記合成画像を生成する合成処理部と
を備えたことを特徴とする画像処理装置。
【請求項２】
請求項１に記載の画像処理装置において、
前記ローパス処理部は、前記Ｎ枚の画像のうち、前記露光条件による露出量がより少ない画像から前記ローパス画像を生成する
ことを特徴とする画像処理装置。
【請求項３】
請求項１に記載の画像処理装置において、
前記ローパス画像に所定の階調変換処理を施す階調変換処理部をさらに備え、
前記決定部は、前記階調変換処理が施された前記ローパス画像に基づいて、前記重み付け量を決定する
ことを特徴とする画像処理装置。
【請求項４】
請求項３に記載の画像処理装置において、
前記階調変換処理における階調変換特性を、ユーザ操作に基づいて設定する設定部をさらに備える
ことを特徴とする画像処理装置。
【請求項５】
請求項３に記載の画像処理装置において、
前記階調変換処理における階調変換特性を、前記Ｎ枚の画像の輝度情報に基づいて設定する設定部をさらに備える
ことを特徴とする画像処理装置。
【請求項６】
請求項１から請求項５の何れか１項に記載の画像処理装置において、
前記取得部は、前記Ｎ枚の画像として、３枚以上の画像を取得し、
前記ローパス処理部と、前記決定部と、前記合成処理部とによる処理を複数回繰り返すことにより、前記合成画像を生成する
ことを特徴とする画像処理装置。
【請求項７】
同一の撮影シーンを互いに異なる露光条件で撮像して、複数枚の画像を生成する撮像部と、
請求項１から請求項６の何れか１項に記載の画像処理装置とを備え、
前記取得部は、前記撮像部から前記Ｎ枚の画像を取得する
ことを特徴とする電子カメラ。
【請求項８】
同一の撮影シーンから互いに異なる露光条件で撮像されたＮ（ただしＮは２以上の整数）枚の画像に対して合成処理を施し、前記Ｎ枚の画像よりも高ダイナミックレンジの合成画像を生成する画像処理をコンピュータで実現するための画像処理プログラムであって、
前記Ｎ枚の画像を取得する取得ステップと、
前記Ｎ枚の画像のうち、少なくとも１枚の画像に対してローパス処理を行い、ローパス画像を生成するローパス処理ステップと、
前記合成処理における重み付け量を、前記ローパス画像に基づいて決定する決定ステップと、
前記重み付け量にしたがって、前記Ｎ枚の画像に対して前記合成処理を施し、前記合成画像を生成する合成処理ステップと
をコンピュータで実現することを特徴とする画像処理プログラム。
【請求項１】
同一の撮影シーンから互いに異なる露光条件で撮像されたＮ（ただしＮは２以上の整数）枚の画像に対して合成処理を施し、前記Ｎ枚の画像よりも高ダイナミックレンジの合成画像を生成する画像処理装置であって、
前記Ｎ枚の画像を取得する取得部と、
前記Ｎ枚の画像のうち、少なくとも１枚の画像に対してローパス処理を行い、ローパス画像を生成するローパス処理部と、
前記合成処理における重み付け量を、前記ローパス画像に基づいて決定する決定部と、
前記重み付け量にしたがって、前記Ｎ枚の画像に対して前記合成処理を施し、前記合成画像を生成する合成処理部と
を備えたことを特徴とする画像処理装置。
【請求項２】
請求項１に記載の画像処理装置において、
前記ローパス処理部は、前記Ｎ枚の画像のうち、前記露光条件による露出量がより少ない画像から前記ローパス画像を生成する
ことを特徴とする画像処理装置。
【請求項３】
請求項１に記載の画像処理装置において、
前記ローパス画像に所定の階調変換処理を施す階調変換処理部をさらに備え、
前記決定部は、前記階調変換処理が施された前記ローパス画像に基づいて、前記重み付け量を決定する
ことを特徴とする画像処理装置。
【請求項４】
請求項３に記載の画像処理装置において、
前記階調変換処理における階調変換特性を、ユーザ操作に基づいて設定する設定部をさらに備える
ことを特徴とする画像処理装置。
【請求項５】
請求項３に記載の画像処理装置において、
前記階調変換処理における階調変換特性を、前記Ｎ枚の画像の輝度情報に基づいて設定する設定部をさらに備える
ことを特徴とする画像処理装置。
【請求項６】
請求項１から請求項５の何れか１項に記載の画像処理装置において、
前記取得部は、前記Ｎ枚の画像として、３枚以上の画像を取得し、
前記ローパス処理部と、前記決定部と、前記合成処理部とによる処理を複数回繰り返すことにより、前記合成画像を生成する
ことを特徴とする画像処理装置。
【請求項７】
同一の撮影シーンを互いに異なる露光条件で撮像して、複数枚の画像を生成する撮像部と、
請求項１から請求項６の何れか１項に記載の画像処理装置とを備え、
前記取得部は、前記撮像部から前記Ｎ枚の画像を取得する
ことを特徴とする電子カメラ。
【請求項８】
同一の撮影シーンから互いに異なる露光条件で撮像されたＮ（ただしＮは２以上の整数）枚の画像に対して合成処理を施し、前記Ｎ枚の画像よりも高ダイナミックレンジの合成画像を生成する画像処理をコンピュータで実現するための画像処理プログラムであって、
前記Ｎ枚の画像を取得する取得ステップと、
前記Ｎ枚の画像のうち、少なくとも１枚の画像に対してローパス処理を行い、ローパス画像を生成するローパス処理ステップと、
前記合成処理における重み付け量を、前記ローパス画像に基づいて決定する決定ステップと、
前記重み付け量にしたがって、前記Ｎ枚の画像に対して前記合成処理を施し、前記合成画像を生成する合成処理ステップと
をコンピュータで実現することを特徴とする画像処理プログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【公開番号】特開２０１２−１９５９６３（Ｐ２０１２−１９５９６３Ａ）
【公開日】平成２４年１０月１１日（２０１２．１０．１１）
【国際特許分類】
【出願番号】特願２０１２−１４８４７７（Ｐ２０１２−１４８４７７）
【出願日】平成２４年７月２日（２０１２．７．２）
【分割の表示】特願２０１０−１５５７９１（Ｐ２０１０−１５５７９１）の分割
【原出願日】平成２２年７月８日（２０１０．７．８）
【出願人】（０００００４１１２）株式会社ニコン (12,601)
【Ｆターム（参考）】
【公開日】平成２４年１０月１１日（２０１２．１０．１１）
【国際特許分類】
【出願日】平成２４年７月２日（２０１２．７．２）
【分割の表示】特願２０１０−１５５７９１（Ｐ２０１０−１５５７９１）の分割
【原出願日】平成２２年７月８日（２０１０．７．８）
【出願人】（０００００４１１２）株式会社ニコン (12,601)
【Ｆターム（参考）】
[ Back to top ]