画像処理装置、画像処理方法、および、画像処理プログラム
【課題】複数枚の高感度画像を合成するとき、露光時間が短いことにより生ずる階調特性や色再現特性の悪化を補正する。
【解決手段】画像処理装置は、第１の露光時間に基づいて撮影された複数枚の高感度画像を取得するとともに、前記第１の露光時間よりも長い第２の露光時間に基づいて撮影された少なくとも１枚の低感度画像を取得する画像取得部１０３，１０４と、複数枚の高感度画像を合成することによって、合成画像を生成する合成部１０３と、合成画像の少なくとも一部の領域の画素値に基づく統計量を計算する第１統計量計算部１０４と、合成画像の少なくとも一部の領域に対応する、低感度画像の少なくとも一部の領域の画素値に基づく統計量を計算する第２統計量計算部１０４と、第１統計量計算部１０４によって計算される統計量を第２統計量計算部１０４によって計算される統計量により近づけるように、合成画像の画素値を補正する補正部１０４とを備える。
【解決手段】画像処理装置は、第１の露光時間に基づいて撮影された複数枚の高感度画像を取得するとともに、前記第１の露光時間よりも長い第２の露光時間に基づいて撮影された少なくとも１枚の低感度画像を取得する画像取得部１０３，１０４と、複数枚の高感度画像を合成することによって、合成画像を生成する合成部１０３と、合成画像の少なくとも一部の領域の画素値に基づく統計量を計算する第１統計量計算部１０４と、合成画像の少なくとも一部の領域に対応する、低感度画像の少なくとも一部の領域の画素値に基づく統計量を計算する第２統計量計算部１０４と、第１統計量計算部１０４によって計算される統計量を第２統計量計算部１０４によって計算される統計量により近づけるように、合成画像の画素値を補正する補正部１０４とを備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理技術に関し、特に複数枚の画像を合成して合成画像を生成する画像処理技術に関する。
【背景技術】
【０００２】
デジタルカメラ等の撮像装置において、静止画を撮影する際にノイズの少ない画像を得るためには、十分な露光時間を確保することが有効である。しかしながら、露光時間を長くすると、手ぶれによるカメラの動きや被写体の動きにより、画像にぶれが生じる。このような画像ぶれに対処する方式として、電子ぶれ補正方式が提案されている。特許文献１や特許文献２では、ぶれの少ない短い露光時間での撮影を連続して複数回行い、得られた複数枚の画像の位置合わせ処理を行ってから合成することにより、ぶれの無い画像を得る技術が開示されている。
【０００３】
しかし、露光時間を短くすると、撮像素子に十分な電荷が蓄積されないことから、リニアリティ特性（露光時間と画素値との比例関係）の悪い領域での撮影となり、階調特性や色再現特性が悪化するという問題が生じる。特許文献３には、撮像素子が出力するＲＡＷ形式の画像データに対して、事前に計測済みのリニアリティ特性に基づいて、撮像素子の出力のリニアリティ特性を補正する技術が開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００８−５０８４号公報
【特許文献２】特開２００６−１５７５６８号公報
【特許文献３】特開２００３−２３６４２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、事前にリニアリティ特性をそれぞれのカメラで計測することは煩雑であり、また、事前の計測結果に基づく補正のみでは、十分な効果を得ることができない。
【０００６】
本発明は、上記問題に鑑みてなされたもので、複数枚の画像を合成する際に、露光時間が短いことにより生ずる階調特性や色再現特性の悪化を補正し、階調特性や色再現特性が良好な合成画像を得られる技術を提供することを目的とする。
【課題を解決するための手段】
【０００７】
本発明のある態様に係る画像処理装置は、第１の露光時間に基づいて撮影された複数枚の高感度画像を取得するとともに、前記第１の露光時間よりも長い第２の露光時間に基づいて撮影された少なくとも１枚の低感度画像を取得する画像取得部と、前記複数枚の高感度画像を合成することによって、合成画像を生成する合成部と、前記合成画像の少なくとも一部の領域の画素値に基づく統計量を計算する第１統計量計算部と、前記合成画像の少なくとも一部の領域に対応する、前記低感度画像の少なくとも一部の領域の画素値に基づく統計量を計算する第２統計量計算部と、前記第１統計量計算部によって計算される統計量を、前記第２統計量計算部によって計算される統計量により近づけるように、前記合成画像の画素値を補正する補正部と、を備える。
【０００８】
本発明の別の態様に係る画像処理方法は、第１の露光時間に基づいて撮影された複数枚の高感度画像を取得するとともに、前記第１の露光時間よりも長い第２の露光時間に基づいて撮影された少なくとも１枚の低感度画像を取得するステップと、前記複数枚の高感度画像を合成することによって、合成画像を生成するステップと、前記合成画像の少なくとも一部の領域の画素値に基づく統計量を計算するステップと、前記合成画像の少なくとも一部の領域に対応する、前記低感度画像の少なくとも一部の領域の画素値に基づく統計量を計算するステップと、前記合成画像の少なくとも一部の領域の画素値に基づく統計量を、前記低感度画像の少なくとも一部の領域の画素値に基づく統計量により近づけるように、前記合成画像の画素値を補正するステップと、を有する。
【０００９】
本発明のさらに別の態様に係る画像処理プログラムは、第１の露光時間に基づいて撮影された複数枚の高感度画像を取得するとともに、前記第１の露光時間よりも長い第２の露光時間に基づいて撮影された少なくとも１枚の低感度画像を取得するステップと、前記複数枚の高感度画像を合成することによって、合成画像を生成するステップと、前記合成画像の少なくとも一部の領域の画素値に基づく統計量を計算するステップと、前記合成画像の少なくとも一部の領域に対応する、前記低感度画像の少なくとも一部の領域の画素値に基づく統計量を計算するステップと、前記合成画像の少なくとも一部の領域の画素値に基づく統計量を、前記低感度画像の少なくとも一部の領域の画素値に基づく統計量により近づけるように、前記合成画像の画素値を補正するステップと、をコンピュータに実行させるための画像処理プログラムである。
【発明の効果】
【００１０】
本発明によれば、合成画像の階調特性や色再現特性を、撮像素子のリニアリティ特性の良い領域で撮影された低感度画像の階調特性や色再現特性に応じて補正するので、階調特性や色再現特性が良好な合成画像を得ることができる。
【図面の簡単な説明】
【００１１】
【図１】図１は、第１の実施形態における画像処理装置を搭載した撮像装置の概略構成を示す図である。
【図２】図２は、階調・色補正部の詳細な構成を示すブロック図である。
【図３】図３は、第１累積ヒストグラム計算部および第２累積ヒストグラム計算部の詳細な構成を示すブロック図である。
【図４】図４は、ヒストグラムの計算結果の一例を示す図である。
【図５】図５は、累積ヒストグラムの一例を示す図である。
【図６】図６は、階調補正特性計算部による階調補正特性の計算方法を説明するための図である。
【図７】図７は、画像処理部がＲＡＷデータ形式の画像を、１画素あたりＲ、Ｇ、Ｂの情報からなる画像データ、もしくは、１画素あたり輝度信号（Ｙ）と２つの色差信号（Ｃｂ、Ｃｒ）の情報からなる画像データに変換した後、複数枚合成処理部および階調・色補正部が各処理を行う構成の画像処理装置を搭載した撮像装置の概略構成を示す図である。
【図８】図８は、第２の実施形態における画像処理装置の階調・色補正部の詳細な構成を示すブロック図である。
【図９】図９は、第２の実施形態における画像処理装置による補正の効果について説明するための図である。
【図１０】図１０は、第３の実施形態における画像処理装置による補正の効果について説明するための図である。
【発明を実施するための形態】
【００１２】
＜第１の実施形態＞
図１は、第１の実施形態における画像処理装置を搭載した撮像装置の概略構成を示す図である。この撮像装置は、光学系１００と、撮像素子１０１と、フレームメモリ１０２と、複数枚合成処理部１０３と、階調・色補正部１０４と、画像処理部１０５とを備える。このうち、第１の実施形態における画像処理装置は、複数枚合成処理部１０３と、階調・色補正部１０４と、画像処理部１０５とを備える。
【００１３】
レンズ等からなる光学系１００を通して撮像素子１０１に入力された被写体光は、光電変換されて、フレームメモリ１０２に一旦格納される。
【００１４】
本実施形態では、まず、手ぶれの発生しない露光時間で高感度画像を複数枚撮影し、フレームメモリ１０２に格納する。次に、高感度画像を撮影した際の露光時間よりも長い露光時間で低感度画像を１枚撮影して、フレームメモリ１０２に格納する。例えば、手ぶれが発生しない露光時間の限界が１／５０秒で、１／５０秒の露光時間で適正な明るさの画像を得られるＩＳＯ感度がＩＳＯ３２００だった場合、この撮影パラメータで複数枚（例えば、４〜８枚）の高感度画像を撮影する。次に、同じ明るさの画像を低感度で撮影する。例えば、ＩＳＯ感度をＩＳＯ２００とする場合には、露光時間を１６／５０秒とする。
【００１５】
複数枚合成処理部１０３は、フレームメモリ１０２から、複数枚の高感度画像を読み出し、読み出した複数枚の高感度画像を合成して、合成画像を生成する。合成処理は、例えば、上述した特許文献１や特許文献２に開示されているような公知の方法を用いることができる。この合成処理により、高感度画像のノイズを低減することができる。
【００１６】
複数枚合成処理部１０３で生成される合成画像は、ノイズが低減されているものの、撮像素子のリニアリティ特性の悪い領域で撮影された高感度画像を合成することによって生成されているため、階調特性や色再現特性は良好ではない。一方、フレームメモリ１０２に格納されている低感度画像は、手ぶれの影響を受けているかもしれないが、撮像素子のリニアリティ特性の良い領域で撮影された画像であるため、階調特性や色再現特性は良好である。
【００１７】
階調・色補正部１０４は、フレームメモリ１０２に格納されている低感度画像を用いて、合成画像の階調特性や色再現特性を補正して、画像処理部１０５に出力する。
【００１８】
画像処理部１０５は、階調・色補正部１０４から出力されるＲＡＷデータ形式の合成画像（Ｂａｙｅｒデータ形式の画像）を、１画素あたりＲ、Ｇ、Ｂの情報からなる画像データ、もしくは、１画素あたり輝度信号（Ｙ）と２つの色差信号（Ｃｂ、Ｃｒ）の情報からなる画像データに変換し、さらに、エッジ強調処理やノイズ低減処理等を行う。
【００１９】
図２は、階調・色補正部１０４の詳細な構成を示すブロック図である。階調・色補正部１０４は、第１累積ヒストグラム計算部２００と、第２累積ヒストグラム計算部２０１と、階調補正特性計算部２０２と、階調補正部２０３とを備える。
【００２０】
第１累積ヒストグラム計算部２００は、複数枚合成処理部１０３で生成された合成画像について、全画素の画素値の累積ヒストグラムを計算する。また、第２累積ヒストグラム計算部２０１は、フレームメモリ１０２に格納されている低感度画像について、全画素の画素値の累積ヒストグラムを計算する。
【００２１】
図３は、第１累積ヒストグラム計算部２００および第２累積ヒストグラム計算部２０１の詳細な構成を示すブロック図である。第１累積ヒストグラム計算部２００および第２累積ヒストグラム計算部２０１はそれぞれ、色分離部３００と、Ｒヒストグラム計算部３０１と、ＧＲヒストグラム計算部３０２と、ＧＢヒストグラム計算部３０３と、Ｂヒストグラム計算部３０４と、Ｒ累積ヒストグラム計算部３０５と、ＧＲ累積ヒストグラム計算部３０６と、ＧＢ累積ヒストグラム計算部３０７と、Ｂ累積ヒストグラム計算部３０８とを備える。
【００２２】
色分離部３００には、Ｂａｙｅｒデータ形式の画像が入力される。具体的には、第１累積ヒストグラム計算部２００の色分離部３００には、合成画像が入力され、第２累積ヒストグラム計算部２０１の色分離部３００には、低感度画像が入力される。これらのＢａｙｅｒデータ形式の画像の各画素は、Ｒ（赤）、ＧＲ（緑）、ＧＢ（緑）、Ｂ（青）のいずれかの色情報を有する。
【００２３】
色分離部３００は、Ｂａｙｅｒデータ形式の入力画像から、各色成分を抜き出し、Ｒ成分を有する画素の画像（以下、Ｒ画像と呼ぶ）、ＧＲ成分を有する画素の画像（以下、ＧＲ画像と呼ぶ）、ＧＢ成分を有する画素の画像（以下、ＧＢ画像と呼ぶ）、Ｂ成分を有する画素の画像（以下、Ｂ画像と呼ぶ）を生成する。Ｒ画像は、Ｒヒストグラム計算部３０１に、ＧＲ画像は、ＧＲヒストグラム計算部３０２に、ＧＢ画像は、ＧＢヒストグラム計算部３０３に、Ｂ画像は、Ｂヒストグラム計算部３０４に出力される。
【００２４】
Ｒヒストグラム計算部３０１、ＧＲヒストグラム計算部３０２、ＧＢヒストグラム計算部３０３、および、Ｂヒストグラム計算部３０４はそれぞれ、入力された画像の全画素について、画素値のヒストグラムを計算する。
【００２５】
図４は、ヒストグラムの計算結果の一例を示す図である。図４において、横軸は画素値、縦軸は画素数を表している。画素値は、最小値を０、最大値を２５５としている。各ヒストグラム計算部３０１〜３０４は、入力された画像の全画素について、ある画素値を示す画素の画素数を計算して、画素値のヒストグラムを作成する。
【００２６】
Ｒヒストグラム計算部３０１で計算されたヒストグラムは、Ｒ累積ヒストグラム計算部３０５に出力される。同様に、ＧＲヒストグラム計算部３０２で計算されたヒストグラムは、ＧＲ累積ヒストグラム計算部３０６に、ＧＢヒストグラム計算部３０３で計算されたヒストグラムは、ＧＢ累積ヒストグラム計算部３０７に、Ｂヒストグラム計算部３０４で計算されたヒストグラムは、Ｂ累積ヒストグラム計算部３０８にそれぞれ出力される。
【００２７】
Ｒ累積ヒストグラム計算部３０５、ＧＲ累積ヒストグラム計算部３０６、ＧＢ累積ヒストグラム計算部３０７、および、Ｂ累積ヒストグラム計算部３０８は、入力された画素値のヒストグラムに基づいて、累積ヒストグラムを作成する。
【００２８】
図５は、累積ヒストグラムの一例を示す図である。図５において、横軸は画素値、縦軸は頻度を表している。画素値は、最小値を０、最大値を２５５とし、頻度は、最小値を０％、最大値を１００％としている。
【００２９】
累積ヒストグラムは、画素値のヒストグラムの計算結果を画素値０から画素値２５５まで順に積分し、それが全画素数に占める割合をそれぞれの画素値についてプロットしたものである。例えば、図５において、画素値Ｘでの頻度が５０％となっているのは、画素値０から画素値Ｘまでの画素数は、全画素数の５０％であることを意味している。各累積ヒストグラム計算部３０５〜３０８で作成された累積ヒストグラムは、階調補正特性計算部２０２に出力される。
【００３０】
階調補正特性計算部２０２は、第１累積ヒストグラム計算部２００から出力される、合成画像の累積ヒストグラム計算結果と、第２累積ヒストグラム計算部２０１から出力される、低感度画像の累積ヒストグラム計算結果とを比較して、合成画像の階調・色再現特性を、低感度画像の階調・色再現特性に近づけるような階調補正特性を計算する。
【００３１】
図６は、階調補正特性計算部２０２による階調補正特性の計算方法を説明するための図である。図６において、横軸は画素値、縦軸は頻度を表している。また、図６中の実線は、合成画像の累積ヒストグラムを表し、点線は、低感度画像の累積ヒストグラムを表している。
【００３２】
ここでは、合成画像に対して階調補正処理を行うことにより、補正された合成画像の累積ヒストグラムが低感度画像の累積ヒストグラムと一致するような階調補正特性を計算する。例えば、合成画像における画素値Ｘの累積ヒストグラムの頻度が５０％であり、低感度画像において累積ヒストグラムの頻度が５０％に対応する画素値が画素値Ｙの場合、画素値Ｘを画素値Ｙに補正するような階調補正特性を求める。このような対応付けを全ての画素値について行い、画素値の変換テーブルを作成する。この画素値の変換テーブルが階調補正特性計算結果となる。
【００３３】
上述したような階調補正特性の計算を、Ｒ、ＧＲ、ＧＢ、Ｂの各色それぞれについて行う。各色それぞれについて階調補正を行うことにより、結果的に、色再現特性の補正も行われることになる。
【００３４】
なお、合成画像の累積ヒストグラムを低感度画像の累積ヒストグラムと完全に一致させるような階調補正特性ではなく、略一致させるような階調補正特性であっても、合成画像の階調特性や色再現特性を補正する効果は得られる。または、合成画像の累積ヒストグラムを低感度画像の累積ヒストグラムにより近づけるような補正値を計算するようにしてもよい。具体的には、合成画像の累積ヒストグラムと低感度画像の累積ヒストグラムとの間の各頻度値に対応する画素値の差分を減少させるように合成画像の累積ヒストグラムを変更するような階調補正特性であっても、合成画像の階調特性や色再現特性を補正する効果は得られる。或いは、合成画像の累積ヒストグラムと低感度画像の累積ヒストグラムとの間の各頻度値に対応する画素値の差分が所定の閾値以下になるように合成画像の累積ヒストグラムを変更するような階調補正特性であっても、合成画像の階調特性や色再現特性を補正する効果は得られる。
【００３５】
階調補正部２０３は、階調補正特性計算部２０２によって計算された階調補正特性、すなわち、画素値の変換テーブルに基づいて、合成画像のＲ、ＧＲ、ＧＢ、Ｂの各色について階調補正処理を行い、階調補正済みの合成画像を画像処理部１０５に出力する。
【００３６】
以上、第１の実施形態における画像処理装置は、第１の露光時間に基づいて撮影された複数枚の高感度画像を取得するとともに、第１の露光時間よりも長い第２の露光時間に基づいて撮影された少なくとも１枚の低感度画像を取得し、複数枚の高感度画像を合成することによって、合成画像を生成する。そして、合成画像の少なくとも一部の領域の画素値に基づく統計量と、合成画像の少なくとも一部の領域に対応する、低感度画像の少なくとも一部の領域の画素値に基づく統計量とを計算して、合成画像の統計量を低感度画像の統計量により近づけるように、合成画像の画素値を補正する。合成画像の階調特性や色再現特性を、撮像素子のリニアリティ特性の良い領域で撮影された低感度画像の階調特性や色再現特性に応じて補正するので、露光時間が短いことにより生ずる階調特性や色再現特性の悪化を補正し、階調特性や色再現特性が良好な合成画像を得ることができる。
【００３７】
事前にリニアリティ特性を計測する従来の装置では、温度変化等によってリニアリティ特性が変化する場合等の対応に限界がある。しかし、第１の実施形態における画像処理装置によれば、合成画像の少なくとも一部の領域の画素値に基づく統計量を、合成画像の少なくとも一部の領域に対応する、低感度画像の少なくとも一部の領域の画素値に基づく統計量により近づけるように、合成画像の画素値を補正するので、温度変化等によってリニアリティ特性が変化する場合でも、階調特性や色再現特性を確実に補正することができる。
【００３８】
特に、上記統計量は、各画素値の頻度の累積値を表す累積ヒストグラムであるので、階調特性や色再現特性を効果的に補正することができる。
【００３９】
なお、上述した説明では、合成画像と低感度画像との間に位置ずれが生じている場合でも、位置ずれを考慮せずに処理を行うものとしたが、合成画像と低感度画像との間の位置ずれを検出して位置合わせ処理を行ってから、合成画像の階調特性や色再現特性を補正するようにしてもよい。合成画像と低感度画像との間の位置合わせ処理を行うことにより、階調補正処理の精度をさらに向上させることができる。
【００４０】
また、第１累積ヒストグラム計算部２００および第２累積ヒストグラム計算部２０１の計算量を減らすために、ヒストグラムを計算する領域を画像の一部のみとしてもよいし、合成画像および低感度画像のそれぞれについて、画素数を減らした縮小画像を生成して、ヒストグラムを計算するようにしてもよい。ヒストグラムを計算する領域を画像の一部のみとする場合には、合成画像の一部の領域と低感度画像の一部の領域とを対応した領域とする必要がある。
【００４１】
複数枚合成処理部１０３および階調・色補正部１０４は、Ｂａｙｅｒデータ形式の画像に対して処理を行った。これに対して、１画素あたりＲ、Ｇ、Ｂの情報からなる画像データ、または、１画素あたり輝度信号（Ｙ）と２つの色差信号（Ｃｂ、Ｃｒ）の情報からなる画像データに対して、処理を行うこともできる。
【００４２】
図７は、画像処理部１０５がＲＡＷデータ形式の画像（Ｂａｙｅｒデータ形式の画像）を、１画素あたりＲ、Ｇ、Ｂの情報からなる画像データ、もしくは、１画素あたり輝度信号（Ｙ）と２つの色差信号（Ｃｂ、Ｃｒ）の情報からなる画像データに変換した後、複数枚合成処理部１０３および階調・色補正部１０４が各処理を行う構成の画像処理装置を搭載した撮像装置の概略構成を示す図である。図１に示す構成と同じ構成については、同じ符号を付して詳しい説明は省略する。
【００４３】
画像処理部１０５は、撮像素子１０１から出力されるＲＡＷデータ形式の画像（Ｂａｙｅｒデータ形式の画像）を、１画素あたりＲ、Ｇ、Ｂの情報からなる画像データ、もしくは、１画素あたり輝度信号（Ｙ）と２つの色差信号（Ｃｂ、Ｃｒ）の情報からなる画像データに変換する同時化処理を行い、さらに、エッジ強調処理やノイズ低減処理等を行う。画像処理部１０５によって上述した処理が行われた画像は、フレームメモリ１０２に格納される。
【００４４】
複数枚合成処理部１０３は、Ｂａｙｅｒデータ形式の画像ではなく、同時化処理後の複数枚の高感度画像データを用いて、合成画像を生成する。
【００４５】
階調・色補正部１０４は、内部の構成において、色分離部３００が不要となり、Ｒ、Ｇ、Ｂのそれぞれ、または、Ｙ、Ｃｂ、Ｃｒのそれぞれの成分に対して、累積ヒストグラムを計算する処理、階調補正特性を計算する処理、階調補正処理を行う。
【００４６】
＜第２の実施形態＞
第１の実施形態における画像処理装置では、階調・色補正部１０４において、合成画像と低感度画像の画像全体について累積ヒストグラムを計算し、合成画像の累積ヒストグラムを低感度画像の累積ヒストグラムにより近づけるための階調補正処理を合成画像に行うことによって、合成画像の階調特性や色再現特性を改善した。第２の実施形態における画像処理装置では、階調・色補正部が行う処理を簡易化した方式について説明する。なお、第２の実施形態における階調・色補正部と、第１の実施形態における階調・色補正部１０４とは、内部で行う処理内容が異なるため、第２の実施形態における階調・色補正部の符号を１０４Ａとする。
【００４７】
図８は、第２の実施形態における画像処理装置の階調・色補正部１０４Ａの詳細な構成を示すブロック図である。階調・色補正部１０４Ａは、第１平均値計算部４００と、第２平均値計算部４０１と、補正値計算部４０２と、画素値補正部４０３とを備える。
【００４８】
第１平均値計算部４００は、複数枚合成処理部１０３で生成された合成画像の全画素の画素値の平均値を計算する。また、第２平均値計算部４０１は、フレームメモリ１０２から読み出した低感度画像の全画素の画素値の平均値を計算する。合成画像および低感度画像は、Ｂａｙｅｒデータ形式の画像であり、各画素は、Ｒ、ＧＲ、ＧＢ、Ｂのいずれかに対応しているため、画素値の平均値の計算も各色成分ごとに行う。
【００４９】
補正値計算部４０２は、第１平均値計算部４００によって算出された合成画像の画素値の平均値を、第２平均値計算部４０１によって算出された低感度画像の画素値の平均値に一致させるような補正値を計算する。すなわち、低感度画像の画素値の平均値から合成画像の画素値の平均値を減算することによって補正値を算出する。補正値の計算は、Ｒ、ＧＲ、ＧＢ、Ｂの各色成分に対して行う。
【００５０】
なお、合成画像の画素値の平均値を低感度画像の画素値の平均値と完全に一致させるような補正値ではなく、略一致させるような補正値であっても、合成画像の階調特性や色再現特性を補正する効果は得られる。または、合成画像の画素値の平均値を低感度画像の画素値の平均値により近づけるような補正値を計算するようにしてもよい。具体的には、合成画像の画素値の平均値と低感度画像の画素値の平均値との差分を減少させるような補正値であっても、合成画像の階調特性や色再現特性を補正する効果は得られる。或いは、合成画像の画素値の平均値と低感度画像の画素値の平均値との差分が所定の閾値以下になるような補正値であっても、合成画像の階調特性や色再現特性を補正する効果は得られる。
【００５１】
画素値補正部４０３は、補正値計算部４０２で計算された各色の補正値を、合成画像の各色の画素値に加算して、補正済みの合成画像を生成する。
【００５２】
なお、補正値計算部４０２は、合成画像の全画素の画素値の平均値から低感度画像の画素値の平均値を減算することによって、補正値を算出することもできる。この場合、画素値補正部４０３は、合成画像の各色の画素値から、補正値計算部４０２で計算された各色の補正値を減算することによって、補正済みの合成画像を生成する。
【００５３】
図９は、第２の実施形態における画像処理装置による補正の効果について説明するための図である。図９において、横軸は被写体の明るさを、縦軸は画素値をそれぞれ示している。図９において、実線は、合成画像における被写体の明るさと画素値との関係の一例を表し、点線は、低感度画像における被写体の明るさと画素値との関係の一例を表している。
【００５４】
例えば、同じ明るさの被写体を撮影した場合に、高感度撮影と低感度撮影で画素値に一定のオフセットが生じる場合には、図９に示すように、合成画像の画素値と低感度画像の画素値との間に一定のオフセットが生じる。従って、合成画像の画素値の平均値と低感度画像の画素値の平均値との差を求めることによって、上述したオフセット値を推定し、推定したオフセット値に基づいて、合成画像の画素値を補正する。このように、被写体の明るさによらない一定の画素値のオフセットが合成画像と低感度画像との間の誤差の支配的要因である場合には、上述したような簡易的な補正処理を行うことにより、合成画像の階調特性や色再現特性を改善することができる。
【００５５】
なお、被写体の明るさに関係なく一定のオフセットが発生する例としては、高感度撮影と低感度撮影でのノイズの差に起因する場合や、黒レベル推定処理（オプティカルブラック補正処理）の誤差に起因する場合などがある。
【００５６】
第１平均値計算部４００および第２平均値計算部４０１は、全画素の画素値の平均値を計算するものとして説明したが、画素値が最小値の０または最大値の２５５である画素を、平均値の計算から除外するようにしてもよい。画素値が最小値または最大値である画素を平均値の計算から除外することにより、合成画像の画素値と低感度画像の画素値との間のオフセット値をより精度良く求めることができる。ただし、一般的には、全画素のうち、画素値が最小値または最大値である画素の割合は低いので、画素値が最小値または最大値である画素を平均値の計算から除外しなくても、オフセット値の算出精度がそれほど低くなることはない。
【００５７】
なお、第１の実施形態における画像処理装置と同様に、合成画像と低感度画像との間の位置ずれを検出して位置合わせ処理を行ってから、合成画像の階調特性や色再現特性を補正するようにしてもよい。また、第１平均値計算部４００および第２平均値計算部４０１の計算量を減らすために、平均値を計算する領域を画像の一部のみとしてもよいし、合成画像および低感度画像のそれぞれについて、画素数を減らした縮小画像を生成して、平均値を計算するようにしてもよい。さらに、複数枚合成処理部１０３および階調・色補正部１０４Ａは、Ｂａｙｅｒデータ形式の画像に対して処理を行ったが、１画素あたりＲ、Ｇ、Ｂの情報からなる画像データ、または、１画素あたり輝度信号（Ｙ）と２つの色差信号（Ｃｂ、Ｃｒ）の情報からなる画像データに対して、処理を行うようにしてもよい。
【００５８】
以上、第２の実施形態における画像処理装置によれば、第１の露光時間に基づいて撮影された複数枚の高感度画像を取得するとともに、第１の露光時間よりも長い第２の露光時間に基づいて撮影された少なくとも１枚の低感度画像を取得し、複数枚の高感度画像を合成することによって、合成画像を生成する。そして、合成画像の少なくとも一部の領域の画素値の平均値（画素値に基づく統計量）を、合成画像の少なくとも一部の領域に対応する、低感度画像の少なくとも一部の領域の画素値の平均値（画素値に基づく統計量）により近づけるように、合成画像の画素値を補正する。合成画像の階調特性や色再現特性を、撮像素子のリニアリティ特性の良い領域で撮影された低感度画像の階調特性や色再現特性に応じて補正するので、露光時間が短いことにより生ずる階調特性や色再現特性の悪化を補正し、階調特性や色再現特性が良好な合成画像を得ることができる。特に、統計量として画素値の平均値を用いるので、統計量として累積ヒストグラムを用いる場合に比べて、少ない演算量で階調特性や色再現特性が良好な合成画像を得ることができる。
【００５９】
また、合成画像の各画素に対して補正値を加算（補正値によっては減算）することによって、合成画像の画素値を補正するので、高感度撮影と低感度撮影で一定のオフセットによる誤差が発生する場合において、効果的に階調特性や色再現特性が良好な合成画像を得ることができる。
【００６０】
＜第３の実施形態＞
第２の実施形態では、高感度撮影と低感度撮影で画素値に一定のオフセットが発生する場合を想定し、簡易的に合成画像の補正を行う方法について説明した。第３の実施形態では、高感度撮影と低感度撮影で一定のゲインによる誤差が発生する場合を想定し、簡易的に合成画像の補正を行う方法について説明する。
【００６１】
第３の実施形態における画像処理装置の構成は、第２の実施形態における画像処理装置の構成と同じである。ただし、第３の実施形態における画像処理装置では、階調・色補正部１０４Ａの補正値計算部および画素値補正部の動作が第２の実施形態と異なる。以下の説明では、第３の実施形態における補正値計算部、画素値補正部の符号をそれぞれ、４０２Ａ、４０３Ａとする。
【００６２】
補正値計算部４０２Ａは、合成画像の画素値の平均値を低感度画像の画素値の平均値に一致させるような補正値を計算する。補正値の計算は、Ｒ、ＧＲ、ＧＢ、Ｂの各色成分に対して行う。なお、第２の実施形態と同様に、合成画像の画素値の平均値を低感度画像の画素値の平均値に略一致させるような補正値を計算するようにしてもよい。または、合成画像の画素値の平均値を低感度画像の画素値の平均値により近づけるような補正値を計算するようにしてもよい。具体的には、合成画像の画素値の平均値と低感度画像の画素値の平均値との比をより１に近づけるような補正値であっても、合成画像の階調特性や色再現特性を補正する効果は得られる。或いは、合成画像の画素値の平均値と低感度画像の画素値の平均値との比と比１（合成画像の画素値の平均値と低感度画像の画素値の平均値が完全に同一の場合）との差分絶対値が所定の閾値以下になるような補正値であっても、合成画像の階調特性や色再現特性を補正する効果は得られる。
【００６３】
画素値補正部４０３Ａは、補正値計算部４０２Ａで計算された各色の補正値を、合成画像の各色の画素値に乗算して、補正済みの合成画像を生成する。
【００６４】
図１０は、第３の実施形態における画像処理装置による補正の効果について説明するための図である。図１０において、横軸は被写体の明るさを、縦軸は画素値をそれぞれ示している。図１０において、実線は、合成画像における被写体の明るさと画素値との関係の一例を表し、点線は、低感度画像における被写体の明るさと画素値との関係の一例を表している。
【００６５】
例えば、同じ明るさの被写体を撮影した場合に、高感度撮影と低感度撮影で画素値に一定のゲインによる誤差が生じる場合には、図１０に示すように、合成画像の画素値と低感度画像の画素値との間に一定のゲインによる誤差が生じる。
【００６６】
補正値計算部４０２Ａは、Ｒ、ＧＲ、ＧＢ、Ｂの各色成分について、低感度画像の画素値の平均値を合成画像の画素値の平均値で除算することにより、上記ゲインの推定値である補正値を算出する。画素値補正部４０３Ａは、合成画像の各色の画素値に、補正値計算部４０２Ａで計算された各色の補正値を乗算することによって、合成画像の画素値を補正する。このように、被写体の明るさによらない一定のゲインによる誤差が支配的要因の場合には、上述したような簡易的な補正処理を行うことにより、合成画像の階調特性や色再現特性を改善することができる。
【００６７】
ここで、補正値計算部４０２Ａは、Ｒ、ＧＲ、ＧＢ、Ｂの各色成分について、合成画像の画素値の平均値を低感度画像の画素値の平均値で除算することによって、補正値を算出し、画素値補正部４０３Ａは、合成画像の各色の画素値を、補正値計算部４０２Ａで計算された各色の補正値で除算することによっても、同じ結果を得ることができる。
【００６８】
なお、被写体の明るさに関係なく一定のゲインによる誤差が発生する例としては、高感度撮影と低感度撮影でのシャッター速度の誤差に起因する場合や、感度に応じたゲイン処理の誤差に起因する場合などがある。
【００６９】
また、第２の実施形態で説明したように、第１平均値計算部４００および第２平均値計算部４０１は、画素値が最小値の０または最大値の２５５である画素を、平均値の計算から除外するようにしてもよい。
【００７０】
なお、第１の実施形態における画像処理装置と同様に、合成画像と低感度画像との間の位置ずれを検出して位置合わせ処理を行ってから、合成画像の階調特性や色再現特性を補正するようにしてもよい。また、第１平均値計算部４００および第２平均値計算部４０１の計算量を減らすために、平均値を計算する領域を画像の一部のみとしてもよいし、合成画像および低感度画像のそれぞれについて、画素数を減らした縮小画像を生成して、平均値を計算するようにしてもよい。さらに、複数枚合成処理部１０３および階調・色補正部１０４Ａは、Ｂａｙｅｒデータ形式の画像に対して処理を行ったが、１画素あたりＲ、Ｇ、Ｂの情報からなる画像データ、または、１画素あたり輝度信号（Ｙ）と２つの色差信号（Ｃｂ、Ｃｒ）の情報からなる画像データに対して、処理を行うようにしてもよい。
【００７１】
以上、第３の実施形態における画像処理装置によれば、第１の露光時間に基づいて撮影された複数枚の高感度画像を取得するとともに、第１の露光時間よりも長い第２の露光時間に基づいて撮影された少なくとも１枚の低感度画像を取得し、複数枚の高感度画像を合成することによって、合成画像を生成する。そして、合成画像の少なくとも一部の領域の画素値の平均値（画素値に基づく統計量）と、合成画像の少なくとも一部の領域に対応する、低感度画像の少なくとも一部の領域の画素値の平均値（画素値に基づく統計量）とを略一致させるように、合成画像の画素値を補正する。合成画像の階調特性や色再現特性を、撮像素子のリニアリティ特性の良い領域で撮影された低感度画像の階調特性や色再現特性に応じて補正するので、露光時間が短いことにより生ずる階調特性や色再現特性の悪化を補正し、階調特性や色再現特性が良好な合成画像を得ることができる。特に、統計量として画素値の平均値を用いるので、統計量として累積ヒストグラムを用いる場合に比べて、少ない演算量で階調特性や色再現特性が良好な合成画像を得ることができる。
【００７２】
また、合成画像の各画素に対して補正値を乗算することによって、合成画像の画素値を補正するので、高感度撮影と低感度撮影で一定のゲインによる誤差が発生する場合において、効果的に階調特性や色再現特性が良好な合成画像を得ることができる。
【００７３】
なお、上述した第１〜第３の実施形態の説明では、画像処理装置が行う処理としてハードウェアによる処理を前提としていたが、このような構成に限定される必要はない。例えば、コンピュータにてソフトウェア処理を行う構成も可能である。この場合、コンピュータは、ＣＰＵ、ＲＡＭ等の主記憶装置、上記処理の全て或いは一部を実現させるためのプログラムが記憶されたコンピュータ読み取り可能な記憶媒体を備えている。ここでは、このプログラムを画像処理プログラムと呼ぶ。そして、ＣＰＵが上記記憶媒体に記憶されている画像処理プログラムを読み出して、情報の加工・演算処理を実行することにより、上述の画像処理装置と同様の処理を実現させる。
【００７４】
ここで、コンピュータ読み取り可能な記録媒体とは、磁気ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、半導体メモリ等をいう。また、この画像処理プログラムを通信回線によってコンピュータに配信し、この配信を受けたコンピュータが当該画像処理プログラムを実行するようにしても良い。
【００７５】
本発明は、上記実施形態にそのまま限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素の幾つかの構成要素を削除してもよい。
【符号の説明】
【００７６】
１０１…撮像素子
１０３…複数枚合成処理部（画像取得部、合成部）
１０４、１０４Ａ…階調・色補正部（画像取得部）
１０５…画像処理部
２００…第１累積ヒストグラム計算部（第１統計量計算部）
２０１…第２累積ヒストグラム計算部（第２統計量計算部）
２０２…階調補正特性計算部（補正値計算部）
２０３…階調補正部（補正部）
４００…第１平均値計算部（第１統計量計算部）
４０１…第２平均値計算部（第２統計量計算部）
４０２…補正値計算部（補正値計算部）
４０３…画素値補正部（補正部）
【技術分野】
【０００１】
本発明は、画像処理技術に関し、特に複数枚の画像を合成して合成画像を生成する画像処理技術に関する。
【背景技術】
【０００２】
デジタルカメラ等の撮像装置において、静止画を撮影する際にノイズの少ない画像を得るためには、十分な露光時間を確保することが有効である。しかしながら、露光時間を長くすると、手ぶれによるカメラの動きや被写体の動きにより、画像にぶれが生じる。このような画像ぶれに対処する方式として、電子ぶれ補正方式が提案されている。特許文献１や特許文献２では、ぶれの少ない短い露光時間での撮影を連続して複数回行い、得られた複数枚の画像の位置合わせ処理を行ってから合成することにより、ぶれの無い画像を得る技術が開示されている。
【０００３】
しかし、露光時間を短くすると、撮像素子に十分な電荷が蓄積されないことから、リニアリティ特性（露光時間と画素値との比例関係）の悪い領域での撮影となり、階調特性や色再現特性が悪化するという問題が生じる。特許文献３には、撮像素子が出力するＲＡＷ形式の画像データに対して、事前に計測済みのリニアリティ特性に基づいて、撮像素子の出力のリニアリティ特性を補正する技術が開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００８−５０８４号公報
【特許文献２】特開２００６−１５７５６８号公報
【特許文献３】特開２００３−２３６４２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、事前にリニアリティ特性をそれぞれのカメラで計測することは煩雑であり、また、事前の計測結果に基づく補正のみでは、十分な効果を得ることができない。
【０００６】
本発明は、上記問題に鑑みてなされたもので、複数枚の画像を合成する際に、露光時間が短いことにより生ずる階調特性や色再現特性の悪化を補正し、階調特性や色再現特性が良好な合成画像を得られる技術を提供することを目的とする。
【課題を解決するための手段】
【０００７】
本発明のある態様に係る画像処理装置は、第１の露光時間に基づいて撮影された複数枚の高感度画像を取得するとともに、前記第１の露光時間よりも長い第２の露光時間に基づいて撮影された少なくとも１枚の低感度画像を取得する画像取得部と、前記複数枚の高感度画像を合成することによって、合成画像を生成する合成部と、前記合成画像の少なくとも一部の領域の画素値に基づく統計量を計算する第１統計量計算部と、前記合成画像の少なくとも一部の領域に対応する、前記低感度画像の少なくとも一部の領域の画素値に基づく統計量を計算する第２統計量計算部と、前記第１統計量計算部によって計算される統計量を、前記第２統計量計算部によって計算される統計量により近づけるように、前記合成画像の画素値を補正する補正部と、を備える。
【０００８】
本発明の別の態様に係る画像処理方法は、第１の露光時間に基づいて撮影された複数枚の高感度画像を取得するとともに、前記第１の露光時間よりも長い第２の露光時間に基づいて撮影された少なくとも１枚の低感度画像を取得するステップと、前記複数枚の高感度画像を合成することによって、合成画像を生成するステップと、前記合成画像の少なくとも一部の領域の画素値に基づく統計量を計算するステップと、前記合成画像の少なくとも一部の領域に対応する、前記低感度画像の少なくとも一部の領域の画素値に基づく統計量を計算するステップと、前記合成画像の少なくとも一部の領域の画素値に基づく統計量を、前記低感度画像の少なくとも一部の領域の画素値に基づく統計量により近づけるように、前記合成画像の画素値を補正するステップと、を有する。
【０００９】
本発明のさらに別の態様に係る画像処理プログラムは、第１の露光時間に基づいて撮影された複数枚の高感度画像を取得するとともに、前記第１の露光時間よりも長い第２の露光時間に基づいて撮影された少なくとも１枚の低感度画像を取得するステップと、前記複数枚の高感度画像を合成することによって、合成画像を生成するステップと、前記合成画像の少なくとも一部の領域の画素値に基づく統計量を計算するステップと、前記合成画像の少なくとも一部の領域に対応する、前記低感度画像の少なくとも一部の領域の画素値に基づく統計量を計算するステップと、前記合成画像の少なくとも一部の領域の画素値に基づく統計量を、前記低感度画像の少なくとも一部の領域の画素値に基づく統計量により近づけるように、前記合成画像の画素値を補正するステップと、をコンピュータに実行させるための画像処理プログラムである。
【発明の効果】
【００１０】
本発明によれば、合成画像の階調特性や色再現特性を、撮像素子のリニアリティ特性の良い領域で撮影された低感度画像の階調特性や色再現特性に応じて補正するので、階調特性や色再現特性が良好な合成画像を得ることができる。
【図面の簡単な説明】
【００１１】
【図１】図１は、第１の実施形態における画像処理装置を搭載した撮像装置の概略構成を示す図である。
【図２】図２は、階調・色補正部の詳細な構成を示すブロック図である。
【図３】図３は、第１累積ヒストグラム計算部および第２累積ヒストグラム計算部の詳細な構成を示すブロック図である。
【図４】図４は、ヒストグラムの計算結果の一例を示す図である。
【図５】図５は、累積ヒストグラムの一例を示す図である。
【図６】図６は、階調補正特性計算部による階調補正特性の計算方法を説明するための図である。
【図７】図７は、画像処理部がＲＡＷデータ形式の画像を、１画素あたりＲ、Ｇ、Ｂの情報からなる画像データ、もしくは、１画素あたり輝度信号（Ｙ）と２つの色差信号（Ｃｂ、Ｃｒ）の情報からなる画像データに変換した後、複数枚合成処理部および階調・色補正部が各処理を行う構成の画像処理装置を搭載した撮像装置の概略構成を示す図である。
【図８】図８は、第２の実施形態における画像処理装置の階調・色補正部の詳細な構成を示すブロック図である。
【図９】図９は、第２の実施形態における画像処理装置による補正の効果について説明するための図である。
【図１０】図１０は、第３の実施形態における画像処理装置による補正の効果について説明するための図である。
【発明を実施するための形態】
【００１２】
＜第１の実施形態＞
図１は、第１の実施形態における画像処理装置を搭載した撮像装置の概略構成を示す図である。この撮像装置は、光学系１００と、撮像素子１０１と、フレームメモリ１０２と、複数枚合成処理部１０３と、階調・色補正部１０４と、画像処理部１０５とを備える。このうち、第１の実施形態における画像処理装置は、複数枚合成処理部１０３と、階調・色補正部１０４と、画像処理部１０５とを備える。
【００１３】
レンズ等からなる光学系１００を通して撮像素子１０１に入力された被写体光は、光電変換されて、フレームメモリ１０２に一旦格納される。
【００１４】
本実施形態では、まず、手ぶれの発生しない露光時間で高感度画像を複数枚撮影し、フレームメモリ１０２に格納する。次に、高感度画像を撮影した際の露光時間よりも長い露光時間で低感度画像を１枚撮影して、フレームメモリ１０２に格納する。例えば、手ぶれが発生しない露光時間の限界が１／５０秒で、１／５０秒の露光時間で適正な明るさの画像を得られるＩＳＯ感度がＩＳＯ３２００だった場合、この撮影パラメータで複数枚（例えば、４〜８枚）の高感度画像を撮影する。次に、同じ明るさの画像を低感度で撮影する。例えば、ＩＳＯ感度をＩＳＯ２００とする場合には、露光時間を１６／５０秒とする。
【００１５】
複数枚合成処理部１０３は、フレームメモリ１０２から、複数枚の高感度画像を読み出し、読み出した複数枚の高感度画像を合成して、合成画像を生成する。合成処理は、例えば、上述した特許文献１や特許文献２に開示されているような公知の方法を用いることができる。この合成処理により、高感度画像のノイズを低減することができる。
【００１６】
複数枚合成処理部１０３で生成される合成画像は、ノイズが低減されているものの、撮像素子のリニアリティ特性の悪い領域で撮影された高感度画像を合成することによって生成されているため、階調特性や色再現特性は良好ではない。一方、フレームメモリ１０２に格納されている低感度画像は、手ぶれの影響を受けているかもしれないが、撮像素子のリニアリティ特性の良い領域で撮影された画像であるため、階調特性や色再現特性は良好である。
【００１７】
階調・色補正部１０４は、フレームメモリ１０２に格納されている低感度画像を用いて、合成画像の階調特性や色再現特性を補正して、画像処理部１０５に出力する。
【００１８】
画像処理部１０５は、階調・色補正部１０４から出力されるＲＡＷデータ形式の合成画像（Ｂａｙｅｒデータ形式の画像）を、１画素あたりＲ、Ｇ、Ｂの情報からなる画像データ、もしくは、１画素あたり輝度信号（Ｙ）と２つの色差信号（Ｃｂ、Ｃｒ）の情報からなる画像データに変換し、さらに、エッジ強調処理やノイズ低減処理等を行う。
【００１９】
図２は、階調・色補正部１０４の詳細な構成を示すブロック図である。階調・色補正部１０４は、第１累積ヒストグラム計算部２００と、第２累積ヒストグラム計算部２０１と、階調補正特性計算部２０２と、階調補正部２０３とを備える。
【００２０】
第１累積ヒストグラム計算部２００は、複数枚合成処理部１０３で生成された合成画像について、全画素の画素値の累積ヒストグラムを計算する。また、第２累積ヒストグラム計算部２０１は、フレームメモリ１０２に格納されている低感度画像について、全画素の画素値の累積ヒストグラムを計算する。
【００２１】
図３は、第１累積ヒストグラム計算部２００および第２累積ヒストグラム計算部２０１の詳細な構成を示すブロック図である。第１累積ヒストグラム計算部２００および第２累積ヒストグラム計算部２０１はそれぞれ、色分離部３００と、Ｒヒストグラム計算部３０１と、ＧＲヒストグラム計算部３０２と、ＧＢヒストグラム計算部３０３と、Ｂヒストグラム計算部３０４と、Ｒ累積ヒストグラム計算部３０５と、ＧＲ累積ヒストグラム計算部３０６と、ＧＢ累積ヒストグラム計算部３０７と、Ｂ累積ヒストグラム計算部３０８とを備える。
【００２２】
色分離部３００には、Ｂａｙｅｒデータ形式の画像が入力される。具体的には、第１累積ヒストグラム計算部２００の色分離部３００には、合成画像が入力され、第２累積ヒストグラム計算部２０１の色分離部３００には、低感度画像が入力される。これらのＢａｙｅｒデータ形式の画像の各画素は、Ｒ（赤）、ＧＲ（緑）、ＧＢ（緑）、Ｂ（青）のいずれかの色情報を有する。
【００２３】
色分離部３００は、Ｂａｙｅｒデータ形式の入力画像から、各色成分を抜き出し、Ｒ成分を有する画素の画像（以下、Ｒ画像と呼ぶ）、ＧＲ成分を有する画素の画像（以下、ＧＲ画像と呼ぶ）、ＧＢ成分を有する画素の画像（以下、ＧＢ画像と呼ぶ）、Ｂ成分を有する画素の画像（以下、Ｂ画像と呼ぶ）を生成する。Ｒ画像は、Ｒヒストグラム計算部３０１に、ＧＲ画像は、ＧＲヒストグラム計算部３０２に、ＧＢ画像は、ＧＢヒストグラム計算部３０３に、Ｂ画像は、Ｂヒストグラム計算部３０４に出力される。
【００２４】
Ｒヒストグラム計算部３０１、ＧＲヒストグラム計算部３０２、ＧＢヒストグラム計算部３０３、および、Ｂヒストグラム計算部３０４はそれぞれ、入力された画像の全画素について、画素値のヒストグラムを計算する。
【００２５】
図４は、ヒストグラムの計算結果の一例を示す図である。図４において、横軸は画素値、縦軸は画素数を表している。画素値は、最小値を０、最大値を２５５としている。各ヒストグラム計算部３０１〜３０４は、入力された画像の全画素について、ある画素値を示す画素の画素数を計算して、画素値のヒストグラムを作成する。
【００２６】
Ｒヒストグラム計算部３０１で計算されたヒストグラムは、Ｒ累積ヒストグラム計算部３０５に出力される。同様に、ＧＲヒストグラム計算部３０２で計算されたヒストグラムは、ＧＲ累積ヒストグラム計算部３０６に、ＧＢヒストグラム計算部３０３で計算されたヒストグラムは、ＧＢ累積ヒストグラム計算部３０７に、Ｂヒストグラム計算部３０４で計算されたヒストグラムは、Ｂ累積ヒストグラム計算部３０８にそれぞれ出力される。
【００２７】
Ｒ累積ヒストグラム計算部３０５、ＧＲ累積ヒストグラム計算部３０６、ＧＢ累積ヒストグラム計算部３０７、および、Ｂ累積ヒストグラム計算部３０８は、入力された画素値のヒストグラムに基づいて、累積ヒストグラムを作成する。
【００２８】
図５は、累積ヒストグラムの一例を示す図である。図５において、横軸は画素値、縦軸は頻度を表している。画素値は、最小値を０、最大値を２５５とし、頻度は、最小値を０％、最大値を１００％としている。
【００２９】
累積ヒストグラムは、画素値のヒストグラムの計算結果を画素値０から画素値２５５まで順に積分し、それが全画素数に占める割合をそれぞれの画素値についてプロットしたものである。例えば、図５において、画素値Ｘでの頻度が５０％となっているのは、画素値０から画素値Ｘまでの画素数は、全画素数の５０％であることを意味している。各累積ヒストグラム計算部３０５〜３０８で作成された累積ヒストグラムは、階調補正特性計算部２０２に出力される。
【００３０】
階調補正特性計算部２０２は、第１累積ヒストグラム計算部２００から出力される、合成画像の累積ヒストグラム計算結果と、第２累積ヒストグラム計算部２０１から出力される、低感度画像の累積ヒストグラム計算結果とを比較して、合成画像の階調・色再現特性を、低感度画像の階調・色再現特性に近づけるような階調補正特性を計算する。
【００３１】
図６は、階調補正特性計算部２０２による階調補正特性の計算方法を説明するための図である。図６において、横軸は画素値、縦軸は頻度を表している。また、図６中の実線は、合成画像の累積ヒストグラムを表し、点線は、低感度画像の累積ヒストグラムを表している。
【００３２】
ここでは、合成画像に対して階調補正処理を行うことにより、補正された合成画像の累積ヒストグラムが低感度画像の累積ヒストグラムと一致するような階調補正特性を計算する。例えば、合成画像における画素値Ｘの累積ヒストグラムの頻度が５０％であり、低感度画像において累積ヒストグラムの頻度が５０％に対応する画素値が画素値Ｙの場合、画素値Ｘを画素値Ｙに補正するような階調補正特性を求める。このような対応付けを全ての画素値について行い、画素値の変換テーブルを作成する。この画素値の変換テーブルが階調補正特性計算結果となる。
【００３３】
上述したような階調補正特性の計算を、Ｒ、ＧＲ、ＧＢ、Ｂの各色それぞれについて行う。各色それぞれについて階調補正を行うことにより、結果的に、色再現特性の補正も行われることになる。
【００３４】
なお、合成画像の累積ヒストグラムを低感度画像の累積ヒストグラムと完全に一致させるような階調補正特性ではなく、略一致させるような階調補正特性であっても、合成画像の階調特性や色再現特性を補正する効果は得られる。または、合成画像の累積ヒストグラムを低感度画像の累積ヒストグラムにより近づけるような補正値を計算するようにしてもよい。具体的には、合成画像の累積ヒストグラムと低感度画像の累積ヒストグラムとの間の各頻度値に対応する画素値の差分を減少させるように合成画像の累積ヒストグラムを変更するような階調補正特性であっても、合成画像の階調特性や色再現特性を補正する効果は得られる。或いは、合成画像の累積ヒストグラムと低感度画像の累積ヒストグラムとの間の各頻度値に対応する画素値の差分が所定の閾値以下になるように合成画像の累積ヒストグラムを変更するような階調補正特性であっても、合成画像の階調特性や色再現特性を補正する効果は得られる。
【００３５】
階調補正部２０３は、階調補正特性計算部２０２によって計算された階調補正特性、すなわち、画素値の変換テーブルに基づいて、合成画像のＲ、ＧＲ、ＧＢ、Ｂの各色について階調補正処理を行い、階調補正済みの合成画像を画像処理部１０５に出力する。
【００３６】
以上、第１の実施形態における画像処理装置は、第１の露光時間に基づいて撮影された複数枚の高感度画像を取得するとともに、第１の露光時間よりも長い第２の露光時間に基づいて撮影された少なくとも１枚の低感度画像を取得し、複数枚の高感度画像を合成することによって、合成画像を生成する。そして、合成画像の少なくとも一部の領域の画素値に基づく統計量と、合成画像の少なくとも一部の領域に対応する、低感度画像の少なくとも一部の領域の画素値に基づく統計量とを計算して、合成画像の統計量を低感度画像の統計量により近づけるように、合成画像の画素値を補正する。合成画像の階調特性や色再現特性を、撮像素子のリニアリティ特性の良い領域で撮影された低感度画像の階調特性や色再現特性に応じて補正するので、露光時間が短いことにより生ずる階調特性や色再現特性の悪化を補正し、階調特性や色再現特性が良好な合成画像を得ることができる。
【００３７】
事前にリニアリティ特性を計測する従来の装置では、温度変化等によってリニアリティ特性が変化する場合等の対応に限界がある。しかし、第１の実施形態における画像処理装置によれば、合成画像の少なくとも一部の領域の画素値に基づく統計量を、合成画像の少なくとも一部の領域に対応する、低感度画像の少なくとも一部の領域の画素値に基づく統計量により近づけるように、合成画像の画素値を補正するので、温度変化等によってリニアリティ特性が変化する場合でも、階調特性や色再現特性を確実に補正することができる。
【００３８】
特に、上記統計量は、各画素値の頻度の累積値を表す累積ヒストグラムであるので、階調特性や色再現特性を効果的に補正することができる。
【００３９】
なお、上述した説明では、合成画像と低感度画像との間に位置ずれが生じている場合でも、位置ずれを考慮せずに処理を行うものとしたが、合成画像と低感度画像との間の位置ずれを検出して位置合わせ処理を行ってから、合成画像の階調特性や色再現特性を補正するようにしてもよい。合成画像と低感度画像との間の位置合わせ処理を行うことにより、階調補正処理の精度をさらに向上させることができる。
【００４０】
また、第１累積ヒストグラム計算部２００および第２累積ヒストグラム計算部２０１の計算量を減らすために、ヒストグラムを計算する領域を画像の一部のみとしてもよいし、合成画像および低感度画像のそれぞれについて、画素数を減らした縮小画像を生成して、ヒストグラムを計算するようにしてもよい。ヒストグラムを計算する領域を画像の一部のみとする場合には、合成画像の一部の領域と低感度画像の一部の領域とを対応した領域とする必要がある。
【００４１】
複数枚合成処理部１０３および階調・色補正部１０４は、Ｂａｙｅｒデータ形式の画像に対して処理を行った。これに対して、１画素あたりＲ、Ｇ、Ｂの情報からなる画像データ、または、１画素あたり輝度信号（Ｙ）と２つの色差信号（Ｃｂ、Ｃｒ）の情報からなる画像データに対して、処理を行うこともできる。
【００４２】
図７は、画像処理部１０５がＲＡＷデータ形式の画像（Ｂａｙｅｒデータ形式の画像）を、１画素あたりＲ、Ｇ、Ｂの情報からなる画像データ、もしくは、１画素あたり輝度信号（Ｙ）と２つの色差信号（Ｃｂ、Ｃｒ）の情報からなる画像データに変換した後、複数枚合成処理部１０３および階調・色補正部１０４が各処理を行う構成の画像処理装置を搭載した撮像装置の概略構成を示す図である。図１に示す構成と同じ構成については、同じ符号を付して詳しい説明は省略する。
【００４３】
画像処理部１０５は、撮像素子１０１から出力されるＲＡＷデータ形式の画像（Ｂａｙｅｒデータ形式の画像）を、１画素あたりＲ、Ｇ、Ｂの情報からなる画像データ、もしくは、１画素あたり輝度信号（Ｙ）と２つの色差信号（Ｃｂ、Ｃｒ）の情報からなる画像データに変換する同時化処理を行い、さらに、エッジ強調処理やノイズ低減処理等を行う。画像処理部１０５によって上述した処理が行われた画像は、フレームメモリ１０２に格納される。
【００４４】
複数枚合成処理部１０３は、Ｂａｙｅｒデータ形式の画像ではなく、同時化処理後の複数枚の高感度画像データを用いて、合成画像を生成する。
【００４５】
階調・色補正部１０４は、内部の構成において、色分離部３００が不要となり、Ｒ、Ｇ、Ｂのそれぞれ、または、Ｙ、Ｃｂ、Ｃｒのそれぞれの成分に対して、累積ヒストグラムを計算する処理、階調補正特性を計算する処理、階調補正処理を行う。
【００４６】
＜第２の実施形態＞
第１の実施形態における画像処理装置では、階調・色補正部１０４において、合成画像と低感度画像の画像全体について累積ヒストグラムを計算し、合成画像の累積ヒストグラムを低感度画像の累積ヒストグラムにより近づけるための階調補正処理を合成画像に行うことによって、合成画像の階調特性や色再現特性を改善した。第２の実施形態における画像処理装置では、階調・色補正部が行う処理を簡易化した方式について説明する。なお、第２の実施形態における階調・色補正部と、第１の実施形態における階調・色補正部１０４とは、内部で行う処理内容が異なるため、第２の実施形態における階調・色補正部の符号を１０４Ａとする。
【００４７】
図８は、第２の実施形態における画像処理装置の階調・色補正部１０４Ａの詳細な構成を示すブロック図である。階調・色補正部１０４Ａは、第１平均値計算部４００と、第２平均値計算部４０１と、補正値計算部４０２と、画素値補正部４０３とを備える。
【００４８】
第１平均値計算部４００は、複数枚合成処理部１０３で生成された合成画像の全画素の画素値の平均値を計算する。また、第２平均値計算部４０１は、フレームメモリ１０２から読み出した低感度画像の全画素の画素値の平均値を計算する。合成画像および低感度画像は、Ｂａｙｅｒデータ形式の画像であり、各画素は、Ｒ、ＧＲ、ＧＢ、Ｂのいずれかに対応しているため、画素値の平均値の計算も各色成分ごとに行う。
【００４９】
補正値計算部４０２は、第１平均値計算部４００によって算出された合成画像の画素値の平均値を、第２平均値計算部４０１によって算出された低感度画像の画素値の平均値に一致させるような補正値を計算する。すなわち、低感度画像の画素値の平均値から合成画像の画素値の平均値を減算することによって補正値を算出する。補正値の計算は、Ｒ、ＧＲ、ＧＢ、Ｂの各色成分に対して行う。
【００５０】
なお、合成画像の画素値の平均値を低感度画像の画素値の平均値と完全に一致させるような補正値ではなく、略一致させるような補正値であっても、合成画像の階調特性や色再現特性を補正する効果は得られる。または、合成画像の画素値の平均値を低感度画像の画素値の平均値により近づけるような補正値を計算するようにしてもよい。具体的には、合成画像の画素値の平均値と低感度画像の画素値の平均値との差分を減少させるような補正値であっても、合成画像の階調特性や色再現特性を補正する効果は得られる。或いは、合成画像の画素値の平均値と低感度画像の画素値の平均値との差分が所定の閾値以下になるような補正値であっても、合成画像の階調特性や色再現特性を補正する効果は得られる。
【００５１】
画素値補正部４０３は、補正値計算部４０２で計算された各色の補正値を、合成画像の各色の画素値に加算して、補正済みの合成画像を生成する。
【００５２】
なお、補正値計算部４０２は、合成画像の全画素の画素値の平均値から低感度画像の画素値の平均値を減算することによって、補正値を算出することもできる。この場合、画素値補正部４０３は、合成画像の各色の画素値から、補正値計算部４０２で計算された各色の補正値を減算することによって、補正済みの合成画像を生成する。
【００５３】
図９は、第２の実施形態における画像処理装置による補正の効果について説明するための図である。図９において、横軸は被写体の明るさを、縦軸は画素値をそれぞれ示している。図９において、実線は、合成画像における被写体の明るさと画素値との関係の一例を表し、点線は、低感度画像における被写体の明るさと画素値との関係の一例を表している。
【００５４】
例えば、同じ明るさの被写体を撮影した場合に、高感度撮影と低感度撮影で画素値に一定のオフセットが生じる場合には、図９に示すように、合成画像の画素値と低感度画像の画素値との間に一定のオフセットが生じる。従って、合成画像の画素値の平均値と低感度画像の画素値の平均値との差を求めることによって、上述したオフセット値を推定し、推定したオフセット値に基づいて、合成画像の画素値を補正する。このように、被写体の明るさによらない一定の画素値のオフセットが合成画像と低感度画像との間の誤差の支配的要因である場合には、上述したような簡易的な補正処理を行うことにより、合成画像の階調特性や色再現特性を改善することができる。
【００５５】
なお、被写体の明るさに関係なく一定のオフセットが発生する例としては、高感度撮影と低感度撮影でのノイズの差に起因する場合や、黒レベル推定処理（オプティカルブラック補正処理）の誤差に起因する場合などがある。
【００５６】
第１平均値計算部４００および第２平均値計算部４０１は、全画素の画素値の平均値を計算するものとして説明したが、画素値が最小値の０または最大値の２５５である画素を、平均値の計算から除外するようにしてもよい。画素値が最小値または最大値である画素を平均値の計算から除外することにより、合成画像の画素値と低感度画像の画素値との間のオフセット値をより精度良く求めることができる。ただし、一般的には、全画素のうち、画素値が最小値または最大値である画素の割合は低いので、画素値が最小値または最大値である画素を平均値の計算から除外しなくても、オフセット値の算出精度がそれほど低くなることはない。
【００５７】
なお、第１の実施形態における画像処理装置と同様に、合成画像と低感度画像との間の位置ずれを検出して位置合わせ処理を行ってから、合成画像の階調特性や色再現特性を補正するようにしてもよい。また、第１平均値計算部４００および第２平均値計算部４０１の計算量を減らすために、平均値を計算する領域を画像の一部のみとしてもよいし、合成画像および低感度画像のそれぞれについて、画素数を減らした縮小画像を生成して、平均値を計算するようにしてもよい。さらに、複数枚合成処理部１０３および階調・色補正部１０４Ａは、Ｂａｙｅｒデータ形式の画像に対して処理を行ったが、１画素あたりＲ、Ｇ、Ｂの情報からなる画像データ、または、１画素あたり輝度信号（Ｙ）と２つの色差信号（Ｃｂ、Ｃｒ）の情報からなる画像データに対して、処理を行うようにしてもよい。
【００５８】
以上、第２の実施形態における画像処理装置によれば、第１の露光時間に基づいて撮影された複数枚の高感度画像を取得するとともに、第１の露光時間よりも長い第２の露光時間に基づいて撮影された少なくとも１枚の低感度画像を取得し、複数枚の高感度画像を合成することによって、合成画像を生成する。そして、合成画像の少なくとも一部の領域の画素値の平均値（画素値に基づく統計量）を、合成画像の少なくとも一部の領域に対応する、低感度画像の少なくとも一部の領域の画素値の平均値（画素値に基づく統計量）により近づけるように、合成画像の画素値を補正する。合成画像の階調特性や色再現特性を、撮像素子のリニアリティ特性の良い領域で撮影された低感度画像の階調特性や色再現特性に応じて補正するので、露光時間が短いことにより生ずる階調特性や色再現特性の悪化を補正し、階調特性や色再現特性が良好な合成画像を得ることができる。特に、統計量として画素値の平均値を用いるので、統計量として累積ヒストグラムを用いる場合に比べて、少ない演算量で階調特性や色再現特性が良好な合成画像を得ることができる。
【００５９】
また、合成画像の各画素に対して補正値を加算（補正値によっては減算）することによって、合成画像の画素値を補正するので、高感度撮影と低感度撮影で一定のオフセットによる誤差が発生する場合において、効果的に階調特性や色再現特性が良好な合成画像を得ることができる。
【００６０】
＜第３の実施形態＞
第２の実施形態では、高感度撮影と低感度撮影で画素値に一定のオフセットが発生する場合を想定し、簡易的に合成画像の補正を行う方法について説明した。第３の実施形態では、高感度撮影と低感度撮影で一定のゲインによる誤差が発生する場合を想定し、簡易的に合成画像の補正を行う方法について説明する。
【００６１】
第３の実施形態における画像処理装置の構成は、第２の実施形態における画像処理装置の構成と同じである。ただし、第３の実施形態における画像処理装置では、階調・色補正部１０４Ａの補正値計算部および画素値補正部の動作が第２の実施形態と異なる。以下の説明では、第３の実施形態における補正値計算部、画素値補正部の符号をそれぞれ、４０２Ａ、４０３Ａとする。
【００６２】
補正値計算部４０２Ａは、合成画像の画素値の平均値を低感度画像の画素値の平均値に一致させるような補正値を計算する。補正値の計算は、Ｒ、ＧＲ、ＧＢ、Ｂの各色成分に対して行う。なお、第２の実施形態と同様に、合成画像の画素値の平均値を低感度画像の画素値の平均値に略一致させるような補正値を計算するようにしてもよい。または、合成画像の画素値の平均値を低感度画像の画素値の平均値により近づけるような補正値を計算するようにしてもよい。具体的には、合成画像の画素値の平均値と低感度画像の画素値の平均値との比をより１に近づけるような補正値であっても、合成画像の階調特性や色再現特性を補正する効果は得られる。或いは、合成画像の画素値の平均値と低感度画像の画素値の平均値との比と比１（合成画像の画素値の平均値と低感度画像の画素値の平均値が完全に同一の場合）との差分絶対値が所定の閾値以下になるような補正値であっても、合成画像の階調特性や色再現特性を補正する効果は得られる。
【００６３】
画素値補正部４０３Ａは、補正値計算部４０２Ａで計算された各色の補正値を、合成画像の各色の画素値に乗算して、補正済みの合成画像を生成する。
【００６４】
図１０は、第３の実施形態における画像処理装置による補正の効果について説明するための図である。図１０において、横軸は被写体の明るさを、縦軸は画素値をそれぞれ示している。図１０において、実線は、合成画像における被写体の明るさと画素値との関係の一例を表し、点線は、低感度画像における被写体の明るさと画素値との関係の一例を表している。
【００６５】
例えば、同じ明るさの被写体を撮影した場合に、高感度撮影と低感度撮影で画素値に一定のゲインによる誤差が生じる場合には、図１０に示すように、合成画像の画素値と低感度画像の画素値との間に一定のゲインによる誤差が生じる。
【００６６】
補正値計算部４０２Ａは、Ｒ、ＧＲ、ＧＢ、Ｂの各色成分について、低感度画像の画素値の平均値を合成画像の画素値の平均値で除算することにより、上記ゲインの推定値である補正値を算出する。画素値補正部４０３Ａは、合成画像の各色の画素値に、補正値計算部４０２Ａで計算された各色の補正値を乗算することによって、合成画像の画素値を補正する。このように、被写体の明るさによらない一定のゲインによる誤差が支配的要因の場合には、上述したような簡易的な補正処理を行うことにより、合成画像の階調特性や色再現特性を改善することができる。
【００６７】
ここで、補正値計算部４０２Ａは、Ｒ、ＧＲ、ＧＢ、Ｂの各色成分について、合成画像の画素値の平均値を低感度画像の画素値の平均値で除算することによって、補正値を算出し、画素値補正部４０３Ａは、合成画像の各色の画素値を、補正値計算部４０２Ａで計算された各色の補正値で除算することによっても、同じ結果を得ることができる。
【００６８】
なお、被写体の明るさに関係なく一定のゲインによる誤差が発生する例としては、高感度撮影と低感度撮影でのシャッター速度の誤差に起因する場合や、感度に応じたゲイン処理の誤差に起因する場合などがある。
【００６９】
また、第２の実施形態で説明したように、第１平均値計算部４００および第２平均値計算部４０１は、画素値が最小値の０または最大値の２５５である画素を、平均値の計算から除外するようにしてもよい。
【００７０】
なお、第１の実施形態における画像処理装置と同様に、合成画像と低感度画像との間の位置ずれを検出して位置合わせ処理を行ってから、合成画像の階調特性や色再現特性を補正するようにしてもよい。また、第１平均値計算部４００および第２平均値計算部４０１の計算量を減らすために、平均値を計算する領域を画像の一部のみとしてもよいし、合成画像および低感度画像のそれぞれについて、画素数を減らした縮小画像を生成して、平均値を計算するようにしてもよい。さらに、複数枚合成処理部１０３および階調・色補正部１０４Ａは、Ｂａｙｅｒデータ形式の画像に対して処理を行ったが、１画素あたりＲ、Ｇ、Ｂの情報からなる画像データ、または、１画素あたり輝度信号（Ｙ）と２つの色差信号（Ｃｂ、Ｃｒ）の情報からなる画像データに対して、処理を行うようにしてもよい。
【００７１】
以上、第３の実施形態における画像処理装置によれば、第１の露光時間に基づいて撮影された複数枚の高感度画像を取得するとともに、第１の露光時間よりも長い第２の露光時間に基づいて撮影された少なくとも１枚の低感度画像を取得し、複数枚の高感度画像を合成することによって、合成画像を生成する。そして、合成画像の少なくとも一部の領域の画素値の平均値（画素値に基づく統計量）と、合成画像の少なくとも一部の領域に対応する、低感度画像の少なくとも一部の領域の画素値の平均値（画素値に基づく統計量）とを略一致させるように、合成画像の画素値を補正する。合成画像の階調特性や色再現特性を、撮像素子のリニアリティ特性の良い領域で撮影された低感度画像の階調特性や色再現特性に応じて補正するので、露光時間が短いことにより生ずる階調特性や色再現特性の悪化を補正し、階調特性や色再現特性が良好な合成画像を得ることができる。特に、統計量として画素値の平均値を用いるので、統計量として累積ヒストグラムを用いる場合に比べて、少ない演算量で階調特性や色再現特性が良好な合成画像を得ることができる。
【００７２】
また、合成画像の各画素に対して補正値を乗算することによって、合成画像の画素値を補正するので、高感度撮影と低感度撮影で一定のゲインによる誤差が発生する場合において、効果的に階調特性や色再現特性が良好な合成画像を得ることができる。
【００７３】
なお、上述した第１〜第３の実施形態の説明では、画像処理装置が行う処理としてハードウェアによる処理を前提としていたが、このような構成に限定される必要はない。例えば、コンピュータにてソフトウェア処理を行う構成も可能である。この場合、コンピュータは、ＣＰＵ、ＲＡＭ等の主記憶装置、上記処理の全て或いは一部を実現させるためのプログラムが記憶されたコンピュータ読み取り可能な記憶媒体を備えている。ここでは、このプログラムを画像処理プログラムと呼ぶ。そして、ＣＰＵが上記記憶媒体に記憶されている画像処理プログラムを読み出して、情報の加工・演算処理を実行することにより、上述の画像処理装置と同様の処理を実現させる。
【００７４】
ここで、コンピュータ読み取り可能な記録媒体とは、磁気ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、半導体メモリ等をいう。また、この画像処理プログラムを通信回線によってコンピュータに配信し、この配信を受けたコンピュータが当該画像処理プログラムを実行するようにしても良い。
【００７５】
本発明は、上記実施形態にそのまま限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素の幾つかの構成要素を削除してもよい。
【符号の説明】
【００７６】
１０１…撮像素子
１０３…複数枚合成処理部（画像取得部、合成部）
１０４、１０４Ａ…階調・色補正部（画像取得部）
１０５…画像処理部
２００…第１累積ヒストグラム計算部（第１統計量計算部）
２０１…第２累積ヒストグラム計算部（第２統計量計算部）
２０２…階調補正特性計算部（補正値計算部）
２０３…階調補正部（補正部）
４００…第１平均値計算部（第１統計量計算部）
４０１…第２平均値計算部（第２統計量計算部）
４０２…補正値計算部（補正値計算部）
４０３…画素値補正部（補正部）
【特許請求の範囲】
【請求項１】
第１の露光時間に基づいて撮影された複数枚の高感度画像を取得するとともに、前記第１の露光時間よりも長い第２の露光時間に基づいて撮影された少なくとも１枚の低感度画像を取得する画像取得部と、
前記複数枚の高感度画像を合成することによって、合成画像を生成する合成部と、
前記合成画像の少なくとも一部の領域の画素値に基づく統計量を計算する第１統計量計算部と、
前記合成画像の少なくとも一部の領域に対応する、前記低感度画像の少なくとも一部の領域の画素値に基づく統計量を計算する第２統計量計算部と、
前記第１統計量計算部によって計算される統計量を、前記第２統計量計算部によって計算される統計量により近づけるように、前記合成画像の画素値を補正する補正部と、
を備えることを特徴とする画像処理装置。
【請求項２】
前記第１統計量計算部は、前記統計量として、前記合成画像の各画素値の頻度の累積値を表す累積ヒストグラムを計算し、
前記第２統計量計算部は、前記統計量として、前記低感度画像の各画素値の頻度の累積値を表す累積ヒストグラムを計算する、
ことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記補正部は、前記第１統計量計算部によって計算される累積ヒストグラムと前記第２統計量計算部によって計算される累積ヒストグラムとに基づいて決定される階調変換特性に基づいて、合成画像の画素に対して階調変換処理を行うことによって、前記合成画像の画素値を補正する、
ことを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記第１統計量計算部は、前記統計量として、前記合成画像の画素値の平均値を計算し、
前記第２統計量計算部は、前記統計量として、前記低感度画像の画素値の平均値を計算する、
ことを特徴とする請求項１に記載の画像処理装置。
【請求項５】
前記第１統計量計算部によって計算される画素値の平均値を、前記第２統計量計算部によって計算される画素値の平均値により近づけるための補正値を計算する補正値計算部をさらに備え、
前記補正部は、前記合成画像の画素の画素値に対して前記補正値を加算または減算することによって、前記合成画像の画素値を補正する、
ことを特徴とする請求項４に記載の画像処理装置。
【請求項６】
前記第１統計量計算部によって計算される画素値の平均値を、前記第２統計量計算部によって計算される画素値の平均値により近づけるための補正値を計算する補正値計算部をさらに備え、
前記補正部は、前記合成画像の画素の画素値に対して前記補正値を乗算または除算することによって、前記合成画像の画素値を補正する、
ことを特徴とする請求項４に記載の画像処理装置。
【請求項７】
第１の露光時間に基づいて撮影された複数枚の高感度画像を取得するとともに、前記第１の露光時間よりも長い第２の露光時間に基づいて撮影された少なくとも１枚の低感度画像を取得するステップと、
前記複数枚の高感度画像を合成することによって、合成画像を生成するステップと、
前記合成画像の少なくとも一部の領域の画素値に基づく統計量を計算するステップと、
前記合成画像の少なくとも一部の領域に対応する、前記低感度画像の少なくとも一部の領域の画素値に基づく統計量を計算するステップと、
前記合成画像の少なくとも一部の領域の画素値に基づく統計量を、前記低感度画像の少なくとも一部の領域の画素値に基づく統計量により近づけるように、前記合成画像の画素値を補正するステップと、
を有することを特徴とする画像処理方法。
【請求項８】
第１の露光時間に基づいて撮影された複数枚の高感度画像を取得するとともに、前記第１の露光時間よりも長い第２の露光時間に基づいて撮影された少なくとも１枚の低感度画像を取得するステップと、
前記複数枚の高感度画像を合成することによって、合成画像を生成するステップと、
前記合成画像の少なくとも一部の領域の画素値に基づく統計量を計算するステップと、
前記合成画像の少なくとも一部の領域に対応する、前記低感度画像の少なくとも一部の領域の画素値に基づく統計量を計算するステップと、
前記合成画像の少なくとも一部の領域の画素値に基づく統計量を、前記低感度画像の少なくとも一部の領域の画素値に基づく統計量により近づけるように、前記合成画像の画素値を補正するステップと、
をコンピュータに実行させるための画像処理プログラム。
【請求項１】
第１の露光時間に基づいて撮影された複数枚の高感度画像を取得するとともに、前記第１の露光時間よりも長い第２の露光時間に基づいて撮影された少なくとも１枚の低感度画像を取得する画像取得部と、
前記複数枚の高感度画像を合成することによって、合成画像を生成する合成部と、
前記合成画像の少なくとも一部の領域の画素値に基づく統計量を計算する第１統計量計算部と、
前記合成画像の少なくとも一部の領域に対応する、前記低感度画像の少なくとも一部の領域の画素値に基づく統計量を計算する第２統計量計算部と、
前記第１統計量計算部によって計算される統計量を、前記第２統計量計算部によって計算される統計量により近づけるように、前記合成画像の画素値を補正する補正部と、
を備えることを特徴とする画像処理装置。
【請求項２】
前記第１統計量計算部は、前記統計量として、前記合成画像の各画素値の頻度の累積値を表す累積ヒストグラムを計算し、
前記第２統計量計算部は、前記統計量として、前記低感度画像の各画素値の頻度の累積値を表す累積ヒストグラムを計算する、
ことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記補正部は、前記第１統計量計算部によって計算される累積ヒストグラムと前記第２統計量計算部によって計算される累積ヒストグラムとに基づいて決定される階調変換特性に基づいて、合成画像の画素に対して階調変換処理を行うことによって、前記合成画像の画素値を補正する、
ことを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記第１統計量計算部は、前記統計量として、前記合成画像の画素値の平均値を計算し、
前記第２統計量計算部は、前記統計量として、前記低感度画像の画素値の平均値を計算する、
ことを特徴とする請求項１に記載の画像処理装置。
【請求項５】
前記第１統計量計算部によって計算される画素値の平均値を、前記第２統計量計算部によって計算される画素値の平均値により近づけるための補正値を計算する補正値計算部をさらに備え、
前記補正部は、前記合成画像の画素の画素値に対して前記補正値を加算または減算することによって、前記合成画像の画素値を補正する、
ことを特徴とする請求項４に記載の画像処理装置。
【請求項６】
前記第１統計量計算部によって計算される画素値の平均値を、前記第２統計量計算部によって計算される画素値の平均値により近づけるための補正値を計算する補正値計算部をさらに備え、
前記補正部は、前記合成画像の画素の画素値に対して前記補正値を乗算または除算することによって、前記合成画像の画素値を補正する、
ことを特徴とする請求項４に記載の画像処理装置。
【請求項７】
第１の露光時間に基づいて撮影された複数枚の高感度画像を取得するとともに、前記第１の露光時間よりも長い第２の露光時間に基づいて撮影された少なくとも１枚の低感度画像を取得するステップと、
前記複数枚の高感度画像を合成することによって、合成画像を生成するステップと、
前記合成画像の少なくとも一部の領域の画素値に基づく統計量を計算するステップと、
前記合成画像の少なくとも一部の領域に対応する、前記低感度画像の少なくとも一部の領域の画素値に基づく統計量を計算するステップと、
前記合成画像の少なくとも一部の領域の画素値に基づく統計量を、前記低感度画像の少なくとも一部の領域の画素値に基づく統計量により近づけるように、前記合成画像の画素値を補正するステップと、
を有することを特徴とする画像処理方法。
【請求項８】
第１の露光時間に基づいて撮影された複数枚の高感度画像を取得するとともに、前記第１の露光時間よりも長い第２の露光時間に基づいて撮影された少なくとも１枚の低感度画像を取得するステップと、
前記複数枚の高感度画像を合成することによって、合成画像を生成するステップと、
前記合成画像の少なくとも一部の領域の画素値に基づく統計量を計算するステップと、
前記合成画像の少なくとも一部の領域に対応する、前記低感度画像の少なくとも一部の領域の画素値に基づく統計量を計算するステップと、
前記合成画像の少なくとも一部の領域の画素値に基づく統計量を、前記低感度画像の少なくとも一部の領域の画素値に基づく統計量により近づけるように、前記合成画像の画素値を補正するステップと、
をコンピュータに実行させるための画像処理プログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【公開番号】特開２０１３−７０２４１（Ｐ２０１３−７０２４１Ａ）
【公開日】平成２５年４月１８日（２０１３．４．１８）
【国際特許分類】
【出願番号】特願２０１１−２０７３７８（Ｐ２０１１−２０７３７８）
【出願日】平成２３年９月２２日（２０１１．９．２２）
【出願人】（００００００３７６）オリンパス株式会社 (11,466)
【Ｆターム（参考）】
【公開日】平成２５年４月１８日（２０１３．４．１８）
【国際特許分類】
【出願日】平成２３年９月２２日（２０１１．９．２２）
【出願人】（００００００３７６）オリンパス株式会社 (11,466)
【Ｆターム（参考）】
[ Back to top ]