画像処理装置、及びプログラム
【課題】白飛びや黒つぶれの少ない幅広いダイナミックレンジを持ち、かつ、彩度も適切に調整されたＨＤＲ合成画像を提供すること。
【解決手段】露出が各々異なる複数の画像のデータが、Ｙ成分からなる複数のＹ画像のデータと、ＵＶ成分からなる複数のＵＶ画像のデータとに分離されている場合、Ｙ合成部２１は、分離後の複数のＹ画像のデータを、所定の合成比率を用いて合成する。一方、ＵＶ合成部２２は、分離後の複数のＵＶ画像のデータを、Ｙ合成部２１と同一の（若しくは略等しい）合成比率を用いて合成する。
【解決手段】露出が各々異なる複数の画像のデータが、Ｙ成分からなる複数のＹ画像のデータと、ＵＶ成分からなる複数のＵＶ画像のデータとに分離されている場合、Ｙ合成部２１は、分離後の複数のＹ画像のデータを、所定の合成比率を用いて合成する。一方、ＵＶ合成部２２は、分離後の複数のＵＶ画像のデータを、Ｙ合成部２１と同一の（若しくは略等しい）合成比率を用いて合成する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、及びプログラムに関し、特に、従来よりも、白飛びや黒つぶれの少ない幅広いダイナミックレンジを持ち、かつ、彩度も適切に調整されたＨＤＲ合成画像を提供することを可能にする技術に関する。
【背景技術】
【０００２】
近年、撮像等により得られた画像を鑑賞する際の演出効果を高める目的で、当該画像のデータに対して各種画像処理が施されるようになっている。
例えば、このような画像処理として従来、ハイダナミックレンジ合成が知られている（特許文献１参照）。ハイダナミックレンジ合成とは、露出が各々異なる複数の画像のデータを合成することで、幅広いダイナミックレンジを表現する画像、即ちいわゆるハイダイナミックレンジ合成画像（Ｈｉｇｈ Ｄｉｎａｍｉｃ Ｒａｎｇｅ合成画像、以下、「ＨＤＲ合成画像」と呼ぶ）のデータを生成する画像処理をいう。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００６−３４５５０９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、白飛びや黒つぶれの少ない幅広いダイナミックレンジを持ち、かつ、彩度も適切に調整されたＨＤＲ合成画像を提供することが要求されているが、上述した特許文献１も含めて従来の手法では、当該要求に充分に応えることができない状況である。
【０００５】
本発明は、このような状況に鑑みてなされたものであり、従来よりも、白飛びや黒つぶれの少ない幅広いダイナミックレンジを持ち、かつ、彩度も適切に調整されたＨＤＲ合成画像を提供することを目的とする。
【課題を解決するための手段】
【０００６】
上記目的達成のため、請求項１に記載の発明は、露出が各々異なる複数の画像のデータが、所定の色空間において規定される輝度成分からなる複数の第１の画像のデータと、その他の成分からなる複数の第２の画像のデータとに分離されている場合、分離後の前記複数の第１の画像のデータを、所定の合成比率を用いて合成する第１の合成手段と、分離後の前記複数の第２画像のデータを、前記第１の合成手段で用いられた合成比率と略等しい合成比率を用いて合成する第２の合成手段と、を備える。
【０００７】
また、請求項２に記載の発明は、上記請求項１に記載の発明において、前記第１の合成手段は、前記複数の第１の画像において同じ位置に存在する各画素のデータを、座標毎に異なる合成比率を用いて合成し、前記第２の合成手段は、前記複数の第２の画像において同じ位置に存在する各画素のデータを、当該位置と同じ前記第１の画像内の位置用の前記合成比率を用いて合成する。
【０００８】
また、請求項３記載の発明は、上記請求項２に記載の発明において、前記第１の合成手段は、さらに、前記複数の第１の画像のデータを平均化して平滑化されたデータを、判定用画像のデータとして用いて、前記合成比率を、前記第１の画像を構成する各画素の位置毎に設定する。
【０００９】
また、請求項４に記載の発明は、上記請求項１乃至３に記載の発明において、前記第１の合成手段は、さらに、合成後の第１の画像のデータの明るさを調整するゲインを、前記複数の第１の画像のデータ毎に設定し、設定された前記ゲインを前記合成比率にかけることで、前記合成比率を調整し、前記第２の合成手段は、前記第１の合成手段により調整された後の前記合成比率を用いて、前記第２の画像のデータを合成する。
【００１０】
また、請求項５に記載の発明は、上記請求項１乃至４に記載の発明において、前記露出が各々異なる複数の画像のデータの少なくとも一つから顔画像領域を検出する第１の画像領域検出手段とを更に備え、前記第１の合成手段は、前記第１の画像領域検出手段によって顔画像領域を検出すると、この顔画像領域に対し適正な明るさになっている画像データの明るさに基づいて前記合成比率を調整する。
【００１１】
また、請求項６に記載の発明は、上記請求項１乃至４に記載の発明において、撮像手段と、この撮像手段によって撮像されている画像データから顔画像領域を検出する第２の画像領域検出手段と、この第２の画像領域検出手段によって顔画像領域を検出するとこの顔画像領域に対し適正な明るさになるように露出値を調整するとともに、この調整された露出値を中心に露出が各々異なる複数の画像のデータを撮像するよう制御する撮像制御手段とを更に備える。
【００１２】
また、請求項７に記載の発明は、上記請求項１乃至６に記載の発明において、前記第２の合成手段は、さらに、合成後の第２の画像のデータに対して、彩度を強調するゲインをかける。
【００１３】
また、上記目的達成のため、請求項８に記載の発明は、画像のデータに対して画像処理を施す画像処理装置を制御するコンピュータに、露出が各々異なる複数の画像のデータが、所定の色空間において規定される輝度成分からなる複数の第１の画像のデータと、その他の成分からなる複数の第２の画像のデータとに分離されている場合、分離後の前記複数の第１の画像のデータを、所定の合成比率を用いて合成する第１の合成機能と、分離後の前記複数の第２画像のデータを、前記第１の合成機能で用いられた合成比率と略等しい合成比率を用いて合成する第２の合成機能と、を実現させる。
【発明の効果】
【００１４】
本発明によれば、従来よりも、白飛びや黒つぶれの少ない幅広いダイナミックレンジを持ち、かつ、彩度も適切に調整されたＨＤＲ合成画像を提供することができる。
【図面の簡単な説明】
【００１５】
【図１】本発明の一実施形態に係る撮像装置の回路構成図である。
【図２】本発明における合成処理を実行する機能についての機能的構成を示す機能ブロック図である。
【図３】図２の画像処理装置で用いられる合成比率を設定するテーブルの一例を示している図である。
【図４】図２の画像処理装置の合成部での具体的な処理結果を示している図である。
【図５】調整ゲインが反映された適正露出用合成比率Ｒｍ、合成比率のテーブルの一例を示している図である。
【図６】調整ゲインによる明るさの調整の効果を示している図である。
【図７】足しこみ量を設定するテーブルの一例を示している図である。
【図８】コントラスト強調の効果を示している図である。
【図９】図２の画像処理装置のエッジ強調部によるエッジ強調の処理で設定されるエッジ強調レベルのテーブルの一例を示している図である。
【図１０】図２の画像処理装置の彩度強調部により用いられるゲインを設定するテーブルの一例を示している図である。
【図１１】図２の画像処理装置のＵＶ合成部が実行するＵＶ成分合成処理の流れの一例を示すフローチャートである。
【図１２】露出が各々異なる画像のデータの一例を示している図である。
【図１３】図２の画像処理装置の合成部によって図１２の各画像のデータが合成された結果得られる、合成画像のデータの一例を示している図である。
【図１４】フィルタの効果を示している図である。
【図１５】本発明の画像処理装置の一実施形態に係る画像処理装置のハードウェアの構成を示すブロック図である。
【発明を実施するための形態】
【００１６】
以下、本発明の一実施形態を図面に基づいて説明する。
【００１７】
図１は、本発明の一実施形態に係る画像処理装置を備える撮像装置の回路構成図である。
この撮像装置は、撮像部１と、駆動制御部２と、ＣＤＳ／ＡＤＣ３と、キー入力部４と、表示部５と、画像記録部６と、プログラムメモリ７と、ＲＡＭ８と、制御部９と、画像処理部１０と、を備えている。
キー入力部４は、撮影者の記録指示を検出するためのシャッターキー４１を備えている。画像処理部１０は、本発明の特徴的構成に対応する合成部１１を備えている。これらはバスラインを介して接続されている。
【００１８】
同図において、撮像部１は、ＣＭＯＳ等のイメージセンサと、このイメージセンサ上に設けられたＲＧＢのカラーフィルタと、駆動制御部２からの制御により、光の強度を電荷の蓄積として一定時間保持し、ＣＤＳ／ＡＤＣ３にアナログの撮像信号としてこれらを出力するドライバと、を内蔵する。
そして、撮像部１は、シャッターキー４１、制御部９、駆動制御部２を経由した撮影者の撮影指示を検出することで、露光条件（シャッタースピード、若しくは絞り値）を変えながら、露出アンダー、適正露出、露出オーバーを含む複数の画像（カラー画像）を取得する。
ＣＤＳ／ＡＤＣ３は、撮像部１から出力される被写体の光学像に応じたアナログの撮像信号が入力される回路である。ＣＤＳ／ＡＤＣ３は、入力した撮像信号を保持するＣＤＳと、その撮像信号を増幅するゲイン調整アンプ（ＡＧＣ）と、増幅された撮像信号をデジタルの撮像信号に変換するＡ／Ｄ変換器（ＡＤＣ）と、を含むように構成されている。
なお、ゲイン調整アンプの調整に関わる制御についても、駆動制御部２からの指示に基いて実行される。このため、露光条件（シャッタースピード、若しくは絞り値）を同じくして複数枚の画像を取得しても、ＲＧＢのゲイン調整アンプや画像の色味を順次変えることによる複数の条件の異なる画像を生成することができる。
【００１９】
キー入力部４は、上述のシャッターキー４１の他、本発明に係る画像の取得や記録を目的とする撮影モードへの切換、表示の切換等を検出するための各種キーを備えている。
表示部５は、合成処理された画像を表示する機能を有する。
画像記録部６は、本発明に係る合成処理が実行された後、ＪＰＥＧ方式で符号化された画像データ（画像ファイル）を記憶格納する。
プログラムメモリ７は、制御部９、画像処理部１０にて実行されるプログラムを記憶し、必要に応じて制御部９が読み出す。
ＲＡＭ８は、各種処理により発生する処理中のデータを一時的に保持する機能を有する。制御部９は撮像装置全体の処理動作を制御する。
画像処理部１０は、画像データの符号化／復号化処理の他、本発明に係る合成処理を実行するための合成部１１を備えている。
【００２０】
次に合成処理を実行する機能について、図２の機能ブロック図を用いて説明する。
本実施形態でいう合成処理とは、露出が各々異なる複数の画像のデータを合成することで、ＨＤＲ合成画像のデータを生成する処理をいう。
特に本実施形態のＨＤＲ合成処理では、撮像部１、ＣＤＳ／ＡＤＣ３を経て、露光条件（シャッタースピード、絞り値、若しくは、ゲイン調整値）を変えながら連写されて取得された複数の画像について、これらの画像のデータの各々が、ＹＵＶ色空間で規定される輝度成分を示す輝度信号（Ｙ）と、それ以外の成分、具体的には青色成分の差分信号（Ｕ）と、赤色成分の差分信号（Ｖ）との３要素の成分のうち、Ｙ成分とＵＶ成分とに分離されて与えられ、分離後の複数のＹ成分が合成されるのみならず、分離後の複数のＵＶ成分が合成される。
このような合成後のＹ成分とＵＶ成分をあわせた結果得られるＨＤＲ合成画像のデータは、従来よりも、白飛びや黒つぶれの少ない幅広いダイナミックレンジを持ち、かつ、彩度も適切に調整された画像のデータになる。
【００２１】
合成部１１は、適正露出の画像（以下、「適正露出画像」と呼ぶ）のデータと、適正露出を超えた露出の画像（以下、「露出オーバー画像」と呼ぶ）のデータと、適正露出未満の露出の画像（以下、「露出アンダー画像」と呼ぶ）のデータと、を合成する。
ここで、適正な露出とは、撮像条件にとって必ずしも適正な露出であることを意味せず、露出オーバー画像及び露出アンダー画像の各々を撮像した時に用いた２つの露出の間の中間的な露出を意味する。換言すると、露出オーバー画像及び露出アンダー画像の各々を撮像した時に用いた２つの露出と比較した場合に適正な露出が、ここでいう適正な露出である。
【００２２】
ここで、以下、適正露出画像のデータのＹ成分を「適正露出Ｙ画像のデータ」と呼び、露出オーバー画像のデータのＹ成分を「露出オーバーＹ画像のデータ」と呼び、露出アンダー画像のデータのＹ成分を「露出アンダーＹ画像のデータ」と呼ぶ。
一方、適正露出画像のデータのＵＶ成分を「適正露出ＵＶ画像のデータ」と呼び、露出オーバー画像のデータのＵＶ成分を「露出オーバーＵＶ画像のデータ」と呼び、露出アンダー画像のデータのＵＶ成分を「露出アンダーＵＶ画像のデータ」と呼ぶ。
図２の例では、適正露出Ｙ画像、露出オーバーＹ画像、及び、露出アンダーＹ画像の各データ、並びに、適正露出ＵＶ画像、露出オーバーＵＶ画像、及び、露出アンダーＵＶ画像の各データは、予め用意されているものとする。
【００２３】
なお、Ｙ合成部２１の処理対象となる各画像のデータを、個々に区別せずに、ＵＶ合成部２２の処理対象に対して区別をすることを主目的とする場合、これらをまとめて、単に「Ｙ画像のデータ」と呼ぶ。即ち、Ｙ成分を各画素値として構成されるデータの全体が、Ｙ画像のデータになる。
一方、ＵＶ合成部２２の処理対象となる各画像のデータを、個々に区別せずに、Ｙ合成部２１の処理対象に対して区別をすることを主目的とする場合、これらをまとめて、単に「ＵＶ画像のデータ」と呼ぶ。即ち、ＵＶ成分を各画素値として構成されるデータの全体が、ＵＶ画像のデータになる。
【００２４】
図２に示すように、合成部１１は、Ｙ合成部２１と、ＵＶ合成部２２と、を備えている。
Ｙ合成部２１は、適正露出Ｙ画像、露出オーバーＹ画像、及び露出アンダーＹ画像の各々のデータを合成することによって、合成画像のデータを生成する。このようなＹ合成部２１により生成される合成画像のデータを、以下、「合成Ｙ画像のデータ」と呼び、合成Ｙ画像のデータが生成される一連の処理を、以下、「Ｙ成分合成処理」と呼ぶ。このようなＹ成分合成処理により生成された合成Ｙ画像のデータは、白飛びや黒つぶれがなく、かつ広いダイナミックレンジを持ったＹ成分となる。
一方、ＵＶ合成部２２は、適正露出ＵＶ画像のデータ、露出オーバーＵＶ画像のデータ、及び露出アンダーＵＶ画像のデータを合成することによって、合成画像のデータ（以下、「合成ＵＶ画像のデータ」と呼ぶ）を生成する。このようなＵＶ合成部２２により生成される合成画像のデータを、以下、「合成ＵＶ画像のデータ」と呼び、合成ＵＶ画像のデータが生成される一連の処理を、以下、「ＵＶ成分合成処理」と呼ぶ。このようなＵＶ成分合成処理により生成された合成ＵＶ画像のデータは、適切な色身に調整されたＵＶ成分となる。
このようにして、合成部１１からは、Ｙ合成部２１のＹ成分合成処理によって生成された合成Ｙ画像のデータが出力されると共に、ＵＶ合成部２２のＵＶ成分合成処理によって生成された合成ＵＶ画像のデータが出力される。
【００２５】
ここで、本実施形態では、Ｙ成分合成処理において、適正露出Ｙ画像、露出オーバーＹ画像、及び露出アンダーＹ画像の各々のデータは、所定の合成比率に従って合成される。
合成比率とは、２以上の画像のデータが合成される場合、各々の画像のデータの混合の割合をいう。例えば、適正露出Ｙ画像、露出オーバーＹ画像、及び露出アンダーＹ画像の各々のデータの合成比率の各々が、７０％、３０％、０％の各々である場合には、適正露出Ｙ画像のデータの７０％と、露出オーバーＹ画像のデータの３０％とが混合された結果得られるデータが、合成Ｙ画像のデータになる。なお、本例では、露出アンダーＹ画像のデータは、混合比率は０％であるため、合成に用いられない。
一方、ＵＶ成分合成処理においても、適正露出ＵＶ画像、露出オーバーＵＶ画像、及び露出アンダーＵＶ画像の各々のデータは、所定の合成比率に従って合成される。
ここで、ＵＶ成分合成処理に用いられる合成比率は、Ｙ成分合成処理に用いられる合成比率と独立に設定されてもよいが、本実施形態では、Ｙ成分合成処理に用いられる合成比率がそのまま用いられる。
このように、輝度（コントラスト）が調整された合成Ｙ画像のデータのみならず、彩度が調整された合成ＵＶ画像のデータも得られるため、これらをあわせた結果得られるＨＤＲ合成画像のデータは、従来よりも、白飛びや黒つぶれの少ない幅広いダイナミックレンジを持ち、かつ、彩度も適切に調整された画像のデータになる。
【００２６】
以下、このような合成部１１を構成するＹ合成部２１及びＵＶ合成部２２の詳細について、その順番に個別に説明する。
はじめに、Ｙ合成部２１の詳細について説明する。
【００２７】
Ｙ合成部２１は、平均化部３１と、εフィルタ部３２と、合成部３３と、ゲイン設定部３４と、減算部３５と、コントラスト強調部３６と、エッジ強調部３７と、を備えている。
【００２８】
平均化部３１は、適正露出Ｙ画像、露出オーバーＹ画像、及び露出アンダーＹ画像の各々のデータを平均化し、その結果得られる画像のデータ（以下、「平均Ｙ画像のデータ」と呼ぶ）をεフィルタ部３２に供給する。
【００２９】
εフィルタ部３２は、平均化部３１から供給された平均Ｙ画像のデータに対して、εフィルタをかけることによって、平滑化された画像のデータを生成し、合成部３３及び減算部３５に供給する。
ここで、εフィルタ部３２から出力される画像のデータ、即ち、平均Ｙ画像のデータに対してεフィルタをかけることによって得られる画像のデータは、後述するように、合成部３３において判定用のデータとして用いられる。そこで、以下、当該データを、判定用Ｙ画像のデータと呼ぶ。
【００３０】
合成部３３は、適正露出Ｙ画像、露出オーバーＹ画像、及び露出アンダーＹ画像の各々のデータを合成する。
具体的には例えば、合成部３３は、適正露出Ｙ画像、露出オーバーＹ画像、及び露出アンダーＹ画像の各々を構成する各画素のうち、処理の対象として注目すべき同一位置（座標）に存在する画素を、注目画素として設定する。
合成部３３は、適正露出Ｙ画像、露出オーバーＹ画像、及び露出アンダーＹ画像の各々の注目画素に対して合成比率をそれぞれ設定し、設定された各々の合成比率で、各々の注目画素の画素値を合成する。
【００３１】
図３は、合成比率を設定するテーブルの一例を示している。
図３において、横軸は、判定用Ｙ画像の輝度値（０乃至２５５の範囲内の値）を示しており、縦軸は、合成比率（％）を示している。
実線は、適正露出Ｙ画像に適用される合成比率Ｒｍ（以下、「適正露出用合成比率Ｒｍ」と呼ぶ）を示している。点線は、露出オーバーＹ画像に適用される合成比率Ｒｏ（以下、「露出オーバー用合成比率Ｒｏ」と呼ぶ）を示している。一点鎖線は、露出アンダーＹ画像に適用される合成比率Ｒｕ（以下、「露出アンダー用合成比率Ｒｕ」と呼ぶ）を示している。
図３に示すように、合成部３３は、判定用Ｙ画像（平滑化された画像）データの明るさ、即ち、判定用Ｙ画像の輝度値に基づいて、適正露出用合成比率Ｒｍ、露出オーバー用合成比率Ｒｏ、及び露出アンダー用合成比率Ｒｕの各々を設定する。
具体的には例えば、判定用Ｙ画像の輝度値が低い場合（暗い場合）、明るく撮影された画像の合成比率が高くなるように、即ちここでは露出オーバー合成比率Ｒｏが高くなるように、適正露出用合成比率Ｒｍ、露出オーバー用合成比率Ｒｏ、及び露出アンダー用合成比率Ｒｕの各々が設定される。
逆に、例えば、判定用Ｙ画像の輝度値が高い場合（明るい場合）、暗く撮影された画像の合成比率が高くなるように、即ちここでは露出アンダー合成比率Ｒｕが高くなるように、適正露出用合成比率Ｒｍ、露出オーバー用合成比率Ｒｏ、及び露出アンダー用合成比率Ｒｕの各々が設定される。
【００３２】
ここで、適正露出Ｙ画像の注目画素の画素値を「Ｙｍ」と記述し、露出アンダーＹ画像の注目画素の画素値を「Ｙｕ」と記述し、露出オーバーＹ画像の注目画素の画素値を「Ｙｏ」と記述し、各々の注目画素の合成値「Ｙｍｉｘ」と記述する。
この場合、合成部３３は、次の式（１）を演算することで、各々の注目画素の合成値Ｙｍｉｘを演算することができる。
Ｙｍｉｘ＝Ｒｕ×Ｙｕ＋Ｒｍ×Ｙｍ＋Ｒｏ×Ｙｏ ・・・（１）
【００３３】
合成部３３は、適正露出Ｙ画像、露出オーバーＹ画像、及び露出アンダーＹ画像の各々の同一座標の画素を注目画素に順次設定し、その都度、上述した一連の処理を繰り返すことによって、合成Ｙ画像のデータを生成する。
【００３４】
図４は、合成部３３の具体的な処理結果を示している。
図４（Ａ）は、露出アンダーＹ画像のデータの一例を示している。
図４（Ｂ）は、適正露出Ｙ画像のデータの一例を示している。
図４（Ｃ）は、露出オーバーＹ画像のデータの一例を示している。
図４（Ｄ）は、平均Ｙ画像のデータの一例を示している。即ち、図４（Ａ）の露出アンダーＹ画像、図４（Ｂ）の適正露出Ｙ画像、図４（Ｃ）の露出オーバーＹ画像の各々のデータが平均化部３１により平均化された結果として、図４（Ｄ）の平均Ｙ画像のデータが得られた。
図４（Ｅ）は、判定用Ｙ画像のデータの一例を示している。即ち、図４（Ｄ）の平均Ｙ画像のデータに対してεフィルタがεフィルタ部３２によってかけられることによって、図４（Ｅ）の平滑化された画像のデータが得られ、これが判定用Ｙ画像のデータとして用いられた。
図４（Ｆ）は、合成画像のデータの一例を示している。即ち、図４（Ｅ）の判定用Ｙ画像のデータと図３のテーブルとに基づいて合成比率が設定され、当該合成比率で、図４（Ａ）の露出アンダーＹ画像、図４（Ｂ）の適正露出Ｙ画像、図４（Ｃ）の露出オーバーＹ画像の各々のデータが合成部３３により合成された結果として、図４（Ｆ）の合成画像のデータが得られた。
【００３５】
さらに、合成部３３は、このようにして生成される合成Ｙ画像のデータの明るさを調整することができる。
具体的には、ゲイン設定部３４は、合成Ｙ画像のデータの明るさを調整するゲインとして、適正露出Ｙ画像に適用される調整ゲインＧｍと、露出オーバーＹ画像に適用される調整ゲインＧｏと、露出アンダーＹ画像に適用される調整ゲインＧｕと、を設定する。
ゲイン設定部３４により設定された調整ゲインＧｍ，Ｇｏ，Ｇｕの各々は、適正露出用合成比率Ｒｍ、露出オーバー用合成比率Ｒｏ、及び露出アンダー用合成比率Ｒｕの各々に乗算される。これにより、結果として、合成Ｙ画像のデータの明るさが調整される。
【００３６】
図５は、調整ゲインＧｍ，Ｇｏ，Ｇｕの各々が反映された適正露出用合成比率Ｒｍ、露出オーバー用合成比率Ｒｏ、及び露出アンダー用合成比率Ｒｕのテーブルの一例を示している。
図５のテーブルは、図３のテーブルに対して、調整ゲインＧｍ＝２．０、調整ゲインＧｏ＝１．５、調整ゲインＧｕ＝１．０が適用された結果として、得られたものである。このため、横軸や縦軸等の前提事項は、図３と同様であるため、ここではその説明を省略する。
【００３７】
図６は、このような調整ゲインＧｍ，Ｇｏ，Ｇｕによる明るさの調整の効果を示している。
図６（Ａ）は、このような調整ゲインＧｍ，Ｇｏ，Ｇｕによる調整が無い場合の合成画像のデータ、即ち、図３のテーブルに基づいて生成された合成画像のデータの一例を示している。
図６（Ｂ）は、このような調整ゲインＧｍ，Ｇｏ，Ｇｕによる調整がなされた場合の合成画像のデータ、即ち、図５のテーブルに基づいて生成された合成画像のデータの一例を示している。
図６（Ｂ）の合成画像のデータは、図５（Ｂ）の合成画像のデータと比較して、暗部を中心に明るくなるように調整されていることがわかる。
【００３８】
図２に戻り、減算部３５には、平均化部３１から平均Ｙ画像のデータが供給される。
減算部３５にはまた、εフィルタ部３２から判定用Ｙ画像のデータとして合成部３３に供給される、平滑化された画像のデータ、即ち、平均Ｙ画像のデータに対してεフィルタがかけられた画像のデータも供給される。
そこで、減算部３５は、平均Ｙ画像のデータと、それに対してεフィルタがかけられた画像のデータとの差分を演算し、その結果得られるデータをコントラスト成分として、コントラスト強調部３６に出力する。
【００３９】
コントラスト強調部３６は、合成部３３から出力された合成Ｙ画像のデータに対して、減算部３５から出力されたコントラスト成分を足しこむ。ここで、コントラスト強調部３６の処理単位も注目画素であり、注目画素に設定される画素によって、減算部３５から出力されるコントラスト成分も異なることになるため、足しこむ量も異なることになる。このようにして、局所的にコントラストを強調することが必要に応じて可能になる。
さらに、コントラスト強調部３６は、コントラスト成分を足しこむことによる白飛びや黒つぶれの発生を防止すべく、合成Ｙ画像の明るさ（輝度値）に応じて、コントラスト成分の足しこみ量を調整する。
【００４０】
図７は、足しこみ量を設定するテーブルの一例を示している。
図７において、横軸は、合成Ｙ画像の輝度値（０乃至２５５の範囲内の値）を示しており、縦軸は、足しこみ量（％）を示している。
【００４１】
ここで、足しこまれるコントラスト成分を「Ｙｃ」と記述し、平均化部３１から出力される平均Ｙ画像のデータを「Ｙａ」と記述し、εフィルタ部３２から出力されるデータ、即ち、平均Ｙ画像のデータＹａに対してεフィルタがかけられた画像のデータを「Ｙａε」と記述する。
この場合、コントラスト成分Ｙｃは、次の式（２）により示される。
Ｙｃ＝Ｙａ−Ｙａε＋Ｃ ・・・（２）
式（２）において、Ｃは、定数を表わしており、本実施形態では１２７であるものとする。
即ち、減算部３５は、式（２）に従って、コントラスト成分Ｙｃを生成する。
なお、減算部３５の処理の単位は、注目画素となるため、注目画素についてのコントラスト成分Ｙｃが式（２）により演算されることになる。
【００４２】
また、コントラスト強調後の合成画像の注目画素の画素値を「Ｙｒ」と記述し、当該注目画素についての足しこみ量を「ａｄｄ＿ｌｅｖ」と記述すると、コントラスト強調後の合成画像の注目画素の画素値Ｙｒは、次の式（３）により示される。
Ｙｒ＝Ｙｍｉｘ＋（Ｙｃ−Ｃ）×ａｄｄ＿ｌｅｖ ・・・（３）
即ち、コントラスト強調部３６は、式（３）に従って、コントラスト強調後の合成画像の注目画素の画素値Ｙｒを演算する。
この場合の足しこみ量ａｄｄ＿ｌｅｖは、合成部３３から出力される合成Ｙ画像の注目画素の輝度値と、図７のテーブルとによって設定される。
コントラスト強調部３６は、合成部３３から出力される合成Ｙ画像を構成する各画素を注目画素に順次設定し、その都度、式（３）を演算する。このようにして、コントラスト強調後の合成Ｙ画像のデータが生成される。
【００４３】
図８は、このようなコントラスト強調の効果を示している。
図８（Ａ）は、コントラスト成分のデータの一例を示している。
図８（Ｂ）は、コントラスト強調前の合成画像のデータ、即ち、合成部３３の出力データの一例を示している。
図８（Ｃ）は、コントラスト強調後の合成画像のデータ、即ち、コントラスト強調部３６の出力データの一例を示している。
【００４４】
このようにしてコントラスト強調部３６により生成されたコントラスト強調後の合成Ｙ画像のデータは、エッジ強調部３７に供給される。
エッジ強調部３７は、平均化によりエッジが低下してしまった合成Ｙ画像のデータに対して、エッジ強調の処理を施す。
なお、この場合のエッジ強調部３７の処理単位も注目画素になり、注目画素として設定される画素毎に、異なったエッジ強調の度合（以下、「エッジ強調レベル」）が設定される。
【００４５】
図９は、エッジ強調部３７によるエッジ強調の処理で設定されるエッジ強調レベルのテーブルの一例を示している。
図９（Ａ）は、合成比率のテーブルの一例であって、図３と同一の例を示している。
図９（Ｂ）は、エッジ強調レベルのテーブルの一例を示している。
図９（Ｂ）において、横軸は、判定用Ｙ画像の輝度値（０乃至２５５の範囲内の値）を示しており、縦軸は、エッジ強調レベルを示している。
図９（Ｂ）の例では、平均化の度合が大きくなるほど、即ち、適正露出用合成比率Ｒｍと露出オーバー用合成比率Ｒｏとの比率が１：１に近づくほど、或いはまた、適正露出用合成比率Ｒｍと露出アンダー用合成比率Ｒｕとの比率が１：１に近づくほど、大きなエッジ強調レベルが設定される。
なお、エッジ強調部３７の処理量を減少させる必要がある場合、又は省略する必要がある場合、合成部３３による合成前のＹ画像のデータ、ここでは、適正露出Ｙ画像、露出オーバーＹ画像、及び露出アンダーＹ画像の各データとして、予め強めのエッジ強調が施されたデータを用意しておくよい。
【００４６】
エッジ強調部３７によりエッジ強調の処理が施された合成Ｙ画像のデータは、Ｙ合成部２１の出力データとして、外部に出力される。
【００４７】
以上、Ｙ合成部２１の詳細について説明した。
次に、ＵＶ合成部２２の詳細について説明する。具体的には、先ず、図２及び図１０を参照して、ＵＶ合成部２２の構成について説明する。次に、図１１を参照して、ＵＶ合成部２２が実行するＵＶ成分合成処理の流れについて説明する。
【００４８】
図２に示すように、ＵＶ合成部２２は、合成比率取得部４１と、合成部４２と、彩度強調部４３と、を備えている。
【００４９】
ここで、ＵＶ合成部２２の処理単位も、注目画素であるとする。即ち、適正露出ＵＶ画像、露出オーバーＵＶ画像、及び、露出アンダーＵＶ画像の各々を構成する画素が、注目画素として設定される。
ここで、後述するように、ＵＶ合成部２２は、Ｙ合成部２１と必ずしも同期して実行する必要はないが、説明の便宜上、ＵＶ画像における注目画素と、Ｙ画像における注目画素とは、同一座標の各々対応する画素であるものとして、以下の説明を行う。即ち、以下の説明では、Ｙ画像と、それに対応するＵＶ画像との各々において、同一座標に位置する各々対応する画素が、注目画素に設定されるものとする。
【００５０】
この場合、合成比率取得部４１は、Ｙ合成部２１の合成部３３において注目画素の合成に用いられた合成比率を取得する。
ここで、合成比率取得部４１により取得される合成比率とは、適正露出用合成比率Ｒｍ、露出オーバー用合成比率Ｒｏ、及び露出アンダー用合成比率Ｒｕの組である。
また、本実施形態では、合成比率取得部４１は、ゲイン設定部３４により設定される調整ゲインを用いた明るさ調整後の合成比率、即ち、図５のテーブルに基づいて設定された合成比率を取得する。
ただし、合成比率取得部４１は、必要に応じて、図３のテーブルに基づいて設定された合成比率、即ち、ゲイン設定部３４により設定される調整ゲインを用いた明るさ調整前の合成比率を取得するようにしてもよい。
【００５１】
合成部４２は、合成比率取得部４１により取得された合成比率、即ち、Ｙ合成部２１の合成部３３において注目画素の合成に用いられた合成比率をそのまま用いて、適正露出ＵＶ画像、露出オーバーＵＶ画像、及び露出アンダーＵＶ画像の各々の注目画素の画素値を合成する。
【００５２】
ここで、適正露出ＵＶ画像の注目画素の画素値を「ＵＶｍ」と記述し、露出アンダーＵＶ画像の注目画素の画素値を「ＵＶｕ」と記述し、露出オーバーＹ画像の注目画素の画素値を「ＵＶｏ」と記述し、各々の注目画素の合成値「ＵＶｍｉｘ」と記述する。
この場合、合成部４２は、次の式（４）を演算することで、各々の注目画素の合成値ＵＶｍｉｘを演算することができる。
ＵＶｍｉｘ＝Ｒｕ×ＵＶｕ＋Ｒｍ×ＵＶｍ＋Ｒｏ×ＵＶｏ ・・・（４）
【００５３】
式（４）において、Ｒｕ，Ｒｍ，Ｒｏは、Ｙ合成部２１の合成部３３が注目画素の合成値Ｙｍｉｘを上述した式（１）に従って演算した際に用いられたパラメータである。即ち、合成比率取得部４１に取得された、適正露出用合成比率Ｒｍ、露出オーバー用合成比率Ｒｏ、及び露出アンダー用合成比率Ｒｕが、式（４）に代入される。
例えば、合成比率取得部４１により取得された合成比率、即ち、Ｙ合成部２１の合成部３３において注目画素の合成のための式（１）に用いられた、適正露出用合成比率Ｒｍ＝０．７（７０％）、露出オーバー用合成比率Ｒｏ＝０．３（３０％）、露出アンダー用合成比率Ｒｕ＝０（０％）であるとする。この場合、式（４）においても、Ｒｍに０，７が代入され、Ｒｏに０．３が代入され、かつ、Ｒｏに０が代入されて、合成部４２により演算され、注目画素の合成値ＵＶｍｉｘが算出される。
【００５４】
以上まとめると、合成部４２は、適正露出ＵＶ画像、露出オーバーＵＶ画像、及び露出アンダーＵＶ画像の各々の同一座標の画素であって、Ｙ合成部２１により注目画素として設定されている画素の座標と同一座標の画素を注目画素に順次設定する。
そして、合成部４２は、注目画素に設定された画素毎に、合成比率取得部４１により取得された合成比率、即ち、Ｙ合成部２１の合成部３３において注目画素の合成に用いられた合成比率をそのまま用いて、上述した一連の処理を繰り返すことによって、合成画像のデータを生成する。
このようにしてＵＶ合成部２２の合成部４２により生成された合成画像のデータを、以下、「合成ＵＶ画像のデータ」と呼ぶ。
【００５５】
なお、ＵＶ合成部２２は、ＵＶ画像側の注目画素と同一座標のＹ画像内の画素に対して、適用された合成比率を利用することができれば足りるのであって、当該Ｙ画像内の画素が現在Ｙ合成部２１において注目画素に設定されている必要はない。即ち、ＵＶ合成部２２は、Ｙ合成部２１と同期して動作してもよいが、非同期で動作しなくてもよい。
非同期で動作する場合には、例えば、Ｙ合成部２１において用いられた合成比率はバッファ（図示せず）に一時的に蓄積され、合成比率取得部４１は、当該バッファに蓄積された合成比率を取得する。この場合、バッファに蓄積された１以上の画素毎の合成比率の中から、ＵＶ画像側の注目画素と同一座標のＹ画像内の画素に対して適用された合成比率を合成部４２が認識できる仕組みが、合成部１１に設けられる。
【００５６】
合成部４２により生成された合成ＵＶ画像のデータは、彩度強調部４３に供給される。
彩度強調部４３は、合成ＵＶ画像の注目画素の画素値に対して所定のゲインを乗算することによって、注目画素の彩度を強調する。
このように、彩度強調部４３の処理単位も注目画素であり、注目画素として設定された画素毎に、ゲインが設定されることになる。
【００５７】
図１０は、彩度強調部４３により用いられるゲインを設定するテーブルの一例を示している。
図１０において、横軸は、彩度レベル（０乃至２５５の範囲内の値）を示しており、縦軸は、ゲイン（％）を示している。
ここで、彩度レベルとしては、ＹＵＶ空間から変換されたＨＳＶ空間において算出されたＳ値を採用してもよいが、本実施形態では、処理負荷軽減のため、式（５）に示すように、Ｕ値とＶ値の各々の絶対値のうちの大きい方を採用する。
Ｓ＿ｌｅｖ＝ｍａｘ（｜Ｕ＿ｍｉｘ｜，｜Ｖ＿ｍｉｘ｜） ・・・（５）
式（５）において、Ｓ＿ｌｅｖは、彩度レベルを示している。ｍａｘ（α，β）は、αとβのうちの最大値を出力する関数を示している。Ｕ＿ｍｉｘは、合成ＵＶ画像の注目画素のＵ値を示している。Ｖ＿ｍｉｘは、合成ＵＶ画像の注目画素のＶ値を示している。
図１０の例では、彩度レベルＳ＿ｌｅｖが低い場合と高い場合にゲインが抑えられる。即ち、合成ＵＶ画像のうち低彩度と高彩度の領域の画素が注目画素に設定された場合に、ゲインが抑えられる。これにより、ゲインによる色飽和や、グレー領域に対する不要な彩度強調を防止することが可能になる。
【００５８】
彩度強調部４３により彩度が強調された合成ＵＶ画像のデータは、ＵＶ合成部２２の出力データとして、外部に出力される。
【００５９】
次に、図１１のフローチャートを参照して、このような構成を有する図２のＵＶ合成部２２が実行するＵＶ成分合成処理について説明する。
図１１は、合成処理の流れの一例を示すフローチャートである。
【００６０】
ステップＳ１において、ＵＶ合成部２２は、適正露出ＵＶ画像、露出オーバーＵＶ画像、及び、露出アンダーＵＶ画像の各々を構成する画素のうち、所定の座標に位置する画素を注目画素として設定する。
なお、図１１の説明においても、ＵＶ画像の注目画素の座標と同一座標に位置するＹ画像内の画素も、Ｙ画像の注目画素として設定されているものとする。
【００６１】
ステップＳ２において、ＵＶ合成部２２は、Ｙ画像の注目画素に対するＹ成分合成処理が実行されたか否かを判定する。
Ｙ画像の注目画素に対するＹ成分合成処理が実行中の場合には、ステップＳ２においてＮＯであると判定されて、処理はステップＳ２に戻さる。即ち、Ｙ画像の注目画素に対するＹ成分合成処理が実行中の場合には、ステップＳ２の判定処理が繰り返し実行されて、ＵＶ成分合成処理は待機状態になる。
その後、Ｙ画像の注目画素に対するＹ成分合成処理が終了した場合には、ステップＳ２においてＹＥＳであると判定されて、処理はステップＳ３に進む。
【００６２】
ステップＳ３において、ＵＶ合成部２２の合成比率取得部４１は、Ｙ画像の注目画素に対するＹ成分合成処理で用いられる合成比率を取得する。即ち、注目画素について上述した式（１）が演算される際に、パラメータＲｍ，Ｒｏ，Ｒｕの各々に代入された、適正露出用合成比率Ｒｍ、露出オーバー用合成比率Ｒｏ、及び露出アンダー用合成比率Ｒｕの各々が合成比率取得部４１により取得される。
【００６３】
ステップＳ４において、合成比率取得部４１は、露出が各々異なる複数のＵＶ画像の各注目画素のデータを取得する。
即ち、本実施形態では、適正露出ＵＶ画像、露出オーバーＵＶ画像、及び、露出アンダーＵＶ画像の各注目画素のデータが取得される。
【００６４】
ステップＳ５において、合成比率取得部４１は、ステップＳ３の処理で取得された合成比率を用いて、即ち、Ｙ画像の注目画素に対して用いられた合成比率をそのまま用いて、露出が各々異なる複数のＵＶ画像のデータを合成することによって、合成ＵＶ画像のデータを生成する。
【００６５】
ステップＳ６において、彩度強調部４３は、合成ＵＶ画像のデータに対して、彩度強調処理を施す。
【００６６】
ステップＳ７において、ＵＶ合成部２２は、全ての画素を注目画素に設定したか否かを判定する。
適正露出ＵＶ画像、露出オーバーＵＶ画像、及び、露出アンダーＵＶ画像の各々を構成する画素のうち、注目画素に未だ設定されていない画素が存在する場合、ステップＳ７においてＮＯであると判定されて、処理はステップＳ２に戻され、それ以降の処理が繰り返される。
即ち、適正露出ＵＶ画像、露出オーバーＵＶ画像、及び、露出アンダーＵＶ画像の各々を構成する画素が注目画素として順次設定される毎に、ステップＳ１乃至Ｓ７のループ処理が繰り返し実行されて、合成ＵＶ画像のデータが生成されていく。
そして、最後の画素がステップＳ１の処理で注目画素に設定されて、ステップＳ２乃至Ｓ６の処理が実行されると、合成ＵＶ画像のデータが完成するので、次のステップＳ７においてＹＥＳであると判定されて、ＵＶ成分合成処理は終了となる。そしてこの後、合成処理された画像はファイル化され、画像記録部６に記録される。
【００６７】
なお、以上説明した図１１のフローチャートの流れは、ＵＶ成分合成処理の例示に過ぎない。
例えば、合成比率を取得するステップＳ３の処理タイミングは、図１１の例に特に限定されず、取得すべき合成比率が既知である段階であれば足りる。換言すると、ステップＳ３以降の処理は、Ｙ画像の注目画素に対するＹ成分合成処理で用いられる合成比率が設定された後であればいつでも実行することが可能である。
また例えば、ステップＳ３乃至Ｓ６の処理は、図１１の例では画素を単位として実行されたが、図１１の例に特に限定されず、所定数の画素からなるブロックを単位として実行してもよいし、画像全体を単位として実行してもよい。
【００６８】
以上説明したように、露出が各々異なる複数の画像のデータが、Ｙ成分からなる複数のＹ画像のデータと、ＵＶ成分からなる複数のＵＶ画像のデータとに分離されている場合、図２のＹ合成部２１は、分離後の複数のＹ画像のデータを、所定の合成比率を用いて合成する。一方、ＵＶ合成部２２は、分離後の複数のＵＶ画像のデータを、Ｙ合成部２１と同一（若しくは略等しい）の合成比率を用いて合成する。
これにより、輝度（コントラスト）が調整された合成Ｙ画像のデータのみならず、彩度が調整された合成ＵＶ画像のデータも得られるため、これらをあわせた結果得られるＨＤＲ合成画像のデータは、従来よりも、白飛びや黒つぶれの少ない幅広いダイナミックレンジを持ち、かつ、彩度も適切に調整された画像のデータになる。
特に、Ｙ合成部２１が、複数のＹ画像内の同一座標の各画素のデータを、座標毎に異なる合成比率を用いて合成し、ＵＶ合成部２２が、複数のＵＶ画像内の同一座標の各画素のデータを、当該座標と同一のＵＶ画像内の座標用の合成比率を用いて合成することによって、画素毎の適応的な調整が可能になるため、当該効果が顕著なものとなる。
このような効果は、図１２と図１３を比較することで明確にわかる。
【００６９】
図１２は、露出が各々異なる画像のデータの一例を示している。
図１２（Ａ）は、露出アンダーの画像のデータの一例を示している。
図１２（Ｂ）は、適正露出の画像のデータの一例を示している。
図１２（Ｃ）は、露出オーバーの画像のデータの一例を示している。
【００７０】
図１３は、図２の合成部１１によって図１２の各画像のデータが合成された結果得られる、合成画像のデータの一例を示している。
図１３に示す合成画像は、図１２の合成前の何れの画像と比較しても、広いダイナミックレンジを持った画像、即ちコントラストのはっきりとしたメリハリのある画像になっていることがわかる。
また、図１３は、カラー画像を白黒画像に変換したために示すことが困難であるが、変換前のカラー画像では、彩度が適切に調整された画像になっていることが確認された。
【００７１】
なお、本発明は前記実施形態に限定されるものではなく、本発明の目的を達成できる範囲での変形、改良等は本発明に含まれるものである。
【００７２】
例えば、上述した実施形態では、Ｙ成分合成処理の際に用いる判定用Ｙ画像のデータとしては、露出が異なる複数のＹ画像のデータが平均化された平均Ｙ画像のデータに対して、εフィルタがかけられたデータが用いられた。
しかしながら、判定用Ｙ画像のデータは、特にこれに限定されず、平均Ｙ画像のデータに対して、εフィルタの代わりに通常のＬＰＦ（Ｌｏｗ Ｐａｓｓ Ｆｉｌｔｅｒ）がかけられたデータを用いてもよい。
【００７３】
ただし、通常のＬＰＦよりも、本実施形態のようにεフィルタを採用した方が好適である。以下、好適な理由について説明する。
即ち、Ｙ合成部２１によるＹ成分合成処理においては、コントラスト強調部３６によるコントラスト強調や、その前段の合成部３３による合成Ｙ画像のデータの生成のときに、オーバーシュート又はアンダーシュートが発生する。
このようなオーバーシュートやアンダーシュートの発生を軽減する効果を果たすのが、εフィルタである。即ち、εフィルタは、注目画素とその周辺の画素との間の画素値の差分を局所情報として用いることで、通常のＬＰＦと比較して、輝度差の大きい領域を維持したまま、輝度差の小さい領域のみを効果的にボカすことができる。これにより、オーバーシュートやアンダーシュートの発生の軽減効果を奏することが可能になる。
【００７４】
図１４は、このようなεフィルタの効果を示している。
図１４（Ａ）は、図４（Ｄ）の平均Ｙ画像のデータに対して、通常のＬＰＦをかけた結果得られるデータの一例を示している。
図１４（Ｂ）は、図４（Ｄ）の平均Ｙ画像のデータに対して、εフィルタをかけた結果得られるデータ、即ち、εフィルタ部３２の出力データの一例を示している。
図１４（Ｃ）は、図１４（Ａ）の通常のＬＰＦがかけられたデータを判定用Ｙ画像のデータとして用いた場合に、合成部３３から出力される合成Ｙ画像のデータの一例を示している。
図１４（Ｄ）は、図１４（Ｂ）のεフィルタがかけられたデータ（εフィルタ部３２の出力データ）を判定用Ｙ画像のデータとして用いた場合に、合成部３３から出力される合成Ｙ画像のデータの一例を示している。
図１４（Ｃ）の領域１０１Ｃと図１４（Ｄ）の領域１０１Ｄとを見比べたり、図９（Ｃ）の領域１０２Ｃと図９（Ｄ）の領域１０２Ｄとを見比べることで、εフィルタによるオーバーシュート及びアンダーシュートの軽減の効果を認めることができる。
【００７５】
このように、Ｙ合成部２１がＹ成分合成処理を実行して好適な合成Ｙ画像のデータを生成するためには、ボケ量が大きい判定用Ｙ画像のデータが必要になる。このような判定用Ｙ画像のデータを生成するためのεフィルタとしては、大きなサイズが要求されるため、処理量と処理時間の増加が問題となる場合がある。
このような問題を発生させないか又は軽減させる必要がある場合には、図示はしないが、平均化部３１から出力された平均Ｙ画像のデータのサイズを、例えばＱＶＧＡ（Ｑｕａｒｔｅｒ ＶＧＡ）に縮小させる縮小部を合成部１１に設けるようにしてもよい。この場合、εフィルタ部３２は、縮小後の画像のデータに対してεフィルタをかけることになるため、当該εフィルタのサイズを小さくすることができ、その結果、処理量と処理時間を減少させることが可能になる。なお、εフィルタ部３２の出力データのサイズもＱＶＧＡのままのため、当該出力データのサイズを元のサイズに拡大する拡大部も合成部１１に設ける必要がある。
なお、この場合には、縮小部の縮小率及び拡大部の拡大率が大きくなるに従って、判定用Ｙ画像のエッジが緩慢になってしまうため、上述のεフィルタによる効果、即ちオーバーシュートとアンダーシュートの軽減の効果が若干弱まる点に注意が必要である。
【００７６】
また例えば、上述した実施形態では、露出が各々異なる複数の画像のデータとして、３枚の画像のデータが合成されたが、合成対象の画像のデータ数は、特にこれに限定されない。即ち、本発明は、２枚以上の任意の数の画像のデータを合成する場合に広く適用することができる。
【００７７】
また、上述した実施形態では、合成処理時において顔画像領域の存在を考慮していないが、公知の顔画像領域検出技術を用いて、少なくとも撮像時と合成処理時との一方において顔画像領域を検出させ、この検出された顔画像の明るさを考慮した撮像制御、または、合成処理制御を行ってもよい。
【００７８】
撮影時において顔画像領域を検出するケースにおいては、顔の明るさを最適にする露出設定を中心にして適正露出、露出アンダー、及び、露出オーバー画像データを撮像により取得するよう制御する。そして合成時は、顔部分については適正露出で取得されたＹ画像データが採用されるよう、合成比率を設定することができる。
【００７９】
また、合成処理時においては、取得した全ての画像データについて顔画像領域の検出を試みてもよい。
少なくとも一つから顔画像領域を検出できればよいが、複数枚検出した場合であっても、その中から顔画像領域が含まれている画像データのうち、適正露出になっている画像データに最も近いものを選択する。
なお、上記選択処理を軽減させるため、適正露出値で撮影された画像データに露出値が近くかつ明るめの画像を選択するようにしてもよい。
そして、選択された画像データにおける顔画像領域の明るさ平均を計測し、この計測された露出に合わせて、非線形ガンマ変換等を適用することで、複数枚の画像データのうち、合成処理に採用する露出オーバー、及び、露出アンダーの各Ｙ画像データを選択する。
また合成比率については、顔画像領域の明るさを中心にしたものに設定する。
【００８０】
そしてこのようにＹ画像データについて合成比率を設定した後、この合成比率に合わせてＵＶ画像についても合成処理し、彩度強調を加える。
【００８１】
なお、合成対象となる、露出が各々異なる複数の画像のデータは、上述の各図に示される具体例に特に限定されない。例えば合成対象となる複数の画像のデータが撮像される際の露出の設定は、上述の各図に示される具体例に限定されず、露出が各々異なれば任意でよい。
また、上述の実施形態では特に言及しなかったが、露出が各々異なる複数の画像のデータは、合成されることを考慮すると、位置ズレが予め補正されていると好適である。
【００８２】
また例えば、上述した実施形態では、本発明が適用される画像処理装置は、デジタルカメラとして構成される例として説明した。
しかしながら、本発明は、特にこれに限定されず、画像処理機能を有する電子機器一般に適用することができ、例えば、本発明は、デジタルフォトフレーム、パーソナルコンピュータ、携帯型ナビゲーション装置、ポータブルゲーム機等に幅広く適用可能である。
【００８３】
換言すると、上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウェアにより実行させることもできる。
【００８４】
図１５は、上述した一連の処理をソフトウェアにより実行させる場合の、本発明が適用される画像処理装置のハードウェア構成を示すブロック図である。
【００８５】
図１５の例では、画像処理装置は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）２０１と、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）２０２と、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）２０３と、バス２０４と、入出力インターフェース２０５と、入力部２０６と、出力部２０７と、記憶部２０８と、通信部２０９と、ドライブ２１０と、を備えている。
【００８６】
ＣＰＵ２０１は、ＲＯＭ２０２に記録されているプログラムに従って各種の処理を実行する。又は、ＣＰＵ２０１は、記憶部２０８からＲＡＭ２０３にロードされたプログラムに従って各種の処理を実行する。
ＲＡＭ２０３にはまた、ＣＰＵ２０１が各種の処理を実行する上において必要なデータ等も適宜記憶される。
【００８７】
例えば本実施形態では、合成部１１の機能を実現するプログラムが、ＲＯＭ２０２や記憶部２０８に記憶されている。従って、ＣＰＵ２０１が、これらのプログラムに従った処理を実行することで、合成部１１の機能を実現することができる。
【００８８】
ＣＰＵ２０１、ＲＯＭ２０２、及びＲＡＭ２０３は、バス２０４を介して相互に接続されている。このバス２０４にはまた、入出力インターフェース２０５も接続されている。入出力インターフェース２０５には、入力部２０６、出力部２０７、記憶部２０８、及び通信部２０９が接続されている。
【００８９】
入力部２０６は、各種釦等の操作部で構成され、ユーザの指示操作を受け付ける他、各種情報を入力する。
出力部２０７は、各種情報を出力する。例えば、出力部２０７には、図示しない表示部が設けられており、合成部１１の出力データにより表わされる合成画像が表示される。
記憶部２０８は、ハードディスクやＤＲＡＭ（Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等で構成され、各種データを記憶する。
通信部２０９は、インターネットを含むネットワークを介して他の装置（図示せず）との間で行う通信を制御する。
【００９０】
入出力インターフェース２０５にはまた、必要に応じてドライブ２１０が接続され、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリ等よりなるリムーバブルメディア２１１が適宜装着される。ドライブ２１０によってリムーバブルメディア２１１から読み出されたプログラムは、必要に応じて記憶部２０８にインストールされる。また、リムーバブルメディア２１１は、記憶部２０８に記憶されている画像データ等の各種データも、記憶部２０８と同様に記憶することができる。
【００９１】
一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、コンピュータ等にネットワークや記録媒体からインストールされる。コンピュータは、専用のハードウェアに組み込まれているコンピュータであってもよい。また、コンピュータは、各種のプログラムをインストールすることで、各種の機能を実行することが可能なコンピュータ、例えば汎用のパーソナルコンピュータであってもよい。
【００９２】
このようなプログラムを含む記録媒体は、ユーザにプログラムを提供するために装置本体とは別に配布されるリムーバブルメディア２１１により構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに提供される記録媒体等で構成される。リムーバブルメディア２１１は、例えば、磁気ディスク（フロッピディスクを含む）、光ディスク、又は光磁気ディスク等により構成される。光ディスクは、例えば、ＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｋ−Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ），ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ）等により構成される。光磁気ディスクは、ＭＤ（Ｍｉｎｉ−Ｄｉｓｋ）等により構成される。また、装置本体に予め組み込まれた状態でユーザに提供される記録媒体は、例えば、プログラムが記録されているＲＯＭ２０２や記憶部２０８に含まれるハードディスク等で構成される。
【００９３】
なお、本明細書において、記録媒体に記録されるプログラムを記述するステップは、その順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的或いは個別に実行される処理をも含むものである。
【符号の説明】
【００９４】
１・・・撮像部、２・・・撮像制御部、１１・・・合成部、２１・・・Ｙ合成部、２２・・・ＵＶ合成部、３１・・・平均化部、３２・・・εフィルタ部、３３・・・合成部、３４・・・ゲイン設定部、３５・・・減算部、３６・・・コントラスト強調部、３７・・・エッジ強調部、４１・・・合成比率取得部、４２・・・合成部、４３・・・彩度強調部、２０１・・・ＣＰＵ、２０２・・・ＲＯＭ、２０３・・・ＲＡＭ、２０４・・・バス、２０５・・・入出力インターフェース、２０６・・・入力部、２０７・・・出力部、２０８・・・記憶部、２０９・・・通信部、２１０・・・ドライブ、２１１・・・リムーバブルメディア
【技術分野】
【０００１】
本発明は、画像処理装置、及びプログラムに関し、特に、従来よりも、白飛びや黒つぶれの少ない幅広いダイナミックレンジを持ち、かつ、彩度も適切に調整されたＨＤＲ合成画像を提供することを可能にする技術に関する。
【背景技術】
【０００２】
近年、撮像等により得られた画像を鑑賞する際の演出効果を高める目的で、当該画像のデータに対して各種画像処理が施されるようになっている。
例えば、このような画像処理として従来、ハイダナミックレンジ合成が知られている（特許文献１参照）。ハイダナミックレンジ合成とは、露出が各々異なる複数の画像のデータを合成することで、幅広いダイナミックレンジを表現する画像、即ちいわゆるハイダイナミックレンジ合成画像（Ｈｉｇｈ Ｄｉｎａｍｉｃ Ｒａｎｇｅ合成画像、以下、「ＨＤＲ合成画像」と呼ぶ）のデータを生成する画像処理をいう。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００６−３４５５０９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、白飛びや黒つぶれの少ない幅広いダイナミックレンジを持ち、かつ、彩度も適切に調整されたＨＤＲ合成画像を提供することが要求されているが、上述した特許文献１も含めて従来の手法では、当該要求に充分に応えることができない状況である。
【０００５】
本発明は、このような状況に鑑みてなされたものであり、従来よりも、白飛びや黒つぶれの少ない幅広いダイナミックレンジを持ち、かつ、彩度も適切に調整されたＨＤＲ合成画像を提供することを目的とする。
【課題を解決するための手段】
【０００６】
上記目的達成のため、請求項１に記載の発明は、露出が各々異なる複数の画像のデータが、所定の色空間において規定される輝度成分からなる複数の第１の画像のデータと、その他の成分からなる複数の第２の画像のデータとに分離されている場合、分離後の前記複数の第１の画像のデータを、所定の合成比率を用いて合成する第１の合成手段と、分離後の前記複数の第２画像のデータを、前記第１の合成手段で用いられた合成比率と略等しい合成比率を用いて合成する第２の合成手段と、を備える。
【０００７】
また、請求項２に記載の発明は、上記請求項１に記載の発明において、前記第１の合成手段は、前記複数の第１の画像において同じ位置に存在する各画素のデータを、座標毎に異なる合成比率を用いて合成し、前記第２の合成手段は、前記複数の第２の画像において同じ位置に存在する各画素のデータを、当該位置と同じ前記第１の画像内の位置用の前記合成比率を用いて合成する。
【０００８】
また、請求項３記載の発明は、上記請求項２に記載の発明において、前記第１の合成手段は、さらに、前記複数の第１の画像のデータを平均化して平滑化されたデータを、判定用画像のデータとして用いて、前記合成比率を、前記第１の画像を構成する各画素の位置毎に設定する。
【０００９】
また、請求項４に記載の発明は、上記請求項１乃至３に記載の発明において、前記第１の合成手段は、さらに、合成後の第１の画像のデータの明るさを調整するゲインを、前記複数の第１の画像のデータ毎に設定し、設定された前記ゲインを前記合成比率にかけることで、前記合成比率を調整し、前記第２の合成手段は、前記第１の合成手段により調整された後の前記合成比率を用いて、前記第２の画像のデータを合成する。
【００１０】
また、請求項５に記載の発明は、上記請求項１乃至４に記載の発明において、前記露出が各々異なる複数の画像のデータの少なくとも一つから顔画像領域を検出する第１の画像領域検出手段とを更に備え、前記第１の合成手段は、前記第１の画像領域検出手段によって顔画像領域を検出すると、この顔画像領域に対し適正な明るさになっている画像データの明るさに基づいて前記合成比率を調整する。
【００１１】
また、請求項６に記載の発明は、上記請求項１乃至４に記載の発明において、撮像手段と、この撮像手段によって撮像されている画像データから顔画像領域を検出する第２の画像領域検出手段と、この第２の画像領域検出手段によって顔画像領域を検出するとこの顔画像領域に対し適正な明るさになるように露出値を調整するとともに、この調整された露出値を中心に露出が各々異なる複数の画像のデータを撮像するよう制御する撮像制御手段とを更に備える。
【００１２】
また、請求項７に記載の発明は、上記請求項１乃至６に記載の発明において、前記第２の合成手段は、さらに、合成後の第２の画像のデータに対して、彩度を強調するゲインをかける。
【００１３】
また、上記目的達成のため、請求項８に記載の発明は、画像のデータに対して画像処理を施す画像処理装置を制御するコンピュータに、露出が各々異なる複数の画像のデータが、所定の色空間において規定される輝度成分からなる複数の第１の画像のデータと、その他の成分からなる複数の第２の画像のデータとに分離されている場合、分離後の前記複数の第１の画像のデータを、所定の合成比率を用いて合成する第１の合成機能と、分離後の前記複数の第２画像のデータを、前記第１の合成機能で用いられた合成比率と略等しい合成比率を用いて合成する第２の合成機能と、を実現させる。
【発明の効果】
【００１４】
本発明によれば、従来よりも、白飛びや黒つぶれの少ない幅広いダイナミックレンジを持ち、かつ、彩度も適切に調整されたＨＤＲ合成画像を提供することができる。
【図面の簡単な説明】
【００１５】
【図１】本発明の一実施形態に係る撮像装置の回路構成図である。
【図２】本発明における合成処理を実行する機能についての機能的構成を示す機能ブロック図である。
【図３】図２の画像処理装置で用いられる合成比率を設定するテーブルの一例を示している図である。
【図４】図２の画像処理装置の合成部での具体的な処理結果を示している図である。
【図５】調整ゲインが反映された適正露出用合成比率Ｒｍ、合成比率のテーブルの一例を示している図である。
【図６】調整ゲインによる明るさの調整の効果を示している図である。
【図７】足しこみ量を設定するテーブルの一例を示している図である。
【図８】コントラスト強調の効果を示している図である。
【図９】図２の画像処理装置のエッジ強調部によるエッジ強調の処理で設定されるエッジ強調レベルのテーブルの一例を示している図である。
【図１０】図２の画像処理装置の彩度強調部により用いられるゲインを設定するテーブルの一例を示している図である。
【図１１】図２の画像処理装置のＵＶ合成部が実行するＵＶ成分合成処理の流れの一例を示すフローチャートである。
【図１２】露出が各々異なる画像のデータの一例を示している図である。
【図１３】図２の画像処理装置の合成部によって図１２の各画像のデータが合成された結果得られる、合成画像のデータの一例を示している図である。
【図１４】フィルタの効果を示している図である。
【図１５】本発明の画像処理装置の一実施形態に係る画像処理装置のハードウェアの構成を示すブロック図である。
【発明を実施するための形態】
【００１６】
以下、本発明の一実施形態を図面に基づいて説明する。
【００１７】
図１は、本発明の一実施形態に係る画像処理装置を備える撮像装置の回路構成図である。
この撮像装置は、撮像部１と、駆動制御部２と、ＣＤＳ／ＡＤＣ３と、キー入力部４と、表示部５と、画像記録部６と、プログラムメモリ７と、ＲＡＭ８と、制御部９と、画像処理部１０と、を備えている。
キー入力部４は、撮影者の記録指示を検出するためのシャッターキー４１を備えている。画像処理部１０は、本発明の特徴的構成に対応する合成部１１を備えている。これらはバスラインを介して接続されている。
【００１８】
同図において、撮像部１は、ＣＭＯＳ等のイメージセンサと、このイメージセンサ上に設けられたＲＧＢのカラーフィルタと、駆動制御部２からの制御により、光の強度を電荷の蓄積として一定時間保持し、ＣＤＳ／ＡＤＣ３にアナログの撮像信号としてこれらを出力するドライバと、を内蔵する。
そして、撮像部１は、シャッターキー４１、制御部９、駆動制御部２を経由した撮影者の撮影指示を検出することで、露光条件（シャッタースピード、若しくは絞り値）を変えながら、露出アンダー、適正露出、露出オーバーを含む複数の画像（カラー画像）を取得する。
ＣＤＳ／ＡＤＣ３は、撮像部１から出力される被写体の光学像に応じたアナログの撮像信号が入力される回路である。ＣＤＳ／ＡＤＣ３は、入力した撮像信号を保持するＣＤＳと、その撮像信号を増幅するゲイン調整アンプ（ＡＧＣ）と、増幅された撮像信号をデジタルの撮像信号に変換するＡ／Ｄ変換器（ＡＤＣ）と、を含むように構成されている。
なお、ゲイン調整アンプの調整に関わる制御についても、駆動制御部２からの指示に基いて実行される。このため、露光条件（シャッタースピード、若しくは絞り値）を同じくして複数枚の画像を取得しても、ＲＧＢのゲイン調整アンプや画像の色味を順次変えることによる複数の条件の異なる画像を生成することができる。
【００１９】
キー入力部４は、上述のシャッターキー４１の他、本発明に係る画像の取得や記録を目的とする撮影モードへの切換、表示の切換等を検出するための各種キーを備えている。
表示部５は、合成処理された画像を表示する機能を有する。
画像記録部６は、本発明に係る合成処理が実行された後、ＪＰＥＧ方式で符号化された画像データ（画像ファイル）を記憶格納する。
プログラムメモリ７は、制御部９、画像処理部１０にて実行されるプログラムを記憶し、必要に応じて制御部９が読み出す。
ＲＡＭ８は、各種処理により発生する処理中のデータを一時的に保持する機能を有する。制御部９は撮像装置全体の処理動作を制御する。
画像処理部１０は、画像データの符号化／復号化処理の他、本発明に係る合成処理を実行するための合成部１１を備えている。
【００２０】
次に合成処理を実行する機能について、図２の機能ブロック図を用いて説明する。
本実施形態でいう合成処理とは、露出が各々異なる複数の画像のデータを合成することで、ＨＤＲ合成画像のデータを生成する処理をいう。
特に本実施形態のＨＤＲ合成処理では、撮像部１、ＣＤＳ／ＡＤＣ３を経て、露光条件（シャッタースピード、絞り値、若しくは、ゲイン調整値）を変えながら連写されて取得された複数の画像について、これらの画像のデータの各々が、ＹＵＶ色空間で規定される輝度成分を示す輝度信号（Ｙ）と、それ以外の成分、具体的には青色成分の差分信号（Ｕ）と、赤色成分の差分信号（Ｖ）との３要素の成分のうち、Ｙ成分とＵＶ成分とに分離されて与えられ、分離後の複数のＹ成分が合成されるのみならず、分離後の複数のＵＶ成分が合成される。
このような合成後のＹ成分とＵＶ成分をあわせた結果得られるＨＤＲ合成画像のデータは、従来よりも、白飛びや黒つぶれの少ない幅広いダイナミックレンジを持ち、かつ、彩度も適切に調整された画像のデータになる。
【００２１】
合成部１１は、適正露出の画像（以下、「適正露出画像」と呼ぶ）のデータと、適正露出を超えた露出の画像（以下、「露出オーバー画像」と呼ぶ）のデータと、適正露出未満の露出の画像（以下、「露出アンダー画像」と呼ぶ）のデータと、を合成する。
ここで、適正な露出とは、撮像条件にとって必ずしも適正な露出であることを意味せず、露出オーバー画像及び露出アンダー画像の各々を撮像した時に用いた２つの露出の間の中間的な露出を意味する。換言すると、露出オーバー画像及び露出アンダー画像の各々を撮像した時に用いた２つの露出と比較した場合に適正な露出が、ここでいう適正な露出である。
【００２２】
ここで、以下、適正露出画像のデータのＹ成分を「適正露出Ｙ画像のデータ」と呼び、露出オーバー画像のデータのＹ成分を「露出オーバーＹ画像のデータ」と呼び、露出アンダー画像のデータのＹ成分を「露出アンダーＹ画像のデータ」と呼ぶ。
一方、適正露出画像のデータのＵＶ成分を「適正露出ＵＶ画像のデータ」と呼び、露出オーバー画像のデータのＵＶ成分を「露出オーバーＵＶ画像のデータ」と呼び、露出アンダー画像のデータのＵＶ成分を「露出アンダーＵＶ画像のデータ」と呼ぶ。
図２の例では、適正露出Ｙ画像、露出オーバーＹ画像、及び、露出アンダーＹ画像の各データ、並びに、適正露出ＵＶ画像、露出オーバーＵＶ画像、及び、露出アンダーＵＶ画像の各データは、予め用意されているものとする。
【００２３】
なお、Ｙ合成部２１の処理対象となる各画像のデータを、個々に区別せずに、ＵＶ合成部２２の処理対象に対して区別をすることを主目的とする場合、これらをまとめて、単に「Ｙ画像のデータ」と呼ぶ。即ち、Ｙ成分を各画素値として構成されるデータの全体が、Ｙ画像のデータになる。
一方、ＵＶ合成部２２の処理対象となる各画像のデータを、個々に区別せずに、Ｙ合成部２１の処理対象に対して区別をすることを主目的とする場合、これらをまとめて、単に「ＵＶ画像のデータ」と呼ぶ。即ち、ＵＶ成分を各画素値として構成されるデータの全体が、ＵＶ画像のデータになる。
【００２４】
図２に示すように、合成部１１は、Ｙ合成部２１と、ＵＶ合成部２２と、を備えている。
Ｙ合成部２１は、適正露出Ｙ画像、露出オーバーＹ画像、及び露出アンダーＹ画像の各々のデータを合成することによって、合成画像のデータを生成する。このようなＹ合成部２１により生成される合成画像のデータを、以下、「合成Ｙ画像のデータ」と呼び、合成Ｙ画像のデータが生成される一連の処理を、以下、「Ｙ成分合成処理」と呼ぶ。このようなＹ成分合成処理により生成された合成Ｙ画像のデータは、白飛びや黒つぶれがなく、かつ広いダイナミックレンジを持ったＹ成分となる。
一方、ＵＶ合成部２２は、適正露出ＵＶ画像のデータ、露出オーバーＵＶ画像のデータ、及び露出アンダーＵＶ画像のデータを合成することによって、合成画像のデータ（以下、「合成ＵＶ画像のデータ」と呼ぶ）を生成する。このようなＵＶ合成部２２により生成される合成画像のデータを、以下、「合成ＵＶ画像のデータ」と呼び、合成ＵＶ画像のデータが生成される一連の処理を、以下、「ＵＶ成分合成処理」と呼ぶ。このようなＵＶ成分合成処理により生成された合成ＵＶ画像のデータは、適切な色身に調整されたＵＶ成分となる。
このようにして、合成部１１からは、Ｙ合成部２１のＹ成分合成処理によって生成された合成Ｙ画像のデータが出力されると共に、ＵＶ合成部２２のＵＶ成分合成処理によって生成された合成ＵＶ画像のデータが出力される。
【００２５】
ここで、本実施形態では、Ｙ成分合成処理において、適正露出Ｙ画像、露出オーバーＹ画像、及び露出アンダーＹ画像の各々のデータは、所定の合成比率に従って合成される。
合成比率とは、２以上の画像のデータが合成される場合、各々の画像のデータの混合の割合をいう。例えば、適正露出Ｙ画像、露出オーバーＹ画像、及び露出アンダーＹ画像の各々のデータの合成比率の各々が、７０％、３０％、０％の各々である場合には、適正露出Ｙ画像のデータの７０％と、露出オーバーＹ画像のデータの３０％とが混合された結果得られるデータが、合成Ｙ画像のデータになる。なお、本例では、露出アンダーＹ画像のデータは、混合比率は０％であるため、合成に用いられない。
一方、ＵＶ成分合成処理においても、適正露出ＵＶ画像、露出オーバーＵＶ画像、及び露出アンダーＵＶ画像の各々のデータは、所定の合成比率に従って合成される。
ここで、ＵＶ成分合成処理に用いられる合成比率は、Ｙ成分合成処理に用いられる合成比率と独立に設定されてもよいが、本実施形態では、Ｙ成分合成処理に用いられる合成比率がそのまま用いられる。
このように、輝度（コントラスト）が調整された合成Ｙ画像のデータのみならず、彩度が調整された合成ＵＶ画像のデータも得られるため、これらをあわせた結果得られるＨＤＲ合成画像のデータは、従来よりも、白飛びや黒つぶれの少ない幅広いダイナミックレンジを持ち、かつ、彩度も適切に調整された画像のデータになる。
【００２６】
以下、このような合成部１１を構成するＹ合成部２１及びＵＶ合成部２２の詳細について、その順番に個別に説明する。
はじめに、Ｙ合成部２１の詳細について説明する。
【００２７】
Ｙ合成部２１は、平均化部３１と、εフィルタ部３２と、合成部３３と、ゲイン設定部３４と、減算部３５と、コントラスト強調部３６と、エッジ強調部３７と、を備えている。
【００２８】
平均化部３１は、適正露出Ｙ画像、露出オーバーＹ画像、及び露出アンダーＹ画像の各々のデータを平均化し、その結果得られる画像のデータ（以下、「平均Ｙ画像のデータ」と呼ぶ）をεフィルタ部３２に供給する。
【００２９】
εフィルタ部３２は、平均化部３１から供給された平均Ｙ画像のデータに対して、εフィルタをかけることによって、平滑化された画像のデータを生成し、合成部３３及び減算部３５に供給する。
ここで、εフィルタ部３２から出力される画像のデータ、即ち、平均Ｙ画像のデータに対してεフィルタをかけることによって得られる画像のデータは、後述するように、合成部３３において判定用のデータとして用いられる。そこで、以下、当該データを、判定用Ｙ画像のデータと呼ぶ。
【００３０】
合成部３３は、適正露出Ｙ画像、露出オーバーＹ画像、及び露出アンダーＹ画像の各々のデータを合成する。
具体的には例えば、合成部３３は、適正露出Ｙ画像、露出オーバーＹ画像、及び露出アンダーＹ画像の各々を構成する各画素のうち、処理の対象として注目すべき同一位置（座標）に存在する画素を、注目画素として設定する。
合成部３３は、適正露出Ｙ画像、露出オーバーＹ画像、及び露出アンダーＹ画像の各々の注目画素に対して合成比率をそれぞれ設定し、設定された各々の合成比率で、各々の注目画素の画素値を合成する。
【００３１】
図３は、合成比率を設定するテーブルの一例を示している。
図３において、横軸は、判定用Ｙ画像の輝度値（０乃至２５５の範囲内の値）を示しており、縦軸は、合成比率（％）を示している。
実線は、適正露出Ｙ画像に適用される合成比率Ｒｍ（以下、「適正露出用合成比率Ｒｍ」と呼ぶ）を示している。点線は、露出オーバーＹ画像に適用される合成比率Ｒｏ（以下、「露出オーバー用合成比率Ｒｏ」と呼ぶ）を示している。一点鎖線は、露出アンダーＹ画像に適用される合成比率Ｒｕ（以下、「露出アンダー用合成比率Ｒｕ」と呼ぶ）を示している。
図３に示すように、合成部３３は、判定用Ｙ画像（平滑化された画像）データの明るさ、即ち、判定用Ｙ画像の輝度値に基づいて、適正露出用合成比率Ｒｍ、露出オーバー用合成比率Ｒｏ、及び露出アンダー用合成比率Ｒｕの各々を設定する。
具体的には例えば、判定用Ｙ画像の輝度値が低い場合（暗い場合）、明るく撮影された画像の合成比率が高くなるように、即ちここでは露出オーバー合成比率Ｒｏが高くなるように、適正露出用合成比率Ｒｍ、露出オーバー用合成比率Ｒｏ、及び露出アンダー用合成比率Ｒｕの各々が設定される。
逆に、例えば、判定用Ｙ画像の輝度値が高い場合（明るい場合）、暗く撮影された画像の合成比率が高くなるように、即ちここでは露出アンダー合成比率Ｒｕが高くなるように、適正露出用合成比率Ｒｍ、露出オーバー用合成比率Ｒｏ、及び露出アンダー用合成比率Ｒｕの各々が設定される。
【００３２】
ここで、適正露出Ｙ画像の注目画素の画素値を「Ｙｍ」と記述し、露出アンダーＹ画像の注目画素の画素値を「Ｙｕ」と記述し、露出オーバーＹ画像の注目画素の画素値を「Ｙｏ」と記述し、各々の注目画素の合成値「Ｙｍｉｘ」と記述する。
この場合、合成部３３は、次の式（１）を演算することで、各々の注目画素の合成値Ｙｍｉｘを演算することができる。
Ｙｍｉｘ＝Ｒｕ×Ｙｕ＋Ｒｍ×Ｙｍ＋Ｒｏ×Ｙｏ ・・・（１）
【００３３】
合成部３３は、適正露出Ｙ画像、露出オーバーＹ画像、及び露出アンダーＹ画像の各々の同一座標の画素を注目画素に順次設定し、その都度、上述した一連の処理を繰り返すことによって、合成Ｙ画像のデータを生成する。
【００３４】
図４は、合成部３３の具体的な処理結果を示している。
図４（Ａ）は、露出アンダーＹ画像のデータの一例を示している。
図４（Ｂ）は、適正露出Ｙ画像のデータの一例を示している。
図４（Ｃ）は、露出オーバーＹ画像のデータの一例を示している。
図４（Ｄ）は、平均Ｙ画像のデータの一例を示している。即ち、図４（Ａ）の露出アンダーＹ画像、図４（Ｂ）の適正露出Ｙ画像、図４（Ｃ）の露出オーバーＹ画像の各々のデータが平均化部３１により平均化された結果として、図４（Ｄ）の平均Ｙ画像のデータが得られた。
図４（Ｅ）は、判定用Ｙ画像のデータの一例を示している。即ち、図４（Ｄ）の平均Ｙ画像のデータに対してεフィルタがεフィルタ部３２によってかけられることによって、図４（Ｅ）の平滑化された画像のデータが得られ、これが判定用Ｙ画像のデータとして用いられた。
図４（Ｆ）は、合成画像のデータの一例を示している。即ち、図４（Ｅ）の判定用Ｙ画像のデータと図３のテーブルとに基づいて合成比率が設定され、当該合成比率で、図４（Ａ）の露出アンダーＹ画像、図４（Ｂ）の適正露出Ｙ画像、図４（Ｃ）の露出オーバーＹ画像の各々のデータが合成部３３により合成された結果として、図４（Ｆ）の合成画像のデータが得られた。
【００３５】
さらに、合成部３３は、このようにして生成される合成Ｙ画像のデータの明るさを調整することができる。
具体的には、ゲイン設定部３４は、合成Ｙ画像のデータの明るさを調整するゲインとして、適正露出Ｙ画像に適用される調整ゲインＧｍと、露出オーバーＹ画像に適用される調整ゲインＧｏと、露出アンダーＹ画像に適用される調整ゲインＧｕと、を設定する。
ゲイン設定部３４により設定された調整ゲインＧｍ，Ｇｏ，Ｇｕの各々は、適正露出用合成比率Ｒｍ、露出オーバー用合成比率Ｒｏ、及び露出アンダー用合成比率Ｒｕの各々に乗算される。これにより、結果として、合成Ｙ画像のデータの明るさが調整される。
【００３６】
図５は、調整ゲインＧｍ，Ｇｏ，Ｇｕの各々が反映された適正露出用合成比率Ｒｍ、露出オーバー用合成比率Ｒｏ、及び露出アンダー用合成比率Ｒｕのテーブルの一例を示している。
図５のテーブルは、図３のテーブルに対して、調整ゲインＧｍ＝２．０、調整ゲインＧｏ＝１．５、調整ゲインＧｕ＝１．０が適用された結果として、得られたものである。このため、横軸や縦軸等の前提事項は、図３と同様であるため、ここではその説明を省略する。
【００３７】
図６は、このような調整ゲインＧｍ，Ｇｏ，Ｇｕによる明るさの調整の効果を示している。
図６（Ａ）は、このような調整ゲインＧｍ，Ｇｏ，Ｇｕによる調整が無い場合の合成画像のデータ、即ち、図３のテーブルに基づいて生成された合成画像のデータの一例を示している。
図６（Ｂ）は、このような調整ゲインＧｍ，Ｇｏ，Ｇｕによる調整がなされた場合の合成画像のデータ、即ち、図５のテーブルに基づいて生成された合成画像のデータの一例を示している。
図６（Ｂ）の合成画像のデータは、図５（Ｂ）の合成画像のデータと比較して、暗部を中心に明るくなるように調整されていることがわかる。
【００３８】
図２に戻り、減算部３５には、平均化部３１から平均Ｙ画像のデータが供給される。
減算部３５にはまた、εフィルタ部３２から判定用Ｙ画像のデータとして合成部３３に供給される、平滑化された画像のデータ、即ち、平均Ｙ画像のデータに対してεフィルタがかけられた画像のデータも供給される。
そこで、減算部３５は、平均Ｙ画像のデータと、それに対してεフィルタがかけられた画像のデータとの差分を演算し、その結果得られるデータをコントラスト成分として、コントラスト強調部３６に出力する。
【００３９】
コントラスト強調部３６は、合成部３３から出力された合成Ｙ画像のデータに対して、減算部３５から出力されたコントラスト成分を足しこむ。ここで、コントラスト強調部３６の処理単位も注目画素であり、注目画素に設定される画素によって、減算部３５から出力されるコントラスト成分も異なることになるため、足しこむ量も異なることになる。このようにして、局所的にコントラストを強調することが必要に応じて可能になる。
さらに、コントラスト強調部３６は、コントラスト成分を足しこむことによる白飛びや黒つぶれの発生を防止すべく、合成Ｙ画像の明るさ（輝度値）に応じて、コントラスト成分の足しこみ量を調整する。
【００４０】
図７は、足しこみ量を設定するテーブルの一例を示している。
図７において、横軸は、合成Ｙ画像の輝度値（０乃至２５５の範囲内の値）を示しており、縦軸は、足しこみ量（％）を示している。
【００４１】
ここで、足しこまれるコントラスト成分を「Ｙｃ」と記述し、平均化部３１から出力される平均Ｙ画像のデータを「Ｙａ」と記述し、εフィルタ部３２から出力されるデータ、即ち、平均Ｙ画像のデータＹａに対してεフィルタがかけられた画像のデータを「Ｙａε」と記述する。
この場合、コントラスト成分Ｙｃは、次の式（２）により示される。
Ｙｃ＝Ｙａ−Ｙａε＋Ｃ ・・・（２）
式（２）において、Ｃは、定数を表わしており、本実施形態では１２７であるものとする。
即ち、減算部３５は、式（２）に従って、コントラスト成分Ｙｃを生成する。
なお、減算部３５の処理の単位は、注目画素となるため、注目画素についてのコントラスト成分Ｙｃが式（２）により演算されることになる。
【００４２】
また、コントラスト強調後の合成画像の注目画素の画素値を「Ｙｒ」と記述し、当該注目画素についての足しこみ量を「ａｄｄ＿ｌｅｖ」と記述すると、コントラスト強調後の合成画像の注目画素の画素値Ｙｒは、次の式（３）により示される。
Ｙｒ＝Ｙｍｉｘ＋（Ｙｃ−Ｃ）×ａｄｄ＿ｌｅｖ ・・・（３）
即ち、コントラスト強調部３６は、式（３）に従って、コントラスト強調後の合成画像の注目画素の画素値Ｙｒを演算する。
この場合の足しこみ量ａｄｄ＿ｌｅｖは、合成部３３から出力される合成Ｙ画像の注目画素の輝度値と、図７のテーブルとによって設定される。
コントラスト強調部３６は、合成部３３から出力される合成Ｙ画像を構成する各画素を注目画素に順次設定し、その都度、式（３）を演算する。このようにして、コントラスト強調後の合成Ｙ画像のデータが生成される。
【００４３】
図８は、このようなコントラスト強調の効果を示している。
図８（Ａ）は、コントラスト成分のデータの一例を示している。
図８（Ｂ）は、コントラスト強調前の合成画像のデータ、即ち、合成部３３の出力データの一例を示している。
図８（Ｃ）は、コントラスト強調後の合成画像のデータ、即ち、コントラスト強調部３６の出力データの一例を示している。
【００４４】
このようにしてコントラスト強調部３６により生成されたコントラスト強調後の合成Ｙ画像のデータは、エッジ強調部３７に供給される。
エッジ強調部３７は、平均化によりエッジが低下してしまった合成Ｙ画像のデータに対して、エッジ強調の処理を施す。
なお、この場合のエッジ強調部３７の処理単位も注目画素になり、注目画素として設定される画素毎に、異なったエッジ強調の度合（以下、「エッジ強調レベル」）が設定される。
【００４５】
図９は、エッジ強調部３７によるエッジ強調の処理で設定されるエッジ強調レベルのテーブルの一例を示している。
図９（Ａ）は、合成比率のテーブルの一例であって、図３と同一の例を示している。
図９（Ｂ）は、エッジ強調レベルのテーブルの一例を示している。
図９（Ｂ）において、横軸は、判定用Ｙ画像の輝度値（０乃至２５５の範囲内の値）を示しており、縦軸は、エッジ強調レベルを示している。
図９（Ｂ）の例では、平均化の度合が大きくなるほど、即ち、適正露出用合成比率Ｒｍと露出オーバー用合成比率Ｒｏとの比率が１：１に近づくほど、或いはまた、適正露出用合成比率Ｒｍと露出アンダー用合成比率Ｒｕとの比率が１：１に近づくほど、大きなエッジ強調レベルが設定される。
なお、エッジ強調部３７の処理量を減少させる必要がある場合、又は省略する必要がある場合、合成部３３による合成前のＹ画像のデータ、ここでは、適正露出Ｙ画像、露出オーバーＹ画像、及び露出アンダーＹ画像の各データとして、予め強めのエッジ強調が施されたデータを用意しておくよい。
【００４６】
エッジ強調部３７によりエッジ強調の処理が施された合成Ｙ画像のデータは、Ｙ合成部２１の出力データとして、外部に出力される。
【００４７】
以上、Ｙ合成部２１の詳細について説明した。
次に、ＵＶ合成部２２の詳細について説明する。具体的には、先ず、図２及び図１０を参照して、ＵＶ合成部２２の構成について説明する。次に、図１１を参照して、ＵＶ合成部２２が実行するＵＶ成分合成処理の流れについて説明する。
【００４８】
図２に示すように、ＵＶ合成部２２は、合成比率取得部４１と、合成部４２と、彩度強調部４３と、を備えている。
【００４９】
ここで、ＵＶ合成部２２の処理単位も、注目画素であるとする。即ち、適正露出ＵＶ画像、露出オーバーＵＶ画像、及び、露出アンダーＵＶ画像の各々を構成する画素が、注目画素として設定される。
ここで、後述するように、ＵＶ合成部２２は、Ｙ合成部２１と必ずしも同期して実行する必要はないが、説明の便宜上、ＵＶ画像における注目画素と、Ｙ画像における注目画素とは、同一座標の各々対応する画素であるものとして、以下の説明を行う。即ち、以下の説明では、Ｙ画像と、それに対応するＵＶ画像との各々において、同一座標に位置する各々対応する画素が、注目画素に設定されるものとする。
【００５０】
この場合、合成比率取得部４１は、Ｙ合成部２１の合成部３３において注目画素の合成に用いられた合成比率を取得する。
ここで、合成比率取得部４１により取得される合成比率とは、適正露出用合成比率Ｒｍ、露出オーバー用合成比率Ｒｏ、及び露出アンダー用合成比率Ｒｕの組である。
また、本実施形態では、合成比率取得部４１は、ゲイン設定部３４により設定される調整ゲインを用いた明るさ調整後の合成比率、即ち、図５のテーブルに基づいて設定された合成比率を取得する。
ただし、合成比率取得部４１は、必要に応じて、図３のテーブルに基づいて設定された合成比率、即ち、ゲイン設定部３４により設定される調整ゲインを用いた明るさ調整前の合成比率を取得するようにしてもよい。
【００５１】
合成部４２は、合成比率取得部４１により取得された合成比率、即ち、Ｙ合成部２１の合成部３３において注目画素の合成に用いられた合成比率をそのまま用いて、適正露出ＵＶ画像、露出オーバーＵＶ画像、及び露出アンダーＵＶ画像の各々の注目画素の画素値を合成する。
【００５２】
ここで、適正露出ＵＶ画像の注目画素の画素値を「ＵＶｍ」と記述し、露出アンダーＵＶ画像の注目画素の画素値を「ＵＶｕ」と記述し、露出オーバーＹ画像の注目画素の画素値を「ＵＶｏ」と記述し、各々の注目画素の合成値「ＵＶｍｉｘ」と記述する。
この場合、合成部４２は、次の式（４）を演算することで、各々の注目画素の合成値ＵＶｍｉｘを演算することができる。
ＵＶｍｉｘ＝Ｒｕ×ＵＶｕ＋Ｒｍ×ＵＶｍ＋Ｒｏ×ＵＶｏ ・・・（４）
【００５３】
式（４）において、Ｒｕ，Ｒｍ，Ｒｏは、Ｙ合成部２１の合成部３３が注目画素の合成値Ｙｍｉｘを上述した式（１）に従って演算した際に用いられたパラメータである。即ち、合成比率取得部４１に取得された、適正露出用合成比率Ｒｍ、露出オーバー用合成比率Ｒｏ、及び露出アンダー用合成比率Ｒｕが、式（４）に代入される。
例えば、合成比率取得部４１により取得された合成比率、即ち、Ｙ合成部２１の合成部３３において注目画素の合成のための式（１）に用いられた、適正露出用合成比率Ｒｍ＝０．７（７０％）、露出オーバー用合成比率Ｒｏ＝０．３（３０％）、露出アンダー用合成比率Ｒｕ＝０（０％）であるとする。この場合、式（４）においても、Ｒｍに０，７が代入され、Ｒｏに０．３が代入され、かつ、Ｒｏに０が代入されて、合成部４２により演算され、注目画素の合成値ＵＶｍｉｘが算出される。
【００５４】
以上まとめると、合成部４２は、適正露出ＵＶ画像、露出オーバーＵＶ画像、及び露出アンダーＵＶ画像の各々の同一座標の画素であって、Ｙ合成部２１により注目画素として設定されている画素の座標と同一座標の画素を注目画素に順次設定する。
そして、合成部４２は、注目画素に設定された画素毎に、合成比率取得部４１により取得された合成比率、即ち、Ｙ合成部２１の合成部３３において注目画素の合成に用いられた合成比率をそのまま用いて、上述した一連の処理を繰り返すことによって、合成画像のデータを生成する。
このようにしてＵＶ合成部２２の合成部４２により生成された合成画像のデータを、以下、「合成ＵＶ画像のデータ」と呼ぶ。
【００５５】
なお、ＵＶ合成部２２は、ＵＶ画像側の注目画素と同一座標のＹ画像内の画素に対して、適用された合成比率を利用することができれば足りるのであって、当該Ｙ画像内の画素が現在Ｙ合成部２１において注目画素に設定されている必要はない。即ち、ＵＶ合成部２２は、Ｙ合成部２１と同期して動作してもよいが、非同期で動作しなくてもよい。
非同期で動作する場合には、例えば、Ｙ合成部２１において用いられた合成比率はバッファ（図示せず）に一時的に蓄積され、合成比率取得部４１は、当該バッファに蓄積された合成比率を取得する。この場合、バッファに蓄積された１以上の画素毎の合成比率の中から、ＵＶ画像側の注目画素と同一座標のＹ画像内の画素に対して適用された合成比率を合成部４２が認識できる仕組みが、合成部１１に設けられる。
【００５６】
合成部４２により生成された合成ＵＶ画像のデータは、彩度強調部４３に供給される。
彩度強調部４３は、合成ＵＶ画像の注目画素の画素値に対して所定のゲインを乗算することによって、注目画素の彩度を強調する。
このように、彩度強調部４３の処理単位も注目画素であり、注目画素として設定された画素毎に、ゲインが設定されることになる。
【００５７】
図１０は、彩度強調部４３により用いられるゲインを設定するテーブルの一例を示している。
図１０において、横軸は、彩度レベル（０乃至２５５の範囲内の値）を示しており、縦軸は、ゲイン（％）を示している。
ここで、彩度レベルとしては、ＹＵＶ空間から変換されたＨＳＶ空間において算出されたＳ値を採用してもよいが、本実施形態では、処理負荷軽減のため、式（５）に示すように、Ｕ値とＶ値の各々の絶対値のうちの大きい方を採用する。
Ｓ＿ｌｅｖ＝ｍａｘ（｜Ｕ＿ｍｉｘ｜，｜Ｖ＿ｍｉｘ｜） ・・・（５）
式（５）において、Ｓ＿ｌｅｖは、彩度レベルを示している。ｍａｘ（α，β）は、αとβのうちの最大値を出力する関数を示している。Ｕ＿ｍｉｘは、合成ＵＶ画像の注目画素のＵ値を示している。Ｖ＿ｍｉｘは、合成ＵＶ画像の注目画素のＶ値を示している。
図１０の例では、彩度レベルＳ＿ｌｅｖが低い場合と高い場合にゲインが抑えられる。即ち、合成ＵＶ画像のうち低彩度と高彩度の領域の画素が注目画素に設定された場合に、ゲインが抑えられる。これにより、ゲインによる色飽和や、グレー領域に対する不要な彩度強調を防止することが可能になる。
【００５８】
彩度強調部４３により彩度が強調された合成ＵＶ画像のデータは、ＵＶ合成部２２の出力データとして、外部に出力される。
【００５９】
次に、図１１のフローチャートを参照して、このような構成を有する図２のＵＶ合成部２２が実行するＵＶ成分合成処理について説明する。
図１１は、合成処理の流れの一例を示すフローチャートである。
【００６０】
ステップＳ１において、ＵＶ合成部２２は、適正露出ＵＶ画像、露出オーバーＵＶ画像、及び、露出アンダーＵＶ画像の各々を構成する画素のうち、所定の座標に位置する画素を注目画素として設定する。
なお、図１１の説明においても、ＵＶ画像の注目画素の座標と同一座標に位置するＹ画像内の画素も、Ｙ画像の注目画素として設定されているものとする。
【００６１】
ステップＳ２において、ＵＶ合成部２２は、Ｙ画像の注目画素に対するＹ成分合成処理が実行されたか否かを判定する。
Ｙ画像の注目画素に対するＹ成分合成処理が実行中の場合には、ステップＳ２においてＮＯであると判定されて、処理はステップＳ２に戻さる。即ち、Ｙ画像の注目画素に対するＹ成分合成処理が実行中の場合には、ステップＳ２の判定処理が繰り返し実行されて、ＵＶ成分合成処理は待機状態になる。
その後、Ｙ画像の注目画素に対するＹ成分合成処理が終了した場合には、ステップＳ２においてＹＥＳであると判定されて、処理はステップＳ３に進む。
【００６２】
ステップＳ３において、ＵＶ合成部２２の合成比率取得部４１は、Ｙ画像の注目画素に対するＹ成分合成処理で用いられる合成比率を取得する。即ち、注目画素について上述した式（１）が演算される際に、パラメータＲｍ，Ｒｏ，Ｒｕの各々に代入された、適正露出用合成比率Ｒｍ、露出オーバー用合成比率Ｒｏ、及び露出アンダー用合成比率Ｒｕの各々が合成比率取得部４１により取得される。
【００６３】
ステップＳ４において、合成比率取得部４１は、露出が各々異なる複数のＵＶ画像の各注目画素のデータを取得する。
即ち、本実施形態では、適正露出ＵＶ画像、露出オーバーＵＶ画像、及び、露出アンダーＵＶ画像の各注目画素のデータが取得される。
【００６４】
ステップＳ５において、合成比率取得部４１は、ステップＳ３の処理で取得された合成比率を用いて、即ち、Ｙ画像の注目画素に対して用いられた合成比率をそのまま用いて、露出が各々異なる複数のＵＶ画像のデータを合成することによって、合成ＵＶ画像のデータを生成する。
【００６５】
ステップＳ６において、彩度強調部４３は、合成ＵＶ画像のデータに対して、彩度強調処理を施す。
【００６６】
ステップＳ７において、ＵＶ合成部２２は、全ての画素を注目画素に設定したか否かを判定する。
適正露出ＵＶ画像、露出オーバーＵＶ画像、及び、露出アンダーＵＶ画像の各々を構成する画素のうち、注目画素に未だ設定されていない画素が存在する場合、ステップＳ７においてＮＯであると判定されて、処理はステップＳ２に戻され、それ以降の処理が繰り返される。
即ち、適正露出ＵＶ画像、露出オーバーＵＶ画像、及び、露出アンダーＵＶ画像の各々を構成する画素が注目画素として順次設定される毎に、ステップＳ１乃至Ｓ７のループ処理が繰り返し実行されて、合成ＵＶ画像のデータが生成されていく。
そして、最後の画素がステップＳ１の処理で注目画素に設定されて、ステップＳ２乃至Ｓ６の処理が実行されると、合成ＵＶ画像のデータが完成するので、次のステップＳ７においてＹＥＳであると判定されて、ＵＶ成分合成処理は終了となる。そしてこの後、合成処理された画像はファイル化され、画像記録部６に記録される。
【００６７】
なお、以上説明した図１１のフローチャートの流れは、ＵＶ成分合成処理の例示に過ぎない。
例えば、合成比率を取得するステップＳ３の処理タイミングは、図１１の例に特に限定されず、取得すべき合成比率が既知である段階であれば足りる。換言すると、ステップＳ３以降の処理は、Ｙ画像の注目画素に対するＹ成分合成処理で用いられる合成比率が設定された後であればいつでも実行することが可能である。
また例えば、ステップＳ３乃至Ｓ６の処理は、図１１の例では画素を単位として実行されたが、図１１の例に特に限定されず、所定数の画素からなるブロックを単位として実行してもよいし、画像全体を単位として実行してもよい。
【００６８】
以上説明したように、露出が各々異なる複数の画像のデータが、Ｙ成分からなる複数のＹ画像のデータと、ＵＶ成分からなる複数のＵＶ画像のデータとに分離されている場合、図２のＹ合成部２１は、分離後の複数のＹ画像のデータを、所定の合成比率を用いて合成する。一方、ＵＶ合成部２２は、分離後の複数のＵＶ画像のデータを、Ｙ合成部２１と同一（若しくは略等しい）の合成比率を用いて合成する。
これにより、輝度（コントラスト）が調整された合成Ｙ画像のデータのみならず、彩度が調整された合成ＵＶ画像のデータも得られるため、これらをあわせた結果得られるＨＤＲ合成画像のデータは、従来よりも、白飛びや黒つぶれの少ない幅広いダイナミックレンジを持ち、かつ、彩度も適切に調整された画像のデータになる。
特に、Ｙ合成部２１が、複数のＹ画像内の同一座標の各画素のデータを、座標毎に異なる合成比率を用いて合成し、ＵＶ合成部２２が、複数のＵＶ画像内の同一座標の各画素のデータを、当該座標と同一のＵＶ画像内の座標用の合成比率を用いて合成することによって、画素毎の適応的な調整が可能になるため、当該効果が顕著なものとなる。
このような効果は、図１２と図１３を比較することで明確にわかる。
【００６９】
図１２は、露出が各々異なる画像のデータの一例を示している。
図１２（Ａ）は、露出アンダーの画像のデータの一例を示している。
図１２（Ｂ）は、適正露出の画像のデータの一例を示している。
図１２（Ｃ）は、露出オーバーの画像のデータの一例を示している。
【００７０】
図１３は、図２の合成部１１によって図１２の各画像のデータが合成された結果得られる、合成画像のデータの一例を示している。
図１３に示す合成画像は、図１２の合成前の何れの画像と比較しても、広いダイナミックレンジを持った画像、即ちコントラストのはっきりとしたメリハリのある画像になっていることがわかる。
また、図１３は、カラー画像を白黒画像に変換したために示すことが困難であるが、変換前のカラー画像では、彩度が適切に調整された画像になっていることが確認された。
【００７１】
なお、本発明は前記実施形態に限定されるものではなく、本発明の目的を達成できる範囲での変形、改良等は本発明に含まれるものである。
【００７２】
例えば、上述した実施形態では、Ｙ成分合成処理の際に用いる判定用Ｙ画像のデータとしては、露出が異なる複数のＹ画像のデータが平均化された平均Ｙ画像のデータに対して、εフィルタがかけられたデータが用いられた。
しかしながら、判定用Ｙ画像のデータは、特にこれに限定されず、平均Ｙ画像のデータに対して、εフィルタの代わりに通常のＬＰＦ（Ｌｏｗ Ｐａｓｓ Ｆｉｌｔｅｒ）がかけられたデータを用いてもよい。
【００７３】
ただし、通常のＬＰＦよりも、本実施形態のようにεフィルタを採用した方が好適である。以下、好適な理由について説明する。
即ち、Ｙ合成部２１によるＹ成分合成処理においては、コントラスト強調部３６によるコントラスト強調や、その前段の合成部３３による合成Ｙ画像のデータの生成のときに、オーバーシュート又はアンダーシュートが発生する。
このようなオーバーシュートやアンダーシュートの発生を軽減する効果を果たすのが、εフィルタである。即ち、εフィルタは、注目画素とその周辺の画素との間の画素値の差分を局所情報として用いることで、通常のＬＰＦと比較して、輝度差の大きい領域を維持したまま、輝度差の小さい領域のみを効果的にボカすことができる。これにより、オーバーシュートやアンダーシュートの発生の軽減効果を奏することが可能になる。
【００７４】
図１４は、このようなεフィルタの効果を示している。
図１４（Ａ）は、図４（Ｄ）の平均Ｙ画像のデータに対して、通常のＬＰＦをかけた結果得られるデータの一例を示している。
図１４（Ｂ）は、図４（Ｄ）の平均Ｙ画像のデータに対して、εフィルタをかけた結果得られるデータ、即ち、εフィルタ部３２の出力データの一例を示している。
図１４（Ｃ）は、図１４（Ａ）の通常のＬＰＦがかけられたデータを判定用Ｙ画像のデータとして用いた場合に、合成部３３から出力される合成Ｙ画像のデータの一例を示している。
図１４（Ｄ）は、図１４（Ｂ）のεフィルタがかけられたデータ（εフィルタ部３２の出力データ）を判定用Ｙ画像のデータとして用いた場合に、合成部３３から出力される合成Ｙ画像のデータの一例を示している。
図１４（Ｃ）の領域１０１Ｃと図１４（Ｄ）の領域１０１Ｄとを見比べたり、図９（Ｃ）の領域１０２Ｃと図９（Ｄ）の領域１０２Ｄとを見比べることで、εフィルタによるオーバーシュート及びアンダーシュートの軽減の効果を認めることができる。
【００７５】
このように、Ｙ合成部２１がＹ成分合成処理を実行して好適な合成Ｙ画像のデータを生成するためには、ボケ量が大きい判定用Ｙ画像のデータが必要になる。このような判定用Ｙ画像のデータを生成するためのεフィルタとしては、大きなサイズが要求されるため、処理量と処理時間の増加が問題となる場合がある。
このような問題を発生させないか又は軽減させる必要がある場合には、図示はしないが、平均化部３１から出力された平均Ｙ画像のデータのサイズを、例えばＱＶＧＡ（Ｑｕａｒｔｅｒ ＶＧＡ）に縮小させる縮小部を合成部１１に設けるようにしてもよい。この場合、εフィルタ部３２は、縮小後の画像のデータに対してεフィルタをかけることになるため、当該εフィルタのサイズを小さくすることができ、その結果、処理量と処理時間を減少させることが可能になる。なお、εフィルタ部３２の出力データのサイズもＱＶＧＡのままのため、当該出力データのサイズを元のサイズに拡大する拡大部も合成部１１に設ける必要がある。
なお、この場合には、縮小部の縮小率及び拡大部の拡大率が大きくなるに従って、判定用Ｙ画像のエッジが緩慢になってしまうため、上述のεフィルタによる効果、即ちオーバーシュートとアンダーシュートの軽減の効果が若干弱まる点に注意が必要である。
【００７６】
また例えば、上述した実施形態では、露出が各々異なる複数の画像のデータとして、３枚の画像のデータが合成されたが、合成対象の画像のデータ数は、特にこれに限定されない。即ち、本発明は、２枚以上の任意の数の画像のデータを合成する場合に広く適用することができる。
【００７７】
また、上述した実施形態では、合成処理時において顔画像領域の存在を考慮していないが、公知の顔画像領域検出技術を用いて、少なくとも撮像時と合成処理時との一方において顔画像領域を検出させ、この検出された顔画像の明るさを考慮した撮像制御、または、合成処理制御を行ってもよい。
【００７８】
撮影時において顔画像領域を検出するケースにおいては、顔の明るさを最適にする露出設定を中心にして適正露出、露出アンダー、及び、露出オーバー画像データを撮像により取得するよう制御する。そして合成時は、顔部分については適正露出で取得されたＹ画像データが採用されるよう、合成比率を設定することができる。
【００７９】
また、合成処理時においては、取得した全ての画像データについて顔画像領域の検出を試みてもよい。
少なくとも一つから顔画像領域を検出できればよいが、複数枚検出した場合であっても、その中から顔画像領域が含まれている画像データのうち、適正露出になっている画像データに最も近いものを選択する。
なお、上記選択処理を軽減させるため、適正露出値で撮影された画像データに露出値が近くかつ明るめの画像を選択するようにしてもよい。
そして、選択された画像データにおける顔画像領域の明るさ平均を計測し、この計測された露出に合わせて、非線形ガンマ変換等を適用することで、複数枚の画像データのうち、合成処理に採用する露出オーバー、及び、露出アンダーの各Ｙ画像データを選択する。
また合成比率については、顔画像領域の明るさを中心にしたものに設定する。
【００８０】
そしてこのようにＹ画像データについて合成比率を設定した後、この合成比率に合わせてＵＶ画像についても合成処理し、彩度強調を加える。
【００８１】
なお、合成対象となる、露出が各々異なる複数の画像のデータは、上述の各図に示される具体例に特に限定されない。例えば合成対象となる複数の画像のデータが撮像される際の露出の設定は、上述の各図に示される具体例に限定されず、露出が各々異なれば任意でよい。
また、上述の実施形態では特に言及しなかったが、露出が各々異なる複数の画像のデータは、合成されることを考慮すると、位置ズレが予め補正されていると好適である。
【００８２】
また例えば、上述した実施形態では、本発明が適用される画像処理装置は、デジタルカメラとして構成される例として説明した。
しかしながら、本発明は、特にこれに限定されず、画像処理機能を有する電子機器一般に適用することができ、例えば、本発明は、デジタルフォトフレーム、パーソナルコンピュータ、携帯型ナビゲーション装置、ポータブルゲーム機等に幅広く適用可能である。
【００８３】
換言すると、上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウェアにより実行させることもできる。
【００８４】
図１５は、上述した一連の処理をソフトウェアにより実行させる場合の、本発明が適用される画像処理装置のハードウェア構成を示すブロック図である。
【００８５】
図１５の例では、画像処理装置は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）２０１と、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）２０２と、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）２０３と、バス２０４と、入出力インターフェース２０５と、入力部２０６と、出力部２０７と、記憶部２０８と、通信部２０９と、ドライブ２１０と、を備えている。
【００８６】
ＣＰＵ２０１は、ＲＯＭ２０２に記録されているプログラムに従って各種の処理を実行する。又は、ＣＰＵ２０１は、記憶部２０８からＲＡＭ２０３にロードされたプログラムに従って各種の処理を実行する。
ＲＡＭ２０３にはまた、ＣＰＵ２０１が各種の処理を実行する上において必要なデータ等も適宜記憶される。
【００８７】
例えば本実施形態では、合成部１１の機能を実現するプログラムが、ＲＯＭ２０２や記憶部２０８に記憶されている。従って、ＣＰＵ２０１が、これらのプログラムに従った処理を実行することで、合成部１１の機能を実現することができる。
【００８８】
ＣＰＵ２０１、ＲＯＭ２０２、及びＲＡＭ２０３は、バス２０４を介して相互に接続されている。このバス２０４にはまた、入出力インターフェース２０５も接続されている。入出力インターフェース２０５には、入力部２０６、出力部２０７、記憶部２０８、及び通信部２０９が接続されている。
【００８９】
入力部２０６は、各種釦等の操作部で構成され、ユーザの指示操作を受け付ける他、各種情報を入力する。
出力部２０７は、各種情報を出力する。例えば、出力部２０７には、図示しない表示部が設けられており、合成部１１の出力データにより表わされる合成画像が表示される。
記憶部２０８は、ハードディスクやＤＲＡＭ（Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等で構成され、各種データを記憶する。
通信部２０９は、インターネットを含むネットワークを介して他の装置（図示せず）との間で行う通信を制御する。
【００９０】
入出力インターフェース２０５にはまた、必要に応じてドライブ２１０が接続され、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリ等よりなるリムーバブルメディア２１１が適宜装着される。ドライブ２１０によってリムーバブルメディア２１１から読み出されたプログラムは、必要に応じて記憶部２０８にインストールされる。また、リムーバブルメディア２１１は、記憶部２０８に記憶されている画像データ等の各種データも、記憶部２０８と同様に記憶することができる。
【００９１】
一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、コンピュータ等にネットワークや記録媒体からインストールされる。コンピュータは、専用のハードウェアに組み込まれているコンピュータであってもよい。また、コンピュータは、各種のプログラムをインストールすることで、各種の機能を実行することが可能なコンピュータ、例えば汎用のパーソナルコンピュータであってもよい。
【００９２】
このようなプログラムを含む記録媒体は、ユーザにプログラムを提供するために装置本体とは別に配布されるリムーバブルメディア２１１により構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに提供される記録媒体等で構成される。リムーバブルメディア２１１は、例えば、磁気ディスク（フロッピディスクを含む）、光ディスク、又は光磁気ディスク等により構成される。光ディスクは、例えば、ＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｋ−Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ），ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ）等により構成される。光磁気ディスクは、ＭＤ（Ｍｉｎｉ−Ｄｉｓｋ）等により構成される。また、装置本体に予め組み込まれた状態でユーザに提供される記録媒体は、例えば、プログラムが記録されているＲＯＭ２０２や記憶部２０８に含まれるハードディスク等で構成される。
【００９３】
なお、本明細書において、記録媒体に記録されるプログラムを記述するステップは、その順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的或いは個別に実行される処理をも含むものである。
【符号の説明】
【００９４】
１・・・撮像部、２・・・撮像制御部、１１・・・合成部、２１・・・Ｙ合成部、２２・・・ＵＶ合成部、３１・・・平均化部、３２・・・εフィルタ部、３３・・・合成部、３４・・・ゲイン設定部、３５・・・減算部、３６・・・コントラスト強調部、３７・・・エッジ強調部、４１・・・合成比率取得部、４２・・・合成部、４３・・・彩度強調部、２０１・・・ＣＰＵ、２０２・・・ＲＯＭ、２０３・・・ＲＡＭ、２０４・・・バス、２０５・・・入出力インターフェース、２０６・・・入力部、２０７・・・出力部、２０８・・・記憶部、２０９・・・通信部、２１０・・・ドライブ、２１１・・・リムーバブルメディア
【特許請求の範囲】
【請求項１】
露出が各々異なる複数の画像のデータが、所定の色空間において規定される輝度成分からなる複数の第１の画像のデータと、その他の成分からなる複数の第２の画像のデータとに分離されている場合、分離後の前記複数の第１の画像のデータを、所定の合成比率を用いて合成する第１の合成手段と、
分離後の前記複数の第２画像のデータを、前記第１の合成手段で用いられた合成比率と略等しい合成比率を用いて合成する第２の合成手段と、
を備えることを特徴とする画像処理装置。
【請求項２】
前記第１の合成手段は、前記複数の第１の画像において同じ位置に存在する各画素のデータを、座標毎に異なる合成比率を用いて合成し、
前記第２の合成手段は、前記複数の第２において同じ位置に存在する各画素のデータを、当該位置と同じ前記第１の画像内の位置用の前記合成比率を用いて合成することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記第１の合成手段は、さらに、前記複数の第１の画像のデータを平均化して平滑化されたデータを、判定用画像のデータとして用いて、前記合成比率を、前記第１の画像を構成する各画素の位置毎に設定することを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記第１の合成手段は、さらに、合成後の第１の画像のデータの明るさを調整するゲインを、前記複数の第１の画像のデータ毎に設定し、設定された前記ゲインを前記合成比率にかけることで、前記合成比率を調整し、
前記第２の合成手段は、前記第１の合成手段により調整された後の前記合成比率を用いて、前記第２の画像のデータを合成することを特徴とする請求項１乃至３の何れか１項に記載の画像処理装置。
【請求項５】
前記露出が各々異なる複数の画像のデータの少なくとも一つから顔画像領域を検出する第１の画像領域検出手段とを更に備え、
前記第１の合成手段は、前記第１の画像領域検出手段によって顔画像領域を検出すると、この顔画像領域に対し適正な明るさになっている画像データの明るさに基づいて前記合成比率を調整することを特徴とする請求項１乃至４の何れか１項に記載の画像処理装置。
【請求項６】
撮像手段と、
この撮像手段によって撮像されている画像データから顔画像領域を検出する第２の画像領域検出手段と、
この第２の画像領域検出手段によって顔画像領域を検出するとこの顔画像領域に対し適正な明るさになるように露出値を調整するとともに、この調整された露出値を中心に露出が各々異なる複数の画像のデータを撮像するよう制御する撮像制御手段とを更に備えることを特徴とする請求項１乃至４の何れか１項に記載の画像処理装置。
【請求項７】
前記第２の合成手段は、さらに、合成後の第２の画像のデータに対して、彩度を強調するゲインをかけることを特徴とする請求項１乃至６の何れか１項に記載の画像処理装置。
【請求項８】
画像のデータに対して画像処理を施す画像処理装置を制御するコンピュータに、
露出が各々異なる複数の画像のデータが、所定の色空間において規定される輝度成分からなる複数の第１の画像のデータと、その他の成分からなる複数の第２の画像のデータとに分離されている場合、分離後の前記複数の第１の画像のデータを、所定の合成比率を用いて合成する第１の合成機能と、
分離後の前記複数の第２画像のデータを、前記第１の合成機能で用いられた合成比率と略等しい合成比率を用いて合成する第２の合成機能と、
を実現させることを特徴とするプログラム。
【請求項１】
露出が各々異なる複数の画像のデータが、所定の色空間において規定される輝度成分からなる複数の第１の画像のデータと、その他の成分からなる複数の第２の画像のデータとに分離されている場合、分離後の前記複数の第１の画像のデータを、所定の合成比率を用いて合成する第１の合成手段と、
分離後の前記複数の第２画像のデータを、前記第１の合成手段で用いられた合成比率と略等しい合成比率を用いて合成する第２の合成手段と、
を備えることを特徴とする画像処理装置。
【請求項２】
前記第１の合成手段は、前記複数の第１の画像において同じ位置に存在する各画素のデータを、座標毎に異なる合成比率を用いて合成し、
前記第２の合成手段は、前記複数の第２において同じ位置に存在する各画素のデータを、当該位置と同じ前記第１の画像内の位置用の前記合成比率を用いて合成することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記第１の合成手段は、さらに、前記複数の第１の画像のデータを平均化して平滑化されたデータを、判定用画像のデータとして用いて、前記合成比率を、前記第１の画像を構成する各画素の位置毎に設定することを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記第１の合成手段は、さらに、合成後の第１の画像のデータの明るさを調整するゲインを、前記複数の第１の画像のデータ毎に設定し、設定された前記ゲインを前記合成比率にかけることで、前記合成比率を調整し、
前記第２の合成手段は、前記第１の合成手段により調整された後の前記合成比率を用いて、前記第２の画像のデータを合成することを特徴とする請求項１乃至３の何れか１項に記載の画像処理装置。
【請求項５】
前記露出が各々異なる複数の画像のデータの少なくとも一つから顔画像領域を検出する第１の画像領域検出手段とを更に備え、
前記第１の合成手段は、前記第１の画像領域検出手段によって顔画像領域を検出すると、この顔画像領域に対し適正な明るさになっている画像データの明るさに基づいて前記合成比率を調整することを特徴とする請求項１乃至４の何れか１項に記載の画像処理装置。
【請求項６】
撮像手段と、
この撮像手段によって撮像されている画像データから顔画像領域を検出する第２の画像領域検出手段と、
この第２の画像領域検出手段によって顔画像領域を検出するとこの顔画像領域に対し適正な明るさになるように露出値を調整するとともに、この調整された露出値を中心に露出が各々異なる複数の画像のデータを撮像するよう制御する撮像制御手段とを更に備えることを特徴とする請求項１乃至４の何れか１項に記載の画像処理装置。
【請求項７】
前記第２の合成手段は、さらに、合成後の第２の画像のデータに対して、彩度を強調するゲインをかけることを特徴とする請求項１乃至６の何れか１項に記載の画像処理装置。
【請求項８】
画像のデータに対して画像処理を施す画像処理装置を制御するコンピュータに、
露出が各々異なる複数の画像のデータが、所定の色空間において規定される輝度成分からなる複数の第１の画像のデータと、その他の成分からなる複数の第２の画像のデータとに分離されている場合、分離後の前記複数の第１の画像のデータを、所定の合成比率を用いて合成する第１の合成機能と、
分離後の前記複数の第２画像のデータを、前記第１の合成機能で用いられた合成比率と略等しい合成比率を用いて合成する第２の合成機能と、
を実現させることを特徴とするプログラム。
【図１】
【図２】
【図３】
【図５】
【図７】
【図９】
【図１０】
【図１１】
【図１５】
【図４】
【図６】
【図８】
【図１２】
【図１３】
【図１４】
【図２】
【図３】
【図５】
【図７】
【図９】
【図１０】
【図１１】
【図１５】
【図４】
【図６】
【図８】
【図１２】
【図１３】
【図１４】
【公開番号】特開２０１２−３４３４０（Ｐ２０１２−３４３４０Ａ）
【公開日】平成２４年２月１６日（２０１２．２．１６）
【国際特許分類】
【出願番号】特願２０１１−４４５２９（Ｐ２０１１−４４５２９）
【出願日】平成２３年３月１日（２０１１．３．１）
【出願人】（０００００１４４３）カシオ計算機株式会社 (8,748)
【Ｆターム（参考）】
【公開日】平成２４年２月１６日（２０１２．２．１６）
【国際特許分類】
【出願日】平成２３年３月１日（２０１１．３．１）
【出願人】（０００００１４４３）カシオ計算機株式会社 (8,748)
【Ｆターム（参考）】
[ Back to top ]