画像処理装置、画像処理方法及び撮像装置
【課題】合成画像の彩度の低下を招くことなく、ダイナミックレンジを拡張することができるようにする。
【解決手段】階調圧縮前の合成画像の輝度Ｃ１、彩度Ｃ１及び収まり度合情報Ｃ１と、階調圧縮後の合成画像の輝度Ｃ２及び彩度Ｃ２とから、輝度用コントラスト強調パラメータＱＹ及び彩度用コントラスト強調パラメータＱＣを算出するコントラスト強調パラメータ算出部１４を設け、コントラスト強調部１５が、輝度用コントラスト強調パラメータＱＹ及び彩度用コントラスト強調パラメータＱＣを用いて、階調圧縮後の合成画像のコントラストを強調する。
【解決手段】階調圧縮前の合成画像の輝度Ｃ１、彩度Ｃ１及び収まり度合情報Ｃ１と、階調圧縮後の合成画像の輝度Ｃ２及び彩度Ｃ２とから、輝度用コントラスト強調パラメータＱＹ及び彩度用コントラスト強調パラメータＱＣを算出するコントラスト強調パラメータ算出部１４を設け、コントラスト強調部１５が、輝度用コントラスト強調パラメータＱＹ及び彩度用コントラスト強調パラメータＱＣを用いて、階調圧縮後の合成画像のコントラストを強調する。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、高露出値画像と低露出値画像を合成して、デジタルカメラのダイナミックレンジを拡張する画像処理装置及び画像処理方法と、その画像処理装置を実装している撮像装置とに関するものである。
【背景技術】
【０００２】
撮像装置であるデジタルカメラ等で使用されているイメージセンサは、ダイナミックレンジが狭いため、撮影画像の中に、白飛びや黒つぶれが発生することがある。
以下の特許文献１に開示されている画像処理装置では、デジタルカメラのダイナミックレンジを拡張するために、露出が異なる２枚の画像を合成するようにしている。
【０００３】
図９は特許文献１に開示されている画像処理装置を示す構成図である。
図９において、ＣＣＤ１０１は撮像素子であり、タイミング制御手段１０９の指示の下で露光時間を切り替えて、２枚の画像（白飛びが少ない高露出値画像と、黒つぶれが少ない低露出値画像）を時分割で撮影する。
メモリ１０２はＣＣＤ１０１により撮影された高露出値画像を格納するバッファメモリであり、メモリ１０２は時分割で撮影された２枚の画像を合成する際のタイミングを調整するために使用される。
【０００４】
乗算器１０３はメモリ１０２に格納された高露出値画像の信号レベルを定数倍する。
レベル重み手段１０４は乗算器１０３により信号レベルが定数倍された高露出値画像に対して、その高露出値画像の信号レベルに応じた重み係数Ｈを付加する。
レベル重み手段１０５はＣＣＤ１０１により撮影された低露出値画像に対して、その低露出値画像の信号レベルに応じた重み係数Ｌを付加する。
【０００５】
加算器１０６はレベル重み手段１０４により重み係数Ｈが付加された高露出値画像とレベル重み手段１０５により重み係数Ｌが付加された低露出値画像とを加算して画像を合成する。
速度変換手段１０７はタイミング制御手段１０９の指示の下、加算器１０６による合成画像の速度を調整する。
レベル圧縮手段１０８は速度変換手段１０７により速度が調整された合成画像の信号レベルを出力段の階調に合わせるために、その合成画像の信号レベルを圧縮する。
【０００６】
図９の画像処理装置は、上記のように構成されているので、ＣＣＤ１０１により時分割で撮影された２枚の画像が合成されて、デジタルカメラのダイナミックレンジが拡張される。
ここで、図１０は高露出値画像の最も低い階調と、低露出値画像の最も高い階調とが同じ明るさである場合の図９の画像処理装置のダイナミックレンジ拡張方法を表している。
図１０では、高露出値画像の各階調は、合成画像の高階調側半分に割り当てられ、低露出値画像の各階調は、合成画像の低階調側半分に割り当てられることを表している。
【０００７】
ＲＧＢの３原色で表されるデジタル画像の場合、一般的に高階調端付近及び低階調端付近では、彩度が低くなり、彩度を高くするためには、明るさが中間の階調である必要がある。
しかし、図１０に示すように、高露出値画像で中間の階調であった部分は、合成画像では高階調側にマッピングされ、低露出値画像で中間であった部分は、合成画像では低階調側にマッピングされる。
このため、高露出値画像及び低露出値画像において、高い彩度を出せる階調であった部分が、合成画像では高い彩度を出せる階調にマッピングされず、合成画像の彩度の低下が発生する。
【先行技術文献】
【特許文献】
【０００８】
【特許文献１】特許第３０７４９６７号（段落番号［００１５］、図１）
【発明の概要】
【発明が解決しようとする課題】
【０００９】
従来の画像処理装置は以上のように構成されているので、ＣＣＤ１０１により時分割で撮影された２枚の画像が合成されて、デジタルカメラのダイナミックレンジが拡張されるが、その合成画像の信号レベルが圧縮されることで、彩度が低下することがある課題があった。
【００１０】
この発明は上記のような課題を解決するためになされたもので、合成画像の彩度の低下を招くことなく、ダイナミックレンジを拡張することができる画像処理装置、画像処理方法及び撮像装置を得ることを目的とする。
【課題を解決するための手段】
【００１１】
この発明に係る画像処理装置は、高露出値画像の輝度及び彩度を特定するとともに、高露出値画像と異なる露出条件で同一の被写体が撮影された低露出値画像の輝度及び彩度を特定する輝度彩度特定手段と、輝度彩度特定手段により特定された高露出値画像の輝度及び彩度が指定の範囲内に収まっている度合を特定して、その度合を示す第１の収まり度合情報を出力するとともに、輝度彩度特定手段により特定された低露出値画像の輝度及び彩度が指定の範囲内に収まっている度合を特定して、その度合を示す第２の収まり度合情報を出力する収まり度合特定手段と、輝度彩度特定手段により特定された高露出値画像及び低露出値画像の輝度から合成比率を算出する合成比率算出手段と、合成比率算出手段により算出された合成比率にしたがって高露出値画像と低露出値画像を合成するとともに、その合成比率にしたがって高露出値画像の輝度、彩度及び第１の収まり度合情報と、低露出値画像の輝度、彩度及び第２の収まり度合情報とを合成する合成手段と、合成手段による合成画像の階調を圧縮する階調圧縮手段とを設け、コントラスト強調手段が合成手段による合成後の輝度、彩度及び収まり度合情報と階調圧縮手段による階調圧縮後の合成画像からコントラスト強調用のパラメータを算出し、そのパラメータを用いて、階調圧縮手段による階調圧縮後の合成画像のコントラストを強調するようにしたものである。
【発明の効果】
【００１２】
この発明によれば、高露出値画像の輝度及び彩度を特定するとともに、高露出値画像と異なる露出条件で同一の被写体が撮影された低露出値画像の輝度及び彩度を特定する輝度彩度特定手段と、輝度彩度特定手段により特定された高露出値画像の輝度及び彩度が指定の範囲内に収まっている度合を特定して、その度合を示す第１の収まり度合情報を出力するとともに、輝度彩度特定手段により特定された低露出値画像の輝度及び彩度が指定の範囲内に収まっている度合を特定して、その度合を示す第２の収まり度合情報を出力する収まり度合特定手段と、輝度彩度特定手段により特定された高露出値画像及び低露出値画像の輝度から合成比率を算出する合成比率算出手段と、合成比率算出手段により算出された合成比率にしたがって高露出値画像と低露出値画像を合成するとともに、その合成比率にしたがって高露出値画像の輝度、彩度及び第１の収まり度合情報と、低露出値画像の輝度、彩度及び第２の収まり度合情報とを合成する合成手段と、合成手段による合成画像の階調を圧縮する階調圧縮手段とを設け、コントラスト強調手段が合成手段による合成後の輝度、彩度及び収まり度合情報と階調圧縮手段による階調圧縮後の合成画像からコントラスト強調用のパラメータを算出し、そのパラメータを用いて、階調圧縮手段による階調圧縮後の合成画像のコントラストを強調するように構成したので、合成画像の彩度の低下を招くことなく、ダイナミックレンジを拡張することができる効果がある。
【図面の簡単な説明】
【００１３】
【図１】この発明の実施の形態１による画像処理装置を示す構成図である。
【図２】この発明の実施の形態１による画像処理装置の処理内容を示すフローチャートである。
【図３】高露出値画像の輝度Ａ１と輝度収まり度合ＳＹＡの対応関係を示す説明図である。
【図４】高露出値画像の彩度Ａ１と彩度収まり度合ＳＣＡの対応関係を示す説明図である。
【図５】低露出値画像の輝度Ｂ１と輝度収まり度合ＳＹＢの対応関係を示す説明図である。
【図６】低露出値画像の彩度Ｂ１と彩度収まり度合ＳＣＢの対応関係を示す説明図である。
【図７】（Ａ）は加算結果（Ａ３＋Ｂ３）と合成比率Ａの対応関係を示し、（Ｂ）は加算結果（Ａ３＋Ｂ３）と合成比率Ｂの対応関係を示す説明図である。
【図８】この発明の実施の形態２による画像処理装置が搭載されている撮像装置を示す構成図である。
【図９】特許文献１に開示されている画像処理装置を示す構成図である。
【図１０】高露出値画像の最も低い階調と、低露出値画像の最も高い階調とが同じ明るさである場合の図９の画像処理装置のダイナミックレンジ拡張方法を示す説明図である。
【発明を実施するための形態】
【００１４】
実施の形態１．
図１はこの発明の実施の形態１による画像処理装置を示す構成図である。
図１において、輝度／彩度算出部１は例えばＣＣＤなどの撮像素子により撮影された高露出値画像を示す画像データＡを入力して、その高露出値画像を構成している画素の値を特定し、その画素値を用いて、高露出値画像の輝度Ａ１及び彩度Ａ１を算出する処理を実施する。
輝度／彩度算出部２は例えばＣＣＤなどの撮像素子により撮影された低露出値画像（低露出値画像は、高露出値画像と異なる露出条件で同一の被写体が撮影された画像であり、高露出値画像と低露出値画像は、例えば、上記撮像素子により時分割で撮影される）を示す画像データＢを入力して、その低露出値画像を構成している画素の値を特定し、その画素値を用いて、低露出値画像の輝度Ｂ１及び彩度Ｂ１を算出する処理を実施する。
なお、輝度／彩度算出部１，２は、例えば、ＣＰＵを実装している半導体集積回路やワンチップマイコンなどのハードウェアで構成されており、輝度／彩度算出部１，２が輝度彩度特定手段を構成している。
【００１５】
収まり度合特定部３は輝度／彩度算出部１により算出された高露出値画像の輝度Ａ１が指定の範囲内に収まっている度合（以下、「輝度収まり度合ＳＹＡ」と称する）を特定するとともに、輝度／彩度算出部１により算出された高露出値画像の彩度Ａ１が指定の範囲内に収まっている度合（以下、「彩度収まり度合ＳＣＡ」と称する）を特定し、その輝度収まり度合ＳＹＡと彩度収まり度合ＳＣＡの乗算値を収まり度合情報Ａ１（第１の収まり度合情報）として合成比率乗算部９に出力する処理を実施する。
【００１６】
収まり度合特定部４は輝度／彩度算出部２により算出された低露出値画像の輝度Ｂ１が指定の範囲内に収まっている度合（以下、「輝度収まり度合ＳＹＢ」と称する）を特定するとともに、輝度／彩度算出部２により算出された低露出値画像の彩度Ｂ１が指定の範囲内に収まっている度合（以下、「彩度収まり度合ＳＣＢ」と称する）を特定し、その輝度収まり度合ＳＹＢと彩度収まり度合ＳＣＢの乗算値を収まり度合情報Ｂ１（第２の収まり度合情報）として合成比率乗算部１０に出力する処理を実施する。
なお、収まり度合特定部３，４は、例えば、ＣＰＵを実装している半導体集積回路やワンチップマイコンなどのハードウェアで構成されており、収まり度合特定部３，４が収まり度合特定手段を構成している。
【００１７】
露出比率変換部５は入力される画像データＡ及び輝度／彩度算出部１により算出された高露出値画像の輝度Ａ１に対して、高露出値画像と低露出値画像における露出比率分の値を乗算して、乗算後の画像データＡ１を合成比率乗算部９に出力し、乗算後の輝度Ａ１である輝度Ａ３を輝度加算部７に出力する処理を実施する。
ここでは、露出比率変換部５が露出比率分の値を乗算して画像データＡ及び輝度Ａ１を変換する例を示しているが、単純な乗算による変換ではなく、ルックアップテーブルを参照して、階調毎に倍率を可変しながら画像データＡ及び輝度Ａ１の変換を行うようにしてもよい。
【００１８】
露出比率変換部６は入力される画像データＢ及び輝度／彩度算出部２により算出された低露出値画像の輝度Ｂ１に対して、高露出値画像と低露出値画像における露出比率分の値を乗算して、乗算後の画像データＢ１を合成比率乗算部１０に出力し、乗算後の輝度Ｂ１である輝度Ｂ３を輝度加算部７に出力する処理を実施する。
ここでは、露出比率変換部６が露出比率分の値を乗算して画像データＢ及び輝度Ｂ１を変換する例を示しているが、単純な乗算による変換ではなく、ルックアップテーブルを参照して、階調毎に倍率を可変しながら画像データＢ及び輝度Ｂ１の変換を行うようにしてもよい。
【００１９】
図１の例では、上記の通り、露出比率変換部５及び露出比率変換部６の双方が露出比率の変換処理を実施しているが、どちらか一方が他方の露出比率に合わせればよいため、例えば、露出比率変換部５が低露出値画像の露出比率に合うように、画像データＡ及び輝度Ａ１を変換する場合には、露出比率変換部６が画像データＢ及び輝度Ｂ１を変換せずに、その画像データＢ及び輝度Ｂ３（＝輝度Ｂ１）を出力すればよい。
一方、露出比率変換部６が高露出値画像の露出比率に合うように、画像データＢ及び輝度Ｂ１を変換する場合には、露出比率変換部５が画像データＡ及び輝度Ａ１を変換せずに、その画像データＡ及び輝度Ａ３（＝輝度Ａ１）を出力すればよい。
なお、露出比率変換部５，６は、例えば、ＣＰＵを実装している半導体集積回路やワンチップマイコンなどのハードウェアで構成されている。
【００２０】
輝度加算部７は例えばＣＰＵを実装している半導体集積回路やワンチップマイコンなどのハードウェアで構成されており、露出比率変換部５から出力された高露出値画像の輝度Ａ３と露出比率変換部６から出力された低露出値画像の輝度Ｂ３とを加算し、その加算結果（Ａ３＋Ｂ３）を合成比率算出部８に出力する処理を実施する。
合成比率算出部８は例えばＣＰＵを実装している半導体集積回路やワンチップマイコンなどのハードウェアで構成されており、輝度加算部７から出力された加算結果（Ａ３＋Ｂ３）から合成比率Ａ，Ｂを算出して、その合成比率Ａを合成比率乗算部９に出力するとともに、その合成比率Ｂを合成比率乗算部１０に出力する処理を実施する。
なお、露出比率変換部５，６、輝度加算部７及び合成比率算出部８から合成比率算出手段が構成されている。
【００２１】
合成比率乗算部９は輝度／彩度算出部１により算出された高露出値画像の輝度Ａ１及び彩度Ａ１、収まり度合特定部３から出力された収まり度合情報Ａ１及び露出比率変換部５から出力された画像データＡ１に対して、合成比率算出部８により算出された合成比率Ａを乗算し、乗算後の輝度Ａ１、彩度Ａ１、収まり度合情報Ａ１及び画像データＡ１を、輝度Ａ２、彩度Ａ２、収まり度合情報Ａ２及び画像データＡ２として合成部１１に出力する処理を実施する。
【００２２】
合成比率乗算部１０は輝度／彩度算出部２により算出された低露出値画像の輝度Ｂ１及び彩度Ｂ１、収まり度合特定部４から出力された収まり度合情報Ｂ１及び露出比率変換部６から出力された画像データＢ１に対して、合成比率算出部８により算出された合成比率Ｂを乗算し、乗算後の輝度Ｂ１、彩度Ｂ１、収まり度合情報Ｂ１及び画像データＢ１を、輝度Ｂ２、彩度Ｂ２、収まり度合情報Ｂ２及び画像データＢ２として合成部１１に出力する処理を実施する。
なお、合成比率乗算部９，１０は、例えば、ＣＰＵを実装している半導体集積回路やワンチップマイコンなどのハードウェアで構成されている。
【００２３】
合成部１１は例えばＣＰＵを実装している半導体集積回路やワンチップマイコンなどのハードウェアで構成されており、合成比率乗算部９から出力された輝度Ａ２、彩度Ａ２、収まり度合情報Ａ２及び画像データＡ２と、合成比率乗算部１０から出力された輝度Ｂ２、彩度Ｂ２、収まり度合情報Ｂ２及び画像データＢ２とを加算して、その加算結果である画像データＣ１（＝画像データＡ２＋画像データＢ２）を階調圧縮部１２に出力するとともに、その加算結果である輝度Ｃ１（＝輝度Ａ２＋輝度Ｂ２）、彩度Ｃ１（＝彩度Ａ２＋彩度Ｂ２）及び収まり度合情報Ｃ１（＝収まり度合情報Ａ２＋収まり度合情報Ｂ２）をコントラスト強調パラメータ算出部１４に出力する処理を実施する。
なお、合成比率乗算部９，１０及び合成部１１から合成手段が構成されている。
【００２４】
階調圧縮部１２は合成部１１から出力された画像データＣ１が示す合成画像の階調を圧縮する処理を実施する。
なお、階調圧縮部１２は、例えば、ＣＰＵを実装している半導体集積回路やワンチップマイコンなどのハードウェアで構成されており、階調圧縮部１２が階調圧縮手段を構成している。
【００２５】
輝度／彩度算出部１３は例えばＣＰＵを実装している半導体集積回路やワンチップマイコンなどのハードウェアで構成されており、階調圧縮部１２による階調圧縮後の合成画像を構成している画素の値を特定し、その画素値を用いて、階調圧縮後の合成画像の輝度Ｃ２及び彩度Ｃ２を算出する処理を実施する。
コントラスト強調パラメータ算出部１４は例えばＣＰＵを実装している半導体集積回路やワンチップマイコンなどのハードウェアで構成されており、合成部１１から出力された階調圧縮前の合成画像の輝度Ｃ１、彩度Ｃ１及び収まり度合情報Ｃ１と、輝度／彩度算出部１３により算出された階調圧縮後の合成画像の輝度Ｃ２及び彩度Ｃ２とから、輝度用コントラスト強調パラメータＱＹ及び彩度用コントラスト強調パラメータＱＣ（コントラスト強調用のパラメータ）を算出する処理を実施する。
【００２６】
コントラスト強調部１５は例えばＣＰＵを実装している半導体集積回路やワンチップマイコンなどのハードウェアで構成されており、コントラスト強調パラメータ算出部１４により算出された輝度用コントラスト強調パラメータＱＹ及び彩度用コントラスト強調パラメータＱＣを用いて、階調圧縮部１２による階調圧縮後の合成画像のコントラストを強調し、コントラスト強調後の合成画像を示す画像データＤを出力する処理を実施する。
なお、輝度／彩度算出部１３、コントラスト強調パラメータ算出部１４及びコントラスト強調部１５からコントラスト強調手段が構成されている。
【００２７】
図１の例では、画像処理装置の構成要素である輝度／彩度算出部１，２、収まり度合特定部３，４、露出比率変換部５、露出比率変換部６、輝度加算部７、合成比率算出部８、合成比率乗算部９、合成比率乗算部１０、合成部１１、階調圧縮部１２、輝度／彩度算出部１３、コントラスト強調パラメータ算出部１４及びコントラスト強調部１５のそれぞれが専用のハードウェアで構成されているものを想定しているが、画像処理装置がコンピュータで構成される場合、輝度／彩度算出部１，２、収まり度合特定部３，４、露出比率変換部５、露出比率変換部６、輝度加算部７、合成比率算出部８、合成比率乗算部９、合成比率乗算部１０、合成部１１、階調圧縮部１２、輝度／彩度算出部１３、コントラスト強調パラメータ算出部１４及びコントラスト強調部１５の処理内容が記述されているプログラムをコンピュータのメモリに格納し、当該コンピュータのＣＰＵが当該メモリに格納されているプログラムを実行するようにしてもよい。
図２はこの発明の実施の形態１による画像処理装置の処理内容を示すフローチャートである。
【００２８】
次に動作について説明する。
この実施の形態１では、画像処理装置が、高露出値画像及び低露出値画像の画像データを１画素ずつ処理して、合成画像を示す画像データを出力する構成となっている。
高露出値画像、低露出値画像及び合成画像の画像形式としては、ＣＣＤなどのイメージセンサから出力されるＲＡＷデータであってもよいし、ＲＡＷデータ以外のＲＧＢ４：４：４のデータであってもよい。
この実施の形態１の画像処理装置が、従来の画像処理装置と相違している点は、階調圧縮後の合成画像の輝度及び彩度が、階調圧縮前の合成画像の輝度及び彩度より低下している場合、階調圧縮後の合成画像の輝度及び彩度を補正するようにしていることである。
【００２９】
まず、高露出値画像を示す画像データＡと、低露出値画像を示す画像データＢとがラスタスキャンの順に１ラインずつ入力される。
図１の例では、高露出値画像を示す画像データＡが輝度／彩度算出部１に入力されて、低露出値画像を示す画像データＢが輝度／彩度算出部２に入力されているが、画像データＡと画像データＢは対象な構成であるため、画像データＡが輝度／彩度算出部２に入力されて、画像データＢが輝度／彩度算出部１に入力されてもよい。
【００３０】
輝度／彩度算出部１は、高露出値画像を示す画像データＡを入力すると、その画像データＡを参照して、高露出値画像を構成している画素の値を特定する。
輝度／彩度算出部１は、高露出値画像の画素値を特定すると、下記の式（１）に示すように、その画素値を用いて、高露出値画像の輝度Ａ１を算出する（ステップＳＴ１）。
Ｙ＝０．２９９×Ｒ＋０．５８７×Ｇ＋０．１１４×Ｂ （１）
ただし、Ｙ：輝度値（高露出値画像の輝度Ａ１の値）
Ｒ：ＲＧＢ画像における赤色の画素値
Ｇ：ＲＧＢ画像における緑色の画素値
Ｂ：ＲＧＢ画像における青色の画素値
【００３１】
また、輝度／彩度算出部１は、下記の式（２）に示すように、高露出値画像の画素値を用いて、高露出値画像の彩度Ａ１を算出する（ステップＳＴ２）。
Ｃ＝ＳＱＲＴ（Ｃｂ×Ｃｂ＋Ｃｒ×Ｃｒ） （２）
Ｃｂ＝−０．１６９×Ｒ−０．３３１×Ｇ＋０．５×Ｂ
Ｃｒ＝０．５×Ｒ−０．４１９×Ｇ−０．１１４×Ｂ
ただし、Ｃ：彩度値（高露出値画像の彩度Ａ１の値）
Ｃｂ，Ｃｒ：色差値
ＳＱＲＴ（Ａ）：Ａの平方根を算出する関数
【００３２】
輝度／彩度算出部２は、低露出値画像を示す画像データＢを入力すると、その画像データＢを参照して、低露出値画像を構成している画素の値を特定する。
輝度／彩度算出部２は、低露出値画像の画素値を特定すると、下記の式（３）に示すように、その画素値を用いて、低露出値画像の輝度Ｂ１を算出する（ステップＳＴ３）。
Ｙ＝０．２９９×Ｒ＋０．５８７×Ｇ＋０．１１４×Ｂ （３）
ただし、Ｙ：輝度値（低露出値画像の輝度Ｂ１の値）
【００３３】
また、輝度／彩度算出部２は、下記の式（４）に示すように、低露出値画像の画素値を用いて、低露出値画像の彩度Ｂ１を算出する（ステップＳＴ４）。
Ｃ＝ＳＱＲＴ（Ｃｂ×Ｃｂ＋Ｃｒ×Ｃｒ） （４）
Ｃｂ＝−０．１６９×Ｒ−０．３３１×Ｇ＋０．５×Ｂ
Ｃｒ＝０．５×Ｒ−０．４１９×Ｇ−０．１１４×Ｂ
ただし、Ｃ：彩度値（低露出値画像の彩度Ｂ１の値）
【００３４】
ここでは、画像データＡがＲＧＢ画像である例を示したが、画像データＡがＲＡＷ画像である場合、近傍の画素を参照して、１画素あたり３色分のデータを生成してから、上記の式（１）〜式（４）を用いて、輝度Ａ１，Ｂ１及び彩度Ａ１，Ｂ１を算出すればよい。
【００３５】
収まり度合特定部３は、輝度／彩度算出部１が高露出値画像の輝度Ａ１及び彩度Ａ１を算出すると、高露出値画像の輝度Ａ１が指定の範囲内に収まっている度合（輝度収まり度合ＳＹＡ）を特定するとともに、高露出値画像の彩度Ａ１が指定の範囲内に収まっている度合（彩度収まり度合ＳＣＡ）を特定し、その輝度収まり度合ＳＹＡと彩度収まり度合ＳＣＡの乗算値を収まり度合情報Ａ１として合成比率乗算部９に出力する（ステップＳＴ５）。
【００３６】
以下、収まり度合特定部３の処理内容を具体的に説明する。
ここで、図３は高露出値画像の輝度Ａ１と輝度収まり度合ＳＹＡの対応関係を示す説明図である。
図３において、ＹＴＡ［０］はユーザによる指定の範囲の下限を示す閾値であり、ＹＴＡ［３］はユーザによる指定の範囲の上限を示す閾値である。
また、ＹＴＡ［１］、ＹＴＡ［２］は輝度収まり度合ＳＹＡを算出するために、ユーザにより指定された閾値である。
輝度収まり度合ＳＹＡは、下記に示すように、高露出値画像の輝度Ａ１とＹＴＡ［０］〜ＹＴＡ［３］の関係で、０．０〜１．０の範囲で算出される。
【００３７】
（１）輝度Ａ１≦ＹＴＡ［０］の場合
ＳＹＡ＝０．０
（２）ＹＴＡ［０］＜輝度Ａ１＜ＹＴＡ［１］の場合
ＳＹＡ＝（輝度Ａ１−ＹＴＡ［０］）÷（ＹＴＡ［１］−ＹＴＡ［０］）
（３）ＹＴＡ［１］≦輝度Ａ１≦ＹＴＡ［２］の場合
ＳＹＡ＝１．０
（４）ＹＴＡ［２］＜輝度Ａ１＜ＹＴＡ［３］の場合
ＳＹＡ＝（ＹＴＡ［３］−輝度Ａ１）÷（ＹＴＡ［３］−ＹＴＡ［２］）
（５）ＹＴＡ［３］≦輝度Ａ１の場合
ＳＹＡ＝０．０
【００３８】
また、図４は高露出値画像の彩度Ａ１と彩度収まり度合ＳＣＡの対応関係を示す説明図である。
図４において、ＣＴＡ［０］はユーザによる指定の範囲の下限を示す閾値であり、ＣＴＡ［３］はユーザによる指定の範囲の上限を示す閾値である。
また、ＣＴＡ［１］、ＣＴＡ［２］は彩度収まり度合ＳＣＡを算出するために、ユーザにより指定された閾値である。
彩度収まり度合ＳＣＡは、下記に示すように、高露出値画像の彩度Ａ１とＣＴＡ［０］〜ＣＴＡ［３］の関係で、０．０〜１．０の範囲で算出される。
【００３９】
（１）彩度Ａ１≦ＣＴＡ［０］の場合
ＳＣＡ＝０．０
（２）ＣＴＡ［０］＜彩度Ａ１＜ＣＴＡ［１］の場合
ＳＣＡ＝（彩度Ａ１−ＣＴＡ［０］）÷（ＣＴＡ［１］−ＣＴＡ［０］）
（３）ＣＴＡ［１］≦彩度Ａ１≦ＣＴＡ［２］の場合
ＳＣＡ＝１．０
（４）ＣＴＡ［２］＜彩度Ａ１＜ＣＴＡ［３］の場合
ＳＣＡ＝（ＣＴＡ［３］−彩度Ａ１）÷（ＣＴＡ［３］−ＣＴＡ［２］）
（５）ＣＴＡ［３］≦彩度Ａ１の場合
ＳＣＡ＝０．０
【００４０】
収まり度合特定部３は、上記のようにして、輝度収まり度合ＳＹＡと彩度収まり度合ＳＣＡを算出すると、下記の式（５）に示すように、その輝度収まり度合ＳＹＡと彩度収まり度合ＳＣＡから収まり度合情報Ａ１を算出する。
収まり度合情報Ａ１＝ＳＹＡ×ＳＣＡ （５）
【００４１】
収まり度合特定部４は、輝度／彩度算出部２が低露出値画像の輝度Ｂ１及び彩度Ｂ１を算出すると、低露出値画像の輝度Ｂ１が指定の範囲内に収まっている度合（輝度収まり度合ＳＹＢ）を特定するとともに、低露出値画像の彩度Ｂ１が指定の範囲内に収まっている度合（彩度収まり度合ＳＣＢ）を特定し、その輝度収まり度合ＳＹＢと彩度収まり度合ＳＣＢの乗算値を収まり度合情報Ｂ１として合成比率乗算部１０に出力する（ステップＳＴ６）。
【００４２】
以下、収まり度合特定部４の処理内容を具体的に説明する。
ここで、図５は低露出値画像の輝度Ｂ１と輝度収まり度合ＳＹＢの対応関係を示す説明図である。
図５において、ＹＴＢ［０］はユーザによる指定の範囲の下限を示す閾値であり、ＹＴＢ［３］はユーザによる指定の範囲の上限を示す閾値である。
また、ＹＴＢ［１］、ＹＴＢ［２］は輝度収まり度合ＳＹＢを算出するために、ユーザにより指定された閾値である。
輝度収まり度合ＳＹＢは、下記に示すように、低露出値画像の輝度Ｂ１とＹＴＢ［０］〜ＹＴＢ［３］の関係で、０．０〜１．０の範囲で算出される。
【００４３】
（１）輝度Ｂ１≦ＹＴＢ［０］の場合
ＳＹＢ＝０．０
（２）ＹＴＢ［０］＜輝度Ｂ１＜ＹＴＢ［１］の場合
ＳＹＢ＝（輝度Ｂ１−ＹＴＢ［０］）÷（ＹＴＢ［１］−ＹＴＢ［０］）
（３）ＹＴＢ［１］≦輝度Ｂ１≦ＹＴＢ［２］の場合
ＳＹＢ＝１．０
（４）ＹＴＢ［２］＜輝度Ｂ１＜ＹＴＢ［３］の場合
ＳＹＢ＝（ＹＴＢ［３］−輝度Ｂ１）÷（ＹＴＢ［３］−ＹＴＢ［２］）
（５）ＹＴＢ［３］≦輝度Ｂ１の場合
ＳＹＢ＝０．０
【００４４】
また、図６は低露出値画像の彩度Ｂ１と彩度収まり度合ＳＣＢの対応関係を示す説明図である。
図６において、ＣＴＢ［０］はユーザによる指定の範囲の下限を示す閾値であり、ＣＴＢ［３］はユーザによる指定の範囲の上限を示す閾値である。
また、ＣＴＢ［１］、ＣＴＢ［２］は彩度収まり度合ＳＣＢを算出するために、ユーザにより指定された閾値である。
彩度収まり度合ＳＣＢは、下記に示すように、低露出値画像の彩度Ｂ１とＣＴＢ［０］〜ＣＴＢ［３］の関係で、０．０〜１．０の範囲で算出される。
【００４５】
（１）彩度Ｂ１≦ＣＴＢ［０］の場合
ＳＣＢ＝０．０
（２）ＣＴＢ［０］＜彩度Ｂ１＜ＣＴＢ［１］の場合
ＳＣＢ＝（彩度Ｂ１−ＣＴＢ［０］）÷（ＣＴＢ［１］−ＣＴＢ［０］）
（３）ＣＴＢ［１］≦彩度Ｂ１≦ＣＴＢ［２］の場合
ＳＣＢ＝１．０
（４）ＣＴＢ［２］＜彩度Ｂ１＜ＣＴＢ［３］の場合
ＳＣＢ＝（ＣＴＢ［３］−彩度Ｂ１）÷（ＣＴＢ［３］−ＣＴＢ［２］）
（５）ＣＴＢ［３］≦彩度Ｂ１の場合
ＳＣＢ＝０．０
【００４６】
収まり度合特定部４は、上記のようにして、輝度収まり度合ＳＹＢと彩度収まり度合ＳＣＢを算出すると、下記の式（６）に示すように、その輝度収まり度合ＳＹＢと彩度収まり度合ＳＣＢから収まり度合情報Ｂ１を算出する。
収まり度合情報Ｂ１＝ＳＹＢ×ＳＣＢ （６）
【００４７】
露出比率変換部５は、輝度／彩度算出部１が高露出値画像の輝度Ａ１を算出すると、画像データＡ及び高露出値画像の輝度Ａ１に対して、高露出値画像と低露出値画像における露出比率分の値を乗算して、乗算後の画像データＡ１を合成比率乗算部９に出力し、乗算後の輝度Ａ１である輝度Ａ３を輝度加算部７に出力する（ステップＳＴ７）。
ここでは、露出比率変換部５が露出比率分の値を乗算して画像データＡ及び輝度Ａ１を変換する例を示しているが、単純な乗算による変換ではなく、ルックアップテーブルを参照して、階調毎に倍率を可変しながら画像データＡ及び輝度Ａ１の変換を行うようにしてもよい。
【００４８】
露出比率変換部６は、輝度／彩度算出部２が低露出値画像の輝度Ｂ１を算出すると、画像データＢ及び低露出値画像の輝度Ｂ１に対して、高露出値画像と低露出値画像における露出比率分の値を乗算して、乗算後の画像データＢ１を合成比率乗算部１０に出力し、乗算後の輝度Ｂ１である輝度Ｂ３を輝度加算部７に出力する（ステップＳＴ８）。
ここでは、露出比率変換部６が露出比率分の値を乗算して画像データＢ及び輝度Ｂ１を変換する例を示しているが、単純な乗算による変換ではなく、ルックアップテーブルを参照して、階調毎に倍率を可変しながら画像データＢ及び輝度Ｂ１の変換を行うようにしてもよい。
【００４９】
上記の通り、露出比率変換部５及び露出比率変換部６の双方が露出比率の変換処理を実施しているが、どちらか一方が他方の露出比率に合わせればよいため、例えば、露出比率変換部５が低露出値画像の露出比率に合うように、画像データＡ及び輝度Ａ１を変換する場合には、露出比率変換部６が画像データＢ及び輝度Ｂ１を変換せずに、その画像データＢ及び輝度Ｂ３（＝輝度Ｂ１）を出力すればよい。
一方、露出比率変換部６が高露出値画像の露出比率に合うように、画像データＢ及び輝度Ｂ１を変換する場合には、露出比率変換部５が画像データＡ及び輝度Ａ１を変換せずに、その画像データＡ及び輝度Ａ３（＝輝度Ａ１）を出力すればよい。
【００５０】
なお、画像データＡ，ＢがＲＡＷ画像である場合には、１画素あたり１色の画像データに対して露出比率の変換処理を実施する。
また、画像データＡ，ＢがＲＧＢ画像である場合には、１画素３色の画像データに対して露出比率の変換処理を実施する。
【００５１】
輝度加算部７は、下記の式（７）に示すように、露出比率変換部５から出力された高露出値画像の輝度Ａ３と、露出比率変換部６から出力された低露出値画像の輝度Ｂ３とを加算し、その加算結果（Ａ３＋Ｂ３）を合成比率算出部８に出力する（ステップＳＴ９）。
加算結果＝輝度Ａ３＋輝度Ｂ３ （７）
【００５２】
合成比率算出部８は、輝度加算部７から加算結果（Ａ３＋Ｂ３）を受けると、その加算結果（Ａ３＋Ｂ３）から合成比率Ａ，Ｂを算出して、その合成比率Ａを合成比率乗算部９に出力し、その合成比率Ｂを合成比率乗算部１０に出力する（ステップＳＴ１０）。
ここで、図７（Ａ）は合成比率Ａの算出概要を表しており、図７（Ｂ）は合成比率Ｂの算出概要を表している。
即ち、図７（Ａ）は、加算結果（Ａ３＋Ｂ３）と合成比率Ａの対応関係を示すルックアップテーブルに相当しており、合成比率算出部８は、当該ルックアップテーブルを参照することで、加算結果（Ａ３＋Ｂ３）に対応する合成比率Ａ（０．０〜１．０の値）を特定することができる。
図７（Ｂ）は、加算結果（Ａ３＋Ｂ３）と合成比率Ｂの対応関係を示すルックアップテーブルに相当しており、合成比率算出部８は、当該ルックアップテーブルを参照することで、加算結果（Ａ３＋Ｂ３）に対応する合成比率Ｂ（０．０〜１．０の値）を特定することができる。
【００５３】
なお、加算結果（Ａ３＋Ｂ３）と合成比率Ａ，Ｂの対応関係が演算式の形で表すことができる場合には、ルックアップテーブルではなく、演算式を利用して、合成比率Ａ，Ｂを算出するようにしてもよい。
ただし、合成比率Ａと合成比率Ｂの和が“１．０”である必要があるため、下記の式（８）が成立するように、合成比率Ａ，Ｂを算出する。
合成比率Ｂ＝１．０−合成比率Ａ （８）
【００５４】
合成比率乗算部９は、合成比率算出部８が合成比率Ａを算出すると、輝度／彩度算出部１により算出された高露出値画像の輝度Ａ１及び彩度Ａ１、収まり度合特定部３から出力された収まり度合情報Ａ１及び露出比率変換部５から出力された画像データＡ１（Ｒ，Ｇ，Ｂの３色成分）に対して、その合成比率Ａを乗算し、乗算後の輝度Ａ１、彩度Ａ１、収まり度合情報Ａ１及び画像データＡ１を、輝度Ａ２、彩度Ａ２、収まり度合情報Ａ２及び画像データＡ２として合成部１１に出力する（ステップＳＴ１１）。
【００５５】
合成比率乗算部１０は、合成比率算出部８が合成比率Ｂを算出すると、輝度／彩度算出部２により算出された低露出値画像の輝度Ｂ１及び彩度Ｂ１、収まり度合特定部４から出力された収まり度合情報Ｂ１及び露出比率変換部６から出力された画像データＢ１（Ｒ，Ｇ，Ｂの３色成分）に対して、その合成比率Ｂを乗算し、乗算後の輝度Ｂ１、彩度Ｂ１、収まり度合情報Ｂ１及び画像データＢ１を、輝度Ｂ２、彩度Ｂ２、収まり度合情報Ｂ２及び画像データＢ２として合成部１１に出力する（ステップＳＴ１２）。
【００５６】
合成部１１は、合成比率乗算部９から輝度Ａ２、彩度Ａ２、収まり度合情報Ａ２及び画像データＡ２を受けて、合成比率乗算部１０から輝度Ｂ２、彩度Ｂ２、収まり度合情報Ｂ２及び画像データＢ２を受けると、下記の式（９）に示すように、輝度Ａ２、彩度Ａ２、収まり度合情報Ａ２及び画像データＡ２と、輝度Ｂ２、彩度Ｂ２、収まり度合情報Ｂ２及び画像データＢ２とを加算する（ステップＳＴ１３）。
・Ｒ色成分
画像データＣ１（Ｒ）＝画像データＡ２（Ｒ）＋画像データＢ２（Ｒ）
・Ｇ色成分
画像データＣ１（Ｇ）＝画像データＡ２（Ｇ）＋画像データＢ２（Ｇ）
・Ｂ色成分
画像データＣ１（Ｂ）＝画像データＡ２（Ｂ）＋画像データＢ２（Ｂ）
・輝度Ｃ１＝輝度Ａ２＋輝度Ｂ２
・彩度Ｃ１＝彩度Ａ２＋彩度Ｂ２
・収まり度合情報Ｃ１＝収まり度合情報Ａ２＋収まり度合情報Ｂ２
（９）
【００５７】
合成部１１は、加算結果である画像データＣ１を階調圧縮部１２に出力し、加算結果である輝度Ｃ１、彩度Ｃ１及び収まり度合情報Ｃ１をコントラスト強調パラメータ算出部１４に出力する。
【００５８】
階調圧縮部１２は、合成部１１から画像データＣ１を受けると、階調毎に圧縮倍率を可変にできるルックアップテーブルを参照することで、下記の式（１０）〜（１２）に示すように、その画像データＣ１が示す合成画像の階調圧縮を実施し、階調圧縮後の合成画像を示す画像データＣ２を輝度／彩度算出部１３及びコントラスト強調部１５に出力する（ステップＳＴ１４）。
・Ｒ色成分
画像データＣ２（Ｒ）
＝（ＬＯＵＴ＿Ｒ［Ｎ＋１］−ＬＯＵＴ＿Ｒ［Ｎ］）
×（画像データＣ１（Ｒ）−ＬＩＮ＿Ｒ［Ｎ］）
÷（ＬＩＮ＿Ｒ［Ｎ＋１］−ＬＩＮ＿Ｒ［Ｎ］）
＋ＬＯＵＴ＿Ｒ［Ｎ］ （１０）
ＬＩＮ＿Ｒ［Ｎ］ ：階調圧縮ＬＵＴの入力値テーブルのＮ番目の要素
ＬＯＵＴ＿Ｒ［Ｎ］：階調圧縮ＬＵＴの出力値テーブルのＮ番目の要素
ＮはＬＩＮ＿Ｒ［Ｎ］≦画像データＣ１（Ｒ）＜ＬＩＮ＿Ｒ［Ｎ＋１］を満たす値
【００５９】
・Ｇ色成分
画像データＣ２（Ｇ）
＝（ＬＯＵＴ＿Ｇ［Ｎ＋１］−ＬＯＵＴ＿Ｇ［Ｎ］）
×（画像データＣ１（Ｇ）−ＬＩＮ＿Ｇ［Ｎ］）
÷（ＬＩＮ＿Ｇ［Ｎ＋１］−ＬＩＮ＿Ｇ［Ｎ］）
＋ＬＯＵＴ＿Ｇ［Ｎ］ （１１）
ＬＩＮ＿Ｇ［Ｎ］ ：階調圧縮ＬＵＴの入力値テーブルのＮ番目の要素
ＬＯＵＴ＿Ｇ［Ｎ］：階調圧縮ＬＵＴの出力値テーブルのＮ番目の要素
ＮはＬＩＮ＿Ｇ［Ｎ］≦画像データＣ１（Ｇ）＜ＬＩＮ＿Ｇ［Ｎ＋１］を満たす値
【００６０】
・Ｂ色成分
画像データＣ２（Ｂ）
＝（ＬＯＵＴ＿Ｂ［Ｎ＋１］−ＬＯＵＴ＿Ｂ［Ｎ］）
×（画像データＣ１（Ｂ）−ＬＩＮ＿Ｂ［Ｎ］）
÷（ＬＩＮ＿Ｂ［Ｎ＋１］−ＬＩＮ＿Ｂ［Ｎ］）
＋ＬＯＵＴ＿Ｂ［Ｎ］ （１２）
ＬＩＮ＿Ｂ［Ｎ］ ：階調圧縮ＬＵＴの入力値テーブルのＮ番目の要素
ＬＯＵＴ＿Ｂ［Ｎ］：階調圧縮ＬＵＴの出力値テーブルのＮ番目の要素
ＮはＬＩＮ＿Ｂ［Ｎ］≦画像データＣ１（Ｂ）＜ＬＩＮ＿Ｂ［Ｎ＋１］を満たす値
【００６１】
ここでは、階調圧縮部１２が、階調毎に圧縮倍率を可変にできるルックアップテーブルを参照して、画像データＣ１が示す合成画像の階調を圧縮するものについて示したが、圧縮倍率を階調値の多項式等で算出することができる場合には、ルックアップテーブルではなく、多項式等を利用して、画像データＣ１が示す合成画像の階調を圧縮するようにしてもよい。
【００６２】
輝度／彩度算出部１２は、階調圧縮部１２による階調圧縮後の合成画像を示す画像データＣ２を入力すると、その画像データＣ２を参照して、階調圧縮後の合成画像を構成している画素の値を特定する。
輝度／彩度算出部１２は、階調圧縮後の合成画像の画素値を特定すると、下記の式（１３）に示すように、その画素値を用いて、階調圧縮後の合成画像の輝度Ｃ２を算出する（ステップＳＴ１５）。
Ｙ＝０．２９９×Ｒ＋０．５８７×Ｇ＋０．１１４×Ｂ （１３）
ただし、Ｙ：輝度値（階調圧縮後の合成画像の輝度Ｃ２の値）
Ｒ：ＲＧＢ画像における赤色の画素値
Ｇ：ＲＧＢ画像における緑色の画素値
Ｂ：ＲＧＢ画像における青色の画素値
【００６３】
また、輝度／彩度算出部１２は、下記の式（１４）に示すように、階調圧縮後の合成画像の画素値を用いて、階調圧縮後の合成画像の彩度Ｃ２を算出する（ステップＳＴ１６）。
Ｃ＝ＳＱＲＴ（Ｃｂ×Ｃｂ＋Ｃｒ×Ｃｒ） （１４）
Ｃｂ＝−０．１６９×Ｒ−０．３３１×Ｇ＋０．５×Ｂ
Ｃｒ＝０．５×Ｒ−０．４１９×Ｇ−０．１１４×Ｂ
ただし、Ｃ：彩度値（階調圧縮後の合成画像の彩度Ｃ２の値）
Ｃｂ，Ｃｒ：色差値
ＳＱＲＴ（Ａ）：Ａの平方根を算出する関数
【００６４】
コントラスト強調パラメータ算出部１４は、合成部１１から階調圧縮前の合成画像の輝度Ｃ１、彩度Ｃ１及び収まり度合情報Ｃ１を受けて、輝度／彩度算出部１３から階調圧縮後の合成画像の輝度Ｃ２及び彩度Ｃ２を受けると、階調圧縮前の合成画像の輝度Ｃ１、彩度Ｃ１及び収まり度合情報Ｃ１と、階調圧縮後の合成画像の輝度Ｃ２及び彩度Ｃ２とから、輝度用コントラスト強調パラメータＱＹ及び彩度用コントラスト強調パラメータＱＣを算出する（ステップＳＴ１７）。
具体的には、以下のようにして、輝度用コントラスト強調パラメータＱＹ及び彩度用コントラスト強調パラメータＱＣを算出する。
【００６５】
［条件１］ 彩度Ｃ２≠０ かつ 彩度Ｃ１＞彩度Ｃ２の場合
ＱＣ＝（彩度Ｃ１÷彩度Ｃ２−１）×ＣＬＶ×収まり度合情報Ｃ１＋１
［条件２］ 彩度Ｃ２＝０ または 彩度Ｃ１≦彩度Ｃ２の場合
ＱＣ＝１
ただし、ＣＬＶ：彩度補正係数
【００６６】
［条件１］ 輝度Ｃ２＜最大輝度値÷３ かつ 輝度Ｃ１＞輝度Ｃ２の場合
ＱＹ
＝（ＭＩＮ（輝度Ｃ１、最大輝度値÷３）÷輝度Ｃ２−１）×ＹＬＶ
×収まり度合情報Ｃ１＋１
［条件２］ ２×最大輝度値÷３＜輝度Ｃ２ かつ 輝度Ｃ１＞輝度Ｃ２の場合
ＱＹ
＝（ＭＡＸ（輝度Ｃ１、２×最大輝度値÷３）÷輝度Ｃ２−１）×ＹＬＶ
×収まり度合情報Ｃ１＋１
［条件３］ 条件１，２以外の場合
ＱＹ＝１
ただし、ＹＬＶ：輝度補正係数
ＭＩＮ（Ａ，Ｂ）：ＡとＢの最小値を返す関数
ＭＡＸ（Ａ，Ｂ）：ＡとＢの最大値を返す関数
最大輝度値：輝度が取り得る最大値（例えば１２ビットデータの場合、４０９５）
【００６７】
なお、彩度用コントラスト強調パラメータＱＣの算出の条件１において、彩度補正係数ＣＬＶを大きくすることで、彩度を上げる度合いを大きくすることができる。
また、輝度用コントラスト強調パラメータＱＹの算出の条件１，２において、輝度補正係数ＹＬＶを大きくすることで、輝度を中間階調に変化させて、彩度を上げ易くすることができる。
【００６８】
コントラスト強調部１５は、コントラスト強調パラメータ算出部１４が輝度用コントラスト強調パラメータＱＹ及び彩度用コントラスト強調パラメータＱＣを算出すると、その輝度用コントラスト強調パラメータＱＹ及び彩度用コントラスト強調パラメータＱＣを用いて、階調圧縮部１２による階調圧縮後の合成画像のコントラストを強調し、コントラスト強調後の合成画像を示す画像データＤを出力する（ステップＳＴ１８）。
階調圧縮後の合成画像のコントラスト強調は、下記の式（１５）〜（１７）を算出することで行われる。
【００６９】
ＲＯ＝（（１９５９５×ＱＹ＋４５９４１×ＱＣ）×ＲＩ
＋（３８４７０×ＱＹ−３８４７０×ＱＣ）×ＧＩ
＋（ ７４７１×ＱＹ− ７４７１×ＱＣ）×ＢＩ）÷６５５３６
（１５）
ＧＯ＝（（１９５９５×ＱＹ−１９５９５×ＱＣ）×ＲＩ
＋（３８４７０×ＱＹ＋２７０６６×ＱＣ）×ＧＩ
＋（ ７４７１×ＱＹ− ７４７１×ＱＣ）×ＢＩ）÷６５５３６
（１６）
ＢＯ＝（（１９５９５×ＱＹ−１９５９５×ＱＣ）×ＲＩ
＋（３８４７０×ＱＹ−３８４７０×ＱＣ）×ＧＩ
＋（ ７４７１×ＱＹ＋５８０６５×ＱＣ）×ＢＩ）÷６５５３６
（１７）
【００７０】
ただし、 ＲＯ：画像データＤのＲ成分
ＧＯ：画像データＤのＧ成分
ＢＯ：画像データＤのＢ成分
ＲＩ：画像データＣ２のＲ成分
ＧＩ：画像データＣ２のＧ成分
ＢＩ：画像データＣ２のＢ成分
【００７１】
なお、コントラスト強調部１５によるコントラスト強調後の合成画像を示す画像データＤとして、ＲＧＢ画像データを出力する場合には、その画像データＤのＲ成分、Ｇ成分及びＢ成分をそのまま出力する。
また、ＲＡＷ画像データを出力する場合には、その画像データＤのＲ成分、Ｇ成分及びＢ成分のうち、ベイヤー配列に該当する色成分のみを出力する。
【００７２】
以上で明らかなように、この実施の形態１によれば、階調圧縮部１２による階調圧縮後の合成画像を構成している画素の値を特定し、その画素値を用いて、階調圧縮後の合成画像の輝度Ｃ２及び彩度Ｃ２を算出する輝度／彩度算出部１３と、合成部１１から出力された階調圧縮前の合成画像の輝度Ｃ１、彩度Ｃ１及び収まり度合情報Ｃ１と、輝度／彩度算出部１３により算出された階調圧縮後の合成画像の輝度Ｃ２及び彩度Ｃ２とから、輝度用コントラスト強調パラメータＱＹ及び彩度用コントラスト強調パラメータＱＣを算出するコントラスト強調パラメータ算出部１４とを設け、コントラスト強調部１５が、コントラスト強調パラメータ算出部１４により算出された輝度用コントラスト強調パラメータＱＹ及び彩度用コントラスト強調パラメータＱＣを用いて、階調圧縮部１２による階調圧縮後の合成画像のコントラストを強調し、コントラスト強調後の合成画像を示す画像データＤを出力するように構成したので、合成画像の彩度の低下を招くことなく、ダイナミックレンジを拡張することができる効果を奏する。
【００７３】
実施の形態２．
図８はこの発明の実施の形態２による画像処理装置が搭載されている撮像装置を示す構成図である。
図８において、図１と同一符号は同一または相当部分を示すので説明を省略する。
ＣＣＤ２１は撮像素子であり、図示せぬタイミング制御部の指示の下で露光時間を切り替えて、２枚の画像（白飛びが少ない高露出値画像と、黒つぶれが少ない低露出値画像）を時分割で撮影し、高露出値画像を示す画像データＡ及び低露出値画像を示す画像データＢを出力する。
メモリ２２はＣＣＤ２１により撮影された高露出値画像を示す画像データＡを格納するバッファメモリであり、メモリ２２は時分割で撮影された２枚の画像を合成する際のタイミングを調整するために使用される。
なお、ＣＣＤ２１及びメモリ２２から撮像手段が構成されている。
【００７４】
上記実施の形態１では、画像処理装置が外部から高露出値画像を示す画像データＡと低露出値画像を示す画像データＢを入力するものについて示したが、ＣＣＤ２１により撮影された画像データＡ，Ｂを入力するようにしてもよい。
画像処理装置の処理内容は、上記実施の形態１と同様であるため説明を省略する。
なお、図８では、撮像素子がＣＣＤ２１である例を示したが、デジタルカメラ等に搭載可能な素子であれば、ＣＣＤ２１以外の撮像素子であってもよい。
【００７５】
なお、本願発明はその発明の範囲内において、各実施の形態の自由な組み合わせ、あるいは各実施の形態の任意の構成要素の変形、もしくは各実施の形態において任意の構成要素の省略が可能である。
【符号の説明】
【００７６】
１，２ 輝度／彩度算出部（輝度彩度特定手段）、３，４ 収まり度合特定部（収まり度合特定手段）、５，６ 露出比率変換部（合成比率算出手段）、７ 輝度加算部（合成比率算出手段）、８ 合成比率算出部（合成比率算出手段）９，１０ 合成比率乗算部（合成手段）、１１ 合成部（合成手段）、１２ 階調圧縮部（階調圧縮手段）、１３ 輝度／彩度算出部（コントラスト強調手段）、１４ コントラスト強調パラメータ算出部（コントラスト強調手段）、１５ コントラスト強調部（コントラスト強調手段）、２１ ＣＣＤ（撮像手段）、２２ メモリ（撮像手段）、１０１ ＣＣＤ、１０２ メモリ、１０３ 乗算器、１０４ レベル重み手段、１０５ レベル重み手段、１０６ 加算器、１０７ 速度変換手段、１０８ レベル圧縮手段、１０９ タイミング制御手段。
【技術分野】
【０００１】
この発明は、高露出値画像と低露出値画像を合成して、デジタルカメラのダイナミックレンジを拡張する画像処理装置及び画像処理方法と、その画像処理装置を実装している撮像装置とに関するものである。
【背景技術】
【０００２】
撮像装置であるデジタルカメラ等で使用されているイメージセンサは、ダイナミックレンジが狭いため、撮影画像の中に、白飛びや黒つぶれが発生することがある。
以下の特許文献１に開示されている画像処理装置では、デジタルカメラのダイナミックレンジを拡張するために、露出が異なる２枚の画像を合成するようにしている。
【０００３】
図９は特許文献１に開示されている画像処理装置を示す構成図である。
図９において、ＣＣＤ１０１は撮像素子であり、タイミング制御手段１０９の指示の下で露光時間を切り替えて、２枚の画像（白飛びが少ない高露出値画像と、黒つぶれが少ない低露出値画像）を時分割で撮影する。
メモリ１０２はＣＣＤ１０１により撮影された高露出値画像を格納するバッファメモリであり、メモリ１０２は時分割で撮影された２枚の画像を合成する際のタイミングを調整するために使用される。
【０００４】
乗算器１０３はメモリ１０２に格納された高露出値画像の信号レベルを定数倍する。
レベル重み手段１０４は乗算器１０３により信号レベルが定数倍された高露出値画像に対して、その高露出値画像の信号レベルに応じた重み係数Ｈを付加する。
レベル重み手段１０５はＣＣＤ１０１により撮影された低露出値画像に対して、その低露出値画像の信号レベルに応じた重み係数Ｌを付加する。
【０００５】
加算器１０６はレベル重み手段１０４により重み係数Ｈが付加された高露出値画像とレベル重み手段１０５により重み係数Ｌが付加された低露出値画像とを加算して画像を合成する。
速度変換手段１０７はタイミング制御手段１０９の指示の下、加算器１０６による合成画像の速度を調整する。
レベル圧縮手段１０８は速度変換手段１０７により速度が調整された合成画像の信号レベルを出力段の階調に合わせるために、その合成画像の信号レベルを圧縮する。
【０００６】
図９の画像処理装置は、上記のように構成されているので、ＣＣＤ１０１により時分割で撮影された２枚の画像が合成されて、デジタルカメラのダイナミックレンジが拡張される。
ここで、図１０は高露出値画像の最も低い階調と、低露出値画像の最も高い階調とが同じ明るさである場合の図９の画像処理装置のダイナミックレンジ拡張方法を表している。
図１０では、高露出値画像の各階調は、合成画像の高階調側半分に割り当てられ、低露出値画像の各階調は、合成画像の低階調側半分に割り当てられることを表している。
【０００７】
ＲＧＢの３原色で表されるデジタル画像の場合、一般的に高階調端付近及び低階調端付近では、彩度が低くなり、彩度を高くするためには、明るさが中間の階調である必要がある。
しかし、図１０に示すように、高露出値画像で中間の階調であった部分は、合成画像では高階調側にマッピングされ、低露出値画像で中間であった部分は、合成画像では低階調側にマッピングされる。
このため、高露出値画像及び低露出値画像において、高い彩度を出せる階調であった部分が、合成画像では高い彩度を出せる階調にマッピングされず、合成画像の彩度の低下が発生する。
【先行技術文献】
【特許文献】
【０００８】
【特許文献１】特許第３０７４９６７号（段落番号［００１５］、図１）
【発明の概要】
【発明が解決しようとする課題】
【０００９】
従来の画像処理装置は以上のように構成されているので、ＣＣＤ１０１により時分割で撮影された２枚の画像が合成されて、デジタルカメラのダイナミックレンジが拡張されるが、その合成画像の信号レベルが圧縮されることで、彩度が低下することがある課題があった。
【００１０】
この発明は上記のような課題を解決するためになされたもので、合成画像の彩度の低下を招くことなく、ダイナミックレンジを拡張することができる画像処理装置、画像処理方法及び撮像装置を得ることを目的とする。
【課題を解決するための手段】
【００１１】
この発明に係る画像処理装置は、高露出値画像の輝度及び彩度を特定するとともに、高露出値画像と異なる露出条件で同一の被写体が撮影された低露出値画像の輝度及び彩度を特定する輝度彩度特定手段と、輝度彩度特定手段により特定された高露出値画像の輝度及び彩度が指定の範囲内に収まっている度合を特定して、その度合を示す第１の収まり度合情報を出力するとともに、輝度彩度特定手段により特定された低露出値画像の輝度及び彩度が指定の範囲内に収まっている度合を特定して、その度合を示す第２の収まり度合情報を出力する収まり度合特定手段と、輝度彩度特定手段により特定された高露出値画像及び低露出値画像の輝度から合成比率を算出する合成比率算出手段と、合成比率算出手段により算出された合成比率にしたがって高露出値画像と低露出値画像を合成するとともに、その合成比率にしたがって高露出値画像の輝度、彩度及び第１の収まり度合情報と、低露出値画像の輝度、彩度及び第２の収まり度合情報とを合成する合成手段と、合成手段による合成画像の階調を圧縮する階調圧縮手段とを設け、コントラスト強調手段が合成手段による合成後の輝度、彩度及び収まり度合情報と階調圧縮手段による階調圧縮後の合成画像からコントラスト強調用のパラメータを算出し、そのパラメータを用いて、階調圧縮手段による階調圧縮後の合成画像のコントラストを強調するようにしたものである。
【発明の効果】
【００１２】
この発明によれば、高露出値画像の輝度及び彩度を特定するとともに、高露出値画像と異なる露出条件で同一の被写体が撮影された低露出値画像の輝度及び彩度を特定する輝度彩度特定手段と、輝度彩度特定手段により特定された高露出値画像の輝度及び彩度が指定の範囲内に収まっている度合を特定して、その度合を示す第１の収まり度合情報を出力するとともに、輝度彩度特定手段により特定された低露出値画像の輝度及び彩度が指定の範囲内に収まっている度合を特定して、その度合を示す第２の収まり度合情報を出力する収まり度合特定手段と、輝度彩度特定手段により特定された高露出値画像及び低露出値画像の輝度から合成比率を算出する合成比率算出手段と、合成比率算出手段により算出された合成比率にしたがって高露出値画像と低露出値画像を合成するとともに、その合成比率にしたがって高露出値画像の輝度、彩度及び第１の収まり度合情報と、低露出値画像の輝度、彩度及び第２の収まり度合情報とを合成する合成手段と、合成手段による合成画像の階調を圧縮する階調圧縮手段とを設け、コントラスト強調手段が合成手段による合成後の輝度、彩度及び収まり度合情報と階調圧縮手段による階調圧縮後の合成画像からコントラスト強調用のパラメータを算出し、そのパラメータを用いて、階調圧縮手段による階調圧縮後の合成画像のコントラストを強調するように構成したので、合成画像の彩度の低下を招くことなく、ダイナミックレンジを拡張することができる効果がある。
【図面の簡単な説明】
【００１３】
【図１】この発明の実施の形態１による画像処理装置を示す構成図である。
【図２】この発明の実施の形態１による画像処理装置の処理内容を示すフローチャートである。
【図３】高露出値画像の輝度Ａ１と輝度収まり度合ＳＹＡの対応関係を示す説明図である。
【図４】高露出値画像の彩度Ａ１と彩度収まり度合ＳＣＡの対応関係を示す説明図である。
【図５】低露出値画像の輝度Ｂ１と輝度収まり度合ＳＹＢの対応関係を示す説明図である。
【図６】低露出値画像の彩度Ｂ１と彩度収まり度合ＳＣＢの対応関係を示す説明図である。
【図７】（Ａ）は加算結果（Ａ３＋Ｂ３）と合成比率Ａの対応関係を示し、（Ｂ）は加算結果（Ａ３＋Ｂ３）と合成比率Ｂの対応関係を示す説明図である。
【図８】この発明の実施の形態２による画像処理装置が搭載されている撮像装置を示す構成図である。
【図９】特許文献１に開示されている画像処理装置を示す構成図である。
【図１０】高露出値画像の最も低い階調と、低露出値画像の最も高い階調とが同じ明るさである場合の図９の画像処理装置のダイナミックレンジ拡張方法を示す説明図である。
【発明を実施するための形態】
【００１４】
実施の形態１．
図１はこの発明の実施の形態１による画像処理装置を示す構成図である。
図１において、輝度／彩度算出部１は例えばＣＣＤなどの撮像素子により撮影された高露出値画像を示す画像データＡを入力して、その高露出値画像を構成している画素の値を特定し、その画素値を用いて、高露出値画像の輝度Ａ１及び彩度Ａ１を算出する処理を実施する。
輝度／彩度算出部２は例えばＣＣＤなどの撮像素子により撮影された低露出値画像（低露出値画像は、高露出値画像と異なる露出条件で同一の被写体が撮影された画像であり、高露出値画像と低露出値画像は、例えば、上記撮像素子により時分割で撮影される）を示す画像データＢを入力して、その低露出値画像を構成している画素の値を特定し、その画素値を用いて、低露出値画像の輝度Ｂ１及び彩度Ｂ１を算出する処理を実施する。
なお、輝度／彩度算出部１，２は、例えば、ＣＰＵを実装している半導体集積回路やワンチップマイコンなどのハードウェアで構成されており、輝度／彩度算出部１，２が輝度彩度特定手段を構成している。
【００１５】
収まり度合特定部３は輝度／彩度算出部１により算出された高露出値画像の輝度Ａ１が指定の範囲内に収まっている度合（以下、「輝度収まり度合ＳＹＡ」と称する）を特定するとともに、輝度／彩度算出部１により算出された高露出値画像の彩度Ａ１が指定の範囲内に収まっている度合（以下、「彩度収まり度合ＳＣＡ」と称する）を特定し、その輝度収まり度合ＳＹＡと彩度収まり度合ＳＣＡの乗算値を収まり度合情報Ａ１（第１の収まり度合情報）として合成比率乗算部９に出力する処理を実施する。
【００１６】
収まり度合特定部４は輝度／彩度算出部２により算出された低露出値画像の輝度Ｂ１が指定の範囲内に収まっている度合（以下、「輝度収まり度合ＳＹＢ」と称する）を特定するとともに、輝度／彩度算出部２により算出された低露出値画像の彩度Ｂ１が指定の範囲内に収まっている度合（以下、「彩度収まり度合ＳＣＢ」と称する）を特定し、その輝度収まり度合ＳＹＢと彩度収まり度合ＳＣＢの乗算値を収まり度合情報Ｂ１（第２の収まり度合情報）として合成比率乗算部１０に出力する処理を実施する。
なお、収まり度合特定部３，４は、例えば、ＣＰＵを実装している半導体集積回路やワンチップマイコンなどのハードウェアで構成されており、収まり度合特定部３，４が収まり度合特定手段を構成している。
【００１７】
露出比率変換部５は入力される画像データＡ及び輝度／彩度算出部１により算出された高露出値画像の輝度Ａ１に対して、高露出値画像と低露出値画像における露出比率分の値を乗算して、乗算後の画像データＡ１を合成比率乗算部９に出力し、乗算後の輝度Ａ１である輝度Ａ３を輝度加算部７に出力する処理を実施する。
ここでは、露出比率変換部５が露出比率分の値を乗算して画像データＡ及び輝度Ａ１を変換する例を示しているが、単純な乗算による変換ではなく、ルックアップテーブルを参照して、階調毎に倍率を可変しながら画像データＡ及び輝度Ａ１の変換を行うようにしてもよい。
【００１８】
露出比率変換部６は入力される画像データＢ及び輝度／彩度算出部２により算出された低露出値画像の輝度Ｂ１に対して、高露出値画像と低露出値画像における露出比率分の値を乗算して、乗算後の画像データＢ１を合成比率乗算部１０に出力し、乗算後の輝度Ｂ１である輝度Ｂ３を輝度加算部７に出力する処理を実施する。
ここでは、露出比率変換部６が露出比率分の値を乗算して画像データＢ及び輝度Ｂ１を変換する例を示しているが、単純な乗算による変換ではなく、ルックアップテーブルを参照して、階調毎に倍率を可変しながら画像データＢ及び輝度Ｂ１の変換を行うようにしてもよい。
【００１９】
図１の例では、上記の通り、露出比率変換部５及び露出比率変換部６の双方が露出比率の変換処理を実施しているが、どちらか一方が他方の露出比率に合わせればよいため、例えば、露出比率変換部５が低露出値画像の露出比率に合うように、画像データＡ及び輝度Ａ１を変換する場合には、露出比率変換部６が画像データＢ及び輝度Ｂ１を変換せずに、その画像データＢ及び輝度Ｂ３（＝輝度Ｂ１）を出力すればよい。
一方、露出比率変換部６が高露出値画像の露出比率に合うように、画像データＢ及び輝度Ｂ１を変換する場合には、露出比率変換部５が画像データＡ及び輝度Ａ１を変換せずに、その画像データＡ及び輝度Ａ３（＝輝度Ａ１）を出力すればよい。
なお、露出比率変換部５，６は、例えば、ＣＰＵを実装している半導体集積回路やワンチップマイコンなどのハードウェアで構成されている。
【００２０】
輝度加算部７は例えばＣＰＵを実装している半導体集積回路やワンチップマイコンなどのハードウェアで構成されており、露出比率変換部５から出力された高露出値画像の輝度Ａ３と露出比率変換部６から出力された低露出値画像の輝度Ｂ３とを加算し、その加算結果（Ａ３＋Ｂ３）を合成比率算出部８に出力する処理を実施する。
合成比率算出部８は例えばＣＰＵを実装している半導体集積回路やワンチップマイコンなどのハードウェアで構成されており、輝度加算部７から出力された加算結果（Ａ３＋Ｂ３）から合成比率Ａ，Ｂを算出して、その合成比率Ａを合成比率乗算部９に出力するとともに、その合成比率Ｂを合成比率乗算部１０に出力する処理を実施する。
なお、露出比率変換部５，６、輝度加算部７及び合成比率算出部８から合成比率算出手段が構成されている。
【００２１】
合成比率乗算部９は輝度／彩度算出部１により算出された高露出値画像の輝度Ａ１及び彩度Ａ１、収まり度合特定部３から出力された収まり度合情報Ａ１及び露出比率変換部５から出力された画像データＡ１に対して、合成比率算出部８により算出された合成比率Ａを乗算し、乗算後の輝度Ａ１、彩度Ａ１、収まり度合情報Ａ１及び画像データＡ１を、輝度Ａ２、彩度Ａ２、収まり度合情報Ａ２及び画像データＡ２として合成部１１に出力する処理を実施する。
【００２２】
合成比率乗算部１０は輝度／彩度算出部２により算出された低露出値画像の輝度Ｂ１及び彩度Ｂ１、収まり度合特定部４から出力された収まり度合情報Ｂ１及び露出比率変換部６から出力された画像データＢ１に対して、合成比率算出部８により算出された合成比率Ｂを乗算し、乗算後の輝度Ｂ１、彩度Ｂ１、収まり度合情報Ｂ１及び画像データＢ１を、輝度Ｂ２、彩度Ｂ２、収まり度合情報Ｂ２及び画像データＢ２として合成部１１に出力する処理を実施する。
なお、合成比率乗算部９，１０は、例えば、ＣＰＵを実装している半導体集積回路やワンチップマイコンなどのハードウェアで構成されている。
【００２３】
合成部１１は例えばＣＰＵを実装している半導体集積回路やワンチップマイコンなどのハードウェアで構成されており、合成比率乗算部９から出力された輝度Ａ２、彩度Ａ２、収まり度合情報Ａ２及び画像データＡ２と、合成比率乗算部１０から出力された輝度Ｂ２、彩度Ｂ２、収まり度合情報Ｂ２及び画像データＢ２とを加算して、その加算結果である画像データＣ１（＝画像データＡ２＋画像データＢ２）を階調圧縮部１２に出力するとともに、その加算結果である輝度Ｃ１（＝輝度Ａ２＋輝度Ｂ２）、彩度Ｃ１（＝彩度Ａ２＋彩度Ｂ２）及び収まり度合情報Ｃ１（＝収まり度合情報Ａ２＋収まり度合情報Ｂ２）をコントラスト強調パラメータ算出部１４に出力する処理を実施する。
なお、合成比率乗算部９，１０及び合成部１１から合成手段が構成されている。
【００２４】
階調圧縮部１２は合成部１１から出力された画像データＣ１が示す合成画像の階調を圧縮する処理を実施する。
なお、階調圧縮部１２は、例えば、ＣＰＵを実装している半導体集積回路やワンチップマイコンなどのハードウェアで構成されており、階調圧縮部１２が階調圧縮手段を構成している。
【００２５】
輝度／彩度算出部１３は例えばＣＰＵを実装している半導体集積回路やワンチップマイコンなどのハードウェアで構成されており、階調圧縮部１２による階調圧縮後の合成画像を構成している画素の値を特定し、その画素値を用いて、階調圧縮後の合成画像の輝度Ｃ２及び彩度Ｃ２を算出する処理を実施する。
コントラスト強調パラメータ算出部１４は例えばＣＰＵを実装している半導体集積回路やワンチップマイコンなどのハードウェアで構成されており、合成部１１から出力された階調圧縮前の合成画像の輝度Ｃ１、彩度Ｃ１及び収まり度合情報Ｃ１と、輝度／彩度算出部１３により算出された階調圧縮後の合成画像の輝度Ｃ２及び彩度Ｃ２とから、輝度用コントラスト強調パラメータＱＹ及び彩度用コントラスト強調パラメータＱＣ（コントラスト強調用のパラメータ）を算出する処理を実施する。
【００２６】
コントラスト強調部１５は例えばＣＰＵを実装している半導体集積回路やワンチップマイコンなどのハードウェアで構成されており、コントラスト強調パラメータ算出部１４により算出された輝度用コントラスト強調パラメータＱＹ及び彩度用コントラスト強調パラメータＱＣを用いて、階調圧縮部１２による階調圧縮後の合成画像のコントラストを強調し、コントラスト強調後の合成画像を示す画像データＤを出力する処理を実施する。
なお、輝度／彩度算出部１３、コントラスト強調パラメータ算出部１４及びコントラスト強調部１５からコントラスト強調手段が構成されている。
【００２７】
図１の例では、画像処理装置の構成要素である輝度／彩度算出部１，２、収まり度合特定部３，４、露出比率変換部５、露出比率変換部６、輝度加算部７、合成比率算出部８、合成比率乗算部９、合成比率乗算部１０、合成部１１、階調圧縮部１２、輝度／彩度算出部１３、コントラスト強調パラメータ算出部１４及びコントラスト強調部１５のそれぞれが専用のハードウェアで構成されているものを想定しているが、画像処理装置がコンピュータで構成される場合、輝度／彩度算出部１，２、収まり度合特定部３，４、露出比率変換部５、露出比率変換部６、輝度加算部７、合成比率算出部８、合成比率乗算部９、合成比率乗算部１０、合成部１１、階調圧縮部１２、輝度／彩度算出部１３、コントラスト強調パラメータ算出部１４及びコントラスト強調部１５の処理内容が記述されているプログラムをコンピュータのメモリに格納し、当該コンピュータのＣＰＵが当該メモリに格納されているプログラムを実行するようにしてもよい。
図２はこの発明の実施の形態１による画像処理装置の処理内容を示すフローチャートである。
【００２８】
次に動作について説明する。
この実施の形態１では、画像処理装置が、高露出値画像及び低露出値画像の画像データを１画素ずつ処理して、合成画像を示す画像データを出力する構成となっている。
高露出値画像、低露出値画像及び合成画像の画像形式としては、ＣＣＤなどのイメージセンサから出力されるＲＡＷデータであってもよいし、ＲＡＷデータ以外のＲＧＢ４：４：４のデータであってもよい。
この実施の形態１の画像処理装置が、従来の画像処理装置と相違している点は、階調圧縮後の合成画像の輝度及び彩度が、階調圧縮前の合成画像の輝度及び彩度より低下している場合、階調圧縮後の合成画像の輝度及び彩度を補正するようにしていることである。
【００２９】
まず、高露出値画像を示す画像データＡと、低露出値画像を示す画像データＢとがラスタスキャンの順に１ラインずつ入力される。
図１の例では、高露出値画像を示す画像データＡが輝度／彩度算出部１に入力されて、低露出値画像を示す画像データＢが輝度／彩度算出部２に入力されているが、画像データＡと画像データＢは対象な構成であるため、画像データＡが輝度／彩度算出部２に入力されて、画像データＢが輝度／彩度算出部１に入力されてもよい。
【００３０】
輝度／彩度算出部１は、高露出値画像を示す画像データＡを入力すると、その画像データＡを参照して、高露出値画像を構成している画素の値を特定する。
輝度／彩度算出部１は、高露出値画像の画素値を特定すると、下記の式（１）に示すように、その画素値を用いて、高露出値画像の輝度Ａ１を算出する（ステップＳＴ１）。
Ｙ＝０．２９９×Ｒ＋０．５８７×Ｇ＋０．１１４×Ｂ （１）
ただし、Ｙ：輝度値（高露出値画像の輝度Ａ１の値）
Ｒ：ＲＧＢ画像における赤色の画素値
Ｇ：ＲＧＢ画像における緑色の画素値
Ｂ：ＲＧＢ画像における青色の画素値
【００３１】
また、輝度／彩度算出部１は、下記の式（２）に示すように、高露出値画像の画素値を用いて、高露出値画像の彩度Ａ１を算出する（ステップＳＴ２）。
Ｃ＝ＳＱＲＴ（Ｃｂ×Ｃｂ＋Ｃｒ×Ｃｒ） （２）
Ｃｂ＝−０．１６９×Ｒ−０．３３１×Ｇ＋０．５×Ｂ
Ｃｒ＝０．５×Ｒ−０．４１９×Ｇ−０．１１４×Ｂ
ただし、Ｃ：彩度値（高露出値画像の彩度Ａ１の値）
Ｃｂ，Ｃｒ：色差値
ＳＱＲＴ（Ａ）：Ａの平方根を算出する関数
【００３２】
輝度／彩度算出部２は、低露出値画像を示す画像データＢを入力すると、その画像データＢを参照して、低露出値画像を構成している画素の値を特定する。
輝度／彩度算出部２は、低露出値画像の画素値を特定すると、下記の式（３）に示すように、その画素値を用いて、低露出値画像の輝度Ｂ１を算出する（ステップＳＴ３）。
Ｙ＝０．２９９×Ｒ＋０．５８７×Ｇ＋０．１１４×Ｂ （３）
ただし、Ｙ：輝度値（低露出値画像の輝度Ｂ１の値）
【００３３】
また、輝度／彩度算出部２は、下記の式（４）に示すように、低露出値画像の画素値を用いて、低露出値画像の彩度Ｂ１を算出する（ステップＳＴ４）。
Ｃ＝ＳＱＲＴ（Ｃｂ×Ｃｂ＋Ｃｒ×Ｃｒ） （４）
Ｃｂ＝−０．１６９×Ｒ−０．３３１×Ｇ＋０．５×Ｂ
Ｃｒ＝０．５×Ｒ−０．４１９×Ｇ−０．１１４×Ｂ
ただし、Ｃ：彩度値（低露出値画像の彩度Ｂ１の値）
【００３４】
ここでは、画像データＡがＲＧＢ画像である例を示したが、画像データＡがＲＡＷ画像である場合、近傍の画素を参照して、１画素あたり３色分のデータを生成してから、上記の式（１）〜式（４）を用いて、輝度Ａ１，Ｂ１及び彩度Ａ１，Ｂ１を算出すればよい。
【００３５】
収まり度合特定部３は、輝度／彩度算出部１が高露出値画像の輝度Ａ１及び彩度Ａ１を算出すると、高露出値画像の輝度Ａ１が指定の範囲内に収まっている度合（輝度収まり度合ＳＹＡ）を特定するとともに、高露出値画像の彩度Ａ１が指定の範囲内に収まっている度合（彩度収まり度合ＳＣＡ）を特定し、その輝度収まり度合ＳＹＡと彩度収まり度合ＳＣＡの乗算値を収まり度合情報Ａ１として合成比率乗算部９に出力する（ステップＳＴ５）。
【００３６】
以下、収まり度合特定部３の処理内容を具体的に説明する。
ここで、図３は高露出値画像の輝度Ａ１と輝度収まり度合ＳＹＡの対応関係を示す説明図である。
図３において、ＹＴＡ［０］はユーザによる指定の範囲の下限を示す閾値であり、ＹＴＡ［３］はユーザによる指定の範囲の上限を示す閾値である。
また、ＹＴＡ［１］、ＹＴＡ［２］は輝度収まり度合ＳＹＡを算出するために、ユーザにより指定された閾値である。
輝度収まり度合ＳＹＡは、下記に示すように、高露出値画像の輝度Ａ１とＹＴＡ［０］〜ＹＴＡ［３］の関係で、０．０〜１．０の範囲で算出される。
【００３７】
（１）輝度Ａ１≦ＹＴＡ［０］の場合
ＳＹＡ＝０．０
（２）ＹＴＡ［０］＜輝度Ａ１＜ＹＴＡ［１］の場合
ＳＹＡ＝（輝度Ａ１−ＹＴＡ［０］）÷（ＹＴＡ［１］−ＹＴＡ［０］）
（３）ＹＴＡ［１］≦輝度Ａ１≦ＹＴＡ［２］の場合
ＳＹＡ＝１．０
（４）ＹＴＡ［２］＜輝度Ａ１＜ＹＴＡ［３］の場合
ＳＹＡ＝（ＹＴＡ［３］−輝度Ａ１）÷（ＹＴＡ［３］−ＹＴＡ［２］）
（５）ＹＴＡ［３］≦輝度Ａ１の場合
ＳＹＡ＝０．０
【００３８】
また、図４は高露出値画像の彩度Ａ１と彩度収まり度合ＳＣＡの対応関係を示す説明図である。
図４において、ＣＴＡ［０］はユーザによる指定の範囲の下限を示す閾値であり、ＣＴＡ［３］はユーザによる指定の範囲の上限を示す閾値である。
また、ＣＴＡ［１］、ＣＴＡ［２］は彩度収まり度合ＳＣＡを算出するために、ユーザにより指定された閾値である。
彩度収まり度合ＳＣＡは、下記に示すように、高露出値画像の彩度Ａ１とＣＴＡ［０］〜ＣＴＡ［３］の関係で、０．０〜１．０の範囲で算出される。
【００３９】
（１）彩度Ａ１≦ＣＴＡ［０］の場合
ＳＣＡ＝０．０
（２）ＣＴＡ［０］＜彩度Ａ１＜ＣＴＡ［１］の場合
ＳＣＡ＝（彩度Ａ１−ＣＴＡ［０］）÷（ＣＴＡ［１］−ＣＴＡ［０］）
（３）ＣＴＡ［１］≦彩度Ａ１≦ＣＴＡ［２］の場合
ＳＣＡ＝１．０
（４）ＣＴＡ［２］＜彩度Ａ１＜ＣＴＡ［３］の場合
ＳＣＡ＝（ＣＴＡ［３］−彩度Ａ１）÷（ＣＴＡ［３］−ＣＴＡ［２］）
（５）ＣＴＡ［３］≦彩度Ａ１の場合
ＳＣＡ＝０．０
【００４０】
収まり度合特定部３は、上記のようにして、輝度収まり度合ＳＹＡと彩度収まり度合ＳＣＡを算出すると、下記の式（５）に示すように、その輝度収まり度合ＳＹＡと彩度収まり度合ＳＣＡから収まり度合情報Ａ１を算出する。
収まり度合情報Ａ１＝ＳＹＡ×ＳＣＡ （５）
【００４１】
収まり度合特定部４は、輝度／彩度算出部２が低露出値画像の輝度Ｂ１及び彩度Ｂ１を算出すると、低露出値画像の輝度Ｂ１が指定の範囲内に収まっている度合（輝度収まり度合ＳＹＢ）を特定するとともに、低露出値画像の彩度Ｂ１が指定の範囲内に収まっている度合（彩度収まり度合ＳＣＢ）を特定し、その輝度収まり度合ＳＹＢと彩度収まり度合ＳＣＢの乗算値を収まり度合情報Ｂ１として合成比率乗算部１０に出力する（ステップＳＴ６）。
【００４２】
以下、収まり度合特定部４の処理内容を具体的に説明する。
ここで、図５は低露出値画像の輝度Ｂ１と輝度収まり度合ＳＹＢの対応関係を示す説明図である。
図５において、ＹＴＢ［０］はユーザによる指定の範囲の下限を示す閾値であり、ＹＴＢ［３］はユーザによる指定の範囲の上限を示す閾値である。
また、ＹＴＢ［１］、ＹＴＢ［２］は輝度収まり度合ＳＹＢを算出するために、ユーザにより指定された閾値である。
輝度収まり度合ＳＹＢは、下記に示すように、低露出値画像の輝度Ｂ１とＹＴＢ［０］〜ＹＴＢ［３］の関係で、０．０〜１．０の範囲で算出される。
【００４３】
（１）輝度Ｂ１≦ＹＴＢ［０］の場合
ＳＹＢ＝０．０
（２）ＹＴＢ［０］＜輝度Ｂ１＜ＹＴＢ［１］の場合
ＳＹＢ＝（輝度Ｂ１−ＹＴＢ［０］）÷（ＹＴＢ［１］−ＹＴＢ［０］）
（３）ＹＴＢ［１］≦輝度Ｂ１≦ＹＴＢ［２］の場合
ＳＹＢ＝１．０
（４）ＹＴＢ［２］＜輝度Ｂ１＜ＹＴＢ［３］の場合
ＳＹＢ＝（ＹＴＢ［３］−輝度Ｂ１）÷（ＹＴＢ［３］−ＹＴＢ［２］）
（５）ＹＴＢ［３］≦輝度Ｂ１の場合
ＳＹＢ＝０．０
【００４４】
また、図６は低露出値画像の彩度Ｂ１と彩度収まり度合ＳＣＢの対応関係を示す説明図である。
図６において、ＣＴＢ［０］はユーザによる指定の範囲の下限を示す閾値であり、ＣＴＢ［３］はユーザによる指定の範囲の上限を示す閾値である。
また、ＣＴＢ［１］、ＣＴＢ［２］は彩度収まり度合ＳＣＢを算出するために、ユーザにより指定された閾値である。
彩度収まり度合ＳＣＢは、下記に示すように、低露出値画像の彩度Ｂ１とＣＴＢ［０］〜ＣＴＢ［３］の関係で、０．０〜１．０の範囲で算出される。
【００４５】
（１）彩度Ｂ１≦ＣＴＢ［０］の場合
ＳＣＢ＝０．０
（２）ＣＴＢ［０］＜彩度Ｂ１＜ＣＴＢ［１］の場合
ＳＣＢ＝（彩度Ｂ１−ＣＴＢ［０］）÷（ＣＴＢ［１］−ＣＴＢ［０］）
（３）ＣＴＢ［１］≦彩度Ｂ１≦ＣＴＢ［２］の場合
ＳＣＢ＝１．０
（４）ＣＴＢ［２］＜彩度Ｂ１＜ＣＴＢ［３］の場合
ＳＣＢ＝（ＣＴＢ［３］−彩度Ｂ１）÷（ＣＴＢ［３］−ＣＴＢ［２］）
（５）ＣＴＢ［３］≦彩度Ｂ１の場合
ＳＣＢ＝０．０
【００４６】
収まり度合特定部４は、上記のようにして、輝度収まり度合ＳＹＢと彩度収まり度合ＳＣＢを算出すると、下記の式（６）に示すように、その輝度収まり度合ＳＹＢと彩度収まり度合ＳＣＢから収まり度合情報Ｂ１を算出する。
収まり度合情報Ｂ１＝ＳＹＢ×ＳＣＢ （６）
【００４７】
露出比率変換部５は、輝度／彩度算出部１が高露出値画像の輝度Ａ１を算出すると、画像データＡ及び高露出値画像の輝度Ａ１に対して、高露出値画像と低露出値画像における露出比率分の値を乗算して、乗算後の画像データＡ１を合成比率乗算部９に出力し、乗算後の輝度Ａ１である輝度Ａ３を輝度加算部７に出力する（ステップＳＴ７）。
ここでは、露出比率変換部５が露出比率分の値を乗算して画像データＡ及び輝度Ａ１を変換する例を示しているが、単純な乗算による変換ではなく、ルックアップテーブルを参照して、階調毎に倍率を可変しながら画像データＡ及び輝度Ａ１の変換を行うようにしてもよい。
【００４８】
露出比率変換部６は、輝度／彩度算出部２が低露出値画像の輝度Ｂ１を算出すると、画像データＢ及び低露出値画像の輝度Ｂ１に対して、高露出値画像と低露出値画像における露出比率分の値を乗算して、乗算後の画像データＢ１を合成比率乗算部１０に出力し、乗算後の輝度Ｂ１である輝度Ｂ３を輝度加算部７に出力する（ステップＳＴ８）。
ここでは、露出比率変換部６が露出比率分の値を乗算して画像データＢ及び輝度Ｂ１を変換する例を示しているが、単純な乗算による変換ではなく、ルックアップテーブルを参照して、階調毎に倍率を可変しながら画像データＢ及び輝度Ｂ１の変換を行うようにしてもよい。
【００４９】
上記の通り、露出比率変換部５及び露出比率変換部６の双方が露出比率の変換処理を実施しているが、どちらか一方が他方の露出比率に合わせればよいため、例えば、露出比率変換部５が低露出値画像の露出比率に合うように、画像データＡ及び輝度Ａ１を変換する場合には、露出比率変換部６が画像データＢ及び輝度Ｂ１を変換せずに、その画像データＢ及び輝度Ｂ３（＝輝度Ｂ１）を出力すればよい。
一方、露出比率変換部６が高露出値画像の露出比率に合うように、画像データＢ及び輝度Ｂ１を変換する場合には、露出比率変換部５が画像データＡ及び輝度Ａ１を変換せずに、その画像データＡ及び輝度Ａ３（＝輝度Ａ１）を出力すればよい。
【００５０】
なお、画像データＡ，ＢがＲＡＷ画像である場合には、１画素あたり１色の画像データに対して露出比率の変換処理を実施する。
また、画像データＡ，ＢがＲＧＢ画像である場合には、１画素３色の画像データに対して露出比率の変換処理を実施する。
【００５１】
輝度加算部７は、下記の式（７）に示すように、露出比率変換部５から出力された高露出値画像の輝度Ａ３と、露出比率変換部６から出力された低露出値画像の輝度Ｂ３とを加算し、その加算結果（Ａ３＋Ｂ３）を合成比率算出部８に出力する（ステップＳＴ９）。
加算結果＝輝度Ａ３＋輝度Ｂ３ （７）
【００５２】
合成比率算出部８は、輝度加算部７から加算結果（Ａ３＋Ｂ３）を受けると、その加算結果（Ａ３＋Ｂ３）から合成比率Ａ，Ｂを算出して、その合成比率Ａを合成比率乗算部９に出力し、その合成比率Ｂを合成比率乗算部１０に出力する（ステップＳＴ１０）。
ここで、図７（Ａ）は合成比率Ａの算出概要を表しており、図７（Ｂ）は合成比率Ｂの算出概要を表している。
即ち、図７（Ａ）は、加算結果（Ａ３＋Ｂ３）と合成比率Ａの対応関係を示すルックアップテーブルに相当しており、合成比率算出部８は、当該ルックアップテーブルを参照することで、加算結果（Ａ３＋Ｂ３）に対応する合成比率Ａ（０．０〜１．０の値）を特定することができる。
図７（Ｂ）は、加算結果（Ａ３＋Ｂ３）と合成比率Ｂの対応関係を示すルックアップテーブルに相当しており、合成比率算出部８は、当該ルックアップテーブルを参照することで、加算結果（Ａ３＋Ｂ３）に対応する合成比率Ｂ（０．０〜１．０の値）を特定することができる。
【００５３】
なお、加算結果（Ａ３＋Ｂ３）と合成比率Ａ，Ｂの対応関係が演算式の形で表すことができる場合には、ルックアップテーブルではなく、演算式を利用して、合成比率Ａ，Ｂを算出するようにしてもよい。
ただし、合成比率Ａと合成比率Ｂの和が“１．０”である必要があるため、下記の式（８）が成立するように、合成比率Ａ，Ｂを算出する。
合成比率Ｂ＝１．０−合成比率Ａ （８）
【００５４】
合成比率乗算部９は、合成比率算出部８が合成比率Ａを算出すると、輝度／彩度算出部１により算出された高露出値画像の輝度Ａ１及び彩度Ａ１、収まり度合特定部３から出力された収まり度合情報Ａ１及び露出比率変換部５から出力された画像データＡ１（Ｒ，Ｇ，Ｂの３色成分）に対して、その合成比率Ａを乗算し、乗算後の輝度Ａ１、彩度Ａ１、収まり度合情報Ａ１及び画像データＡ１を、輝度Ａ２、彩度Ａ２、収まり度合情報Ａ２及び画像データＡ２として合成部１１に出力する（ステップＳＴ１１）。
【００５５】
合成比率乗算部１０は、合成比率算出部８が合成比率Ｂを算出すると、輝度／彩度算出部２により算出された低露出値画像の輝度Ｂ１及び彩度Ｂ１、収まり度合特定部４から出力された収まり度合情報Ｂ１及び露出比率変換部６から出力された画像データＢ１（Ｒ，Ｇ，Ｂの３色成分）に対して、その合成比率Ｂを乗算し、乗算後の輝度Ｂ１、彩度Ｂ１、収まり度合情報Ｂ１及び画像データＢ１を、輝度Ｂ２、彩度Ｂ２、収まり度合情報Ｂ２及び画像データＢ２として合成部１１に出力する（ステップＳＴ１２）。
【００５６】
合成部１１は、合成比率乗算部９から輝度Ａ２、彩度Ａ２、収まり度合情報Ａ２及び画像データＡ２を受けて、合成比率乗算部１０から輝度Ｂ２、彩度Ｂ２、収まり度合情報Ｂ２及び画像データＢ２を受けると、下記の式（９）に示すように、輝度Ａ２、彩度Ａ２、収まり度合情報Ａ２及び画像データＡ２と、輝度Ｂ２、彩度Ｂ２、収まり度合情報Ｂ２及び画像データＢ２とを加算する（ステップＳＴ１３）。
・Ｒ色成分
画像データＣ１（Ｒ）＝画像データＡ２（Ｒ）＋画像データＢ２（Ｒ）
・Ｇ色成分
画像データＣ１（Ｇ）＝画像データＡ２（Ｇ）＋画像データＢ２（Ｇ）
・Ｂ色成分
画像データＣ１（Ｂ）＝画像データＡ２（Ｂ）＋画像データＢ２（Ｂ）
・輝度Ｃ１＝輝度Ａ２＋輝度Ｂ２
・彩度Ｃ１＝彩度Ａ２＋彩度Ｂ２
・収まり度合情報Ｃ１＝収まり度合情報Ａ２＋収まり度合情報Ｂ２
（９）
【００５７】
合成部１１は、加算結果である画像データＣ１を階調圧縮部１２に出力し、加算結果である輝度Ｃ１、彩度Ｃ１及び収まり度合情報Ｃ１をコントラスト強調パラメータ算出部１４に出力する。
【００５８】
階調圧縮部１２は、合成部１１から画像データＣ１を受けると、階調毎に圧縮倍率を可変にできるルックアップテーブルを参照することで、下記の式（１０）〜（１２）に示すように、その画像データＣ１が示す合成画像の階調圧縮を実施し、階調圧縮後の合成画像を示す画像データＣ２を輝度／彩度算出部１３及びコントラスト強調部１５に出力する（ステップＳＴ１４）。
・Ｒ色成分
画像データＣ２（Ｒ）
＝（ＬＯＵＴ＿Ｒ［Ｎ＋１］−ＬＯＵＴ＿Ｒ［Ｎ］）
×（画像データＣ１（Ｒ）−ＬＩＮ＿Ｒ［Ｎ］）
÷（ＬＩＮ＿Ｒ［Ｎ＋１］−ＬＩＮ＿Ｒ［Ｎ］）
＋ＬＯＵＴ＿Ｒ［Ｎ］ （１０）
ＬＩＮ＿Ｒ［Ｎ］ ：階調圧縮ＬＵＴの入力値テーブルのＮ番目の要素
ＬＯＵＴ＿Ｒ［Ｎ］：階調圧縮ＬＵＴの出力値テーブルのＮ番目の要素
ＮはＬＩＮ＿Ｒ［Ｎ］≦画像データＣ１（Ｒ）＜ＬＩＮ＿Ｒ［Ｎ＋１］を満たす値
【００５９】
・Ｇ色成分
画像データＣ２（Ｇ）
＝（ＬＯＵＴ＿Ｇ［Ｎ＋１］−ＬＯＵＴ＿Ｇ［Ｎ］）
×（画像データＣ１（Ｇ）−ＬＩＮ＿Ｇ［Ｎ］）
÷（ＬＩＮ＿Ｇ［Ｎ＋１］−ＬＩＮ＿Ｇ［Ｎ］）
＋ＬＯＵＴ＿Ｇ［Ｎ］ （１１）
ＬＩＮ＿Ｇ［Ｎ］ ：階調圧縮ＬＵＴの入力値テーブルのＮ番目の要素
ＬＯＵＴ＿Ｇ［Ｎ］：階調圧縮ＬＵＴの出力値テーブルのＮ番目の要素
ＮはＬＩＮ＿Ｇ［Ｎ］≦画像データＣ１（Ｇ）＜ＬＩＮ＿Ｇ［Ｎ＋１］を満たす値
【００６０】
・Ｂ色成分
画像データＣ２（Ｂ）
＝（ＬＯＵＴ＿Ｂ［Ｎ＋１］−ＬＯＵＴ＿Ｂ［Ｎ］）
×（画像データＣ１（Ｂ）−ＬＩＮ＿Ｂ［Ｎ］）
÷（ＬＩＮ＿Ｂ［Ｎ＋１］−ＬＩＮ＿Ｂ［Ｎ］）
＋ＬＯＵＴ＿Ｂ［Ｎ］ （１２）
ＬＩＮ＿Ｂ［Ｎ］ ：階調圧縮ＬＵＴの入力値テーブルのＮ番目の要素
ＬＯＵＴ＿Ｂ［Ｎ］：階調圧縮ＬＵＴの出力値テーブルのＮ番目の要素
ＮはＬＩＮ＿Ｂ［Ｎ］≦画像データＣ１（Ｂ）＜ＬＩＮ＿Ｂ［Ｎ＋１］を満たす値
【００６１】
ここでは、階調圧縮部１２が、階調毎に圧縮倍率を可変にできるルックアップテーブルを参照して、画像データＣ１が示す合成画像の階調を圧縮するものについて示したが、圧縮倍率を階調値の多項式等で算出することができる場合には、ルックアップテーブルではなく、多項式等を利用して、画像データＣ１が示す合成画像の階調を圧縮するようにしてもよい。
【００６２】
輝度／彩度算出部１２は、階調圧縮部１２による階調圧縮後の合成画像を示す画像データＣ２を入力すると、その画像データＣ２を参照して、階調圧縮後の合成画像を構成している画素の値を特定する。
輝度／彩度算出部１２は、階調圧縮後の合成画像の画素値を特定すると、下記の式（１３）に示すように、その画素値を用いて、階調圧縮後の合成画像の輝度Ｃ２を算出する（ステップＳＴ１５）。
Ｙ＝０．２９９×Ｒ＋０．５８７×Ｇ＋０．１１４×Ｂ （１３）
ただし、Ｙ：輝度値（階調圧縮後の合成画像の輝度Ｃ２の値）
Ｒ：ＲＧＢ画像における赤色の画素値
Ｇ：ＲＧＢ画像における緑色の画素値
Ｂ：ＲＧＢ画像における青色の画素値
【００６３】
また、輝度／彩度算出部１２は、下記の式（１４）に示すように、階調圧縮後の合成画像の画素値を用いて、階調圧縮後の合成画像の彩度Ｃ２を算出する（ステップＳＴ１６）。
Ｃ＝ＳＱＲＴ（Ｃｂ×Ｃｂ＋Ｃｒ×Ｃｒ） （１４）
Ｃｂ＝−０．１６９×Ｒ−０．３３１×Ｇ＋０．５×Ｂ
Ｃｒ＝０．５×Ｒ−０．４１９×Ｇ−０．１１４×Ｂ
ただし、Ｃ：彩度値（階調圧縮後の合成画像の彩度Ｃ２の値）
Ｃｂ，Ｃｒ：色差値
ＳＱＲＴ（Ａ）：Ａの平方根を算出する関数
【００６４】
コントラスト強調パラメータ算出部１４は、合成部１１から階調圧縮前の合成画像の輝度Ｃ１、彩度Ｃ１及び収まり度合情報Ｃ１を受けて、輝度／彩度算出部１３から階調圧縮後の合成画像の輝度Ｃ２及び彩度Ｃ２を受けると、階調圧縮前の合成画像の輝度Ｃ１、彩度Ｃ１及び収まり度合情報Ｃ１と、階調圧縮後の合成画像の輝度Ｃ２及び彩度Ｃ２とから、輝度用コントラスト強調パラメータＱＹ及び彩度用コントラスト強調パラメータＱＣを算出する（ステップＳＴ１７）。
具体的には、以下のようにして、輝度用コントラスト強調パラメータＱＹ及び彩度用コントラスト強調パラメータＱＣを算出する。
【００６５】
［条件１］ 彩度Ｃ２≠０ かつ 彩度Ｃ１＞彩度Ｃ２の場合
ＱＣ＝（彩度Ｃ１÷彩度Ｃ２−１）×ＣＬＶ×収まり度合情報Ｃ１＋１
［条件２］ 彩度Ｃ２＝０ または 彩度Ｃ１≦彩度Ｃ２の場合
ＱＣ＝１
ただし、ＣＬＶ：彩度補正係数
【００６６】
［条件１］ 輝度Ｃ２＜最大輝度値÷３ かつ 輝度Ｃ１＞輝度Ｃ２の場合
ＱＹ
＝（ＭＩＮ（輝度Ｃ１、最大輝度値÷３）÷輝度Ｃ２−１）×ＹＬＶ
×収まり度合情報Ｃ１＋１
［条件２］ ２×最大輝度値÷３＜輝度Ｃ２ かつ 輝度Ｃ１＞輝度Ｃ２の場合
ＱＹ
＝（ＭＡＸ（輝度Ｃ１、２×最大輝度値÷３）÷輝度Ｃ２−１）×ＹＬＶ
×収まり度合情報Ｃ１＋１
［条件３］ 条件１，２以外の場合
ＱＹ＝１
ただし、ＹＬＶ：輝度補正係数
ＭＩＮ（Ａ，Ｂ）：ＡとＢの最小値を返す関数
ＭＡＸ（Ａ，Ｂ）：ＡとＢの最大値を返す関数
最大輝度値：輝度が取り得る最大値（例えば１２ビットデータの場合、４０９５）
【００６７】
なお、彩度用コントラスト強調パラメータＱＣの算出の条件１において、彩度補正係数ＣＬＶを大きくすることで、彩度を上げる度合いを大きくすることができる。
また、輝度用コントラスト強調パラメータＱＹの算出の条件１，２において、輝度補正係数ＹＬＶを大きくすることで、輝度を中間階調に変化させて、彩度を上げ易くすることができる。
【００６８】
コントラスト強調部１５は、コントラスト強調パラメータ算出部１４が輝度用コントラスト強調パラメータＱＹ及び彩度用コントラスト強調パラメータＱＣを算出すると、その輝度用コントラスト強調パラメータＱＹ及び彩度用コントラスト強調パラメータＱＣを用いて、階調圧縮部１２による階調圧縮後の合成画像のコントラストを強調し、コントラスト強調後の合成画像を示す画像データＤを出力する（ステップＳＴ１８）。
階調圧縮後の合成画像のコントラスト強調は、下記の式（１５）〜（１７）を算出することで行われる。
【００６９】
ＲＯ＝（（１９５９５×ＱＹ＋４５９４１×ＱＣ）×ＲＩ
＋（３８４７０×ＱＹ−３８４７０×ＱＣ）×ＧＩ
＋（ ７４７１×ＱＹ− ７４７１×ＱＣ）×ＢＩ）÷６５５３６
（１５）
ＧＯ＝（（１９５９５×ＱＹ−１９５９５×ＱＣ）×ＲＩ
＋（３８４７０×ＱＹ＋２７０６６×ＱＣ）×ＧＩ
＋（ ７４７１×ＱＹ− ７４７１×ＱＣ）×ＢＩ）÷６５５３６
（１６）
ＢＯ＝（（１９５９５×ＱＹ−１９５９５×ＱＣ）×ＲＩ
＋（３８４７０×ＱＹ−３８４７０×ＱＣ）×ＧＩ
＋（ ７４７１×ＱＹ＋５８０６５×ＱＣ）×ＢＩ）÷６５５３６
（１７）
【００７０】
ただし、 ＲＯ：画像データＤのＲ成分
ＧＯ：画像データＤのＧ成分
ＢＯ：画像データＤのＢ成分
ＲＩ：画像データＣ２のＲ成分
ＧＩ：画像データＣ２のＧ成分
ＢＩ：画像データＣ２のＢ成分
【００７１】
なお、コントラスト強調部１５によるコントラスト強調後の合成画像を示す画像データＤとして、ＲＧＢ画像データを出力する場合には、その画像データＤのＲ成分、Ｇ成分及びＢ成分をそのまま出力する。
また、ＲＡＷ画像データを出力する場合には、その画像データＤのＲ成分、Ｇ成分及びＢ成分のうち、ベイヤー配列に該当する色成分のみを出力する。
【００７２】
以上で明らかなように、この実施の形態１によれば、階調圧縮部１２による階調圧縮後の合成画像を構成している画素の値を特定し、その画素値を用いて、階調圧縮後の合成画像の輝度Ｃ２及び彩度Ｃ２を算出する輝度／彩度算出部１３と、合成部１１から出力された階調圧縮前の合成画像の輝度Ｃ１、彩度Ｃ１及び収まり度合情報Ｃ１と、輝度／彩度算出部１３により算出された階調圧縮後の合成画像の輝度Ｃ２及び彩度Ｃ２とから、輝度用コントラスト強調パラメータＱＹ及び彩度用コントラスト強調パラメータＱＣを算出するコントラスト強調パラメータ算出部１４とを設け、コントラスト強調部１５が、コントラスト強調パラメータ算出部１４により算出された輝度用コントラスト強調パラメータＱＹ及び彩度用コントラスト強調パラメータＱＣを用いて、階調圧縮部１２による階調圧縮後の合成画像のコントラストを強調し、コントラスト強調後の合成画像を示す画像データＤを出力するように構成したので、合成画像の彩度の低下を招くことなく、ダイナミックレンジを拡張することができる効果を奏する。
【００７３】
実施の形態２．
図８はこの発明の実施の形態２による画像処理装置が搭載されている撮像装置を示す構成図である。
図８において、図１と同一符号は同一または相当部分を示すので説明を省略する。
ＣＣＤ２１は撮像素子であり、図示せぬタイミング制御部の指示の下で露光時間を切り替えて、２枚の画像（白飛びが少ない高露出値画像と、黒つぶれが少ない低露出値画像）を時分割で撮影し、高露出値画像を示す画像データＡ及び低露出値画像を示す画像データＢを出力する。
メモリ２２はＣＣＤ２１により撮影された高露出値画像を示す画像データＡを格納するバッファメモリであり、メモリ２２は時分割で撮影された２枚の画像を合成する際のタイミングを調整するために使用される。
なお、ＣＣＤ２１及びメモリ２２から撮像手段が構成されている。
【００７４】
上記実施の形態１では、画像処理装置が外部から高露出値画像を示す画像データＡと低露出値画像を示す画像データＢを入力するものについて示したが、ＣＣＤ２１により撮影された画像データＡ，Ｂを入力するようにしてもよい。
画像処理装置の処理内容は、上記実施の形態１と同様であるため説明を省略する。
なお、図８では、撮像素子がＣＣＤ２１である例を示したが、デジタルカメラ等に搭載可能な素子であれば、ＣＣＤ２１以外の撮像素子であってもよい。
【００７５】
なお、本願発明はその発明の範囲内において、各実施の形態の自由な組み合わせ、あるいは各実施の形態の任意の構成要素の変形、もしくは各実施の形態において任意の構成要素の省略が可能である。
【符号の説明】
【００７６】
１，２ 輝度／彩度算出部（輝度彩度特定手段）、３，４ 収まり度合特定部（収まり度合特定手段）、５，６ 露出比率変換部（合成比率算出手段）、７ 輝度加算部（合成比率算出手段）、８ 合成比率算出部（合成比率算出手段）９，１０ 合成比率乗算部（合成手段）、１１ 合成部（合成手段）、１２ 階調圧縮部（階調圧縮手段）、１３ 輝度／彩度算出部（コントラスト強調手段）、１４ コントラスト強調パラメータ算出部（コントラスト強調手段）、１５ コントラスト強調部（コントラスト強調手段）、２１ ＣＣＤ（撮像手段）、２２ メモリ（撮像手段）、１０１ ＣＣＤ、１０２ メモリ、１０３ 乗算器、１０４ レベル重み手段、１０５ レベル重み手段、１０６ 加算器、１０７ 速度変換手段、１０８ レベル圧縮手段、１０９ タイミング制御手段。
【特許請求の範囲】
【請求項１】
高露出値画像の輝度及び彩度を特定するとともに、上記高露出値画像と異なる露出条件で同一の被写体が撮影された低露出値画像の輝度及び彩度を特定する輝度彩度特定手段と、上記輝度彩度特定手段により特定された高露出値画像の輝度及び彩度が指定の範囲内に収まっている度合を特定して、その度合を示す第１の収まり度合情報を出力するとともに、上記輝度彩度特定手段により特定された低露出値画像の輝度及び彩度が指定の範囲内に収まっている度合を特定して、その度合を示す第２の収まり度合情報を出力する収まり度合特定手段と、上記輝度彩度特定手段により特定された高露出値画像及び低露出値画像の輝度から合成比率を算出する合成比率算出手段と、上記合成比率算出手段により算出された合成比率にしたがって上記高露出値画像と上記低露出値画像を合成するとともに、上記合成比率にしたがって上記高露出値画像の輝度、彩度及び上記第１の収まり度合情報と、上記低露出値画像の輝度、彩度及び上記第２の収まり度合情報とを合成する合成手段と、上記合成手段による合成画像の階調を圧縮する階調圧縮手段と、上記合成手段による合成後の輝度、彩度及び収まり度合情報と上記階調圧縮手段による階調圧縮後の合成画像からコントラスト強調用のパラメータを算出し、上記パラメータを用いて、上記階調圧縮手段による階調圧縮後の合成画像のコントラストを強調するコントラスト強調手段とを備えた画像処理装置。
【請求項２】
コントラスト強調手段は、階調圧縮手段による階調圧縮後の合成画像の彩度を特定し、階調圧縮後の合成画像の彩度が階調圧縮前の合成画像の彩度より低下していれば、コントラスト強調用のパラメータとして、階調圧縮後の合成画像の彩度を高めるパラメータを算出し、階調圧縮後の合成画像の彩度が階調圧縮前の合成画像の彩度より低下していなければ、コントラスト強調用のパラメータとして、階調圧縮後の合成画像の彩度を維持するパラメータを算出することを特徴とする請求項１記載の画像処理装置。
【請求項３】
コントラスト強調手段は、階調圧縮手段による階調圧縮後の合成画像の輝度を特定し、階調圧縮後の合成画像の輝度が階調圧縮前の合成画像の輝度より低下していれば、コントラスト強調用のパラメータとして、階調圧縮後の合成画像の輝度を中間階調に変化させるパラメータを算出し、階調圧縮後の合成画像の輝度が階調圧縮前の合成画像の輝度より低下していなければ、コントラスト強調用のパラメータとして、階調圧縮後の合成画像の輝度を維持するパラメータを算出することを特徴とする請求項１または請求項２記載の画像処理装置。
【請求項４】
輝度彩度特定手段が高露出値画像の輝度及び彩度を特定するとともに、上記高露出値画像と異なる露出条件で同一の被写体が撮影された低露出値画像の輝度及び彩度を特定する輝度彩度特定処理ステップと、収まり度合特定手段が上記輝度彩度特定処理ステップで特定された高露出値画像の輝度及び彩度が指定の範囲内に収まっている度合を特定して、その度合を示す第１の収まり度合情報を出力するとともに、上記輝度彩度特定処理ステップで特定された低露出値画像の輝度及び彩度が指定の範囲内に収まっている度合を特定して、その度合を示す第２の収まり度合情報を出力する収まり度合特定処理ステップと、合成比率算出手段が上記輝度彩度特定処理ステップで特定された高露出値画像及び低露出値画像の輝度から合成比率を算出する合成比率算出処理ステップと、合成手段が上記合成比率算出処理ステップで算出された合成比率にしたがって上記高露出値画像と上記低露出値画像を合成するとともに、上記合成比率にしたがって上記高露出値画像の輝度、彩度及び上記第１の収まり度合情報と、上記低露出値画像の輝度、彩度及び上記第２の収まり度合情報とを合成する合成処理ステップと、階調圧縮手段が上記合成処理ステップで合成された画像の階調を圧縮する階調圧縮処理ステップと、コントラスト強調手段が上記合成処理ステップによる合成後の輝度、彩度及び収まり度合情報と上記階調圧縮処理ステップによる階調圧縮後の合成画像からコントラスト強調用のパラメータを算出し、上記パラメータを用いて、上記階調圧縮処理ステップによる階調圧縮後の合成画像のコントラストを強調するコントラスト強調処理ステップとを備えた画像処理方法。
【請求項５】
所定の露出条件で被写体を撮影して、その撮影画像である高露出値画像を出力するとともに、上記高露出値画像と異なる露出条件で上記被写体を撮影して、その撮影画像である低露出値画像を出力する撮像手段と、上記撮像手段から出力された高露出値画像の輝度及び彩度を特定するとともに、上記撮像手段から出力された低露出値画像の輝度及び彩度を特定する輝度彩度特定手段と、上記輝度彩度特定手段により特定された高露出値画像の輝度及び彩度が指定の範囲内に収まっている度合を特定して、その度合を示す第１の収まり度合情報を出力するとともに、上記輝度彩度特定手段により特定された低露出値画像の輝度及び彩度が指定の範囲内に収まっている度合を特定して、その度合を示す第２の収まり度合情報を出力する収まり度合特定手段と、上記輝度彩度特定手段により特定された高露出値画像及び低露出値画像の輝度から合成比率を算出する合成比率算出手段と、上記合成比率算出手段により算出された合成比率にしたがって上記高露出値画像と上記低露出値画像を合成するとともに、上記合成比率にしたがって上記高露出値画像の輝度、彩度及び上記第１の収まり度合情報と、上記低露出値画像の輝度、彩度及び上記第２の収まり度合情報とを合成する合成手段と、上記合成手段による合成画像の階調を圧縮する階調圧縮手段と、上記合成手段による合成後の輝度、彩度及び収まり度合情報と上記階調圧縮手段による階調圧縮後の合成画像からコントラスト強調用のパラメータを算出し、上記パラメータを用いて、上記階調圧縮手段による階調圧縮後の合成画像のコントラストを強調するコントラスト強調手段とを備えた撮像装置。
【請求項１】
高露出値画像の輝度及び彩度を特定するとともに、上記高露出値画像と異なる露出条件で同一の被写体が撮影された低露出値画像の輝度及び彩度を特定する輝度彩度特定手段と、上記輝度彩度特定手段により特定された高露出値画像の輝度及び彩度が指定の範囲内に収まっている度合を特定して、その度合を示す第１の収まり度合情報を出力するとともに、上記輝度彩度特定手段により特定された低露出値画像の輝度及び彩度が指定の範囲内に収まっている度合を特定して、その度合を示す第２の収まり度合情報を出力する収まり度合特定手段と、上記輝度彩度特定手段により特定された高露出値画像及び低露出値画像の輝度から合成比率を算出する合成比率算出手段と、上記合成比率算出手段により算出された合成比率にしたがって上記高露出値画像と上記低露出値画像を合成するとともに、上記合成比率にしたがって上記高露出値画像の輝度、彩度及び上記第１の収まり度合情報と、上記低露出値画像の輝度、彩度及び上記第２の収まり度合情報とを合成する合成手段と、上記合成手段による合成画像の階調を圧縮する階調圧縮手段と、上記合成手段による合成後の輝度、彩度及び収まり度合情報と上記階調圧縮手段による階調圧縮後の合成画像からコントラスト強調用のパラメータを算出し、上記パラメータを用いて、上記階調圧縮手段による階調圧縮後の合成画像のコントラストを強調するコントラスト強調手段とを備えた画像処理装置。
【請求項２】
コントラスト強調手段は、階調圧縮手段による階調圧縮後の合成画像の彩度を特定し、階調圧縮後の合成画像の彩度が階調圧縮前の合成画像の彩度より低下していれば、コントラスト強調用のパラメータとして、階調圧縮後の合成画像の彩度を高めるパラメータを算出し、階調圧縮後の合成画像の彩度が階調圧縮前の合成画像の彩度より低下していなければ、コントラスト強調用のパラメータとして、階調圧縮後の合成画像の彩度を維持するパラメータを算出することを特徴とする請求項１記載の画像処理装置。
【請求項３】
コントラスト強調手段は、階調圧縮手段による階調圧縮後の合成画像の輝度を特定し、階調圧縮後の合成画像の輝度が階調圧縮前の合成画像の輝度より低下していれば、コントラスト強調用のパラメータとして、階調圧縮後の合成画像の輝度を中間階調に変化させるパラメータを算出し、階調圧縮後の合成画像の輝度が階調圧縮前の合成画像の輝度より低下していなければ、コントラスト強調用のパラメータとして、階調圧縮後の合成画像の輝度を維持するパラメータを算出することを特徴とする請求項１または請求項２記載の画像処理装置。
【請求項４】
輝度彩度特定手段が高露出値画像の輝度及び彩度を特定するとともに、上記高露出値画像と異なる露出条件で同一の被写体が撮影された低露出値画像の輝度及び彩度を特定する輝度彩度特定処理ステップと、収まり度合特定手段が上記輝度彩度特定処理ステップで特定された高露出値画像の輝度及び彩度が指定の範囲内に収まっている度合を特定して、その度合を示す第１の収まり度合情報を出力するとともに、上記輝度彩度特定処理ステップで特定された低露出値画像の輝度及び彩度が指定の範囲内に収まっている度合を特定して、その度合を示す第２の収まり度合情報を出力する収まり度合特定処理ステップと、合成比率算出手段が上記輝度彩度特定処理ステップで特定された高露出値画像及び低露出値画像の輝度から合成比率を算出する合成比率算出処理ステップと、合成手段が上記合成比率算出処理ステップで算出された合成比率にしたがって上記高露出値画像と上記低露出値画像を合成するとともに、上記合成比率にしたがって上記高露出値画像の輝度、彩度及び上記第１の収まり度合情報と、上記低露出値画像の輝度、彩度及び上記第２の収まり度合情報とを合成する合成処理ステップと、階調圧縮手段が上記合成処理ステップで合成された画像の階調を圧縮する階調圧縮処理ステップと、コントラスト強調手段が上記合成処理ステップによる合成後の輝度、彩度及び収まり度合情報と上記階調圧縮処理ステップによる階調圧縮後の合成画像からコントラスト強調用のパラメータを算出し、上記パラメータを用いて、上記階調圧縮処理ステップによる階調圧縮後の合成画像のコントラストを強調するコントラスト強調処理ステップとを備えた画像処理方法。
【請求項５】
所定の露出条件で被写体を撮影して、その撮影画像である高露出値画像を出力するとともに、上記高露出値画像と異なる露出条件で上記被写体を撮影して、その撮影画像である低露出値画像を出力する撮像手段と、上記撮像手段から出力された高露出値画像の輝度及び彩度を特定するとともに、上記撮像手段から出力された低露出値画像の輝度及び彩度を特定する輝度彩度特定手段と、上記輝度彩度特定手段により特定された高露出値画像の輝度及び彩度が指定の範囲内に収まっている度合を特定して、その度合を示す第１の収まり度合情報を出力するとともに、上記輝度彩度特定手段により特定された低露出値画像の輝度及び彩度が指定の範囲内に収まっている度合を特定して、その度合を示す第２の収まり度合情報を出力する収まり度合特定手段と、上記輝度彩度特定手段により特定された高露出値画像及び低露出値画像の輝度から合成比率を算出する合成比率算出手段と、上記合成比率算出手段により算出された合成比率にしたがって上記高露出値画像と上記低露出値画像を合成するとともに、上記合成比率にしたがって上記高露出値画像の輝度、彩度及び上記第１の収まり度合情報と、上記低露出値画像の輝度、彩度及び上記第２の収まり度合情報とを合成する合成手段と、上記合成手段による合成画像の階調を圧縮する階調圧縮手段と、上記合成手段による合成後の輝度、彩度及び収まり度合情報と上記階調圧縮手段による階調圧縮後の合成画像からコントラスト強調用のパラメータを算出し、上記パラメータを用いて、上記階調圧縮手段による階調圧縮後の合成画像のコントラストを強調するコントラスト強調手段とを備えた撮像装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【公開番号】特開２０１２−９３９６５（Ｐ２０１２−９３９６５Ａ）
【公開日】平成２４年５月１７日（２０１２．５．１７）
【国際特許分類】
【出願番号】特願２０１０−２４０８５９（Ｐ２０１０−２４０８５９）
【出願日】平成２２年１０月２７日（２０１０．１０．２７）
【出願人】（０００００６０１３）三菱電機株式会社 (33,312)
【Ｆターム（参考）】
【公開日】平成２４年５月１７日（２０１２．５．１７）
【国際特許分類】
【出願日】平成２２年１０月２７日（２０１０．１０．２７）
【出願人】（０００００６０１３）三菱電機株式会社 (33,312)
【Ｆターム（参考）】
[ Back to top ]