画像処理装置および方法
【課題】より多様な効果を画像に付与することができるようにする。
【解決手段】照明成分抽出部１１１と反射率成分抽出部１１２は、入力された画像の照明成分と反射率成分とを分離する。制御部１１５は、反射率成分を過度に増幅するためのディティールゲインを設定する。増幅部１１６は、制御部１１５により設定されたディティールゲインを用いて反射率成分を過度に増幅する。合成部１１７は、照明成分と、過度に強調された反射率成分とを合成することにより、HDR処理が行われるとともに絵画調の視覚的効果が付与された画像を生成する。本開示は、例えば、画像処理装置に適用することができる。
【解決手段】照明成分抽出部１１１と反射率成分抽出部１１２は、入力された画像の照明成分と反射率成分とを分離する。制御部１１５は、反射率成分を過度に増幅するためのディティールゲインを設定する。増幅部１１６は、制御部１１５により設定されたディティールゲインを用いて反射率成分を過度に増幅する。合成部１１７は、照明成分と、過度に強調された反射率成分とを合成することにより、HDR処理が行われるとともに絵画調の視覚的効果が付与された画像を生成する。本開示は、例えば、画像処理装置に適用することができる。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、画像処理装置および方法に関し、特に、より多様な効果を画像に付与することができるようにした画像処理装置および方法に関する。
【背景技術】
【０００２】
従来、ダイナミックレンジの広い画像の階調の範囲を圧縮し、適正化するHDR（High Dynamic Range）圧縮処理が考えられている（例えば、特許文献１参照）。
【０００３】
例えば、特許文献１においては、露出の異なる複数の画像からダイナミックレンジの広い画像を作り、つぎに平滑化フィルタを使って画像を低周波成分と高周波成分（ディティール成分）に分解し、低周波成分の階調の範囲を圧縮し、その圧縮量に対応する分だけディティール成分を強調して、最後に処理後の両成分を合成して、通常レンジの画像を得る方法が記載されている。
【０００４】
また、ダイナミックレンジの広い画像の合成を経由せずに、複数の画像から通常レンジの画像を作る方法も記載されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００８−１０４０１０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、近年においては、単に階調の範囲を圧縮するだけでなく、HDR圧縮処理された画像に他の効果を付与することが求められている。
【０００７】
本開示は、このような状況に鑑みてなされたものであり、画像の階調を処理するとともに、その画像に対して他の視覚的効果を付与する処理も行うことにより、より多様な効果を画像に付与することができるようにすることを目的とする。
【課題を解決するための手段】
【０００８】
本開示の一側面は、画像の反射率成分を増幅する増幅率を、前記画像に絵画調の視覚的効果を付与する程大きな値にするかを制御する制御部と、前記画像を照明成分と反射率成分とに分離する分離部と、前記分離部により分離された前記反射率成分を、前記制御部により制御される増幅率で増幅する増幅部と、前記分離部により分離された前記照明成分と、前記増幅部により増幅された前記反射率成分とを合成する合成部とを備える画像処理装置である。
【０００９】
前記分離部により分離された前記照明成分の階調を圧縮する階調圧縮部をさらに備え、前記分離部は、階調レンジが広い画像を照明成分と反射率成分とに分離し、前記合成部は、前記階調圧縮部により階調が圧縮された前記照明成分と、前記増幅部により増幅された前記反射率成分とを合成することにより、階調レンジが適正化された画像を生成することができる。
【００１０】
前記階調圧縮部による階調圧縮に対応して、前記分離部により分離された前記反射率成分の階調を伸張する階調伸張部をさらに備え、前記増幅部は、前記階調伸張部により階調が伸張された前記反射率成分を、前記制御部により制御される増幅率で増幅することができる。
【００１１】
前記分離部により分離された前記反射率成分の階調を伸張するための、前記階調圧縮部による階調圧縮に対応する増幅率と、前記制御部により制御される増幅率とを合成し、合成ゲインを生成するゲイン合成部をさらに備え、前記増幅部は、前記分離部により分離された前記反射率成分を、前記ゲイン合成部により生成される合成ゲインで増幅することができる。
【００１２】
露出条件が互いに異なる複数の画像を、前記分離部により分離された前記照明成分を用いて重み付けして合成し、白飛びや黒つぶれ等の画質劣化が生じないように合成し、適切な階調レンジの画像を生成する画像生成部をさらに備え、前記合成部は、前記分離部により分離された前記照明成分の代わりに、前記画像生成部により生成された前記画像を、前記増幅部により増幅された前記反射率成分と合成することができる。
【００１３】
前記制御部は、前記画像に対して絵画調の視覚的効果を付与する場合、前記増幅率を大きな値にし、前記画像に対して絵画調の視覚的効果を付与しない場合、前記増幅率を小さな値にすることができる。
【００１４】
前記制御部は、前記増幅率として画素の輝度値に応じた値を設定することができる。ここでの輝度値には、前記照明成分の画素値を使ってもよい。
【００１５】
前記制御部は、前記増幅率として領域に応じた値を設定することができる。
【００１６】
前記分離部は、エッジ保存平滑化フィルタを用いて、前記画像を照明成分と反射率成分とに分離することができる。
【００１７】
前記分離部は、前記画像から照明成分を抽出する照明成分抽出部と、前記画像と、前記照明成分抽出部により抽出された前記照明成分とを用いて、前記反射率成分を抽出する反射率成分抽出部とを備えることができる。
【００１８】
前記分離部は、前記画像から輝度成分を抽出する輝度成分抽出部をさらに備え、前記照明成分抽出部は、前記輝度成分抽出部により抽出された前記輝度成分から前記照明成分を抽出し、前記反射率成分抽出部は、前記輝度成分抽出部により抽出された前記輝度成分と、前記照明成分抽出部により抽出された前記照明成分とを用いて、前記反射率成分を抽出することができる。
【００１９】
前記照明成分抽出部は、抽出した前記照明成分を丸め処理し、前記反射率成分抽出部は、前記画像と、前記照明成分抽出部により抽出された、丸め処理される前の前記照明成分とを用いて、前記反射率成分を抽出することができる。
【００２０】
本開示の一側面は、また、画像処理装置の画像処理方法であって、前記画像処理装置の制御部が、画像の反射率成分を増幅する増幅率を、前記画像に絵画調の視覚的効果を付与する程大きな値にするかを制御し、前記画像処理装置の分離部が、前記画像を照明成分と反射率成分とに分離し、前記画像処理装置の増幅部が、前記分離部により分離された前記反射率成分を、前記制御部により制御される増幅率で増幅し、前記画像処理装置の合成部が、前記分離部により分離された前記照明成分と、前記増幅部により増幅された前記反射率成分とを合成する画像処理方法である。
【００２１】
本開示の一側面においては、画像の反射率成分を増幅する増幅率を、画像に絵画調の視覚的効果を付与する程大きな値にするかが制御され、画像が照明成分と反射率成分とに分離され、分離された反射率成分が、制御された増幅率で増幅され、分離された照明成分と、増幅された反射率成分とが合成される。
【発明の効果】
【００２２】
本開示によれば、画像を処理することができる。特に、より多様な効果を画像に付与することができる。
【図面の簡単な説明】
【００２３】
【図１】画像の階調を処理する画像処理装置の主な構成例を示すブロック図である。
【図２】ディティールゲインの輝度変調特性の例を示す図である。
【図３】画像処理の流れの例を説明するフローチャートである。
【図４】画像処理の流れの、他の例を説明するフローチャートである。
【図５】画像処理装置の他の構成例を示すブロック図である。
【図６】画像処理の流れの、さらに他の例を説明するフローチャートである。
【図７】画像処理装置の、さらに他の構成例を示すブロック図である。
【図８】ディティール生成部の主な構成例を示すブロック図である。
【図９】画像処理の流れの、さらに他の例を説明するフローチャートである。
【図１０】撮像装置の主な構成例を示すブロック図である。
【図１１】パーソナルコンピュータの主な構成例を示すブロック図である。
【発明を実施するための形態】
【００２４】
以下、本技術を実施するための形態（以下実施の形態とする）について説明する。なお、説明は以下の順序で行う。
１．第１の実施の形態（画像処理装置）
２．第２の実施の形態（画像処理装置）
３．第３の実施の形態（画像処理装置）
４．第４の実施の形態（撮像装置）
５．第５の実施の形態（パーソナルコンピュータ）
【００２５】
＜１．第１の実施の形態＞
［画像処理装置］
図１は、画像処理装置の一実施の形態の構成を表している。
【００２６】
図１に示される画像処理装置１００は、入力される画像データの階調を圧縮するとともに、その画像に対して絵画調の視覚的効果を付与する画像処理を行う装置である。階調レンジの広いHDR（High Dynamic Range）画像データが入力され、上述した画像処理により、階調レンジが適正化された（狭くなった）、絵画調の視覚的効果が付与された絵画調HDR画像データが出力される。
【００２７】
図１に示されるように、画像処理装置１００は、照明成分抽出部１１１、反射率成分抽出部１１２、階調レンジ圧縮部１１３、階調レンジ伸張部１１４、制御部１１５、増幅部１１６、および合成部１１７を有する。
【００２８】
これらの構成の内、照明成分抽出部１１１、反射率成分抽出部１１２、階調レンジ圧縮部１１３、階調レンジ伸張部１１４、および合成部１１７が、階調を圧縮するHDR処理を行うHDR処理部１２１を構成する。また、制御部１１５および増幅部１１６が、画像に絵画調の視覚的効果を付与する絵画調処理を行う絵画調処理部１２２を構成する。
【００２９】
入力されたHDR画像データ（階調レンジが通常よりも広い画像）は、照明成分抽出部１１１および反射率成分抽出部１１２に供給される（矢印１３１）。
【００３０】
照明成分抽出部１１１は、入力されたHDR画像データに対してローパスフィルタ処理を施すことにより、照明成分（低周波成分とも称する）を抽出する。なお、この照明成分の抽出のためには、エッジ成分が残存するように高域カット処理する非線形のローパスフィルタ（例えば、特許文献１に記載のフィルタやバイラテラルフィルタ）を用いることが望ましい。また、同様なローパスフィルタ処理としては、非線形ローパスフィルタの他に、統計的な手法（例えば、最頻値フィルタや中央値フィルタ）を用いることもできる。照明成分抽出部１１１は、抽出した照明成分を階調レンジ圧縮部１１３に供給する（矢印１３２）。
【００３１】
階調レンジ圧縮部１１３は、入力された照明成分のみの画像データの各画素の輝度値を、例えば入出力レベルの対応を示すルックアップテーブル（LUT）に従って変換し、階調レンジを圧縮する。例えば、照明成分の低輝度側の領域に対してはゲインを１より大きくして増幅し、高輝度側の領域に対してはゲインを１未満としてレベルを低減する。階調レンジ圧縮部１１３は、階調レンジを圧縮した照明成分を合成部１１７に供給する（矢印１３５）。
【００３２】
照明成分抽出部１１１は、抽出した照明成分を反射率成分抽出部１１２にも供給する（矢印１３３）。反射率成分抽出部１１２は、その照明成分を用いて、入力されたHDR画像データから反射率成分（高周波成分、ディティール成分とも称する）を抽出する。例えば、反射率成分抽出部１１２は、入力されたHDR画像のデータから、照明成分抽出部１１１から供給された照明成分のデータを減算することで、反射率成分を求める。また、反射率成分抽出部１１２は、例えば、入力されたHDR画像のデータから照明成分のデータを除算することで、反射率成分を求めるようにしてもよい。反射率成分抽出部１１２は、抽出した反射率成分を階調レンジ伸張部１１４に供給する（矢印１３４）。
【００３３】
階調レンジ伸張部１１４は、抽出された反射率成分の輝度値を、例えば入出力レベルの対応を示すLUTなどに従って画素ごとに変換し、階調レンジを伸張させる。つまり、階調レンジ伸張部１１４は、反射率成分を増幅する。階調レンジ伸張部１１４は、階調を伸張させた反射率成分を増幅部１１６に供給する（矢印１３６）。
【００３４】
制御部１１５は、増幅部１１６において使用される増幅率であるディティールゲインを設定する（矢印１３７）。例えば、制御部１１５は、記憶部を有し、予め設定されたディティールゲインを記憶し、それを増幅部１１６に供給する。また、例えば、制御部１１５は、入力部を有し、外部より入力されるディティールゲインを増幅部１１６に供給するようにしてもよい。さらに例えば、制御部１１５は、ユーザの指示を受け付ける受付部を有し、ユーザにより設定されるディティールゲインを増幅部１１６に供給するようにしてもよい。また、制御部１１５は、演算部を有し、外部やユーザ等より入力される情報に基づいてディティールゲインを算出し、それを増幅部１１６に供給するようにしてもよい。
【００３５】
増幅部１１６は、階調レンジ伸張部１１４から供給される反射率成分（ディティール成分）を、制御部１１５により設定されたディティールゲイン（増幅率）で増幅する。ここで増幅部１１６が、過度に反射率成分を強調することにより、ディティールの見えが実物よりも強調されて質感が豊富になり、画像に絵画風の特殊効果を与えることができる。増幅部１１６は、増幅した反射率成分を合成部１１７に供給する（矢印１３８）。
【００３６】
合成部１１７は、階調レンジ圧縮部１１３および増幅部１１６からそれぞれ出力された画像データを画素ごとに合成し、全体として階調レンジが圧縮された、絵画調のHDR画像データ（絵画調HDR画像データ）を出力する（矢印１３９）。例えば、反射率成分抽出部１１２において、入力画像データから照明成分のデータを減算することで反射率成分のデータが求められた場合、合成部１１７は、階調レンジ圧縮部１１３および増幅部１１６から出力された各画像データを加算することで合成処理を行う。また、反射率成分抽出部１１２において、入力画像データから照明成分のデータを除算することで反射率成分のデータが求められた場合、合成部１１７は、階調レンジ圧縮部１１３および増幅部１１６から出力された各画像データを乗算することで合成処理を行う。
【００３７】
合成部１１７から出力される絵画調HDR画像データは、さらに、ビット数を圧縮する等してもよい。
【００３８】
以上のように、絵画調処理部１２２の増幅部１１６が、ディティールの見えが実物よりも強調されて見える程、反射率成分のみを過度に増幅する（ディティールを過度に強調する）だけで、画像処理装置１００は、容易に、画像データの階調レンジを圧縮するとともに、画像に対して、絵画風の視覚的効果を付与することができる。つまり、画像処理装置１００は、より多様な効果を画像に付与することができる。
【００３９】
なお、階調レンジを圧縮する処理と、絵画風の視覚効果を付与する処理とを分離して、それぞれでディティール成分を抽出するように実装をすると、一方の処理が他方の処理に影響を与えてしまい、意図通りの効果が得られなくなる。具体的には、照明成分が正しく求められなくなることで、画質が劣化する。また、照明成分を使う代わりに、線形のハイパスフィルタで抽出した成分を増幅する等して絵画風の視覚的効果を付与するようにするとエッジの周辺の低周波成分も強調されることにより視覚的に画質の劣化が大きくなってしまう。画像処理装置１００は、ディティールの見えが実物よりも強調されることにより質感が豊富になることを利用し、階調レンジを圧縮する際に抽出された反射率成分のみを過度に増幅することにより、視覚的な画質の劣化を抑制しながら、容易に、画像に絵画風の特殊効果を与えることができる。
【００４０】
増幅部１１６が用いる増幅率の値は任意であるが、例えば、２倍、４倍、８倍のように、一般的に、増幅率を大きくするほど、ディティールがより強く強調され、画像に与える絵画風の視覚的効果を強くすることができる。
【００４１】
制御部１１５は、画像に対してより強い絵画風の視覚的効果を与える場合、この増幅率を大きな値（例えば、１より十分に大きな値）に設定する。また、画像に対して絵画風の視覚的効果を強く与えたくない場合、制御部１１５は、増幅率を小さな値（例えば１に近い値）に設定する。つまり、制御部１１５は、この増幅率の大きさを制御することにより、HDR圧縮処理を、被写体に忠実に行うのか、それとも絵画調の視覚的効果を付与するように行うのかを制御することができる。
【００４２】
また、線形の平滑化フィルタ処理を用いて照明成分と反射率成分とを分離するようにすると、輪郭にHALO（輪郭部分に発生する後光状のアーチファクト）と呼ばれる現象が現れて、好ましくない画質になる（視覚的に画質が劣化する）可能性がある。そこで、照明成分抽出部１１１が用いる照明分離フィルタにはエッジ保存平滑化フィルタを用いるのが望ましい。エッジ保存平滑化フィルタとしては、例えばバイラテラルフィルタや、国際公開WO2009/072537に記載の方法等がある。
【００４３】
さらに、増幅率は、図２に示されるように輝度に応じた値とするようにしてもよい。図２に示される曲線１４１は、ディティールゲインの輝度変調特性の例を示す。このように照明成分の輝度によって増幅率を変えることにより、増幅部１１６は、ディティールとして強調したい信号のみを増幅することができる。つまり、ディティール成分に信号の飽和による偽の階調が含まれることがある高輝度の部分や、ディティール成分よりもノイズ成分の方が多く含まれる低輝度の部分の増幅を抑制することができる。これにより、画像処理装置１００は、画像の視覚的な劣化を抑制することができる。
【００４４】
なお、増幅部１１６は、画像の全ての領域について反射率成分を増幅するようにしてもよいし、画像内の一部の領域についてのみ、反射率成分を増幅するようにしてもよい。例えばピクチャインピクチャのように、複数の画像が含まれる場合、そのうち一部の画像（すなわち、一部の領域）についてのみ絵画調の視覚的効果を付与するようにすることもできる。その場合、制御部１１５が、ユーザ指示、外部からの指示、若しくは画像の解析結果等任意の情報に基づいて増幅する領域を設定し、増幅部１１６が、その設定された領域についてのみ、反射率成分を増幅するようにする。なお、この領域は予め定められていても良い。
【００４５】
つまりこの場合、合成部１１７には、画像内の一部の領域のみに絵画調の視覚的効果が付与された反射率成分が供給される。合成部１１７が、この反射率成分と照明成分とを合成することにより、一部の領域のみに絵画調の視覚的効果が付与された画像が得られる。
【００４６】
もちろん、絵画調の視覚的効果を付与するか否かの制御だけでなく、領域毎に増幅率が異なる（独立して設定される）ようにしてもよい。例えば、制御部１１５が、各領域に対応するディティールゲインを設定し、そのディティールゲイン群を増幅部１１６に供給する。増幅部１１６は、供給されたディティールゲイン群の中の、処理対象の位置に対応するディティールゲインを用いて反射率成分を増幅する。
【００４７】
［画像処理の流れ］
図３のフローチャートを参照して、画像処理の流れの例を説明する。ステップＳ１０１において、制御部１１５は、HDR圧縮処理を行う画像に対して絵画調効果を与えるか否かを判定する。絵画調効果を与えると判定した場合、制御部１１５は、処理をステップＳ１０２に進め、反射率成分を過度に増幅するように、絵画調効果用のディティールゲインに大きな値（１より十分に大きな値）を設定する。
【００４８】
また、ステップＳ１０１において、画像に絵画調効果を与えないと判定した場合、制御部１１５は、処理をステップＳ１０３に進め、絵画調効果用のディティールゲインに小さな値（１に近い値）を設定する。
【００４９】
ステップＳ１０２またはステップＳ１０３においてディティールゲインを設定すると、制御部１１５は、処理をステップＳ１０４に進める。
【００５０】
ステップＳ１０４において、照明成分抽出部１１１および反射率成分抽出部１１２は、入力された階調レンジの広いHDR画像データを照明成分と反射率成分に分離する。
【００５１】
ステップＳ１０５において、階調レンジ圧縮部１１３は、照明成分の階調レンジを圧縮する。ステップＳ１０６において、階調レンジ伸張部１１４は、反射率成分の階調レンジを伸張する。
【００５２】
ステップＳ１０７において、増幅部１１６は、ステップＳ１０２若しくはステップＳ１０３において設定された、絵画調効果用のディティールゲインを用いて、ステップＳ１０６において階調レンジを伸張された反射率成分を増幅する。
【００５３】
ステップＳ１０８において、合成部１１７は、ステップＳ１０５において階調レンジを圧縮された照明成分と、ステップＳ１０７において増幅された反射率成分とを合成し、出力画像（階調レンジが圧縮された（絵画調）HDR画像データ）を生成する。この出力画像は、画像処理装置１００の外部に出力するようにしてもよいし、画像処理装置１００が有する記憶部（図示せず）に記憶するようにしてもよい。
【００５４】
以上のように画像処理を行うことにより、画像処理装置１００は、容易に、画像データの階調レンジを圧縮するとともに、画像に対して、絵画風の視覚的効果を付与することができる。つまり、画像処理装置１００は、より多様な効果を画像に付与することができる。
【００５５】
［画像処理の他の流れ］
以上においては、制御部１１５が、絵画調効果を付与するか否かによって絵画調効果用のディティールゲインの値を切り換えるように説明したが、制御部１１５は、ディティールゲインの値を任意に設定することができるようにしてもよい。例えば、ユーザ指示に従ってディティールゲインの値を設定することができるようにしてもよい。
【００５６】
その場合の、画像処理の流れの例を図４のフローチャートを参照して説明する。この場合、ステップＳ１２１において、制御部１１５は、ユーザ指示を受け付ける。ステップＳ１２２において、制御部１１５は、ステップＳ１２１において受け付けたユーザ指示に従って、絵画調効果用のディティールゲインを設定する。
【００５７】
ステップＳ１２２の処理が終了すると、ステップＳ１２３乃至ステップＳ１２７の各処理が順次行われるが、これらの処理は、図３のステップＳ１０４乃至ステップＳ１０８の各処理と同様に行われるので、その説明を省略する。
【００５８】
このように、画像処理装置１００は、ディティールを強調する度合いを任意に設定することができる。これにより、画像処理装置１００は、画像に対して、任意の度合いで絵画調効果を付与することができる。
【００５９】
なお、ディティールゲインの値を決定する根拠は任意であり、上述したユーザ指示以外であっても良い。例えば、外部より供給される設定情報に従ってディティールゲインの値が設定されるようにしてもよいし、画像の内容に応じてディティールゲインの大きさが決定されるようにしてもよい。
【００６０】
＜２．第２の実施の形態＞
［画像処理装置］
第１の実施の形態において説明した、反射率成分に対する階調レンジの伸張（増幅）と、絵画調効果用の増幅とを１回の増幅で実現するようにしてもよい。
【００６１】
図５は、その場合の画像処理装置の主な構成例を示すブロック図である。図５に示される画像処理装置２００は、図１の画像処理装置１００と基本的に同様の装置であり、入力された画像に対して、階調レンジを圧縮するHDR処理を行うとともに、絵画調の視覚的効果を付与する絵画調処理を行う。
【００６２】
図５に示されるように画像処理装置２００は、画像処理装置１００の構成から階調レンジ伸張部１１４が省略され、階調レンジ伸張用ゲイン設定部２１１およびゲイン合成部２１２が追加される。
【００６３】
この画像処理装置２００の場合、照明成分抽出部１１１、反射率成分抽出部１１２、階調レンジ圧縮部１１３、および合成部１１７がHDR処理を行うHDR処理部２２１を構成する。また、制御部１１５、増幅部１１６、階調レンジ伸張用ゲイン設定部２１１、およびゲイン合成部２１２が、絵画調処理を行う絵画調処理部２２２を構成する。
【００６４】
画像処理装置２００の場合、反射率成分抽出部１１２において抽出された反射率成分は、増幅部１１６に供給される（矢印２３１）。
【００６５】
また、制御部１１５は、設定したディティールゲインをゲイン合成部２１２に供給する（矢印１３７）。
【００６６】
階調レンジ伸張用ゲイン設定部２１１は、階調レンジ伸張用のゲイン、すなわち、画像処理装置１００の階調レンジ伸張部１１４において用いられるゲインを設定し、その値をゲイン合成部２１２に供給する（矢印２３２）。
【００６７】
ゲイン合成部２１２は、階調レンジ伸張用ゲイン設定部２１１から供給される階調レンジ伸張用ゲインと、制御部１１５から供給されるディティールゲインとを合成し、合成ゲインを生成する。ゲイン合成部２１２は、生成した合成ゲインを増幅部１１６に供給する（矢印２３３）。
【００６８】
増幅部１１６は、反射率成分抽出部１１２から供給される反射率成分を、ゲイン合成部２１２から供給される合成ゲインを用いて増幅する。増幅部１１６は、増幅した反射率成分を合成部１１７に供給し、照明成分と合成させる。
【００６９】
以上のようにして、増幅部１１６は、画像処理装置１００において行われる階調レンジ伸張用と、ディティール成分強調用との２つの増幅を、１回の増幅で実現することができる。つまり、画像処理装置２００は、画像処理装置１００の場合と同様に、容易に、画像データの階調レンジを圧縮するとともに、画像に対して、絵画風の視覚的効果を付与することができる。つまり、画像処理装置２００は、より多様な効果を画像に付与することができる。
【００７０】
なお、この場合も第１の実施の形態の場合と同様に、制御部１１５は、ディティールゲインを任意の情報に基づいて、任意の値に設定することができる。また、制御部１１５は、第１の実施の形態の場合と同様に、輝度に応じてディティールゲインの値を変えるようにすることもできる。
【００７１】
また、この場合も第１の実施の形態の場合と同様に、画像の一部の領域のみ、反射率成分が増幅されるようにしてもよいし、画像内の位置に応じたディティールゲインが設定されるようにしてもよい。
【００７２】
［画像処理の流れ］
この場合の、画像処理の流れの例を、図６のフローチャートを参照して説明する。
【００７３】
ステップＳ２０１において、階調レンジ伸張用ゲイン設定部２１１は、任意の情報に基づいて、階調レンジ伸張用ゲインを設定する。ステップＳ２０２において、制御部１１５は、HDR圧縮処理を行う画像に対して絵画調効果を与えるか否かを判定する。絵画調効果を与えると判定した場合、制御部１１５は、処理をステップＳ２０３に進め、反射率成分を過度に増幅するように、絵画調効果用のディティールゲインに大きな値（１より十分に大きな値）を設定する。
【００７４】
また、ステップＳ２０２において、画像に絵画調効果を与えないと判定した場合、制御部１１５は、処理をステップＳ２０４に進め、絵画調効果用のディティールゲインに小さな値（１に近い値）を設定する。
【００７５】
ステップＳ２０３またはステップＳ２０４においてディティールゲインを設定すると、制御部１１５は、処理をステップＳ２０５に進める。
【００７６】
ステップＳ２０５において、ゲイン合成部２１２は、ステップＳ２０１において設定された階調レンジ伸張用ゲインと、ステップＳ２０２若しくはステップＳ２０３において設定されたディティールゲインとを合成する。
【００７７】
ステップＳ２０６において、照明成分抽出部１１１および反射率成分抽出部１１２は、入力された階調レンジの広いHDR画像データを照明成分と反射率成分に分離する。
【００７８】
ステップＳ２０７において、階調レンジ圧縮部１１３は、照明成分の階調レンジを圧縮する。
【００７９】
ステップＳ２０８において、増幅部１１６は、ステップＳ２０５において生成された合成ゲインを用いて、ステップＳ２０６において抽出された反射率成分を増幅する。
【００８０】
ステップＳ２０９において、合成部１１７は、ステップＳ２０７において階調レンジを圧縮された照明成分と、ステップＳ２０８において増幅された反射率成分とを合成し、出力画像（階調レンジが圧縮された（絵画調）HDR画像データ）を生成する。この出力画像は、画像処理装置２００の外部に出力するようにしてもよいし、画像処理装置２００が有する記憶部（図示せず）に記憶するようにしてもよい。
【００８１】
以上のように画像処理を行うことにより、画像処理装置２００は、容易に、画像データの階調レンジを圧縮するとともに、画像に対して、絵画風の視覚的効果を付与することができる。つまり、画像処理装置２００は、より多様な効果を画像に付与することができる。
【００８２】
＜３．第３の実施の形態＞
［画像処理装置］
HDR処理としては、第１の実施の形態や第２の実施の形態において説明した方法の他に、露出条件が互いに異なる複数の画像を、白飛びや黒つぶれ等の画質劣化が生じないように合成し、適切な階調レンジの画像を生成する方法がある。
【００８３】
例えば、画角内の輝度レンジが広いシーンでは、自動露出処理（AE処理）の精度が悪化し、画角内の主な被写体が露出オーバーになって白飛びしたり、露出アンダーになってノイズに埋もれたり黒つぶれしたりする可能性が高くなる。そこで、このようなシーンにおいても適切な露光条件で撮像された画像を得るための撮像手法として、露光条件を変化させて複数回連続して露光し、それぞれの複数の画像信号を得る「ブラケット撮像」という手法が知られている。
【００８４】
この、ブラケット撮像を応用して、撮像素子の出力よりも広いダイナミックレンジを持つ画像（広ダイナミックレンジ画像）を得ることを可能とした撮像手法が考えられている。広ダイナミックレンジ画像の撮像では、ブラケット撮像により露出量を大きくした撮像画像と、露出量を抑えた撮像画像とを取得し、それらを合成することで広ダイナミックレンジの画像を生成する。すなわち、露出量を抑えて高輝度側の階調が得られた画像成分と、露出量を高めて低輝度側の階調が得られた画像成分とを合成することで、１回の露光では得ることができない広い輝度レンジの階調情報を、合成後の画像に取り入れることが可能となる。
【００８５】
例えばこのような撮像により得られた、互いに露出条件の異なる複数の画像から、白飛びや黒つぶれ等の画質劣化が生じないように合成された、適切な階調レンジの画像を生成する場合、上述した第１の実施の形態や第２の実施の形態において説明したような、階調レンジの広いHDR画像データ（広ダイナミックレンジ画像）を生成し、その画像の階調レンジを、上述したようなHDR入力の階調圧縮処理により圧縮する方法がある。
【００８６】
しかしながら、この方法の場合、階調レンジの広いHDR画像データを生成する必要があるので処理に必要なメモリ量が増大する可能性がある。
【００８７】
そこで、このような階調レンジの広いHDR画像データを生成せずに、露出条件が互いに異なる複数の画像を、白飛びや黒つぶれ等の画質劣化が生じないように合成し、適切な階調レンジの画像を生成する方法がある。
【００８８】
本実施の形態においては、このようなHDR処理方法において、絵画調処理を行う例について説明する。
【００８９】
図７は、その場合の画像処理装置の主な構成例を示すブロック図である。図７に示される画像処理装置３００は、図１の画像処理装置１００や図５の画像処理装置２００と基本的に同様の装置であり、階調レンジを圧縮するHDR処理を行うとともに、絵画調の視覚的効果を付与する絵画調処理を行う。ただし、画像処理装置３００の場合、階調レンジが広いHDR画像データではなく、互いに露出条件の異なる３つの画像（露出アンダー画像、適正露出画像、および露出オーバー画像）が入力される。
【００９０】
画像処理装置３００は、輝度成分抽出部３１１、照明分離フィルタ３１２、HDR圧縮処理部３１３、制御部３１４、ディティール生成部３１５、およびディティール強調部３１６を有する。
【００９１】
これらの構成の内、輝度成分抽出部３１１、照明分離フィルタ３１２、およびHDR圧縮処理部３１３が、互いに露出条件の異なる３つの画像を、白飛びや黒つぶれ等の画質劣化が生じないように合成し、適切な階調レンジの画像を生成するHDR処理を行うHDR処理部３２１を構成する。また、制御部３１４、ディティール生成部３１５、およびディティール強調部３１６が、画像に対して絵画調の視覚的効果を付与する絵画調処理部３２２を構成する。
【００９２】
上述したように、画像処理装置３００には、適正値よりも意図的に露出を抑えて生成した露出アンダー画像、露出を適正値で生成した適正露出画像、適正値よりも意図的に露出を大きくして生成した露出オーバー画像が入力される。各画像は、HDR圧縮処理部３１３に供給される（矢印３３１乃至矢印３３３）。
【００９３】
また、適正露出画像は、輝度成分抽出部３１１にも供給される（矢印３３２）。輝度成分抽出部３１１は、入力された適正露出画像から輝度成分を抽出し、それを照明分離フィルタ３１２およびディティール生成部３１５に供給する（矢印３３４）。
【００９４】
照明分離フィルタ３１２は、照明成分抽出部１１１と同様に、エッジ保存平滑化フィルタ等によって、入力された輝度成分から照明成分を抽出する。照明分離フィルタ３１２は、抽出した照明成分をHDR圧縮処理部３１３およびディティール生成部３１５に供給する（矢印３３５）。
【００９５】
HDR圧縮処理部３１３は、照明分離フィルタ３１２から供給される照明成分を、所定の変換テーブルを用いて合成係数に変換し、その合成係数を用いて、入力された露出アンダー画像、適正露出画像、および露出オーバー画像を合成する。より具体的には、HDR圧縮処理部３１３は、各画像を合成係数で重み付けして互いに加算する。HDR圧縮処理部３１３は、このようにして、露出アンダー画像、適正露出画像、および露出オーバー画像から、白飛びや黒つぶれ等の画質劣化が生じないように合成された、適切な階調レンジの画像（HDR圧縮画像）を生成する。この画像は、第１の実施の形態や第２の実施の形態における、階調レンジの広いHDR画像に対して階調処理のみが施されて階調が適正化されたHDR画像に対応する。HDR圧縮処理部３１３は、生成したHDR圧縮画像をディティール強調部３１６に供給する（矢印３３６）。
【００９６】
制御部３１４は、絵画調の視覚的効果を与えるためのHDR圧縮画像の反射率成分の強調量であるディティール強調量を設定する。つまり、このディティール強調量は、HDR圧縮画像のディティール成分を過度に強調するゲインである。制御部３１４は、そのディティール強調量をディティール生成部３１５に供給する（矢印３３７）。
【００９７】
ディティール生成部３１５は、輝度成分抽出部３１１から供給される適正露出画像の輝度成分と、照明分離フィルタ３１２から供給される適正露出画像の輝度成分の照明成分とを用いて、適正露出画像の輝度成分の反射率成分を抽出する。つまり、ディティール生成部３１５は、反射率成分抽出部１１２と同様に動作し、輝度成分から照明成分を減算若しくは除算することにより反射率成分を抽出する。
【００９８】
さらに、ディティール生成部３１５は、抽出した反射率成分を、制御部３１４から供給されるディティール強調量で強調し、強調されたディティール成分を生成する。ディティール生成部３１５は、その強調されたディティール成分をディティール強調部３１６に供給する（矢印３３８）。
【００９９】
ディティール強調部３１６は、ディティール生成部３１５から供給されたディティール成分を乗算することにより、HDR圧縮処理部３１３から供給されたHDR圧縮画像のディティールを過度に強調し、絵画調の視覚的効果を付与する。ディティール強調部３１６は、ディティールが強調されたHDR圧縮画像（絵画調HDR圧縮画像）を出力する（矢印３３９）。
【０１００】
ディティール強調部３１６から出力される絵画調HDR画像データは、さらに、ビット数を圧縮する等してもよい。
【０１０１】
以上のように、絵画調処理部３２２のディティール強調部３１６が、ディティールの見えが実物よりも強調されて見える程、HDR圧縮画像の反射率成分のみを過度に増幅する（ディティールを過度に強調する）だけで、画像処理装置３００は、容易に、露出条件が互いに異なる複数の画像を、白飛びや黒つぶれ等の画質劣化が生じないように合成し、適切な階調レンジの画像を生成するとともに、画像に対して、絵画風の視覚的効果を付与することができる。つまり、画像処理装置３００は、より多様な効果を画像に付与することができる。
【０１０２】
第１の実施の形態や第２の実施の形態の増幅率の場合と同様に、ディティール強調量の値は任意であるが、例えば、２倍、４倍、８倍のように、一般的に、ディティール強調量を大きくするほど、ディティールがより強く強調され、画像に与える絵画風の視覚的効果を強くすることができる。
【０１０３】
例えば、制御部３１４は、画像に対してより強い絵画風の視覚的効果を与える場合、このディティール強調量を大きな値（例えば、１より十分に大きな値）に設定する。また、画像に対して絵画風の視覚的効果を強く与えたくない場合、制御部３１４は、ディティール強調量を小さな値（例えば１に近い値）に設定する。つまり、制御部３１４は、このディティール強調量の大きさを制御することにより、HDR圧縮処理を、被写体に忠実に行うのか、それとも絵画調の視覚的効果を付与するように行うのかを制御することができる。
【０１０４】
なお、第１の実施の形態や第２の実施の形態の増幅率の場合と同様に、ディティール強調量も、図２に示されるように輝度に応じた値とするようにしてもよい。図２に示される曲線１４１は、ディティールゲインの輝度変調特性の例を示す。このように照明成分の輝度によって強調量を変えることにより、ディティール強調部３１６は、ディティールとして認識される必要な帯域のみを増幅することができる。つまり、ディティールで無い低域な成分や、本来不要なノイズ成分を多く含む高域な成分の増幅を抑制することができる。これにより、画像処理装置３００は、画像の視覚的な劣化を抑制することができる。
【０１０５】
さらに、この場合も第１の実施の形態や第２の実施の形態の場合と同様に、画像の一部の領域のみ、ディティール成分が増幅されるようにしてもよいし、画像内の位置に応じたディティール強調量が設定されるようにしてもよい。
【０１０６】
また、以上においては、輝度成分抽出部３１１が適正露出画像から輝度成分を抽出するように説明したが、これに限らず、輝度成分抽出部３１１が、露出アンダー画像や露出オーバー画像から輝度成分を抽出するようにしてもよい。
【０１０７】
［ディティール生成部］
図８は、ディティール生成部３１５の主な構成例を示すブロック図である。図８に示されるように、ディティール生成部３１５は、除算部３５１、減算部３５２、乗算部３５３、および加算部３５４を有する。
【０１０８】
除算部３５１は、輝度成分抽出部３１１から供給される輝度成分（矢印３３４）を、照明分離フィルタ３１２から供給される照明成分（矢印３３５）で除算することにより、ディティール成分を抽出する。除算部３５１は、抽出したディティール成分を乗算部３５３に供給する（矢印３６１）。
【０１０９】
減算部３５２は、標準となるディティールゲインが自動でかかる分を補正するために、制御部３１４から供給されるディティール強調量から値「１」を減算する。減算部３５２は、値「１」を減算したディティール強調量を乗算部３５３に供給する（矢印３６２）。
【０１１０】
乗算部３５３は、除算部３５１から供給されるディティール成分と、減算部３５２から供給されるディティール強調量とを乗算し、その乗算結果を加算部３５４に供給する（矢印３６３）。
【０１１１】
加算部３５４は、乗算部３５３から供給される、ディティール成分と値「１」が減算されたディティール強調量との乗算結果に、制御部３１４から供給されるディティール強調量（矢印３３７）を加算する。加算部３５４は、その加算結果、すなわち、過度に強調されたディティール成分をディティール強調部３１６に供給する（矢印３３８）。
【０１１２】
なお、メモリ削減などの理由で、平滑化フィルタ処理の出力時に信号精度の丸め処理がある場合、丸め処理の前の信号（輝度成分および照明成分）から、ディティール成分が抽出されるようにするのが望ましい。これは、ディティール成分の計算では演算精度が重要なためである。
【０１１３】
［画像処理の流れ］
図９のフローチャートを参照して、この場合の画像処理の流れの例を説明する。
【０１１４】
ステップＳ３０１において、制御部３１４は、HDR圧縮処理を行う画像に対して絵画調効果を与えるか否かを判定する。絵画調効果を与えると判定した場合、制御部３１４は、処理をステップＳ３０２に進め、ディティール成分を過度に増幅するように、ディティール強調量に大きな値（１より十分に大きな値）を設定する。
【０１１５】
また、ステップＳ３０１において、画像に絵画調効果を与えないと判定した場合、制御部３１４は、処理をステップＳ３０３に進め、ディティール強調量に小さな値（１に近い値）を設定する。
【０１１６】
ステップＳ３０２またはステップＳ３０３においてディティール強調量を設定すると、制御部３１４は、処理をステップＳ３０４に進める。
【０１１７】
ステップＳ３０４において、輝度成分抽出部３１１は、例えば適正露出画像から輝度成分を抽出する。ステップＳ３０５において、照明分離フィルタ３１２は、ステップＳ３０４において抽出された輝度成分から照明成分を抽出する。
【０１１８】
ステップＳ３０６において、ディティール生成部３１５の除算部３５１は、ステップＳ３０４において抽出された輝度成分を、ステップＳ３０５において抽出された照明成分で除算し、ディティール成分を抽出する。
【０１１９】
ステップＳ３０７において、HDR圧縮処理部３１３は、例えば変換テーブルを用いて、ステップＳ３０５において抽出された照明成分から合成係数を生成する。ステップＳ３０８において、HDR圧縮処理部３１３は、ステップＳ３０７において生成された合成係数を用いて、露出アンダー画像、適正露出画像、および露出オーバー画像の各画像を重み付けして、白飛びや黒つぶれ等の画質劣化が生じないように合成し、適切な階調レンジのHDR圧縮画像を生成する。
【０１２０】
ステップＳ３０９において、ディティール生成部３１５の減算部３５２は、ステップＳ３０２若しくはステップＳ３０３において設定されたディティール強調量から値「１」を減算する。
【０１２１】
ステップＳ３１０において、ディティール生成部３１５の乗算部３５３は、ステップＳ３０６において算出されたディティール成分に、ステップＳ３０９において算出された減算結果を乗算する。
【０１２２】
ステップＳ３１１において、ディティール生成部３１５の加算部３５４は、ステップＳ３１０において算出された乗算結果に、ステップＳ３０２若しくはステップＳ３０３において設定されたディティール強調量を加算する。
【０１２３】
ステップＳ３１２において、ディティール強調部３１６は、ステップＳ３１１において算出された加算結果を乗算することにより、ステップＳ３０８において生成されたHDR圧縮画像のディティールを強調する。このようにディティールが強調されたHDR画像は、画像処理装置３００の外部に出力するようにしてもよいし、画像処理装置３００が有する記憶部（図示せず）に記憶するようにしてもよい。
【０１２４】
以上のように画像処理を行うことにより、画像処理装置３００は、容易に、露出条件が互いに異なる複数の画像を、白飛びや黒つぶれ等の画質劣化が生じないように合成し、適切な階調レンジの画像を生成するとともに、画像に対して、絵画風の視覚的効果を付与することができる。つまり、画像処理装置３００は、より多様な効果を画像に付与することができる。
【０１２５】
＜４．第４の実施の形態＞
［撮像装置］
以上に説明した画像処理装置は、画像処理部として他の装置の一部として構成されるようにしてもよい。例えば、被写体を撮像し、その撮像画像の画像データを生成する撮像装置として構成されるようにしてもよい。
【０１２６】
図１０は、撮像装置の主な構成例を示すブロック図である。図１０に示される撮像装置４００は、被写体を撮像し、その被写体の画像をデータ化して出力する装置である。この撮像装置４００は、図１に示される画像処理装置１００、図５に示される画像処理装置２００、若しくは、図７に示される画像処理装置３００を、画像処理部として有する。
【０１２７】
光学ブロック４１１は、被写体からの光を撮像素子４１２に集光するためのレンズ、レンズを移動させてフォーカス合わせやズーミングを行うための駆動機構（いずれも図示せず）、絞り４１１ａ、シャッタ４１１ｂなどを有している。光学ブロック４１１内のこれらの駆動機構は、マイクロコンピュータ４２０からの制御信号に応じて駆動される。撮像素子４１２は、例えば、CCD（Charge Coupled Device）型、CMOS（Complementary Metal OxideSemiconductor）型などの撮像素子であり、被写体からの入射光を電気信号に変換する。
【０１２８】
A/D変換部（A/D）４１３は、撮像素子４１２から出力された画像信号をデジタルデータに変換する。ISO（International Organization for Standardization）ゲイン調整部４１４は、マイクロコンピュータ４２０からのゲイン制御値に応じて、A/D変換部４１３からの画像データのRGB（Red，Green，Blue）各成分に対して一様のゲインをかける。なお、ISOゲインの調整は、A/D変換部４１３に入力される前のアナログ画像信号の段階で行われるようにしてもよい。
【０１２９】
バッファメモリ４１５は、互いに異なる露出で撮像を複数回行うブラケット撮像により得られた複数枚の画像のデータを一時的に記憶する。合成処理部４１６は、ブラケット撮像時に適用した露出補正値をマイクロコンピュータ４２０から受け、この露出補正値に基づいて、バッファメモリ４１５内の複数枚の画像を１枚の画像に合成する。
【０１３０】
現像処理部４１７は、主に、合成処理部４１６から出力されるRAW（生）画像データを、可視画像のデータに変換する、いわゆるRAW現像処理を実行するブロックである。この現像処理部４１７は、RAW画像データに対して、データ補間（デモザイク）処理、各種色調整・変換処理（ホワイトバランス調整処理、高輝度ニー圧縮処理、ガンマ補正処理、アパーチャ補正処理、クリッピング処理など）、所定の符号化方式（ここでは、JPEG（Joint Photographic Experts Group）方式を適用する）に従った画像圧縮符号化処理などを実行する。
【０１３１】
なお、A/D変換部４１３から出力されるRAW画像データのビット数は、例えば１２ビットであり、現像処理部４１７は、この１２ビットデータを処理できる仕様となっている。また、現像処理部４１７は、現像処理の過程において、例えば高輝度ニー圧縮処理（あるいは下位ビットの切り捨てなどでもよい）によって、１２ビットデータを８ビットデータにビット圧縮し、この８ビットデータに対して圧縮符号化処理を施す。また、この８ビットデータを表示部４１９に対して出力する。
【０１３２】
記録部４１８は、撮像により得られた画像データをデータファイルとして保存するための装置であり、例えば、可搬型のフラッシュメモリ、HDD（Hard Disk Drive）などとして実現される。なお、記録部４１８は、現像処理部４１７によって符号化されたJPEGデータ４３１の他に、合成処理部４１６から出力されるRAW画像データ４３２をデータファイルとして記録することができる。また、記録部４１８に記録されたRAW画像データを読み出して、現像処理部４１７で処理し、記録部４１８にJPEGデータファイルとして新たに記録することができるようにしてもよい。
【０１３３】
表示部４１９は、例えばLCD（Liquid Crystal Display）などからなるモニタを備えている。表示部４１９は、現像処理部４１７において処理された非圧縮状態の画像データを基に、モニタ表示用の画像信号を生成してモニタに供給する。撮像画像の記録前のプレビュー状態では、撮像素子４１２からは連続的に撮像画像信号が出力され、デジタル変換された後、そのデジタル画像データがISOゲイン調整部４１４および合成処理部４１６を介して現像処理部４１７に供給されて、現像処理（ただし、符号化処理を除く）が施される。表示部４１９は、このとき現像処理部４１７から順次出力される画像（プレビュー画像）をモニタに表示し、ユーザはこのプレビュー画像を視認して画角を確認することができる。
【０１３４】
マイクロコンピュータ４２０は、CPU（Central Processing Unit）、ROM（Read Only Memory）、およびRAM（Random Access Memory）などを備え、ROMに記憶されたプログラムを実行することで、この撮像装置４００全体を統括的に制御する。例えば、本実施の形態では、検波部４２２からの検波結果を基に露出補正値を計算し、その値に応じた制御信号を出力して絞り４１１ａやシャッタ４１１ｂを制御することで、AE（自動露出）制御を実現する。また、後述する広ダイナミックレンジ撮像を行う際には、算出した露出補正値を合成処理部４１６に通知する。
【０１３５】
LPF（Low-Pass Filter）４２１は、ISOゲイン調整部４１４から出力された画像データに対して、必要に応じてローパスフィルタ処理を施す。検波部４２２は、ISOゲイン調整部４１４からLPF４２１を通じて供給された画像データを基に各種の検波を行うブロックであり、本実施の形態では、例えば、画像を所定の測光領域に分割し、測光領域ごとに輝度値を検出する。
【０１３６】
以上のような撮像装置４００において、現像処理部４１７の一部または全部として、図１の画像処理装置１００、若しくは図５の画像処理装置２００と同様の構成を有し、同様の処理を行う画像処理部が設けられるようにしてもよい。
【０１３７】
このようにすることにより、現像処理部４１７は、容易に、画像データの階調レンジを圧縮するとともに、画像に対して、絵画風の視覚的効果を付与することができる。
【０１３８】
つまり、撮像装置４００は、容易に、ブラケット撮像により得られた複数の画像が合成され、さらに、絵画風の視覚的効果が付与された画像を得ることが出来、その画像を、表示部４１９に表示したり、JPEGデータ４３１として記録部４１８に記録したりすることができる。つまり、撮像装置４００は、より多様な効果を画像に付与することができる。
【０１３９】
なお、記録部４１８が記録する画像データの符号化方式は任意である。記録部４１８が、JPEG以外の符号化方式で符号化された画像データを記憶するようにしてもよい。
【０１４０】
また、合成処理部４１６と現像処理部４１７の一部または全部として、図７の画像処理装置３００と同様の構成を有し、同様の処理を行う画像処理部が設けられるようにしてもよい。
【０１４１】
このようにすることにより、合成処理部４１６および現像処理部４１７は、容易に、露出条件が互いに異なる複数の画像を、白飛びや黒つぶれ等の画質劣化が生じないように合成し、適切な階調レンジの画像を生成するとともに、画像に対して、絵画風の視覚的効果を付与することができる。
【０１４２】
＜５．第５の実施の形態＞
［パーソナルコンピュータ］
上述した一連の処理は、ハードウエアにより実行させることもできるし、ソフトウエアにより実行させることもできる。この場合、例えば、図１１に示されるようなパーソナルコンピュータとして構成されるようにしてもよい。
【０１４３】
図１１において、パーソナルコンピュータ５００のCPU（Central Processing Unit）５０１は、ROM（Read Only Memory）５０２に記憶されているプログラム、または記憶部５１３からRAM（Random Access Memory）５０３にロードされたプログラムに従って各種の処理を実行する。RAM５０３にはまた、CPU５０１が各種の処理を実行する上において必要なデータなども適宜記憶される。
【０１４４】
CPU５０１、ROM５０２、およびRAM５０３は、バス５０４を介して相互に接続されている。このバス５０４にはまた、入出力インタフェース５１０も接続されている。
【０１４５】
入出力インタフェース５１０には、キーボード、マウスなどよりなる入力部５１１、CRT（Cathode Ray Tube）やLCD（Liquid Crystal Display）などよりなるディスプレイ、並びにスピーカなどよりなる出力部５１２、ハードディスクなどより構成される記憶部５１３、モデムなどより構成される通信部５１４が接続されている。通信部５１４は、インターネットを含むネットワークを介しての通信処理を行う。
【０１４６】
入出力インタフェース５１０にはまた、必要に応じてドライブ５１５が接続され、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア５２１が適宜装着され、それらから読み出されたコンピュータプログラムが、必要に応じて記憶部５１３にインストールされる。
【０１４７】
上述した一連の処理をソフトウエアにより実行させる場合には、そのソフトウエアを構成するプログラムが、ネットワークや記録媒体からインストールされる。
【０１４８】
この記録媒体は、例えば、図１１に示されるように、装置本体とは別に、ユーザにプログラムを配信するために配布される、プログラムが記録されている磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM（Compact Disc - Read Only Memory）,DVD（Digital Versatile Disc）を含む）、光磁気ディスク（MD（Mini Disc）を含む）、若しくは半導体メモリなどよりなるリムーバブルメディア５２１により構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに配信される、プログラムが記録されているROM５０２や、記憶部５１３に含まれるハードディスクなどで構成される。
【０１４９】
なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
【０１５０】
また、本明細書において、記録媒体に記録されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
【０１５１】
また、本明細書において、システムとは、複数のデバイス（装置）により構成される装置全体を表すものである。
【０１５２】
また、以上において、１つの装置（または処理部）として説明した構成を分割し、複数の装置（または処理部）として構成するようにしてもよい。逆に、以上において複数の装置（または処理部）として説明した構成をまとめて１つの装置（または処理部）として構成されるようにしてもよい。また、各装置（または各処理部）の構成に上述した以外の構成を付加するようにしてももちろんよい。さらに、システム全体としての構成や動作が実質的に同じであれば、ある装置（または処理部）の構成の一部を他の装置（または他の処理部）の構成に含めるようにしてもよい。つまり、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
【０１５３】
なお、本技術は以下のような構成も取ることができる。
（１） 画像の反射率成分を増幅する増幅率を、前記画像に絵画調の視覚的効果を付与する程大きな値にするかを制御する制御部と、
前記画像を照明成分と反射率成分とに分離する分離部と、
前記分離部により分離された前記反射率成分を、前記制御部により制御される増幅率で増幅する増幅部と、
前記分離部により分離された前記照明成分と、前記増幅部により増幅された前記反射率成分とを合成する合成部と
を備える画像処理装置。
（２） 前記分離部により分離された前記照明成分の階調を圧縮する階調圧縮部をさらに備え、
前記分離部は、階調レンジが広い画像を照明成分と反射率成分とに分離し、
前記合成部は、前記階調圧縮部により階調が圧縮された前記照明成分と、前記増幅部により増幅された前記反射率成分とを合成することにより、階調レンジが適正化された画像を生成する
前記（１）に記載の画像処理装置。
（３） 前記階調圧縮部による階調圧縮に対応して、前記分離部により分離された前記反射率成分の階調を伸張する階調伸張部をさらに備え、
前記増幅部は、前記階調伸張部により階調が伸張された前記反射率成分を、前記制御部により制御される増幅率で増幅する
前記（２）に記載の画像処理装置。
（４） 前記分離部により分離された前記反射率成分の階調を伸張するための、前記階調圧縮部による階調圧縮に対応する増幅率と、前記制御部により制御される増幅率とを合成し、合成ゲインを生成するゲイン合成部をさらに備え、
前記増幅部は、前記分離部により分離された前記反射率成分を、前記ゲイン合成部により生成される合成ゲインで増幅する
前記（２）に記載の画像処理装置。
（５） 露出条件が互いに異なる複数の画像を、前記分離部により分離された前記照明成分を用いて重み付けして合成し、白飛びや黒つぶれ等の画質劣化が生じないように合成し、適切な階調レンジの画像を生成する画像生成部をさらに備え、
前記合成部は、前記分離部により分離された前記照明成分の代わりに、前記画像生成部により生成された前記画像を、前記増幅部により増幅された前記反射率成分と合成する
前記（１）に記載の画像処理装置。
（６） 前記制御部は、前記画像に対して絵画調の視覚的効果を付与する場合、前記増幅率を大きな値にし、前記画像に対して絵画調の視覚的効果を付与しない場合、前記増幅率を小さな値にする
前記（１）乃至（５）のいずれかに記載の画像処理装置。
（７） 前記制御部は、前記増幅率として画素の輝度値に応じた値を設定する
前記（１）乃至（６）のいずれかに記載の画像処理装置。
（８） 前記制御部は、前記増幅率として領域に応じた値を設定する
前記（１）乃至（７）のいずれかに記載の画像処理装置。
（９） 前記分離部は、エッジ保存平滑化フィルタを用いて、前記画像を照明成分と反射率成分とに分離する
前記（１）乃至（８）のいずれかに記載の画像処理装置。
（１０） 前記分離部は、
前記画像から照明成分を抽出する照明成分抽出部と、
前記画像と、前記照明成分抽出部により抽出された前記照明成分とを用いて、前記反射率成分を抽出する反射率成分抽出部と
を備える前記（１）乃至（９）のいずれかに記載の画像処理装置。
（１１） 前記分離部は、
前記画像から輝度成分を抽出する輝度成分抽出部をさらに備え、
前記照明成分抽出部は、前記輝度成分抽出部により抽出された前記輝度成分から前記照明成分を抽出し、
前記反射率成分抽出部は、前記輝度成分抽出部により抽出された前記輝度成分と、前記照明成分抽出部により抽出された前記照明成分とを用いて、前記反射率成分を抽出する
前記（１０）に記載の画像処理装置。
（１２） 前記照明成分抽出部は、抽出した前記照明成分を丸め処理し、
前記反射率成分抽出部は、前記画像と、前記照明成分抽出部により抽出された、丸め処理される前の前記照明成分とを用いて、前記反射率成分を抽出する
前記（１０）または（１１）に記載の画像処理装置。
（１３） 画像処理装置の画像処理方法であって、
前記画像処理装置の制御部が、画像の反射率成分を増幅する増幅率を、前記画像に絵画調の視覚的効果を付与する程大きな値にするかを制御し、
前記画像処理装置の分離部が、前記画像を照明成分と反射率成分とに分離し、
前記画像処理装置の増幅部が、前記分離部により分離された前記反射率成分を、前記制御部により制御される増幅率で増幅し、
前記画像処理装置の合成部が、前記分離部により分離された前記照明成分と、前記増幅部により増幅された前記反射率成分とを合成する
画像処理方法。
【符号の説明】
【０１５４】
１００ 画像処理装置， １１１ 照明成分抽出部， １１２ 反射率成分抽出部， １１３ 階調レンジ圧縮部， １１４ 階調レンジ伸張部， １１５ 制御部， １１６ 増幅部， １１７ 合成部， １２１ HDR処理部， １２２ 絵画調処理部， ２００ 画像処理装置， ２１１ 階調レンジ伸張用ゲイン設定部， ２１２ ゲイン合成部， ２２１ HDR処理部， ２２２ 絵画調処理部， ３００ 画像処理装置， ３１１ 輝度成分抽出部， ３１２ 照明分離フィルタ， ３１３ HDR圧縮処理部， ３１４ 制御部， ３１５ ディティール生成部， ３１６ ディティール強調部， ３２１ HDR処理部， ３２２ 絵画調処理部， ３５１ 除算部， ３５２ 減算部， ３５３ 乗算部， ３５４ 加算部， ４００ 撮像装置， ４１６ 合成処理部， ４１７ 現像処理部
【技術分野】
【０００１】
本開示は、画像処理装置および方法に関し、特に、より多様な効果を画像に付与することができるようにした画像処理装置および方法に関する。
【背景技術】
【０００２】
従来、ダイナミックレンジの広い画像の階調の範囲を圧縮し、適正化するHDR（High Dynamic Range）圧縮処理が考えられている（例えば、特許文献１参照）。
【０００３】
例えば、特許文献１においては、露出の異なる複数の画像からダイナミックレンジの広い画像を作り、つぎに平滑化フィルタを使って画像を低周波成分と高周波成分（ディティール成分）に分解し、低周波成分の階調の範囲を圧縮し、その圧縮量に対応する分だけディティール成分を強調して、最後に処理後の両成分を合成して、通常レンジの画像を得る方法が記載されている。
【０００４】
また、ダイナミックレンジの広い画像の合成を経由せずに、複数の画像から通常レンジの画像を作る方法も記載されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００８−１０４０１０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、近年においては、単に階調の範囲を圧縮するだけでなく、HDR圧縮処理された画像に他の効果を付与することが求められている。
【０００７】
本開示は、このような状況に鑑みてなされたものであり、画像の階調を処理するとともに、その画像に対して他の視覚的効果を付与する処理も行うことにより、より多様な効果を画像に付与することができるようにすることを目的とする。
【課題を解決するための手段】
【０００８】
本開示の一側面は、画像の反射率成分を増幅する増幅率を、前記画像に絵画調の視覚的効果を付与する程大きな値にするかを制御する制御部と、前記画像を照明成分と反射率成分とに分離する分離部と、前記分離部により分離された前記反射率成分を、前記制御部により制御される増幅率で増幅する増幅部と、前記分離部により分離された前記照明成分と、前記増幅部により増幅された前記反射率成分とを合成する合成部とを備える画像処理装置である。
【０００９】
前記分離部により分離された前記照明成分の階調を圧縮する階調圧縮部をさらに備え、前記分離部は、階調レンジが広い画像を照明成分と反射率成分とに分離し、前記合成部は、前記階調圧縮部により階調が圧縮された前記照明成分と、前記増幅部により増幅された前記反射率成分とを合成することにより、階調レンジが適正化された画像を生成することができる。
【００１０】
前記階調圧縮部による階調圧縮に対応して、前記分離部により分離された前記反射率成分の階調を伸張する階調伸張部をさらに備え、前記増幅部は、前記階調伸張部により階調が伸張された前記反射率成分を、前記制御部により制御される増幅率で増幅することができる。
【００１１】
前記分離部により分離された前記反射率成分の階調を伸張するための、前記階調圧縮部による階調圧縮に対応する増幅率と、前記制御部により制御される増幅率とを合成し、合成ゲインを生成するゲイン合成部をさらに備え、前記増幅部は、前記分離部により分離された前記反射率成分を、前記ゲイン合成部により生成される合成ゲインで増幅することができる。
【００１２】
露出条件が互いに異なる複数の画像を、前記分離部により分離された前記照明成分を用いて重み付けして合成し、白飛びや黒つぶれ等の画質劣化が生じないように合成し、適切な階調レンジの画像を生成する画像生成部をさらに備え、前記合成部は、前記分離部により分離された前記照明成分の代わりに、前記画像生成部により生成された前記画像を、前記増幅部により増幅された前記反射率成分と合成することができる。
【００１３】
前記制御部は、前記画像に対して絵画調の視覚的効果を付与する場合、前記増幅率を大きな値にし、前記画像に対して絵画調の視覚的効果を付与しない場合、前記増幅率を小さな値にすることができる。
【００１４】
前記制御部は、前記増幅率として画素の輝度値に応じた値を設定することができる。ここでの輝度値には、前記照明成分の画素値を使ってもよい。
【００１５】
前記制御部は、前記増幅率として領域に応じた値を設定することができる。
【００１６】
前記分離部は、エッジ保存平滑化フィルタを用いて、前記画像を照明成分と反射率成分とに分離することができる。
【００１７】
前記分離部は、前記画像から照明成分を抽出する照明成分抽出部と、前記画像と、前記照明成分抽出部により抽出された前記照明成分とを用いて、前記反射率成分を抽出する反射率成分抽出部とを備えることができる。
【００１８】
前記分離部は、前記画像から輝度成分を抽出する輝度成分抽出部をさらに備え、前記照明成分抽出部は、前記輝度成分抽出部により抽出された前記輝度成分から前記照明成分を抽出し、前記反射率成分抽出部は、前記輝度成分抽出部により抽出された前記輝度成分と、前記照明成分抽出部により抽出された前記照明成分とを用いて、前記反射率成分を抽出することができる。
【００１９】
前記照明成分抽出部は、抽出した前記照明成分を丸め処理し、前記反射率成分抽出部は、前記画像と、前記照明成分抽出部により抽出された、丸め処理される前の前記照明成分とを用いて、前記反射率成分を抽出することができる。
【００２０】
本開示の一側面は、また、画像処理装置の画像処理方法であって、前記画像処理装置の制御部が、画像の反射率成分を増幅する増幅率を、前記画像に絵画調の視覚的効果を付与する程大きな値にするかを制御し、前記画像処理装置の分離部が、前記画像を照明成分と反射率成分とに分離し、前記画像処理装置の増幅部が、前記分離部により分離された前記反射率成分を、前記制御部により制御される増幅率で増幅し、前記画像処理装置の合成部が、前記分離部により分離された前記照明成分と、前記増幅部により増幅された前記反射率成分とを合成する画像処理方法である。
【００２１】
本開示の一側面においては、画像の反射率成分を増幅する増幅率を、画像に絵画調の視覚的効果を付与する程大きな値にするかが制御され、画像が照明成分と反射率成分とに分離され、分離された反射率成分が、制御された増幅率で増幅され、分離された照明成分と、増幅された反射率成分とが合成される。
【発明の効果】
【００２２】
本開示によれば、画像を処理することができる。特に、より多様な効果を画像に付与することができる。
【図面の簡単な説明】
【００２３】
【図１】画像の階調を処理する画像処理装置の主な構成例を示すブロック図である。
【図２】ディティールゲインの輝度変調特性の例を示す図である。
【図３】画像処理の流れの例を説明するフローチャートである。
【図４】画像処理の流れの、他の例を説明するフローチャートである。
【図５】画像処理装置の他の構成例を示すブロック図である。
【図６】画像処理の流れの、さらに他の例を説明するフローチャートである。
【図７】画像処理装置の、さらに他の構成例を示すブロック図である。
【図８】ディティール生成部の主な構成例を示すブロック図である。
【図９】画像処理の流れの、さらに他の例を説明するフローチャートである。
【図１０】撮像装置の主な構成例を示すブロック図である。
【図１１】パーソナルコンピュータの主な構成例を示すブロック図である。
【発明を実施するための形態】
【００２４】
以下、本技術を実施するための形態（以下実施の形態とする）について説明する。なお、説明は以下の順序で行う。
１．第１の実施の形態（画像処理装置）
２．第２の実施の形態（画像処理装置）
３．第３の実施の形態（画像処理装置）
４．第４の実施の形態（撮像装置）
５．第５の実施の形態（パーソナルコンピュータ）
【００２５】
＜１．第１の実施の形態＞
［画像処理装置］
図１は、画像処理装置の一実施の形態の構成を表している。
【００２６】
図１に示される画像処理装置１００は、入力される画像データの階調を圧縮するとともに、その画像に対して絵画調の視覚的効果を付与する画像処理を行う装置である。階調レンジの広いHDR（High Dynamic Range）画像データが入力され、上述した画像処理により、階調レンジが適正化された（狭くなった）、絵画調の視覚的効果が付与された絵画調HDR画像データが出力される。
【００２７】
図１に示されるように、画像処理装置１００は、照明成分抽出部１１１、反射率成分抽出部１１２、階調レンジ圧縮部１１３、階調レンジ伸張部１１４、制御部１１５、増幅部１１６、および合成部１１７を有する。
【００２８】
これらの構成の内、照明成分抽出部１１１、反射率成分抽出部１１２、階調レンジ圧縮部１１３、階調レンジ伸張部１１４、および合成部１１７が、階調を圧縮するHDR処理を行うHDR処理部１２１を構成する。また、制御部１１５および増幅部１１６が、画像に絵画調の視覚的効果を付与する絵画調処理を行う絵画調処理部１２２を構成する。
【００２９】
入力されたHDR画像データ（階調レンジが通常よりも広い画像）は、照明成分抽出部１１１および反射率成分抽出部１１２に供給される（矢印１３１）。
【００３０】
照明成分抽出部１１１は、入力されたHDR画像データに対してローパスフィルタ処理を施すことにより、照明成分（低周波成分とも称する）を抽出する。なお、この照明成分の抽出のためには、エッジ成分が残存するように高域カット処理する非線形のローパスフィルタ（例えば、特許文献１に記載のフィルタやバイラテラルフィルタ）を用いることが望ましい。また、同様なローパスフィルタ処理としては、非線形ローパスフィルタの他に、統計的な手法（例えば、最頻値フィルタや中央値フィルタ）を用いることもできる。照明成分抽出部１１１は、抽出した照明成分を階調レンジ圧縮部１１３に供給する（矢印１３２）。
【００３１】
階調レンジ圧縮部１１３は、入力された照明成分のみの画像データの各画素の輝度値を、例えば入出力レベルの対応を示すルックアップテーブル（LUT）に従って変換し、階調レンジを圧縮する。例えば、照明成分の低輝度側の領域に対してはゲインを１より大きくして増幅し、高輝度側の領域に対してはゲインを１未満としてレベルを低減する。階調レンジ圧縮部１１３は、階調レンジを圧縮した照明成分を合成部１１７に供給する（矢印１３５）。
【００３２】
照明成分抽出部１１１は、抽出した照明成分を反射率成分抽出部１１２にも供給する（矢印１３３）。反射率成分抽出部１１２は、その照明成分を用いて、入力されたHDR画像データから反射率成分（高周波成分、ディティール成分とも称する）を抽出する。例えば、反射率成分抽出部１１２は、入力されたHDR画像のデータから、照明成分抽出部１１１から供給された照明成分のデータを減算することで、反射率成分を求める。また、反射率成分抽出部１１２は、例えば、入力されたHDR画像のデータから照明成分のデータを除算することで、反射率成分を求めるようにしてもよい。反射率成分抽出部１１２は、抽出した反射率成分を階調レンジ伸張部１１４に供給する（矢印１３４）。
【００３３】
階調レンジ伸張部１１４は、抽出された反射率成分の輝度値を、例えば入出力レベルの対応を示すLUTなどに従って画素ごとに変換し、階調レンジを伸張させる。つまり、階調レンジ伸張部１１４は、反射率成分を増幅する。階調レンジ伸張部１１４は、階調を伸張させた反射率成分を増幅部１１６に供給する（矢印１３６）。
【００３４】
制御部１１５は、増幅部１１６において使用される増幅率であるディティールゲインを設定する（矢印１３７）。例えば、制御部１１５は、記憶部を有し、予め設定されたディティールゲインを記憶し、それを増幅部１１６に供給する。また、例えば、制御部１１５は、入力部を有し、外部より入力されるディティールゲインを増幅部１１６に供給するようにしてもよい。さらに例えば、制御部１１５は、ユーザの指示を受け付ける受付部を有し、ユーザにより設定されるディティールゲインを増幅部１１６に供給するようにしてもよい。また、制御部１１５は、演算部を有し、外部やユーザ等より入力される情報に基づいてディティールゲインを算出し、それを増幅部１１６に供給するようにしてもよい。
【００３５】
増幅部１１６は、階調レンジ伸張部１１４から供給される反射率成分（ディティール成分）を、制御部１１５により設定されたディティールゲイン（増幅率）で増幅する。ここで増幅部１１６が、過度に反射率成分を強調することにより、ディティールの見えが実物よりも強調されて質感が豊富になり、画像に絵画風の特殊効果を与えることができる。増幅部１１６は、増幅した反射率成分を合成部１１７に供給する（矢印１３８）。
【００３６】
合成部１１７は、階調レンジ圧縮部１１３および増幅部１１６からそれぞれ出力された画像データを画素ごとに合成し、全体として階調レンジが圧縮された、絵画調のHDR画像データ（絵画調HDR画像データ）を出力する（矢印１３９）。例えば、反射率成分抽出部１１２において、入力画像データから照明成分のデータを減算することで反射率成分のデータが求められた場合、合成部１１７は、階調レンジ圧縮部１１３および増幅部１１６から出力された各画像データを加算することで合成処理を行う。また、反射率成分抽出部１１２において、入力画像データから照明成分のデータを除算することで反射率成分のデータが求められた場合、合成部１１７は、階調レンジ圧縮部１１３および増幅部１１６から出力された各画像データを乗算することで合成処理を行う。
【００３７】
合成部１１７から出力される絵画調HDR画像データは、さらに、ビット数を圧縮する等してもよい。
【００３８】
以上のように、絵画調処理部１２２の増幅部１１６が、ディティールの見えが実物よりも強調されて見える程、反射率成分のみを過度に増幅する（ディティールを過度に強調する）だけで、画像処理装置１００は、容易に、画像データの階調レンジを圧縮するとともに、画像に対して、絵画風の視覚的効果を付与することができる。つまり、画像処理装置１００は、より多様な効果を画像に付与することができる。
【００３９】
なお、階調レンジを圧縮する処理と、絵画風の視覚効果を付与する処理とを分離して、それぞれでディティール成分を抽出するように実装をすると、一方の処理が他方の処理に影響を与えてしまい、意図通りの効果が得られなくなる。具体的には、照明成分が正しく求められなくなることで、画質が劣化する。また、照明成分を使う代わりに、線形のハイパスフィルタで抽出した成分を増幅する等して絵画風の視覚的効果を付与するようにするとエッジの周辺の低周波成分も強調されることにより視覚的に画質の劣化が大きくなってしまう。画像処理装置１００は、ディティールの見えが実物よりも強調されることにより質感が豊富になることを利用し、階調レンジを圧縮する際に抽出された反射率成分のみを過度に増幅することにより、視覚的な画質の劣化を抑制しながら、容易に、画像に絵画風の特殊効果を与えることができる。
【００４０】
増幅部１１６が用いる増幅率の値は任意であるが、例えば、２倍、４倍、８倍のように、一般的に、増幅率を大きくするほど、ディティールがより強く強調され、画像に与える絵画風の視覚的効果を強くすることができる。
【００４１】
制御部１１５は、画像に対してより強い絵画風の視覚的効果を与える場合、この増幅率を大きな値（例えば、１より十分に大きな値）に設定する。また、画像に対して絵画風の視覚的効果を強く与えたくない場合、制御部１１５は、増幅率を小さな値（例えば１に近い値）に設定する。つまり、制御部１１５は、この増幅率の大きさを制御することにより、HDR圧縮処理を、被写体に忠実に行うのか、それとも絵画調の視覚的効果を付与するように行うのかを制御することができる。
【００４２】
また、線形の平滑化フィルタ処理を用いて照明成分と反射率成分とを分離するようにすると、輪郭にHALO（輪郭部分に発生する後光状のアーチファクト）と呼ばれる現象が現れて、好ましくない画質になる（視覚的に画質が劣化する）可能性がある。そこで、照明成分抽出部１１１が用いる照明分離フィルタにはエッジ保存平滑化フィルタを用いるのが望ましい。エッジ保存平滑化フィルタとしては、例えばバイラテラルフィルタや、国際公開WO2009/072537に記載の方法等がある。
【００４３】
さらに、増幅率は、図２に示されるように輝度に応じた値とするようにしてもよい。図２に示される曲線１４１は、ディティールゲインの輝度変調特性の例を示す。このように照明成分の輝度によって増幅率を変えることにより、増幅部１１６は、ディティールとして強調したい信号のみを増幅することができる。つまり、ディティール成分に信号の飽和による偽の階調が含まれることがある高輝度の部分や、ディティール成分よりもノイズ成分の方が多く含まれる低輝度の部分の増幅を抑制することができる。これにより、画像処理装置１００は、画像の視覚的な劣化を抑制することができる。
【００４４】
なお、増幅部１１６は、画像の全ての領域について反射率成分を増幅するようにしてもよいし、画像内の一部の領域についてのみ、反射率成分を増幅するようにしてもよい。例えばピクチャインピクチャのように、複数の画像が含まれる場合、そのうち一部の画像（すなわち、一部の領域）についてのみ絵画調の視覚的効果を付与するようにすることもできる。その場合、制御部１１５が、ユーザ指示、外部からの指示、若しくは画像の解析結果等任意の情報に基づいて増幅する領域を設定し、増幅部１１６が、その設定された領域についてのみ、反射率成分を増幅するようにする。なお、この領域は予め定められていても良い。
【００４５】
つまりこの場合、合成部１１７には、画像内の一部の領域のみに絵画調の視覚的効果が付与された反射率成分が供給される。合成部１１７が、この反射率成分と照明成分とを合成することにより、一部の領域のみに絵画調の視覚的効果が付与された画像が得られる。
【００４６】
もちろん、絵画調の視覚的効果を付与するか否かの制御だけでなく、領域毎に増幅率が異なる（独立して設定される）ようにしてもよい。例えば、制御部１１５が、各領域に対応するディティールゲインを設定し、そのディティールゲイン群を増幅部１１６に供給する。増幅部１１６は、供給されたディティールゲイン群の中の、処理対象の位置に対応するディティールゲインを用いて反射率成分を増幅する。
【００４７】
［画像処理の流れ］
図３のフローチャートを参照して、画像処理の流れの例を説明する。ステップＳ１０１において、制御部１１５は、HDR圧縮処理を行う画像に対して絵画調効果を与えるか否かを判定する。絵画調効果を与えると判定した場合、制御部１１５は、処理をステップＳ１０２に進め、反射率成分を過度に増幅するように、絵画調効果用のディティールゲインに大きな値（１より十分に大きな値）を設定する。
【００４８】
また、ステップＳ１０１において、画像に絵画調効果を与えないと判定した場合、制御部１１５は、処理をステップＳ１０３に進め、絵画調効果用のディティールゲインに小さな値（１に近い値）を設定する。
【００４９】
ステップＳ１０２またはステップＳ１０３においてディティールゲインを設定すると、制御部１１５は、処理をステップＳ１０４に進める。
【００５０】
ステップＳ１０４において、照明成分抽出部１１１および反射率成分抽出部１１２は、入力された階調レンジの広いHDR画像データを照明成分と反射率成分に分離する。
【００５１】
ステップＳ１０５において、階調レンジ圧縮部１１３は、照明成分の階調レンジを圧縮する。ステップＳ１０６において、階調レンジ伸張部１１４は、反射率成分の階調レンジを伸張する。
【００５２】
ステップＳ１０７において、増幅部１１６は、ステップＳ１０２若しくはステップＳ１０３において設定された、絵画調効果用のディティールゲインを用いて、ステップＳ１０６において階調レンジを伸張された反射率成分を増幅する。
【００５３】
ステップＳ１０８において、合成部１１７は、ステップＳ１０５において階調レンジを圧縮された照明成分と、ステップＳ１０７において増幅された反射率成分とを合成し、出力画像（階調レンジが圧縮された（絵画調）HDR画像データ）を生成する。この出力画像は、画像処理装置１００の外部に出力するようにしてもよいし、画像処理装置１００が有する記憶部（図示せず）に記憶するようにしてもよい。
【００５４】
以上のように画像処理を行うことにより、画像処理装置１００は、容易に、画像データの階調レンジを圧縮するとともに、画像に対して、絵画風の視覚的効果を付与することができる。つまり、画像処理装置１００は、より多様な効果を画像に付与することができる。
【００５５】
［画像処理の他の流れ］
以上においては、制御部１１５が、絵画調効果を付与するか否かによって絵画調効果用のディティールゲインの値を切り換えるように説明したが、制御部１１５は、ディティールゲインの値を任意に設定することができるようにしてもよい。例えば、ユーザ指示に従ってディティールゲインの値を設定することができるようにしてもよい。
【００５６】
その場合の、画像処理の流れの例を図４のフローチャートを参照して説明する。この場合、ステップＳ１２１において、制御部１１５は、ユーザ指示を受け付ける。ステップＳ１２２において、制御部１１５は、ステップＳ１２１において受け付けたユーザ指示に従って、絵画調効果用のディティールゲインを設定する。
【００５７】
ステップＳ１２２の処理が終了すると、ステップＳ１２３乃至ステップＳ１２７の各処理が順次行われるが、これらの処理は、図３のステップＳ１０４乃至ステップＳ１０８の各処理と同様に行われるので、その説明を省略する。
【００５８】
このように、画像処理装置１００は、ディティールを強調する度合いを任意に設定することができる。これにより、画像処理装置１００は、画像に対して、任意の度合いで絵画調効果を付与することができる。
【００５９】
なお、ディティールゲインの値を決定する根拠は任意であり、上述したユーザ指示以外であっても良い。例えば、外部より供給される設定情報に従ってディティールゲインの値が設定されるようにしてもよいし、画像の内容に応じてディティールゲインの大きさが決定されるようにしてもよい。
【００６０】
＜２．第２の実施の形態＞
［画像処理装置］
第１の実施の形態において説明した、反射率成分に対する階調レンジの伸張（増幅）と、絵画調効果用の増幅とを１回の増幅で実現するようにしてもよい。
【００６１】
図５は、その場合の画像処理装置の主な構成例を示すブロック図である。図５に示される画像処理装置２００は、図１の画像処理装置１００と基本的に同様の装置であり、入力された画像に対して、階調レンジを圧縮するHDR処理を行うとともに、絵画調の視覚的効果を付与する絵画調処理を行う。
【００６２】
図５に示されるように画像処理装置２００は、画像処理装置１００の構成から階調レンジ伸張部１１４が省略され、階調レンジ伸張用ゲイン設定部２１１およびゲイン合成部２１２が追加される。
【００６３】
この画像処理装置２００の場合、照明成分抽出部１１１、反射率成分抽出部１１２、階調レンジ圧縮部１１３、および合成部１１７がHDR処理を行うHDR処理部２２１を構成する。また、制御部１１５、増幅部１１６、階調レンジ伸張用ゲイン設定部２１１、およびゲイン合成部２１２が、絵画調処理を行う絵画調処理部２２２を構成する。
【００６４】
画像処理装置２００の場合、反射率成分抽出部１１２において抽出された反射率成分は、増幅部１１６に供給される（矢印２３１）。
【００６５】
また、制御部１１５は、設定したディティールゲインをゲイン合成部２１２に供給する（矢印１３７）。
【００６６】
階調レンジ伸張用ゲイン設定部２１１は、階調レンジ伸張用のゲイン、すなわち、画像処理装置１００の階調レンジ伸張部１１４において用いられるゲインを設定し、その値をゲイン合成部２１２に供給する（矢印２３２）。
【００６７】
ゲイン合成部２１２は、階調レンジ伸張用ゲイン設定部２１１から供給される階調レンジ伸張用ゲインと、制御部１１５から供給されるディティールゲインとを合成し、合成ゲインを生成する。ゲイン合成部２１２は、生成した合成ゲインを増幅部１１６に供給する（矢印２３３）。
【００６８】
増幅部１１６は、反射率成分抽出部１１２から供給される反射率成分を、ゲイン合成部２１２から供給される合成ゲインを用いて増幅する。増幅部１１６は、増幅した反射率成分を合成部１１７に供給し、照明成分と合成させる。
【００６９】
以上のようにして、増幅部１１６は、画像処理装置１００において行われる階調レンジ伸張用と、ディティール成分強調用との２つの増幅を、１回の増幅で実現することができる。つまり、画像処理装置２００は、画像処理装置１００の場合と同様に、容易に、画像データの階調レンジを圧縮するとともに、画像に対して、絵画風の視覚的効果を付与することができる。つまり、画像処理装置２００は、より多様な効果を画像に付与することができる。
【００７０】
なお、この場合も第１の実施の形態の場合と同様に、制御部１１５は、ディティールゲインを任意の情報に基づいて、任意の値に設定することができる。また、制御部１１５は、第１の実施の形態の場合と同様に、輝度に応じてディティールゲインの値を変えるようにすることもできる。
【００７１】
また、この場合も第１の実施の形態の場合と同様に、画像の一部の領域のみ、反射率成分が増幅されるようにしてもよいし、画像内の位置に応じたディティールゲインが設定されるようにしてもよい。
【００７２】
［画像処理の流れ］
この場合の、画像処理の流れの例を、図６のフローチャートを参照して説明する。
【００７３】
ステップＳ２０１において、階調レンジ伸張用ゲイン設定部２１１は、任意の情報に基づいて、階調レンジ伸張用ゲインを設定する。ステップＳ２０２において、制御部１１５は、HDR圧縮処理を行う画像に対して絵画調効果を与えるか否かを判定する。絵画調効果を与えると判定した場合、制御部１１５は、処理をステップＳ２０３に進め、反射率成分を過度に増幅するように、絵画調効果用のディティールゲインに大きな値（１より十分に大きな値）を設定する。
【００７４】
また、ステップＳ２０２において、画像に絵画調効果を与えないと判定した場合、制御部１１５は、処理をステップＳ２０４に進め、絵画調効果用のディティールゲインに小さな値（１に近い値）を設定する。
【００７５】
ステップＳ２０３またはステップＳ２０４においてディティールゲインを設定すると、制御部１１５は、処理をステップＳ２０５に進める。
【００７６】
ステップＳ２０５において、ゲイン合成部２１２は、ステップＳ２０１において設定された階調レンジ伸張用ゲインと、ステップＳ２０２若しくはステップＳ２０３において設定されたディティールゲインとを合成する。
【００７７】
ステップＳ２０６において、照明成分抽出部１１１および反射率成分抽出部１１２は、入力された階調レンジの広いHDR画像データを照明成分と反射率成分に分離する。
【００７８】
ステップＳ２０７において、階調レンジ圧縮部１１３は、照明成分の階調レンジを圧縮する。
【００７９】
ステップＳ２０８において、増幅部１１６は、ステップＳ２０５において生成された合成ゲインを用いて、ステップＳ２０６において抽出された反射率成分を増幅する。
【００８０】
ステップＳ２０９において、合成部１１７は、ステップＳ２０７において階調レンジを圧縮された照明成分と、ステップＳ２０８において増幅された反射率成分とを合成し、出力画像（階調レンジが圧縮された（絵画調）HDR画像データ）を生成する。この出力画像は、画像処理装置２００の外部に出力するようにしてもよいし、画像処理装置２００が有する記憶部（図示せず）に記憶するようにしてもよい。
【００８１】
以上のように画像処理を行うことにより、画像処理装置２００は、容易に、画像データの階調レンジを圧縮するとともに、画像に対して、絵画風の視覚的効果を付与することができる。つまり、画像処理装置２００は、より多様な効果を画像に付与することができる。
【００８２】
＜３．第３の実施の形態＞
［画像処理装置］
HDR処理としては、第１の実施の形態や第２の実施の形態において説明した方法の他に、露出条件が互いに異なる複数の画像を、白飛びや黒つぶれ等の画質劣化が生じないように合成し、適切な階調レンジの画像を生成する方法がある。
【００８３】
例えば、画角内の輝度レンジが広いシーンでは、自動露出処理（AE処理）の精度が悪化し、画角内の主な被写体が露出オーバーになって白飛びしたり、露出アンダーになってノイズに埋もれたり黒つぶれしたりする可能性が高くなる。そこで、このようなシーンにおいても適切な露光条件で撮像された画像を得るための撮像手法として、露光条件を変化させて複数回連続して露光し、それぞれの複数の画像信号を得る「ブラケット撮像」という手法が知られている。
【００８４】
この、ブラケット撮像を応用して、撮像素子の出力よりも広いダイナミックレンジを持つ画像（広ダイナミックレンジ画像）を得ることを可能とした撮像手法が考えられている。広ダイナミックレンジ画像の撮像では、ブラケット撮像により露出量を大きくした撮像画像と、露出量を抑えた撮像画像とを取得し、それらを合成することで広ダイナミックレンジの画像を生成する。すなわち、露出量を抑えて高輝度側の階調が得られた画像成分と、露出量を高めて低輝度側の階調が得られた画像成分とを合成することで、１回の露光では得ることができない広い輝度レンジの階調情報を、合成後の画像に取り入れることが可能となる。
【００８５】
例えばこのような撮像により得られた、互いに露出条件の異なる複数の画像から、白飛びや黒つぶれ等の画質劣化が生じないように合成された、適切な階調レンジの画像を生成する場合、上述した第１の実施の形態や第２の実施の形態において説明したような、階調レンジの広いHDR画像データ（広ダイナミックレンジ画像）を生成し、その画像の階調レンジを、上述したようなHDR入力の階調圧縮処理により圧縮する方法がある。
【００８６】
しかしながら、この方法の場合、階調レンジの広いHDR画像データを生成する必要があるので処理に必要なメモリ量が増大する可能性がある。
【００８７】
そこで、このような階調レンジの広いHDR画像データを生成せずに、露出条件が互いに異なる複数の画像を、白飛びや黒つぶれ等の画質劣化が生じないように合成し、適切な階調レンジの画像を生成する方法がある。
【００８８】
本実施の形態においては、このようなHDR処理方法において、絵画調処理を行う例について説明する。
【００８９】
図７は、その場合の画像処理装置の主な構成例を示すブロック図である。図７に示される画像処理装置３００は、図１の画像処理装置１００や図５の画像処理装置２００と基本的に同様の装置であり、階調レンジを圧縮するHDR処理を行うとともに、絵画調の視覚的効果を付与する絵画調処理を行う。ただし、画像処理装置３００の場合、階調レンジが広いHDR画像データではなく、互いに露出条件の異なる３つの画像（露出アンダー画像、適正露出画像、および露出オーバー画像）が入力される。
【００９０】
画像処理装置３００は、輝度成分抽出部３１１、照明分離フィルタ３１２、HDR圧縮処理部３１３、制御部３１４、ディティール生成部３１５、およびディティール強調部３１６を有する。
【００９１】
これらの構成の内、輝度成分抽出部３１１、照明分離フィルタ３１２、およびHDR圧縮処理部３１３が、互いに露出条件の異なる３つの画像を、白飛びや黒つぶれ等の画質劣化が生じないように合成し、適切な階調レンジの画像を生成するHDR処理を行うHDR処理部３２１を構成する。また、制御部３１４、ディティール生成部３１５、およびディティール強調部３１６が、画像に対して絵画調の視覚的効果を付与する絵画調処理部３２２を構成する。
【００９２】
上述したように、画像処理装置３００には、適正値よりも意図的に露出を抑えて生成した露出アンダー画像、露出を適正値で生成した適正露出画像、適正値よりも意図的に露出を大きくして生成した露出オーバー画像が入力される。各画像は、HDR圧縮処理部３１３に供給される（矢印３３１乃至矢印３３３）。
【００９３】
また、適正露出画像は、輝度成分抽出部３１１にも供給される（矢印３３２）。輝度成分抽出部３１１は、入力された適正露出画像から輝度成分を抽出し、それを照明分離フィルタ３１２およびディティール生成部３１５に供給する（矢印３３４）。
【００９４】
照明分離フィルタ３１２は、照明成分抽出部１１１と同様に、エッジ保存平滑化フィルタ等によって、入力された輝度成分から照明成分を抽出する。照明分離フィルタ３１２は、抽出した照明成分をHDR圧縮処理部３１３およびディティール生成部３１５に供給する（矢印３３５）。
【００９５】
HDR圧縮処理部３１３は、照明分離フィルタ３１２から供給される照明成分を、所定の変換テーブルを用いて合成係数に変換し、その合成係数を用いて、入力された露出アンダー画像、適正露出画像、および露出オーバー画像を合成する。より具体的には、HDR圧縮処理部３１３は、各画像を合成係数で重み付けして互いに加算する。HDR圧縮処理部３１３は、このようにして、露出アンダー画像、適正露出画像、および露出オーバー画像から、白飛びや黒つぶれ等の画質劣化が生じないように合成された、適切な階調レンジの画像（HDR圧縮画像）を生成する。この画像は、第１の実施の形態や第２の実施の形態における、階調レンジの広いHDR画像に対して階調処理のみが施されて階調が適正化されたHDR画像に対応する。HDR圧縮処理部３１３は、生成したHDR圧縮画像をディティール強調部３１６に供給する（矢印３３６）。
【００９６】
制御部３１４は、絵画調の視覚的効果を与えるためのHDR圧縮画像の反射率成分の強調量であるディティール強調量を設定する。つまり、このディティール強調量は、HDR圧縮画像のディティール成分を過度に強調するゲインである。制御部３１４は、そのディティール強調量をディティール生成部３１５に供給する（矢印３３７）。
【００９７】
ディティール生成部３１５は、輝度成分抽出部３１１から供給される適正露出画像の輝度成分と、照明分離フィルタ３１２から供給される適正露出画像の輝度成分の照明成分とを用いて、適正露出画像の輝度成分の反射率成分を抽出する。つまり、ディティール生成部３１５は、反射率成分抽出部１１２と同様に動作し、輝度成分から照明成分を減算若しくは除算することにより反射率成分を抽出する。
【００９８】
さらに、ディティール生成部３１５は、抽出した反射率成分を、制御部３１４から供給されるディティール強調量で強調し、強調されたディティール成分を生成する。ディティール生成部３１５は、その強調されたディティール成分をディティール強調部３１６に供給する（矢印３３８）。
【００９９】
ディティール強調部３１６は、ディティール生成部３１５から供給されたディティール成分を乗算することにより、HDR圧縮処理部３１３から供給されたHDR圧縮画像のディティールを過度に強調し、絵画調の視覚的効果を付与する。ディティール強調部３１６は、ディティールが強調されたHDR圧縮画像（絵画調HDR圧縮画像）を出力する（矢印３３９）。
【０１００】
ディティール強調部３１６から出力される絵画調HDR画像データは、さらに、ビット数を圧縮する等してもよい。
【０１０１】
以上のように、絵画調処理部３２２のディティール強調部３１６が、ディティールの見えが実物よりも強調されて見える程、HDR圧縮画像の反射率成分のみを過度に増幅する（ディティールを過度に強調する）だけで、画像処理装置３００は、容易に、露出条件が互いに異なる複数の画像を、白飛びや黒つぶれ等の画質劣化が生じないように合成し、適切な階調レンジの画像を生成するとともに、画像に対して、絵画風の視覚的効果を付与することができる。つまり、画像処理装置３００は、より多様な効果を画像に付与することができる。
【０１０２】
第１の実施の形態や第２の実施の形態の増幅率の場合と同様に、ディティール強調量の値は任意であるが、例えば、２倍、４倍、８倍のように、一般的に、ディティール強調量を大きくするほど、ディティールがより強く強調され、画像に与える絵画風の視覚的効果を強くすることができる。
【０１０３】
例えば、制御部３１４は、画像に対してより強い絵画風の視覚的効果を与える場合、このディティール強調量を大きな値（例えば、１より十分に大きな値）に設定する。また、画像に対して絵画風の視覚的効果を強く与えたくない場合、制御部３１４は、ディティール強調量を小さな値（例えば１に近い値）に設定する。つまり、制御部３１４は、このディティール強調量の大きさを制御することにより、HDR圧縮処理を、被写体に忠実に行うのか、それとも絵画調の視覚的効果を付与するように行うのかを制御することができる。
【０１０４】
なお、第１の実施の形態や第２の実施の形態の増幅率の場合と同様に、ディティール強調量も、図２に示されるように輝度に応じた値とするようにしてもよい。図２に示される曲線１４１は、ディティールゲインの輝度変調特性の例を示す。このように照明成分の輝度によって強調量を変えることにより、ディティール強調部３１６は、ディティールとして認識される必要な帯域のみを増幅することができる。つまり、ディティールで無い低域な成分や、本来不要なノイズ成分を多く含む高域な成分の増幅を抑制することができる。これにより、画像処理装置３００は、画像の視覚的な劣化を抑制することができる。
【０１０５】
さらに、この場合も第１の実施の形態や第２の実施の形態の場合と同様に、画像の一部の領域のみ、ディティール成分が増幅されるようにしてもよいし、画像内の位置に応じたディティール強調量が設定されるようにしてもよい。
【０１０６】
また、以上においては、輝度成分抽出部３１１が適正露出画像から輝度成分を抽出するように説明したが、これに限らず、輝度成分抽出部３１１が、露出アンダー画像や露出オーバー画像から輝度成分を抽出するようにしてもよい。
【０１０７】
［ディティール生成部］
図８は、ディティール生成部３１５の主な構成例を示すブロック図である。図８に示されるように、ディティール生成部３１５は、除算部３５１、減算部３５２、乗算部３５３、および加算部３５４を有する。
【０１０８】
除算部３５１は、輝度成分抽出部３１１から供給される輝度成分（矢印３３４）を、照明分離フィルタ３１２から供給される照明成分（矢印３３５）で除算することにより、ディティール成分を抽出する。除算部３５１は、抽出したディティール成分を乗算部３５３に供給する（矢印３６１）。
【０１０９】
減算部３５２は、標準となるディティールゲインが自動でかかる分を補正するために、制御部３１４から供給されるディティール強調量から値「１」を減算する。減算部３５２は、値「１」を減算したディティール強調量を乗算部３５３に供給する（矢印３６２）。
【０１１０】
乗算部３５３は、除算部３５１から供給されるディティール成分と、減算部３５２から供給されるディティール強調量とを乗算し、その乗算結果を加算部３５４に供給する（矢印３６３）。
【０１１１】
加算部３５４は、乗算部３５３から供給される、ディティール成分と値「１」が減算されたディティール強調量との乗算結果に、制御部３１４から供給されるディティール強調量（矢印３３７）を加算する。加算部３５４は、その加算結果、すなわち、過度に強調されたディティール成分をディティール強調部３１６に供給する（矢印３３８）。
【０１１２】
なお、メモリ削減などの理由で、平滑化フィルタ処理の出力時に信号精度の丸め処理がある場合、丸め処理の前の信号（輝度成分および照明成分）から、ディティール成分が抽出されるようにするのが望ましい。これは、ディティール成分の計算では演算精度が重要なためである。
【０１１３】
［画像処理の流れ］
図９のフローチャートを参照して、この場合の画像処理の流れの例を説明する。
【０１１４】
ステップＳ３０１において、制御部３１４は、HDR圧縮処理を行う画像に対して絵画調効果を与えるか否かを判定する。絵画調効果を与えると判定した場合、制御部３１４は、処理をステップＳ３０２に進め、ディティール成分を過度に増幅するように、ディティール強調量に大きな値（１より十分に大きな値）を設定する。
【０１１５】
また、ステップＳ３０１において、画像に絵画調効果を与えないと判定した場合、制御部３１４は、処理をステップＳ３０３に進め、ディティール強調量に小さな値（１に近い値）を設定する。
【０１１６】
ステップＳ３０２またはステップＳ３０３においてディティール強調量を設定すると、制御部３１４は、処理をステップＳ３０４に進める。
【０１１７】
ステップＳ３０４において、輝度成分抽出部３１１は、例えば適正露出画像から輝度成分を抽出する。ステップＳ３０５において、照明分離フィルタ３１２は、ステップＳ３０４において抽出された輝度成分から照明成分を抽出する。
【０１１８】
ステップＳ３０６において、ディティール生成部３１５の除算部３５１は、ステップＳ３０４において抽出された輝度成分を、ステップＳ３０５において抽出された照明成分で除算し、ディティール成分を抽出する。
【０１１９】
ステップＳ３０７において、HDR圧縮処理部３１３は、例えば変換テーブルを用いて、ステップＳ３０５において抽出された照明成分から合成係数を生成する。ステップＳ３０８において、HDR圧縮処理部３１３は、ステップＳ３０７において生成された合成係数を用いて、露出アンダー画像、適正露出画像、および露出オーバー画像の各画像を重み付けして、白飛びや黒つぶれ等の画質劣化が生じないように合成し、適切な階調レンジのHDR圧縮画像を生成する。
【０１２０】
ステップＳ３０９において、ディティール生成部３１５の減算部３５２は、ステップＳ３０２若しくはステップＳ３０３において設定されたディティール強調量から値「１」を減算する。
【０１２１】
ステップＳ３１０において、ディティール生成部３１５の乗算部３５３は、ステップＳ３０６において算出されたディティール成分に、ステップＳ３０９において算出された減算結果を乗算する。
【０１２２】
ステップＳ３１１において、ディティール生成部３１５の加算部３５４は、ステップＳ３１０において算出された乗算結果に、ステップＳ３０２若しくはステップＳ３０３において設定されたディティール強調量を加算する。
【０１２３】
ステップＳ３１２において、ディティール強調部３１６は、ステップＳ３１１において算出された加算結果を乗算することにより、ステップＳ３０８において生成されたHDR圧縮画像のディティールを強調する。このようにディティールが強調されたHDR画像は、画像処理装置３００の外部に出力するようにしてもよいし、画像処理装置３００が有する記憶部（図示せず）に記憶するようにしてもよい。
【０１２４】
以上のように画像処理を行うことにより、画像処理装置３００は、容易に、露出条件が互いに異なる複数の画像を、白飛びや黒つぶれ等の画質劣化が生じないように合成し、適切な階調レンジの画像を生成するとともに、画像に対して、絵画風の視覚的効果を付与することができる。つまり、画像処理装置３００は、より多様な効果を画像に付与することができる。
【０１２５】
＜４．第４の実施の形態＞
［撮像装置］
以上に説明した画像処理装置は、画像処理部として他の装置の一部として構成されるようにしてもよい。例えば、被写体を撮像し、その撮像画像の画像データを生成する撮像装置として構成されるようにしてもよい。
【０１２６】
図１０は、撮像装置の主な構成例を示すブロック図である。図１０に示される撮像装置４００は、被写体を撮像し、その被写体の画像をデータ化して出力する装置である。この撮像装置４００は、図１に示される画像処理装置１００、図５に示される画像処理装置２００、若しくは、図７に示される画像処理装置３００を、画像処理部として有する。
【０１２７】
光学ブロック４１１は、被写体からの光を撮像素子４１２に集光するためのレンズ、レンズを移動させてフォーカス合わせやズーミングを行うための駆動機構（いずれも図示せず）、絞り４１１ａ、シャッタ４１１ｂなどを有している。光学ブロック４１１内のこれらの駆動機構は、マイクロコンピュータ４２０からの制御信号に応じて駆動される。撮像素子４１２は、例えば、CCD（Charge Coupled Device）型、CMOS（Complementary Metal OxideSemiconductor）型などの撮像素子であり、被写体からの入射光を電気信号に変換する。
【０１２８】
A/D変換部（A/D）４１３は、撮像素子４１２から出力された画像信号をデジタルデータに変換する。ISO（International Organization for Standardization）ゲイン調整部４１４は、マイクロコンピュータ４２０からのゲイン制御値に応じて、A/D変換部４１３からの画像データのRGB（Red，Green，Blue）各成分に対して一様のゲインをかける。なお、ISOゲインの調整は、A/D変換部４１３に入力される前のアナログ画像信号の段階で行われるようにしてもよい。
【０１２９】
バッファメモリ４１５は、互いに異なる露出で撮像を複数回行うブラケット撮像により得られた複数枚の画像のデータを一時的に記憶する。合成処理部４１６は、ブラケット撮像時に適用した露出補正値をマイクロコンピュータ４２０から受け、この露出補正値に基づいて、バッファメモリ４１５内の複数枚の画像を１枚の画像に合成する。
【０１３０】
現像処理部４１７は、主に、合成処理部４１６から出力されるRAW（生）画像データを、可視画像のデータに変換する、いわゆるRAW現像処理を実行するブロックである。この現像処理部４１７は、RAW画像データに対して、データ補間（デモザイク）処理、各種色調整・変換処理（ホワイトバランス調整処理、高輝度ニー圧縮処理、ガンマ補正処理、アパーチャ補正処理、クリッピング処理など）、所定の符号化方式（ここでは、JPEG（Joint Photographic Experts Group）方式を適用する）に従った画像圧縮符号化処理などを実行する。
【０１３１】
なお、A/D変換部４１３から出力されるRAW画像データのビット数は、例えば１２ビットであり、現像処理部４１７は、この１２ビットデータを処理できる仕様となっている。また、現像処理部４１７は、現像処理の過程において、例えば高輝度ニー圧縮処理（あるいは下位ビットの切り捨てなどでもよい）によって、１２ビットデータを８ビットデータにビット圧縮し、この８ビットデータに対して圧縮符号化処理を施す。また、この８ビットデータを表示部４１９に対して出力する。
【０１３２】
記録部４１８は、撮像により得られた画像データをデータファイルとして保存するための装置であり、例えば、可搬型のフラッシュメモリ、HDD（Hard Disk Drive）などとして実現される。なお、記録部４１８は、現像処理部４１７によって符号化されたJPEGデータ４３１の他に、合成処理部４１６から出力されるRAW画像データ４３２をデータファイルとして記録することができる。また、記録部４１８に記録されたRAW画像データを読み出して、現像処理部４１７で処理し、記録部４１８にJPEGデータファイルとして新たに記録することができるようにしてもよい。
【０１３３】
表示部４１９は、例えばLCD（Liquid Crystal Display）などからなるモニタを備えている。表示部４１９は、現像処理部４１７において処理された非圧縮状態の画像データを基に、モニタ表示用の画像信号を生成してモニタに供給する。撮像画像の記録前のプレビュー状態では、撮像素子４１２からは連続的に撮像画像信号が出力され、デジタル変換された後、そのデジタル画像データがISOゲイン調整部４１４および合成処理部４１６を介して現像処理部４１７に供給されて、現像処理（ただし、符号化処理を除く）が施される。表示部４１９は、このとき現像処理部４１７から順次出力される画像（プレビュー画像）をモニタに表示し、ユーザはこのプレビュー画像を視認して画角を確認することができる。
【０１３４】
マイクロコンピュータ４２０は、CPU（Central Processing Unit）、ROM（Read Only Memory）、およびRAM（Random Access Memory）などを備え、ROMに記憶されたプログラムを実行することで、この撮像装置４００全体を統括的に制御する。例えば、本実施の形態では、検波部４２２からの検波結果を基に露出補正値を計算し、その値に応じた制御信号を出力して絞り４１１ａやシャッタ４１１ｂを制御することで、AE（自動露出）制御を実現する。また、後述する広ダイナミックレンジ撮像を行う際には、算出した露出補正値を合成処理部４１６に通知する。
【０１３５】
LPF（Low-Pass Filter）４２１は、ISOゲイン調整部４１４から出力された画像データに対して、必要に応じてローパスフィルタ処理を施す。検波部４２２は、ISOゲイン調整部４１４からLPF４２１を通じて供給された画像データを基に各種の検波を行うブロックであり、本実施の形態では、例えば、画像を所定の測光領域に分割し、測光領域ごとに輝度値を検出する。
【０１３６】
以上のような撮像装置４００において、現像処理部４１７の一部または全部として、図１の画像処理装置１００、若しくは図５の画像処理装置２００と同様の構成を有し、同様の処理を行う画像処理部が設けられるようにしてもよい。
【０１３７】
このようにすることにより、現像処理部４１７は、容易に、画像データの階調レンジを圧縮するとともに、画像に対して、絵画風の視覚的効果を付与することができる。
【０１３８】
つまり、撮像装置４００は、容易に、ブラケット撮像により得られた複数の画像が合成され、さらに、絵画風の視覚的効果が付与された画像を得ることが出来、その画像を、表示部４１９に表示したり、JPEGデータ４３１として記録部４１８に記録したりすることができる。つまり、撮像装置４００は、より多様な効果を画像に付与することができる。
【０１３９】
なお、記録部４１８が記録する画像データの符号化方式は任意である。記録部４１８が、JPEG以外の符号化方式で符号化された画像データを記憶するようにしてもよい。
【０１４０】
また、合成処理部４１６と現像処理部４１７の一部または全部として、図７の画像処理装置３００と同様の構成を有し、同様の処理を行う画像処理部が設けられるようにしてもよい。
【０１４１】
このようにすることにより、合成処理部４１６および現像処理部４１７は、容易に、露出条件が互いに異なる複数の画像を、白飛びや黒つぶれ等の画質劣化が生じないように合成し、適切な階調レンジの画像を生成するとともに、画像に対して、絵画風の視覚的効果を付与することができる。
【０１４２】
＜５．第５の実施の形態＞
［パーソナルコンピュータ］
上述した一連の処理は、ハードウエアにより実行させることもできるし、ソフトウエアにより実行させることもできる。この場合、例えば、図１１に示されるようなパーソナルコンピュータとして構成されるようにしてもよい。
【０１４３】
図１１において、パーソナルコンピュータ５００のCPU（Central Processing Unit）５０１は、ROM（Read Only Memory）５０２に記憶されているプログラム、または記憶部５１３からRAM（Random Access Memory）５０３にロードされたプログラムに従って各種の処理を実行する。RAM５０３にはまた、CPU５０１が各種の処理を実行する上において必要なデータなども適宜記憶される。
【０１４４】
CPU５０１、ROM５０２、およびRAM５０３は、バス５０４を介して相互に接続されている。このバス５０４にはまた、入出力インタフェース５１０も接続されている。
【０１４５】
入出力インタフェース５１０には、キーボード、マウスなどよりなる入力部５１１、CRT（Cathode Ray Tube）やLCD（Liquid Crystal Display）などよりなるディスプレイ、並びにスピーカなどよりなる出力部５１２、ハードディスクなどより構成される記憶部５１３、モデムなどより構成される通信部５１４が接続されている。通信部５１４は、インターネットを含むネットワークを介しての通信処理を行う。
【０１４６】
入出力インタフェース５１０にはまた、必要に応じてドライブ５１５が接続され、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア５２１が適宜装着され、それらから読み出されたコンピュータプログラムが、必要に応じて記憶部５１３にインストールされる。
【０１４７】
上述した一連の処理をソフトウエアにより実行させる場合には、そのソフトウエアを構成するプログラムが、ネットワークや記録媒体からインストールされる。
【０１４８】
この記録媒体は、例えば、図１１に示されるように、装置本体とは別に、ユーザにプログラムを配信するために配布される、プログラムが記録されている磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM（Compact Disc - Read Only Memory）,DVD（Digital Versatile Disc）を含む）、光磁気ディスク（MD（Mini Disc）を含む）、若しくは半導体メモリなどよりなるリムーバブルメディア５２１により構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに配信される、プログラムが記録されているROM５０２や、記憶部５１３に含まれるハードディスクなどで構成される。
【０１４９】
なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
【０１５０】
また、本明細書において、記録媒体に記録されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
【０１５１】
また、本明細書において、システムとは、複数のデバイス（装置）により構成される装置全体を表すものである。
【０１５２】
また、以上において、１つの装置（または処理部）として説明した構成を分割し、複数の装置（または処理部）として構成するようにしてもよい。逆に、以上において複数の装置（または処理部）として説明した構成をまとめて１つの装置（または処理部）として構成されるようにしてもよい。また、各装置（または各処理部）の構成に上述した以外の構成を付加するようにしてももちろんよい。さらに、システム全体としての構成や動作が実質的に同じであれば、ある装置（または処理部）の構成の一部を他の装置（または他の処理部）の構成に含めるようにしてもよい。つまり、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
【０１５３】
なお、本技術は以下のような構成も取ることができる。
（１） 画像の反射率成分を増幅する増幅率を、前記画像に絵画調の視覚的効果を付与する程大きな値にするかを制御する制御部と、
前記画像を照明成分と反射率成分とに分離する分離部と、
前記分離部により分離された前記反射率成分を、前記制御部により制御される増幅率で増幅する増幅部と、
前記分離部により分離された前記照明成分と、前記増幅部により増幅された前記反射率成分とを合成する合成部と
を備える画像処理装置。
（２） 前記分離部により分離された前記照明成分の階調を圧縮する階調圧縮部をさらに備え、
前記分離部は、階調レンジが広い画像を照明成分と反射率成分とに分離し、
前記合成部は、前記階調圧縮部により階調が圧縮された前記照明成分と、前記増幅部により増幅された前記反射率成分とを合成することにより、階調レンジが適正化された画像を生成する
前記（１）に記載の画像処理装置。
（３） 前記階調圧縮部による階調圧縮に対応して、前記分離部により分離された前記反射率成分の階調を伸張する階調伸張部をさらに備え、
前記増幅部は、前記階調伸張部により階調が伸張された前記反射率成分を、前記制御部により制御される増幅率で増幅する
前記（２）に記載の画像処理装置。
（４） 前記分離部により分離された前記反射率成分の階調を伸張するための、前記階調圧縮部による階調圧縮に対応する増幅率と、前記制御部により制御される増幅率とを合成し、合成ゲインを生成するゲイン合成部をさらに備え、
前記増幅部は、前記分離部により分離された前記反射率成分を、前記ゲイン合成部により生成される合成ゲインで増幅する
前記（２）に記載の画像処理装置。
（５） 露出条件が互いに異なる複数の画像を、前記分離部により分離された前記照明成分を用いて重み付けして合成し、白飛びや黒つぶれ等の画質劣化が生じないように合成し、適切な階調レンジの画像を生成する画像生成部をさらに備え、
前記合成部は、前記分離部により分離された前記照明成分の代わりに、前記画像生成部により生成された前記画像を、前記増幅部により増幅された前記反射率成分と合成する
前記（１）に記載の画像処理装置。
（６） 前記制御部は、前記画像に対して絵画調の視覚的効果を付与する場合、前記増幅率を大きな値にし、前記画像に対して絵画調の視覚的効果を付与しない場合、前記増幅率を小さな値にする
前記（１）乃至（５）のいずれかに記載の画像処理装置。
（７） 前記制御部は、前記増幅率として画素の輝度値に応じた値を設定する
前記（１）乃至（６）のいずれかに記載の画像処理装置。
（８） 前記制御部は、前記増幅率として領域に応じた値を設定する
前記（１）乃至（７）のいずれかに記載の画像処理装置。
（９） 前記分離部は、エッジ保存平滑化フィルタを用いて、前記画像を照明成分と反射率成分とに分離する
前記（１）乃至（８）のいずれかに記載の画像処理装置。
（１０） 前記分離部は、
前記画像から照明成分を抽出する照明成分抽出部と、
前記画像と、前記照明成分抽出部により抽出された前記照明成分とを用いて、前記反射率成分を抽出する反射率成分抽出部と
を備える前記（１）乃至（９）のいずれかに記載の画像処理装置。
（１１） 前記分離部は、
前記画像から輝度成分を抽出する輝度成分抽出部をさらに備え、
前記照明成分抽出部は、前記輝度成分抽出部により抽出された前記輝度成分から前記照明成分を抽出し、
前記反射率成分抽出部は、前記輝度成分抽出部により抽出された前記輝度成分と、前記照明成分抽出部により抽出された前記照明成分とを用いて、前記反射率成分を抽出する
前記（１０）に記載の画像処理装置。
（１２） 前記照明成分抽出部は、抽出した前記照明成分を丸め処理し、
前記反射率成分抽出部は、前記画像と、前記照明成分抽出部により抽出された、丸め処理される前の前記照明成分とを用いて、前記反射率成分を抽出する
前記（１０）または（１１）に記載の画像処理装置。
（１３） 画像処理装置の画像処理方法であって、
前記画像処理装置の制御部が、画像の反射率成分を増幅する増幅率を、前記画像に絵画調の視覚的効果を付与する程大きな値にするかを制御し、
前記画像処理装置の分離部が、前記画像を照明成分と反射率成分とに分離し、
前記画像処理装置の増幅部が、前記分離部により分離された前記反射率成分を、前記制御部により制御される増幅率で増幅し、
前記画像処理装置の合成部が、前記分離部により分離された前記照明成分と、前記増幅部により増幅された前記反射率成分とを合成する
画像処理方法。
【符号の説明】
【０１５４】
１００ 画像処理装置， １１１ 照明成分抽出部， １１２ 反射率成分抽出部， １１３ 階調レンジ圧縮部， １１４ 階調レンジ伸張部， １１５ 制御部， １１６ 増幅部， １１７ 合成部， １２１ HDR処理部， １２２ 絵画調処理部， ２００ 画像処理装置， ２１１ 階調レンジ伸張用ゲイン設定部， ２１２ ゲイン合成部， ２２１ HDR処理部， ２２２ 絵画調処理部， ３００ 画像処理装置， ３１１ 輝度成分抽出部， ３１２ 照明分離フィルタ， ３１３ HDR圧縮処理部， ３１４ 制御部， ３１５ ディティール生成部， ３１６ ディティール強調部， ３２１ HDR処理部， ３２２ 絵画調処理部， ３５１ 除算部， ３５２ 減算部， ３５３ 乗算部， ３５４ 加算部， ４００ 撮像装置， ４１６ 合成処理部， ４１７ 現像処理部
【特許請求の範囲】
【請求項１】
画像の反射率成分を増幅する増幅率を、前記画像に絵画調の視覚的効果を付与する程大きな値にするかを制御する制御部と、
前記画像を照明成分と反射率成分とに分離する分離部と、
前記分離部により分離された前記反射率成分を、前記制御部により制御される増幅率で増幅する増幅部と、
前記分離部により分離された前記照明成分と、前記増幅部により増幅された前記反射率成分とを合成する合成部と
を備える画像処理装置。
【請求項２】
前記分離部により分離された前記照明成分の階調を圧縮する階調圧縮部をさらに備え、
前記分離部は、階調レンジが広い画像を照明成分と反射率成分とに分離し、
前記合成部は、前記階調圧縮部により階調が圧縮された前記照明成分と、前記増幅部により増幅された前記反射率成分とを合成することにより、階調レンジが適正化された画像を生成する
請求項１に記載の画像処理装置。
【請求項３】
前記階調圧縮部による階調圧縮に対応して、前記分離部により分離された前記反射率成分の階調を伸張する階調伸張部をさらに備え、
前記増幅部は、前記階調伸張部により階調が伸張された前記反射率成分を、前記制御部により制御される増幅率で増幅する
請求項２に記載の画像処理装置。
【請求項４】
前記分離部により分離された前記反射率成分の階調を伸張するための、前記階調圧縮部による階調圧縮に対応する増幅率と、前記制御部により制御される増幅率とを合成し、合成ゲインを生成するゲイン合成部をさらに備え、
前記増幅部は、前記分離部により分離された前記反射率成分を、前記ゲイン合成部により生成される合成ゲインで増幅する
請求項２に記載の画像処理装置。
【請求項５】
露出条件が互いに異なる複数の画像を、前記分離部により分離された前記照明成分を用いて重み付けして合成し、白飛びや黒つぶれ等の画質劣化が生じないように合成し、適切な階調レンジの画像を生成する画像生成部をさらに備え、
前記合成部は、前記分離部により分離された前記照明成分の代わりに、前記画像生成部により生成された前記画像を、前記増幅部により増幅された前記反射率成分と合成する
請求項１に記載の画像処理装置。
【請求項６】
前記制御部は、前記画像に対して絵画調の視覚的効果を付与する場合、前記増幅率を大きな値にし、前記画像に対して絵画調の視覚的効果を付与しない場合、前記増幅率を小さな値にする
請求項１に記載の画像処理装置。
【請求項７】
前記制御部は、前記増幅率として画素の輝度値に応じた値を設定する
請求項１に記載の画像処理装置。
【請求項８】
前記制御部は、前記増幅率として領域に応じた値を設定する
請求項１に記載の画像処理装置。
【請求項９】
前記分離部は、エッジ保存平滑化フィルタを用いて、前記画像を照明成分と反射率成分とに分離する
請求項１に記載の画像処理装置。
【請求項１０】
前記分離部は、
前記画像から照明成分を抽出する照明成分抽出部と、
前記画像と、前記照明成分抽出部により抽出された前記照明成分とを用いて、前記反射率成分を抽出する反射率成分抽出部と
を備える請求項１に記載の画像処理装置。
【請求項１１】
前記分離部は、
前記画像から輝度成分を抽出する輝度成分抽出部をさらに備え、
前記照明成分抽出部は、前記輝度成分抽出部により抽出された前記輝度成分から前記照明成分を抽出し、
前記反射率成分抽出部は、前記輝度成分抽出部により抽出された前記輝度成分と、前記照明成分抽出部により抽出された前記照明成分とを用いて、前記反射率成分を抽出する
請求項１０に記載の画像処理装置。
【請求項１２】
前記照明成分抽出部は、抽出した前記照明成分を丸め処理し、
前記反射率成分抽出部は、前記画像と、前記照明成分抽出部により抽出された、丸め処理される前の前記照明成分とを用いて、前記反射率成分を抽出する
請求項１０に記載の画像処理装置。
【請求項１３】
画像処理装置の画像処理方法であって、
前記画像処理装置の制御部が、画像の反射率成分を増幅する増幅率を、前記画像に絵画調の視覚的効果を付与する程大きな値にするかを制御し、
前記画像処理装置の分離部が、前記画像を照明成分と反射率成分とに分離し、
前記画像処理装置の増幅部が、前記分離部により分離された前記反射率成分を、前記制御部により制御される増幅率で増幅し、
前記画像処理装置の合成部が、前記分離部により分離された前記照明成分と、前記増幅部により増幅された前記反射率成分とを合成する
画像処理方法。
【請求項１】
画像の反射率成分を増幅する増幅率を、前記画像に絵画調の視覚的効果を付与する程大きな値にするかを制御する制御部と、
前記画像を照明成分と反射率成分とに分離する分離部と、
前記分離部により分離された前記反射率成分を、前記制御部により制御される増幅率で増幅する増幅部と、
前記分離部により分離された前記照明成分と、前記増幅部により増幅された前記反射率成分とを合成する合成部と
を備える画像処理装置。
【請求項２】
前記分離部により分離された前記照明成分の階調を圧縮する階調圧縮部をさらに備え、
前記分離部は、階調レンジが広い画像を照明成分と反射率成分とに分離し、
前記合成部は、前記階調圧縮部により階調が圧縮された前記照明成分と、前記増幅部により増幅された前記反射率成分とを合成することにより、階調レンジが適正化された画像を生成する
請求項１に記載の画像処理装置。
【請求項３】
前記階調圧縮部による階調圧縮に対応して、前記分離部により分離された前記反射率成分の階調を伸張する階調伸張部をさらに備え、
前記増幅部は、前記階調伸張部により階調が伸張された前記反射率成分を、前記制御部により制御される増幅率で増幅する
請求項２に記載の画像処理装置。
【請求項４】
前記分離部により分離された前記反射率成分の階調を伸張するための、前記階調圧縮部による階調圧縮に対応する増幅率と、前記制御部により制御される増幅率とを合成し、合成ゲインを生成するゲイン合成部をさらに備え、
前記増幅部は、前記分離部により分離された前記反射率成分を、前記ゲイン合成部により生成される合成ゲインで増幅する
請求項２に記載の画像処理装置。
【請求項５】
露出条件が互いに異なる複数の画像を、前記分離部により分離された前記照明成分を用いて重み付けして合成し、白飛びや黒つぶれ等の画質劣化が生じないように合成し、適切な階調レンジの画像を生成する画像生成部をさらに備え、
前記合成部は、前記分離部により分離された前記照明成分の代わりに、前記画像生成部により生成された前記画像を、前記増幅部により増幅された前記反射率成分と合成する
請求項１に記載の画像処理装置。
【請求項６】
前記制御部は、前記画像に対して絵画調の視覚的効果を付与する場合、前記増幅率を大きな値にし、前記画像に対して絵画調の視覚的効果を付与しない場合、前記増幅率を小さな値にする
請求項１に記載の画像処理装置。
【請求項７】
前記制御部は、前記増幅率として画素の輝度値に応じた値を設定する
請求項１に記載の画像処理装置。
【請求項８】
前記制御部は、前記増幅率として領域に応じた値を設定する
請求項１に記載の画像処理装置。
【請求項９】
前記分離部は、エッジ保存平滑化フィルタを用いて、前記画像を照明成分と反射率成分とに分離する
請求項１に記載の画像処理装置。
【請求項１０】
前記分離部は、
前記画像から照明成分を抽出する照明成分抽出部と、
前記画像と、前記照明成分抽出部により抽出された前記照明成分とを用いて、前記反射率成分を抽出する反射率成分抽出部と
を備える請求項１に記載の画像処理装置。
【請求項１１】
前記分離部は、
前記画像から輝度成分を抽出する輝度成分抽出部をさらに備え、
前記照明成分抽出部は、前記輝度成分抽出部により抽出された前記輝度成分から前記照明成分を抽出し、
前記反射率成分抽出部は、前記輝度成分抽出部により抽出された前記輝度成分と、前記照明成分抽出部により抽出された前記照明成分とを用いて、前記反射率成分を抽出する
請求項１０に記載の画像処理装置。
【請求項１２】
前記照明成分抽出部は、抽出した前記照明成分を丸め処理し、
前記反射率成分抽出部は、前記画像と、前記照明成分抽出部により抽出された、丸め処理される前の前記照明成分とを用いて、前記反射率成分を抽出する
請求項１０に記載の画像処理装置。
【請求項１３】
画像処理装置の画像処理方法であって、
前記画像処理装置の制御部が、画像の反射率成分を増幅する増幅率を、前記画像に絵画調の視覚的効果を付与する程大きな値にするかを制御し、
前記画像処理装置の分離部が、前記画像を照明成分と反射率成分とに分離し、
前記画像処理装置の増幅部が、前記分離部により分離された前記反射率成分を、前記制御部により制御される増幅率で増幅し、
前記画像処理装置の合成部が、前記分離部により分離された前記照明成分と、前記増幅部により増幅された前記反射率成分とを合成する
画像処理方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【公開番号】特開２０１２−２４７８７３（Ｐ２０１２−２４７８７３Ａ）
【公開日】平成２４年１２月１３日（２０１２．１２．１３）
【国際特許分類】
【出願番号】特願２０１１−１１７４６７（Ｐ２０１１−１１７４６７）
【出願日】平成２３年５月２５日（２０１１．５．２５）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
【公開日】平成２４年１２月１３日（２０１２．１２．１３）
【国際特許分類】
【出願日】平成２３年５月２５日（２０１１．５．２５）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
[ Back to top ]