画像処理装置および方法
【課題】より多様な効果を画像に付与することができるようにする。
【解決手段】画像に絵画調の視覚的効果を付与する場合、美化処理部３１３は、強調されるディティール成分に対して、その強調処理の前に美化処理を行う。ディティール強調部３２３は、美化処理部３１７によって美化処理されたHDR圧縮画像のディティールを、美化処理部３１３によって美化処理された後に強調されたディティール成分を用いて強調する。また、画像に絵画調の視覚的効果を付与しない場合、美化処理部３１３は、ディティール成分に対して美化処理を行わない。美化処理部３１７によって美化処理されたHDR圧縮画像が、処理結果として出力される。本技術は、例えば、画像処理装置に適用することができる。
【解決手段】画像に絵画調の視覚的効果を付与する場合、美化処理部３１３は、強調されるディティール成分に対して、その強調処理の前に美化処理を行う。ディティール強調部３２３は、美化処理部３１７によって美化処理されたHDR圧縮画像のディティールを、美化処理部３１３によって美化処理された後に強調されたディティール成分を用いて強調する。また、画像に絵画調の視覚的効果を付与しない場合、美化処理部３１３は、ディティール成分に対して美化処理を行わない。美化処理部３１７によって美化処理されたHDR圧縮画像が、処理結果として出力される。本技術は、例えば、画像処理装置に適用することができる。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、画像処理装置および方法に関し、特に、より多様な効果を画像に付与することができるようにした画像処理装置および方法に関する。
【背景技術】
【０００２】
従来、ダイナミックレンジの広い画像の階調の範囲を圧縮し、適正化するHDR（High Dynamic Range）圧縮処理が考えられている（例えば、特許文献１参照）。
【０００３】
例えば、特許文献１においては、露出の異なる複数の画像からダイナミックレンジの広い画像を作り、つぎに平滑化フィルタを使って画像を低周波成分と高周波成分（ディティール成分）に分解し、低周波成分の階調の範囲を圧縮し、その圧縮量に対応する分だけディティール成分を強調して、最後に処理後の両成分を合成して、通常レンジの画像を得る方法が記載されている。
【０００４】
また、ダイナミックレンジの広い画像の合成を経由せずに、複数の画像から通常レンジの画像を作る方法も記載されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開2008-104010号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、近年においては、単に階調の範囲を圧縮するだけでなく、HDR圧縮処理された画像に他の効果を付与することが求められている。
【０００７】
本開示は、このような状況に鑑みてなされたものであり、画像の階調を処理するとともに、その画像に対して他の視覚的効果を付与する処理も行うことにより、より多様な効果を画像に付与することができるようにすることを目的とする。
【課題を解決するための手段】
【０００８】
本開示の一側面は、画像のディティール成分を生成するために用いられる高周波成分に影響を及ぼす画像処理を行う第１の画像処理部と、前記第１の画像処理部により高周波成分に影響を及ぼす画像処理が施された前記成分を用いて、強調された前記ディティール成分を生成するディティール成分生成部と、前記ディティール成分生成部により生成された、強調された前記ディティール成分を前記画像に合成することにより、前記画像のディティールを強調する強調部とを備える画像処理装置である。
【０００９】
前記画像処理は、不要な高周波成分を低減させる処理であるようにすることができる。
【００１０】
前記画像処理は、所望の領域の前記不要な高周波成分を低減させる美化処理であるようにすることができる。
【００１１】
前記美化処理は、肌領域の前記不要な高周波成分を低減させる美肌処理であるようにすることができる。
【００１２】
前記ディティール成分生成部が生成する前記ディティール成分の強調量を制御する強調量制御部と、前記第１の画像処理部により前記画像処理を行うか否かを制御する処理制御部とをさらに備え、前記処理制御部は、前記強調量制御部が前記強調量を大きな値に設定する場合、前記第１の画像処理部が前記画像処理を行うように制御し、前記強調量制御部が前記強調量を小さな値に設定する場合、前記第１の画像処理部が前記画像処理を行わないように制御することができる。
【００１３】
互いに露出条件が異なる複数の画像を合成することで、輝度信号の階調範囲が圧縮された画像を生成する合成部をさらに備え、前記強調部は、前記ディティール成分生成部により生成された、強調された前記ディティール成分を前記画像に合成することにより、前記合成部により生成された前記画像のディティールを強調することができる。
【００１４】
前記露出条件が異なる複数の画像は、露出が適正値より抑制された露出アンダー画像、露出が適正値の適正露出画像、並びに、露出が適正値より増大された露出オーバー画像であり、前記第１の画像処理部は、前記適正露出画像に対して前記画像処理を行うことができる。
【００１５】
前記合成部により合成されて得られた前記画像に対して前記画像処理を行う第２の画像処理部をさらに備え、前記強調部は、前記ディティール成分生成部により生成された、強調された前記ディティール成分を前記画像に合成することにより、前記第２の画像処理部により前記画像処理が行われた前記画像のディティールを強調することができる。
【００１６】
前記第１の画像処理部により前記画像処理が施された前記成分を含む、互いに露出条件が異なる複数の画像を合成することで、輝度信号の階調範囲が圧縮された画像を生成する合成部と、前記合成部により合成されて得られた前記画像に対して前記画像処理を行う第２の画像処理部と、前記ディティール成分生成部が生成する前記ディティール成分の強調量を制御する強調量制御部と、前記第１の画像処理部および前記第２の画像処理部により前記画像処理を行うか否かを制御する処理制御部とをさらに備え、前記処理制御部は、前記強調量制御部が前記強調量を大きな値に設定する場合、前記第１の画像処理部が前記画像処理を行い、前記第２の画像処理部が前記画像処理を行わないように制御し、前記強調量制御部が前記強調量を小さな値に設定する場合、前記第２の画像処理部が前記画像処理を行い、前記第１の画像処理部が前記画像処理を行わないように制御することができる。
【００１７】
前記互いに露出条件が異なる複数の画像は、露出が適正値より抑制された露出アンダー画像、露出が適正値の適正露出画像、並びに、露出が適正値より増大された露出オーバー画像であり、前記第１の画像処理部は、前記適正露出画像に対して前記画像処理を行うことができる。
【００１８】
本開示の一側面は、また、画像処理装置の画像処理方法であって、前記画像処理装置の第１の画像処理部が、画像のディティール成分を生成するために用いられる高周波成分に影響を及ぼす画像処理を行い、前記画像処理装置のディティール成分生成部が、高周波成分に影響を及ぼす画像処理が施された前記成分を用いて、強調された前記ディティール成分を生成し、前記画像処理装置の強調部が、生成された、強調された前記ディティール成分を前記画像に合成することにより、前記画像のディティールを強調する画像処理方法である。
【００１９】
本開示の一側面においては、画像のディティール成分を生成するために用いられる高周波成分に影響を及ぼす画像処理が行われ、高周波成分に影響を及ぼす画像処理が施された成分を用いて、強調されたディティール成分が生成され、生成された、強調されたディティール成分を前記画像に合成することにより、画像のディティールが強調される。
【発明の効果】
【００２０】
本技術によれば、画像を処理することができる。特に、より多様な効果を画像に付与することができる。
【図面の簡単な説明】
【００２１】
【図１】画像の階調を処理する画像処理装置の主な構成例を示すブロック図である。
【図２】画像処理装置の他の構成例を示すブロック図である。
【図３】画像処理装置の、さらに他の構成例を示すブロック図である。
【図４】ディティール生成部の主な構成例を示すブロック図である。
【図５】画像処理の流れの例を説明するフローチャートである。
【図６】美化処理の流れの例を説明するフローチャートである。
【図７】HDR圧縮処理の流れの例を説明するフローチャートである。
【図８】ディティール強調処理の流れの例を説明するフローチャートである。
【図９】メモリの使用量の推移の例を説明する図である。
【図１０】画像処理装置の、さらに他の構成例を示すブロック図である。
【図１１】画像処理の流れの、他の例を説明するフローチャートである。
【図１２】メモリの使用量の推移の他の例を説明する図である。
【図１３】撮像装置の主な構成例を示すブロック図である。
【図１４】パーソナルコンピュータの主な構成例を示すブロック図である。
【発明を実施するための形態】
【００２２】
以下、本技術を実施するための形態（以下実施の形態とする）について説明する。なお、説明は以下の順序で行う。
１．第１の実施の形態（画像処理装置）
２．第２の実施の形態（画像処理装置）
３．第３の実施の形態（画像処理装置）
４．第４の実施の形態（画像処理装置）
５．第５の実施の形態（撮像装置）
６．第６の実施の形態（パーソナルコンピュータ）
【００２３】
＜１．第１の実施の形態＞
［画像処理装置］
図１は、画像処理装置の一実施の形態の構成を表している。
【００２４】
図１に示される画像処理装置１００は、入力される露出条件が互いに異なる複数の画像を、白飛びや黒つぶれ等の画質劣化が生じないように合成し、適切な階調レンジの画像を生成するHDR処理を行うとともに、特定の領域で平滑化処理等を行い、視覚的に画質を向上させる美化処理を行う。
【００２５】
例えば、画角内の輝度レンジが広いシーンでは、自動露出処理（AE処理）の精度が悪化し、画角内の主な被写体が露出オーバーになって白飛びしたり、露出アンダーになってノイズに埋もれたり黒つぶれしたりする可能性が高くなる。そこで、このようなシーンにおいても適切な露光条件で撮像された画像を得るための撮像手法として、露光条件を変化させて複数回連続して露光し、それぞれの複数の画像信号を得る「ブラケット撮像」という手法が知られている。
【００２６】
この、ブラケット撮像を応用して、撮像素子の出力よりも広いダイナミックレンジを持つ画像（広ダイナミックレンジ画像）を得ることを可能とした撮像手法が考えられている。広ダイナミックレンジ画像の撮像では、ブラケット撮像により露出量を大きくした撮像画像と、露出量を抑えた撮像画像とを取得し、それらを合成することで広ダイナミックレンジの画像を生成する。すなわち、露出量を抑えて高輝度側の階調が得られた画像成分と、露出量を高めて低輝度側の階調が得られた画像成分とを合成することで、１回の露光では得ることができない広い輝度レンジの階調情報を、合成後の画像に取り入れることが可能となる。
【００２７】
画像処理装置１００には、例えばこのような撮像により得られた、互いに露出条件の異なる複数の画像（露出アンダー画像、適正露出画像、および露出オーバー画像）が入力される（矢印１４１乃至矢印１４３）。
【００２８】
画像処理装置３００は、輝度成分抽出部１１１、照明分離フィルタ１１２、HDR圧縮処理部１１３、および美化処理部１１４を有する。
【００２９】
HDR圧縮処理部１１３は、変換テーブル１２１および合成部１２２を有する。美化処理部１１４は、領域検出部１３１および美化フィルタ１３２を有する。
【００３０】
上述したように、画像処理装置１００には、適正値よりも意図的に露出を抑えて生成した露出アンダー画像、露出を適正値で生成した適正露出画像、適正値よりも意図的に露出を大きくして生成した露出オーバー画像が入力される。各画像は、HDR圧縮処理部１１３に供給される（矢印１４１乃至矢印１４３）。
【００３１】
また、適正露出画像は、輝度成分抽出部１１１にも供給される（矢印１４２）。輝度成分抽出部１１１は、入力された適正露出画像から輝度成分を抽出し、それを照明分離フィルタ１１２に供給する（矢印１４４）。
【００３２】
照明分離フィルタ１１２は、エッジ保存平滑化フィルタ等によって、入力された輝度成分から照明成分を抽出する。照明分離フィルタ１１２は、抽出した照明成分をHDR圧縮処理部１１３に供給する（矢印１４５）。この照明成分は、変換テーブル１２１に供給される。
【００３３】
HDR圧縮処理部１１３は、入力される露出条件が互いに異なる複数の画像を、白飛びや黒つぶれ等の画質劣化が生じないように合成し、適切な階調レンジの画像を生成するHDR処理を行う処理部である。
【００３４】
変換テーブル１２１は、照明分離フィルタ３１５から供給される照明成分を、所定の変換テーブルを用いて合成係数に変換する。合成係数はそれぞれの画素における、露出アンダー画像の重みと、適正露出画像の重みと、露出オーバー画像の重みからなる係数である。変換テーブル１２１は、その合成係数を合成部１２２に供給する（矢印１４６）。
【００３５】
合成部１２２は、供給された合成係数を用いて、入力された露出アンダー画像、適正露出画像、および露出オーバー画像を合成する。より具体的には、合成部１２２は、各画像を合成係数でそれぞれ重み付けして互いに加算する。合成部１２２は、このようにして、露出アンダー画像、適正露出画像、および露出オーバー画像から、白飛びや黒つぶれ等の画質劣化が生じないように合成された、適切な階調レンジの画像（HDR圧縮画像）を生成する。合成部１２２は、生成したHDR圧縮画像を美化処理部に供給する（矢印１４７）。このHDR圧縮画像は、領域検出部１３１および美化フィルタ１３２に供給される。
【００３６】
美化処理部１１４は、入力される画像の所定の領域に対して、平滑化処理等の所定の画像処理を施し、例えば視覚的に画質を向上させる等の視覚的効果を付与する処理部である。例えば、美化処理部１１４は、画像内の人物の肌の部分（肌領域）を検出し、その肌領域に対して平滑化処理等を行い、シミや皺等を目立たなくする処理（この場合、美肌処理とも称する）を行う。
【００３７】
領域検出部１３１は、合成部１２２から供給されるHDR圧縮画像から、美化処理の対象とする所望の領域（例えば、美肌処理の場合、肌領域）を処理対象領域として検出する。領域検出部１３１は、その検出結果を美化フィルタ１３２に供給する（矢印１４８）。
【００３８】
美化フィルタ１３２は、合成部１２２から供給されるHDR圧縮画像の、領域検出部１３１により検出された処理対象領域に対して、美化フィルタ演算（例えば平滑化処理等）を行う。美化フィルタ１３２は、フィルタ処理結果を最終出力画像として画像処理装置１００の外部に出力する（矢印１４９）。
【００３９】
なお、美化フィルタ１３２は、最終出力画像を、画像処理装置１００が有する記憶部（図示せず）に記憶するようにしてもよい。
【００４０】
このようにすることにより、画像処理装置１００は、入力される画像に対して、HDR処理を行うだけでなく、美化処理も行うことができる。つまり、画像処理装置１００は、より多様な効果を画像に付与することができる。
【００４１】
この画像処理装置１００において、さらに、HDR処理とともに、画像のディティールを過度に強調することにより、絵画調の視覚的効果を付与することを考える。その場合、例えば、画像処理装置１００において、絵画調処理により、HDR圧縮処理部１１３から出力されるHDR圧縮画像のディティール成分を過度に強調して絵画調のHDR圧縮画像を生成し、その絵画調のHDR圧縮画像を美化処理部１１４により美化処理する方法が考えられる。
【００４２】
例えば美化処理（美肌処理）では、皺を抑えつつ睫毛を際立たせるために、検出されたディティールが皺であるか否かを高周波成分の振幅で判別して、皺にあたるディティールだけを抑制する処理がなされる。しかしながら、絵画調HDR圧縮処理の出力を処理した場合、ディティールの振幅が強調されているため、皺か否かの判別性能が低下し、結果として美肌処理の効果が得られなくなる可能性がある。
【００４３】
また、絵画調HDR圧縮処理で強調されるディティールには、そもそも強調したくない信号が含まれている。たとえば、肌のシミや皺、空のノイズなどがあげられる。こういった信号を強調すると、質感はあるが、好ましくない印象を与える画像となってしまう可能性がある。
【００４４】
＜２．第２の実施の形態＞
［画像処理装置］
そこで、例えば、図２に示されるように、美化処理をHDR処理の前において行う方法を考える。図２は、画像処理装置の他の構成例を示すブロック図である。
【００４５】
図２に示される画像処理装置２００は、基本的に画像処理装置１００と同様の装置であり、入力される露出条件が互いに異なる複数の画像を、白飛びや黒つぶれ等の画質劣化が生じないように合成し、適切な階調レンジの画像を生成するHDR処理を行うとともに、特定の領域で平滑化処理等を行い、視覚的に画質を向上させる美化処理を行う。
【００４６】
ただし、画像処理装置２００は、美化処理を行ってからHDR処理を行う。図２に示されるように画像処理装置２００は、美化処理部１１４−１乃至美化処理部１１４−３、輝度成分抽出部１１１、照明分離フィルタ１１２、およびHDR圧縮処理部１１３を有する。
【００４７】
美化処理部１１４−１乃至美化処理部１１４−３は、それぞれ、図１の美化処理部１１４と同様の構成を有し、同様の処理を行う。つまり、美化処理部１１４−１は、露出アンダー画像に対して美化処理を行い、その処理結果をHDR圧縮処理部１１３に供給する（矢印２４１）。また、美化処理部１１４−２は、適正露出画像に対して美化処理を行い、その処理結果をHDR圧縮処理部１１３および輝度成分抽出部２４４に供給する（矢印２４２）。さらに、美化処理部１１４−３は、露出オーバー画像に対して美化処理を行い、その処理結果をHDR圧縮処理部１１３に供給する（矢印２４３）。
【００４８】
輝度成分抽出部１１１は、美化処理された適正露出画像から輝度成分を抽出し、それを照明分離フィルタ１１２に供給する（矢印２４４）。照明分離フィルタ１１２は、美化処理された適正露出画像の輝度成分から照明成分を抽出し、それをHDR圧縮処理部１１３に供給する（矢印２４５）。
【００４９】
HDR圧縮処理部１１３は、照明成分から合成係数を求め、その合成係数を用いて美化処理された露出アンダー画像、美化処理された適正露出画像、および美化処理された露出オーバー画像を重み付けして合成し、HDR圧縮画像として出力する（矢印２４７）。
【００５０】
このようにすることにより、画像処理装置２００は、入力される画像に対して、HDR処理を行うだけでなく、美化処理も行うことができる。つまり、画像処理装置２００は、より多様な効果を画像に付与することができる。
【００５１】
ただし、この方法の場合、画像処理装置２００に入力される全ての画像（露出アンダー画像、適正露出画像、および露出オーバー画像）に対して、それぞれ美化処理を行うことになり、その分、処理の負荷（処理量や処理時間）が増大する可能性がある。
【００５２】
＜３．第３の実施の形態＞
［画像処理装置］
図３は、画像処理装置の、さらに他の構成例を示すブロック図である。
【００５３】
図３に示される画像処理装置３００は、画像処理装置１００や画像処理装置２００と同様のHDR処理および美化処理を行うとともに、さらに、画像に対して絵画調の視覚的効果を付与する絵画調処理も行う。
【００５４】
図３に示される画像処理装置３００は、制御部３１１、選択部３１２、美化処理部３１３、輝度成分抽出部３１４、照明分離フィルタ３１５、HDR圧縮処理部３１６、美化処理部３１７、絵画調処理部３１８、および記憶部３１９を有する。
【００５５】
また、絵画調処理部３１８は、制御部３２１、ディティール生成部３２２、およびディティール強調部３２３を有する。
【００５６】
画像処理装置３００に入力された露出アンダー画像は、HDR圧縮処理部３１６に供給される（矢印３４１）。画像処理装置３００に入力された適正露出画像は、HDR圧縮処理部３１６および選択部３１２に供給される（矢印３４３）。画像処理装置３００に入力された露出オーバー画像は、HDR圧縮処理部３１６に供給される（矢印３４３）。
【００５７】
制御部３１１は、選択部３１２の動作を制御することにより、絵画調処理を行うか否かによって、美化処理部３１３において美化処理を行うか否かを制御する（矢印３４４）。絵画調処理を行うか否かは、例えばユーザや他の装置等の外部より指示される。若しくは、制御部３１１が予め記憶している設定情報に基づいて絵画調処理を行うか否かを決定するようにしてもよい。
【００５８】
選択部３１２は、制御部３１１の制御に従って、供給された適正露出画像を、美化処理部３１３若しくは輝度成分抽出部３１４のいずれか一方に供給する。例えば、美化処理を行う場合、選択部３１２は、適正露出画像を美化処理部３１３に供給する（矢印３４６）。また、美化処理を行わない場合、選択部３１２は、適正露出画像を輝度成分抽出部３１４に供給する（矢印３４８）。
【００５９】
美化処理部３１３は、図１の美化処理部１１４と同様の構成を有し、同様の処理を行う。つまり、美化処理部３１３は、領域検出部１３１および美化フィルタ１３２を有し、供給された適正露出画像から処理対象領域を検出し、その処理対象領域に対して美化フィルタ演算する美化処理を行う。美化処理部３１３は、美化処理された適正露出画像を輝度成分抽出部３１４に供給する（矢印３４７）。
【００６０】
輝度成分抽出部３１４は、図１の輝度成分抽出部１１１と同様の構成を有し、同様の処理を行う。つまり、輝度成分抽出部３１４は、供給された適正露出画像（美化処理部３１３から供給される美化処理された適正露出画像、若しくは、選択部３１２から供給される美化処理されていない適正露出画像（すなわち、選択部３１２により選択された方））から輝度成分を抽出する。輝度成分抽出部３１４は、抽出した輝度成分を照明分離フィルタ３１５およびディティール生成部３２２に供給する（矢印３４９）。なお、選択部３１２を省略し、美化処理部３１３が、例えば制御部３１１の制御に従って、美化処理を実行したり、実行しなかったり（美化処理を省略したり）することができるようにしてもよい。
【００６１】
照明分離フィルタ３１５は、図１の照明分離フィルタ１１２と同様の構成を有し、同様の処理を行う。つまり、照明分離フィルタ３１５は、エッジ保存平滑化フィルタ等によって、入力された輝度成分から照明成分（低周波成分とも称する）を抽出する。照明分離フィルタ３１５は、抽出した照明成分をHDR圧縮処理部３１６およびディティール生成部３２２に供給する（矢印３５０）。
【００６２】
HDR圧縮処理部３１６は、図１のHDR圧縮処理部１１３と同様の構成を有し、同様の処理を行う。つまり、HDR圧縮処理部３１６は、変換テーブル１２１および合成部１２２を有し、照明分離フィルタ３１５から供給される照明成分を、所定の変換テーブルを用いて合成係数に変換し、その合成係数を用いて、入力された露出アンダー画像、適正露出画像、および露出オーバー画像を合成係数で重み付けして互いに加算する。HDR圧縮処理部３１６は、このようにして、露出アンダー画像、適正露出画像、および露出オーバー画像から、白飛びや黒つぶれ等の画質劣化が生じないように、輝度信号の階調範囲が圧縮されて合成された、適切な階調レンジの画像（HDR圧縮画像）を生成する。HDR圧縮処理部３１６は、生成したHDR圧縮画像（輝度信号の階調範囲が圧縮された画像）を美化処理部３１７に供給する（矢印３５１）。
【００６３】
美化処理部３１７は、図１の美化処理部１１４と同様の構成を有し、同様の処理を行う。つまり、美化処理部３１７は、美化処理部３１３は、領域検出部１３１および美化フィルタ１３２を有し、供給されたHDR圧縮画像から処理対象領域を検出し、その処理対象領域に対して美化フィルタ演算する美化処理を行う。美化処理部３１７は、美化処理されたHDR圧縮画像をディティール強調部３２３に供給する（矢印３５２）。
【００６４】
制御部３２１は、絵画調の視覚的効果を与えるためのHDR圧縮画像の反射率成分の強調量であるディティール強調量を設定する。つまり、このディティール強調量は、美化処理されたHDR圧縮画像のディティール成分を過度に強調するゲインである。制御部３２１は、そのディティール強調量をディティール生成部３２２に供給する（矢印３４５）。
【００６５】
例えば、制御部３２１は、記憶部を有し、予め設定されたディティール強調量を記憶し、それをディティール生成部３２２に供給する。また、例えば、制御部３２１は、入力部を有し、外部より入力されるディティール強調量をディティール生成部３２２に供給するようにしてもよい。さらに例えば、制御部３２１は、ユーザの指示を受け付ける受付部を有し、ユーザにより設定されるディティール強調量をディティール生成部３２２に供給するようにしてもよい。また、制御部３２１は、演算部を有し、外部やユーザ等より入力される情報に基づいてディティール強調量を算出し、それをディティール生成部３２２に供給するようにしてもよい。
【００６６】
例えば、制御部３２１は、美化処理されたHDR圧縮画像に対して絵画調の視覚的効果を付与する場合、ディティール強調量として大きな値（例えば、１より十分に大きな値）を設定する。また、美化処理されたHDR圧縮画像に対して絵画調の視覚的効果を付与しない場合、制御部３２１は、ディティール強調量として小さな値（例えば、１に近い値）を設定する。
【００６７】
ディティール生成部３２２は、輝度成分抽出部３１４から供給される適正露出画像の輝度成分と、照明分離フィルタ３１５から供給される適正露出画像の輝度成分の照明成分とを用いて、適正露出画像の輝度成分の反射率成分（ディティール成分、高周波成分とも称する）を抽出する。
【００６８】
さらに、ディティール生成部３２２は、抽出した反射率成分を、制御部３２１から供給されるディティール強調量で強調し、強調されたディティール成分を生成する。ディティール生成部３２２は、その強調されたディティール成分をディティール強調部３２３に供給する（矢印３５３）。
【００６９】
ディティール強調部３２３は、美化処理部３１７から供給される美化処理されたHDR圧縮画像に対して、ディティール生成部３２２から供給される強調されたディティール成分を合成（乗算または加算）する。ディティール成分を強調するディティール強調量が大きい場合、ディティール強調部３２３は、このような合成処理により、美化処理部３１７から供給される美化処理されたHDR圧縮画像のディティールを過度に強調し、絵画調の視覚的効果を付与することができる。なお、ディティール成分を強調するディティール強調量が小さい場合、ディティール強調部３２３は、美化処理部３１７から供給される美化処理されたHDR圧縮画像を、ディティールを過度に強調せずに出力することができる。
【００７０】
ディティール強調部３２３は、このような合成処理が行われた（絵画調の）HDR圧縮画像を出力する（矢印３５４）。
【００７１】
ディティール強調部３２３から出力される（絵画調）HDR画像データは、さらに、ビット数を圧縮する等してもよい。
【００７２】
なお、記憶部３１９は、各処理部間で授受される各種画像データを記憶する。つまり、上述した各処理部は、記憶部３１９を介して、露出アンダー画像、適正露出画像、露出オーバー画像、照明成分、ディティール成分、美化処理された美化処理画像、HDR圧縮画像、絵画調処理が行われた絵画調HDR圧縮画像等の授受を行う。
【００７３】
以上のように、画像処理装置３００は、容易に、露出条件が互いに異なる複数の画像を、白飛びや黒つぶれ等の画質劣化が生じないように合成し、適切な階調レンジの画像を生成するとともに、画像に対して、美化処理を行い、所望の領域の視覚的な画質を向上させたり、絵画風の視覚的効果を付与したりすることができる。つまり、画像処理装置３００は、より多様な効果を画像に付与することができる。
【００７４】
なお、画像処理装置３００において、ディティール成分を過度に強調しない（絵画調の視覚的効果を付与しない）場合、例えば選択部３１２の選択によって、美化処理部３１３による美化処理が省略され、美化処理部３１７による美化処理のみが行われる。この場合、画像処理装置１００と同様の処理結果となる。
【００７５】
また、画像処理装置３００において、ディティール成分を過度に強調する（絵画調の視覚的効果を付与する）場合、例えば選択部３１２の選択によって、美化処理部３１３による美化処理と美化処理部３１７による美化処理の両方が行われる。
【００７６】
この場合、ディティール生成部３２２が生成するディティール成分は、美化処理部３１３により美化処理された画像を用いて生成される。つまり、美化処理部３１３は、強調させるディティール成分を、その強調の前に美化処理する。つまり、美化処理により抑制すべきディティールは、強調される前に抑制される。
【００７７】
したがって、画像処理装置３００は、例えば肌のシミや皺、空のノイズ等の強調したくない成分を強調せずに、必要なディティール成分見えのみを実物よりも強調させて質感を豊富にすることができる。つまり、画像処理装置３００は、画質の低減を抑制しながら、画像に絵画調の視覚的効果を与えることができる。
【００７８】
また、この場合、美化処理をディティール強調より前に行うことにより、ディティールが強調されることによる美化処理の効果の低減を抑制することができる。
【００７９】
なお、この場合、HDR圧縮処理部３１６に供給される照明成分も美化処理が施されていることになるが、照明成分は低域成分であるので美化処理の影響は少なく、また、合成係数の算出に用いられるのみであるので、美化処理の有無は、処理結果に影響しないものとする事ができる。換言するに、例えば、別途、美化処理されていない適正露出画像から輝度成分の照明成分を抽出し、それをHDR圧縮処理部３１６に供給するようにして、HDR圧縮処理部３１６に供給される照明成分に対して美化処理が施されないようにすることもできる。また、以上においては、照明成分やディティール成分を適正露出画像から算出するように説明したが、これに限らず、例えば、露出アンダー画像や露出オーバー画像から照明成分やディティール成分を算出するようにしてもよい。例えば、露出アンダー画像から照明成分やディティール成分を算出する場合、選択部３１２の入力は、矢印３４１となる。また、例えば、露出オーバー画像から照明成分やディティール成分を算出する場合、選択部３１２の入力は、矢印３４３となる。
【００８０】
なお、ディティール強調量の値は任意であるが、例えば、２倍、４倍、８倍のように、一般的に、ディティール強調量を大きくするほど、ディティールがより強く強調され、画像に与える絵画風の視覚的効果を強くすることができる。
【００８１】
制御部３２１は、画像に対してより強い絵画風の視覚的効果を与える場合、このディティール強調量を大きな値に設定する。また、画像に対して絵画風の視覚的効果を強く与えたくない場合、制御部３２１は、ディティール強調量を小さな値（例えば１）に設定する。つまり、制御部３２１は、このディティール強調量の大きさを制御することにより、HDR圧縮処理を、被写体に忠実に行うのか、それとも絵画調の視覚的効果を付与するように行うのかを制御することができる。
【００８２】
また、線形の平滑化フィルタ処理を用いて照明成分と反射率成分とを分離するようにすると、輪郭にHALO（輪郭部分に発生する後光状のアーチファクト）と呼ばれる現象が現れて、好ましくない画質になる（視覚的に画質が劣化する）可能性がある。そこで、照明分離フィルタ３１５にはエッジ保存平滑化フィルタを用いるのが望ましい。エッジ保存平滑化フィルタとしては、例えばバイラテラルフィルタや、国際公開WO2009/072537に記載の方法等がある。
【００８３】
なお、制御部３２１は、ディティール強調量を大きな値にするか小さな値にするかの切り替えだけでなく、強調量の大きさを任意に制御することができるようにしてもよい。
【００８４】
例えば、制御部３２１が、ディティール強調量の大きさを、輝度や位置に応じて制御することができるようにしてもよい。
【００８５】
例えば、ディティール強調部３２３は、画像の全ての領域についてディティール成分を強調するようにしてもよいし、画像内の一部の領域についてのみ、ディティール成分を強調するようにしてもよい。例えばピクチャインピクチャのように、複数の画像が含まれる場合、そのうち一部の画像（すなわち、一部の領域）についてのみ絵画調の視覚的効果を付与するようにすることもできる。その場合、制御部３２１が、ユーザ指示、外部からの指示、若しくは画像の解析結果等任意の情報に基づいて強調する領域を設定し、ディティール生成部３２２が、その設定された領域のディティール成分についてのみ、強調するようにする。なお、この領域は予め定められていても良い。
【００８６】
当然、美化処理についても同様であり、美化処理部３１３が、処理対象の輝度や大きさや位置に応じて、美化フィルタの強度を制御することができるようにしてもよい。
【００８７】
なお、以上においては、美化処理を例に説明したが、美化処理部３１３および美化処理部３１７において行う処理は美化処理以外であっても、高周波成分に影響を及ぼす処理であればどのような処理であってもよい。例えば、高周波成分のうち不要な成分を低減させる処理であってもよい。例えば、高周波成分の中から所望の部分を特定し、その部分についてのみ行う処理であってもよい。例えば、被写体の検出結果を使って特定の領域で平滑化処理を行うアルゴリズム一般に応用可能である。より具体的には、例えば、遠距離の被写体をぼかす処理や、空の領域のノイズ削減する処理などであってもよい。
【００８８】
［ディティール生成部］
図４は、ディティール生成部３２２の主な構成例を示すブロック図である。図４に示されるように、ディティール生成部３２２は、除算部３６１、減算部３６２、乗算部３６３、および加算部３６４を有する。
【００８９】
除算部３６１は、輝度成分抽出部３１４から供給される輝度成分（矢印３４９）を、照明分離フィルタ３１５から供給される照明成分（矢印３５０）で除算することにより、ディティール成分を抽出する。除算部３６１は、抽出したディティール成分を乗算部３６３に供給する（矢印３７１）。
【００９０】
減算部３６２は、標準となるディティールゲインが自動でかかる分を補正するために、制御部３２１から供給されるディティール強調量から値「１」を減算する。減算部３６２は、値「１」を減算したディティール強調量を乗算部３６３に供給する（矢印３７２）。
【００９１】
乗算部３６３は、除算部３６１から供給されるディティール成分と、減算部３６２から供給されるディティール強調量とを乗算し、その乗算結果を加算部３６４に供給する（矢印３７３）。
【００９２】
加算部３６４は、乗算部３６３から供給される、ディティール成分と値「１」が減算されたディティール強調量との乗算結果に、制御部３２１から供給されるディティール強調量（矢印３４５）を加算する。加算部３６４は、その加算結果、すなわち、過度に強調されたディティール成分をディティール強調部３２３に供給する（矢印３５３）。
【００９３】
なお、メモリ削減などの理由で、平滑化フィルタ処理の出力時に信号精度の丸め処理がある場合、丸め処理の前の信号（輝度成分および照明成分）から、ディティール成分が抽出されるようにするのが望ましい。これは、ディティール成分の計算では演算精度が重要なためである。
【００９４】
［画像処理の流れ］
図５のフローチャートを参照して、画像処理の流れの例を説明する。
【００９５】
ステップＳ３０１において、画像処理装置３００は、露出アンダー画像、適正露出画像、および露出オーバー画像を取得し、記憶部３１９に記憶させる。
【００９６】
ステップＳ３０２において、制御部３１１および制御部３２１は、HDR圧縮処理を行う画像に対して絵画調効果を与えるか否かを判定する。絵画調効果を与えると判定した場合、制御部３１１および制御部３２１は、処理をステップＳ３０３に進める。ステップＳ３０３において、制御部３２１は、ディティール成分を過度に増幅するように、ディティール強調量に大きな値（１より十分に大きな値）を設定する。ステップＳ３０４において、制御部３１１は、美化処理を実行させるように選択部３１２を制御する。美化処理部３１３は、その制御に従って、記憶部３１９から適正露出画像を読み出し、その適正露出画像に対して美化処理を行う。美化処理が終了すると、美化処理部３１３は、処理をステップＳ３０６に進める。
【００９７】
また、ステップＳ３０２において、画像に絵画調効果を与えないと判定した場合、制御部３１１および制御部３２１は、処理をステップＳ３０５に進める。ステップＳ３０５において、制御部３２１は、ディティール強調量に小さな値（１に近い値）を設定する。また、制御部３１１は、美化処理を実行させないように選択部３１２を制御する。ステップＳ３０５の処理が終了すると、制御部３２１は、処理をステップＳ３０６に進める。
【００９８】
ステップＳ３０６において、輝度成分抽出部３１４は、記憶部３１９から適正露出画像を読み出し、読み出した適正露出画像から輝度成分を抽出する。記憶部３１９は、抽出された輝度成分を記憶する。なお、輝度成分は、適正露出画像の１コンポーネントとすることもできるので、ここでの輝度成分の記憶は省略することもできる。ステップＳ３０７において、照明分離フィルタ３１５は、記憶部３１９から輝度成分を読み出し、読み出した輝度成分から照明成分を抽出する。記憶部３１９は、抽出された照明成分を記憶する。
【００９９】
ステップＳ３０８において、HDR圧縮処理部３１６は、記憶部３１９から、露出アンダー画像、適正露出画像、露出オーバー画像、および照明成分を読み出し、それらを用いてHDR圧縮画像を生成する。
【０１００】
ステップＳ３０９において、美化処理部３１７は、ステップＳ３０８の処理により生成されたHDR圧縮画像を記憶部３１９から読み出し、そのHDR圧縮画像に対して美化処理を行う。
【０１０１】
ステップＳ３１０において、絵画調処理部３１８は、ステップＳ３０９において生成された美化処理画像（美化処理結果）、適正露出画像の輝度成分、および、その輝度成分の照明成分を記憶部３１９から読み出し、それらを用いて美化処理画像のディティールを強調する。このようにディティールが強調されたHDR画像は、画像処理装置３００の外部に出力するようにしてもよいし、画像処理装置３００が有する記憶部３１９に記憶するようにしてもよい。
【０１０２】
［美化処理］
次に、図５のステップＳ３０４において実行される美化処理の流れの例を、図６のフローチャートを参照して説明する。
【０１０３】
美化処理が開始されると、ステップＳ３２１において、美化処理部３１３の領域検出部１３１は、記憶部３１９から読み出した適正露出画像の処理対象領域を検出する。ステップＳ３２２において、美化処理部３１３の美化フィルタ１３２は、記憶部３１９から読み出した適正露出画像の未処理の画素を取得する。
【０１０４】
ステップＳ３２３において、美化フィルタ１３２は、ステップＳ３２１において行われた処理対象領域検出結果に基づいて、ステップＳ３２２において取得した画素が、処理対象領域の画素であるか否かを判定する。処理対象領域の画素であると判定された場合、美化フィルタ１３２は、処理をステップＳ３２４に進め、取得した画素に対して美化フィルタ演算（フィルタ処理）を行う。美化フィルタ演算を行うと、美化フィルタ１３２は、処理をステップＳ３２５に進める。
【０１０５】
また、ステップＳ３２３において、取得した画素が処理対象領域の画素で無いと判定された場合、美化フィルタ１３２は、ステップＳ３２４の処理を省略し、ステップＳ３２５に処理を進める。
【０１０６】
ステップＳ３２５において、美化フィルタ１３２は、適正露出画像の全ての画素を処理したか否かを判定し、未処理の画素が存在すると判定した場合、処理をステップＳ３２２に戻し、それ以降の処理を繰り返す。
【０１０７】
また、ステップＳ３２５において、適正露出画像の全ての画素を処理したと判定した場合、美化フィルタ１３２は、処理をステップＳ３２６に進める。
【０１０８】
ステップＳ３２６において、記憶部３１９は、美化フィルタ演算が適宜施された美化処理結果である美化処理画像を記憶する。ステップＳ３２６の処理が終了すると、処理は、図５に戻される。
【０１０９】
なお、図５のステップＳ３０９において行われる美化処理も、処理対象とする画像が異なること以外は、ステップＳ３０４の場合と同様に実行される。つまり、ステップＳ３０９において行われる美化処理も、図６のフローチャートを参照して説明することができるので、その説明は省略する。
【０１１０】
［HDR圧縮処理］
次に、図５のステップＳ３０８において実行されるHDR圧縮処理の流れの例を図７のフローチャートを参照して説明する。
【０１１１】
ステップＳ３３１において、HDR圧縮処理部３１６の変換テーブル１２１は、予め用意された変換テーブルを用いて、記憶部３１９から読み出した照明成分の処理対象の画素の画素値を合成係数に変換する。
【０１１２】
ステップＳ３３２において、HDR圧縮処理部３１６の合成部１２２は、記憶部３１９から読み出した露出アンダー画像、適正露出画像、および露出オーバー画像の、記憶部３１９から読み出した照明成分の画素位置に対応する画素値を取得する。
【０１１３】
ステップＳ３３３において、合成部１２２は、ステップＳ３３２において取得された各画像の画素値を、それぞれ、ステップＳ３３１において求められた合成係数で重み付けし、互いに加算する。この加算結果が、各画像の合成結果となる。つまり、全ての画素についてこのような処理を行うことにより、各画像が合成されたHDR圧縮画像が生成される。
【０１１４】
ステップＳ３３４において、合成部１２２は、全ての画素を処理したか否かを判定し、未処理の画素が存在する場合、処理をステップＳ３３１に戻し、それ以降の処理を繰り返す。
【０１１５】
また、ステップＳ３３４において、全ての画素を処理したと判定された場合、合成部１２２は、処理をステップＳ３３５に進める。
【０１１６】
ステップＳ３３５において、記憶部３１９は、以上のようにして生成されたHDR圧縮画像を記憶する。ステップＳ３３５の処理が終了すると、処理は、図５に戻される。
【０１１７】
［ディティール強調処理］
次に、図５のステップＳ３１０において実行されるディティール強調処理の流れの例を図８のフローチャートを参照して説明する。
【０１１８】
ステップＳ３４１において、ディティール生成部３２２は、記憶部３１９から読み出した輝度成分と照明成分とを用いて、ディティール成分を生成する。記憶部３１９は、そのディティール成分を記憶する。
【０１１９】
ステップＳ３４２において、ディティール生成部３２２は、未処理の画素について、ディティール成分を、記憶部３１９から読み出し、取得する。ステップＳ３４３において、ディティール生成部３２２は、制御部３２１により設定されたディティール強調量に応じて、そのディティール成分を強調する。
【０１２０】
ステップＳ３４４において、ディティール強調部３２３は、記憶部３１９から美化処理結果である美化処理画像の、対応する画素の画素値を読み出し、その画素値に、ステップＳ３４３の処理により強調したディティール成分を合成（乗算または加算）する。この合成結果が、ディティール強調結果となる。つまり、全ての画素について、このような合成を行うことにより、美化処理画像のディティール成分が強調され、美化処理された絵画調のHDR圧縮画像が生成される。
【０１２１】
ステップＳ３４５において、ディティール生成部３２２は、輝度成分若しくは照明成分の全ての画素を処理したか否かを判定し、未処理の画素が存在すると判定した場合、処理をステップＳ３４２に戻し、それ以降の処理を繰り返す。
【０１２２】
そして、ステップＳ３４５において、全ての画素を処理したと判定された場合、ディティール生成部３２２は、処理をステップＳ３４６に進める。
【０１２３】
ステップＳ３４６において、記憶部３１９は、ディティール強調結果、すなわち、美化処理された絵画調のHDR圧縮画像を記憶する。また、ディティール強調部３２３は、その美化処理された絵画調のHDR圧縮画像を画像処理装置３００の外部に出力する。
【０１２４】
ステップＳ３４６の処理が終了すると、処理は、図５に戻される。
【０１２５】
以上のように各処理を行うことにより、画像処理装置３００は、容易に、露出条件が互いに異なる複数の画像を、白飛びや黒つぶれ等の画質劣化が生じないように合成し、適切な階調レンジの画像を生成するとともに、画像に対して、美化処理を行い、所望の領域の視覚的な画質を向上させたり、絵画風の視覚的効果を付与したりすることができる。つまり、画像処理装置３００は、より多様な効果を画像に付与することができる。
【０１２６】
この場合の、記憶部３１９の使用状況の推移について、図９を参照して説明する。図９において、横軸は、処理の流れを示し、縦軸は、使用される記憶領域の大きさ（容量）を示す。各四角は記憶部３１９に記憶される画像データを模式的に示したものである。
【０１２７】
図９Ａは、図３の画像処理装置３００において、ディティールを過度に強調し、画像に絵画調の視覚的効果を付与する場合の、記憶部３１９の使用状況の推移の例を示している。また、図９Ｂは、図３の画像処理装置３００において、ディティールを強調せず、画像に絵画調の視覚的効果を付与しない場合の、記憶部３１９の使用状況の推移の例を示している。
【０１２８】
つまり、図９Ａに示されるように、画像に絵画調の視覚的効果を付与する場合、４．５画面分の記憶領域を必要とする。また、図９Ｂに示されるように、画像に絵画調の視覚的効果を付与しない場合、３．５画面分の記憶領域を必要とする。
【０１２９】
＜４．第４の実施の形態＞
［画像処理装置］
以上に説明した画像処理装置３００においては、画像に絵画調の視覚的効果を付与する場合、美化処理が２度行われることになる。したがって、その分処理量や処理時間が増大する可能性がある。また、図９Ａに示されるように、記憶部３１９の使用量も増大する可能性がある。
【０１３０】
そこで、このような美化処理の負荷を低減させるために、画像に絵画調の視覚的効果を付与する場合も、美化処理が１度で済むようにしてもよい。
【０１３１】
図１０は、その場合の画像処理装置の主な構成例を示すブロック図である。
【０１３２】
図１０に示される画像処理装置４００は、基本的に画像処理装置３００と同様の装置である。つまり、画像処理装置４００は、画像に対して、HDR処理、美化処理、および絵画調処理を行う。
【０１３３】
図１０に示される画像処理装置４００は、制御部４１１、選択部４１２、美化処理部４１３、輝度成分抽出部４１４、照明分離フィルタ４１５、HDR圧縮処理部４１６、選択部４１７、美化処理部４１８、絵画調処理部４１９、および記憶部４２０を有する。
【０１３４】
また、絵画調処理部４１９は、制御部４２１、ディティール生成部４２２、およびディティール強調部４２３を有する。
【０１３５】
制御部４１１は、制御部３１１と同様に、選択部４１２を制御し、美化処理部４１３において美化処理を行うか否かを制御する。制御部４１１は、さらに、選択部４１７も制御し、美化処理部４１８において美化処理を行うか否かを制御する。
【０１３６】
例えば、制御部４１１は、画像に絵画調の視覚的効果を付与する場合、美化処理部４１３において美化処理が行われ、美化処理部４１８において美化処理が行われないように制御する。また、例えば、制御部４１１は、画像に絵画調の視覚的効果を付与しない場合、美化処理部４１８において美化処理が行われ、美化処理部４１３において美化処理が行われないように制御する。
【０１３７】
選択部４１２は、選択部３１２と同様に、制御部４１１の制御に従って、適正露出画像の供給先を選択する。ただし、選択部４１２は、適正露出画像の供給先を、美化処理部４１３、または、輝度成分抽出部４１４およびHDR圧縮処理部４１６のいずれかから選択する。
【０１３８】
美化処理部４１３は、美化処理部３１３と同様の構成を有し、同様の処理を行う。ただし、美化処理部４１３は、選択部４１２から供給される適正露出画像に対して美化処理を施して得られる美化処理画像を、輝度成分抽出部４１４およびHDR圧縮処理部４１６に供給する。
【０１３９】
つまり、画像処理装置４００の場合、ディティール成分を生成するために用いられる適正露出画像だけでなく、HDR圧縮画像を生成するために用いられる適正露出画像に対しても美化処理が行われる。
【０１４０】
輝度成分抽出部４１４は、輝度成分抽出部３１４と同様の構成を有し、同様の処理を行う。照明分離フィルタ４１５は、照明分離フィルタ３１５と同様の構成を有し、同様の処理を行う。
【０１４１】
HDR圧縮処理部４１６は、HDR圧縮処理部３１６と同様の構成を有し、同様の処理を行う。ただし、HDR圧縮処理部４１６が、画像処理装置４００に入力された露出アンダー画像および露出オーバー画像に合成する適正露出画像は、美化処理部４１３により美化処理された適正露出画像、若しくは、選択部４１２から供給される、美化処理部４１３において美化処理されていない適正露出画像である。つまり、画像に対して絵画調の視覚的効果が付与される場合、合成される適正露出画像として、美化処理された適正露出画像（美化処理画像）が採用される。
【０１４２】
HDR圧縮処理部４１６は、照明成分に基づいて、露出アンダー画像、露出オーバー画像、および適正露出画像を合成して得られるHDR圧縮画像を、選択部４１７に供給する。
【０１４３】
選択部４１７は、制御部４１１の制御に従って、このHDR圧縮画像の供給先を、美化処理部４１８およびディティール強調部４２３のいずれか一方から選択する。
【０１４４】
美化処理部４１８は、美化処理部３１７と同様の構成を有し、同様の処理を行う。つまり、美化処理部４１８は、画像に絵画調の視覚的効果を付与しない場合のみ、HDR圧縮画像に対して美化処理を施し、その美化処理結果である美化処理画像をディティール強調部４２３に供給する。
【０１４５】
制御部４２１は、制御部３２１と同様の構成を有し、同様の処理を行う。ディティール生成部４２２は、ディティール生成部３２２と同様の構成を有し、同様の処理を行う。ディティール強調部４２３は、ディティール強調部３２３と同様の構成を有し、同様の処理を行う。
【０１４６】
記憶部４２０は、記憶部３１９と同様に、各処理部間で授受される各種の画像データを記憶する。つまり、露出アンダー画像、適正露出画像、露出オーバー画像、美化処理画像、照明成分、ディティール成分、HDR圧縮画像、および絵画調HDR圧縮画像等は、この記憶部４２０を介して授受される。
【０１４７】
以上のように、画像処理装置４００は、画像に絵画調の視覚的効果を付与する場合、美化処理部４１３においてのみ美化処理を行い、画像に絵画調の視覚的効果を付与しない場合、美化処理部４１８においてのみ美化処理を行う。したがって、画像に絵画調の視覚的効果を付与する場合もしない場合も美化処理を１度にすることができ、その分、負荷（処理量や処理時間）を抑制することができる。また、記憶部４２０の使用量も低減させることができる。
【０１４８】
なお、画像に絵画調の視覚的効果を付与しない場合、美化処理部４１８においてのみ美化処理が行われるので、画像処理装置３００のときと同様の処理となる。ただし、画像に絵画調の視覚的効果を付与する場合、美化処理部４１３においてのみ美化処理が行われるので、画像処理装置３００のときと処理が異なる。
【０１４９】
つまり、画像処理装置４００の場合、HDR圧縮画像は、その生成に用いられた適正露出画像についてのみ美化処理が施されており、露出アンダー画像や露出オーバー画像については美化処理が施されていない。したがって、厳密には、HDR圧縮画像生成後に美化処理が行われる画像処理装置３００の場合と、処理結果が異なる。
【０１５０】
しかしながら、ディティール成分が過度に強調される絵画調の視覚的効果が付与された画像において、強調されたディティール成分が視覚的に最も目立つ（支配的である）。したがって、強調されるディティール成分において、同様に美化処理が施されていれば、視覚的な影響は極めて小さい。
【０１５１】
つまり、画像処理装置４００が生成する絵画調HDR圧縮画像と、画像処理装置３００が生成する絵画調HDR圧縮画像とは、視覚的には略同様となる。
【０１５２】
以上のように、画像処理装置４００は、容易に、露出条件が互いに異なる複数の画像を、白飛びや黒つぶれ等の画質劣化が生じないように合成し、適切な階調レンジの画像を生成するとともに、画像に対して、美化処理を行い、所望の領域の視覚的な画質を向上させたり、絵画風の視覚的効果を付与したりすることができる。つまり、画像処理装置４００は、より多様な効果を画像に付与することができる。この場合も、照明成分やディティール成分の算出、並びに、美化処理部４１３の美化処理は、適正露出画像からだけでなく、露出アンダー画像や露出オーバー画像から行うようにすることもできる。つまり、選択部４１２の入力を矢印４４１や矢印４４３とすることもできる。その場合、適正露出画像（矢印４４２）は、HDR圧縮処理部４１６に入力される。
【０１５３】
［画像処理の流れ］
図１１のフローチャートを参照して、この場合の画像処理の流れの例を説明する。
【０１５４】
ステップＳ４０１において、画像処理装置４００は、露出アンダー画像、適正露出画像、および露出オーバー画像を取得し、記憶部４２０に記憶させる。
【０１５５】
ステップＳ４０２において、制御部４２１は、HDR圧縮処理を行う画像に対して絵画調効果を与えるか否かを判定する。絵画調効果を与えると判定した場合、制御部４２１は、処理をステップＳ４０３に進める。ステップＳ４０３において、制御部４２１は、ディティール成分を過度に増幅するように、ディティール強調量に大きな値（１より十分に大きな値）を設定する。
【０１５６】
また、ステップＳ４０２において、画像に絵画調効果を与えないと判定した場合、制御部４２１は、処理をステップＳ４０４に進める。ステップＳ４０４において、制御部４２１は、ディティール強調量に小さな値（１に近い値）を設定する。ステップＳ４０３若しくはステップＳ４０４の処理が終了すると、制御部４２１は、処理をステップＳ４０５に進める。
【０１５７】
ステップＳ４０５において、制御部４１１は、HDR圧縮処理を行う画像に対して絵画調効果を与えるか否かを判定する。絵画調効果を与えると判定した場合、制御部４１１は、選択部４１２を制御して、適正露出画像を美化処理部４１３に供給するようにし、処理をステップＳ４０６に進める。ステップＳ４０６において、美化処理部４１３は、適正露出画像に対して、図６のフローチャートを参照して説明したように美化処理を行い、美化処理結果である美化処理画像を生成し、記憶部４２０に記憶させる。美化処理画像を記憶させると、美化処理部４１３は、処理をステップＳ４０７に進める。
【０１５８】
また、ステップＳ４０５において、画像に絵画調効果を与えないと判定した場合、制御部４１１は、選択部４１２を制御して、適正露出画像を美化処理部４１３に供給しないようにし、処理をステップＳ４０７に進める。
【０１５９】
ステップＳ４０７において、輝度成分抽出部４１４は、記憶部４２０から適正露出画像を読み出し、読み出した適正露出画像から輝度成分を抽出する。記憶部４２０は、抽出された輝度成分を記憶する。なお、輝度成分は、適正露出画像の１コンポーネントとすることもできるので、ここでの輝度成分の記憶は省略することもできる。ステップＳ４０８において、照明分離フィルタ４１５は、記憶部４２０から輝度成分を読み出し、読み出した輝度成分から照明成分を抽出する。記憶部４２０は、抽出された照明成分を記憶する。
【０１６０】
ステップＳ４０９において、HDR圧縮処理部４１６は、図７のフローチャートを参照して説明したようにHDR圧縮処理を行い、記憶部４２０から、露出アンダー画像、適正露出画像、露出オーバー画像、および照明成分を読み出し、それらを用いてHDR圧縮画像を生成する。
【０１６１】
ステップＳ４１０において、制御部４１１は、HDR圧縮処理を行う画像に対して絵画調効果を与えるか否かを判定する。絵画調効果を与えないと判定した場合、制御部４１１は、選択部４１７を制御して、HDR圧縮画像を美化処理部４１８に供給するようにし、処理をステップＳ４１１に進める。ステップＳ４１１において、美化処理部４１８は、HDR圧縮画像に対して、図６のフローチャートを参照して説明したように美化処理を行い、美化処理結果である美化処理画像を生成し、記憶部４２０に記憶させる。美化処理画像を記憶させると、美化処理部４１８は、処理をステップＳ４１２に進める。
【０１６２】
また、ステップＳ４１２において、画像に絵画調効果を与えると判定した場合、制御部４１１は、選択部４１７を制御して、HDR圧縮画像を美化処理部４１８に供給しないようにし、処理をステップＳ４１２に進める。
【０１６３】
ステップＳ４１２において、絵画調処理部４１９は、ステップＳ４１１において生成された美化処理画像（美化処理結果）、適正露出画像の輝度成分、および、その輝度成分の照明成分を記憶部４２０から読み出し、それらを用いて美化処理画像のディティールを強調する。このようにディティールが強調されたHDR画像は、画像処理装置４００の外部に出力するようにしてもよいし、画像処理装置４００が有する記憶部４２０に記憶するようにしてもよい。
【０１６４】
以上のように各処理を行うことにより、画像処理装置４００は、容易に、露出条件が互いに異なる複数の画像を、白飛びや黒つぶれ等の画質劣化が生じないように合成し、適切な階調レンジの画像を生成するとともに、画像に対して、美化処理を行い、所望の領域の視覚的な画質を向上させたり、絵画風の視覚的効果を付与したりすることができる。つまり、画像処理装置４００は、より多様な効果を画像に付与することができる。
【０１６５】
この場合の、記憶部４２０の使用状況の推移について、図１２を参照して説明する。図１２において、横軸は、処理の流れを示し、縦軸は、使用される記憶領域の大きさ（容量）を示す。各四角は記憶部４２０に記憶される画像データを模式的に示したものである。
【０１６６】
図１２Ａは、図１０の画像処理装置４００において、ディティールを過度に強調し、画像に絵画調の視覚的効果を付与する場合の、記憶部４２０の使用状況の推移の例を示している。また、図１２Ｂは、図１０の画像処理装置４００において、ディティールを強調せず、画像に絵画調の視覚的効果を付与しない場合の、記憶部４２０の使用状況の推移の例を示している。
【０１６７】
つまり、図１２に示されるように、画像に絵画調の視覚的効果を付与する場合もしない場合も、３．５画面分の記憶領域で済む。つまり、図９の場合と比べて必要なメモリ量を低減させることができる。
【０１６８】
＜５．第５の実施の形態＞
［撮像装置］
以上に説明した画像処理装置は、画像処理部として他の装置の一部として構成されるようにしてもよい。例えば、被写体を撮像し、その撮像画像の画像データを生成する撮像装置として構成されるようにしてもよい。
【０１６９】
図１３は、撮像装置の主な構成例を示すブロック図である。図１３に示される撮像装置５００は、被写体を撮像し、その被写体の画像をデータ化して出力する装置である。この撮像装置５００は、図１に示される画像処理装置１００、図２に示される画像処理装置２００、図３に示される画像処理装置３００、若しくは、図１０に示される画像処理装置４００を、画像処理部として有する。
【０１７０】
光学ブロック５１１は、被写体からの光を撮像素子５１２に集光するためのレンズ、レンズを移動させてフォーカス合わせやズーミングを行うための駆動機構（いずれも図示せず）、絞り５１１ａ、シャッタ５１１ｂなどを有している。光学ブロック５１１内のこれらの駆動機構は、マイクロコンピュータ５２０からの制御信号に応じて駆動される。撮像素子５１２は、例えば、CCD（Charge Coupled Device）型、CMOS（Complementary Metal OxideSemiconductor）型などの撮像素子であり、被写体からの入射光を電気信号に変換する。
【０１７１】
A/D変換部（A/D）５１３は、撮像素子５１２から出力された画像信号をデジタルデータに変換する。ISO（International Organization for Standardization）ゲイン調整部５１４は、マイクロコンピュータ５２０からのゲイン制御値に応じて、A/D変換部５１３からの画像データのRGB（Red，Green，Blue）各成分に対して一様のゲインをかける。なお、ISOゲインの調整は、A/D変換部５１３に入力される前のアナログ画像信号の段階で行われるようにしてもよい。
【０１７２】
バッファメモリ５１５は、互いに異なる露出で撮像を複数回行うブラケット撮像により得られた複数枚の画像のデータを一時的に記憶する。合成処理部５１６は、ブラケット撮像時に適用した露出補正値をマイクロコンピュータ５２０から受け、この露出補正値に基づいて、バッファメモリ５１５内の複数枚の画像を１枚の画像に合成する。
【０１７３】
現像処理部５１７は、主に、合成処理部５１６から出力されるRAW（生）画像データを、可視画像のデータに変換する、いわゆるRAW現像処理を実行するブロックである。この現像処理部５１７は、RAW画像データに対して、データ補間（デモザイク）処理、各種色調整・変換処理（ホワイトバランス調整処理、高輝度ニー圧縮処理、ガンマ補正処理、アパーチャ補正処理、クリッピング処理など）、所定の符号化方式（ここでは、JPEG（Joint Photographic Experts Group）方式を適用する）に従った画像圧縮符号化処理などを実行する。
【０１７４】
なお、以下の各実施の形態では、A/D変換部５１３から出力されるRAW画像データのビット数を１２ビットとし、現像処理部５１７は、この１２ビットデータを処理できる仕様となっている。また、現像処理部５１７は、現像処理の過程において、例えば高輝度ニー圧縮処理（あるいは下位ビットの切り捨てなどでもよい）によって、１２ビットデータを８ビットデータにビット圧縮し、この８ビットデータに対して圧縮符号化処理を施す。また、この８ビットデータを表示部５１９に対して出力する。
【０１７５】
記録部５１８は、撮像により得られた画像データをデータファイルとして保存するための装置であり、例えば、可搬型のフラッシュメモリ、HDD（Hard Disk Drive）などとして実現される。なお、記録部５１８は、現像処理部５１７によって符号化されたJPEGデータ５３１の他に、合成処理部５１６から出力されるRAW画像データ５３２をデータファイルとして記録することができる。また、記録部５１８に記録されたRAW画像データを読み出して、現像処理部５１７で処理し、記録部５１８にJPEGデータファイルとして新たに記録することができるようにしてもよい。
【０１７６】
表示部５１９は、例えばLCD（Liquid Crystal Display）などからなるモニタを備えている。表示部５１９は、現像処理部５１７において処理された非圧縮状態の画像データを基に、モニタ表示用の画像信号を生成してモニタに供給する。撮像画像の記録前のプレビュー状態では、撮像素子５１２からは連続的に撮像画像信号が出力され、デジタル変換された後、そのデジタル画像データがISOゲイン調整部５１４および合成処理部５１６を介して現像処理部５１７に供給されて、現像処理（ただし、符号化処理を除く）が施される。表示部５１９は、このとき現像処理部５１７から順次出力される画像（プレビュー画像）をモニタに表示し、ユーザはこのプレビュー画像を視認して画角を確認することができる。
【０１７７】
マイクロコンピュータ５２０は、CPU（Central Processing Unit）、ROM（Read Only Memory）、およびRAM（Random Access Memory）などを備え、ROMに記憶されたプログラムを実行することで、この撮像装置５００全体を統括的に制御する。例えば、本実施の形態では、検波部５２２からの検波結果を基に露出補正値を計算し、その値に応じた制御信号を出力して絞り５１１ａやシャッタ５１１ｂを制御することで、AE（自動露出）制御を実現する。また、後述する広ダイナミックレンジ撮像を行う際には、算出した露出補正値を合成処理部５１６に通知する。
【０１７８】
LPF（Low-Pass Filter）５２１は、ISOゲイン調整部５１４から出力された画像データに対して、必要に応じてローパスフィルタ処理を施す。検波部５２２は、ISOゲイン調整部５１４からLPF５２１を通じて供給された画像データを基に各種の検波を行うブロックであり、本実施の形態では、例えば、画像を所定の測光領域に分割し、測光領域ごとに輝度値を検出する。
【０１７９】
以上のような撮像装置５００において、合成処理部５１６と現像処理部５１７の一部または全部として、図１の画像処理装置１００、図２の画像処理装置２００、図３の画像処理装置３００、若しくは図１０の画像処理装置４００と同様の構成を有し、同様の処理を行う画像処理部が設けられるようにしてもよい。
【０１８０】
このようにすることにより、合成処理部５１６および現像処理部５１７は、容易に、露出条件が互いに異なる複数の画像を、白飛びや黒つぶれ等の画質劣化が生じないように合成し、適切な階調レンジの画像を生成するとともに、画像に対して、絵画風の視覚的効果を付与することができる。
【０１８１】
つまり、撮像装置５００は、容易に、ブラケット撮像により得られた複数の画像が合成され、さらに、絵画風の視覚的効果が付与された画像を得ることが出来、その画像を、表示部５１９に表示したり、JPEGデータ５３１として記録部５１８に記録したりすることができる。つまり、撮像装置５００は、より多様な効果を画像に付与することができる。
【０１８２】
なお、記録部５１８が記録する画像データの符号化方式は任意である。記録部５１８が、JPEG以外の符号化方式で符号化された画像データを記憶するようにしてもよい。
【０１８３】
＜６．第６の実施の形態＞
［パーソナルコンピュータ］
上述した一連の処理は、ハードウエアにより実行させることもできるし、ソフトウエアにより実行させることもできる。この場合、例えば、図１４に示されるようなパーソナルコンピュータとして構成されるようにしてもよい。
【０１８４】
図１４において、パーソナルコンピュータ６００のCPU（Central Processing Unit）６０１は、ROM（Read Only Memory）６０２に記憶されているプログラム、または記憶部６１３からRAM（Random Access Memory）６０３にロードされたプログラムに従って各種の処理を実行する。RAM６０３にはまた、CPU６０１が各種の処理を実行する上において必要なデータなども適宜記憶される。
【０１８５】
CPU６０１、ROM６０２、およびRAM６０３は、バス６０４を介して相互に接続されている。このバス６０４にはまた、入出力インタフェース６１０も接続されている。
【０１８６】
入出力インタフェース６１０には、キーボード、マウスなどよりなる入力部６１１、CRT（Cathode Ray Tube）やLCD（Liquid Crystal Display）などよりなるディスプレイ、並びにスピーカなどよりなる出力部６１２、ハードディスクなどより構成される記憶部６１３、モデムなどより構成される通信部６１４が接続されている。通信部６１４は、インターネットを含むネットワークを介しての通信処理を行う。
【０１８７】
入出力インタフェース６１０にはまた、必要に応じてドライブ６１５が接続され、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア６２１が適宜装着され、それらから読み出されたコンピュータプログラムが、必要に応じて記憶部６１３にインストールされる。
【０１８８】
上述した一連の処理をソフトウエアにより実行させる場合には、そのソフトウエアを構成するプログラムが、ネットワークや記録媒体からインストールされる。
【０１８９】
この記録媒体は、例えば、図１４に示されるように、装置本体とは別に、ユーザにプログラムを配信するために配布される、プログラムが記録されている磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM（Compact Disc - Read Only Memory）,DVD（Digital Versatile Disc）を含む）、光磁気ディスク（MD（Mini Disc）を含む）、若しくは半導体メモリなどよりなるリムーバブルメディア６２１により構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに配信される、プログラムが記録されているROM６０２や、記憶部６１３に含まれるハードディスクなどで構成される。
【０１９０】
なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
【０１９１】
また、本明細書において、記録媒体に記録されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
【０１９２】
また、本明細書において、システムとは、複数のデバイス（装置）により構成される装置全体を表すものである。
【０１９３】
また、以上において、１つの装置（または処理部）として説明した構成を分割し、複数の装置（または処理部）として構成するようにしてもよい。逆に、以上において複数の装置（または処理部）として説明した構成をまとめて１つの装置（または処理部）として構成されるようにしてもよい。また、各装置（または各処理部）の構成に上述した以外の構成を付加するようにしてももちろんよい。さらに、システム全体としての構成や動作が実質的に同じであれば、ある装置（または処理部）の構成の一部を他の装置（または他の処理部）の構成に含めるようにしてもよい。つまり、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
【０１９４】
なお、本技術は以下のような構成も取ることができる。
（１） 画像のディティール成分を生成するために用いられる高周波成分に影響を及ぼす画像処理を行う第１の画像処理部と、
前記第１の画像処理部により高周波成分に影響を及ぼす画像処理が施された前記成分を用いて、強調された前記ディティール成分を生成するディティール成分生成部と、
前記ディティール成分生成部により生成された、強調された前記ディティール成分を前記画像に合成することにより、前記画像のディティールを強調する強調部と
を備える画像処理装置。
（２） 前記画像処理は、不要な高周波成分を低減させる処理である
前記（１）に記載の画像処理装置。
（３） 前記画像処理は、所望の領域の前記不要な高周波成分を低減させる美化処理である
前記（２）に記載の画像処理装置。
（４） 前記美化処理は、肌領域の前記不要な高周波成分を低減させる美肌処理である
前記（３）に記載の画像処理装置。
（５） 前記ディティール成分生成部が生成する前記ディティール成分の強調量を制御する強調量制御部と、
前記第１の画像処理部により前記画像処理を行うか否かを制御する処理制御部と
をさらに備え、
前記処理制御部は、前記強調量制御部が前記強調量を大きな値に設定する場合、前記第１の画像処理部が前記画像処理を行うように制御し、前記強調量制御部が前記強調量を小さな値に設定する場合、前記第１の画像処理部が前記画像処理を行わないように制御する
前記（１）乃至（４）のいずれかに記載の画像処理装置。
（６） 互いに露出条件が異なる複数の画像を合成することで、輝度信号の階調範囲が圧縮された画像を生成する合成部をさらに備え、
前記強調部は、前記ディティール成分生成部により生成された、強調された前記ディティール成分を前記画像に合成することにより、前記合成部により生成された前記画像のディティールを強調する
前記（１）乃至（５）のいずれかに記載の画像処理装置。
（７） 前記露出条件が異なる複数の画像は、露出が適正値より抑制された露出アンダー画像、露出が適正値の適正露出画像、並びに、露出が適正値より増大された露出オーバー画像であり、
前記第１の画像処理部は、前記適正露出画像に対して前記画像処理を行う
前記（６）に記載の画像処理装置。
（８） 前記合成部により合成されて得られた前記画像に対して前記画像処理を行う第２の画像処理部をさらに備え、
前記強調部は、前記ディティール成分生成部により生成された、強調された前記ディティール成分を前記画像に合成することにより、前記第２の画像処理部により前記画像処理が行われた前記画像のディティールを強調する
前記（６）または（７）に記載の画像処理装置。
（９） 前記第１の画像処理部により前記画像処理が施された前記成分を含む、互いに露出条件が異なる複数の画像を合成することで、輝度信号の階調範囲が圧縮された画像を生成する合成部と、
前記合成部により合成されて得られた前記画像に対して前記画像処理を行う第２の画像処理部と、
前記ディティール成分生成部が生成する前記ディティール成分の強調量を制御する強調量制御部と、
前記第１の画像処理部および前記第２の画像処理部により前記画像処理を行うか否かを制御する処理制御部と
をさらに備え、
前記処理制御部は、前記強調量制御部が前記強調量を大きな値に設定する場合、前記第１の画像処理部が前記画像処理を行い、前記第２の画像処理部が前記画像処理を行わないように制御し、前記強調量制御部が前記強調量を小さな値に設定する場合、前記第２の画像処理部が前記画像処理を行い、前記第１の画像処理部が前記画像処理を行わないように制御する
前記（１）に記載の画像処理装置。
（１０） 前記互いに露出条件が異なる複数の画像は、露出が適正値より抑制された露出アンダー画像、露出が適正値の適正露出画像、並びに、露出が適正値より増大された露出オーバー画像であり、
前記第１の画像処理部は、前記適正露出画像に対して前記画像処理を行う
前記（９）に記載の画像処理装置。
（１１） 画像処理装置の画像処理方法であって、
前記画像処理装置の第１の画像処理部が、画像のディティール成分を生成するために用いられる高周波成分に影響を及ぼす画像処理を行い、
前記画像処理装置のディティール成分生成部が、高周波成分に影響を及ぼす画像処理が施された前記成分を用いて、強調された前記ディティール成分を生成し、
前記画像処理装置の強調部が、生成された、強調された前記ディティール成分を前記画像に合成することにより、前記画像のディティールを強調する
画像処理方法。
【符号の説明】
【０１９５】
１００ 画像処理装置， １１４ 美化処理部， ２００ 画像処理装置， ３００ 画像処理装置， ３１１ 制御部， ３１２ 選択部， ３１３ 美化処理部， ３１４ 輝度成分抽出部， ３１５ 照明分離フィルタ， ３１６ HDR圧縮処理部， ３１７ 美化処理部， ３１８ 絵画調処理部， ３１９ 記憶部， ３２１ 制御部， ３２２ ディティール生成部， ３２３ ディティール強調部， ３６１ 除算部， ３６２ 減算部， ３６３ 乗算部， ３６４ 加算部， ４００ 画像処理装置， ４１１ 制御部， ４１２ 選択部， ４１３ 美化処理部， ４１４ 輝度成分抽出部， ４１５ 照明分離フィルタ， ４１６ HDR圧縮処理部， ４１７ 選択部， ４１８ 美化処理部， ４１９ 絵画調処理部， ４２０ 記憶部， ４２１ 制御部， ４２２ ディティール生成部， ４２３ ディティール強調部， ５００ 撮像装置， ５１６ 合成処理部， ５１７ 現像処理部
【技術分野】
【０００１】
本開示は、画像処理装置および方法に関し、特に、より多様な効果を画像に付与することができるようにした画像処理装置および方法に関する。
【背景技術】
【０００２】
従来、ダイナミックレンジの広い画像の階調の範囲を圧縮し、適正化するHDR（High Dynamic Range）圧縮処理が考えられている（例えば、特許文献１参照）。
【０００３】
例えば、特許文献１においては、露出の異なる複数の画像からダイナミックレンジの広い画像を作り、つぎに平滑化フィルタを使って画像を低周波成分と高周波成分（ディティール成分）に分解し、低周波成分の階調の範囲を圧縮し、その圧縮量に対応する分だけディティール成分を強調して、最後に処理後の両成分を合成して、通常レンジの画像を得る方法が記載されている。
【０００４】
また、ダイナミックレンジの広い画像の合成を経由せずに、複数の画像から通常レンジの画像を作る方法も記載されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開2008-104010号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、近年においては、単に階調の範囲を圧縮するだけでなく、HDR圧縮処理された画像に他の効果を付与することが求められている。
【０００７】
本開示は、このような状況に鑑みてなされたものであり、画像の階調を処理するとともに、その画像に対して他の視覚的効果を付与する処理も行うことにより、より多様な効果を画像に付与することができるようにすることを目的とする。
【課題を解決するための手段】
【０００８】
本開示の一側面は、画像のディティール成分を生成するために用いられる高周波成分に影響を及ぼす画像処理を行う第１の画像処理部と、前記第１の画像処理部により高周波成分に影響を及ぼす画像処理が施された前記成分を用いて、強調された前記ディティール成分を生成するディティール成分生成部と、前記ディティール成分生成部により生成された、強調された前記ディティール成分を前記画像に合成することにより、前記画像のディティールを強調する強調部とを備える画像処理装置である。
【０００９】
前記画像処理は、不要な高周波成分を低減させる処理であるようにすることができる。
【００１０】
前記画像処理は、所望の領域の前記不要な高周波成分を低減させる美化処理であるようにすることができる。
【００１１】
前記美化処理は、肌領域の前記不要な高周波成分を低減させる美肌処理であるようにすることができる。
【００１２】
前記ディティール成分生成部が生成する前記ディティール成分の強調量を制御する強調量制御部と、前記第１の画像処理部により前記画像処理を行うか否かを制御する処理制御部とをさらに備え、前記処理制御部は、前記強調量制御部が前記強調量を大きな値に設定する場合、前記第１の画像処理部が前記画像処理を行うように制御し、前記強調量制御部が前記強調量を小さな値に設定する場合、前記第１の画像処理部が前記画像処理を行わないように制御することができる。
【００１３】
互いに露出条件が異なる複数の画像を合成することで、輝度信号の階調範囲が圧縮された画像を生成する合成部をさらに備え、前記強調部は、前記ディティール成分生成部により生成された、強調された前記ディティール成分を前記画像に合成することにより、前記合成部により生成された前記画像のディティールを強調することができる。
【００１４】
前記露出条件が異なる複数の画像は、露出が適正値より抑制された露出アンダー画像、露出が適正値の適正露出画像、並びに、露出が適正値より増大された露出オーバー画像であり、前記第１の画像処理部は、前記適正露出画像に対して前記画像処理を行うことができる。
【００１５】
前記合成部により合成されて得られた前記画像に対して前記画像処理を行う第２の画像処理部をさらに備え、前記強調部は、前記ディティール成分生成部により生成された、強調された前記ディティール成分を前記画像に合成することにより、前記第２の画像処理部により前記画像処理が行われた前記画像のディティールを強調することができる。
【００１６】
前記第１の画像処理部により前記画像処理が施された前記成分を含む、互いに露出条件が異なる複数の画像を合成することで、輝度信号の階調範囲が圧縮された画像を生成する合成部と、前記合成部により合成されて得られた前記画像に対して前記画像処理を行う第２の画像処理部と、前記ディティール成分生成部が生成する前記ディティール成分の強調量を制御する強調量制御部と、前記第１の画像処理部および前記第２の画像処理部により前記画像処理を行うか否かを制御する処理制御部とをさらに備え、前記処理制御部は、前記強調量制御部が前記強調量を大きな値に設定する場合、前記第１の画像処理部が前記画像処理を行い、前記第２の画像処理部が前記画像処理を行わないように制御し、前記強調量制御部が前記強調量を小さな値に設定する場合、前記第２の画像処理部が前記画像処理を行い、前記第１の画像処理部が前記画像処理を行わないように制御することができる。
【００１７】
前記互いに露出条件が異なる複数の画像は、露出が適正値より抑制された露出アンダー画像、露出が適正値の適正露出画像、並びに、露出が適正値より増大された露出オーバー画像であり、前記第１の画像処理部は、前記適正露出画像に対して前記画像処理を行うことができる。
【００１８】
本開示の一側面は、また、画像処理装置の画像処理方法であって、前記画像処理装置の第１の画像処理部が、画像のディティール成分を生成するために用いられる高周波成分に影響を及ぼす画像処理を行い、前記画像処理装置のディティール成分生成部が、高周波成分に影響を及ぼす画像処理が施された前記成分を用いて、強調された前記ディティール成分を生成し、前記画像処理装置の強調部が、生成された、強調された前記ディティール成分を前記画像に合成することにより、前記画像のディティールを強調する画像処理方法である。
【００１９】
本開示の一側面においては、画像のディティール成分を生成するために用いられる高周波成分に影響を及ぼす画像処理が行われ、高周波成分に影響を及ぼす画像処理が施された成分を用いて、強調されたディティール成分が生成され、生成された、強調されたディティール成分を前記画像に合成することにより、画像のディティールが強調される。
【発明の効果】
【００２０】
本技術によれば、画像を処理することができる。特に、より多様な効果を画像に付与することができる。
【図面の簡単な説明】
【００２１】
【図１】画像の階調を処理する画像処理装置の主な構成例を示すブロック図である。
【図２】画像処理装置の他の構成例を示すブロック図である。
【図３】画像処理装置の、さらに他の構成例を示すブロック図である。
【図４】ディティール生成部の主な構成例を示すブロック図である。
【図５】画像処理の流れの例を説明するフローチャートである。
【図６】美化処理の流れの例を説明するフローチャートである。
【図７】HDR圧縮処理の流れの例を説明するフローチャートである。
【図８】ディティール強調処理の流れの例を説明するフローチャートである。
【図９】メモリの使用量の推移の例を説明する図である。
【図１０】画像処理装置の、さらに他の構成例を示すブロック図である。
【図１１】画像処理の流れの、他の例を説明するフローチャートである。
【図１２】メモリの使用量の推移の他の例を説明する図である。
【図１３】撮像装置の主な構成例を示すブロック図である。
【図１４】パーソナルコンピュータの主な構成例を示すブロック図である。
【発明を実施するための形態】
【００２２】
以下、本技術を実施するための形態（以下実施の形態とする）について説明する。なお、説明は以下の順序で行う。
１．第１の実施の形態（画像処理装置）
２．第２の実施の形態（画像処理装置）
３．第３の実施の形態（画像処理装置）
４．第４の実施の形態（画像処理装置）
５．第５の実施の形態（撮像装置）
６．第６の実施の形態（パーソナルコンピュータ）
【００２３】
＜１．第１の実施の形態＞
［画像処理装置］
図１は、画像処理装置の一実施の形態の構成を表している。
【００２４】
図１に示される画像処理装置１００は、入力される露出条件が互いに異なる複数の画像を、白飛びや黒つぶれ等の画質劣化が生じないように合成し、適切な階調レンジの画像を生成するHDR処理を行うとともに、特定の領域で平滑化処理等を行い、視覚的に画質を向上させる美化処理を行う。
【００２５】
例えば、画角内の輝度レンジが広いシーンでは、自動露出処理（AE処理）の精度が悪化し、画角内の主な被写体が露出オーバーになって白飛びしたり、露出アンダーになってノイズに埋もれたり黒つぶれしたりする可能性が高くなる。そこで、このようなシーンにおいても適切な露光条件で撮像された画像を得るための撮像手法として、露光条件を変化させて複数回連続して露光し、それぞれの複数の画像信号を得る「ブラケット撮像」という手法が知られている。
【００２６】
この、ブラケット撮像を応用して、撮像素子の出力よりも広いダイナミックレンジを持つ画像（広ダイナミックレンジ画像）を得ることを可能とした撮像手法が考えられている。広ダイナミックレンジ画像の撮像では、ブラケット撮像により露出量を大きくした撮像画像と、露出量を抑えた撮像画像とを取得し、それらを合成することで広ダイナミックレンジの画像を生成する。すなわち、露出量を抑えて高輝度側の階調が得られた画像成分と、露出量を高めて低輝度側の階調が得られた画像成分とを合成することで、１回の露光では得ることができない広い輝度レンジの階調情報を、合成後の画像に取り入れることが可能となる。
【００２７】
画像処理装置１００には、例えばこのような撮像により得られた、互いに露出条件の異なる複数の画像（露出アンダー画像、適正露出画像、および露出オーバー画像）が入力される（矢印１４１乃至矢印１４３）。
【００２８】
画像処理装置３００は、輝度成分抽出部１１１、照明分離フィルタ１１２、HDR圧縮処理部１１３、および美化処理部１１４を有する。
【００２９】
HDR圧縮処理部１１３は、変換テーブル１２１および合成部１２２を有する。美化処理部１１４は、領域検出部１３１および美化フィルタ１３２を有する。
【００３０】
上述したように、画像処理装置１００には、適正値よりも意図的に露出を抑えて生成した露出アンダー画像、露出を適正値で生成した適正露出画像、適正値よりも意図的に露出を大きくして生成した露出オーバー画像が入力される。各画像は、HDR圧縮処理部１１３に供給される（矢印１４１乃至矢印１４３）。
【００３１】
また、適正露出画像は、輝度成分抽出部１１１にも供給される（矢印１４２）。輝度成分抽出部１１１は、入力された適正露出画像から輝度成分を抽出し、それを照明分離フィルタ１１２に供給する（矢印１４４）。
【００３２】
照明分離フィルタ１１２は、エッジ保存平滑化フィルタ等によって、入力された輝度成分から照明成分を抽出する。照明分離フィルタ１１２は、抽出した照明成分をHDR圧縮処理部１１３に供給する（矢印１４５）。この照明成分は、変換テーブル１２１に供給される。
【００３３】
HDR圧縮処理部１１３は、入力される露出条件が互いに異なる複数の画像を、白飛びや黒つぶれ等の画質劣化が生じないように合成し、適切な階調レンジの画像を生成するHDR処理を行う処理部である。
【００３４】
変換テーブル１２１は、照明分離フィルタ３１５から供給される照明成分を、所定の変換テーブルを用いて合成係数に変換する。合成係数はそれぞれの画素における、露出アンダー画像の重みと、適正露出画像の重みと、露出オーバー画像の重みからなる係数である。変換テーブル１２１は、その合成係数を合成部１２２に供給する（矢印１４６）。
【００３５】
合成部１２２は、供給された合成係数を用いて、入力された露出アンダー画像、適正露出画像、および露出オーバー画像を合成する。より具体的には、合成部１２２は、各画像を合成係数でそれぞれ重み付けして互いに加算する。合成部１２２は、このようにして、露出アンダー画像、適正露出画像、および露出オーバー画像から、白飛びや黒つぶれ等の画質劣化が生じないように合成された、適切な階調レンジの画像（HDR圧縮画像）を生成する。合成部１２２は、生成したHDR圧縮画像を美化処理部に供給する（矢印１４７）。このHDR圧縮画像は、領域検出部１３１および美化フィルタ１３２に供給される。
【００３６】
美化処理部１１４は、入力される画像の所定の領域に対して、平滑化処理等の所定の画像処理を施し、例えば視覚的に画質を向上させる等の視覚的効果を付与する処理部である。例えば、美化処理部１１４は、画像内の人物の肌の部分（肌領域）を検出し、その肌領域に対して平滑化処理等を行い、シミや皺等を目立たなくする処理（この場合、美肌処理とも称する）を行う。
【００３７】
領域検出部１３１は、合成部１２２から供給されるHDR圧縮画像から、美化処理の対象とする所望の領域（例えば、美肌処理の場合、肌領域）を処理対象領域として検出する。領域検出部１３１は、その検出結果を美化フィルタ１３２に供給する（矢印１４８）。
【００３８】
美化フィルタ１３２は、合成部１２２から供給されるHDR圧縮画像の、領域検出部１３１により検出された処理対象領域に対して、美化フィルタ演算（例えば平滑化処理等）を行う。美化フィルタ１３２は、フィルタ処理結果を最終出力画像として画像処理装置１００の外部に出力する（矢印１４９）。
【００３９】
なお、美化フィルタ１３２は、最終出力画像を、画像処理装置１００が有する記憶部（図示せず）に記憶するようにしてもよい。
【００４０】
このようにすることにより、画像処理装置１００は、入力される画像に対して、HDR処理を行うだけでなく、美化処理も行うことができる。つまり、画像処理装置１００は、より多様な効果を画像に付与することができる。
【００４１】
この画像処理装置１００において、さらに、HDR処理とともに、画像のディティールを過度に強調することにより、絵画調の視覚的効果を付与することを考える。その場合、例えば、画像処理装置１００において、絵画調処理により、HDR圧縮処理部１１３から出力されるHDR圧縮画像のディティール成分を過度に強調して絵画調のHDR圧縮画像を生成し、その絵画調のHDR圧縮画像を美化処理部１１４により美化処理する方法が考えられる。
【００４２】
例えば美化処理（美肌処理）では、皺を抑えつつ睫毛を際立たせるために、検出されたディティールが皺であるか否かを高周波成分の振幅で判別して、皺にあたるディティールだけを抑制する処理がなされる。しかしながら、絵画調HDR圧縮処理の出力を処理した場合、ディティールの振幅が強調されているため、皺か否かの判別性能が低下し、結果として美肌処理の効果が得られなくなる可能性がある。
【００４３】
また、絵画調HDR圧縮処理で強調されるディティールには、そもそも強調したくない信号が含まれている。たとえば、肌のシミや皺、空のノイズなどがあげられる。こういった信号を強調すると、質感はあるが、好ましくない印象を与える画像となってしまう可能性がある。
【００４４】
＜２．第２の実施の形態＞
［画像処理装置］
そこで、例えば、図２に示されるように、美化処理をHDR処理の前において行う方法を考える。図２は、画像処理装置の他の構成例を示すブロック図である。
【００４５】
図２に示される画像処理装置２００は、基本的に画像処理装置１００と同様の装置であり、入力される露出条件が互いに異なる複数の画像を、白飛びや黒つぶれ等の画質劣化が生じないように合成し、適切な階調レンジの画像を生成するHDR処理を行うとともに、特定の領域で平滑化処理等を行い、視覚的に画質を向上させる美化処理を行う。
【００４６】
ただし、画像処理装置２００は、美化処理を行ってからHDR処理を行う。図２に示されるように画像処理装置２００は、美化処理部１１４−１乃至美化処理部１１４−３、輝度成分抽出部１１１、照明分離フィルタ１１２、およびHDR圧縮処理部１１３を有する。
【００４７】
美化処理部１１４−１乃至美化処理部１１４−３は、それぞれ、図１の美化処理部１１４と同様の構成を有し、同様の処理を行う。つまり、美化処理部１１４−１は、露出アンダー画像に対して美化処理を行い、その処理結果をHDR圧縮処理部１１３に供給する（矢印２４１）。また、美化処理部１１４−２は、適正露出画像に対して美化処理を行い、その処理結果をHDR圧縮処理部１１３および輝度成分抽出部２４４に供給する（矢印２４２）。さらに、美化処理部１１４−３は、露出オーバー画像に対して美化処理を行い、その処理結果をHDR圧縮処理部１１３に供給する（矢印２４３）。
【００４８】
輝度成分抽出部１１１は、美化処理された適正露出画像から輝度成分を抽出し、それを照明分離フィルタ１１２に供給する（矢印２４４）。照明分離フィルタ１１２は、美化処理された適正露出画像の輝度成分から照明成分を抽出し、それをHDR圧縮処理部１１３に供給する（矢印２４５）。
【００４９】
HDR圧縮処理部１１３は、照明成分から合成係数を求め、その合成係数を用いて美化処理された露出アンダー画像、美化処理された適正露出画像、および美化処理された露出オーバー画像を重み付けして合成し、HDR圧縮画像として出力する（矢印２４７）。
【００５０】
このようにすることにより、画像処理装置２００は、入力される画像に対して、HDR処理を行うだけでなく、美化処理も行うことができる。つまり、画像処理装置２００は、より多様な効果を画像に付与することができる。
【００５１】
ただし、この方法の場合、画像処理装置２００に入力される全ての画像（露出アンダー画像、適正露出画像、および露出オーバー画像）に対して、それぞれ美化処理を行うことになり、その分、処理の負荷（処理量や処理時間）が増大する可能性がある。
【００５２】
＜３．第３の実施の形態＞
［画像処理装置］
図３は、画像処理装置の、さらに他の構成例を示すブロック図である。
【００５３】
図３に示される画像処理装置３００は、画像処理装置１００や画像処理装置２００と同様のHDR処理および美化処理を行うとともに、さらに、画像に対して絵画調の視覚的効果を付与する絵画調処理も行う。
【００５４】
図３に示される画像処理装置３００は、制御部３１１、選択部３１２、美化処理部３１３、輝度成分抽出部３１４、照明分離フィルタ３１５、HDR圧縮処理部３１６、美化処理部３１７、絵画調処理部３１８、および記憶部３１９を有する。
【００５５】
また、絵画調処理部３１８は、制御部３２１、ディティール生成部３２２、およびディティール強調部３２３を有する。
【００５６】
画像処理装置３００に入力された露出アンダー画像は、HDR圧縮処理部３１６に供給される（矢印３４１）。画像処理装置３００に入力された適正露出画像は、HDR圧縮処理部３１６および選択部３１２に供給される（矢印３４３）。画像処理装置３００に入力された露出オーバー画像は、HDR圧縮処理部３１６に供給される（矢印３４３）。
【００５７】
制御部３１１は、選択部３１２の動作を制御することにより、絵画調処理を行うか否かによって、美化処理部３１３において美化処理を行うか否かを制御する（矢印３４４）。絵画調処理を行うか否かは、例えばユーザや他の装置等の外部より指示される。若しくは、制御部３１１が予め記憶している設定情報に基づいて絵画調処理を行うか否かを決定するようにしてもよい。
【００５８】
選択部３１２は、制御部３１１の制御に従って、供給された適正露出画像を、美化処理部３１３若しくは輝度成分抽出部３１４のいずれか一方に供給する。例えば、美化処理を行う場合、選択部３１２は、適正露出画像を美化処理部３１３に供給する（矢印３４６）。また、美化処理を行わない場合、選択部３１２は、適正露出画像を輝度成分抽出部３１４に供給する（矢印３４８）。
【００５９】
美化処理部３１３は、図１の美化処理部１１４と同様の構成を有し、同様の処理を行う。つまり、美化処理部３１３は、領域検出部１３１および美化フィルタ１３２を有し、供給された適正露出画像から処理対象領域を検出し、その処理対象領域に対して美化フィルタ演算する美化処理を行う。美化処理部３１３は、美化処理された適正露出画像を輝度成分抽出部３１４に供給する（矢印３４７）。
【００６０】
輝度成分抽出部３１４は、図１の輝度成分抽出部１１１と同様の構成を有し、同様の処理を行う。つまり、輝度成分抽出部３１４は、供給された適正露出画像（美化処理部３１３から供給される美化処理された適正露出画像、若しくは、選択部３１２から供給される美化処理されていない適正露出画像（すなわち、選択部３１２により選択された方））から輝度成分を抽出する。輝度成分抽出部３１４は、抽出した輝度成分を照明分離フィルタ３１５およびディティール生成部３２２に供給する（矢印３４９）。なお、選択部３１２を省略し、美化処理部３１３が、例えば制御部３１１の制御に従って、美化処理を実行したり、実行しなかったり（美化処理を省略したり）することができるようにしてもよい。
【００６１】
照明分離フィルタ３１５は、図１の照明分離フィルタ１１２と同様の構成を有し、同様の処理を行う。つまり、照明分離フィルタ３１５は、エッジ保存平滑化フィルタ等によって、入力された輝度成分から照明成分（低周波成分とも称する）を抽出する。照明分離フィルタ３１５は、抽出した照明成分をHDR圧縮処理部３１６およびディティール生成部３２２に供給する（矢印３５０）。
【００６２】
HDR圧縮処理部３１６は、図１のHDR圧縮処理部１１３と同様の構成を有し、同様の処理を行う。つまり、HDR圧縮処理部３１６は、変換テーブル１２１および合成部１２２を有し、照明分離フィルタ３１５から供給される照明成分を、所定の変換テーブルを用いて合成係数に変換し、その合成係数を用いて、入力された露出アンダー画像、適正露出画像、および露出オーバー画像を合成係数で重み付けして互いに加算する。HDR圧縮処理部３１６は、このようにして、露出アンダー画像、適正露出画像、および露出オーバー画像から、白飛びや黒つぶれ等の画質劣化が生じないように、輝度信号の階調範囲が圧縮されて合成された、適切な階調レンジの画像（HDR圧縮画像）を生成する。HDR圧縮処理部３１６は、生成したHDR圧縮画像（輝度信号の階調範囲が圧縮された画像）を美化処理部３１７に供給する（矢印３５１）。
【００６３】
美化処理部３１７は、図１の美化処理部１１４と同様の構成を有し、同様の処理を行う。つまり、美化処理部３１７は、美化処理部３１３は、領域検出部１３１および美化フィルタ１３２を有し、供給されたHDR圧縮画像から処理対象領域を検出し、その処理対象領域に対して美化フィルタ演算する美化処理を行う。美化処理部３１７は、美化処理されたHDR圧縮画像をディティール強調部３２３に供給する（矢印３５２）。
【００６４】
制御部３２１は、絵画調の視覚的効果を与えるためのHDR圧縮画像の反射率成分の強調量であるディティール強調量を設定する。つまり、このディティール強調量は、美化処理されたHDR圧縮画像のディティール成分を過度に強調するゲインである。制御部３２１は、そのディティール強調量をディティール生成部３２２に供給する（矢印３４５）。
【００６５】
例えば、制御部３２１は、記憶部を有し、予め設定されたディティール強調量を記憶し、それをディティール生成部３２２に供給する。また、例えば、制御部３２１は、入力部を有し、外部より入力されるディティール強調量をディティール生成部３２２に供給するようにしてもよい。さらに例えば、制御部３２１は、ユーザの指示を受け付ける受付部を有し、ユーザにより設定されるディティール強調量をディティール生成部３２２に供給するようにしてもよい。また、制御部３２１は、演算部を有し、外部やユーザ等より入力される情報に基づいてディティール強調量を算出し、それをディティール生成部３２２に供給するようにしてもよい。
【００６６】
例えば、制御部３２１は、美化処理されたHDR圧縮画像に対して絵画調の視覚的効果を付与する場合、ディティール強調量として大きな値（例えば、１より十分に大きな値）を設定する。また、美化処理されたHDR圧縮画像に対して絵画調の視覚的効果を付与しない場合、制御部３２１は、ディティール強調量として小さな値（例えば、１に近い値）を設定する。
【００６７】
ディティール生成部３２２は、輝度成分抽出部３１４から供給される適正露出画像の輝度成分と、照明分離フィルタ３１５から供給される適正露出画像の輝度成分の照明成分とを用いて、適正露出画像の輝度成分の反射率成分（ディティール成分、高周波成分とも称する）を抽出する。
【００６８】
さらに、ディティール生成部３２２は、抽出した反射率成分を、制御部３２１から供給されるディティール強調量で強調し、強調されたディティール成分を生成する。ディティール生成部３２２は、その強調されたディティール成分をディティール強調部３２３に供給する（矢印３５３）。
【００６９】
ディティール強調部３２３は、美化処理部３１７から供給される美化処理されたHDR圧縮画像に対して、ディティール生成部３２２から供給される強調されたディティール成分を合成（乗算または加算）する。ディティール成分を強調するディティール強調量が大きい場合、ディティール強調部３２３は、このような合成処理により、美化処理部３１７から供給される美化処理されたHDR圧縮画像のディティールを過度に強調し、絵画調の視覚的効果を付与することができる。なお、ディティール成分を強調するディティール強調量が小さい場合、ディティール強調部３２３は、美化処理部３１７から供給される美化処理されたHDR圧縮画像を、ディティールを過度に強調せずに出力することができる。
【００７０】
ディティール強調部３２３は、このような合成処理が行われた（絵画調の）HDR圧縮画像を出力する（矢印３５４）。
【００７１】
ディティール強調部３２３から出力される（絵画調）HDR画像データは、さらに、ビット数を圧縮する等してもよい。
【００７２】
なお、記憶部３１９は、各処理部間で授受される各種画像データを記憶する。つまり、上述した各処理部は、記憶部３１９を介して、露出アンダー画像、適正露出画像、露出オーバー画像、照明成分、ディティール成分、美化処理された美化処理画像、HDR圧縮画像、絵画調処理が行われた絵画調HDR圧縮画像等の授受を行う。
【００７３】
以上のように、画像処理装置３００は、容易に、露出条件が互いに異なる複数の画像を、白飛びや黒つぶれ等の画質劣化が生じないように合成し、適切な階調レンジの画像を生成するとともに、画像に対して、美化処理を行い、所望の領域の視覚的な画質を向上させたり、絵画風の視覚的効果を付与したりすることができる。つまり、画像処理装置３００は、より多様な効果を画像に付与することができる。
【００７４】
なお、画像処理装置３００において、ディティール成分を過度に強調しない（絵画調の視覚的効果を付与しない）場合、例えば選択部３１２の選択によって、美化処理部３１３による美化処理が省略され、美化処理部３１７による美化処理のみが行われる。この場合、画像処理装置１００と同様の処理結果となる。
【００７５】
また、画像処理装置３００において、ディティール成分を過度に強調する（絵画調の視覚的効果を付与する）場合、例えば選択部３１２の選択によって、美化処理部３１３による美化処理と美化処理部３１７による美化処理の両方が行われる。
【００７６】
この場合、ディティール生成部３２２が生成するディティール成分は、美化処理部３１３により美化処理された画像を用いて生成される。つまり、美化処理部３１３は、強調させるディティール成分を、その強調の前に美化処理する。つまり、美化処理により抑制すべきディティールは、強調される前に抑制される。
【００７７】
したがって、画像処理装置３００は、例えば肌のシミや皺、空のノイズ等の強調したくない成分を強調せずに、必要なディティール成分見えのみを実物よりも強調させて質感を豊富にすることができる。つまり、画像処理装置３００は、画質の低減を抑制しながら、画像に絵画調の視覚的効果を与えることができる。
【００７８】
また、この場合、美化処理をディティール強調より前に行うことにより、ディティールが強調されることによる美化処理の効果の低減を抑制することができる。
【００７９】
なお、この場合、HDR圧縮処理部３１６に供給される照明成分も美化処理が施されていることになるが、照明成分は低域成分であるので美化処理の影響は少なく、また、合成係数の算出に用いられるのみであるので、美化処理の有無は、処理結果に影響しないものとする事ができる。換言するに、例えば、別途、美化処理されていない適正露出画像から輝度成分の照明成分を抽出し、それをHDR圧縮処理部３１６に供給するようにして、HDR圧縮処理部３１６に供給される照明成分に対して美化処理が施されないようにすることもできる。また、以上においては、照明成分やディティール成分を適正露出画像から算出するように説明したが、これに限らず、例えば、露出アンダー画像や露出オーバー画像から照明成分やディティール成分を算出するようにしてもよい。例えば、露出アンダー画像から照明成分やディティール成分を算出する場合、選択部３１２の入力は、矢印３４１となる。また、例えば、露出オーバー画像から照明成分やディティール成分を算出する場合、選択部３１２の入力は、矢印３４３となる。
【００８０】
なお、ディティール強調量の値は任意であるが、例えば、２倍、４倍、８倍のように、一般的に、ディティール強調量を大きくするほど、ディティールがより強く強調され、画像に与える絵画風の視覚的効果を強くすることができる。
【００８１】
制御部３２１は、画像に対してより強い絵画風の視覚的効果を与える場合、このディティール強調量を大きな値に設定する。また、画像に対して絵画風の視覚的効果を強く与えたくない場合、制御部３２１は、ディティール強調量を小さな値（例えば１）に設定する。つまり、制御部３２１は、このディティール強調量の大きさを制御することにより、HDR圧縮処理を、被写体に忠実に行うのか、それとも絵画調の視覚的効果を付与するように行うのかを制御することができる。
【００８２】
また、線形の平滑化フィルタ処理を用いて照明成分と反射率成分とを分離するようにすると、輪郭にHALO（輪郭部分に発生する後光状のアーチファクト）と呼ばれる現象が現れて、好ましくない画質になる（視覚的に画質が劣化する）可能性がある。そこで、照明分離フィルタ３１５にはエッジ保存平滑化フィルタを用いるのが望ましい。エッジ保存平滑化フィルタとしては、例えばバイラテラルフィルタや、国際公開WO2009/072537に記載の方法等がある。
【００８３】
なお、制御部３２１は、ディティール強調量を大きな値にするか小さな値にするかの切り替えだけでなく、強調量の大きさを任意に制御することができるようにしてもよい。
【００８４】
例えば、制御部３２１が、ディティール強調量の大きさを、輝度や位置に応じて制御することができるようにしてもよい。
【００８５】
例えば、ディティール強調部３２３は、画像の全ての領域についてディティール成分を強調するようにしてもよいし、画像内の一部の領域についてのみ、ディティール成分を強調するようにしてもよい。例えばピクチャインピクチャのように、複数の画像が含まれる場合、そのうち一部の画像（すなわち、一部の領域）についてのみ絵画調の視覚的効果を付与するようにすることもできる。その場合、制御部３２１が、ユーザ指示、外部からの指示、若しくは画像の解析結果等任意の情報に基づいて強調する領域を設定し、ディティール生成部３２２が、その設定された領域のディティール成分についてのみ、強調するようにする。なお、この領域は予め定められていても良い。
【００８６】
当然、美化処理についても同様であり、美化処理部３１３が、処理対象の輝度や大きさや位置に応じて、美化フィルタの強度を制御することができるようにしてもよい。
【００８７】
なお、以上においては、美化処理を例に説明したが、美化処理部３１３および美化処理部３１７において行う処理は美化処理以外であっても、高周波成分に影響を及ぼす処理であればどのような処理であってもよい。例えば、高周波成分のうち不要な成分を低減させる処理であってもよい。例えば、高周波成分の中から所望の部分を特定し、その部分についてのみ行う処理であってもよい。例えば、被写体の検出結果を使って特定の領域で平滑化処理を行うアルゴリズム一般に応用可能である。より具体的には、例えば、遠距離の被写体をぼかす処理や、空の領域のノイズ削減する処理などであってもよい。
【００８８】
［ディティール生成部］
図４は、ディティール生成部３２２の主な構成例を示すブロック図である。図４に示されるように、ディティール生成部３２２は、除算部３６１、減算部３６２、乗算部３６３、および加算部３６４を有する。
【００８９】
除算部３６１は、輝度成分抽出部３１４から供給される輝度成分（矢印３４９）を、照明分離フィルタ３１５から供給される照明成分（矢印３５０）で除算することにより、ディティール成分を抽出する。除算部３６１は、抽出したディティール成分を乗算部３６３に供給する（矢印３７１）。
【００９０】
減算部３６２は、標準となるディティールゲインが自動でかかる分を補正するために、制御部３２１から供給されるディティール強調量から値「１」を減算する。減算部３６２は、値「１」を減算したディティール強調量を乗算部３６３に供給する（矢印３７２）。
【００９１】
乗算部３６３は、除算部３６１から供給されるディティール成分と、減算部３６２から供給されるディティール強調量とを乗算し、その乗算結果を加算部３６４に供給する（矢印３７３）。
【００９２】
加算部３６４は、乗算部３６３から供給される、ディティール成分と値「１」が減算されたディティール強調量との乗算結果に、制御部３２１から供給されるディティール強調量（矢印３４５）を加算する。加算部３６４は、その加算結果、すなわち、過度に強調されたディティール成分をディティール強調部３２３に供給する（矢印３５３）。
【００９３】
なお、メモリ削減などの理由で、平滑化フィルタ処理の出力時に信号精度の丸め処理がある場合、丸め処理の前の信号（輝度成分および照明成分）から、ディティール成分が抽出されるようにするのが望ましい。これは、ディティール成分の計算では演算精度が重要なためである。
【００９４】
［画像処理の流れ］
図５のフローチャートを参照して、画像処理の流れの例を説明する。
【００９５】
ステップＳ３０１において、画像処理装置３００は、露出アンダー画像、適正露出画像、および露出オーバー画像を取得し、記憶部３１９に記憶させる。
【００９６】
ステップＳ３０２において、制御部３１１および制御部３２１は、HDR圧縮処理を行う画像に対して絵画調効果を与えるか否かを判定する。絵画調効果を与えると判定した場合、制御部３１１および制御部３２１は、処理をステップＳ３０３に進める。ステップＳ３０３において、制御部３２１は、ディティール成分を過度に増幅するように、ディティール強調量に大きな値（１より十分に大きな値）を設定する。ステップＳ３０４において、制御部３１１は、美化処理を実行させるように選択部３１２を制御する。美化処理部３１３は、その制御に従って、記憶部３１９から適正露出画像を読み出し、その適正露出画像に対して美化処理を行う。美化処理が終了すると、美化処理部３１３は、処理をステップＳ３０６に進める。
【００９７】
また、ステップＳ３０２において、画像に絵画調効果を与えないと判定した場合、制御部３１１および制御部３２１は、処理をステップＳ３０５に進める。ステップＳ３０５において、制御部３２１は、ディティール強調量に小さな値（１に近い値）を設定する。また、制御部３１１は、美化処理を実行させないように選択部３１２を制御する。ステップＳ３０５の処理が終了すると、制御部３２１は、処理をステップＳ３０６に進める。
【００９８】
ステップＳ３０６において、輝度成分抽出部３１４は、記憶部３１９から適正露出画像を読み出し、読み出した適正露出画像から輝度成分を抽出する。記憶部３１９は、抽出された輝度成分を記憶する。なお、輝度成分は、適正露出画像の１コンポーネントとすることもできるので、ここでの輝度成分の記憶は省略することもできる。ステップＳ３０７において、照明分離フィルタ３１５は、記憶部３１９から輝度成分を読み出し、読み出した輝度成分から照明成分を抽出する。記憶部３１９は、抽出された照明成分を記憶する。
【００９９】
ステップＳ３０８において、HDR圧縮処理部３１６は、記憶部３１９から、露出アンダー画像、適正露出画像、露出オーバー画像、および照明成分を読み出し、それらを用いてHDR圧縮画像を生成する。
【０１００】
ステップＳ３０９において、美化処理部３１７は、ステップＳ３０８の処理により生成されたHDR圧縮画像を記憶部３１９から読み出し、そのHDR圧縮画像に対して美化処理を行う。
【０１０１】
ステップＳ３１０において、絵画調処理部３１８は、ステップＳ３０９において生成された美化処理画像（美化処理結果）、適正露出画像の輝度成分、および、その輝度成分の照明成分を記憶部３１９から読み出し、それらを用いて美化処理画像のディティールを強調する。このようにディティールが強調されたHDR画像は、画像処理装置３００の外部に出力するようにしてもよいし、画像処理装置３００が有する記憶部３１９に記憶するようにしてもよい。
【０１０２】
［美化処理］
次に、図５のステップＳ３０４において実行される美化処理の流れの例を、図６のフローチャートを参照して説明する。
【０１０３】
美化処理が開始されると、ステップＳ３２１において、美化処理部３１３の領域検出部１３１は、記憶部３１９から読み出した適正露出画像の処理対象領域を検出する。ステップＳ３２２において、美化処理部３１３の美化フィルタ１３２は、記憶部３１９から読み出した適正露出画像の未処理の画素を取得する。
【０１０４】
ステップＳ３２３において、美化フィルタ１３２は、ステップＳ３２１において行われた処理対象領域検出結果に基づいて、ステップＳ３２２において取得した画素が、処理対象領域の画素であるか否かを判定する。処理対象領域の画素であると判定された場合、美化フィルタ１３２は、処理をステップＳ３２４に進め、取得した画素に対して美化フィルタ演算（フィルタ処理）を行う。美化フィルタ演算を行うと、美化フィルタ１３２は、処理をステップＳ３２５に進める。
【０１０５】
また、ステップＳ３２３において、取得した画素が処理対象領域の画素で無いと判定された場合、美化フィルタ１３２は、ステップＳ３２４の処理を省略し、ステップＳ３２５に処理を進める。
【０１０６】
ステップＳ３２５において、美化フィルタ１３２は、適正露出画像の全ての画素を処理したか否かを判定し、未処理の画素が存在すると判定した場合、処理をステップＳ３２２に戻し、それ以降の処理を繰り返す。
【０１０７】
また、ステップＳ３２５において、適正露出画像の全ての画素を処理したと判定した場合、美化フィルタ１３２は、処理をステップＳ３２６に進める。
【０１０８】
ステップＳ３２６において、記憶部３１９は、美化フィルタ演算が適宜施された美化処理結果である美化処理画像を記憶する。ステップＳ３２６の処理が終了すると、処理は、図５に戻される。
【０１０９】
なお、図５のステップＳ３０９において行われる美化処理も、処理対象とする画像が異なること以外は、ステップＳ３０４の場合と同様に実行される。つまり、ステップＳ３０９において行われる美化処理も、図６のフローチャートを参照して説明することができるので、その説明は省略する。
【０１１０】
［HDR圧縮処理］
次に、図５のステップＳ３０８において実行されるHDR圧縮処理の流れの例を図７のフローチャートを参照して説明する。
【０１１１】
ステップＳ３３１において、HDR圧縮処理部３１６の変換テーブル１２１は、予め用意された変換テーブルを用いて、記憶部３１９から読み出した照明成分の処理対象の画素の画素値を合成係数に変換する。
【０１１２】
ステップＳ３３２において、HDR圧縮処理部３１６の合成部１２２は、記憶部３１９から読み出した露出アンダー画像、適正露出画像、および露出オーバー画像の、記憶部３１９から読み出した照明成分の画素位置に対応する画素値を取得する。
【０１１３】
ステップＳ３３３において、合成部１２２は、ステップＳ３３２において取得された各画像の画素値を、それぞれ、ステップＳ３３１において求められた合成係数で重み付けし、互いに加算する。この加算結果が、各画像の合成結果となる。つまり、全ての画素についてこのような処理を行うことにより、各画像が合成されたHDR圧縮画像が生成される。
【０１１４】
ステップＳ３３４において、合成部１２２は、全ての画素を処理したか否かを判定し、未処理の画素が存在する場合、処理をステップＳ３３１に戻し、それ以降の処理を繰り返す。
【０１１５】
また、ステップＳ３３４において、全ての画素を処理したと判定された場合、合成部１２２は、処理をステップＳ３３５に進める。
【０１１６】
ステップＳ３３５において、記憶部３１９は、以上のようにして生成されたHDR圧縮画像を記憶する。ステップＳ３３５の処理が終了すると、処理は、図５に戻される。
【０１１７】
［ディティール強調処理］
次に、図５のステップＳ３１０において実行されるディティール強調処理の流れの例を図８のフローチャートを参照して説明する。
【０１１８】
ステップＳ３４１において、ディティール生成部３２２は、記憶部３１９から読み出した輝度成分と照明成分とを用いて、ディティール成分を生成する。記憶部３１９は、そのディティール成分を記憶する。
【０１１９】
ステップＳ３４２において、ディティール生成部３２２は、未処理の画素について、ディティール成分を、記憶部３１９から読み出し、取得する。ステップＳ３４３において、ディティール生成部３２２は、制御部３２１により設定されたディティール強調量に応じて、そのディティール成分を強調する。
【０１２０】
ステップＳ３４４において、ディティール強調部３２３は、記憶部３１９から美化処理結果である美化処理画像の、対応する画素の画素値を読み出し、その画素値に、ステップＳ３４３の処理により強調したディティール成分を合成（乗算または加算）する。この合成結果が、ディティール強調結果となる。つまり、全ての画素について、このような合成を行うことにより、美化処理画像のディティール成分が強調され、美化処理された絵画調のHDR圧縮画像が生成される。
【０１２１】
ステップＳ３４５において、ディティール生成部３２２は、輝度成分若しくは照明成分の全ての画素を処理したか否かを判定し、未処理の画素が存在すると判定した場合、処理をステップＳ３４２に戻し、それ以降の処理を繰り返す。
【０１２２】
そして、ステップＳ３４５において、全ての画素を処理したと判定された場合、ディティール生成部３２２は、処理をステップＳ３４６に進める。
【０１２３】
ステップＳ３４６において、記憶部３１９は、ディティール強調結果、すなわち、美化処理された絵画調のHDR圧縮画像を記憶する。また、ディティール強調部３２３は、その美化処理された絵画調のHDR圧縮画像を画像処理装置３００の外部に出力する。
【０１２４】
ステップＳ３４６の処理が終了すると、処理は、図５に戻される。
【０１２５】
以上のように各処理を行うことにより、画像処理装置３００は、容易に、露出条件が互いに異なる複数の画像を、白飛びや黒つぶれ等の画質劣化が生じないように合成し、適切な階調レンジの画像を生成するとともに、画像に対して、美化処理を行い、所望の領域の視覚的な画質を向上させたり、絵画風の視覚的効果を付与したりすることができる。つまり、画像処理装置３００は、より多様な効果を画像に付与することができる。
【０１２６】
この場合の、記憶部３１９の使用状況の推移について、図９を参照して説明する。図９において、横軸は、処理の流れを示し、縦軸は、使用される記憶領域の大きさ（容量）を示す。各四角は記憶部３１９に記憶される画像データを模式的に示したものである。
【０１２７】
図９Ａは、図３の画像処理装置３００において、ディティールを過度に強調し、画像に絵画調の視覚的効果を付与する場合の、記憶部３１９の使用状況の推移の例を示している。また、図９Ｂは、図３の画像処理装置３００において、ディティールを強調せず、画像に絵画調の視覚的効果を付与しない場合の、記憶部３１９の使用状況の推移の例を示している。
【０１２８】
つまり、図９Ａに示されるように、画像に絵画調の視覚的効果を付与する場合、４．５画面分の記憶領域を必要とする。また、図９Ｂに示されるように、画像に絵画調の視覚的効果を付与しない場合、３．５画面分の記憶領域を必要とする。
【０１２９】
＜４．第４の実施の形態＞
［画像処理装置］
以上に説明した画像処理装置３００においては、画像に絵画調の視覚的効果を付与する場合、美化処理が２度行われることになる。したがって、その分処理量や処理時間が増大する可能性がある。また、図９Ａに示されるように、記憶部３１９の使用量も増大する可能性がある。
【０１３０】
そこで、このような美化処理の負荷を低減させるために、画像に絵画調の視覚的効果を付与する場合も、美化処理が１度で済むようにしてもよい。
【０１３１】
図１０は、その場合の画像処理装置の主な構成例を示すブロック図である。
【０１３２】
図１０に示される画像処理装置４００は、基本的に画像処理装置３００と同様の装置である。つまり、画像処理装置４００は、画像に対して、HDR処理、美化処理、および絵画調処理を行う。
【０１３３】
図１０に示される画像処理装置４００は、制御部４１１、選択部４１２、美化処理部４１３、輝度成分抽出部４１４、照明分離フィルタ４１５、HDR圧縮処理部４１６、選択部４１７、美化処理部４１８、絵画調処理部４１９、および記憶部４２０を有する。
【０１３４】
また、絵画調処理部４１９は、制御部４２１、ディティール生成部４２２、およびディティール強調部４２３を有する。
【０１３５】
制御部４１１は、制御部３１１と同様に、選択部４１２を制御し、美化処理部４１３において美化処理を行うか否かを制御する。制御部４１１は、さらに、選択部４１７も制御し、美化処理部４１８において美化処理を行うか否かを制御する。
【０１３６】
例えば、制御部４１１は、画像に絵画調の視覚的効果を付与する場合、美化処理部４１３において美化処理が行われ、美化処理部４１８において美化処理が行われないように制御する。また、例えば、制御部４１１は、画像に絵画調の視覚的効果を付与しない場合、美化処理部４１８において美化処理が行われ、美化処理部４１３において美化処理が行われないように制御する。
【０１３７】
選択部４１２は、選択部３１２と同様に、制御部４１１の制御に従って、適正露出画像の供給先を選択する。ただし、選択部４１２は、適正露出画像の供給先を、美化処理部４１３、または、輝度成分抽出部４１４およびHDR圧縮処理部４１６のいずれかから選択する。
【０１３８】
美化処理部４１３は、美化処理部３１３と同様の構成を有し、同様の処理を行う。ただし、美化処理部４１３は、選択部４１２から供給される適正露出画像に対して美化処理を施して得られる美化処理画像を、輝度成分抽出部４１４およびHDR圧縮処理部４１６に供給する。
【０１３９】
つまり、画像処理装置４００の場合、ディティール成分を生成するために用いられる適正露出画像だけでなく、HDR圧縮画像を生成するために用いられる適正露出画像に対しても美化処理が行われる。
【０１４０】
輝度成分抽出部４１４は、輝度成分抽出部３１４と同様の構成を有し、同様の処理を行う。照明分離フィルタ４１５は、照明分離フィルタ３１５と同様の構成を有し、同様の処理を行う。
【０１４１】
HDR圧縮処理部４１６は、HDR圧縮処理部３１６と同様の構成を有し、同様の処理を行う。ただし、HDR圧縮処理部４１６が、画像処理装置４００に入力された露出アンダー画像および露出オーバー画像に合成する適正露出画像は、美化処理部４１３により美化処理された適正露出画像、若しくは、選択部４１２から供給される、美化処理部４１３において美化処理されていない適正露出画像である。つまり、画像に対して絵画調の視覚的効果が付与される場合、合成される適正露出画像として、美化処理された適正露出画像（美化処理画像）が採用される。
【０１４２】
HDR圧縮処理部４１６は、照明成分に基づいて、露出アンダー画像、露出オーバー画像、および適正露出画像を合成して得られるHDR圧縮画像を、選択部４１７に供給する。
【０１４３】
選択部４１７は、制御部４１１の制御に従って、このHDR圧縮画像の供給先を、美化処理部４１８およびディティール強調部４２３のいずれか一方から選択する。
【０１４４】
美化処理部４１８は、美化処理部３１７と同様の構成を有し、同様の処理を行う。つまり、美化処理部４１８は、画像に絵画調の視覚的効果を付与しない場合のみ、HDR圧縮画像に対して美化処理を施し、その美化処理結果である美化処理画像をディティール強調部４２３に供給する。
【０１４５】
制御部４２１は、制御部３２１と同様の構成を有し、同様の処理を行う。ディティール生成部４２２は、ディティール生成部３２２と同様の構成を有し、同様の処理を行う。ディティール強調部４２３は、ディティール強調部３２３と同様の構成を有し、同様の処理を行う。
【０１４６】
記憶部４２０は、記憶部３１９と同様に、各処理部間で授受される各種の画像データを記憶する。つまり、露出アンダー画像、適正露出画像、露出オーバー画像、美化処理画像、照明成分、ディティール成分、HDR圧縮画像、および絵画調HDR圧縮画像等は、この記憶部４２０を介して授受される。
【０１４７】
以上のように、画像処理装置４００は、画像に絵画調の視覚的効果を付与する場合、美化処理部４１３においてのみ美化処理を行い、画像に絵画調の視覚的効果を付与しない場合、美化処理部４１８においてのみ美化処理を行う。したがって、画像に絵画調の視覚的効果を付与する場合もしない場合も美化処理を１度にすることができ、その分、負荷（処理量や処理時間）を抑制することができる。また、記憶部４２０の使用量も低減させることができる。
【０１４８】
なお、画像に絵画調の視覚的効果を付与しない場合、美化処理部４１８においてのみ美化処理が行われるので、画像処理装置３００のときと同様の処理となる。ただし、画像に絵画調の視覚的効果を付与する場合、美化処理部４１３においてのみ美化処理が行われるので、画像処理装置３００のときと処理が異なる。
【０１４９】
つまり、画像処理装置４００の場合、HDR圧縮画像は、その生成に用いられた適正露出画像についてのみ美化処理が施されており、露出アンダー画像や露出オーバー画像については美化処理が施されていない。したがって、厳密には、HDR圧縮画像生成後に美化処理が行われる画像処理装置３００の場合と、処理結果が異なる。
【０１５０】
しかしながら、ディティール成分が過度に強調される絵画調の視覚的効果が付与された画像において、強調されたディティール成分が視覚的に最も目立つ（支配的である）。したがって、強調されるディティール成分において、同様に美化処理が施されていれば、視覚的な影響は極めて小さい。
【０１５１】
つまり、画像処理装置４００が生成する絵画調HDR圧縮画像と、画像処理装置３００が生成する絵画調HDR圧縮画像とは、視覚的には略同様となる。
【０１５２】
以上のように、画像処理装置４００は、容易に、露出条件が互いに異なる複数の画像を、白飛びや黒つぶれ等の画質劣化が生じないように合成し、適切な階調レンジの画像を生成するとともに、画像に対して、美化処理を行い、所望の領域の視覚的な画質を向上させたり、絵画風の視覚的効果を付与したりすることができる。つまり、画像処理装置４００は、より多様な効果を画像に付与することができる。この場合も、照明成分やディティール成分の算出、並びに、美化処理部４１３の美化処理は、適正露出画像からだけでなく、露出アンダー画像や露出オーバー画像から行うようにすることもできる。つまり、選択部４１２の入力を矢印４４１や矢印４４３とすることもできる。その場合、適正露出画像（矢印４４２）は、HDR圧縮処理部４１６に入力される。
【０１５３】
［画像処理の流れ］
図１１のフローチャートを参照して、この場合の画像処理の流れの例を説明する。
【０１５４】
ステップＳ４０１において、画像処理装置４００は、露出アンダー画像、適正露出画像、および露出オーバー画像を取得し、記憶部４２０に記憶させる。
【０１５５】
ステップＳ４０２において、制御部４２１は、HDR圧縮処理を行う画像に対して絵画調効果を与えるか否かを判定する。絵画調効果を与えると判定した場合、制御部４２１は、処理をステップＳ４０３に進める。ステップＳ４０３において、制御部４２１は、ディティール成分を過度に増幅するように、ディティール強調量に大きな値（１より十分に大きな値）を設定する。
【０１５６】
また、ステップＳ４０２において、画像に絵画調効果を与えないと判定した場合、制御部４２１は、処理をステップＳ４０４に進める。ステップＳ４０４において、制御部４２１は、ディティール強調量に小さな値（１に近い値）を設定する。ステップＳ４０３若しくはステップＳ４０４の処理が終了すると、制御部４２１は、処理をステップＳ４０５に進める。
【０１５７】
ステップＳ４０５において、制御部４１１は、HDR圧縮処理を行う画像に対して絵画調効果を与えるか否かを判定する。絵画調効果を与えると判定した場合、制御部４１１は、選択部４１２を制御して、適正露出画像を美化処理部４１３に供給するようにし、処理をステップＳ４０６に進める。ステップＳ４０６において、美化処理部４１３は、適正露出画像に対して、図６のフローチャートを参照して説明したように美化処理を行い、美化処理結果である美化処理画像を生成し、記憶部４２０に記憶させる。美化処理画像を記憶させると、美化処理部４１３は、処理をステップＳ４０７に進める。
【０１５８】
また、ステップＳ４０５において、画像に絵画調効果を与えないと判定した場合、制御部４１１は、選択部４１２を制御して、適正露出画像を美化処理部４１３に供給しないようにし、処理をステップＳ４０７に進める。
【０１５９】
ステップＳ４０７において、輝度成分抽出部４１４は、記憶部４２０から適正露出画像を読み出し、読み出した適正露出画像から輝度成分を抽出する。記憶部４２０は、抽出された輝度成分を記憶する。なお、輝度成分は、適正露出画像の１コンポーネントとすることもできるので、ここでの輝度成分の記憶は省略することもできる。ステップＳ４０８において、照明分離フィルタ４１５は、記憶部４２０から輝度成分を読み出し、読み出した輝度成分から照明成分を抽出する。記憶部４２０は、抽出された照明成分を記憶する。
【０１６０】
ステップＳ４０９において、HDR圧縮処理部４１６は、図７のフローチャートを参照して説明したようにHDR圧縮処理を行い、記憶部４２０から、露出アンダー画像、適正露出画像、露出オーバー画像、および照明成分を読み出し、それらを用いてHDR圧縮画像を生成する。
【０１６１】
ステップＳ４１０において、制御部４１１は、HDR圧縮処理を行う画像に対して絵画調効果を与えるか否かを判定する。絵画調効果を与えないと判定した場合、制御部４１１は、選択部４１７を制御して、HDR圧縮画像を美化処理部４１８に供給するようにし、処理をステップＳ４１１に進める。ステップＳ４１１において、美化処理部４１８は、HDR圧縮画像に対して、図６のフローチャートを参照して説明したように美化処理を行い、美化処理結果である美化処理画像を生成し、記憶部４２０に記憶させる。美化処理画像を記憶させると、美化処理部４１８は、処理をステップＳ４１２に進める。
【０１６２】
また、ステップＳ４１２において、画像に絵画調効果を与えると判定した場合、制御部４１１は、選択部４１７を制御して、HDR圧縮画像を美化処理部４１８に供給しないようにし、処理をステップＳ４１２に進める。
【０１６３】
ステップＳ４１２において、絵画調処理部４１９は、ステップＳ４１１において生成された美化処理画像（美化処理結果）、適正露出画像の輝度成分、および、その輝度成分の照明成分を記憶部４２０から読み出し、それらを用いて美化処理画像のディティールを強調する。このようにディティールが強調されたHDR画像は、画像処理装置４００の外部に出力するようにしてもよいし、画像処理装置４００が有する記憶部４２０に記憶するようにしてもよい。
【０１６４】
以上のように各処理を行うことにより、画像処理装置４００は、容易に、露出条件が互いに異なる複数の画像を、白飛びや黒つぶれ等の画質劣化が生じないように合成し、適切な階調レンジの画像を生成するとともに、画像に対して、美化処理を行い、所望の領域の視覚的な画質を向上させたり、絵画風の視覚的効果を付与したりすることができる。つまり、画像処理装置４００は、より多様な効果を画像に付与することができる。
【０１６５】
この場合の、記憶部４２０の使用状況の推移について、図１２を参照して説明する。図１２において、横軸は、処理の流れを示し、縦軸は、使用される記憶領域の大きさ（容量）を示す。各四角は記憶部４２０に記憶される画像データを模式的に示したものである。
【０１６６】
図１２Ａは、図１０の画像処理装置４００において、ディティールを過度に強調し、画像に絵画調の視覚的効果を付与する場合の、記憶部４２０の使用状況の推移の例を示している。また、図１２Ｂは、図１０の画像処理装置４００において、ディティールを強調せず、画像に絵画調の視覚的効果を付与しない場合の、記憶部４２０の使用状況の推移の例を示している。
【０１６７】
つまり、図１２に示されるように、画像に絵画調の視覚的効果を付与する場合もしない場合も、３．５画面分の記憶領域で済む。つまり、図９の場合と比べて必要なメモリ量を低減させることができる。
【０１６８】
＜５．第５の実施の形態＞
［撮像装置］
以上に説明した画像処理装置は、画像処理部として他の装置の一部として構成されるようにしてもよい。例えば、被写体を撮像し、その撮像画像の画像データを生成する撮像装置として構成されるようにしてもよい。
【０１６９】
図１３は、撮像装置の主な構成例を示すブロック図である。図１３に示される撮像装置５００は、被写体を撮像し、その被写体の画像をデータ化して出力する装置である。この撮像装置５００は、図１に示される画像処理装置１００、図２に示される画像処理装置２００、図３に示される画像処理装置３００、若しくは、図１０に示される画像処理装置４００を、画像処理部として有する。
【０１７０】
光学ブロック５１１は、被写体からの光を撮像素子５１２に集光するためのレンズ、レンズを移動させてフォーカス合わせやズーミングを行うための駆動機構（いずれも図示せず）、絞り５１１ａ、シャッタ５１１ｂなどを有している。光学ブロック５１１内のこれらの駆動機構は、マイクロコンピュータ５２０からの制御信号に応じて駆動される。撮像素子５１２は、例えば、CCD（Charge Coupled Device）型、CMOS（Complementary Metal OxideSemiconductor）型などの撮像素子であり、被写体からの入射光を電気信号に変換する。
【０１７１】
A/D変換部（A/D）５１３は、撮像素子５１２から出力された画像信号をデジタルデータに変換する。ISO（International Organization for Standardization）ゲイン調整部５１４は、マイクロコンピュータ５２０からのゲイン制御値に応じて、A/D変換部５１３からの画像データのRGB（Red，Green，Blue）各成分に対して一様のゲインをかける。なお、ISOゲインの調整は、A/D変換部５１３に入力される前のアナログ画像信号の段階で行われるようにしてもよい。
【０１７２】
バッファメモリ５１５は、互いに異なる露出で撮像を複数回行うブラケット撮像により得られた複数枚の画像のデータを一時的に記憶する。合成処理部５１６は、ブラケット撮像時に適用した露出補正値をマイクロコンピュータ５２０から受け、この露出補正値に基づいて、バッファメモリ５１５内の複数枚の画像を１枚の画像に合成する。
【０１７３】
現像処理部５１７は、主に、合成処理部５１６から出力されるRAW（生）画像データを、可視画像のデータに変換する、いわゆるRAW現像処理を実行するブロックである。この現像処理部５１７は、RAW画像データに対して、データ補間（デモザイク）処理、各種色調整・変換処理（ホワイトバランス調整処理、高輝度ニー圧縮処理、ガンマ補正処理、アパーチャ補正処理、クリッピング処理など）、所定の符号化方式（ここでは、JPEG（Joint Photographic Experts Group）方式を適用する）に従った画像圧縮符号化処理などを実行する。
【０１７４】
なお、以下の各実施の形態では、A/D変換部５１３から出力されるRAW画像データのビット数を１２ビットとし、現像処理部５１７は、この１２ビットデータを処理できる仕様となっている。また、現像処理部５１７は、現像処理の過程において、例えば高輝度ニー圧縮処理（あるいは下位ビットの切り捨てなどでもよい）によって、１２ビットデータを８ビットデータにビット圧縮し、この８ビットデータに対して圧縮符号化処理を施す。また、この８ビットデータを表示部５１９に対して出力する。
【０１７５】
記録部５１８は、撮像により得られた画像データをデータファイルとして保存するための装置であり、例えば、可搬型のフラッシュメモリ、HDD（Hard Disk Drive）などとして実現される。なお、記録部５１８は、現像処理部５１７によって符号化されたJPEGデータ５３１の他に、合成処理部５１６から出力されるRAW画像データ５３２をデータファイルとして記録することができる。また、記録部５１８に記録されたRAW画像データを読み出して、現像処理部５１７で処理し、記録部５１８にJPEGデータファイルとして新たに記録することができるようにしてもよい。
【０１７６】
表示部５１９は、例えばLCD（Liquid Crystal Display）などからなるモニタを備えている。表示部５１９は、現像処理部５１７において処理された非圧縮状態の画像データを基に、モニタ表示用の画像信号を生成してモニタに供給する。撮像画像の記録前のプレビュー状態では、撮像素子５１２からは連続的に撮像画像信号が出力され、デジタル変換された後、そのデジタル画像データがISOゲイン調整部５１４および合成処理部５１６を介して現像処理部５１７に供給されて、現像処理（ただし、符号化処理を除く）が施される。表示部５１９は、このとき現像処理部５１７から順次出力される画像（プレビュー画像）をモニタに表示し、ユーザはこのプレビュー画像を視認して画角を確認することができる。
【０１７７】
マイクロコンピュータ５２０は、CPU（Central Processing Unit）、ROM（Read Only Memory）、およびRAM（Random Access Memory）などを備え、ROMに記憶されたプログラムを実行することで、この撮像装置５００全体を統括的に制御する。例えば、本実施の形態では、検波部５２２からの検波結果を基に露出補正値を計算し、その値に応じた制御信号を出力して絞り５１１ａやシャッタ５１１ｂを制御することで、AE（自動露出）制御を実現する。また、後述する広ダイナミックレンジ撮像を行う際には、算出した露出補正値を合成処理部５１６に通知する。
【０１７８】
LPF（Low-Pass Filter）５２１は、ISOゲイン調整部５１４から出力された画像データに対して、必要に応じてローパスフィルタ処理を施す。検波部５２２は、ISOゲイン調整部５１４からLPF５２１を通じて供給された画像データを基に各種の検波を行うブロックであり、本実施の形態では、例えば、画像を所定の測光領域に分割し、測光領域ごとに輝度値を検出する。
【０１７９】
以上のような撮像装置５００において、合成処理部５１６と現像処理部５１７の一部または全部として、図１の画像処理装置１００、図２の画像処理装置２００、図３の画像処理装置３００、若しくは図１０の画像処理装置４００と同様の構成を有し、同様の処理を行う画像処理部が設けられるようにしてもよい。
【０１８０】
このようにすることにより、合成処理部５１６および現像処理部５１７は、容易に、露出条件が互いに異なる複数の画像を、白飛びや黒つぶれ等の画質劣化が生じないように合成し、適切な階調レンジの画像を生成するとともに、画像に対して、絵画風の視覚的効果を付与することができる。
【０１８１】
つまり、撮像装置５００は、容易に、ブラケット撮像により得られた複数の画像が合成され、さらに、絵画風の視覚的効果が付与された画像を得ることが出来、その画像を、表示部５１９に表示したり、JPEGデータ５３１として記録部５１８に記録したりすることができる。つまり、撮像装置５００は、より多様な効果を画像に付与することができる。
【０１８２】
なお、記録部５１８が記録する画像データの符号化方式は任意である。記録部５１８が、JPEG以外の符号化方式で符号化された画像データを記憶するようにしてもよい。
【０１８３】
＜６．第６の実施の形態＞
［パーソナルコンピュータ］
上述した一連の処理は、ハードウエアにより実行させることもできるし、ソフトウエアにより実行させることもできる。この場合、例えば、図１４に示されるようなパーソナルコンピュータとして構成されるようにしてもよい。
【０１８４】
図１４において、パーソナルコンピュータ６００のCPU（Central Processing Unit）６０１は、ROM（Read Only Memory）６０２に記憶されているプログラム、または記憶部６１３からRAM（Random Access Memory）６０３にロードされたプログラムに従って各種の処理を実行する。RAM６０３にはまた、CPU６０１が各種の処理を実行する上において必要なデータなども適宜記憶される。
【０１８５】
CPU６０１、ROM６０２、およびRAM６０３は、バス６０４を介して相互に接続されている。このバス６０４にはまた、入出力インタフェース６１０も接続されている。
【０１８６】
入出力インタフェース６１０には、キーボード、マウスなどよりなる入力部６１１、CRT（Cathode Ray Tube）やLCD（Liquid Crystal Display）などよりなるディスプレイ、並びにスピーカなどよりなる出力部６１２、ハードディスクなどより構成される記憶部６１３、モデムなどより構成される通信部６１４が接続されている。通信部６１４は、インターネットを含むネットワークを介しての通信処理を行う。
【０１８７】
入出力インタフェース６１０にはまた、必要に応じてドライブ６１５が接続され、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア６２１が適宜装着され、それらから読み出されたコンピュータプログラムが、必要に応じて記憶部６１３にインストールされる。
【０１８８】
上述した一連の処理をソフトウエアにより実行させる場合には、そのソフトウエアを構成するプログラムが、ネットワークや記録媒体からインストールされる。
【０１８９】
この記録媒体は、例えば、図１４に示されるように、装置本体とは別に、ユーザにプログラムを配信するために配布される、プログラムが記録されている磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM（Compact Disc - Read Only Memory）,DVD（Digital Versatile Disc）を含む）、光磁気ディスク（MD（Mini Disc）を含む）、若しくは半導体メモリなどよりなるリムーバブルメディア６２１により構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに配信される、プログラムが記録されているROM６０２や、記憶部６１３に含まれるハードディスクなどで構成される。
【０１９０】
なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
【０１９１】
また、本明細書において、記録媒体に記録されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
【０１９２】
また、本明細書において、システムとは、複数のデバイス（装置）により構成される装置全体を表すものである。
【０１９３】
また、以上において、１つの装置（または処理部）として説明した構成を分割し、複数の装置（または処理部）として構成するようにしてもよい。逆に、以上において複数の装置（または処理部）として説明した構成をまとめて１つの装置（または処理部）として構成されるようにしてもよい。また、各装置（または各処理部）の構成に上述した以外の構成を付加するようにしてももちろんよい。さらに、システム全体としての構成や動作が実質的に同じであれば、ある装置（または処理部）の構成の一部を他の装置（または他の処理部）の構成に含めるようにしてもよい。つまり、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
【０１９４】
なお、本技術は以下のような構成も取ることができる。
（１） 画像のディティール成分を生成するために用いられる高周波成分に影響を及ぼす画像処理を行う第１の画像処理部と、
前記第１の画像処理部により高周波成分に影響を及ぼす画像処理が施された前記成分を用いて、強調された前記ディティール成分を生成するディティール成分生成部と、
前記ディティール成分生成部により生成された、強調された前記ディティール成分を前記画像に合成することにより、前記画像のディティールを強調する強調部と
を備える画像処理装置。
（２） 前記画像処理は、不要な高周波成分を低減させる処理である
前記（１）に記載の画像処理装置。
（３） 前記画像処理は、所望の領域の前記不要な高周波成分を低減させる美化処理である
前記（２）に記載の画像処理装置。
（４） 前記美化処理は、肌領域の前記不要な高周波成分を低減させる美肌処理である
前記（３）に記載の画像処理装置。
（５） 前記ディティール成分生成部が生成する前記ディティール成分の強調量を制御する強調量制御部と、
前記第１の画像処理部により前記画像処理を行うか否かを制御する処理制御部と
をさらに備え、
前記処理制御部は、前記強調量制御部が前記強調量を大きな値に設定する場合、前記第１の画像処理部が前記画像処理を行うように制御し、前記強調量制御部が前記強調量を小さな値に設定する場合、前記第１の画像処理部が前記画像処理を行わないように制御する
前記（１）乃至（４）のいずれかに記載の画像処理装置。
（６） 互いに露出条件が異なる複数の画像を合成することで、輝度信号の階調範囲が圧縮された画像を生成する合成部をさらに備え、
前記強調部は、前記ディティール成分生成部により生成された、強調された前記ディティール成分を前記画像に合成することにより、前記合成部により生成された前記画像のディティールを強調する
前記（１）乃至（５）のいずれかに記載の画像処理装置。
（７） 前記露出条件が異なる複数の画像は、露出が適正値より抑制された露出アンダー画像、露出が適正値の適正露出画像、並びに、露出が適正値より増大された露出オーバー画像であり、
前記第１の画像処理部は、前記適正露出画像に対して前記画像処理を行う
前記（６）に記載の画像処理装置。
（８） 前記合成部により合成されて得られた前記画像に対して前記画像処理を行う第２の画像処理部をさらに備え、
前記強調部は、前記ディティール成分生成部により生成された、強調された前記ディティール成分を前記画像に合成することにより、前記第２の画像処理部により前記画像処理が行われた前記画像のディティールを強調する
前記（６）または（７）に記載の画像処理装置。
（９） 前記第１の画像処理部により前記画像処理が施された前記成分を含む、互いに露出条件が異なる複数の画像を合成することで、輝度信号の階調範囲が圧縮された画像を生成する合成部と、
前記合成部により合成されて得られた前記画像に対して前記画像処理を行う第２の画像処理部と、
前記ディティール成分生成部が生成する前記ディティール成分の強調量を制御する強調量制御部と、
前記第１の画像処理部および前記第２の画像処理部により前記画像処理を行うか否かを制御する処理制御部と
をさらに備え、
前記処理制御部は、前記強調量制御部が前記強調量を大きな値に設定する場合、前記第１の画像処理部が前記画像処理を行い、前記第２の画像処理部が前記画像処理を行わないように制御し、前記強調量制御部が前記強調量を小さな値に設定する場合、前記第２の画像処理部が前記画像処理を行い、前記第１の画像処理部が前記画像処理を行わないように制御する
前記（１）に記載の画像処理装置。
（１０） 前記互いに露出条件が異なる複数の画像は、露出が適正値より抑制された露出アンダー画像、露出が適正値の適正露出画像、並びに、露出が適正値より増大された露出オーバー画像であり、
前記第１の画像処理部は、前記適正露出画像に対して前記画像処理を行う
前記（９）に記載の画像処理装置。
（１１） 画像処理装置の画像処理方法であって、
前記画像処理装置の第１の画像処理部が、画像のディティール成分を生成するために用いられる高周波成分に影響を及ぼす画像処理を行い、
前記画像処理装置のディティール成分生成部が、高周波成分に影響を及ぼす画像処理が施された前記成分を用いて、強調された前記ディティール成分を生成し、
前記画像処理装置の強調部が、生成された、強調された前記ディティール成分を前記画像に合成することにより、前記画像のディティールを強調する
画像処理方法。
【符号の説明】
【０１９５】
１００ 画像処理装置， １１４ 美化処理部， ２００ 画像処理装置， ３００ 画像処理装置， ３１１ 制御部， ３１２ 選択部， ３１３ 美化処理部， ３１４ 輝度成分抽出部， ３１５ 照明分離フィルタ， ３１６ HDR圧縮処理部， ３１７ 美化処理部， ３１８ 絵画調処理部， ３１９ 記憶部， ３２１ 制御部， ３２２ ディティール生成部， ３２３ ディティール強調部， ３６１ 除算部， ３６２ 減算部， ３６３ 乗算部， ３６４ 加算部， ４００ 画像処理装置， ４１１ 制御部， ４１２ 選択部， ４１３ 美化処理部， ４１４ 輝度成分抽出部， ４１５ 照明分離フィルタ， ４１６ HDR圧縮処理部， ４１７ 選択部， ４１８ 美化処理部， ４１９ 絵画調処理部， ４２０ 記憶部， ４２１ 制御部， ４２２ ディティール生成部， ４２３ ディティール強調部， ５００ 撮像装置， ５１６ 合成処理部， ５１７ 現像処理部
【特許請求の範囲】
【請求項１】
画像のディティール成分を生成するために用いられる高周波成分に影響を及ぼす画像処理を行う第１の画像処理部と、
前記第１の画像処理部により高周波成分に影響を及ぼす画像処理が施された前記成分を用いて、強調された前記ディティール成分を生成するディティール成分生成部と、
前記ディティール成分生成部により生成された、強調された前記ディティール成分を前記画像に合成することにより、前記画像のディティールを強調する強調部と
を備える画像処理装置。
【請求項２】
前記画像処理は、不要な高周波成分を低減させる処理である
請求項１に記載の画像処理装置。
【請求項３】
前記画像処理は、所望の領域の前記不要な高周波成分を低減させる美化処理である
請求項２に記載の画像処理装置。
【請求項４】
前記美化処理は、肌領域の前記不要な高周波成分を低減させる美肌処理である
請求項３に記載の画像処理装置。
【請求項５】
前記ディティール成分生成部が生成する前記ディティール成分の強調量を制御する強調量制御部と、
前記第１の画像処理部により前記画像処理を行うか否かを制御する処理制御部と
をさらに備え、
前記処理制御部は、前記強調量制御部が前記強調量を大きな値に設定する場合、前記第１の画像処理部が前記画像処理を行うように制御し、前記強調量制御部が前記強調量を小さな値に設定する場合、前記第１の画像処理部が前記画像処理を行わないように制御する
請求項１に記載の画像処理装置。
【請求項６】
互いに露出条件が異なる複数の画像を合成することで、輝度信号の階調範囲が圧縮された画像を生成する合成部をさらに備え、
前記強調部は、前記ディティール成分生成部により生成された、強調された前記ディティール成分を前記画像に合成することにより、前記合成部により生成された前記画像のディティールを強調する
請求項１に記載の画像処理装置。
【請求項７】
前記露出条件が異なる複数の画像は、露出が適正値より抑制された露出アンダー画像、露出が適正値の適正露出画像、並びに、露出が適正値より増大された露出オーバー画像であり、
前記第１の画像処理部は、前記適正露出画像に対して前記画像処理を行う
請求項６に記載の画像処理装置。
【請求項８】
前記合成部により合成されて得られた前記画像に対して前記画像処理を行う第２の画像処理部をさらに備え、
前記強調部は、前記ディティール成分生成部により生成された、強調された前記ディティール成分を前記画像に合成することにより、前記第２の画像処理部により前記画像処理が行われた前記画像のディティールを強調する
請求項６に記載の画像処理装置。
【請求項９】
前記第１の画像処理部により前記画像処理が施された前記成分を含む、互いに露出条件が異なる複数の画像を合成することで、輝度信号の階調範囲が圧縮された画像を生成する合成部と、
前記合成部により合成されて得られた前記画像に対して前記画像処理を行う第２の画像処理部と、
前記ディティール成分生成部が生成する前記ディティール成分の強調量を制御する強調量制御部と、
前記第１の画像処理部および前記第２の画像処理部により前記画像処理を行うか否かを制御する処理制御部と
をさらに備え、
前記処理制御部は、前記強調量制御部が前記強調量を大きな値に設定する場合、前記第１の画像処理部が前記画像処理を行い、前記第２の画像処理部が前記画像処理を行わないように制御し、前記強調量制御部が前記強調量を小さな値に設定する場合、前記第２の画像処理部が前記画像処理を行い、前記第１の画像処理部が前記画像処理を行わないように制御する
請求項１に記載の画像処理装置。
【請求項１０】
前記互いに露出条件が異なる複数の画像は、露出が適正値より抑制された露出アンダー画像、露出が適正値の適正露出画像、並びに、露出が適正値より増大された露出オーバー画像であり、
前記第１の画像処理部は、前記適正露出画像に対して前記画像処理を行う
請求項９に記載の画像処理装置。
【請求項１１】
画像処理装置の画像処理方法であって、
前記画像処理装置の第１の画像処理部が、画像のディティール成分を生成するために用いられる高周波成分に影響を及ぼす画像処理を行い、
前記画像処理装置のディティール成分生成部が、高周波成分に影響を及ぼす画像処理が施された前記成分を用いて、強調された前記ディティール成分を生成し、
前記画像処理装置の強調部が、生成された、強調された前記ディティール成分を前記画像に合成することにより、前記画像のディティールを強調する
画像処理方法。
【請求項１】
画像のディティール成分を生成するために用いられる高周波成分に影響を及ぼす画像処理を行う第１の画像処理部と、
前記第１の画像処理部により高周波成分に影響を及ぼす画像処理が施された前記成分を用いて、強調された前記ディティール成分を生成するディティール成分生成部と、
前記ディティール成分生成部により生成された、強調された前記ディティール成分を前記画像に合成することにより、前記画像のディティールを強調する強調部と
を備える画像処理装置。
【請求項２】
前記画像処理は、不要な高周波成分を低減させる処理である
請求項１に記載の画像処理装置。
【請求項３】
前記画像処理は、所望の領域の前記不要な高周波成分を低減させる美化処理である
請求項２に記載の画像処理装置。
【請求項４】
前記美化処理は、肌領域の前記不要な高周波成分を低減させる美肌処理である
請求項３に記載の画像処理装置。
【請求項５】
前記ディティール成分生成部が生成する前記ディティール成分の強調量を制御する強調量制御部と、
前記第１の画像処理部により前記画像処理を行うか否かを制御する処理制御部と
をさらに備え、
前記処理制御部は、前記強調量制御部が前記強調量を大きな値に設定する場合、前記第１の画像処理部が前記画像処理を行うように制御し、前記強調量制御部が前記強調量を小さな値に設定する場合、前記第１の画像処理部が前記画像処理を行わないように制御する
請求項１に記載の画像処理装置。
【請求項６】
互いに露出条件が異なる複数の画像を合成することで、輝度信号の階調範囲が圧縮された画像を生成する合成部をさらに備え、
前記強調部は、前記ディティール成分生成部により生成された、強調された前記ディティール成分を前記画像に合成することにより、前記合成部により生成された前記画像のディティールを強調する
請求項１に記載の画像処理装置。
【請求項７】
前記露出条件が異なる複数の画像は、露出が適正値より抑制された露出アンダー画像、露出が適正値の適正露出画像、並びに、露出が適正値より増大された露出オーバー画像であり、
前記第１の画像処理部は、前記適正露出画像に対して前記画像処理を行う
請求項６に記載の画像処理装置。
【請求項８】
前記合成部により合成されて得られた前記画像に対して前記画像処理を行う第２の画像処理部をさらに備え、
前記強調部は、前記ディティール成分生成部により生成された、強調された前記ディティール成分を前記画像に合成することにより、前記第２の画像処理部により前記画像処理が行われた前記画像のディティールを強調する
請求項６に記載の画像処理装置。
【請求項９】
前記第１の画像処理部により前記画像処理が施された前記成分を含む、互いに露出条件が異なる複数の画像を合成することで、輝度信号の階調範囲が圧縮された画像を生成する合成部と、
前記合成部により合成されて得られた前記画像に対して前記画像処理を行う第２の画像処理部と、
前記ディティール成分生成部が生成する前記ディティール成分の強調量を制御する強調量制御部と、
前記第１の画像処理部および前記第２の画像処理部により前記画像処理を行うか否かを制御する処理制御部と
をさらに備え、
前記処理制御部は、前記強調量制御部が前記強調量を大きな値に設定する場合、前記第１の画像処理部が前記画像処理を行い、前記第２の画像処理部が前記画像処理を行わないように制御し、前記強調量制御部が前記強調量を小さな値に設定する場合、前記第２の画像処理部が前記画像処理を行い、前記第１の画像処理部が前記画像処理を行わないように制御する
請求項１に記載の画像処理装置。
【請求項１０】
前記互いに露出条件が異なる複数の画像は、露出が適正値より抑制された露出アンダー画像、露出が適正値の適正露出画像、並びに、露出が適正値より増大された露出オーバー画像であり、
前記第１の画像処理部は、前記適正露出画像に対して前記画像処理を行う
請求項９に記載の画像処理装置。
【請求項１１】
画像処理装置の画像処理方法であって、
前記画像処理装置の第１の画像処理部が、画像のディティール成分を生成するために用いられる高周波成分に影響を及ぼす画像処理を行い、
前記画像処理装置のディティール成分生成部が、高周波成分に影響を及ぼす画像処理が施された前記成分を用いて、強調された前記ディティール成分を生成し、
前記画像処理装置の強調部が、生成された、強調された前記ディティール成分を前記画像に合成することにより、前記画像のディティールを強調する
画像処理方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【公開番号】特開２０１２−２４７８７４（Ｐ２０１２−２４７８７４Ａ）
【公開日】平成２４年１２月１３日（２０１２．１２．１３）
【国際特許分類】
【出願番号】特願２０１１−１１７４６８（Ｐ２０１１−１１７４６８）
【出願日】平成２３年５月２５日（２０１１．５．２５）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
【公開日】平成２４年１２月１３日（２０１２．１２．１３）
【国際特許分類】
【出願日】平成２３年５月２５日（２０１１．５．２５）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
[ Back to top ]