画像処理装置および方法
【課題】より多様な効果を画像に付与することができるようにする。
【解決手段】露出条件が互いに異なる複数の画像を合成し、合成画像を生成する合成部と、前記画像のディティール成分を生成するディティール生成部と、前記合成部により生成された前記合成画像を記憶するとともに、前記ディティール生成部により生成された前記ディティール成分を記憶する記憶部と、前記記憶部から読み出した前記ディティール成分を用いて、前記記憶部から読み出した前記合成画像のディティールを強調する強調部とを備え、前記ディティール生成部は、前記合成部が前記合成画像を生成し、前記記憶部が前記合成画像を記憶した後、前記ディティール成分を生成する本技術は、例えば、画像処理装置に適用することができる。
【解決手段】露出条件が互いに異なる複数の画像を合成し、合成画像を生成する合成部と、前記画像のディティール成分を生成するディティール生成部と、前記合成部により生成された前記合成画像を記憶するとともに、前記ディティール生成部により生成された前記ディティール成分を記憶する記憶部と、前記記憶部から読み出した前記ディティール成分を用いて、前記記憶部から読み出した前記合成画像のディティールを強調する強調部とを備え、前記ディティール生成部は、前記合成部が前記合成画像を生成し、前記記憶部が前記合成画像を記憶した後、前記ディティール成分を生成する本技術は、例えば、画像処理装置に適用することができる。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、画像処理装置および方法に関し、特に、より多様な効果を画像に付与することができるようにした画像処理装置および方法に関する。
【背景技術】
【０００２】
従来、ダイナミックレンジの広い画像の階調の範囲を圧縮し、適正化するHDR（High Dynamic Range）圧縮処理が考えられている（例えば、特許文献１参照）。
【０００３】
例えば、特許文献１においては、露出の異なる複数の画像からダイナミックレンジの広い画像を作り、つぎに平滑化フィルタを使って画像を低周波成分と高周波成分（ディティール成分）に分解し、低周波成分の階調の範囲を圧縮し、その圧縮量に対応する分だけディティール成分を強調して、最後に処理後の両成分を合成して、通常レンジの画像を得る方法が記載されている。
【０００４】
また、ダイナミックレンジの広い画像の合成を経由せずに、複数の画像から通常レンジの画像を作る方法も記載されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００８−１０４０１０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、近年においては、単に階調の範囲を圧縮するだけでなく、HDR圧縮処理された画像に他の効果を付与することが求められている。
【０００７】
本開示は、このような状況に鑑みてなされたものであり、画像の階調を処理するとともに、その画像に対して他の視覚的効果を付与する処理も行うことにより、より多様な効果を画像に付与することができるようにすることを目的とする。
【課題を解決するための手段】
【０００８】
本開示の一側面は、露出条件が互いに異なる複数の画像を合成し、合成画像を生成する合成部と、前記画像のディティール成分を生成するディティール生成部と、前記合成部により生成された前記合成画像を記憶するとともに、前記ディティール生成部により生成された前記ディティール成分を記憶する記憶部と、前記記憶部から読み出された前記ディティール成分を用いて、前記記憶部から読み出された前記合成画像のディティールを強調する強調部とを備え、前記ディティール生成部は、前記合成部が前記合成画像を生成し、前記記憶部が前記合成画像を記憶した後、前記ディティール成分を生成する画像処理装置である。
【０００９】
前記露出条件が異なる複数の画像は、露出が適正値より抑制された露出アンダー画像、露出が適正値の適正露出画像、並びに、露出が適正値より増大された露出オーバー画像であるようにすることができる。
【００１０】
前記適正露出画像の輝度成分を抽出する第１の輝度成分抽出部と、前記第１の輝度成分抽出部により抽出された前記輝度成分の照明成分を抽出する第１の照明成分抽出部とをさらに備え、前記合成部は、前記第１の照明成分抽出部により抽出された前記照明成分に基づいて、前記露出アンダー画像、前記適正露出画像、および前記露出オーバー画像を重み付けして合成し、前記合成画像を生成することができる。
【００１１】
前記記憶部は、前記第１の照明成分抽出部により抽出された前記照明成分をさらに記憶することができる。
【００１２】
前記ディティール生成部は、前記合成部により生成された前記合成画像が前記記憶部に記憶された後、前記第１の照明成分抽出部により抽出された前記照明成分を前記記憶部から読み出された前記照明成分を用いて、前記ディティール成分を生成することができる。
【００１３】
前記合成部により生成された前記合成画像が前記記憶部に記憶された後、前記適正露出画像の輝度成分を抽出する第２の輝度成分抽出部と、前記第２の輝度成分抽出部により抽出された前記輝度成分の照明成分を抽出する第２の照明成分抽出部とをさらに備え、前記記憶部は、前記第２の照明成分抽出部により抽出された前記照明成分をさらに記憶し、前記ディティール生成部は、前記第２の照明成分抽出部により抽出された前記照明成分を前記記憶部から読み出された前記照明成分を用いて、前記ディティール成分を生成することができる。
【００１４】
前記適正露出画像、前記合成画像、および、ディティールが強調された前記合成画像を互いに関連付けて保存する保存部をさらに備えることができる。
【００１５】
前記強調部は、前記合成画像のディティールを、前記画像に絵画調の視覚的効果を付与する程強調することができる。
【００１６】
前記ディティール成分の強調量を制御する制御部をさらに備え、前記ディティール生成部は、前記制御部により設定された前記強調量に応じて、生成した前記ディティール成分を強調し、前記強調部は、強調された前記ディティール成分を用いて、前記合成画像のディティールを強調することができる。
【００１７】
前記制御部が前記強調量を再設定すると、前記強調部は、前記合成画像のディティールの強調をやり直すことができる。
【００１８】
前記強調部によりディティールが強調された前記合成画像を表示する表示部と、前記強調量に関するユーザ指示を受け付ける入力部とをさらに備え、前記制御部は、前記入力部において受け付けられた前記ユーザ指示に従って前記強調量を再設定し、前記強調部は、再設定された前記強調量に応じて、前記合成画像のディティールの強調をやり直すことができる。
【００１９】
本開示の一側面は、また、各種画像を記憶する記憶部を有する画像処理装置の画像処理方法であって、前記画像処理装置の合成部が、露出条件が互いに異なる複数の画像を合成して合成画像を生成し、生成した前記合成画像を前記記憶部に記憶させ、前記画像処理装置のディティール生成部が、前記合成画像が前記記憶部に記憶された後、前記画像のディティール成分を生成し、生成した前記ディティール成分を前記記憶部に記憶させ、前記画像処理装置の強調部が、前記記憶部から読み出された前記ディティール成分を用いて、前記記憶部から読み出された前記合成画像のディティールを強調する画像処理方法である。
【００２０】
本開示の一側面においては、露出条件が互いに異なる複数の画像を合成して合成画像が生成され、生成された合成画像が記憶部に記憶され、合成画像が記憶部に記憶された後、画像のディティール成分が生成され、生成されたディティール成分が記憶部に記憶され、記憶部から読み出されたディティール成分が用いられて、記憶部から読み出された合成画像のディティールが強調される。
【発明の効果】
【００２１】
本技術によれば、画像を処理することができる。特に、より多様な効果を画像に付与することができる。
【図面の簡単な説明】
【００２２】
【図１】画像の階調を処理する画像処理装置の主な構成例を示すブロック図である。
【図２】ディティール生成部の主な構成例を示すブロック図である。
【図３】画像処理の流れの例を説明するフローチャートである。
【図４】メモリ使用量の推移の例を説明する図である。
【図５】画像処理装置の他の構成例を示すブロック図である。
【図６】画像処理の流れの、他の例を説明するフローチャートである。
【図７】メモリ使用量の推移の、他の例を説明する図である。
【図８】画像処理装置のさらに他の構成例を示すブロック図である。
【図９】画像処理の流れの、さらに他の例を説明するフローチャートである。
【図１０】画像処理装置のさらに他の構成例を示すブロック図である。
【図１１】ユーザインタフェースの例を説明する図である。
【図１２】画像処理の流れの、さらに他の例を説明するフローチャートである。
【図１３】画像処理の流れの、さらに他の例を説明する、図１２に続くフローチャートである。
【図１４】画像処理装置のさらに他の構成例を示すブロック図である。
【図１５】画像処理の流れの、さらに他の例を説明するフローチャートである。
【図１６】撮像装置の主な構成例を示すブロック図である。
【図１７】パーソナルコンピュータの主な構成例を示すブロック図である。
【発明を実施するための形態】
【００２３】
以下、本技術を実施するための形態（以下実施の形態とする）について説明する。なお、説明は以下の順序で行う。
１．第１の実施の形態（画像処理装置）
２．第２の実施の形態（画像処理装置）
３．第３の実施の形態（画像処理装置）
４．第４の実施の形態（画像処理装置）
５．第５の実施の形態（画像処理装置）
６．第６の実施の形態（撮像装置）
７．第７の実施の形態（パーソナルコンピュータ）
【００２４】
＜１．第１の実施の形態＞
［画像処理装置］
図１は、画像処理装置の一実施の形態の構成を表している。
【００２５】
図１に示される画像処理装置１００は、入力された露出条件が互いに異なる複数の画像を、白飛びや黒つぶれ等の画質劣化が生じないように合成し、適切な階調レンジの画像を生成するHDR処理を行うとともに、その生成された画像に対して、絵画調の視覚的効果を付与する画像処理を行う装置である。互いに露出条件の異なる３つの画像（露出アンダー画像、適正露出画像、および露出オーバー画像）が入力され、上述した画像処理により、階調レンジが適正化された絵画調の視覚的効果が付与された絵画調HDR（High Dynamic Range）画像データが出力される。
【００２６】
例えば、画角内の輝度レンジが広いシーンでは、自動露出処理（AE処理）の精度が悪化し、画角内の主な被写体が露出オーバーになって白飛びしたり、露出アンダーになってノイズに埋もれたり黒つぶれしたりする可能性が高くなる。そこで、このようなシーンにおいても適切な露光条件で撮像された画像を得るための撮像手法として、露光条件を変化させて複数回連続して露光し、それぞれの複数の画像信号を得る「ブラケット撮像」という手法が知られている。
【００２７】
この、ブラケット撮像を応用して、撮像素子の出力よりも広いダイナミックレンジを持つ画像（広ダイナミックレンジ画像）を得ることを可能とした撮像手法が考えられている。広ダイナミックレンジ画像の撮像では、ブラケット撮像により露出量を大きくした撮像画像と、露出量を抑えた撮像画像とを取得し、それらを合成することで広ダイナミックレンジの画像を生成する。すなわち、露出量を抑えて高輝度側の階調が得られた画像成分と、露出量を高めて低輝度側の階調が得られた画像成分とを合成することで、１回の露光では得ることができない広い輝度レンジの階調情報を、合成後の画像に取り入れることが可能となる。
【００２８】
例えばこのような撮像により得られた、互いに露出条件の異なる複数の画像から、白飛びや黒つぶれ等の画質劣化が生じないように合成された、適切な階調レンジの画像を生成する場合、階調レンジの広いHDR画像データ（広ダイナミックレンジ画像）を生成し、その画像の階調レンジを、上述したようなHDR処理により圧縮する方法がある。しかしながら、この方法の場合、階調レンジの広いHDR画像データを生成する必要があるので処理に必要なメモリ量が増大する可能性がある。
【００２９】
そこで、このような階調レンジの広いHDR画像データを生成せずに、露出条件が互いに異なる複数の画像を、白飛びや黒つぶれ等の画質劣化が生じないように合成し、適切な階調レンジの画像を生成する方法がある。画像処理装置１００は、この方法を用いることにより、上述した方法を用いる場合よりもメモリの使用量を低減させることができる。
【００３０】
図１に示されるように、画像処理装置１００は、輝度成分抽出部１１１、照明分離フィルタ１１２、HDR圧縮処理部１１３、制御部１１４、ディティール生成部１１５、ディティール強調部１１６、および記憶部１１７を有する。
【００３１】
これらの構成の内、輝度成分抽出部１１１、照明分離フィルタ１１２、およびHDR圧縮処理部１１３が、互いに露出条件の異なる３つの画像を、白飛びや黒つぶれ等の画質劣化が生じないように合成し、適切な階調レンジの画像を生成するHDR処理を行うHDR処理部１２１を構成する。また、制御部１１４、ディティール生成部１１５、およびディティール強調部１１６が、画像に対して絵画調の視覚的効果を付与する絵画調処理部１２２を構成する。
【００３２】
上述したように、画像処理装置１００には、適正値よりも意図的に露出を抑えて生成した露出アンダー画像、露出を適正値で生成した適正露出画像、適正値よりも意図的に露出を大きくして生成した露出オーバー画像が入力される。各画像は、HDR圧縮処理部１１３に供給される（矢印１３１乃至矢印１３３）。
【００３３】
また、適正露出画像は、輝度成分抽出部１１１にも供給される（矢印１３２）。輝度成分抽出部１１１は、入力された適正露出画像から輝度成分を抽出し、それを照明分離フィルタ１１２およびディティール生成部１１５に供給する（矢印１３４）。
【００３４】
照明分離フィルタ１１２は、入力されたHDR画像データに対してローパスフィルタ処理を施すことにより、照明成分（低周波成分とも称する）を抽出する。なお、この照明成分の抽出のためには、エッジ成分が残存するように高域カット処理する非線形のローパスフィルタ（例えば特許文献１に記載のフィルタやバイラテラルフィルタ）を用いることが望ましい。また、同様なローパスフィルタ処理としては、非線形ローパスフィルタの他に、統計的な手法（例えば、最頻値フィルタや中央値フィルタ）を用いることもできる。照明分離フィルタ１１２は、抽出した照明成分をHDR圧縮処理部１１３およびディティール生成部１１５に供給する（矢印１３５）。
【００３５】
HDR圧縮処理部１１３は、照明分離フィルタ１１２から供給される照明成分を、所定の変換テーブルを用いて合成係数に変換し、その合成係数を用いて、入力された露出アンダー画像、適正露出画像、および露出オーバー画像を合成する。より具体的には、HDR圧縮処理部１１３は、各画像を合成係数で重み付けして互いに加算する。HDR圧縮処理部１１３は、このようにして、露出アンダー画像、適正露出画像、および露出オーバー画像から、白飛びや黒つぶれ等の画質劣化が生じないように合成された、適切な階調レンジの画像（HDR圧縮画像）を生成する。HDR圧縮処理部１１３は、生成したHDR圧縮画像をディティール強調部１１６に供給する（矢印１３６）。
【００３６】
制御部１１４は、絵画調の視覚的効果を与えるためのHDR圧縮画像のディティール成分（高周波成分、反射率成分とも称する）の強調量であるディティール強調量を設定する。つまり、このディティール強調量は、HDR圧縮画像のディティール成分を過度に強調するゲインである。例えば、画像に絵画調の効果を付与する場合、制御部１１４は、ディティール強調量として大きな値（１より十分に大きな値）を設定する。また、画像に絵画調の効果を付与せず、HDR処理のみを行うようにする場合、制御部１１４は、ディティール強調量として小さな値（１に近い値）を設定する。制御部１１４は、そのディティール強調量をディティール生成部１１５に供給する（矢印１３７）。
【００３７】
例えば、制御部１１４は、記憶部を有し、予め設定されたディティール強調量を記憶し、それをディティール生成部１１５に供給する。また、例えば、制御部１１４は、入力部を有し、外部より入力されるディティール強調量をディティール生成部１１５に供給するようにしてもよい。さらに例えば、制御部１１４は、ユーザの指示を受け付ける受付部を有し、ユーザにより設定されるディティール強調量をディティール生成部１１５に供給するようにしてもよい。また、制御部１１４は、演算部を有し、外部やユーザ等より入力される情報に基づいてディティール強調量を算出し、それをディティール生成部１１５に供給するようにしてもよい。
【００３８】
ディティール生成部１１５は、輝度成分抽出部１１１から供給される適正露出画像の輝度成分と、照明分離フィルタ１１２から供給される適正露出画像の輝度成分の照明成分とを用いて、適正露出画像の輝度成分のディティール成分を抽出する。
【００３９】
例えば、ディティール生成部１１５は、輝度成分抽出部１１１から供給される輝度成分から、照明分離フィルタ１１２から供給された照明成分のデータを除算することで、ディティール成分を求める。なお、ディティール生成部１１５が、例えば、輝度成分から照明成分を減算することで、ディティール成分を求めるようにしてもよい。
【００４０】
さらに、ディティール生成部１１５は、抽出したディティール成分を、制御部１１４から供給されるディティール強調量で強調し、強調されたディティール成分を生成する。つまり、制御部１１４においてディティール強調量が大きな値（１より十分に大きな値）に設定されている場合、この処理により、ディティール成分が過度に強調される。なお、制御部１１４においてディティール強調量が小さな値（１に近い値）に設定されている場合、ディティール成分は、略強調されない。
【００４１】
ディティール生成部１１５は、そのディティール成分をディティール強調部１１６に供給する（矢印１３８）。
【００４２】
ディティール強調部１１６は、HDR圧縮処理部１１３から供給されたHDR圧縮画像に、ディティール生成部１１５から供給されたディティール成分を乗算する。この処理により、ディティール強調量が大きな値（１より十分に大きな値）に設定されている場合、HDR圧縮画像のディティールが過度に強調され、HDR圧縮画像に絵画調の視覚的効果が付与される。なお、この処理により、ディティール強調量が小さな値（１に近い値）に設定されている場合、HDR圧縮画像のディティールは略強調されず、HDR圧縮画像に絵画調の視覚的効果が付与されない。つまり、ディティール強調部１１６は、ディティール強調量に応じた程度で、HDR圧縮画像のディティールを強調する。ディティール強調部１１６は、このような処理が行われたHDR圧縮画像（（絵画調）HDR圧縮画像）を出力する（矢印１３９）。
【００４３】
ディティール強調部１１６から出力される絵画調HDR画像データは、さらに、ビット数を圧縮する等してもよい。
【００４４】
記憶部１１７は、各処理部で授受される各種画像データ等を記憶する。つまり、各処理部は、この記憶部１１７を介して、露出アンダー画像、適正露出画像、露出オーバー画像、輝度成分、照明成分、ディティール成分、HDR圧縮画像、および絵画調HDR圧縮画像等情報の授受を行う。
【００４５】
以上のように、絵画調処理部１２２のディティール強調部１１６が、ディティールの見えが実物よりも強調されて見える程、HDR圧縮画像の反射率成分のみを過度に増幅する（ディティールを過度に強調する）だけで、画像処理装置１００は、容易に、露出条件が互いに異なる複数の画像を、白飛びや黒つぶれ等の画質劣化が生じないように合成し、適切な階調レンジの画像を生成するとともに、画像に対して、絵画風の視覚的効果を付与することができる。つまり、画像処理装置１００は、より多様な効果を画像に付与することができる。
【００４６】
なお、単純にHDR圧縮画像からディティール成分を抽出し、増幅して絵画風の視覚的効果を付与するようにすると、非線形のローパスフィルタでの照明成分の分離が困難になる（エッジが保存されにくくなる）。これが原因で、エッジ近辺で低周波成分が強調されることにより視覚的に画質の劣化が大きくなってしまう。画像処理装置１００は、ディティールの見えが実物よりも強調されることにより質感が豊富になることを利用し、HDR処理の際に抽出される輝度成分と照明成分とを用いてディティール成分のみを過度に増幅することにより、視覚的な画質の劣化を抑制しながら、容易に、画像に絵画風の特殊効果を与えることができる。
【００４７】
ディティール強調量の値は任意であるが、例えば、２倍、４倍、８倍のように、一般的に、ディティール強調量を大きくするほど、ディティールがより強く強調され、画像に与える絵画風の視覚的効果を強くすることができる。
【００４８】
制御部１１４は、画像に対してより強い絵画風の視覚的効果を与える場合、このディティール強調量を大きな値に設定する。また、画像に対して絵画風の視覚的効果を強く与えたくない場合、制御部１１４は、ディティール強調量を小さな値（例えば１）に設定する。つまり、制御部１１４は、このディティール強調量の大きさを制御することにより、HDR圧縮処理を、被写体に忠実に行うのか、それとも絵画調の視覚的効果を付与するように行うのかを制御することができる。
【００４９】
また、線形の平滑化フィルタ処理を用いて照明成分や反射率成分を抽出するようにすると、輪郭にHALO（輪郭部分に発生する後光状のアーチファクト）と呼ばれる現象が現れて、好ましくない画質になる（視覚的に画質が劣化する）可能性がある。そこで、照明分離フィルタにはエッジ保存平滑化フィルタを用いるのが望ましい。エッジ保存平滑化フィルタとしては、例えばバイラテラルフィルタや、国際公開WO2009/072537に記載の方法等がある。
【００５０】
なお、ディティール強調量は、処理対象画素の輝度や位置毎に独立して設定することができる（輝度や位置に応じた値とすることができる）ようにしてもよい。例えば、ディティール成分に信号の飽和による偽の階調が含まれることがある高輝度の部分や、本来不要なノイズ成分を多く含む低輝度の部分の増幅を抑制するようにしたり、画像内の一部の領域のみディティール成分が増幅されるようにしたりしてもよい。また、以上においては、輝度成分抽出部１１１が適正露出画像（矢印１３２）から輝度成分を抽出するように説明したが、これに限らず、輝度成分抽出部１１１が、露出アンダー画像（矢印１３１）や露出オーバー画像（矢印１３３）から輝度成分を抽出するようにしてもよい。
【００５１】
［ディティール生成部］
図２は、ディティール生成部１１５の主な構成例を示すブロック図である。図２に示されるように、ディティール生成部１１５は、除算部１５１、減算部１５２、乗算部１５３、および加算部１５４を有する。
【００５２】
除算部１５１は、輝度成分抽出部１１１から供給される輝度成分（矢印１３４）を、照明分離フィルタ１１２から供給される照明成分（矢印１３５）で除算することにより、ディティール成分を抽出する。除算部１５１は、抽出したディティール成分を乗算部１５３に供給する（矢印１６１）。
【００５３】
減算部１５２は、標準となるディティールゲインが自動でかかる分を補正するために、制御部１１４から供給されるディティール強調量から値「１」を減算する。減算部１５２は、値「１」を減算したディティール強調量を乗算部１５３に供給する（矢印１６２）。
【００５４】
乗算部１５３は、除算部１５１から供給されるディティール成分と、減算部１５２から供給されるディティール強調量とを乗算し、その乗算結果を加算部１５４に供給する（矢印１６３）。
【００５５】
加算部１５４は、乗算部１５３から供給される、ディティール成分と値「１」が減算されたディティール強調量との乗算結果に、制御部１１４から供給されるディティール強調量（矢印１３７）を加算する。加算部１５４は、その加算結果、すなわち、過度に強調されたディティール成分をディティール強調部１１６に供給する（矢印１３８）。
【００５６】
なお、メモリ削減などの理由で、平滑化フィルタ処理の出力時に信号精度の丸め処理がある場合、丸め処理の前の信号（輝度成分および照明成分）から、ディティール成分が抽出されるようにするのが望ましい。これは、ディティール成分の計算では演算精度が重要なためである。
【００５７】
［画像処理の流れ］
図３のフローチャートを参照して、この場合の画像処理の流れの例を説明する。
【００５８】
ステップＳ１０１において、画像処理装置１００は、露出アンダー画像、適正露出画像、および露出オーバー画像を取得する。記憶部１１７は、それらを記憶する。
【００５９】
ステップＳ１０２において、輝度成分抽出部１１１は、記憶部１１７から適正露出画像を読み出し、読み出した適正露出画像から輝度成分を抽出する。記憶部１１７は、抽出された輝度成分を記憶する。なお、輝度成分は、適正露出画像の１コンポーネントであるとみなすことができるため、記憶部１１７に記憶されている適正露出画像に既に含まれているものとし、この記憶は省略することもできる。
【００６０】
ステップＳ１０３において、照明分離フィルタ１１２は、記憶部１１７から輝度成分を読み出し、その輝度成分から照明成分を抽出する。記憶部１１７は、抽出された照明成分を記憶する。
【００６１】
ステップＳ１０４において、HDR圧縮処理部１１３は、記憶部１１７から照明成分を読み出し、例えば変換テーブルを用いて、読み出した照明成分から合成係数を生成する。
【００６２】
ステップＳ１０５において、HDR圧縮処理部１１３は、記憶部１１７から露出アンダー画像、適正露出画像、および露出オーバー画像を読み出し、ステップＳ１０４において生成された合成係数を用いて、読み出した露出アンダー画像、適正露出画像、および露出オーバー画像の各画像を重み付けして、それらを、白飛びや黒つぶれ等の画質劣化が生じないように合成し、適切な階調レンジのHDR圧縮画像を生成する。記憶部１１７は、生成されたHDR圧縮画像を記憶する。
【００６３】
ステップＳ１０６において、制御部１１４は、HDR圧縮画像に対して絵画調効果を与えるか否かを判定する。絵画調効果を与えると判定した場合、制御部１１４は、処理をステップＳ１０７に進め、ディティール成分を過度に増幅するように、ディティール強調量に大きな値（１より十分に大きな値）を設定する。
【００６４】
また、ステップＳ１０６において、HDR圧縮画像に絵画調効果を与えないと判定した場合、制御部１１４は、処理をステップＳ１０８に進め、ディティール強調量に小さな値（１に近い値）を設定する。
【００６５】
ステップＳ１０７またはステップＳ１０８においてディティール強調量を設定すると、制御部１１４は、処理をステップＳ１０９に進める。
【００６６】
ステップＳ１０９において、ディティール生成部１１５は、記憶部１１７から適正露出画像の輝度成分と、照明成分とを読み出す。ディティール生成部１１５の除算部１５１は、読みだされた輝度成分を、読み出された照明成分で除算し、ディティール成分を抽出する。記憶部１１７は、抽出されたディティール成分を記憶する。
【００６７】
ステップＳ１１０において、ディティール生成部１１５の減算部１５２は、ステップＳ１０７若しくはステップＳ１０８において設定されたディティール強調量から値「１」を減算する。
【００６８】
ステップＳ１１１において、ディティール生成部１１５は、記憶部１１７からディティール成分を読み出す。ディティール生成部１１５の乗算部１５３は、読み出されたディティール成分に、ステップＳ１１０において算出された減算結果を乗算する。
【００６９】
ステップＳ１１２において、ディティール生成部１１５の加算部１５４は、ステップＳ１１１において算出された乗算結果に、ステップＳ１０７若しくはステップＳ１０８において設定されたディティール強調量を加算する。記憶部１１７は、その加算結果（強調されたディティール成分）を記憶する。
【００７０】
ステップＳ１１３において、ディティール強調部１１６は、記憶部１１７からHDR圧縮画像と、強調されたディティール成分（加算結果）とを読み出す。ディティール強調部１１６は、読み出したHDR圧縮画像に、読み出したディティール成分（加算結果）を合成（乗算または加算）する。これにより、HDR圧縮画像のディティールが、ステップＳ１０７若しくはステップＳ１０８において設定されたディティール強調量に応じて強調される。記憶部１１７は、このようにディティールが強調されたHDR圧縮画像（（絵画調）HDR圧縮画像）を記憶する。なお、この（絵画調）HDR圧縮画像は、画像処理装置１００の外部に出力されるようにしてもよい。
【００７１】
以上のように画像処理を行うことにより、画像処理装置１００は、容易に、露出条件が互いに異なる複数の画像を、白飛びや黒つぶれ等の画質劣化が生じないように合成し、適切な階調レンジの画像を生成するとともに、画像に対して、絵画風の視覚的効果を付与することができる。つまり、画像処理装置１００は、より多様な効果を画像に付与することができる。
【００７２】
［メモリ使用量］
図４は、以上に説明した画像処理における記憶部１１７の記憶領域の使用量の推移を説明する図である。
【００７３】
図４において、横軸が処理の流れを示し、縦軸が、メモリ使用量を示す。各四角が記憶部１１７に記憶される各種画像データを示している。
【００７４】
図４Ａに示されるように、HDR圧縮画像を生成するタイミングｔ４よりも前のタイミングｔ３において、ディティール成分を生成するようにすると、記憶領域は最大４．５画面分必要になる。
【００７５】
これに対して、図５Ｂに示されるように、ディティール成分の生成を、HDR圧縮画像を生成するタイミングｔ４よりも後のタイミングｔ６において行うようにすると、記憶領域は３．５画面分で十分になる。
【００７６】
つまり、図３のフローチャートを参照して説明したように、HDR圧縮画像を生成（ステップＳ１０５）してからディティール成分を生成するようにすることにより、画像処理においてメモリ使用量を低減させることができる。つまり、画像処理装置１００は、メモリ（記憶領域）をより効率よく使用することができる。したがって、画像処理装置１００は、画像処理の負荷を低減させることができ、処理のさらなる高速化や製造コストのさらなる低減を実現させることができる。
【００７７】
＜２．第２の実施の形態＞
［画像処理装置］
図５は、画像処理装置の、他の構成例を示すブロック図である。
【００７８】
図５に示される画像処理装置２００は、基本的に画像処理装置１００と同様の装置であり、入力された露出条件が互いに異なる複数の画像を、白飛びや黒つぶれ等の画質劣化が生じないように合成し、適切な階調レンジの画像を生成するHDR処理を行うとともに、その生成された画像に対して、絵画調の視覚的効果を付与する画像処理を行う。
【００７９】
ただし、画像処理装置２００は、HDR処理に用いる照明成分をディティール成分の生成に流用せず、ディティール成分の生成に用いる照明成分は、再度、適正露出画像から生成する。
【００８０】
図５に示されるように、画像処理装置２００は、画像処理装置１００のHDR処理部１２１の代わりにHDR処理部２２１を有し、画像処理装置１００の絵画調処理部１２２の代わりに絵画調処理部２２２を有し、画像処理装置１００と同様の記憶部１１７を有する。
【００８１】
HDR処理部２２１は、基本的にHDR処理部１２１と同様の構成を有し、同様の処理を行う。ただし、輝度成分抽出部１１１は、輝度成分を、照明分離フィルタ１１２のみに供給し、絵画調処理部２２２には供給しない。また、照明分離フィルタ１１２は、照明成分を、HDR圧縮処理部１１３にのみ供給し、絵画調処理部２２２には、供給しない。つまり、HDR処理部２２１の場合、輝度成分抽出部１１１および照明分離フィルタ１１２は、HDR圧縮処理部１１３において使用される照明成分の生成のためのみに使用される。
【００８２】
また、HDR処理部２２１に入力される適正露出画像は、HDR圧縮処理部１１３だけでなく、絵画調処理部２２２にも供給される（矢印１３２）。
【００８３】
絵画調処理部２２２は、絵画調処理部１２２の制御部１１４、ディティール生成部１１５、およびディティール強調部１１６に加え、輝度成分抽出部２１１および照明分離フィルタ２１２をさらに有する。
【００８４】
輝度成分抽出部２１１は、輝度成分抽出部１１１と同様の構成を有し、同様の処理を行う処理部である。輝度成分抽出部２１１は、画像処理装置２００に入力される適正露出画像を取得し、その適正露出画像から輝度成分を抽出し、抽出した輝度成分を照明分離フィルタ２１２およびディティール生成部１１５に供給する（矢印２３４）。
【００８５】
照明分離フィルタ２１２は、照明分離フィルタ１１２と同様の構成を有し、同様の処理を行う処理部である。照明分離フィルタ２１２は、輝度成分抽出部２１１から供給される輝度成分から照明成分を抽出し、抽出した照明成分をディティール生成部１１５に供給する（矢印２３５）。
【００８６】
つまり、この画像処理装置２００のディティール生成部１１５には、輝度成分抽出部１１１により抽出された輝度成分と、照明分離フィルタ１１２により抽出された照明成分とではなく、輝度成分抽出部２１１により抽出された輝度成分と、照明分離フィルタ２１２により抽出された照明成分とが供給される。ディティール生成部１１５は、これらを用いて、画像処理装置１００の場合と同様に、ディティール成分を生成し、ディティール強調量に応じて、その生成したディティール成分を強調し、そのディティール成分をディティール強調部１１６に供給する。
【００８７】
ディティール強調部１１６は、HDR圧縮処理部１１３において生成されたHDR圧縮画像のディティールを、そのディティール成分を乗算することにより、適宜強調する。
【００８８】
以上のように、画像処理装置２００は、画像処理装置１００の場合と同様に、容易に、露出条件が互いに異なる複数の画像を、白飛びや黒つぶれ等の画質劣化が生じないように合成し、適切な階調レンジの画像を生成するとともに、画像に対して、絵画風の視覚的効果を付与することができる。つまり、画像処理装置２００は、より多様な効果を画像に付与することができる。なお、この場合も、輝度成分抽出部１１１および輝度成分抽出部２１１は、適正露出画像（矢印１３２）からではなく、露出アンダー画像（矢印１３１）若しくは露出オーバー画像（矢印１３３）から輝度成分を抽出するようにしてもよい。
【００８９】
［画像処理の流れ］
図６のフローチャートを参照して、この場合の画像処理の流れの例を説明する。
【００９０】
ステップＳ２０１乃至ステップＳ２０８の各処理は、図３のフローチャートを参照して説明した画像処理の、ステップＳ１０１乃至ステップＳ１０８の各処理と同様に実行される。
【００９１】
ステップＳ２０７またはステップＳ２０８においてディティール強調量を設定すると、制御部１１４は、処理をステップＳ２０９に進める。
【００９２】
ステップＳ２０９において、輝度成分抽出部２１１は、記憶部１１７から適正露出画像を読み出し、読み出した適正露出画像から輝度成分を抽出する。記憶部１１７は、抽出された輝度成分を記憶する。なお、この記憶も省略することができる。
【００９３】
ステップＳ２１０において、照明分離フィルタ２１２は、記憶部１１７から輝度成分を読み出し、その輝度成分から照明成分を抽出する。記憶部１１７は、抽出された照明成分を記憶する。
【００９４】
ステップＳ２１１において、ディティール生成部１１５は、記憶部１１７から適正露出画像の輝度成分と、照明成分とを読み出す。この輝度成分は、例えば、ステップＳ２０１において記憶された適正露出画像に含まれる成分であり、照明成分は、ステップＳ２１０において記憶されたものである。ステップＳ２０３において記憶された照明成分は、HDR圧縮画像の生成に使用された後、不要なデータとして必要に応じて消去される。
【００９５】
ディティール生成部１１５の除算部１５１は、読みだされた輝度成分を、読み出された照明成分で除算し、ディティール成分を抽出する。記憶部１１７は、抽出されたディティール成分を記憶する。
【００９６】
ステップＳ２１２において、ディティール生成部１１５は、記憶部１１７に記憶されたディティール成分を読み出し、読み出したディティール成分を、ステップＳ２０７若しくはステップＳ２０８において設定されたディティール強調量を用いて強調する。記憶部１１７は、強調されたディティール成分を記憶する。
【００９７】
ステップＳ２１３において、ディティール強調部１１６は、記憶部１１７からHDR圧縮画像と、強調されたディティール成分とを読み出す。ディティール強調部１１６は、読み出したHDR圧縮画像に、読み出したディティール成分（強調されたディティール成分）を乗算する。これにより、HDR圧縮画像のディティールが、ステップＳ２０７若しくはステップＳ２０８において設定されたディティール強調量に応じて強調される。記憶部１１７は、このようにディティールが強調されたHDR圧縮画像（（絵画調）HDR圧縮画像）を記憶する。なお、この（絵画調）HDR圧縮画像は、画像処理装置２００の外部に出力されるようにしてもよい。
【００９８】
以上のように画像処理を行うことにより、画像処理装置２００は、容易に、露出条件が互いに異なる複数の画像を、白飛びや黒つぶれ等の画質劣化が生じないように合成し、適切な階調レンジの画像を生成するとともに、画像に対して、絵画風の視覚的効果を付与することができる。つまり、画像処理装置２００は、より多様な効果を画像に付与することができる。
【００９９】
［メモリ使用量］
図７は、以上に説明した画像処理における記憶部１１７の記憶領域の使用量の推移を説明する図である。
【０１００】
図７に示されるように、画像処理装置２００の場合、HDR圧縮画像を生成するタイミングｔ４よりも後のタイミングｔ７において、照明成分が再度生成される。したがって、タイミングｔ２において生成された照明成分は、HDR圧縮画像の生成のみに用い、HDR圧縮画像生成後、必要に応じて消去することができる。
【０１０１】
つまり、HDR処理が終了するタイミングｔ４の後、絵画調処理が開始されるタイミングｔ７までの期間において必要な記憶領域は、２．０画面分となる。これに対して、第１の実施の形態のように、HDR圧縮画像の生成に用いた照明成分をディティール成分の生成にも流用する場合、図３Ｂに示されるように、少なくとも２．５画面分の記憶領域が必要になる。
【０１０２】
したがって、例えば、HDR処理終了後、絵画調処理を直ちに行わず、その間に他の処理を行うような場合、画像処理装置２００は、その処理のために空き領域を、画像処理装置１００の場合よりも多く確保することができる。つまり、画像処理装置２００は、メモリ（記憶領域）をより効率よく使用することができる。したがって、画像処理装置２００は、画像処理の負荷を低減させることができ、処理のさらなる高速化や製造コストのさらなる低減を実現させることができる。
【０１０３】
＜３．第３の実施の形態＞
［画像処理装置］
なお、第１の実施の形態において説明した方法と、第２の実施の形態において説明した方法との内、いずれか一方を適宜選択することができるようにしてもよい。
【０１０４】
図８は、その場合の画像処理装置の主な構成例を示すブロック図である。
【０１０５】
図８に示される画像処理装置３００は、基本的に画像処理装置１００と同様の装置であり、入力された露出条件が互いに異なる複数の画像を、白飛びや黒つぶれ等の画質劣化が生じないように合成し、適切な階調レンジの画像を生成するHDR処理を行うとともに、その生成された画像に対して、絵画調の視覚的効果を付与する画像処理を行う。
【０１０６】
ただし、画像処理装置３００は、画像処理装置１００の画像処理方法と、画像処理装置２００の画像処理方法のいずれか一方を選択し、その選択した方法で画像処理を行うことができる。
【０１０７】
図８に示されるように、画像処理装置３００は、画像処理装置１００のHDR処理部１２１の代わりにHDR処理部３２１を有し、画像処理装置１００の絵画調処理部１２２の代わりに絵画調処理部３２２を有し、画像処理装置１００と同様の記憶部１１７を有する。さらに、画像処理装置３００は、制御部３１８を有する。
【０１０８】
HDR処理部３２１は、基本的にHDR処理部１２１と同様の構成を有し、同様の処理を行う。ただし、輝度成分抽出部１１１から出力される輝度成分（矢印１３４）と、照明分離フィルタ１１２から出力される照明成分（矢印１３５）とだけでなく、HDR処理部３２１に入力される適正露出画像も、HDR圧縮処理部１１３だけでなく、絵画調処理部３２２にも供給される（矢印１３２）。
【０１０９】
絵画調処理部３２２は、基本的にHDR処理部２２１と同様の構成を有する。ただし、絵画調処理部３２２は、ディティール生成部１１５の代わりにディティール生成部３１５を有する。
【０１１０】
ディティール生成部３１５は、ディティール生成部１１５と基本的に同様の構成を有し、同様の処理を行う。ただし、ディティール生成部３１５には、輝度成分抽出部１１１により抽出された輝度成分、および、照明分離フィルタ１１２により抽出された照明成分、または、輝度成分抽出部２１１により抽出された輝度成分、および、照明分離フィルタ２１２により抽出された照明成分のいずれか一方が供給される。
【０１１１】
つまり、例えば、画像処理装置１００と同様の方法で画像処理が行われる場合、ディティール生成部３１５には、輝度成分抽出部１１１により抽出された輝度成分と、照明分離フィルタ１１２により抽出された照明成分とが供給される。
【０１１２】
これに対して、例えば、画像処理装置２００と同様の方法で画像処理が行われる場合、ディティール生成部３１５には、輝度成分抽出部２１１により抽出された輝度成分と、照明分離フィルタ２１２により抽出された照明成分とが供給される。
【０１１３】
いずれの場合も、ディティール生成部３１５は、供給された輝度成分と照明成分とを用いてディティール成分を生成し、そのディティール成分を、制御部１１４から供給されるディティール強調量に応じて強調し、強調したディティール成分をディティール強調部１１６に供給する。
【０１１４】
制御部３１８は、画像処理装置３００の各部を制御し、画像処理を、画像処理装置１００と同様の方法で行うか、若しくは、画像処理装置２００と同様の方法で行うかを制御する。なお、この場合も、輝度成分抽出部１１１および輝度成分抽出部２１１は、適正露出画像（矢印１３２）からではなく、露出アンダー画像（矢印１３１）若しくは露出オーバー画像（矢印１３３）から輝度成分を抽出するようにしてもよい。
【０１１５】
［画像処理の流れ］
図９のフローチャートを参照して、この場合の画像処理の流れの例を説明する。
【０１１６】
ステップＳ３０１において、制御部１１４は、ディティール強調量を設定する。なお、この設定の方法は、例えば、図３のステップＳ１０６乃至ステップＳ１０８、または、図６のステップＳ２０６乃至ステップＳ２０８の場合と同様であるので、その詳細についての説明は省略する。
【０１１７】
ステップＳ３０２において、制御部３１８は、記憶部１１７の記憶領域について、使用可能なメモリ容量（空き容量）が多いか否かを判定する。空き容量が多いか否かの判定基準は任意である。例えは所定の基準値を予め設け、その基準値と比較することにより、空き容量の大小判定を行うようにしてもよい。
【０１１８】
空き容量が多いと判定された場合、記憶部３１７の空き容量が十分であり、容量不足の恐れが少ないので、制御部３１８は、処理をステップＳ３０３に進める。この場合、画像処理装置１００と同様の方法が選択される。したがって、ステップＳ３０３において、HDR処理部３２１はHDR圧縮処理を行い、絵画調処理部３２２は、HDR圧縮処理において抽出された輝度成分と照明成分とを再利用してディティール成分を生成し、絵画調HDR圧縮画像を生成する。
【０１１９】
このように画像処理装置１００と同様の方法を選択することにより、画像処理装置３００は、輝度成分と照明成分の抽出を１回行うだけでよいので、画像処理装置２００と同様の方法で画像処理を行う場合よりも、処理量を低減させることができる。
【０１２０】
また、空き容量が少ないと判定された場合、記憶部３１７の空き容量が十分とは言えず、容量が不足する可能性があるので、制御部３１８は、処理をステップＳ３０４に進める。この場合、画像処理装置２００と同様の方法が選択される。したがって、ステップＳ３０４において、HDR処理部３２１はHDR圧縮処理を行い、絵画調処理部３２２は、輝度成分と照明成分とを再度抽出し、それらを用いてディティール成分を生成し、絵画調HDR圧縮画像を生成する。
【０１２１】
このように画像処理装置２００と同様の方法を選択することにより、画像処理装置３００は、画像処理装置１００と同様の方法で画像処理を行う場合よりも、メモリの使用効率を向上させることができる。
【０１２２】
以上のように画像処理を行うことにより、画像処理装置３００は、空き容量の大きさに応じて、画像処理方法を選択することができるので、より効率よく画像処理を行うことができる。
【０１２３】
＜４．第４の実施の形態＞
［画像処理装置］
なお、HDR処理結果に対して、絵画調処理を複数回行うことができるようにしてもよい。例えば、ユーザが、絵画調処理結果を参照し、その絵画調処理結果に基づいて、ディティール強調量を再調整し、絵画調処理をやり直すことができるようにしてもよい。
【０１２４】
図１０は、その場合の画像処理装置の主な構成例を示すブロック図である。
【０１２５】
図１０に示される画像処理装置４００は、基本的に、上述した画像処理装置２００と同様の装置であり、入力された露出条件が互いに異なる複数の画像を、白飛びや黒つぶれ等の画質劣化が生じないように合成し、適切な階調レンジの画像を生成するHDR処理を行うとともに、その生成された画像に対して、絵画調の視覚的効果を付与する画像処理を行う。
【０１２６】
ただし、画像処理装置４００は、画像処理装置２００の構成に加え、ユーザ入力受付部４０１、表示部４０２、および入力部４０３をさらに有する。
【０１２７】
ユーザ入力受付部４０１は、ディティール強調量についてのユーザ指示の入力に関する処理を行う。ユーザ入力受付部４０１は、ディティール強調部１１６から出力される（絵画調）HDR圧縮画像を取得し、その画像を表示部４０２に供給し、表示させる。
【０１２８】
表示部４０２は、例えばLCDやOELD（Organic ElectroLuminescence Display）等、任意のモニタを有しており、ユーザ入力受付部４０１から供給される（絵画調）HDR圧縮画像、つまり、ディティール強調結果の画像を表示する。
【０１２９】
ユーザは、その画像を確認し、ディティールの強調をやり直したい場合、入力部４０３を操作し、ディティール強調量に関する指示を入力する。
【０１３０】
入力部４０３は、例えばキーボードやタッチパネル等、任意の入力デバイスを有しており、それらによりユーザ指示を受け付け、受け付けたユーザ指示をユーザ入力受付部４０１に供給する。
【０１３１】
ユーザ入力受付部４０１は、入力部４０３において受け付けられたユーザ指示を制御部１１４に供給する。
【０１３２】
制御部１１４は、そのユーザ指示に基づいてディティール強調量を再設定し、更新されたディティール強調量をディティール生成部１１５に供給する。
【０１３３】
ディティールの強調をやり直す必要が無い場合、ユーザは、入力部４０３を操作して、絵画調処理の終了を指示する。ユーザ指示は同様にユーザ入力受付部４０１を介して制御部１１４に供給され、絵画調処理が終了される。
【０１３４】
以上のように、画像処理装置４００は、HDR処理結果に対して、複数回ディティール強調の設定を行うことができる。したがって、画像処理装置４００は、より望ましいディティール強調結果を得ることができる。なお、この場合も、輝度成分抽出部１１１および輝度成分抽出部２１１は、適正露出画像（矢印１３２）からではなく、露出アンダー画像（矢印１３１）若しくは露出オーバー画像（矢印１３３）から輝度成分を抽出するようにしてもよい。
【０１３５】
［ユーザインタフェース］
図１１にユーザインタフェースの例を示す。図１１に示される撮像装置４５０は、図１０の画像処理装置４００を画像処理部として内蔵する。つまり、この場合、画像処理部（画像処理装置４００）は、撮像装置４５０が撮像した画像に対して、HDR処理を行ったり、絵画調処理を行ったりする。
【０１３６】
撮像装置４５０には、表示部４０２としてモニタ４５１が設けられている。また、撮像装置４５０には、入力部４０３として、モニタ４５１に重畳されるタッチパネル４５２、ジョグダイヤル４６１、メニューボタン４６２、および十字キー等が設けられている。
【０１３７】
モニタ４５１は、LCDやOELD等よりなり、表示部４０２がユーザ入力受付部４０１から供給された、撮像画像、HDR圧縮画像、絵画調HDR圧縮画像等の各種画像や、GUI（Graphical User Interface）等を表示する。
【０１３８】
タッチパネル４５２は、ユーザが指などを近接若しくは接触させた位置を検出する。入力部４０３は、その位置情報をユーザ入力受付部４０１に供給する。ユーザ入力受付部４０１は、その位置情報に対応するユーザ指示を、モニタ４５１に表示されるGUIに従って求め、そのユーザ指示を制御部１１４に供給する。
【０１３９】
ジョグダイヤル４６１は、ユーザが両矢印の方向に回転させることにより、例えば撮影モードを設定する入力デバイスである。メニューボタン４６２は、撮像や編集等の設定を行う際に操作されるボタンである。十字キー４６３は、モニタ４５１に表示されるGUIの選択肢等の選択を行う際にユーザが操作する入力デバイスである。
【０１４０】
例えば、ユーザがジョグダイヤル４６１を操作してブラケット撮像モードを選択し、被写体を撮像し、さらに、メニューボタン４６２や十字キー４６３を操作して、絵画調効果調整（ディティール強調量の調整）を行うモードを選択した場合、図１１に示されるように、モニタ４５１には、ディティールが強調された絵画調HDR圧縮画像が表示され、さらにその絵画調HDR圧縮画像に重畳して、ディティール強調量調整用のGUIが表示される。
【０１４１】
図１１の例において、モニタ４５１に表示される「切」ボタンは、ディティールを強調しないように指示するGUIボタンである。「弱」ボタン、「中」ボタン、および「強」ボタンは、それぞれディティールの強調量を指定するGUIボタンである。「完了」ボタンは、ディティールの強調量を更新せずに絵画調効果調整を終了させるように指示するGUIボタンである。
【０１４２】
ユーザ４５３が、タッチパネル４５２を操作したり、十字キー４６３等を操作したりして、所望のGUIボタンを選択すると、その選択されたGUIボタンに対応する指示が、ユーザ指示として制御部１１４に供給される。
【０１４３】
もちろん、図１１に示されるユーザインタフェースは一例であり、画像処理装置４００のユーザインタフェース（表示部４０２や入力部４０３）は、これに限らず、どのようなものであってもよい。
【０１４４】
［画像処理の流れ］
この場合の画像処理の流れの例を図１２および図１３のフローチャートを参照して説明する。
【０１４５】
図１２のステップＳ４０１において、制御部１１４は、ディティール強調量を設定する。なお、この設定の方法は、図６のステップＳ２０６乃至ステップＳ２０８の場合と同様であるので、その詳細についての説明は省略する。
【０１４６】
画像処理装置４００の各部は、ステップＳ４０２乃至ステップＳ４０６の各処理を、図６のステップＳ２０１乃至ステップＳ２０５の各処理と同様に行う。また、画像処理装置４００の各部は、ステップＳ４０７乃至ステップＳ４０９の各処理を、図６のステップＳ２０９乃至ステップＳ２１１の各処理と同様に行う。
【０１４７】
図１３のステップＳ４１１において、ディティール生成部１１５は、図１２のステップＳ４０１において設定されたディティール強調量を用いて、ディティール成分を強調する。記憶部１１７は、強調されたディティール成分を記憶する。
【０１４８】
ステップＳ４１２において、ディティール強調部１１６は、記憶部１１７からHDR圧縮画像と、強調されたディティール成分とを読み出し、読み出したHDR圧縮画像に、読み出したディティール成分（強調されたディティール成分）を乗算する。これにより、HDR圧縮画像のディティールが、図１２のステップＳ４０１において設定されたディティール強調量に応じて強調される。
【０１４９】
ステップＳ４１３において、表示部４０２は、ステップＳ４１２において生成された（絵画調）HDR圧縮画像、すなわちディティール強調結果を表示する。ステップＳ４１４において、入力部４０３は、ユーザ入力を受け付ける。
【０１５０】
ステップＳ４１５において、ユーザ入力受付部４０１は、入力部４０３からの情報に基づいて、ユーザ入力が終了したか否かを判定する。ディティール強調量に関するユーザ指示が受け付けられた場合、ユーザ入力受付部４０１は、処理をステップＳ４１６に進める。
【０１５１】
ステップＳ４１６において、制御部１１４は、受け付けられたユーザ入力に応じてディティール強調量を設定（更新）する。ディティール強調量が設定されると、処理は、ステップＳ４１１に戻され、それ以降の処理が繰り返される。
【０１５２】
また、ステップＳ４１５において、ディティール強調量に関する設定の終了を指示するユーザ指示が受け付けられた場合、ユーザ入力受付部４０１は、処理をステップＳ４１７に進める。
【０１５３】
ステップＳ４１７において、記憶部１１７は、このようにディティールが強調されたHDR圧縮画像（（絵画調）HDR圧縮画像）を記憶する。なお、この（絵画調）HDR圧縮画像は、画像処理装置４００の外部に出力されるようにしてもよい。
【０１５４】
以上のように画像処理を行うことにより、画像処理装置４００は、HDR処理結果に対して、複数回ディティール強調の設定を行うことができる。したがって、画像処理装置４００は、より望ましいディティール強調結果を得ることができる。
【０１５５】
なお、以上においては、ユーザ指示に従ってディティール強調量を更新するように説明したが、これに限らず、例えば、他の装置から提供される情報や、予め定められた目標値等、どのような情報に基づいてディティール強調量が更新されるようにしてもよい。
【０１５６】
＜５．第５の実施の形態＞
［画像処理装置］
以上に説明したように、画像処理装置においては、例えば、入力画像、HDR圧縮画像、絵画調HDR圧縮画像等、様々な状態の画像を得ることができる。最終処理結果として出力される画像だけでなく、これらの各種画像を全て保存する（バリエーション保存を行う）ようにしてもよい。
【０１５７】
図１４は、その場合の画像処理装置の主な構成例を示すブロック図である。
【０１５８】
図１４に示される画像処理装置５００は、基本的に画像処理装置２００と同様の装置であり、入力された露出条件が互いに異なる複数の画像を、白飛びや黒つぶれ等の画質劣化が生じないように合成し、適切な階調レンジの画像を生成するHDR処理を行うとともに、その生成された画像に対して、絵画調の視覚的効果を付与する画像処理を行う。
【０１５９】
ただし、画像処理装置５００は、画像処理装置２００のHDR処理部２２１の代わりにHDR処理部５２１を有し、絵画調処理部２２２の代わりに絵画調処理部５２２を有する。さらに、画像処理装置５００は、これらの構成と記憶部１１７に加え、バリエーション保存部５１８を有する。
【０１６０】
HDR処理部５２１は、HDR処理部２２１と同様の構成を有し、同様の処理を行う。ただし、HDR処理部５２１は、入力された適正露出画像と、HDR圧縮処理部１１３から出力されるHDR圧縮画像とを、バリエーション保存部５１８にも供給する。
【０１６１】
絵画調処理部５２２は、絵画調処理部２２２と同様の構成を有し、同様の処理を行う。ただし、絵画調処理部５２２は、ディティール強調部１１６から出力されるディティール強調結果である（絵画調）HDR圧縮画像をバリエーション保存部５１８にも供給する。
【０１６２】
バリエーション保存部５１８は、任意の記憶媒体により構成され、画像処理装置５００により生成される各種画像を互いに関連付けて保存する（バリエーション保存）。このように、複数の状態の画像をグループ化して保存することにより、バリエーション保存部５１８は、他の処理において使用される際に、その画像グループの中から、その処理に最適な状態の画像を選択して提供することができるようになる。
【０１６３】
なお、このバリエーション保存部５１８は、記憶部１１７と同一の記憶媒体により構成されるようにしてもよく、記憶部１１７と一体化して構成されるようにしてもよい。また、この場合も、輝度成分抽出部１１１および輝度成分抽出部２１１は、適正露出画像（矢印１３２）からではなく、露出アンダー画像（矢印１３１）若しくは露出オーバー画像（矢印１３３）から輝度成分を抽出するようにしてもよい。
【０１６４】
［画像処理の流れ］
この場合の画像処理の流れの例を、図１５のフローチャートを参照して説明する。
【０１６５】
ステップＳ５０１において、画像処理装置５００は、露出アンダー画像、適正露出画像、および露出オーバー画像を取得する。記憶部１１７は、それらを記憶する。また、ステップＳ５０２において、バリエーション保存部５１８は、ステップＳ５０１において取得された適正露出画像を保存する。
【０１６６】
ステップＳ５０３において、輝度成分抽出部１１１は、記憶部１１７から適正露出画像を読み出し、読み出した適正露出画像から輝度成分を抽出する。記憶部１１７は、抽出された輝度成分を記憶する。なお、輝度成分は、適正露出画像の１コンポーネントであるとみなすことができるため、記憶部１１７に記憶されている適正露出画像に既に含まれているものとし、この記憶は省略することもできる。
【０１６７】
ステップＳ５０４において、照明分離フィルタ１１２は、記憶部１１７から輝度成分を読み出し、その輝度成分から照明成分を抽出する。記憶部１１７は、抽出された照明成分を記憶する。
【０１６８】
ステップＳ５０５において、HDR圧縮処理部１１３は、記憶部１１７から照明成分を読み出し、例えば変換テーブルを用いて、読み出した照明成分から合成係数を生成する。
【０１６９】
ステップＳ５０６において、HDR圧縮処理部１１３は、記憶部１１７から露出アンダー画像、適正露出画像、および露出オーバー画像を読み出し、ステップＳ５０５において生成された合成係数を用いて、読み出した露出アンダー画像、適正露出画像、および露出オーバー画像の各画像を重み付けして、それらを、白飛びや黒つぶれ等の画質劣化が生じないように合成し、適切な階調レンジのHDR圧縮画像を生成する。記憶部１１７は、生成されたHDR圧縮画像を記憶する。また、ステップＳ５０７において、バリエーション保存部５１８は、ステップＳ５０６において生成されたHDR圧縮画像を保存する。
【０１７０】
ステップＳ５０８において、制御部１１４は、ステップＳ２０６乃至ステップＳ２０８と同様の処理を行い、ディティール強調量を設定する。
【０１７１】
また、ステップＳ５０９において、輝度成分抽出部２１１は、記憶部１１７から適正露出画像を読み出し、読み出した適正露出画像から輝度成分を抽出する。記憶部１１７は、抽出された輝度成分を記憶する。なお、この記憶も省略することができる。
【０１７２】
ステップＳ５１０において、照明分離フィルタ２１２は、記憶部１１７から輝度成分を読み出し、その輝度成分から照明成分を抽出する。記憶部１１７は、抽出された照明成分を記憶する。
【０１７３】
ステップＳ５１１において、ディティール生成部１１５は、記憶部１１７から適正露出画像の輝度成分と、照明成分とを読み出す。この輝度成分は、例えば、ステップＳ５０１において記憶された適正露出画像に含まれる成分であり、照明成分は、ステップＳ５１０において記憶されたものである。ステップＳ５０４において記憶された照明成分は、HDR圧縮画像の生成に使用された後、不要なデータとして必要に応じて消去される。
【０１７４】
ディティール生成部１１５の除算部１５１は、読みだされた輝度成分を、読み出された照明成分で除算し、ディティール成分を抽出する。記憶部１１７は、抽出されたディティール成分を記憶する。
【０１７５】
ステップＳ５１２において、ディティール生成部１１５は、記憶部１１７に記憶されたディティール成分を読み出し、読み出したディティール成分を、ステップＳ５０８において設定されたディティール強調量を用いて強調する。記憶部１１７は、その強調されたディティール成分を記憶する。
【０１７６】
ステップＳ５１３において、ディティール強調部１１６は、記憶部１１７からHDR圧縮画像と、強調されたディティール成分とを読み出す。ディティール強調部１１６は、読み出したHDR圧縮画像に、読み出したディティール成分（強調されたディティール成分）を乗算する。これにより、HDR圧縮画像のディティールが、ステップＳ５０８において設定されたディティール強調量に応じて強調される。記憶部１１７は、このようにディティールが強調されたHDR圧縮画像（（絵画調）HDR圧縮画像）を記憶する。なお、この（絵画調）HDR圧縮画像は、画像処理装置２００の外部に出力されるようにしてもよい。
【０１７７】
ステップＳ５１４において、バリエーション保存部５１８は、ステップＳ５１３において生成された絵画調HDR圧縮画像を保存する。
【０１７８】
ディティール生成部１１５は、記憶部１１７から適正露出画像の輝度成分と、照明成分とを読み出す。ディティール生成部１１５の除算部１５１は、読みだされた輝度成分を、読み出された照明成分で除算し、ディティール成分を抽出する。記憶部１１７は、抽出されたディティール成分を記憶する。
【０１７９】
ステップＳ１１０において、ディティール生成部１１５の減算部１５２は、ステップＳ１０７若しくはステップＳ１０８において設定されたディティール強調量から値「１」を減算する。
【０１８０】
ステップＳ１１１において、ディティール生成部１１５は、記憶部１１７からディティール成分を読み出す。ディティール生成部１１５の乗算部１５３は、読み出されたディティール成分に、ステップＳ１１０において算出された減算結果を乗算する。
【０１８１】
ステップＳ１１２において、ディティール生成部１１５の加算部１５４は、ステップＳ１１１において算出された乗算結果に、ステップＳ１０７若しくはステップＳ１０８において設定されたディティール強調量を加算する。
【０１８２】
ステップＳ１１３において、ディティール強調部１１６は、記憶部１１７からHDR圧縮画像を読み出す。ディティール強調部１１６は、読み出したHDR圧縮画像に、ステップＳ１１２において算出された加算結果を乗算する。これにより、HDR圧縮画像のディティールが、ステップＳ１０７若しくはステップＳ１０８において設定されたディティール強調量に応じて強調される。記憶部１１７は、このようにディティールが強調されたHDR圧縮画像（（絵画調）HDR圧縮画像）を記憶する。なお、この（絵画調）HDR圧縮画像は、画像処理装置１００の外部に出力されるようにしてもよい。
【０１８３】
以上のように画像処理を行うことにより、画像処理装置１００は、容易に、露出条件が互いに異なる複数の画像を、白飛びや黒つぶれ等の画質劣化が生じないように合成し、適切な階調レンジの画像を生成するとともに、画像に対して、絵画風の視覚的効果を付与することができる。つまり、画像処理装置１００は、より多様な効果を画像に付与することができる。
【０１８４】
このように画像処理を行うことにより、画像処理装置５００は、複数の状態の画像をグループ化して保存することができ、他の処理において使用される際に、その画像グループの中から、その処理に最適な状態の画像を選択して提供することができるようになる。
【０１８５】
＜６．第６の実施の形態＞
［撮像装置］
以上に説明した画像処理装置は、画像処理部として他の装置の一部として構成されるようにしてもよい。例えば、被写体を撮像し、その撮像画像の画像データを生成する撮像装置として構成されるようにしてもよい。
【０１８６】
図１６は、撮像装置の主な構成例を示すブロック図である。図１６に示される撮像装置６００は、被写体を撮像し、その被写体の画像をデータ化して出力する装置である。この撮像装置６００は、図１に示される画像処理装置１００、図５に示される画像処理装置２００、図８に示される画像処理装置３００、図１０に示される画像処理装置４００、若しくは、図１４に示される画像処理装置５００を、画像処理部として有する。
【０１８７】
光学ブロック６１１は、被写体からの光を撮像素子６１２に集光するためのレンズ、レンズを移動させてフォーカス合わせやズーミングを行うための駆動機構（いずれも図示せず）、絞り６１１ａ、シャッタ６１１ｂなどを有している。光学ブロック６１１内のこれらの駆動機構は、マイクロコンピュータ６２０からの制御信号に応じて駆動される。撮像素子６１２は、例えば、CCD（Charge Coupled Device）型、CMOS（Complementary Metal OxideSemiconductor）型などの撮像素子であり、被写体からの入射光を電気信号に変換する。
【０１８８】
A/D変換部（A/D）６１３は、撮像素子６１２から出力された画像信号をデジタルデータに変換する。ISO（International Organization for Standardization）ゲイン調整部６１４は、マイクロコンピュータ６２０からのゲイン制御値に応じて、A/D変換部６１３からの画像データのRGB（Red，Green，Blue）各成分に対して一様のゲインをかける。なお、ISOゲインの調整は、A/D変換部６１３に入力される前のアナログ画像信号の段階で行われるようにしてもよい。
【０１８９】
バッファメモリ６１５は、互いに異なる露出で撮像を複数回行うブラケット撮像により得られた複数枚の画像のデータを一時的に記憶する。合成処理部６１６は、ブラケット撮像時に適用した露出補正値をマイクロコンピュータ６２０から受け、この露出補正値に基づいて、バッファメモリ６１５内の複数枚の画像を１枚の画像に合成する。
【０１９０】
現像処理部６１７は、主に、合成処理部６１６から出力されるRAW（生）画像データを、可視画像のデータに変換する、いわゆるRAW現像処理を実行するブロックである。この現像処理部６１７は、RAW画像データに対して、データ補間（デモザイク）処理、各種色調整・変換処理（ホワイトバランス調整処理、高輝度ニー圧縮処理、ガンマ補正処理、アパーチャ補正処理、クリッピング処理など）、所定の符号化方式（ここでは、JPEG（Joint Photographic Experts Group）方式を適用する）に従った画像圧縮符号化処理などを実行する。
【０１９１】
なお、以下の各実施の形態では、A/D変換部６１３から出力されるRAW画像データのビット数を１２ビットとし、現像処理部６１７は、この１２ビットデータを処理できる仕様となっている。また、現像処理部６１７は、現像処理の過程において、例えば高輝度ニー圧縮処理（あるいは下位ビットの切り捨てなどでもよい）によって、１２ビットデータを８ビットデータにビット圧縮し、この８ビットデータに対して圧縮符号化処理を施す。また、この８ビットデータを表示部６１９に対して出力する。
【０１９２】
記録部６１８は、撮像により得られた画像データをデータファイルとして保存するための装置であり、例えば、可搬型のフラッシュメモリ、HDD（Hard Disk Drive）などとして実現される。なお、記録部６１８は、現像処理部６１７によって符号化されたJPEGデータ６３１の他に、合成処理部６１６から出力されるRAW画像データ６３２をデータファイルとして記録することができる。また、記録部６１８に記録されたRAW画像データを読み出して、現像処理部６１７で処理し、記録部６１８にJPEGデータファイルとして新たに記録することができるようにしてもよい。
【０１９３】
表示部６１９は、例えばLCD（Liquid Crystal Display）などからなるモニタを備えている。表示部６１９は、現像処理部６１７において処理された非圧縮状態の画像データを基に、モニタ表示用の画像信号を生成してモニタに供給する。撮像画像の記録前のプレビュー状態では、撮像素子６１２からは連続的に撮像画像信号が出力され、デジタル変換された後、そのデジタル画像データがISOゲイン調整部６１４および合成処理部６１６を介して現像処理部６１７に供給されて、現像処理（ただし、符号化処理を除く）が施される。表示部６１９は、このとき現像処理部６１７から順次出力される画像（プレビュー画像）をモニタに表示し、ユーザはこのプレビュー画像を視認して画角を確認することができる。
【０１９４】
マイクロコンピュータ６２０は、CPU（Central Processing Unit）、ROM（Read Only Memory）、およびRAM（Random Access Memory）などを備え、ROMに記憶されたプログラムを実行することで、この撮像装置６００全体を統括的に制御する。例えば、本実施の形態では、検波部６２２からの検波結果を基に露出補正値を計算し、その値に応じた制御信号を出力して絞り６１１ａやシャッタ６１１ｂを制御することで、AE（自動露出）制御を実現する。また、後述する広ダイナミックレンジ撮像を行う際には、算出した露出補正値を合成処理部６１６に通知する。
【０１９５】
LPF（Low-Pass Filter）６２１は、ISOゲイン調整部６１４から出力された画像データに対して、必要に応じてローパスフィルタ処理を施す。検波部６２２は、ISOゲイン調整部６１４からLPF６２１を通じて供給された画像データを基に各種の検波を行うブロックであり、本実施の形態では、例えば、画像を所定の測光領域に分割し、測光領域ごとに輝度値を検出する。
【０１９６】
以上のような撮像装置６００において、合成処理部６１６と現像処理部６１７の一部または全部として、図１に示される画像処理装置１００、図５に示される画像処理装置２００、図８に示される画像処理装置３００、図１０に示される画像処理装置４００、若しくは、図１４に示される画像処理装置５００と同様の構成を有し、同様の処理を行う画像処理部が設けられるようにしてもよい。
【０１９７】
このようにすることにより、合成処理部６１６および現像処理部６１７は、容易に、メモリをより効率よく使用しながら、露出条件が互いに異なる複数の画像を、白飛びや黒つぶれ等の画質劣化が生じないように合成し、適切な階調レンジの画像を生成するとともに、画像に対して、絵画風の視覚的効果を付与することができる。
【０１９８】
つまり、撮像装置６００は、容易に、ブラケット撮像により得られた複数の画像が合成され、さらに、絵画風の視覚的効果が付与された画像を得ることが出来、その画像を、表示部６１９に表示したり、JPEGデータ６３１として記録部６１８に記録したりすることができる。つまり、撮像装置６００は、より多様な効果を画像に付与することができる。
【０１９９】
なお、記録部６１８が記録する画像データの符号化方式は任意である。記録部６１８が、JPEG以外の符号化方式で符号化された画像データを記憶するようにしてもよい。
【０２００】
＜７．第７の実施の形態＞
［パーソナルコンピュータ］
上述した一連の処理は、ハードウエアにより実行させることもできるし、ソフトウエアにより実行させることもできる。この場合、例えば、図１７に示されるようなパーソナルコンピュータとして構成されるようにしてもよい。
【０２０１】
図１７において、パーソナルコンピュータ７００のCPU（Central Processing Unit）７０１は、ROM（Read Only Memory）７０２に記憶されているプログラム、または記憶部７１３からRAM（Random Access Memory）７０３にロードされたプログラムに従って各種の処理を実行する。RAM７０３にはまた、CPU７０１が各種の処理を実行する上において必要なデータなども適宜記憶される。
【０２０２】
CPU７０１、ROM７０２、およびRAM７０３は、バス７０４を介して相互に接続されている。このバス７０４にはまた、入出力インタフェース７１０も接続されている。
【０２０３】
入出力インタフェース７１０には、キーボード、マウスなどよりなる入力部７１１、CRT（Cathode Ray Tube）やLCD（Liquid Crystal Display）などよりなるディスプレイ、並びにスピーカなどよりなる出力部７１２、ハードディスクなどより構成される記憶部７１３、モデムなどより構成される通信部７１４が接続されている。通信部７１４は、インターネットを含むネットワークを介しての通信処理を行う。
【０２０４】
入出力インタフェース７１０にはまた、必要に応じてドライブ７１５が接続され、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア７２１が適宜装着され、それらから読み出されたコンピュータプログラムが、必要に応じて記憶部７１３にインストールされる。
【０２０５】
上述した一連の処理をソフトウエアにより実行させる場合には、そのソフトウエアを構成するプログラムが、ネットワークや記録媒体からインストールされる。
【０２０６】
この記録媒体は、例えば、図１７に示されるように、装置本体とは別に、ユーザにプログラムを配信するために配布される、プログラムが記録されている磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM（Compact Disc - Read Only Memory）,DVD（Digital Versatile Disc）を含む）、光磁気ディスク（MD（Mini Disc）を含む）、若しくは半導体メモリなどよりなるリムーバブルメディア７２１により構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに配信される、プログラムが記録されているROM７０２や、記憶部７１３に含まれるハードディスクなどで構成される。
【０２０７】
なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
【０２０８】
また、本明細書において、記録媒体に記録されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
【０２０９】
また、本明細書において、システムとは、複数のデバイス（装置）により構成される装置全体を表すものである。
【０２１０】
また、以上において、１つの装置（または処理部）として説明した構成を分割し、複数の装置（または処理部）として構成するようにしてもよい。逆に、以上において複数の装置（または処理部）として説明した構成をまとめて１つの装置（または処理部）として構成されるようにしてもよい。また、各装置（または各処理部）の構成に上述した以外の構成を付加するようにしてももちろんよい。さらに、システム全体としての構成や動作が実質的に同じであれば、ある装置（または処理部）の構成の一部を他の装置（または他の処理部）の構成に含めるようにしてもよい。つまり、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
【０２１１】
なお、本技術は以下のような構成も取ることができる。
（１） 露出条件が互いに異なる複数の画像を合成し、合成画像を生成する合成部と、
前記画像のディティール成分を生成するディティール生成部と、
前記合成部により生成された前記合成画像を記憶するとともに、前記ディティール生成部により生成された前記ディティール成分を記憶する記憶部と、
前記記憶部から読み出された前記ディティール成分を用いて、前記記憶部から読み出された前記合成画像のディティールを強調する強調部と
を備え、
前記ディティール生成部は、前記合成部が前記合成画像を生成し、前記記憶部が前記合成画像を記憶した後、前記ディティール成分を生成する
画像処理装置。
（２） 前記露出条件が異なる複数の画像は、露出が適正値より抑制された露出アンダー画像、露出が適正値の適正露出画像、並びに、露出が適正値より増大された露出オーバー画像である
前記（１）に記載の画像処理装置。
（３） 前記適正露出画像の輝度成分を抽出する第１の輝度成分抽出部と、
前記第１の輝度成分抽出部により抽出された前記輝度成分の照明成分を抽出する第１の照明成分抽出部とをさらに備え、
前記合成部は、前記第１の照明成分抽出部により抽出された前記照明成分に基づいて、前記露出アンダー画像、前記適正露出画像、および前記露出オーバー画像を重み付けして合成し、前記合成画像を生成する
前記（２）に記載の画像処理装置。
（４） 前記記憶部は、前記第１の照明成分抽出部により抽出された前記照明成分をさらに記憶する
前記（３）に記載の画像処理装置。
（５） 前記ディティール生成部は、前記合成部により生成された前記合成画像が前記記憶部に記憶された後、前記第１の照明成分抽出部により抽出された前記照明成分を前記記憶部から読み出された前記照明成分を用いて、前記ディティール成分を生成する
前記（４）に記載の画像処理装置。
（６） 前記合成部により生成された前記合成画像が前記記憶部に記憶された後、前記適正露出画像の輝度成分を抽出する第２の輝度成分抽出部と、
前記第２の輝度成分抽出部により抽出された前記輝度成分の照明成分を抽出する第２の照明成分抽出部とをさらに備え、
前記記憶部は、前記第２の照明成分抽出部により抽出された前記照明成分をさらに記憶し、
前記ディティール生成部は、前記第２の照明成分抽出部により抽出された前記照明成分を前記記憶部から読み出された前記照明成分を用いて、前記ディティール成分を生成する
前記（４）に記載の画像処理装置。
（７） 前記適正露出画像、前記合成画像、および、ディティールが強調された前記合成画像を互いに関連付けて保存する保存部をさらに備える
前記（２）に記載の画像処理装置。
（８） 前記強調部は、前記合成画像のディティールを、前記画像に絵画調の視覚的効果を付与する程強調する
前記（１）乃至（７）のいずれかに記載の画像処理装置。
（９） 前記ディティール成分の強調量を制御する制御部をさらに備え、
前記ディティール生成部は、前記制御部により設定された前記強調量に応じて、生成した前記ディティール成分を強調し、
前記強調部は、強調された前記ディティール成分を用いて、前記合成画像のディティールを強調する
前記（１）乃至（８）のいずれかに記載の画像処理装置。
（１０） 前記制御部が前記強調量を再設定すると、前記強調部は、前記合成画像のディティールの強調をやり直す
前記（９）に記載の画像処理装置。
（１１） 前記強調部によりディティールが強調された前記合成画像を表示する表示部と、
前記強調量に関するユーザ指示を受け付ける入力部と
をさらに備え、
前記制御部は、前記入力部において受け付けられた前記ユーザ指示に従って前記強調量を再設定し、
前記強調部は、再設定された前記強調量に応じて、前記合成画像のディティールの強調をやり直す
前記（１０）に記載の画像処理装置。
（１２） 各種画像を記憶する記憶部を有する画像処理装置の画像処理方法であって、
前記画像処理装置の合成部が、露出条件が互いに異なる複数の画像を合成して合成画像を生成し、生成した前記合成画像を前記記憶部に記憶させ、
前記画像処理装置のディティール生成部が、前記合成画像が前記記憶部に記憶された後、前記画像のディティール成分を生成し、生成した前記ディティール成分を前記記憶部に記憶させ、
前記画像処理装置の強調部が、前記記憶部から読み出された前記ディティール成分を用いて、前記記憶部から読み出された前記合成画像のディティールを強調する
画像処理方法。
【符号の説明】
【０２１２】
１００ 画像処理装置， １１１ 輝度成分抽出部， １１２ 照明分離フィルタ， １１３ HDR圧縮処理部， １１４ 制御部， １１５ ディティール生成部， １１６ ディティール強調部， １１７ 記憶部， １２１ HDR処理部， １２２ 絵画調処理部， １５１ 除算部， １５２ 減算部， １５３ 乗算部， １５４ 加算部， ２００ 画像処理装置， ２１１ 輝度成分抽出部， ２１２ 照明分離フィルタ， ２２１ HDR処理部， ２２２ 絵画調処理部， ３００ 画像処理装置， ３１５ ディティール生成部， ３１８ 制御部， ４００ 画像処理装置， ４０１ ユーザ入力受付部， ４０２ 表示部， ４０３ 入力部， ５００ 画像処理装置， ５１８ バリエーション保存部， ５２１ HDR処理部， ５２２ 絵画調処理部， ６００ 撮像装置， ６１６ 合成処理部， ６１７ 現像処理部
【技術分野】
【０００１】
本開示は、画像処理装置および方法に関し、特に、より多様な効果を画像に付与することができるようにした画像処理装置および方法に関する。
【背景技術】
【０００２】
従来、ダイナミックレンジの広い画像の階調の範囲を圧縮し、適正化するHDR（High Dynamic Range）圧縮処理が考えられている（例えば、特許文献１参照）。
【０００３】
例えば、特許文献１においては、露出の異なる複数の画像からダイナミックレンジの広い画像を作り、つぎに平滑化フィルタを使って画像を低周波成分と高周波成分（ディティール成分）に分解し、低周波成分の階調の範囲を圧縮し、その圧縮量に対応する分だけディティール成分を強調して、最後に処理後の両成分を合成して、通常レンジの画像を得る方法が記載されている。
【０００４】
また、ダイナミックレンジの広い画像の合成を経由せずに、複数の画像から通常レンジの画像を作る方法も記載されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００８−１０４０１０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、近年においては、単に階調の範囲を圧縮するだけでなく、HDR圧縮処理された画像に他の効果を付与することが求められている。
【０００７】
本開示は、このような状況に鑑みてなされたものであり、画像の階調を処理するとともに、その画像に対して他の視覚的効果を付与する処理も行うことにより、より多様な効果を画像に付与することができるようにすることを目的とする。
【課題を解決するための手段】
【０００８】
本開示の一側面は、露出条件が互いに異なる複数の画像を合成し、合成画像を生成する合成部と、前記画像のディティール成分を生成するディティール生成部と、前記合成部により生成された前記合成画像を記憶するとともに、前記ディティール生成部により生成された前記ディティール成分を記憶する記憶部と、前記記憶部から読み出された前記ディティール成分を用いて、前記記憶部から読み出された前記合成画像のディティールを強調する強調部とを備え、前記ディティール生成部は、前記合成部が前記合成画像を生成し、前記記憶部が前記合成画像を記憶した後、前記ディティール成分を生成する画像処理装置である。
【０００９】
前記露出条件が異なる複数の画像は、露出が適正値より抑制された露出アンダー画像、露出が適正値の適正露出画像、並びに、露出が適正値より増大された露出オーバー画像であるようにすることができる。
【００１０】
前記適正露出画像の輝度成分を抽出する第１の輝度成分抽出部と、前記第１の輝度成分抽出部により抽出された前記輝度成分の照明成分を抽出する第１の照明成分抽出部とをさらに備え、前記合成部は、前記第１の照明成分抽出部により抽出された前記照明成分に基づいて、前記露出アンダー画像、前記適正露出画像、および前記露出オーバー画像を重み付けして合成し、前記合成画像を生成することができる。
【００１１】
前記記憶部は、前記第１の照明成分抽出部により抽出された前記照明成分をさらに記憶することができる。
【００１２】
前記ディティール生成部は、前記合成部により生成された前記合成画像が前記記憶部に記憶された後、前記第１の照明成分抽出部により抽出された前記照明成分を前記記憶部から読み出された前記照明成分を用いて、前記ディティール成分を生成することができる。
【００１３】
前記合成部により生成された前記合成画像が前記記憶部に記憶された後、前記適正露出画像の輝度成分を抽出する第２の輝度成分抽出部と、前記第２の輝度成分抽出部により抽出された前記輝度成分の照明成分を抽出する第２の照明成分抽出部とをさらに備え、前記記憶部は、前記第２の照明成分抽出部により抽出された前記照明成分をさらに記憶し、前記ディティール生成部は、前記第２の照明成分抽出部により抽出された前記照明成分を前記記憶部から読み出された前記照明成分を用いて、前記ディティール成分を生成することができる。
【００１４】
前記適正露出画像、前記合成画像、および、ディティールが強調された前記合成画像を互いに関連付けて保存する保存部をさらに備えることができる。
【００１５】
前記強調部は、前記合成画像のディティールを、前記画像に絵画調の視覚的効果を付与する程強調することができる。
【００１６】
前記ディティール成分の強調量を制御する制御部をさらに備え、前記ディティール生成部は、前記制御部により設定された前記強調量に応じて、生成した前記ディティール成分を強調し、前記強調部は、強調された前記ディティール成分を用いて、前記合成画像のディティールを強調することができる。
【００１７】
前記制御部が前記強調量を再設定すると、前記強調部は、前記合成画像のディティールの強調をやり直すことができる。
【００１８】
前記強調部によりディティールが強調された前記合成画像を表示する表示部と、前記強調量に関するユーザ指示を受け付ける入力部とをさらに備え、前記制御部は、前記入力部において受け付けられた前記ユーザ指示に従って前記強調量を再設定し、前記強調部は、再設定された前記強調量に応じて、前記合成画像のディティールの強調をやり直すことができる。
【００１９】
本開示の一側面は、また、各種画像を記憶する記憶部を有する画像処理装置の画像処理方法であって、前記画像処理装置の合成部が、露出条件が互いに異なる複数の画像を合成して合成画像を生成し、生成した前記合成画像を前記記憶部に記憶させ、前記画像処理装置のディティール生成部が、前記合成画像が前記記憶部に記憶された後、前記画像のディティール成分を生成し、生成した前記ディティール成分を前記記憶部に記憶させ、前記画像処理装置の強調部が、前記記憶部から読み出された前記ディティール成分を用いて、前記記憶部から読み出された前記合成画像のディティールを強調する画像処理方法である。
【００２０】
本開示の一側面においては、露出条件が互いに異なる複数の画像を合成して合成画像が生成され、生成された合成画像が記憶部に記憶され、合成画像が記憶部に記憶された後、画像のディティール成分が生成され、生成されたディティール成分が記憶部に記憶され、記憶部から読み出されたディティール成分が用いられて、記憶部から読み出された合成画像のディティールが強調される。
【発明の効果】
【００２１】
本技術によれば、画像を処理することができる。特に、より多様な効果を画像に付与することができる。
【図面の簡単な説明】
【００２２】
【図１】画像の階調を処理する画像処理装置の主な構成例を示すブロック図である。
【図２】ディティール生成部の主な構成例を示すブロック図である。
【図３】画像処理の流れの例を説明するフローチャートである。
【図４】メモリ使用量の推移の例を説明する図である。
【図５】画像処理装置の他の構成例を示すブロック図である。
【図６】画像処理の流れの、他の例を説明するフローチャートである。
【図７】メモリ使用量の推移の、他の例を説明する図である。
【図８】画像処理装置のさらに他の構成例を示すブロック図である。
【図９】画像処理の流れの、さらに他の例を説明するフローチャートである。
【図１０】画像処理装置のさらに他の構成例を示すブロック図である。
【図１１】ユーザインタフェースの例を説明する図である。
【図１２】画像処理の流れの、さらに他の例を説明するフローチャートである。
【図１３】画像処理の流れの、さらに他の例を説明する、図１２に続くフローチャートである。
【図１４】画像処理装置のさらに他の構成例を示すブロック図である。
【図１５】画像処理の流れの、さらに他の例を説明するフローチャートである。
【図１６】撮像装置の主な構成例を示すブロック図である。
【図１７】パーソナルコンピュータの主な構成例を示すブロック図である。
【発明を実施するための形態】
【００２３】
以下、本技術を実施するための形態（以下実施の形態とする）について説明する。なお、説明は以下の順序で行う。
１．第１の実施の形態（画像処理装置）
２．第２の実施の形態（画像処理装置）
３．第３の実施の形態（画像処理装置）
４．第４の実施の形態（画像処理装置）
５．第５の実施の形態（画像処理装置）
６．第６の実施の形態（撮像装置）
７．第７の実施の形態（パーソナルコンピュータ）
【００２４】
＜１．第１の実施の形態＞
［画像処理装置］
図１は、画像処理装置の一実施の形態の構成を表している。
【００２５】
図１に示される画像処理装置１００は、入力された露出条件が互いに異なる複数の画像を、白飛びや黒つぶれ等の画質劣化が生じないように合成し、適切な階調レンジの画像を生成するHDR処理を行うとともに、その生成された画像に対して、絵画調の視覚的効果を付与する画像処理を行う装置である。互いに露出条件の異なる３つの画像（露出アンダー画像、適正露出画像、および露出オーバー画像）が入力され、上述した画像処理により、階調レンジが適正化された絵画調の視覚的効果が付与された絵画調HDR（High Dynamic Range）画像データが出力される。
【００２６】
例えば、画角内の輝度レンジが広いシーンでは、自動露出処理（AE処理）の精度が悪化し、画角内の主な被写体が露出オーバーになって白飛びしたり、露出アンダーになってノイズに埋もれたり黒つぶれしたりする可能性が高くなる。そこで、このようなシーンにおいても適切な露光条件で撮像された画像を得るための撮像手法として、露光条件を変化させて複数回連続して露光し、それぞれの複数の画像信号を得る「ブラケット撮像」という手法が知られている。
【００２７】
この、ブラケット撮像を応用して、撮像素子の出力よりも広いダイナミックレンジを持つ画像（広ダイナミックレンジ画像）を得ることを可能とした撮像手法が考えられている。広ダイナミックレンジ画像の撮像では、ブラケット撮像により露出量を大きくした撮像画像と、露出量を抑えた撮像画像とを取得し、それらを合成することで広ダイナミックレンジの画像を生成する。すなわち、露出量を抑えて高輝度側の階調が得られた画像成分と、露出量を高めて低輝度側の階調が得られた画像成分とを合成することで、１回の露光では得ることができない広い輝度レンジの階調情報を、合成後の画像に取り入れることが可能となる。
【００２８】
例えばこのような撮像により得られた、互いに露出条件の異なる複数の画像から、白飛びや黒つぶれ等の画質劣化が生じないように合成された、適切な階調レンジの画像を生成する場合、階調レンジの広いHDR画像データ（広ダイナミックレンジ画像）を生成し、その画像の階調レンジを、上述したようなHDR処理により圧縮する方法がある。しかしながら、この方法の場合、階調レンジの広いHDR画像データを生成する必要があるので処理に必要なメモリ量が増大する可能性がある。
【００２９】
そこで、このような階調レンジの広いHDR画像データを生成せずに、露出条件が互いに異なる複数の画像を、白飛びや黒つぶれ等の画質劣化が生じないように合成し、適切な階調レンジの画像を生成する方法がある。画像処理装置１００は、この方法を用いることにより、上述した方法を用いる場合よりもメモリの使用量を低減させることができる。
【００３０】
図１に示されるように、画像処理装置１００は、輝度成分抽出部１１１、照明分離フィルタ１１２、HDR圧縮処理部１１３、制御部１１４、ディティール生成部１１５、ディティール強調部１１６、および記憶部１１７を有する。
【００３１】
これらの構成の内、輝度成分抽出部１１１、照明分離フィルタ１１２、およびHDR圧縮処理部１１３が、互いに露出条件の異なる３つの画像を、白飛びや黒つぶれ等の画質劣化が生じないように合成し、適切な階調レンジの画像を生成するHDR処理を行うHDR処理部１２１を構成する。また、制御部１１４、ディティール生成部１１５、およびディティール強調部１１６が、画像に対して絵画調の視覚的効果を付与する絵画調処理部１２２を構成する。
【００３２】
上述したように、画像処理装置１００には、適正値よりも意図的に露出を抑えて生成した露出アンダー画像、露出を適正値で生成した適正露出画像、適正値よりも意図的に露出を大きくして生成した露出オーバー画像が入力される。各画像は、HDR圧縮処理部１１３に供給される（矢印１３１乃至矢印１３３）。
【００３３】
また、適正露出画像は、輝度成分抽出部１１１にも供給される（矢印１３２）。輝度成分抽出部１１１は、入力された適正露出画像から輝度成分を抽出し、それを照明分離フィルタ１１２およびディティール生成部１１５に供給する（矢印１３４）。
【００３４】
照明分離フィルタ１１２は、入力されたHDR画像データに対してローパスフィルタ処理を施すことにより、照明成分（低周波成分とも称する）を抽出する。なお、この照明成分の抽出のためには、エッジ成分が残存するように高域カット処理する非線形のローパスフィルタ（例えば特許文献１に記載のフィルタやバイラテラルフィルタ）を用いることが望ましい。また、同様なローパスフィルタ処理としては、非線形ローパスフィルタの他に、統計的な手法（例えば、最頻値フィルタや中央値フィルタ）を用いることもできる。照明分離フィルタ１１２は、抽出した照明成分をHDR圧縮処理部１１３およびディティール生成部１１５に供給する（矢印１３５）。
【００３５】
HDR圧縮処理部１１３は、照明分離フィルタ１１２から供給される照明成分を、所定の変換テーブルを用いて合成係数に変換し、その合成係数を用いて、入力された露出アンダー画像、適正露出画像、および露出オーバー画像を合成する。より具体的には、HDR圧縮処理部１１３は、各画像を合成係数で重み付けして互いに加算する。HDR圧縮処理部１１３は、このようにして、露出アンダー画像、適正露出画像、および露出オーバー画像から、白飛びや黒つぶれ等の画質劣化が生じないように合成された、適切な階調レンジの画像（HDR圧縮画像）を生成する。HDR圧縮処理部１１３は、生成したHDR圧縮画像をディティール強調部１１６に供給する（矢印１３６）。
【００３６】
制御部１１４は、絵画調の視覚的効果を与えるためのHDR圧縮画像のディティール成分（高周波成分、反射率成分とも称する）の強調量であるディティール強調量を設定する。つまり、このディティール強調量は、HDR圧縮画像のディティール成分を過度に強調するゲインである。例えば、画像に絵画調の効果を付与する場合、制御部１１４は、ディティール強調量として大きな値（１より十分に大きな値）を設定する。また、画像に絵画調の効果を付与せず、HDR処理のみを行うようにする場合、制御部１１４は、ディティール強調量として小さな値（１に近い値）を設定する。制御部１１４は、そのディティール強調量をディティール生成部１１５に供給する（矢印１３７）。
【００３７】
例えば、制御部１１４は、記憶部を有し、予め設定されたディティール強調量を記憶し、それをディティール生成部１１５に供給する。また、例えば、制御部１１４は、入力部を有し、外部より入力されるディティール強調量をディティール生成部１１５に供給するようにしてもよい。さらに例えば、制御部１１４は、ユーザの指示を受け付ける受付部を有し、ユーザにより設定されるディティール強調量をディティール生成部１１５に供給するようにしてもよい。また、制御部１１４は、演算部を有し、外部やユーザ等より入力される情報に基づいてディティール強調量を算出し、それをディティール生成部１１５に供給するようにしてもよい。
【００３８】
ディティール生成部１１５は、輝度成分抽出部１１１から供給される適正露出画像の輝度成分と、照明分離フィルタ１１２から供給される適正露出画像の輝度成分の照明成分とを用いて、適正露出画像の輝度成分のディティール成分を抽出する。
【００３９】
例えば、ディティール生成部１１５は、輝度成分抽出部１１１から供給される輝度成分から、照明分離フィルタ１１２から供給された照明成分のデータを除算することで、ディティール成分を求める。なお、ディティール生成部１１５が、例えば、輝度成分から照明成分を減算することで、ディティール成分を求めるようにしてもよい。
【００４０】
さらに、ディティール生成部１１５は、抽出したディティール成分を、制御部１１４から供給されるディティール強調量で強調し、強調されたディティール成分を生成する。つまり、制御部１１４においてディティール強調量が大きな値（１より十分に大きな値）に設定されている場合、この処理により、ディティール成分が過度に強調される。なお、制御部１１４においてディティール強調量が小さな値（１に近い値）に設定されている場合、ディティール成分は、略強調されない。
【００４１】
ディティール生成部１１５は、そのディティール成分をディティール強調部１１６に供給する（矢印１３８）。
【００４２】
ディティール強調部１１６は、HDR圧縮処理部１１３から供給されたHDR圧縮画像に、ディティール生成部１１５から供給されたディティール成分を乗算する。この処理により、ディティール強調量が大きな値（１より十分に大きな値）に設定されている場合、HDR圧縮画像のディティールが過度に強調され、HDR圧縮画像に絵画調の視覚的効果が付与される。なお、この処理により、ディティール強調量が小さな値（１に近い値）に設定されている場合、HDR圧縮画像のディティールは略強調されず、HDR圧縮画像に絵画調の視覚的効果が付与されない。つまり、ディティール強調部１１６は、ディティール強調量に応じた程度で、HDR圧縮画像のディティールを強調する。ディティール強調部１１６は、このような処理が行われたHDR圧縮画像（（絵画調）HDR圧縮画像）を出力する（矢印１３９）。
【００４３】
ディティール強調部１１６から出力される絵画調HDR画像データは、さらに、ビット数を圧縮する等してもよい。
【００４４】
記憶部１１７は、各処理部で授受される各種画像データ等を記憶する。つまり、各処理部は、この記憶部１１７を介して、露出アンダー画像、適正露出画像、露出オーバー画像、輝度成分、照明成分、ディティール成分、HDR圧縮画像、および絵画調HDR圧縮画像等情報の授受を行う。
【００４５】
以上のように、絵画調処理部１２２のディティール強調部１１６が、ディティールの見えが実物よりも強調されて見える程、HDR圧縮画像の反射率成分のみを過度に増幅する（ディティールを過度に強調する）だけで、画像処理装置１００は、容易に、露出条件が互いに異なる複数の画像を、白飛びや黒つぶれ等の画質劣化が生じないように合成し、適切な階調レンジの画像を生成するとともに、画像に対して、絵画風の視覚的効果を付与することができる。つまり、画像処理装置１００は、より多様な効果を画像に付与することができる。
【００４６】
なお、単純にHDR圧縮画像からディティール成分を抽出し、増幅して絵画風の視覚的効果を付与するようにすると、非線形のローパスフィルタでの照明成分の分離が困難になる（エッジが保存されにくくなる）。これが原因で、エッジ近辺で低周波成分が強調されることにより視覚的に画質の劣化が大きくなってしまう。画像処理装置１００は、ディティールの見えが実物よりも強調されることにより質感が豊富になることを利用し、HDR処理の際に抽出される輝度成分と照明成分とを用いてディティール成分のみを過度に増幅することにより、視覚的な画質の劣化を抑制しながら、容易に、画像に絵画風の特殊効果を与えることができる。
【００４７】
ディティール強調量の値は任意であるが、例えば、２倍、４倍、８倍のように、一般的に、ディティール強調量を大きくするほど、ディティールがより強く強調され、画像に与える絵画風の視覚的効果を強くすることができる。
【００４８】
制御部１１４は、画像に対してより強い絵画風の視覚的効果を与える場合、このディティール強調量を大きな値に設定する。また、画像に対して絵画風の視覚的効果を強く与えたくない場合、制御部１１４は、ディティール強調量を小さな値（例えば１）に設定する。つまり、制御部１１４は、このディティール強調量の大きさを制御することにより、HDR圧縮処理を、被写体に忠実に行うのか、それとも絵画調の視覚的効果を付与するように行うのかを制御することができる。
【００４９】
また、線形の平滑化フィルタ処理を用いて照明成分や反射率成分を抽出するようにすると、輪郭にHALO（輪郭部分に発生する後光状のアーチファクト）と呼ばれる現象が現れて、好ましくない画質になる（視覚的に画質が劣化する）可能性がある。そこで、照明分離フィルタにはエッジ保存平滑化フィルタを用いるのが望ましい。エッジ保存平滑化フィルタとしては、例えばバイラテラルフィルタや、国際公開WO2009/072537に記載の方法等がある。
【００５０】
なお、ディティール強調量は、処理対象画素の輝度や位置毎に独立して設定することができる（輝度や位置に応じた値とすることができる）ようにしてもよい。例えば、ディティール成分に信号の飽和による偽の階調が含まれることがある高輝度の部分や、本来不要なノイズ成分を多く含む低輝度の部分の増幅を抑制するようにしたり、画像内の一部の領域のみディティール成分が増幅されるようにしたりしてもよい。また、以上においては、輝度成分抽出部１１１が適正露出画像（矢印１３２）から輝度成分を抽出するように説明したが、これに限らず、輝度成分抽出部１１１が、露出アンダー画像（矢印１３１）や露出オーバー画像（矢印１３３）から輝度成分を抽出するようにしてもよい。
【００５１】
［ディティール生成部］
図２は、ディティール生成部１１５の主な構成例を示すブロック図である。図２に示されるように、ディティール生成部１１５は、除算部１５１、減算部１５２、乗算部１５３、および加算部１５４を有する。
【００５２】
除算部１５１は、輝度成分抽出部１１１から供給される輝度成分（矢印１３４）を、照明分離フィルタ１１２から供給される照明成分（矢印１３５）で除算することにより、ディティール成分を抽出する。除算部１５１は、抽出したディティール成分を乗算部１５３に供給する（矢印１６１）。
【００５３】
減算部１５２は、標準となるディティールゲインが自動でかかる分を補正するために、制御部１１４から供給されるディティール強調量から値「１」を減算する。減算部１５２は、値「１」を減算したディティール強調量を乗算部１５３に供給する（矢印１６２）。
【００５４】
乗算部１５３は、除算部１５１から供給されるディティール成分と、減算部１５２から供給されるディティール強調量とを乗算し、その乗算結果を加算部１５４に供給する（矢印１６３）。
【００５５】
加算部１５４は、乗算部１５３から供給される、ディティール成分と値「１」が減算されたディティール強調量との乗算結果に、制御部１１４から供給されるディティール強調量（矢印１３７）を加算する。加算部１５４は、その加算結果、すなわち、過度に強調されたディティール成分をディティール強調部１１６に供給する（矢印１３８）。
【００５６】
なお、メモリ削減などの理由で、平滑化フィルタ処理の出力時に信号精度の丸め処理がある場合、丸め処理の前の信号（輝度成分および照明成分）から、ディティール成分が抽出されるようにするのが望ましい。これは、ディティール成分の計算では演算精度が重要なためである。
【００５７】
［画像処理の流れ］
図３のフローチャートを参照して、この場合の画像処理の流れの例を説明する。
【００５８】
ステップＳ１０１において、画像処理装置１００は、露出アンダー画像、適正露出画像、および露出オーバー画像を取得する。記憶部１１７は、それらを記憶する。
【００５９】
ステップＳ１０２において、輝度成分抽出部１１１は、記憶部１１７から適正露出画像を読み出し、読み出した適正露出画像から輝度成分を抽出する。記憶部１１７は、抽出された輝度成分を記憶する。なお、輝度成分は、適正露出画像の１コンポーネントであるとみなすことができるため、記憶部１１７に記憶されている適正露出画像に既に含まれているものとし、この記憶は省略することもできる。
【００６０】
ステップＳ１０３において、照明分離フィルタ１１２は、記憶部１１７から輝度成分を読み出し、その輝度成分から照明成分を抽出する。記憶部１１７は、抽出された照明成分を記憶する。
【００６１】
ステップＳ１０４において、HDR圧縮処理部１１３は、記憶部１１７から照明成分を読み出し、例えば変換テーブルを用いて、読み出した照明成分から合成係数を生成する。
【００６２】
ステップＳ１０５において、HDR圧縮処理部１１３は、記憶部１１７から露出アンダー画像、適正露出画像、および露出オーバー画像を読み出し、ステップＳ１０４において生成された合成係数を用いて、読み出した露出アンダー画像、適正露出画像、および露出オーバー画像の各画像を重み付けして、それらを、白飛びや黒つぶれ等の画質劣化が生じないように合成し、適切な階調レンジのHDR圧縮画像を生成する。記憶部１１７は、生成されたHDR圧縮画像を記憶する。
【００６３】
ステップＳ１０６において、制御部１１４は、HDR圧縮画像に対して絵画調効果を与えるか否かを判定する。絵画調効果を与えると判定した場合、制御部１１４は、処理をステップＳ１０７に進め、ディティール成分を過度に増幅するように、ディティール強調量に大きな値（１より十分に大きな値）を設定する。
【００６４】
また、ステップＳ１０６において、HDR圧縮画像に絵画調効果を与えないと判定した場合、制御部１１４は、処理をステップＳ１０８に進め、ディティール強調量に小さな値（１に近い値）を設定する。
【００６５】
ステップＳ１０７またはステップＳ１０８においてディティール強調量を設定すると、制御部１１４は、処理をステップＳ１０９に進める。
【００６６】
ステップＳ１０９において、ディティール生成部１１５は、記憶部１１７から適正露出画像の輝度成分と、照明成分とを読み出す。ディティール生成部１１５の除算部１５１は、読みだされた輝度成分を、読み出された照明成分で除算し、ディティール成分を抽出する。記憶部１１７は、抽出されたディティール成分を記憶する。
【００６７】
ステップＳ１１０において、ディティール生成部１１５の減算部１５２は、ステップＳ１０７若しくはステップＳ１０８において設定されたディティール強調量から値「１」を減算する。
【００６８】
ステップＳ１１１において、ディティール生成部１１５は、記憶部１１７からディティール成分を読み出す。ディティール生成部１１５の乗算部１５３は、読み出されたディティール成分に、ステップＳ１１０において算出された減算結果を乗算する。
【００６９】
ステップＳ１１２において、ディティール生成部１１５の加算部１５４は、ステップＳ１１１において算出された乗算結果に、ステップＳ１０７若しくはステップＳ１０８において設定されたディティール強調量を加算する。記憶部１１７は、その加算結果（強調されたディティール成分）を記憶する。
【００７０】
ステップＳ１１３において、ディティール強調部１１６は、記憶部１１７からHDR圧縮画像と、強調されたディティール成分（加算結果）とを読み出す。ディティール強調部１１６は、読み出したHDR圧縮画像に、読み出したディティール成分（加算結果）を合成（乗算または加算）する。これにより、HDR圧縮画像のディティールが、ステップＳ１０７若しくはステップＳ１０８において設定されたディティール強調量に応じて強調される。記憶部１１７は、このようにディティールが強調されたHDR圧縮画像（（絵画調）HDR圧縮画像）を記憶する。なお、この（絵画調）HDR圧縮画像は、画像処理装置１００の外部に出力されるようにしてもよい。
【００７１】
以上のように画像処理を行うことにより、画像処理装置１００は、容易に、露出条件が互いに異なる複数の画像を、白飛びや黒つぶれ等の画質劣化が生じないように合成し、適切な階調レンジの画像を生成するとともに、画像に対して、絵画風の視覚的効果を付与することができる。つまり、画像処理装置１００は、より多様な効果を画像に付与することができる。
【００７２】
［メモリ使用量］
図４は、以上に説明した画像処理における記憶部１１７の記憶領域の使用量の推移を説明する図である。
【００７３】
図４において、横軸が処理の流れを示し、縦軸が、メモリ使用量を示す。各四角が記憶部１１７に記憶される各種画像データを示している。
【００７４】
図４Ａに示されるように、HDR圧縮画像を生成するタイミングｔ４よりも前のタイミングｔ３において、ディティール成分を生成するようにすると、記憶領域は最大４．５画面分必要になる。
【００７５】
これに対して、図５Ｂに示されるように、ディティール成分の生成を、HDR圧縮画像を生成するタイミングｔ４よりも後のタイミングｔ６において行うようにすると、記憶領域は３．５画面分で十分になる。
【００７６】
つまり、図３のフローチャートを参照して説明したように、HDR圧縮画像を生成（ステップＳ１０５）してからディティール成分を生成するようにすることにより、画像処理においてメモリ使用量を低減させることができる。つまり、画像処理装置１００は、メモリ（記憶領域）をより効率よく使用することができる。したがって、画像処理装置１００は、画像処理の負荷を低減させることができ、処理のさらなる高速化や製造コストのさらなる低減を実現させることができる。
【００７７】
＜２．第２の実施の形態＞
［画像処理装置］
図５は、画像処理装置の、他の構成例を示すブロック図である。
【００７８】
図５に示される画像処理装置２００は、基本的に画像処理装置１００と同様の装置であり、入力された露出条件が互いに異なる複数の画像を、白飛びや黒つぶれ等の画質劣化が生じないように合成し、適切な階調レンジの画像を生成するHDR処理を行うとともに、その生成された画像に対して、絵画調の視覚的効果を付与する画像処理を行う。
【００７９】
ただし、画像処理装置２００は、HDR処理に用いる照明成分をディティール成分の生成に流用せず、ディティール成分の生成に用いる照明成分は、再度、適正露出画像から生成する。
【００８０】
図５に示されるように、画像処理装置２００は、画像処理装置１００のHDR処理部１２１の代わりにHDR処理部２２１を有し、画像処理装置１００の絵画調処理部１２２の代わりに絵画調処理部２２２を有し、画像処理装置１００と同様の記憶部１１７を有する。
【００８１】
HDR処理部２２１は、基本的にHDR処理部１２１と同様の構成を有し、同様の処理を行う。ただし、輝度成分抽出部１１１は、輝度成分を、照明分離フィルタ１１２のみに供給し、絵画調処理部２２２には供給しない。また、照明分離フィルタ１１２は、照明成分を、HDR圧縮処理部１１３にのみ供給し、絵画調処理部２２２には、供給しない。つまり、HDR処理部２２１の場合、輝度成分抽出部１１１および照明分離フィルタ１１２は、HDR圧縮処理部１１３において使用される照明成分の生成のためのみに使用される。
【００８２】
また、HDR処理部２２１に入力される適正露出画像は、HDR圧縮処理部１１３だけでなく、絵画調処理部２２２にも供給される（矢印１３２）。
【００８３】
絵画調処理部２２２は、絵画調処理部１２２の制御部１１４、ディティール生成部１１５、およびディティール強調部１１６に加え、輝度成分抽出部２１１および照明分離フィルタ２１２をさらに有する。
【００８４】
輝度成分抽出部２１１は、輝度成分抽出部１１１と同様の構成を有し、同様の処理を行う処理部である。輝度成分抽出部２１１は、画像処理装置２００に入力される適正露出画像を取得し、その適正露出画像から輝度成分を抽出し、抽出した輝度成分を照明分離フィルタ２１２およびディティール生成部１１５に供給する（矢印２３４）。
【００８５】
照明分離フィルタ２１２は、照明分離フィルタ１１２と同様の構成を有し、同様の処理を行う処理部である。照明分離フィルタ２１２は、輝度成分抽出部２１１から供給される輝度成分から照明成分を抽出し、抽出した照明成分をディティール生成部１１５に供給する（矢印２３５）。
【００８６】
つまり、この画像処理装置２００のディティール生成部１１５には、輝度成分抽出部１１１により抽出された輝度成分と、照明分離フィルタ１１２により抽出された照明成分とではなく、輝度成分抽出部２１１により抽出された輝度成分と、照明分離フィルタ２１２により抽出された照明成分とが供給される。ディティール生成部１１５は、これらを用いて、画像処理装置１００の場合と同様に、ディティール成分を生成し、ディティール強調量に応じて、その生成したディティール成分を強調し、そのディティール成分をディティール強調部１１６に供給する。
【００８７】
ディティール強調部１１６は、HDR圧縮処理部１１３において生成されたHDR圧縮画像のディティールを、そのディティール成分を乗算することにより、適宜強調する。
【００８８】
以上のように、画像処理装置２００は、画像処理装置１００の場合と同様に、容易に、露出条件が互いに異なる複数の画像を、白飛びや黒つぶれ等の画質劣化が生じないように合成し、適切な階調レンジの画像を生成するとともに、画像に対して、絵画風の視覚的効果を付与することができる。つまり、画像処理装置２００は、より多様な効果を画像に付与することができる。なお、この場合も、輝度成分抽出部１１１および輝度成分抽出部２１１は、適正露出画像（矢印１３２）からではなく、露出アンダー画像（矢印１３１）若しくは露出オーバー画像（矢印１３３）から輝度成分を抽出するようにしてもよい。
【００８９】
［画像処理の流れ］
図６のフローチャートを参照して、この場合の画像処理の流れの例を説明する。
【００９０】
ステップＳ２０１乃至ステップＳ２０８の各処理は、図３のフローチャートを参照して説明した画像処理の、ステップＳ１０１乃至ステップＳ１０８の各処理と同様に実行される。
【００９１】
ステップＳ２０７またはステップＳ２０８においてディティール強調量を設定すると、制御部１１４は、処理をステップＳ２０９に進める。
【００９２】
ステップＳ２０９において、輝度成分抽出部２１１は、記憶部１１７から適正露出画像を読み出し、読み出した適正露出画像から輝度成分を抽出する。記憶部１１７は、抽出された輝度成分を記憶する。なお、この記憶も省略することができる。
【００９３】
ステップＳ２１０において、照明分離フィルタ２１２は、記憶部１１７から輝度成分を読み出し、その輝度成分から照明成分を抽出する。記憶部１１７は、抽出された照明成分を記憶する。
【００９４】
ステップＳ２１１において、ディティール生成部１１５は、記憶部１１７から適正露出画像の輝度成分と、照明成分とを読み出す。この輝度成分は、例えば、ステップＳ２０１において記憶された適正露出画像に含まれる成分であり、照明成分は、ステップＳ２１０において記憶されたものである。ステップＳ２０３において記憶された照明成分は、HDR圧縮画像の生成に使用された後、不要なデータとして必要に応じて消去される。
【００９５】
ディティール生成部１１５の除算部１５１は、読みだされた輝度成分を、読み出された照明成分で除算し、ディティール成分を抽出する。記憶部１１７は、抽出されたディティール成分を記憶する。
【００９６】
ステップＳ２１２において、ディティール生成部１１５は、記憶部１１７に記憶されたディティール成分を読み出し、読み出したディティール成分を、ステップＳ２０７若しくはステップＳ２０８において設定されたディティール強調量を用いて強調する。記憶部１１７は、強調されたディティール成分を記憶する。
【００９７】
ステップＳ２１３において、ディティール強調部１１６は、記憶部１１７からHDR圧縮画像と、強調されたディティール成分とを読み出す。ディティール強調部１１６は、読み出したHDR圧縮画像に、読み出したディティール成分（強調されたディティール成分）を乗算する。これにより、HDR圧縮画像のディティールが、ステップＳ２０７若しくはステップＳ２０８において設定されたディティール強調量に応じて強調される。記憶部１１７は、このようにディティールが強調されたHDR圧縮画像（（絵画調）HDR圧縮画像）を記憶する。なお、この（絵画調）HDR圧縮画像は、画像処理装置２００の外部に出力されるようにしてもよい。
【００９８】
以上のように画像処理を行うことにより、画像処理装置２００は、容易に、露出条件が互いに異なる複数の画像を、白飛びや黒つぶれ等の画質劣化が生じないように合成し、適切な階調レンジの画像を生成するとともに、画像に対して、絵画風の視覚的効果を付与することができる。つまり、画像処理装置２００は、より多様な効果を画像に付与することができる。
【００９９】
［メモリ使用量］
図７は、以上に説明した画像処理における記憶部１１７の記憶領域の使用量の推移を説明する図である。
【０１００】
図７に示されるように、画像処理装置２００の場合、HDR圧縮画像を生成するタイミングｔ４よりも後のタイミングｔ７において、照明成分が再度生成される。したがって、タイミングｔ２において生成された照明成分は、HDR圧縮画像の生成のみに用い、HDR圧縮画像生成後、必要に応じて消去することができる。
【０１０１】
つまり、HDR処理が終了するタイミングｔ４の後、絵画調処理が開始されるタイミングｔ７までの期間において必要な記憶領域は、２．０画面分となる。これに対して、第１の実施の形態のように、HDR圧縮画像の生成に用いた照明成分をディティール成分の生成にも流用する場合、図３Ｂに示されるように、少なくとも２．５画面分の記憶領域が必要になる。
【０１０２】
したがって、例えば、HDR処理終了後、絵画調処理を直ちに行わず、その間に他の処理を行うような場合、画像処理装置２００は、その処理のために空き領域を、画像処理装置１００の場合よりも多く確保することができる。つまり、画像処理装置２００は、メモリ（記憶領域）をより効率よく使用することができる。したがって、画像処理装置２００は、画像処理の負荷を低減させることができ、処理のさらなる高速化や製造コストのさらなる低減を実現させることができる。
【０１０３】
＜３．第３の実施の形態＞
［画像処理装置］
なお、第１の実施の形態において説明した方法と、第２の実施の形態において説明した方法との内、いずれか一方を適宜選択することができるようにしてもよい。
【０１０４】
図８は、その場合の画像処理装置の主な構成例を示すブロック図である。
【０１０５】
図８に示される画像処理装置３００は、基本的に画像処理装置１００と同様の装置であり、入力された露出条件が互いに異なる複数の画像を、白飛びや黒つぶれ等の画質劣化が生じないように合成し、適切な階調レンジの画像を生成するHDR処理を行うとともに、その生成された画像に対して、絵画調の視覚的効果を付与する画像処理を行う。
【０１０６】
ただし、画像処理装置３００は、画像処理装置１００の画像処理方法と、画像処理装置２００の画像処理方法のいずれか一方を選択し、その選択した方法で画像処理を行うことができる。
【０１０７】
図８に示されるように、画像処理装置３００は、画像処理装置１００のHDR処理部１２１の代わりにHDR処理部３２１を有し、画像処理装置１００の絵画調処理部１２２の代わりに絵画調処理部３２２を有し、画像処理装置１００と同様の記憶部１１７を有する。さらに、画像処理装置３００は、制御部３１８を有する。
【０１０８】
HDR処理部３２１は、基本的にHDR処理部１２１と同様の構成を有し、同様の処理を行う。ただし、輝度成分抽出部１１１から出力される輝度成分（矢印１３４）と、照明分離フィルタ１１２から出力される照明成分（矢印１３５）とだけでなく、HDR処理部３２１に入力される適正露出画像も、HDR圧縮処理部１１３だけでなく、絵画調処理部３２２にも供給される（矢印１３２）。
【０１０９】
絵画調処理部３２２は、基本的にHDR処理部２２１と同様の構成を有する。ただし、絵画調処理部３２２は、ディティール生成部１１５の代わりにディティール生成部３１５を有する。
【０１１０】
ディティール生成部３１５は、ディティール生成部１１５と基本的に同様の構成を有し、同様の処理を行う。ただし、ディティール生成部３１５には、輝度成分抽出部１１１により抽出された輝度成分、および、照明分離フィルタ１１２により抽出された照明成分、または、輝度成分抽出部２１１により抽出された輝度成分、および、照明分離フィルタ２１２により抽出された照明成分のいずれか一方が供給される。
【０１１１】
つまり、例えば、画像処理装置１００と同様の方法で画像処理が行われる場合、ディティール生成部３１５には、輝度成分抽出部１１１により抽出された輝度成分と、照明分離フィルタ１１２により抽出された照明成分とが供給される。
【０１１２】
これに対して、例えば、画像処理装置２００と同様の方法で画像処理が行われる場合、ディティール生成部３１５には、輝度成分抽出部２１１により抽出された輝度成分と、照明分離フィルタ２１２により抽出された照明成分とが供給される。
【０１１３】
いずれの場合も、ディティール生成部３１５は、供給された輝度成分と照明成分とを用いてディティール成分を生成し、そのディティール成分を、制御部１１４から供給されるディティール強調量に応じて強調し、強調したディティール成分をディティール強調部１１６に供給する。
【０１１４】
制御部３１８は、画像処理装置３００の各部を制御し、画像処理を、画像処理装置１００と同様の方法で行うか、若しくは、画像処理装置２００と同様の方法で行うかを制御する。なお、この場合も、輝度成分抽出部１１１および輝度成分抽出部２１１は、適正露出画像（矢印１３２）からではなく、露出アンダー画像（矢印１３１）若しくは露出オーバー画像（矢印１３３）から輝度成分を抽出するようにしてもよい。
【０１１５】
［画像処理の流れ］
図９のフローチャートを参照して、この場合の画像処理の流れの例を説明する。
【０１１６】
ステップＳ３０１において、制御部１１４は、ディティール強調量を設定する。なお、この設定の方法は、例えば、図３のステップＳ１０６乃至ステップＳ１０８、または、図６のステップＳ２０６乃至ステップＳ２０８の場合と同様であるので、その詳細についての説明は省略する。
【０１１７】
ステップＳ３０２において、制御部３１８は、記憶部１１７の記憶領域について、使用可能なメモリ容量（空き容量）が多いか否かを判定する。空き容量が多いか否かの判定基準は任意である。例えは所定の基準値を予め設け、その基準値と比較することにより、空き容量の大小判定を行うようにしてもよい。
【０１１８】
空き容量が多いと判定された場合、記憶部３１７の空き容量が十分であり、容量不足の恐れが少ないので、制御部３１８は、処理をステップＳ３０３に進める。この場合、画像処理装置１００と同様の方法が選択される。したがって、ステップＳ３０３において、HDR処理部３２１はHDR圧縮処理を行い、絵画調処理部３２２は、HDR圧縮処理において抽出された輝度成分と照明成分とを再利用してディティール成分を生成し、絵画調HDR圧縮画像を生成する。
【０１１９】
このように画像処理装置１００と同様の方法を選択することにより、画像処理装置３００は、輝度成分と照明成分の抽出を１回行うだけでよいので、画像処理装置２００と同様の方法で画像処理を行う場合よりも、処理量を低減させることができる。
【０１２０】
また、空き容量が少ないと判定された場合、記憶部３１７の空き容量が十分とは言えず、容量が不足する可能性があるので、制御部３１８は、処理をステップＳ３０４に進める。この場合、画像処理装置２００と同様の方法が選択される。したがって、ステップＳ３０４において、HDR処理部３２１はHDR圧縮処理を行い、絵画調処理部３２２は、輝度成分と照明成分とを再度抽出し、それらを用いてディティール成分を生成し、絵画調HDR圧縮画像を生成する。
【０１２１】
このように画像処理装置２００と同様の方法を選択することにより、画像処理装置３００は、画像処理装置１００と同様の方法で画像処理を行う場合よりも、メモリの使用効率を向上させることができる。
【０１２２】
以上のように画像処理を行うことにより、画像処理装置３００は、空き容量の大きさに応じて、画像処理方法を選択することができるので、より効率よく画像処理を行うことができる。
【０１２３】
＜４．第４の実施の形態＞
［画像処理装置］
なお、HDR処理結果に対して、絵画調処理を複数回行うことができるようにしてもよい。例えば、ユーザが、絵画調処理結果を参照し、その絵画調処理結果に基づいて、ディティール強調量を再調整し、絵画調処理をやり直すことができるようにしてもよい。
【０１２４】
図１０は、その場合の画像処理装置の主な構成例を示すブロック図である。
【０１２５】
図１０に示される画像処理装置４００は、基本的に、上述した画像処理装置２００と同様の装置であり、入力された露出条件が互いに異なる複数の画像を、白飛びや黒つぶれ等の画質劣化が生じないように合成し、適切な階調レンジの画像を生成するHDR処理を行うとともに、その生成された画像に対して、絵画調の視覚的効果を付与する画像処理を行う。
【０１２６】
ただし、画像処理装置４００は、画像処理装置２００の構成に加え、ユーザ入力受付部４０１、表示部４０２、および入力部４０３をさらに有する。
【０１２７】
ユーザ入力受付部４０１は、ディティール強調量についてのユーザ指示の入力に関する処理を行う。ユーザ入力受付部４０１は、ディティール強調部１１６から出力される（絵画調）HDR圧縮画像を取得し、その画像を表示部４０２に供給し、表示させる。
【０１２８】
表示部４０２は、例えばLCDやOELD（Organic ElectroLuminescence Display）等、任意のモニタを有しており、ユーザ入力受付部４０１から供給される（絵画調）HDR圧縮画像、つまり、ディティール強調結果の画像を表示する。
【０１２９】
ユーザは、その画像を確認し、ディティールの強調をやり直したい場合、入力部４０３を操作し、ディティール強調量に関する指示を入力する。
【０１３０】
入力部４０３は、例えばキーボードやタッチパネル等、任意の入力デバイスを有しており、それらによりユーザ指示を受け付け、受け付けたユーザ指示をユーザ入力受付部４０１に供給する。
【０１３１】
ユーザ入力受付部４０１は、入力部４０３において受け付けられたユーザ指示を制御部１１４に供給する。
【０１３２】
制御部１１４は、そのユーザ指示に基づいてディティール強調量を再設定し、更新されたディティール強調量をディティール生成部１１５に供給する。
【０１３３】
ディティールの強調をやり直す必要が無い場合、ユーザは、入力部４０３を操作して、絵画調処理の終了を指示する。ユーザ指示は同様にユーザ入力受付部４０１を介して制御部１１４に供給され、絵画調処理が終了される。
【０１３４】
以上のように、画像処理装置４００は、HDR処理結果に対して、複数回ディティール強調の設定を行うことができる。したがって、画像処理装置４００は、より望ましいディティール強調結果を得ることができる。なお、この場合も、輝度成分抽出部１１１および輝度成分抽出部２１１は、適正露出画像（矢印１３２）からではなく、露出アンダー画像（矢印１３１）若しくは露出オーバー画像（矢印１３３）から輝度成分を抽出するようにしてもよい。
【０１３５】
［ユーザインタフェース］
図１１にユーザインタフェースの例を示す。図１１に示される撮像装置４５０は、図１０の画像処理装置４００を画像処理部として内蔵する。つまり、この場合、画像処理部（画像処理装置４００）は、撮像装置４５０が撮像した画像に対して、HDR処理を行ったり、絵画調処理を行ったりする。
【０１３６】
撮像装置４５０には、表示部４０２としてモニタ４５１が設けられている。また、撮像装置４５０には、入力部４０３として、モニタ４５１に重畳されるタッチパネル４５２、ジョグダイヤル４６１、メニューボタン４６２、および十字キー等が設けられている。
【０１３７】
モニタ４５１は、LCDやOELD等よりなり、表示部４０２がユーザ入力受付部４０１から供給された、撮像画像、HDR圧縮画像、絵画調HDR圧縮画像等の各種画像や、GUI（Graphical User Interface）等を表示する。
【０１３８】
タッチパネル４５２は、ユーザが指などを近接若しくは接触させた位置を検出する。入力部４０３は、その位置情報をユーザ入力受付部４０１に供給する。ユーザ入力受付部４０１は、その位置情報に対応するユーザ指示を、モニタ４５１に表示されるGUIに従って求め、そのユーザ指示を制御部１１４に供給する。
【０１３９】
ジョグダイヤル４６１は、ユーザが両矢印の方向に回転させることにより、例えば撮影モードを設定する入力デバイスである。メニューボタン４６２は、撮像や編集等の設定を行う際に操作されるボタンである。十字キー４６３は、モニタ４５１に表示されるGUIの選択肢等の選択を行う際にユーザが操作する入力デバイスである。
【０１４０】
例えば、ユーザがジョグダイヤル４６１を操作してブラケット撮像モードを選択し、被写体を撮像し、さらに、メニューボタン４６２や十字キー４６３を操作して、絵画調効果調整（ディティール強調量の調整）を行うモードを選択した場合、図１１に示されるように、モニタ４５１には、ディティールが強調された絵画調HDR圧縮画像が表示され、さらにその絵画調HDR圧縮画像に重畳して、ディティール強調量調整用のGUIが表示される。
【０１４１】
図１１の例において、モニタ４５１に表示される「切」ボタンは、ディティールを強調しないように指示するGUIボタンである。「弱」ボタン、「中」ボタン、および「強」ボタンは、それぞれディティールの強調量を指定するGUIボタンである。「完了」ボタンは、ディティールの強調量を更新せずに絵画調効果調整を終了させるように指示するGUIボタンである。
【０１４２】
ユーザ４５３が、タッチパネル４５２を操作したり、十字キー４６３等を操作したりして、所望のGUIボタンを選択すると、その選択されたGUIボタンに対応する指示が、ユーザ指示として制御部１１４に供給される。
【０１４３】
もちろん、図１１に示されるユーザインタフェースは一例であり、画像処理装置４００のユーザインタフェース（表示部４０２や入力部４０３）は、これに限らず、どのようなものであってもよい。
【０１４４】
［画像処理の流れ］
この場合の画像処理の流れの例を図１２および図１３のフローチャートを参照して説明する。
【０１４５】
図１２のステップＳ４０１において、制御部１１４は、ディティール強調量を設定する。なお、この設定の方法は、図６のステップＳ２０６乃至ステップＳ２０８の場合と同様であるので、その詳細についての説明は省略する。
【０１４６】
画像処理装置４００の各部は、ステップＳ４０２乃至ステップＳ４０６の各処理を、図６のステップＳ２０１乃至ステップＳ２０５の各処理と同様に行う。また、画像処理装置４００の各部は、ステップＳ４０７乃至ステップＳ４０９の各処理を、図６のステップＳ２０９乃至ステップＳ２１１の各処理と同様に行う。
【０１４７】
図１３のステップＳ４１１において、ディティール生成部１１５は、図１２のステップＳ４０１において設定されたディティール強調量を用いて、ディティール成分を強調する。記憶部１１７は、強調されたディティール成分を記憶する。
【０１４８】
ステップＳ４１２において、ディティール強調部１１６は、記憶部１１７からHDR圧縮画像と、強調されたディティール成分とを読み出し、読み出したHDR圧縮画像に、読み出したディティール成分（強調されたディティール成分）を乗算する。これにより、HDR圧縮画像のディティールが、図１２のステップＳ４０１において設定されたディティール強調量に応じて強調される。
【０１４９】
ステップＳ４１３において、表示部４０２は、ステップＳ４１２において生成された（絵画調）HDR圧縮画像、すなわちディティール強調結果を表示する。ステップＳ４１４において、入力部４０３は、ユーザ入力を受け付ける。
【０１５０】
ステップＳ４１５において、ユーザ入力受付部４０１は、入力部４０３からの情報に基づいて、ユーザ入力が終了したか否かを判定する。ディティール強調量に関するユーザ指示が受け付けられた場合、ユーザ入力受付部４０１は、処理をステップＳ４１６に進める。
【０１５１】
ステップＳ４１６において、制御部１１４は、受け付けられたユーザ入力に応じてディティール強調量を設定（更新）する。ディティール強調量が設定されると、処理は、ステップＳ４１１に戻され、それ以降の処理が繰り返される。
【０１５２】
また、ステップＳ４１５において、ディティール強調量に関する設定の終了を指示するユーザ指示が受け付けられた場合、ユーザ入力受付部４０１は、処理をステップＳ４１７に進める。
【０１５３】
ステップＳ４１７において、記憶部１１７は、このようにディティールが強調されたHDR圧縮画像（（絵画調）HDR圧縮画像）を記憶する。なお、この（絵画調）HDR圧縮画像は、画像処理装置４００の外部に出力されるようにしてもよい。
【０１５４】
以上のように画像処理を行うことにより、画像処理装置４００は、HDR処理結果に対して、複数回ディティール強調の設定を行うことができる。したがって、画像処理装置４００は、より望ましいディティール強調結果を得ることができる。
【０１５５】
なお、以上においては、ユーザ指示に従ってディティール強調量を更新するように説明したが、これに限らず、例えば、他の装置から提供される情報や、予め定められた目標値等、どのような情報に基づいてディティール強調量が更新されるようにしてもよい。
【０１５６】
＜５．第５の実施の形態＞
［画像処理装置］
以上に説明したように、画像処理装置においては、例えば、入力画像、HDR圧縮画像、絵画調HDR圧縮画像等、様々な状態の画像を得ることができる。最終処理結果として出力される画像だけでなく、これらの各種画像を全て保存する（バリエーション保存を行う）ようにしてもよい。
【０１５７】
図１４は、その場合の画像処理装置の主な構成例を示すブロック図である。
【０１５８】
図１４に示される画像処理装置５００は、基本的に画像処理装置２００と同様の装置であり、入力された露出条件が互いに異なる複数の画像を、白飛びや黒つぶれ等の画質劣化が生じないように合成し、適切な階調レンジの画像を生成するHDR処理を行うとともに、その生成された画像に対して、絵画調の視覚的効果を付与する画像処理を行う。
【０１５９】
ただし、画像処理装置５００は、画像処理装置２００のHDR処理部２２１の代わりにHDR処理部５２１を有し、絵画調処理部２２２の代わりに絵画調処理部５２２を有する。さらに、画像処理装置５００は、これらの構成と記憶部１１７に加え、バリエーション保存部５１８を有する。
【０１６０】
HDR処理部５２１は、HDR処理部２２１と同様の構成を有し、同様の処理を行う。ただし、HDR処理部５２１は、入力された適正露出画像と、HDR圧縮処理部１１３から出力されるHDR圧縮画像とを、バリエーション保存部５１８にも供給する。
【０１６１】
絵画調処理部５２２は、絵画調処理部２２２と同様の構成を有し、同様の処理を行う。ただし、絵画調処理部５２２は、ディティール強調部１１６から出力されるディティール強調結果である（絵画調）HDR圧縮画像をバリエーション保存部５１８にも供給する。
【０１６２】
バリエーション保存部５１８は、任意の記憶媒体により構成され、画像処理装置５００により生成される各種画像を互いに関連付けて保存する（バリエーション保存）。このように、複数の状態の画像をグループ化して保存することにより、バリエーション保存部５１８は、他の処理において使用される際に、その画像グループの中から、その処理に最適な状態の画像を選択して提供することができるようになる。
【０１６３】
なお、このバリエーション保存部５１８は、記憶部１１７と同一の記憶媒体により構成されるようにしてもよく、記憶部１１７と一体化して構成されるようにしてもよい。また、この場合も、輝度成分抽出部１１１および輝度成分抽出部２１１は、適正露出画像（矢印１３２）からではなく、露出アンダー画像（矢印１３１）若しくは露出オーバー画像（矢印１３３）から輝度成分を抽出するようにしてもよい。
【０１６４】
［画像処理の流れ］
この場合の画像処理の流れの例を、図１５のフローチャートを参照して説明する。
【０１６５】
ステップＳ５０１において、画像処理装置５００は、露出アンダー画像、適正露出画像、および露出オーバー画像を取得する。記憶部１１７は、それらを記憶する。また、ステップＳ５０２において、バリエーション保存部５１８は、ステップＳ５０１において取得された適正露出画像を保存する。
【０１６６】
ステップＳ５０３において、輝度成分抽出部１１１は、記憶部１１７から適正露出画像を読み出し、読み出した適正露出画像から輝度成分を抽出する。記憶部１１７は、抽出された輝度成分を記憶する。なお、輝度成分は、適正露出画像の１コンポーネントであるとみなすことができるため、記憶部１１７に記憶されている適正露出画像に既に含まれているものとし、この記憶は省略することもできる。
【０１６７】
ステップＳ５０４において、照明分離フィルタ１１２は、記憶部１１７から輝度成分を読み出し、その輝度成分から照明成分を抽出する。記憶部１１７は、抽出された照明成分を記憶する。
【０１６８】
ステップＳ５０５において、HDR圧縮処理部１１３は、記憶部１１７から照明成分を読み出し、例えば変換テーブルを用いて、読み出した照明成分から合成係数を生成する。
【０１６９】
ステップＳ５０６において、HDR圧縮処理部１１３は、記憶部１１７から露出アンダー画像、適正露出画像、および露出オーバー画像を読み出し、ステップＳ５０５において生成された合成係数を用いて、読み出した露出アンダー画像、適正露出画像、および露出オーバー画像の各画像を重み付けして、それらを、白飛びや黒つぶれ等の画質劣化が生じないように合成し、適切な階調レンジのHDR圧縮画像を生成する。記憶部１１７は、生成されたHDR圧縮画像を記憶する。また、ステップＳ５０７において、バリエーション保存部５１８は、ステップＳ５０６において生成されたHDR圧縮画像を保存する。
【０１７０】
ステップＳ５０８において、制御部１１４は、ステップＳ２０６乃至ステップＳ２０８と同様の処理を行い、ディティール強調量を設定する。
【０１７１】
また、ステップＳ５０９において、輝度成分抽出部２１１は、記憶部１１７から適正露出画像を読み出し、読み出した適正露出画像から輝度成分を抽出する。記憶部１１７は、抽出された輝度成分を記憶する。なお、この記憶も省略することができる。
【０１７２】
ステップＳ５１０において、照明分離フィルタ２１２は、記憶部１１７から輝度成分を読み出し、その輝度成分から照明成分を抽出する。記憶部１１７は、抽出された照明成分を記憶する。
【０１７３】
ステップＳ５１１において、ディティール生成部１１５は、記憶部１１７から適正露出画像の輝度成分と、照明成分とを読み出す。この輝度成分は、例えば、ステップＳ５０１において記憶された適正露出画像に含まれる成分であり、照明成分は、ステップＳ５１０において記憶されたものである。ステップＳ５０４において記憶された照明成分は、HDR圧縮画像の生成に使用された後、不要なデータとして必要に応じて消去される。
【０１７４】
ディティール生成部１１５の除算部１５１は、読みだされた輝度成分を、読み出された照明成分で除算し、ディティール成分を抽出する。記憶部１１７は、抽出されたディティール成分を記憶する。
【０１７５】
ステップＳ５１２において、ディティール生成部１１５は、記憶部１１７に記憶されたディティール成分を読み出し、読み出したディティール成分を、ステップＳ５０８において設定されたディティール強調量を用いて強調する。記憶部１１７は、その強調されたディティール成分を記憶する。
【０１７６】
ステップＳ５１３において、ディティール強調部１１６は、記憶部１１７からHDR圧縮画像と、強調されたディティール成分とを読み出す。ディティール強調部１１６は、読み出したHDR圧縮画像に、読み出したディティール成分（強調されたディティール成分）を乗算する。これにより、HDR圧縮画像のディティールが、ステップＳ５０８において設定されたディティール強調量に応じて強調される。記憶部１１７は、このようにディティールが強調されたHDR圧縮画像（（絵画調）HDR圧縮画像）を記憶する。なお、この（絵画調）HDR圧縮画像は、画像処理装置２００の外部に出力されるようにしてもよい。
【０１７７】
ステップＳ５１４において、バリエーション保存部５１８は、ステップＳ５１３において生成された絵画調HDR圧縮画像を保存する。
【０１７８】
ディティール生成部１１５は、記憶部１１７から適正露出画像の輝度成分と、照明成分とを読み出す。ディティール生成部１１５の除算部１５１は、読みだされた輝度成分を、読み出された照明成分で除算し、ディティール成分を抽出する。記憶部１１７は、抽出されたディティール成分を記憶する。
【０１７９】
ステップＳ１１０において、ディティール生成部１１５の減算部１５２は、ステップＳ１０７若しくはステップＳ１０８において設定されたディティール強調量から値「１」を減算する。
【０１８０】
ステップＳ１１１において、ディティール生成部１１５は、記憶部１１７からディティール成分を読み出す。ディティール生成部１１５の乗算部１５３は、読み出されたディティール成分に、ステップＳ１１０において算出された減算結果を乗算する。
【０１８１】
ステップＳ１１２において、ディティール生成部１１５の加算部１５４は、ステップＳ１１１において算出された乗算結果に、ステップＳ１０７若しくはステップＳ１０８において設定されたディティール強調量を加算する。
【０１８２】
ステップＳ１１３において、ディティール強調部１１６は、記憶部１１７からHDR圧縮画像を読み出す。ディティール強調部１１６は、読み出したHDR圧縮画像に、ステップＳ１１２において算出された加算結果を乗算する。これにより、HDR圧縮画像のディティールが、ステップＳ１０７若しくはステップＳ１０８において設定されたディティール強調量に応じて強調される。記憶部１１７は、このようにディティールが強調されたHDR圧縮画像（（絵画調）HDR圧縮画像）を記憶する。なお、この（絵画調）HDR圧縮画像は、画像処理装置１００の外部に出力されるようにしてもよい。
【０１８３】
以上のように画像処理を行うことにより、画像処理装置１００は、容易に、露出条件が互いに異なる複数の画像を、白飛びや黒つぶれ等の画質劣化が生じないように合成し、適切な階調レンジの画像を生成するとともに、画像に対して、絵画風の視覚的効果を付与することができる。つまり、画像処理装置１００は、より多様な効果を画像に付与することができる。
【０１８４】
このように画像処理を行うことにより、画像処理装置５００は、複数の状態の画像をグループ化して保存することができ、他の処理において使用される際に、その画像グループの中から、その処理に最適な状態の画像を選択して提供することができるようになる。
【０１８５】
＜６．第６の実施の形態＞
［撮像装置］
以上に説明した画像処理装置は、画像処理部として他の装置の一部として構成されるようにしてもよい。例えば、被写体を撮像し、その撮像画像の画像データを生成する撮像装置として構成されるようにしてもよい。
【０１８６】
図１６は、撮像装置の主な構成例を示すブロック図である。図１６に示される撮像装置６００は、被写体を撮像し、その被写体の画像をデータ化して出力する装置である。この撮像装置６００は、図１に示される画像処理装置１００、図５に示される画像処理装置２００、図８に示される画像処理装置３００、図１０に示される画像処理装置４００、若しくは、図１４に示される画像処理装置５００を、画像処理部として有する。
【０１８７】
光学ブロック６１１は、被写体からの光を撮像素子６１２に集光するためのレンズ、レンズを移動させてフォーカス合わせやズーミングを行うための駆動機構（いずれも図示せず）、絞り６１１ａ、シャッタ６１１ｂなどを有している。光学ブロック６１１内のこれらの駆動機構は、マイクロコンピュータ６２０からの制御信号に応じて駆動される。撮像素子６１２は、例えば、CCD（Charge Coupled Device）型、CMOS（Complementary Metal OxideSemiconductor）型などの撮像素子であり、被写体からの入射光を電気信号に変換する。
【０１８８】
A/D変換部（A/D）６１３は、撮像素子６１２から出力された画像信号をデジタルデータに変換する。ISO（International Organization for Standardization）ゲイン調整部６１４は、マイクロコンピュータ６２０からのゲイン制御値に応じて、A/D変換部６１３からの画像データのRGB（Red，Green，Blue）各成分に対して一様のゲインをかける。なお、ISOゲインの調整は、A/D変換部６１３に入力される前のアナログ画像信号の段階で行われるようにしてもよい。
【０１８９】
バッファメモリ６１５は、互いに異なる露出で撮像を複数回行うブラケット撮像により得られた複数枚の画像のデータを一時的に記憶する。合成処理部６１６は、ブラケット撮像時に適用した露出補正値をマイクロコンピュータ６２０から受け、この露出補正値に基づいて、バッファメモリ６１５内の複数枚の画像を１枚の画像に合成する。
【０１９０】
現像処理部６１７は、主に、合成処理部６１６から出力されるRAW（生）画像データを、可視画像のデータに変換する、いわゆるRAW現像処理を実行するブロックである。この現像処理部６１７は、RAW画像データに対して、データ補間（デモザイク）処理、各種色調整・変換処理（ホワイトバランス調整処理、高輝度ニー圧縮処理、ガンマ補正処理、アパーチャ補正処理、クリッピング処理など）、所定の符号化方式（ここでは、JPEG（Joint Photographic Experts Group）方式を適用する）に従った画像圧縮符号化処理などを実行する。
【０１９１】
なお、以下の各実施の形態では、A/D変換部６１３から出力されるRAW画像データのビット数を１２ビットとし、現像処理部６１７は、この１２ビットデータを処理できる仕様となっている。また、現像処理部６１７は、現像処理の過程において、例えば高輝度ニー圧縮処理（あるいは下位ビットの切り捨てなどでもよい）によって、１２ビットデータを８ビットデータにビット圧縮し、この８ビットデータに対して圧縮符号化処理を施す。また、この８ビットデータを表示部６１９に対して出力する。
【０１９２】
記録部６１８は、撮像により得られた画像データをデータファイルとして保存するための装置であり、例えば、可搬型のフラッシュメモリ、HDD（Hard Disk Drive）などとして実現される。なお、記録部６１８は、現像処理部６１７によって符号化されたJPEGデータ６３１の他に、合成処理部６１６から出力されるRAW画像データ６３２をデータファイルとして記録することができる。また、記録部６１８に記録されたRAW画像データを読み出して、現像処理部６１７で処理し、記録部６１８にJPEGデータファイルとして新たに記録することができるようにしてもよい。
【０１９３】
表示部６１９は、例えばLCD（Liquid Crystal Display）などからなるモニタを備えている。表示部６１９は、現像処理部６１７において処理された非圧縮状態の画像データを基に、モニタ表示用の画像信号を生成してモニタに供給する。撮像画像の記録前のプレビュー状態では、撮像素子６１２からは連続的に撮像画像信号が出力され、デジタル変換された後、そのデジタル画像データがISOゲイン調整部６１４および合成処理部６１６を介して現像処理部６１７に供給されて、現像処理（ただし、符号化処理を除く）が施される。表示部６１９は、このとき現像処理部６１７から順次出力される画像（プレビュー画像）をモニタに表示し、ユーザはこのプレビュー画像を視認して画角を確認することができる。
【０１９４】
マイクロコンピュータ６２０は、CPU（Central Processing Unit）、ROM（Read Only Memory）、およびRAM（Random Access Memory）などを備え、ROMに記憶されたプログラムを実行することで、この撮像装置６００全体を統括的に制御する。例えば、本実施の形態では、検波部６２２からの検波結果を基に露出補正値を計算し、その値に応じた制御信号を出力して絞り６１１ａやシャッタ６１１ｂを制御することで、AE（自動露出）制御を実現する。また、後述する広ダイナミックレンジ撮像を行う際には、算出した露出補正値を合成処理部６１６に通知する。
【０１９５】
LPF（Low-Pass Filter）６２１は、ISOゲイン調整部６１４から出力された画像データに対して、必要に応じてローパスフィルタ処理を施す。検波部６２２は、ISOゲイン調整部６１４からLPF６２１を通じて供給された画像データを基に各種の検波を行うブロックであり、本実施の形態では、例えば、画像を所定の測光領域に分割し、測光領域ごとに輝度値を検出する。
【０１９６】
以上のような撮像装置６００において、合成処理部６１６と現像処理部６１７の一部または全部として、図１に示される画像処理装置１００、図５に示される画像処理装置２００、図８に示される画像処理装置３００、図１０に示される画像処理装置４００、若しくは、図１４に示される画像処理装置５００と同様の構成を有し、同様の処理を行う画像処理部が設けられるようにしてもよい。
【０１９７】
このようにすることにより、合成処理部６１６および現像処理部６１７は、容易に、メモリをより効率よく使用しながら、露出条件が互いに異なる複数の画像を、白飛びや黒つぶれ等の画質劣化が生じないように合成し、適切な階調レンジの画像を生成するとともに、画像に対して、絵画風の視覚的効果を付与することができる。
【０１９８】
つまり、撮像装置６００は、容易に、ブラケット撮像により得られた複数の画像が合成され、さらに、絵画風の視覚的効果が付与された画像を得ることが出来、その画像を、表示部６１９に表示したり、JPEGデータ６３１として記録部６１８に記録したりすることができる。つまり、撮像装置６００は、より多様な効果を画像に付与することができる。
【０１９９】
なお、記録部６１８が記録する画像データの符号化方式は任意である。記録部６１８が、JPEG以外の符号化方式で符号化された画像データを記憶するようにしてもよい。
【０２００】
＜７．第７の実施の形態＞
［パーソナルコンピュータ］
上述した一連の処理は、ハードウエアにより実行させることもできるし、ソフトウエアにより実行させることもできる。この場合、例えば、図１７に示されるようなパーソナルコンピュータとして構成されるようにしてもよい。
【０２０１】
図１７において、パーソナルコンピュータ７００のCPU（Central Processing Unit）７０１は、ROM（Read Only Memory）７０２に記憶されているプログラム、または記憶部７１３からRAM（Random Access Memory）７０３にロードされたプログラムに従って各種の処理を実行する。RAM７０３にはまた、CPU７０１が各種の処理を実行する上において必要なデータなども適宜記憶される。
【０２０２】
CPU７０１、ROM７０２、およびRAM７０３は、バス７０４を介して相互に接続されている。このバス７０４にはまた、入出力インタフェース７１０も接続されている。
【０２０３】
入出力インタフェース７１０には、キーボード、マウスなどよりなる入力部７１１、CRT（Cathode Ray Tube）やLCD（Liquid Crystal Display）などよりなるディスプレイ、並びにスピーカなどよりなる出力部７１２、ハードディスクなどより構成される記憶部７１３、モデムなどより構成される通信部７１４が接続されている。通信部７１４は、インターネットを含むネットワークを介しての通信処理を行う。
【０２０４】
入出力インタフェース７１０にはまた、必要に応じてドライブ７１５が接続され、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア７２１が適宜装着され、それらから読み出されたコンピュータプログラムが、必要に応じて記憶部７１３にインストールされる。
【０２０５】
上述した一連の処理をソフトウエアにより実行させる場合には、そのソフトウエアを構成するプログラムが、ネットワークや記録媒体からインストールされる。
【０２０６】
この記録媒体は、例えば、図１７に示されるように、装置本体とは別に、ユーザにプログラムを配信するために配布される、プログラムが記録されている磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM（Compact Disc - Read Only Memory）,DVD（Digital Versatile Disc）を含む）、光磁気ディスク（MD（Mini Disc）を含む）、若しくは半導体メモリなどよりなるリムーバブルメディア７２１により構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに配信される、プログラムが記録されているROM７０２や、記憶部７１３に含まれるハードディスクなどで構成される。
【０２０７】
なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
【０２０８】
また、本明細書において、記録媒体に記録されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
【０２０９】
また、本明細書において、システムとは、複数のデバイス（装置）により構成される装置全体を表すものである。
【０２１０】
また、以上において、１つの装置（または処理部）として説明した構成を分割し、複数の装置（または処理部）として構成するようにしてもよい。逆に、以上において複数の装置（または処理部）として説明した構成をまとめて１つの装置（または処理部）として構成されるようにしてもよい。また、各装置（または各処理部）の構成に上述した以外の構成を付加するようにしてももちろんよい。さらに、システム全体としての構成や動作が実質的に同じであれば、ある装置（または処理部）の構成の一部を他の装置（または他の処理部）の構成に含めるようにしてもよい。つまり、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
【０２１１】
なお、本技術は以下のような構成も取ることができる。
（１） 露出条件が互いに異なる複数の画像を合成し、合成画像を生成する合成部と、
前記画像のディティール成分を生成するディティール生成部と、
前記合成部により生成された前記合成画像を記憶するとともに、前記ディティール生成部により生成された前記ディティール成分を記憶する記憶部と、
前記記憶部から読み出された前記ディティール成分を用いて、前記記憶部から読み出された前記合成画像のディティールを強調する強調部と
を備え、
前記ディティール生成部は、前記合成部が前記合成画像を生成し、前記記憶部が前記合成画像を記憶した後、前記ディティール成分を生成する
画像処理装置。
（２） 前記露出条件が異なる複数の画像は、露出が適正値より抑制された露出アンダー画像、露出が適正値の適正露出画像、並びに、露出が適正値より増大された露出オーバー画像である
前記（１）に記載の画像処理装置。
（３） 前記適正露出画像の輝度成分を抽出する第１の輝度成分抽出部と、
前記第１の輝度成分抽出部により抽出された前記輝度成分の照明成分を抽出する第１の照明成分抽出部とをさらに備え、
前記合成部は、前記第１の照明成分抽出部により抽出された前記照明成分に基づいて、前記露出アンダー画像、前記適正露出画像、および前記露出オーバー画像を重み付けして合成し、前記合成画像を生成する
前記（２）に記載の画像処理装置。
（４） 前記記憶部は、前記第１の照明成分抽出部により抽出された前記照明成分をさらに記憶する
前記（３）に記載の画像処理装置。
（５） 前記ディティール生成部は、前記合成部により生成された前記合成画像が前記記憶部に記憶された後、前記第１の照明成分抽出部により抽出された前記照明成分を前記記憶部から読み出された前記照明成分を用いて、前記ディティール成分を生成する
前記（４）に記載の画像処理装置。
（６） 前記合成部により生成された前記合成画像が前記記憶部に記憶された後、前記適正露出画像の輝度成分を抽出する第２の輝度成分抽出部と、
前記第２の輝度成分抽出部により抽出された前記輝度成分の照明成分を抽出する第２の照明成分抽出部とをさらに備え、
前記記憶部は、前記第２の照明成分抽出部により抽出された前記照明成分をさらに記憶し、
前記ディティール生成部は、前記第２の照明成分抽出部により抽出された前記照明成分を前記記憶部から読み出された前記照明成分を用いて、前記ディティール成分を生成する
前記（４）に記載の画像処理装置。
（７） 前記適正露出画像、前記合成画像、および、ディティールが強調された前記合成画像を互いに関連付けて保存する保存部をさらに備える
前記（２）に記載の画像処理装置。
（８） 前記強調部は、前記合成画像のディティールを、前記画像に絵画調の視覚的効果を付与する程強調する
前記（１）乃至（７）のいずれかに記載の画像処理装置。
（９） 前記ディティール成分の強調量を制御する制御部をさらに備え、
前記ディティール生成部は、前記制御部により設定された前記強調量に応じて、生成した前記ディティール成分を強調し、
前記強調部は、強調された前記ディティール成分を用いて、前記合成画像のディティールを強調する
前記（１）乃至（８）のいずれかに記載の画像処理装置。
（１０） 前記制御部が前記強調量を再設定すると、前記強調部は、前記合成画像のディティールの強調をやり直す
前記（９）に記載の画像処理装置。
（１１） 前記強調部によりディティールが強調された前記合成画像を表示する表示部と、
前記強調量に関するユーザ指示を受け付ける入力部と
をさらに備え、
前記制御部は、前記入力部において受け付けられた前記ユーザ指示に従って前記強調量を再設定し、
前記強調部は、再設定された前記強調量に応じて、前記合成画像のディティールの強調をやり直す
前記（１０）に記載の画像処理装置。
（１２） 各種画像を記憶する記憶部を有する画像処理装置の画像処理方法であって、
前記画像処理装置の合成部が、露出条件が互いに異なる複数の画像を合成して合成画像を生成し、生成した前記合成画像を前記記憶部に記憶させ、
前記画像処理装置のディティール生成部が、前記合成画像が前記記憶部に記憶された後、前記画像のディティール成分を生成し、生成した前記ディティール成分を前記記憶部に記憶させ、
前記画像処理装置の強調部が、前記記憶部から読み出された前記ディティール成分を用いて、前記記憶部から読み出された前記合成画像のディティールを強調する
画像処理方法。
【符号の説明】
【０２１２】
１００ 画像処理装置， １１１ 輝度成分抽出部， １１２ 照明分離フィルタ， １１３ HDR圧縮処理部， １１４ 制御部， １１５ ディティール生成部， １１６ ディティール強調部， １１７ 記憶部， １２１ HDR処理部， １２２ 絵画調処理部， １５１ 除算部， １５２ 減算部， １５３ 乗算部， １５４ 加算部， ２００ 画像処理装置， ２１１ 輝度成分抽出部， ２１２ 照明分離フィルタ， ２２１ HDR処理部， ２２２ 絵画調処理部， ３００ 画像処理装置， ３１５ ディティール生成部， ３１８ 制御部， ４００ 画像処理装置， ４０１ ユーザ入力受付部， ４０２ 表示部， ４０３ 入力部， ５００ 画像処理装置， ５１８ バリエーション保存部， ５２１ HDR処理部， ５２２ 絵画調処理部， ６００ 撮像装置， ６１６ 合成処理部， ６１７ 現像処理部
【特許請求の範囲】
【請求項１】
露出条件が互いに異なる複数の画像を合成し、合成画像を生成する合成部と、
前記画像のディティール成分を生成するディティール生成部と、
前記合成部により生成された前記合成画像を記憶するとともに、前記ディティール生成部により生成された前記ディティール成分を記憶する記憶部と、
前記記憶部から読み出された前記ディティール成分を用いて、前記記憶部から読み出された前記合成画像のディティールを強調する強調部と
を備え、
前記ディティール生成部は、前記合成部が前記合成画像を生成し、前記記憶部が前記合成画像を記憶した後、前記ディティール成分を生成する
画像処理装置。
【請求項２】
前記露出条件が異なる複数の画像は、露出が適正値より抑制された露出アンダー画像、露出が適正値の適正露出画像、並びに、露出が適正値より増大された露出オーバー画像である
請求項１に記載の画像処理装置。
【請求項３】
前記適正露出画像の輝度成分を抽出する第１の輝度成分抽出部と、
前記第１の輝度成分抽出部により抽出された前記輝度成分の照明成分を抽出する第１の照明成分抽出部とをさらに備え、
前記合成部は、前記第１の照明成分抽出部により抽出された前記照明成分に基づいて、前記露出アンダー画像、前記適正露出画像、および前記露出オーバー画像を重み付けして合成し、前記合成画像を生成する
請求項２に記載の画像処理装置。
【請求項４】
前記記憶部は、前記第１の照明成分抽出部により抽出された前記照明成分をさらに記憶する
請求項３に記載の画像処理装置。
【請求項５】
前記ディティール生成部は、前記合成部により生成された前記合成画像が前記記憶部に記憶された後、前記第１の照明成分抽出部により抽出された前記照明成分を前記記憶部から読み出された前記照明成分を用いて、前記ディティール成分を生成する
請求項４に記載の画像処理装置。
【請求項６】
前記合成部により生成された前記合成画像が前記記憶部に記憶された後、前記適正露出画像の輝度成分を抽出する第２の輝度成分抽出部と、
前記第２の輝度成分抽出部により抽出された前記輝度成分の照明成分を抽出する第２の照明成分抽出部とをさらに備え、
前記記憶部は、前記第２の照明成分抽出部により抽出された前記照明成分をさらに記憶し、
前記ディティール生成部は、前記第２の照明成分抽出部により抽出された前記照明成分を前記記憶部から読み出された前記照明成分を用いて、前記ディティール成分を生成する
請求項４に記載の画像処理装置。
【請求項７】
前記適正露出画像、前記合成画像、および、ディティールが強調された前記合成画像を互いに関連付けて保存する保存部をさらに備える
請求項２に記載の画像処理装置。
【請求項８】
前記強調部は、前記合成画像のディティールを、前記画像に絵画調の視覚的効果を付与する程強調する
請求項１に記載の画像処理装置。
【請求項９】
前記ディティール成分の強調量を制御する制御部をさらに備え、
前記ディティール生成部は、前記制御部により設定された前記強調量に応じて、生成した前記ディティール成分を強調し、
前記強調部は、強調された前記ディティール成分を用いて、前記合成画像のディティールを強調する
請求項１に記載の画像処理装置。
【請求項１０】
前記制御部が前記強調量を再設定すると、前記強調部は、前記合成画像のディティールの強調をやり直す
請求項９に記載の画像処理装置。
【請求項１１】
前記強調部によりディティールが強調された前記合成画像を表示する表示部と、
前記強調量に関するユーザ指示を受け付ける入力部と
をさらに備え、
前記制御部は、前記入力部において受け付けられた前記ユーザ指示に従って前記強調量を再設定し、
前記強調部は、再設定された前記強調量に応じて、前記合成画像のディティールの強調をやり直す
請求項１０に記載の画像処理装置。
【請求項１２】
各種画像を記憶する記憶部を有する画像処理装置の画像処理方法であって、
前記画像処理装置の合成部が、露出条件が互いに異なる複数の画像を合成して合成画像を生成し、生成した前記合成画像を前記記憶部に記憶させ、
前記画像処理装置のディティール生成部が、前記合成画像が前記記憶部に記憶された後、前記画像のディティール成分を生成し、生成した前記ディティール成分を前記記憶部に記憶させ、
前記画像処理装置の強調部が、前記記憶部から読み出された前記ディティール成分を用いて、前記記憶部から読み出された前記合成画像のディティールを強調する
画像処理方法。
【請求項１】
露出条件が互いに異なる複数の画像を合成し、合成画像を生成する合成部と、
前記画像のディティール成分を生成するディティール生成部と、
前記合成部により生成された前記合成画像を記憶するとともに、前記ディティール生成部により生成された前記ディティール成分を記憶する記憶部と、
前記記憶部から読み出された前記ディティール成分を用いて、前記記憶部から読み出された前記合成画像のディティールを強調する強調部と
を備え、
前記ディティール生成部は、前記合成部が前記合成画像を生成し、前記記憶部が前記合成画像を記憶した後、前記ディティール成分を生成する
画像処理装置。
【請求項２】
前記露出条件が異なる複数の画像は、露出が適正値より抑制された露出アンダー画像、露出が適正値の適正露出画像、並びに、露出が適正値より増大された露出オーバー画像である
請求項１に記載の画像処理装置。
【請求項３】
前記適正露出画像の輝度成分を抽出する第１の輝度成分抽出部と、
前記第１の輝度成分抽出部により抽出された前記輝度成分の照明成分を抽出する第１の照明成分抽出部とをさらに備え、
前記合成部は、前記第１の照明成分抽出部により抽出された前記照明成分に基づいて、前記露出アンダー画像、前記適正露出画像、および前記露出オーバー画像を重み付けして合成し、前記合成画像を生成する
請求項２に記載の画像処理装置。
【請求項４】
前記記憶部は、前記第１の照明成分抽出部により抽出された前記照明成分をさらに記憶する
請求項３に記載の画像処理装置。
【請求項５】
前記ディティール生成部は、前記合成部により生成された前記合成画像が前記記憶部に記憶された後、前記第１の照明成分抽出部により抽出された前記照明成分を前記記憶部から読み出された前記照明成分を用いて、前記ディティール成分を生成する
請求項４に記載の画像処理装置。
【請求項６】
前記合成部により生成された前記合成画像が前記記憶部に記憶された後、前記適正露出画像の輝度成分を抽出する第２の輝度成分抽出部と、
前記第２の輝度成分抽出部により抽出された前記輝度成分の照明成分を抽出する第２の照明成分抽出部とをさらに備え、
前記記憶部は、前記第２の照明成分抽出部により抽出された前記照明成分をさらに記憶し、
前記ディティール生成部は、前記第２の照明成分抽出部により抽出された前記照明成分を前記記憶部から読み出された前記照明成分を用いて、前記ディティール成分を生成する
請求項４に記載の画像処理装置。
【請求項７】
前記適正露出画像、前記合成画像、および、ディティールが強調された前記合成画像を互いに関連付けて保存する保存部をさらに備える
請求項２に記載の画像処理装置。
【請求項８】
前記強調部は、前記合成画像のディティールを、前記画像に絵画調の視覚的効果を付与する程強調する
請求項１に記載の画像処理装置。
【請求項９】
前記ディティール成分の強調量を制御する制御部をさらに備え、
前記ディティール生成部は、前記制御部により設定された前記強調量に応じて、生成した前記ディティール成分を強調し、
前記強調部は、強調された前記ディティール成分を用いて、前記合成画像のディティールを強調する
請求項１に記載の画像処理装置。
【請求項１０】
前記制御部が前記強調量を再設定すると、前記強調部は、前記合成画像のディティールの強調をやり直す
請求項９に記載の画像処理装置。
【請求項１１】
前記強調部によりディティールが強調された前記合成画像を表示する表示部と、
前記強調量に関するユーザ指示を受け付ける入力部と
をさらに備え、
前記制御部は、前記入力部において受け付けられた前記ユーザ指示に従って前記強調量を再設定し、
前記強調部は、再設定された前記強調量に応じて、前記合成画像のディティールの強調をやり直す
請求項１０に記載の画像処理装置。
【請求項１２】
各種画像を記憶する記憶部を有する画像処理装置の画像処理方法であって、
前記画像処理装置の合成部が、露出条件が互いに異なる複数の画像を合成して合成画像を生成し、生成した前記合成画像を前記記憶部に記憶させ、
前記画像処理装置のディティール生成部が、前記合成画像が前記記憶部に記憶された後、前記画像のディティール成分を生成し、生成した前記ディティール成分を前記記憶部に記憶させ、
前記画像処理装置の強調部が、前記記憶部から読み出された前記ディティール成分を用いて、前記記憶部から読み出された前記合成画像のディティールを強調する
画像処理方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【公開番号】特開２０１２−２４８９７０（Ｐ２０１２−２４８９７０Ａ）
【公開日】平成２４年１２月１３日（２０１２．１２．１３）
【国際特許分類】
【出願番号】特願２０１１−１１７４６９（Ｐ２０１１−１１７４６９）
【出願日】平成２３年５月２５日（２０１１．５．２５）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
【公開日】平成２４年１２月１３日（２０１２．１２．１３）
【国際特許分類】
【出願日】平成２３年５月２５日（２０１１．５．２５）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
[ Back to top ]