画像処理装置、画像処理方法、プログラム
【課題】逆光状態で撮像された画像データについて多様な画像効果を付与する。
【解決手段】処理対象の複数の画像データが、逆光状態での撮像による画像データか否かを判断する（Ｆ１０２）。そしてこの処理対象の複数の画像データについてＨＤＲ合成等の合成処理を実行する（Ｆ１０７）。さらに逆光状態での撮像による画像データであったら、合成処理に係る画像データについて、非写実的な画像内容（例えば絵画調）となる画像効果処理を実行する（Ｆ１０８）。
【解決手段】処理対象の複数の画像データが、逆光状態での撮像による画像データか否かを判断する（Ｆ１０２）。そしてこの処理対象の複数の画像データについてＨＤＲ合成等の合成処理を実行する（Ｆ１０７）。さらに逆光状態での撮像による画像データであったら、合成処理に係る画像データについて、非写実的な画像内容（例えば絵画調）となる画像効果処理を実行する（Ｆ１０８）。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、画像処理装置および画像処理方法、さらには画像処理方法を実現するプログラムに関し、特に、より多様な効果を画像に付与することができるようにした画像処理技術に関する。
【先行技術文献】
【特許文献】
【０００２】
【特許文献１】特開２００８−１０４０１０号公報
【特許文献２】特開２００８−１０４００９号公報
【特許文献３】特開２０００−９２３７８号公報
【背景技術】
【０００３】
従来、ダイナミックレンジの広い画像の階調の範囲を圧縮し、適正化するＨＤＲ（High Dynamic Range）圧縮処理が考えられている（例えば、特許文献１、２参照）。
例えば、露出の異なる複数の画像からダイナミックレンジの広い画像を作り、つぎに平滑化フィルタを使って画像を低周波成分と高周波成分（ディティール成分）に分解し、低周波成分の階調の範囲を圧縮する。そして、その圧縮量に対応する分だけディティール成分を強調して、最後に処理後の両成分を合成する。これによりディティール成分をできるだけ失わずに全体の階調レンジを圧縮して、画質の向上された通常レンジの画像を得る方法が記載されている。
また、ダイナミックレンジの広い画像の合成を経由せずに、複数の画像から通常レンジの画像を作る方法も記載されている。
【０００４】
また特許文献３には、輝度差の大きな被写体が存在する場合に、自動的に逆光等を補正できるようにした撮影モードを有する撮像装置が開示されている。
【発明の概要】
【発明が解決しようとする課題】
【０００５】
ところで近年、より多様な画像を楽しみたいというニーズがあり、単に階調の範囲の圧縮だけでなく他の画像効果も求められている。そこで本開示では、状況に応じて非写実的な画像データが得られる画像処理手法を提供することを目的とする。
【課題を解決するための手段】
【０００６】
本開示の画像処理装置は、画像効果処理及び複数の画像データの合成処理を実行する合成処理部と、上記複数の画像データが、逆光状態での撮像による画像データか否かを判断し、逆光状態での撮像による画像データである場合に、上記合成処理部に、上記合成処理に係る画像データについて非写実的な画像内容となる画像効果処理を実行させる制御部とを備える。
【０００７】
本開示の画像処理方法は、処理対象とする複数の画像データが、逆光状態での撮像による画像データか否かを判断するステップと、上記複数の画像データについて合成処理を行うステップと、上記複数の画像データが逆光状態での撮像による画像データである場合には、上記合成処理に係る画像データについて非写実的な画像内容となる画像効果処理を実行するステップとを備える。
【０００８】
本開示のプログラムは、処理対象とする複数の画像データが、逆光状態での撮像による画像データか否かを判断するステップと、上記複数の画像データについて合成処理を実行させるステップと、上記複数の画像データが逆光状態での撮像による画像データである場合には、上記合成処理に係る画像データについて非写実的な画像内容となる画像効果処理を実行させるステップとを演算処理装置に実行させるプログラムである。
【０００９】
このような本開示の技術では、画像処理として、複数の画像データの合成処理により、例えばＨＤＲ圧縮画像等の画像データを得るが、さらに、複数の画像データが、逆光状態での撮像による画像データであるときは、非写実的な画像、例えば絵画調の画像のような画像効果処理を実行する。これにより逆光状態での撮像を行うことで、特殊な画像を得ることができる。
【発明の効果】
【００１０】
本開示によれば、逆光状態での撮像画像から非写実的な画像効果処理を与えた画像を得ることができる。ユーザは、逆光状態で撮像したり、或いは逆光状態での撮像画像を用意するのみで、非写実的な画像を楽しむことができる。
【図面の簡単な説明】
【００１１】
【図１】本開示の実施の形態の撮像装置のブロック図である。
【図２】実施の形態の絵画調の画像の説明図である。
【図３】実施の形態の合成処理部のブロック図である。
【図４】実施の形態のディティール生成部のブロック図である。
【図５】実施の形態の処理例Ｉのフローチャートである。
【図６】実施の形態の画像処理の流れのフローチャートである。
【図７】実施の形態の処理例IIのフローチャートである。
【図８】実施の形態の処理例IIIのフローチャートである。
【図９】実施の形態の処理例IVのフローチャートである。
【図１０】実施の形態の合成処理部の他の構成例のブロック図である。
【図１１】実施の形態のパーソナルコンピュータのブロック図である。
【図１２】実施の形態のパーソナルコンピュータで適用する処理例Ｖのフローチャートである。
【図１３】実施の形態のパーソナルコンピュータで適用する処理例VIのフローチャートである。
【図１４】実施の形態のパーソナルコンピュータで適用する処理例VIIのフローチャートである。
【発明を実施するための形態】
【００１２】
以下、実施の形態を次の順序で説明する。
＜１．撮像装置の構成＞
＜２．合成処理部の構成＞
＜３．処理例Ｉ＞
＜４．処理例II＞
＜５．処理例III＞
＜６．処理例IV＞
＜７．合成処理部の他の構成例＞
＜８．パーソナルコンピュータでの適用（処理例Ｖ、VI、VII）＞
＜９．プログラム＞
＜１０．変形例＞
【００１３】
＜１．撮像装置の構成＞
まず、本開示の画像処理装置が、撮像装置に内蔵される実施の形態を説明する。なお、本開示に係る画像処理装置は、以降説明する合成処理部１６及び制御部２０によって実現される。
【００１４】
図１は、撮像装置１の主な構成例を示すブロック図である。
図１に示される撮像装置１は、被写体を撮像し、その被写体の画像をデータ化して出力する装置である。この撮像装置１は、光学ブロック１１、Ａ／Ｄ変換部１３、ＩＳＯ（International Organization for Standardization）ゲイン調整部１４、バッファメモリ１５、合成処理部１６、現像処理部１７、記録部１８、表示部１９、制御部２０、ＬＰＦ（Low-Pass Filter）２１、検波部２２を備える。
【００１５】
光学ブロック１１は、被写体からの光を撮像素子１２に集光するためのレンズ、レンズを移動させてフォーカス合わせやズーミングを行うための駆動機構（いずれも図示せず）、絞り１１ａ、シャッタ１１ｂなどを有している。
光学ブロック１１内のこれらの駆動機構は、制御部２０からの制御信号に応じて駆動される。
撮像素子１２は、例えば、ＣＣＤ（Charge Coupled Device）型、ＣＭＯＳ（Complementary Metal OxideSemiconductor）型などの撮像素子であり、被写体からの入射光を電気信号に変換する。
【００１６】
Ａ／Ｄ変換部１３は、撮像素子１２から出力された画像信号をデジタルデータに変換する。
ＩＳＯゲイン調整部１４は、制御部２０からのゲイン制御値に応じて、Ａ／Ｄ変換部１３からの画像データのＲＧＢ（Red，Green，Blue）各成分に対して一様のゲインをかける。なお、ＩＳＯゲインの調整は、Ａ／Ｄ変換部１３に入力される前のアナログ画像信号の段階で行われるようにしてもよい。
【００１７】
バッファメモリ１５は、互いに異なる露出で撮像を連続的に複数回行うブラケット撮像により得られた複数枚の画像のデータを一時的に記憶する。
合成処理部１６は、ブラケット撮像により得られた、バッファメモリ１５内の複数枚の画像を１枚の画像に合成する。特に本例では、合成処理部１６は、ＨＤＲ圧縮処理としての合成処理を行う。また合成処理部１６は、合成画像データに対するディティール処理による非写実的な画像（絵画調の画像）を得る画像効果処理を行う。
【００１８】
現像処理部１７は、主に、合成処理部１６から出力されるＲＡＷ（生）画像データを、可視画像のデータに変換する、いわゆるＲＡＷ現像処理を実行するブロックである。この現像処理部１７は、ＲＡＷ画像データに対して、データ補間（デモザイク）処理、各種色調整・変換処理（ホワイトバランス調整処理、高輝度ニー圧縮処理、ガンマ補正処理、アパーチャ補正処理、クリッピング処理など）、所定の符号化方式（ここでは、JPEG（Joint Photographic Experts Group）方式を適用する）に従った画像圧縮符号化処理などを実行する。
【００１９】
記録部１８は、撮像により得られた画像データをデータファイルとして保存するための装置であり、例えば、可搬型のフラッシュメモリ、ＨＤＤ（Hard Disk Drive）などとして実現される。
なお、記録部１８は、現像処理部１７によって符号化されたＪＰＥＧデータ３１の他に、合成処理部１６から出力されるＲＡＷ画像データ３２をデータファイルとして記録することができる。また、記録部１８に記録されたＲＡＷ画像データを読み出して、現像処理部１７で処理し、記録部１８にＪＰＥＧデータファイルとして新たに記録することができるようにしてもよい。
【００２０】
表示部１９は、例えばＬＣＤ（Liquid Crystal Display）などからなるモニタを備えている。表示部１９は、現像処理部１７において処理された非圧縮状態の画像データを基に、モニタ表示用の画像信号を生成してモニタに供給する。
撮像画像の記録前のプレビュー状態では、撮像素子１２からは連続的に撮像画像信号が出力され、デジタル変換された後、そのデジタル画像データがＩＳＯゲイン調整部１４および合成処理部１６を介して現像処理部１７に供給されて、現像処理（ただし、符号化処理を除く）が施される。
表示部１９は、このとき現像処理部１７から順次出力される画像（プレビュー画像）をモニタに表示する。ユーザはこのプレビュー画像を視認して画角を確認することができる。
【００２１】
制御部２０は、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、およびＲＡＭ（Random Access Memory）などを備えたマイクロコンピュータにより構成される。ＣＰＵがＲＯＭに記憶されたプログラムを実行することで、この撮像装置１全体を統括的に制御する。
例えば制御部２０は、本実施の形態では、検波部２２からの検波結果を基に露出補正値を計算し、その値に応じた制御信号を出力して絞り１１ａやシャッタ１１ｂを制御することで、ＡＥ（自動露出）制御を実現する。また広ダイナミックレンジ撮像を行う際には、算出した露出補正値を合成処理部４１６に通知する。
さらに制御部２０は、合成処理部１６における絵画調画像としての画像効果処理の制御を行う。
【００２２】
ＬＰＦ２１は、ＩＳＯゲイン調整部１４から出力された画像データに対して、必要に応じてローパスフィルタ処理を施す。
検波部２２は、ＩＳＯゲイン調整部１４からＬＰＦ２１を通じて供給された画像データを基に各種の検波を行うブロックであり、本実施の形態では、例えば、画像を所定の測光領域に分割し、測光領域ごとに輝度値を検出する。
制御部２０は、検波部２２での検出情報から、ＩＳＯゲイン調整部１４から出力される画像データ、つまり撮像された画像データや、撮像前のプレビュー画像となる画像データについて、逆光状態であるか否かを判断できる。
【００２３】
このような本実施の形態の撮像装置１では、合成処理部１６による画像処理及び制御部２０による制御によって、撮像された画像データの合成処理及び画像効果処理を実行する。合成処理は、例えばＨＤＲ圧縮処理による合成であり、画像効果処理は、撮像画像内容を例えば絵画調の画像とするような処理である。
図２Ｂは絵画調の画像の例を示している。図２Ａは通常に撮像された画像の例であるが、これに比べて図２Ｂは、非写実的な画像となっている。
【００２４】
本例の場合、特に制御部２０は、処理対象の画像データについて逆光状態の判断を行って、それに応じて絵画調の画像を得る画像効果処理を実行させる。
このようにすることにより、状況に応じて自動的に絵画風の視覚的効果が付与された画像が得られる。そしてそのような画像データを、表示部１９に表示したり、ＪＰＥＧデータ３１として記録部１８に記録したりすることができる。
なお、記録部１８が記録する画像データの符号化方式は任意である。記録部１８が、ＪＰＥＧ以外の符号化方式で符号化された画像データを記憶するようにしてもよい。
【００２５】
＜２．合成処理部の構成＞
上記構成の撮像装置１における合成処理部１６の構成及び動作を説明する。上述のように合成処理部１６は、制御部２０による制御に従って、撮像された画像データの合成処理（ＨＤＲ処理）及び画像効果処理を実行する。
【００２６】
本例でのＨＤＲ処理としては、露出条件が互いに異なる複数の画像を、白飛びや黒つぶれ等の画質劣化が生じないように合成し、適切な階調レンジの画像を生成する。
例えば、画角内の輝度レンジが広いシーンでは、自動露出処理（ＡＥ処理）の精度が悪化し、画角内の主な被写体が露出オーバーになって白飛びしたり、露出アンダーになってノイズに埋もれたり黒つぶれしたりする可能性が高くなる。そこで、このようなシーンにおいても適切な露出条件で撮像された画像を得るための撮像手法として、露出条件を変化させて複数回連続して露光し、それぞれの複数の画像信号を得る「ブラケット撮像」という手法が知られている。
【００２７】
この、ブラケット撮像を応用して、撮像素子の出力よりも広いダイナミックレンジを持つ画像（広ダイナミックレンジ画像）を得ることを可能とした撮像手法が考えられている。広ダイナミックレンジ画像の撮像では、ブラケット撮像により露出量を大きくした撮像画像と、露出量を抑えた撮像画像とを取得し、それらを合成することで広ダイナミックレンジの画像を生成する。
すなわち、露出量を抑えて高輝度側の階調が得られた画像成分と、露出量を高めて低輝度側の階調が得られた画像成分とを合成することで、１回の露光では得ることができない広い輝度レンジの階調情報を、合成後の画像に取り入れることが可能となる。
【００２８】
本例では、ブラケット撮像で撮像された、露出過多及び露出不足の少なくとも２つの画像データを用いてＨＤＲ処理を行う。
以下では、具体的な例として、ブラケット撮像で撮像された、露出条件が露出過多、適正露出、露出不足となる３つの画像データを用いる場合で説明する。
【００２９】
図３は、合成処理部１６の構成例を示すブロック図である。この合成処理部１６は、階調レンジを圧縮するＨＤＲ処理を行うとともに、絵画調の視覚的効果を付与する絵画調処理を行う。
この合成処理部１６には、互いに露出条件の異なる３つの画像（露出アンダー画像、適正露出画像、および露出オーバー画像）が入力される。即ち制御部２０の制御によってブラケット撮像が実行され、バッファメモリ１５に一時保存された３つの画像データである。
【００３０】
合成処理部１６は、輝度成分抽出部５１、照明分離フィルタ５２、ＨＤＲ圧縮処理部５３、ディティール生成部４２、およびディティール強調部４３を有する。
これらの構成の内、輝度成分抽出部５１、照明分離フィルタ５２、およびＨＤＲ圧縮処理部５３が、互いに露出条件の異なる３つの画像を、白飛びや黒つぶれ等の画質劣化が生じないように合成し、適切な階調レンジの画像を生成するＨＤＲ処理を行うＨＤＲ処理部４１を構成する。
また、ディティール生成部４２、およびディティール強調部４３が、画像に対して絵画調の視覚的効果を付与する。
【００３１】
上述したように、合成処理部１６には、適正値よりも意図的に露出を抑えて生成した露出アンダー画像、露出を適正値で生成した適正露出画像、適正値よりも意図的に露出を大きくして生成した露出オーバー画像が入力される。各画像は、ＨＤＲ圧縮処理部５３に供給される。
【００３２】
また、適正露出画像は、輝度成分抽出部５１にも供給される。
輝度成分抽出部５１は、入力された適正露出画像から輝度成分を抽出し、それを照明分離フィルタ５２およびディティール生成部４２に供給する。
なお、この例では輝度成分抽出部５１が適正露出画像から輝度成分を抽出する構成としているが、露出アンダー画像又は露出オーバー画像を輝度成分抽出部５１に供給して、それらの画像から輝度成分を抽出する構成例も考えられる。
【００３３】
照明分離フィルタ５２は、エッジ保存平滑化フィルタ等によって、入力された輝度成分から照明成分（低周波成分）を抽出する。そして照明分離フィルタ５２は、抽出した照明成分をＨＤＲ圧縮処理部５３およびディティール生成部４２に供給する。
なお、この照明成分の抽出のためには、エッジ成分が残存するように高域カット処理する非線形のローパスフィルタ（例えば特許文献１のフィルタやバイラテラルフィルタ）を用いることが望ましい。また、同様なローパスフィルタ処理としては、非線形ローパスフィルタの他に、統計的な手法（例えば最頻値フィルタや中央値フィルタ）を用いることもできる。
【００３４】
ＨＤＲ圧縮処理部５３は、照明分離フィルタ５２から供給される照明成分を、所定の変換テーブルを用いて合成係数に変換し、その合成係数を用いて、入力された露出アンダー画像、適正露出画像、および露出オーバー画像を合成する。より具体的には、ＨＤＲ圧縮処理部５３は、各画像を合成係数で重み付けして互いに加算する。これにより、露出アンダー画像、適正露出画像、および露出オーバー画像から、白飛びや黒つぶれ等の画質劣化が生じないように合成された、適切な階調レンジの画像データ（ＨＤＲ圧縮画像データ）を生成する。
ＨＤＲ圧縮処理部５３は、生成したＨＤＲ圧縮画像データをディティール強調部４３に供給する。
【００３５】
この合成処理部１６に対して、制御部２０は、絵画調の視覚的効果を与えるためのＨＤＲ圧縮画像の反射率成分の強調量であるディティール強調量を設定する。つまり、このディティール強調量は、ＨＤＲ圧縮画像のディティール成分を過度に強調するゲインである。制御部２０は、そのディティール強調量をディティール生成部４２に供給する。
【００３６】
ディティール生成部４２は、輝度成分抽出部５１から供給される適正露出画像の輝度成分と、照明分離フィルタ５２から供給される適正露出画像の輝度成分の照明成分とを用いて、適正露出画像の輝度成分の反射率成分（ディティール成分：高周波成分）を抽出する。例えばディティール生成部４２は、輝度成分から照明成分を減算若しくは除算することにより反射率成分を抽出する。
さらに、ディティール生成部４２は、抽出した反射率成分を、制御部２０から供給されるディティール強調量で強調し、強調されたディティール成分を生成する。ディティール生成部４２は、その強調されたディティール成分をディティール強調部４３に供給する。
【００３７】
図４に、ディティール生成部４２の構成例を示す。ディティール生成部４２は、除算部６１、乗算部６２、加算部６３、減算部６４を有する。
除算部６１は、輝度成分抽出部５１から供給される輝度成分を、照明分離フィルタ５２から供給される照明成分で除算することにより、ディティール成分を抽出する。除算部６１は、抽出したディティール成分を乗算部６２に供給する。
減算部６４は、標準となるディティールゲインが自動でかかる分を補正するために、制御部２０から供給されるディティール強調量から値「１」を減算する。そして減算部６４は、値「１」を減算したディティール強調量を乗算部６２に供給する。
【００３８】
乗算部６２は、除算部６１から供給されるディティール成分と、減算部６４から供給されるディティール強調量とを乗算し、その乗算結果を加算部６３に供給する。
加算部６３は、乗算部６２から供給される、ディティール成分と値「１」が減算されたディティール強調量との乗算結果に、制御部２０から供給されるディティール強調量を加算する。そして加算部６３は、その加算結果、例えば過度に強調されたディティール成分をディティール強調部４３に供給する。
【００３９】
図３に示すディティール強調部４３は、ディティール生成部４２から供給されたディティール成分を乗算することにより、ＨＤＲ圧縮処理部５３から供給されたＨＤＲ圧縮画像データのディティールを過度に強調し、絵画調の視覚的効果を付与する。これによりディティール強調部４３は、処理後の画像データとしてディティールが強調されて絵画調とされたＨＤＲ圧縮画像を出力することができる。
また、この場合、ディティール強調部４３で乗算するディティール成分によっては、逆光補正されたＨＤＲ圧縮画像とすることもできる。つまりディティール強調部４３は、処理後の画像データとして逆光補正されたＨＤＲ圧縮画像を出力することもできる。
画像効果処理を、絵画調とする処理とするか、逆光補正処理とするかは、制御部２０からのディティール強調量により制御可能である。
なおディティール強調部４３から出力される絵画調のＨＤＲ画像データは、さらに、ビット数を圧縮する等して、より絵画的な効果を与えても良い。
【００４０】
以上のように、ディティール強調部４３が、ディティールの見えが実物よりも強調されて見える程、ＨＤＲ圧縮画像の反射率成分のみを過度に増幅する（ディティールを過度に強調する）だけで、画像処理装置３００は、容易に、露出条件が互いに異なる複数の画像を、白飛びや黒つぶれ等の画質劣化が生じないように合成し、適切な階調レンジの画像を生成するとともに、画像に対して、絵画風の視覚的効果を付与することができる。
ディティール強調量の値は任意であるが、例えば、２倍、４倍、８倍のように、一般的に、ディティール強調量を大きくするほど、ディティールがより強く強調され、画像に与える絵画風の視覚的効果を強くすることができる。
【００４１】
制御部２０は、画像に対してより強い絵画風の視覚的効果を与える場合、このディティール強調量を大きな値（例えば１より十分大きな値）に設定する。また、画像に対して絵画風の視覚的効果を強く与えたくない場合、特に本例の場合は逆光補正を行う場合は、ディティール強調量を小さな値（例えば１）に設定する。
つまり、制御部２０は、このディティール強調量の大きさを制御することにより、ＨＤＲ圧縮処理を、被写体に忠実に（逆光画像の場合は逆光補正された状態に）行うのか、それとも絵画調の視覚的効果を付与するように行うのかを制御することができる。
【００４２】
なお、ディティール強調量は、輝度に応じた値としてもよい。つまり照明成分の輝度によって強調量を変えることにより、ディティール強調部４３は、ディティールとして認識される必要な帯域のみを増幅することができる。これによりディティールでない低域な成分や、本来不要なノイズ成分を多く含む高域な成分の増幅を抑制することができ、画像の視覚的な劣化を抑制することができる。
さらに、画像の一部の領域のみ、ディティール成分が増幅されるようにしてもよいし、画像内の位置に応じたディティール強調量が設定されるようにしてもよい。
【００４３】
＜３．処理例Ｉ＞
以上のような合成処理部１６を備えた撮像装置１における制御部２０の制御処理の具体例（処理例Ｉ）を説明する。図５は制御部２０の制御処理を示している。
【００４４】
撮像指示が発生すると、制御部２０はステップＦ１０１からＦ１０２に進む。撮像指示は、撮像装置１のユーザのレリーズ操作により発生したり、或いは自動的な撮像を実行するプログラムによって、あるタイミングで発生される撮像のトリガによって発生する。
【００４５】
撮像指示によってステップＦ１０２に進んだ場合、制御部２０は、現在逆光状態で撮像が行われる状況か否かを確認する。これは現時点で撮像素子１２で取り込んでいる画像（プレビュー画に用いている画像データ）についての検波部２２で検出される輝度値に基づいて判定すればよい。
逆光状態でなければ、ステップＦ１０３に進んで、そのときの各種設定に応じた撮像及び撮像画像の記録部１８での記録処理を実行させる。例えば撮像モード、露出設定、補正設定、特殊効果設定その他、ユーザの設定や自動撮像プログラムの設定に応じた撮像動作である。
【００４６】
一方、逆光状態であったら、制御部２０はステップＦ１０４以降の処理に進む。
制御部２０は、ステップＦ１０４，Ｆ１０５，Ｆ１０６で、所定数（例えば３枚）の静止画データの撮像の実行を制御する。即ち、露出アンダー画像、適正露出画像、および露出オーバー画像の撮像である。
まずステップＦ１０４で露光制御を行い、露出状態を設定する。露光制御としては例えば絞り１１ａの設定、或いは撮像素子１２でのシャッタースピード（露光時間）、或いはＩＳＯゲイン調整部１４でのゲイン設定を行う。これによって、例えばまず露出オーバー状態とする。そしてステップＦ１０５で撮像（撮像画像データのバッファメモリ１５への取り込み）を実行させる。
【００４７】
これをステップＦ１０６で所定数（例えば３枚）の撮像が完了したと判断されるまで繰り返す。
例えば２枚目の撮像では、ステップＦ１０４で適正露出の状態に制御してステップＦ１０５で撮像を実行させる。
また３枚目の撮像では、ステップＦ１０４で露出アンダーの状態に制御してステップＦ１０５で撮像を実行させる。
【００４８】
例えばこのように３枚の撮像を行った時点で、制御部２０はステップＦ１０６からＦ１０７に進み、ＨＤＲ合成処理を実行させる。
即ち制御部２０は、バッファメモリ１５に一時的に格納された３枚の画像データ（露出アンダー画像、適正露出画像、露出オーバー画像）の、合成処理部１６への転送を指示し、合成処理部１６でＨＤＲ処理を実行させる。
さらに、制御部２０はステップＦ１０８で非写実化処理を合成処理部１６に指示する。具体的には、合成処理部１６のディティール生成部４２に対して、例えば１より十分大きな値のディティール強調量を与える。これによって、絵画調の画像処理が実行される。
そしてステップＦ１０９で制御部２０は、合成処理部１６で絵画調の画像に処理された画像データを、記録部１８に記録させる制御を行う。
【００４９】
以上の処理を制御部２０が行うことで、例えばユーザが逆光状態で撮像を行う場合、自動的に、絵画調の画像が撮像され、例えばＪＰＥＧデータ３１又はＲＡＷデータ３２として記録されることとなる。
【００５０】
なお、ステップＦ１０７のＨＤＲ処理の指示によって合成処理部１６で行われる画像処理の流れは図６Ａのようになる。
ステップＦ２０１において、輝度成分抽出部５１は、適正露出画像から輝度成分を抽出する。
ステップＦ２０２において、照明分離フィルタ５２は、ステップＦ２０１において抽出された輝度成分から照明成分を抽出する。
ステップＦ２０３において、ＨＤＲ圧縮処理部５３は、例えば変換テーブルを用いて、ステップＦ２０２において抽出された照明成分から合成係数を生成する。
ステップＦ２０４において、ＨＤＲ圧縮処理部５３は、ステップＦ２０３において生成された合成係数を用いて、露出アンダー画像、適正露出画像、および露出オーバー画像の各画像を重み付けして、白飛びや黒つぶれ等の画質劣化が生じないように合成し、適切な階調レンジのＨＤＲ圧縮画像を生成する。
【００５１】
また、制御部２０のステップＦ１０８の非写実化処理の指示によって合成処理部１６で行われる画像処理の流れは図６Ｂのようになる。
ステップＦ２１０において、ディティール生成部４２の除算部６１は、上記のステップＦ２０１において抽出された輝度成分を、ステップＦ２０２において抽出された照明成分で除算し、ディティール成分を抽出する。
ステップＦ２１１において、ディティール生成部４２の減算部６４は、制御部２０から設定されたディティール強調量から値「１」を減算する。
ステップＦ２１２において、ディティール生成部４２の乗算部６２は、ステップＦ２１０において算出されたディティール成分に、ステップＦ２１１において算出された減算結果を乗算する。
ステップＦ２１３において、ディティール生成部４２の加算部６３は、ステップＦ２１２において算出された乗算結果に、制御部２０によって設定されたディティール強調量を加算する。
ステップＦ２１４において、ディティール強調部４２は、ステップＦ２１３において算出された加算結果を乗算することにより、ステップＦ２０４において生成されたＨＤＲ圧縮画像のディティールを強調する。
【００５２】
以上の処理が行われることで、ディティールが強調されたＨＤＲ画像データ、即ち絵画調の画像データが生成される。
なお、説明上、図６Ａ、図６Ｂと分けて示したが、これらは一連の処理として合成処理部１６内で連続的に実行されればよい。
【００５３】
以上の処理例Ｉによれば、ユーザの操作や自動撮像によって逆光状態で撮像が行われる場合、自動的に、露出条件が互いに異なる複数の画像を、白飛びや黒つぶれ等の画質劣化が生じないように合成し、適切な階調レンジの画像を生成するとともに、画像に対して、絵画風の視覚的効果を付与する動作が行われる。これによってユーザは、逆光状態での撮像を、絵画調のおもしろみのある画像として得ることができ、またそのために特別な設定操作（例えば絵画調を指示する操作等）は必要ない。
なお、上記処理で生成された絵画調の画像データは、記録部１８に記録しても良いし、図１には示していないが外部インターフェースを介して外部機器に出力するようにしてもよい。
【００５４】
＜４．処理例II＞
続いて制御部２０による処理例IIを図７で説明する。
この図７において図５と同一の処理は同一のステップ番号を付し、説明を省略する。即ちステップＦ１０１〜Ｆ１０９は同一処理である。
この図７の処理では、ステップＦ１０９で絵画調の画像データを記録した後、さらにステップＦ１１０，Ｆ１１１を実行する。
【００５５】
制御部２０はステップＦ１１０で、合成処理部１６に逆光補正処理を指示する。具体的には、合成処理部１６のディティール生成部４２に対して、小さな値のディティール強調量（例えば１）を与える。
これによって実行される処理は図６Ｂと同様であるが、ディティール強調量≒１であることで、ディティール強調部４３の処理によっては絵画調の画像とはならず、ＨＤＲ合成処理の画像、即ち逆光補正がされた状態の画像となる。
そしてステップＦ１１１で制御部２０は、合成処理部１６から出力される逆光補正された画像データを、記録部１８に記録させる制御を行う。
なお、このような処理のため、ＨＤＲ圧縮処理部５３は、生成したＨＤＲ圧縮画像を一時保存し、ステップＦ１０８での処理の際と、ステップＦ１１０での処理の際に、それぞれディティール強調部４３に供給する。
【００５６】
この処理例IIによれば、ユーザ或いは自動撮像によって、逆光状態で撮像が行われる場合、自動的に、絵画調の画像と、適切な階調レンジとされた逆光補正画像の両方を得ることができる。
従ってユーザは、逆光状態での撮像が行われた場合でも、逆光補正された画像と絵画調のおもしろみのある画像の両方を得ることができ、またそのために特別な設定操作は必要ない。
【００５７】
なお、上記処理で生成された絵画調の画像データ及び逆光補正された画像データは、記録部１８に記録しても良いし、図１には示していないが外部インターフェースを介して外部機器に出力するようにしてもよい。
また、ステップＦ１０８，Ｆ１０９による絵画調の画像データの処理と、ステップＦ１１０，Ｆ１１１の逆光補正された画像データの処理の順序は逆でも良いし、並列的に行われても良い。
【００５８】
＜５．処理例III＞
続いて制御部２０による処理例IIIを図８で説明する。
この図８において図５と同一の処理は同一のステップ番号を付し、説明を省略する。即ちステップＦ１０１〜Ｆ１０９は同一処理である。
この図８の処理は、ステップＦ１０２で逆光状態ではないと判定された場合にもＨＤＲ処理を行う例である。
【００５９】
逆光状態ではないと判定した場合、制御部２０は、ステップＦ１２１，Ｆ１２２，Ｆ１２３で、所定数（例えば３枚）の静止画データの撮像の実行を制御する。この場合の制御処理はステップＦ１０４，Ｆ１０５，Ｆ１０６と同様であり、即ち、露出アンダー画像、適正露出画像、および露出オーバー画像の撮像を行う。
【００６０】
ステップＦ１２３で所定数（例えば３枚）の撮像が完了したと判断されたら、制御部２０はステップＦ１２４に進み、ＨＤＲ合成処理を実行させる。
即ち制御部２０は、バッファメモリ１５に一時的に格納された３枚の画像データ（露出アンダー画像、適正露出画像、露出オーバー画像）の、合成処理部１６への転送を指示し、合成処理部１６でＨＤＲ処理を実行させる。ＨＤＲ処理部４１で実行される処理は、図６Ａで説明したとおりとなる。
【００６１】
さらに、制御部２０はステップＦ１２５でディティール強調量≒１とする。つまりこれは、ＨＤＲ合成処理に係る画像データについての非写実的な画像内容となる画像効果処理を実行しないように制御することとなる。結局、ディティール強調部４３から出力される画像データは、特に絵画調とはされていない通常のＨＤＲ圧縮画像データである。
そしてステップＦ１２６で制御部２０は、合成処理部１６から出力された画像データを、記録部１８に記録させる制御を行う。
【００６２】
以上の処理を制御部２０が行うことで、例えばユーザが逆光状態で撮像を行うと、自動的に、絵画調の画像が撮像され、例えばＪＰＥＧデータ３１又はＲＡＷデータ３２として記録される（Ｆ１０４〜Ｆ１０９）。一方、非逆光状態で撮像を行う場合は、自動的に黒つぶれや白飛びが低減された高画質なＨＤＲ画像データが得られることとなる（Ｆ１２１〜Ｆ１２６）。
画像効果処理に関する制御部２０の制御としては、逆光状態であるか否かによって、ディティール生成部４２に与えるディティール強調量の設定を変えるのみで良い。これによりユーザに対して自動的に多様な画像を提供できることとなる。
【００６３】
＜６．処理例IV＞
続いて制御部２０による処理例IVを図９で説明する。
この図９において図７又は図８と同一の処理は同一のステップ番号を付し、説明を省略する。即ちステップＦ１０１〜Ｆ１１１は図７と同一処理である。またステップＦ１２１〜Ｆ１２６は図８と同一処理である。
【００６４】
つまり、この図９の処理は、ステップＦ１０２で逆光状態と判定された場合には、ステップＦ１０４〜Ｆ１１１の処理が実行され、これによって絵画調の画像データと、逆光補正された画像データが記録される。
一方、ステップＦ１０２で逆光状態ではないと判定された場合には、ステップＦ１２１〜Ｆ１２６が実行され、これによりＨＤＲ画像データが記録される。
【００６５】
従ってユーザは、逆光状態での撮像が行われた場合でも、逆光補正された画像と絵画調のおもしろみのある画像の両方を得ることができる一方、非逆光状態で撮像が行われた場合は高品質なＨＤＲ画像データを得ることができる。またこれらのために特別な設定操作は必要ない。
またこの場合も、画像効果処理に関する制御部２０の制御としては、逆光状態であるか否かによって、ディティール生成部４２に与えるディティール強調量の設定を変えるのみで良い。これによりユーザに対して自動的に多様な画像を提供できることとなる。
【００６６】
＜７．合成処理部の他の構成例＞
合成処理部１６の他の構成例を図１０に示す。図１０において、図３と同一部分は同一符号を付して説明を省略する。
図１０において図３と異なるのは、ディティール成分の生成のための輝度成分、照明成分を、ＨＤＲ圧縮画像から得るようにしている点である。このためＨＤＲ処理部４１とは別に、輝度成分抽出部４４、照明分離フィルタ４５を設けている。
【００６７】
図示のように、輝度成分抽出部４４にはＨＤＲ圧縮画像が供給される。そして輝度成分抽出部４４はＨＤＲ圧縮画像から輝度成分を抽出し、それを照明分離フィルタ４５およびディティール生成部４２に供給する。
照明分離フィルタ５２は、エッジ保存平滑化フィルタ等によって、入力された輝度成分から照明成分を抽出する。そして照明分離フィルタ５２は、抽出した照明成分をディティール生成部４２に供給する。
ディティール生成部４２、ディティール強調部４３の処理は、上述した図３の構成の場合と同様である。また制御部２０の処理として、上述した処理例Ｉ（図５）、II（図７）、III（図８）、IV（図９）が適用できる。
【００６８】
このような構成でも、逆光状態で撮像された際に、絵画調の画像データや、或いは加えて逆光補正された画像データを生成し、記録することができる。
【００６９】
＜８．パーソナルコンピュータでの適用（処理例Ｖ、VI、VII）＞
上述した一連の処理は、ハードウエアにより実行させることもできるし、ソフトウエアにより実行させることもできる。
この場合、例えば、図１１に示されるようなパーソナルコンピュータにおいて、上記の撮像装置１の画像処理が実行されるようにすることもできる。
【００７０】
図１１において、パーソナルコンピュータ７０のＣＰＵ７１は、ＲＯＭ７２に記憶されているプログラム、または記憶部７８からＲＡＭ７３にロードされたプログラムに従って各種の処理を実行する。ＲＡＭ７３にはまた、ＣＰＵ７１が各種の処理を実行する上において必要なデータなども適宜記憶される。
ＣＰＵ７１、ＲＯＭ７２、およびＲＡＭ７３は、バス７４を介して相互に接続されている。このバス７４にはまた、入出力インターフェース７５も接続されている。
【００７１】
入出力インターフェース７５には、キーボード、マウスなどよりなる入力部７６、ＣＲＴ（Cathode Ray Tube）やＬＣＤ（Liquid Crystal Display）などよりなるディスプレイ、並びにスピーカなどよりなる出力部７７、ハードディスクなどより構成される記憶部７８、モデムなどより構成される通信部７９が接続されている。通信部７９は、インターネットを含むネットワークを介しての通信処理を行う。
【００７２】
入出力インターフェース７５にはまた、必要に応じてドライブ８０が接続され、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア８１が適宜装着され、それらから読み出されたコンピュータプログラムが、必要に応じて記憶部７８にインストールされる。
【００７３】
上述した一連の処理をソフトウエアにより実行させる場合には、そのソフトウエアを構成するプログラムが、ネットワークや記録媒体からインストールされる。
【００７４】
この記録媒体は、例えば、図１１に示されるように、装置本体とは別に、ユーザにプログラムを配信するために配布される、プログラムが記録されている磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM（Compact Disc - Read Only Memory）,DVD（Digital Versatile Disc）を含む）、光磁気ディスク（MD（Mini Disc）を含む）、若しくは半導体メモリなどよりなるリムーバブルメディア８１により構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに配信される、プログラムが記録されているＲＯＭ７２や、記憶部７８に含まれるハードディスクなどで構成される。
【００７５】
図１２に、プログラムに従ってＣＰＵ７１が実行する処理例Ｖを示す。この図１２の処理例Ｖは、例えば、或る撮像装置において連続的に撮像された複数の画像、例えば上述の露出アンダー画像、適正露出画像、露出オーバー画像がパーソナルコンピュータ７０の処理対処となった場合に実行できる処理である。
【００７６】
例えば接続された撮像装置から画像データが転送されたり、リムーバブルメディア８１により、画像データが読み込まれたりするなどにより、パーソナルコンピュータ７０に、ブラケット撮像された複数の画像データが取り込まれることで、当該画像データに対する処理が実行可能となる。
取り込まれた画像データに対する処理が実行される場合、ステップＦ３０１でＣＰＵ７１は、まず処理対象の複数の画像データについて解析を行う。ここでは、処理対象の画像データが逆光状態で撮像された画像データであるか否かを判別する。例えば画像データの各画素の輝度値、輝度平均値、重み付け輝度値、画像内の特定領域での輝度値などを用いて判定することができる。
【００７７】
逆光状態でなければ、ＣＰＵ７１はステップＦ３０２からＦ３０３に進んで、そのときの画像処理のプログラムやユーザ設定に応じたが画像処理を実行する。
一方、逆光状態であったら、ＣＰＵ７１はステップＦ３０４でＨＤＲ合成処理を行う。具体的には図６Ａの処理を実行すれば良い。
またＣＰＵ７１はステップＦ３０５で、非写実化処理を実行する。例えば１より十分大きな値のディティール強調量を設定し、その上で図６Ｂの処理を実行する。これにより絵画調の画像処理が実行されることとなる。
そしてステップＦ３０６でＣＰＵ７１は、絵画調の画像に処理された画像データを、記憶部７８等に記憶させる。
【００７８】
この図１２のような処理をＣＰＵ７１が実行することで、逆光状態で撮像された画像データが、絵画調の画像データとされて保存されることになる。これによってユーザは、逆光状態で撮像された画像データについて、非写実的な興味深い画像を自動的に得ることができる。
【００７９】
なお、さらにＣＰＵ７１が逆光補正された画像データも生成し、絵画調の画像データとともに逆光補正された画像データをも記憶部７８等に記憶させるようにしても良い。
これを処理例VIとして図１３に示す。図１３においてステップＦ３０１〜Ｆ３０６は図１２と同様である。
この処理例VIでは、ステップＦ３０６で絵画調の画像データを記録した後、さらにステップＦ３０７，Ｆ３０８を実行する。
【００８０】
ＣＰＵ７１はステップＦ３０７で逆光補正処理を行う。具体的には、小さな値のディティール強調量（例えば１）を設定し、その上で図６Ｂの処理を実行する。ディティール強調量≒１であることで、絵画調の画像とはならず、ＨＤＲ合成処理の画像、即ち逆光補正がされた状態の画像となる。
そしてステップＦ３０８でＣＰＵ７１は、逆光補正された画像データを、記憶部７８等に記憶させる。
【００８１】
この図１３のような処理をＣＰＵ７１が実行することで、逆光状態で撮像された画像データが、絵画調の画像データ及び逆光補正された画像データとされて保存される。これによってユーザは、逆光状態で撮像された画像データについて、非写実的な興味深い画像、及び逆光補正された画像を自動的に得ることができる。
なお、ステップＦ３０５，Ｆ３０６による絵画調の画像データの処理と、ステップＦ３０７，Ｆ３０８の逆光補正された画像データの処理の順序は逆でも良いし、並列的に行われても良い。
【００８２】
さらに処理例VIIを図１４に示す。図１４においてステップＦ３０１〜Ｆ３０６は図１２と同様である。
この処理例VIIでは、ステップＦ３０２で処理対象の画像データが逆光状態ではないと判断された場合にもＨＤＲ処理を行う例である。
即ち逆光状態でなかったら、ＣＰＵ７１はステップＦ３２１でＨＤＲ合成処理を行う。具体的には図６Ａの処理を実行する。
またＣＰＵ７１はステップＦ３２２で、ディティール強調量≒１として図６Ｂの処理を実行する。これは、ＨＤＲ合成処理に係る画像データについての非写実的な画像内容となる画像効果処理を実行しないということになる。
そしてステップＦ３０６でＣＰＵ７１は、処理されたＨＤＲ画像データを、記憶部７８等に記憶させる。
【００８３】
この図１４の処理をＣＰＵ７１が行うことで、処理対象の画像データが逆光状態で撮像されたものであれば、自動的に、絵画調の画像に処理されて記憶される（Ｆ３０４〜Ｆ３０６）。一方、処理対象の画像データが非逆光状態で撮像されたものであれば、自動的に高画質なＨＤＲ画像データとされて保存されることとなる（Ｆ３２１〜Ｆ３０６）。
【００８４】
なお、上述の図１３の処理例VIのように、逆光状態の画像データに対して、絵画調とした画像データと逆光補正された画像データの両方を生成して保存する場合に、図１３のステップＦ３０３に代えて、この図１４のステップＦ３２１→Ｆ３２２→Ｆ３０６の処理を加えるようにすることも考えられる。
【００８５】
＜９．プログラム＞
以上の実施の形態は、撮像装置１やパーソナルコンピュータ７０において、本開示の画像処理装置に相当する構成を備えることで実行される処理について説明した。このような画像処理装置は、ハードウエアやソフトウエアで構成でき、本開示の画像処理装置、画像処理方法は、画像処理を行う各種機器に適用できる。例えば上述の撮像装置やパーソナルコンピュータ以外に、画像再生装置、画像記録装置、ゲーム機器、ビデオ編集機、ＰＤＡ（Personal Digital Assistant）、携帯電話機その他の通信装置などが想定される。
特にソフトウエアとして、本開示のプログラムに基づく演算処理を実行することで、各種機器において上述した処理を実現できる。
【００８６】
即ち本開示の実施の形態のプログラムとは、処理対象とする複数の画像データが、逆光状態での撮像による画像データか否かを判断するステップと、その複数の画像データについてＨＤＲ合成処理を実行させるステップと、複数の画像データが逆光状態での撮像による画像データである場合には、ＨＤＲ合成処理に係る画像データについて非写実的な画像内容となる画像効果処理を実行させるステップとを演算処理装置（ＣＰＵやＤＳＰ（Digital Signal Processor）等）に実行させるプログラムである。
例えば図５，図７，図８，図９，図１２，図１３，図１４に示した各処理ブロックの動作を演算処理装置に実行させるプログラムを画像処理アプリケーションソフトウエアとして提供することで、各種機器において、本開示の画像処理を実現できる。
【００８７】
なお、このようなプログラムは、パーソナルコンピュータ等の機器に内蔵されている記録媒体としてのＨＤＤや、ＣＰＵを有するマイクロコンピュータ内のＲＯＭやフラッシュメモリ等に予め記録しておくことができる。
あるいはまた、フレキシブルディスク、ＣＤ−ＲＯＭ(Compact Disc Read Only Memory)、ＭＯ(Magnet optical)ディスク、ＤＶＤ、ブルーレイディスク、磁気ディスク、半導体メモリ、メモリカードなどのリムーバブル記録媒体に、一時的あるいは永続的に格納（記録）しておくことができる。このようなリムーバブル記録媒体は、いわゆるパッケージソフトウェアとして提供することができる。
また、プログラムは、リムーバブル記録媒体からパーソナルコンピュータ等にインストールする他、ダウンロードサイトから、ＬＡＮ(Local Area Network)、インターネットなどのネットワークを介してダウンロードすることもできる。
【００８８】
なお、コンピュータが実行するプログラムは、図５，図７，図８，図９，図１２，図１３，図１４で説明した順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
【００８９】
＜１０．変形例＞
以上、実施の形態について説明してきたが、本開示の技術は多様な変形例が想定される。
図３，図８の例では、露出条件の異なる３つの画像、即ち露出アンダー画像、適正露出画像、および露出オーバー画像が合成処理部１６に入力され、これらを用いてＨＤＲ処理を行う例としたが、少なくとも露出条件の異なる２つの画像を用いても良い。例えば時間的に連続して撮像された、露出条件の異なる少なくとも２つの画像データとして、露出アンダー画像と露出オーバー画像を合成処理部１６に入力し、合成処理部１６がこれらについてＨＤＲ処理を行う例も考えられる。
また、露出条件の異なる４以上の画像を用いてＨＤＲ処理を行っても良い。
【００９０】
絵画調の画像データを生成するための手法は、上述のディティール強調によるものに限られない。
例えば表現する色の成分を減じたり、各種の表色系の値をまるめるたりするなどにより、画素の色情報を変更するような手法もある。
【００９１】
また上述した各構成例、処理例では、ＨＤＲ合成した画像データに対してディティール強調を行って画像効果を与えるものとしたが、合成前にディティール強調等により画像効果を与える構成例・処理例も考えられる。例えば露出アンダー画像、適正露出画像、露出オーバー画像の全部又は一部に対してディティール強調を行って、その後にＨＤＲ処理を行うようにするなどである。
【００９２】
なお本技術は以下のような構成も採ることができる。
（１）画像効果処理及び複数の画像データの合成処理を実行する合成処理部と、
上記複数の画像データが、逆光状態での撮像による画像データか否かを判断し、逆光状態での撮像による画像データである場合に、上記合成処理部に、上記合成処理に係る画像データについて非写実的な画像内容となる画像効果処理を実行させる制御部と、
を備えた画像処理装置。
（２）上記制御部は、
上記複数の画像データが逆光状態での撮像による画像データである場合には、さらに、上記合成処理部に、上記合成処理に係る画像データについて逆光補正となる画像効果処理を実行させる上記（１）に記載の画像処理装置。
（３）上記合成処理部は、上記複数の画像データの１つ、もしくは合成処理後の画像データの輝度成分及び照明成分から、反射率成分を抽出し、該反射率成分を用いて合成処理後の画像データについての画像効果処理を実行するとともに、
上記制御部は、上記反射率成分の強調量の設定により、上記合成処理部に非写実的な画像内容となる画像効果処理を実行させる上記（１）又は（２）に記載の画像処理装置。
（４）上記合成処理部は、上記複数の画像データの１つ、もしくは合成処理後の画像データの輝度成分及び照明成分から、反射率成分を抽出し、該反射率成分を用いて合成処理後の画像データについての画像効果処理を実行するとともに、
上記制御部は、上記反射率成分の強調量の設定により、上記合成処理部に逆光補正となる画像効果処理を実行させる上記（２）又は（３）に記載の画像処理装置。
（５）上記制御部は、
上記複数の画像データが非逆光状態での撮像による画像データである場合には、上記合成処理部に対し、上記合成処理に係る画像データについての非写実的な画像内容となる画像効果処理を実行しないように制御する上記（１）乃至（４）のいずれかに記載の画像処理装置。
（６）上記複数の画像データは、時間的に連続して撮像された、露出条件の異なる少なくとも２以上の画像データであり、
上記合成処理部は、上記合成処理として、上記複数の画像データの１つの照明成分を用いて上記２以上の画像データの合成を行う上記（１）乃至（５）のいずれかに記載の画像処理装置。
（７）上記複数の画像データは、時間的に連続して撮像された、露出条件が露出過多、適正露出、露出不足となる少なくとも３以上の画像データであり、
上記合成処理部は、上記合成処理として、上記複数の画像データの１つの照明成分を用いて上記３以上の画像データの合成を行う上記（１）乃至（５）のいずれかに記載の画像処理装置。
【符号の説明】
【００９３】
１ 撮像装置、１６ 合成処理部、２０ 制御部、４１ ＨＤＲ処理部、４２ ディティール生成部、４３ ディティール強調部、５１ 輝度成分抽出部、５２ 照明分離フィルタ、５３ ＨＤＲ圧縮処理部、６１ 除算部、６２ 乗算部、６３ 加算部、６４ 減算部
【技術分野】
【０００１】
本開示は、画像処理装置および画像処理方法、さらには画像処理方法を実現するプログラムに関し、特に、より多様な効果を画像に付与することができるようにした画像処理技術に関する。
【先行技術文献】
【特許文献】
【０００２】
【特許文献１】特開２００８−１０４０１０号公報
【特許文献２】特開２００８−１０４００９号公報
【特許文献３】特開２０００−９２３７８号公報
【背景技術】
【０００３】
従来、ダイナミックレンジの広い画像の階調の範囲を圧縮し、適正化するＨＤＲ（High Dynamic Range）圧縮処理が考えられている（例えば、特許文献１、２参照）。
例えば、露出の異なる複数の画像からダイナミックレンジの広い画像を作り、つぎに平滑化フィルタを使って画像を低周波成分と高周波成分（ディティール成分）に分解し、低周波成分の階調の範囲を圧縮する。そして、その圧縮量に対応する分だけディティール成分を強調して、最後に処理後の両成分を合成する。これによりディティール成分をできるだけ失わずに全体の階調レンジを圧縮して、画質の向上された通常レンジの画像を得る方法が記載されている。
また、ダイナミックレンジの広い画像の合成を経由せずに、複数の画像から通常レンジの画像を作る方法も記載されている。
【０００４】
また特許文献３には、輝度差の大きな被写体が存在する場合に、自動的に逆光等を補正できるようにした撮影モードを有する撮像装置が開示されている。
【発明の概要】
【発明が解決しようとする課題】
【０００５】
ところで近年、より多様な画像を楽しみたいというニーズがあり、単に階調の範囲の圧縮だけでなく他の画像効果も求められている。そこで本開示では、状況に応じて非写実的な画像データが得られる画像処理手法を提供することを目的とする。
【課題を解決するための手段】
【０００６】
本開示の画像処理装置は、画像効果処理及び複数の画像データの合成処理を実行する合成処理部と、上記複数の画像データが、逆光状態での撮像による画像データか否かを判断し、逆光状態での撮像による画像データである場合に、上記合成処理部に、上記合成処理に係る画像データについて非写実的な画像内容となる画像効果処理を実行させる制御部とを備える。
【０００７】
本開示の画像処理方法は、処理対象とする複数の画像データが、逆光状態での撮像による画像データか否かを判断するステップと、上記複数の画像データについて合成処理を行うステップと、上記複数の画像データが逆光状態での撮像による画像データである場合には、上記合成処理に係る画像データについて非写実的な画像内容となる画像効果処理を実行するステップとを備える。
【０００８】
本開示のプログラムは、処理対象とする複数の画像データが、逆光状態での撮像による画像データか否かを判断するステップと、上記複数の画像データについて合成処理を実行させるステップと、上記複数の画像データが逆光状態での撮像による画像データである場合には、上記合成処理に係る画像データについて非写実的な画像内容となる画像効果処理を実行させるステップとを演算処理装置に実行させるプログラムである。
【０００９】
このような本開示の技術では、画像処理として、複数の画像データの合成処理により、例えばＨＤＲ圧縮画像等の画像データを得るが、さらに、複数の画像データが、逆光状態での撮像による画像データであるときは、非写実的な画像、例えば絵画調の画像のような画像効果処理を実行する。これにより逆光状態での撮像を行うことで、特殊な画像を得ることができる。
【発明の効果】
【００１０】
本開示によれば、逆光状態での撮像画像から非写実的な画像効果処理を与えた画像を得ることができる。ユーザは、逆光状態で撮像したり、或いは逆光状態での撮像画像を用意するのみで、非写実的な画像を楽しむことができる。
【図面の簡単な説明】
【００１１】
【図１】本開示の実施の形態の撮像装置のブロック図である。
【図２】実施の形態の絵画調の画像の説明図である。
【図３】実施の形態の合成処理部のブロック図である。
【図４】実施の形態のディティール生成部のブロック図である。
【図５】実施の形態の処理例Ｉのフローチャートである。
【図６】実施の形態の画像処理の流れのフローチャートである。
【図７】実施の形態の処理例IIのフローチャートである。
【図８】実施の形態の処理例IIIのフローチャートである。
【図９】実施の形態の処理例IVのフローチャートである。
【図１０】実施の形態の合成処理部の他の構成例のブロック図である。
【図１１】実施の形態のパーソナルコンピュータのブロック図である。
【図１２】実施の形態のパーソナルコンピュータで適用する処理例Ｖのフローチャートである。
【図１３】実施の形態のパーソナルコンピュータで適用する処理例VIのフローチャートである。
【図１４】実施の形態のパーソナルコンピュータで適用する処理例VIIのフローチャートである。
【発明を実施するための形態】
【００１２】
以下、実施の形態を次の順序で説明する。
＜１．撮像装置の構成＞
＜２．合成処理部の構成＞
＜３．処理例Ｉ＞
＜４．処理例II＞
＜５．処理例III＞
＜６．処理例IV＞
＜７．合成処理部の他の構成例＞
＜８．パーソナルコンピュータでの適用（処理例Ｖ、VI、VII）＞
＜９．プログラム＞
＜１０．変形例＞
【００１３】
＜１．撮像装置の構成＞
まず、本開示の画像処理装置が、撮像装置に内蔵される実施の形態を説明する。なお、本開示に係る画像処理装置は、以降説明する合成処理部１６及び制御部２０によって実現される。
【００１４】
図１は、撮像装置１の主な構成例を示すブロック図である。
図１に示される撮像装置１は、被写体を撮像し、その被写体の画像をデータ化して出力する装置である。この撮像装置１は、光学ブロック１１、Ａ／Ｄ変換部１３、ＩＳＯ（International Organization for Standardization）ゲイン調整部１４、バッファメモリ１５、合成処理部１６、現像処理部１７、記録部１８、表示部１９、制御部２０、ＬＰＦ（Low-Pass Filter）２１、検波部２２を備える。
【００１５】
光学ブロック１１は、被写体からの光を撮像素子１２に集光するためのレンズ、レンズを移動させてフォーカス合わせやズーミングを行うための駆動機構（いずれも図示せず）、絞り１１ａ、シャッタ１１ｂなどを有している。
光学ブロック１１内のこれらの駆動機構は、制御部２０からの制御信号に応じて駆動される。
撮像素子１２は、例えば、ＣＣＤ（Charge Coupled Device）型、ＣＭＯＳ（Complementary Metal OxideSemiconductor）型などの撮像素子であり、被写体からの入射光を電気信号に変換する。
【００１６】
Ａ／Ｄ変換部１３は、撮像素子１２から出力された画像信号をデジタルデータに変換する。
ＩＳＯゲイン調整部１４は、制御部２０からのゲイン制御値に応じて、Ａ／Ｄ変換部１３からの画像データのＲＧＢ（Red，Green，Blue）各成分に対して一様のゲインをかける。なお、ＩＳＯゲインの調整は、Ａ／Ｄ変換部１３に入力される前のアナログ画像信号の段階で行われるようにしてもよい。
【００１７】
バッファメモリ１５は、互いに異なる露出で撮像を連続的に複数回行うブラケット撮像により得られた複数枚の画像のデータを一時的に記憶する。
合成処理部１６は、ブラケット撮像により得られた、バッファメモリ１５内の複数枚の画像を１枚の画像に合成する。特に本例では、合成処理部１６は、ＨＤＲ圧縮処理としての合成処理を行う。また合成処理部１６は、合成画像データに対するディティール処理による非写実的な画像（絵画調の画像）を得る画像効果処理を行う。
【００１８】
現像処理部１７は、主に、合成処理部１６から出力されるＲＡＷ（生）画像データを、可視画像のデータに変換する、いわゆるＲＡＷ現像処理を実行するブロックである。この現像処理部１７は、ＲＡＷ画像データに対して、データ補間（デモザイク）処理、各種色調整・変換処理（ホワイトバランス調整処理、高輝度ニー圧縮処理、ガンマ補正処理、アパーチャ補正処理、クリッピング処理など）、所定の符号化方式（ここでは、JPEG（Joint Photographic Experts Group）方式を適用する）に従った画像圧縮符号化処理などを実行する。
【００１９】
記録部１８は、撮像により得られた画像データをデータファイルとして保存するための装置であり、例えば、可搬型のフラッシュメモリ、ＨＤＤ（Hard Disk Drive）などとして実現される。
なお、記録部１８は、現像処理部１７によって符号化されたＪＰＥＧデータ３１の他に、合成処理部１６から出力されるＲＡＷ画像データ３２をデータファイルとして記録することができる。また、記録部１８に記録されたＲＡＷ画像データを読み出して、現像処理部１７で処理し、記録部１８にＪＰＥＧデータファイルとして新たに記録することができるようにしてもよい。
【００２０】
表示部１９は、例えばＬＣＤ（Liquid Crystal Display）などからなるモニタを備えている。表示部１９は、現像処理部１７において処理された非圧縮状態の画像データを基に、モニタ表示用の画像信号を生成してモニタに供給する。
撮像画像の記録前のプレビュー状態では、撮像素子１２からは連続的に撮像画像信号が出力され、デジタル変換された後、そのデジタル画像データがＩＳＯゲイン調整部１４および合成処理部１６を介して現像処理部１７に供給されて、現像処理（ただし、符号化処理を除く）が施される。
表示部１９は、このとき現像処理部１７から順次出力される画像（プレビュー画像）をモニタに表示する。ユーザはこのプレビュー画像を視認して画角を確認することができる。
【００２１】
制御部２０は、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、およびＲＡＭ（Random Access Memory）などを備えたマイクロコンピュータにより構成される。ＣＰＵがＲＯＭに記憶されたプログラムを実行することで、この撮像装置１全体を統括的に制御する。
例えば制御部２０は、本実施の形態では、検波部２２からの検波結果を基に露出補正値を計算し、その値に応じた制御信号を出力して絞り１１ａやシャッタ１１ｂを制御することで、ＡＥ（自動露出）制御を実現する。また広ダイナミックレンジ撮像を行う際には、算出した露出補正値を合成処理部４１６に通知する。
さらに制御部２０は、合成処理部１６における絵画調画像としての画像効果処理の制御を行う。
【００２２】
ＬＰＦ２１は、ＩＳＯゲイン調整部１４から出力された画像データに対して、必要に応じてローパスフィルタ処理を施す。
検波部２２は、ＩＳＯゲイン調整部１４からＬＰＦ２１を通じて供給された画像データを基に各種の検波を行うブロックであり、本実施の形態では、例えば、画像を所定の測光領域に分割し、測光領域ごとに輝度値を検出する。
制御部２０は、検波部２２での検出情報から、ＩＳＯゲイン調整部１４から出力される画像データ、つまり撮像された画像データや、撮像前のプレビュー画像となる画像データについて、逆光状態であるか否かを判断できる。
【００２３】
このような本実施の形態の撮像装置１では、合成処理部１６による画像処理及び制御部２０による制御によって、撮像された画像データの合成処理及び画像効果処理を実行する。合成処理は、例えばＨＤＲ圧縮処理による合成であり、画像効果処理は、撮像画像内容を例えば絵画調の画像とするような処理である。
図２Ｂは絵画調の画像の例を示している。図２Ａは通常に撮像された画像の例であるが、これに比べて図２Ｂは、非写実的な画像となっている。
【００２４】
本例の場合、特に制御部２０は、処理対象の画像データについて逆光状態の判断を行って、それに応じて絵画調の画像を得る画像効果処理を実行させる。
このようにすることにより、状況に応じて自動的に絵画風の視覚的効果が付与された画像が得られる。そしてそのような画像データを、表示部１９に表示したり、ＪＰＥＧデータ３１として記録部１８に記録したりすることができる。
なお、記録部１８が記録する画像データの符号化方式は任意である。記録部１８が、ＪＰＥＧ以外の符号化方式で符号化された画像データを記憶するようにしてもよい。
【００２５】
＜２．合成処理部の構成＞
上記構成の撮像装置１における合成処理部１６の構成及び動作を説明する。上述のように合成処理部１６は、制御部２０による制御に従って、撮像された画像データの合成処理（ＨＤＲ処理）及び画像効果処理を実行する。
【００２６】
本例でのＨＤＲ処理としては、露出条件が互いに異なる複数の画像を、白飛びや黒つぶれ等の画質劣化が生じないように合成し、適切な階調レンジの画像を生成する。
例えば、画角内の輝度レンジが広いシーンでは、自動露出処理（ＡＥ処理）の精度が悪化し、画角内の主な被写体が露出オーバーになって白飛びしたり、露出アンダーになってノイズに埋もれたり黒つぶれしたりする可能性が高くなる。そこで、このようなシーンにおいても適切な露出条件で撮像された画像を得るための撮像手法として、露出条件を変化させて複数回連続して露光し、それぞれの複数の画像信号を得る「ブラケット撮像」という手法が知られている。
【００２７】
この、ブラケット撮像を応用して、撮像素子の出力よりも広いダイナミックレンジを持つ画像（広ダイナミックレンジ画像）を得ることを可能とした撮像手法が考えられている。広ダイナミックレンジ画像の撮像では、ブラケット撮像により露出量を大きくした撮像画像と、露出量を抑えた撮像画像とを取得し、それらを合成することで広ダイナミックレンジの画像を生成する。
すなわち、露出量を抑えて高輝度側の階調が得られた画像成分と、露出量を高めて低輝度側の階調が得られた画像成分とを合成することで、１回の露光では得ることができない広い輝度レンジの階調情報を、合成後の画像に取り入れることが可能となる。
【００２８】
本例では、ブラケット撮像で撮像された、露出過多及び露出不足の少なくとも２つの画像データを用いてＨＤＲ処理を行う。
以下では、具体的な例として、ブラケット撮像で撮像された、露出条件が露出過多、適正露出、露出不足となる３つの画像データを用いる場合で説明する。
【００２９】
図３は、合成処理部１６の構成例を示すブロック図である。この合成処理部１６は、階調レンジを圧縮するＨＤＲ処理を行うとともに、絵画調の視覚的効果を付与する絵画調処理を行う。
この合成処理部１６には、互いに露出条件の異なる３つの画像（露出アンダー画像、適正露出画像、および露出オーバー画像）が入力される。即ち制御部２０の制御によってブラケット撮像が実行され、バッファメモリ１５に一時保存された３つの画像データである。
【００３０】
合成処理部１６は、輝度成分抽出部５１、照明分離フィルタ５２、ＨＤＲ圧縮処理部５３、ディティール生成部４２、およびディティール強調部４３を有する。
これらの構成の内、輝度成分抽出部５１、照明分離フィルタ５２、およびＨＤＲ圧縮処理部５３が、互いに露出条件の異なる３つの画像を、白飛びや黒つぶれ等の画質劣化が生じないように合成し、適切な階調レンジの画像を生成するＨＤＲ処理を行うＨＤＲ処理部４１を構成する。
また、ディティール生成部４２、およびディティール強調部４３が、画像に対して絵画調の視覚的効果を付与する。
【００３１】
上述したように、合成処理部１６には、適正値よりも意図的に露出を抑えて生成した露出アンダー画像、露出を適正値で生成した適正露出画像、適正値よりも意図的に露出を大きくして生成した露出オーバー画像が入力される。各画像は、ＨＤＲ圧縮処理部５３に供給される。
【００３２】
また、適正露出画像は、輝度成分抽出部５１にも供給される。
輝度成分抽出部５１は、入力された適正露出画像から輝度成分を抽出し、それを照明分離フィルタ５２およびディティール生成部４２に供給する。
なお、この例では輝度成分抽出部５１が適正露出画像から輝度成分を抽出する構成としているが、露出アンダー画像又は露出オーバー画像を輝度成分抽出部５１に供給して、それらの画像から輝度成分を抽出する構成例も考えられる。
【００３３】
照明分離フィルタ５２は、エッジ保存平滑化フィルタ等によって、入力された輝度成分から照明成分（低周波成分）を抽出する。そして照明分離フィルタ５２は、抽出した照明成分をＨＤＲ圧縮処理部５３およびディティール生成部４２に供給する。
なお、この照明成分の抽出のためには、エッジ成分が残存するように高域カット処理する非線形のローパスフィルタ（例えば特許文献１のフィルタやバイラテラルフィルタ）を用いることが望ましい。また、同様なローパスフィルタ処理としては、非線形ローパスフィルタの他に、統計的な手法（例えば最頻値フィルタや中央値フィルタ）を用いることもできる。
【００３４】
ＨＤＲ圧縮処理部５３は、照明分離フィルタ５２から供給される照明成分を、所定の変換テーブルを用いて合成係数に変換し、その合成係数を用いて、入力された露出アンダー画像、適正露出画像、および露出オーバー画像を合成する。より具体的には、ＨＤＲ圧縮処理部５３は、各画像を合成係数で重み付けして互いに加算する。これにより、露出アンダー画像、適正露出画像、および露出オーバー画像から、白飛びや黒つぶれ等の画質劣化が生じないように合成された、適切な階調レンジの画像データ（ＨＤＲ圧縮画像データ）を生成する。
ＨＤＲ圧縮処理部５３は、生成したＨＤＲ圧縮画像データをディティール強調部４３に供給する。
【００３５】
この合成処理部１６に対して、制御部２０は、絵画調の視覚的効果を与えるためのＨＤＲ圧縮画像の反射率成分の強調量であるディティール強調量を設定する。つまり、このディティール強調量は、ＨＤＲ圧縮画像のディティール成分を過度に強調するゲインである。制御部２０は、そのディティール強調量をディティール生成部４２に供給する。
【００３６】
ディティール生成部４２は、輝度成分抽出部５１から供給される適正露出画像の輝度成分と、照明分離フィルタ５２から供給される適正露出画像の輝度成分の照明成分とを用いて、適正露出画像の輝度成分の反射率成分（ディティール成分：高周波成分）を抽出する。例えばディティール生成部４２は、輝度成分から照明成分を減算若しくは除算することにより反射率成分を抽出する。
さらに、ディティール生成部４２は、抽出した反射率成分を、制御部２０から供給されるディティール強調量で強調し、強調されたディティール成分を生成する。ディティール生成部４２は、その強調されたディティール成分をディティール強調部４３に供給する。
【００３７】
図４に、ディティール生成部４２の構成例を示す。ディティール生成部４２は、除算部６１、乗算部６２、加算部６３、減算部６４を有する。
除算部６１は、輝度成分抽出部５１から供給される輝度成分を、照明分離フィルタ５２から供給される照明成分で除算することにより、ディティール成分を抽出する。除算部６１は、抽出したディティール成分を乗算部６２に供給する。
減算部６４は、標準となるディティールゲインが自動でかかる分を補正するために、制御部２０から供給されるディティール強調量から値「１」を減算する。そして減算部６４は、値「１」を減算したディティール強調量を乗算部６２に供給する。
【００３８】
乗算部６２は、除算部６１から供給されるディティール成分と、減算部６４から供給されるディティール強調量とを乗算し、その乗算結果を加算部６３に供給する。
加算部６３は、乗算部６２から供給される、ディティール成分と値「１」が減算されたディティール強調量との乗算結果に、制御部２０から供給されるディティール強調量を加算する。そして加算部６３は、その加算結果、例えば過度に強調されたディティール成分をディティール強調部４３に供給する。
【００３９】
図３に示すディティール強調部４３は、ディティール生成部４２から供給されたディティール成分を乗算することにより、ＨＤＲ圧縮処理部５３から供給されたＨＤＲ圧縮画像データのディティールを過度に強調し、絵画調の視覚的効果を付与する。これによりディティール強調部４３は、処理後の画像データとしてディティールが強調されて絵画調とされたＨＤＲ圧縮画像を出力することができる。
また、この場合、ディティール強調部４３で乗算するディティール成分によっては、逆光補正されたＨＤＲ圧縮画像とすることもできる。つまりディティール強調部４３は、処理後の画像データとして逆光補正されたＨＤＲ圧縮画像を出力することもできる。
画像効果処理を、絵画調とする処理とするか、逆光補正処理とするかは、制御部２０からのディティール強調量により制御可能である。
なおディティール強調部４３から出力される絵画調のＨＤＲ画像データは、さらに、ビット数を圧縮する等して、より絵画的な効果を与えても良い。
【００４０】
以上のように、ディティール強調部４３が、ディティールの見えが実物よりも強調されて見える程、ＨＤＲ圧縮画像の反射率成分のみを過度に増幅する（ディティールを過度に強調する）だけで、画像処理装置３００は、容易に、露出条件が互いに異なる複数の画像を、白飛びや黒つぶれ等の画質劣化が生じないように合成し、適切な階調レンジの画像を生成するとともに、画像に対して、絵画風の視覚的効果を付与することができる。
ディティール強調量の値は任意であるが、例えば、２倍、４倍、８倍のように、一般的に、ディティール強調量を大きくするほど、ディティールがより強く強調され、画像に与える絵画風の視覚的効果を強くすることができる。
【００４１】
制御部２０は、画像に対してより強い絵画風の視覚的効果を与える場合、このディティール強調量を大きな値（例えば１より十分大きな値）に設定する。また、画像に対して絵画風の視覚的効果を強く与えたくない場合、特に本例の場合は逆光補正を行う場合は、ディティール強調量を小さな値（例えば１）に設定する。
つまり、制御部２０は、このディティール強調量の大きさを制御することにより、ＨＤＲ圧縮処理を、被写体に忠実に（逆光画像の場合は逆光補正された状態に）行うのか、それとも絵画調の視覚的効果を付与するように行うのかを制御することができる。
【００４２】
なお、ディティール強調量は、輝度に応じた値としてもよい。つまり照明成分の輝度によって強調量を変えることにより、ディティール強調部４３は、ディティールとして認識される必要な帯域のみを増幅することができる。これによりディティールでない低域な成分や、本来不要なノイズ成分を多く含む高域な成分の増幅を抑制することができ、画像の視覚的な劣化を抑制することができる。
さらに、画像の一部の領域のみ、ディティール成分が増幅されるようにしてもよいし、画像内の位置に応じたディティール強調量が設定されるようにしてもよい。
【００４３】
＜３．処理例Ｉ＞
以上のような合成処理部１６を備えた撮像装置１における制御部２０の制御処理の具体例（処理例Ｉ）を説明する。図５は制御部２０の制御処理を示している。
【００４４】
撮像指示が発生すると、制御部２０はステップＦ１０１からＦ１０２に進む。撮像指示は、撮像装置１のユーザのレリーズ操作により発生したり、或いは自動的な撮像を実行するプログラムによって、あるタイミングで発生される撮像のトリガによって発生する。
【００４５】
撮像指示によってステップＦ１０２に進んだ場合、制御部２０は、現在逆光状態で撮像が行われる状況か否かを確認する。これは現時点で撮像素子１２で取り込んでいる画像（プレビュー画に用いている画像データ）についての検波部２２で検出される輝度値に基づいて判定すればよい。
逆光状態でなければ、ステップＦ１０３に進んで、そのときの各種設定に応じた撮像及び撮像画像の記録部１８での記録処理を実行させる。例えば撮像モード、露出設定、補正設定、特殊効果設定その他、ユーザの設定や自動撮像プログラムの設定に応じた撮像動作である。
【００４６】
一方、逆光状態であったら、制御部２０はステップＦ１０４以降の処理に進む。
制御部２０は、ステップＦ１０４，Ｆ１０５，Ｆ１０６で、所定数（例えば３枚）の静止画データの撮像の実行を制御する。即ち、露出アンダー画像、適正露出画像、および露出オーバー画像の撮像である。
まずステップＦ１０４で露光制御を行い、露出状態を設定する。露光制御としては例えば絞り１１ａの設定、或いは撮像素子１２でのシャッタースピード（露光時間）、或いはＩＳＯゲイン調整部１４でのゲイン設定を行う。これによって、例えばまず露出オーバー状態とする。そしてステップＦ１０５で撮像（撮像画像データのバッファメモリ１５への取り込み）を実行させる。
【００４７】
これをステップＦ１０６で所定数（例えば３枚）の撮像が完了したと判断されるまで繰り返す。
例えば２枚目の撮像では、ステップＦ１０４で適正露出の状態に制御してステップＦ１０５で撮像を実行させる。
また３枚目の撮像では、ステップＦ１０４で露出アンダーの状態に制御してステップＦ１０５で撮像を実行させる。
【００４８】
例えばこのように３枚の撮像を行った時点で、制御部２０はステップＦ１０６からＦ１０７に進み、ＨＤＲ合成処理を実行させる。
即ち制御部２０は、バッファメモリ１５に一時的に格納された３枚の画像データ（露出アンダー画像、適正露出画像、露出オーバー画像）の、合成処理部１６への転送を指示し、合成処理部１６でＨＤＲ処理を実行させる。
さらに、制御部２０はステップＦ１０８で非写実化処理を合成処理部１６に指示する。具体的には、合成処理部１６のディティール生成部４２に対して、例えば１より十分大きな値のディティール強調量を与える。これによって、絵画調の画像処理が実行される。
そしてステップＦ１０９で制御部２０は、合成処理部１６で絵画調の画像に処理された画像データを、記録部１８に記録させる制御を行う。
【００４９】
以上の処理を制御部２０が行うことで、例えばユーザが逆光状態で撮像を行う場合、自動的に、絵画調の画像が撮像され、例えばＪＰＥＧデータ３１又はＲＡＷデータ３２として記録されることとなる。
【００５０】
なお、ステップＦ１０７のＨＤＲ処理の指示によって合成処理部１６で行われる画像処理の流れは図６Ａのようになる。
ステップＦ２０１において、輝度成分抽出部５１は、適正露出画像から輝度成分を抽出する。
ステップＦ２０２において、照明分離フィルタ５２は、ステップＦ２０１において抽出された輝度成分から照明成分を抽出する。
ステップＦ２０３において、ＨＤＲ圧縮処理部５３は、例えば変換テーブルを用いて、ステップＦ２０２において抽出された照明成分から合成係数を生成する。
ステップＦ２０４において、ＨＤＲ圧縮処理部５３は、ステップＦ２０３において生成された合成係数を用いて、露出アンダー画像、適正露出画像、および露出オーバー画像の各画像を重み付けして、白飛びや黒つぶれ等の画質劣化が生じないように合成し、適切な階調レンジのＨＤＲ圧縮画像を生成する。
【００５１】
また、制御部２０のステップＦ１０８の非写実化処理の指示によって合成処理部１６で行われる画像処理の流れは図６Ｂのようになる。
ステップＦ２１０において、ディティール生成部４２の除算部６１は、上記のステップＦ２０１において抽出された輝度成分を、ステップＦ２０２において抽出された照明成分で除算し、ディティール成分を抽出する。
ステップＦ２１１において、ディティール生成部４２の減算部６４は、制御部２０から設定されたディティール強調量から値「１」を減算する。
ステップＦ２１２において、ディティール生成部４２の乗算部６２は、ステップＦ２１０において算出されたディティール成分に、ステップＦ２１１において算出された減算結果を乗算する。
ステップＦ２１３において、ディティール生成部４２の加算部６３は、ステップＦ２１２において算出された乗算結果に、制御部２０によって設定されたディティール強調量を加算する。
ステップＦ２１４において、ディティール強調部４２は、ステップＦ２１３において算出された加算結果を乗算することにより、ステップＦ２０４において生成されたＨＤＲ圧縮画像のディティールを強調する。
【００５２】
以上の処理が行われることで、ディティールが強調されたＨＤＲ画像データ、即ち絵画調の画像データが生成される。
なお、説明上、図６Ａ、図６Ｂと分けて示したが、これらは一連の処理として合成処理部１６内で連続的に実行されればよい。
【００５３】
以上の処理例Ｉによれば、ユーザの操作や自動撮像によって逆光状態で撮像が行われる場合、自動的に、露出条件が互いに異なる複数の画像を、白飛びや黒つぶれ等の画質劣化が生じないように合成し、適切な階調レンジの画像を生成するとともに、画像に対して、絵画風の視覚的効果を付与する動作が行われる。これによってユーザは、逆光状態での撮像を、絵画調のおもしろみのある画像として得ることができ、またそのために特別な設定操作（例えば絵画調を指示する操作等）は必要ない。
なお、上記処理で生成された絵画調の画像データは、記録部１８に記録しても良いし、図１には示していないが外部インターフェースを介して外部機器に出力するようにしてもよい。
【００５４】
＜４．処理例II＞
続いて制御部２０による処理例IIを図７で説明する。
この図７において図５と同一の処理は同一のステップ番号を付し、説明を省略する。即ちステップＦ１０１〜Ｆ１０９は同一処理である。
この図７の処理では、ステップＦ１０９で絵画調の画像データを記録した後、さらにステップＦ１１０，Ｆ１１１を実行する。
【００５５】
制御部２０はステップＦ１１０で、合成処理部１６に逆光補正処理を指示する。具体的には、合成処理部１６のディティール生成部４２に対して、小さな値のディティール強調量（例えば１）を与える。
これによって実行される処理は図６Ｂと同様であるが、ディティール強調量≒１であることで、ディティール強調部４３の処理によっては絵画調の画像とはならず、ＨＤＲ合成処理の画像、即ち逆光補正がされた状態の画像となる。
そしてステップＦ１１１で制御部２０は、合成処理部１６から出力される逆光補正された画像データを、記録部１８に記録させる制御を行う。
なお、このような処理のため、ＨＤＲ圧縮処理部５３は、生成したＨＤＲ圧縮画像を一時保存し、ステップＦ１０８での処理の際と、ステップＦ１１０での処理の際に、それぞれディティール強調部４３に供給する。
【００５６】
この処理例IIによれば、ユーザ或いは自動撮像によって、逆光状態で撮像が行われる場合、自動的に、絵画調の画像と、適切な階調レンジとされた逆光補正画像の両方を得ることができる。
従ってユーザは、逆光状態での撮像が行われた場合でも、逆光補正された画像と絵画調のおもしろみのある画像の両方を得ることができ、またそのために特別な設定操作は必要ない。
【００５７】
なお、上記処理で生成された絵画調の画像データ及び逆光補正された画像データは、記録部１８に記録しても良いし、図１には示していないが外部インターフェースを介して外部機器に出力するようにしてもよい。
また、ステップＦ１０８，Ｆ１０９による絵画調の画像データの処理と、ステップＦ１１０，Ｆ１１１の逆光補正された画像データの処理の順序は逆でも良いし、並列的に行われても良い。
【００５８】
＜５．処理例III＞
続いて制御部２０による処理例IIIを図８で説明する。
この図８において図５と同一の処理は同一のステップ番号を付し、説明を省略する。即ちステップＦ１０１〜Ｆ１０９は同一処理である。
この図８の処理は、ステップＦ１０２で逆光状態ではないと判定された場合にもＨＤＲ処理を行う例である。
【００５９】
逆光状態ではないと判定した場合、制御部２０は、ステップＦ１２１，Ｆ１２２，Ｆ１２３で、所定数（例えば３枚）の静止画データの撮像の実行を制御する。この場合の制御処理はステップＦ１０４，Ｆ１０５，Ｆ１０６と同様であり、即ち、露出アンダー画像、適正露出画像、および露出オーバー画像の撮像を行う。
【００６０】
ステップＦ１２３で所定数（例えば３枚）の撮像が完了したと判断されたら、制御部２０はステップＦ１２４に進み、ＨＤＲ合成処理を実行させる。
即ち制御部２０は、バッファメモリ１５に一時的に格納された３枚の画像データ（露出アンダー画像、適正露出画像、露出オーバー画像）の、合成処理部１６への転送を指示し、合成処理部１６でＨＤＲ処理を実行させる。ＨＤＲ処理部４１で実行される処理は、図６Ａで説明したとおりとなる。
【００６１】
さらに、制御部２０はステップＦ１２５でディティール強調量≒１とする。つまりこれは、ＨＤＲ合成処理に係る画像データについての非写実的な画像内容となる画像効果処理を実行しないように制御することとなる。結局、ディティール強調部４３から出力される画像データは、特に絵画調とはされていない通常のＨＤＲ圧縮画像データである。
そしてステップＦ１２６で制御部２０は、合成処理部１６から出力された画像データを、記録部１８に記録させる制御を行う。
【００６２】
以上の処理を制御部２０が行うことで、例えばユーザが逆光状態で撮像を行うと、自動的に、絵画調の画像が撮像され、例えばＪＰＥＧデータ３１又はＲＡＷデータ３２として記録される（Ｆ１０４〜Ｆ１０９）。一方、非逆光状態で撮像を行う場合は、自動的に黒つぶれや白飛びが低減された高画質なＨＤＲ画像データが得られることとなる（Ｆ１２１〜Ｆ１２６）。
画像効果処理に関する制御部２０の制御としては、逆光状態であるか否かによって、ディティール生成部４２に与えるディティール強調量の設定を変えるのみで良い。これによりユーザに対して自動的に多様な画像を提供できることとなる。
【００６３】
＜６．処理例IV＞
続いて制御部２０による処理例IVを図９で説明する。
この図９において図７又は図８と同一の処理は同一のステップ番号を付し、説明を省略する。即ちステップＦ１０１〜Ｆ１１１は図７と同一処理である。またステップＦ１２１〜Ｆ１２６は図８と同一処理である。
【００６４】
つまり、この図９の処理は、ステップＦ１０２で逆光状態と判定された場合には、ステップＦ１０４〜Ｆ１１１の処理が実行され、これによって絵画調の画像データと、逆光補正された画像データが記録される。
一方、ステップＦ１０２で逆光状態ではないと判定された場合には、ステップＦ１２１〜Ｆ１２６が実行され、これによりＨＤＲ画像データが記録される。
【００６５】
従ってユーザは、逆光状態での撮像が行われた場合でも、逆光補正された画像と絵画調のおもしろみのある画像の両方を得ることができる一方、非逆光状態で撮像が行われた場合は高品質なＨＤＲ画像データを得ることができる。またこれらのために特別な設定操作は必要ない。
またこの場合も、画像効果処理に関する制御部２０の制御としては、逆光状態であるか否かによって、ディティール生成部４２に与えるディティール強調量の設定を変えるのみで良い。これによりユーザに対して自動的に多様な画像を提供できることとなる。
【００６６】
＜７．合成処理部の他の構成例＞
合成処理部１６の他の構成例を図１０に示す。図１０において、図３と同一部分は同一符号を付して説明を省略する。
図１０において図３と異なるのは、ディティール成分の生成のための輝度成分、照明成分を、ＨＤＲ圧縮画像から得るようにしている点である。このためＨＤＲ処理部４１とは別に、輝度成分抽出部４４、照明分離フィルタ４５を設けている。
【００６７】
図示のように、輝度成分抽出部４４にはＨＤＲ圧縮画像が供給される。そして輝度成分抽出部４４はＨＤＲ圧縮画像から輝度成分を抽出し、それを照明分離フィルタ４５およびディティール生成部４２に供給する。
照明分離フィルタ５２は、エッジ保存平滑化フィルタ等によって、入力された輝度成分から照明成分を抽出する。そして照明分離フィルタ５２は、抽出した照明成分をディティール生成部４２に供給する。
ディティール生成部４２、ディティール強調部４３の処理は、上述した図３の構成の場合と同様である。また制御部２０の処理として、上述した処理例Ｉ（図５）、II（図７）、III（図８）、IV（図９）が適用できる。
【００６８】
このような構成でも、逆光状態で撮像された際に、絵画調の画像データや、或いは加えて逆光補正された画像データを生成し、記録することができる。
【００６９】
＜８．パーソナルコンピュータでの適用（処理例Ｖ、VI、VII）＞
上述した一連の処理は、ハードウエアにより実行させることもできるし、ソフトウエアにより実行させることもできる。
この場合、例えば、図１１に示されるようなパーソナルコンピュータにおいて、上記の撮像装置１の画像処理が実行されるようにすることもできる。
【００７０】
図１１において、パーソナルコンピュータ７０のＣＰＵ７１は、ＲＯＭ７２に記憶されているプログラム、または記憶部７８からＲＡＭ７３にロードされたプログラムに従って各種の処理を実行する。ＲＡＭ７３にはまた、ＣＰＵ７１が各種の処理を実行する上において必要なデータなども適宜記憶される。
ＣＰＵ７１、ＲＯＭ７２、およびＲＡＭ７３は、バス７４を介して相互に接続されている。このバス７４にはまた、入出力インターフェース７５も接続されている。
【００７１】
入出力インターフェース７５には、キーボード、マウスなどよりなる入力部７６、ＣＲＴ（Cathode Ray Tube）やＬＣＤ（Liquid Crystal Display）などよりなるディスプレイ、並びにスピーカなどよりなる出力部７７、ハードディスクなどより構成される記憶部７８、モデムなどより構成される通信部７９が接続されている。通信部７９は、インターネットを含むネットワークを介しての通信処理を行う。
【００７２】
入出力インターフェース７５にはまた、必要に応じてドライブ８０が接続され、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア８１が適宜装着され、それらから読み出されたコンピュータプログラムが、必要に応じて記憶部７８にインストールされる。
【００７３】
上述した一連の処理をソフトウエアにより実行させる場合には、そのソフトウエアを構成するプログラムが、ネットワークや記録媒体からインストールされる。
【００７４】
この記録媒体は、例えば、図１１に示されるように、装置本体とは別に、ユーザにプログラムを配信するために配布される、プログラムが記録されている磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM（Compact Disc - Read Only Memory）,DVD（Digital Versatile Disc）を含む）、光磁気ディスク（MD（Mini Disc）を含む）、若しくは半導体メモリなどよりなるリムーバブルメディア８１により構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに配信される、プログラムが記録されているＲＯＭ７２や、記憶部７８に含まれるハードディスクなどで構成される。
【００７５】
図１２に、プログラムに従ってＣＰＵ７１が実行する処理例Ｖを示す。この図１２の処理例Ｖは、例えば、或る撮像装置において連続的に撮像された複数の画像、例えば上述の露出アンダー画像、適正露出画像、露出オーバー画像がパーソナルコンピュータ７０の処理対処となった場合に実行できる処理である。
【００７６】
例えば接続された撮像装置から画像データが転送されたり、リムーバブルメディア８１により、画像データが読み込まれたりするなどにより、パーソナルコンピュータ７０に、ブラケット撮像された複数の画像データが取り込まれることで、当該画像データに対する処理が実行可能となる。
取り込まれた画像データに対する処理が実行される場合、ステップＦ３０１でＣＰＵ７１は、まず処理対象の複数の画像データについて解析を行う。ここでは、処理対象の画像データが逆光状態で撮像された画像データであるか否かを判別する。例えば画像データの各画素の輝度値、輝度平均値、重み付け輝度値、画像内の特定領域での輝度値などを用いて判定することができる。
【００７７】
逆光状態でなければ、ＣＰＵ７１はステップＦ３０２からＦ３０３に進んで、そのときの画像処理のプログラムやユーザ設定に応じたが画像処理を実行する。
一方、逆光状態であったら、ＣＰＵ７１はステップＦ３０４でＨＤＲ合成処理を行う。具体的には図６Ａの処理を実行すれば良い。
またＣＰＵ７１はステップＦ３０５で、非写実化処理を実行する。例えば１より十分大きな値のディティール強調量を設定し、その上で図６Ｂの処理を実行する。これにより絵画調の画像処理が実行されることとなる。
そしてステップＦ３０６でＣＰＵ７１は、絵画調の画像に処理された画像データを、記憶部７８等に記憶させる。
【００７８】
この図１２のような処理をＣＰＵ７１が実行することで、逆光状態で撮像された画像データが、絵画調の画像データとされて保存されることになる。これによってユーザは、逆光状態で撮像された画像データについて、非写実的な興味深い画像を自動的に得ることができる。
【００７９】
なお、さらにＣＰＵ７１が逆光補正された画像データも生成し、絵画調の画像データとともに逆光補正された画像データをも記憶部７８等に記憶させるようにしても良い。
これを処理例VIとして図１３に示す。図１３においてステップＦ３０１〜Ｆ３０６は図１２と同様である。
この処理例VIでは、ステップＦ３０６で絵画調の画像データを記録した後、さらにステップＦ３０７，Ｆ３０８を実行する。
【００８０】
ＣＰＵ７１はステップＦ３０７で逆光補正処理を行う。具体的には、小さな値のディティール強調量（例えば１）を設定し、その上で図６Ｂの処理を実行する。ディティール強調量≒１であることで、絵画調の画像とはならず、ＨＤＲ合成処理の画像、即ち逆光補正がされた状態の画像となる。
そしてステップＦ３０８でＣＰＵ７１は、逆光補正された画像データを、記憶部７８等に記憶させる。
【００８１】
この図１３のような処理をＣＰＵ７１が実行することで、逆光状態で撮像された画像データが、絵画調の画像データ及び逆光補正された画像データとされて保存される。これによってユーザは、逆光状態で撮像された画像データについて、非写実的な興味深い画像、及び逆光補正された画像を自動的に得ることができる。
なお、ステップＦ３０５，Ｆ３０６による絵画調の画像データの処理と、ステップＦ３０７，Ｆ３０８の逆光補正された画像データの処理の順序は逆でも良いし、並列的に行われても良い。
【００８２】
さらに処理例VIIを図１４に示す。図１４においてステップＦ３０１〜Ｆ３０６は図１２と同様である。
この処理例VIIでは、ステップＦ３０２で処理対象の画像データが逆光状態ではないと判断された場合にもＨＤＲ処理を行う例である。
即ち逆光状態でなかったら、ＣＰＵ７１はステップＦ３２１でＨＤＲ合成処理を行う。具体的には図６Ａの処理を実行する。
またＣＰＵ７１はステップＦ３２２で、ディティール強調量≒１として図６Ｂの処理を実行する。これは、ＨＤＲ合成処理に係る画像データについての非写実的な画像内容となる画像効果処理を実行しないということになる。
そしてステップＦ３０６でＣＰＵ７１は、処理されたＨＤＲ画像データを、記憶部７８等に記憶させる。
【００８３】
この図１４の処理をＣＰＵ７１が行うことで、処理対象の画像データが逆光状態で撮像されたものであれば、自動的に、絵画調の画像に処理されて記憶される（Ｆ３０４〜Ｆ３０６）。一方、処理対象の画像データが非逆光状態で撮像されたものであれば、自動的に高画質なＨＤＲ画像データとされて保存されることとなる（Ｆ３２１〜Ｆ３０６）。
【００８４】
なお、上述の図１３の処理例VIのように、逆光状態の画像データに対して、絵画調とした画像データと逆光補正された画像データの両方を生成して保存する場合に、図１３のステップＦ３０３に代えて、この図１４のステップＦ３２１→Ｆ３２２→Ｆ３０６の処理を加えるようにすることも考えられる。
【００８５】
＜９．プログラム＞
以上の実施の形態は、撮像装置１やパーソナルコンピュータ７０において、本開示の画像処理装置に相当する構成を備えることで実行される処理について説明した。このような画像処理装置は、ハードウエアやソフトウエアで構成でき、本開示の画像処理装置、画像処理方法は、画像処理を行う各種機器に適用できる。例えば上述の撮像装置やパーソナルコンピュータ以外に、画像再生装置、画像記録装置、ゲーム機器、ビデオ編集機、ＰＤＡ（Personal Digital Assistant）、携帯電話機その他の通信装置などが想定される。
特にソフトウエアとして、本開示のプログラムに基づく演算処理を実行することで、各種機器において上述した処理を実現できる。
【００８６】
即ち本開示の実施の形態のプログラムとは、処理対象とする複数の画像データが、逆光状態での撮像による画像データか否かを判断するステップと、その複数の画像データについてＨＤＲ合成処理を実行させるステップと、複数の画像データが逆光状態での撮像による画像データである場合には、ＨＤＲ合成処理に係る画像データについて非写実的な画像内容となる画像効果処理を実行させるステップとを演算処理装置（ＣＰＵやＤＳＰ（Digital Signal Processor）等）に実行させるプログラムである。
例えば図５，図７，図８，図９，図１２，図１３，図１４に示した各処理ブロックの動作を演算処理装置に実行させるプログラムを画像処理アプリケーションソフトウエアとして提供することで、各種機器において、本開示の画像処理を実現できる。
【００８７】
なお、このようなプログラムは、パーソナルコンピュータ等の機器に内蔵されている記録媒体としてのＨＤＤや、ＣＰＵを有するマイクロコンピュータ内のＲＯＭやフラッシュメモリ等に予め記録しておくことができる。
あるいはまた、フレキシブルディスク、ＣＤ−ＲＯＭ(Compact Disc Read Only Memory)、ＭＯ(Magnet optical)ディスク、ＤＶＤ、ブルーレイディスク、磁気ディスク、半導体メモリ、メモリカードなどのリムーバブル記録媒体に、一時的あるいは永続的に格納（記録）しておくことができる。このようなリムーバブル記録媒体は、いわゆるパッケージソフトウェアとして提供することができる。
また、プログラムは、リムーバブル記録媒体からパーソナルコンピュータ等にインストールする他、ダウンロードサイトから、ＬＡＮ(Local Area Network)、インターネットなどのネットワークを介してダウンロードすることもできる。
【００８８】
なお、コンピュータが実行するプログラムは、図５，図７，図８，図９，図１２，図１３，図１４で説明した順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
【００８９】
＜１０．変形例＞
以上、実施の形態について説明してきたが、本開示の技術は多様な変形例が想定される。
図３，図８の例では、露出条件の異なる３つの画像、即ち露出アンダー画像、適正露出画像、および露出オーバー画像が合成処理部１６に入力され、これらを用いてＨＤＲ処理を行う例としたが、少なくとも露出条件の異なる２つの画像を用いても良い。例えば時間的に連続して撮像された、露出条件の異なる少なくとも２つの画像データとして、露出アンダー画像と露出オーバー画像を合成処理部１６に入力し、合成処理部１６がこれらについてＨＤＲ処理を行う例も考えられる。
また、露出条件の異なる４以上の画像を用いてＨＤＲ処理を行っても良い。
【００９０】
絵画調の画像データを生成するための手法は、上述のディティール強調によるものに限られない。
例えば表現する色の成分を減じたり、各種の表色系の値をまるめるたりするなどにより、画素の色情報を変更するような手法もある。
【００９１】
また上述した各構成例、処理例では、ＨＤＲ合成した画像データに対してディティール強調を行って画像効果を与えるものとしたが、合成前にディティール強調等により画像効果を与える構成例・処理例も考えられる。例えば露出アンダー画像、適正露出画像、露出オーバー画像の全部又は一部に対してディティール強調を行って、その後にＨＤＲ処理を行うようにするなどである。
【００９２】
なお本技術は以下のような構成も採ることができる。
（１）画像効果処理及び複数の画像データの合成処理を実行する合成処理部と、
上記複数の画像データが、逆光状態での撮像による画像データか否かを判断し、逆光状態での撮像による画像データである場合に、上記合成処理部に、上記合成処理に係る画像データについて非写実的な画像内容となる画像効果処理を実行させる制御部と、
を備えた画像処理装置。
（２）上記制御部は、
上記複数の画像データが逆光状態での撮像による画像データである場合には、さらに、上記合成処理部に、上記合成処理に係る画像データについて逆光補正となる画像効果処理を実行させる上記（１）に記載の画像処理装置。
（３）上記合成処理部は、上記複数の画像データの１つ、もしくは合成処理後の画像データの輝度成分及び照明成分から、反射率成分を抽出し、該反射率成分を用いて合成処理後の画像データについての画像効果処理を実行するとともに、
上記制御部は、上記反射率成分の強調量の設定により、上記合成処理部に非写実的な画像内容となる画像効果処理を実行させる上記（１）又は（２）に記載の画像処理装置。
（４）上記合成処理部は、上記複数の画像データの１つ、もしくは合成処理後の画像データの輝度成分及び照明成分から、反射率成分を抽出し、該反射率成分を用いて合成処理後の画像データについての画像効果処理を実行するとともに、
上記制御部は、上記反射率成分の強調量の設定により、上記合成処理部に逆光補正となる画像効果処理を実行させる上記（２）又は（３）に記載の画像処理装置。
（５）上記制御部は、
上記複数の画像データが非逆光状態での撮像による画像データである場合には、上記合成処理部に対し、上記合成処理に係る画像データについての非写実的な画像内容となる画像効果処理を実行しないように制御する上記（１）乃至（４）のいずれかに記載の画像処理装置。
（６）上記複数の画像データは、時間的に連続して撮像された、露出条件の異なる少なくとも２以上の画像データであり、
上記合成処理部は、上記合成処理として、上記複数の画像データの１つの照明成分を用いて上記２以上の画像データの合成を行う上記（１）乃至（５）のいずれかに記載の画像処理装置。
（７）上記複数の画像データは、時間的に連続して撮像された、露出条件が露出過多、適正露出、露出不足となる少なくとも３以上の画像データであり、
上記合成処理部は、上記合成処理として、上記複数の画像データの１つの照明成分を用いて上記３以上の画像データの合成を行う上記（１）乃至（５）のいずれかに記載の画像処理装置。
【符号の説明】
【００９３】
１ 撮像装置、１６ 合成処理部、２０ 制御部、４１ ＨＤＲ処理部、４２ ディティール生成部、４３ ディティール強調部、５１ 輝度成分抽出部、５２ 照明分離フィルタ、５３ ＨＤＲ圧縮処理部、６１ 除算部、６２ 乗算部、６３ 加算部、６４ 減算部
【特許請求の範囲】
【請求項１】
画像効果処理及び複数の画像データの合成処理を実行する合成処理部と、
上記複数の画像データが、逆光状態での撮像による画像データか否かを判断し、逆光状態での撮像による画像データである場合に、上記合成処理部に、上記合成処理に係る画像データについて非写実的な画像内容となる画像効果処理を実行させる制御部と、
を備えた画像処理装置。
【請求項２】
上記制御部は、
上記複数の画像データが逆光状態での撮像による画像データである場合には、さらに、上記合成処理部に、上記合成処理に係る画像データについて逆光補正となる画像効果処理を実行させる請求項１に記載の画像処理装置。
【請求項３】
上記合成処理部は、上記複数の画像データの１つ、もしくは合成処理後の画像データの輝度成分及び照明成分から、反射率成分を抽出し、該反射率成分を用いて合成処理後の画像データについての画像効果処理を実行するとともに、
上記制御部は、上記反射率成分の強調量の設定により、上記合成処理部に非写実的な画像内容となる画像効果処理を実行させる請求項１に記載の画像処理装置。
【請求項４】
上記合成処理部は、上記複数の画像データの１つ、もしくは合成処理後の画像データの輝度成分及び照明成分から、反射率成分を抽出し、該反射率成分を用いて合成処理後の画像データについての画像効果処理を実行するとともに、
上記制御部は、上記反射率成分の強調量の設定により、上記合成処理部に逆光補正となる画像効果処理を実行させる請求項２に記載の画像処理装置。
【請求項５】
上記制御部は、
上記複数の画像データが非逆光状態での撮像による画像データである場合には、上記合成処理部に対し、上記合成処理に係る画像データについての非写実的な画像内容となる画像効果処理を実行しないように制御する請求項１に記載の画像処理装置。
【請求項６】
上記複数の画像データは、時間的に連続して撮像された、露出条件の異なる少なくとも２以上の画像データであり、
上記合成処理部は、上記合成処理として、上記複数の画像データの１つの照明成分を用いて上記２以上の画像データの合成を行う請求項１に記載の画像処理装置。
【請求項７】
上記複数の画像データは、時間的に連続して撮像された、露出条件が露出過多、適正露出、露出不足となる少なくとも３以上の画像データであり、
上記合成処理部は、上記合成処理として、上記複数の画像データの１つの照明成分を用いて上記３以上の画像データの合成を行う請求項１に記載の画像処理装置。
【請求項８】
処理対象とする複数の画像データが、逆光状態での撮像による画像データか否かを判断するステップと、
上記複数の画像データについて合成処理を行うステップと、
上記複数の画像データが逆光状態での撮像による画像データである場合には、上記合成処理に係る画像データについて非写実的な画像内容となる画像効果処理を実行するステップと、
を備えた画像処理方法。
【請求項９】
処理対象とする複数の画像データが、逆光状態での撮像による画像データか否かを判断するステップと、
上記複数の画像データについて合成処理を実行させるステップと、
上記複数の画像データが逆光状態での撮像による画像データである場合には、上記合成処理に係る画像データについて非写実的な画像内容となる画像効果処理を実行させるステップと、
を演算処理装置に実行させるプログラム。
【請求項１】
画像効果処理及び複数の画像データの合成処理を実行する合成処理部と、
上記複数の画像データが、逆光状態での撮像による画像データか否かを判断し、逆光状態での撮像による画像データである場合に、上記合成処理部に、上記合成処理に係る画像データについて非写実的な画像内容となる画像効果処理を実行させる制御部と、
を備えた画像処理装置。
【請求項２】
上記制御部は、
上記複数の画像データが逆光状態での撮像による画像データである場合には、さらに、上記合成処理部に、上記合成処理に係る画像データについて逆光補正となる画像効果処理を実行させる請求項１に記載の画像処理装置。
【請求項３】
上記合成処理部は、上記複数の画像データの１つ、もしくは合成処理後の画像データの輝度成分及び照明成分から、反射率成分を抽出し、該反射率成分を用いて合成処理後の画像データについての画像効果処理を実行するとともに、
上記制御部は、上記反射率成分の強調量の設定により、上記合成処理部に非写実的な画像内容となる画像効果処理を実行させる請求項１に記載の画像処理装置。
【請求項４】
上記合成処理部は、上記複数の画像データの１つ、もしくは合成処理後の画像データの輝度成分及び照明成分から、反射率成分を抽出し、該反射率成分を用いて合成処理後の画像データについての画像効果処理を実行するとともに、
上記制御部は、上記反射率成分の強調量の設定により、上記合成処理部に逆光補正となる画像効果処理を実行させる請求項２に記載の画像処理装置。
【請求項５】
上記制御部は、
上記複数の画像データが非逆光状態での撮像による画像データである場合には、上記合成処理部に対し、上記合成処理に係る画像データについての非写実的な画像内容となる画像効果処理を実行しないように制御する請求項１に記載の画像処理装置。
【請求項６】
上記複数の画像データは、時間的に連続して撮像された、露出条件の異なる少なくとも２以上の画像データであり、
上記合成処理部は、上記合成処理として、上記複数の画像データの１つの照明成分を用いて上記２以上の画像データの合成を行う請求項１に記載の画像処理装置。
【請求項７】
上記複数の画像データは、時間的に連続して撮像された、露出条件が露出過多、適正露出、露出不足となる少なくとも３以上の画像データであり、
上記合成処理部は、上記合成処理として、上記複数の画像データの１つの照明成分を用いて上記３以上の画像データの合成を行う請求項１に記載の画像処理装置。
【請求項８】
処理対象とする複数の画像データが、逆光状態での撮像による画像データか否かを判断するステップと、
上記複数の画像データについて合成処理を行うステップと、
上記複数の画像データが逆光状態での撮像による画像データである場合には、上記合成処理に係る画像データについて非写実的な画像内容となる画像効果処理を実行するステップと、
を備えた画像処理方法。
【請求項９】
処理対象とする複数の画像データが、逆光状態での撮像による画像データか否かを判断するステップと、
上記複数の画像データについて合成処理を実行させるステップと、
上記複数の画像データが逆光状態での撮像による画像データである場合には、上記合成処理に係る画像データについて非写実的な画像内容となる画像効果処理を実行させるステップと、
を演算処理装置に実行させるプログラム。
【図１】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図２】
【公開番号】特開２０１２−２４９２５６（Ｐ２０１２−２４９２５６Ａ）
【公開日】平成２４年１２月１３日（２０１２．１２．１３）
【国際特許分類】
【出願番号】特願２０１１−１２１８４３（Ｐ２０１１−１２１８４３）
【出願日】平成２３年５月３１日（２０１１．５．３１）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
【公開日】平成２４年１２月１３日（２０１２．１２．１３）
【国際特許分類】
【出願日】平成２３年５月３１日（２０１１．５．３１）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
[ Back to top ]