画像処理装置、画像処理方法、撮像装置、および画像処理プログラム
【課題】画像中で注目領域に写る主要被写体がより際立って見える画像を生成可能とする。
【解決手段】画像処理装置１００は、処理対象の画像データである元画像データを取得する画像データ取得部１０２と、元画像データを解析し、元画像データ中の主要被写体を含む部分領域である主要部と、元画像データ中の前記主要部以外の部分領域である周辺部とを設定する領域設定部１０４と、主要部における彩度の情報と空間周波数の情報のいずれか、または両方の情報に基づいて、元画像データの補正の要否を判定する画像処理実行判定部１０６と、画像処理実行判定部１０６により元画像データの補正が必要であると判定された場合、主要部の画像が相対的に際立つように、周辺部の画像に対して低減処理をする補正画像データ生成部１０８とを備える。低減処理により、周辺部の画像の明るさ、コントラスト、および彩度のうち、少なくともいずれかが低下させられる。
【解決手段】画像処理装置１００は、処理対象の画像データである元画像データを取得する画像データ取得部１０２と、元画像データを解析し、元画像データ中の主要被写体を含む部分領域である主要部と、元画像データ中の前記主要部以外の部分領域である周辺部とを設定する領域設定部１０４と、主要部における彩度の情報と空間周波数の情報のいずれか、または両方の情報に基づいて、元画像データの補正の要否を判定する画像処理実行判定部１０６と、画像処理実行判定部１０６により元画像データの補正が必要であると判定された場合、主要部の画像が相対的に際立つように、周辺部の画像に対して低減処理をする補正画像データ生成部１０８とを備える。低減処理により、周辺部の画像の明るさ、コントラスト、および彩度のうち、少なくともいずれかが低下させられる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理の技術に関し、さらに詳しくは、撮影装置等の画像入力機器で生成された画像の見栄えを改善可能な画像処理の技術に関する。
【背景技術】
【０００２】
撮影して得られた画像の見栄えを改善する方法として、彩度やコントラストを補正して、鮮鋭感のある画像を得る方法がある。特許文献１には、画像をいくつかの領域に分割し、その中で彩度レベルが最も大きい領域の彩度レベルを基に彩度補正を行う技術が開示される。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０００−２２４６０７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
一般的には、撮影して得られた画像を観察する際、主要被写体を含む注目領域が際立っていることが好まれる。つまり、注目領域と、注目領域以外の、非注目領域とを対比した場合に、注目領域の画像特徴が、非注目領域の画像特徴よりも強い印象を与える画像が得られることが望ましい。
【０００５】
特許文献１に開示される技術は、ビルディングの壁等、彩度が本来あまり高くはない被写体が写っている領域の彩度が過度に高められることが無いようにすることを目的としている。このため、必ずしも注目領域の画像特徴が非注目領域の画像特徴よりも強い印象を与えるようには補正されない場合がある。その結果、注目領域以外の領域が際立ってしまう場合がある。
【０００６】
本発明は、上記の課題に鑑みてなされたものであり、画像中で注目領域に写る主要被写体がより際立って見える画像を生成可能とする技術を提供することを目的とする。
【課題を解決するための手段】
【０００７】
本発明の第１の態様によれば、処理対象の画像データである元画像データを取得し、前記元画像データに補正処理を行う画像処理装置が、
前記元画像データを取得する画像データ取得部と、
前記元画像データを解析し、前記元画像データ中の主要被写体を含む部分領域である主要部と、前記元画像データ中の前記主要部以外の部分領域である周辺部とを設定する領域設定部と、
前記主要部における彩度の情報と空間周波数の情報のいずれか、または両方の情報に基づいて、前記元画像データの補正の要否を判定する画像処理実行判定部と、
前記画像処理実行判定部により前記元画像データの補正が必要であると判定された場合、前記主要部の画像が相対的に際立つように、前記周辺部の画像に対して低減処理をする補正画像データ生成部であって、前記周辺部の画像の明るさ、コントラスト、および彩度のうち、少なくともいずれかが低下するように前記低減処理をする、補正画像データ生成部とを備える。
【０００８】
本発明の第２の態様によれば、処理対象の画像データである元画像データに補正処理を行う画像処理方法が、
前記元画像データを取得する画像データ取得手順と、
前記元画像データを解析し、前記元画像データ中の主要被写体を含む部分領域である主要部と、前記元画像データ中の前記主要部以外の部分領域である周辺部とを設定する領域設定手順と、
前記主要部における彩度の情報と空間周波数の情報のいずれか、または両方の情報に基づいて、前記元画像データの補正の要否を判定する画像処理実行判定手順と、
前記画像処理実行判定手順により前記元画像データの補正が必要であると判定された場合、前記主要部の画像が相対的に際立つように、前記周辺部の画像に対して低減処理をする補正画像データ生成手順であって、前記周辺部の画像の明るさ、コントラスト、および彩度のうち、少なくともいずれかが低下するように前記低減処理をする、補正画像データ生成手順と
を備える。
【０００９】
本発明の第３の態様によれば、撮影レンズによって形成された被写体像を光電変換して画像信号を出力可能な撮像素子を備える撮像装置が、
前記撮像素子から出力される前記画像信号から生成された画像データを元画像データとして取得する画像データ取得部と、
前記元画像データを解析し、前記元画像データ中の主要被写体を含む部分領域である主要部と、前記元画像データ中の前記主要部以外の部分領域である周辺部とを設定する領域設定部と、
前記主要部における彩度の情報と空間周波数の情報のいずれか、または両方の情報に基づいて、前記元画像データの補正の要否を判定する画像処理実行判定部と、
前記画像処理実行判定部により前記元画像データの補正が必要であると判定された場合、前記主要部の画像が相対的に際立つように、前記周辺部の画像に対して低減処理をする補正画像データ生成部であって、前記周辺部の画像の明るさ、コントラスト、および彩度のうち、少なくともいずれかが低下するように前記低減処理をする、補正画像データ生成部と
を備える。
【００１０】
本発明の第４の態様によれば、処理対象の画像データである元画像データを補正する処理をコンピュータに実行させるための画像処理プログラムが、
前記元画像データを取得する画像データ取得ステップと、
前記元画像データを解析し、前記元画像データ中の主要被写体を含む部分領域である主要部と、前記元画像データ中の前記主要部以外の部分領域である周辺部とを設定する領域設定ステップと、
前記主要部における彩度の情報と空間周波数の情報のいずれか、または両方の情報に基づいて、前記元画像データの補正の要否を判定する画像処理実行判定ステップと、
前記画像処理実行判定ステップにより前記元画像データの補正が必要であると判定された場合、前記主要部の画像が相対的に際立つように、前記周辺部の画像に対して低減処理をする補正画像データ生成ステップであって、前記周辺部の画像の明るさ、コントラスト、および彩度のうち、少なくともいずれかが低下するように前記低減処理をする、補正画像データ生成ステップと
を備える。
【発明の効果】
【００１１】
本発明によれば、画像中の主要部分が周辺部分に比べて際立って見えるようになり、それにより全体として見栄えのする画像を得ることが可能となる。
【図面の簡単な説明】
【００１２】
【図１】画像処理装置の内部構成を概略的に説明するブロック図である。
【図２】画像処理装置が撮像装置に組み込まれる例を説明するブロック図である。
【図３】画像処理プログラムを実行するコンピュータによって画像処理装置が実現される例を説明するブロック図である。
【図４】処理対象の画像の一例を示す図であり、主要被写体の写る部分を含む主要部と、主要部以外の部分である周辺部とが設定される様子を概念的に示す図である。
【図５】第１の実施の形態の画像処理装置により実行される画像処理の手順を説明するフローチャートである。
【図６】図５のフローチャートで示される処理中で行われる画像処理実行判定の処理手順をより詳細に説明するフローチャートである。
【図７】空間周波数のヒストグラムを生成して画像を解析する方法を概念的に説明する図である。
【図８】周辺部の画像に対して低減処理を行う際の処理パラメータを、周辺部の彩度、周辺部の明るさ、周辺部のコントラストに基づいて設定する例を説明する図である。
【図９】主要部からの距離に応じて主要度を設定する例を概念的に説明する図である。
【図１０】周辺部の画像を解析した結果に基づいて主要度を増加させる例を説明する図である。
【図１１】元画像データと処理後一時画像データとを合成する際の画像混合比率を主要度に基づいて変化させる例を説明する図である。
【図１２】第１の実施の形態の画像処理装置により元画像データから補正画像データが生成される際の手順を概念的に説明する図である。
【図１３】第２の実施の形態の画像処理装置により実行される画像処理の手順を説明するフローチャートである。
【図１４】第２の実施の形態の画像処理装置により元画像データから補正画像データが生成される際の手順を概念的に説明する図である。
【図１５】第３の実施の形態の画像処理装置により実行される画像処理の手順を説明するフローチャートである。
【図１６】第３の実施の形態の画像処理装置により元画像データから補正画像データが生成される際の手順を概念的に説明する図である。
【図１７】第４の実施の形態の画像処理装置により実行される画像処理の手順を説明するフローチャートである。
【図１８】第４の実施の形態の画像処理装置により元画像データから補正画像データが生成される際の手順を概念的に説明する図である。
【図１９】様々なヒストグラムを有する画像に対して強調処理をする前、強調処理をした後のヒストグラムが変化する例を説明する図である。
【図２０】主要部の画像データに対して強調処理を行う際の処理パラメータを、主要部の画像データを解析した結果に基づいて設定する例を説明する図である。
【図２１】第１の実施の形態で説明した低減処理に加えて強調処理も行い、補正画像データを生成する際の処理手順を概念的に説明する図である。
【図２２】第２の実施の形態で説明した低減処理に加えて強調処理も行い、補正画像データを生成する際の処理手順を概念的に説明する図である。
【図２３】第３の実施の形態で説明した低減処理に加えて強調処理も行い、補正画像データを生成する際の処理手順を概念的に説明する図である。
【図２４】第４の実施の形態で説明した低減処理に加えて強調処理も行い、補正画像データを生成する際の処理手順を概念的に説明する図である。
【発明を実施するための形態】
【００１３】
図１は、本発明の実施の形態に係る画像処理装置１００の概略的構成を説明するブロック図である。画像処理装置１００は、画像データ取得部１０２と、領域設定部１０４と、画像処理実行判定部１０６と、補正画像データ生成部１０８とを備える。
【００１４】
画像データ取得部１０２は、画像処理装置１００で処理される対象の画像データを取得する。この画像データは、静止画の画像データであっても、動画の画像データであってもよい。取得した画像データが静止画の画像データである場合、画像処理装置１００は取得した一つのフレームの画像データに対して処理を行う。取得する画像データが一連の複数フレームからなる動画像データである場合、画像処理装置１００は取得した一連の複数フレームの画像それぞれに対して処理を行う。
【００１５】
領域設定部１０４は、画像データ取得部１０２で取得した、処理対象の画像データ（以下ではこの画像データを元画像データと称する）を解析し、この元画像データ中で主要被写体が写っている部分を含む領域である主要部と、同じく元画像データ中の主要部以外の領域である周辺部とを設定する。
【００１６】
画像処理実行判定部１０６は、元画像データ中、主要部に対応する部分の画像データを解析し、この主要部に対応する部分の画像データの彩度の情報と空間周波数の情報のいずれか、または両方の情報に基づいて、元画像データの補正の要否を判定する。
【００１７】
補正画像データ生成部１０８は、画像処理実行判定部１０６において元画像データの補正が必要と判定された場合、元画像データ処理して補正画像データを生成する。このとき補正画像データ生成部１０８は、周辺部の画像に対して低減処理を行う。低減処理とは、周辺部の画像の明るさ、コントラスト、および彩度のうち、少なくともいずれかが低下するようにして、結果として主要部の画像が相対的に際立つようにする処理である。
【００１８】
補正画像データ生成部１０８での処理は、元画像データがどのような表色系のデータであるか等に応じて様々なものとすることが可能である。例えば、元画像データがＲＧＢの色空間で規定されるものである場合、Ｒ、Ｇ、Ｂの各色座標値を補正する処理を行うことが可能である。また、元画像データがＹＣｂＣｒの色空間で規定されるものである場合、輝度Ｙの色座標値のみを補正しても、色相および彩度を規定するＣｂおよびＣｒの色座標値のみを補正してもよい。元画像データがＬａｂの色空間で規定されるものである場合も同様で、明度Ｌの色座標値のみを補正しても、色相および彩度を規定するａおよびｂの色座標値のみを補正してもよい。
【００１９】
なお、画像データ中の各画素の明るさを定義するものとして輝度および明度がある。輝度は、人の比視感度を加味して（人の眼に知覚される明るさを尺度として）その値が定められる一方、明度は比視感度を加味しない、物理的強度を尺度としてその値が定められるのが一般的である。本明細書においては、これらの輝度および明度を区別する必要がない場合、「明るさ」、あるいは「輝度または明度」という表現を用いる。また、画像データ中の各画素の明るさ（輝度または明度）を規定する情報を本明細書では「明度情報」と称する。
【００２０】
画像処理装置１００には、画像記録部１６０や画像表示部１５０等が接続されていてもよい。その場合、補正画像データ生成部１０８で生成された補正画像データは、必要に応じて画像記録部１６０に記録することが可能となる。あるいは、補正画像データに基づく画像を画像表示部１５０に表示することも可能である。
【００２１】
画像処理装置１００は、デジタルスチルカメラ、デジタルムービーカメラ等の画像入力装置内に備えられたものとすることが可能である。あるいは、記録媒体に記録された画像処理プログラムと、この画像処理プログラムを実行するコンピュータとによって画像処理装置１００としての機能を実装可能である。
【００２２】
図２は、デジタルスチルカメラ、デジタルムービーカメラ等のデジタルカメラ２００に画像処理装置１００が実装される例を示すブロック図である。デジタルカメラ２００は、撮影光学系２１０と、レンズ駆動部２１２と、撮像部２２０と、アナログ・フロントエンド（図２中では「ＡＦＥ」と表記される）２２２と、画像記録媒体２３０と、操作部２４０と、表示部２５０と、記憶部２６０と、ＣＰＵ２７０と、デジタル信号処理装置（以下、ＤＳＰと称する）２９０と、システムバス２８０とを備える。記憶部２６０は、ＲＯＭ２６２とＲＡＭ２６４とを備える。本実施の形態において、画像処理装置１００はＤＳＰ２９０に備えられる一つの機能として実装されるものとして説明をする。
【００２３】
レンズ駆動部２１２、撮像部２２０、アナログ・フロントエンド２２２、画像記録媒体２３０、操作部２４０、表示部２５０、記憶部２６０、ＣＰＵ２７０、画像処理装置１００は、システムバス２８０を介して電気的に接続される。ＲＡＭ２６４は、ＣＰＵ２７０およびＤＳＰ２９０の双方からアクセス可能に構成される。
【００２４】
撮影光学系２１０は、被写体像を撮像部２２０の受光エリア上に形成する。レンズ駆動部２１２は、撮影光学系２１０内の焦点調節用レンズを駆動する。また、撮影光学系２１０が可変焦点距離光学系である場合には、撮影光学系２１０内のレンズ（レンズ群）がレンズ駆動部２１２によって駆動されて焦点距離を変更することが可能に構成されていてもよい。
【００２５】
撮像部２２０は、受光エリア上に形成される被写体像を光電変換してアナログ画像信号を生成する。このアナログ画像信号はアナログ・フロントエンド２２２に入力される。アナログ・フロントエンド２２２は、撮像部２２０から入力した画像信号にノイズ低減、増幅、Ａ／Ｄ変換等の処理をしてデジタル画像信号を生成する。このデジタル画像信号は、ＲＡＭ２６４に一時的に記憶される。
【００２６】
ＤＳＰ２９０は、ＲＡＭ２６４に一時的に記憶されたデジタル画像信号に対してデモザイク、階調変換、色バランス補正、シェーディング補正、ノイズ低減等のさまざまなデジタル信号処理を施して画像データを生成する。この画像データは、必要に応じて画像記録媒体２３０に記録される。また、画像データに基づく画像が表示部２５０に表示される。画像処理装置１００は、上記のように生成された画像データを元画像データとして、以上で概略的に説明した補正画像データを生成する処理を行う。
【００２７】
画像記録媒体２３０は、フラッシュメモリや磁気記録装置等で構成され、デジタルカメラ２００に対して着脱可能に装着される。なお、画像記録媒体２３０はデジタルカメラ２００に内蔵されていてもよい。その場合、ＲＯＭ２６２内に画像データ記録のための領域を確保することが可能である。
【００２８】
操作部２４０は、プッシュスイッチ、スライドスイッチ、ダイヤルスイッチ、タッチパネル等のうち、いずれか一種類または複数種類を備え、ユーザの操作を受け付け可能に構成される。表示部２５０は、ＴＦＴ液晶表示パネルとバックライト装置、あるいは有機ＥＬ表示素子等の自発光式表示素子を備え、画像や文字等の情報を表示可能に構成される。なお、表示部２５０は表示インターフェースを備えていて、ＲＡＭ２６４上に設けられるＶＲＡＭ領域内に書き込まれる画像データを表示インターフェースが読み出して画像や文字等の情報を表示部２５０に表示するものとする。
【００２９】
ＲＯＭ２６２は、フラッシュメモリ等で構成され、ＣＰＵ２７０により実行される制御プログラム（ファームウェア）や、調整パラメータ、あるいはデジタルカメラ２００に電力が供給されない状態でも保持する必要のある情報等が記憶される。ＲＡＭ２６４は、ＳＤＲＡＭ等で構成され、比較的高速のアクセス速度を有する。ＣＰＵ２７０は、ＲＯＭ２６２からＲＡＭ２６４に転送されたファームウェアを解釈・実行してデジタルカメラ２００の動作を統括的に制御する。
【００３０】
デジタルカメラ２００は静止画撮影モードで動作しても、動画像撮影モードで動作してもよい。デジタルカメラ２００が静止画撮像モードで動作する場合、一回の撮影動作に応じて生成される一つの静止画像データに対応して画像処理装置１００は補正画像データを生成する処理を行う。一方、デジタルカメラ２００が動画像撮影モードで動作する場合、撮影動作中に生成される一連の複数フレームの動画像データそれぞれに対応して画像処理装置１００は一連の複数フレームの補正画像データを生成する処理を行う。
【００３１】
図３は、記録媒体に記録された画像処理プログラムがコンピュータのＣＰＵにより読み出されて実行され、画像処理装置としての機能が実装される例を説明するブロック図である。コンピュータ３００は、ＣＰＵ３１０と、メモリ３２０と、補助記憶装置３３０とインターフェース３４０と、メモリカードインターフェース３５０と、光ディスクドライブ３６０と、ネットワークインターフェース３７０と、表示装置３８０とを備える。ＣＰＵ３１０と、メモリカードインターフェース３５０と、光ディスクドライブ３６０と、ネットワークインターフェース３７０と、表示装置３８０とはインターフェース３４０を介して電気的に接続される。
【００３２】
メモリ３２０は、ＤＤＲ ＳＤＲＡＭ等の、比較的高速のアクセス速度を有するメモリである。補助記憶装置３３０は、ハードディスクドライブ、あるいはソリッドステートドライブ（ＳＳＤ）等で構成され、比較的大きな記憶容量を有する。
【００３３】
メモリカードインターフェース３５０は、メモリカードＭＣを着脱自在に装着可能に構成される。デジタルカメラ等で撮影動作が行われて生成され、メモリカードＭＣ内に記憶された画像データは、このメモリカードインターフェース３５０を介してコンピュータ３００内に読み込むことができる。また、コンピュータ３００内の画像データをメモリカードＭＣに書き込むこともできる。
【００３４】
光ディスクドライブ３６０は、光ディスクＯＤからデータを読み取ることが可能に構成される。光ディスクドライブ３６０はまた、必要に応じて光ディスクＯＤにデータを書き込むことが可能に構成されていてもよい。
【００３５】
ネットワークインターフェース３７０は、ネットワークＮＷを介して接続されるサーバ等の外部情報処理装置とコンピュータ３００との間で情報を授受可能に構成される。
【００３６】
画像処理装置１００は、メモリ３２０上にロードされた画像処理プログラムをＣＰＵ３１０が解釈・実行することにより実現される。この画像処理プログラムは、メモリカードＭＣや光ディスクＯＤ等の記録媒体に記録されてコンピュータ３００のユーザに頒布される。あるいは、ネットワークＮＷを介して、サーバ等の外部情報処理装置から画像処理プログラムをダウンロードすることも可能である。この画像処理プログラムは、いわゆるフォトレタッチソフト中で呼び出される一つの機能として実現されてもよい。
【００３７】
コンピュータ３００上では静止画像データを処理するプログラムが実行されていても、動画像データを処理するプログラムが実行されていてもよい。上記のいずれのプログラムが実行されている場合であっても、メモリカードＭＣ、光ディスクＯＤ、補助記憶装置３３０のいずれかから読み出された静止画像データまたは一連の複数フレームの動画像データに対応して画像処理装置１００は一つの補正画像データまたは一連の複数フレームの補正画像データを生成する処理を行うことが可能である。
【００３８】
以下では、取得した元画像データに対応して図１に示される画像処理装置１００が補正画像データを生成する例について、いくつかの実施の形態で説明する。
【００３９】
− 第１の実施の形態 −
図４は、画像データ取得部１０２が取得した元画像データに基づく画像の一例を示す図である。領域設定部１０４は、元画像データを解析し、この元画像データ中で主要被写体が写っている部分を含む領域である主要部と、同じく元画像データ中の主要部以外の領域である周辺部とを設定する。図４に示される例では、画面左下部分に写っている木が主要被写体と判定されて、この木が写っている部分を含む領域が主要部として設定されるものとする。このとき、主要部以外の部分が周辺部として設定される。領域設定部１０４はまた、近傍領域を設定する。近傍領域は、主要部の近傍（所定の距離範囲内）に位置する領域であって、主要部を取り囲む周りの領域である。
【００４０】
図５は、画像処理装置１００で実行される画像処理の手順を説明するフローチャートである。画像処理装置１００は、Ｓ５００において画像データを取得する。この処理が画像データ取得部１０２での処理に相当する。取得した画像データは元画像データである。
【００４１】
Ｓ５０２において画像処理装置１００は、元画像データを解析して主要部、周辺部を設定する処理をする。この処理が領域設定部１０４での処理に相当する。領域設定部１０４による処理は、既によく知られている様々な方法を用いて行うことが可能である。例えば、元画像データ中の各画素の色と位置とを解析し、それらの類似度を基に、判定対象領域、すなわち主要部であるか否かの判定を行う対象の領域をいくつか抽出し、それらの判定対象領域の中から、判定対象領域の大きさや彩度の高さ等に基づいて主要部を選択することが可能である。
【００４２】
Ｓ５０４において画像処理装置１００は、主要部の画像を解析し、補正画像データを生成する処理を行うか否かを判定する処理を行う。この処理が画像処理実行判定部１０６での処理に相当する。画像処理実行判定部１０６による処理は、例えば以下のように行われる。すなわち、主要部の画像を解析して、画像特徴量を導出し、この画像特徴量をもとに、主要部の画像が補正処理の十分な効果を得ることのできるものであるかを判定する。例えば、画像処理装置１００は、画像特徴量として、主要部の色情報、空間周波数の情報、エッジ情報を抽出する。
【００４３】
色情報とは、主要部の画像を評価する際に参照される情報である。例えば、ＲＧＢ画像データをＹＣｂＣｒ、Ｌａｂ、あるいはＨＳＬ等の色空間の画像データに変換し、Ｃｂ、Ｃｒの値やａ、ｂの値、あるいはＳの値から抽出される彩度の情報を色情報とすることができる。ところで、色情報としては、彩度以外に、主要部の明るさを評価可能な情報を含んでいてもよい。その場合、上記ＹＣｂＣｒ、ＬａｂあるいはＨＳＬ等の色空間の画像データからＹの値やＬの値を抽出することも可能である。このように、色情報としては彩度や明るさを評価可能な情報としてもよいが、以下では色情報が主要部の画像を彩度で評価するための情報であるものとして説明をする。
【００４４】
空間周波数の情報とは、主要部の画像中に含まれる空間周波数成分に関連する情報である。つまり、主要部の画像が、どの程度細かいテクスチャを有しているかを評価する情報である。
【００４５】
図６は、画像処理装置１００により実行されるＳ５０４の処理を、より詳細に説明するフローチャートである。Ｓ６００において画像処理装置１００は、Ｓ５０２で設定された主要部の画像を抽出する。画像処理装置１００はＳ６０２において、Ｓ６００で抽出された画像を例えばＹＣｂＣｒの色空間の画像データに変換し、ＣｂおよびＣｒのデータ、すなわち彩度のデータを抽出する。そして、主要部の彩度が第１閾値未満であるか否かを判定する。Ｓ６０２の判定が肯定されるとＳ６０４に進む一方、否定されるとＳ６０６に進む。第１閾値は、デフォルト値として予め設定されていてもよいし、ユーザが適宜変更可能に構成されていてもよい。
【００４６】
Ｓ６０２での判定が否定された場合の分岐先であるＳ６０６において画像処理装置１００は、Ｓ６００で抽出された画像を解析して空間周波数評価値を導出する。この空間周波数評価値は、主要部の画像が全体としてどの程度細かいテクスチャを有しているかを評価するためのものである。図７は、主要部の画像を解析して、画像中に含まれる空間周波数成分をヒストグラム化した様子を概念的に示すグラフである。横軸には空間周波数が、縦軸には頻度がとられている。例えば、主要部の画像を比較的小さな矩形等の多角形でメッシュ分割し、分割された領域（分割領域）ごとに二次元フーリエ変換の処理を施すと、各分割領域に対応する空間周波数成分を求めることができる。求められたこれらの空間周波数成分をもとに、図７に例示されるようなヒストグラムを生成することができる。
【００４７】
上述した空間周波数のヒストグラムから、所定の空間周波数Ｕよりも高い空間周波数の領域Ｒ ｈｉｇｈの面積と、低い空間周波数の領域Ｒ ｌｏｗの面積とを求める。これらＲ ｈｉｇｈおよびＲ ｌｏｗの値を基に、（Ｒ ｈｉｇｈ／（Ｒ ｈｉｇｈ＋Ｒ ｌｏｗ））、あるいは（Ｒ ｈｉｇｈ／Ｒ ｌｏｗ）といった式を用いて空間周波数評価値を導出することが可能となる。主要部の画像中で、より細かいテクスチャの領域がより多く分布するほど、空間周波数評価値は大きくなる。画像処理装置１００は、このようにして導出された空間周波数評価値が第２閾値以上であるか否かをＳ６０６で判定し、肯定されるとＳ６０４に進む一方、否定されるとＳ６０８に進む。第２閾値は、第１閾値と同様に、デフォルト値として予め設定されていてもよいし、ユーザが適宜変更可能に構成されていてもよい。
【００４８】
Ｓ６０２またはＳ６０６での判定が肯定された場合の分岐先であるＳ６０４において画像処理装置１００は、画像処理を行う決定をし、リターンする。一方、Ｓ６０２およびＳ６０６での判定が共に否定された場合の分岐先であるＳ６０８において画像処理装置１００は、画像処理を行わない決定をしてリターンする。
【００４９】
再び図５を参照して説明すると、Ｓ５０４での上述した判定処理結果を受け、画像処理装置１００はＳ５０６において、画像処理を行うか行わないかの判定をする。Ｓ５０６の判定が、肯定されるとＳ５０８に進み、否定されると画像処理は行わずに図５の処理を終える。
【００５０】
Ｓ５０６での判定が肯定されると、画像処理装置１００はＳ５０８からＳ５１６までの処理を行う。第１の実施の形態において、これらＳ５０８からＳ５１６までの一連の処理が補正画像データ生成部１０８による処理に相当する。
【００５１】
画像処理装置１００はＳ５０８において、画像処理パラメータを設定する。この画像処理パラメータの設定方法について、図８を参照して説明する。図８は、先に説明した低減処理を行う際の画像処理パラメータとして彩度低減係数、明るさ低減係数、およびコントラスト低減係数が用いられる場合の例を示す図である。画像処理装置１００は、周辺部の画像に対して低減処理をする際に、彩度低減、明るさ低減、およびコントラスト低減の各処理を行う。このとき、彩度、明るさ、およびコントラストを減じる際の低減量は一定ではなく、図８に示される条件に従って変化する。
【００５２】
周辺部の彩度の平均値が第３閾値以上であるとき、彩度低減係数は１．２に設定される。周辺部の彩度の平均値が第４閾値を上回り、かつ第３閾値を下回る場合には、彩度低減係数は１．０に設定される。また、周辺部の彩度の平均値が第４閾値以下であるとき、彩度低減係数は０．８に設定される。
【００５３】
ここで、第３閾値および第４閾値の大小関係について説明すると、第３閾値は第４閾値よりも大きいものとする。つまり、周辺部の彩度の平均値が第３閾値以上である、ということは周辺部の彩度が比較的高いことを想定しており、その場合には彩度低減係数がデフォルトの値に対して２０％増とされ、周辺部の彩度がより多目に低減される。周辺部の彩度の平均値が第４閾値を上回り、かつ第３閾値を下回る、ということは周辺部の彩度が中庸であることを想定しており、その場合には彩度低減係数がデフォルトの値（１．０）に設定される。そして、周辺部の彩度の平均値が第４閾値以下である、ということは周辺部の彩度が比較的低いことを想定しており、その場合には彩度低減係数がデフォルトの値に対して２０％減に設定される。結果として、周辺部の彩度を減じる際の低減量がより少なめとなる。
【００５４】
周辺部の明るさの平均値が第５閾値以上であるとき、明るさ低減係数は１．２に設定される。周辺部の明るさの平均値が第６閾値を上回り、かつ第５閾値を下回る場合には、明るさ低減係数は１．０に設定される。また、周辺部の明るさの平均値が第６閾値以下であるとき、明るさ低減係数は０．８に設定される。
【００５５】
ここで、第５閾値および第６閾値の大小関係について説明すると、第５閾値は第６閾値よりも大きいものとする。つまり、周辺部の明るさの平均値が第５閾値以上である、ということは周辺部が比較的明るいことを想定しており、その場合には明るさ低減係数がデフォルトの値に対して２０％増とされ、周辺部の明るさがより多目に低減される。周辺部の明るさの平均値が第６閾値を上回り、かつ第５閾値を下回る、ということは周辺部の明るさが中庸であることを想定しており、その場合には明るさ低減係数がデフォルトの値（１．０）に設定される。そして、周辺部の明るさの平均値が第６閾値以下である、ということは周辺部が比較的暗いことを想定しており、その場合には明るさ低減係数がデフォルトの値に対して２０％減に設定される。結果として、周辺部の明るさを減じる際の低減量がより少なめとなる。
【００５６】
周辺部のコントラストの平均値が第７閾値以上であるとき、コントラスト低減係数は１．２に設定される。周辺部のコントラストの平均値が第８閾値を上回り、かつ第７閾値を下回る場合には、コントラスト低減係数は１．０に設定される。また、周辺部のコントラストの平均値が第８閾値以下であるとき、コントラスト低減係数は０．８に設定される。
【００５７】
ここで、第７閾値および第８閾値の大小関係について説明すると、第７閾値は第８閾値よりも大きいものとする。つまり、周辺部のコントラストの平均値が第７閾値以上である、ということは周辺部のコントラストが比較的高いことを想定しており、その場合にはコントラスト低減係数がデフォルトの値に対して２０％増とされ、周辺部のコントラストがより多目に低減される。周辺部のコントラストの平均値が第８閾値を上回り、かつ第７閾値を下回る、ということは周辺部のコントラストが中庸であることを想定しており、その場合にはコントラスト低減係数がデフォルトの値（１．０）に設定される。そして、周辺部のコントラストの平均値が第８閾値以下である、ということは周辺部のコントラストが比較的低いことを想定しており、その場合にはコントラスト低減係数がデフォルトの値に対して２０％減に設定される。結果として、周辺部のコントラストを減じる際の低減量がより少なめとなる。
【００５８】
図８に示される条件およびそれに対応する低減処理の処理パラメータは一例であり、さらに細かい条件にしたがって処理パラメータが決定されるようにしてもよい。また、図８中の彩度低減係数、明るさ低減係数、コントラスト係数と云った係数を用いるのに代えて、彩度低減量、明るさ低減量、コントラスト低減量そのものが決定されて用いられるようにしてもよい。
【００５９】
Ｓ５１０において画像処理装置１００は、元画像データから一時画像データを生成する。一時画像データは、元画像データを単純に複製したものとしてもよいし、元画像データとは異なる色空間の画像データを生成してもよい。
【００６０】
Ｓ５１２において画像処理装置１００は、Ｓ５０８で設定された画像処理パラメータを一時画像データに対して一律に適用して画像処理（低減処理）を行い、処理後一時画像データを生成する。この画像処理によって、処理後一時画像データに基づく画像は、その全体、すなわち主要部に対応する部分および周辺部に対応する部分の彩度、明るさ、およびコントラストが低減される。なお、低減処理としては、上述した処理に限られるものではなく、彩度、明るさ、およびコントラストのうち、少なくともいずれかの低減処理が行われてもよい。さらに、上記の低減処理に加えて、あるいは代えて、色相等を調節する処理が行われてもよい。
【００６１】
Ｓ５１４において画像処理装置１００は、主要度設定の処理を行う。主要度設定の処理に際しては、元画像データの画素ごとに、あるいは複数画素ごとに対応して、以下に説明する方法に従って主要度を導出し、主要度マップを生成する。主要度マップは、図１２に概念図が示されるように、元画像データで形成される画像中における主要度の分布が記録されたデータテーブルである。この主要度マップのデータサイズ（主要度を規定するデータの数）は、元画像データの画素数と同じとしても、それよりも少なくしてもよい。つまり、主要度マップのデータサイズが元画像データの画素数と同じ場合、元画像データ中の各画素に対応して主要度の情報が付与される。主要度マップのデータサイズが元画像データの画素数よりも少ない場合、元画像データ中の複数画素、例えば縦・横に２画素×２画素、２画素×３画素、５画素×５画素といった小領域それぞれに対応して主要度が付与される。
【００６２】
また、主要度の高低に関しては、様々な表現形態が可能である。以下では、導出される主要度の値は０以上１以下の値をとり、主要度が最も高い場合に１と設定され、最も低い場合に０と設定されるものとして説明をするが、任意の範囲の値とすることが可能である。例えば０から２５５といった整数で表現することも可能であるし、正負の値が混在していてもよい。あるいはａ、ｂ、ｃといった符号で主要度がランク分けされるものであってもよい。
【００６３】
まず、主要部に対応する領域内の各画素あるいは各複数画素の主要度が最も高い値、すなわち１に設定される。そして、周辺部に対応する領域内の各画素あるいは各複数画素に対しては、主要部からの距離が増すのにつれて主要度が減じられる（１よりも小さい値に設定される）。この様子が図９に示されている。図９に例示される特性は、デフォルト特性として予め設定されるものであっても、例えばフォトレタッチソフトのトーンカーブの特性が変更可能であるのと同様に、ユーザの好みに応じて線形あるいは非線形に設定変更可能に構成されるものであってもよい。
【００６４】
主要度を、上記のように主要部からの距離に応じて設定するのに加えて、以下に説明する設定も行われる。図１０は、図９に示される特性に基づいて導出される主要度に対して補正をする際の条件と補正量との関係の一例を示す図である。図１０に示される例では、周辺部内に第９閾値以上の太さを有するエッジ成分で囲われている領域があれば、その領域内の各画素あるいは複数画素の主要度は、上記図９に示す条件で設定された主要度に０．７５の値を加える処理が行われる。ただし、主要度が１より大きくなることがないようにクリッピングする（主要度の導出結果が１を越すときには１にする）処理が行われる。
【００６５】
また、周辺部内に空間周波数が第１０閾値以上の領域があれば、その領域内の各画素あるいは各複数画素の主要度は高めに設定される。例えば、上記図９に示す条件で設定された主要度に０．７５の値を加える処理が行われる。この場合も、主要度が１より大きくなることがないようにクリッピングする処理が行われる。
【００６６】
このように、周辺部内の各画素あるいは各複数画素においても必要に応じて主要度を増す処理をすることにより、主要部から比較的遠くに離れている部分に写っている被写体であっても、低減処理の強度を弱めた方がより好ましい結果を期待できる部分については主要度を増すことが可能となる。図１０に例示される第９閾値、第１０閾値および主要度の上昇量は、デフォルト値として予め設定されていてもよいし、ユーザが適宜変更可能に構成されていてもよい。以上に説明したＳ５１４の処理により、主要度マップが生成される。
【００６７】
Ｓ５１６において画像処理装置１００は、元画像データと、Ｓ５１２で生成された処理後一時画像データとを合成して補正画像データを生成する処理を行う。なお、処理後一時画像データおよび元画像データが互いに異なる色空間で規定される画像データとなっている場合には、処理後一時画像データの色空間と同じ色空間の画像データに元画像データを変換する。処理後一時画像および元画像を合成して補正画像データを生成する処理を行う際には、以下のアルゴリズムに従う。
【００６８】
Ｓ５１４で生成された主要度マップを参照し、主要度の高い画素あるいは複数画素に対応して処理後一時画像データの混合比率を減じる。つまり、主要度が１に設定される画素あるいは複数画素に対応して混合される処理後一時画像データと元画像データとの混合比率は、
［処理後一時画像データ］：［元画像データ］＝０：１に設定される。
【００６９】
また、主要度が０に設定される画素あるいは複数画素に対応して混合される処理後一時画像データと元画像データとの混合比率は、
［処理後一時画像データ］：［元画像データ］＝１：０に設定される。
【００７０】
主要度が、０より大きく、１より小さい値に設定される画素あるいは複数画素に対応して混合される処理後一時画像データと元画像データとの混合比率は、図１１のグラフに例示されるようなものとすることが可能である。図１１に例示される画像混合比率の特性もまた、ユーザが変更できるように構成されていてもよい。なお、図１１に例示されるグラフでは、
［処理後一時画像データ］：［元画像データ］＝１：０ に対応して混合比率が１００％として示されている。つまり、画像混合比率が高まるほど、処理後一時画像データの比率が高まるように処理後一時画像データと元画像データとが混合される様子が示されている。
【００７１】
処理後一時画像データと元画像データとを混合する処理に際しては、様々な方法を利用可能であり、両画像データの明度情報、画素値、彩度情報のいずれかの情報を合成することが可能である。例えば、処理後一時画像データおよび元画像データの双方がＲＧＢ色空間で規定されるものである場合、Ｒ、Ｇ、Ｂの各色の成分ごとに、上記の混合比率で混合することが可能である。この場合、補正画像データは、ＲＧＢ色空間のＲ、Ｇ、Ｂ各色の色座標値が補正されたものとなる。
【００７２】
あるいは、処理後一時画像データおよび元画像データの双方がＬａｂ色空間やＹＣｂＣｒ色空間で規定されるものである場合、Ｌ、ａ、ｂあるいはＹ、Ｃｂ、Ｃｒそれぞれの成分ごとに上記の混合比率で混合可能なのはもちろんのこと、Ｌ成分あるいはＹ成分だけで混合、もしくはａ成分およびｂ成分あるいはＣｂ成分およびＣｒ成分をそれぞれの成分ごとに混合することも可能である。
【００７３】
Ｌ成分のみで混合した場合、明度情報のみの混合となる。すなわち、Ｌａｂ色空間のＬチャンネルの色座標値が補正されたものとなる。Ｙ成分のみで混合した場合、輝度情報のみの混合となる。すなわち、ＹＣｂＣｒ色空間のＹチャンネルの色座標値が補正されたものとなる。ａ成分およびｂ成分、あるいはＣｂ成分およびＣｒ成分をそれぞれの成分ごとに混合すると、彩度情報のみの混合となる。この場合、Ｌａｂ色空間のａおよびｂの各チャンネルの色座標値、あるいはＹＣｂＣｒ色空間のＣｂおよびＣｒの各チャンネルの色座標値が補正されたものとなる。
【００７４】
なお、Ｌ成分のみ、あるいはＹ成分のみでの混合が行われた場合はもちろんのこと、彩度情報のみの混合が行われた場合であっても、処理後一時画像データと元画像データとが混合されて生成された補正画像データ中、主要度が低めに設定される部分の画像のコントラストはより低くなる。
【００７５】
図１２は、図５のフローチャートを参照して以上に説明した処理手順を概念的に示す図である。第１の実施の形態によれば、図１２に示されるように、元画像データから生成された一時画像データに対して、Ｓ５０８で設定された画像処理パラメータが一律に適用されて低減処理が施された処理後一時画像データが生成される。元画像データと処理後一時画像データとは、Ｓ５１４の主要度設定処理で生成された主要度マップに基づく混合比率で合成され、補正画像データが生成される。合成に際して、画素ごとあるいは複数画素ごとに、主要度マップで規定される主要度に応じた混合比率で混合されて補正画像データが生成される。結果として、主要度のより低い領域に対応する画像の彩度、明るさ、およびコントラストのうちの少なくともいずれかが低減されるので、主要度のより高い領域に対応する画像は、他の領域の画像よりも際立って見えるようになり、見栄えのする画像を得ることが可能となる。
【００７６】
− 第２の実施の形態 −
図１３は、画像処理装置１００で実行される画像処理の手順を説明するフローチャートである。図１３のフローチャートにおいて、第１の実施の形態における図５のフローチャート中の処理と同じ内容の処理ステップについては説明を適宜簡略化して第１の実施の形態との差異を中心に説明をする。
【００７７】
Ｓ１３００では、元画像データを取得する処理が行われる。Ｓ１３００の処理は、第１の実施の形態で図５を参照して説明したＳ５００での処理と同様のものとすることが可能である。Ｓ１３０２において画像処理装置１００は元画像データを解析し、１または複数の主要部と、周辺部とを設定する処理をする。この処理が領域設定部１０４での処理に相当する。Ｓ１３０２において設定される主要部の数は、取得した元画像によって、一つだけではなく、複数となる場合がある。Ｓ１３０２における主要部の設定に際しては、第１の実施の形態で説明したのと同様の方法が利用可能である。すなわち、元画像データ中の各画素の色と位置とを解析し、それらの類似度を基に、判定対象領域、すなわち主要部であるか否かの判定を行う対象の領域をいくつか抽出し、それらの判定対象領域の中から、判定対象領域の大きさや彩度の高さ等に基づいて主要部として選択することが可能である。画像処理装置１００はまた、以下の条件を満たす領域があれば、その領域を主要部として設定する。
条件１： 領域が比較的太いエッジ成分で囲われている。
条件２： 領域内の画像が、比較的高い空間周波数成分を含んでいる。
【００７８】
Ｓ１３０４において画像処理装置１００は、画像処理実行判定処理、すなわち、主要部の画像を解析し、補正画像データを生成する処理を行うか否かを判定する処理を行う。このとき、画像処理装置１００は、Ｓ１３０２の処理で複数の主要部が設定された場合、それら複数に主要部それぞれに対して画像処理実行判定を行う。画像処理実行判定の詳細は、第１の実施の形態で図６のフローチャートを参照して説明したのと同様である。
【００７９】
Ｓ１３０４での上述した判定処理結果を受け、画像処理装置１００はＳ１３０６において、画像処理を行うか行わないかの判定をし、肯定されるとＳ１３０８に進み、否定されると画像処理は行わずに図１３の処理を終える。
【００８０】
Ｓ１３０６での判定が肯定されると、画像処理装置１００はＳ１３０８、Ｓ１３１０、Ｓ１３１２、Ｓ１３１４の処理を行う。第２の実施の形態において、これらＳ１３０８、Ｓ１３１０、Ｓ１３１２、Ｓ１３１４での一連の処理が補正画像データ生成部１０８による処理に相当する。
【００８１】
Ｓ１３０８では画像処理パラメータを設定する処理が行われ、Ｓ１３１０では元画像データから一時画像データを生成する処理が行われる。そしてＳ１３１２では、Ｓ１３１０で生成された一時画像データに対し、Ｓ１３０８で設定された画像処理パラメータに基づいて低減処理が行われて処理後一時画像データが生成される。以上、Ｓ１３０８からＳ１３１２までの処理は、第１の実施の形態で説明したＳ５０８からＳ５１２までの処理と同様とすることが可能である。
【００８２】
Ｓ１３１４において画像処理装置１００は、処理後一時画像データ中の部分画像データを、元画像データ中の対応する位置の画像データと合成して補正画像データを生成する処理を行う。上記の部分画像データは、処理後一時画像データ中の、周辺部に対応する領域の画像データである。本明細書において、周辺部に対応する領域の部分画像データを周辺画像データと称する。Ｓ１３０２で一または複数の主要部が設定されることについて先に説明したが、この一または複数の主要部に対応する部分以外の領域の画像データが周辺画像データである。処理後一時画像データ中の周辺画像データと、元画像データ中の対応する位置の画像データとを合成する場合、単純に、元画像データ中の周辺部に対応する画像データを処理後一時画像データ中の周辺画像データで置き換えることが可能である。あるいは、予め定められた混合比率で上記周辺画像データと元画像データとを混合することも可能である。このとき、混合比率は、画像全体に対して一様の混合比率が設定されていてもよいし、画像内の異なる位置ごとに異なる混合比率が設定されていてもよい。
【００８３】
予め定められた混合比率で周辺画像データと元画像データとを混合処理して合成する際には、第１の実施の形態で説明した複数の方法のうち、いずれかの方法を利用可能である。すなわち、ある混合比率で周辺画像データと元画像データとを混合処理する際には、Ｒ、Ｇ、Ｂの各色の成分ごとに混合しても、輝度情報や明度の情報を用いて混合しても、あるいは彩度情報のみを用いて混合してもよい。また、第１の実施の形態で説明したのと同様に、処理後一時画像データおよび元画像データが互いに異なる色空間の画像データとなっている場合には、処理後一時画像データの色空間と同じ色空間の画像データに元画像データを変換する。あるいは、処理後一時画像データを変換して元画像データの色空間と同じ色空間になるようにしてもよい。
【００８４】
一方、Ｓ１３０４での画像処理実行判定において画像処理は行わないと判定された場合、図１３のフローチャートにおいてＳ１３０６の判定が否定されるので、上記のＳ１３０８からＳ１３１４の処理はスキップされる。すなわち、図６のＳ６０２およびＳ６０６での判定が否定されるということは、主要部の彩度がもともと高めであり、かつ、主要部には比較的細かいテクスチャを有する領域がさほど多くは存在しない、という状況に対応する。この場合、周辺部の低減処理をしなくても主要部は十分に際立っていて、自然な画像を得ることができる。
【００８５】
図１４は、図１３のフローチャートを参照して以上に説明した処理手順を概念的に示す図である。第２の実施の形態によれば、元画像データから生成された一時画像データに対して、Ｓ５０８で設定された画像処理パラメータが一律に適用され、処理後一時画像データが生成される。そして処理後一時画像データ中、１または複数の主要部に対応する部分以外の画像データ（周辺部に対応する部分の画像データ）である部分画像データすなわち周辺画像データと、元画像データとが合成されて補正画像データが生成される。
【００８６】
上述のようにして生成された補正画像データに基づく画像は、周辺部の領域に対応する画像の彩度、明るさ、およびコントラストのうちの少なくともいずれかが低減されたものとなる。結果として、主要部に対応する領域の画像が他の領域の画像よりも相対的に際立って見えるようになり、見栄えのする画像を得ることが可能となる。
【００８７】
− 第３の実施の形態 −
図１５は、画像処理装置１００で実行される画像処理の手順を説明するフローチャートである。Ｓ１５００において画像処理装置１００は元画像データを取得する。この処理は、第１の実施の形態で図５を参照して説明したＳ５００の処理と同様のものとすることが可能である。Ｓ１５０２において画像処理装置１００は元画像データを解析し、１または複数の主要部と、周辺部とを設定する処理をする。この処理が領域設定部１０４における処理に相当する。この処理は、第２の実施の形態で図１３を参照して説明したＳ１３０２における処理と同様であり、Ｓ１５０２において設定される主要部の数は、取得した元画像によって、一つだけではなく、複数となる場合がある。
【００８８】
Ｓ１５０４において画像処理装置１００は、画像処理実行判定処理、すなわち、主要部の画像を解析し、補正画像データを生成する処理を行うか否かを判定する処理を行う。このとき、画像処理装置１００は、Ｓ１５０２の処理において複数の主要部が設定された場合、それら複数の主要部それぞれに対して画像処理実行判定を行う。画像処理実行判定の詳細は、第１の実施の形態で図６のフローチャートを参照して説明したのと同様である。
【００８９】
Ｓ１５０４での上述した判定処理結果を受け、画像処理装置１００はＳ１５０６において、画像処理を行うか行わないかの判定をし、肯定されるとＳ１５０８に進み、否定されると画像処理は行わずに図１５の処理を終える。
【００９０】
Ｓ１５０６での判定が肯定されると、画像処理装置１００はＳ１５０８からＳ１５１４の処理を行う。第３の実施の形態において、これらＳ１５０８からＳ１５１４における一連の処理が補正画像データ生成部１０８による処理に相当する。
【００９１】
Ｓ１５０８では画像処理パラメータを設定する処理が行われ、Ｓ１５１０では元画像データから一時画像データを生成する処理が行われる。Ｓ１５０８およびＳ１５１０の処理は、第１の実施の形態で説明したＳ５０８およびＳ５１０の処理と同様とすることが可能である。
【００９２】
Ｓ１５１２において画像処理装置１００は、一時画像データ中の部分画像データに低減処理を施して処理後一時画像データを生成する。この部分画像データは、一時画像データ中、周辺部に対応する領域の画像データである。つまり、Ｓ１５０２で一または複数の主要部が設定されることについて先に説明したが、この一または複数の主要部に対応する部分以外の領域の画像データ、すなわち周辺画像データである。
【００９３】
Ｓ１５１４において画像処理装置１００は、処理後一時画像データ中の周辺画像データと、元画像データ中の対応する位置の画像データとを合成し、補正画像データを生成する。Ｓ１５１４における合成の処理に際しては、単純に、元画像データ中の周辺部に対応する画像データを周辺画像データで置き換えることが可能である。あるいは、予め定められた混合比率で周辺画像データと元画像データとを混合することも可能である。このとき、混合比率は、画像全体に対して一様の混合比率が設定されていてもよいし、画像内の異なる位置ごとに異なる混合比率が設定されていてもよい。
【００９４】
予め定められた混合比率で周辺画像データと元画像データとを混合処理して合成する際には、第１の実施の形態で説明した複数の方法のうち、いずれかの方法を利用可能である。すなわち、ある混合比率で周辺画像データと元画像データとを混合処理する際には、Ｒ、Ｇ、Ｂの各色の成分ごとに混合しても、輝度情報や明度の情報を用いて混合しても、あるいは彩度情報のみを用いて混合してもよい。また、第１の実施の形態で説明したのと同様に、処理後一時画像データおよび元画像データが互いに異なる色空間の画像データとなっている場合には、処理後一時画像データの色空間と同じ色空間の画像データに元画像データを変換する。あるいは、処理後一時画像データを変換して元画像データの色空間と同じ色空間になるようにしてもよい。
【００９５】
一方、Ｓ１５０４での画像処理実行判定において画像処理は行わないと判定された場合、図１５のフローチャートにおいてＳ１５０６の判定が否定されるので、上記のＳ１５０８からＳ１５１４の処理はスキップされる。すなわち、第２の実施の形態でも説明したように、図６のＳ６０２およびＳ６０６での判定が否定されるということは、主要部の彩度がもともと高めであり、かつ、主要部には比較的細かいテクスチャを有する領域がさほど多くは存在しない、という状況に対応する。この場合、周辺部の低減処理をしなくても主要部は十分に際立っていて、自然な画像を得ることができる。
【００９６】
図１６は、図１５のフローチャートを参照して以上に説明した処理手順を概念的に示す図である。第３の実施の形態によれば、元画像データから生成された一時画像データ中の、周辺部に対応する周辺画像データに低減処理が施されて処理後一時画像データが生成される。この処理後一時画像データと、元画像データとが合成されて補正画像データが生成される。
【００９７】
上述のようにして生成された補正画像データに基づく画像は、周辺部の領域に対応する画像の彩度、明るさ、およびコントラストのうちの少なくともいずれかが低減されたものとなる。結果として、主要部に対応する領域の画像が他の領域の画像よりも相対的に際立って見えるようになり、見栄えのする画像を得ることが可能となる。第３の実施の形態においては、一時画像データ中の周辺画像データのみに対して低減処理が行われるので、主要部の領域が広めである（周辺部の領域が狭めで周辺画像データのデータサイズが小さめの）とき、処理時間を短縮することが可能となる。
【００９８】
− 第４の実施の形態 −
図１７は、第４の実施の形態に係る画像処理装置１００で実行される画像処理の手順を説明するフローチャートである。画像処理装置１００は、Ｓ１７００で画像データを取得する。この処理が画像データ取得部１０２での処理に相当する。取得した画像データは元画像データである。Ｓ１７００の処理は、第１の実施の形態で図５を参照して説明したＳ５００の処理と同様である。
【００９９】
Ｓ１７０２において画像処理装置１００は、元画像データを解析して主要部、周辺部を設定する処理をする。この処理が領域設定部１０４での処理に相当する。Ｓ１７０２での処理は、第１の実施の形態で図５を参照して説明したＳ５０２の処理と同様のものとすることが可能である。
【０１００】
Ｓ１７０４において画像処理装置１００は、主要部の画像を解析し、補正画像データを生成する処理を行うか否かを判定する処理を行う。この処理が画像処理実行判定部１０６での処理に相当する。Ｓ１７０４において行われる処理は、第１の実施の形態で図６を参照して説明したものと同様のものとすることが可能である。
【０１０１】
Ｓ１７０４での判定処理結果を受け、画像処理装置１００はＳ１７０６において、画像処理を行うか行わないかの判定をする。Ｓ１７０６での判定が、肯定されるとＳ１７０８に進み、否定されると画像処理を行うことなく、図１７の処理を終える。
【０１０２】
Ｓ１７０６での判定が肯定されると、画像処理装置１００はＳ１７０８、Ｓ１７１０、およびＳ１７１２の処理を行う。第４の実施の形態において、これらＳ１７０８、Ｓ１７１０、およびＳ１７１２の処理が補正画像データ生成部１０８による処理に相当する。
【０１０３】
Ｓ１７０８において画像処理装置１００は、元画像データを解析して、画素ごと、あるいは複数画素ごとに主要度を導出し、主要度マップを生成する。主要度の導出方法については、第１の実施の形態で説明したのと同様のものとすることが可能である。主要度マップは、図１８に概念図が示されるように、元画像データにより形成される画像中における主要度の分布が記録されたデータテーブルである。この主要度マップのデータサイズや値の定め方に関しても、第１の実施の形態で説明したのと同様のものとすることが可能である。
【０１０４】
Ｓ１７１０において画像処理装置１００は、Ｓ１７０８で作成された主要度マップに基づいて、画素ごとまたは複数画素ごとに処理パラメータを設定する。処理パラメータの設定に際しては、第１の実施の形態で図８、図９等を参照して説明したのと同様の方法を用いることが可能である。
【０１０５】
Ｓ１７１２において画像処理装置１００は、Ｓ１７１０で設定された処理パラメータに基づき、低減処理を行う。低減処理を行う対象は、第１〜第３の実施の形態と異なり、元画像データである。低減処理は、主要度が低いほど、その強度が高められる。低減処理により、明るさ、コントラスト、および彩度のうち、少なくともいずれかが減じられる。なお、明るさおよび彩度については画素単位での低減処理が可能であるが、コントラスト低減の処理に関しては複数画素単位での処理となる。理由は、コントラストが複数の画素間の明暗の差、あるいは彩度の差に基づくものであるからである。
【０１０６】
第４の実施の形態においてコントラスト低減の処理を行う場合、例えば以下のような方法を実行することが可能である。すなわち、Ｓ１７０８で作成された主要度マップ中、所定の階級幅に収まる画素からなる領域を一つの領域とするようにして複数の領域を区画し、各領域の主要度の高低に応じて処理パラメータを設定する。そして、区画された領域ごとに、主要度の高低に応じてコントラスト低減の処理を行うことが可能となる。
【０１０７】
図１８は、図１７のフローチャートを参照して以上に説明した処理を概念的に示す図である。先にも説明したように、第４の実施の形態においては、一時画像データが生成されず、元画像データに対して画像処理（低減処理）が行われる。低減処理に際しての処理パラメータは、元画像データを解析して生成された主要度マップに基づいて元画像データの画素ごとあるいは複数画素ごとに決定される。
【０１０８】
以上に説明したように、第４の実施の形態によれば、画素ごとまたは複数画素ごとに導出された主要度に基づいて主要度マップが生成され、主要度マップに基づいて処理パラメータが設定されて低減処理が行われる。その結果、周辺部全体に対して一つの処理パラメータで低減処理が行われるのに比べ、よりきめ細かく処理パラメータを設定することが可能となり、より自然な画像を得ることが可能となる。
【０１０９】
− 主要部あるいは主要度の高い領域の画像に対する強調処理 −
以上、第１〜第４の実施の形態では、画像内で主要度のより低い領域に対して低減処理が行われる例について説明した。以下では、上述した低減処理に加えて、主要度のより高い領域の画像が他の領域の画像よりも際立つようにする処理も行われる例について説明する。以下では先ず、主要度のより高い領域の画像が他の領域の画像よりも際立つようにする処理（以下ではこれを強調処理と称する）の具体例について説明し、その後、上記第１〜第４の実施の形態で説明した低減処理とともに強調処理が行われる例について説明する。
【０１１０】
図１９は、様々な画像のヒストグラムの例を示す図であり、横軸には明るさが、縦軸には度数がとられている。図１９（ａ）から図１９（ｆ）のそれぞれにおいて、実線および破線のヒストグラムが示されているが、破線は強調処理をする前の画像のヒストグラムを、実線は強調処理をした後の画像のヒストグラムを示している。この図１９を参照し、強調処理として明るさやコントラストを補正する処理が行われる場合の具体例について説明する。なお、図１９に例示されるヒストグラムはいずれも、元画像全体の画像データから導出されたものではなく、主要部の画像データから導出されたものであるものとする。
【０１１１】
図１９（ａ）は、ヒストグラムが暗側へ極端に偏っている例を示す。例えば、室内で窓際に立っている人物を撮影し、窓の外は日中の晴天である場合等にこのようなヒストグラムとなる。つまり、背景が明るいために露出が切りつめられ、主要部に写る人物の像が黒くつぶれている状況である。このような場合、強調処理としては、明るさを増し、かつコントラストを増す処理が行われる。その結果、処理後のヒストグラムにおいて最頻値（分布の山のピーク位置）はより明るい側に移動し、かつ分布の山の幅が増している。
【０１１２】
図１９（ｂ）は、ヒストグラムが暗側に偏り気味である例を示す。この例も、主要部に写る被写体が逆光気味の照明条件のもとで撮影されたものであるときに見られるものである。また、夜間や暗めの室内でフラッシュ撮影をしたときに、フラッシュの光量が不足気味であるときにも、このようなヒストグラムとなる。このような場合にも、強調処理として、明るさを増し、かつコントラストを増す処理が行われる。その結果、処理後のヒストグラムにおいて最頻値はより明るい側に移動し、かつ分布の山の幅が増している。
【０１１３】
図１９（ｃ）は、図１９（ｂ）に示されるのと同様、ヒストグラムが暗側に偏り気味である例を示す。図１９（ｂ）を参照して説明したのと同様の撮影状況で見られるヒストグラムであるが、ここでは撮影者が意図的に露出を切り詰めてローキーの画像を得ようとしたものとする。例えば、主要部の画像だけでなく、周辺部の画像の明るさも暗めのときに、コントラストを増す一方で明るさは減じる処理が行われる場合もある。強調処理としてこのような処理が行われた結果、処理後のヒストグラムにおいて最頻値はより暗い側に移動し、かつ分布の山の幅が増している。
【０１１４】
図１９（ｄ）は、明るさの分布が中間域に集中している例を示す。この例は、輝度範囲の比較的広い（明るい部分も暗い部分も存在する）背景中に中庸の輝度を有する被写体が主要部に写っている状況で見られるものである。主要部の被写体に対する露出レベルそのものは適切ではあるものの、周辺部には低輝度から高輝度にわたる比較的広い輝度範囲の被写体が写っているため、主要部に写る中間輝度域の被写体の画像に割り当てられた階調の幅が比較的狭くなっている。結果として、主要部に写る被写体のコントラストは低めとなる。このような場合、強調処理としては、明るさを増すとともにコントラストを増す処理が行われる。その結果、処理後のヒストグラムにおいて分布の山の幅が増している。また、主要部の平均的な明るさが増しているので、主要部の画像が周辺部の画像に対して際立つ。このとき、主要部の画像に対してのみ強調処理が行われるので、処理後の画像データにおいて周辺部の画像中の暗部が黒くつぶれてしまったり、明部が白く飛んでしまったりすることを抑制可能となる。
【０１１５】
図１９（ｅ）は、明るさの分布が暗部から明部にかけてほぼ満遍なく分布している例を示す。この例は、曇天等の比較的フラットな照明条件のもとで明部、暗部、中間部が適度に存在する被写体を撮影するような状況で見られるヒストグラムである。このようなヒストグラムが得られる画像は、そのままでも適度なメリハリのあるものである可能性は高い。しかし、主要部の画像がさらに際立つようにするために、以下のような処理を行う。すなわち、ヒストグラムを暗部、明部に分けて見たときに、処理後の明度分布の重心が、暗部ではより暗い側に移動し、明部ではより明るい側に移動するように補正をする。このようにすることにより、主要部の画像のコントラストを高めて際立たせることが可能となる。
【０１１６】
図１９（ｆ）は、ヒストグラムが明側に偏り気味である例を示す。ここでは撮影者が意図的に露出を過剰気味に設定し、ハイキーの画像を得ようとしたものとする。例えば、主要部の画像だけでなく、周辺部の画像の明るさも明るめのときに、コントラストを増しつつ、明るさを増す処理が行われる場合もある。強調処理としてこのような処理が行われた結果、処理後のヒストグラムにおいて最頻値はより明るい側に移動し、かつ分布の山の幅が増している。
【０１１７】
図１９（ｇ）もまた、図１９（ｆ）の例と同様に、ヒストグラムが明側に偏り気味である例を示す。この例は、周辺部に写る被写体の反射率に比して主要部に写る被写体の反射率が高めの（白っぽい）ときに見られるものである。このような場合、強調処理として、明るさを減少させ、かつコントラストを増す処理が行われる。その結果、処理後のヒストグラムにおいて最頻値はより暗い側に移動し、かつ分布の山の幅が増している。
【０１１８】
図１９（ｈ）は、ヒストグラムが明側へ極端に偏っている例を示す。この例は、主要部に写る被写体が、図１９（ｇ）で説明したものよりもさらに反射率が高い場合に見られるものである。このような状態となるものとしては、主要被写体が順光条件下の雪山や白壁の建築物等で、主要被写体の周囲の比較的広い領域に比較的低輝度の被写体が写っているような状況がある。このような場合、強調処理としては、明るさを減じ、かつコントラストを増す処理が行うことが可能である。その結果、処理後のヒストグラムにおいて最頻値（分布の山のピーク位置）はより暗い側に移動し、かつ分布の山の幅が増している。このように補正をすることにより、被写体表面のテクスチャを再現することが可能となる。
【０１１９】
図１９を参照して説明した処理を行う際には、例えばＬａｂやＹＣｂＣｒ、あるいはＨＳＬといった色空間で規定される画像データ中のＬチャンネル、Ｙチャンネルの色座標値を補正することが可能である。あるいは、ＲＧＢやＹＣＭ等の色空間で規定される画像データに対しては、ＲＧＢ、ＹＣＭのそれぞれの色座標値に同じ係数を乗じるようにしてもよい。ところで、上記Ｌチャンネル、Ｙチャンネルの色座標値は、各画素の明るさ、つまり輝度または明度を規定する情報であり、本明細書中では明度情報と称する。また、主要部あるいは主要度の高い領域の画像を構成する画素それぞれの明度情報を主要部明度情報と称する。
【０１２０】
図１９に示されるもの以外のコントラスト増加の処理として、ヒストグラム平滑化の処理を行うことも可能である。ヒストグラム平滑化の処理は、画像データを解析した結果に基づいて導出された階調変換特性をその画像データに適用し、階調変換処理後の画像データのヒストグラムのプロファイルが、明るさによらずほぼフラットないしはより緩やかになるようにする処理である。ヒストグラム平滑化の処理手順としては、一例として以下に説明するものがある。
【０１２１】
１．明度情報をソート：
画像データ中の明度情報をソートする処理を行う。画像データがＲＧＢ色空間で規定される画像データである場合、画素ごとにＲ、Ｇ、Ｂの各色座標値を単純に加算した値、あるいは人の眼の視覚特性に合うように、Ｒ、Ｇ、Ｂの各色座標値に重み付けをして加算した値を明度情報として、この明度情報に基づいてソートをする。このとき、上記のように加算した値から平均値（単純平均値または加重平均値）を画素毎に求めたものを階調値としてソートをしてもよい。画像データがＬａｂやＹＣｂＣｒ、あるいはＨＳＬ等の色空間で規定されるものである場合、Ｌチャンネル、Ｙチャンネルの値を明度情報としてソートする。
【０１２２】
２．累積頻度を導出：
明度情報が整数値であるものとして説明すると、明度情報が０から１までの値をとる画素の数、０から２までの値をとる画素の数、…、０から最大値までの値をとる画素の数を求める。すなわち、累積頻度特性を求める。このようにして求められた累積頻度特性をもとに、横軸に明度情報、縦軸に累積頻度をとってグラフにプロットすると、明度情報の値を変数とする累積頻度特性の曲線を描くことができる。
【０１２３】
３．階調変換の処理：
上述した累積頻度特性の曲線のプロファイルをそのまま階調変換特性曲線のプロファイルとなるようにして階調変換特性を導出する。この階調変換特性を用いて画像データに階調変換の処理を施すことにより、ヒストグラムは平滑化される。例えば、階調変換前の画像データのヒストグラムが、狭い階調域に集中して分布しているような特性を有するものである場合、ヒストグラム中にピーク状のプロファイルが現れる。上記の階調変換の処理を行うことにより、いわば密集して分布していてヒストグラムのピークが現れる階調域に対してより広い階調幅が与えられるようになる（ピークの高さは低められ、ピークの幅は増加する）。逆に、頻度の比較的少ない階調域においては、上記の階調変換の処理を行うことにより、階調幅が狭められる。結果として階調変換処理後のヒストグラムは、より緩やかなものとなり、画像のコントラストを増すことが可能となる。
【０１２４】
補正画像データ生成部１０８で行われる強調処理は、図１９を参照して以上に説明した例およびヒストグラム平滑化の処理のうち、一部の方法に従って行われてもよいし、すべての方法に従って行われてもよい。また、上述したもの以外の方法で強調処理が行われてもよい。すなわち、以上では強調処理として画像データの明るさを調整する例のみを説明しているが、彩度や色相などを調整して強調処理が行われるものであってもよい。つまり、上述したＬａｂ、ＹＣｂＣｒ、ＨＳＬ等の色空間で規定される画像データ中、強調処理に際して、ａ、ｂの色座標値、Ｃｂ、Ｃｒの色座標値、Ｈ、Ｓの色座標値を補正してもよい。
【０１２５】
第１〜第４の実施の形態では、画像処理パラメータを設定する処理ステップにおいて、低減処理を行う際の画像処理パラメータを設定する例について説明した。主要部、あるいは主要度の比較的高い領域の画像に強調処理を施す場合には、上述した画像処理パラメータを設定する処理ステップ（図５中のＳ５０８、図１３中のＳ１３０８、図１５中のＳ１５０８の各処理ステップ、および図１７中のＳ１７１０の処理ステップ）において、低減処理を行う際の画像処理パラメータに加えて、強調処理を行う際の画像処理パラメータが設定される。強調処理を行う際の画像処理パラメータの設定方法について、以下で図２０を参照して説明する。
【０１２６】
図２０は、先に図１９を参照して説明した強調処理を行う際の画像処理パラメータとして明るさ増加量補正係数が用いられる場合の例を示す図である。画像処理装置１００は、強調処理をする際に、主要部の画像の明るさを増す処理（明るさ増加処理）を行って主要部の画像のコントラストを高める。このとき、主要部の画像の明るさを増す際の増加量は一定ではなく、図２０に示される条件に従って変化する。すなわち、主要部の明るさ（輝度または明度）の平均値が第１１閾値以上であるとき、明るさ（輝度または明度）増加量補正係数は０．５に設定される。主要部の明るさの平均値が第１２閾値を上回り、かつ、第１１閾値を下回る場合には明るさ増加量補正係数は１に設定される。主要部の明るさの平均値が第１２閾値以下である場合、明るさ増加量補正係数は１．５に設定される。つまり、明るさ増加量補正係数は、明るさ増加処理を行う際の増加量を調節するための係数である。
【０１２７】
ここで、第１１閾値および第１２閾値の大小関係について説明すると、第１１閾値が第１２閾値よりも大きいものとする。つまり、主要部の明るさの平均値が第１１閾値以上である、ということは主要部が比較的明るいことを想定しており、その場合には明るさ増加量がデフォルトの値に対して５０％減とされ、主要部が過度に明るくならないように設定される（明るさ増加量補正係数＝０．５）。主要部の明るさの平均値が第１２閾値を上回り、かつ第１１閾値を下回る、ということは主要部が中庸の明るさであることを想定しており、その場合には明るさ増加量がデフォルトの値に設定される（明るさ増加量補正係数＝１．０）。そして、主要部の明るさの平均値が第１２閾値以下である、ということは主要部が比較的暗いことを想定しており、その場合には明るさ増加量がデフォルトの値に対して５０％増に設定される（明るさ増加量補正係数＝１．５）。
【０１２８】
さらに、主要部の近傍領域（図４参照）に第１３閾値以上の明るさの領域が第１４閾値以上の面積（画素数を面積として考えることが可能である）で存在する場合、明るさ増加量補正係数は１．５に設定される。つまり、主要部の近傍領域に比較的明るく、或る程度の面積を有する領域、すなわち目立つ領域が存在する場合には、その近傍領域の画像に埋もれてしまうことの無いように、主要部の明るさ増加量が５０％増に設定される。第１３閾値は、デフォルト設定された固定値としてもよいが、主要部の明るさの平均値に所定の大きさの値を加えた値とし、第１３閾値は主要部の明るさに応じて変化するものとすることが望ましい。
【０１２９】
第１３閾値だけでなく、第１４閾値も設定することにより、以下の効果を得ることが可能となる。すなわち、画像中に輝点ノイズ等が存在する場合に、そのノイズに影響を受けて画像処理の内容が変化してしまうのは望ましいことではない。この点、上記のように第１４閾値を設定することにより、近傍領域中に存在する明るい部分がノイズ等の影響で生じたものである場合、その明るい部分の存在を無視することが可能となる。何故なら、ノイズは画像内で離散的に生じるものなので、第１４閾値を適切に設定することにより、ノイズの影響かそうでないかを弁別することが可能となるからである。
【０１３０】
図２０に示される条件およびそれに対応する明るさ増加量補正係数は一例であり、さらに細かい条件にしたがって明るさ増加量補正係数が決定されるようにしてもよいし、補正係数ではなく、補正量そのものが決定されるようにしてもよい。
【０１３１】
− 第１の実施の形態の低減処理とともに行われる強調処理 −
図２１は、第１の実施の形態で説明した低減処理に加えて強調処理も行う場合の処理手順例を概念的に示す図である。図２１に示されるように、元画像データから生成された一時画像データに対して、Ｓ５０８（図５）で設定された画像処理パラメータ（低減処理用の画像処理パラメータ）が一律に適用されて低減処理が施された処理後一時画像データが生成される。Ｓ５０８では、低減処理用の画像処理パラメータとともに、強調処理用の画像処理パラメータも設定される。強調処理用の画像処理パラメータは、例えば図２０を参照して説明した条件に基づいて設定することが可能である。
【０１３２】
一時画像データおよび主要度マップが生成された後、元画像データに対して強調処理用の画像処理パラメータが適用されて強調処理が行われ、処理後元画像データが生成される。処理後元画像データと処理後一時画像データとは、Ｓ５１４の主要度設定処理で生成された主要度マップに基づく混合比率で合成され、補正画像データが生成される。合成に際して、画素ごとあるいは複数画素ごとに、主要度マップで規定される主要度に応じた混合比率で混合されて補正画像データが生成される。結果として、主要度のより低い領域に対応する画像の彩度、明るさ、およびコントラストのうちの少なくともいずれかが低減される。一方、主要度の高い領域においては処理後元画像データの混合比率が相対的に高まるので、主要度のより高い領域に対応する画像は、他の領域の画像よりもさらに際立って見えるようになり、見栄えのする画像を得ることが可能となる。
【０１３３】
以上では、元画像データに強調処理をして生成された処理後元画像データと、一時画像データに低減処理をして生成された処理後一時画像データとが合成される例について説明した。上述した処理に代えて、元画像データに強調処理をすることは行わずに、第１の実施の形態で説明した手順によって補正画像データを得た後、この補正画像データ中の主要部の画像データに対して強調処理をするようにしてもよい。
【０１３４】
− 第２の実施の形態の低減処理とともに行われる強調処理 −
図２２は、第２の実施の形態で説明した低減処理に加えて強調処理も行う場合の処理手順例を概念的に示す図である。図２２に示されるように、元画像データから生成された一時画像データに対して、Ｓ１３０８（図１３）で設定された画像処理パラメータ（低減処理用の画像処理パラメータ）が一律に適用されて低減処理が施され、処理後一時画像データが生成される。Ｓ１３０８では、低減処理用の画像処理パラメータとともに、強調処理用の画像処理パラメータも設定される。強調処理用の画像処理パラメータは、例えば図２０を参照して説明した条件に基づいて設定することが可能である。
【０１３５】
一時画像データが生成された後、元画像データに対して強調処理用の画像処理パラメータが一律に適用されて強調処理が行われ、処理後元画像データが生成される。処理後一時画像データ中の周辺画像データと、処理後元画像データ中の主要部に対応する部分の部分画像データとが合成されて補正画像データが生成される。周辺部の画像は低減処理が施され、彩度、明るさ、およびコントラストのうちの少なくともいずれかが低減される。一方、主要部の画像は、強調処理が施されているので、さらに際立って見えるようになり、見栄えのする画像を得ることが可能となる。
【０１３６】
以上では、一時画像データに低減処理をして生成された処理後一時画像データ中の周辺画像データと、元画像データに強調処理をして生成された処理後元画像データ中の部分画像データとが合成される例について説明した。上述した処理に代えて、元画像データに強調処理をすることは行わず、第２の実施の形態で説明した手順によって補正画像データを得た後、この補正画像データ中の主要部の画像データに対して強調処理をするようにしてもよい。
【０１３７】
− 第３の実施の形態の低減処理とともに行われる強調処理 −
図２３は、第３の実施の形態で説明した低減処理に加えて強調処理も行う場合の手順例を概念的に示す図である。図２３に示されるように、元画像データから一時画像データが生成され、その一時画像データ中の周辺画像データに対して、Ｓ１５０８（図１５）で設定された画像処理パラメータ（低減処理用の画像処理パラメータ）が適用されて低減処理が施され、処理後一時画像データが生成される。Ｓ１５０８では、低減処理用の画像処理パラメータとともに、強調処理用の画像処理パラメータも設定される。強調処理用の画像処理パラメータは、例えば図２０を参照して説明した条件に基づいて設定することが可能である。
【０１３８】
一時画像データが生成された後、元画像データ中の主要部に対応する部分の画像データ、すなわち部分画像データに対して強調処理用の画像処理パラメータが適用されて強調処理が行われ、処理後部分画像データが生成される。このとき、主要部が複数設定されている場合に、それぞれの主要部に対して一律の主要度（例えば主要度＝１）が設定されて、同一の強調処理が各主要部に施されるようにすることが可能である。あるいは、主要部ごとに異なる主要度が設定され、設定された主要度の高さに応じて異なる強度の強調処理が各主要部に対して施されるようにすることも可能である。処理後一時画像データ中の周辺画像データと処理後部分画像データとが合成されて補正画像データが生成される。周辺部の画像には低減処理が施され、彩度、明るさ、およびコントラストのうちの少なくともいずれかが低減される。一方、主要部の画像には強調処理が施されているので、さらに際立って見えるようになり、見栄えのする画像を得ることが可能となる。
【０１３９】
以上では、一時画像データ中の周辺画像データに低減処理をして生成された処理後一時画像データと、元画像データ中の部分画像データに強調処理をして生成された処理後部分画像データとが合成される例について説明した。上述した処理に代えて、元画像データに強調処理をすることは行わず、第３の実施の形態で説明した手順によって補正画像データを得た後、この補正画像データ中の主要部の画像データに対して強調処理をするようにしてもよい。
【０１４０】
− 第４の実施の形態の低減処理とともに行われる強調処理 −
図２４は、第４の実施の形態で説明した低減処理に加えて強調処理も行う場合の処理手順例を概念的に示す図である。図２４に示されるように、Ｓ１７０８（図１７）で導出された主要度マップに基づいてＳ１７１０で設定された処理パラメータが適用されて元画像データが処理され、補正画像データが生成される。このとき、主要度の比較的高い部分に対応して強調処理用の画像処理パラメータが適用される一方、主要度の比較的低い部分に対応して低減処理用の画像処理パラメータが適用される。強調処理用の画像処理パラメータは、例えば図２０を参照して説明した条件に基づいて設定することが可能である。
【０１４１】
以上に説明した処理により、周辺部の画像は低減処理が施され、彩度、明るさ、およびコントラストのうちの少なくともいずれかが低減される。一方、主要部の画像は、強調処理が施されて、さらに際立って見えるようになり、見栄えのする画像を得ることが可能となる。
【０１４２】
以上に説明した各実施の形態の画像処理装置は、冒頭にも説明したように、撮像装置に内蔵されるものであっても、画像処理プログラムが汎用コンピュータによって実行されることにより、上記の画像処理装置が実現されるものであってもよい。
【産業上の利用可能性】
【０１４３】
本発明に係る画像処理の技術は、デジタルスチルカメラ、デジタルムービーカメラなどに適用することが可能である。さらには、ビデオレコーダやコンピュータなどに適用することが可能である。
【符号の説明】
【０１４４】
１００ 画像処理装置
１０２ 画像データ取得部
１０４ 領域設定部
１０６ 画像処理実行判定部
１０８ 補正画像データ生成部
１５０ 画像表示部
１６０ 画像記録部
２００ デジタルカメラ
２１０ 撮影光学系
２１２ レンズ駆動部
２２０ 撮像部
２３０ 画像記録媒体
２４０ 操作部
２５０ 表示部
２６２ ＲＯＭ
２６４ ＲＡＭ
２７０、３１０ ＣＰＵ
３００ コンピュータ
３２０ メモリ
３３０ 補助記憶装置
３４０ インターフェース
３５０ メモリカードインターフェース
３６０ 光ディスクドライブ
３７０ ネットワークインターフェース
３８０ 表示装置
【技術分野】
【０００１】
本発明は、画像処理の技術に関し、さらに詳しくは、撮影装置等の画像入力機器で生成された画像の見栄えを改善可能な画像処理の技術に関する。
【背景技術】
【０００２】
撮影して得られた画像の見栄えを改善する方法として、彩度やコントラストを補正して、鮮鋭感のある画像を得る方法がある。特許文献１には、画像をいくつかの領域に分割し、その中で彩度レベルが最も大きい領域の彩度レベルを基に彩度補正を行う技術が開示される。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０００−２２４６０７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
一般的には、撮影して得られた画像を観察する際、主要被写体を含む注目領域が際立っていることが好まれる。つまり、注目領域と、注目領域以外の、非注目領域とを対比した場合に、注目領域の画像特徴が、非注目領域の画像特徴よりも強い印象を与える画像が得られることが望ましい。
【０００５】
特許文献１に開示される技術は、ビルディングの壁等、彩度が本来あまり高くはない被写体が写っている領域の彩度が過度に高められることが無いようにすることを目的としている。このため、必ずしも注目領域の画像特徴が非注目領域の画像特徴よりも強い印象を与えるようには補正されない場合がある。その結果、注目領域以外の領域が際立ってしまう場合がある。
【０００６】
本発明は、上記の課題に鑑みてなされたものであり、画像中で注目領域に写る主要被写体がより際立って見える画像を生成可能とする技術を提供することを目的とする。
【課題を解決するための手段】
【０００７】
本発明の第１の態様によれば、処理対象の画像データである元画像データを取得し、前記元画像データに補正処理を行う画像処理装置が、
前記元画像データを取得する画像データ取得部と、
前記元画像データを解析し、前記元画像データ中の主要被写体を含む部分領域である主要部と、前記元画像データ中の前記主要部以外の部分領域である周辺部とを設定する領域設定部と、
前記主要部における彩度の情報と空間周波数の情報のいずれか、または両方の情報に基づいて、前記元画像データの補正の要否を判定する画像処理実行判定部と、
前記画像処理実行判定部により前記元画像データの補正が必要であると判定された場合、前記主要部の画像が相対的に際立つように、前記周辺部の画像に対して低減処理をする補正画像データ生成部であって、前記周辺部の画像の明るさ、コントラスト、および彩度のうち、少なくともいずれかが低下するように前記低減処理をする、補正画像データ生成部とを備える。
【０００８】
本発明の第２の態様によれば、処理対象の画像データである元画像データに補正処理を行う画像処理方法が、
前記元画像データを取得する画像データ取得手順と、
前記元画像データを解析し、前記元画像データ中の主要被写体を含む部分領域である主要部と、前記元画像データ中の前記主要部以外の部分領域である周辺部とを設定する領域設定手順と、
前記主要部における彩度の情報と空間周波数の情報のいずれか、または両方の情報に基づいて、前記元画像データの補正の要否を判定する画像処理実行判定手順と、
前記画像処理実行判定手順により前記元画像データの補正が必要であると判定された場合、前記主要部の画像が相対的に際立つように、前記周辺部の画像に対して低減処理をする補正画像データ生成手順であって、前記周辺部の画像の明るさ、コントラスト、および彩度のうち、少なくともいずれかが低下するように前記低減処理をする、補正画像データ生成手順と
を備える。
【０００９】
本発明の第３の態様によれば、撮影レンズによって形成された被写体像を光電変換して画像信号を出力可能な撮像素子を備える撮像装置が、
前記撮像素子から出力される前記画像信号から生成された画像データを元画像データとして取得する画像データ取得部と、
前記元画像データを解析し、前記元画像データ中の主要被写体を含む部分領域である主要部と、前記元画像データ中の前記主要部以外の部分領域である周辺部とを設定する領域設定部と、
前記主要部における彩度の情報と空間周波数の情報のいずれか、または両方の情報に基づいて、前記元画像データの補正の要否を判定する画像処理実行判定部と、
前記画像処理実行判定部により前記元画像データの補正が必要であると判定された場合、前記主要部の画像が相対的に際立つように、前記周辺部の画像に対して低減処理をする補正画像データ生成部であって、前記周辺部の画像の明るさ、コントラスト、および彩度のうち、少なくともいずれかが低下するように前記低減処理をする、補正画像データ生成部と
を備える。
【００１０】
本発明の第４の態様によれば、処理対象の画像データである元画像データを補正する処理をコンピュータに実行させるための画像処理プログラムが、
前記元画像データを取得する画像データ取得ステップと、
前記元画像データを解析し、前記元画像データ中の主要被写体を含む部分領域である主要部と、前記元画像データ中の前記主要部以外の部分領域である周辺部とを設定する領域設定ステップと、
前記主要部における彩度の情報と空間周波数の情報のいずれか、または両方の情報に基づいて、前記元画像データの補正の要否を判定する画像処理実行判定ステップと、
前記画像処理実行判定ステップにより前記元画像データの補正が必要であると判定された場合、前記主要部の画像が相対的に際立つように、前記周辺部の画像に対して低減処理をする補正画像データ生成ステップであって、前記周辺部の画像の明るさ、コントラスト、および彩度のうち、少なくともいずれかが低下するように前記低減処理をする、補正画像データ生成ステップと
を備える。
【発明の効果】
【００１１】
本発明によれば、画像中の主要部分が周辺部分に比べて際立って見えるようになり、それにより全体として見栄えのする画像を得ることが可能となる。
【図面の簡単な説明】
【００１２】
【図１】画像処理装置の内部構成を概略的に説明するブロック図である。
【図２】画像処理装置が撮像装置に組み込まれる例を説明するブロック図である。
【図３】画像処理プログラムを実行するコンピュータによって画像処理装置が実現される例を説明するブロック図である。
【図４】処理対象の画像の一例を示す図であり、主要被写体の写る部分を含む主要部と、主要部以外の部分である周辺部とが設定される様子を概念的に示す図である。
【図５】第１の実施の形態の画像処理装置により実行される画像処理の手順を説明するフローチャートである。
【図６】図５のフローチャートで示される処理中で行われる画像処理実行判定の処理手順をより詳細に説明するフローチャートである。
【図７】空間周波数のヒストグラムを生成して画像を解析する方法を概念的に説明する図である。
【図８】周辺部の画像に対して低減処理を行う際の処理パラメータを、周辺部の彩度、周辺部の明るさ、周辺部のコントラストに基づいて設定する例を説明する図である。
【図９】主要部からの距離に応じて主要度を設定する例を概念的に説明する図である。
【図１０】周辺部の画像を解析した結果に基づいて主要度を増加させる例を説明する図である。
【図１１】元画像データと処理後一時画像データとを合成する際の画像混合比率を主要度に基づいて変化させる例を説明する図である。
【図１２】第１の実施の形態の画像処理装置により元画像データから補正画像データが生成される際の手順を概念的に説明する図である。
【図１３】第２の実施の形態の画像処理装置により実行される画像処理の手順を説明するフローチャートである。
【図１４】第２の実施の形態の画像処理装置により元画像データから補正画像データが生成される際の手順を概念的に説明する図である。
【図１５】第３の実施の形態の画像処理装置により実行される画像処理の手順を説明するフローチャートである。
【図１６】第３の実施の形態の画像処理装置により元画像データから補正画像データが生成される際の手順を概念的に説明する図である。
【図１７】第４の実施の形態の画像処理装置により実行される画像処理の手順を説明するフローチャートである。
【図１８】第４の実施の形態の画像処理装置により元画像データから補正画像データが生成される際の手順を概念的に説明する図である。
【図１９】様々なヒストグラムを有する画像に対して強調処理をする前、強調処理をした後のヒストグラムが変化する例を説明する図である。
【図２０】主要部の画像データに対して強調処理を行う際の処理パラメータを、主要部の画像データを解析した結果に基づいて設定する例を説明する図である。
【図２１】第１の実施の形態で説明した低減処理に加えて強調処理も行い、補正画像データを生成する際の処理手順を概念的に説明する図である。
【図２２】第２の実施の形態で説明した低減処理に加えて強調処理も行い、補正画像データを生成する際の処理手順を概念的に説明する図である。
【図２３】第３の実施の形態で説明した低減処理に加えて強調処理も行い、補正画像データを生成する際の処理手順を概念的に説明する図である。
【図２４】第４の実施の形態で説明した低減処理に加えて強調処理も行い、補正画像データを生成する際の処理手順を概念的に説明する図である。
【発明を実施するための形態】
【００１３】
図１は、本発明の実施の形態に係る画像処理装置１００の概略的構成を説明するブロック図である。画像処理装置１００は、画像データ取得部１０２と、領域設定部１０４と、画像処理実行判定部１０６と、補正画像データ生成部１０８とを備える。
【００１４】
画像データ取得部１０２は、画像処理装置１００で処理される対象の画像データを取得する。この画像データは、静止画の画像データであっても、動画の画像データであってもよい。取得した画像データが静止画の画像データである場合、画像処理装置１００は取得した一つのフレームの画像データに対して処理を行う。取得する画像データが一連の複数フレームからなる動画像データである場合、画像処理装置１００は取得した一連の複数フレームの画像それぞれに対して処理を行う。
【００１５】
領域設定部１０４は、画像データ取得部１０２で取得した、処理対象の画像データ（以下ではこの画像データを元画像データと称する）を解析し、この元画像データ中で主要被写体が写っている部分を含む領域である主要部と、同じく元画像データ中の主要部以外の領域である周辺部とを設定する。
【００１６】
画像処理実行判定部１０６は、元画像データ中、主要部に対応する部分の画像データを解析し、この主要部に対応する部分の画像データの彩度の情報と空間周波数の情報のいずれか、または両方の情報に基づいて、元画像データの補正の要否を判定する。
【００１７】
補正画像データ生成部１０８は、画像処理実行判定部１０６において元画像データの補正が必要と判定された場合、元画像データ処理して補正画像データを生成する。このとき補正画像データ生成部１０８は、周辺部の画像に対して低減処理を行う。低減処理とは、周辺部の画像の明るさ、コントラスト、および彩度のうち、少なくともいずれかが低下するようにして、結果として主要部の画像が相対的に際立つようにする処理である。
【００１８】
補正画像データ生成部１０８での処理は、元画像データがどのような表色系のデータであるか等に応じて様々なものとすることが可能である。例えば、元画像データがＲＧＢの色空間で規定されるものである場合、Ｒ、Ｇ、Ｂの各色座標値を補正する処理を行うことが可能である。また、元画像データがＹＣｂＣｒの色空間で規定されるものである場合、輝度Ｙの色座標値のみを補正しても、色相および彩度を規定するＣｂおよびＣｒの色座標値のみを補正してもよい。元画像データがＬａｂの色空間で規定されるものである場合も同様で、明度Ｌの色座標値のみを補正しても、色相および彩度を規定するａおよびｂの色座標値のみを補正してもよい。
【００１９】
なお、画像データ中の各画素の明るさを定義するものとして輝度および明度がある。輝度は、人の比視感度を加味して（人の眼に知覚される明るさを尺度として）その値が定められる一方、明度は比視感度を加味しない、物理的強度を尺度としてその値が定められるのが一般的である。本明細書においては、これらの輝度および明度を区別する必要がない場合、「明るさ」、あるいは「輝度または明度」という表現を用いる。また、画像データ中の各画素の明るさ（輝度または明度）を規定する情報を本明細書では「明度情報」と称する。
【００２０】
画像処理装置１００には、画像記録部１６０や画像表示部１５０等が接続されていてもよい。その場合、補正画像データ生成部１０８で生成された補正画像データは、必要に応じて画像記録部１６０に記録することが可能となる。あるいは、補正画像データに基づく画像を画像表示部１５０に表示することも可能である。
【００２１】
画像処理装置１００は、デジタルスチルカメラ、デジタルムービーカメラ等の画像入力装置内に備えられたものとすることが可能である。あるいは、記録媒体に記録された画像処理プログラムと、この画像処理プログラムを実行するコンピュータとによって画像処理装置１００としての機能を実装可能である。
【００２２】
図２は、デジタルスチルカメラ、デジタルムービーカメラ等のデジタルカメラ２００に画像処理装置１００が実装される例を示すブロック図である。デジタルカメラ２００は、撮影光学系２１０と、レンズ駆動部２１２と、撮像部２２０と、アナログ・フロントエンド（図２中では「ＡＦＥ」と表記される）２２２と、画像記録媒体２３０と、操作部２４０と、表示部２５０と、記憶部２６０と、ＣＰＵ２７０と、デジタル信号処理装置（以下、ＤＳＰと称する）２９０と、システムバス２８０とを備える。記憶部２６０は、ＲＯＭ２６２とＲＡＭ２６４とを備える。本実施の形態において、画像処理装置１００はＤＳＰ２９０に備えられる一つの機能として実装されるものとして説明をする。
【００２３】
レンズ駆動部２１２、撮像部２２０、アナログ・フロントエンド２２２、画像記録媒体２３０、操作部２４０、表示部２５０、記憶部２６０、ＣＰＵ２７０、画像処理装置１００は、システムバス２８０を介して電気的に接続される。ＲＡＭ２６４は、ＣＰＵ２７０およびＤＳＰ２９０の双方からアクセス可能に構成される。
【００２４】
撮影光学系２１０は、被写体像を撮像部２２０の受光エリア上に形成する。レンズ駆動部２１２は、撮影光学系２１０内の焦点調節用レンズを駆動する。また、撮影光学系２１０が可変焦点距離光学系である場合には、撮影光学系２１０内のレンズ（レンズ群）がレンズ駆動部２１２によって駆動されて焦点距離を変更することが可能に構成されていてもよい。
【００２５】
撮像部２２０は、受光エリア上に形成される被写体像を光電変換してアナログ画像信号を生成する。このアナログ画像信号はアナログ・フロントエンド２２２に入力される。アナログ・フロントエンド２２２は、撮像部２２０から入力した画像信号にノイズ低減、増幅、Ａ／Ｄ変換等の処理をしてデジタル画像信号を生成する。このデジタル画像信号は、ＲＡＭ２６４に一時的に記憶される。
【００２６】
ＤＳＰ２９０は、ＲＡＭ２６４に一時的に記憶されたデジタル画像信号に対してデモザイク、階調変換、色バランス補正、シェーディング補正、ノイズ低減等のさまざまなデジタル信号処理を施して画像データを生成する。この画像データは、必要に応じて画像記録媒体２３０に記録される。また、画像データに基づく画像が表示部２５０に表示される。画像処理装置１００は、上記のように生成された画像データを元画像データとして、以上で概略的に説明した補正画像データを生成する処理を行う。
【００２７】
画像記録媒体２３０は、フラッシュメモリや磁気記録装置等で構成され、デジタルカメラ２００に対して着脱可能に装着される。なお、画像記録媒体２３０はデジタルカメラ２００に内蔵されていてもよい。その場合、ＲＯＭ２６２内に画像データ記録のための領域を確保することが可能である。
【００２８】
操作部２４０は、プッシュスイッチ、スライドスイッチ、ダイヤルスイッチ、タッチパネル等のうち、いずれか一種類または複数種類を備え、ユーザの操作を受け付け可能に構成される。表示部２５０は、ＴＦＴ液晶表示パネルとバックライト装置、あるいは有機ＥＬ表示素子等の自発光式表示素子を備え、画像や文字等の情報を表示可能に構成される。なお、表示部２５０は表示インターフェースを備えていて、ＲＡＭ２６４上に設けられるＶＲＡＭ領域内に書き込まれる画像データを表示インターフェースが読み出して画像や文字等の情報を表示部２５０に表示するものとする。
【００２９】
ＲＯＭ２６２は、フラッシュメモリ等で構成され、ＣＰＵ２７０により実行される制御プログラム（ファームウェア）や、調整パラメータ、あるいはデジタルカメラ２００に電力が供給されない状態でも保持する必要のある情報等が記憶される。ＲＡＭ２６４は、ＳＤＲＡＭ等で構成され、比較的高速のアクセス速度を有する。ＣＰＵ２７０は、ＲＯＭ２６２からＲＡＭ２６４に転送されたファームウェアを解釈・実行してデジタルカメラ２００の動作を統括的に制御する。
【００３０】
デジタルカメラ２００は静止画撮影モードで動作しても、動画像撮影モードで動作してもよい。デジタルカメラ２００が静止画撮像モードで動作する場合、一回の撮影動作に応じて生成される一つの静止画像データに対応して画像処理装置１００は補正画像データを生成する処理を行う。一方、デジタルカメラ２００が動画像撮影モードで動作する場合、撮影動作中に生成される一連の複数フレームの動画像データそれぞれに対応して画像処理装置１００は一連の複数フレームの補正画像データを生成する処理を行う。
【００３１】
図３は、記録媒体に記録された画像処理プログラムがコンピュータのＣＰＵにより読み出されて実行され、画像処理装置としての機能が実装される例を説明するブロック図である。コンピュータ３００は、ＣＰＵ３１０と、メモリ３２０と、補助記憶装置３３０とインターフェース３４０と、メモリカードインターフェース３５０と、光ディスクドライブ３６０と、ネットワークインターフェース３７０と、表示装置３８０とを備える。ＣＰＵ３１０と、メモリカードインターフェース３５０と、光ディスクドライブ３６０と、ネットワークインターフェース３７０と、表示装置３８０とはインターフェース３４０を介して電気的に接続される。
【００３２】
メモリ３２０は、ＤＤＲ ＳＤＲＡＭ等の、比較的高速のアクセス速度を有するメモリである。補助記憶装置３３０は、ハードディスクドライブ、あるいはソリッドステートドライブ（ＳＳＤ）等で構成され、比較的大きな記憶容量を有する。
【００３３】
メモリカードインターフェース３５０は、メモリカードＭＣを着脱自在に装着可能に構成される。デジタルカメラ等で撮影動作が行われて生成され、メモリカードＭＣ内に記憶された画像データは、このメモリカードインターフェース３５０を介してコンピュータ３００内に読み込むことができる。また、コンピュータ３００内の画像データをメモリカードＭＣに書き込むこともできる。
【００３４】
光ディスクドライブ３６０は、光ディスクＯＤからデータを読み取ることが可能に構成される。光ディスクドライブ３６０はまた、必要に応じて光ディスクＯＤにデータを書き込むことが可能に構成されていてもよい。
【００３５】
ネットワークインターフェース３７０は、ネットワークＮＷを介して接続されるサーバ等の外部情報処理装置とコンピュータ３００との間で情報を授受可能に構成される。
【００３６】
画像処理装置１００は、メモリ３２０上にロードされた画像処理プログラムをＣＰＵ３１０が解釈・実行することにより実現される。この画像処理プログラムは、メモリカードＭＣや光ディスクＯＤ等の記録媒体に記録されてコンピュータ３００のユーザに頒布される。あるいは、ネットワークＮＷを介して、サーバ等の外部情報処理装置から画像処理プログラムをダウンロードすることも可能である。この画像処理プログラムは、いわゆるフォトレタッチソフト中で呼び出される一つの機能として実現されてもよい。
【００３７】
コンピュータ３００上では静止画像データを処理するプログラムが実行されていても、動画像データを処理するプログラムが実行されていてもよい。上記のいずれのプログラムが実行されている場合であっても、メモリカードＭＣ、光ディスクＯＤ、補助記憶装置３３０のいずれかから読み出された静止画像データまたは一連の複数フレームの動画像データに対応して画像処理装置１００は一つの補正画像データまたは一連の複数フレームの補正画像データを生成する処理を行うことが可能である。
【００３８】
以下では、取得した元画像データに対応して図１に示される画像処理装置１００が補正画像データを生成する例について、いくつかの実施の形態で説明する。
【００３９】
− 第１の実施の形態 −
図４は、画像データ取得部１０２が取得した元画像データに基づく画像の一例を示す図である。領域設定部１０４は、元画像データを解析し、この元画像データ中で主要被写体が写っている部分を含む領域である主要部と、同じく元画像データ中の主要部以外の領域である周辺部とを設定する。図４に示される例では、画面左下部分に写っている木が主要被写体と判定されて、この木が写っている部分を含む領域が主要部として設定されるものとする。このとき、主要部以外の部分が周辺部として設定される。領域設定部１０４はまた、近傍領域を設定する。近傍領域は、主要部の近傍（所定の距離範囲内）に位置する領域であって、主要部を取り囲む周りの領域である。
【００４０】
図５は、画像処理装置１００で実行される画像処理の手順を説明するフローチャートである。画像処理装置１００は、Ｓ５００において画像データを取得する。この処理が画像データ取得部１０２での処理に相当する。取得した画像データは元画像データである。
【００４１】
Ｓ５０２において画像処理装置１００は、元画像データを解析して主要部、周辺部を設定する処理をする。この処理が領域設定部１０４での処理に相当する。領域設定部１０４による処理は、既によく知られている様々な方法を用いて行うことが可能である。例えば、元画像データ中の各画素の色と位置とを解析し、それらの類似度を基に、判定対象領域、すなわち主要部であるか否かの判定を行う対象の領域をいくつか抽出し、それらの判定対象領域の中から、判定対象領域の大きさや彩度の高さ等に基づいて主要部を選択することが可能である。
【００４２】
Ｓ５０４において画像処理装置１００は、主要部の画像を解析し、補正画像データを生成する処理を行うか否かを判定する処理を行う。この処理が画像処理実行判定部１０６での処理に相当する。画像処理実行判定部１０６による処理は、例えば以下のように行われる。すなわち、主要部の画像を解析して、画像特徴量を導出し、この画像特徴量をもとに、主要部の画像が補正処理の十分な効果を得ることのできるものであるかを判定する。例えば、画像処理装置１００は、画像特徴量として、主要部の色情報、空間周波数の情報、エッジ情報を抽出する。
【００４３】
色情報とは、主要部の画像を評価する際に参照される情報である。例えば、ＲＧＢ画像データをＹＣｂＣｒ、Ｌａｂ、あるいはＨＳＬ等の色空間の画像データに変換し、Ｃｂ、Ｃｒの値やａ、ｂの値、あるいはＳの値から抽出される彩度の情報を色情報とすることができる。ところで、色情報としては、彩度以外に、主要部の明るさを評価可能な情報を含んでいてもよい。その場合、上記ＹＣｂＣｒ、ＬａｂあるいはＨＳＬ等の色空間の画像データからＹの値やＬの値を抽出することも可能である。このように、色情報としては彩度や明るさを評価可能な情報としてもよいが、以下では色情報が主要部の画像を彩度で評価するための情報であるものとして説明をする。
【００４４】
空間周波数の情報とは、主要部の画像中に含まれる空間周波数成分に関連する情報である。つまり、主要部の画像が、どの程度細かいテクスチャを有しているかを評価する情報である。
【００４５】
図６は、画像処理装置１００により実行されるＳ５０４の処理を、より詳細に説明するフローチャートである。Ｓ６００において画像処理装置１００は、Ｓ５０２で設定された主要部の画像を抽出する。画像処理装置１００はＳ６０２において、Ｓ６００で抽出された画像を例えばＹＣｂＣｒの色空間の画像データに変換し、ＣｂおよびＣｒのデータ、すなわち彩度のデータを抽出する。そして、主要部の彩度が第１閾値未満であるか否かを判定する。Ｓ６０２の判定が肯定されるとＳ６０４に進む一方、否定されるとＳ６０６に進む。第１閾値は、デフォルト値として予め設定されていてもよいし、ユーザが適宜変更可能に構成されていてもよい。
【００４６】
Ｓ６０２での判定が否定された場合の分岐先であるＳ６０６において画像処理装置１００は、Ｓ６００で抽出された画像を解析して空間周波数評価値を導出する。この空間周波数評価値は、主要部の画像が全体としてどの程度細かいテクスチャを有しているかを評価するためのものである。図７は、主要部の画像を解析して、画像中に含まれる空間周波数成分をヒストグラム化した様子を概念的に示すグラフである。横軸には空間周波数が、縦軸には頻度がとられている。例えば、主要部の画像を比較的小さな矩形等の多角形でメッシュ分割し、分割された領域（分割領域）ごとに二次元フーリエ変換の処理を施すと、各分割領域に対応する空間周波数成分を求めることができる。求められたこれらの空間周波数成分をもとに、図７に例示されるようなヒストグラムを生成することができる。
【００４７】
上述した空間周波数のヒストグラムから、所定の空間周波数Ｕよりも高い空間周波数の領域Ｒ ｈｉｇｈの面積と、低い空間周波数の領域Ｒ ｌｏｗの面積とを求める。これらＲ ｈｉｇｈおよびＲ ｌｏｗの値を基に、（Ｒ ｈｉｇｈ／（Ｒ ｈｉｇｈ＋Ｒ ｌｏｗ））、あるいは（Ｒ ｈｉｇｈ／Ｒ ｌｏｗ）といった式を用いて空間周波数評価値を導出することが可能となる。主要部の画像中で、より細かいテクスチャの領域がより多く分布するほど、空間周波数評価値は大きくなる。画像処理装置１００は、このようにして導出された空間周波数評価値が第２閾値以上であるか否かをＳ６０６で判定し、肯定されるとＳ６０４に進む一方、否定されるとＳ６０８に進む。第２閾値は、第１閾値と同様に、デフォルト値として予め設定されていてもよいし、ユーザが適宜変更可能に構成されていてもよい。
【００４８】
Ｓ６０２またはＳ６０６での判定が肯定された場合の分岐先であるＳ６０４において画像処理装置１００は、画像処理を行う決定をし、リターンする。一方、Ｓ６０２およびＳ６０６での判定が共に否定された場合の分岐先であるＳ６０８において画像処理装置１００は、画像処理を行わない決定をしてリターンする。
【００４９】
再び図５を参照して説明すると、Ｓ５０４での上述した判定処理結果を受け、画像処理装置１００はＳ５０６において、画像処理を行うか行わないかの判定をする。Ｓ５０６の判定が、肯定されるとＳ５０８に進み、否定されると画像処理は行わずに図５の処理を終える。
【００５０】
Ｓ５０６での判定が肯定されると、画像処理装置１００はＳ５０８からＳ５１６までの処理を行う。第１の実施の形態において、これらＳ５０８からＳ５１６までの一連の処理が補正画像データ生成部１０８による処理に相当する。
【００５１】
画像処理装置１００はＳ５０８において、画像処理パラメータを設定する。この画像処理パラメータの設定方法について、図８を参照して説明する。図８は、先に説明した低減処理を行う際の画像処理パラメータとして彩度低減係数、明るさ低減係数、およびコントラスト低減係数が用いられる場合の例を示す図である。画像処理装置１００は、周辺部の画像に対して低減処理をする際に、彩度低減、明るさ低減、およびコントラスト低減の各処理を行う。このとき、彩度、明るさ、およびコントラストを減じる際の低減量は一定ではなく、図８に示される条件に従って変化する。
【００５２】
周辺部の彩度の平均値が第３閾値以上であるとき、彩度低減係数は１．２に設定される。周辺部の彩度の平均値が第４閾値を上回り、かつ第３閾値を下回る場合には、彩度低減係数は１．０に設定される。また、周辺部の彩度の平均値が第４閾値以下であるとき、彩度低減係数は０．８に設定される。
【００５３】
ここで、第３閾値および第４閾値の大小関係について説明すると、第３閾値は第４閾値よりも大きいものとする。つまり、周辺部の彩度の平均値が第３閾値以上である、ということは周辺部の彩度が比較的高いことを想定しており、その場合には彩度低減係数がデフォルトの値に対して２０％増とされ、周辺部の彩度がより多目に低減される。周辺部の彩度の平均値が第４閾値を上回り、かつ第３閾値を下回る、ということは周辺部の彩度が中庸であることを想定しており、その場合には彩度低減係数がデフォルトの値（１．０）に設定される。そして、周辺部の彩度の平均値が第４閾値以下である、ということは周辺部の彩度が比較的低いことを想定しており、その場合には彩度低減係数がデフォルトの値に対して２０％減に設定される。結果として、周辺部の彩度を減じる際の低減量がより少なめとなる。
【００５４】
周辺部の明るさの平均値が第５閾値以上であるとき、明るさ低減係数は１．２に設定される。周辺部の明るさの平均値が第６閾値を上回り、かつ第５閾値を下回る場合には、明るさ低減係数は１．０に設定される。また、周辺部の明るさの平均値が第６閾値以下であるとき、明るさ低減係数は０．８に設定される。
【００５５】
ここで、第５閾値および第６閾値の大小関係について説明すると、第５閾値は第６閾値よりも大きいものとする。つまり、周辺部の明るさの平均値が第５閾値以上である、ということは周辺部が比較的明るいことを想定しており、その場合には明るさ低減係数がデフォルトの値に対して２０％増とされ、周辺部の明るさがより多目に低減される。周辺部の明るさの平均値が第６閾値を上回り、かつ第５閾値を下回る、ということは周辺部の明るさが中庸であることを想定しており、その場合には明るさ低減係数がデフォルトの値（１．０）に設定される。そして、周辺部の明るさの平均値が第６閾値以下である、ということは周辺部が比較的暗いことを想定しており、その場合には明るさ低減係数がデフォルトの値に対して２０％減に設定される。結果として、周辺部の明るさを減じる際の低減量がより少なめとなる。
【００５６】
周辺部のコントラストの平均値が第７閾値以上であるとき、コントラスト低減係数は１．２に設定される。周辺部のコントラストの平均値が第８閾値を上回り、かつ第７閾値を下回る場合には、コントラスト低減係数は１．０に設定される。また、周辺部のコントラストの平均値が第８閾値以下であるとき、コントラスト低減係数は０．８に設定される。
【００５７】
ここで、第７閾値および第８閾値の大小関係について説明すると、第７閾値は第８閾値よりも大きいものとする。つまり、周辺部のコントラストの平均値が第７閾値以上である、ということは周辺部のコントラストが比較的高いことを想定しており、その場合にはコントラスト低減係数がデフォルトの値に対して２０％増とされ、周辺部のコントラストがより多目に低減される。周辺部のコントラストの平均値が第８閾値を上回り、かつ第７閾値を下回る、ということは周辺部のコントラストが中庸であることを想定しており、その場合にはコントラスト低減係数がデフォルトの値（１．０）に設定される。そして、周辺部のコントラストの平均値が第８閾値以下である、ということは周辺部のコントラストが比較的低いことを想定しており、その場合にはコントラスト低減係数がデフォルトの値に対して２０％減に設定される。結果として、周辺部のコントラストを減じる際の低減量がより少なめとなる。
【００５８】
図８に示される条件およびそれに対応する低減処理の処理パラメータは一例であり、さらに細かい条件にしたがって処理パラメータが決定されるようにしてもよい。また、図８中の彩度低減係数、明るさ低減係数、コントラスト係数と云った係数を用いるのに代えて、彩度低減量、明るさ低減量、コントラスト低減量そのものが決定されて用いられるようにしてもよい。
【００５９】
Ｓ５１０において画像処理装置１００は、元画像データから一時画像データを生成する。一時画像データは、元画像データを単純に複製したものとしてもよいし、元画像データとは異なる色空間の画像データを生成してもよい。
【００６０】
Ｓ５１２において画像処理装置１００は、Ｓ５０８で設定された画像処理パラメータを一時画像データに対して一律に適用して画像処理（低減処理）を行い、処理後一時画像データを生成する。この画像処理によって、処理後一時画像データに基づく画像は、その全体、すなわち主要部に対応する部分および周辺部に対応する部分の彩度、明るさ、およびコントラストが低減される。なお、低減処理としては、上述した処理に限られるものではなく、彩度、明るさ、およびコントラストのうち、少なくともいずれかの低減処理が行われてもよい。さらに、上記の低減処理に加えて、あるいは代えて、色相等を調節する処理が行われてもよい。
【００６１】
Ｓ５１４において画像処理装置１００は、主要度設定の処理を行う。主要度設定の処理に際しては、元画像データの画素ごとに、あるいは複数画素ごとに対応して、以下に説明する方法に従って主要度を導出し、主要度マップを生成する。主要度マップは、図１２に概念図が示されるように、元画像データで形成される画像中における主要度の分布が記録されたデータテーブルである。この主要度マップのデータサイズ（主要度を規定するデータの数）は、元画像データの画素数と同じとしても、それよりも少なくしてもよい。つまり、主要度マップのデータサイズが元画像データの画素数と同じ場合、元画像データ中の各画素に対応して主要度の情報が付与される。主要度マップのデータサイズが元画像データの画素数よりも少ない場合、元画像データ中の複数画素、例えば縦・横に２画素×２画素、２画素×３画素、５画素×５画素といった小領域それぞれに対応して主要度が付与される。
【００６２】
また、主要度の高低に関しては、様々な表現形態が可能である。以下では、導出される主要度の値は０以上１以下の値をとり、主要度が最も高い場合に１と設定され、最も低い場合に０と設定されるものとして説明をするが、任意の範囲の値とすることが可能である。例えば０から２５５といった整数で表現することも可能であるし、正負の値が混在していてもよい。あるいはａ、ｂ、ｃといった符号で主要度がランク分けされるものであってもよい。
【００６３】
まず、主要部に対応する領域内の各画素あるいは各複数画素の主要度が最も高い値、すなわち１に設定される。そして、周辺部に対応する領域内の各画素あるいは各複数画素に対しては、主要部からの距離が増すのにつれて主要度が減じられる（１よりも小さい値に設定される）。この様子が図９に示されている。図９に例示される特性は、デフォルト特性として予め設定されるものであっても、例えばフォトレタッチソフトのトーンカーブの特性が変更可能であるのと同様に、ユーザの好みに応じて線形あるいは非線形に設定変更可能に構成されるものであってもよい。
【００６４】
主要度を、上記のように主要部からの距離に応じて設定するのに加えて、以下に説明する設定も行われる。図１０は、図９に示される特性に基づいて導出される主要度に対して補正をする際の条件と補正量との関係の一例を示す図である。図１０に示される例では、周辺部内に第９閾値以上の太さを有するエッジ成分で囲われている領域があれば、その領域内の各画素あるいは複数画素の主要度は、上記図９に示す条件で設定された主要度に０．７５の値を加える処理が行われる。ただし、主要度が１より大きくなることがないようにクリッピングする（主要度の導出結果が１を越すときには１にする）処理が行われる。
【００６５】
また、周辺部内に空間周波数が第１０閾値以上の領域があれば、その領域内の各画素あるいは各複数画素の主要度は高めに設定される。例えば、上記図９に示す条件で設定された主要度に０．７５の値を加える処理が行われる。この場合も、主要度が１より大きくなることがないようにクリッピングする処理が行われる。
【００６６】
このように、周辺部内の各画素あるいは各複数画素においても必要に応じて主要度を増す処理をすることにより、主要部から比較的遠くに離れている部分に写っている被写体であっても、低減処理の強度を弱めた方がより好ましい結果を期待できる部分については主要度を増すことが可能となる。図１０に例示される第９閾値、第１０閾値および主要度の上昇量は、デフォルト値として予め設定されていてもよいし、ユーザが適宜変更可能に構成されていてもよい。以上に説明したＳ５１４の処理により、主要度マップが生成される。
【００６７】
Ｓ５１６において画像処理装置１００は、元画像データと、Ｓ５１２で生成された処理後一時画像データとを合成して補正画像データを生成する処理を行う。なお、処理後一時画像データおよび元画像データが互いに異なる色空間で規定される画像データとなっている場合には、処理後一時画像データの色空間と同じ色空間の画像データに元画像データを変換する。処理後一時画像および元画像を合成して補正画像データを生成する処理を行う際には、以下のアルゴリズムに従う。
【００６８】
Ｓ５１４で生成された主要度マップを参照し、主要度の高い画素あるいは複数画素に対応して処理後一時画像データの混合比率を減じる。つまり、主要度が１に設定される画素あるいは複数画素に対応して混合される処理後一時画像データと元画像データとの混合比率は、
［処理後一時画像データ］：［元画像データ］＝０：１に設定される。
【００６９】
また、主要度が０に設定される画素あるいは複数画素に対応して混合される処理後一時画像データと元画像データとの混合比率は、
［処理後一時画像データ］：［元画像データ］＝１：０に設定される。
【００７０】
主要度が、０より大きく、１より小さい値に設定される画素あるいは複数画素に対応して混合される処理後一時画像データと元画像データとの混合比率は、図１１のグラフに例示されるようなものとすることが可能である。図１１に例示される画像混合比率の特性もまた、ユーザが変更できるように構成されていてもよい。なお、図１１に例示されるグラフでは、
［処理後一時画像データ］：［元画像データ］＝１：０ に対応して混合比率が１００％として示されている。つまり、画像混合比率が高まるほど、処理後一時画像データの比率が高まるように処理後一時画像データと元画像データとが混合される様子が示されている。
【００７１】
処理後一時画像データと元画像データとを混合する処理に際しては、様々な方法を利用可能であり、両画像データの明度情報、画素値、彩度情報のいずれかの情報を合成することが可能である。例えば、処理後一時画像データおよび元画像データの双方がＲＧＢ色空間で規定されるものである場合、Ｒ、Ｇ、Ｂの各色の成分ごとに、上記の混合比率で混合することが可能である。この場合、補正画像データは、ＲＧＢ色空間のＲ、Ｇ、Ｂ各色の色座標値が補正されたものとなる。
【００７２】
あるいは、処理後一時画像データおよび元画像データの双方がＬａｂ色空間やＹＣｂＣｒ色空間で規定されるものである場合、Ｌ、ａ、ｂあるいはＹ、Ｃｂ、Ｃｒそれぞれの成分ごとに上記の混合比率で混合可能なのはもちろんのこと、Ｌ成分あるいはＹ成分だけで混合、もしくはａ成分およびｂ成分あるいはＣｂ成分およびＣｒ成分をそれぞれの成分ごとに混合することも可能である。
【００７３】
Ｌ成分のみで混合した場合、明度情報のみの混合となる。すなわち、Ｌａｂ色空間のＬチャンネルの色座標値が補正されたものとなる。Ｙ成分のみで混合した場合、輝度情報のみの混合となる。すなわち、ＹＣｂＣｒ色空間のＹチャンネルの色座標値が補正されたものとなる。ａ成分およびｂ成分、あるいはＣｂ成分およびＣｒ成分をそれぞれの成分ごとに混合すると、彩度情報のみの混合となる。この場合、Ｌａｂ色空間のａおよびｂの各チャンネルの色座標値、あるいはＹＣｂＣｒ色空間のＣｂおよびＣｒの各チャンネルの色座標値が補正されたものとなる。
【００７４】
なお、Ｌ成分のみ、あるいはＹ成分のみでの混合が行われた場合はもちろんのこと、彩度情報のみの混合が行われた場合であっても、処理後一時画像データと元画像データとが混合されて生成された補正画像データ中、主要度が低めに設定される部分の画像のコントラストはより低くなる。
【００７５】
図１２は、図５のフローチャートを参照して以上に説明した処理手順を概念的に示す図である。第１の実施の形態によれば、図１２に示されるように、元画像データから生成された一時画像データに対して、Ｓ５０８で設定された画像処理パラメータが一律に適用されて低減処理が施された処理後一時画像データが生成される。元画像データと処理後一時画像データとは、Ｓ５１４の主要度設定処理で生成された主要度マップに基づく混合比率で合成され、補正画像データが生成される。合成に際して、画素ごとあるいは複数画素ごとに、主要度マップで規定される主要度に応じた混合比率で混合されて補正画像データが生成される。結果として、主要度のより低い領域に対応する画像の彩度、明るさ、およびコントラストのうちの少なくともいずれかが低減されるので、主要度のより高い領域に対応する画像は、他の領域の画像よりも際立って見えるようになり、見栄えのする画像を得ることが可能となる。
【００７６】
− 第２の実施の形態 −
図１３は、画像処理装置１００で実行される画像処理の手順を説明するフローチャートである。図１３のフローチャートにおいて、第１の実施の形態における図５のフローチャート中の処理と同じ内容の処理ステップについては説明を適宜簡略化して第１の実施の形態との差異を中心に説明をする。
【００７７】
Ｓ１３００では、元画像データを取得する処理が行われる。Ｓ１３００の処理は、第１の実施の形態で図５を参照して説明したＳ５００での処理と同様のものとすることが可能である。Ｓ１３０２において画像処理装置１００は元画像データを解析し、１または複数の主要部と、周辺部とを設定する処理をする。この処理が領域設定部１０４での処理に相当する。Ｓ１３０２において設定される主要部の数は、取得した元画像によって、一つだけではなく、複数となる場合がある。Ｓ１３０２における主要部の設定に際しては、第１の実施の形態で説明したのと同様の方法が利用可能である。すなわち、元画像データ中の各画素の色と位置とを解析し、それらの類似度を基に、判定対象領域、すなわち主要部であるか否かの判定を行う対象の領域をいくつか抽出し、それらの判定対象領域の中から、判定対象領域の大きさや彩度の高さ等に基づいて主要部として選択することが可能である。画像処理装置１００はまた、以下の条件を満たす領域があれば、その領域を主要部として設定する。
条件１： 領域が比較的太いエッジ成分で囲われている。
条件２： 領域内の画像が、比較的高い空間周波数成分を含んでいる。
【００７８】
Ｓ１３０４において画像処理装置１００は、画像処理実行判定処理、すなわち、主要部の画像を解析し、補正画像データを生成する処理を行うか否かを判定する処理を行う。このとき、画像処理装置１００は、Ｓ１３０２の処理で複数の主要部が設定された場合、それら複数に主要部それぞれに対して画像処理実行判定を行う。画像処理実行判定の詳細は、第１の実施の形態で図６のフローチャートを参照して説明したのと同様である。
【００７９】
Ｓ１３０４での上述した判定処理結果を受け、画像処理装置１００はＳ１３０６において、画像処理を行うか行わないかの判定をし、肯定されるとＳ１３０８に進み、否定されると画像処理は行わずに図１３の処理を終える。
【００８０】
Ｓ１３０６での判定が肯定されると、画像処理装置１００はＳ１３０８、Ｓ１３１０、Ｓ１３１２、Ｓ１３１４の処理を行う。第２の実施の形態において、これらＳ１３０８、Ｓ１３１０、Ｓ１３１２、Ｓ１３１４での一連の処理が補正画像データ生成部１０８による処理に相当する。
【００８１】
Ｓ１３０８では画像処理パラメータを設定する処理が行われ、Ｓ１３１０では元画像データから一時画像データを生成する処理が行われる。そしてＳ１３１２では、Ｓ１３１０で生成された一時画像データに対し、Ｓ１３０８で設定された画像処理パラメータに基づいて低減処理が行われて処理後一時画像データが生成される。以上、Ｓ１３０８からＳ１３１２までの処理は、第１の実施の形態で説明したＳ５０８からＳ５１２までの処理と同様とすることが可能である。
【００８２】
Ｓ１３１４において画像処理装置１００は、処理後一時画像データ中の部分画像データを、元画像データ中の対応する位置の画像データと合成して補正画像データを生成する処理を行う。上記の部分画像データは、処理後一時画像データ中の、周辺部に対応する領域の画像データである。本明細書において、周辺部に対応する領域の部分画像データを周辺画像データと称する。Ｓ１３０２で一または複数の主要部が設定されることについて先に説明したが、この一または複数の主要部に対応する部分以外の領域の画像データが周辺画像データである。処理後一時画像データ中の周辺画像データと、元画像データ中の対応する位置の画像データとを合成する場合、単純に、元画像データ中の周辺部に対応する画像データを処理後一時画像データ中の周辺画像データで置き換えることが可能である。あるいは、予め定められた混合比率で上記周辺画像データと元画像データとを混合することも可能である。このとき、混合比率は、画像全体に対して一様の混合比率が設定されていてもよいし、画像内の異なる位置ごとに異なる混合比率が設定されていてもよい。
【００８３】
予め定められた混合比率で周辺画像データと元画像データとを混合処理して合成する際には、第１の実施の形態で説明した複数の方法のうち、いずれかの方法を利用可能である。すなわち、ある混合比率で周辺画像データと元画像データとを混合処理する際には、Ｒ、Ｇ、Ｂの各色の成分ごとに混合しても、輝度情報や明度の情報を用いて混合しても、あるいは彩度情報のみを用いて混合してもよい。また、第１の実施の形態で説明したのと同様に、処理後一時画像データおよび元画像データが互いに異なる色空間の画像データとなっている場合には、処理後一時画像データの色空間と同じ色空間の画像データに元画像データを変換する。あるいは、処理後一時画像データを変換して元画像データの色空間と同じ色空間になるようにしてもよい。
【００８４】
一方、Ｓ１３０４での画像処理実行判定において画像処理は行わないと判定された場合、図１３のフローチャートにおいてＳ１３０６の判定が否定されるので、上記のＳ１３０８からＳ１３１４の処理はスキップされる。すなわち、図６のＳ６０２およびＳ６０６での判定が否定されるということは、主要部の彩度がもともと高めであり、かつ、主要部には比較的細かいテクスチャを有する領域がさほど多くは存在しない、という状況に対応する。この場合、周辺部の低減処理をしなくても主要部は十分に際立っていて、自然な画像を得ることができる。
【００８５】
図１４は、図１３のフローチャートを参照して以上に説明した処理手順を概念的に示す図である。第２の実施の形態によれば、元画像データから生成された一時画像データに対して、Ｓ５０８で設定された画像処理パラメータが一律に適用され、処理後一時画像データが生成される。そして処理後一時画像データ中、１または複数の主要部に対応する部分以外の画像データ（周辺部に対応する部分の画像データ）である部分画像データすなわち周辺画像データと、元画像データとが合成されて補正画像データが生成される。
【００８６】
上述のようにして生成された補正画像データに基づく画像は、周辺部の領域に対応する画像の彩度、明るさ、およびコントラストのうちの少なくともいずれかが低減されたものとなる。結果として、主要部に対応する領域の画像が他の領域の画像よりも相対的に際立って見えるようになり、見栄えのする画像を得ることが可能となる。
【００８７】
− 第３の実施の形態 −
図１５は、画像処理装置１００で実行される画像処理の手順を説明するフローチャートである。Ｓ１５００において画像処理装置１００は元画像データを取得する。この処理は、第１の実施の形態で図５を参照して説明したＳ５００の処理と同様のものとすることが可能である。Ｓ１５０２において画像処理装置１００は元画像データを解析し、１または複数の主要部と、周辺部とを設定する処理をする。この処理が領域設定部１０４における処理に相当する。この処理は、第２の実施の形態で図１３を参照して説明したＳ１３０２における処理と同様であり、Ｓ１５０２において設定される主要部の数は、取得した元画像によって、一つだけではなく、複数となる場合がある。
【００８８】
Ｓ１５０４において画像処理装置１００は、画像処理実行判定処理、すなわち、主要部の画像を解析し、補正画像データを生成する処理を行うか否かを判定する処理を行う。このとき、画像処理装置１００は、Ｓ１５０２の処理において複数の主要部が設定された場合、それら複数の主要部それぞれに対して画像処理実行判定を行う。画像処理実行判定の詳細は、第１の実施の形態で図６のフローチャートを参照して説明したのと同様である。
【００８９】
Ｓ１５０４での上述した判定処理結果を受け、画像処理装置１００はＳ１５０６において、画像処理を行うか行わないかの判定をし、肯定されるとＳ１５０８に進み、否定されると画像処理は行わずに図１５の処理を終える。
【００９０】
Ｓ１５０６での判定が肯定されると、画像処理装置１００はＳ１５０８からＳ１５１４の処理を行う。第３の実施の形態において、これらＳ１５０８からＳ１５１４における一連の処理が補正画像データ生成部１０８による処理に相当する。
【００９１】
Ｓ１５０８では画像処理パラメータを設定する処理が行われ、Ｓ１５１０では元画像データから一時画像データを生成する処理が行われる。Ｓ１５０８およびＳ１５１０の処理は、第１の実施の形態で説明したＳ５０８およびＳ５１０の処理と同様とすることが可能である。
【００９２】
Ｓ１５１２において画像処理装置１００は、一時画像データ中の部分画像データに低減処理を施して処理後一時画像データを生成する。この部分画像データは、一時画像データ中、周辺部に対応する領域の画像データである。つまり、Ｓ１５０２で一または複数の主要部が設定されることについて先に説明したが、この一または複数の主要部に対応する部分以外の領域の画像データ、すなわち周辺画像データである。
【００９３】
Ｓ１５１４において画像処理装置１００は、処理後一時画像データ中の周辺画像データと、元画像データ中の対応する位置の画像データとを合成し、補正画像データを生成する。Ｓ１５１４における合成の処理に際しては、単純に、元画像データ中の周辺部に対応する画像データを周辺画像データで置き換えることが可能である。あるいは、予め定められた混合比率で周辺画像データと元画像データとを混合することも可能である。このとき、混合比率は、画像全体に対して一様の混合比率が設定されていてもよいし、画像内の異なる位置ごとに異なる混合比率が設定されていてもよい。
【００９４】
予め定められた混合比率で周辺画像データと元画像データとを混合処理して合成する際には、第１の実施の形態で説明した複数の方法のうち、いずれかの方法を利用可能である。すなわち、ある混合比率で周辺画像データと元画像データとを混合処理する際には、Ｒ、Ｇ、Ｂの各色の成分ごとに混合しても、輝度情報や明度の情報を用いて混合しても、あるいは彩度情報のみを用いて混合してもよい。また、第１の実施の形態で説明したのと同様に、処理後一時画像データおよび元画像データが互いに異なる色空間の画像データとなっている場合には、処理後一時画像データの色空間と同じ色空間の画像データに元画像データを変換する。あるいは、処理後一時画像データを変換して元画像データの色空間と同じ色空間になるようにしてもよい。
【００９５】
一方、Ｓ１５０４での画像処理実行判定において画像処理は行わないと判定された場合、図１５のフローチャートにおいてＳ１５０６の判定が否定されるので、上記のＳ１５０８からＳ１５１４の処理はスキップされる。すなわち、第２の実施の形態でも説明したように、図６のＳ６０２およびＳ６０６での判定が否定されるということは、主要部の彩度がもともと高めであり、かつ、主要部には比較的細かいテクスチャを有する領域がさほど多くは存在しない、という状況に対応する。この場合、周辺部の低減処理をしなくても主要部は十分に際立っていて、自然な画像を得ることができる。
【００９６】
図１６は、図１５のフローチャートを参照して以上に説明した処理手順を概念的に示す図である。第３の実施の形態によれば、元画像データから生成された一時画像データ中の、周辺部に対応する周辺画像データに低減処理が施されて処理後一時画像データが生成される。この処理後一時画像データと、元画像データとが合成されて補正画像データが生成される。
【００９７】
上述のようにして生成された補正画像データに基づく画像は、周辺部の領域に対応する画像の彩度、明るさ、およびコントラストのうちの少なくともいずれかが低減されたものとなる。結果として、主要部に対応する領域の画像が他の領域の画像よりも相対的に際立って見えるようになり、見栄えのする画像を得ることが可能となる。第３の実施の形態においては、一時画像データ中の周辺画像データのみに対して低減処理が行われるので、主要部の領域が広めである（周辺部の領域が狭めで周辺画像データのデータサイズが小さめの）とき、処理時間を短縮することが可能となる。
【００９８】
− 第４の実施の形態 −
図１７は、第４の実施の形態に係る画像処理装置１００で実行される画像処理の手順を説明するフローチャートである。画像処理装置１００は、Ｓ１７００で画像データを取得する。この処理が画像データ取得部１０２での処理に相当する。取得した画像データは元画像データである。Ｓ１７００の処理は、第１の実施の形態で図５を参照して説明したＳ５００の処理と同様である。
【００９９】
Ｓ１７０２において画像処理装置１００は、元画像データを解析して主要部、周辺部を設定する処理をする。この処理が領域設定部１０４での処理に相当する。Ｓ１７０２での処理は、第１の実施の形態で図５を参照して説明したＳ５０２の処理と同様のものとすることが可能である。
【０１００】
Ｓ１７０４において画像処理装置１００は、主要部の画像を解析し、補正画像データを生成する処理を行うか否かを判定する処理を行う。この処理が画像処理実行判定部１０６での処理に相当する。Ｓ１７０４において行われる処理は、第１の実施の形態で図６を参照して説明したものと同様のものとすることが可能である。
【０１０１】
Ｓ１７０４での判定処理結果を受け、画像処理装置１００はＳ１７０６において、画像処理を行うか行わないかの判定をする。Ｓ１７０６での判定が、肯定されるとＳ１７０８に進み、否定されると画像処理を行うことなく、図１７の処理を終える。
【０１０２】
Ｓ１７０６での判定が肯定されると、画像処理装置１００はＳ１７０８、Ｓ１７１０、およびＳ１７１２の処理を行う。第４の実施の形態において、これらＳ１７０８、Ｓ１７１０、およびＳ１７１２の処理が補正画像データ生成部１０８による処理に相当する。
【０１０３】
Ｓ１７０８において画像処理装置１００は、元画像データを解析して、画素ごと、あるいは複数画素ごとに主要度を導出し、主要度マップを生成する。主要度の導出方法については、第１の実施の形態で説明したのと同様のものとすることが可能である。主要度マップは、図１８に概念図が示されるように、元画像データにより形成される画像中における主要度の分布が記録されたデータテーブルである。この主要度マップのデータサイズや値の定め方に関しても、第１の実施の形態で説明したのと同様のものとすることが可能である。
【０１０４】
Ｓ１７１０において画像処理装置１００は、Ｓ１７０８で作成された主要度マップに基づいて、画素ごとまたは複数画素ごとに処理パラメータを設定する。処理パラメータの設定に際しては、第１の実施の形態で図８、図９等を参照して説明したのと同様の方法を用いることが可能である。
【０１０５】
Ｓ１７１２において画像処理装置１００は、Ｓ１７１０で設定された処理パラメータに基づき、低減処理を行う。低減処理を行う対象は、第１〜第３の実施の形態と異なり、元画像データである。低減処理は、主要度が低いほど、その強度が高められる。低減処理により、明るさ、コントラスト、および彩度のうち、少なくともいずれかが減じられる。なお、明るさおよび彩度については画素単位での低減処理が可能であるが、コントラスト低減の処理に関しては複数画素単位での処理となる。理由は、コントラストが複数の画素間の明暗の差、あるいは彩度の差に基づくものであるからである。
【０１０６】
第４の実施の形態においてコントラスト低減の処理を行う場合、例えば以下のような方法を実行することが可能である。すなわち、Ｓ１７０８で作成された主要度マップ中、所定の階級幅に収まる画素からなる領域を一つの領域とするようにして複数の領域を区画し、各領域の主要度の高低に応じて処理パラメータを設定する。そして、区画された領域ごとに、主要度の高低に応じてコントラスト低減の処理を行うことが可能となる。
【０１０７】
図１８は、図１７のフローチャートを参照して以上に説明した処理を概念的に示す図である。先にも説明したように、第４の実施の形態においては、一時画像データが生成されず、元画像データに対して画像処理（低減処理）が行われる。低減処理に際しての処理パラメータは、元画像データを解析して生成された主要度マップに基づいて元画像データの画素ごとあるいは複数画素ごとに決定される。
【０１０８】
以上に説明したように、第４の実施の形態によれば、画素ごとまたは複数画素ごとに導出された主要度に基づいて主要度マップが生成され、主要度マップに基づいて処理パラメータが設定されて低減処理が行われる。その結果、周辺部全体に対して一つの処理パラメータで低減処理が行われるのに比べ、よりきめ細かく処理パラメータを設定することが可能となり、より自然な画像を得ることが可能となる。
【０１０９】
− 主要部あるいは主要度の高い領域の画像に対する強調処理 −
以上、第１〜第４の実施の形態では、画像内で主要度のより低い領域に対して低減処理が行われる例について説明した。以下では、上述した低減処理に加えて、主要度のより高い領域の画像が他の領域の画像よりも際立つようにする処理も行われる例について説明する。以下では先ず、主要度のより高い領域の画像が他の領域の画像よりも際立つようにする処理（以下ではこれを強調処理と称する）の具体例について説明し、その後、上記第１〜第４の実施の形態で説明した低減処理とともに強調処理が行われる例について説明する。
【０１１０】
図１９は、様々な画像のヒストグラムの例を示す図であり、横軸には明るさが、縦軸には度数がとられている。図１９（ａ）から図１９（ｆ）のそれぞれにおいて、実線および破線のヒストグラムが示されているが、破線は強調処理をする前の画像のヒストグラムを、実線は強調処理をした後の画像のヒストグラムを示している。この図１９を参照し、強調処理として明るさやコントラストを補正する処理が行われる場合の具体例について説明する。なお、図１９に例示されるヒストグラムはいずれも、元画像全体の画像データから導出されたものではなく、主要部の画像データから導出されたものであるものとする。
【０１１１】
図１９（ａ）は、ヒストグラムが暗側へ極端に偏っている例を示す。例えば、室内で窓際に立っている人物を撮影し、窓の外は日中の晴天である場合等にこのようなヒストグラムとなる。つまり、背景が明るいために露出が切りつめられ、主要部に写る人物の像が黒くつぶれている状況である。このような場合、強調処理としては、明るさを増し、かつコントラストを増す処理が行われる。その結果、処理後のヒストグラムにおいて最頻値（分布の山のピーク位置）はより明るい側に移動し、かつ分布の山の幅が増している。
【０１１２】
図１９（ｂ）は、ヒストグラムが暗側に偏り気味である例を示す。この例も、主要部に写る被写体が逆光気味の照明条件のもとで撮影されたものであるときに見られるものである。また、夜間や暗めの室内でフラッシュ撮影をしたときに、フラッシュの光量が不足気味であるときにも、このようなヒストグラムとなる。このような場合にも、強調処理として、明るさを増し、かつコントラストを増す処理が行われる。その結果、処理後のヒストグラムにおいて最頻値はより明るい側に移動し、かつ分布の山の幅が増している。
【０１１３】
図１９（ｃ）は、図１９（ｂ）に示されるのと同様、ヒストグラムが暗側に偏り気味である例を示す。図１９（ｂ）を参照して説明したのと同様の撮影状況で見られるヒストグラムであるが、ここでは撮影者が意図的に露出を切り詰めてローキーの画像を得ようとしたものとする。例えば、主要部の画像だけでなく、周辺部の画像の明るさも暗めのときに、コントラストを増す一方で明るさは減じる処理が行われる場合もある。強調処理としてこのような処理が行われた結果、処理後のヒストグラムにおいて最頻値はより暗い側に移動し、かつ分布の山の幅が増している。
【０１１４】
図１９（ｄ）は、明るさの分布が中間域に集中している例を示す。この例は、輝度範囲の比較的広い（明るい部分も暗い部分も存在する）背景中に中庸の輝度を有する被写体が主要部に写っている状況で見られるものである。主要部の被写体に対する露出レベルそのものは適切ではあるものの、周辺部には低輝度から高輝度にわたる比較的広い輝度範囲の被写体が写っているため、主要部に写る中間輝度域の被写体の画像に割り当てられた階調の幅が比較的狭くなっている。結果として、主要部に写る被写体のコントラストは低めとなる。このような場合、強調処理としては、明るさを増すとともにコントラストを増す処理が行われる。その結果、処理後のヒストグラムにおいて分布の山の幅が増している。また、主要部の平均的な明るさが増しているので、主要部の画像が周辺部の画像に対して際立つ。このとき、主要部の画像に対してのみ強調処理が行われるので、処理後の画像データにおいて周辺部の画像中の暗部が黒くつぶれてしまったり、明部が白く飛んでしまったりすることを抑制可能となる。
【０１１５】
図１９（ｅ）は、明るさの分布が暗部から明部にかけてほぼ満遍なく分布している例を示す。この例は、曇天等の比較的フラットな照明条件のもとで明部、暗部、中間部が適度に存在する被写体を撮影するような状況で見られるヒストグラムである。このようなヒストグラムが得られる画像は、そのままでも適度なメリハリのあるものである可能性は高い。しかし、主要部の画像がさらに際立つようにするために、以下のような処理を行う。すなわち、ヒストグラムを暗部、明部に分けて見たときに、処理後の明度分布の重心が、暗部ではより暗い側に移動し、明部ではより明るい側に移動するように補正をする。このようにすることにより、主要部の画像のコントラストを高めて際立たせることが可能となる。
【０１１６】
図１９（ｆ）は、ヒストグラムが明側に偏り気味である例を示す。ここでは撮影者が意図的に露出を過剰気味に設定し、ハイキーの画像を得ようとしたものとする。例えば、主要部の画像だけでなく、周辺部の画像の明るさも明るめのときに、コントラストを増しつつ、明るさを増す処理が行われる場合もある。強調処理としてこのような処理が行われた結果、処理後のヒストグラムにおいて最頻値はより明るい側に移動し、かつ分布の山の幅が増している。
【０１１７】
図１９（ｇ）もまた、図１９（ｆ）の例と同様に、ヒストグラムが明側に偏り気味である例を示す。この例は、周辺部に写る被写体の反射率に比して主要部に写る被写体の反射率が高めの（白っぽい）ときに見られるものである。このような場合、強調処理として、明るさを減少させ、かつコントラストを増す処理が行われる。その結果、処理後のヒストグラムにおいて最頻値はより暗い側に移動し、かつ分布の山の幅が増している。
【０１１８】
図１９（ｈ）は、ヒストグラムが明側へ極端に偏っている例を示す。この例は、主要部に写る被写体が、図１９（ｇ）で説明したものよりもさらに反射率が高い場合に見られるものである。このような状態となるものとしては、主要被写体が順光条件下の雪山や白壁の建築物等で、主要被写体の周囲の比較的広い領域に比較的低輝度の被写体が写っているような状況がある。このような場合、強調処理としては、明るさを減じ、かつコントラストを増す処理が行うことが可能である。その結果、処理後のヒストグラムにおいて最頻値（分布の山のピーク位置）はより暗い側に移動し、かつ分布の山の幅が増している。このように補正をすることにより、被写体表面のテクスチャを再現することが可能となる。
【０１１９】
図１９を参照して説明した処理を行う際には、例えばＬａｂやＹＣｂＣｒ、あるいはＨＳＬといった色空間で規定される画像データ中のＬチャンネル、Ｙチャンネルの色座標値を補正することが可能である。あるいは、ＲＧＢやＹＣＭ等の色空間で規定される画像データに対しては、ＲＧＢ、ＹＣＭのそれぞれの色座標値に同じ係数を乗じるようにしてもよい。ところで、上記Ｌチャンネル、Ｙチャンネルの色座標値は、各画素の明るさ、つまり輝度または明度を規定する情報であり、本明細書中では明度情報と称する。また、主要部あるいは主要度の高い領域の画像を構成する画素それぞれの明度情報を主要部明度情報と称する。
【０１２０】
図１９に示されるもの以外のコントラスト増加の処理として、ヒストグラム平滑化の処理を行うことも可能である。ヒストグラム平滑化の処理は、画像データを解析した結果に基づいて導出された階調変換特性をその画像データに適用し、階調変換処理後の画像データのヒストグラムのプロファイルが、明るさによらずほぼフラットないしはより緩やかになるようにする処理である。ヒストグラム平滑化の処理手順としては、一例として以下に説明するものがある。
【０１２１】
１．明度情報をソート：
画像データ中の明度情報をソートする処理を行う。画像データがＲＧＢ色空間で規定される画像データである場合、画素ごとにＲ、Ｇ、Ｂの各色座標値を単純に加算した値、あるいは人の眼の視覚特性に合うように、Ｒ、Ｇ、Ｂの各色座標値に重み付けをして加算した値を明度情報として、この明度情報に基づいてソートをする。このとき、上記のように加算した値から平均値（単純平均値または加重平均値）を画素毎に求めたものを階調値としてソートをしてもよい。画像データがＬａｂやＹＣｂＣｒ、あるいはＨＳＬ等の色空間で規定されるものである場合、Ｌチャンネル、Ｙチャンネルの値を明度情報としてソートする。
【０１２２】
２．累積頻度を導出：
明度情報が整数値であるものとして説明すると、明度情報が０から１までの値をとる画素の数、０から２までの値をとる画素の数、…、０から最大値までの値をとる画素の数を求める。すなわち、累積頻度特性を求める。このようにして求められた累積頻度特性をもとに、横軸に明度情報、縦軸に累積頻度をとってグラフにプロットすると、明度情報の値を変数とする累積頻度特性の曲線を描くことができる。
【０１２３】
３．階調変換の処理：
上述した累積頻度特性の曲線のプロファイルをそのまま階調変換特性曲線のプロファイルとなるようにして階調変換特性を導出する。この階調変換特性を用いて画像データに階調変換の処理を施すことにより、ヒストグラムは平滑化される。例えば、階調変換前の画像データのヒストグラムが、狭い階調域に集中して分布しているような特性を有するものである場合、ヒストグラム中にピーク状のプロファイルが現れる。上記の階調変換の処理を行うことにより、いわば密集して分布していてヒストグラムのピークが現れる階調域に対してより広い階調幅が与えられるようになる（ピークの高さは低められ、ピークの幅は増加する）。逆に、頻度の比較的少ない階調域においては、上記の階調変換の処理を行うことにより、階調幅が狭められる。結果として階調変換処理後のヒストグラムは、より緩やかなものとなり、画像のコントラストを増すことが可能となる。
【０１２４】
補正画像データ生成部１０８で行われる強調処理は、図１９を参照して以上に説明した例およびヒストグラム平滑化の処理のうち、一部の方法に従って行われてもよいし、すべての方法に従って行われてもよい。また、上述したもの以外の方法で強調処理が行われてもよい。すなわち、以上では強調処理として画像データの明るさを調整する例のみを説明しているが、彩度や色相などを調整して強調処理が行われるものであってもよい。つまり、上述したＬａｂ、ＹＣｂＣｒ、ＨＳＬ等の色空間で規定される画像データ中、強調処理に際して、ａ、ｂの色座標値、Ｃｂ、Ｃｒの色座標値、Ｈ、Ｓの色座標値を補正してもよい。
【０１２５】
第１〜第４の実施の形態では、画像処理パラメータを設定する処理ステップにおいて、低減処理を行う際の画像処理パラメータを設定する例について説明した。主要部、あるいは主要度の比較的高い領域の画像に強調処理を施す場合には、上述した画像処理パラメータを設定する処理ステップ（図５中のＳ５０８、図１３中のＳ１３０８、図１５中のＳ１５０８の各処理ステップ、および図１７中のＳ１７１０の処理ステップ）において、低減処理を行う際の画像処理パラメータに加えて、強調処理を行う際の画像処理パラメータが設定される。強調処理を行う際の画像処理パラメータの設定方法について、以下で図２０を参照して説明する。
【０１２６】
図２０は、先に図１９を参照して説明した強調処理を行う際の画像処理パラメータとして明るさ増加量補正係数が用いられる場合の例を示す図である。画像処理装置１００は、強調処理をする際に、主要部の画像の明るさを増す処理（明るさ増加処理）を行って主要部の画像のコントラストを高める。このとき、主要部の画像の明るさを増す際の増加量は一定ではなく、図２０に示される条件に従って変化する。すなわち、主要部の明るさ（輝度または明度）の平均値が第１１閾値以上であるとき、明るさ（輝度または明度）増加量補正係数は０．５に設定される。主要部の明るさの平均値が第１２閾値を上回り、かつ、第１１閾値を下回る場合には明るさ増加量補正係数は１に設定される。主要部の明るさの平均値が第１２閾値以下である場合、明るさ増加量補正係数は１．５に設定される。つまり、明るさ増加量補正係数は、明るさ増加処理を行う際の増加量を調節するための係数である。
【０１２７】
ここで、第１１閾値および第１２閾値の大小関係について説明すると、第１１閾値が第１２閾値よりも大きいものとする。つまり、主要部の明るさの平均値が第１１閾値以上である、ということは主要部が比較的明るいことを想定しており、その場合には明るさ増加量がデフォルトの値に対して５０％減とされ、主要部が過度に明るくならないように設定される（明るさ増加量補正係数＝０．５）。主要部の明るさの平均値が第１２閾値を上回り、かつ第１１閾値を下回る、ということは主要部が中庸の明るさであることを想定しており、その場合には明るさ増加量がデフォルトの値に設定される（明るさ増加量補正係数＝１．０）。そして、主要部の明るさの平均値が第１２閾値以下である、ということは主要部が比較的暗いことを想定しており、その場合には明るさ増加量がデフォルトの値に対して５０％増に設定される（明るさ増加量補正係数＝１．５）。
【０１２８】
さらに、主要部の近傍領域（図４参照）に第１３閾値以上の明るさの領域が第１４閾値以上の面積（画素数を面積として考えることが可能である）で存在する場合、明るさ増加量補正係数は１．５に設定される。つまり、主要部の近傍領域に比較的明るく、或る程度の面積を有する領域、すなわち目立つ領域が存在する場合には、その近傍領域の画像に埋もれてしまうことの無いように、主要部の明るさ増加量が５０％増に設定される。第１３閾値は、デフォルト設定された固定値としてもよいが、主要部の明るさの平均値に所定の大きさの値を加えた値とし、第１３閾値は主要部の明るさに応じて変化するものとすることが望ましい。
【０１２９】
第１３閾値だけでなく、第１４閾値も設定することにより、以下の効果を得ることが可能となる。すなわち、画像中に輝点ノイズ等が存在する場合に、そのノイズに影響を受けて画像処理の内容が変化してしまうのは望ましいことではない。この点、上記のように第１４閾値を設定することにより、近傍領域中に存在する明るい部分がノイズ等の影響で生じたものである場合、その明るい部分の存在を無視することが可能となる。何故なら、ノイズは画像内で離散的に生じるものなので、第１４閾値を適切に設定することにより、ノイズの影響かそうでないかを弁別することが可能となるからである。
【０１３０】
図２０に示される条件およびそれに対応する明るさ増加量補正係数は一例であり、さらに細かい条件にしたがって明るさ増加量補正係数が決定されるようにしてもよいし、補正係数ではなく、補正量そのものが決定されるようにしてもよい。
【０１３１】
− 第１の実施の形態の低減処理とともに行われる強調処理 −
図２１は、第１の実施の形態で説明した低減処理に加えて強調処理も行う場合の処理手順例を概念的に示す図である。図２１に示されるように、元画像データから生成された一時画像データに対して、Ｓ５０８（図５）で設定された画像処理パラメータ（低減処理用の画像処理パラメータ）が一律に適用されて低減処理が施された処理後一時画像データが生成される。Ｓ５０８では、低減処理用の画像処理パラメータとともに、強調処理用の画像処理パラメータも設定される。強調処理用の画像処理パラメータは、例えば図２０を参照して説明した条件に基づいて設定することが可能である。
【０１３２】
一時画像データおよび主要度マップが生成された後、元画像データに対して強調処理用の画像処理パラメータが適用されて強調処理が行われ、処理後元画像データが生成される。処理後元画像データと処理後一時画像データとは、Ｓ５１４の主要度設定処理で生成された主要度マップに基づく混合比率で合成され、補正画像データが生成される。合成に際して、画素ごとあるいは複数画素ごとに、主要度マップで規定される主要度に応じた混合比率で混合されて補正画像データが生成される。結果として、主要度のより低い領域に対応する画像の彩度、明るさ、およびコントラストのうちの少なくともいずれかが低減される。一方、主要度の高い領域においては処理後元画像データの混合比率が相対的に高まるので、主要度のより高い領域に対応する画像は、他の領域の画像よりもさらに際立って見えるようになり、見栄えのする画像を得ることが可能となる。
【０１３３】
以上では、元画像データに強調処理をして生成された処理後元画像データと、一時画像データに低減処理をして生成された処理後一時画像データとが合成される例について説明した。上述した処理に代えて、元画像データに強調処理をすることは行わずに、第１の実施の形態で説明した手順によって補正画像データを得た後、この補正画像データ中の主要部の画像データに対して強調処理をするようにしてもよい。
【０１３４】
− 第２の実施の形態の低減処理とともに行われる強調処理 −
図２２は、第２の実施の形態で説明した低減処理に加えて強調処理も行う場合の処理手順例を概念的に示す図である。図２２に示されるように、元画像データから生成された一時画像データに対して、Ｓ１３０８（図１３）で設定された画像処理パラメータ（低減処理用の画像処理パラメータ）が一律に適用されて低減処理が施され、処理後一時画像データが生成される。Ｓ１３０８では、低減処理用の画像処理パラメータとともに、強調処理用の画像処理パラメータも設定される。強調処理用の画像処理パラメータは、例えば図２０を参照して説明した条件に基づいて設定することが可能である。
【０１３５】
一時画像データが生成された後、元画像データに対して強調処理用の画像処理パラメータが一律に適用されて強調処理が行われ、処理後元画像データが生成される。処理後一時画像データ中の周辺画像データと、処理後元画像データ中の主要部に対応する部分の部分画像データとが合成されて補正画像データが生成される。周辺部の画像は低減処理が施され、彩度、明るさ、およびコントラストのうちの少なくともいずれかが低減される。一方、主要部の画像は、強調処理が施されているので、さらに際立って見えるようになり、見栄えのする画像を得ることが可能となる。
【０１３６】
以上では、一時画像データに低減処理をして生成された処理後一時画像データ中の周辺画像データと、元画像データに強調処理をして生成された処理後元画像データ中の部分画像データとが合成される例について説明した。上述した処理に代えて、元画像データに強調処理をすることは行わず、第２の実施の形態で説明した手順によって補正画像データを得た後、この補正画像データ中の主要部の画像データに対して強調処理をするようにしてもよい。
【０１３７】
− 第３の実施の形態の低減処理とともに行われる強調処理 −
図２３は、第３の実施の形態で説明した低減処理に加えて強調処理も行う場合の手順例を概念的に示す図である。図２３に示されるように、元画像データから一時画像データが生成され、その一時画像データ中の周辺画像データに対して、Ｓ１５０８（図１５）で設定された画像処理パラメータ（低減処理用の画像処理パラメータ）が適用されて低減処理が施され、処理後一時画像データが生成される。Ｓ１５０８では、低減処理用の画像処理パラメータとともに、強調処理用の画像処理パラメータも設定される。強調処理用の画像処理パラメータは、例えば図２０を参照して説明した条件に基づいて設定することが可能である。
【０１３８】
一時画像データが生成された後、元画像データ中の主要部に対応する部分の画像データ、すなわち部分画像データに対して強調処理用の画像処理パラメータが適用されて強調処理が行われ、処理後部分画像データが生成される。このとき、主要部が複数設定されている場合に、それぞれの主要部に対して一律の主要度（例えば主要度＝１）が設定されて、同一の強調処理が各主要部に施されるようにすることが可能である。あるいは、主要部ごとに異なる主要度が設定され、設定された主要度の高さに応じて異なる強度の強調処理が各主要部に対して施されるようにすることも可能である。処理後一時画像データ中の周辺画像データと処理後部分画像データとが合成されて補正画像データが生成される。周辺部の画像には低減処理が施され、彩度、明るさ、およびコントラストのうちの少なくともいずれかが低減される。一方、主要部の画像には強調処理が施されているので、さらに際立って見えるようになり、見栄えのする画像を得ることが可能となる。
【０１３９】
以上では、一時画像データ中の周辺画像データに低減処理をして生成された処理後一時画像データと、元画像データ中の部分画像データに強調処理をして生成された処理後部分画像データとが合成される例について説明した。上述した処理に代えて、元画像データに強調処理をすることは行わず、第３の実施の形態で説明した手順によって補正画像データを得た後、この補正画像データ中の主要部の画像データに対して強調処理をするようにしてもよい。
【０１４０】
− 第４の実施の形態の低減処理とともに行われる強調処理 −
図２４は、第４の実施の形態で説明した低減処理に加えて強調処理も行う場合の処理手順例を概念的に示す図である。図２４に示されるように、Ｓ１７０８（図１７）で導出された主要度マップに基づいてＳ１７１０で設定された処理パラメータが適用されて元画像データが処理され、補正画像データが生成される。このとき、主要度の比較的高い部分に対応して強調処理用の画像処理パラメータが適用される一方、主要度の比較的低い部分に対応して低減処理用の画像処理パラメータが適用される。強調処理用の画像処理パラメータは、例えば図２０を参照して説明した条件に基づいて設定することが可能である。
【０１４１】
以上に説明した処理により、周辺部の画像は低減処理が施され、彩度、明るさ、およびコントラストのうちの少なくともいずれかが低減される。一方、主要部の画像は、強調処理が施されて、さらに際立って見えるようになり、見栄えのする画像を得ることが可能となる。
【０１４２】
以上に説明した各実施の形態の画像処理装置は、冒頭にも説明したように、撮像装置に内蔵されるものであっても、画像処理プログラムが汎用コンピュータによって実行されることにより、上記の画像処理装置が実現されるものであってもよい。
【産業上の利用可能性】
【０１４３】
本発明に係る画像処理の技術は、デジタルスチルカメラ、デジタルムービーカメラなどに適用することが可能である。さらには、ビデオレコーダやコンピュータなどに適用することが可能である。
【符号の説明】
【０１４４】
１００ 画像処理装置
１０２ 画像データ取得部
１０４ 領域設定部
１０６ 画像処理実行判定部
１０８ 補正画像データ生成部
１５０ 画像表示部
１６０ 画像記録部
２００ デジタルカメラ
２１０ 撮影光学系
２１２ レンズ駆動部
２２０ 撮像部
２３０ 画像記録媒体
２４０ 操作部
２５０ 表示部
２６２ ＲＯＭ
２６４ ＲＡＭ
２７０、３１０ ＣＰＵ
３００ コンピュータ
３２０ メモリ
３３０ 補助記憶装置
３４０ インターフェース
３５０ メモリカードインターフェース
３６０ 光ディスクドライブ
３７０ ネットワークインターフェース
３８０ 表示装置
【特許請求の範囲】
【請求項１】
処理対象の画像データである元画像データを取得し、前記元画像データに補正処理を行う画像処理装置であって、
前記元画像データを取得する画像データ取得部と、
前記元画像データを解析し、前記元画像データ中の主要被写体を含む部分領域である主要部と、前記元画像データ中の前記主要部以外の部分領域である周辺部とを設定する領域設定部と、
前記主要部における彩度の情報と空間周波数の情報のいずれか、または両方の情報に基づいて、前記元画像データの補正の要否を判定する画像処理実行判定部と、
前記画像処理実行判定部により前記元画像データの補正が必要であると判定された場合、前記主要部の画像が相対的に際立つように、前記周辺部の画像に対して低減処理をする補正画像データ生成部であって、前記周辺部の画像の明るさ、コントラスト、および彩度のうち、少なくともいずれかが低下するように前記低減処理をする、補正画像データ生成部と
を備えることを特徴とする画像処理装置。
【請求項２】
前記補正画像データ生成部は、前記周辺部の画像の彩度が所定の値よりも高いとき、前記周辺部の画像の彩度がより大きく低下するように前記低減処理を行うことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記補正画像データ生成部は、前記周辺部の画像の明るさが所定の値よりも大きいとき、前記周辺部の画像の明るさがより大きく低下するように前記低減処理を行うことを特徴とする請求項１または２に記載の画像処理装置。
【請求項４】
前記補正画像データ生成部は、前記周辺部の画像のコントラストが所定の値よりも高いとき、前記周辺部の画像のコントラストがより大きく低下するように前記低減処理を行うことを特徴とする請求項１から３のいずれか一つに記載の画像処理装置。
【請求項５】
前記補正画像データ生成部は、
前記元画像データから一時画像データを生成し、前記一時画像データに対して処理を施して処理後一時画像データを生成する、処理後一時画像データ生成部と、
前記元画像データと前記処理後一時画像データとを画素単位または複数画素単位で合成する処理をする画像合成処理部と
を備えることを特徴とする請求項１から４のいずれか一つに記載の画像処理装置。
【請求項６】
前記画像合成処理部は、前記合成する処理をする際に、前記元画像データ、および前記処理後一時画像データの、明度情報、画素値、彩度情報のいずれかの情報を合成処理することを特徴とする請求項５に記載の画像処理装置。
【請求項７】
前記元画像データを解析した結果に基づき、前記元画像データの画素ごとまたは複数画素ごとに主要度を設定する主要度設定部であって、前記主要部内に存在する前記画素または前記複数画素の主要度が最大となるように前記主要度を設定する主要度設定部をさらに備え、
前記画像合成処理部は、前記主要度設定部で前記画素ごとまたは複数画素ごとに設定された主要度の高さに応じて前記処理後一時画像データの混合比率を変えながら混合する処理をすることを特徴とする請求項５または６に記載の画像処理装置。
【請求項８】
前記画像合成処理部は、前記主要度設定部で設定された主要度がより低い前記画素または複数画素に対応して前記処理後一時画像データの混合比率が高められるように混合処理をすることを特徴とする請求項７に記載の画像処理装置。
【請求項９】
前記補正画像データ生成部は、前記処理後一時画像データ中、前記周辺部に対応する部分の画像データである周辺画像データと、前記元画像データとを合成する処理をする、画像合成処理部を備え、
前記画像合成処理部は、前記元画像データ中の前記前記周辺部に対応する部分の画像データを、前記処理後一時画像データ中の前記周辺画像データで置き換える処理、または前記元画像データ中の前記周辺部に対応する部分の画像データと、前記処理後一時画像データ中の前記周辺画像データとを混合する処理を行う
ことを特徴とする請求項５に記載の画像処理装置。
【請求項１０】
前記補正画像データ生成部は、前記元画像データから生成した前記一時画像データ中の、前記周辺部に対応する部分の画像データである周辺画像データに対して前記低減処理をして処理後一時画像データを生成し、当該の処理後一時画像データと前記元画像データとを合成する処理をする、画像合成処理部を備え、
前記画像合成処理部は、前記元画像データ中の前記前記周辺部に対応する部分の画像データを前記処理後一時画像データ中の前記周辺画像データで置き換える処理、または前記元画像データ中の前記周辺部に対応する部分の画像データと、前記処理後一時画像データ中の前記周辺画像データとを混合する処理を行う
ことを特徴とする請求項５に記載の画像処理装置。
【請求項１１】
前記元画像データを解析した結果に基づき、前記元画像データの画素ごとまたは複数画素ごとに主要度を設定する主要度設定部であって、前記主要部内に存在する前記画素または前記複数画素の主要度が最大となるように前記主要度を設定する主要度設定部をさらに備え、
前記補正画像データ生成部は、前記主要度設定部で設定された主要度の高さが低い画素または複数画素ほど前記低減処理の強度を高める
ことを特徴とする請求項１に記載の画像処理装置。
【請求項１２】
前記補正画像データ生成部はさらに、前記画像処理実行判定部により前記元画像データの補正が必要であると判定された場合、前記主要部の画像が際立つよう、所定の色空間で規定される前記主要部の画像データ中の色座標値を補正することを特徴とする請求項１から１１のいずれか一つに記載の画像処理装置。
【請求項１３】
前記補正画像データ生成部は、前記主要部の画像データ中の画素それぞれの輝度または明度を規定する情報である主要部明度情報を補正することを特徴とする請求項１２に記載の画像処理装置。
【請求項１４】
前記主要部明度情報の補正は、前記主要部の画像のコントラストを増す補正を含むことを特徴とする請求項１３に記載の画像処理装置。
【請求項１５】
前記補正画像データ生成部は、前記主要部明度情報を補正する際に、前記主要部の画像の明るさに応じて前記主要部明度情報の補正量を変化させることを特徴とする請求項１３に記載の画像処理装置。
【請求項１６】
前記補正画像データ生成部は、前記主要部明度情報を補正する際に前記主要部明度情報の値を増加して画像が明るくなるように補正をし、このとき、前記主要部の画像の明るさが所定の値よりも大きいときの増加量よりも前記主要部の画像の明るさが前記所定の値以下であるときの増加量が上回るように前記主要部明度情報を補正することを特徴とする請求項１３に記載の画像処理装置。
【請求項１７】
前記補正画像データ生成部は、前記主要部明度情報を補正する際に前記主要部明度情報の値を増加して画像が明るくなるように補正をし、このとき、前記主要部の画像の明るさを上回る明るさの領域が前記主要部の近傍に存在する場合に、前記増加する際の増加量が増すように補正することを特徴とする請求項１３から１６のいずれか一つに記載の画像処理装置。
【請求項１８】
前記補正画像データ生成部は、前記主要部明度情報のヒストグラムを解析して導出された階調変換特性に基づいて階調変換処理を行うことにより前記主要部明度情報を補正し、補正後の前記主要部明度情報のヒストグラムの階調幅が増すようにすることを特徴とする請求項１５に記載の画像処理装置。
【請求項１９】
処理対象の画像データである元画像データに補正処理を行う画像処理方法であって、
前記元画像データを取得する画像データ取得手順と、
前記元画像データを解析し、前記元画像データ中の主要被写体を含む部分領域である主要部と、前記元画像データ中の前記主要部以外の部分領域である周辺部とを設定する領域設定手順と、
前記主要部における彩度の情報と空間周波数の情報のいずれか、または両方の情報に基づいて、前記元画像データの補正の要否を判定する画像処理実行判定手順と、
前記画像処理実行判定手順により前記元画像データの補正が必要であると判定された場合、前記主要部の画像が相対的に際立つように、前記周辺部の画像に対して低減処理をする補正画像データ生成手順であって、前記周辺部の画像の明るさ、コントラスト、および彩度のうち、少なくともいずれかが低下するように前記低減処理をする、補正画像データ生成手順と
を備えることを特徴とする画像処理方法。
【請求項２０】
撮影レンズによって形成された被写体像を光電変換して画像信号を出力可能な撮像素子を備える撮像装置であって、
前記撮像素子から出力される前記画像信号から生成された画像データを元画像データとして取得する画像データ取得部と、
前記元画像データを解析し、前記元画像データ中の主要被写体を含む部分領域である主要部と、前記元画像データ中の前記主要部以外の部分領域である周辺部とを設定する領域設定部と、
前記主要部における彩度の情報と空間周波数の情報のいずれか、または両方の情報に基づいて、前記元画像データの補正の要否を判定する画像処理実行判定部と、
前記画像処理実行判定部により前記元画像データの補正が必要であると判定された場合、前記主要部の画像が相対的に際立つように、前記周辺部の画像に対して低減処理をする補正画像データ生成部であって、前記周辺部の画像の明るさ、コントラスト、および彩度のうち、少なくともいずれかが低下するように前記低減処理をする、補正画像データ生成部と
を備えることを特徴とする撮像装置。
【請求項２１】
処理対象の画像データである元画像データを補正する処理をコンピュータに実行させるための画像処理プログラムであって、
前記元画像データを取得する画像データ取得ステップと、
前記元画像データを解析し、前記元画像データ中の主要被写体を含む部分領域である主要部と、前記元画像データ中の前記主要部以外の部分領域である周辺部とを設定する領域設定ステップと、
前記主要部における彩度の情報と空間周波数の情報のいずれか、または両方の情報に基づいて、前記元画像データの補正の要否を判定する画像処理実行判定ステップと、
前記画像処理実行判定ステップにより前記元画像データの補正が必要であると判定された場合、前記主要部の画像が相対的に際立つように、前記周辺部の画像に対して低減処理をする補正画像データ生成ステップであって、前記周辺部の画像の明るさ、コントラスト、および彩度のうち、少なくともいずれかが低下するように前記低減処理をする、補正画像データ生成ステップと
を備えることを特徴とする画像処理プログラム。
【請求項１】
処理対象の画像データである元画像データを取得し、前記元画像データに補正処理を行う画像処理装置であって、
前記元画像データを取得する画像データ取得部と、
前記元画像データを解析し、前記元画像データ中の主要被写体を含む部分領域である主要部と、前記元画像データ中の前記主要部以外の部分領域である周辺部とを設定する領域設定部と、
前記主要部における彩度の情報と空間周波数の情報のいずれか、または両方の情報に基づいて、前記元画像データの補正の要否を判定する画像処理実行判定部と、
前記画像処理実行判定部により前記元画像データの補正が必要であると判定された場合、前記主要部の画像が相対的に際立つように、前記周辺部の画像に対して低減処理をする補正画像データ生成部であって、前記周辺部の画像の明るさ、コントラスト、および彩度のうち、少なくともいずれかが低下するように前記低減処理をする、補正画像データ生成部と
を備えることを特徴とする画像処理装置。
【請求項２】
前記補正画像データ生成部は、前記周辺部の画像の彩度が所定の値よりも高いとき、前記周辺部の画像の彩度がより大きく低下するように前記低減処理を行うことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記補正画像データ生成部は、前記周辺部の画像の明るさが所定の値よりも大きいとき、前記周辺部の画像の明るさがより大きく低下するように前記低減処理を行うことを特徴とする請求項１または２に記載の画像処理装置。
【請求項４】
前記補正画像データ生成部は、前記周辺部の画像のコントラストが所定の値よりも高いとき、前記周辺部の画像のコントラストがより大きく低下するように前記低減処理を行うことを特徴とする請求項１から３のいずれか一つに記載の画像処理装置。
【請求項５】
前記補正画像データ生成部は、
前記元画像データから一時画像データを生成し、前記一時画像データに対して処理を施して処理後一時画像データを生成する、処理後一時画像データ生成部と、
前記元画像データと前記処理後一時画像データとを画素単位または複数画素単位で合成する処理をする画像合成処理部と
を備えることを特徴とする請求項１から４のいずれか一つに記載の画像処理装置。
【請求項６】
前記画像合成処理部は、前記合成する処理をする際に、前記元画像データ、および前記処理後一時画像データの、明度情報、画素値、彩度情報のいずれかの情報を合成処理することを特徴とする請求項５に記載の画像処理装置。
【請求項７】
前記元画像データを解析した結果に基づき、前記元画像データの画素ごとまたは複数画素ごとに主要度を設定する主要度設定部であって、前記主要部内に存在する前記画素または前記複数画素の主要度が最大となるように前記主要度を設定する主要度設定部をさらに備え、
前記画像合成処理部は、前記主要度設定部で前記画素ごとまたは複数画素ごとに設定された主要度の高さに応じて前記処理後一時画像データの混合比率を変えながら混合する処理をすることを特徴とする請求項５または６に記載の画像処理装置。
【請求項８】
前記画像合成処理部は、前記主要度設定部で設定された主要度がより低い前記画素または複数画素に対応して前記処理後一時画像データの混合比率が高められるように混合処理をすることを特徴とする請求項７に記載の画像処理装置。
【請求項９】
前記補正画像データ生成部は、前記処理後一時画像データ中、前記周辺部に対応する部分の画像データである周辺画像データと、前記元画像データとを合成する処理をする、画像合成処理部を備え、
前記画像合成処理部は、前記元画像データ中の前記前記周辺部に対応する部分の画像データを、前記処理後一時画像データ中の前記周辺画像データで置き換える処理、または前記元画像データ中の前記周辺部に対応する部分の画像データと、前記処理後一時画像データ中の前記周辺画像データとを混合する処理を行う
ことを特徴とする請求項５に記載の画像処理装置。
【請求項１０】
前記補正画像データ生成部は、前記元画像データから生成した前記一時画像データ中の、前記周辺部に対応する部分の画像データである周辺画像データに対して前記低減処理をして処理後一時画像データを生成し、当該の処理後一時画像データと前記元画像データとを合成する処理をする、画像合成処理部を備え、
前記画像合成処理部は、前記元画像データ中の前記前記周辺部に対応する部分の画像データを前記処理後一時画像データ中の前記周辺画像データで置き換える処理、または前記元画像データ中の前記周辺部に対応する部分の画像データと、前記処理後一時画像データ中の前記周辺画像データとを混合する処理を行う
ことを特徴とする請求項５に記載の画像処理装置。
【請求項１１】
前記元画像データを解析した結果に基づき、前記元画像データの画素ごとまたは複数画素ごとに主要度を設定する主要度設定部であって、前記主要部内に存在する前記画素または前記複数画素の主要度が最大となるように前記主要度を設定する主要度設定部をさらに備え、
前記補正画像データ生成部は、前記主要度設定部で設定された主要度の高さが低い画素または複数画素ほど前記低減処理の強度を高める
ことを特徴とする請求項１に記載の画像処理装置。
【請求項１２】
前記補正画像データ生成部はさらに、前記画像処理実行判定部により前記元画像データの補正が必要であると判定された場合、前記主要部の画像が際立つよう、所定の色空間で規定される前記主要部の画像データ中の色座標値を補正することを特徴とする請求項１から１１のいずれか一つに記載の画像処理装置。
【請求項１３】
前記補正画像データ生成部は、前記主要部の画像データ中の画素それぞれの輝度または明度を規定する情報である主要部明度情報を補正することを特徴とする請求項１２に記載の画像処理装置。
【請求項１４】
前記主要部明度情報の補正は、前記主要部の画像のコントラストを増す補正を含むことを特徴とする請求項１３に記載の画像処理装置。
【請求項１５】
前記補正画像データ生成部は、前記主要部明度情報を補正する際に、前記主要部の画像の明るさに応じて前記主要部明度情報の補正量を変化させることを特徴とする請求項１３に記載の画像処理装置。
【請求項１６】
前記補正画像データ生成部は、前記主要部明度情報を補正する際に前記主要部明度情報の値を増加して画像が明るくなるように補正をし、このとき、前記主要部の画像の明るさが所定の値よりも大きいときの増加量よりも前記主要部の画像の明るさが前記所定の値以下であるときの増加量が上回るように前記主要部明度情報を補正することを特徴とする請求項１３に記載の画像処理装置。
【請求項１７】
前記補正画像データ生成部は、前記主要部明度情報を補正する際に前記主要部明度情報の値を増加して画像が明るくなるように補正をし、このとき、前記主要部の画像の明るさを上回る明るさの領域が前記主要部の近傍に存在する場合に、前記増加する際の増加量が増すように補正することを特徴とする請求項１３から１６のいずれか一つに記載の画像処理装置。
【請求項１８】
前記補正画像データ生成部は、前記主要部明度情報のヒストグラムを解析して導出された階調変換特性に基づいて階調変換処理を行うことにより前記主要部明度情報を補正し、補正後の前記主要部明度情報のヒストグラムの階調幅が増すようにすることを特徴とする請求項１５に記載の画像処理装置。
【請求項１９】
処理対象の画像データである元画像データに補正処理を行う画像処理方法であって、
前記元画像データを取得する画像データ取得手順と、
前記元画像データを解析し、前記元画像データ中の主要被写体を含む部分領域である主要部と、前記元画像データ中の前記主要部以外の部分領域である周辺部とを設定する領域設定手順と、
前記主要部における彩度の情報と空間周波数の情報のいずれか、または両方の情報に基づいて、前記元画像データの補正の要否を判定する画像処理実行判定手順と、
前記画像処理実行判定手順により前記元画像データの補正が必要であると判定された場合、前記主要部の画像が相対的に際立つように、前記周辺部の画像に対して低減処理をする補正画像データ生成手順であって、前記周辺部の画像の明るさ、コントラスト、および彩度のうち、少なくともいずれかが低下するように前記低減処理をする、補正画像データ生成手順と
を備えることを特徴とする画像処理方法。
【請求項２０】
撮影レンズによって形成された被写体像を光電変換して画像信号を出力可能な撮像素子を備える撮像装置であって、
前記撮像素子から出力される前記画像信号から生成された画像データを元画像データとして取得する画像データ取得部と、
前記元画像データを解析し、前記元画像データ中の主要被写体を含む部分領域である主要部と、前記元画像データ中の前記主要部以外の部分領域である周辺部とを設定する領域設定部と、
前記主要部における彩度の情報と空間周波数の情報のいずれか、または両方の情報に基づいて、前記元画像データの補正の要否を判定する画像処理実行判定部と、
前記画像処理実行判定部により前記元画像データの補正が必要であると判定された場合、前記主要部の画像が相対的に際立つように、前記周辺部の画像に対して低減処理をする補正画像データ生成部であって、前記周辺部の画像の明るさ、コントラスト、および彩度のうち、少なくともいずれかが低下するように前記低減処理をする、補正画像データ生成部と
を備えることを特徴とする撮像装置。
【請求項２１】
処理対象の画像データである元画像データを補正する処理をコンピュータに実行させるための画像処理プログラムであって、
前記元画像データを取得する画像データ取得ステップと、
前記元画像データを解析し、前記元画像データ中の主要被写体を含む部分領域である主要部と、前記元画像データ中の前記主要部以外の部分領域である周辺部とを設定する領域設定ステップと、
前記主要部における彩度の情報と空間周波数の情報のいずれか、または両方の情報に基づいて、前記元画像データの補正の要否を判定する画像処理実行判定ステップと、
前記画像処理実行判定ステップにより前記元画像データの補正が必要であると判定された場合、前記主要部の画像が相対的に際立つように、前記周辺部の画像に対して低減処理をする補正画像データ生成ステップであって、前記周辺部の画像の明るさ、コントラスト、および彩度のうち、少なくともいずれかが低下するように前記低減処理をする、補正画像データ生成ステップと
を備えることを特徴とする画像処理プログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【公開番号】特開２０１２−９３９０４（Ｐ２０１２−９３９０４Ａ）
【公開日】平成２４年５月１７日（２０１２．５．１７）
【国際特許分類】
【出願番号】特願２０１０−２３９８９３（Ｐ２０１０−２３９８９３）
【出願日】平成２２年１０月２６日（２０１０．１０．２６）
【出願人】（００００００３７６）オリンパス株式会社 (11,466)
【Ｆターム（参考）】
【公開日】平成２４年５月１７日（２０１２．５．１７）
【国際特許分類】
【出願日】平成２２年１０月２６日（２０１０．１０．２６）
【出願人】（００００００３７６）オリンパス株式会社 (11,466)
【Ｆターム（参考）】
[ Back to top ]