画像処理装置および画像処理プログラム
【課題】被写体が撮影されたときの状況に適した画像補正処理を行う。
【解決手段】特徴量導出部１０２は、撮影記録して得られた入力画像データにより形成される画像に関して、彩度別に入力画像データ中の画素を分類して得られた彩度特性と、明度別に入力画像データ中の画素を分類して得られた明度特性と、入力画像データ中で検出されたエッジ数およびエッジ位置に基づくエッジ特性とを特徴量として導出する。処理適性指標導出部１０６は、入力画像に含まれる同一の画素に対して彩度低減とシャープネス増加との両方を行う処理である特定処理を入力画像データに施すことに対する適性指標である処理適性指標を上記特徴量に基づいて導出する。画像補正処理部１１０は、処理適性指標に基づいて特定処理を施す。
【解決手段】特徴量導出部１０２は、撮影記録して得られた入力画像データにより形成される画像に関して、彩度別に入力画像データ中の画素を分類して得られた彩度特性と、明度別に入力画像データ中の画素を分類して得られた明度特性と、入力画像データ中で検出されたエッジ数およびエッジ位置に基づくエッジ特性とを特徴量として導出する。処理適性指標導出部１０６は、入力画像に含まれる同一の画素に対して彩度低減とシャープネス増加との両方を行う処理である特定処理を入力画像データに施すことに対する適性指標である処理適性指標を上記特徴量に基づいて導出する。画像補正処理部１１０は、処理適性指標に基づいて特定処理を施す。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、被写体を撮影して得られる画像に処理をして、より好ましい画像が得られるようにする技術に関する。
【背景技術】
【０００２】
従来のデジタル画像撮像装置は、被写体を撮影して得られる画像の色調をユーザの好みに応じて変更可能に構成される。例えば、仕上がりを「ビビッド」などと称されるものに設定すると、より色鮮やかな画像が得られるように画像が調整される。また、「フラット」などと称されるものに設定すると、後でユーザが好みに応じて色調やコントラスト等を調節するのに適した画像（後処理に際して色飽和や白飛びの生じにくい画像）が得られるように画像が調節される。また、撮像装置の中には、シーンモードなどと称される動作モードを備えるものがある。ユーザが撮像装置を操作し、これから撮影しようとする状況に近いものを複数用意されるシーンの中から選択し、設定することにより、例えば夜景、水中、雪景色、新緑、人物（ポートレイト）等の撮影シーンや被写体に適した仕上がりの画像が得られるように撮像装置内部で画像が自動的に補正される。
【０００３】
また、撮影者本人などのオペレータが、撮像装置、あるいはコンピュータ上で実行される画像処理ソフトウェアを使用して、メモリカード等から読み出された画像や外部から入力された画像に対し、その画像中に写る被写体や撮影シーン等に応じて画像を補正することも行われている。
【０００４】
撮影者本人などのオペレータが画像を補正する場合、補正に関する知識を必要とする。また、多数の画像を補正するためには時間と手間を必要とする。特許文献１には、自動的に画像処理をして彩度補正を行うことの可能な画像処理システム及び画像処理方法が開示される。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特許第４１６０４４５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
被写体によっては、高彩度かつ高コントラストな画像に仕上げるのが好ましい場合もあれば、低コントラストで淡い彩度の仕上げとするのが好ましい場合もある。また、同じ被写体を撮影したとしても、その被写体がクローズアップ撮影されているのか、より離れた位置から撮影されているのか、晴天下で撮影されたのか、曇天のもとで撮影されたのか、あるいは室内で撮影されたのかによっても、ユーザがより好ましいと感じる仕上げは異なる場合がある。
【０００７】
一般的には彩度が高く、コントラストの高い仕上げをすることが好ましいシーンが多い。しかしその一方で、彩度を下げ、かつシャープネスを増した方が好ましい場合もある。例えば、表面に錆びが浮いていたり、部分的に塗装がはがれていたりする鉄橋や船舶等が被写体である場合には、彩度を下げて情緒的な画像表現としつつも、構造やテクスチャがより明瞭となるように再現することが望ましい場合がある。また、比較的淡い色で彩色された縮緬や和紙等で製作された和風小物等を撮影するような場合においても同様である。このような撮影状況において、従来の撮像装置に備えられる「フラット」などのシーンモードに設定して撮影すると、得られる画像は暗く、かつ色褪せたような仕上がりとなり、必ずしもユーザの好みに合わない場合があった。また、撮影シーンや被写体等の違いに応じて撮影者は手動でモードを切り換える必要があり、ユーザがその操作を煩雑と感じることがある。加えて、撮影者が初心者であると、どのモードに設定するのかを的確に判断できない場合もある。また、一度設定したモードを元に戻すのを忘れて他の被写体や撮影シーンを撮影してしまい、期待するものから大きくかけ離れた仕上がりの画像となってしまうこともある。
【０００８】
本発明は、上記の課題に鑑みてなされたものであり、ユーザが撮影シーンや被写体に応じて設定変更操作をすることなく、彩度を低く、かつシャープネスを増すことが望ましい画像に対して適切に処理が行われてより好ましい仕上がりの画像を生成可能とする技術を提供することを目的とする。
【課題を解決するための手段】
【０００９】
本発明の一つの態様によれば、画像処理装置が、撮影記録して得られたデジタルの入力画像データにより形成される画像の特徴量を導出する特徴量導出部であって、彩度別に前記入力画像データ中の画素を分類して得られた彩度特性と、明度別に前記入力画像データ中の画素を分類して得られた明度特性と、前記入力画像データ中で検出されたエッジ数およびエッジ位置に基づくエッジ特性とを前記特徴量として導出する、特徴量導出部と、
前記入力画像データに含まれる同一の画素に対して彩度低減とシャープネス増加との両方を行う処理である特定処理を前記入力画像データに施すことに対する適性の指標である処理適性指標を、前記特徴量に基づいて導出する、処理適性指標導出部と、
前記処理適性指標に基づいて、前記入力画像データに含まれるそれぞれの画素に対して前記特定処理を施す画像補正処理部と
を備える。
【００１０】
本発明のもう一つの態様によれば、画像処理プログラムが、
撮影記録して得られたデジタルの入力画像データにより形成される画像の特徴量を導出する特徴量導出手順であって、彩度別に前記入力画像データ中の画素を分類して得られた彩度特性と、明度別に前記入力画像データ中の画素を分類して得られた明度特性と、前記入力画像データ中で検出されたエッジ数およびエッジ位置に基づくエッジ特性とを前記特徴量として導出する、特徴量導出手順と、
前記入力画像データに含まれる同一の画素に対して彩度低減とシャープネス増加との両方を行う処理である特定処理を前記入力画像データに施すことに対する適性の指標である処理適性指標を、前記特徴量に基づいて導出する、処理適性指標導出手順と、
前記処理適性指標に基づいて、前記入力画像データに含まれるそれぞれの画素に対して前記特定処理を施す画像補正処理手順と
を備える。
【発明の効果】
【００１１】
本発明によれば、画像処理に関するユーザの特別な知識を必要とすることなく、また、撮影シーンや被写体に応じて設定変更操作をすることなく、彩度を低く、かつシャープネスを上げることが望ましい画像に対して適切に処理が行われ、より好ましいと感じられる仕上がりの画像を生成することが可能となる。
【図面の簡単な説明】
【００１２】
【図１】第１の実施の形態に係る画像処理装置の構成を示すブロック図である。
【図２】入力画像データ中の画素を複数の色相および彩度の組み合わせのグループに分類する様子を概念的に示す図である。
【図３】入力画像データの明度値のヒストグラム例を示す図であり、（ａ）は明度差が大きめで、コントラストの比較的高い画像のヒストグラム例を、（ｂ）は明度差が少なめで、コントラストの比較的低い画像のヒストグラム例を示す図である。
【図４】画像処理装置で処理される処理対象の画像例を示す図であり、（ａ）は被写体としての船の船体に錆びや塗装はがれを生じている例を、（ｂ）は錆びや塗装はがれを生じていない例を示す図である。
【図５】画像処理装置で処理される対象の画像例を示す図であり、（ａ）は彩度の比較的低い被写体のみが撮影記録されている画像の例を、（ｂ）は主要被写体としての樹木が彩度の比較的低い被写体とともに撮影記録されている画像の例を示す図である。
【図６】第２の実施の形態に係る画像処理装置の構成を示すブロック図である。
【図７】比較部で比較される特徴量の例を示す図であり、（ａ）は記憶部に記憶される、各サンプル画像に対応する特徴量および処理適性評価値の例を、（ｂ）は特徴量導出部で入力画像データから導出される特徴量の例を示す図である。
【図８】第３の実施の形態に係る画像処理装置の構成を示すブロック図である。
【図９】明度増加処理部で明度増加処理をする際の処理内容（階調変換特性）を概念的に示す図である。
【図１０】画像処理装置が電子カメラに実装される例を示すブロック図である。
【図１１】コンピュータと、このコンピュータ上で実行されるソフトウェアによって画像処理装置が実現される例を示すブロック図である。
【図１２】コンピュータのＣＰＵにより実行される画像処理プログラムを示す概略フローチャートである。
【発明を実施するための形態】
【００１３】
− 第１の実施の形態 −
図１は、本発明の第１の実施の形態に係る画像処理装置１００の概略的構成を説明するブロック図である。画像処理装置１００は、特徴量導出部１０２と、撮影記録パラメータ抽出部１０４と、処理適性指標導出部１０６と、画像補正処理部１１０とを備える。特徴量導出部１０２は、エッジ検出処理部１３０を備える。画像補正処理部１１０は、彩度低減処理部１１２と、シャープネス増加処理部１３２とを備える。
【００１４】
画像処理装置１００は、様々な形態で実現可能である。例えば、電子カメラに内蔵されるものとすることができる。この場合、電子カメラで撮影記録されて生成されたデジタルの画像データを画像処理装置１００が処理する。本明細書において、画像処理装置１００に入力される処理前の画像データを入力画像データと称し、画像処理装置１００で処理されて出力される画像データを出力画像データと称する。
【００１５】
画像処理装置１００は、ＰＣ（Personal Computer）などの情報処理装置と、この情報処理装置上で実行されるプログラムとによって実施することができる。その場合、電子カメラで撮影記録されたデジタルの画像データが有線や無線のインターフェース、あるいはメモリカード等を介して情報処理装置に転送され、それが入力画像データとして処理されて出力画像データが生成され、記録、表示、他の装置への出力等が行われる。
【００１６】
画像処理装置１００はまた、ハードディスク・レコーダ等の画像記録・再生装置、デジタルフォトフレーム等の画像表示装置、あるいはプリンタ等の機器に内蔵されるものとすることができる。その場合、電子カメラで撮影記録されて生成された画像データファイルが有線や無線のインターフェース、あるいはメモリカード等を介してこれらの機器に転送され、それが入力画像データとして処理されて出力画像データが生成され、記録、再生、印刷、表示等の処理が行われる。
【００１７】
画像処理装置１００の内部構成について説明する。特徴量導出部１０２は、撮影記録して得られた入力画像データにより形成される画像（以下では入力画像データにより形成される画像を処理対象画像と称する）の特徴量を導出する。本実施の形態において、導出される特徴量は、以下に説明する色相別／彩度別画素頻度、低彩度画素重心位置、青空画素頻度、特定色領域、明度別画素頻度等である。特徴量導出部１０２は、これらの特徴量のうち、全部を導出可能に構成されていても、一部を導出可能に構成されていてもよい。
【００１８】
特徴量導出部１０２は、入力画像データを例えばＬ＊ａ＊ｂ＊色空間の画像データに変換して色相別／彩度別の画素数を計数する。例えば、図２に示すように、ａ＊、ｂ＊の二次元座標上において複数の色相エリアに分割（図２には８種類の色相エリアに分割する例が示されている）する。さらに、所定の閾値ＴＨｓを超す彩度エリアと、ＴＨｓ以下の彩度エリアとに分割する。処理対象画像中の各画素について、上記のように形成された複数のエリア（図２の例では１６のエリア）それぞれに属する画素の数を計数する。このように計数された色相別／彩度別の画素数をもとに、特徴量導出部１０２は色相別／彩度別画素頻度の情報を導出する。なお、以上で説明したＬ＊ａ＊ｂ＊の色空間については一例を示したにすぎず、他の色空間、例えばＹＣｂＣｒ、ＨＳＬ等の色空間に変換して色相別／彩度別の画素数の計数を行うことも可能である。特に、ＲＧＢ画像データからＹＣｂＣｒ色空間の画像データに変換する処理は、他の変換処理に比して容易であり、処理負荷を低減可能となる。
【００１９】
特徴量導出部１０２は、上記のように分割されたエリアのうち、色相によらず低彩度のエリア、例えば図２において閾値ＴＨｓ以下のエリア（半径ＴＨｓの円の内側のエリア）に属する画素（本明細書では低彩度画素と称する）の、処理対象画像中で存在する画素位置の重心を求め、低彩度画素重心位置の情報を導出する。具体的には、
彩度 ＝ √（ａ＊＾２＋ｂ＊＾２）
としたときの彩度の値が上記閾値ＴＨｓ以下となる画素を抽出して、それらの画素の処理対象画像内の座標位置から重心位置を求める。以上では閾値ＴＨｓが色相によらず一定の値をとるものとして説明したが、色相の違いに応じて閾値ＴＨｓが異なる値をとるものであってもよい。その場合、図２に示される閾値ＴＨｓを示す形状は真円以外の形状、例えば楕円や多角形等になる。
【００２０】
なお、上記の分類に加えて、明度値（Ｌ＊値）の大小も加味して分類をすることも可能である。しかし、以上に説明したように明度値による分類の処理を省くと、画像データ中のａ＊値、ｂ＊値のみを参照すればよくなるので、処理負荷を減じることが可能となる。
【００２１】
特徴量導出部１０２はさらに、上述した色相別／彩度別画素頻度とは別に、肌色、植物の緑、青空のそれぞれに特有の色相の色を有する画素（本明細書ではこれらの色を有する画素を、肌色画素、緑画素、青空画素とそれぞれ称する）を抽出する。このうち、青空画素についてはその画素の数を計数する。特徴量導出部１０２は、処理対象画像中の青空画素の画素数計数結果をもとに青空画素頻度の情報を導出する。抽出された肌色画素、緑画素に対しては、処理対象画像中において肌色画素、緑画素それぞれが存在する領域の各範囲を特定可能な情報である特定色領域の情報を特徴量導出部１０２は導出する。
【００２２】
なお、青空画素、緑画素、肌色画素の抽出をするための様々な方法が既に提案されているのでここではその一例を簡単に説明する。画像データを多数のブロックに分割し、そのうち空間周波数が比較的低く、青色成分の多いブロックに属する画素を青空画素とすることができる。同様に、画像データを多数のブロックに分割し、そのうち空間周波数が比較的低く、肌色特有の色域の色を有する画素を多く含むブロックに属する画素を肌色画素とすることができる。あるいは、撮影記録時に顔認識処理が行われていたときには、認識された顔エリア内の色と類似する色の画素を肌色画素とすることができる。緑画素については、予め定めておいた植物の緑色特有の色域に属する色の画素を抽出して緑画素とすることが可能である。
【００２３】
特徴量導出部１０２は、上述したＬ＊ａ＊ｂ＊色空間の画像データ中、各画素のＬ＊値を統計処理し、明度別画素頻度の情報を導出する。明度別画素頻度の情報としては、ヒストグラム、最大／最小値、中央値（median）、標本分散（Variance）等の統計量のうち、いずれか一つまたは複数を含む。本明細書においては明度別画素頻度の情報中に、明度の分散（例えば明度値を統計処理して得られる標本分散の値）に関する情報が含まれるものとする。なお、各画素の明度としては、上述したＬ＊値以外にも、ＲＧＢ画像データのＧ値、ＲＧＢ各値の和、ＲＧＢ値からＹＣｂＣｒ値を求めたときのＹ値等を用いることが可能である。
【００２４】
特徴量導出部１０２はさらに、以上に説明したものに加えて、エッジ特性も特徴量として導出する。このエッジ特性は、特徴量導出部１０２に備えられるエッジ検出処理部１３０で検出される。エッジ検出処理部１３０は、入力画像データにより形成される画像、すなわち処理対象画像を以下で説明するように解析してエッジ検出を行う。例えば、ＹＣｂＣｒ色空間で表される画像データからＹ成分の画像データ、すなわち輝度画像データを抽出し、この輝度画像データに微分フィルタや、プリューウィット、ソーベル、あるいはラプラシアン等のフィルタを適用する。これらのうち、いずれかのフィルタを適用して得られたデータを可視化すると、黒い背景に白い線で描いた線画のような画像を得ることができる。エッジ検出処理部１３０は、この画像を上下方向、左右方向等にスキャンして、線画を構成するエッジの本数やエッジ位置を抽出する。また、必要に応じてエッジ方向も導出することが可能である。エッジ検出処理部１３０は、抽出されたこれらのエッジ本数やエッジ位置等に関する情報を、エッジ特性として出力する。
【００２５】
撮影記録パラメータ抽出部１０４は、入力画像データを得るための撮影記録が行われる際に電子カメラで設定されていた撮影記録条件を特定可能な撮影記録パラメータを入力画像データから抽出する。撮影記録パラメータには、電子カメラで撮影記録が行われる際の、フォーカス位置、顔認識処理によって認識された顔の数（以下、認識顔数と称する）、測光値、設定ＩＳＯ感度、設定絞り、設定シャッタ秒時、設定焦点距離、ホワイトバランス、照明光源、等に関する情報が含まれる。撮影記録パラメータ抽出部１０４は、これらの情報のうち、全部を抽出可能に構成されていても、一部を抽出可能に構成されていてもよい。
【００２６】
フォーカス位置の情報は、電子カメラの焦点調節モードが自動焦点調節モードに設定されていて、撮影記録が行われる際に焦点検出が行われた画面内の位置を特定可能な情報である。つまり、近年の自動焦点調節技術の発達により、焦点調節は必ずしも画面中央に位置する被写体のみに対して行われる訳ではなく、画面中央から離れた位置に存在する被写体に対して焦点調節することも可能となっている。フォーカス位置の情報を参照することにより、処理対象画像中のどこに写る被写体に焦点調節が行われたのかを知ることが可能となる。
【００２７】
認識顔数の情報は、撮影記録が行われる際に顔認識処理が行われて認識された顔の数を特定可能な情報である。測光値の情報は、電子カメラで撮影動作を開始する直前に測光動作が行われて得られた被写体輝度を特定可能な情報であり、例えばＢｖ値に対応する情報とすることが可能である。設定ＩＳＯ感度の情報は、撮影記録を行う際に電子カメラで設定されていたＩＳＯ感度を特定可能な情報である。設定絞りおよび設定シャッタ秒時の情報は、撮影記録を行う際に電子カメラで設定されていた絞り値およびシャッタ秒時を特定可能な情報である。これら設定絞りおよびシャッタ秒時の情報をもとに設定露光量を導出することが可能となる。この設定露光量と設定ＩＳＯ感度とから、撮影記録時の被写体輝度を推定することが可能である。
【００２８】
ホワイトバランスの情報は、電子カメラがオートホワイトバランスに設定されていた場合、電子カメラで判定された光源の種類、例えば屋外晴天、晴天日陰、屋外曇天、タングステン光、蛍光灯などを特定可能な情報である。また、電子カメラのホワイトバランス設定がユーザによりマニュアル設定されていた場合や、電子カメラが光源センサを備えるものである場合、設定されていた光源の種類や光源センサで特定された光源の種類に関する情報が照明光源の情報に含まれる。
【００２９】
処理適性指標導出部１０６について説明をする前に画像補正処理部１１０について説明する。画像補正処理部１１０は、入力画像データ中の画素それぞれに対して（入力画像データに含まれる同一の画素に対して）彩度低減とシャープネス増加との両方の処理を行う。以下では入力画像データに含まれる同一の画素に対して彩度低減とシャープネス増加との両方の処理を行うことを特定処理と称する。入力画像データに特定処理を施すことにより、淡い色彩で雰囲気の醸し出されたものでありながら、被写体の細部が精緻に描写された画像を得ることが可能となる。この特定処理のうち、彩度を低減する処理が彩度低減処理部１１２で行われる。また、シャープネスを増加する処理がシャープネス増加処理部１３２で行われる。
【００３０】
上述した特定処理は、すべての入力画像に対して行われるものではない。例えば、白い雲が浮かぶ青空を背景にして、花畑に咲き乱れる色鮮やかな花々を撮影記録して得られるような入力画像では、高彩度かつ高コントラストな仕上がりとする方が、一般的な嗜好にマッチする場合が多い。また、記念撮影としての人物写真や、新緑が写る画像などにおいても、彩度が高めでコントラストも適度に高められたものが好まれることが多い。
【００３１】
一方、先にも説明したように、錆びや塗装はがれを生じた古びた鉄橋や船舶、自動車等を撮影して得られた画像に上述した特定処理を行うことにより、より好ましい印象の画像を得ることが可能となる。
【００３２】
処理適性指標導出部１０６は、特徴量導出部１０２で導出された特徴量と、撮影記録パラメータ抽出部１０４で抽出された撮影記録パラメータとに基づき、以下で説明する処理適性指標を導出する。処理適性指標は、特定処理を入力画像データに対して施すことに対する適性の指標である。以下では、これを処理適性指標ａと称する。画像補正処理部１１０では、処理適性指標ａの高さに応じた強度で入力画像データに特定処理をする。
【００３３】
特定処理を行うのに適した画像であるか否かは、例えば以下に示す四つの条件、すなわち、
Ａ） 処理対象画像中で高彩度の部分が少ない。
Ｂ） 画像中で明度差が少ない。
Ｃ） 詳細な構造やテクスチャが画面全体にわたって存在するような、色よりも構造を重視するシーンである。
Ｄ） 有彩色の被写体ではあるが、その表面が錆びていたり、塗料がはがれていたりするようなシーンである。
を満たすか否かで判定することが可能である。
【００３４】
条件Ａに対応して、処理適性指標導出部１０６は、特徴量導出部１０２で導出された色相別／彩度別画素頻度をもとに高彩度画素頻度Ｓｍの全画素数Ｓａに対する割合、すなわちＳｍ／Ｓａを算出し、このＳｍ／Ｓａをもとに処理適性指標ａを導出する。ここで、高彩度画素頻度Ｓｍとは、処理対象画像中、図２に示される閾値ＴＨｓを超す彩度の画素（ａ＊、ｂ＊の二次元座標の原点を中心として半径ＴＨｓの円の外側に分類される画素）の数を意味する。Ｓｍ／Ｓａの値が小さいほど、上記の条件Ａに対する合致度が高まるので、処理適性指標導出部１０６で導出される処理適性指標ａは高まる。このとき、ある閾値を境に処理適性指標ａが段階的に変化するようにしてもよいし、Ｓｍ／Ｓａの値が変化するのに応じて、処理適性指標導出部１０６で導出される処理適性指標ａが連続的に変化するようにしてもよい。
【００３５】
上記の条件Ｂに対応して、処理適性指標導出部１０６は、特徴量導出部１０２で導出された明度別画素頻度の情報を参照する。この明度別画素頻度の情報中には、先に説明したように、明度の分散に関する情報が含まれる。例えば、入力画像データの明度値のヒストグラムが図３の（ａ）、（ｂ）に示されるような形状を有している場合を例に説明する。図３の（ａ）、（ｂ）に示される各ヒストグラムにおいて、横軸には輝度値または明度値（例えばＬ＊ａ＊ｂ＊の色空間におけるＬ＊値やＹＣｂＣｒの色空間におけるＹ値）が、縦軸には頻度がとられている。図３（ａ）に例示されるようなヒストグラムを有する画像は、比較的高いコントラストを有する。一方、図３（ｂ）に例示されるようなヒストグラムを有する画像は、コントラストが低めとなる。特徴量導出部１０２で導出される、明度の分散は、図３（ａ）に例示されるヒストグラムを有する画像の方が、図３（ｂ）に例示されるヒストグラムを有する画像よりも大きくなる。
【００３６】
処理適性指標導出部１０６は、上記の条件Ａ、条件Ｂに対応して以下の二つの判定を行い、両方の判定が肯定された場合に処理適性指標ａ＝１とする。また、いずれか一方または両方の判定が否定された場合に処理適性指標ａ＝０とする。
条件Ａに対応し、Ｓｍ／Ｓａの値が所定の閾値Ｈ１を下回るか否か。
条件Ｂに対応し、明度別画素頻度の分散（明度の分散）Ｖ１が所定の閾値Ｈ２を下回るか否か。
上記判定において、閾値Ｈ１は例えば０．５とすることが可能である。閾値Ｈ２は、明度値のとりうる値に応じた大きさに設定される。
【００３７】
上記の例ではＳｍ／Ｓａの値および明度の分散Ｖ１が閾値を下回るか否かで処理適性指標ａは１か０の二値をとるものとして説明したが、以下に説明するように２種類以上の値をとるようにしてもよい。例えば、
ｉ） ０ ≦ Ｓｍ／Ｓａ ≦ ０．６×Ｈ１の場合、
（ａ） ０ ≦ Ｖ１ ≦ ０．６×Ｈ２ なら処理適性指標ａ＝１
（ｂ） ０．６×Ｈ２ ＜ Ｖ１ ≦ Ｈ２ なら処理適性指標ａ＝０．３
ｉｉ） ０．６×Ｈ１ ＜ Ｓｍ／Ｓａ ≦ Ｈ１の場合、
（ａ） ０ ≦ Ｖ１ ≦ ０．６×Ｈ２ なら処理適性指標ａ＝０．３
（ｂ） ０．６ ＜ Ｖ１ ≦Ｈ２ なら処理適性指標ａ＝０．１
と云うように、より細かいステップで処理適性指標ａを変化させてもよい。
【００３８】
さらに、上述した判定式にはよらず、Ｓｍ／Ｓａ、Ｖ１の値を変数とする関数によって処理適性指標ａの値を導出することも可能である。また、ルックアップテーブルを用意しておき、Ｓｍ／Ｓａ、Ｖ１の値に対応する処理適性指標ａの値を読み出すようにすることも可能である。
【００３９】
条件Ｃに対応して、処理適性指標導出部１０６はエッジ特性を参照する。そして、処理対象画像中のエッジ本数（以下、これをエッジ本数Ｎｅと称する）が多く、エッジ位置が画面内に広く分布するほど処理適性指標ａを増す処理を行う。エッジ位置が画面内に広く分布する度合いについては、各エッジの位置のＸ座標値、Ｙ座標値それぞれの標本分散を導出し、導出された値の大きさ（以下、これをエッジ分散Ｖｅと称する）に基づいて判定することが可能である。
【００４０】
条件Ｄに対応して、処理適性指標導出部１０６は、図４を参照して以下に説明する判定処理を行う。図４は、入力画像データにより形成される処理対象画像の一例を示しており、図４（ａ）は条件Ｄにマッチする画像の例を、図４（ｂ）は条件Ｄにマッチしない画像の例を示す。図４に例示される画像は、鮮やかな赤色で船体が塗装された船が画面一杯に写されているものであるとする。図４（ａ）に示される画像では、船体に錆び４０２が浮いている様子が示されている。
【００４１】
処理適性指標導出部１０６は、特徴量導出部１０２で一例として八つの色相範囲に分類された各画素のグループのうち、処理対象画像内で所定の閾値、例えば全画素数の一割を超す画素数を有するものがあるか否かを判定する。この判定が肯定される場合、該当する色相範囲に分類される画素が処理対象画像内で存在する領域の重心位置が導出される。なお、この判定に該当する画素のグループが複数存在する場合には、画素数が最も多いグループのものが選択されるものとする。図４では、船体の赤い部分に対応する色相に分類される画素のグループが所定の閾値を超す画素数を有する例が示されている。そして、図４（ａ）、図４（ｂ）に示される、符号４００が付された黒い丸は、船体の部分の画像（船体の赤い部分に対応する色相に分類される画素）が処理対象画像内で存在する領域の重心位置を示している。以下では重心４００と称する。
【００４２】
処理適性指標導出部１０６は、重心４００の位置を中心として所定の範囲内に存在する画素の彩度の標本分散Ｖｃ（以下、彩度の分散Ｖｃと称する）を導出する。所定の範囲としては、重心４００の位置を中心とする半径１００画素、２００画素などといった大きさの円で囲われる範囲としてもよいし、重心４００の位置を中心として左右方向に４００画素、上下方向に３００画素などといった矩形や楕円形等の範囲が画定されてもよい。この範囲内に、図４（ａ）に例示されるような錆び４０２や塗装のはがれが存在すると、彩度の分散Ｖｃは傾向として大きくなる。処理適性指標導出部１０６は、彩度の分散Ｖｃが大きくなるほど処理適性指標ａを増す処理を行う。なお、彩度の分散Ｖｃを導出する際には、上記所定の範囲内に存在する画素のうち、上述した、画素数が最も多いグループに属する画素を抽出して、抽出された画素の各彩度値から彩度の分散Ｖｃを導出することが可能である。
【００４３】
以上の例に加えて、処理適性指標ａ導出に際しての精度を増すため、さらに以下のような判定、すなわち、
Ｅ） 主要被写体は、人の顔ではない。
Ｆ） 主要被写体の彩度が相対的に低い。
Ｇ） 曇天時の屋外や、室内の拡散光で照明された被写体を撮影したものである。
といった判定を行うことも可能である。
【００４４】
処理適性指標導出部１０６は、特徴量導出部１０２で導出された特徴量に加えて、撮影記録パラメータ抽出部１０４で入力画像データから抽出された撮影記録パラメータも参照して上記の条件Ｅ、条件Ｆ、条件Ｇに対応する三つの判定を行い、その判定結果に応じて処理適性指標ａの値を調節する。すなわち、
条件Ｅに対応し、認識顔数Ｎ＝０であるか否か
条件Ｆに対応し、処理対象画像中で、低彩度画素重心位置とフォーカス位置との間の距離が閾値Ｈ３以下であるか否か
条件Ｇに対し、測光値Ｂｖが閾値Ｈ４以下であるか否か
といった判定を行い、その判定結果に応じて処理適性指標ａの値を調節する。
【００４５】
条件Ｅの判定が肯定される（認識顔数Ｎ＝０）、ということは、主要被写体が顔ではない、ということである。一般に、主要被写体が顔である場合には、彩度を高めた方が（特定処理の強度を弱めた方が）好ましい場合が多い。そこで、入力画像パラメータ中の認識顔数Ｎを参照し、条件Ｅの判定が肯定された場合には、処理適性指標値ａを増す処理が行われる。
【００４６】
条件Ｆの判定について図５を参照して説明する。図５（ａ）、図５（ｂ）はいずれも、処理対象画像の例を示している。図５（ａ）、図５（ｂ）において、撮影記録時に焦点調節の行われた画面内の位置がフォーカス位置マーク５０４で示されている。図５（ａ）は、コンクリートの建築物のような、彩度が比較的低い被写体（以下、単に低彩度被写体と称する）５００のみが撮影されていて、低彩度被写体５００に対して焦点調節が行われている様子を示す。図５（ｂ）は、低彩度被写体とともに樹木５０６が撮影されていて、焦点調節は樹木５０６に対して行われている様子を示している。図５（ａ）、図５（ｂ）中の黒い丸は、低彩度画素重心の位置を示している。以下ではこの黒い丸を低彩度画素重心５０２と称する。
【００４７】
図５（ａ）に例示されるシーンは、低彩度被写体５００に対して焦点調節が行われていることより、この低彩度被写体５００が主要被写体であろうと推測される。この場合には、主要被写体としての低彩度被写体５００の画像を主体に特定処理を行うと、より好ましい結果が得られることが期待できる。一方、図５（ｂ）に例示されるシーンは、低彩度被写体５００以外の被写体に対して焦点調節が行われていることより、この低彩度被写体５００は単なる背景として写されているものと推測される。この場合には、焦点調節の対象となっている樹木５０６の画像を主体に画像補正処理を行うと、より好ましい結果が得られることが期待できるため、特定処理の強度を弱めた方がよい。
【００４８】
以上に説明した、処理対象画像中における低彩度画素重心５０２の位置とフォーカス位置（フォーカス位置マーク５０４の中心）との間の距離もまた、特徴量導出部１０２で導出される。処理適性指標導出部１０６は、低彩度画素重心５０２の位置とフォーカス位置（フォーカス位置マーク５０４の中心）との間の距離が閾値Ｈ３以下であるか否かを判定することにより、主要被写体が低彩度被写体であるか否かの判定をすることが可能となる。この判定が肯定される状況は、図５（ａ）に例示される状況に近い、すなわち、主要被写体の彩度が相対的に低い可能性が高いと推定することが可能である。一方、この判定が否定される状況は、図５（ｂ）に例示される状況に近い、すなわち、低彩度被写体５００は主要被写体ではない可能性が高いと推定することが可能である。そこで、上記の条件Ｆの判定が肯定されると、処理適性指標ａを増す処理が行われる。
【００４９】
条件Ｇの判定、つまり測光値Ｂｖが閾値Ｈ４以下であるか否かの判定において、閾値Ｈ４を適宜の値に設定することにより、撮影記録時に被写体を照明していた照明光がどのようなものであるかを推定することが可能となる。一例として、撮影装置の技術分野で広く用いられるＡＰＥＸ（Additive System of Photographic Exposure）システムにおけるＢｖ値を用いて閾値Ｈ４を設定する例について説明する。閾値Ｈ４を、例えばＢｖ６程度（Ｂｖ６は、曇天屋外光や日陰の光で照明された、標準的な反射率を有する被写体の輝度に相当する）に設定することが可能である。測光値Ｂｖが閾値Ｈ４（＝Ｂｖ６）以下である、ということは、撮影記録時に被写体は曇天時の屋外や、室内の人工光による照明等、拡散光、あるいはそれに近い照明光で照明されていたと判定することが可能となる。その場合、処理対象画像はコントラストの比較的低い画像である可能性が高いので、処理適性指標ａを増す処理が行われる。
【００５０】
撮影記録時に被写体を照明していた照明光が拡散光に近いものであるか否かを判定する別の方法としては、上述した測光値Ｂｖに基づいて判定する他に、撮影記録時に撮影装置で設定されていたＩＳＯ感度と露光量とから被写体輝度を導出して判定することも可能である。また、ホワイトバランスの情報や照明光源の情報を参照することも可能である。つまり、自動ホワイトバランスによる照明光源種類判定結果や、マニュアルホワイトバランスによる照明光源種類設定結果等を撮影記録パラメータ中から抽出することにより、入力画像データが曇天屋外や蛍光灯照明下で撮影記録して得られたものであるか否かを判定できる。曇天屋外や蛍光灯照明下で撮影記録された場合、拡散光に近い照明条件下で撮影されている可能性が高いので、処理適性指標ａを増すことが可能である。
【００５１】
処理適性指標導出部１０６はさらに、以下のような判定も必要に応じて行うことが可能である。
Ｈ） 処理対象画像中で青空の占める部分がある程度多くある。
この判定Ｈが肯定される、ということは、彩度がより高くなるように画像を補正した方が、ユーザの嗜好に合致する可能性が高い、ということである。この条件Ｈに対しては、特徴量導出部１０２で導出された青空画素頻度が閾値Ｈ５を超すか否か、という判定をすることが可能である。この判定が肯定された場合には、青空をより青空らしく再現することが望まれる可能性が高いので、処理適性指標ａを減じる、または０とする処理が行われる。
【００５２】
ところで、処理適性指標導出部１０６により導出される処理適性指標ａは、一つの値が導出されるものであってもよいが、本実施の形態においては彩度低減処理に対する適性に関する指標と、シャープネス増加の処理に対する適性に関する指標とが処理適性指標ａとして導出されるものとする。以下では、彩度低減処理に対する適性に関する指標を色補正適性指標と称する。また、シャープネス増加の処理に対する適性に関する指標をシャープネス補正適性指標と称する。色補正適性指標は、条件Ａ、条件Ｂ、条件Ｅ、条件Ｆ、条件Ｇ、および条件Ｈに対応する判定をした結果、処理適性指標ａ中の色補正適性指標が導出され、条件Ｃ、条件Ｄに対応する判定をした結果、シャープネス補正適性指標が導出される。
【００５３】
画像補正処理部１１０は、処理適性指標導出部１０６から受け取った処理適性指標ａ（色補正適性指標およびシャープネス補正適性指標）に基づく強度で特定処理を行う。既に説明したように、特定処理のうち、彩度低減処理は彩度低減処理部１１２で行われ、シャープネス増加処理はシャープネス増加処理部１３２で行われる。
【００５４】
彩度低減処理部１１２で彩度低減処理が行われる際の彩度低減パラメータおよびシャープネス増加処理部１３２でシャープネス増加処理が行われる際のシャープネス増加パラメータとしてそれぞれデフォルト値が設定されているものとして、それらのパラメータに色補正適性指標またはシャープネス補正適性指標を乗算した強度で彩度低減処理およびシャープネス増加処理をすることが可能である。
【００５５】
彩度低減処理部１１２では、処理対象画像を構成する各画素のａ＊値およびｂ＊値に、１よりも小さい係数を乗じて彩度を低下させる。このとき、処理適性指標ａ（色補正適性指標）の値が大きくなるほど、上記係数が減じられるようにすることにより、彩度低減処理部１１２では処理適性指標ａの値が大きくなるほど彩度が大きく低下するように彩度低減処理が行われる。
【００５６】
シャープネス増加処理部１３２においては、処理適性指標ａ（シャープネス補正適性指標）の大きさに応じてシャープネス増加処理が行われる。処理適性指標ａの大きさに基づいてシャープネス増加処理を行う場合、一番単純には、処理適性指標ａが所定の閾値を超す場合にのみシャープネス増加処理をすることが可能である。シャープネス増加処理としては、処理対象画像にラプラシアンフィルタを適用したものを導出し、それをラプラシアンフィルタ適用前の画像（原画像）から差し引く処理とすることが可能である。
【００５７】
一方、処理適性指標ａ（シャープネス補正適性指標）の大きさに応じた強度でシャープネス増加処理を行うことも可能である。例えば、処理対象画像にラプラシアンフィルタを適用してエッジ画像を生成し、そのエッジ画像を形成する各画素の値に対して、処理適性指標ａの大きさに応じた値を乗じる。それを原画像から差し引く（あるいは加算する）処理をすることにより、処理適性指標ａの応じた強度でシャープネス増加処理を行うことが可能となる。あるいは、処理対象画像にアンシャープマスクの処理をしてシャープネスを増加することも可能である。その際に、アンシャープマスク処理のパラメータ（適用量、半径、閾値）を処理適性指標ａの大きさに応じて変化させることにより、処理適性指標ａの応じた強度でシャープネス増加処理を行うことが可能となる。
【００５８】
以上のように、画像補正処理部１１０で処理される彩度低減処理およびシャープネス増加処理のそれぞれに対応した処理適性指標ａ、すなわち色補正適性指標、シャープネス増加指標に基づいて補正処理をすることにより、彩度低減処理の強度とシャープネス増加処理強度とを独立して制御することが可能となる。
【００５９】
処理適性指標ａ（色補正適性指標、シャープネス補正適性指標）は、先にも説明したように、０または１等の二値をとるものであっても、段階的に変化するものであっても、連続的に変化するものであってもよい。処理適性指標ａが二値をとるものである場合、処理適性指標導出部１０６は、特定処理をする／しないの判定をする機能を備えることになる。処理適性指標ａが段階的、連続的に変化するものでは、処理対象画像の特性に合った強度で特定処理を施すことが可能となる。
【００６０】
ところで、画像補正処理部１１０が特定処理を行う際、入力画像データに含まれる全画素に対して均一に特定処理を行うことも可能であるが、部分的に特定処理を行うことも、以下に説明するように可能である。先に、特徴量導出部１０２は入力画像データから肌色画素、緑画素を抽出し、処理対象画像中において肌色画素、緑画素それぞれが存在する領域の各範囲を特定可能な特定色領域の情報を導出することについて説明した。画像補正処理部１１０が入力画像データに対して画像補正処理（特定処理）をする際に、この特定色領域の情報を参照し、処理対象画像中において肌色画素、緑画素の存在する領域の画像については特定処理の対象から除外、乃至は処理強度を弱めることが可能である。このようにして、画像全体としては雰囲気を醸し出しながらも、人肌や植物の写る部分では適度な彩度で鮮やかさの失われない画像を得ることが可能となる。また、人肌の部分でシャープネスが過度に増加しないようにして、肌がなめらかに再現されるようにすることも可能である。
【００６１】
以上では、入力画像データの各画素値を、八つの色相および彩度の大小に基づき、１６のゾーンの色相および彩度に区分する例について説明したが、区分する数は一例にすぎず、画像処理装置として求められる仕様に応じて増減させることが可能である。また、他の色空間、例えばＲ、Ｇ、Ｂの各画素値で入力画像データを区分（３通り）し、さらに各色の画素値の大小に基づいて区分（２通り）し、六つの色および明るさに区分する、といった処理を行うことも可能である。このようにして色の区分数を減じることにより、画像処理装置１００の処理負荷を減じることが可能となる。例えば、処理対象画像中の高彩度画素を抽出する際には、画素ごとにＲＧＢ各色の画素値（Ｒ値、Ｇ値、Ｂ値）の組み合わせから彩度の高低を判別することが可能となる。また、各画素のＧ値の大きさ、あるいはＲ値、Ｇ値、Ｂ値の合計をもとに各画素の明度値を導出することも可能である。
【００６２】
以上に説明したように、本発明の第１の実施の形態に係る画像処理装置によれば、撮影シーンが変わるのに応じて頻繁に設定を変えることなく、特定処理をすることが好ましい撮影シーンに対応して自動的に特定処理をすることが可能となる。このとき、画像処理に関する専門的な知識を有していないユーザであっても、撮影状況に応じてカメラまかせで簡単に好ましい仕上がりの画像を得ることが可能となる。
【００６３】
− 第２の実施の形態 −
図６は、本発明の第２の実施の形態に係る画像処理装置１００Ａの概略的構成を説明するブロック図である。図６において、図１に示される第１の実施の形態の画像処理装置と同様の構成要素には同じ符号を付してその詳細な説明を省略する。画像処理装置１００Ａは、特徴量導出部１０２と、撮影記録パラメータ抽出部１０４と、処理適性指標導出部１０６Ａと、記憶部１２４と、画像補正処理部１１０とを備える。画像補正処理部１１０は、彩度低減処理部１１２と、シャープネス増加処理部１３２とを備える。第１の実施の形態における画像処理装置１００との大きな違いは、処理適性指標導出部１０６Ａの構成と、記憶部１２４を有する点である。画像処理装置１００Ａは、第１の実施の形態で説明したのと同様、様々な形態で実現可能である。
【００６４】
図６に加え、図７も参照しながら記憶部１２４について説明する。記憶部１２４には、予め撮影記録して得られた複数のサンプル画像（サンプル００１、サンプル００２、…）の特徴量と、各サンプル画像に対して特定処理を施すことに対する適性が予め評価されて付与された処理適性評価値ｃとがデータテーブルとして記憶されている。図７（ａ）は、そのデータテーブルの構成例を概念的に示している。図７（ａ）では、特徴量として第１の実施の形態で説明した様々な条件のうち、条件Ａ、条件Ｂ、条件Ｃ、条件Ｄ、条件Ｆ、そして条件Ｇに対応する特徴量（Ｓｍ／Ｓａ、Ｖ１、Ｎｅ、Ｖｅ、Ｖｃ、Ｌ、Ｅ）の記憶されている例が示されている。すなわち、Ｓｍ／Ｓａは高彩度画素頻度Ｓｍの全画素数Ｓａに対する割合を、Ｖ１は明度別画素頻度の分散（明度の分散）を、Ｎｅは処理対象画像中のエッジ本数を、Ｖｃはエッジ分散を、Ｖｃは彩度の分散を、Ｌは処理対象画像中における低彩度画素重心の位置とフォーカス位置との間の画素距離を、Ｅは被写体輝度（測光値）を意味する。記憶部１２４に記憶される特徴量としては、図７（ａ）に示されるものだけではなく、第１の実施の形態で説明した他の条件に対応する特徴量が記憶されていてもよい。記憶部１２４にはさらに、各サンプル画像を得る際の撮影記録条件を特定可能な撮影記録パラメータが記憶されていてもよい。
【００６５】
処理適性評価値ｃは、例えば以下のように設定することが可能である。すなわち、多くのサンプル画像を収集し、第１の実施の形態で説明した特定処理を施した画像と、施していない画像とを同時に表示して主観実験を行う。すなわち、各サンプル画像に対して特定処理を施したもの、施していないものを多くの被験者に提示して、どちらの画像の印象がよいかを判定してもらい、その判定結果を統計的に処理する。
【００６６】
主観実験の結果より、特定処理を行った方の画像が統計的に有意に好ましいと評価された画像群（これを画像群Ａとする）と、特定処理を行わない方の画像が統計的に有意に好ましいと評価された画像群（これを画像群Ｃとする）と、有意差の認められなかった画像群（これを画像群Ｂとする）とに分類する。このような主観実験の結果に基づき、画像群Ａに属するサンプル画像に対しては処理適性評価値ｃとして、例えば０．３を付与する。同様に、画像群Ｂ、画像群Ｃに属するサンプル画像に対する処理適性評価値ｃとしてそれぞれ０、−０．３を付与する。これをまとめると以下のようになる。
画像群Ａ： 処理適性評価値ｃ ＝ ０．３
画像群Ｂ： 処理適性評価値ｃ ＝ ０
画像群Ｃ： 処理適性評価値ｃ ＝ −０．３
これらの処理適性評価値ｃの値は一例であり、様々な値に設定可能である。また、整数や自然数で表現することも可能である。さらに、数値だけではなく、記号等で表現されていてもよい。
【００６７】
第１の実施の形態で説明したのと同様にして、特徴量導出部１０２は処理対象画像の特徴量を導出し、撮影記録パラメータ抽出部１０４は入力画像データから撮影記録パラメータを抽出する。抽出された結果が図７（ｂ）に例示されている。つまり、記憶部１２４に記憶されるデータテーブル中に登録されている特徴量、撮影記録パラメータと同様のものが、入力画像データから導出、あるいは抽出される。本実施の形態では、図７（ａ）、図７（ｂ）に例示される特徴量や撮影記録パラメータを比較パラメータと総称する。
【００６８】
処理適性指標導出部１０６Ａの比較部１２０は、すべてのサンプル画像の比較パラメータと、入力画像データの比較パラメータとを比較する。比較する方法の一例としては、入力画像データの比較パラメータと各サンプル画像の比較パラメータとからユークリッド距離を導出する方法がある。例えば、サンプル画像００１の比較パラメータと入力画像の比較パラメータとのユークリッド距離（ユークリッド距離００１と称する）は、以下のようにして求めることが可能である。
ユークリッド距離００１
＝ √｛（０．３−０．２）＾２＋（０．８−０．９）＾２＋（６−８）＾２
＋（５−６）＾２＋（４−７）＾２＋（８−１０）＾２＋（７−５）＾２｝＝ ４．６９
同様にして他のサンプル画像００２〜００５とのユークリッド距離（ユークリッド距離００２〜００５）を導出すると、以下のようになる。
ユークリッド距離００２ ＝ ９．３７
ユークリッド距離００３ ＝ ３．８１
ユークリッド距離００４ ＝ ４．１４
ユークリッド距離００５ ＝ ６．９５
なお、上記の式からも明らかなように、導出されるユークリッド距離の導出結果は、図７（ａ）に示される例において比較パラメータ間の差が比較的大きな値をとりがちなＮｅ、Ｖｅ、Ｖｃ、Ｌ、Ｅが支配要因となる。それが望ましくない場合には、各比較パラメータを正規化して値を揃えておくことが望ましい。あるいは、特定の比較パラメータの値を意図的に大きくすることにより、導出されるユークリッド距離において特定の要因の影響度を高めることも可能となる。
【００６９】
比較部１２０は、すべてのサンプル画像について上述した比較を完了すると、例えば上記ユークリッド距離の近いものから上位３位のサンプル画像を抽出する。上記の例では、
サンプル画像００３ （処理適性評価値ｃ ＝ ０．３）
サンプル画像００４ （処理適性評価値ｃ ＝ ０）
サンプル画像００１ （処理適性評価値ｃ ＝ ０．３）
が、入力画像の比較パラメータと近い画像、ということになる。
【００７０】
導出部１２２は、比較部１２０で抽出された上位３位のサンプル画像の処理適性評価値ｃを合算し、本例においては処理適性指標ａ＝０．６と導出する。なお、処理適性評価値ｃの合算に際して、順位に応じた重み付けをすることも可能である。例えば、一位、二位、三位のサンプル画像の各処理適性評価値ｃに対し、一位には１．５倍、二位には１倍、三位には０．５倍といった重み付けをして合算してもよい。このように重み付けをして処理適性指標ａを導出すると、上記の例では、
処理適性指標ａ＝０．３×１．５＋０×１＋０．３×０．５＝０．６
となる。
【００７１】
なお、導出部１２２で導出された処理適性指標ａの値が負となったときには、処理適性指標ａ＝０にクリッピングする処理をしてもよいし、処理適性指標ａの値に基づいて画像補正処理部１１０で特定処理を行う際に、処理適性指標ａが負の値であることに対応した処理が行われるようにしてもよい。
【００７２】
記憶部１２４に記録される各サンプル画像の比較パラメータおよび処理適性評価値ｃについては、後から追加可能に構成されていてもよい。例えば、画像処理装置１００Ａで入力画像データが処理されて生成された画像をユーザが観て逐次評価し、その評価結果を当該入力画像データの比較パラメータとともに記憶部１２４に追記することが可能である。その結果、特定処理に関するユーザの嗜好をより的確に反映することが可能となる。
【００７３】
以上のようにして導出された処理適性指標ａに基づき、画像補正処理部１１０では第１の実施の形態で説明したのと同様の画像補正処理（特定処理）が行われる。このとき、特定色領域の情報を参照し、処理対象画像中において肌色画素、緑画素の存在する領域は特定処理の対象から除外、乃至は処理強度を弱めてもよいのは第１の実施の形態で説明したのと同様である。
【００７４】
また、処理適性評価値ｃに関しては、彩度低減処理およびシャープネス増加処理それぞれに対応した評価値が記憶部１２４に記憶されていてもよい。そのようにすることにより、処理適性指標ａとして第１の実施の形態で説明した色補正適性指標、シャープネス補正適性指標に対応するものを導出することができるので、彩度低減処理とシャープネス増加の処理とを互いに独立した強度で行うことが可能となる。
【００７５】
以上で説明した本発明の第２の実施の形態に係る画像処理装置によれば、主観実験による結果が反映されて処理適性指標ａが導出されるので、様々な撮影シーンに対応してより的確なシーン判別をすることが可能となる。その結果、特定処理によって得られる画像はより好ましい仕上がりとなることが期待できる。
【００７６】
− 第３の実施の形態 −
第１、第２の実施の形態では、特定処理として入力画像データに含まれる同一の画素に対して彩度低減とシャープネス増加との両方の処理を行うことについて説明した。撮影記録して得られる画像の中には、彩度を下げ、シャープに再現するのに加えて、明るく再現した方が好ましいシーンも存在する。例えば、淡い色で彩色された縮緬や和紙で作られた和風小物などが被写体である場合、第１および第２の実施の形態で説明した彩度低減とシャープネス増加の処理を行うのに加えて明るく再現すると、繊細な表面構造が判りやすくなることで質感が向上し、より好ましい仕上がりの画像を得ることができる。そこで、第３の実施の形態においては、特定処理として、彩度の低減とシャープネス増加に加え、明度増加の処理を行う例について説明する。
【００７７】
図８は、本発明の第３の実施の形態に係る画像処理装置１００Ｂの概略的構成を説明するブロック図である。図８において、図１に示される第１の実施の形態の画像処理装置と同様の構成要素には同じ符号を付してその詳細な説明を省略する。画像処理装置１００Ｂは、特徴量導出部１０２と、撮影記録パラメータ抽出部１０４と、処理適性指標導出部１０６と、画像補正処理部１１０Ａとを備える。特徴量導出部１０２は、エッジ検出処理部１３０を備える。画像補正処理部１１０Ａは、第１、第２の実施の形態における画像補正処理部１１０が備える彩度低減処理部１１２およびシャープネス増加処理部１３２に加えて、明度増加処理部１１４を備える。第１の実施の形態における画像処理装置１００との大きな違いは、画像補正処理部１１０Ａが明度増加処理部１１４を備える点にある。画像処理装置１００Ｂは、第１の実施の形態で説明したのと同様、様々な形態で実現可能である。
【００７８】
処理適性指標導出部１０６は、第１の実施の形態で説明した条件Ａから条件Ｈに対応する判定を行い、その判定結果に基づいて処理適性指標ａを導出する。なお、第３の実施の形態において処理適性指標導出部１０６により導出される処理適性指標ａには、彩度低減および明度増加の処理に対する適性に関する指標が色補正適性指標として、シャープネス増加の処理に対する適性に関する指標がシャープネス補正適性指標として、それぞれ含まれるものとする。つまり、条件Ａ、条件Ｂ、条件Ｅ、条件Ｆ、条件Ｇ、および条件Ｈに対応する判定をした結果、処理適性指標ａ中の色補正適性指標が導出され、条件Ｃおよび条件Ｄに対応する判定をした結果、シャープネス補正適性指標が導出されるものとする。
【００７９】
処理適性指標導出部１０６で導出された色補正適性指標およびシャープネス補正適性指標を含む処理適性指標ａが画像補正処理部１１０Ａに出力される。画像補正処理部１１０Ａは、処理適性指標導出部１０６から受け取った処理適性指標ａに基づく強度で特定処理を行う。特定処理のうち、彩度低減処理は彩度低減処理部１１２で、明度増加処理は明度増加処理部１１４で、そしてシャープネス増加処理はシャープネス増加処理部１３２で行われる。
【００８０】
彩度低減処理部１１２おいては処理適性指標ａ中の色補正適性指標が参照され、第１の実施の形態で説明したのと同様の方法で彩度低減処理が行われる。明度増加処理部１１４においては、同じく処理適性指標ａ中の色補正適性指標が参照されて、以下に説明するように明度増加処理が行われる。
【００８１】
図９は、明度増加処理部１１４で明度増加処理をする際の処理内容（階調変換特性）を概念的に示す図である。図９のグラフでは、横軸には入力が、縦軸には出力がとられている。明度増加処理に際して、入力レベルが、ＩＮｍｉｎからＬ１にかけての低明度域、そしてＬ２からＩＮｍａｘにかけての高明度域においては、明度増加処理をする、しないによらず、略一定の入出力関係、例えば１：１に設定される。その結果、明度増加処理後の画像において、シャドウ部が明るくなってしまうことがないので締まりのある画像が維持される一方、白飛びエリアの増加が抑制される。そしてＬ１からＬ２にかけての中間明度域においては、明度増加処理におけるデフォルトの明度増加量Ｌに処理適性指標ａを乗じて得られる明度増加量Ｌｕが適用されて明度増加処理が行われる。図９においては、
Ｌｕ＝Ｌ×ａ
とする例が示されている。このとき、処理適性指標ａがａ’、あるいはａ”であった場合にはそれに応じて明度増加量はＬｕ’（＝Ｌ×ａ’）、Ｌｕ”（＝Ｌ×ａ”）と変化する。つまり、処理適性指標ａが大きい、ということは、処理対象画像が特定処理をするのにより適した画像である、ということであるので、処理適性指標ａが増加するのに応じて明度増加量Ｌｕ（Ｌｕ’、Ｌｕ”）も増加する。このとき、Ｌ１近傍、Ｌ２近傍の明度域においては、画像の階調が急変して階調の不連続が目立つことの無いように、図９に例示されるような曲線状の階調変換特性とすることが望ましい。
【００８２】
以上の処理に加えて、特定色領域の情報を参照し、処理対象画像中において肌色画素、緑画素の存在する領域は特定処理の対象から除外、乃至は処理強度を弱めてもよいのは第１の実施の形態で説明したのと同様である。
【００８３】
以上、第３の実施の形態においても、処理適性指標導出部１０６が第２の実施の形態の処理適性指標導出部１０６Ａと同様の構成を備え、かつ記憶部１２４を備えていてもよい。そして、彩度低減および明度増加の処理に対応する処理適性評価値と、シャープネス増加の処理に対応する処理適性評価値とが記憶部１２４に記憶される。比較部１２０は、すべてのサンプル画像の比較パラメータと、入力画像データの比較パラメータとを比較する。その比較結果に基づいて、入力画像データの特徴量と類似する特徴量を有するサンプル画像の処理適性評価値ｃをもとに、導出部１２２は彩度低減および明度増加の処理に関する色補正適性指標と、シャープネス補正適性指標とを含む処理適性指標ａを導出することが可能である。
【００８４】
以上に説明したように、本発明の第３の実施の形態に係る画像処理装置によれば、第１の実施の形態の画像処理装置と同様、撮影シーンが変わるのに応じて頻繁に設定を変えることなく、特定処理をすることが好ましい撮影シーンに対応して自動的に特定処理をすることが可能となる。加えて、明度を増加することでより好ましい仕上がりが期待できる場合には、特定処理として画像の明度を増加する処理をさらに行うことにより、全体としては雰囲気が醸し出されていて、細部が精緻に再現された画像を得ることが可能となる。
【００８５】
以上、第１から第３の実施の形態で説明したように、画像処理装置１００、１００Ａ、１００Ｂは、電子カメラに内蔵されるもの、ＰＣなどの情報処理装置と、この情報処理装置上で実行されるプログラムとによって実施されるもの、あるいはハードディスク・レコーダ等の画像記録・再生装置、デジタルフォトフレーム等の画像表示装置やプリンタ等の機器に内蔵されるものとすることができる。以下では、画像処理装置１００、１００Ａ、１００Ｂが電子カメラに内蔵される例と、ＰＣなどの情報処理装置と、この情報処理装置上で実行されるプログラムとによって実施される例について説明する。
【００８６】
− 電子カメラ −
図１０は、本発明の実施の形態に係る画像処理装置１００（１００Ａ、１００Ｂ）が備えられる電子カメラ２００の内部構成を概略的に説明するブロック図である。電子カメラ２００は、デジタルスチルカメラであっても、携帯可能な電子機器に内蔵されるカメラであっても、静止画を撮影可能なデジタルムービーカメラであってもよい。以下では電子カメラが画像処理装置１００を備えるものとして説明をするが、画像処理装置１００Ａ、１００Ｂのいずれかを備えるものであってもよい。
【００８７】
電子カメラ２００は、撮影光学系２１０と、レンズ駆動部２１２と、撮像部２２０と、アナログ・フロントエンド（図２中では「ＡＦＥ」と表記される）２２２と、画像記録媒体２３０と、操作部２４０と、表示部２５０と、記憶部２６０と、ＣＰＵ２７０と、デジタル信号処理装置（以下、ＤＳＰと称する）２９０と、システムバス２８０とを備える。記憶部２６０は、ＲＯＭ２６２とＲＡＭ２６４とを備える。本実施の形態において、画像処理装置１００はＤＳＰ２９０に備えられる一つの機能として実装されるものとして説明をする。
【００８８】
レンズ駆動部２１２、撮像部２２０、アナログ・フロントエンド２２２、画像記録媒体２３０、操作部２４０、表示部２５０、記憶部２６０、ＣＰＵ２７０、画像処理装置１００は、システムバス２８０を介して電気的に接続される。ＲＡＭ２６４は、ＣＰＵ２７０およびＤＳＰ２９０の双方からアクセス可能に構成される。
【００８９】
撮影光学系２１０は、被写体像を撮像部２２０の受光エリア上に形成する。レンズ駆動部２１２は、撮影光学系２１０内の焦点調節用レンズを駆動する。また、撮影光学系２１０が可変焦点距離光学系である場合には、撮影光学系２１０内のレンズ（レンズ群）がレンズ駆動部２１２によって駆動されて焦点距離を変更することが可能に構成されていてもよい。レンズ駆動部２１２はまた、撮影光学系２１０の絞り値も制御する。
【００９０】
撮像部２２０は、受光エリア上に形成される被写体像を光電変換してアナログ画像信号を生成する。このアナログ画像信号はアナログ・フロントエンド２２２に入力される。アナログ・フロントエンド２２２は、撮像部２２０から入力した画像信号にノイズ低減、増幅、Ａ／Ｄ変換等の処理をしてデジタル画像信号を生成する。このデジタル画像信号は、ＲＡＭ２６４に一時的に記憶される。撮像部２２０は、いわゆる電子シャッタの方式でシャッタ秒時を制御可能に構成されるものであっても、機械式シャッタを備えていて機械式シャッタによってシャッタ秒時が制御されるものであってもよい。
【００９１】
ＤＳＰ２９０は、ＲＡＭ２６４に一時的に記憶されたデジタル画像信号に対してデモザイク、階調変換、ホワイトバランス調整、色バランス補正、シェーディング補正、ノイズ低減等のさまざまなデジタル信号処理を施して画像データを生成する。この画像データは、必要に応じて画像記録媒体２３０に記録される。また、画像データに基づく画像が表示部２５０に表示される。このとき、ＤＳＰ２９０内の画像処理装置１００は、上記のように生成された画像データを入力画像データとして、第１から第３の実施の形態で説明した画像補正処理を行う。
【００９２】
画像記録媒体２３０は、フラッシュメモリや磁気記録装置等で構成され、電子カメラ２００に対して着脱可能に装着される。なお、画像記録媒体２３０は電子カメラ２００に内蔵されていてもよい。その場合、ＲＯＭ２６２内に画像データ記録のための領域を確保することが可能である。
【００９３】
操作部２４０は、プッシュスイッチ、スライドスイッチ、ダイヤルスイッチ、タッチパネル等のうち、いずれか一種類または複数種類を備え、ユーザの操作を受け付け可能に構成される。ユーザは、操作部２４０を操作することにより、画像記録モード、焦点調節モード、ＩＳＯ感度、絞り、シャッタ秒時、ホワイトバランスモード等の設定をすることができる。また、操作部２４０に含まれるレリーズスイッチをユーザが操作することにより、撮影記録動作が実行される。
【００９４】
表示部２５０は、ＴＦＴ液晶表示パネルとバックライト装置、あるいは有機ＥＬ表示素子等の自発光式表示素子を備え、画像や文字等の情報を表示可能に構成される。なお、表示部２５０は表示インターフェースを備えていて、ＲＡＭ２６４上に設けられるＶＲＡＭ領域内に書き込まれる画像データが表示インターフェースにより読み出され、画像や文字等の情報が表示部２５０に表示されるものとする。
【００９５】
ＲＯＭ２６２は、フラッシュメモリ等で構成され、ＣＰＵ２７０により実行される制御プログラム（ファームウェア）や、調整パラメータ、あるいは電子カメラ２００に電力が供給されない状態でも保持する必要のある情報等が記憶される。ＲＡＭ２６４は、ＳＤＲＡＭ等で構成され、比較的高速のアクセス速度を有する。ＣＰＵ２７０は、ＲＯＭ２６２からＲＡＭ２６４に転送されたファームウェアを解釈・実行して電子カメラ２００の動作を統括的に制御する。
【００９６】
電子カメラ２００は静止画撮影モードで動作することも、動画像撮影モードで動作することも可能である。撮影記録動作時、ＣＰＵ２７０はフォーカス位置、認識顔数、測光値、設定ＩＳＯ感度、設定絞り、設定シャッタ秒時、設定焦点距離、ホワイトバランス、照明光源等に関する情報などを取得する。ＣＰＵ２７０はまた、電子カメラ２００が静止画撮影モードで動作しているときに、ＤＳＰ２９０で生成された画像データを所定のファイルフォーマット、例えばＥｘｉｆ（Exchangeable image file format）に従う画像ファイルに変換して画像記録媒体２３０に記録する。このとき、上述した撮影記録パラメータはタグ情報として画像ファイル中に埋め込まれる。
【００９７】
ところで、画像処理装置１００による画像補正処理（特定処理）は、以下に説明する二つの方法で行うことができる。一つは撮影記録動作時に特定処理も行う方法である。以下では、撮影記録動作時に特定処理を行うことを、「リアルタイム処理を行う」と称する。もう一つは後処理による方法である。後処理は、撮影記録動作時に画像記録媒体２３０に記録された入力画像データを後になって読み出し、先に説明した画像補正処理を行うことを意味する。処理の対象となる入力画像データは、ＪＰＥＧ（Joint Photographic Experts Group）方式等で圧縮されたものであってもよいし、ＲＡＷ画像データであってもよい。
【００９８】
画像処理装置１００でリアルタイム処理を行う場合、画像補正処理の対象となる入力画像データには、撮影記録パラメータはまだ付加されていない。この場合、撮影記録パラメータ抽出部１０４は、入力画像データから撮影記録パラメータを抽出するのに代えて、ＲＡＭ２６４に一時的に記憶されている撮影記録パラメータを読み出してもよいし、ＣＰＵ２７０から撮影記録パラメータを受信してもよい。一方、後処理によって画像補正処理が行われる場合、撮影記録パラメータ抽出部１０４は、画像データファイル中に埋め込まれている撮影記録パラメータを抽出することができる。
【００９９】
以上のようにして画像補正処理の行われた画像データに基づいて表示画像データが生成され、表示部２５０に表示される。また、処理後の画像データは必要に応じて圧縮処理が行われて画像記録媒体２３０に保存される。
【０１００】
− 情報処理装置とソフトウェアとの組み合わせ −
図１１は、記録媒体（非一時的コンピュータ可読媒体）に記録された画像処理プログラムがコンピュータのＣＰＵにより読み出されて実行され、画像処理装置１００としての機能が実装される例を説明するブロック図である。以下では第１の実施の形態で説明した画像処理装置１００としての機能が実装されるものとして説明をするが、第２、第３の実施の形態で説明した画像処理装置１００Ａ、１００Ｂのいずれかの機能が実装されるものであってもよい。
【０１０１】
コンピュータ３００は、ＣＰＵ３１０と、メモリ３２０と、補助記憶装置３３０と、インターフェース３４０と、メモリカードインターフェース３５０と、光ディスクドライブ３６０と、ネットワークインターフェース３７０と、表示装置３８０とを備える。ＣＰＵ３１０と、メモリカードインターフェース３５０と、光ディスクドライブ３６０と、ネットワークインターフェース３７０と、表示装置３８０とはインターフェース３４０を介して電気的に接続される。
【０１０２】
メモリ３２０は、ＤＤＲ ＳＤＲＡＭ等の、比較的高速のアクセス速度を有するメモリである。補助記憶装置３３０は、ハードディスクドライブ、あるいはソリッドステートドライブ（ＳＳＤ）等で構成され、比較的大きな記憶容量を有する。
【０１０３】
メモリカードインターフェース３５０は、メモリカードＭＣを着脱自在に装着可能に構成される。電子カメラ等で撮影記録が行われて生成され、メモリカードＭＣ内に記憶された画像データファイルは、このメモリカードインターフェース３５０を介してコンピュータ３００内に読み込むことができる。また、コンピュータ３００内に保存される画像データファイルをメモリカードＭＣに書き込むこともできる。画像データファイルは、ＲＡＷ画像データ形式のものであっても、ＪＰＥＧ方式等で圧縮された形式のものであってもよい。
【０１０４】
光ディスクドライブ３６０は、光ディスクＯＤからデータを読み取ることが可能に構成される。光ディスクドライブ３６０はまた、必要に応じて光ディスクＯＤにデータを書き込むことが可能に構成されていてもよい。
【０１０５】
ネットワークインターフェース３７０は、ネットワークＮＷを介して接続されるサーバ等の外部情報処理装置とコンピュータ３００との間で情報を授受可能に構成される。
【０１０６】
画像処理装置１００は、メモリ３２０上にロードされた画像処理プログラムをＣＰＵ３１０が解釈・実行することにより実現される。この画像処理プログラムは、メモリカードＭＣや光ディスクＯＤ等の記録媒体（非一時的コンピュータ可読媒体）に記録されてコンピュータ３００のユーザに頒布される。あるいは、ネットワークＮＷを介して、サーバ等の外部情報処理装置から画像処理プログラムをダウンロードすることも可能である。
【０１０７】
図１２は、ＣＰＵ３１０によって実行される画像処理プログラムを説明するフローチャートである。この画像処理プログラムは、単独で動作してもよいし、ＲＡＷ画像データ現像処理用ソフトウェアやフォトレタッチソフトウェア中に備えられる様々な画像処理機能の一つとして動作してもよい。
【０１０８】
Ｓ１２００においてＣＰＵ３１０は、入力画像データを取得する。例えば、ユーザにより指定されたファイル名の画像ファイルを補助記憶装置３３０やメモリカードＭＣ等から読み出して入力画像データを取得することが可能である。あるいは、他の画像処理が予め行われていて、メモリ３２０上に画像データが一時的に記憶されている場合には、当該画像データが記憶されているメモリ３２０上のアドレスに関する情報を取得し、当該画像データに対する処理権限を取得するものであってもよい。
【０１０９】
Ｓ１２０２においてＣＰＵ３１０は、入力画像データに付加されている撮影記録パラメータを抽出する。この処理は、第１の実施の形態で説明した撮影記録パラメータ抽出部１０４での処理に対応する。
【０１１０】
Ｓ１２０４においてＣＰＵ３１０は、入力画像データを解析して特徴量を導出する。この処理は、第１の実施の形態で説明した特徴量導出部１０２での処理に対応する。
【０１１１】
Ｓ１２０６においてＣＰＵ３１０は、Ｓ１２０２で導出された特徴量と、Ｓ１２０４で抽出された撮影記録パラメータとを参照して処理適性指標を導出する。この処理は、第１の実施の形態で説明した処理適性指標導出部１０６での処理に対応する。
【０１１２】
Ｓ１２０８においてＣＰＵ３１０は、Ｓ１２０６で導出された処理適性指標に基づいて入力画像データに特定処理を施す。この処理は、第１の実施の形態で説明した画像補正処理部１１０での処理に対応する。
【０１１３】
Ｓ１２１０においてＣＰＵ３１０は、Ｓ１２０８で特定処理が行われた入力画像データをもとに表示用画像データ生成し、表示装置３８０に出力する。その結果、表示装置３８０には特定処理後の画像が表示される。このとき、表示装置３８０に特定処理を行う前の画像と特定処理を行った後の画像とを表示して、いずれの画像を保存するか、ユーザが選択可能に構成されていてもよい。
【０１１４】
Ｓ１２１２においてＣＰＵ３１０は、特定処理を終えた画像データから所定のフォーマットの画像データファイルを生成し、補助記憶装置３３０やメモリカードＭＣ等に保存する。
【０１１５】
以上では、図１２に示される処理により、第１の実施の形態で説明した画像処理装置１００と同様の機能が実現されるものとして説明したが、第２の実施の形態で説明した画像処理装置１００Ａ、第３の実施の形態で説明した画像処理装置１００Ｂと同様の機能が実現されてもよい。ＣＰＵ３１０により実行される画像処理プログラムにより第２の実施の形態で説明した画像処理装置１００Ａと同様の機能が実現される場合、記憶部１２４（図６）に相当するものを補助記憶装置３３０内に設けることが可能である。このとき、補助記憶装置３３０内に記憶されるデータテーブルは、ネットワークＮＷを介して外部のサーバ等から随時最新のデータが取得されて更新されてもよい。
【産業上の利用可能性】
【０１１６】
本発明に係る画像処理の技術は、デジタルスチルカメラ、デジタルムービーカメラ、ビデオレコーダ、そしてデジタルフォトフレームなどに適用することが可能である。本発明はまた、画像処理ソフトウェアなどに適用可能である。
【符号の説明】
【０１１７】
１００、１００Ａ、１００Ｂ … 画像処理装置
１０２ … 特徴量導出部
１０４ … 撮影記録パラメータ抽出部
１０６、１０６Ａ … 処理適性指標導出部
１１０、１１０Ａ … 画像補正処理部
１１２ … 彩度低減処理部
１１４ … 明度増加処理部
１２０ … 比較部
１２２ … 導出部
１２４ … 記憶部
１３０ … エッジ検出処理部
１３２ … シャープネス増加処理部
２００ … 電子カメラ
２２０ … 撮像部
２９０ … デジタル・シグナル・プロセッサ
３００ … コンピュータ
３１０ … ＣＰＵ
４００ … 重心
５００ … 低彩度被写体
５０２ … 低彩度重心
５０４ … フォーカス位置マーク
【技術分野】
【０００１】
本発明は、被写体を撮影して得られる画像に処理をして、より好ましい画像が得られるようにする技術に関する。
【背景技術】
【０００２】
従来のデジタル画像撮像装置は、被写体を撮影して得られる画像の色調をユーザの好みに応じて変更可能に構成される。例えば、仕上がりを「ビビッド」などと称されるものに設定すると、より色鮮やかな画像が得られるように画像が調整される。また、「フラット」などと称されるものに設定すると、後でユーザが好みに応じて色調やコントラスト等を調節するのに適した画像（後処理に際して色飽和や白飛びの生じにくい画像）が得られるように画像が調節される。また、撮像装置の中には、シーンモードなどと称される動作モードを備えるものがある。ユーザが撮像装置を操作し、これから撮影しようとする状況に近いものを複数用意されるシーンの中から選択し、設定することにより、例えば夜景、水中、雪景色、新緑、人物（ポートレイト）等の撮影シーンや被写体に適した仕上がりの画像が得られるように撮像装置内部で画像が自動的に補正される。
【０００３】
また、撮影者本人などのオペレータが、撮像装置、あるいはコンピュータ上で実行される画像処理ソフトウェアを使用して、メモリカード等から読み出された画像や外部から入力された画像に対し、その画像中に写る被写体や撮影シーン等に応じて画像を補正することも行われている。
【０００４】
撮影者本人などのオペレータが画像を補正する場合、補正に関する知識を必要とする。また、多数の画像を補正するためには時間と手間を必要とする。特許文献１には、自動的に画像処理をして彩度補正を行うことの可能な画像処理システム及び画像処理方法が開示される。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特許第４１６０４４５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
被写体によっては、高彩度かつ高コントラストな画像に仕上げるのが好ましい場合もあれば、低コントラストで淡い彩度の仕上げとするのが好ましい場合もある。また、同じ被写体を撮影したとしても、その被写体がクローズアップ撮影されているのか、より離れた位置から撮影されているのか、晴天下で撮影されたのか、曇天のもとで撮影されたのか、あるいは室内で撮影されたのかによっても、ユーザがより好ましいと感じる仕上げは異なる場合がある。
【０００７】
一般的には彩度が高く、コントラストの高い仕上げをすることが好ましいシーンが多い。しかしその一方で、彩度を下げ、かつシャープネスを増した方が好ましい場合もある。例えば、表面に錆びが浮いていたり、部分的に塗装がはがれていたりする鉄橋や船舶等が被写体である場合には、彩度を下げて情緒的な画像表現としつつも、構造やテクスチャがより明瞭となるように再現することが望ましい場合がある。また、比較的淡い色で彩色された縮緬や和紙等で製作された和風小物等を撮影するような場合においても同様である。このような撮影状況において、従来の撮像装置に備えられる「フラット」などのシーンモードに設定して撮影すると、得られる画像は暗く、かつ色褪せたような仕上がりとなり、必ずしもユーザの好みに合わない場合があった。また、撮影シーンや被写体等の違いに応じて撮影者は手動でモードを切り換える必要があり、ユーザがその操作を煩雑と感じることがある。加えて、撮影者が初心者であると、どのモードに設定するのかを的確に判断できない場合もある。また、一度設定したモードを元に戻すのを忘れて他の被写体や撮影シーンを撮影してしまい、期待するものから大きくかけ離れた仕上がりの画像となってしまうこともある。
【０００８】
本発明は、上記の課題に鑑みてなされたものであり、ユーザが撮影シーンや被写体に応じて設定変更操作をすることなく、彩度を低く、かつシャープネスを増すことが望ましい画像に対して適切に処理が行われてより好ましい仕上がりの画像を生成可能とする技術を提供することを目的とする。
【課題を解決するための手段】
【０００９】
本発明の一つの態様によれば、画像処理装置が、撮影記録して得られたデジタルの入力画像データにより形成される画像の特徴量を導出する特徴量導出部であって、彩度別に前記入力画像データ中の画素を分類して得られた彩度特性と、明度別に前記入力画像データ中の画素を分類して得られた明度特性と、前記入力画像データ中で検出されたエッジ数およびエッジ位置に基づくエッジ特性とを前記特徴量として導出する、特徴量導出部と、
前記入力画像データに含まれる同一の画素に対して彩度低減とシャープネス増加との両方を行う処理である特定処理を前記入力画像データに施すことに対する適性の指標である処理適性指標を、前記特徴量に基づいて導出する、処理適性指標導出部と、
前記処理適性指標に基づいて、前記入力画像データに含まれるそれぞれの画素に対して前記特定処理を施す画像補正処理部と
を備える。
【００１０】
本発明のもう一つの態様によれば、画像処理プログラムが、
撮影記録して得られたデジタルの入力画像データにより形成される画像の特徴量を導出する特徴量導出手順であって、彩度別に前記入力画像データ中の画素を分類して得られた彩度特性と、明度別に前記入力画像データ中の画素を分類して得られた明度特性と、前記入力画像データ中で検出されたエッジ数およびエッジ位置に基づくエッジ特性とを前記特徴量として導出する、特徴量導出手順と、
前記入力画像データに含まれる同一の画素に対して彩度低減とシャープネス増加との両方を行う処理である特定処理を前記入力画像データに施すことに対する適性の指標である処理適性指標を、前記特徴量に基づいて導出する、処理適性指標導出手順と、
前記処理適性指標に基づいて、前記入力画像データに含まれるそれぞれの画素に対して前記特定処理を施す画像補正処理手順と
を備える。
【発明の効果】
【００１１】
本発明によれば、画像処理に関するユーザの特別な知識を必要とすることなく、また、撮影シーンや被写体に応じて設定変更操作をすることなく、彩度を低く、かつシャープネスを上げることが望ましい画像に対して適切に処理が行われ、より好ましいと感じられる仕上がりの画像を生成することが可能となる。
【図面の簡単な説明】
【００１２】
【図１】第１の実施の形態に係る画像処理装置の構成を示すブロック図である。
【図２】入力画像データ中の画素を複数の色相および彩度の組み合わせのグループに分類する様子を概念的に示す図である。
【図３】入力画像データの明度値のヒストグラム例を示す図であり、（ａ）は明度差が大きめで、コントラストの比較的高い画像のヒストグラム例を、（ｂ）は明度差が少なめで、コントラストの比較的低い画像のヒストグラム例を示す図である。
【図４】画像処理装置で処理される処理対象の画像例を示す図であり、（ａ）は被写体としての船の船体に錆びや塗装はがれを生じている例を、（ｂ）は錆びや塗装はがれを生じていない例を示す図である。
【図５】画像処理装置で処理される対象の画像例を示す図であり、（ａ）は彩度の比較的低い被写体のみが撮影記録されている画像の例を、（ｂ）は主要被写体としての樹木が彩度の比較的低い被写体とともに撮影記録されている画像の例を示す図である。
【図６】第２の実施の形態に係る画像処理装置の構成を示すブロック図である。
【図７】比較部で比較される特徴量の例を示す図であり、（ａ）は記憶部に記憶される、各サンプル画像に対応する特徴量および処理適性評価値の例を、（ｂ）は特徴量導出部で入力画像データから導出される特徴量の例を示す図である。
【図８】第３の実施の形態に係る画像処理装置の構成を示すブロック図である。
【図９】明度増加処理部で明度増加処理をする際の処理内容（階調変換特性）を概念的に示す図である。
【図１０】画像処理装置が電子カメラに実装される例を示すブロック図である。
【図１１】コンピュータと、このコンピュータ上で実行されるソフトウェアによって画像処理装置が実現される例を示すブロック図である。
【図１２】コンピュータのＣＰＵにより実行される画像処理プログラムを示す概略フローチャートである。
【発明を実施するための形態】
【００１３】
− 第１の実施の形態 −
図１は、本発明の第１の実施の形態に係る画像処理装置１００の概略的構成を説明するブロック図である。画像処理装置１００は、特徴量導出部１０２と、撮影記録パラメータ抽出部１０４と、処理適性指標導出部１０６と、画像補正処理部１１０とを備える。特徴量導出部１０２は、エッジ検出処理部１３０を備える。画像補正処理部１１０は、彩度低減処理部１１２と、シャープネス増加処理部１３２とを備える。
【００１４】
画像処理装置１００は、様々な形態で実現可能である。例えば、電子カメラに内蔵されるものとすることができる。この場合、電子カメラで撮影記録されて生成されたデジタルの画像データを画像処理装置１００が処理する。本明細書において、画像処理装置１００に入力される処理前の画像データを入力画像データと称し、画像処理装置１００で処理されて出力される画像データを出力画像データと称する。
【００１５】
画像処理装置１００は、ＰＣ（Personal Computer）などの情報処理装置と、この情報処理装置上で実行されるプログラムとによって実施することができる。その場合、電子カメラで撮影記録されたデジタルの画像データが有線や無線のインターフェース、あるいはメモリカード等を介して情報処理装置に転送され、それが入力画像データとして処理されて出力画像データが生成され、記録、表示、他の装置への出力等が行われる。
【００１６】
画像処理装置１００はまた、ハードディスク・レコーダ等の画像記録・再生装置、デジタルフォトフレーム等の画像表示装置、あるいはプリンタ等の機器に内蔵されるものとすることができる。その場合、電子カメラで撮影記録されて生成された画像データファイルが有線や無線のインターフェース、あるいはメモリカード等を介してこれらの機器に転送され、それが入力画像データとして処理されて出力画像データが生成され、記録、再生、印刷、表示等の処理が行われる。
【００１７】
画像処理装置１００の内部構成について説明する。特徴量導出部１０２は、撮影記録して得られた入力画像データにより形成される画像（以下では入力画像データにより形成される画像を処理対象画像と称する）の特徴量を導出する。本実施の形態において、導出される特徴量は、以下に説明する色相別／彩度別画素頻度、低彩度画素重心位置、青空画素頻度、特定色領域、明度別画素頻度等である。特徴量導出部１０２は、これらの特徴量のうち、全部を導出可能に構成されていても、一部を導出可能に構成されていてもよい。
【００１８】
特徴量導出部１０２は、入力画像データを例えばＬ＊ａ＊ｂ＊色空間の画像データに変換して色相別／彩度別の画素数を計数する。例えば、図２に示すように、ａ＊、ｂ＊の二次元座標上において複数の色相エリアに分割（図２には８種類の色相エリアに分割する例が示されている）する。さらに、所定の閾値ＴＨｓを超す彩度エリアと、ＴＨｓ以下の彩度エリアとに分割する。処理対象画像中の各画素について、上記のように形成された複数のエリア（図２の例では１６のエリア）それぞれに属する画素の数を計数する。このように計数された色相別／彩度別の画素数をもとに、特徴量導出部１０２は色相別／彩度別画素頻度の情報を導出する。なお、以上で説明したＬ＊ａ＊ｂ＊の色空間については一例を示したにすぎず、他の色空間、例えばＹＣｂＣｒ、ＨＳＬ等の色空間に変換して色相別／彩度別の画素数の計数を行うことも可能である。特に、ＲＧＢ画像データからＹＣｂＣｒ色空間の画像データに変換する処理は、他の変換処理に比して容易であり、処理負荷を低減可能となる。
【００１９】
特徴量導出部１０２は、上記のように分割されたエリアのうち、色相によらず低彩度のエリア、例えば図２において閾値ＴＨｓ以下のエリア（半径ＴＨｓの円の内側のエリア）に属する画素（本明細書では低彩度画素と称する）の、処理対象画像中で存在する画素位置の重心を求め、低彩度画素重心位置の情報を導出する。具体的には、
彩度 ＝ √（ａ＊＾２＋ｂ＊＾２）
としたときの彩度の値が上記閾値ＴＨｓ以下となる画素を抽出して、それらの画素の処理対象画像内の座標位置から重心位置を求める。以上では閾値ＴＨｓが色相によらず一定の値をとるものとして説明したが、色相の違いに応じて閾値ＴＨｓが異なる値をとるものであってもよい。その場合、図２に示される閾値ＴＨｓを示す形状は真円以外の形状、例えば楕円や多角形等になる。
【００２０】
なお、上記の分類に加えて、明度値（Ｌ＊値）の大小も加味して分類をすることも可能である。しかし、以上に説明したように明度値による分類の処理を省くと、画像データ中のａ＊値、ｂ＊値のみを参照すればよくなるので、処理負荷を減じることが可能となる。
【００２１】
特徴量導出部１０２はさらに、上述した色相別／彩度別画素頻度とは別に、肌色、植物の緑、青空のそれぞれに特有の色相の色を有する画素（本明細書ではこれらの色を有する画素を、肌色画素、緑画素、青空画素とそれぞれ称する）を抽出する。このうち、青空画素についてはその画素の数を計数する。特徴量導出部１０２は、処理対象画像中の青空画素の画素数計数結果をもとに青空画素頻度の情報を導出する。抽出された肌色画素、緑画素に対しては、処理対象画像中において肌色画素、緑画素それぞれが存在する領域の各範囲を特定可能な情報である特定色領域の情報を特徴量導出部１０２は導出する。
【００２２】
なお、青空画素、緑画素、肌色画素の抽出をするための様々な方法が既に提案されているのでここではその一例を簡単に説明する。画像データを多数のブロックに分割し、そのうち空間周波数が比較的低く、青色成分の多いブロックに属する画素を青空画素とすることができる。同様に、画像データを多数のブロックに分割し、そのうち空間周波数が比較的低く、肌色特有の色域の色を有する画素を多く含むブロックに属する画素を肌色画素とすることができる。あるいは、撮影記録時に顔認識処理が行われていたときには、認識された顔エリア内の色と類似する色の画素を肌色画素とすることができる。緑画素については、予め定めておいた植物の緑色特有の色域に属する色の画素を抽出して緑画素とすることが可能である。
【００２３】
特徴量導出部１０２は、上述したＬ＊ａ＊ｂ＊色空間の画像データ中、各画素のＬ＊値を統計処理し、明度別画素頻度の情報を導出する。明度別画素頻度の情報としては、ヒストグラム、最大／最小値、中央値（median）、標本分散（Variance）等の統計量のうち、いずれか一つまたは複数を含む。本明細書においては明度別画素頻度の情報中に、明度の分散（例えば明度値を統計処理して得られる標本分散の値）に関する情報が含まれるものとする。なお、各画素の明度としては、上述したＬ＊値以外にも、ＲＧＢ画像データのＧ値、ＲＧＢ各値の和、ＲＧＢ値からＹＣｂＣｒ値を求めたときのＹ値等を用いることが可能である。
【００２４】
特徴量導出部１０２はさらに、以上に説明したものに加えて、エッジ特性も特徴量として導出する。このエッジ特性は、特徴量導出部１０２に備えられるエッジ検出処理部１３０で検出される。エッジ検出処理部１３０は、入力画像データにより形成される画像、すなわち処理対象画像を以下で説明するように解析してエッジ検出を行う。例えば、ＹＣｂＣｒ色空間で表される画像データからＹ成分の画像データ、すなわち輝度画像データを抽出し、この輝度画像データに微分フィルタや、プリューウィット、ソーベル、あるいはラプラシアン等のフィルタを適用する。これらのうち、いずれかのフィルタを適用して得られたデータを可視化すると、黒い背景に白い線で描いた線画のような画像を得ることができる。エッジ検出処理部１３０は、この画像を上下方向、左右方向等にスキャンして、線画を構成するエッジの本数やエッジ位置を抽出する。また、必要に応じてエッジ方向も導出することが可能である。エッジ検出処理部１３０は、抽出されたこれらのエッジ本数やエッジ位置等に関する情報を、エッジ特性として出力する。
【００２５】
撮影記録パラメータ抽出部１０４は、入力画像データを得るための撮影記録が行われる際に電子カメラで設定されていた撮影記録条件を特定可能な撮影記録パラメータを入力画像データから抽出する。撮影記録パラメータには、電子カメラで撮影記録が行われる際の、フォーカス位置、顔認識処理によって認識された顔の数（以下、認識顔数と称する）、測光値、設定ＩＳＯ感度、設定絞り、設定シャッタ秒時、設定焦点距離、ホワイトバランス、照明光源、等に関する情報が含まれる。撮影記録パラメータ抽出部１０４は、これらの情報のうち、全部を抽出可能に構成されていても、一部を抽出可能に構成されていてもよい。
【００２６】
フォーカス位置の情報は、電子カメラの焦点調節モードが自動焦点調節モードに設定されていて、撮影記録が行われる際に焦点検出が行われた画面内の位置を特定可能な情報である。つまり、近年の自動焦点調節技術の発達により、焦点調節は必ずしも画面中央に位置する被写体のみに対して行われる訳ではなく、画面中央から離れた位置に存在する被写体に対して焦点調節することも可能となっている。フォーカス位置の情報を参照することにより、処理対象画像中のどこに写る被写体に焦点調節が行われたのかを知ることが可能となる。
【００２７】
認識顔数の情報は、撮影記録が行われる際に顔認識処理が行われて認識された顔の数を特定可能な情報である。測光値の情報は、電子カメラで撮影動作を開始する直前に測光動作が行われて得られた被写体輝度を特定可能な情報であり、例えばＢｖ値に対応する情報とすることが可能である。設定ＩＳＯ感度の情報は、撮影記録を行う際に電子カメラで設定されていたＩＳＯ感度を特定可能な情報である。設定絞りおよび設定シャッタ秒時の情報は、撮影記録を行う際に電子カメラで設定されていた絞り値およびシャッタ秒時を特定可能な情報である。これら設定絞りおよびシャッタ秒時の情報をもとに設定露光量を導出することが可能となる。この設定露光量と設定ＩＳＯ感度とから、撮影記録時の被写体輝度を推定することが可能である。
【００２８】
ホワイトバランスの情報は、電子カメラがオートホワイトバランスに設定されていた場合、電子カメラで判定された光源の種類、例えば屋外晴天、晴天日陰、屋外曇天、タングステン光、蛍光灯などを特定可能な情報である。また、電子カメラのホワイトバランス設定がユーザによりマニュアル設定されていた場合や、電子カメラが光源センサを備えるものである場合、設定されていた光源の種類や光源センサで特定された光源の種類に関する情報が照明光源の情報に含まれる。
【００２９】
処理適性指標導出部１０６について説明をする前に画像補正処理部１１０について説明する。画像補正処理部１１０は、入力画像データ中の画素それぞれに対して（入力画像データに含まれる同一の画素に対して）彩度低減とシャープネス増加との両方の処理を行う。以下では入力画像データに含まれる同一の画素に対して彩度低減とシャープネス増加との両方の処理を行うことを特定処理と称する。入力画像データに特定処理を施すことにより、淡い色彩で雰囲気の醸し出されたものでありながら、被写体の細部が精緻に描写された画像を得ることが可能となる。この特定処理のうち、彩度を低減する処理が彩度低減処理部１１２で行われる。また、シャープネスを増加する処理がシャープネス増加処理部１３２で行われる。
【００３０】
上述した特定処理は、すべての入力画像に対して行われるものではない。例えば、白い雲が浮かぶ青空を背景にして、花畑に咲き乱れる色鮮やかな花々を撮影記録して得られるような入力画像では、高彩度かつ高コントラストな仕上がりとする方が、一般的な嗜好にマッチする場合が多い。また、記念撮影としての人物写真や、新緑が写る画像などにおいても、彩度が高めでコントラストも適度に高められたものが好まれることが多い。
【００３１】
一方、先にも説明したように、錆びや塗装はがれを生じた古びた鉄橋や船舶、自動車等を撮影して得られた画像に上述した特定処理を行うことにより、より好ましい印象の画像を得ることが可能となる。
【００３２】
処理適性指標導出部１０６は、特徴量導出部１０２で導出された特徴量と、撮影記録パラメータ抽出部１０４で抽出された撮影記録パラメータとに基づき、以下で説明する処理適性指標を導出する。処理適性指標は、特定処理を入力画像データに対して施すことに対する適性の指標である。以下では、これを処理適性指標ａと称する。画像補正処理部１１０では、処理適性指標ａの高さに応じた強度で入力画像データに特定処理をする。
【００３３】
特定処理を行うのに適した画像であるか否かは、例えば以下に示す四つの条件、すなわち、
Ａ） 処理対象画像中で高彩度の部分が少ない。
Ｂ） 画像中で明度差が少ない。
Ｃ） 詳細な構造やテクスチャが画面全体にわたって存在するような、色よりも構造を重視するシーンである。
Ｄ） 有彩色の被写体ではあるが、その表面が錆びていたり、塗料がはがれていたりするようなシーンである。
を満たすか否かで判定することが可能である。
【００３４】
条件Ａに対応して、処理適性指標導出部１０６は、特徴量導出部１０２で導出された色相別／彩度別画素頻度をもとに高彩度画素頻度Ｓｍの全画素数Ｓａに対する割合、すなわちＳｍ／Ｓａを算出し、このＳｍ／Ｓａをもとに処理適性指標ａを導出する。ここで、高彩度画素頻度Ｓｍとは、処理対象画像中、図２に示される閾値ＴＨｓを超す彩度の画素（ａ＊、ｂ＊の二次元座標の原点を中心として半径ＴＨｓの円の外側に分類される画素）の数を意味する。Ｓｍ／Ｓａの値が小さいほど、上記の条件Ａに対する合致度が高まるので、処理適性指標導出部１０６で導出される処理適性指標ａは高まる。このとき、ある閾値を境に処理適性指標ａが段階的に変化するようにしてもよいし、Ｓｍ／Ｓａの値が変化するのに応じて、処理適性指標導出部１０６で導出される処理適性指標ａが連続的に変化するようにしてもよい。
【００３５】
上記の条件Ｂに対応して、処理適性指標導出部１０６は、特徴量導出部１０２で導出された明度別画素頻度の情報を参照する。この明度別画素頻度の情報中には、先に説明したように、明度の分散に関する情報が含まれる。例えば、入力画像データの明度値のヒストグラムが図３の（ａ）、（ｂ）に示されるような形状を有している場合を例に説明する。図３の（ａ）、（ｂ）に示される各ヒストグラムにおいて、横軸には輝度値または明度値（例えばＬ＊ａ＊ｂ＊の色空間におけるＬ＊値やＹＣｂＣｒの色空間におけるＹ値）が、縦軸には頻度がとられている。図３（ａ）に例示されるようなヒストグラムを有する画像は、比較的高いコントラストを有する。一方、図３（ｂ）に例示されるようなヒストグラムを有する画像は、コントラストが低めとなる。特徴量導出部１０２で導出される、明度の分散は、図３（ａ）に例示されるヒストグラムを有する画像の方が、図３（ｂ）に例示されるヒストグラムを有する画像よりも大きくなる。
【００３６】
処理適性指標導出部１０６は、上記の条件Ａ、条件Ｂに対応して以下の二つの判定を行い、両方の判定が肯定された場合に処理適性指標ａ＝１とする。また、いずれか一方または両方の判定が否定された場合に処理適性指標ａ＝０とする。
条件Ａに対応し、Ｓｍ／Ｓａの値が所定の閾値Ｈ１を下回るか否か。
条件Ｂに対応し、明度別画素頻度の分散（明度の分散）Ｖ１が所定の閾値Ｈ２を下回るか否か。
上記判定において、閾値Ｈ１は例えば０．５とすることが可能である。閾値Ｈ２は、明度値のとりうる値に応じた大きさに設定される。
【００３７】
上記の例ではＳｍ／Ｓａの値および明度の分散Ｖ１が閾値を下回るか否かで処理適性指標ａは１か０の二値をとるものとして説明したが、以下に説明するように２種類以上の値をとるようにしてもよい。例えば、
ｉ） ０ ≦ Ｓｍ／Ｓａ ≦ ０．６×Ｈ１の場合、
（ａ） ０ ≦ Ｖ１ ≦ ０．６×Ｈ２ なら処理適性指標ａ＝１
（ｂ） ０．６×Ｈ２ ＜ Ｖ１ ≦ Ｈ２ なら処理適性指標ａ＝０．３
ｉｉ） ０．６×Ｈ１ ＜ Ｓｍ／Ｓａ ≦ Ｈ１の場合、
（ａ） ０ ≦ Ｖ１ ≦ ０．６×Ｈ２ なら処理適性指標ａ＝０．３
（ｂ） ０．６ ＜ Ｖ１ ≦Ｈ２ なら処理適性指標ａ＝０．１
と云うように、より細かいステップで処理適性指標ａを変化させてもよい。
【００３８】
さらに、上述した判定式にはよらず、Ｓｍ／Ｓａ、Ｖ１の値を変数とする関数によって処理適性指標ａの値を導出することも可能である。また、ルックアップテーブルを用意しておき、Ｓｍ／Ｓａ、Ｖ１の値に対応する処理適性指標ａの値を読み出すようにすることも可能である。
【００３９】
条件Ｃに対応して、処理適性指標導出部１０６はエッジ特性を参照する。そして、処理対象画像中のエッジ本数（以下、これをエッジ本数Ｎｅと称する）が多く、エッジ位置が画面内に広く分布するほど処理適性指標ａを増す処理を行う。エッジ位置が画面内に広く分布する度合いについては、各エッジの位置のＸ座標値、Ｙ座標値それぞれの標本分散を導出し、導出された値の大きさ（以下、これをエッジ分散Ｖｅと称する）に基づいて判定することが可能である。
【００４０】
条件Ｄに対応して、処理適性指標導出部１０６は、図４を参照して以下に説明する判定処理を行う。図４は、入力画像データにより形成される処理対象画像の一例を示しており、図４（ａ）は条件Ｄにマッチする画像の例を、図４（ｂ）は条件Ｄにマッチしない画像の例を示す。図４に例示される画像は、鮮やかな赤色で船体が塗装された船が画面一杯に写されているものであるとする。図４（ａ）に示される画像では、船体に錆び４０２が浮いている様子が示されている。
【００４１】
処理適性指標導出部１０６は、特徴量導出部１０２で一例として八つの色相範囲に分類された各画素のグループのうち、処理対象画像内で所定の閾値、例えば全画素数の一割を超す画素数を有するものがあるか否かを判定する。この判定が肯定される場合、該当する色相範囲に分類される画素が処理対象画像内で存在する領域の重心位置が導出される。なお、この判定に該当する画素のグループが複数存在する場合には、画素数が最も多いグループのものが選択されるものとする。図４では、船体の赤い部分に対応する色相に分類される画素のグループが所定の閾値を超す画素数を有する例が示されている。そして、図４（ａ）、図４（ｂ）に示される、符号４００が付された黒い丸は、船体の部分の画像（船体の赤い部分に対応する色相に分類される画素）が処理対象画像内で存在する領域の重心位置を示している。以下では重心４００と称する。
【００４２】
処理適性指標導出部１０６は、重心４００の位置を中心として所定の範囲内に存在する画素の彩度の標本分散Ｖｃ（以下、彩度の分散Ｖｃと称する）を導出する。所定の範囲としては、重心４００の位置を中心とする半径１００画素、２００画素などといった大きさの円で囲われる範囲としてもよいし、重心４００の位置を中心として左右方向に４００画素、上下方向に３００画素などといった矩形や楕円形等の範囲が画定されてもよい。この範囲内に、図４（ａ）に例示されるような錆び４０２や塗装のはがれが存在すると、彩度の分散Ｖｃは傾向として大きくなる。処理適性指標導出部１０６は、彩度の分散Ｖｃが大きくなるほど処理適性指標ａを増す処理を行う。なお、彩度の分散Ｖｃを導出する際には、上記所定の範囲内に存在する画素のうち、上述した、画素数が最も多いグループに属する画素を抽出して、抽出された画素の各彩度値から彩度の分散Ｖｃを導出することが可能である。
【００４３】
以上の例に加えて、処理適性指標ａ導出に際しての精度を増すため、さらに以下のような判定、すなわち、
Ｅ） 主要被写体は、人の顔ではない。
Ｆ） 主要被写体の彩度が相対的に低い。
Ｇ） 曇天時の屋外や、室内の拡散光で照明された被写体を撮影したものである。
といった判定を行うことも可能である。
【００４４】
処理適性指標導出部１０６は、特徴量導出部１０２で導出された特徴量に加えて、撮影記録パラメータ抽出部１０４で入力画像データから抽出された撮影記録パラメータも参照して上記の条件Ｅ、条件Ｆ、条件Ｇに対応する三つの判定を行い、その判定結果に応じて処理適性指標ａの値を調節する。すなわち、
条件Ｅに対応し、認識顔数Ｎ＝０であるか否か
条件Ｆに対応し、処理対象画像中で、低彩度画素重心位置とフォーカス位置との間の距離が閾値Ｈ３以下であるか否か
条件Ｇに対し、測光値Ｂｖが閾値Ｈ４以下であるか否か
といった判定を行い、その判定結果に応じて処理適性指標ａの値を調節する。
【００４５】
条件Ｅの判定が肯定される（認識顔数Ｎ＝０）、ということは、主要被写体が顔ではない、ということである。一般に、主要被写体が顔である場合には、彩度を高めた方が（特定処理の強度を弱めた方が）好ましい場合が多い。そこで、入力画像パラメータ中の認識顔数Ｎを参照し、条件Ｅの判定が肯定された場合には、処理適性指標値ａを増す処理が行われる。
【００４６】
条件Ｆの判定について図５を参照して説明する。図５（ａ）、図５（ｂ）はいずれも、処理対象画像の例を示している。図５（ａ）、図５（ｂ）において、撮影記録時に焦点調節の行われた画面内の位置がフォーカス位置マーク５０４で示されている。図５（ａ）は、コンクリートの建築物のような、彩度が比較的低い被写体（以下、単に低彩度被写体と称する）５００のみが撮影されていて、低彩度被写体５００に対して焦点調節が行われている様子を示す。図５（ｂ）は、低彩度被写体とともに樹木５０６が撮影されていて、焦点調節は樹木５０６に対して行われている様子を示している。図５（ａ）、図５（ｂ）中の黒い丸は、低彩度画素重心の位置を示している。以下ではこの黒い丸を低彩度画素重心５０２と称する。
【００４７】
図５（ａ）に例示されるシーンは、低彩度被写体５００に対して焦点調節が行われていることより、この低彩度被写体５００が主要被写体であろうと推測される。この場合には、主要被写体としての低彩度被写体５００の画像を主体に特定処理を行うと、より好ましい結果が得られることが期待できる。一方、図５（ｂ）に例示されるシーンは、低彩度被写体５００以外の被写体に対して焦点調節が行われていることより、この低彩度被写体５００は単なる背景として写されているものと推測される。この場合には、焦点調節の対象となっている樹木５０６の画像を主体に画像補正処理を行うと、より好ましい結果が得られることが期待できるため、特定処理の強度を弱めた方がよい。
【００４８】
以上に説明した、処理対象画像中における低彩度画素重心５０２の位置とフォーカス位置（フォーカス位置マーク５０４の中心）との間の距離もまた、特徴量導出部１０２で導出される。処理適性指標導出部１０６は、低彩度画素重心５０２の位置とフォーカス位置（フォーカス位置マーク５０４の中心）との間の距離が閾値Ｈ３以下であるか否かを判定することにより、主要被写体が低彩度被写体であるか否かの判定をすることが可能となる。この判定が肯定される状況は、図５（ａ）に例示される状況に近い、すなわち、主要被写体の彩度が相対的に低い可能性が高いと推定することが可能である。一方、この判定が否定される状況は、図５（ｂ）に例示される状況に近い、すなわち、低彩度被写体５００は主要被写体ではない可能性が高いと推定することが可能である。そこで、上記の条件Ｆの判定が肯定されると、処理適性指標ａを増す処理が行われる。
【００４９】
条件Ｇの判定、つまり測光値Ｂｖが閾値Ｈ４以下であるか否かの判定において、閾値Ｈ４を適宜の値に設定することにより、撮影記録時に被写体を照明していた照明光がどのようなものであるかを推定することが可能となる。一例として、撮影装置の技術分野で広く用いられるＡＰＥＸ（Additive System of Photographic Exposure）システムにおけるＢｖ値を用いて閾値Ｈ４を設定する例について説明する。閾値Ｈ４を、例えばＢｖ６程度（Ｂｖ６は、曇天屋外光や日陰の光で照明された、標準的な反射率を有する被写体の輝度に相当する）に設定することが可能である。測光値Ｂｖが閾値Ｈ４（＝Ｂｖ６）以下である、ということは、撮影記録時に被写体は曇天時の屋外や、室内の人工光による照明等、拡散光、あるいはそれに近い照明光で照明されていたと判定することが可能となる。その場合、処理対象画像はコントラストの比較的低い画像である可能性が高いので、処理適性指標ａを増す処理が行われる。
【００５０】
撮影記録時に被写体を照明していた照明光が拡散光に近いものであるか否かを判定する別の方法としては、上述した測光値Ｂｖに基づいて判定する他に、撮影記録時に撮影装置で設定されていたＩＳＯ感度と露光量とから被写体輝度を導出して判定することも可能である。また、ホワイトバランスの情報や照明光源の情報を参照することも可能である。つまり、自動ホワイトバランスによる照明光源種類判定結果や、マニュアルホワイトバランスによる照明光源種類設定結果等を撮影記録パラメータ中から抽出することにより、入力画像データが曇天屋外や蛍光灯照明下で撮影記録して得られたものであるか否かを判定できる。曇天屋外や蛍光灯照明下で撮影記録された場合、拡散光に近い照明条件下で撮影されている可能性が高いので、処理適性指標ａを増すことが可能である。
【００５１】
処理適性指標導出部１０６はさらに、以下のような判定も必要に応じて行うことが可能である。
Ｈ） 処理対象画像中で青空の占める部分がある程度多くある。
この判定Ｈが肯定される、ということは、彩度がより高くなるように画像を補正した方が、ユーザの嗜好に合致する可能性が高い、ということである。この条件Ｈに対しては、特徴量導出部１０２で導出された青空画素頻度が閾値Ｈ５を超すか否か、という判定をすることが可能である。この判定が肯定された場合には、青空をより青空らしく再現することが望まれる可能性が高いので、処理適性指標ａを減じる、または０とする処理が行われる。
【００５２】
ところで、処理適性指標導出部１０６により導出される処理適性指標ａは、一つの値が導出されるものであってもよいが、本実施の形態においては彩度低減処理に対する適性に関する指標と、シャープネス増加の処理に対する適性に関する指標とが処理適性指標ａとして導出されるものとする。以下では、彩度低減処理に対する適性に関する指標を色補正適性指標と称する。また、シャープネス増加の処理に対する適性に関する指標をシャープネス補正適性指標と称する。色補正適性指標は、条件Ａ、条件Ｂ、条件Ｅ、条件Ｆ、条件Ｇ、および条件Ｈに対応する判定をした結果、処理適性指標ａ中の色補正適性指標が導出され、条件Ｃ、条件Ｄに対応する判定をした結果、シャープネス補正適性指標が導出される。
【００５３】
画像補正処理部１１０は、処理適性指標導出部１０６から受け取った処理適性指標ａ（色補正適性指標およびシャープネス補正適性指標）に基づく強度で特定処理を行う。既に説明したように、特定処理のうち、彩度低減処理は彩度低減処理部１１２で行われ、シャープネス増加処理はシャープネス増加処理部１３２で行われる。
【００５４】
彩度低減処理部１１２で彩度低減処理が行われる際の彩度低減パラメータおよびシャープネス増加処理部１３２でシャープネス増加処理が行われる際のシャープネス増加パラメータとしてそれぞれデフォルト値が設定されているものとして、それらのパラメータに色補正適性指標またはシャープネス補正適性指標を乗算した強度で彩度低減処理およびシャープネス増加処理をすることが可能である。
【００５５】
彩度低減処理部１１２では、処理対象画像を構成する各画素のａ＊値およびｂ＊値に、１よりも小さい係数を乗じて彩度を低下させる。このとき、処理適性指標ａ（色補正適性指標）の値が大きくなるほど、上記係数が減じられるようにすることにより、彩度低減処理部１１２では処理適性指標ａの値が大きくなるほど彩度が大きく低下するように彩度低減処理が行われる。
【００５６】
シャープネス増加処理部１３２においては、処理適性指標ａ（シャープネス補正適性指標）の大きさに応じてシャープネス増加処理が行われる。処理適性指標ａの大きさに基づいてシャープネス増加処理を行う場合、一番単純には、処理適性指標ａが所定の閾値を超す場合にのみシャープネス増加処理をすることが可能である。シャープネス増加処理としては、処理対象画像にラプラシアンフィルタを適用したものを導出し、それをラプラシアンフィルタ適用前の画像（原画像）から差し引く処理とすることが可能である。
【００５７】
一方、処理適性指標ａ（シャープネス補正適性指標）の大きさに応じた強度でシャープネス増加処理を行うことも可能である。例えば、処理対象画像にラプラシアンフィルタを適用してエッジ画像を生成し、そのエッジ画像を形成する各画素の値に対して、処理適性指標ａの大きさに応じた値を乗じる。それを原画像から差し引く（あるいは加算する）処理をすることにより、処理適性指標ａの応じた強度でシャープネス増加処理を行うことが可能となる。あるいは、処理対象画像にアンシャープマスクの処理をしてシャープネスを増加することも可能である。その際に、アンシャープマスク処理のパラメータ（適用量、半径、閾値）を処理適性指標ａの大きさに応じて変化させることにより、処理適性指標ａの応じた強度でシャープネス増加処理を行うことが可能となる。
【００５８】
以上のように、画像補正処理部１１０で処理される彩度低減処理およびシャープネス増加処理のそれぞれに対応した処理適性指標ａ、すなわち色補正適性指標、シャープネス増加指標に基づいて補正処理をすることにより、彩度低減処理の強度とシャープネス増加処理強度とを独立して制御することが可能となる。
【００５９】
処理適性指標ａ（色補正適性指標、シャープネス補正適性指標）は、先にも説明したように、０または１等の二値をとるものであっても、段階的に変化するものであっても、連続的に変化するものであってもよい。処理適性指標ａが二値をとるものである場合、処理適性指標導出部１０６は、特定処理をする／しないの判定をする機能を備えることになる。処理適性指標ａが段階的、連続的に変化するものでは、処理対象画像の特性に合った強度で特定処理を施すことが可能となる。
【００６０】
ところで、画像補正処理部１１０が特定処理を行う際、入力画像データに含まれる全画素に対して均一に特定処理を行うことも可能であるが、部分的に特定処理を行うことも、以下に説明するように可能である。先に、特徴量導出部１０２は入力画像データから肌色画素、緑画素を抽出し、処理対象画像中において肌色画素、緑画素それぞれが存在する領域の各範囲を特定可能な特定色領域の情報を導出することについて説明した。画像補正処理部１１０が入力画像データに対して画像補正処理（特定処理）をする際に、この特定色領域の情報を参照し、処理対象画像中において肌色画素、緑画素の存在する領域の画像については特定処理の対象から除外、乃至は処理強度を弱めることが可能である。このようにして、画像全体としては雰囲気を醸し出しながらも、人肌や植物の写る部分では適度な彩度で鮮やかさの失われない画像を得ることが可能となる。また、人肌の部分でシャープネスが過度に増加しないようにして、肌がなめらかに再現されるようにすることも可能である。
【００６１】
以上では、入力画像データの各画素値を、八つの色相および彩度の大小に基づき、１６のゾーンの色相および彩度に区分する例について説明したが、区分する数は一例にすぎず、画像処理装置として求められる仕様に応じて増減させることが可能である。また、他の色空間、例えばＲ、Ｇ、Ｂの各画素値で入力画像データを区分（３通り）し、さらに各色の画素値の大小に基づいて区分（２通り）し、六つの色および明るさに区分する、といった処理を行うことも可能である。このようにして色の区分数を減じることにより、画像処理装置１００の処理負荷を減じることが可能となる。例えば、処理対象画像中の高彩度画素を抽出する際には、画素ごとにＲＧＢ各色の画素値（Ｒ値、Ｇ値、Ｂ値）の組み合わせから彩度の高低を判別することが可能となる。また、各画素のＧ値の大きさ、あるいはＲ値、Ｇ値、Ｂ値の合計をもとに各画素の明度値を導出することも可能である。
【００６２】
以上に説明したように、本発明の第１の実施の形態に係る画像処理装置によれば、撮影シーンが変わるのに応じて頻繁に設定を変えることなく、特定処理をすることが好ましい撮影シーンに対応して自動的に特定処理をすることが可能となる。このとき、画像処理に関する専門的な知識を有していないユーザであっても、撮影状況に応じてカメラまかせで簡単に好ましい仕上がりの画像を得ることが可能となる。
【００６３】
− 第２の実施の形態 −
図６は、本発明の第２の実施の形態に係る画像処理装置１００Ａの概略的構成を説明するブロック図である。図６において、図１に示される第１の実施の形態の画像処理装置と同様の構成要素には同じ符号を付してその詳細な説明を省略する。画像処理装置１００Ａは、特徴量導出部１０２と、撮影記録パラメータ抽出部１０４と、処理適性指標導出部１０６Ａと、記憶部１２４と、画像補正処理部１１０とを備える。画像補正処理部１１０は、彩度低減処理部１１２と、シャープネス増加処理部１３２とを備える。第１の実施の形態における画像処理装置１００との大きな違いは、処理適性指標導出部１０６Ａの構成と、記憶部１２４を有する点である。画像処理装置１００Ａは、第１の実施の形態で説明したのと同様、様々な形態で実現可能である。
【００６４】
図６に加え、図７も参照しながら記憶部１２４について説明する。記憶部１２４には、予め撮影記録して得られた複数のサンプル画像（サンプル００１、サンプル００２、…）の特徴量と、各サンプル画像に対して特定処理を施すことに対する適性が予め評価されて付与された処理適性評価値ｃとがデータテーブルとして記憶されている。図７（ａ）は、そのデータテーブルの構成例を概念的に示している。図７（ａ）では、特徴量として第１の実施の形態で説明した様々な条件のうち、条件Ａ、条件Ｂ、条件Ｃ、条件Ｄ、条件Ｆ、そして条件Ｇに対応する特徴量（Ｓｍ／Ｓａ、Ｖ１、Ｎｅ、Ｖｅ、Ｖｃ、Ｌ、Ｅ）の記憶されている例が示されている。すなわち、Ｓｍ／Ｓａは高彩度画素頻度Ｓｍの全画素数Ｓａに対する割合を、Ｖ１は明度別画素頻度の分散（明度の分散）を、Ｎｅは処理対象画像中のエッジ本数を、Ｖｃはエッジ分散を、Ｖｃは彩度の分散を、Ｌは処理対象画像中における低彩度画素重心の位置とフォーカス位置との間の画素距離を、Ｅは被写体輝度（測光値）を意味する。記憶部１２４に記憶される特徴量としては、図７（ａ）に示されるものだけではなく、第１の実施の形態で説明した他の条件に対応する特徴量が記憶されていてもよい。記憶部１２４にはさらに、各サンプル画像を得る際の撮影記録条件を特定可能な撮影記録パラメータが記憶されていてもよい。
【００６５】
処理適性評価値ｃは、例えば以下のように設定することが可能である。すなわち、多くのサンプル画像を収集し、第１の実施の形態で説明した特定処理を施した画像と、施していない画像とを同時に表示して主観実験を行う。すなわち、各サンプル画像に対して特定処理を施したもの、施していないものを多くの被験者に提示して、どちらの画像の印象がよいかを判定してもらい、その判定結果を統計的に処理する。
【００６６】
主観実験の結果より、特定処理を行った方の画像が統計的に有意に好ましいと評価された画像群（これを画像群Ａとする）と、特定処理を行わない方の画像が統計的に有意に好ましいと評価された画像群（これを画像群Ｃとする）と、有意差の認められなかった画像群（これを画像群Ｂとする）とに分類する。このような主観実験の結果に基づき、画像群Ａに属するサンプル画像に対しては処理適性評価値ｃとして、例えば０．３を付与する。同様に、画像群Ｂ、画像群Ｃに属するサンプル画像に対する処理適性評価値ｃとしてそれぞれ０、−０．３を付与する。これをまとめると以下のようになる。
画像群Ａ： 処理適性評価値ｃ ＝ ０．３
画像群Ｂ： 処理適性評価値ｃ ＝ ０
画像群Ｃ： 処理適性評価値ｃ ＝ −０．３
これらの処理適性評価値ｃの値は一例であり、様々な値に設定可能である。また、整数や自然数で表現することも可能である。さらに、数値だけではなく、記号等で表現されていてもよい。
【００６７】
第１の実施の形態で説明したのと同様にして、特徴量導出部１０２は処理対象画像の特徴量を導出し、撮影記録パラメータ抽出部１０４は入力画像データから撮影記録パラメータを抽出する。抽出された結果が図７（ｂ）に例示されている。つまり、記憶部１２４に記憶されるデータテーブル中に登録されている特徴量、撮影記録パラメータと同様のものが、入力画像データから導出、あるいは抽出される。本実施の形態では、図７（ａ）、図７（ｂ）に例示される特徴量や撮影記録パラメータを比較パラメータと総称する。
【００６８】
処理適性指標導出部１０６Ａの比較部１２０は、すべてのサンプル画像の比較パラメータと、入力画像データの比較パラメータとを比較する。比較する方法の一例としては、入力画像データの比較パラメータと各サンプル画像の比較パラメータとからユークリッド距離を導出する方法がある。例えば、サンプル画像００１の比較パラメータと入力画像の比較パラメータとのユークリッド距離（ユークリッド距離００１と称する）は、以下のようにして求めることが可能である。
ユークリッド距離００１
＝ √｛（０．３−０．２）＾２＋（０．８−０．９）＾２＋（６−８）＾２
＋（５−６）＾２＋（４−７）＾２＋（８−１０）＾２＋（７−５）＾２｝＝ ４．６９
同様にして他のサンプル画像００２〜００５とのユークリッド距離（ユークリッド距離００２〜００５）を導出すると、以下のようになる。
ユークリッド距離００２ ＝ ９．３７
ユークリッド距離００３ ＝ ３．８１
ユークリッド距離００４ ＝ ４．１４
ユークリッド距離００５ ＝ ６．９５
なお、上記の式からも明らかなように、導出されるユークリッド距離の導出結果は、図７（ａ）に示される例において比較パラメータ間の差が比較的大きな値をとりがちなＮｅ、Ｖｅ、Ｖｃ、Ｌ、Ｅが支配要因となる。それが望ましくない場合には、各比較パラメータを正規化して値を揃えておくことが望ましい。あるいは、特定の比較パラメータの値を意図的に大きくすることにより、導出されるユークリッド距離において特定の要因の影響度を高めることも可能となる。
【００６９】
比較部１２０は、すべてのサンプル画像について上述した比較を完了すると、例えば上記ユークリッド距離の近いものから上位３位のサンプル画像を抽出する。上記の例では、
サンプル画像００３ （処理適性評価値ｃ ＝ ０．３）
サンプル画像００４ （処理適性評価値ｃ ＝ ０）
サンプル画像００１ （処理適性評価値ｃ ＝ ０．３）
が、入力画像の比較パラメータと近い画像、ということになる。
【００７０】
導出部１２２は、比較部１２０で抽出された上位３位のサンプル画像の処理適性評価値ｃを合算し、本例においては処理適性指標ａ＝０．６と導出する。なお、処理適性評価値ｃの合算に際して、順位に応じた重み付けをすることも可能である。例えば、一位、二位、三位のサンプル画像の各処理適性評価値ｃに対し、一位には１．５倍、二位には１倍、三位には０．５倍といった重み付けをして合算してもよい。このように重み付けをして処理適性指標ａを導出すると、上記の例では、
処理適性指標ａ＝０．３×１．５＋０×１＋０．３×０．５＝０．６
となる。
【００７１】
なお、導出部１２２で導出された処理適性指標ａの値が負となったときには、処理適性指標ａ＝０にクリッピングする処理をしてもよいし、処理適性指標ａの値に基づいて画像補正処理部１１０で特定処理を行う際に、処理適性指標ａが負の値であることに対応した処理が行われるようにしてもよい。
【００７２】
記憶部１２４に記録される各サンプル画像の比較パラメータおよび処理適性評価値ｃについては、後から追加可能に構成されていてもよい。例えば、画像処理装置１００Ａで入力画像データが処理されて生成された画像をユーザが観て逐次評価し、その評価結果を当該入力画像データの比較パラメータとともに記憶部１２４に追記することが可能である。その結果、特定処理に関するユーザの嗜好をより的確に反映することが可能となる。
【００７３】
以上のようにして導出された処理適性指標ａに基づき、画像補正処理部１１０では第１の実施の形態で説明したのと同様の画像補正処理（特定処理）が行われる。このとき、特定色領域の情報を参照し、処理対象画像中において肌色画素、緑画素の存在する領域は特定処理の対象から除外、乃至は処理強度を弱めてもよいのは第１の実施の形態で説明したのと同様である。
【００７４】
また、処理適性評価値ｃに関しては、彩度低減処理およびシャープネス増加処理それぞれに対応した評価値が記憶部１２４に記憶されていてもよい。そのようにすることにより、処理適性指標ａとして第１の実施の形態で説明した色補正適性指標、シャープネス補正適性指標に対応するものを導出することができるので、彩度低減処理とシャープネス増加の処理とを互いに独立した強度で行うことが可能となる。
【００７５】
以上で説明した本発明の第２の実施の形態に係る画像処理装置によれば、主観実験による結果が反映されて処理適性指標ａが導出されるので、様々な撮影シーンに対応してより的確なシーン判別をすることが可能となる。その結果、特定処理によって得られる画像はより好ましい仕上がりとなることが期待できる。
【００７６】
− 第３の実施の形態 −
第１、第２の実施の形態では、特定処理として入力画像データに含まれる同一の画素に対して彩度低減とシャープネス増加との両方の処理を行うことについて説明した。撮影記録して得られる画像の中には、彩度を下げ、シャープに再現するのに加えて、明るく再現した方が好ましいシーンも存在する。例えば、淡い色で彩色された縮緬や和紙で作られた和風小物などが被写体である場合、第１および第２の実施の形態で説明した彩度低減とシャープネス増加の処理を行うのに加えて明るく再現すると、繊細な表面構造が判りやすくなることで質感が向上し、より好ましい仕上がりの画像を得ることができる。そこで、第３の実施の形態においては、特定処理として、彩度の低減とシャープネス増加に加え、明度増加の処理を行う例について説明する。
【００７７】
図８は、本発明の第３の実施の形態に係る画像処理装置１００Ｂの概略的構成を説明するブロック図である。図８において、図１に示される第１の実施の形態の画像処理装置と同様の構成要素には同じ符号を付してその詳細な説明を省略する。画像処理装置１００Ｂは、特徴量導出部１０２と、撮影記録パラメータ抽出部１０４と、処理適性指標導出部１０６と、画像補正処理部１１０Ａとを備える。特徴量導出部１０２は、エッジ検出処理部１３０を備える。画像補正処理部１１０Ａは、第１、第２の実施の形態における画像補正処理部１１０が備える彩度低減処理部１１２およびシャープネス増加処理部１３２に加えて、明度増加処理部１１４を備える。第１の実施の形態における画像処理装置１００との大きな違いは、画像補正処理部１１０Ａが明度増加処理部１１４を備える点にある。画像処理装置１００Ｂは、第１の実施の形態で説明したのと同様、様々な形態で実現可能である。
【００７８】
処理適性指標導出部１０６は、第１の実施の形態で説明した条件Ａから条件Ｈに対応する判定を行い、その判定結果に基づいて処理適性指標ａを導出する。なお、第３の実施の形態において処理適性指標導出部１０６により導出される処理適性指標ａには、彩度低減および明度増加の処理に対する適性に関する指標が色補正適性指標として、シャープネス増加の処理に対する適性に関する指標がシャープネス補正適性指標として、それぞれ含まれるものとする。つまり、条件Ａ、条件Ｂ、条件Ｅ、条件Ｆ、条件Ｇ、および条件Ｈに対応する判定をした結果、処理適性指標ａ中の色補正適性指標が導出され、条件Ｃおよび条件Ｄに対応する判定をした結果、シャープネス補正適性指標が導出されるものとする。
【００７９】
処理適性指標導出部１０６で導出された色補正適性指標およびシャープネス補正適性指標を含む処理適性指標ａが画像補正処理部１１０Ａに出力される。画像補正処理部１１０Ａは、処理適性指標導出部１０６から受け取った処理適性指標ａに基づく強度で特定処理を行う。特定処理のうち、彩度低減処理は彩度低減処理部１１２で、明度増加処理は明度増加処理部１１４で、そしてシャープネス増加処理はシャープネス増加処理部１３２で行われる。
【００８０】
彩度低減処理部１１２おいては処理適性指標ａ中の色補正適性指標が参照され、第１の実施の形態で説明したのと同様の方法で彩度低減処理が行われる。明度増加処理部１１４においては、同じく処理適性指標ａ中の色補正適性指標が参照されて、以下に説明するように明度増加処理が行われる。
【００８１】
図９は、明度増加処理部１１４で明度増加処理をする際の処理内容（階調変換特性）を概念的に示す図である。図９のグラフでは、横軸には入力が、縦軸には出力がとられている。明度増加処理に際して、入力レベルが、ＩＮｍｉｎからＬ１にかけての低明度域、そしてＬ２からＩＮｍａｘにかけての高明度域においては、明度増加処理をする、しないによらず、略一定の入出力関係、例えば１：１に設定される。その結果、明度増加処理後の画像において、シャドウ部が明るくなってしまうことがないので締まりのある画像が維持される一方、白飛びエリアの増加が抑制される。そしてＬ１からＬ２にかけての中間明度域においては、明度増加処理におけるデフォルトの明度増加量Ｌに処理適性指標ａを乗じて得られる明度増加量Ｌｕが適用されて明度増加処理が行われる。図９においては、
Ｌｕ＝Ｌ×ａ
とする例が示されている。このとき、処理適性指標ａがａ’、あるいはａ”であった場合にはそれに応じて明度増加量はＬｕ’（＝Ｌ×ａ’）、Ｌｕ”（＝Ｌ×ａ”）と変化する。つまり、処理適性指標ａが大きい、ということは、処理対象画像が特定処理をするのにより適した画像である、ということであるので、処理適性指標ａが増加するのに応じて明度増加量Ｌｕ（Ｌｕ’、Ｌｕ”）も増加する。このとき、Ｌ１近傍、Ｌ２近傍の明度域においては、画像の階調が急変して階調の不連続が目立つことの無いように、図９に例示されるような曲線状の階調変換特性とすることが望ましい。
【００８２】
以上の処理に加えて、特定色領域の情報を参照し、処理対象画像中において肌色画素、緑画素の存在する領域は特定処理の対象から除外、乃至は処理強度を弱めてもよいのは第１の実施の形態で説明したのと同様である。
【００８３】
以上、第３の実施の形態においても、処理適性指標導出部１０６が第２の実施の形態の処理適性指標導出部１０６Ａと同様の構成を備え、かつ記憶部１２４を備えていてもよい。そして、彩度低減および明度増加の処理に対応する処理適性評価値と、シャープネス増加の処理に対応する処理適性評価値とが記憶部１２４に記憶される。比較部１２０は、すべてのサンプル画像の比較パラメータと、入力画像データの比較パラメータとを比較する。その比較結果に基づいて、入力画像データの特徴量と類似する特徴量を有するサンプル画像の処理適性評価値ｃをもとに、導出部１２２は彩度低減および明度増加の処理に関する色補正適性指標と、シャープネス補正適性指標とを含む処理適性指標ａを導出することが可能である。
【００８４】
以上に説明したように、本発明の第３の実施の形態に係る画像処理装置によれば、第１の実施の形態の画像処理装置と同様、撮影シーンが変わるのに応じて頻繁に設定を変えることなく、特定処理をすることが好ましい撮影シーンに対応して自動的に特定処理をすることが可能となる。加えて、明度を増加することでより好ましい仕上がりが期待できる場合には、特定処理として画像の明度を増加する処理をさらに行うことにより、全体としては雰囲気が醸し出されていて、細部が精緻に再現された画像を得ることが可能となる。
【００８５】
以上、第１から第３の実施の形態で説明したように、画像処理装置１００、１００Ａ、１００Ｂは、電子カメラに内蔵されるもの、ＰＣなどの情報処理装置と、この情報処理装置上で実行されるプログラムとによって実施されるもの、あるいはハードディスク・レコーダ等の画像記録・再生装置、デジタルフォトフレーム等の画像表示装置やプリンタ等の機器に内蔵されるものとすることができる。以下では、画像処理装置１００、１００Ａ、１００Ｂが電子カメラに内蔵される例と、ＰＣなどの情報処理装置と、この情報処理装置上で実行されるプログラムとによって実施される例について説明する。
【００８６】
− 電子カメラ −
図１０は、本発明の実施の形態に係る画像処理装置１００（１００Ａ、１００Ｂ）が備えられる電子カメラ２００の内部構成を概略的に説明するブロック図である。電子カメラ２００は、デジタルスチルカメラであっても、携帯可能な電子機器に内蔵されるカメラであっても、静止画を撮影可能なデジタルムービーカメラであってもよい。以下では電子カメラが画像処理装置１００を備えるものとして説明をするが、画像処理装置１００Ａ、１００Ｂのいずれかを備えるものであってもよい。
【００８７】
電子カメラ２００は、撮影光学系２１０と、レンズ駆動部２１２と、撮像部２２０と、アナログ・フロントエンド（図２中では「ＡＦＥ」と表記される）２２２と、画像記録媒体２３０と、操作部２４０と、表示部２５０と、記憶部２６０と、ＣＰＵ２７０と、デジタル信号処理装置（以下、ＤＳＰと称する）２９０と、システムバス２８０とを備える。記憶部２６０は、ＲＯＭ２６２とＲＡＭ２６４とを備える。本実施の形態において、画像処理装置１００はＤＳＰ２９０に備えられる一つの機能として実装されるものとして説明をする。
【００８８】
レンズ駆動部２１２、撮像部２２０、アナログ・フロントエンド２２２、画像記録媒体２３０、操作部２４０、表示部２５０、記憶部２６０、ＣＰＵ２７０、画像処理装置１００は、システムバス２８０を介して電気的に接続される。ＲＡＭ２６４は、ＣＰＵ２７０およびＤＳＰ２９０の双方からアクセス可能に構成される。
【００８９】
撮影光学系２１０は、被写体像を撮像部２２０の受光エリア上に形成する。レンズ駆動部２１２は、撮影光学系２１０内の焦点調節用レンズを駆動する。また、撮影光学系２１０が可変焦点距離光学系である場合には、撮影光学系２１０内のレンズ（レンズ群）がレンズ駆動部２１２によって駆動されて焦点距離を変更することが可能に構成されていてもよい。レンズ駆動部２１２はまた、撮影光学系２１０の絞り値も制御する。
【００９０】
撮像部２２０は、受光エリア上に形成される被写体像を光電変換してアナログ画像信号を生成する。このアナログ画像信号はアナログ・フロントエンド２２２に入力される。アナログ・フロントエンド２２２は、撮像部２２０から入力した画像信号にノイズ低減、増幅、Ａ／Ｄ変換等の処理をしてデジタル画像信号を生成する。このデジタル画像信号は、ＲＡＭ２６４に一時的に記憶される。撮像部２２０は、いわゆる電子シャッタの方式でシャッタ秒時を制御可能に構成されるものであっても、機械式シャッタを備えていて機械式シャッタによってシャッタ秒時が制御されるものであってもよい。
【００９１】
ＤＳＰ２９０は、ＲＡＭ２６４に一時的に記憶されたデジタル画像信号に対してデモザイク、階調変換、ホワイトバランス調整、色バランス補正、シェーディング補正、ノイズ低減等のさまざまなデジタル信号処理を施して画像データを生成する。この画像データは、必要に応じて画像記録媒体２３０に記録される。また、画像データに基づく画像が表示部２５０に表示される。このとき、ＤＳＰ２９０内の画像処理装置１００は、上記のように生成された画像データを入力画像データとして、第１から第３の実施の形態で説明した画像補正処理を行う。
【００９２】
画像記録媒体２３０は、フラッシュメモリや磁気記録装置等で構成され、電子カメラ２００に対して着脱可能に装着される。なお、画像記録媒体２３０は電子カメラ２００に内蔵されていてもよい。その場合、ＲＯＭ２６２内に画像データ記録のための領域を確保することが可能である。
【００９３】
操作部２４０は、プッシュスイッチ、スライドスイッチ、ダイヤルスイッチ、タッチパネル等のうち、いずれか一種類または複数種類を備え、ユーザの操作を受け付け可能に構成される。ユーザは、操作部２４０を操作することにより、画像記録モード、焦点調節モード、ＩＳＯ感度、絞り、シャッタ秒時、ホワイトバランスモード等の設定をすることができる。また、操作部２４０に含まれるレリーズスイッチをユーザが操作することにより、撮影記録動作が実行される。
【００９４】
表示部２５０は、ＴＦＴ液晶表示パネルとバックライト装置、あるいは有機ＥＬ表示素子等の自発光式表示素子を備え、画像や文字等の情報を表示可能に構成される。なお、表示部２５０は表示インターフェースを備えていて、ＲＡＭ２６４上に設けられるＶＲＡＭ領域内に書き込まれる画像データが表示インターフェースにより読み出され、画像や文字等の情報が表示部２５０に表示されるものとする。
【００９５】
ＲＯＭ２６２は、フラッシュメモリ等で構成され、ＣＰＵ２７０により実行される制御プログラム（ファームウェア）や、調整パラメータ、あるいは電子カメラ２００に電力が供給されない状態でも保持する必要のある情報等が記憶される。ＲＡＭ２６４は、ＳＤＲＡＭ等で構成され、比較的高速のアクセス速度を有する。ＣＰＵ２７０は、ＲＯＭ２６２からＲＡＭ２６４に転送されたファームウェアを解釈・実行して電子カメラ２００の動作を統括的に制御する。
【００９６】
電子カメラ２００は静止画撮影モードで動作することも、動画像撮影モードで動作することも可能である。撮影記録動作時、ＣＰＵ２７０はフォーカス位置、認識顔数、測光値、設定ＩＳＯ感度、設定絞り、設定シャッタ秒時、設定焦点距離、ホワイトバランス、照明光源等に関する情報などを取得する。ＣＰＵ２７０はまた、電子カメラ２００が静止画撮影モードで動作しているときに、ＤＳＰ２９０で生成された画像データを所定のファイルフォーマット、例えばＥｘｉｆ（Exchangeable image file format）に従う画像ファイルに変換して画像記録媒体２３０に記録する。このとき、上述した撮影記録パラメータはタグ情報として画像ファイル中に埋め込まれる。
【００９７】
ところで、画像処理装置１００による画像補正処理（特定処理）は、以下に説明する二つの方法で行うことができる。一つは撮影記録動作時に特定処理も行う方法である。以下では、撮影記録動作時に特定処理を行うことを、「リアルタイム処理を行う」と称する。もう一つは後処理による方法である。後処理は、撮影記録動作時に画像記録媒体２３０に記録された入力画像データを後になって読み出し、先に説明した画像補正処理を行うことを意味する。処理の対象となる入力画像データは、ＪＰＥＧ（Joint Photographic Experts Group）方式等で圧縮されたものであってもよいし、ＲＡＷ画像データであってもよい。
【００９８】
画像処理装置１００でリアルタイム処理を行う場合、画像補正処理の対象となる入力画像データには、撮影記録パラメータはまだ付加されていない。この場合、撮影記録パラメータ抽出部１０４は、入力画像データから撮影記録パラメータを抽出するのに代えて、ＲＡＭ２６４に一時的に記憶されている撮影記録パラメータを読み出してもよいし、ＣＰＵ２７０から撮影記録パラメータを受信してもよい。一方、後処理によって画像補正処理が行われる場合、撮影記録パラメータ抽出部１０４は、画像データファイル中に埋め込まれている撮影記録パラメータを抽出することができる。
【００９９】
以上のようにして画像補正処理の行われた画像データに基づいて表示画像データが生成され、表示部２５０に表示される。また、処理後の画像データは必要に応じて圧縮処理が行われて画像記録媒体２３０に保存される。
【０１００】
− 情報処理装置とソフトウェアとの組み合わせ −
図１１は、記録媒体（非一時的コンピュータ可読媒体）に記録された画像処理プログラムがコンピュータのＣＰＵにより読み出されて実行され、画像処理装置１００としての機能が実装される例を説明するブロック図である。以下では第１の実施の形態で説明した画像処理装置１００としての機能が実装されるものとして説明をするが、第２、第３の実施の形態で説明した画像処理装置１００Ａ、１００Ｂのいずれかの機能が実装されるものであってもよい。
【０１０１】
コンピュータ３００は、ＣＰＵ３１０と、メモリ３２０と、補助記憶装置３３０と、インターフェース３４０と、メモリカードインターフェース３５０と、光ディスクドライブ３６０と、ネットワークインターフェース３７０と、表示装置３８０とを備える。ＣＰＵ３１０と、メモリカードインターフェース３５０と、光ディスクドライブ３６０と、ネットワークインターフェース３７０と、表示装置３８０とはインターフェース３４０を介して電気的に接続される。
【０１０２】
メモリ３２０は、ＤＤＲ ＳＤＲＡＭ等の、比較的高速のアクセス速度を有するメモリである。補助記憶装置３３０は、ハードディスクドライブ、あるいはソリッドステートドライブ（ＳＳＤ）等で構成され、比較的大きな記憶容量を有する。
【０１０３】
メモリカードインターフェース３５０は、メモリカードＭＣを着脱自在に装着可能に構成される。電子カメラ等で撮影記録が行われて生成され、メモリカードＭＣ内に記憶された画像データファイルは、このメモリカードインターフェース３５０を介してコンピュータ３００内に読み込むことができる。また、コンピュータ３００内に保存される画像データファイルをメモリカードＭＣに書き込むこともできる。画像データファイルは、ＲＡＷ画像データ形式のものであっても、ＪＰＥＧ方式等で圧縮された形式のものであってもよい。
【０１０４】
光ディスクドライブ３６０は、光ディスクＯＤからデータを読み取ることが可能に構成される。光ディスクドライブ３６０はまた、必要に応じて光ディスクＯＤにデータを書き込むことが可能に構成されていてもよい。
【０１０５】
ネットワークインターフェース３７０は、ネットワークＮＷを介して接続されるサーバ等の外部情報処理装置とコンピュータ３００との間で情報を授受可能に構成される。
【０１０６】
画像処理装置１００は、メモリ３２０上にロードされた画像処理プログラムをＣＰＵ３１０が解釈・実行することにより実現される。この画像処理プログラムは、メモリカードＭＣや光ディスクＯＤ等の記録媒体（非一時的コンピュータ可読媒体）に記録されてコンピュータ３００のユーザに頒布される。あるいは、ネットワークＮＷを介して、サーバ等の外部情報処理装置から画像処理プログラムをダウンロードすることも可能である。
【０１０７】
図１２は、ＣＰＵ３１０によって実行される画像処理プログラムを説明するフローチャートである。この画像処理プログラムは、単独で動作してもよいし、ＲＡＷ画像データ現像処理用ソフトウェアやフォトレタッチソフトウェア中に備えられる様々な画像処理機能の一つとして動作してもよい。
【０１０８】
Ｓ１２００においてＣＰＵ３１０は、入力画像データを取得する。例えば、ユーザにより指定されたファイル名の画像ファイルを補助記憶装置３３０やメモリカードＭＣ等から読み出して入力画像データを取得することが可能である。あるいは、他の画像処理が予め行われていて、メモリ３２０上に画像データが一時的に記憶されている場合には、当該画像データが記憶されているメモリ３２０上のアドレスに関する情報を取得し、当該画像データに対する処理権限を取得するものであってもよい。
【０１０９】
Ｓ１２０２においてＣＰＵ３１０は、入力画像データに付加されている撮影記録パラメータを抽出する。この処理は、第１の実施の形態で説明した撮影記録パラメータ抽出部１０４での処理に対応する。
【０１１０】
Ｓ１２０４においてＣＰＵ３１０は、入力画像データを解析して特徴量を導出する。この処理は、第１の実施の形態で説明した特徴量導出部１０２での処理に対応する。
【０１１１】
Ｓ１２０６においてＣＰＵ３１０は、Ｓ１２０２で導出された特徴量と、Ｓ１２０４で抽出された撮影記録パラメータとを参照して処理適性指標を導出する。この処理は、第１の実施の形態で説明した処理適性指標導出部１０６での処理に対応する。
【０１１２】
Ｓ１２０８においてＣＰＵ３１０は、Ｓ１２０６で導出された処理適性指標に基づいて入力画像データに特定処理を施す。この処理は、第１の実施の形態で説明した画像補正処理部１１０での処理に対応する。
【０１１３】
Ｓ１２１０においてＣＰＵ３１０は、Ｓ１２０８で特定処理が行われた入力画像データをもとに表示用画像データ生成し、表示装置３８０に出力する。その結果、表示装置３８０には特定処理後の画像が表示される。このとき、表示装置３８０に特定処理を行う前の画像と特定処理を行った後の画像とを表示して、いずれの画像を保存するか、ユーザが選択可能に構成されていてもよい。
【０１１４】
Ｓ１２１２においてＣＰＵ３１０は、特定処理を終えた画像データから所定のフォーマットの画像データファイルを生成し、補助記憶装置３３０やメモリカードＭＣ等に保存する。
【０１１５】
以上では、図１２に示される処理により、第１の実施の形態で説明した画像処理装置１００と同様の機能が実現されるものとして説明したが、第２の実施の形態で説明した画像処理装置１００Ａ、第３の実施の形態で説明した画像処理装置１００Ｂと同様の機能が実現されてもよい。ＣＰＵ３１０により実行される画像処理プログラムにより第２の実施の形態で説明した画像処理装置１００Ａと同様の機能が実現される場合、記憶部１２４（図６）に相当するものを補助記憶装置３３０内に設けることが可能である。このとき、補助記憶装置３３０内に記憶されるデータテーブルは、ネットワークＮＷを介して外部のサーバ等から随時最新のデータが取得されて更新されてもよい。
【産業上の利用可能性】
【０１１６】
本発明に係る画像処理の技術は、デジタルスチルカメラ、デジタルムービーカメラ、ビデオレコーダ、そしてデジタルフォトフレームなどに適用することが可能である。本発明はまた、画像処理ソフトウェアなどに適用可能である。
【符号の説明】
【０１１７】
１００、１００Ａ、１００Ｂ … 画像処理装置
１０２ … 特徴量導出部
１０４ … 撮影記録パラメータ抽出部
１０６、１０６Ａ … 処理適性指標導出部
１１０、１１０Ａ … 画像補正処理部
１１２ … 彩度低減処理部
１１４ … 明度増加処理部
１２０ … 比較部
１２２ … 導出部
１２４ … 記憶部
１３０ … エッジ検出処理部
１３２ … シャープネス増加処理部
２００ … 電子カメラ
２２０ … 撮像部
２９０ … デジタル・シグナル・プロセッサ
３００ … コンピュータ
３１０ … ＣＰＵ
４００ … 重心
５００ … 低彩度被写体
５０２ … 低彩度重心
５０４ … フォーカス位置マーク
【特許請求の範囲】
【請求項１】
撮影記録して得られたデジタルの入力画像データにより形成される画像の特徴量を導出する特徴量導出部であって、彩度別に前記入力画像データ中の画素を分類して得られた彩度特性と、明度別に前記入力画像データ中の画素を分類して得られた明度特性と、前記入力画像データ中で検出されたエッジ数およびエッジ位置に基づくエッジ特性とを前記特徴量として導出する、特徴量導出部と、
前記入力画像データに含まれる同一の画素に対して彩度低減とシャープネス増加との両方を行う処理である特定処理を前記入力画像データに施すことに対する適性の指標である処理適性指標を、前記特徴量に基づいて導出する、処理適性指標導出部と、
前記処理適性指標に基づいて、前記入力画像データに含まれるそれぞれの画素に対して前記特定処理を施す画像補正処理部と
を備えることを特徴とする画像処理装置。
【請求項２】
前記特徴量導出部は、前記入力画像データ中において、第１の閾値を超す高さの彩度を有する画素である高彩度画素の数の全画素数に占める割合に対応する量である高彩度画素頻度を前記彩度特性として導出し、前記入力画像データ中の各画素の明度のばらつきの大きさに対応する量である明度ばらつき量を前記明度特性として導出することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記処理適性指標導出部は、前記高彩度画素頻度の高さがより低く、前記明度ばらつき量がより小さく、前記エッジの数がより多く、前記エッジの分布がより広いほど前記処理適性指標の値が高まるように前記処理適性指標を導出し、
前記画像補正処理部は、前記処理適性指標の値に応じた強度で、前記入力画像データに含まれるそれぞれの画素に対して前記特定処理を施す
ことを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記特徴量導出部はさらに、前記入力画像データ中において、予め区分された複数の色相範囲それぞれに属する画素のうち、最も多い画素数の画素が属する色相範囲の画素数が第２の閾値を超す場合に、当該色相範囲に属する画素の前記画像中で存在する位置の重心を中心として予め定められた範囲内に存在する画素の彩度のばらつきの大きさに対応する量である彩度ばらつき量を前記特徴量として導出し、
前記処理適性指標導出部は、前記彩度ばらつき量が大きくなるほど、前記シャープネス増加処理の処理強度がより強められるように前記処理適性指標を導出する
ことを特徴とする請求項２または３に記載の画像処理装置。
【請求項５】
前記撮影記録時の撮影記録条件を特定可能な撮影記録パラメータを前記入力画像データから抽出する撮影記録パラメータ抽出部をさらに備え、
前記特徴量導出部はさらに、自動焦点調節モードで前記撮影記録が行われる際に焦点検出が行われた画面内の位置を特定可能な情報であるフォーカス位置情報を前記撮影記録パラメータから抽出し、当該フォーカス位置情報によって特定される、前記画像データにより形成される画像中の位置と、当該画像中における前記高彩度画素以外の画素の存在する領域の重心位置である低彩度画素重心位置との間の画素距離を前記特徴量として導出し、
前記処理適性指標導出部はさらに、前記画素距離が第３の閾値を下回るときに前記処理適性指標を高める
ことを特徴とする請求項２から４のいずれか一つに記載の画像処理装置。
【請求項６】
予め撮影記録して得られた複数のサンプル画像の画像データそれぞれに対応し、前記特徴量と、前記特定処理を施すことに対する適性が予め評価されて付与された処理適性情報とを記憶する参照データ記憶部をさらに備え、
前記処理適性指標導出部はさらに、前記特徴量導出部で導出された前記入力画像データの特徴量と類似度の高い特徴量を有する画像の前記処理適性情報を前記参照データ記憶部から抽出し、抽出された当該処理適性情報に基づいて前記処理適性指標を導出する
ことを特徴とする請求項２から４のいずれか一つに記載の画像処理装置。
【請求項７】
前記撮影記録時の撮影記録条件を特定可能な撮影記録パラメータを前記入力画像データから抽出する撮影記録パラメータ抽出部をさらに備え、
前記特徴量導出部はさらに、自動焦点調節モードで前記撮影記録が行われる際に焦点検出が行われた画面内の位置を特定可能な情報であるフォーカス位置情報を前記撮影記録パラメータから抽出し、当該フォーカス位置情報によって特定される、前記入力画像データで形成される画像中の位置と、当該画像中における前記高彩度画素以外の画素の存在する領域の重心位置である低彩度画素重心位置との間の画素距離を前記特徴量として導出し、
前記参照データ記憶部はさらに、前記複数のサンプル画像の画像データそれぞれに対応する前記フォーカス位置情報によって特定される前記画像中の位置と前記低彩度画素重心位置との間の画素距離とを前記特徴量として記憶し、
前記処理適性指標導出部はさらに、前記フォーカス位置と前記低彩度画素重心位置との間の画素距離も参照して前記離類似度の高い特徴量を有するサンプル画像の前記処理適性情報を前記参照データ記憶部から抽出する
ことを特徴とする請求項６に記載の画像処理装置。
【請求項８】
前記処理適性指標導出部はさらに、前記撮影記録パラメータから抽出される情報の一つである、前記撮影記録時に顔認識処理が行われて検出された顔の数に関する情報を参照し、前記検出された顔の数が０のときに前記処理適性指標を高める
ことを特徴とする請求項５または７に記載の画像処理装置。
【請求項９】
前記処理適性指標導出部はさらに、前記撮影記録パラメータから抽出される情報から、前記撮影記録が行われたときの被写体輝度を導出し、当該被写体輝度が高いほど前記処理適性指標を低める
ことを特徴とする請求項５、７、および８のいずれか一つに記載の画像処理装置。
【請求項１０】
前記処理適性指標導出部はさらに、前記撮影記録パラメータから抽出される情報から、前記撮影記録が行われたときに被写体を照明していた照明光の種類を判定し、判定された当該照明光の種類が屋外曇天光であるときに、前記処理適性指標を高める
ことを特徴とする請求項５、７、８、および９のいずれか一つに記載の画像処理装置。
【請求項１１】
前記特徴量導出部はさらに、前記入力画像データ中において青空の領域を検出し、当該青空の領域の画素数の、全画素数に占める割合に対応する量である青空画素頻度を前記特徴量として導出し、
前記処理適性指標導出部はさらに、前記青空画素頻度の高さがより高いときに前記処理適性指標の値が低められるように前記処理適性指標を導出する
ことを特徴とする請求項１から１０のいずれか一つに記載の画像処理装置。
【請求項１２】
前記特徴量導出部はさらに、前記入力画像データ中において肌色が存在する領域および緑色が存在する領域の位置を検出し、当該肌色の領域および緑色の領域の範囲を特定可能な情報である特定色領域情報を前記特徴量として導出し、
前記画像補正処理部はさらに、前記特定色領域情報に基づき、前記肌色が存在する領域および緑色が存在する領域に対しては前記特定処理の処理強度を弱めることを特徴とする請求項１から１１のいずれか一つに記載の画像処理装置。
【請求項１３】
撮影記録して得られたデジタルの入力画像データにより形成される画像の特徴量を導出する特徴量導出手順であって、彩度別に前記入力画像データ中の画素を分類して得られた彩度特性と、明度別に前記入力画像データ中の画素を分類して得られた明度特性と、前記入力画像データ中で検出されたエッジ数およびエッジ位置に基づくエッジ特性とを前記特徴量として導出する、特徴量導出手順と、
前記入力画像データに含まれる同一の画素に対して彩度低減とシャープネス増加との両方を行う処理である特定処理を前記入力画像データに施すことに対する適性の指標である処理適性指標を、前記特徴量に基づいて導出する、処理適性指標導出手順と、
前記処理適性指標に基づいて、前記入力画像データに含まれるそれぞれの画素に対して前記特定処理を施す画像補正処理手順と
を備えることを特徴とする画像処理プログラム。
【請求項１】
撮影記録して得られたデジタルの入力画像データにより形成される画像の特徴量を導出する特徴量導出部であって、彩度別に前記入力画像データ中の画素を分類して得られた彩度特性と、明度別に前記入力画像データ中の画素を分類して得られた明度特性と、前記入力画像データ中で検出されたエッジ数およびエッジ位置に基づくエッジ特性とを前記特徴量として導出する、特徴量導出部と、
前記入力画像データに含まれる同一の画素に対して彩度低減とシャープネス増加との両方を行う処理である特定処理を前記入力画像データに施すことに対する適性の指標である処理適性指標を、前記特徴量に基づいて導出する、処理適性指標導出部と、
前記処理適性指標に基づいて、前記入力画像データに含まれるそれぞれの画素に対して前記特定処理を施す画像補正処理部と
を備えることを特徴とする画像処理装置。
【請求項２】
前記特徴量導出部は、前記入力画像データ中において、第１の閾値を超す高さの彩度を有する画素である高彩度画素の数の全画素数に占める割合に対応する量である高彩度画素頻度を前記彩度特性として導出し、前記入力画像データ中の各画素の明度のばらつきの大きさに対応する量である明度ばらつき量を前記明度特性として導出することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記処理適性指標導出部は、前記高彩度画素頻度の高さがより低く、前記明度ばらつき量がより小さく、前記エッジの数がより多く、前記エッジの分布がより広いほど前記処理適性指標の値が高まるように前記処理適性指標を導出し、
前記画像補正処理部は、前記処理適性指標の値に応じた強度で、前記入力画像データに含まれるそれぞれの画素に対して前記特定処理を施す
ことを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記特徴量導出部はさらに、前記入力画像データ中において、予め区分された複数の色相範囲それぞれに属する画素のうち、最も多い画素数の画素が属する色相範囲の画素数が第２の閾値を超す場合に、当該色相範囲に属する画素の前記画像中で存在する位置の重心を中心として予め定められた範囲内に存在する画素の彩度のばらつきの大きさに対応する量である彩度ばらつき量を前記特徴量として導出し、
前記処理適性指標導出部は、前記彩度ばらつき量が大きくなるほど、前記シャープネス増加処理の処理強度がより強められるように前記処理適性指標を導出する
ことを特徴とする請求項２または３に記載の画像処理装置。
【請求項５】
前記撮影記録時の撮影記録条件を特定可能な撮影記録パラメータを前記入力画像データから抽出する撮影記録パラメータ抽出部をさらに備え、
前記特徴量導出部はさらに、自動焦点調節モードで前記撮影記録が行われる際に焦点検出が行われた画面内の位置を特定可能な情報であるフォーカス位置情報を前記撮影記録パラメータから抽出し、当該フォーカス位置情報によって特定される、前記画像データにより形成される画像中の位置と、当該画像中における前記高彩度画素以外の画素の存在する領域の重心位置である低彩度画素重心位置との間の画素距離を前記特徴量として導出し、
前記処理適性指標導出部はさらに、前記画素距離が第３の閾値を下回るときに前記処理適性指標を高める
ことを特徴とする請求項２から４のいずれか一つに記載の画像処理装置。
【請求項６】
予め撮影記録して得られた複数のサンプル画像の画像データそれぞれに対応し、前記特徴量と、前記特定処理を施すことに対する適性が予め評価されて付与された処理適性情報とを記憶する参照データ記憶部をさらに備え、
前記処理適性指標導出部はさらに、前記特徴量導出部で導出された前記入力画像データの特徴量と類似度の高い特徴量を有する画像の前記処理適性情報を前記参照データ記憶部から抽出し、抽出された当該処理適性情報に基づいて前記処理適性指標を導出する
ことを特徴とする請求項２から４のいずれか一つに記載の画像処理装置。
【請求項７】
前記撮影記録時の撮影記録条件を特定可能な撮影記録パラメータを前記入力画像データから抽出する撮影記録パラメータ抽出部をさらに備え、
前記特徴量導出部はさらに、自動焦点調節モードで前記撮影記録が行われる際に焦点検出が行われた画面内の位置を特定可能な情報であるフォーカス位置情報を前記撮影記録パラメータから抽出し、当該フォーカス位置情報によって特定される、前記入力画像データで形成される画像中の位置と、当該画像中における前記高彩度画素以外の画素の存在する領域の重心位置である低彩度画素重心位置との間の画素距離を前記特徴量として導出し、
前記参照データ記憶部はさらに、前記複数のサンプル画像の画像データそれぞれに対応する前記フォーカス位置情報によって特定される前記画像中の位置と前記低彩度画素重心位置との間の画素距離とを前記特徴量として記憶し、
前記処理適性指標導出部はさらに、前記フォーカス位置と前記低彩度画素重心位置との間の画素距離も参照して前記離類似度の高い特徴量を有するサンプル画像の前記処理適性情報を前記参照データ記憶部から抽出する
ことを特徴とする請求項６に記載の画像処理装置。
【請求項８】
前記処理適性指標導出部はさらに、前記撮影記録パラメータから抽出される情報の一つである、前記撮影記録時に顔認識処理が行われて検出された顔の数に関する情報を参照し、前記検出された顔の数が０のときに前記処理適性指標を高める
ことを特徴とする請求項５または７に記載の画像処理装置。
【請求項９】
前記処理適性指標導出部はさらに、前記撮影記録パラメータから抽出される情報から、前記撮影記録が行われたときの被写体輝度を導出し、当該被写体輝度が高いほど前記処理適性指標を低める
ことを特徴とする請求項５、７、および８のいずれか一つに記載の画像処理装置。
【請求項１０】
前記処理適性指標導出部はさらに、前記撮影記録パラメータから抽出される情報から、前記撮影記録が行われたときに被写体を照明していた照明光の種類を判定し、判定された当該照明光の種類が屋外曇天光であるときに、前記処理適性指標を高める
ことを特徴とする請求項５、７、８、および９のいずれか一つに記載の画像処理装置。
【請求項１１】
前記特徴量導出部はさらに、前記入力画像データ中において青空の領域を検出し、当該青空の領域の画素数の、全画素数に占める割合に対応する量である青空画素頻度を前記特徴量として導出し、
前記処理適性指標導出部はさらに、前記青空画素頻度の高さがより高いときに前記処理適性指標の値が低められるように前記処理適性指標を導出する
ことを特徴とする請求項１から１０のいずれか一つに記載の画像処理装置。
【請求項１２】
前記特徴量導出部はさらに、前記入力画像データ中において肌色が存在する領域および緑色が存在する領域の位置を検出し、当該肌色の領域および緑色の領域の範囲を特定可能な情報である特定色領域情報を前記特徴量として導出し、
前記画像補正処理部はさらに、前記特定色領域情報に基づき、前記肌色が存在する領域および緑色が存在する領域に対しては前記特定処理の処理強度を弱めることを特徴とする請求項１から１１のいずれか一つに記載の画像処理装置。
【請求項１３】
撮影記録して得られたデジタルの入力画像データにより形成される画像の特徴量を導出する特徴量導出手順であって、彩度別に前記入力画像データ中の画素を分類して得られた彩度特性と、明度別に前記入力画像データ中の画素を分類して得られた明度特性と、前記入力画像データ中で検出されたエッジ数およびエッジ位置に基づくエッジ特性とを前記特徴量として導出する、特徴量導出手順と、
前記入力画像データに含まれる同一の画素に対して彩度低減とシャープネス増加との両方を行う処理である特定処理を前記入力画像データに施すことに対する適性の指標である処理適性指標を、前記特徴量に基づいて導出する、処理適性指標導出手順と、
前記処理適性指標に基づいて、前記入力画像データに含まれるそれぞれの画素に対して前記特定処理を施す画像補正処理手順と
を備えることを特徴とする画像処理プログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【公開番号】特開２０１２−２４４５３８（Ｐ２０１２−２４４５３８Ａ）
【公開日】平成２４年１２月１０日（２０１２．１２．１０）
【国際特許分類】
【出願番号】特願２０１１−１１４８２６（Ｐ２０１１−１１４８２６）
【出願日】平成２３年５月２３日（２０１１．５．２３）
【出願人】（００００００３７６）オリンパス株式会社 (11,466)
【Ｆターム（参考）】
【公開日】平成２４年１２月１０日（２０１２．１２．１０）
【国際特許分類】
【出願日】平成２３年５月２３日（２０１１．５．２３）
【出願人】（００００００３７６）オリンパス株式会社 (11,466)
【Ｆターム（参考）】
[ Back to top ]