画像処理装置及び画像処理方法
【課題】 画像の階調補正を輝度低周波成分を用いた補正とトーンカーブ補正に分配して行い、ユーザの好みを反映した良好な明るさ及びコントラストの画像補正結果を得る。
【解決手段】 入力画像の顔情報、ヒストグラム情報を元に補正量の目標値を算出し、ユーザの操作に応じて輝度低周波成分を用いた補正とトーンカーブ補正を合わせて目標の補正結果が得られるように、それぞれに補正量を分配して補正処理を行う。
【解決手段】 入力画像の顔情報、ヒストグラム情報を元に補正量の目標値を算出し、ユーザの操作に応じて輝度低周波成分を用いた補正とトーンカーブ補正を合わせて目標の補正結果が得られるように、それぞれに補正量を分配して補正処理を行う。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明はデジタル画像処理、特にデジタル画像の明るさの分布を改善する技術に関する。
【背景技術】
【０００２】
好ましい明るさ、コントラストの画像を得るために、撮影画像のヒストグラムや被写体情報を解析して、階調補正を行う方式が知られている。特に、主被写体の明るさが背景の明るさに比べて著しく暗いような、いわゆる逆光シーンは、撮影した画像においてどうしても主被写体部分が暗くなってしまうため、階調補正が有効なシーンと言える。
【０００３】
階調補正には各入力輝度値を所定の出力輝度値に変換する補正テーブル（トーンカーブ）を用いる方式がある。特に、逆光シーンなどにおいては、主被写体を好ましい明るさに補正しつつ、背景の明るい領域を白トビさせないように補正を抑えるような補正テーブルを設定する方法が提案されている（特許文献１参照）。また、画像の輝度成分の低周波成分信号を用いて階調補正することで、いわゆる覆い焼きのような効果を得る方法が提案されており（特許文献２参照）、この方法ではトーンカーブ補正に比べて、画像のコントラストを維持したまま階調補正を行うことができる。
【特許文献１】特開２００７−１２４６０４号
【特許文献２】特開２００８−０７２６０４号
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、特許文献１のように、トーンカーブによって、画像の暗い部分を明るく補正し、もともと明るい部分は補正を抑えるような階調補正を行うと、主被写体と背景の中間の輝度帯域においてコントラストが失われ、のっぺりとした画像になることがあった。また、特許文献２のように、画像の輝度成分の低周波成分信号を用いて階調補正を行うと、シーンによってはコントラストがありすぎるために不自然な画像になることがあった。特許文献１の補正方法と特許文献２の補正方法の両方を利用するにしても、カメラの撮影条件の変化や様々なユーザの画質の好みに対応した補正量を設定することは困難であった。
【課題を解決するための手段】
【０００５】
本発明は上述した問題点を解決するためのものであり、本発明の画像処理装置は、撮影画像に基づき前記撮影画像の階調補正の目標値を算出する算出手段と、前記撮影画像から輝度成分画像と前記輝度成分画像の低周波成分画像とを抽出する抽出手段と、前記輝度成分画像と前記低周波成分画像とを用いて前記撮影画像に対して第１の階調補正処理を行う第１の階調補正処理手段と、トーンカーブ補正により前記撮影画像に対して第２の階調補正処理を行う第２の階調補正処理手段と、ユーザの操作入力に応じて前記第１の階調補正の補正レベルを設定する設定手段と、前記算出手段により算出された目標値と前記設定手段により設定された補正レベルとに基づき、前記第１の階調補正処理の補正量と前記第２の階調補正処理の補正量を決定する決定手段と、を有することを特徴とする。
【発明の効果】
【０００６】
本発明によれば、輝度低周波成分を用いる階調補正とトーンカーブ補正による階調補正の両方を利用した階調補正を行うことができ、かつユーザの好みの画質の補正画像を得ることができるという効果を得ることができる。
【発明を実施するための最良の形態】
【０００７】
以下、本発明による一実施形態を、図面を参照して詳細に説明する。
【０００８】
（第１の実施形態）
図１は、本発明の画像処理装置を実現可能なデジタルカメラの一構成例を示すブロック図である。図１において、不図示の撮影レンズを通過した被写体光学像は撮像素子１０１上に結像され、その光量に応じた電荷に変換される。撮像素子１０１は例えばＲ（赤）、Ｇ（緑）、Ｂ（青）のカラーフィルタにより覆われている。各カラーフィルタはそれぞれの色の波長帯域周辺の分光感度を持ち、各カラーフィルタに対応して設けられた光電変換素子は、各カラーフィルタを通過した帯域の光線をそれぞれ光電変換する。各光電変換素子により変換された電荷は、撮像素子１０１から電気信号としてＡ／Ｄ変換部１０２に出力され、Ａ／Ｄ変換処理によりデジタル信号（画像データ）に変換される。
【０００９】
Ａ／Ｄ変換部１０２から出力されたデジタル信号（入力画像データ）は、輝度低周波成分検出部１０３、補正量演算部１０５、ＷＢ処理部１０４のそれぞれに送られる。ＷＢ処理部１０４はＷＢ検出部１０６で得られたホワイトバランスのゲイン値を画像のＲＧＢの各画素値に積算する。ＷＢ処理部１０４でＷＢ処理された画像データは現像処理部１１０に送られ、現像処理部１１０は後述の輝度低周波成分を用いた輝度補正処理（第１の階調補正処理）及びトーンカーブ補正処理（第２の階調補正処理）を行う。画像データ出力部１１１は、現像処理が行われた画像データをファイル化して出力する。例えば、ファイル形式をＪＰＥＧファイルに変換する場合には、画像データをＹＣｒＣｂ形式に３次元マトリックス変換して付属データを添付することでＪＰＥＧファイル形式に変換する。
【００１０】
次に各ブロックの処理の詳細を説明する。図２は、輝度低周波成分検出部１０３で行う処理を示したフローチャートである。図２において、まずステップＳ２０１では、入力画像データに対して輝度信号抽出処理を行う。輝度成分の抽出は、例えば、色調整対象の画像がＩＥＣ６１９６６−２−１に記載されているｓＲＧＢ色空間で表現されている場合、ＩＥＣ６１９６６−２−１に記載されている方法に従う。すなわち、ガンマ変換と３行３列のマトリクス演算により、ＣＩＥ１９３１ＸＹＺに変換する。ここで、位置が（ｘ，ｙ）の画素値（Ｒ（ｘ，ｙ），Ｇ（ｘ，ｙ），Ｂ（ｘ，ｙ））を上記変換による変換後のＸＹＺのデータをそれぞれＸ（ｘ，ｙ）、Ｙ（ｘ，ｙ）、Ｚ（ｘ，ｙ）とする。この場合、Ｙ（ｘ，ｙ）が抽出する輝度成分、Ｘ（ｘ，ｙ）、Ｚ（ｘ，ｙ）が色成分である。本実施形態では、画像の画素値がｓＲＧＢ色空間で規定されており、輝度についてはｓＹＣＣ色空間で規定しているので、下記の式（１）の変換式を用いて輝度成分を算出する。
Ｙ＝０．２９９×Ｒ＋０．５８７×Ｇ＋０．１１４×Ｂ 式（１）
【００１１】
これに対し、次の式（２）のような近似式を用いるのであっても良い。
【００１２】
【数１】
【００１３】
上記処理によって等倍の輝度成分画像を取得することができるが、元画像と輝度成分画像の大きさは一致する必要はない。例えば、このステップＳ２０１の輝度成分抽出において、入力画像データに対して縮小処理を施すように構成しても良い。縮小処理は公知の任意の方法で良いが、例えば間引き処理、最近傍法、平均値法などで容易に実現できる。
【００１４】
続くステップＳ２０２ではステップＳ２０１で作成した輝度成分画像より低周波成分抽出処理を行い、輝度低周波成分画像を生成する。本実施形態では、低周波成分抽出として、ローパスフィルタ処理を行う。本実施形態では、このステップでフィルタサイズの異なる３つのローパスフィルタを用いて３つの低周波成分画像を生成する。
【００１５】
図３は補正量演算部１０５で行う処理を示したフローチャートである。図３において、ステップＳ３０１では、ＷＢ検出処理を行う。ここでは、ＷＢ検出部１０６が入力画像データから撮影シーンに適したホワイトバランスのゲイン値を算出する。
【００１６】
続くステップＳ３０２では、ヒストグラム検出処理を行う。ここでは、ヒストグラム検出部１０７が、まず撮影した画像データ全体に対して予め定められたＷＢのゲインを適用し、適用したデータに対してガンマ処理を行う。そして、ガンマ処理を行った画像データのヒストグラムを検出する。本実施形態では、ガンマ処理はルックアップテーブルを用いる方法を適用する。ここで、本実施形態では、ヒストグラムを検出する範囲は画像データの全体とするが、端の方をカットしたものから検出しても良い。
【００１７】
続くステップＳ３０３では、顔検出前処理を行う。ここでは、顔検出部１０８が入力画像データに対して縮小処理、ガンマ処理等を施して、画像に顔が含まれる顔を容易に検出しやすいようにする。続くステップＳ３０４では、顔検出処理を行う。ここでは、顔検出部１０８が入力画像データ内の顔領域を検出する。この検出処理には、入力画像データに対するテキスチャー検出処理やその結果に対するパターン認識処理（目、鼻、口、及び顔の輪郭等の領域の認識処理）が含まれている。そして、あらかじめ設定した評価閾値を用いて、これらの処理によって得られた領域に対して顔であることの信頼性が大きさを評価する。
【００１８】
続くステップＳ３０５では、顔検出部１０８がステップＳ３０４の顔検出処理の評価の結果に基づき顔の有無を判定する。顔であることの信頼性が評価閾値より大きい領域が一つ以上あった場合、顔検出部１０８はその領域を顔と判定する。そして、その領域に含まれる目の座標を出力し、ステップＳ３０６以降の顔輝度算出処理のステップに進む。顔領域が無かったと判定した場合、ステップＳ３０９に進む。
【００１９】
ステップＳ３０６では、顔輝度取得領域の算出を行う。ここでは、補正量算出部１０９が顔検出結果に基づいて顔の輝度を取得する領域を算出する。たとえば、図４のように、画像データの全体の範囲４０１のうち、各顔検出領域４０２、４１２について、両眼の下及びその中間の３箇所の領域、すなわち領域４０３、４０４、４０５、領域４１３、４１４、４１５、を算出する。ここで、各領域の大きさは、顔検出領域４０２（４１２）の大きさに対する比率によって決まる大きさの正方形の領域とする。続くステップＳ３０７では、補正量算出部１０９は、各顔輝度取得領域について、入力画像データのＲ画素、Ｇ画素、Ｂ画素の各々の平均値を求め、式（１）により輝度値Ｙへの変換を行う。この変換には、式（２）のような近似式を用いるものであっても良い。
【００２０】
続くステップＳ３０８では、顔の輝度の代表値の算出を行う。この方法の一例を図５のフローチャートに示す。まずステップＳ５０１で、各顔について３箇所の輝度値の中から最大値を求める。続くステップＳ５０２で、顔が複数あるかどうかの判定を行い、顔が複数ある場合はステップＳ５０３に進む。顔が１つだけの場合は、この顔についてステップＳ５０１で求めた輝度値の最大値を、顔の輝度の代表値とする（ステップＳ５０９）。図４の例だと、顔は２つ（４０２，４１２）なので、顔検出領域４０２の領域４０３、４０４、４０５について代表値Ｙ０を求め、顔検出領域４１２の領域４１３、４１４、４１５について、Ｙ１を算出する。
【００２１】
ステップＳ５０３で、複数の顔の輝度値の最大値（Ｙａ）を求める。図４の例だと、Ｙ０とＹ１のうち大きいものがＹａとなる。ステップＳ５０４で、複数の顔の輝度値の平均値（Ｙｂ）を求める。図４の例だと、顔検出領域４０２についての代表値Ｙ０と顔検出領域４１２の代表値Ｙ１の平均値を求める。ステップＳ５０５で、顔の輝度値の最大値（Ｙａ）と顔の輝度値の平均値（Ｙｂ）に対して所定の重みをかけた重み平均値（Ｙｃ）を求める。
【００２２】
ステップＳ５０６で、顔の輝度値の最大値（Ｙａ）と重み平均値（Ｙｃ）の差が所定の閾値（Ｙｔｈ）より小さいかどうかの判定を行う。この差が閾値より小さい場合には、重み平均値（Ｙｃ）を顔の輝度の代表値とし（ステップＳ５０７）、そうでない場合には、顔の輝度の最大値（Ｙａ）から閾値（Ｙｔｈ）を引いた値を顔の輝度の代表値とする（ステップＳ５０８）。このように代表値を決めることで、複数の顔について公平に明るさ補正できる一方で、１つだけ飛び抜けて明るい顔が含まれている場合が生じても、その顔を基準として補正することが可能となり、失敗撮影を確実に減らすことができる。
【００２３】
図３に戻り、顔が検出されなかった場合に対応するステップＳ３０９では、補正量算出部１０９がヒストグラム検出部１０７で得られたヒストグラムの特徴量の検出を行う。ここでは、図６に示すように、ヒストグラムで暗部側から累積度数が１％である画素が属するレベル（ＳＤ）、ハイライト側から累積度数が１％である画素が属するレベル（ＨＬ）等を求める。
【００２４】
続くステップＳ３１０では、補正の目標値の算出を行う。目標輝度レベルの算出には、種々の方法が考えられるが、本実施形態では、補正テーブルを用いて目標輝度レベルのルックアップテーブルを生成する方法を採用する。つまり、図７のように、顔の輝度の代表値に対する目標輝度レベルを定めた補正テーブルを不図示のメモリに予め保持しておく。そしてこのテーブルを参照することで顔の輝度の代表値から３つのＬＳＢに対応する目標値を求め、これらの値及び画像の輝度の最小値と最大値からスプライン補間などにより入力輝度レベルに対する出力輝度レベルのルックアップテーブルを作成する。
【００２５】
図７は顔がある場合の作成例を示すものであるが、顔がない場合においても同様に、ステップＳ３０９で得られたヒストグラムのＳＤ及びＨＬの値に対応する補正テーブルを用いて、同様なルックアップテーブルを作成することができる。
【００２６】
続くステップＳ３１１では、輝度低周波成分を用いた補正及びトーンカーブを用いた補正の補正量の算出を行い、その結果を現像処理部１１０に渡すことで補正量演算部１０５の処理が終了する。ステップＳ３１１での処理については後で詳細に説明する。
【００２７】
現像処理部１１０の階調補正処理（第１の階調補正処理、第２の階調補正処理）の詳細を図８のフローチャートを用いて説明する。図８のステップＳ８０１では、輝度低周波成分を用いた輝度補正処理を行う。
【００２８】
この補正処理は特許文献２と同様な方法で行う。すなわち、スケール変換した輝度成分の分布を対数変換し、異なる尺度（異なる解像度）での平均値を求め、もとの輝度成分の対数変換との差分を出力し、逆変換（ｅｘｐ演算）により元の輝度単位に戻す処理を行う。ここで、画像に応じて改善の度合いを調節するために、スケール変換した輝度成分の対数変換出力に係数を乗ずるようにする。この係数が改善の度合いを調節するパラメータである。以上説明した処理に基づく改善された輝度成分の出力は以下に示す式（３）のようになる。
【００２９】
【数２】
【００３０】
但し、Ｙ’（ｘ，ｙ）、Ｆｎ（ｘ，ｙ）、ｎはそれぞれ、座標値が（ｘ，ｙ）の改善された輝度成分の出力、座標（ｘ，ｙ）におけるガウシアン関数、尺度を表すパラメータである。また、γ０、γ１は改善の度合いを表すパラメータ０、改善の度合いを表すパラメータ１である。また、＊は積和演算、Ａｖｇは平均値演算を表す。
【００３１】
この輝度変換をハードウェアで構成する場合には、例えば、平均値演算回路、ルックアップテーブルを作成する回路、テーブル記憶部、テーブル参照回路（ガンマ変換の部分）、除算回路によって構成できる。なお、平均値演算回路は低周波輝度信号抽出を実現する部分に設けてもよい。
【００３２】
後述するが、輝度低周波成分を用いた輝度補正処理の強さは図１１の曲線１１０２を構成するルックアップテーブルで表される。そして、上記の式（３）の改善の度合いを表すパラメータγ０、改善の度合いを表すパラメータγ１は、このルックアップテーブルの値により決まるようになっている。
【００３３】
続くステップＳ８０２では、輝度低周波成分を用いた輝度補正処理に伴う色調整処理を行う。色調整処理では、処理後の画像データの色ができるだけ変化しないように、色成分を輝度成分の変更にしたがって修正する。好ましくは例えば、色成分Ｘ（ｘ，ｙ）、Ｚ（ｘ，ｙ）にそれぞれ輝度成分の変更前後の比Ｙ’（ｘ，ｙ）／Ｙ（ｘ，ｙ）を乗算する。あるいは、Ｙ（ｘ，ｙ）のみＹ’（ｘ，ｙ）に変更し、色成分Ｘ（ｘ，ｙ）、Ｚ（ｘ，ｙ）に対しては処理を行わないような、処理の簡略化は容易である。
【００３４】
続くステップＳ８０３では、トーンカーブを用いた輝度補正処理を行う。これには、各入力輝度に対する出力輝度データのルックアップテーブルを用いる。続くステップＳ８０４では、トーンカーブを用いた輝度補正処理に伴う色調整処理を行う。これは、ステップＳ８０２と同様の処理を行えば良い。また、ステップＳ８０２とステップＳ８０４を合わせて、輝度低周波成分を用いた輝度補正処理及びトーンカーブを用いた補正処理による輝度値の変更にしたがって、最後に色調整処理を行うようにしても良い。
【００３５】
続いて、図３のステップＳ３１１における補正量の算出処理の詳細について説明する。この算出処理のフローチャートを図９に示す。図９のステップＳ９０１では、輝度低周波成分画像を用いた補正の補正量の算出を行う。本実施形態では、輝度低周波成分検出部１０３で生成した、周波数帯域の異なる３つの輝度低周波成分画像を用いる。また、これらの複数の輝度低周波成分画像による補正後の画素値を算出し、それらを重み付け加算して最終的な補正画像を得る。
【００３６】
式（３）で説明した画像データのある輝度低周波成分画素Ｆｎ（ｘ，ｙ）＊Ｙ（ｘ，ｙ）を以後、Ｌｎ（ｘ，ｙ）として説明する。また、本実施形態では３つの輝度低周波成分画像のうち、最も高周波成分のものをＬＨ（ｘ，ｙ）、最も低周波成分のものをＬＬ（ｘ，ｙ）、残りの中間的な周波数成分のものをＬＭ（ｘ，ｙ）とする。
【００３７】
後述の式（４）から明らかなように、本ステップでの補正処理は注目画素の輝度値Ｙ（ｘ，ｙ）だけでなく、その輝度低周波成分ＬＨ（ｘ，ｙ）、ＬＭ（ｘ，ｙ）、ＬＬ（ｘ，ｙ）があって初めて補正後の画素値が決定する。しかしながら、ステップＳ３１０で求めた補正量の目標値は、注目画素の輝度値Ｙ（ｘ，ｙ）のみに対する目標値であるので、注目画素の輝度値Ｙ（ｘ，ｙ）のみを用いた補正、すなわちトーンカーブによる補正と近似して補正量の算出を行う。
【００３８】
本実施形態では、撮影に先立ち、ユーザが輝度低周波成分を用いた補正の補正レベルを設定できるようになっている。図１０はそのユーザーインターフェースの一例であり不図示のカメラのＣＰＵがその動作を制御する。カメラが備える液晶パネルに表示される設定画面において、補正レベルの選択項目として「強」、「標準」、「弱」、「しない」が表示される。ユーザは所定の操作部材を操作して項目を選択する。いずれかの項目を選択する操作入力がされると、その選択操作に応答して選択項目に対応した補正テーブルが不図示のメモリから読み出される。なお、「しない」を選択した場合は、輝度低周波成分を用いた補正の割合は“０”になる。
【００３９】
撮影開始後においては、読み出された補正テーブルと撮影画像より決定した補正の目標値のルックアップテーブルの関係から、輝度低周波成分を用いた補正の補正量のルックアップテーブル（図１１の曲線１１０２に対応）が生成される。各項目に対応する補正テーブルは補正の絶対量を決めるものであるため、このルックアップテーブルの値が目標値の補正量を超えてしまうことがある。そのような場合は、補正量算出部１０９は目標値の補正量を輝度低周波成分を用いた補正の補正量になるようルックアップテーブルを調整する。
【００４０】
本実施形態では、ユーザ操作に基づいて補正の絶対量を決めているが、絶対量ではなく、全体の補正の目標値に対する、輝度低周波成分を用いた補正の補正量の割合を設定できるようにしてもよい。また、この絶対量や割合を設定する場合は、ユーザ操作のみでなく、顔検出の結果、顔があると判定されている場合には、元々設定されている割合よりも大きい値を設定するようにしてもよい。このようにすることで、ユーザが顔の有る無しを判断して調整及び撮影しなおす等の手間をかけることなく、顔部分のコントラストが損なわれないように補正することができる。
【００４１】
続くステップＳ９０２では、補正量算出部１０９はトーンカーブによる補正量の算出を行う。ここでは、先に求めた輝度低周波成分を用いた補正とトーンカーブによる補正とを合わせて、先に求めた補正量の目標値となるように、トーンカーブによる補正量を算出する。輝度低周波成分を用いた補正は輝度低周波成分ＬＨ（ｘ，ｙ）、ＬＭ（ｘ，ｙ）、ＬＬ（ｘ，ｙ）を用いているため、補正結果として同じ輝度レベルになる画素の補正前の輝度値は様々である。したがって、注目画素の輝度値Ｙ（ｘ，ｙ）のみを用いた補正、すなわちトーンカーブによる補正と近似して、トーンカーブ補正の補正量を算出する。
【００４２】
トーンカーブ補正の補正量、すなわち、ある入力値に対する出力値を求めるには、輝度低周波成分を用いた補正の出力値がこの入力値となる輝度低周波成分を用いた補正の入力値を求め、この入力値に対する補正量の目標値を算出すれば良い。図１１にその算出例を示す。図１１の１１０１は補正の目標値を示す曲線、１１０２は輝度低周波成分を用いた補正量を示す曲線であり、それぞれ入力輝度値に対する出力輝度値のデータを持つ離散的なルックアップテーブルで構成される。
【００４３】
トーンカーブ補正のルックアップテーブルは、“入力値（α）に対する輝度低周波成分を用いた補正の出力値（β）”を入力値（β）とした時に、“入力値（α）に対する補正量の目標値（γ）”が出力値（γ）となっていれば良い。図１１において、値α１及びβ１に対応するγ１と、値α２及びβ２に対応するγ２が、それぞれ、トーンカーブ補正のルックアップテーブルを構成する点である。ここで、輝度低周波成分を用いた補正及び補正量の目標値はとびとびの値を持つルックアップテーブルであるので、線形補間によりデータを補間して各値の算出を行う。
【００４４】
また、この処理のフローチャートを図１２に示す。図１２のステップＳ１２０１で、まずトーンカーブ補正の入力輝度値と輝度低周波成分を用いた補正のルックアップテーブルの入力輝度値を、画像が取り得る最小輝度値（例えば０）に初期化する。
【００４５】
続くステップＳ１２０２で、トーンカーブ補正の入力輝度値と、輝度低周波成分を用いた補正の入力輝度値に対する出力輝度値を比較する。前者の方が大きい場合（ステップＳ１２０２でＮｏ）は、輝度低周波成分を用いた補正の入力輝度値を次の輝度値に置き換えて、ステップＳ１２０２に進む（ステップＳ１２０４）。
【００４６】
後者の方が大きいまたは前者の後者が同じである場合（ステップＳ１２０２でＹｅｓ）は、下記の線形補間を用いた式（４）によりトーンカーブ補正の出力輝度値Ｙ［ｉ］を決定する（ステップＳ１２０３）。
【００４７】
【数３】
【００４８】
但し、ｉはトーンカーブ補正の入力輝度値、ｊは輝度低周波成分を用いた補正の入力輝度値である。また、Ｙ１［ｉ］は入力輝度値ｉに対する補正の目標輝度値であり、Ｙ２［ｉ］は入力輝度値ｉに対する輝度低周波成分を用いた補正の出力輝度値である。
【００４９】
続くステップＳ１２０５で、トーンカーブ補正の入力輝度値が画像が取り得る最大輝度値（たとえば２５５）まで終了したかどうかを判定する。最大輝度値でなければ、続くステップＳ１２０６で、トーンカーブ補正の入力輝度値を次の輝度値に置き換えてステップＳ１２０２に進み、最大輝度値であれば処理を終了する。以上の処理により、トーンカーブ補正のためのルックアップテーブルを作成することができる。
【００５０】
本実施形態では、まず輝度低周波成分を用いた補正の補正量を決定し、目標値の補正量に対する残りの補正量をトーンカーブ補正により補正するように、トーンカーブ補正の補正量を算出した。しかし、本発明はこれに限るものではなく、例えば、先にトーンカーブ補正の補正量を決定し、目標値の補正量に対する残りの補正量を輝度低周波成分を用いて補正するように、輝度低周波成分を用いた補正の補正量を算出しても良い。この場合も、輝度低周波成分を用いた補正を、注目画素の輝度値Ｙ（ｘ，ｙ）のみを用いた補正と近似すれば、輝度低周波成分を用いた補正とトーンカーブ補正は同等の処理と見なせるので、本実施形態と同様の処理を行えば良い。
【００５１】
以上説明したように、本実施形態によれば、撮影画像の階調補正を行う際に、撮影画像から主被写体の情報及び撮影画像のヒストグラムの情報を取得し、これら情報に基づき撮影画像の階調補正の目標値を算出した。そして、輝度低周波成分を用いた補正とトーンカーブ補正による階調補正のそれぞれの補正量を算出し、輝度低周波成分を用いた補正とトーンカーブ補正により画像の階調補正を行うようにした。このような補正を行うことにより、明るさ及びコントラストが良好である画像補正結果を得ることができる。
【００５２】
また、ユーザの操作により輝度低周波成分を用いた補正の強さを決めることができるようにした。これにより、コントラストの強さに係わるユーザの画質の好みに応じて輝度低周波成分を用いた補正の補正量とトーンカーブ補正の補正量を容易に決めることができる。
【００５３】
（第２の実施形態）
第１の実施形態では、撮影画像の主被写体の情報または撮影画像のヒストグラムから補正の目標値を決めており、カメラの撮影条件による画質への影響を補正の目標値の決定のために考慮していなかった。
【００５４】
本実施形態では、撮影条件の一例としてＩＳＯ感度の設定に応じて補正の目標値の設定を行う。補正の目標値の決定フローは第１の実施形態と同様である。しかし、本実施形態では、第１の実施形態の図７に示す補正テーブルをＩＳＯ感度毎に有している点で異なる。
【００５５】
一例を図１３に示す。ＩＳＯ感度の設定が、２００，４００，８００でそれぞれ補正テーブルが異なっている。ＩＳＯ感度の設定は撮影前においてユーザ設定等により実行され、撮影実行時においては、設定されたＩＳＯ感度に対応したテーブルが読み出され、図７に示したものと同様の補間処理がなされ、目標値のルックアップテーブルが作成される。
【００５６】
このように、ＩＳＯ感度に応じた複数の補正テーブルを有することで、それぞれのＩＳＯ感度で撮影による画質への影響を考慮したより適切な補正の目標値を決定することができる。
【図面の簡単な説明】
【００５７】
【図１】本発明による画像処理方式を実現可能なデジタルカメラの一構成例を示すブロック図である。
【図２】輝度低周波成分検出処理を示すフローチャートである。
【図３】補正量演算処理を示すフローチャートである。
【図４】検出された顔の顔輝度取得領域を示す図である。
【図５】顔の輝度の代表値の算出を示す流れ図である。
【図６】検出したヒストグラムの一例を示す図である。
【図７】補正テーブルとルックアップテーブルとの関係を示す図である。
【図８】現像処理を示すフローチャートである。
【図９】補正曲線作成処理を示すフローチャートである。
【図１０】階調補正の補正量を決めるためのユーザーインターフェースを示す図である。
【図１１】トーンカーブ補正の補正量の算出方法を示す概念図である。
【図１２】トーンカーブ補正の補正量の算出方法を示すフローチャートである。
【図１３】ＩＳＯ感度毎の補正テーブルを示す図である。
【技術分野】
【０００１】
本発明はデジタル画像処理、特にデジタル画像の明るさの分布を改善する技術に関する。
【背景技術】
【０００２】
好ましい明るさ、コントラストの画像を得るために、撮影画像のヒストグラムや被写体情報を解析して、階調補正を行う方式が知られている。特に、主被写体の明るさが背景の明るさに比べて著しく暗いような、いわゆる逆光シーンは、撮影した画像においてどうしても主被写体部分が暗くなってしまうため、階調補正が有効なシーンと言える。
【０００３】
階調補正には各入力輝度値を所定の出力輝度値に変換する補正テーブル（トーンカーブ）を用いる方式がある。特に、逆光シーンなどにおいては、主被写体を好ましい明るさに補正しつつ、背景の明るい領域を白トビさせないように補正を抑えるような補正テーブルを設定する方法が提案されている（特許文献１参照）。また、画像の輝度成分の低周波成分信号を用いて階調補正することで、いわゆる覆い焼きのような効果を得る方法が提案されており（特許文献２参照）、この方法ではトーンカーブ補正に比べて、画像のコントラストを維持したまま階調補正を行うことができる。
【特許文献１】特開２００７−１２４６０４号
【特許文献２】特開２００８−０７２６０４号
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、特許文献１のように、トーンカーブによって、画像の暗い部分を明るく補正し、もともと明るい部分は補正を抑えるような階調補正を行うと、主被写体と背景の中間の輝度帯域においてコントラストが失われ、のっぺりとした画像になることがあった。また、特許文献２のように、画像の輝度成分の低周波成分信号を用いて階調補正を行うと、シーンによってはコントラストがありすぎるために不自然な画像になることがあった。特許文献１の補正方法と特許文献２の補正方法の両方を利用するにしても、カメラの撮影条件の変化や様々なユーザの画質の好みに対応した補正量を設定することは困難であった。
【課題を解決するための手段】
【０００５】
本発明は上述した問題点を解決するためのものであり、本発明の画像処理装置は、撮影画像に基づき前記撮影画像の階調補正の目標値を算出する算出手段と、前記撮影画像から輝度成分画像と前記輝度成分画像の低周波成分画像とを抽出する抽出手段と、前記輝度成分画像と前記低周波成分画像とを用いて前記撮影画像に対して第１の階調補正処理を行う第１の階調補正処理手段と、トーンカーブ補正により前記撮影画像に対して第２の階調補正処理を行う第２の階調補正処理手段と、ユーザの操作入力に応じて前記第１の階調補正の補正レベルを設定する設定手段と、前記算出手段により算出された目標値と前記設定手段により設定された補正レベルとに基づき、前記第１の階調補正処理の補正量と前記第２の階調補正処理の補正量を決定する決定手段と、を有することを特徴とする。
【発明の効果】
【０００６】
本発明によれば、輝度低周波成分を用いる階調補正とトーンカーブ補正による階調補正の両方を利用した階調補正を行うことができ、かつユーザの好みの画質の補正画像を得ることができるという効果を得ることができる。
【発明を実施するための最良の形態】
【０００７】
以下、本発明による一実施形態を、図面を参照して詳細に説明する。
【０００８】
（第１の実施形態）
図１は、本発明の画像処理装置を実現可能なデジタルカメラの一構成例を示すブロック図である。図１において、不図示の撮影レンズを通過した被写体光学像は撮像素子１０１上に結像され、その光量に応じた電荷に変換される。撮像素子１０１は例えばＲ（赤）、Ｇ（緑）、Ｂ（青）のカラーフィルタにより覆われている。各カラーフィルタはそれぞれの色の波長帯域周辺の分光感度を持ち、各カラーフィルタに対応して設けられた光電変換素子は、各カラーフィルタを通過した帯域の光線をそれぞれ光電変換する。各光電変換素子により変換された電荷は、撮像素子１０１から電気信号としてＡ／Ｄ変換部１０２に出力され、Ａ／Ｄ変換処理によりデジタル信号（画像データ）に変換される。
【０００９】
Ａ／Ｄ変換部１０２から出力されたデジタル信号（入力画像データ）は、輝度低周波成分検出部１０３、補正量演算部１０５、ＷＢ処理部１０４のそれぞれに送られる。ＷＢ処理部１０４はＷＢ検出部１０６で得られたホワイトバランスのゲイン値を画像のＲＧＢの各画素値に積算する。ＷＢ処理部１０４でＷＢ処理された画像データは現像処理部１１０に送られ、現像処理部１１０は後述の輝度低周波成分を用いた輝度補正処理（第１の階調補正処理）及びトーンカーブ補正処理（第２の階調補正処理）を行う。画像データ出力部１１１は、現像処理が行われた画像データをファイル化して出力する。例えば、ファイル形式をＪＰＥＧファイルに変換する場合には、画像データをＹＣｒＣｂ形式に３次元マトリックス変換して付属データを添付することでＪＰＥＧファイル形式に変換する。
【００１０】
次に各ブロックの処理の詳細を説明する。図２は、輝度低周波成分検出部１０３で行う処理を示したフローチャートである。図２において、まずステップＳ２０１では、入力画像データに対して輝度信号抽出処理を行う。輝度成分の抽出は、例えば、色調整対象の画像がＩＥＣ６１９６６−２−１に記載されているｓＲＧＢ色空間で表現されている場合、ＩＥＣ６１９６６−２−１に記載されている方法に従う。すなわち、ガンマ変換と３行３列のマトリクス演算により、ＣＩＥ１９３１ＸＹＺに変換する。ここで、位置が（ｘ，ｙ）の画素値（Ｒ（ｘ，ｙ），Ｇ（ｘ，ｙ），Ｂ（ｘ，ｙ））を上記変換による変換後のＸＹＺのデータをそれぞれＸ（ｘ，ｙ）、Ｙ（ｘ，ｙ）、Ｚ（ｘ，ｙ）とする。この場合、Ｙ（ｘ，ｙ）が抽出する輝度成分、Ｘ（ｘ，ｙ）、Ｚ（ｘ，ｙ）が色成分である。本実施形態では、画像の画素値がｓＲＧＢ色空間で規定されており、輝度についてはｓＹＣＣ色空間で規定しているので、下記の式（１）の変換式を用いて輝度成分を算出する。
Ｙ＝０．２９９×Ｒ＋０．５８７×Ｇ＋０．１１４×Ｂ 式（１）
【００１１】
これに対し、次の式（２）のような近似式を用いるのであっても良い。
【００１２】
【数１】
【００１３】
上記処理によって等倍の輝度成分画像を取得することができるが、元画像と輝度成分画像の大きさは一致する必要はない。例えば、このステップＳ２０１の輝度成分抽出において、入力画像データに対して縮小処理を施すように構成しても良い。縮小処理は公知の任意の方法で良いが、例えば間引き処理、最近傍法、平均値法などで容易に実現できる。
【００１４】
続くステップＳ２０２ではステップＳ２０１で作成した輝度成分画像より低周波成分抽出処理を行い、輝度低周波成分画像を生成する。本実施形態では、低周波成分抽出として、ローパスフィルタ処理を行う。本実施形態では、このステップでフィルタサイズの異なる３つのローパスフィルタを用いて３つの低周波成分画像を生成する。
【００１５】
図３は補正量演算部１０５で行う処理を示したフローチャートである。図３において、ステップＳ３０１では、ＷＢ検出処理を行う。ここでは、ＷＢ検出部１０６が入力画像データから撮影シーンに適したホワイトバランスのゲイン値を算出する。
【００１６】
続くステップＳ３０２では、ヒストグラム検出処理を行う。ここでは、ヒストグラム検出部１０７が、まず撮影した画像データ全体に対して予め定められたＷＢのゲインを適用し、適用したデータに対してガンマ処理を行う。そして、ガンマ処理を行った画像データのヒストグラムを検出する。本実施形態では、ガンマ処理はルックアップテーブルを用いる方法を適用する。ここで、本実施形態では、ヒストグラムを検出する範囲は画像データの全体とするが、端の方をカットしたものから検出しても良い。
【００１７】
続くステップＳ３０３では、顔検出前処理を行う。ここでは、顔検出部１０８が入力画像データに対して縮小処理、ガンマ処理等を施して、画像に顔が含まれる顔を容易に検出しやすいようにする。続くステップＳ３０４では、顔検出処理を行う。ここでは、顔検出部１０８が入力画像データ内の顔領域を検出する。この検出処理には、入力画像データに対するテキスチャー検出処理やその結果に対するパターン認識処理（目、鼻、口、及び顔の輪郭等の領域の認識処理）が含まれている。そして、あらかじめ設定した評価閾値を用いて、これらの処理によって得られた領域に対して顔であることの信頼性が大きさを評価する。
【００１８】
続くステップＳ３０５では、顔検出部１０８がステップＳ３０４の顔検出処理の評価の結果に基づき顔の有無を判定する。顔であることの信頼性が評価閾値より大きい領域が一つ以上あった場合、顔検出部１０８はその領域を顔と判定する。そして、その領域に含まれる目の座標を出力し、ステップＳ３０６以降の顔輝度算出処理のステップに進む。顔領域が無かったと判定した場合、ステップＳ３０９に進む。
【００１９】
ステップＳ３０６では、顔輝度取得領域の算出を行う。ここでは、補正量算出部１０９が顔検出結果に基づいて顔の輝度を取得する領域を算出する。たとえば、図４のように、画像データの全体の範囲４０１のうち、各顔検出領域４０２、４１２について、両眼の下及びその中間の３箇所の領域、すなわち領域４０３、４０４、４０５、領域４１３、４１４、４１５、を算出する。ここで、各領域の大きさは、顔検出領域４０２（４１２）の大きさに対する比率によって決まる大きさの正方形の領域とする。続くステップＳ３０７では、補正量算出部１０９は、各顔輝度取得領域について、入力画像データのＲ画素、Ｇ画素、Ｂ画素の各々の平均値を求め、式（１）により輝度値Ｙへの変換を行う。この変換には、式（２）のような近似式を用いるものであっても良い。
【００２０】
続くステップＳ３０８では、顔の輝度の代表値の算出を行う。この方法の一例を図５のフローチャートに示す。まずステップＳ５０１で、各顔について３箇所の輝度値の中から最大値を求める。続くステップＳ５０２で、顔が複数あるかどうかの判定を行い、顔が複数ある場合はステップＳ５０３に進む。顔が１つだけの場合は、この顔についてステップＳ５０１で求めた輝度値の最大値を、顔の輝度の代表値とする（ステップＳ５０９）。図４の例だと、顔は２つ（４０２，４１２）なので、顔検出領域４０２の領域４０３、４０４、４０５について代表値Ｙ０を求め、顔検出領域４１２の領域４１３、４１４、４１５について、Ｙ１を算出する。
【００２１】
ステップＳ５０３で、複数の顔の輝度値の最大値（Ｙａ）を求める。図４の例だと、Ｙ０とＹ１のうち大きいものがＹａとなる。ステップＳ５０４で、複数の顔の輝度値の平均値（Ｙｂ）を求める。図４の例だと、顔検出領域４０２についての代表値Ｙ０と顔検出領域４１２の代表値Ｙ１の平均値を求める。ステップＳ５０５で、顔の輝度値の最大値（Ｙａ）と顔の輝度値の平均値（Ｙｂ）に対して所定の重みをかけた重み平均値（Ｙｃ）を求める。
【００２２】
ステップＳ５０６で、顔の輝度値の最大値（Ｙａ）と重み平均値（Ｙｃ）の差が所定の閾値（Ｙｔｈ）より小さいかどうかの判定を行う。この差が閾値より小さい場合には、重み平均値（Ｙｃ）を顔の輝度の代表値とし（ステップＳ５０７）、そうでない場合には、顔の輝度の最大値（Ｙａ）から閾値（Ｙｔｈ）を引いた値を顔の輝度の代表値とする（ステップＳ５０８）。このように代表値を決めることで、複数の顔について公平に明るさ補正できる一方で、１つだけ飛び抜けて明るい顔が含まれている場合が生じても、その顔を基準として補正することが可能となり、失敗撮影を確実に減らすことができる。
【００２３】
図３に戻り、顔が検出されなかった場合に対応するステップＳ３０９では、補正量算出部１０９がヒストグラム検出部１０７で得られたヒストグラムの特徴量の検出を行う。ここでは、図６に示すように、ヒストグラムで暗部側から累積度数が１％である画素が属するレベル（ＳＤ）、ハイライト側から累積度数が１％である画素が属するレベル（ＨＬ）等を求める。
【００２４】
続くステップＳ３１０では、補正の目標値の算出を行う。目標輝度レベルの算出には、種々の方法が考えられるが、本実施形態では、補正テーブルを用いて目標輝度レベルのルックアップテーブルを生成する方法を採用する。つまり、図７のように、顔の輝度の代表値に対する目標輝度レベルを定めた補正テーブルを不図示のメモリに予め保持しておく。そしてこのテーブルを参照することで顔の輝度の代表値から３つのＬＳＢに対応する目標値を求め、これらの値及び画像の輝度の最小値と最大値からスプライン補間などにより入力輝度レベルに対する出力輝度レベルのルックアップテーブルを作成する。
【００２５】
図７は顔がある場合の作成例を示すものであるが、顔がない場合においても同様に、ステップＳ３０９で得られたヒストグラムのＳＤ及びＨＬの値に対応する補正テーブルを用いて、同様なルックアップテーブルを作成することができる。
【００２６】
続くステップＳ３１１では、輝度低周波成分を用いた補正及びトーンカーブを用いた補正の補正量の算出を行い、その結果を現像処理部１１０に渡すことで補正量演算部１０５の処理が終了する。ステップＳ３１１での処理については後で詳細に説明する。
【００２７】
現像処理部１１０の階調補正処理（第１の階調補正処理、第２の階調補正処理）の詳細を図８のフローチャートを用いて説明する。図８のステップＳ８０１では、輝度低周波成分を用いた輝度補正処理を行う。
【００２８】
この補正処理は特許文献２と同様な方法で行う。すなわち、スケール変換した輝度成分の分布を対数変換し、異なる尺度（異なる解像度）での平均値を求め、もとの輝度成分の対数変換との差分を出力し、逆変換（ｅｘｐ演算）により元の輝度単位に戻す処理を行う。ここで、画像に応じて改善の度合いを調節するために、スケール変換した輝度成分の対数変換出力に係数を乗ずるようにする。この係数が改善の度合いを調節するパラメータである。以上説明した処理に基づく改善された輝度成分の出力は以下に示す式（３）のようになる。
【００２９】
【数２】
【００３０】
但し、Ｙ’（ｘ，ｙ）、Ｆｎ（ｘ，ｙ）、ｎはそれぞれ、座標値が（ｘ，ｙ）の改善された輝度成分の出力、座標（ｘ，ｙ）におけるガウシアン関数、尺度を表すパラメータである。また、γ０、γ１は改善の度合いを表すパラメータ０、改善の度合いを表すパラメータ１である。また、＊は積和演算、Ａｖｇは平均値演算を表す。
【００３１】
この輝度変換をハードウェアで構成する場合には、例えば、平均値演算回路、ルックアップテーブルを作成する回路、テーブル記憶部、テーブル参照回路（ガンマ変換の部分）、除算回路によって構成できる。なお、平均値演算回路は低周波輝度信号抽出を実現する部分に設けてもよい。
【００３２】
後述するが、輝度低周波成分を用いた輝度補正処理の強さは図１１の曲線１１０２を構成するルックアップテーブルで表される。そして、上記の式（３）の改善の度合いを表すパラメータγ０、改善の度合いを表すパラメータγ１は、このルックアップテーブルの値により決まるようになっている。
【００３３】
続くステップＳ８０２では、輝度低周波成分を用いた輝度補正処理に伴う色調整処理を行う。色調整処理では、処理後の画像データの色ができるだけ変化しないように、色成分を輝度成分の変更にしたがって修正する。好ましくは例えば、色成分Ｘ（ｘ，ｙ）、Ｚ（ｘ，ｙ）にそれぞれ輝度成分の変更前後の比Ｙ’（ｘ，ｙ）／Ｙ（ｘ，ｙ）を乗算する。あるいは、Ｙ（ｘ，ｙ）のみＹ’（ｘ，ｙ）に変更し、色成分Ｘ（ｘ，ｙ）、Ｚ（ｘ，ｙ）に対しては処理を行わないような、処理の簡略化は容易である。
【００３４】
続くステップＳ８０３では、トーンカーブを用いた輝度補正処理を行う。これには、各入力輝度に対する出力輝度データのルックアップテーブルを用いる。続くステップＳ８０４では、トーンカーブを用いた輝度補正処理に伴う色調整処理を行う。これは、ステップＳ８０２と同様の処理を行えば良い。また、ステップＳ８０２とステップＳ８０４を合わせて、輝度低周波成分を用いた輝度補正処理及びトーンカーブを用いた補正処理による輝度値の変更にしたがって、最後に色調整処理を行うようにしても良い。
【００３５】
続いて、図３のステップＳ３１１における補正量の算出処理の詳細について説明する。この算出処理のフローチャートを図９に示す。図９のステップＳ９０１では、輝度低周波成分画像を用いた補正の補正量の算出を行う。本実施形態では、輝度低周波成分検出部１０３で生成した、周波数帯域の異なる３つの輝度低周波成分画像を用いる。また、これらの複数の輝度低周波成分画像による補正後の画素値を算出し、それらを重み付け加算して最終的な補正画像を得る。
【００３６】
式（３）で説明した画像データのある輝度低周波成分画素Ｆｎ（ｘ，ｙ）＊Ｙ（ｘ，ｙ）を以後、Ｌｎ（ｘ，ｙ）として説明する。また、本実施形態では３つの輝度低周波成分画像のうち、最も高周波成分のものをＬＨ（ｘ，ｙ）、最も低周波成分のものをＬＬ（ｘ，ｙ）、残りの中間的な周波数成分のものをＬＭ（ｘ，ｙ）とする。
【００３７】
後述の式（４）から明らかなように、本ステップでの補正処理は注目画素の輝度値Ｙ（ｘ，ｙ）だけでなく、その輝度低周波成分ＬＨ（ｘ，ｙ）、ＬＭ（ｘ，ｙ）、ＬＬ（ｘ，ｙ）があって初めて補正後の画素値が決定する。しかしながら、ステップＳ３１０で求めた補正量の目標値は、注目画素の輝度値Ｙ（ｘ，ｙ）のみに対する目標値であるので、注目画素の輝度値Ｙ（ｘ，ｙ）のみを用いた補正、すなわちトーンカーブによる補正と近似して補正量の算出を行う。
【００３８】
本実施形態では、撮影に先立ち、ユーザが輝度低周波成分を用いた補正の補正レベルを設定できるようになっている。図１０はそのユーザーインターフェースの一例であり不図示のカメラのＣＰＵがその動作を制御する。カメラが備える液晶パネルに表示される設定画面において、補正レベルの選択項目として「強」、「標準」、「弱」、「しない」が表示される。ユーザは所定の操作部材を操作して項目を選択する。いずれかの項目を選択する操作入力がされると、その選択操作に応答して選択項目に対応した補正テーブルが不図示のメモリから読み出される。なお、「しない」を選択した場合は、輝度低周波成分を用いた補正の割合は“０”になる。
【００３９】
撮影開始後においては、読み出された補正テーブルと撮影画像より決定した補正の目標値のルックアップテーブルの関係から、輝度低周波成分を用いた補正の補正量のルックアップテーブル（図１１の曲線１１０２に対応）が生成される。各項目に対応する補正テーブルは補正の絶対量を決めるものであるため、このルックアップテーブルの値が目標値の補正量を超えてしまうことがある。そのような場合は、補正量算出部１０９は目標値の補正量を輝度低周波成分を用いた補正の補正量になるようルックアップテーブルを調整する。
【００４０】
本実施形態では、ユーザ操作に基づいて補正の絶対量を決めているが、絶対量ではなく、全体の補正の目標値に対する、輝度低周波成分を用いた補正の補正量の割合を設定できるようにしてもよい。また、この絶対量や割合を設定する場合は、ユーザ操作のみでなく、顔検出の結果、顔があると判定されている場合には、元々設定されている割合よりも大きい値を設定するようにしてもよい。このようにすることで、ユーザが顔の有る無しを判断して調整及び撮影しなおす等の手間をかけることなく、顔部分のコントラストが損なわれないように補正することができる。
【００４１】
続くステップＳ９０２では、補正量算出部１０９はトーンカーブによる補正量の算出を行う。ここでは、先に求めた輝度低周波成分を用いた補正とトーンカーブによる補正とを合わせて、先に求めた補正量の目標値となるように、トーンカーブによる補正量を算出する。輝度低周波成分を用いた補正は輝度低周波成分ＬＨ（ｘ，ｙ）、ＬＭ（ｘ，ｙ）、ＬＬ（ｘ，ｙ）を用いているため、補正結果として同じ輝度レベルになる画素の補正前の輝度値は様々である。したがって、注目画素の輝度値Ｙ（ｘ，ｙ）のみを用いた補正、すなわちトーンカーブによる補正と近似して、トーンカーブ補正の補正量を算出する。
【００４２】
トーンカーブ補正の補正量、すなわち、ある入力値に対する出力値を求めるには、輝度低周波成分を用いた補正の出力値がこの入力値となる輝度低周波成分を用いた補正の入力値を求め、この入力値に対する補正量の目標値を算出すれば良い。図１１にその算出例を示す。図１１の１１０１は補正の目標値を示す曲線、１１０２は輝度低周波成分を用いた補正量を示す曲線であり、それぞれ入力輝度値に対する出力輝度値のデータを持つ離散的なルックアップテーブルで構成される。
【００４３】
トーンカーブ補正のルックアップテーブルは、“入力値（α）に対する輝度低周波成分を用いた補正の出力値（β）”を入力値（β）とした時に、“入力値（α）に対する補正量の目標値（γ）”が出力値（γ）となっていれば良い。図１１において、値α１及びβ１に対応するγ１と、値α２及びβ２に対応するγ２が、それぞれ、トーンカーブ補正のルックアップテーブルを構成する点である。ここで、輝度低周波成分を用いた補正及び補正量の目標値はとびとびの値を持つルックアップテーブルであるので、線形補間によりデータを補間して各値の算出を行う。
【００４４】
また、この処理のフローチャートを図１２に示す。図１２のステップＳ１２０１で、まずトーンカーブ補正の入力輝度値と輝度低周波成分を用いた補正のルックアップテーブルの入力輝度値を、画像が取り得る最小輝度値（例えば０）に初期化する。
【００４５】
続くステップＳ１２０２で、トーンカーブ補正の入力輝度値と、輝度低周波成分を用いた補正の入力輝度値に対する出力輝度値を比較する。前者の方が大きい場合（ステップＳ１２０２でＮｏ）は、輝度低周波成分を用いた補正の入力輝度値を次の輝度値に置き換えて、ステップＳ１２０２に進む（ステップＳ１２０４）。
【００４６】
後者の方が大きいまたは前者の後者が同じである場合（ステップＳ１２０２でＹｅｓ）は、下記の線形補間を用いた式（４）によりトーンカーブ補正の出力輝度値Ｙ［ｉ］を決定する（ステップＳ１２０３）。
【００４７】
【数３】
【００４８】
但し、ｉはトーンカーブ補正の入力輝度値、ｊは輝度低周波成分を用いた補正の入力輝度値である。また、Ｙ１［ｉ］は入力輝度値ｉに対する補正の目標輝度値であり、Ｙ２［ｉ］は入力輝度値ｉに対する輝度低周波成分を用いた補正の出力輝度値である。
【００４９】
続くステップＳ１２０５で、トーンカーブ補正の入力輝度値が画像が取り得る最大輝度値（たとえば２５５）まで終了したかどうかを判定する。最大輝度値でなければ、続くステップＳ１２０６で、トーンカーブ補正の入力輝度値を次の輝度値に置き換えてステップＳ１２０２に進み、最大輝度値であれば処理を終了する。以上の処理により、トーンカーブ補正のためのルックアップテーブルを作成することができる。
【００５０】
本実施形態では、まず輝度低周波成分を用いた補正の補正量を決定し、目標値の補正量に対する残りの補正量をトーンカーブ補正により補正するように、トーンカーブ補正の補正量を算出した。しかし、本発明はこれに限るものではなく、例えば、先にトーンカーブ補正の補正量を決定し、目標値の補正量に対する残りの補正量を輝度低周波成分を用いて補正するように、輝度低周波成分を用いた補正の補正量を算出しても良い。この場合も、輝度低周波成分を用いた補正を、注目画素の輝度値Ｙ（ｘ，ｙ）のみを用いた補正と近似すれば、輝度低周波成分を用いた補正とトーンカーブ補正は同等の処理と見なせるので、本実施形態と同様の処理を行えば良い。
【００５１】
以上説明したように、本実施形態によれば、撮影画像の階調補正を行う際に、撮影画像から主被写体の情報及び撮影画像のヒストグラムの情報を取得し、これら情報に基づき撮影画像の階調補正の目標値を算出した。そして、輝度低周波成分を用いた補正とトーンカーブ補正による階調補正のそれぞれの補正量を算出し、輝度低周波成分を用いた補正とトーンカーブ補正により画像の階調補正を行うようにした。このような補正を行うことにより、明るさ及びコントラストが良好である画像補正結果を得ることができる。
【００５２】
また、ユーザの操作により輝度低周波成分を用いた補正の強さを決めることができるようにした。これにより、コントラストの強さに係わるユーザの画質の好みに応じて輝度低周波成分を用いた補正の補正量とトーンカーブ補正の補正量を容易に決めることができる。
【００５３】
（第２の実施形態）
第１の実施形態では、撮影画像の主被写体の情報または撮影画像のヒストグラムから補正の目標値を決めており、カメラの撮影条件による画質への影響を補正の目標値の決定のために考慮していなかった。
【００５４】
本実施形態では、撮影条件の一例としてＩＳＯ感度の設定に応じて補正の目標値の設定を行う。補正の目標値の決定フローは第１の実施形態と同様である。しかし、本実施形態では、第１の実施形態の図７に示す補正テーブルをＩＳＯ感度毎に有している点で異なる。
【００５５】
一例を図１３に示す。ＩＳＯ感度の設定が、２００，４００，８００でそれぞれ補正テーブルが異なっている。ＩＳＯ感度の設定は撮影前においてユーザ設定等により実行され、撮影実行時においては、設定されたＩＳＯ感度に対応したテーブルが読み出され、図７に示したものと同様の補間処理がなされ、目標値のルックアップテーブルが作成される。
【００５６】
このように、ＩＳＯ感度に応じた複数の補正テーブルを有することで、それぞれのＩＳＯ感度で撮影による画質への影響を考慮したより適切な補正の目標値を決定することができる。
【図面の簡単な説明】
【００５７】
【図１】本発明による画像処理方式を実現可能なデジタルカメラの一構成例を示すブロック図である。
【図２】輝度低周波成分検出処理を示すフローチャートである。
【図３】補正量演算処理を示すフローチャートである。
【図４】検出された顔の顔輝度取得領域を示す図である。
【図５】顔の輝度の代表値の算出を示す流れ図である。
【図６】検出したヒストグラムの一例を示す図である。
【図７】補正テーブルとルックアップテーブルとの関係を示す図である。
【図８】現像処理を示すフローチャートである。
【図９】補正曲線作成処理を示すフローチャートである。
【図１０】階調補正の補正量を決めるためのユーザーインターフェースを示す図である。
【図１１】トーンカーブ補正の補正量の算出方法を示す概念図である。
【図１２】トーンカーブ補正の補正量の算出方法を示すフローチャートである。
【図１３】ＩＳＯ感度毎の補正テーブルを示す図である。
【特許請求の範囲】
【請求項１】
撮影画像に基づき前記撮影画像の階調補正の目標値を算出する算出手段と、
前記撮影画像から輝度成分画像と前記輝度成分画像の低周波成分画像とを抽出する抽出手段と、
前記輝度成分画像と前記低周波成分画像とを用いて前記撮影画像に対して第１の階調補正処理を行う第１の階調補正処理手段と、
トーンカーブ補正により前記撮影画像に対して第２の階調補正処理を行う第２の階調補正処理手段と、
ユーザの操作入力に応じて前記第１の階調補正の補正レベルを設定する設定手段と、
前記算出手段により算出された目標値と前記設定手段により設定された補正レベルとに基づき、前記第１の階調補正処理の補正量と前記第２の階調補正処理の補正量を決定する決定手段と、
を有することを特徴とする画像処理装置。
【請求項２】
前記撮影画像の主被写体の情報及び前記撮影画像のヒストグラムの情報のうち少なくとも１つの情報を取得する取得手段をさらに有し、前記算出手段は前記取得した情報に基づき前記目標値を算出することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記取得手段が前記主被写体の情報として顔の情報を取得した場合、前記決定手段は、顔の情報を取得しなかった場合と比較して前記第１の階調補正処理の補正量の割合を大きくすることを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記取得手段が前記主被写体の情報として複数の顔の情報を取得した場合、前記算出手段は、前記複数の顔の輝度値の平均値及び最大値をもとに前記階調補正の目標値を算出することを特徴とする請求項２に記載の画像処理装置。
【請求項５】
前記算出手段は、前記撮影画像の撮影におけるＩＳＯ感度に応じて前記階調補正の目標値を算出することを特徴とする請求項１に記載の画像処理装置。
【請求項６】
前記決定手段は、前記目標値から前記第１の階調補正処理の補正量を除いた分を、前記第２の階調補正処理の補正量とすることを特徴とする請求項１〜５のいずれかに記載の画像処理装置。
【請求項７】
撮影画像に基づき前記撮影画像の階調補正の目標値を算出する算出工程と、
前記撮影画像から輝度成分画像と前記輝度成分画像の低周波成分画像とを抽出する抽出工程と、
前記輝度成分画像と前記低周波成分画像とを用いて前記撮影画像に対して第１の階調補正処理を行う第１の階調補正処理工程と、
トーンカーブ補正により前記撮影画像に対して第２の階調補正処理を行う第２の階調補正処理工程と、
ユーザの操作入力に応じて前記第１の階調補正の補正レベルを設定する設定工程と、
前記算出工程により算出された目標値と前記設定工程により設定された補正レベルとに基づき、前記第１の階調補正処理の補正量と前記第２の階調補正処理の補正量を決定する決定工程と、
を有することを特徴とする画像処理方法。
【請求項１】
撮影画像に基づき前記撮影画像の階調補正の目標値を算出する算出手段と、
前記撮影画像から輝度成分画像と前記輝度成分画像の低周波成分画像とを抽出する抽出手段と、
前記輝度成分画像と前記低周波成分画像とを用いて前記撮影画像に対して第１の階調補正処理を行う第１の階調補正処理手段と、
トーンカーブ補正により前記撮影画像に対して第２の階調補正処理を行う第２の階調補正処理手段と、
ユーザの操作入力に応じて前記第１の階調補正の補正レベルを設定する設定手段と、
前記算出手段により算出された目標値と前記設定手段により設定された補正レベルとに基づき、前記第１の階調補正処理の補正量と前記第２の階調補正処理の補正量を決定する決定手段と、
を有することを特徴とする画像処理装置。
【請求項２】
前記撮影画像の主被写体の情報及び前記撮影画像のヒストグラムの情報のうち少なくとも１つの情報を取得する取得手段をさらに有し、前記算出手段は前記取得した情報に基づき前記目標値を算出することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記取得手段が前記主被写体の情報として顔の情報を取得した場合、前記決定手段は、顔の情報を取得しなかった場合と比較して前記第１の階調補正処理の補正量の割合を大きくすることを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記取得手段が前記主被写体の情報として複数の顔の情報を取得した場合、前記算出手段は、前記複数の顔の輝度値の平均値及び最大値をもとに前記階調補正の目標値を算出することを特徴とする請求項２に記載の画像処理装置。
【請求項５】
前記算出手段は、前記撮影画像の撮影におけるＩＳＯ感度に応じて前記階調補正の目標値を算出することを特徴とする請求項１に記載の画像処理装置。
【請求項６】
前記決定手段は、前記目標値から前記第１の階調補正処理の補正量を除いた分を、前記第２の階調補正処理の補正量とすることを特徴とする請求項１〜５のいずれかに記載の画像処理装置。
【請求項７】
撮影画像に基づき前記撮影画像の階調補正の目標値を算出する算出工程と、
前記撮影画像から輝度成分画像と前記輝度成分画像の低周波成分画像とを抽出する抽出工程と、
前記輝度成分画像と前記低周波成分画像とを用いて前記撮影画像に対して第１の階調補正処理を行う第１の階調補正処理工程と、
トーンカーブ補正により前記撮影画像に対して第２の階調補正処理を行う第２の階調補正処理工程と、
ユーザの操作入力に応じて前記第１の階調補正の補正レベルを設定する設定工程と、
前記算出工程により算出された目標値と前記設定工程により設定された補正レベルとに基づき、前記第１の階調補正処理の補正量と前記第２の階調補正処理の補正量を決定する決定工程と、
を有することを特徴とする画像処理方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【公開番号】特開２０１０−３９７５８（Ｐ２０１０−３９７５８Ａ）
【公開日】平成２２年２月１８日（２０１０．２．１８）
【国際特許分類】
【出願番号】特願２００８−２０１９６７（Ｐ２００８−２０１９６７）
【出願日】平成２０年８月５日（２００８．８．５）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
【公開日】平成２２年２月１８日（２０１０．２．１８）
【国際特許分類】
【出願日】平成２０年８月５日（２００８．８．５）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
[ Back to top ]