画像処理装置および画像処理方法
【課題】不適切な露出状態で撮影された画像の主被写体（人物の顔）の明るさを、背景の階調つぶれを起こすことなく、最大限の効果で適切に補正する。
【解決手段】部分領域抽出部１０１は入力画像から顔領域を検出し、特徴量算出部１０２は顔領域の平均輝度値を算出する。目標値設定部１０５は顔領域の平均輝度値を基に目標輝度を仮設定する。部分領域抽出部１０３は平均輝度値以上の値を持つ画素を抽出し、特徴量算出部１０４は抽出された画素を基に平均輝度を算出する。目標値制御部１０６は算出された平均輝度を基に目標輝度の修正量を算出し、目標値決定部１０７は修正量を用いて最終的な目標輝度を算出する。階調補正テーブル作成部１０８は最終的な目標値を基に補正テーブルを作成し、階調補正部１０９は補正テーブルに基づいて入力画像を補正する。
【解決手段】部分領域抽出部１０１は入力画像から顔領域を検出し、特徴量算出部１０２は顔領域の平均輝度値を算出する。目標値設定部１０５は顔領域の平均輝度値を基に目標輝度を仮設定する。部分領域抽出部１０３は平均輝度値以上の値を持つ画素を抽出し、特徴量算出部１０４は抽出された画素を基に平均輝度を算出する。目標値制御部１０６は算出された平均輝度を基に目標輝度の修正量を算出し、目標値決定部１０７は修正量を用いて最終的な目標輝度を算出する。階調補正テーブル作成部１０８は最終的な目標値を基に補正テーブルを作成し、階調補正部１０９は補正テーブルに基づいて入力画像を補正する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、デジタルカメラなどで撮影された画像データをプリンタやディスプレイ等に出力する際に、画像を補正処理する画像処理装置および画像処理方法に関する。
【背景技術】
【０００２】
近年、パソコンやインターネット、家庭用プリンタの普及、及びハードディスク等の記憶容量の大型化により、デジタルデータで写真画像を扱う機会が増えている。それに伴いデジタル写真画像データ（以下、画像データ）の入力手段として、デジタルカメラやフィルムスキャナなどが一般に使用されている。
【０００３】
デジタルカメラには、撮影時の露出を常に最適に保つための自動露出制御装置が設けられている。露出制御方式には、種々の方法があるが、光量検出のため画面を複数の適当な領域に分割し、領域ごとに重み付けを行い加重平均をとり、絞りやシャッタースピードなどを調節する方法が一般的である。
【０００４】
しかし、これらの露出制御方式は各社様々であり、撮影条件によって適正に作動しない場合もあるため完全なものは存在しない。とりわけ、主被写体の真後ろに光源が存在し、背景と主被写体との輝度差が大きい逆光状態では、被写体に露出が合わないと背景の明るさに引っ張られて露出がマイナスに補正されるため被写体が暗く写ってしまう。
【０００５】
また、夜間ストロボ撮影では、被写体にストロボ光があたることが前提になるため、絞りやシャッタースピードは規定値に固定される。つまり、ストロボと被写体の距離が遠すぎると光が届かず、この場合も被写体は暗く写ってしまう。
【０００６】
ここで露出補正とは、シーンに対して不適切な明るさを持つ被写体を、シーンに適した明るさに調整することを意味する。例えば露出不足で全体に暗い被写体や、逆光で暗くなっている被写体を明るくしたり、露出オーバーな被写体を暗くしたりすることがある。カメラでの露出補正は、レンズに入る入射光量を調節するために絞りやシャッタースピードを変える方法が一般的である。また、プリンタやディスプレイでは、入出力変換関数（階調補正カーブ）等を用い、入力信号の明るさに対し出力信号の明るさを最適化するための処理等を意味する。なお、露出を補正して画像データの明るさを調節することと、本発明における階調補正処理とは目的が同等なため、以後、階調補正処理と記す。
【０００７】
このようなデジタル画像の撮影時における不適切な露出状態に対応するため、画像データを自動的に階調補正する技術が多数提案されている。例えば、特許文献１では、画像中から人物の顔といった重要な領域を抽出し、顔画像の補正の際に、顔領域の面積の大小により補正効果があるか否かを推定することで、補正効果が得られると推定した場合に画像補正を行う。また、特許文献２では、不適切な露出状態で撮影された画像の主被写体の明るさを、背景の階調つぶれや色相変化を起こすことなく、最大限の効果で適切にコントラスト補正を施す。
【０００８】
【特許文献１】特開２００４−６２６５１号公報
【特許文献２】特開２００３−１６９２３１号公報
【発明の開示】
【発明が解決しようとする課題】
【０００９】
しかしながら、上述の従来例には次のような問題がある。すなわち、特許文献１では、人物の顔が小さく補正効果がないと推定された場合には、例えその顔が重要な被写体であったとしても、画像が補正されないという問題がある。さらに、検出された顔領域のみの特徴に基づいて画像を補正するため、顔領域以外の背景の情報が考慮されておらず、画像を補正することにより背景の階調がつぶれてしまうなどの逆効果を引き起こす。また、特許文献２では、画像の輝度ヒストグラムから被写体を抽出しているので、正確に人物の顔の特徴を抽出することができず、重要な被写体である人物を正確に露出補正できない場合がある。
【００１０】
本発明は上記した問題を解消するためになされたもので、
本発明の目的は、不適切な露出状態で撮影された画像の主被写体（特に人物の顔）の明るさを、背景の階調つぶれを起こすことなく、最大限の効果で適切に補正する画像処理装置および画像処理方法を提供することにある。
【課題を解決するための手段】
【００１１】
本発明は、画像から第１の部分領域を抽出する第１の領域抽出手段と、前記第１の部分領域に基づいて第１の特徴量を算出する第１の特徴量算出手段と、前記画像から第２の部分領域を抽出する第２の領域抽出手段と、前記第２の部分領域に基づいて第２の特徴量を算出する第２の特徴量算出手段と、前記第１の特徴量に基づいて、前記画像の補正の目標値を設定する目標値設定手段と、前記第１、第２の特徴量に基づいて前記補正の目標値の修正量を制御する目標値制御手段と、前記補正の目標値と前記目標値の修正量に基づいて前記画像の最終的な補正目標値を決定する目標値決定手段と、前記補正目標値に基づいて階調補正テーブルを作成する階調補正テーブル作成手段と、前記階調補正テーブルに基づいて前記画像の階調を補正する階調補正手段とを有することを最も主要な特徴とする。
【発明の効果】
【００１２】
請求項１、９：第１の特徴量から決めた補正の目標値を、第１の特徴量と第２の特徴量に基づき修正することができ、第１の部分領域と、第２の部分領域を考慮した階調補正を行うことができる。
【００１３】
請求項２：画像中の人物の顔領域、または人物の肌領域の少なくとも一つを抽出することにより、人の顔や人の肌を主要な被写体として抽出しており、人物の顔や肌の特徴に基づいて補正量を決めることができる。
【００１４】
請求項３：第１の部分領域とは別の、第２の部分領域を抽出することができ、主要な被写体以外の部分領域を抽出することができる。
【００１５】
請求項４：第１の特徴量算出手段は、第１の部分領域における輝度分布に基づいた特徴量を算出し、第２の特徴量算出手段は、第２の部分領域における輝度分布に基づいた特徴量を算出するので、部分領域における輝度値を比較して補正目標輝度値を決定し、階調補正テーブルを作成することができる。
【００１６】
請求項５：第１の特徴量は、第１の部分領域における平均輝度値であり、第２の部分領域は、前記第１の部分領域における平均輝度以上の輝度を持つ部分領域であり、第２の特徴量は第２の部分領域における平均輝度値を算出するので、第１の部分領域の平均輝度と、第１の部分領域の平均輝度以上の部分領域の平均輝度を比較して補正目標輝度値を決定し、階調補正テーブルを作成することができる。また、第１の特徴量から算出される平均輝度と、第２の特徴量から算出される平均輝度の関係から目標値の修正量を制御するので、両者の平均輝度の関係を考慮して最終的な補正量を決定することができる。
【００１７】
請求項６：第１の特徴量が、第１の部分領域の平均輝度と第１の部分領域の輝度範囲を算出し、階調補正テーブル作成手段は、画像の補正後に第１の部分領域の階調数が減少することのないように階調補正テーブルを作成するので、主要な被写体の人物の顔や肌の輝度範囲では、少なくとも階調性を維持することができる。
【００１８】
請求項７、１０：主要な被写体の人物の顔や肌の輝度範囲では、階調性を少なくとも維持して補正することができ、また補正することにより第２の部分領域における階調の飽和度を考慮して階調の飽和が起こらない階調補正テーブルを決定することができる。
【００１９】
請求項８：主要な被写体の人物の顔や肌の輝度範囲では、階調性を少なくとも維持して補正することができ、また画像の撮影シーンに応じた階調補正による階調の飽和度合いを考慮して、階調補正テーブルを決定することができる。
【発明を実施するための最良の形態】
【００２０】
以下、発明の実施の形態について図面により詳細に説明する。
【００２１】
実施例１
図１は、本発明の実施例１の画像処理装置の構成を示す。図１の画像処理装置は、第１の部分領域抽出部１０１、第１の特徴量算出部１０２、第２の部分領域抽出部１０３、第２の特徴量算出部１０４、目標値設定部１０５、目標値制御部１０６、目標値決定部１０７、階調補正テーブル作成部１０８、階調補正部１０９から構成される。
【００２２】
第１の部分領域抽出部１０１は、入力画像中の人物の顔や人物の肌領域を抽出する。図２は、第１の部分領域抽出部における抽出処理のフローチャートを示す。
【００２３】
まず、ステップＳ１において、入力画像中の顔領域を検出する。入力画像から人間の目、鼻、口等の特徴に着目した顔検出処理を行う。ここでは、目、鼻、口の特徴に基づいた検出処理の例であるが、本発明では上記した検出処理に限定されず、他の方法を用いて顔を検出しても構わない。
【００２４】
次に、ステップＳ２では、検出した顔領域の特徴として色相領域を判定する。これは、顔領域と同等の肌色色相を持つ画素を抽出するための特徴量となる。さらに、ステップＳ３において、入力画像中において顔領域と同等の色相領域内にある画素を肌領域として抽出する。ステップＳ４において、検出した顔領域と人物肌領域の領域情報を作成し、終了する。
【００２５】
以下の説明では、簡単のために顔領域のみを抽出するとして説明するが、顔領域と肌領域とを抽出したものと置き換えてもよい。
【００２６】
第１の特徴量算出部１０２は、第１の部分領域抽出部１０１で作成された顔領域の領域情報をもとに顔領域内のデータ分布として輝度ヒストグラムを作成し、顔領域の平均輝度値、最大輝度値、最小輝度値、顔領域の画素数などを算出する。
【００２７】
第２の部分領域抽出部１０３は、第１の特徴量算出部１０２から入力される顔領域の平均輝度値を元に、平均輝度値以上の値を持つ画素を入力画像から抽出する。
【００２８】
第２の特徴量算出部１０４は、第２の部分領域抽出部１０３において抽出された画素を元に、平均輝度、抽出画素数などを算出する。
【００２９】
目標値設定部１０５は、第１の特徴量算出部１０２で算出された顔領域の平均輝度を元にして、予め決めている目標輝度を仮設定する。目標値制御部１０６は、第１の特徴量算出部１０２で算出された平均輝度と、第２の特徴量算出部２で算出された平均輝度を元に、目標輝度の修正量を算出する。
【００３０】
目標値決定部１０７は、目標値設定部１０５に仮設定された目標輝度と、目標値制御部１０６で算出された目標輝度の修正量を用いて最終的な目標値を決定する。
【００３１】
階調補正テーブル作成部１０８は、目標値決定部１０７で決定された最終的な目標値を元に階調補正テーブルを作成する。階調補正部１０９は、階調補正テーブル部１０８で作成された階調補正テーブルに基づいて入力画像の補正を行う。
【００３２】
図３は、本発明の実施例１の処理フローチャートを示す。ステップＳ１１において、第１の部分領域抽出部１０１は、入力画像中から顔領域を抽出する処理を行う。ステップＳ１２において、入力画像中に顔が検出されたか否かを判定する。顔が検出された場合は、ステップＳ１３へ進み、顔が存在しない場合は、処理を終了する。
【００３３】
ステップＳ１３において、第１の特徴量算出部１０２は、取得した顔領域の輝度ヒストグラムから顔の平均輝度値を算出する。入力画像がＲＧＢデータであるとすると、以下の式（１）に従いＲＧＢデータを輝度変換した後、輝度ヒストグラムを求める。顔領域の開始点と、終了点で示された領域内の画素のＲＧＢデータから式（１）に従い輝度値Ｙを求める。
【００３４】
Ｙ＝０．２９９×Ｒ＋０．５８７×Ｇ＋０．１１４×Ｂ 式（１）
ステップＳ１４において、目標値設定部１０５は、顔領域の平均輝度値から、予め設定している目標輝度値を算出する。図４は、平均輝度から目標輝度を設定するテーブルの一例である。図４において、横軸は顔領域の平均輝度であり、縦軸は変換後の目標輝度値である。ここで使用する変換テーブルの目標輝度の値は予め設定しておくものであり、一例としてあげた図４は、実験により求めたものである。
【００３５】
ステップＳ１５において、第２の部分領域抽出部１０３は、第１の特徴量算出部１０２で算出した顔領域の平均輝度を用いて、顔領域以外の部分において顔領域の平均輝度値以上の値を持つ画素（領域Ｂ）を抽出する。
【００３６】
ここでは、平均輝度以上の輝度を持つ領域を全て抽出するようにしているが、ここで抽出したい画素は、階調補正によって階調がつぶれが起きた場合に、そのつぶれが認識しやすい領域を抽出するためであり、その階調つぶれが認識しにくい、高輝度白色画素については予め抽出領域から排除するようにしても良い。例えば、高輝度白色画素とは、そのＲＧＢ値が、
（Ｒ＞２４０かつＧ＞２４０かつＢ＞２４０）かつ、
（｜Ｇ−Ｒ｜＜１０かつ｜Ｇ−Ｂ｜＜１０） 式（２）
を満たす画素である。
【００３７】
ステップＳ１６において、第２の特徴量算出部１０４は、ステップＳ１５で抽出した領域Ｂの平均輝度値を算出する。
【００３８】
ステップＳ１７において、目標値制御部１０６は、ステップＳ１３で算出した顔領域の平均輝度とステップＳ１６で算出した領域Ｂの平均輝度を基に、目標輝度の修正量を算出する。顔の平均輝度のみで目標値を決定してしまうと、背景のハイライト領域が白飛びしてしまう可能性があるため、補正することにより顔は明るく補正しても背景の白飛びした好ましくない補正になってしまう場合がある。そこで、背景における顔の平均輝度よりも高い輝度を持つ画素を参照することにより、補正量を抑制する。
【００３９】
第１の特徴量算出部１０１で算出された平均輝度を輝度Ａ、特第２の徴量算出部１０４で算出された平均輝度を輝度Ｂとし、輝度Ａを元に、図４の変換テーブルで設定される目標輝度を輝度Ｃ、修正量をＳとすると、補正目標値の修正量Ｓは例えば、式（３）のようになる。
【００４０】
Ｓ＝（Ｃ−Ａ）×｛１−（Ａ／Ｂ）｝ 式（３）
ＡとＢの値が近いほど修正量は小さくなる。
この修正式は一例であり、他の修正式で補正量を抑制するものでも構わない。他の方式として、例えばルックアップテーブルを使って、（Ａ／Ｂ）の値に応じて修正量を決定するようにしても構わない。
【００４１】
ステップＳ１８において、目標値決定部１０７は、ステップＳ１４で算出した目標値とステップＳ１７で算出した修正量を用いて最終的な目標輝度Ｔを、式（４）により算出する。
【００４２】
Ｔ＝Ｃ−Ｓ 式（４）
ステップＳ１９において、階調補正テーブル作成部１０８は、ステップＳ１３で算出した顔の平均輝度値ＡとステップＳ１８で算出した最終的な目標輝度値Ｔから階調補正テーブルを生成する。図５は、顔の平均輝度値Ａを、最終的な目標輝度値Ｔへ変換する階調補正テーブルの作成例を示す。図５において、横軸は入力輝度値であり、縦軸は補正後の輝度値を表している。原点（０，０）から顔の平均輝度と補正目標値（Ａ，Ｔ）を通り、最大輝度値（２５５，２５５）へ直線を結んだ階調補正テーブルとなる。
【００４３】
ステップＳ２０において、階調補正部１０９は、ステップＳ１９で作成した階調補正テーブルを用いて入力画像の階調補正を行う。階調補正テーブルによる変換後の輝度値をＹｏｕｔ、入力輝度値をＹｉｎ、入力ＲＧＢ値を以下の式（５）に従って行う。
【００４４】
Ｒｏｕｔ＝（Ｙｏｕｔ／Ｙｉｎ）×Ｒｉｎ
Ｇｏｕｔ＝（Ｙｏｕｔ／Ｙｉｎ）×Ｇｉｎ
Ｂｏｕｔ＝（Ｙｏｕｔ／Ｙｉｎ）×Ｂｉｎ 式（５）
Ｒｉｎ、Ｇｉｎ、Ｂｉｎは入力ＲＧＢ値、Ｒｏｕｔ、Ｇｏｕｔ、Ｂｏｕｔは出力ＲＧＢ値を表している。
【００４５】
以上説明したように、入力画像中の顔領域を検出して顔領域の平均輝度値を算出して、顔領域の輝度値に基づいた目標輝度値の仮設定を行い、顔以外の領域について顔領域の平均輝度値以上の輝度を持つ画素領域の平均輝度を参照して、目標輝度値の修正を行うことで、背景領域の白飛びも考慮して顔領域の画質向上を図ることが出来る。
【００４６】
実施例２
実施例２は、入力画像から顔領域を抽出し、顔領域の輝度範囲において階調補正後も階調性を維持し、背景の白飛びを考慮して補正する実施例である。
【００４７】
図６は、実施例２の処理フローチャートを示す。実施例１と相違する処理は、ステップ２３とステップ２９の処理であり、他のステップでの処理は実施例１と同様である。また、実施例２の構成は、実施例１（図１）と同一である。
【００４８】
実施例１と同様に、ステップＳ２１において、第１の部分領域抽出部１０１は、入力画像中から顔領域を抽出し、ステップＳ２２において、入力画像中に顔が検出されたか否かを判定し、顔が検出された場合は、ステップＳ２３へ進み、顔が存在しない場合は処理を終了する。
【００４９】
ステップＳ２３において、第１の特徴量算出部１０２は、取得した顔領域の輝度ヒストグラムから顔の平均輝度値と最大輝度を算出する。実施例１と同様に、式（１）に従いＲＧＢデータを輝度変換した後、輝度ヒストグラムを求める。顔領域の開始点と、終了点で示された領域内の画素のＲＧＢデータから式（１）に従い輝度値Ｙを求める。
【００５０】
ステップＳ２４において、目標値設定部１０５は、顔領域の平均輝度値から、予め設定している目標輝度値を算出する。目標輝度値の設定は、実施例１の設定方法と同様であるので省略する。
【００５１】
ステップＳ２５において、実施例１と同様に、第２の部分領域抽出部１０３は、第１の特徴量算出部１０２において算出した顔領域の平均輝度を用いて、顔領域以外の部分において顔領域の平均輝度値以上の値を持つ画素（領域Ｂ）を抽出する。ここでは、平均輝度以上の輝度を持つ領域を全て抽出するが、ここで抽出したい画素は、階調補正によって階調がつぶれが起きた場合に、そのつぶれが認識しやすい領域を抽出するためであり、その階調つぶれが認識しにくい、高輝度白色画素（式（２））については予め抽出領域から排除するようにしても良い。
【００５２】
ステップＳ２６において、第２の特徴量算出部１０４は、ステップＳ２５で抽出した領域Ｂの平均輝度値を算出し、ステップＳ２７において、目標値制御部１０６は、ステップＳ２３で算出した顔領域の平均輝度とステップＳ２６で算出した領域Ｂの平均輝度から、目標輝度の修正量を算出する。顔の平均輝度のみで目標値を決定してしまうと、背景のハイライト領域が白飛びしてしまう可能性があるため、補正することにより顔は明るく補正しても背景の白飛びした好ましくない補正になってしまう場合がある。そこで、背景における顔の平均輝度よりも高い輝度を持つ画素を参照することにより、補正量を抑制する。
【００５３】
実施例１と同様に、第１の特徴量算出部１０１で算出された平均輝度を輝度Ａ、第２の特徴量算出部１０４で算出された平均輝度を輝度Ｂとし、輝度Ａを元に、図４の変換テーブルで設定される目標輝度を輝度Ｃ、修正量をＳとすると、補正目標値の修正量Ｓは式（３）のようになる。
【００５４】
ステップＳ２８において、目標値決定部１０７は、ステップＳ２４で算出した目標値とステップＳ２７で算出した修正量を用いて最終的な目標輝度Ｔを、式（４）により算出する。
【００５５】
ステップＳ２９において、階調補正テーブル作成部１０８は、ステップＳ２３で算出した特徴量（平均輝度Ａ、最大輝度）とステップＳ２８で算出した最終的な目標輝度値Ｔを基に階調補正テーブルを生成する。
【００５６】
図７は、顔の平均輝度値Ａを、最終的な目標輝度値Ｔへ変換する階調補正テーブルの作成例を示す。図７において、横軸は入力輝度値であり、縦軸は補正後の輝度値を表している。原点（０，０）から顔の平均輝度と補正目標値（Ａ，Ｔ）を通り、（Ａ，Ｔ）から“傾き１”で顔の最大輝度値まで直線を引き、最大輝度値以降は、最大輝度値（２５５，２５５）へ直線を結んだ階調補正テーブルとなる。ここでは、顔の平均輝度値から最大輝度値までの階調補正テーブルの傾きを“傾き１”として作成したが、“傾き１”以上であれば、他の値を設定しても構わない。
【００５７】
以下、実施例１と同様に、ステップＳ３０において、階調補正部１０９は、ステップＳ２９で作成した階調補正テーブルを用いて入力画像の階調補正を行う。
【００５８】
以上説明したように、入力画像中の顔領域を検出して顔領域の平均輝度値を算出して、顔領域の輝度値に基づいた目標輝度値の仮設定を行い、顔以外の領域について顔領域の平均輝度値以上の輝度を持つ画素領域の平均輝度を参照して、目標輝度値の修正を行うことで、背景領域の白飛びも考慮した顔領域の画質向上を図ることが出来、更に顔領域の輝度範囲においては傾き１以上の階調補正テーブルを作成することで、顔領域の階調性を維持した補正画像を得ることが出来る。
【００５９】
実施例３
実施例３は、入力画像から顔領域を抽出し、顔領域の平均輝度と輝度範囲から階調補正テーブルを設定し、顔領域以外の背景の白飛びや階調つぶれを起こしそうな画素数（飽和度）を算出することにより、目標輝度値を修正することで、最終的な階調補正テーブルを決定する実施例である。
【００６０】
図８は、本発明の実施例３の画像処理装置の構成を示す。図８に示す画像処理装置は、第１の部分領域抽出部２０１、特徴量算出部２０２、階調補正テーブル作成部２０３、第２の部分領域抽出部２０４、階調補正テーブル修正部２０５、階調補正部２０６から構成される。
【００６１】
実施例１と同様に、第１の部分領域抽出部２０１は、入力画像中の人物の顔や人物の肌領域を抽出する。なお、実施例１と同様に、簡単のために顔領域のみを抽出するとして説明するが、顔領域と肌領域とを抽出したものと置き換えてもよい。
【００６２】
特徴量算出部２０２は、第１の部分領域抽出部２０１で作成された顔領域の領域情報をもとに顔領域内のデータ分布として輝度ヒストグラムを作成し、顔領域の平均輝度値、最大輝度値を算出する。階調補正テーブル作成部２０３は、特徴量算出部２０２で算出された顔領域内の平均輝度と最大輝度を元に階調補正テーブルを作成する。第２の部分領域抽出部２０４は、特徴量算出部２０２から入力される顔領域の平均輝度値を元に、平均輝度値以上の値を持つ画素を入力画像から抽出する。階調補正テーブル修正部２０５は、第２の部分領域抽出部２０３において抽出された領域を、階調補正テーブル作成部２０３で作成された階調補正テーブルを用いて階調補正した際に、後述する飽和度が許容範囲にあるか否かを判定し、判定結果に基づいて階調補正テーブルを修正する。階調補正部２０６は、階調補正テーブル修正部２０５で修正された階調補正テーブルに基づいて入力画像の補正を行う。
【００６３】
図９は、実施例３の処理フローチャートを示す。ステップ３１からステップ３３は実施例２と同様である。すなわち、ステップＳ３１において、第１の部分領域抽出部２０１は、入力画像中から顔を抽出し、ステップＳ３２において、入力画像中に顔が検出されたか否かを判定し、顔が検出された場合は、ステップＳ３３へ進み、顔が存在しない場合は、処理を終了する。ステップＳ３３において、抽出された顔領域の輝度ヒストグラムから平均輝度、最大輝度を算出する。
【００６４】
ステップＳ３４において、算出された平均輝度から図４の目標輝度算出テーブルを用いて、階調補正テーブル作成部２０３は目標輝度を算出する。
【００６５】
続いて、階調補正テーブル作成部２０３は、ステップＳ３５において、顔領域の平均輝度Ａと目標輝度Ｃ、最大輝度を用いた階調補正カーブを作成する。図１０（ａ）に階調補正カーブを示す。原点（０，０）から顔の平均輝度と補正目標値（Ａ，Ｃ）を通り、（Ａ，Ｃ）から“傾き１”で顔の最大輝度値まで直線を引き、最大輝度値以降は、最大輝度値（２５５，２５５）へ直線を結んだ階調補正テーブルとなる。これにより、顔領域の最大輝度値までは少なくとも”傾き１”以上を保ち、元の顔領域の階調性を維持した補正結果が得られる。
【００６６】
ステップＳ３６において、第２の部分領域抽出部２０４は、実施例１、２と同様に、顔領域以外における顔領域の平均輝度以上の輝度を持つ領域Ｂを抽出する。なお、実施例１、２と同様に高輝度白色画素を予め抽出領域から排除するようにしても良い。
【００６７】
ステップＳ３７において、階調補正テーブル修正部２０５は、作成した階調補正テーブルを使用した場合に、領域Ｂにおける階調の飽和度を算出する。飽和度は、階調を補正することにより、階調つぶれが起きる画素数を算出することで評価する。以下に、飽和度の算出方法を説明する。
【００６８】
入力した画像データの画素数をｊ＝（１，２，・・Ｎ−１，Ｎ）とし、画像データの入力輝度値をＹｉｎ（ｊ）、階調補正カーブｆ０（ｘ）による補正後の出力輝度値をＹ１（ｊ）と定義する。入力した画像データのｊ番目の画素の入力輝度値Ｙｉｎ（ｊ）は、カラー画像信号（Ｒｉｎ（ｊ），Ｇｉｎ（ｊ），Ｂｉｎ（ｊ））を用いて式（６）で表せる。
【００６９】
Ｙｉｎ（ｊ）＝０．２９９Ｒｉｎ（ｊ）＋０．５８７Ｇｉｎ（ｊ）＋０．１１４Ｂｉｎ（ｊ） 式（６）
この入力輝度値Ｙｉｎ（ｊ）に対して階調補正カーブｆ０（ｘ）による階調補正処理後の出力輝度値Ｙ１（ｊ）を算出し、階調補正係数ＣＯ（ｊ）を式（７）で算出する。
【００７０】
ＣＯ（ｊ）＝Ｙ１（ｊ）／Ｙｉｎ（ｊ）＝ｆ０（Ｙｉｎ（ｊ））／Ｙｉｎ（ｊ） 式（７）
この階調補正係数ＣＯ（ｊ）を用いて入力カラー画像信号（Ｒｉｎ（ｊ），Ｇｉｎ（ｊ），Ｂｉｎ（ｊ））を式（８）で変換することにより階調補正カラー信号（Ｒ１（ｊ），Ｇ１（ｊ），Ｂ１（ｊ））を得る。
【００７１】
（Ｒ１（ｊ），Ｇ１（ｊ），Ｂ１（ｊ））＝ＣＯ（ｊ）・（Ｒｉｎ（ｊ），Ｇｉｎ（ｊ），Ｂｉｎ（ｊ）） 式（８）
また、入力画像信号がグレーの場合、グレーレベルＹｉｎ（ｊ）を入力値とし、階調補正処理後の出力は、出力グレーレベルＹ１（ｊ）＝ｆ０（Ｙｉｎ（ｊ））を得れば良い。
ここで通常の画像処理では、再現範囲０〜２５５を超えた場合クリッピングを行う。すなわち、０未満の値は０へ、２５５以上の値は強制的に２５５に置き換える。
【００７２】
これに対して、本発明では、最終的な階調補正カーブを得て、階調補正処理を行うまでクリッピングを行わない。この階調補正カーブｆ０（ｘ）を用いてＲＧＢのカラー画像データの階調補正処理後の画像データの飽和度を算出する。例えばｊ番目の画素の階調補正後の色成分（Ｒ１（ｊ），Ｇ１（ｊ），Ｂ１（ｊ））のうち、少なくとも１つが再現範囲である０から２５５値を超えた場合、ｊ番目の画素は飽和しているとみなす。
【００７３】
この再現範囲を超えて飽和しているとみなす画素に対して平均的な超越値を算出する。すなわち、Ｋ個の飽和画素に対して各画素ごとに飽和した色成分の最大レベルＬｊ（ｊ＝１，２，・・Ｋ）を求め、式（９）に示すように、最大レベルＬｊと再現範囲上限２５５との差分の平均値Ｏａｖｅを飽和度として算出する。
Ｏａｖｅ＝Σ（Ｌｊ−２５５）／Ｋ 式（９）
但し、Σはｊ＝１，２，・・・Ｋについてとる。
また、例えば領域Ｂに属するＭ個の画素に対してＫ／Ｍを飽和度とする。
【００７４】
ステップＳ３８において、階調補正テーブル修正部２０５は、算出した飽和度を評価する。算出した飽和度がある閾値ｔｈ１以上の場合、飽和度合い、すなわち階調つぶれが許容されないと判断する。この閾値ｔｈ１は、Ｋ／Ｍを飽和度とした場合、実験によるとｔｈ１＝０．０３であった。
【００７５】
この飽和度の評価の結果、階調つぶれが許容されない（つまり、飽和度≧ｔｈ１）と判定された場合、ステップＳ３９において、補正量の修正を行い、この修正結果により新たな階調補正カーブｆ１（ｘ）を更新する（ステップＳ４０）。
【００７６】
目標輝度値（Ｃ）を、例えば輝度値５だけ減少させて、新たな補正カーブｆ１（ｘ）を作成する。このようにして、図１０（ｂ）で示すような新たな階調補正テーブルｆ１（ｘ）を得る。
【００７７】
補正カーブｆ１（ｘ）を更新したら、ステップＳ３７へ戻り、再度、飽和度を算出した後、飽和度の許容値比較を行う（ステップＳ３８）。ステップＳ３８での判定結果がＮＯである場合は、再度ステップＳ３９へ進み、補正量の修正と階調補正テーブルの更新を行う。飽和度が許容値以下（ステップＳ３８でＹＥＳ）となったら、階調補正テーブルを決定し、ステップＳ４１に移る。ステップＳ４１において、階調補正部２０６は、決定した階調補正テーブルを用いて入力画像の補正を行い、処理を終了する。
【００７８】
上記した実施例では、階調補正によりＲＧＢ値のいずれかが２５５値を超えた場合に、階調つぶれが起きる画素数を飽和度としたが、飽和の閾値は上記した値に限定されず、２５５よりも小さい他の値でもよい。
【００７９】
以上説明したように、入力画像中の顔領域を検出して顔領域の平均輝度値を算出して、顔領域の輝度値に基づいた目標輝度値の設定を行い、顔領域の輝度範囲においては”傾き１”以上の階調補正テーブルを作成し、顔以外の領域について顔領域の平均輝度値以上の輝度を持つ画素領域の飽和度を評価して、目標輝度値の修正を行うことで、背景領域の白飛びを抑制しつつ、顔領域の階調性を維持して明るさを向上させることが出来る。
【００８０】
実施例４
実施例４は、入力画像の顔領域を抽出し、顔領域の平均輝度と輝度範囲を特徴量として抽出して階調補正テーブルを作成し、さらに入力画像の撮影シーンを判定することで飽和度（顔領域以外の背景の白飛びや階調つぶれを起こしそうな画素数）の許容閾値を、判定した撮影シーンに応じて可変にすることにより、入力画像のシーンに対応した階調補正テーブルを決定する実施例である。
【００８１】
図１１は、本発明の実施例４の画像処理装置の構成を示す。実施例４の画像処理装置は、実施例３の構成に、シーン判定部３０５を追加したものである。
【００８２】
第１の部分領域抽出部３０１は、入力画像中の人物の顔や人物の肌領域を抽出する。特徴量算出部３０２は、第１の部分領域抽出部３０１で作成された顔領域の領域情報をもとに顔領域内のデータ分布として輝度ヒストグラムを作成し、顔領域の平均輝度値、最大輝度値を算出する。階調補正テーブル作成部３０３は、特徴量算出部３０２で算出された顔領域内の平均輝度と最大輝度を元に階調補正テーブルを作成する。第２の部分領域抽出部３０４は、特徴量算出部３０２から入力される顔領域の平均輝度値を元に、平均輝度値以上の値を持つ画素を入力画像から抽出する。シーン判定部３０５は、入力画像の特徴に基づいて撮影シーンを判定する。階調補正テーブル修正部３０６は、第２の部分領域抽出部３０３で抽出された領域を、階調補正テーブル作成部３０３で作成された階調補正テーブルを用いて階調補正した際に、後述する飽和度が許容範囲にあるか否かを判定し、判定結果に基づいて階調補正テーブルを修正する。階調補正部３０７は、階調補正テーブル修正部３０６で修正された階調補正テーブルに基づいて入力画像の補正を行う。
【００８３】
図１２は、実施例４の処理フローチャートである。実施例４の処理において、実施例３と相違する点は、ステップ５３とステップ５９の処理である。
【００８４】
ステップＳ５１において、前述した実施例と同様にして入力画像中から顔を抽出し、ステップＳ５２において、入力画像中に顔が検出されたか否かを判定し、顔が検出された場合は、ステップＳ５３へ進み、顔が存在しない場合は、処理を終了する。
【００８５】
ステップＳ５３において、シーン判定部３０５は、入力画像のシーン判定を行う。実施例３では、階調つぶれを起こす画素数を飽和度として評価して使用したが、この飽和度合いが許容されるか否かは画像により異なり、例えば、逆光シーンでは背景に明るい画素が多く、その結果、階調補正により飽和する画素数も多くなるため許容度合いが異なる。
【００８６】
そこで、実施例４では、画像の撮影シーンに応じて飽和度合いを許容するか否かの閾値（ｔｈ１）を可変にするために、入力画像のシーンを判定する。シーン判定方法としては、例えば、特開２００２−２４７３６１号公報（段落００１３〜００１６、図４、図５を参照）に記載の方法を用いる（画像の平均的な明るさに比べて、逆光なら極端に明るい背景が存在し、かつ明るさに対する頻度分布が２極化し、夜間撮影なら極端に暗い背景がある。よって、［条件１］画像の平均的な明るさに比べて、極端に明るい部分、もしくは極端に暗い部分が、所定の閾値（割合）以上あるか、［条件２］前記条件を満たすとき、極端に明るい部分、もしくは暗い部分のほとんどは画像端部にあるか、［条件３］逆光画像の可能性がある場合、輝度分布は明と暗とに２極化しているかを調べればよい）。
【００８７】
以下、実施例４のステップ５４〜ステップ５８は、実施例３のステップ３３〜ステップ３７と同様である。ステップＳ５４において、抽出された顔領域の輝度ヒストグラムから平均輝度、最大輝度を算出し、ステップＳ５５において、算出された平均輝度から図４の目標輝度算出テーブルを用いて目標輝度を算出する。ステップＳ５６において、顔領域の平均輝度Ａと目標輝度Ｃ、最大輝度を用いた階調補正カーブを作成する。図１０（ａ）に階調補正カーブを示す。原点（０，０）から顔の平均輝度と補正目標値（Ａ，Ｃ）を通り、（Ａ，Ｃ）から“傾き１”で顔の最大輝度値まで直線を引き、最大輝度値以降は、最大輝度値（２５５，２５５）へ直線を結んだ階調補正テーブルとなる。これにより、顔領域の最大輝度値までは少なくとも”傾き １”以上を保ち、元の顔領域の階調性を維持した補正結果が得られる。
【００８８】
ステップＳ５７において、階調補正テーブル修正部３０６は、顔領域以外における顔領域の平均輝度以上の輝度を持つ領域Ｂを抽出し、ステップＳ５８において、作成した階調補正テーブルを使用した場合に領域Ｂにおける階調の飽和度（式（９））を算出する。
【００８９】
ステップＳ５９において、階調補正テーブル修正部３０６は、算出した飽和度を評価する。算出した飽和度がある閾値ｔｈ１以上の場合、飽和度合い、すなわち階調つぶれが許容されないと判断する。この閾値ｔｈ１をシーン判定の結果に応じて変更する。例えば、図１３に示すように、シーンに応じて切り替える。
【００９０】
この飽和度の評価の結果、階調つぶれが許容されない（つまり、飽和度≧ｔｈ１）と判定された場合、ステップＳ６０において、補正量の修正を行い、この修正結果により新たな階調補正カーブｆ１（ｘ）を更新する（ステップＳ６１）。例えば、目標輝度値（Ｃ）を輝度値５だけ減少させて、新たな補正カーブｆ１（ｘ）を作成する。このようにして、図１０（ｂ）で示すような新たな階調補正テーブルｆ１（ｘ）を得る。
【００９１】
補正カーブｆ１（ｘ）を更新したら、ステップＳ５８へ戻り、再度、飽和度を算出した後、飽和度の許容値比較を行う（ステップＳ５９）。ステップＳ５９での判定結果がＮＯである場合は、再度ステップＳ６０へ進み、補正量の修正と階調補正テーブルの更新を行う。飽和度が許容値以下になったら（ステップＳ５９でＹＥＳ）、階調補正テーブルを決定し、ステップＳ６２に移る。ステップＳ６２では、決定した階調補正テーブルを用いて入力画像の補正を行い、終了する。
【００９２】
実施例４では、階調補正によりＲＧＢ値のいずれかが２５５値を超えた場合に、階調つぶれが起きる画素数を飽和度としたが、実施例３と同様に、飽和の閾値は上記した値に限定されず、２５５よりも小さい他の値でもよい。また、飽和度とは別に、階調補正前後での輝度差が一定値以上となる画素数を求めて、その画素数を予め定めた許容値と比較するといった評価を行ってもよい。
【００９３】
以上説明したように、入力画像中の顔領域を検出して顔領域の平均輝度値を算出して、顔領域の輝度値に基づいた目標輝度値の設定を行い、顔領域の輝度範囲においては”傾き１”以上の階調補正テーブルを作成し、顔以外の領域について顔領域の平均輝度値以上の輝度を持つ画素領域における階調補正後の飽和度を撮影シーンに基づいて評価し、目標輝度値の修正を行うことで、撮影シーンに応じて背景領域の白飛びを抑制しつつ、顔領域の階調性を維持して明るさを向上させることが出来る。
【図面の簡単な説明】
【００９４】
【図１】本発明の実施例１、２の画像処理装置の構成を示す。
【図２】第１の部分領域抽出部における抽出処理のフローチャートを示す。
【図３】実施例１の処理フローチャートを示す。
【図４】平均輝度から目標輝度を設定するテーブル例を示す。
【図５】顔の平均輝度値を、最終的な目標輝度値へ変換する階調補正テーブルの作成例（実施例１）を示す。
【図６】実施例２の処理フローチャートを示す。
【図７】顔の平均輝度値を、最終的な目標輝度値へ変換する階調補正テーブルの作成例（実施例２）を示す。
【図８】実施例３の画像処理装置の構成を示す。
【図９】実施例３の処理フローチャートを示す。
【図１０】実施例３、４により作成される階調補正テーブルを示す。
【図１１】実施例４の画像処理装置の構成を示す。
【図１２】実施例４の処理フローチャートを示す。
【図１３】シーンに応じて切り替える閾値を示す。
【符号の説明】
【００９５】
１０１ 第１の部分領域抽出部
１０２ 第１の特徴量算出部
１０３ 第２の部分領域抽出部
１０４ 第２の特徴量算出部
１０５ 目標値設定部
１０６ 目標値制御部
１０７ 目標値決定部
１０８ 階調補正テーブル作成部
１０９ 階調補正部
【技術分野】
【０００１】
本発明は、デジタルカメラなどで撮影された画像データをプリンタやディスプレイ等に出力する際に、画像を補正処理する画像処理装置および画像処理方法に関する。
【背景技術】
【０００２】
近年、パソコンやインターネット、家庭用プリンタの普及、及びハードディスク等の記憶容量の大型化により、デジタルデータで写真画像を扱う機会が増えている。それに伴いデジタル写真画像データ（以下、画像データ）の入力手段として、デジタルカメラやフィルムスキャナなどが一般に使用されている。
【０００３】
デジタルカメラには、撮影時の露出を常に最適に保つための自動露出制御装置が設けられている。露出制御方式には、種々の方法があるが、光量検出のため画面を複数の適当な領域に分割し、領域ごとに重み付けを行い加重平均をとり、絞りやシャッタースピードなどを調節する方法が一般的である。
【０００４】
しかし、これらの露出制御方式は各社様々であり、撮影条件によって適正に作動しない場合もあるため完全なものは存在しない。とりわけ、主被写体の真後ろに光源が存在し、背景と主被写体との輝度差が大きい逆光状態では、被写体に露出が合わないと背景の明るさに引っ張られて露出がマイナスに補正されるため被写体が暗く写ってしまう。
【０００５】
また、夜間ストロボ撮影では、被写体にストロボ光があたることが前提になるため、絞りやシャッタースピードは規定値に固定される。つまり、ストロボと被写体の距離が遠すぎると光が届かず、この場合も被写体は暗く写ってしまう。
【０００６】
ここで露出補正とは、シーンに対して不適切な明るさを持つ被写体を、シーンに適した明るさに調整することを意味する。例えば露出不足で全体に暗い被写体や、逆光で暗くなっている被写体を明るくしたり、露出オーバーな被写体を暗くしたりすることがある。カメラでの露出補正は、レンズに入る入射光量を調節するために絞りやシャッタースピードを変える方法が一般的である。また、プリンタやディスプレイでは、入出力変換関数（階調補正カーブ）等を用い、入力信号の明るさに対し出力信号の明るさを最適化するための処理等を意味する。なお、露出を補正して画像データの明るさを調節することと、本発明における階調補正処理とは目的が同等なため、以後、階調補正処理と記す。
【０００７】
このようなデジタル画像の撮影時における不適切な露出状態に対応するため、画像データを自動的に階調補正する技術が多数提案されている。例えば、特許文献１では、画像中から人物の顔といった重要な領域を抽出し、顔画像の補正の際に、顔領域の面積の大小により補正効果があるか否かを推定することで、補正効果が得られると推定した場合に画像補正を行う。また、特許文献２では、不適切な露出状態で撮影された画像の主被写体の明るさを、背景の階調つぶれや色相変化を起こすことなく、最大限の効果で適切にコントラスト補正を施す。
【０００８】
【特許文献１】特開２００４−６２６５１号公報
【特許文献２】特開２００３−１６９２３１号公報
【発明の開示】
【発明が解決しようとする課題】
【０００９】
しかしながら、上述の従来例には次のような問題がある。すなわち、特許文献１では、人物の顔が小さく補正効果がないと推定された場合には、例えその顔が重要な被写体であったとしても、画像が補正されないという問題がある。さらに、検出された顔領域のみの特徴に基づいて画像を補正するため、顔領域以外の背景の情報が考慮されておらず、画像を補正することにより背景の階調がつぶれてしまうなどの逆効果を引き起こす。また、特許文献２では、画像の輝度ヒストグラムから被写体を抽出しているので、正確に人物の顔の特徴を抽出することができず、重要な被写体である人物を正確に露出補正できない場合がある。
【００１０】
本発明は上記した問題を解消するためになされたもので、
本発明の目的は、不適切な露出状態で撮影された画像の主被写体（特に人物の顔）の明るさを、背景の階調つぶれを起こすことなく、最大限の効果で適切に補正する画像処理装置および画像処理方法を提供することにある。
【課題を解決するための手段】
【００１１】
本発明は、画像から第１の部分領域を抽出する第１の領域抽出手段と、前記第１の部分領域に基づいて第１の特徴量を算出する第１の特徴量算出手段と、前記画像から第２の部分領域を抽出する第２の領域抽出手段と、前記第２の部分領域に基づいて第２の特徴量を算出する第２の特徴量算出手段と、前記第１の特徴量に基づいて、前記画像の補正の目標値を設定する目標値設定手段と、前記第１、第２の特徴量に基づいて前記補正の目標値の修正量を制御する目標値制御手段と、前記補正の目標値と前記目標値の修正量に基づいて前記画像の最終的な補正目標値を決定する目標値決定手段と、前記補正目標値に基づいて階調補正テーブルを作成する階調補正テーブル作成手段と、前記階調補正テーブルに基づいて前記画像の階調を補正する階調補正手段とを有することを最も主要な特徴とする。
【発明の効果】
【００１２】
請求項１、９：第１の特徴量から決めた補正の目標値を、第１の特徴量と第２の特徴量に基づき修正することができ、第１の部分領域と、第２の部分領域を考慮した階調補正を行うことができる。
【００１３】
請求項２：画像中の人物の顔領域、または人物の肌領域の少なくとも一つを抽出することにより、人の顔や人の肌を主要な被写体として抽出しており、人物の顔や肌の特徴に基づいて補正量を決めることができる。
【００１４】
請求項３：第１の部分領域とは別の、第２の部分領域を抽出することができ、主要な被写体以外の部分領域を抽出することができる。
【００１５】
請求項４：第１の特徴量算出手段は、第１の部分領域における輝度分布に基づいた特徴量を算出し、第２の特徴量算出手段は、第２の部分領域における輝度分布に基づいた特徴量を算出するので、部分領域における輝度値を比較して補正目標輝度値を決定し、階調補正テーブルを作成することができる。
【００１６】
請求項５：第１の特徴量は、第１の部分領域における平均輝度値であり、第２の部分領域は、前記第１の部分領域における平均輝度以上の輝度を持つ部分領域であり、第２の特徴量は第２の部分領域における平均輝度値を算出するので、第１の部分領域の平均輝度と、第１の部分領域の平均輝度以上の部分領域の平均輝度を比較して補正目標輝度値を決定し、階調補正テーブルを作成することができる。また、第１の特徴量から算出される平均輝度と、第２の特徴量から算出される平均輝度の関係から目標値の修正量を制御するので、両者の平均輝度の関係を考慮して最終的な補正量を決定することができる。
【００１７】
請求項６：第１の特徴量が、第１の部分領域の平均輝度と第１の部分領域の輝度範囲を算出し、階調補正テーブル作成手段は、画像の補正後に第１の部分領域の階調数が減少することのないように階調補正テーブルを作成するので、主要な被写体の人物の顔や肌の輝度範囲では、少なくとも階調性を維持することができる。
【００１８】
請求項７、１０：主要な被写体の人物の顔や肌の輝度範囲では、階調性を少なくとも維持して補正することができ、また補正することにより第２の部分領域における階調の飽和度を考慮して階調の飽和が起こらない階調補正テーブルを決定することができる。
【００１９】
請求項８：主要な被写体の人物の顔や肌の輝度範囲では、階調性を少なくとも維持して補正することができ、また画像の撮影シーンに応じた階調補正による階調の飽和度合いを考慮して、階調補正テーブルを決定することができる。
【発明を実施するための最良の形態】
【００２０】
以下、発明の実施の形態について図面により詳細に説明する。
【００２１】
実施例１
図１は、本発明の実施例１の画像処理装置の構成を示す。図１の画像処理装置は、第１の部分領域抽出部１０１、第１の特徴量算出部１０２、第２の部分領域抽出部１０３、第２の特徴量算出部１０４、目標値設定部１０５、目標値制御部１０６、目標値決定部１０７、階調補正テーブル作成部１０８、階調補正部１０９から構成される。
【００２２】
第１の部分領域抽出部１０１は、入力画像中の人物の顔や人物の肌領域を抽出する。図２は、第１の部分領域抽出部における抽出処理のフローチャートを示す。
【００２３】
まず、ステップＳ１において、入力画像中の顔領域を検出する。入力画像から人間の目、鼻、口等の特徴に着目した顔検出処理を行う。ここでは、目、鼻、口の特徴に基づいた検出処理の例であるが、本発明では上記した検出処理に限定されず、他の方法を用いて顔を検出しても構わない。
【００２４】
次に、ステップＳ２では、検出した顔領域の特徴として色相領域を判定する。これは、顔領域と同等の肌色色相を持つ画素を抽出するための特徴量となる。さらに、ステップＳ３において、入力画像中において顔領域と同等の色相領域内にある画素を肌領域として抽出する。ステップＳ４において、検出した顔領域と人物肌領域の領域情報を作成し、終了する。
【００２５】
以下の説明では、簡単のために顔領域のみを抽出するとして説明するが、顔領域と肌領域とを抽出したものと置き換えてもよい。
【００２６】
第１の特徴量算出部１０２は、第１の部分領域抽出部１０１で作成された顔領域の領域情報をもとに顔領域内のデータ分布として輝度ヒストグラムを作成し、顔領域の平均輝度値、最大輝度値、最小輝度値、顔領域の画素数などを算出する。
【００２７】
第２の部分領域抽出部１０３は、第１の特徴量算出部１０２から入力される顔領域の平均輝度値を元に、平均輝度値以上の値を持つ画素を入力画像から抽出する。
【００２８】
第２の特徴量算出部１０４は、第２の部分領域抽出部１０３において抽出された画素を元に、平均輝度、抽出画素数などを算出する。
【００２９】
目標値設定部１０５は、第１の特徴量算出部１０２で算出された顔領域の平均輝度を元にして、予め決めている目標輝度を仮設定する。目標値制御部１０６は、第１の特徴量算出部１０２で算出された平均輝度と、第２の特徴量算出部２で算出された平均輝度を元に、目標輝度の修正量を算出する。
【００３０】
目標値決定部１０７は、目標値設定部１０５に仮設定された目標輝度と、目標値制御部１０６で算出された目標輝度の修正量を用いて最終的な目標値を決定する。
【００３１】
階調補正テーブル作成部１０８は、目標値決定部１０７で決定された最終的な目標値を元に階調補正テーブルを作成する。階調補正部１０９は、階調補正テーブル部１０８で作成された階調補正テーブルに基づいて入力画像の補正を行う。
【００３２】
図３は、本発明の実施例１の処理フローチャートを示す。ステップＳ１１において、第１の部分領域抽出部１０１は、入力画像中から顔領域を抽出する処理を行う。ステップＳ１２において、入力画像中に顔が検出されたか否かを判定する。顔が検出された場合は、ステップＳ１３へ進み、顔が存在しない場合は、処理を終了する。
【００３３】
ステップＳ１３において、第１の特徴量算出部１０２は、取得した顔領域の輝度ヒストグラムから顔の平均輝度値を算出する。入力画像がＲＧＢデータであるとすると、以下の式（１）に従いＲＧＢデータを輝度変換した後、輝度ヒストグラムを求める。顔領域の開始点と、終了点で示された領域内の画素のＲＧＢデータから式（１）に従い輝度値Ｙを求める。
【００３４】
Ｙ＝０．２９９×Ｒ＋０．５８７×Ｇ＋０．１１４×Ｂ 式（１）
ステップＳ１４において、目標値設定部１０５は、顔領域の平均輝度値から、予め設定している目標輝度値を算出する。図４は、平均輝度から目標輝度を設定するテーブルの一例である。図４において、横軸は顔領域の平均輝度であり、縦軸は変換後の目標輝度値である。ここで使用する変換テーブルの目標輝度の値は予め設定しておくものであり、一例としてあげた図４は、実験により求めたものである。
【００３５】
ステップＳ１５において、第２の部分領域抽出部１０３は、第１の特徴量算出部１０２で算出した顔領域の平均輝度を用いて、顔領域以外の部分において顔領域の平均輝度値以上の値を持つ画素（領域Ｂ）を抽出する。
【００３６】
ここでは、平均輝度以上の輝度を持つ領域を全て抽出するようにしているが、ここで抽出したい画素は、階調補正によって階調がつぶれが起きた場合に、そのつぶれが認識しやすい領域を抽出するためであり、その階調つぶれが認識しにくい、高輝度白色画素については予め抽出領域から排除するようにしても良い。例えば、高輝度白色画素とは、そのＲＧＢ値が、
（Ｒ＞２４０かつＧ＞２４０かつＢ＞２４０）かつ、
（｜Ｇ−Ｒ｜＜１０かつ｜Ｇ−Ｂ｜＜１０） 式（２）
を満たす画素である。
【００３７】
ステップＳ１６において、第２の特徴量算出部１０４は、ステップＳ１５で抽出した領域Ｂの平均輝度値を算出する。
【００３８】
ステップＳ１７において、目標値制御部１０６は、ステップＳ１３で算出した顔領域の平均輝度とステップＳ１６で算出した領域Ｂの平均輝度を基に、目標輝度の修正量を算出する。顔の平均輝度のみで目標値を決定してしまうと、背景のハイライト領域が白飛びしてしまう可能性があるため、補正することにより顔は明るく補正しても背景の白飛びした好ましくない補正になってしまう場合がある。そこで、背景における顔の平均輝度よりも高い輝度を持つ画素を参照することにより、補正量を抑制する。
【００３９】
第１の特徴量算出部１０１で算出された平均輝度を輝度Ａ、特第２の徴量算出部１０４で算出された平均輝度を輝度Ｂとし、輝度Ａを元に、図４の変換テーブルで設定される目標輝度を輝度Ｃ、修正量をＳとすると、補正目標値の修正量Ｓは例えば、式（３）のようになる。
【００４０】
Ｓ＝（Ｃ−Ａ）×｛１−（Ａ／Ｂ）｝ 式（３）
ＡとＢの値が近いほど修正量は小さくなる。
この修正式は一例であり、他の修正式で補正量を抑制するものでも構わない。他の方式として、例えばルックアップテーブルを使って、（Ａ／Ｂ）の値に応じて修正量を決定するようにしても構わない。
【００４１】
ステップＳ１８において、目標値決定部１０７は、ステップＳ１４で算出した目標値とステップＳ１７で算出した修正量を用いて最終的な目標輝度Ｔを、式（４）により算出する。
【００４２】
Ｔ＝Ｃ−Ｓ 式（４）
ステップＳ１９において、階調補正テーブル作成部１０８は、ステップＳ１３で算出した顔の平均輝度値ＡとステップＳ１８で算出した最終的な目標輝度値Ｔから階調補正テーブルを生成する。図５は、顔の平均輝度値Ａを、最終的な目標輝度値Ｔへ変換する階調補正テーブルの作成例を示す。図５において、横軸は入力輝度値であり、縦軸は補正後の輝度値を表している。原点（０，０）から顔の平均輝度と補正目標値（Ａ，Ｔ）を通り、最大輝度値（２５５，２５５）へ直線を結んだ階調補正テーブルとなる。
【００４３】
ステップＳ２０において、階調補正部１０９は、ステップＳ１９で作成した階調補正テーブルを用いて入力画像の階調補正を行う。階調補正テーブルによる変換後の輝度値をＹｏｕｔ、入力輝度値をＹｉｎ、入力ＲＧＢ値を以下の式（５）に従って行う。
【００４４】
Ｒｏｕｔ＝（Ｙｏｕｔ／Ｙｉｎ）×Ｒｉｎ
Ｇｏｕｔ＝（Ｙｏｕｔ／Ｙｉｎ）×Ｇｉｎ
Ｂｏｕｔ＝（Ｙｏｕｔ／Ｙｉｎ）×Ｂｉｎ 式（５）
Ｒｉｎ、Ｇｉｎ、Ｂｉｎは入力ＲＧＢ値、Ｒｏｕｔ、Ｇｏｕｔ、Ｂｏｕｔは出力ＲＧＢ値を表している。
【００４５】
以上説明したように、入力画像中の顔領域を検出して顔領域の平均輝度値を算出して、顔領域の輝度値に基づいた目標輝度値の仮設定を行い、顔以外の領域について顔領域の平均輝度値以上の輝度を持つ画素領域の平均輝度を参照して、目標輝度値の修正を行うことで、背景領域の白飛びも考慮して顔領域の画質向上を図ることが出来る。
【００４６】
実施例２
実施例２は、入力画像から顔領域を抽出し、顔領域の輝度範囲において階調補正後も階調性を維持し、背景の白飛びを考慮して補正する実施例である。
【００４７】
図６は、実施例２の処理フローチャートを示す。実施例１と相違する処理は、ステップ２３とステップ２９の処理であり、他のステップでの処理は実施例１と同様である。また、実施例２の構成は、実施例１（図１）と同一である。
【００４８】
実施例１と同様に、ステップＳ２１において、第１の部分領域抽出部１０１は、入力画像中から顔領域を抽出し、ステップＳ２２において、入力画像中に顔が検出されたか否かを判定し、顔が検出された場合は、ステップＳ２３へ進み、顔が存在しない場合は処理を終了する。
【００４９】
ステップＳ２３において、第１の特徴量算出部１０２は、取得した顔領域の輝度ヒストグラムから顔の平均輝度値と最大輝度を算出する。実施例１と同様に、式（１）に従いＲＧＢデータを輝度変換した後、輝度ヒストグラムを求める。顔領域の開始点と、終了点で示された領域内の画素のＲＧＢデータから式（１）に従い輝度値Ｙを求める。
【００５０】
ステップＳ２４において、目標値設定部１０５は、顔領域の平均輝度値から、予め設定している目標輝度値を算出する。目標輝度値の設定は、実施例１の設定方法と同様であるので省略する。
【００５１】
ステップＳ２５において、実施例１と同様に、第２の部分領域抽出部１０３は、第１の特徴量算出部１０２において算出した顔領域の平均輝度を用いて、顔領域以外の部分において顔領域の平均輝度値以上の値を持つ画素（領域Ｂ）を抽出する。ここでは、平均輝度以上の輝度を持つ領域を全て抽出するが、ここで抽出したい画素は、階調補正によって階調がつぶれが起きた場合に、そのつぶれが認識しやすい領域を抽出するためであり、その階調つぶれが認識しにくい、高輝度白色画素（式（２））については予め抽出領域から排除するようにしても良い。
【００５２】
ステップＳ２６において、第２の特徴量算出部１０４は、ステップＳ２５で抽出した領域Ｂの平均輝度値を算出し、ステップＳ２７において、目標値制御部１０６は、ステップＳ２３で算出した顔領域の平均輝度とステップＳ２６で算出した領域Ｂの平均輝度から、目標輝度の修正量を算出する。顔の平均輝度のみで目標値を決定してしまうと、背景のハイライト領域が白飛びしてしまう可能性があるため、補正することにより顔は明るく補正しても背景の白飛びした好ましくない補正になってしまう場合がある。そこで、背景における顔の平均輝度よりも高い輝度を持つ画素を参照することにより、補正量を抑制する。
【００５３】
実施例１と同様に、第１の特徴量算出部１０１で算出された平均輝度を輝度Ａ、第２の特徴量算出部１０４で算出された平均輝度を輝度Ｂとし、輝度Ａを元に、図４の変換テーブルで設定される目標輝度を輝度Ｃ、修正量をＳとすると、補正目標値の修正量Ｓは式（３）のようになる。
【００５４】
ステップＳ２８において、目標値決定部１０７は、ステップＳ２４で算出した目標値とステップＳ２７で算出した修正量を用いて最終的な目標輝度Ｔを、式（４）により算出する。
【００５５】
ステップＳ２９において、階調補正テーブル作成部１０８は、ステップＳ２３で算出した特徴量（平均輝度Ａ、最大輝度）とステップＳ２８で算出した最終的な目標輝度値Ｔを基に階調補正テーブルを生成する。
【００５６】
図７は、顔の平均輝度値Ａを、最終的な目標輝度値Ｔへ変換する階調補正テーブルの作成例を示す。図７において、横軸は入力輝度値であり、縦軸は補正後の輝度値を表している。原点（０，０）から顔の平均輝度と補正目標値（Ａ，Ｔ）を通り、（Ａ，Ｔ）から“傾き１”で顔の最大輝度値まで直線を引き、最大輝度値以降は、最大輝度値（２５５，２５５）へ直線を結んだ階調補正テーブルとなる。ここでは、顔の平均輝度値から最大輝度値までの階調補正テーブルの傾きを“傾き１”として作成したが、“傾き１”以上であれば、他の値を設定しても構わない。
【００５７】
以下、実施例１と同様に、ステップＳ３０において、階調補正部１０９は、ステップＳ２９で作成した階調補正テーブルを用いて入力画像の階調補正を行う。
【００５８】
以上説明したように、入力画像中の顔領域を検出して顔領域の平均輝度値を算出して、顔領域の輝度値に基づいた目標輝度値の仮設定を行い、顔以外の領域について顔領域の平均輝度値以上の輝度を持つ画素領域の平均輝度を参照して、目標輝度値の修正を行うことで、背景領域の白飛びも考慮した顔領域の画質向上を図ることが出来、更に顔領域の輝度範囲においては傾き１以上の階調補正テーブルを作成することで、顔領域の階調性を維持した補正画像を得ることが出来る。
【００５９】
実施例３
実施例３は、入力画像から顔領域を抽出し、顔領域の平均輝度と輝度範囲から階調補正テーブルを設定し、顔領域以外の背景の白飛びや階調つぶれを起こしそうな画素数（飽和度）を算出することにより、目標輝度値を修正することで、最終的な階調補正テーブルを決定する実施例である。
【００６０】
図８は、本発明の実施例３の画像処理装置の構成を示す。図８に示す画像処理装置は、第１の部分領域抽出部２０１、特徴量算出部２０２、階調補正テーブル作成部２０３、第２の部分領域抽出部２０４、階調補正テーブル修正部２０５、階調補正部２０６から構成される。
【００６１】
実施例１と同様に、第１の部分領域抽出部２０１は、入力画像中の人物の顔や人物の肌領域を抽出する。なお、実施例１と同様に、簡単のために顔領域のみを抽出するとして説明するが、顔領域と肌領域とを抽出したものと置き換えてもよい。
【００６２】
特徴量算出部２０２は、第１の部分領域抽出部２０１で作成された顔領域の領域情報をもとに顔領域内のデータ分布として輝度ヒストグラムを作成し、顔領域の平均輝度値、最大輝度値を算出する。階調補正テーブル作成部２０３は、特徴量算出部２０２で算出された顔領域内の平均輝度と最大輝度を元に階調補正テーブルを作成する。第２の部分領域抽出部２０４は、特徴量算出部２０２から入力される顔領域の平均輝度値を元に、平均輝度値以上の値を持つ画素を入力画像から抽出する。階調補正テーブル修正部２０５は、第２の部分領域抽出部２０３において抽出された領域を、階調補正テーブル作成部２０３で作成された階調補正テーブルを用いて階調補正した際に、後述する飽和度が許容範囲にあるか否かを判定し、判定結果に基づいて階調補正テーブルを修正する。階調補正部２０６は、階調補正テーブル修正部２０５で修正された階調補正テーブルに基づいて入力画像の補正を行う。
【００６３】
図９は、実施例３の処理フローチャートを示す。ステップ３１からステップ３３は実施例２と同様である。すなわち、ステップＳ３１において、第１の部分領域抽出部２０１は、入力画像中から顔を抽出し、ステップＳ３２において、入力画像中に顔が検出されたか否かを判定し、顔が検出された場合は、ステップＳ３３へ進み、顔が存在しない場合は、処理を終了する。ステップＳ３３において、抽出された顔領域の輝度ヒストグラムから平均輝度、最大輝度を算出する。
【００６４】
ステップＳ３４において、算出された平均輝度から図４の目標輝度算出テーブルを用いて、階調補正テーブル作成部２０３は目標輝度を算出する。
【００６５】
続いて、階調補正テーブル作成部２０３は、ステップＳ３５において、顔領域の平均輝度Ａと目標輝度Ｃ、最大輝度を用いた階調補正カーブを作成する。図１０（ａ）に階調補正カーブを示す。原点（０，０）から顔の平均輝度と補正目標値（Ａ，Ｃ）を通り、（Ａ，Ｃ）から“傾き１”で顔の最大輝度値まで直線を引き、最大輝度値以降は、最大輝度値（２５５，２５５）へ直線を結んだ階調補正テーブルとなる。これにより、顔領域の最大輝度値までは少なくとも”傾き１”以上を保ち、元の顔領域の階調性を維持した補正結果が得られる。
【００６６】
ステップＳ３６において、第２の部分領域抽出部２０４は、実施例１、２と同様に、顔領域以外における顔領域の平均輝度以上の輝度を持つ領域Ｂを抽出する。なお、実施例１、２と同様に高輝度白色画素を予め抽出領域から排除するようにしても良い。
【００６７】
ステップＳ３７において、階調補正テーブル修正部２０５は、作成した階調補正テーブルを使用した場合に、領域Ｂにおける階調の飽和度を算出する。飽和度は、階調を補正することにより、階調つぶれが起きる画素数を算出することで評価する。以下に、飽和度の算出方法を説明する。
【００６８】
入力した画像データの画素数をｊ＝（１，２，・・Ｎ−１，Ｎ）とし、画像データの入力輝度値をＹｉｎ（ｊ）、階調補正カーブｆ０（ｘ）による補正後の出力輝度値をＹ１（ｊ）と定義する。入力した画像データのｊ番目の画素の入力輝度値Ｙｉｎ（ｊ）は、カラー画像信号（Ｒｉｎ（ｊ），Ｇｉｎ（ｊ），Ｂｉｎ（ｊ））を用いて式（６）で表せる。
【００６９】
Ｙｉｎ（ｊ）＝０．２９９Ｒｉｎ（ｊ）＋０．５８７Ｇｉｎ（ｊ）＋０．１１４Ｂｉｎ（ｊ） 式（６）
この入力輝度値Ｙｉｎ（ｊ）に対して階調補正カーブｆ０（ｘ）による階調補正処理後の出力輝度値Ｙ１（ｊ）を算出し、階調補正係数ＣＯ（ｊ）を式（７）で算出する。
【００７０】
ＣＯ（ｊ）＝Ｙ１（ｊ）／Ｙｉｎ（ｊ）＝ｆ０（Ｙｉｎ（ｊ））／Ｙｉｎ（ｊ） 式（７）
この階調補正係数ＣＯ（ｊ）を用いて入力カラー画像信号（Ｒｉｎ（ｊ），Ｇｉｎ（ｊ），Ｂｉｎ（ｊ））を式（８）で変換することにより階調補正カラー信号（Ｒ１（ｊ），Ｇ１（ｊ），Ｂ１（ｊ））を得る。
【００７１】
（Ｒ１（ｊ），Ｇ１（ｊ），Ｂ１（ｊ））＝ＣＯ（ｊ）・（Ｒｉｎ（ｊ），Ｇｉｎ（ｊ），Ｂｉｎ（ｊ）） 式（８）
また、入力画像信号がグレーの場合、グレーレベルＹｉｎ（ｊ）を入力値とし、階調補正処理後の出力は、出力グレーレベルＹ１（ｊ）＝ｆ０（Ｙｉｎ（ｊ））を得れば良い。
ここで通常の画像処理では、再現範囲０〜２５５を超えた場合クリッピングを行う。すなわち、０未満の値は０へ、２５５以上の値は強制的に２５５に置き換える。
【００７２】
これに対して、本発明では、最終的な階調補正カーブを得て、階調補正処理を行うまでクリッピングを行わない。この階調補正カーブｆ０（ｘ）を用いてＲＧＢのカラー画像データの階調補正処理後の画像データの飽和度を算出する。例えばｊ番目の画素の階調補正後の色成分（Ｒ１（ｊ），Ｇ１（ｊ），Ｂ１（ｊ））のうち、少なくとも１つが再現範囲である０から２５５値を超えた場合、ｊ番目の画素は飽和しているとみなす。
【００７３】
この再現範囲を超えて飽和しているとみなす画素に対して平均的な超越値を算出する。すなわち、Ｋ個の飽和画素に対して各画素ごとに飽和した色成分の最大レベルＬｊ（ｊ＝１，２，・・Ｋ）を求め、式（９）に示すように、最大レベルＬｊと再現範囲上限２５５との差分の平均値Ｏａｖｅを飽和度として算出する。
Ｏａｖｅ＝Σ（Ｌｊ−２５５）／Ｋ 式（９）
但し、Σはｊ＝１，２，・・・Ｋについてとる。
また、例えば領域Ｂに属するＭ個の画素に対してＫ／Ｍを飽和度とする。
【００７４】
ステップＳ３８において、階調補正テーブル修正部２０５は、算出した飽和度を評価する。算出した飽和度がある閾値ｔｈ１以上の場合、飽和度合い、すなわち階調つぶれが許容されないと判断する。この閾値ｔｈ１は、Ｋ／Ｍを飽和度とした場合、実験によるとｔｈ１＝０．０３であった。
【００７５】
この飽和度の評価の結果、階調つぶれが許容されない（つまり、飽和度≧ｔｈ１）と判定された場合、ステップＳ３９において、補正量の修正を行い、この修正結果により新たな階調補正カーブｆ１（ｘ）を更新する（ステップＳ４０）。
【００７６】
目標輝度値（Ｃ）を、例えば輝度値５だけ減少させて、新たな補正カーブｆ１（ｘ）を作成する。このようにして、図１０（ｂ）で示すような新たな階調補正テーブルｆ１（ｘ）を得る。
【００７７】
補正カーブｆ１（ｘ）を更新したら、ステップＳ３７へ戻り、再度、飽和度を算出した後、飽和度の許容値比較を行う（ステップＳ３８）。ステップＳ３８での判定結果がＮＯである場合は、再度ステップＳ３９へ進み、補正量の修正と階調補正テーブルの更新を行う。飽和度が許容値以下（ステップＳ３８でＹＥＳ）となったら、階調補正テーブルを決定し、ステップＳ４１に移る。ステップＳ４１において、階調補正部２０６は、決定した階調補正テーブルを用いて入力画像の補正を行い、処理を終了する。
【００７８】
上記した実施例では、階調補正によりＲＧＢ値のいずれかが２５５値を超えた場合に、階調つぶれが起きる画素数を飽和度としたが、飽和の閾値は上記した値に限定されず、２５５よりも小さい他の値でもよい。
【００７９】
以上説明したように、入力画像中の顔領域を検出して顔領域の平均輝度値を算出して、顔領域の輝度値に基づいた目標輝度値の設定を行い、顔領域の輝度範囲においては”傾き１”以上の階調補正テーブルを作成し、顔以外の領域について顔領域の平均輝度値以上の輝度を持つ画素領域の飽和度を評価して、目標輝度値の修正を行うことで、背景領域の白飛びを抑制しつつ、顔領域の階調性を維持して明るさを向上させることが出来る。
【００８０】
実施例４
実施例４は、入力画像の顔領域を抽出し、顔領域の平均輝度と輝度範囲を特徴量として抽出して階調補正テーブルを作成し、さらに入力画像の撮影シーンを判定することで飽和度（顔領域以外の背景の白飛びや階調つぶれを起こしそうな画素数）の許容閾値を、判定した撮影シーンに応じて可変にすることにより、入力画像のシーンに対応した階調補正テーブルを決定する実施例である。
【００８１】
図１１は、本発明の実施例４の画像処理装置の構成を示す。実施例４の画像処理装置は、実施例３の構成に、シーン判定部３０５を追加したものである。
【００８２】
第１の部分領域抽出部３０１は、入力画像中の人物の顔や人物の肌領域を抽出する。特徴量算出部３０２は、第１の部分領域抽出部３０１で作成された顔領域の領域情報をもとに顔領域内のデータ分布として輝度ヒストグラムを作成し、顔領域の平均輝度値、最大輝度値を算出する。階調補正テーブル作成部３０３は、特徴量算出部３０２で算出された顔領域内の平均輝度と最大輝度を元に階調補正テーブルを作成する。第２の部分領域抽出部３０４は、特徴量算出部３０２から入力される顔領域の平均輝度値を元に、平均輝度値以上の値を持つ画素を入力画像から抽出する。シーン判定部３０５は、入力画像の特徴に基づいて撮影シーンを判定する。階調補正テーブル修正部３０６は、第２の部分領域抽出部３０３で抽出された領域を、階調補正テーブル作成部３０３で作成された階調補正テーブルを用いて階調補正した際に、後述する飽和度が許容範囲にあるか否かを判定し、判定結果に基づいて階調補正テーブルを修正する。階調補正部３０７は、階調補正テーブル修正部３０６で修正された階調補正テーブルに基づいて入力画像の補正を行う。
【００８３】
図１２は、実施例４の処理フローチャートである。実施例４の処理において、実施例３と相違する点は、ステップ５３とステップ５９の処理である。
【００８４】
ステップＳ５１において、前述した実施例と同様にして入力画像中から顔を抽出し、ステップＳ５２において、入力画像中に顔が検出されたか否かを判定し、顔が検出された場合は、ステップＳ５３へ進み、顔が存在しない場合は、処理を終了する。
【００８５】
ステップＳ５３において、シーン判定部３０５は、入力画像のシーン判定を行う。実施例３では、階調つぶれを起こす画素数を飽和度として評価して使用したが、この飽和度合いが許容されるか否かは画像により異なり、例えば、逆光シーンでは背景に明るい画素が多く、その結果、階調補正により飽和する画素数も多くなるため許容度合いが異なる。
【００８６】
そこで、実施例４では、画像の撮影シーンに応じて飽和度合いを許容するか否かの閾値（ｔｈ１）を可変にするために、入力画像のシーンを判定する。シーン判定方法としては、例えば、特開２００２−２４７３６１号公報（段落００１３〜００１６、図４、図５を参照）に記載の方法を用いる（画像の平均的な明るさに比べて、逆光なら極端に明るい背景が存在し、かつ明るさに対する頻度分布が２極化し、夜間撮影なら極端に暗い背景がある。よって、［条件１］画像の平均的な明るさに比べて、極端に明るい部分、もしくは極端に暗い部分が、所定の閾値（割合）以上あるか、［条件２］前記条件を満たすとき、極端に明るい部分、もしくは暗い部分のほとんどは画像端部にあるか、［条件３］逆光画像の可能性がある場合、輝度分布は明と暗とに２極化しているかを調べればよい）。
【００８７】
以下、実施例４のステップ５４〜ステップ５８は、実施例３のステップ３３〜ステップ３７と同様である。ステップＳ５４において、抽出された顔領域の輝度ヒストグラムから平均輝度、最大輝度を算出し、ステップＳ５５において、算出された平均輝度から図４の目標輝度算出テーブルを用いて目標輝度を算出する。ステップＳ５６において、顔領域の平均輝度Ａと目標輝度Ｃ、最大輝度を用いた階調補正カーブを作成する。図１０（ａ）に階調補正カーブを示す。原点（０，０）から顔の平均輝度と補正目標値（Ａ，Ｃ）を通り、（Ａ，Ｃ）から“傾き１”で顔の最大輝度値まで直線を引き、最大輝度値以降は、最大輝度値（２５５，２５５）へ直線を結んだ階調補正テーブルとなる。これにより、顔領域の最大輝度値までは少なくとも”傾き １”以上を保ち、元の顔領域の階調性を維持した補正結果が得られる。
【００８８】
ステップＳ５７において、階調補正テーブル修正部３０６は、顔領域以外における顔領域の平均輝度以上の輝度を持つ領域Ｂを抽出し、ステップＳ５８において、作成した階調補正テーブルを使用した場合に領域Ｂにおける階調の飽和度（式（９））を算出する。
【００８９】
ステップＳ５９において、階調補正テーブル修正部３０６は、算出した飽和度を評価する。算出した飽和度がある閾値ｔｈ１以上の場合、飽和度合い、すなわち階調つぶれが許容されないと判断する。この閾値ｔｈ１をシーン判定の結果に応じて変更する。例えば、図１３に示すように、シーンに応じて切り替える。
【００９０】
この飽和度の評価の結果、階調つぶれが許容されない（つまり、飽和度≧ｔｈ１）と判定された場合、ステップＳ６０において、補正量の修正を行い、この修正結果により新たな階調補正カーブｆ１（ｘ）を更新する（ステップＳ６１）。例えば、目標輝度値（Ｃ）を輝度値５だけ減少させて、新たな補正カーブｆ１（ｘ）を作成する。このようにして、図１０（ｂ）で示すような新たな階調補正テーブルｆ１（ｘ）を得る。
【００９１】
補正カーブｆ１（ｘ）を更新したら、ステップＳ５８へ戻り、再度、飽和度を算出した後、飽和度の許容値比較を行う（ステップＳ５９）。ステップＳ５９での判定結果がＮＯである場合は、再度ステップＳ６０へ進み、補正量の修正と階調補正テーブルの更新を行う。飽和度が許容値以下になったら（ステップＳ５９でＹＥＳ）、階調補正テーブルを決定し、ステップＳ６２に移る。ステップＳ６２では、決定した階調補正テーブルを用いて入力画像の補正を行い、終了する。
【００９２】
実施例４では、階調補正によりＲＧＢ値のいずれかが２５５値を超えた場合に、階調つぶれが起きる画素数を飽和度としたが、実施例３と同様に、飽和の閾値は上記した値に限定されず、２５５よりも小さい他の値でもよい。また、飽和度とは別に、階調補正前後での輝度差が一定値以上となる画素数を求めて、その画素数を予め定めた許容値と比較するといった評価を行ってもよい。
【００９３】
以上説明したように、入力画像中の顔領域を検出して顔領域の平均輝度値を算出して、顔領域の輝度値に基づいた目標輝度値の設定を行い、顔領域の輝度範囲においては”傾き１”以上の階調補正テーブルを作成し、顔以外の領域について顔領域の平均輝度値以上の輝度を持つ画素領域における階調補正後の飽和度を撮影シーンに基づいて評価し、目標輝度値の修正を行うことで、撮影シーンに応じて背景領域の白飛びを抑制しつつ、顔領域の階調性を維持して明るさを向上させることが出来る。
【図面の簡単な説明】
【００９４】
【図１】本発明の実施例１、２の画像処理装置の構成を示す。
【図２】第１の部分領域抽出部における抽出処理のフローチャートを示す。
【図３】実施例１の処理フローチャートを示す。
【図４】平均輝度から目標輝度を設定するテーブル例を示す。
【図５】顔の平均輝度値を、最終的な目標輝度値へ変換する階調補正テーブルの作成例（実施例１）を示す。
【図６】実施例２の処理フローチャートを示す。
【図７】顔の平均輝度値を、最終的な目標輝度値へ変換する階調補正テーブルの作成例（実施例２）を示す。
【図８】実施例３の画像処理装置の構成を示す。
【図９】実施例３の処理フローチャートを示す。
【図１０】実施例３、４により作成される階調補正テーブルを示す。
【図１１】実施例４の画像処理装置の構成を示す。
【図１２】実施例４の処理フローチャートを示す。
【図１３】シーンに応じて切り替える閾値を示す。
【符号の説明】
【００９５】
１０１ 第１の部分領域抽出部
１０２ 第１の特徴量算出部
１０３ 第２の部分領域抽出部
１０４ 第２の特徴量算出部
１０５ 目標値設定部
１０６ 目標値制御部
１０７ 目標値決定部
１０８ 階調補正テーブル作成部
１０９ 階調補正部
【特許請求の範囲】
【請求項１】
画像から第１の部分領域を抽出する第１の領域抽出手段と、前記第１の部分領域に基づいて第１の特徴量を算出する第１の特徴量算出手段と、前記画像から第２の部分領域を抽出する第２の領域抽出手段と、前記第２の部分領域に基づいて第２の特徴量を算出する第２の特徴量算出手段と、前記第１の特徴量に基づいて、前記画像の補正の目標値を設定する目標値設定手段と、前記第１、第２の特徴量に基づいて前記補正の目標値の修正量を制御する目標値制御手段と、前記補正の目標値と前記目標値の修正量に基づいて前記画像の最終的な補正目標値を決定する目標値決定手段と、前記補正目標値に基づいて階調補正テーブルを作成する階調補正テーブル作成手段と、前記階調補正テーブルに基づいて前記画像の階調を補正する階調補正手段とを有することを特徴とする画像処理装置。
【請求項２】
前記第１の領域抽出手段は、前記画像から人物の顔領域、または人物の肌領域の少なくとも一つを抽出することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記第２の領域抽出手段は、前記第１の特徴量に基づいて前記第２の部分領域を抽出することを特徴とする請求項１記載の画像処理装置。
【請求項４】
前記第１の特徴量算出手段は、前記第１の部分領域における輝度分布に基づいて第１の特徴量を算出し、前記第２の特徴量算出手段は、前記第２の部分領域における輝度分布に基づいて第２の特徴量を算出することを特徴とする請求項１記載の画像処理装置。
【請求項５】
前記第１の特徴量は、前記第１の部分領域における平均輝度値であり、前記第２の部分領域は、前記第１の部分領域における平均輝度以上の輝度を持つ部分領域であり、前記第２の特徴量は前記第２の部分領域における平均輝度であることを特徴とする請求項４記載の画像処理装置。
【請求項６】
前記第１の特徴量算出手段は、前記第１の部分領域の輝度分布に基づいて前記第１の部分領域の平均輝度と、前記第１の部分領域における階調性を維持する輝度範囲を算出し、前記階調補正テーブル作成手段は、前記輝度範囲において少なくとも階調数が減少しない階調補正テーブルを設定することを特徴とする請求項１記載の画像処理装置。
【請求項７】
画像から第１の部分領域を抽出する第１の領域抽出手段と、前記第１の部分領域に基づいて第１の特徴量を算出する第１の特徴量算出手段と、前記画像から第２の部分領域を抽出する第２の領域抽出手段と、前記第１の特徴量に基づいて、前記部分領域の輝度範囲において少なくとも階調数が減少しない階調補正テーブルを作成する階調補正テーブル作成手段と、前記階調補正テーブル作成手段により作成された階調補正テーブルによって階調を補正したときの前記第２の部分領域における階調の飽和度に基づいて前記階調補正テーブルを修正する階調補正テーブル修正手段と、前記階調補正テーブル修正手段により修正された階調補正テーブルに基づいて前記画像の階調を補正する階調補正手段とを有することを特徴とする画像処理装置。
【請求項８】
前記画像の撮影シーンを判定するシーン判定手段を更に有し、前記階調補正テーブル修正手段は、前記シーン判定手段によって判定されたシーンと、前記飽和度に基づいて前記階調補正テーブルを修正することを特徴とする請求項７記載の画像処理装置。
【請求項９】
画像から第１の部分領域を抽出する第１の領域抽出工程と、前記第１の部分領域に基づいて第１の特徴量を算出する第１の特徴量算出工程と、前記画像から第２の部分領域を抽出する第２の領域抽出工程と、前記第２の部分領域に基づいて第２の特徴量を算出する第２の特徴量算出工程と、前記第１の特徴量に基づいて、前記画像の補正の目標値を設定する目標値設定工程と、前記第１、第２の特徴量に基づいて前記補正の目標値の修正量を制御する目標値制御工程と、前記補正の目標値と前記目標値の修正量に基づいて前記画像の最終的な補正目標値を決定する目標値決定工程と、前記補正目標値に基づいて階調補正テーブルを作成する階調補正テーブル作成工程と、前記階調補正テーブルに基づいて前記画像の階調補正を行う階調補正工程とを有することを特徴とする画像処理方法。
【請求項１０】
画像から第１の部分領域を抽出する第１の領域抽出工程と、前記第１の部分領域に基づいて第１の特徴量を算出する第１の特徴量算出工程と、前記画像から第２の部分領域を抽出する第２の領域抽出工程と、前記第１の特徴量に基づいて、前記部分領域の輝度範囲において少なくとも階調数が減少しない階調補正テーブルを作成する階調補正テーブル作成工程と、前記階調補正テーブル作成工程により作成された階調補正テーブルによって階調を補正したときの前記第２の部分領域における階調の飽和度に基づいて前記階調補正テーブルを修正する階調補正テーブル修正工程と、前記階調補正テーブル修正工程により修正された階調補正テーブルに基づいて前記画像の階調を補正する階調補正工程とを有することを特徴とする画像処理方法。
【請求項１】
画像から第１の部分領域を抽出する第１の領域抽出手段と、前記第１の部分領域に基づいて第１の特徴量を算出する第１の特徴量算出手段と、前記画像から第２の部分領域を抽出する第２の領域抽出手段と、前記第２の部分領域に基づいて第２の特徴量を算出する第２の特徴量算出手段と、前記第１の特徴量に基づいて、前記画像の補正の目標値を設定する目標値設定手段と、前記第１、第２の特徴量に基づいて前記補正の目標値の修正量を制御する目標値制御手段と、前記補正の目標値と前記目標値の修正量に基づいて前記画像の最終的な補正目標値を決定する目標値決定手段と、前記補正目標値に基づいて階調補正テーブルを作成する階調補正テーブル作成手段と、前記階調補正テーブルに基づいて前記画像の階調を補正する階調補正手段とを有することを特徴とする画像処理装置。
【請求項２】
前記第１の領域抽出手段は、前記画像から人物の顔領域、または人物の肌領域の少なくとも一つを抽出することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記第２の領域抽出手段は、前記第１の特徴量に基づいて前記第２の部分領域を抽出することを特徴とする請求項１記載の画像処理装置。
【請求項４】
前記第１の特徴量算出手段は、前記第１の部分領域における輝度分布に基づいて第１の特徴量を算出し、前記第２の特徴量算出手段は、前記第２の部分領域における輝度分布に基づいて第２の特徴量を算出することを特徴とする請求項１記載の画像処理装置。
【請求項５】
前記第１の特徴量は、前記第１の部分領域における平均輝度値であり、前記第２の部分領域は、前記第１の部分領域における平均輝度以上の輝度を持つ部分領域であり、前記第２の特徴量は前記第２の部分領域における平均輝度であることを特徴とする請求項４記載の画像処理装置。
【請求項６】
前記第１の特徴量算出手段は、前記第１の部分領域の輝度分布に基づいて前記第１の部分領域の平均輝度と、前記第１の部分領域における階調性を維持する輝度範囲を算出し、前記階調補正テーブル作成手段は、前記輝度範囲において少なくとも階調数が減少しない階調補正テーブルを設定することを特徴とする請求項１記載の画像処理装置。
【請求項７】
画像から第１の部分領域を抽出する第１の領域抽出手段と、前記第１の部分領域に基づいて第１の特徴量を算出する第１の特徴量算出手段と、前記画像から第２の部分領域を抽出する第２の領域抽出手段と、前記第１の特徴量に基づいて、前記部分領域の輝度範囲において少なくとも階調数が減少しない階調補正テーブルを作成する階調補正テーブル作成手段と、前記階調補正テーブル作成手段により作成された階調補正テーブルによって階調を補正したときの前記第２の部分領域における階調の飽和度に基づいて前記階調補正テーブルを修正する階調補正テーブル修正手段と、前記階調補正テーブル修正手段により修正された階調補正テーブルに基づいて前記画像の階調を補正する階調補正手段とを有することを特徴とする画像処理装置。
【請求項８】
前記画像の撮影シーンを判定するシーン判定手段を更に有し、前記階調補正テーブル修正手段は、前記シーン判定手段によって判定されたシーンと、前記飽和度に基づいて前記階調補正テーブルを修正することを特徴とする請求項７記載の画像処理装置。
【請求項９】
画像から第１の部分領域を抽出する第１の領域抽出工程と、前記第１の部分領域に基づいて第１の特徴量を算出する第１の特徴量算出工程と、前記画像から第２の部分領域を抽出する第２の領域抽出工程と、前記第２の部分領域に基づいて第２の特徴量を算出する第２の特徴量算出工程と、前記第１の特徴量に基づいて、前記画像の補正の目標値を設定する目標値設定工程と、前記第１、第２の特徴量に基づいて前記補正の目標値の修正量を制御する目標値制御工程と、前記補正の目標値と前記目標値の修正量に基づいて前記画像の最終的な補正目標値を決定する目標値決定工程と、前記補正目標値に基づいて階調補正テーブルを作成する階調補正テーブル作成工程と、前記階調補正テーブルに基づいて前記画像の階調補正を行う階調補正工程とを有することを特徴とする画像処理方法。
【請求項１０】
画像から第１の部分領域を抽出する第１の領域抽出工程と、前記第１の部分領域に基づいて第１の特徴量を算出する第１の特徴量算出工程と、前記画像から第２の部分領域を抽出する第２の領域抽出工程と、前記第１の特徴量に基づいて、前記部分領域の輝度範囲において少なくとも階調数が減少しない階調補正テーブルを作成する階調補正テーブル作成工程と、前記階調補正テーブル作成工程により作成された階調補正テーブルによって階調を補正したときの前記第２の部分領域における階調の飽和度に基づいて前記階調補正テーブルを修正する階調補正テーブル修正工程と、前記階調補正テーブル修正工程により修正された階調補正テーブルに基づいて前記画像の階調を補正する階調補正工程とを有することを特徴とする画像処理方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【公開番号】特開２００９−１２４２６４（Ｐ２００９−１２４２６４Ａ）
【公開日】平成２１年６月４日（２００９．６．４）
【国際特許分類】
【出願番号】特願２００７−２９３５９９（Ｐ２００７−２９３５９９）
【出願日】平成１９年１１月１２日（２００７．１１．１２）
【出願人】（０００００６７４７）株式会社リコー (37,907)
【Ｆターム（参考）】
【公開日】平成２１年６月４日（２００９．６．４）
【国際特許分類】
【出願日】平成１９年１１月１２日（２００７．１１．１２）
【出願人】（０００００６７４７）株式会社リコー (37,907)
【Ｆターム（参考）】
[ Back to top ]