説明

画像補正方法および画像補正装置

【課題】画素値が0の付近の画像に対する画素値の過剰補正を抑制することができるとともに、原画像中の特定の物体の画素値を適切に補正することができること。
【解決手段】横軸の値が0の付近における立ち上がりが緩和された画素値補正関数を用いるとともに、画素値補正関数の最大画素値補正量を補正値算出基準物体の輝度分布に応じて変更すること。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、画像補正方法および画像補正装置に係り、特に、画像中の特定の物体の画素値を補正するのに好適な画像補正方法および画像補正装置に関する。
【背景技術】
【0002】
一般に、カメラ、ディスプレイまたはプリンタ等の画像機器においては、入力画像における画素(以下、入力画素と略称する)の輝度値Yinと、この画素に対応する出力画像における画素(以下、出力画素と略称する)の輝度値Youtとの間に、Yout=Yinγによって表されるガンマ特性の関係式が成立することが知られている。但し、前記関係式において、γはガンマ値と称される画像機器に固有の定数である。
【0003】
このようなガンマ特性の関係式は、複数の画像機器を接続した場合にも成立する。すなわち、例えば、入力側の画像機器としてのガンマ値γのデジタルカメラと、出力側の画像機器としてのガンマ値γのプリンタとを互いに接続し、デジタルカメラによって撮影された被写体の撮影画像をプリンタによって印刷させるような場合について考える。この場合には、被写体の撮影時にデジタルカメラのセンサに入力された被写体における画素単位の輝度値をYin、プリンタによって印刷(出力)される撮影画像における画素の輝度値をYout、デジタルカメラとプリンタとのトータルのガンマ値γ×γをγとおき、輝度値の範囲を0から255とすると、これらYin、Youtおよびγの間に前記関係式と同様のYout=255×(Yin/255)γが成立することになる。
【0004】
そして、このようなガンマ特性により、デジタルカメラからプリンタに入力された撮影画像をそのままの輝度値で印刷した場合には、印刷画像の輝度値が低くなり過ぎてしまい、暗い画像が印刷されてしまうことになる。このような現象は、例えば、デジタルカメラによって撮像された画像をディスプレイに表示させる場合にも生じることになる。
【0005】
このため、従来から、例えば、図10に示すような輝度補正関数を用いることによって、入力側の画像機器と出力側の画像機器とのトータルのガンマ値が1となるようにガンマ値を補正するガンマ補正が行われていた。
【0006】
なお、図10における横軸の値は、出力側の画像機器に入力される入力画素の輝度値を示し、縦軸の値は、横軸の値に対応する補正値としての輝度値を示している。また、図10における複数の輝度補正関数は、それぞれに固有のガンマ値を有するようなガンマ曲線からなる輝度補正関数とされている。このように、輝度補正関数が複数用意されているのは、入力側の画像機器のガンマ値に応じて出力側の画像機器に設定すべきガンマ値(換言すれば、補正特性)が異なるためである。例えば、図10におけるγ=0.4の輝度補正関数は、ガンマ値が2.5とされた入力側の画像機器に対応した輝度値の補正(すなわち、トータルのガンマ値を1にする補正)に用いられる輝度補正関数である。
【先行技術文献】
【特許文献】
【0007】
【特許文献1】特開2008−129797号公報
【発明の概要】
【発明が解決しようとする課題】
【0008】
しかしながら、図10に示したような輝度補正関数は、入力側の画像機器のガンマ値のみに依存した単純なガンマ曲線であるため、入力画像中の特定の物体の輝度値を適切に補正することは困難であった。また、ガンマ値を入力画像中の特定の物体に合わせた輝度補正関数を用いて補正した場合、図10に示したようにガンマ曲線の特性上、入力画素の輝度値が0を超えた位置から出力画素の輝度値(すなわち補正値)が急峻に増加するため、入力画素の輝度値が0の付近において補正過剰となる傾向があった。
【0009】
そこで、本発明は、このような点に鑑みなされたものであり、画素値が0の付近の画像に対する画素値の過剰補正を抑制することができるとともに、原画像中の特定の物体の画素値を適切に補正することができる画像補正方法および画像補正装置を提供することを目的とするものである。
【課題を解決するための手段】
【0010】
前述した目的を達成するため、本発明に係る画像補正方法は、原画像の画素値の補正に用いる画素値補正関数として、前記原画像の画素値を横軸の値、この横軸の値に対応する補正値としての画素値を縦軸の値とした座標上に定義されてなり、前記座標上に仮定された傾きが1の一次関数と、前記座標上に仮定された横軸側が周期側、縦軸側が振幅側とされた正弦関数との合成関数からなり、その縦軸の値が、前記座標上に仮定された原点を通る傾きが1の一次関数における縦軸の値以上となり、その横軸の値が0の付近において、前記座標上に仮定された当該画素値補正関数に接する接線の傾きが、横軸の値の増加にともなって増加し、その縦軸の値と前記原点を通る傾きが1の一次関数における縦軸の値との差分の最大値である最大画素値補正量が、前記原画像中の特定の物体であって前記補正値を算出する際の基準となる物体である補正値算出基準物体の輝度分布に応じて可変となり、前記最大画素値補正量がとられるときの横軸の値である最大補正対象画素値が、前記補正値算出基準物体の輝度分布に応じて可変となるような関数を用いて前記原画像の画素値の補正を行うことを特徴としている。
【0011】
そして、このような方法によれば、横軸の値が0の付近における画素値補正関数の立ち上がりを緩和することができるとともに、最大画素値補正量を補正値算出基準物体の輝度分布に応じて変更することができるので、画素値が0の付近の画素に対する過剰補正を抑制することができるとともに、原画像中の特定の物体としての補正値算出基準物体の画素値を適切に補正することができる。
【0012】
また、前記画素値補正関数として、前記正弦関数の成分の空間的な周期が、前記補正値算出基準物体の輝度分布に応じて可変となるような関数を用いて前記原画像の画素値の補正を行うようにしてもよい。
【0013】
そして、このような方法によれば、最大画素値補正量が大きいほど最大補正対象輝度値よりも横軸の値が小さい範囲における正弦関数の成分の空間的な周期を短くするような方法を採用することもできるので、補正値算出基準物体の輝度分布に応じて最大画素値補正量を大きくする場合であっても、画素値が0の付近における補正値を確実に抑えることができ、画素値が0の付近における過剰補正をさらに有効に防止することができる。
【0014】
さらに、前記画素値補正関数として、前記正弦関数の成分の空間的な周期が、前記最大補正対象画素値よりも横軸の値が大きい範囲と前記最大補正対象画素値よりも横軸の値が小さい範囲とで互いに異なるような関数を用いて前記原画像の画素値の補正を行うようにしてもよい。
【0015】
そして、このような方法によれば、最大補正対象画素値よりも横軸の値が大きい範囲における正弦関数の成分の空間的な周期を、最大補正対象画素値よりも横軸の値が小さい範囲における正弦関数の成分の空間的な周期より長くするような方法を採用することもできるので、高輝度側における補正不足を回避することができる。
【0016】
さらにまた、前記画素値補正関数として、前記輝度分布に示される前記補正値算出基準物体が相対的に暗い場合における前記最大画素値補正量が、前記輝度分布に示される前記補正値算出基準物体が相対的に明るい場合における前記最大画素値補正量よりも大きくなり、前記輝度分布に示される前記補正値算出基準物体が相対的に暗い場合における前記最大補正対象画素値が、前記輝度分布に示される前記補正値算出基準物体が相対的に明るい場合における前記最大補正対象画素値よりも小さくなるような関数を用いて前記原画像の画素値の補正を行うようにしてもよい。
【0017】
そして、このような方法によれば、補正値算出基準物体が暗い場合における補正不足を回避することができるとともに、補正値算出基準物体が明るい場合における過剰補正を回避することができ、さらに、補正値算出基準物体の明るさに応じて局所的な補正が行われる画素値(すなわち、最大補正対象画素値)を適正化することができる。
【0018】
また、前記補正値算出基準物体を、肌色物体としてもよい。
【0019】
そして、このような方法によれば、肌色物体の画素値を適切に補正することができる。
【0020】
さらに、前記原画像の色相における赤色差値の補正に用いる赤色差補正関数として、前記原画像の赤色差値を横軸の値、この横軸の値に対応する補正値としての赤色差値を縦軸の値とした第1の座標上に定義されてなり、その横軸の値が所定の赤色差値よりも大きくなるような前記肌色物体の色に対応するとみなされる横軸の範囲においては、その縦軸の値が、前記横軸の値の増加にともなって前記第1の座標上に仮定された原点を通る傾きが1の一次関数における縦軸の値よりも一旦大きくなった後に当該一次関数における縦軸の値と同値となり、その横軸の値が0以上かつ前記所定の赤色差値以下の範囲においては、その縦軸の値が当該一次関数における縦軸の値と同値となるような関数を用いて前記原画像の赤色差値の補正を行い、かつ、前記原画像の色相における青色差値の補正に用いる青色差補正関数として、前記原画像の青色差値を横軸の値、この横軸の値に対応する補正値としての青色差値を縦軸の値とした第2の座標上に定義されてなり、その横軸の値が0以上かつ所定の青色差値未満となるような前記肌色物体の色に対応するとみなされる横軸の範囲においては、その縦軸の値が、前記横軸の値の減少にともなって前記第2の座標上に仮定された原点を通る傾きが1の一次関数における縦軸の値よりも一旦小さくなった後に当該一次関数における縦軸の値と同値となり、その横軸の値が前記所定の青色差値以上の範囲においては、その縦軸の値が当該一次関数における縦軸の値と同値となるような関数を用いて前記原画像の青色差値の補正を行うことが好ましい。
【0021】
そして、このような方法によれば、原画像の色相を、肌色物体の色に対応した好適な補正特性を有する赤色差補正関数および青色差補正関数を用いて補正することにより、画素値の補正にともなうコントラストの低下を抑制することができる。
【0022】
さらにまた、本発明に係る画像補正装置は、原画像の画素値の補正を行う画素値補正手段を備え、前記画素値補正手段は、前記原画像の画素値の補正に用いる画素値補正関数として、前記原画像の画素値を横軸の値、この横軸の値に対応する補正値としての画素値を縦軸の値とした座標上に定義されてなり、前記座標上に仮定された傾きが1の一次関数と、前記座標上に仮定された横軸側が周期側、縦軸側が振幅側とされた正弦関数との合成関数からなり、その縦軸の値が前記座標上に仮定された原点を通る傾きが1の一次関数における縦軸の値以上となり、その横軸の値が0の付近において前記座標上に仮定された当該画素値補正関数に接する接線の傾きが、横軸の値の増加にともなって増加し、その縦軸の値と前記原点を通る傾きが1の一次関数における縦軸の値との差分の最大値である最大画素値補正量が、前記原画像中の特定の物体であって前記補正値を算出する際の基準となる物体である補正値算出基準物体の輝度分布に応じて可変となり、前記最大画素値補正量がとられるときの横軸の値である最大補正対象画素値が、前記補正値算出基準物体の輝度分布に応じて可変となるような関数を用いて前記原画像の画素値の補正を行うことを特徴としている。
【0023】
そして、このような構成によれば、横軸の値が0の付近における画素値補正関数の立ち上がりを緩和することができるとともに、最大画素値補正量を補正値算出基準物体の輝度分布に応じて変更することができるので、画素値が0の付近の画素に対する画素値の過剰補正を抑制することができるとともに、原画像中の特定の物体としての補正値算出基準物体の画素値を適切に補正することができる。
【0024】
また、前記画素値補正手段による画素値の補正に用いられる前記画素値補正関数は、前記正弦関数の成分の空間的な周期が、前記補正値算出基準物体の輝度分布に応じて可変となるような関数とされていてもよい。
【0025】
そして、このような構成によれば、最大画素値補正量が大きいほど最大補正対象輝度値よりも横軸の値が小さい範囲における正弦関数の成分の空間的な周期を短くするような構成を採用することもできるので、補正値算出基準物体の輝度分布に応じて最大画素値補正量が大きくなる場合であっても、画素値が0の付近における補正値を確実に抑えることができ、画素値が0の付近における過剰補正をさらに有効に防止することができる。
【0026】
さらに、前記画素値補正手段による画素値の補正に用いられる前記画素値補正関数は、前記正弦関数の成分の空間的な周期が、前記最大補正対象画素値よりも横軸の値が大きい範囲と前記最大補正対象画素値よりも横軸の値が小さい範囲とで互いに異なるような関数とされていてもよい。
【0027】
そして、このような構成によれば、最大補正対象画素値よりも横軸の値が大きい範囲における正弦関数の成分の空間的な周期を、最大補正対象画素値よりも横軸の値が小さい範囲における正弦関数の成分の空間的な周期より長くするような方法を採用することもできるので、高輝度側における補正不足を回避することができる。
【0028】
さらにまた、前記画素値補正手段による画素値の補正に用いられる前記画素値補正関数は、前記輝度分布に示される前記補正値算出基準物体が相対的に暗い場合における前記最大画素値補正量が、前記輝度分布に示される前記補正値算出基準物体が相対的に明るい場合における前記最大画素値補正量よりも大きくなり、前記輝度分布に示される前記補正値算出基準物体が相対的に暗い場合における前記最大補正対象画素値が、前記輝度分布に示される前記補正値算出基準物体が相対的に明るい場合における前記最大補正対象画素値よりも小さくなるような関数とされていてもよい。
【0029】
そして、このような構成によれば、補正値算出基準物体が暗い場合における補正不足を回避することができるとともに、補正値算出基準物体が明るい場合における過剰補正を回避することができ、さらに、補正値算出基準物体の明るさに応じて局所的な補正が行われる画素値を適正化することができる。
【0030】
また、前記画素値補正手段による画素値の補正が行われる前記補正値算出基準物体は、肌色物体とされていてもよい。
【0031】
そして、このような構成によれば、画素値補正手段によって肌色物体の画素値を適切に補正することができる。
【0032】
さらに、前記原画像の色相の補正を行う色相補正手段を備え、前記色相補正手段は、前記原画像の色相における赤色差値の補正に用いる赤色差補正関数として、前記原画像の赤色差値を横軸の値、この横軸の値に対応する補正値としての赤色差値を縦軸の値とした第1の座標上に定義されてなり、その横軸の値が所定の赤色差値よりも大きくなるような前記肌色物体の色に対応するとみなされる横軸の範囲においては、その縦軸の値が、前記横軸の値の増加にともなって前記第1の座標上に仮定された原点を通る傾きが1の一次関数における縦軸の値よりも一旦大きくなった後に当該一次関数における縦軸の値と同値となり、その横軸の値が0以上かつ前記所定の赤色差値以下の範囲においては、その縦軸の値が当該一次関数における縦軸の値と同値となるような関数を用いて前記原画像の赤色差値の補正を行い、かつ、前記原画像の色相における青色差値の補正に用いる青色差補正関数として、前記原画像の青色差値を横軸の値、この横軸の値に対応する補正値としての青色差値を縦軸の値とした第2の座標上に定義されてなり、その横軸の値が0以上かつ所定の青色差値未満となるような前記肌色物体の色に対応するとみなされる横軸の範囲においては、その縦軸の値が、前記横軸の値の減少にともなって前記第2の座標上に仮定された原点を通る傾きが1の一次関数における縦軸の値よりも一旦小さくなった後に当該一次関数における縦軸の値と同値となり、その横軸の値が前記所定の青色差値以上の範囲においては、その縦軸の値が当該一次関数における縦軸の値と同値となるような関数を用いて前記原画像の青色差値の補正を行うことが好ましい。
【0033】
そして、このような構成によれば、色相補正手段により、原画像の色相を、肌色物体の色に対応した好適な補正特性を有する赤色差補正関数および青色差補正関数を用いて補正することができるので、画素値の補正にともなうコントラストの低下を抑制することができる。
【発明の効果】
【0034】
本発明によれば、画素値が0の付近の画像に対する画素値の過剰補正を抑制することができるとともに、原画像中の特定の物体の画素値を適切に補正することができる。
【図面の簡単な説明】
【0035】
【図1】本発明に係る画像補正方法の実施形態において、(a)は、原画像の一例を、(b)は、原画像から抽出された補正値算出基準物体としての肌色物体の一例をそれぞれ示す図
【図2】本発明に係る画像補正方法の実施形態において、輝度補正関数群を示すグラフ
【図3】本発明に係る画像補正方法の実施形態において、輝度ヒストグラムを示す図
【図4】本発明に係る画像補正方法の実施形態において、Cr補正関数を示すグラフ
【図5】本発明に係る画像補正方法の実施形態において、Cb補正関数を示すグラフ
【図6】本発明に係る画像補正方法の実施形態を示すフローチャート
【図7】本発明に係る画像補正装置の実施形態を示すハードウェアブロック図
【図8】本発明に係る画像補正装置の実施形態において、輝度補正用ルックアップテーブルを示す図
【図9】本発明に係る画像補正装置の実施形態を示すソフトウェアブロック図
【図10】従来の輝度補正関数の一例を示すグラフ
【発明を実施するための形態】
【0036】
(画像補正方法の実施形態)
以下、本発明に係る画像補正方法の実施形態について、図1乃至図6を参照して説明する。
【0037】
本実施形態においては、原画像の画素値の補正として、原画像の画素値の補正値を算出する際の基準となる物体である補正値算出基準物体としての肌色(換言すれば、薄橙色もしくはペールオレンジ色)の物体(以下、肌色物体と称する)を含む原画像の画素値の補正を行う。
【0038】
なお、前記肌色物体としては、図1(a)に示すような人物の画像1を含む原画像2から抽出された図1(b)に示すような当該人物の頭部のうちの肌色の部分3を挙げることができる。
【0039】
このような肌色物体を含む原画像の輝度値の補正は、例えば、デジタルカメラによって撮影された人物を含む撮影画像において、人物の顔が逆光で暗い場合に、この撮影画像を逆光補正を行った上でプリンタで印刷する場合などに適用することができる。
【0040】
本実施形態においては、原画像の輝度値を補正する際に、原画像から前記肌色物体を抽出し、抽出された前記肌色物体を基準として原画像の輝度値の補正値を算出し、算出された補正値を用いて原画像の輝度値を補正する。
【0041】
ここで、原画像からの前記肌色物体の抽出には、種々の手法を適用すればよい。例えば、原画像に対する所定の画像認識プログラムに従ったコンピュータ(プリンタやディスプレイ等の画像機器の一部であってもよい)による画像認識によって、原画像から前記肌色物体を自動的に抽出するようにしてもよい。あるいは、原画像をパソコンやプリンタ備え付けのディスプレイに表示した上で、このディスプレイを目視しながらのユーザによるポインティングデバイスを用いた選択操作によって原画像から前記肌色物体を抽出するようにしてもよい。前記肌色物体の抽出に画像認識を適用する場合には、例えば、色相、彩度、輝度または明度を適宜用いて原画像に含まれる物体(人、雲または太陽等)をエッジ検出によって検出し、検出された物体の中から、さらに、検出された物体の形状(丸み)や色相等に基づいて前記肌色物体を抽出するようにしてもよい。この他にも、前記肌色物体の抽出には、公知の種々の画像認識方法を適用すればよい。
【0042】
そして、本実施形態においては、原画像から抽出された前記肌色物体の輝度分布に応じて、図2に示すような輝度値の補正特性が互いに異なる予め用意された複数種類(図2においては3種類)の輝度補正関数f、f、fを選択的に用いることによって輝度値の補正を原画像全体の各画素ごとに行う。すなわち、本実施形態においては、前述した輝度値の補正値の算出は、輝度値の補正に用いられる輝度補正関数の選択に相当する。なお、輝度補正関数は、画素値補正関数の一態様である。
【0043】
ここで、図2に示されている輝度補正関数は、第1の輝度補正関数f、第2の輝度補正関数fおよび第3の輝度補正関数fの3種類のみであるが、実際には、前記肌色物体の輝度分布に対応する多数の輝度補正関数が選択的に用いられることになる。すなわち、本実施形態においては、前記肌色物体の輝度分布に応じて輝度値の補正に用いられる輝度補正関数が可変となっている。なお、各輝度補正関数は、シミュレーション等によって予め計算されたものであってもよい。また、肌色物体の輝度分布は、肌色物体の輝度ヒストグラムを作成することによって取得すればよい。前記肌色物体の輝度分布と輝度値の補正に用いられる輝度補正関数との関係の詳細については後述する。
【0044】
図2に示すように、輝度補正関数は、補正対象画素である原画像の画素の輝度値(すなわち、補正前の輝度値)を横軸の値とし、この横軸の値に対応する補正値としての輝度値を縦軸の値とした図2の直交座標上に定義された関数とされている。ただし、図2において、横軸の値は、0〜255の値をとる256階調の輝度値となっている。また、図2において、縦軸の値は、0〜255の値をとる256階調の輝度値となっている。
【0045】
さらに、図2に示すように、輝度補正関数は、その縦軸の値が、図2の座標上に仮定された原点(0,0)を通る傾きが1の一次関数fにおける縦軸の値以上となる関数とされている。具体的には、横軸の値が0の位置においては、輝度補正関数における縦軸の値は一次関数fにおける縦軸の値と同値0となる。また、横軸の値が255付近の所定の横軸の範囲(図2おいては約240〜255)においても、輝度補正関数における縦軸の値は一次関数fにおける縦軸の値と同値となっている。さらに、これら以外の横軸の範囲(図2における大部分の範囲)においては、輝度補正関数における縦軸の値は、一次関数fにおける縦軸の値よりも大きくなっており、形状としてみれば、図2に示すように、一次関数fに対して縦軸の値が大きくなる側に弦状に膨出したような曲線形状を呈している。
【0046】
さらにまた、図2に示すように、輝度補正関数は、その横軸の値が0の付近において、図2の座標上に仮定された当該輝度補正関数に接する接線(図示せず)の傾きが、横軸の値の増加にともなって増加するような形状を有している。なお、第1の輝度補正関数fについては、横軸の値が0〜16の範囲において、接線の傾きの増加特性がみられる。また、第2の輝度補正関数fについては、横軸の値が0〜32の範囲において、接線の傾きの増加特性がみられる。さらに、第3の輝度補正関数fについては、横軸の値が0〜64の範囲において、接線の傾きの増加特性がみられる。さらにまた、輝度補正関数は、横軸の値が0の付近において接線の傾きが横軸の値の増加にともなって増加した後に、変曲点Pに到達してからは、接線の傾きが横軸の値の増加にともなって減少するような形状を有している。なお、図2に示すように、変曲点Pは輝度補正関数f、f、fごとに異なっている。また、輝度補正関数は、横軸の値が0以上かつ最大補正対象輝度値未満の横軸の範囲においては、接線の傾きが1よりも大きくなるような形状を有している。ただし、最大補正対象輝度値とは、輝度補正関数における縦軸の値と一次関数fにおける縦軸の値との差分の最大値(当該輝度補正関数における最大値)である最大輝度補正量がとられるときの横軸の値をいう。例えば、図2においては、第1の輝度補正関数fに対応する最大補正対象輝度値が32、第2の輝度補正関数fに対応する最大補正対象輝度値が64、第3の輝度補正関数fに対応する最大補正対象輝度値が96となっている。なお、最大補正対象輝度値は、最大補正対象画素値の一態様であり、また、最大輝度補正量は、最大画素値補正量の一態様である。また、前述した変曲点Pにおける横軸の値は、変曲点Pがとられる輝度補正関数の最大補正対象輝度値よりも小さくなっている。さらに、輝度補正関数は、横軸の値が最大補正対象輝度値以上の範囲においては、その接線の傾きが1以下となるような形状を有している。
【0047】
また、図2に示すように、各輝度補正関数f、f、fは、最大輝度補正量およびこの最大輝度補正量がとられるときの前述した最大補正対象輝度値が互いに異なっている。具体的には、図2に示す3種類の輝度補正関数f、f、fの中で、第1の輝度補正関数fは、最大輝度補正量が最も大きくなり、また、前述のように、最大補正対象輝度値が最も小さくなる。逆に、第3の輝度補正関数fは、最大輝度補正量が最も小さくなり、また、前述のように、最大補正対象輝度値が最も大きくなる。また、各輝度補正関数f、f、fが、前記肌色物体の輝度分布に応じて選択的に用いられることについては前述のとおりである。
【0048】
このようなことから、本実施形態における原画像の輝度値の補正に用いられる輝度補正関数(すなわち、前記肌色物体の輝度分布に応じて選択的に用いられる複数の輝度補正関数の組み合わせ)は、最大輝度補正量および最大補正対象輝度値が、前記肌色物体の輝度分布に応じて可変となる関数(関数群)ということができる。
【0049】
さらに、本実施形態においては、前記肌色物体が暗いほど、最大輝度補正量が大きく、かつ、最大補正対象輝度値が小さくなるような輝度補正関数を選択して輝度値の補正に用いるようになっている。具体的には、図2に示す第1の輝度補正関数fを用いた輝度値の補正が行われる原画像は、第2の輝度補正関数fを用いた輝度値の補正が行われる原画像よりも原画像中の前記肌色物体が暗い画像となる。同様に、第2の輝度補正関数fを用いた輝度値の補正が行われる原画像は、第3の輝度補正関数fを用いた輝度値の補正が行われる原画像よりも原画像中の前記肌色物体が暗い画像となる。
【0050】
このようなことから、本実施形態における原画像の輝度値の補正に用いられる輝度補正関数は、輝度分布に示される前記肌色物体が相対的に暗い場合における最大輝度補正量が、輝度分布に示される前記肌色物体が相対的に明るい場合における最大輝度補正量よりも大きくなり、輝度分布に示される前記肌色物体が相対的に暗い場合における最大補正対象輝度値が、輝度分布に示される前記肌色物体が相対的に明るい場合における最大補正対象輝度値よりも小さくなるような関数(関数群)ということができる。
【0051】
さらにまた、本実施形態における輝度補正関数は、図2の座標上に仮定された傾きが1の一次関数(図示せず)と、図2の座標上に仮定された横軸側が周期(空間的な周期)側、縦軸側が振幅側とされた正弦関数(図示せず)との合成関数からなる関数とされている。具体的には、輝度補正関数は、以下の各パラメータを用いた(1)〜(3)の関係式を満足するようになっている。
【0052】
Y:出力画素値
X:入力画素値
:基準入力画素値
sp:正弦関数が最大値となる入力画素値
SP:正弦関数の最大値の基準値
SP:正弦関数の最大値の減衰率
cr:正弦関数の周期変化率
:正弦関数の周期変化の基準値
(X≦Xspの場合)
Y=X+SP−(Xsp−X)×SP
+{SP−(Xsp−X)×SP}×sin{π×(X/Xsp−1/2)}
・・・(1)
【0053】
(Xsp<X≦T+(Xsp−X)×Tcrの場合)
Y=X+SP−(Xsp−X)×SP
+{SP−(Xsp−X)×SP
×sin[π×〔1/2+(X−Xsp)/{T+(Xsp−X)×Tcr−Xsp}〕]
・・・(2)
【0054】
(X>T+(Xsp−X)×Tcrの場合)
Y=X ・・・(3)
【0055】
但し、(1)〜(3)式におけるYの値は、図2の縦軸の値すなわち輝度値の補正値である。また、(1)〜(3)式におけるXの値は、図2の横軸の値すなわち原画像の画素(補正対象画素)の輝度値(補正対象輝度値)である。さらに、(1)および(2)式におけるXspの値は、前述した最大補正対象輝度値に相当する。さらにまた、Tcr、Tは、後述する(2)式の正弦関数の成分についての空間的な周期が、Xspに応じてどのように異なる(変化する)のかを示すパラメータということができる。また、(1)〜(3)式におけるX、YおよびXsp以外のパラメータは、全ての輝度補正関数に共通の定数である。具体的には、X=16、SP=40、SP=0.4、Tcr=0.5、T=210とされている。
【0056】
(1)〜(3)式に示すように、輝度補正関数は、YおよびXを変数とし、Xの値の範囲に応じてYの値が(1)〜(3)式のいずれかの特性を示すような関数(連続関数)とされている。なお、(1)式においては、一次関数の成分がX+SP−(Xsp−X)×SPとされ、正弦関数の成分が{SP−(Xsp−X)×SP}×sin{π×(X/Xsp−1/2)}とされている。また、(2)式においては、一次関数の成分がX+SP−(Xsp−X)×SPとされ、正弦関数の成分がsin[π×〔1/2+(X−Xsp)/{T+(Xsp−X)×Tcr−Xsp}〕]とされている。さらに(3)式においては、一次関数の成分がXとされ、正弦関数の成分が0とされており、この(3)式は、実質的な輝度値の補正を行わない関数部分となっている。
【0057】
ここで、(1)〜(3)式のそれぞれにおける一次関数の成分および正弦関数の成分は、図2の横軸の値に相当するXと、図2の縦軸の値に相当するYとを変数としているので、これら一次関数の成分および正弦関数の成分は、図2の座標上に仮定された関数ということができる。
【0058】
そして、本実施形態においては、図2に示したような複数種類の輝度補正関数の中から原画像の輝度値の補正に用いる輝度補正関数を選択する際に、(1)および(2)式におけるXspの値が前記肌色物体の輝度分布に応じた値となるような輝度補正関数を選択する。具体的には、まず、図3に示すような前記肌色物体の輝度分布を表す輝度ヒストグラムを作成する。図3に示すように、輝度ヒストグラムは、前記肌色物体の画素の輝度値を横軸の値とし、この横軸の値に対応する前記肌色物体の画素数を縦軸の値としている。すなわち、輝度ヒストグラムは、前記肌色物体に含まれる各画素の輝度値の分布を示しており、この輝度ヒストグラムにおける縦軸の値が大きければ、その大きな縦軸の値の輝度値を有する画素が前記肌色物体内に最も数多く存在することを意味している。
【0059】
そして、このような輝度ヒストグラムを作成した上で、この輝度ヒストグラムに基づいて、前記肌色物体が暗いとみなせる画像であるか否かを、所定の判定基準を用いて判定する暗さ判定を行う。なお、暗さ判定の判定基準としては、例えば、輝度ヒストグラムから算出される前記肌色物体の平均輝度値が、暗さ判定に適するとみなされる所定値(例えば、64)以下であり、かつ、輝度ヒストグラムにおける低輝度側から数えた累積画素数が多数側の所定%(例えば、90%)となる位置における輝度値(以下、高輝度側輝度値と称する)yが、輝度ヒストグラムにおける低輝度側から数えた累積画素数が少数側の所定%(例えば、10%)となる位置における輝度値(以下、低輝度側輝度値と称する)yの2倍以上である場合には、判定結果が肯定的となるような判定基準を用いるようにしてもよい。なお、図3には、高輝度側輝度値yの一例として輝度値76が、低輝度側輝度値yの一例として輝度値31がそれぞれ示されている。
【0060】
そして、このような判定基準を用いた暗さ判定において肯定的な判定結果(前記肌色物体が暗いとみなせる旨の判定結果)が得られた場合には、(1)および(2)式におけるXspの値を2yと決定する。すなわち、この場合には、2yにおいて正弦関数が最大値となるような輝度補正関数を、原画像の輝度値の補正に用いる輝度補正関数として選択する。一方、前記暗さ判定において否定的な判定結果(前記肌色物体が明るいとみなせる旨の判定結果)が得られた場合には、(1)および(2)式におけるXspの値をyと決定する。すなわち、この場合には、yにおいて正弦関数が最大値となるような輝度補正関数を、原画像の輝度値の補正に用いる輝度補正関数として選択する。
【0061】
このような暗さ判定に基づく輝度補正関数の選択は、輝度補正関数における最大輝度補正量および最大補正対象輝度値が、前記肌色物体の輝度分布に応じて可変となることを意味していることに他ならない。さらに、前記暗さ判定によれば、前記肌色物体が暗いほどXspの値が2yとなり、また、2y自体の値も小さくなる傾向にある。したがって、前記暗さ判定に基づく輝度補正関数の選択は、前記肌色物体が相対的に暗い場合に選択される輝度補正関数の最大輝度補正量が、前記肌色物体が相対的に明るい場合に選択される輝度補正関数の最大輝度補正量よりも大きくなり、前記肌色物体が相対的に暗い場合に選択される輝度補正関数の最大補正対象輝度値が、前記肌色物体が相対的に明るい場合に選択される輝度補正関数の最大補正対象輝度値よりも小さくなることを意味していることに他ならない。
【0062】
さらに、本実施形態において、輝度補正関数は、(1)式および(2)式にそれぞれ示した正弦関数の成分の空間的な周期(すなわち波長)が、前記肌色物体の輝度分布に応じて可変となるような関数とされている。具体的には、(1)式における正弦関数の成分の空間的な周期は2Xspであるが、Xspの値が前記肌色物体の輝度分布に応じて異なることは前述のとおりであるので、2Xspについても、当然に前記肌色物体の輝度分布に応じて異なることになる。また、(2)式における正弦関数の成分の空間的な周期は2×{T+(Xsp−X)×Tcr−Xsp}である。この(2)式における周期についても、Xspを含んでいるので、前記肌色物体の輝度分布に応じて異なることになる。より具体的には、本実施形態においては、輝度補正関数における最大輝度補正量が大きい輝度補正関数ほど、最大補正対象輝度値よりも横軸の値が小さい範囲においては輝度補正関数における正弦関数の成分の空間的な周期が短くなり、最大補正対象輝度値よりも横軸の値が大きい範囲においては輝度補正関数における正弦関数の成分の空間的な周期が長くなるようになっている。例えば、図2に示した3種類の輝度補正関数f、f、fにおいては、最大輝度補正量が最も大きくなる第1の輝度補正関数fにおける正弦関数の成分の空間的な周期が最大補正対象輝度値よりも横軸の値が小さい範囲においては最も短く、最大補正対象輝度値よりも横軸の値が大きい範囲においては最も長くなっている。
【0063】
さらにまた、本実施形態において、輝度補正関数は、正弦関数の成分の空間的な周期が、最大補正対象輝度値よりも横軸の値が大きい範囲と最大補正対象輝度値よりも横軸の値が小さい範囲とで互いに異なるような関数とされている。このことは、図2を見ても明らかであるし、また、(1)式においては正弦関数の成分の空間的な周期が2Xspであるのに対して、(2)式においては正弦関数の成分の空間的な周期が2×{T+(Xsp−X)×Tcr−Xsp}であることからも明らかである。より具体的には、本実施形態においては、最大補正対象輝度値よりも横軸の値が小さい範囲における空間的な周期の方が、最大補正対象輝度値よりも横軸の値が大きい範囲における空間的な周期よりも短くなっている。
【0064】
以上述べた方法によれば、横軸の値が0の付近における輝度補正関数の立ち上がりを緩和することができるとともに、最大輝度補正量を前記肌色物体の輝度分布に応じて変更することができるので、輝度値が0の付近の画素に対する過剰補正を抑制することができるとともに、原画像の輝度値を適切に補正することができる。また、最大輝度補正量が大きいほど最大補正対象輝度値よりも横軸の値が小さい範囲における正弦関数の成分の空間的な周期を短くすることができるので、前記肌色物体の輝度分布に応じて最大画素値補正量が大きくなる場合であっても、画素値が0の付近における補正値を確実に抑えることができ、画素値が0の付近における過剰補正をさらに有効に防止することができる。さらに、最大補正対象輝度値よりも横軸の値が大きい範囲における正弦関数の成分の空間的な周期を、最大補正対象輝度値よりも横軸の値が小さい範囲における正弦関数の成分の空間的な周期より長くすることができるので、高輝度側における補正不足を回避することができる。さらにまた、前記肌色物体が暗い場合における補正不足を回避することができるとともに、前記肌色物体が明るい場合における過剰補正を回避することができ、さらに、前記肌色物体の明るさに応じて局所的な補正が行われる輝度値(すなわち、最大補正対象輝度値)を適正化することができる。
【0065】
上記方法に加えて、さらに、本実施形態においては、図4に示す赤色差補正関数としてのCr補正関数fCrを用いることによって、原画像の色相における赤色差値としてのCr値の補正を行う。ここで、図4に示すように、Cr補正関数fCrは、原画像の画素(補正対象画素)のCr値を横軸の値、この横軸の値に対応する補正値としてのCr値を縦軸の値とした図4の直交座標(第1の座標)上に定義された関数とされている。また、Cr補正関数fCrは、その横軸の値が128(所定の赤色差値)よりも大きくなるような横軸の範囲すなわち前記肌色物体の色(肌色)に対応するとみなされる横軸の範囲においては、その縦軸の値が、横軸の値の増加にともなって図4の座標上に仮定された原点を通る傾きが1の一次関数fにおける縦軸の値よりも一旦大きくなった後に当該一次関数fにおける縦軸の値と同値となるような関数とされている。また、Cr補正関数fCrは、その横軸の値が0以上かつ128以下の範囲においては、その縦軸の値が当該一次関数fにおける縦軸の値と同値となるような実質的なCr値の補正を行わない関数とされている。なお、図4に示すように、Cr補正関数fCrにおける縦軸の値と一次関数fにおける縦軸の値との差分に相当するCr値の補正量は、140〜160の範囲が相対的に大きくなっている。
【0066】
上記方法に加えて、さらに、本実施形態においては、図5に示す青色差補正関数としてのCb補正関数fCbを用いることによって、原画像の色相における青色差値としてのCb値の補正を行う。ここで、図5に示すように、Cb補正関数fCbは、原画像の画素(補正対象画素)のCb値を横軸の値、この横軸の値に対応する補正値としてのCb値を縦軸の値とした図5の直交座標(第2の座標)上に定義された関数とされている。また、Cb補正関数fCbは、その横軸の値が0以上かつ128(所定の青色差値)未満となるような横軸の範囲すなわち前記肌色物体の色(肌色)に対応するとみなされる横軸の範囲においては、その縦軸の値が、横軸の値の減少にともなって図5の座標上に仮定された原点を通る傾きが1の一次関数fにおける縦軸の値よりも一旦小さくなった後に当該一次関数fにおける縦軸の値と同値となるような関数とされている。また、Cb補正関数fCbは、その横軸の値が128以上の範囲においては、その縦軸の値が当該一次関数fにおける縦軸の値と同値となるような実質的なCb値の補正を行わない関数とされている。なお、図5に示すように、Cb補正関数fCbにおける縦軸の値と一次関数fにおける縦軸の値との差分に相当するCb値の補正量は、96〜106の範囲が相対的に大きくなっている。なお、Cr補正関数およびCb補正関数は、シミュレーション等によって予め計算されたものであってもよい。
【0067】
このような方法によれば、原画像の色相を、前記肌色物体の色に対応した好適な補正特性を有するCr補正関数fCrおよびCb補正関数fCbを用いて補正することにより、輝度値の補正にともなうコントラストの低下を抑制することができる。
【0068】
次に、本実施形態の具体例について、図6のフローチャートを参照して説明する。
【0069】
なお、便宜上、初期状態においては、図2に示したような輝度分布に応じた補正特性を有する輝度補正関数(群)、図4に示したようなCr補正関数および図5に示したようなCb補正関数が、例えば、プリンタやディスプレイ等の画像機器に備えられたROM等のメモリに記憶された状態で用意されているものとする。なお、複数種類の輝度補正関数については、各輝度補正関数にそれぞれ対応する輝度分布(前述した暗さ判定の判定結果)、低輝度側輝度値および高輝度側輝度値との対応関係を持たせたテーブルの状態としてメモリに記憶させておけばよい。このような輝度補正関数を用いた原画像の輝度値の補正およびCr補正関数ならびにCb補正関数を用いた原画像の色相の補正は、例えば、画像機器に内蔵されたROM等のメモリに格納された輝度および色相補正用のプログラムを、画像機器のCPUが実行することによって行うようにすればよい。
【0070】
そして、初期状態から、まず、図6のステップ1(ST1)に示すように、原画像の画像データを画像機器の画像バッファに保存する。なお、原画像は、画像機器に接続された画像入力デバイス(例えば、デジタルカメラやメモリカード等)から入力されたものである。
【0071】
次いで、ステップ2(ST2)においては、ステップ1(ST1)において画像バッファに保存された原画像の画像データを所定のサイズ(例えば、出力サイズ)に縮小する。
【0072】
次いで、ステップ3(ST3)においては、ステップ2(ST2)においてデータサイズが縮小された原画像の画像データから、前述した画像認識方法によって前記肌色物体を抽出する。
【0073】
次いで、ステップ4(ST4)においては、ステップ3(ST3)において抽出された前記肌色物体に基づいて、前記肌色物体の平均輝度値yaveを算出する。
【0074】
次いで、ステップ5(ST5)においては、前記肌色物体の輝度ヒストグラムを作成する。
【0075】
次いで、ステップ6(ST6)においては、ステップ5(ST5)において作成された輝度ヒストグラムに基づいて、輝度ヒストグラムにおける低輝度側から数えた累積画素数が10%となる横軸位置における輝度値を低輝度側輝度値yとして算出するとともに、輝度ヒストグラムにおける低輝度側から数えた累積画素数が90%となる横軸位置における輝度値を高輝度側輝度値yとして算出する(図3参照)。
【0076】
次いで、ステップ7(ST7)においては、前述した暗さ判定として、ステップ4(ST4)において算出された平均輝度値yaveが64以下であり、かつ、ステップ6(ST6)において算出された低輝度側輝度値yと高輝度側輝度値yとの間にy≧2yの関係が成立するか否かを判定する。そして、この暗さ判定において肯定的な判定結果が得られた場合にはステップ8(ST8)に進み、否定的な判定結果が得られた場合にはステップ12(ST12)に進む。
【0077】
ここで、ステップ8(ST8)以後の処理について先に説明すると、まず、ステップ8(ST8)においては、2yが最大補正対象輝度値となるような輝度補正関数を補正対象画素の輝度値の補正に用いる輝度補正関数として選択する。
【0078】
次いで、ステップ9(ST9)においては、選択された輝度補正関数を用いることによって、画像バッファに保存されている原画像全体(画像データ)の輝度値を画素ごとに補正する。
【0079】
次いで、ステップ10(ST10)においては、Cr補正関数を用ることによって、画像バッファに保存されている原画像全体(画像データ)のCr値を画素ごとに補正するとともに、Cb補正関数を用ることによって、原画像全体(画像データ)のCb値を画素ごとに補正する。
【0080】
次いで、ステップ11(ST11)においては、輝度値および色相補正後の画像データを画像機器における出力部(印字部や表示部等)に出力して処理を終了する。
【0081】
一方、ステップ12(ST12)においては、yが最大補正対象輝度値となるような輝度補正関数を補正対象画素の輝度値の補正に用いる輝度補正関数として選択してステップ9(ST9)に進む。
(画像補正装置の実施形態)
【0082】
次に、本発明に係る画像補正装置の実施形態について、図7乃至図9を参照して説明する。
【0083】
なお、前述した画像補正方法の実施形態と基本的な方法が同一もしくはこれに類する箇所については、同一の符号を用いて説明する。
【0084】
図7は、本実施形態における画像補正装置を備えた画像機器5のハードウェア構成を示すものであり、この画像機器5はプリンタやディスプレイ等であってもよい。
【0085】
図7に示すように、画像機器5は、入力インターフェース(I/F)7を有しており、この入力インターフェース7には、画像機器5に対して原画像の画像データを入力する画像入力デバイス8が接続されている。この画像入力デバイス8は、例えば、デジタルカメラやメモリカードであってもよい。
【0086】
また、画像機器5は、入力インターフェース7に接続された画像データバッファ10を有しており、この画像データバッファ10には、画像入力デバイス8から入力された原画像の画像データが保存されるようになっている。
【0087】
さらに、画像機器5は、画像データバッファ10に接続されたCPU11を有しており、このCPU11は、画像データバッファ10に保存された原画像の輝度値および色相の補正を行い、補正後の画像データを出力するようになっている。
【0088】
さらにまた、画像機器5は、CPU11に接続されたRAM12を有しており、このRAM12は、CPU11による処理結果の一時的な保存等に用いられるようになっている。
【0089】
また、画像機器5は、CPU11に接続されたROM14を有しており、このROM14内には、CPU11の実行プログラムとして、輝度補正用プログラムおよび色相補正用プログラムが記憶されている。そして、CPU11は、ROM14内に記憶された輝度補正用プログラムを実行することによって、画像データバッファ10に保存された原画像の画像データにおける輝度値の補正を行うようになっている。また、CPU11は、ROM14内に記憶された色相補正用プログラムを実行することによって、画像データバッファ10に保存された原画像の画像データにおける色相の補正を行うようになっている。さらに、ROM14内には、図2に示した輝度補正関数(群)が、CPU11による原画像の輝度値の補正の際にCPU11が読み出し可能な状態として記憶されている。より具体的には、ROM14内には、予め計算された輝度補正関数のデータとして、例えば、図8に示すようなデータ構造を持った輝度補正用ルックアップテーブルが記憶されている。図8に示す輝度補正用ルックアップテーブルは、前述した画像補正方法の実施形態における前記肌色物体の暗さ判定の判定結果が肯定的である場合に用いられる第1のテーブルTと、当該判定結果が否定的である場合に用いられる第2のテーブルTとによって構成されている。図8に示すように、第1のテーブルTには、暗さ判定が肯定的な場合の最大補正対象輝度値としての2yの数値範囲と、各数値範囲にそれぞれ対応する輝度補正関数の種類(f、f、f・・・)とが互いに対応した状態で格納されている。また、図8に示すように、第2のテーブルTには、暗さ判定が否定的な場合の最大補正対象輝度値としてのyの数値範囲と、各数値範囲にそれぞれ対応する輝度補正関数の種類(f、f、f・・・)とが互いに対応した状態で格納されている。さらに、ROM14内には、予め計算された図4に示したCr補正関数のデータおよび図5に示したCb補正関数のデータが、CPU11による原画像の色相の補正の際にCPU11が読み出し可能な状態として記憶されている。
【0090】
図7に戻って、画像機器5は、画像データバッファ10に接続された出力インターフェース(I/F)15および出力インターフェース15に接続された画像出力部16を有している。CPU11は、原画像の輝度値および色相が補正された補正後の画像の画像データを、出力インターフェース15を介して画像出力部16へと出力するようになっている。そして、画像出力部16は、CPU11から出力され補正後の画像データを出力するようになっている。この画像出力部16は、補正後の画像データを印字によって出力するプリンタの印字部であってもよいし、また、補正後の画像データを表示によって出力するディスプレイの表示部であってもよい。
【0091】
さらにまた、CPU11には、原画像の輝度値および色相の補正を指示するための入力操作が可能とされたボタン等の入力操作部17が接続されており、CPU11は、この入力操作部17による入力操作にともなって、原画像の輝度値および色相の補正を行うようになっている。
【0092】
次に、CPU11についてさらに詳述すると、図9に示すように、CPU11は、大別して、画像補正装置としての画像補正部18と出力処理部19との2つの機能ブロックを有している。
【0093】
また、図9に示すように、画像補正部18は、画像縮小部20と、輝度補正手段としての輝度補正部21と、色相補正手段としての色相補正部22との3つの機能ブロックによって構成されている。
【0094】
画像縮小部20は、画像データバッファ10に保存された原画像の画像データのデータサイズを縮小する処理を行うようになっている。この画像縮小部20による処理は、図6のステップ2(ST2)に示した処理と同様の処理である。
【0095】
図9に示すように、輝度補正部21は、その機能ブロックの1つとして、肌色物体抽出部23を有しており、この肌色物体抽出部23は、画像縮小部20によってデータサイズが縮小された後の画像データから、画像認識等によって前記肌色物体を抽出する処理を行うようになっている。この肌色物体抽出部23による処理は、図6のステップ3(ST3)に示した処理と同様の処理である。
【0096】
さらにまた、輝度補正部21は、その機能ブロックの1つとして、平均輝度値算出部24を有しており、この平均輝度値算出部24は、肌色物体抽出部23によって抽出された前記肌色物体に基づいて、前記肌色物体の平均輝度値を算出する処理を行うようになっている。この平均輝度値算出部24による処理は、図6のステップ4(ST4)に示した処理と同様の処理である。
【0097】
また、輝度補正部21は、その機能ブロックの1つとして、輝度ヒストグラム作成部25を有しており、この輝度ヒストグラム作成部25は、肌色物体抽出部23によって抽出された前記肌色物体に基づいて、前記肌色物体の輝度ヒストグラム(図3参照)を作成する処理を行うようになっている。この輝度ヒストグラム作成部25による処理は、図6のステップ5(ST5)に示した処理と同様の処理である。
【0098】
さらに、輝度補正部21は、その機能ブロックの1つとして、低輝度側輝度値算出部27を有しており、この低輝度側輝度値算出部27は、輝度ヒストグラム作成部25によって作成された輝度ヒストグラムに基づいて、輝度ヒストグラムにおける低輝度側から数えた累積画素数が少数側の所定%(例えば、10%)となる輝度値を低輝度側輝度値yとして算出する処理を行うようになっている。この低輝度側輝度値算出部27による処理は、図6のステップ6(ST6)に示した処理と同様の処理である。
【0099】
さらにまた、輝度補正部21は、その機能ブロックの1つとして、高輝度側輝度値算出部28を有しており、この高輝度側輝度値算出部28は、輝度ヒストグラム作成部25によって作成された輝度ヒストグラムに基づいて、輝度ヒストグラムにおける低輝度側から数えた累積画素数が多数側の所定%(例えば、90%)となる輝度値を高輝度側輝度値yとして算出する処理を行うようになっている。この高輝度側輝度値算出部28による処理は、図6のステップ6(ST6)に示した処理と同様の処理である。
【0100】
また、輝度補正部21は、その機能ブロックの1つとして、暗さ判定部29を有しており、この暗さ判定部29は、平均輝度値算出部24、低輝度側輝度値算出部27および高輝度側輝度値算出部28のそれぞれによる算出結果を用いることによって、前記肌色物体に対する暗さ判定処理を行うようになっている。この暗さ判定部29による処理は、図6のステップ7(ST7)に示した処理と同様の処理である。
【0101】
さらに、輝度補正部21は、その機能ブロックの1つとして、輝度補正関数選択部30を有しており、この輝度補正関数選択部30は、暗さ判定部29の判定結果に基づいて、原画像の輝度値の補正に用いる輝度補正関数を、図8に示した輝度補正用ルックアップテーブルから選択する処理を行うようになっている。具体的には、輝度補正関数選択部30は、暗さ判定部29による判定結果が肯定的な場合には、低輝度側輝度値算出部27によって算出された低輝度側輝度値yの2倍値2yに対応する輝度補正関数を第1のテーブルTから選択するようになっている。また、輝度補正関数選択部30は、暗さ判定部29による判定結果が否定的な場合には、高輝度側輝度値算出部28によって算出された高輝度側輝度値yに対応する輝度補正関数を第2のテーブルTから選択するようになっている。この輝度補正関数選択部30による処理は、図6のステップ8(ST8)またはステップ12(ST12)に示した処理と同様の処理である。
【0102】
さらにまた、輝度補正部21は、輝度補正実行部31を有しており、この輝度補正実行部31は、輝度補正関数選択部30によって選択された輝度補正関数を用いて原画像全体の輝度値を画素ごとに補正する処理を実行するようになっている。この輝度補正実行部31による処理は、図6のステップ9(ST9)に示した処理と同様の処理である。
【0103】
図9に示すように、前述した色相補正部22は、その機能ブロックの1つとして、Cr補正実行部33を有しており、このCr補正実行部33は、ROM14内のCr補正関数を読み出し、読み出されたCr補正関数を用いることによって、原画像全体のCr値を画素ごとに補正する処理を実行するようになっている。このCr補正実行部33による処理は、図6のステップ10(ST10)に示した処理と同様の処理である。
【0104】
また、色相補正部22は、その機能ブロックの1つとして、Cb補正実行部34を有しており、このCb補正実行部34は、ROM14内のCb補正関数を読み出し、読み出されたCb補正関数を用いることによって、原画像全体のCb値を画素ごとに補正する処理を実行するようになっている。このCb補正実行部34による処理は、図6のステップ10(ST10)に示した処理と同様の処理である。
【0105】
このような構成によれば、輝度補正部21により、図2に示したような輝度補正関数群を前記肌色物体の輝度分布に応じて選択的に用いることによって、原画像の輝度値を適切に補正することができるとともに、色相補正部22により、図4に示したCr補正関数および図5に示したCb補正関数を用いることによって、原画像の色相を適切に補正することができる。
【0106】
なお、出力処理部19は、画像補正部18によって輝度値および色相が補正された補正後の画像を画像出力部16へと出力する処理を行うようになっている。この出力処理部19による処理は、図6のステップ11(ST11)に示した処理と同様の処理である。
【0107】
以上述べたように、本発明によれば、横軸の値が0の付近における輝度補正関数の立ち上がりを緩和することができるとともに、最大輝度補正量を前記肌色物体の輝度分布に応じて変更することができるので、輝度値が0の付近の画素に対する過剰補正を抑制することができるとともに、原画像の輝度値を適切に補正することができる。
【0108】
なお、本発明は、このような方法または構成に限定されるものではなく、必要に応じて種々の変更が可能である。
【0109】
例えば、本発明は、原画像の画素値として、R値、G値またはB値といった輝度値以外の画素値の補正にも有効に適用することができる。具体的には、原画像のR値を補正する場合には、R値の補正関数として、図2の横軸の値を原画像の画素(補正対象画素)のR値、縦軸の値を補正値としてのR値にそれぞれ置き換えた図2の輝度補正関数群と全く同一の補正特性(関数の形状)を有するR値の補正関数群を、前記肌色物体の輝度分布(輝度ヒストグラム)に応じて選択的に用いるようにすればよい。このことは、原画像のG値およびB値の補正を行う場合にもそのまま適用することができる。
【0110】
また、本発明は、前記肌色物体以外の補正値算出基準物体に適用するようにしてもよい。
【符号の説明】
【0111】
2 原画像
3 肌色の部分
18 画像補正部
21 輝度補正部
22 色相補正部

【特許請求の範囲】
【請求項1】
原画像の画素値の補正に用いる画素値補正関数として、
前記原画像の画素値を横軸の値、この横軸の値に対応する補正値としての画素値を縦軸の値とした座標上に定義されてなり、
前記座標上に仮定された傾きが1の一次関数と、前記座標上に仮定された横軸側が周期側、縦軸側が振幅側とされた正弦関数との合成関数からなり、
その縦軸の値が、前記座標上に仮定された原点を通る傾きが1の一次関数における縦軸の値以上となり、
その横軸の値が0の付近において、前記座標上に仮定された当該画素値補正関数に接する接線の傾きが、横軸の値の増加にともなって増加し、
その縦軸の値と前記原点を通る傾きが1の一次関数における縦軸の値との差分の最大値である最大画素値補正量が、前記原画像中の特定の物体であって前記補正値を算出する際の基準となる物体である補正値算出基準物体の輝度分布に応じて可変となり、
前記最大画素値補正量がとられるときの横軸の値である最大補正対象画素値が、前記補正値算出基準物体の輝度分布に応じて可変となる
ような関数を用いて前記原画像の画素値の補正を行うことを特徴とする画像補正方法。
【請求項2】
前記画素値補正関数として、前記正弦関数の成分の空間的な周期が、前記補正値算出基準物体の輝度分布に応じて可変となるような関数を用いて前記原画像の画素値の補正を行うこと
を特徴とする請求項1に記載の画像補正方法。
【請求項3】
前記画素値補正関数として、前記正弦関数の成分の空間的な周期が、前記最大補正対象画素値よりも横軸の値が大きい範囲と前記最大補正対象画素値よりも横軸の値が小さい範囲とで互いに異なるような関数を用いて前記原画像の画素値の補正を行うこと
を特徴とする請求項1または請求項2に記載の画像補正方法。
【請求項4】
前記画素値補正関数として、
前記輝度分布に示される前記補正値算出基準物体が相対的に暗い場合における前記最大画素値補正量が、前記輝度分布に示される前記補正値算出基準物体が相対的に明るい場合における前記最大画素値補正量よりも大きくなり、
前記輝度分布に示される前記補正値算出基準物体が相対的に暗い場合における前記最大補正対象画素値が、前記輝度分布に示される前記補正値算出基準物体が相対的に明るい場合における前記最大補正対象画素値よりも小さくなる
ような関数を用いて前記原画像の画素値の補正を行うこと
を特徴とする請求項1乃至請求項3のいずれか1項に記載の画像補正方法。
【請求項5】
前記補正値算出基準物体を、肌色物体とすること
を特徴とする請求項1乃至請求項4のいずれか1項に記載の画像補正方法。
【請求項6】
前記原画像の色相における赤色差値の補正に用いる赤色差補正関数として、
前記原画像の赤色差値を横軸の値、この横軸の値に対応する補正値としての赤色差値を縦軸の値とした第1の座標上に定義されてなり、
その横軸の値が所定の赤色差値よりも大きくなるような前記肌色物体の色に対応するとみなされる横軸の範囲においては、その縦軸の値が、前記横軸の値の増加にともなって前記第1の座標上に仮定された原点を通る傾きが1の一次関数における縦軸の値よりも一旦大きくなった後に当該一次関数における縦軸の値と同値となり、
その横軸の値が0以上かつ前記所定の赤色差値以下の範囲においては、その縦軸の値が当該一次関数における縦軸の値と同値となる
ような関数を用いて前記原画像の赤色差値の補正を行い、
かつ、
前記原画像の色相における青色差値の補正に用いる青色差補正関数として、
前記原画像の青色差値を横軸の値、この横軸の値に対応する補正値としての青色差値を縦軸の値とした第2の座標上に定義されてなり、
その横軸の値が0以上かつ所定の青色差値未満となるような前記肌色物体の色に対応するとみなされる横軸の範囲においては、その縦軸の値が、前記横軸の値の減少にともなって前記第2の座標上に仮定された原点を通る傾きが1の一次関数における縦軸の値よりも一旦小さくなった後に当該一次関数における縦軸の値と同値となり、
その横軸の値が前記所定の青色差値以上の範囲においては、その縦軸の値が当該一次関数における縦軸の値と同値となる
ような関数を用いて前記原画像の青色差値の補正を行うこと
を特徴とする請求項5に記載の画像補正方法。
【請求項7】
原画像の画素値の補正を行う画素値補正手段を備え、
前記画素値補正手段は、前記原画像の画素値の補正に用いる画素値補正関数として、
前記原画像の画素値を横軸の値、この横軸の値に対応する補正値としての画素値を縦軸の値とした座標上に定義されてなり、
前記座標上に仮定された傾きが1の一次関数と、前記座標上に仮定された横軸側が周期側、縦軸側が振幅側とされた正弦関数との合成関数からなり、
その縦軸の値が前記座標上に仮定された原点を通る傾きが1の一次関数における縦軸の値以上となり、
その横軸の値が0の付近において前記座標上に仮定された当該画素値補正関数に接する接線の傾きが、横軸の値の増加にともなって増加し、
その縦軸の値と前記原点を通る傾きが1の一次関数における縦軸の値との差分の最大値である最大画素値補正量が、前記原画像中の特定の物体であって前記補正値を算出する際の基準となる物体である補正値算出基準物体の輝度分布に応じて可変となり、
前記最大画素値補正量がとられるときの横軸の値である最大補正対象画素値が、前記補正値算出基準物体の輝度分布に応じて可変となる
ような関数を用いて前記原画像の画素値の補正を行うことを特徴とする画像補正装置。
【請求項8】
前記画素値補正関数は、前記正弦関数の成分の空間的な周期が、前記補正値算出基準物体の輝度分布に応じて可変となるような関数とされていること
を特徴とする請求項7に記載の画像補正装置。
【請求項9】
前記画素値補正関数は、前記正弦関数の成分の空間的な周期が、前記最大補正対象画素値よりも横軸の値が大きい範囲と前記最大補正対象画素値よりも横軸の値が小さい範囲とで互いに異なるような関数とされていること
を特徴とする請求項7または請求項8に記載の画像補正装置。
【請求項10】
前記画素値補正関数は、
前記輝度分布に示される前記補正値算出基準物体が相対的に暗い場合における前記最大画素値補正量が、前記輝度分布に示される前記補正値算出基準物体が相対的に明るい場合における前記最大画素値補正量よりも大きくなり、
前記輝度分布に示される前記補正値算出基準物体が相対的に暗い場合における前記最大補正対象画素値が、前記輝度分布に示される前記補正値算出基準物体が相対的に明るい場合における前記最大補正対象画素値よりも小さくなる
ような関数とされていること
を特徴とする請求項7乃至請求項9のいずれか1項に記載の画像補正方法。
【請求項11】
前記補正値算出基準物体は、肌色物体とされていること
を特徴とする請求項7乃至請求項10のいずれか1項に記載の画像補正装置。
【請求項12】
前記原画像の色相の補正を行う色相補正手段を備え、
前記色相補正手段は、
前記原画像の色相における赤色差値の補正に用いる赤色差補正関数として、
前記原画像の赤色差値を横軸の値、この横軸の値に対応する補正値としての赤色差値を縦軸の値とした第1の座標上に定義されてなり、
その横軸の値が所定の赤色差値よりも大きくなるような前記肌色物体の色に対応するとみなされる横軸の範囲においては、その縦軸の値が、前記横軸の値の増加にともなって前記第1の座標上に仮定された原点を通る傾きが1の一次関数における縦軸の値よりも一旦大きくなった後に当該一次関数における縦軸の値と同値となり、
その横軸の値が0以上かつ前記所定の赤色差値以下の範囲においては、その縦軸の値が当該一次関数における縦軸の値と同値となる
ような関数を用いて前記原画像の赤色差値の補正を行い、
かつ、
前記原画像の色相における青色差値の補正に用いる青色差補正関数として、
前記原画像の青色差値を横軸の値、この横軸の値に対応する補正値としての青色差値を縦軸の値とした第2の座標上に定義されてなり、
その横軸の値が0以上かつ所定の青色差値未満となるような前記肌色物体の色に対応するとみなされる横軸の範囲においては、その縦軸の値が、前記横軸の値の減少にともなって前記第2の座標上に仮定された原点を通る傾きが1の一次関数における縦軸の値よりも一旦小さくなった後に当該一次関数における縦軸の値と同値となり、
その横軸の値が前記所定の青色差値以上の範囲においては、その縦軸の値が当該一次関数における縦軸の値と同値となる
ような関数を用いて前記原画像の青色差値の補正を行うこと
を特徴とする請求項11に記載の画像補正装置。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate

【図9】
image rotate

【図10】
image rotate


【公開番号】特開2010−219871(P2010−219871A)
【公開日】平成22年9月30日(2010.9.30)
【国際特許分類】
【出願番号】特願2009−64121(P2009−64121)
【出願日】平成21年3月17日(2009.3.17)
【出願人】(000010098)アルプス電気株式会社 (4,263)
【Fターム(参考)】