ホワイトバランス補正方法および装置並びにプログラム
【課題】 カラー画像のホワイトバランスの効果向上を図る。
【解決手段】 カラー画像の各画素の画像信号に対して、所定の係数を乗算し、その結果、グレーの黒体軌跡曲線の近傍に入る画素をグレー候補画素として各前記係数に対応するグレー候補画素群を得、該グレー候補画素群の画素数が最大となる前記係数を最適係数とすると共に、該最適係数に対応する前記グレー候補画素群に含まれる各々の画素の色温度から前記カラー画像の撮影光源の色温度を求め、前記最適係数を乗算された前記カラー画像の画像信号を、前記求められた色温度と基準白色の色温度との差分だけ補正するホワイトバランス補正方法において、図６に示す重み付け係数を用いて、前記グレー候補画像群毎に各々の前記グレー候補画素のカウント数を重み付け加算して得た和を当該グレー候補画素群の画素数とする。
【解決手段】 カラー画像の各画素の画像信号に対して、所定の係数を乗算し、その結果、グレーの黒体軌跡曲線の近傍に入る画素をグレー候補画素として各前記係数に対応するグレー候補画素群を得、該グレー候補画素群の画素数が最大となる前記係数を最適係数とすると共に、該最適係数に対応する前記グレー候補画素群に含まれる各々の画素の色温度から前記カラー画像の撮影光源の色温度を求め、前記最適係数を乗算された前記カラー画像の画像信号を、前記求められた色温度と基準白色の色温度との差分だけ補正するホワイトバランス補正方法において、図６に示す重み付け係数を用いて、前記グレー候補画像群毎に各々の前記グレー候補画素のカウント数を重み付け加算して得た和を当該グレー候補画素群の画素数とする。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明はカラー画像に対してホワイトバランス補正を行う方法および装置並びにそのためのプログラムに関するものである。
【背景技術】
【０００２】
ネガフィルムやカラーリバーサルフィルムなどの写真フィルムに記録された写真画像をスキャナーなどの読取装置で光電的に読み取って得たデジタル画像や、デジタルスチルカメラ（ＤＳＣ）で撮像して得た画像などに対して、種々の画像処理を施してプリントすることが行われている。これらの画像処理の一つとして、カラーの画像の場合において、撮影光源の色味がプリントに反映されることに起因するプリントの画質劣化を避けるためのホワイトバランス補正処理が挙げられる。
【０００３】
また、写真フィルムに記録されたカラーの写真画像を読み取って得たデジタル画像やＤＳＣにより得られたカラー画像（以下略して全部画像という）は、プリントすることに限らず、モニタに表示されるなど、様々な形態で利用されている。モニタに表示する場合においても、撮影光源の色味の影響を取り除いて、ホワイトバランスの取れた美しい画像にする必要がある。
【０００４】
従来、ホワイトバランス補正の代表的な手法として、「世の中の色をすべて平均すればグレーとなる」というエバンスの原理（仮説）に基づいたＬＡＴＤ（Ｌａｒｇｅ Ａｒｅａ Ｔｒａｎｓｍｉｓｓｉｏｎ Ｄｅｎｓｉｔｙ、大面積平均透過濃度）方式の補正方法が用いられている。この補正方法は、補正した後の画像の平均色がグレーとなるように補正を行うものである。
【０００５】
しかし、ＬＡＴＤ方式のホワイトバランス補正方法は、画像にかかった色味が撮影光源に起因するものか、被写体に起因するものかの区別ができないため、原因が撮影光源の場合にはうまくいくが、原因が被写体の場合には、補正後の画像は却って画質悪化してしまうという問題がある。例えば、赤い服を着た女性を撮影して得た画像の場合、ＬＡＴＤ方式でホワイトバランスを施すと、画像全体をグレーにしようとするために、赤い服が濁り、女性の顔色が悪くなってしまう。
【０００６】
また、近年のほとんどのＤＳＣには、撮影して得た画像に対してホワイトバランス補正を自動的に行うＡＷＢ（Ａｕｔｏ Ｗｈｉｔｅ Ｂａｌａｎｃｅ）機能が搭載されており、ＤＳＣから出力された画像がこのＷＡＢ機能によってホワイトバランス補正されたものとなる。ＤＳＣ内部のＡＷＢ機能によるホワイトバランス補正処理は、撮影直後の全画素の画像信号のＲ、Ｇ、Ｂを一様に定数倍にするように動作する簡単なものであり、うまく機能する場合とうまく機能しない場合があり、全ての画像をホワイトバランスの取れた画像にすることができないため、ＡＷＢ機能がうまく動作しなかった場合の影響を取り除く必要がある。
【０００７】
上述した問題を解決するために、特許文献１には、処理対象の画像に対して、光源の色温度を求めるのに適した所定の色（例えばグレーまたは肌色）となる画素を検出し、これらの画素の色温度から撮影光源の色温度を求め、求めた撮影光源の色温度に基づいてホワイトバランス補正を行う方法が提案されている。なお、カラーネガフィルムを読み取って得た画像の場合でも、ＤＳＣにより取得して得た画像の場合でも、この方法を適用することができ、以下、ＤＳＣにより取得した画像からグレーの画素を検出してホワイトバランス補正を行うことを例にしてこの方法の原理を説明する。例えば、ＤＳＣにより色温度４０００Ｋの自然昼光でグレー部分（グレーおよびその近似色）を含むシーンを撮影した場合を考える。このとき、撮影したグレー部分の画像信号（Ｒ，Ｇ，Ｂ）を次の式（１）により、色度座標（ｒ，ｂ）に変換して、色度図にプロットする。
【０００８】
ｒ＝Ｒ／（Ｒ＋Ｇ＋Ｂ）
ｂ＝Ｂ／（Ｒ＋Ｇ＋Ｂ） （１）
図１に色度図を示す。図１において、曲線Ｇｙはグレーの黒体軌跡曲線である。黒体軌跡とは、色温度をＴ、色温度Ｔの黒体放射エネルギ分布をＰ（λ）、被写体の分光反射率分布をρ（λ）、ＤＳＣのＣＣＤセンサの分光感度分布をＳｉ（λ）（ｉ＝Ｒ、Ｇ、Ｂ）としたとき、次の式（２）で計算されたＥｉを上記の式（１）により色度座標（ｒ，ｂ）に変換して色度図にプロットしたとき、色温度Ｔを動かしたときの軌跡である。黒体軌跡は、ＣＣＤセンサの分光分布および被写体の色ごとに存在し、グレーの黒体軌跡は、被写体をグレーとしたときの被写体の分光反射率ρ（λ）１として得られる。
【０００９】
Ｅｉ＝∫Ｐ（λ）ρ（λ）Ｓｉ（λ）ｄλ （２）
上述したシーンの中のグレーの部分の画像信号を図１に示す色度図にプロットすると、グレーの黒体軌跡Ｇｙの４０００Ｋの近傍Ｇｙ０に散布すると考えられる。しかし、上述のように、最近のＤＳＣは、殆どＡＷＢ（オートホワイトバランス）機能を有しているため、この機能が上手く動作した場合には、グレー部分は標準白色（例えば５５００Ｋ）の近傍ＧＹ１に散布するが、この機能が上手く動作しなかった場合には、撮影光源の色温度４０００Ｋから離れた位置不明な場所（例えば図１に示す場所Ａ）に散布してしまう。
【００１０】
そこで、ＤＳＣ画像に含まれる、図１に示すＡのような位置不明なグレー部分を基準白色の近傍Ｇｙ１に変換する処理をホワイトバランス補正処理とし、この処理を画像中の全ての画素に対して施せば、ホワイトバランスの取れた画像が得られる。しかし、図１に示すＡの部分の位置は不明であるので、Ａを基準白色の近傍Ｇｙ１へ直接変換するのは不可能である。そこで、特許文献１提案の方法では、ホワイトバランス処理を図１に示すベクトルαとβによる２段階の変換に分けて行う。図示のように、ベクトルαは、ＤＳＣ側のＡＷＢ機能の不完全性により引き起こされた黒体軌跡Ｇｙからのずれ量を補正するベクトルであり、ベクトルαによる変換で図１に示すＡの部分が黒体軌跡Ｇｙ上の部分Ｇｙ０に変換される。また、ベクトルβは、黒体軌跡上のＧｙ０の部分を基準白色（例えば５５００Ｋ）の近傍Ｇｙ１に変換するベクトルであり、この２つのベクトルαとβとの合成により、図１に示すＡから基準白色の近傍Ｇｙ１への変換が実現される。
【００１１】
２つのベクトルαとβのうち、図１に示すＡの部分を黒体軌跡Ｇｙ上のＧｙ０に移すベクトルαを求めることが難しい。黒体軌跡上のＧｙ０が求められれば、Ｇｙ０から撮影光源の色温度Ｔを求めることができる。そして、黒体軌跡Ｇｙ上でこのＧｙ０（色温度Ｔ）をＧｙ１（色温度５５００Ｋ）へ移す変換を表すベクトルβを求めるのは容易である。
【００１２】
一方、ＤＳＣのＡＷＢ機能は、撮影直後の全画素の画像信号Ｒ、Ｇ、Ｂを一様に定数倍にするように作用する。この作用により、画像信号が黒体軌跡からずれたとすれば、これと逆の操作をすれば、黒体軌跡上の撮影光源の色温度（ここの例では、４０００Ｋ）近傍（図１のＧｙ０部分）に、多くのグレー部分が散布するようになるはずである。ＤＳＣのＡＷＢ機能が、画像信号に対する一次変換であるので、その逆変換も一次変換、すなわち、ＤＳＣの画像信号Ｒ、Ｇ、Ｂに対して所定の係数を乗算することである（図１では、画像信号Ｒ、Ｇ、Ｂを色度座標に変換している）。特許文献１提案の方法では、これを利用してベクトルαを求める。具体的には、ＤＳＣの画像信号に対して、所定の係数を乗算し、各係数に対して、この乗算がされた信号をグレーの黒体軌跡と比較し、黒体軌跡の近傍に位置すると検出される画素をグレーの可能性が高いとして、グレー候補画素とする。近傍であるか否かの判断は、色度座標（ｒ，ｂ）上で例えば距離０．０１の範囲内であるか否かで行えばよい。
【００１３】
こうして、乗算する係数毎に、グレー候補画素により構成されるグレー候補画素群が得られる。これらのグレー候補画素群に含まれる画素の数を数え、グレー候補画素の数が最も多いグレー候補画素群（図１に示すＡの部分に相当する）に対応する係数を最適係数、すなわち、図１に示すＡの部分を黒体軌跡上のＧｙ０に変換するベクトルαとすることができる。
【００１４】
ベクトルαを用いて、このベクトルαに対応するグレー候補画素群の各画素の信号を図１に示す黒体軌跡Ｇｙ上のＧｙ０に変換すれば、Ｇｙ０の各画素の色温度の平均値を求めて撮影光源の色温度として求めることができる。求められた色温度から基準白色に変換するためのベクトルβを求めることができるので、ベクトルαとβを画像の全ての画素に対して適用することによってホワイトバランス補正処理が施されることになる。
【００１５】
また、ベクトルαを求める際に、グレーに限らず、被写体の中で、撮影頻度が高く、種類によって色味の変換が少ない肌色を用いてもよい。肌色は、人種（白人、黄人、黒人など）によって色味がかなり異なると思われるが、測定した分光スペクトルによれば、違うのは主として明るさであり、スペクトルの形はあまり変わらず色味の変化は小さいことが分かるので、肌色を色の同定に利用することができる。すなわち、グレーの黒体軌跡の代わりに肌色の黒体軌跡を用い、前述したグレー候補画素群を求めるのと同じようにして肌色候補画素群を求め、肌色候補画素の個数が最も多い肌色候補画素群に対応する係数を最適係数にしてベクトルαを求めるようにしてもよい。
【００１６】
さらに、ベクトルαをより精度良く求めるために、グレー候補画素群と肌色候補画素群両方との両方を検出し、グレー候補画素群に含まれるグレー候補画素の個数と、肌色候補画素群に含まれる肌色候補画素の個数との和が最も多い係数を最適係数、すなわちベクトルαとするようにしてもよい。
【００１７】
また、グレー部分と肌色部分とを含むシーンを均一光源で撮影した場合、グレーを用いて求めた撮影光源の色温度と、肌色を用いて求めた撮影光源の色温度とは一致するはずであることを利用して、グレー候補画素群の平均色温度と肌色候補画素群の平均色温度との差が最も小さい係数を最適係数、すわわち、ベクトルαとして求めてよい。
【００１８】
さらに、グレー候補画素群に含まれるグレー候補画素の個数と肌色候補画素群に含まれる肌色候補画素の個数との和が最も多く、かつグレー候補画素群の平均色温度と肌色候補画素群の平均色温度との差が最も小さい係数を最適係数とするようにして、ベクトルαの精度をより高くするようにしてもよい。
【００１９】
このように、ベクトルαとベクトルβを求めて、画像中の全ての画素の画像信号に対して適用することによってホワイトバランス補正を施す方法では、画像中の真のグレーおよび／または肌色の画素を検出して撮影光源の色温度を求めてホワイトバランス補正を行っているので、ＬＡＴＤ方式に基づいたホワイトバランス補正方法より適切なホワイトバランス補正効果を得ることができると共に、ＤＳＣのＡＷＢ機能のばらつきにも影響されない。
【特許文献１】特開２００２−１５２７７２号公報
【発明の開示】
【発明が解決しようとする課題】
【００２０】
しかしながら、特許文献１記載の方法において、最適係数、すなわちベクトルαを求める際に、各グレー候補画素のカウント数を平等に取り扱うようにしてグレー候補画素群のグレー候補画素の個数を求めるようにしている。すなわち、グレー候補画素群に対して、１つのグレー候補画素を１個としてカウントして各グレー候補画素群に含まれるグレー候補画素の個数を求め、この個数が最も多いグレー候補画素群に対応する係数を最適係数としている。肌色を用いる場合においても同様である。
【００２１】
また、グレー候補画素群の平均色温度と肌色候補画素群の平均色温度との差が最も小さい係数を最適係数としてベクトルαを求める際においても、各候補画素の色温度を平等に取り扱うようにしてグレー候補画素群と肌色候補画素群の平均色温度を求めるようにしている。
【００２２】
一方、同じ候補画素群（グレー候補画素群または肌色候補画素群）に含まれる候補画素（グレー候補画素または肌色候補画素）であっても、真のグレーまたは真の肌色である確率が異なるため、同じ候補画素群に含まれる候補画素が、真のグレーまたは真の肌色である確率を考慮し、最適係数の精度を高め、より良いホワイトバランス補正を実現することが要望されている。
【００２３】
本発明は、上記事情に鑑み、同じ候補画素群に含まれる候補画素が、真のグレーまたは真の肌色である確率を考慮した上で最適係数となるベクトルαを求め、より良い効果を得られるホワイトバランス補正の方法および装置並びにそのためのプログラムを提供することを目的とするものである。
【課題を解決するための手段】
【００２４】
本発明の第１のホワイトバランス補正方法は、カラー画像の各画素の画像信号に対して、所定の係数を乗算し、その結果、グレーの黒体軌跡曲線の近傍に入る画素をグレー候補画素として各前記係数に対応するグレー候補画素群を得、該グレー候補画素群の画素数が最大となる前記係数を最適係数とすると共に、該最適係数に対応する前記グレー候補画素群をグレー画素群とし、該グレー画素群に含まれる各々の画素の色温度から前記カラー画像の撮影光源の色温度を求め、前記最適係数を乗算された前記カラー画像の画像信号を、前記求められた色温度と基準白色の色温度との差分だけ補正するホワイトバランス補正方法において、
前記グレーの黒体軌跡曲線に近い画素ほどカウント数の重みが高くなるように前記グレー候補画像群毎に各々の前記グレー候補画素のカウント数を重み付け加算して得た和を当該グレー候補画素群の画素数とすることを特徴とするものである。
【００２５】
すなわち、本発明の第１のホワイトバランス補正方法は、グレーを用いて撮影光源の色温度を求めてホワイトバランス補正を行うものであり、グレーの黒体軌跡曲線に位置するべきであるにも拘わらずグレーの黒体軌跡曲線からずれたグレーの部分を、グレーの黒体軌跡曲線上に戻す変換を行うための前記最適係数として、画素数が最も多いグレー候補画素群（すなわちグレー画素群）に対応する係数を求めて撮影光源の色温度を取得する点については、特許文献１記載の方法と同様であるが、各グレー候補画素群の画素数を求める際に、特許文献１に記載された方法のように、単純に各グレー候補画素群に含まれるグレー候補画素をカウントして加算する、すなわち１個のグレー候補画素を１としてカウントし、カウント数の和を該当するグレー候補画素群の画素数とするのではなく、同じグレー候補画素群に含まれるグレー候補画素であっても、グレーの黒体軌跡曲線に近い画素ほど、真のグレーの画素である可能性が高いことに着目し、グレーの黒体軌跡曲線に近いグレー候補画素ほど、カウント数の重みが高くようにグレー候補画素群毎に各々の前記グレー候補画素のカウント数を重み付け加算して得た和を当該グレー候補画素群の画素数とする。すなわち、同じグレー候補群に含まれるグレー候補画素のうち、グレーの黒体軌跡曲線に位置する（黒体軌跡曲線との距離が零である）グレー候補画素に対して、そのカウント数（１個の候補画素のカウント数が１となる）を最大の重みを付け、グレーの黒体軌跡曲線からの距離が遠いグレー候補画素ほど、その重みが前記最大の重みより小さくなるようにしてグレー候補画素群毎にグレー候補画素のカウント数を重み付け加算して得た和を当該グレー候補画素群の画素数とする。
【００２６】
また、「黒体軌跡曲線の近傍に入る画素」とは、その画素の画像信号（ここでは、前記所定の係数を乗算した信号）が色度図における位置と黒体軌跡曲線との距離が所定の値（例えば０．０３）以下である画素のことを意味する。また、前記「距離」は、前記画素と黒体軌跡曲線との遠近を表すことができるものであれば如何なる求め方で求められた値であってもよく（但し、同じグレー候補画素群の全ての画素に対して同じ求め方で求める必要がある）、例えば、その画素の位置から黒体軌跡曲線までの法線の長さ（例えば、図１に示す画素Ｑの場合、法線の長さＬ１）を用いることは勿論、その画素の位置から色度座標のいずれか１つの座標に平行する方向に沿って黒体軌跡曲線まで引いた線の長さ（例えば、図１に示す画素Ｑの場合、色度座標ｒに平行する線の長さＬ２）を用いてもよい。なお、実際の実験の結果、画素の位置から色度座標ｒに平行する方向に沿って黒体軌跡曲線まで引いた線の長さを、画素の位置と黒体軌跡曲線との距離として用いる場合において、最も良いホワイトバランスの効果を得ているので、画素の位置から色度座標ｒに平行する方向に沿って黒体軌跡曲線まで引いた線の長さを、画素の位置と黒体軌跡曲線との距離として用いることが好ましい。
【００２７】
また、グレー画素群に含まれるグレー画素の色温度とは、該画素のグレーの黒体軌跡曲線における色温度のことを意味し、例えば、図１に示す画素Ｑの場合、その色温度は、グレーの黒体軌跡曲線Ｇｙ上の点Ｑ１の色温度値となる。
【００２８】
また、本発明における「色温度」は、色温度そのものに限らず、色温度を表すことができる数値であればいかなる数値を用いてもよい。例えば、通常の、直接的に単位Ｋにより表される数値を用いるのは勿論、単位としてＫではないが、間接的でありながら色温度を表すことができる、下記の式（３）に示すｍｉｒｅｄ値を用いてもよい。
【００２９】
ｍｉｒｅｄ＝１０６／Ｔ （３）
但し、Ｔ：色温度値（Ｋ）
なお、上記における「黒体軌跡の近傍に入る画素」および「色温度」の説明は、本発明の全てのホワイトバランス補正方法および装置並びにプログラムに適用することとし、以下の説明においてその説明を省略する。
【００３０】
本発明の第２のホワイトバランス補正方法は、カラー画像の各画素の画像信号に対して、所定の係数を乗算し、その結果、グレーの黒体軌跡曲線の近傍に入る画素をグレー候補画素として各前記係数に対応するグレー候補画素群を得、該グレー候補画素群の画素数が最大となる前記係数を最適係数とすると共に、該最適係数に対応する前記グレー候補画素群をグレー画素群とし、該グレー画素群に含まれる各々の画素の色温度から前記カラー画像の撮影光源の色温度を求め、前記最適係数を乗算された前記カラー画像の画像信号を、前記求められた色温度と基準白色の色温度との差分だけ補正するホワイトバランス補正方法において、
サンプルカラー画像中のグレー画素の個数が当該サンプルカラー画像の全画素の個数に占める割合に対して、多数の前記サンプルカラー画像を用いて統計的に求められた各々の前記割合毎のサンプルカラー画像の存在頻度に応じた補正係数で、前記グレー候補画素群に含まれるグレー候補画素の個数が前記カラー画像の全画素の個数に占める割合に応じて前記グレー候補画素群毎にそのグレー候補画素の個数を補正して得た値を当該グレー候補画素群の画素数とすることを特徴とするものである。
【００３１】
すなわち、本発明の第２のホワイトバランス補正方法は、第１のホワイトバランス補正方法と同じように、グレーを用いて撮影光源の色温度を求めてホワイトバランス補正を行うものであり、グレーの黒体軌跡曲線に位置するべきであるにも拘わらずグレーの黒体軌跡曲線からずれたグレーの部分を、グレーの黒体軌跡曲線上に戻す変換を行うための前記最適係数として、画素数が最も多いグレー候補画素群（すなわちグレー画素群）に対応する係数を求めて撮影光源の色温度を取得するが、各グレー候補画素群の画素数を求める際に、第１のホワイトバランス補正方法と異なる視点から、グレー候補画素群に含まれるグレー候補画素の個数に対して補正を行って得た値を当該グレー候補画素群の画素数とする。以下その詳細について説明する。
【００３２】
カラー画像から検出された前記グレー候補群に含まれるグレー候補画素の個数が前記カラー画像の全画素の個数に占める割合が大きいほど、このグレー候補画素群に含まれるグレー候補画素が真のグレー画素である可能性が高い。この傾向に基づいて、グレー候補画素群の画素数を求める際に、グレー候補画素群の前記割合に応じて、割合が大きいほど大きくなる補正係数で、グレー候補画素群に含まれるグレー候補画素の個数を補正して得た値を当該グレー候補画素群の画素数とするようにすれば、より精度良く前記最適係数を得ることができるはずである。
【００３３】
一方、図２（ａ）は、様々なシーンを撮影して得た多数（数万枚）のカラー画像（前記サンプルカラー画像）に対して、サンプルカラー画像中のグレー画素の個数がサンプルカラー画像全体の画素（全画素）の個数に占める割合を画像毎に求めると共に、各々の割合に対して、該割合を有するサンプルカラー画像の存在頻度を求めた結果（例えば、２万枚のサンプルカラー画像のうち、ｗとなる前記割合を有するサンプルカラー画像が２００枚あるとすれば、ｗの前記割合に対応するサンプルカラー画像の存在頻度が２万分の２００、すなわち１％となる。）に基づいて得た前記割合とサンプルカラー画像の存在頻度との関係を示す図である。図示のように、グレー画素の個数が全画素の個数に占める割合が大きいほど、その割合を有するサンプルカラー画像の存在頻度が低くなるが、存在頻度の減少率が、前記割合が大きくなるにつれ小さくなる。
【００３４】
このような統計的な傾向があるから、前述の「割合が大きいほど大きくなる補正係数」としては、図２（ａ）に示す統計的な傾向を反映した補正係数を用いた方が、この統計的な傾向を反映しない補正係数を用いるより、より良い精度で前記最適係数を求めることができる。
【００３５】
図２（ｂ）は、図２（ａ）に示す統計的な傾向を反映した補正係数の例を示している。図示のように、この補正係数は、前述の「割合が大きいほど大きくなる補正係数」であり、かつ図２（ａ）に示す傾向を反映し、グレー候補画素群に含まれるグレー候補画素の個数が全画素の個数に占める割合に応じて、該割合が大きいほど大きくなり、かつ該割合が大きいほど増加率が小さくなるものである。
【００３６】
本発明の第２のホワイトバランス補正方法は、図２（ａ）に示す統計的な傾向を反映した補正係数（例えば図２（ｂ）に示す補正係数）で、前記グレー候補画素群に含まれるグレー候補画素の個数が前記カラー画像の全画素の個数に占める割合に応じて、前記グレー候補画素群毎にそのグレー候補画素の個数を補正して得た値を当該グレー候補画素群の画素数とする。
【００３７】
なお、図２（ａ）に示す統計的な傾向を求める際に、サンプルカラー画像中のグレー画素としては、できるだけ真のグレー画素に近い画素を用いることが望ましい。例えば、特許文献１に記載の方法で最適係数を求め、この最適係数に対応するグレー候補画素群に含まれる画素を用いてもよく、本発明の第１のホワイトバランス補正方法を用いて得られた最適係数に対応するグレー候補画素群に含まれる画素を用いてもよい。
【００３８】
本発明の第３のホワイトバランス補正方法は、カラー画像の各画素の画像信号に対して、所定の係数を乗算し、その結果、肌色の黒体軌跡曲線の近傍に入る画素を肌色候補画素として各前記係数に対応する肌色候補画素群を得、該肌色候補画素群の画素数が最大となる前記係数を最適係数とすると共に、該最適係数に対応する前記肌色候補画素群を肌色画素群とし、該肌色画素群に含まれる各々の画素の色温度から前記カラー画像の撮影光源の色温度を求め、前記最適係数を乗算された前記カラー画像の画像信号を、前記求められた色温度と基準白色の色温度との差分だけ補正するホワイトバランス補正方法において、
前記肌色の黒体軌跡曲線に近い画素ほどカウント数の重みが高くなるように前記肌色候補画素群毎に各々の前記肌色候補画素のカウント数を重み付け加算して得た和を当該肌色候補群の画素数とすることを特徴とするものである。
【００３９】
本発明の第３のホワイトバランス補正方法は、グレーの代わりに肌色を用いる点を除いて、第１のホワイトバランス補正方法と同様である。すなわち、本発明の第３のホワイトバランス補正方法は、肌色を用いて撮影光源の色温度を求めてホワイトバランス補正を行うものであり、肌色の黒体軌跡曲線に位置するべきであるにも拘わらず肌色の黒体軌跡曲線からずれた肌色の部分を、肌色の黒体軌跡曲線上に戻す変換を行うための前記最適係数として、画素数が最も多い肌色候補画素群（すなわち肌色画素群）に対応する係数を求めて撮影光源の色温度を取得する点については、特許文献１記載の方法と同様であるが、各肌色候補画素群の画素数を求める際に、特許文献１に記載された方法のように、単純に各肌色候補画素群に含まれる肌色候補画素をカウントして加算する、すなわち１個の肌色候補画素を１としてカウントし、カウント数の和を該当する肌色候補画素群の画素数とするのではなく、同じ肌色候補画素群に含まれる肌色候補画素であっても、肌色の黒体軌跡曲線に近い画素ほど、真の肌色の画素である可能性が高いことに着目し、肌色の黒体軌跡曲線に近い肌色候補画素ほど、カウント数の重みが高くように肌色候補画素群毎に各々の前記肌色候補画素のカウント数を重み付け加算して得た和を当該肌色候補画素群の画素数とする。すなわち、同じ肌色候補群に含まれる肌色候補画素のうち、肌色の黒体軌跡曲線に位置する（黒体軌跡曲線との距離が零である）肌色候補画素に対して、そのカウント数（１個の候補画素のカウント数が１となる）を最大の重みを付け、肌色の黒体軌跡曲線からの距離が遠い肌色候補画素ほど、その重みが前記最大の重みより小さくなるようにして肌色候補画素群毎に肌色候補画素のカウント数を重み付け加算して得た和を当該肌色候補画素群の画素数とする。
【００４０】
本発明の第４のホワイトバランス補正方法は、カラー画像の各画素の画像信号に対して、所定の係数を乗算し、その結果、肌色の黒体軌跡曲線の近傍に入る画素を肌色候補画素として各前記係数に対応する肌色候補画素群を得、該肌色候補画素群の画素数が最大となる前記係数を最適係数とすると共に、該最適係数に対応する前記肌色候補画素群を肌色画素群とし、該肌色画素群に含まれる各々の画素の色温度から前記カラー画像の撮影光源の色温度を求め、前記最適係数を乗算された前記カラー画像の画像信号を、前記求められた色温度と基準白色の色温度との差分だけ補正するホワイトバランス補正方法において、
サンプルカラー画像中の肌色画素の個数が当該サンプルカラー画像の全画素の個数に占める割合に対して、多数の前記サンプルカラー画像を用いて統計的に求められた各々の前記割合毎のサンプルカラー画像の存在頻度に応じた補正係数で、前記肌色候補画素群に含まれる肌色候補画素の個数が前記カラー画像の全画素の個数に占める割合に応じて前記肌色候補画素群毎にその肌色候補画素の個数を補正して得た値を当該肌色候補画素群の画素数とすることを特徴とするものである。
【００４１】
すなわち、本発明の第４のホワイトバランス補正方法は、第３のホワイトバランス補正方法と同じように、肌色を用いて撮影光源の色温度を求めてホワイトバランス補正を行うものであり、肌色の黒体軌跡曲線に位置するべきであるにも拘わらず肌色の黒体軌跡曲線からずれた肌色の部分を、肌色の黒体軌跡曲線上に戻す変換を行うための前記最適係数として、画素数が最も多い肌色候補画素群（すなわち肌色画素群）に対応する係数を求めて撮影光源の色温度を取得するが、各肌色候補画素群の画素数を求める際に、第３のホワイトバランス補正方法と異なる視点から、肌色候補画素群に含まれる肌色候補画素の個数に対して補正を行って得た値を当該肌色候補画素群の画素数とする。以下その詳細について説明する。
【００４２】
カラー画像から検出された前記肌色候補群に含まれる肌色候補画素の個数が前記カラー画像の全画素の個数に占める割合が大きいほど、この肌色候補画素群に含まれる肌色候補画素が真の肌色画素である可能性が高い。この傾向に基づいて、肌色候補画素群の画素数を求める際に、肌色候補画素群の前記割合に応じて、割合が大きいほど大きくなる補正係数で、肌色候補画素群に含まれる肌色候補画素の個数を補正して得た値を当該肌色候補画素群の画素数とするようにすれば、より精度良く前記最適係数を得ることができるはずである。
【００４３】
一方、図３（ａ）は、様々なシーンを撮影して得た多数（数万枚）のカラー画像（前記サンプルカラー画像）に対して、サンプルカラー画像中の肌色画素の個数がサンプルカラー画像全体の画素（全画素）の個数に占める割合を画像毎に求めると共に、各々の割合に対して、該割合を有するサンプルカラー画像の存在頻度を求めた結果（例えば、２万枚のサンプルカラー画像のうち、ｗとなる前記割合を有するサンプルカラー画像が２００枚あるとすれば、ｗの前記割合に対応するサンプルカラー画像の存在頻度が２万分の２００、すなわち１％となる。）に基づいて得た前記割合とサンプルカラー画像の存在頻度との関係を示す図である。図示のように、肌色画素の個数が全画素の個数に占める割合が大きいほど、その割合を有するサンプルカラー画像の存在頻度が低くなる（所定の値、図３（ａ）の例では、０．１８程度の割合でゼロになる）が、存在頻度の減少率が、前記割合が大きくなるにつれ小さくなる。
【００４４】
このような統計的な傾向があるから、前述の「割合が大きいほど大きくなる補正係数」としては、図３（ａ）に示す統計的な傾向を反映した補正係数を用いた方が、この統計的な傾向を反映しない補正係数を用いるより、より良い精度で前記最適係数を求めることができる。
【００４５】
図３（ｂ）は、図３（ａ）に示す統計的な傾向を反映した補正係数の例を示している。図示のように、この補正係数は、前述の「割合が大きいほど大きくなる補正係数」であり、かつ図３（ａ）に示す傾向を反映し、肌色候補画素群に含まれる肌色候補画素の個数が全画素の個数に占める割合に応じて、所定の値（存在頻度がゼロとなる割合の値）の割合まで該割合が大きいほど大きくなり、かつ該割合が大きいほど増加率が小さくなる一方、前記所定の値以降は該割合が大きいほど小さくなるものである。
【００４６】
本発明の第４のホワイトバランス補正方法は、図３（ａ）に示す統計的な傾向を反映した補正係数（例えば図３（ｂ）に示す補正係数）で、前記肌色候補画素群に含まれる肌色候補画素の個数が前記カラー画像の全画素の個数に占める割合に応じて、前記肌色候補画素群毎にその肌色候補画素の個数を補正して得た値を当該肌色候補画素群の画素数とする。
【００４７】
なお、図３（ａ）に示す統計的な傾向を求める際に、サンプルカラー画像中の肌色画素としては、できるだけ真の肌色画素に近い画素を用いることが望ましい。例えば、特許文献１に記載の方法で最適係数を求め、この最適係数に対応する肌色候補画素群に含まれる画素を用いてもよく、本発明の第３のホワイトバランス補正方法を用いて得られた最適係数に対応する肌色候補画素群に含まれる画素を用いてもよい。
【００４８】
本発明の第５のホワイトバランス補正方法は、色温度をより精度良く求めるために、グレーと肌色との両方を用い、「グレー候補画素群の画素数と肌色候補群の画素数との和」が最も大きい係数に対応するグレー候補画素群と肌色候補画素群はグレー画素群と肌色画素群になることに基づいてホワイトバランス補正を行うものである。具体的には、本発明の第５のホワイトバランス補正方法は、カラー画像の各画素の画像信号に対して所定の係数を乗算し、その結果、グレーの黒体軌跡曲線の近傍に入る画素をグレー候補画素として各前記係数に対応するグレー候補画素群と、肌色の黒体軌跡曲線の近傍に入る画素を肌色候補画素として各前記係数に対応する肌色候補画素群とを得、前記グレー候補画素群の画素数と、前記肌色候補画素群の画素数との和が最大となる前記係数を最適係数とすると共に、該最適係数に対応する前記グレー候補画素群と肌色候補画素群を夫々グレー画素群と肌色画素群にし、該グレー画素群に含まれる各々の画素の色温度および該肌色画素群に含まれる各々の画素の色温度から前記カラー画像の撮影光源の色温度を求め、前記最適係数が乗算された前記カラー画像の画像信号を、前記求められた色温度と基準白色との差分だけ補正するホワイトバランス補正方法において、
前記グレーの黒体軌跡曲線に近い画素ほどカウント数の重みが高くなるように前記グレー候補画像群毎に各々の前記グレー候補画素のカウント数を重み付け加算して得た和、または、サンプルカラー画像中のグレー画素の個数が当該サンプルカラー画像の全画素の個数に占める割合に対して、多数の前記サンプルカラー画像を用いて統計的に求められた各々の前記割合毎のサンプルカラー画像の存在頻度に応じた補正係数で、前記グレー候補画素群に含まれるグレー候補画素の個数が前記カラー画像の全画素の個数に占める割合に応じて前記グレー候補画素群毎にそのグレー候補画素の個数を補正して得た値、を当該グレー候補画素群の画素数とする工程、および／または、
前記肌色の黒体軌跡曲線に近い画素ほどカウント数の重みが高くなるように前記肌色候補画素群毎に各々の前記肌色候補画素のカウント数を重み付け加算して得た和、または、サンプルカラー画像中の肌色画素の個数が当該サンプルカラー画像の全画素の個数に占める割合に対して、多数の前記サンプルカラー画像を用いて統計的に求められた各々の前記割合毎のサンプルカラー画像の存在頻度に応じた補正係数で、前記肌色候補画素群に含まれる肌色候補画素の個数が前記カラー画像の全画素の個数に占める割合に応じて前記肌色候補画素群毎にその肌色候補画素の個数を補正して得た値、を当該肌色候補画素群の画素数とする工程を有することを特徴とするものである。
【００４９】
本発明の第６のホワイトバランス補正方法は、グレーと肌色との両方を用いて、「グレー候補画素群の平均色温度と肌色候補画素群の平均色温度との差」が最も小さい係数に対応するグレー候補画素群と肌色候補画素群はグレー画素群と肌色画素群になることに基づいてホワイトバランス補正を行うものである。具体的には、本発明の第６のホワイトバランス補正方法は、カラー画像の各画素の画像信号に対して所定の係数を乗算し、その結果、グレーの黒体軌跡曲線の近傍に入る画素をグレー候補画素として各前記係数に対応するグレー候補画素群と、肌色の黒体軌跡曲線の近傍に入る画素を肌色候補画素として各前記係数に対応する肌色候補画素群とを得、前記グレー候補画素群の平均色温度と前記肌色候補画素群の平均色温度との差が最小となる前記係数を最適係数とすると共に、該最適係数に対応する前記グレー候補画素群と肌色候補画素群を夫々グレー画素群と肌色画素群にし、該グレー画素群に含まれる各々の画素の色温度および該肌色画素群に含まれる各々の画素の色温度から前記カラー画像の撮影光源の色温度を求め、前記最適係数が乗算された前記カラー画像の画像信号を、前記求められた色温度と基準白色との差分だけ補正するホワイトバランス補正方法において、
前記グレーの黒体軌跡曲線に近いグレー候補画素ほどその色温度の重みが高くなるように前記グレー候補画素群に含まれる各々のグレー候補画素の色温度を重み付け平均演算して得た値を該グレー候補画素群の平均色温度とする工程、および／または、
前記肌色の黒体軌跡曲線に近い肌色候補画素ほどその色温度の重みが高くなるように前記肌色候補画素群に含まれる各々の肌色候補画素の色温度を重み付け平均演算して得た値を該肌色候補画素群の平均色温度とする工程を有することを特徴とするものである。
【００５０】
本発明の第７のホワイトバランス補正方法は、グレーと肌色との両方を用い、「グレー候補画素群の画素数と肌色候補画素数との和」が最も大きく、かつ「グレー候補画素群の平均色温度と肌色候補画素群の平均色温度との差」が小さい係数に対応するグレー候補画素群と肌色候補画素群はグレー画素群と肌色画素群になることに基づいてホワイトバランス補正を行うものである。具体的には、本発明の第７のホワイトバランス補正方法は、カラー画像の各画素の画像信号に対して所定の係数を乗算し、その結果、グレーの黒体軌跡曲線の近傍に入る画素をグレー候補画素として各前記係数に対応するグレー候補画素群と、肌色の黒体軌跡曲線の近傍に入る画素を肌色候補画素として各前記係数に対応する肌色候補画素群とを得、前記グレー候補画素群の画素数と、前記肌色候補画素群の画素数との和が最大となり、かつ前記グレー候補画素群の平均色温度と前記肌色候補画素群の平均色温度との差が最小となる前記係数を最適係数とすると共に、該最適係数に対応する前記グレー候補画素群と肌色候補画素群を夫々グレー画素群と肌色画素群にし、該グレー画素群に含まれる各々の画素の色温度および該肌色画素群に含まれる各々の画素の色温度から前記カラー画像の撮影光源の色温度を求め、前記最適係数が乗算された前記カラー画像の画像信号を、前記求められた色温度と基準白色との差分だけ補正すホワイトバランス補正方法において、
前記グレーの黒体軌跡曲線に近い画素ほどカウント数の重みが高くなるように前記グレー候補画像群毎に各々の前記グレー候補画素のカウント数を重み付け加算して得た和、または、サンプルカラー画像中のグレー画素の個数が当該サンプルカラー画像の全画素の個数に占める割合に対して、多数の前記サンプルカラー画像を用いて統計的に求められた各々の前記割合毎のサンプルカラー画像の存在頻度に応じた補正係数で、前記グレー候補画素群に含まれるグレー候補画素の個数が前記カラー画像の全画素の個数に占める割合に応じて前記グレー候補画素群毎にそのグレー候補画素の個数を補正して得た値、を当該グレー候補画素群の画素数とする工程、および／または、
前記肌色の黒体軌跡曲線に近い画素ほどカウント数の重みが高くなるように前記肌色候補画素群毎に各々の前記肌色候補画素のカウント数を重み付け加算して得た和、または、サンプルカラー画像中の肌色画素の個数が当該サンプルカラー画像の全画素の個数に占める割合に対して、多数の前記サンプルカラー画像を用いて統計的に求められた各々の前記割合毎のサンプルカラー画像の存在頻度に応じた補正係数で、前記肌色候補画素群に含まれる肌色候補画素の個数が前記カラー画像の全画素の個数に占める割合に応じて前記肌色候補画素群毎にその肌色候補画素の個数を補正して得た値、を当該肌色候補画素群の画素数とする工程、および／または、
前記グレーの黒体軌跡曲線に近いグレー候補画素ほどその色温度の重みが高くなるように前記グレー候補画素群に含まれる各々のグレー候補画素の色温度を重み付け平均演算して得た値を該グレー候補画素群の平均色温度とする工程、および／または、
前記肌色の黒体軌跡曲線に近い肌色候補画素ほどその色温度の重みが高くなるように前記肌色候補画素群に含まれる各々の肌色候補画素の色温度を重み付け平均演算して得た値を該肌色候補画素群の平均色温度とする工程を有することを特徴とするものである。
【００５１】
本発明の第１から第７のホワイトバランス補正方法において、前記カラー画像の全ての画素の中から前記グレー候補画素群および／または肌色候補画素群を取得するようにしてもよいが、前記カラー画像の画素のうち、前記グレー候補画素群および／または肌色候補画素群を得るために有効な画素のみを用いて、これらの有効な画素から前記グレー候補画素群および／または肌色候補画素群を取得するようにすることが好ましい。例えば、第１のホワイトバランス補正方法のようにグレーを用いる場合、カラー画像の全ての画素の画像信号に対して所定の係数を乗算し、その結果、グレーの黒体軌跡曲線の近傍に入る画素をグレー候補画素として各係数に対応するグレー候補画素群を得る代わりに、カラー画像の全ての画素のうち、グレー候補画素を求めるのに有効な画素、すなわち、グレー候補画素になる可能性が高い画素を抽出し、抽出されたこれらの画素の画像信号に対して、所定の係数を乗算し、乗算の結果、グレーの黒体軌跡曲線の近傍に入る画素をグレー候補として各係数に対応するグレー候補画素群を得るようにすることが好ましい。
【００５２】
グレー候補画素群および肌色候補画素群を得るための有効な画素として、例えば、カラー画像中の高彩度画素（例えば、Ｒ＝Ｇ＝Ｂのグレー軸からの距離が所定の閾値以上の画素。なお、閾値は、各色相に対して同じ閾値を用いてもよく、色相によって閾値を変えるようにしてもよい）を除外した画素、画像中の輝度の高い領域に位置する画素またはそれらの画素の組合わせとすることができる。
【００５３】
また、肌色を用いる場合、従来公知の顔抽出技術でカラー画像中の顔部分を抽出し、顔部分の画素を有効な画素とするようにしてもよい。
【００５４】
また、ＤＳＣにより取得したカラー画像の場合、ハイエスト画素（ＣＣＤの飽和に起因する、画素値がさちっている画素）には、撮影光源の色温度が正しく反映されていないので、このような画素を用いて撮影光源の色温度を求めると、精度が下がり、ホワイトバランス補正に悪い影響を与えてしまうので、ハイライトの所定のパーセンテージまでの画素を無効画素とし、これらの無効画素を除去した画像中の画素を有効な画素とするようにしてもよい。
【００５５】
本発明の第１から第７までのホワイトバランス補正方法は、最適係数に対応する候補画素群（グレー候補画素群および／または肌色候補画素群）に含まれる各々の画素の色温度から撮影光源の色温度を求める際に、黒体軌跡曲線（グレー候補画素群の場合はグレーの黒体軌跡曲線、肌色候補画素群の場合は、肌色の黒体軌跡曲線）に近い画素ほどその色温度の重みが高くなるように前記最適係数に対応する前記候補画素群に含まれる各々の画素の色温度を重付平均演算して得た平均色温度を前記撮影光源の色温度として求めることが好ましい。
【００５６】
また、上述のホワイトバランス補正方法において、黒体軌跡曲線を用いているが、昼光軌跡曲線が黒体軌跡曲線と略同じである理由から、上述の全てのホワイトバランス補正方法において、黒体軌跡曲線の代わりに昼光軌跡曲線を用いるようにしてもよい。
【００５７】
本発明の第１のホワイトバランス補正装置は、カラー画像の各画素の画像信号に対して、所定の係数を乗算する乗算手段と、
前記乗算の結果、グレーの黒体軌跡曲線の近傍に入る画素をグレー候補画素として各前記係数に対応するグレー候補画素群を得、該グレー候補画素群の画素数を求めるグレー候補画素群画素数取得手段と、
該グレー候補画素群画素数取得手段により取得された画素数が最大となる前記グレー候補画素群に対応する前記係数を最適係数として取得する最適係数取得手段と、
該最適係数取得手段により取得された前記最適係数に対応する前記グレー候補画素群をグレー画素群とし、該グレー画素群に含まれる各々の画素の色温度から前記カラー画像の撮影光源の色温度を求める光源色温度取得手段と、
前記カラー画像の画像信号に対して前記最適係数を乗算すると共に、該乗算がされた前記画像信号を、前記光源色温度取得手段により求められた色温度と基準白色の色温度との差分だけ補正する補正手段とを有してなるホワイトバランス補正装置において、
前記グレー候補画素群画素数取得手段が、前記グレーの黒体軌跡曲線に近い画素ほどカウント数の重みが高くなるように前記グレー候補画像群毎に各々の前記グレー候補画素のカウント数を重み付け加算して得た和を当該グレー候補画素群の画素数とすることを特徴とするものである。
【００５８】
本発明の第２のホワイトバランス補正装置は、カラー画像の各画素の画像信号に対して、所定の係数を乗算する乗算手段と、
前記乗算の結果、グレーの黒体軌跡曲線の近傍に入る画素をグレー候補画素として各前記係数に対応するグレー候補画素群を得、該グレー候補画素群の画素数を求めるグレー候補画素群画素数取得手段と、
該グレー候補画素群画素数取得手段により取得された画素数が最大となる前記グレー候補画素群に対応する前記係数を最適係数として取得する最適係数取得手段と、
該最適係数取得手段により取得された前記最適係数に対応する前記グレー候補画素群をグレー画素群とし、該グレー画素群に含まれる各々の画素の色温度から前記カラー画像の撮影光源の色温度を求める光源色温度取得手段と、
前記カラー画像の画像信号に対して前記最適係数を乗算すると共に、該乗算がされた前記画像信号を、前記光源色温度取得手段により求められた色温度と基準白色の色温度との差分だけ補正する補正手段とを有してなるホワイトバランス補正装置において、
前記グレー候補画素群画素数取得手段が、サンプルカラー画像中のグレー画素の個数が当該サンプルカラー画像の全画素の個数に占める割合に対して、多数の前記サンプルカラー画像を用いて統計的に求められた各々の前記割合毎のサンプルカラー画像の存在頻度に応じた補正係数で、前記グレー候補画素群に含まれるグレー候補画素の個数が前記カラー画像の全画素の個数に占める割合に応じて前記グレー候補画素群毎にそのグレー候補画素の個数を補正して得た値を当該グレー候補画素群の画素数とすることを特徴とするものである。
【００５９】
本発明の第３のホワイトバランス補正装置は、カラー画像の各画素の画像信号に対して、所定の係数を乗算する乗算手段と、
前記乗算の結果、肌色の黒体軌跡曲線の近傍に入る画素を肌色候補画素として各前記係数に対応する肌色候補画素群を得、該肌色候補画素群の画素数を求める肌色候補画素群画素数取得手段と、
該肌色候補画素群画素数取得手段により取得された画素数が最大となる前記肌色候補画素群に対応する前記係数を最適係数として取得する最適係数取得手段と、
該最適係数取得手段により取得された前記最適係数に対応する前記肌色候補画素群を肌色画素群とし、該肌色画素群に含まれる各々の画素の色温度から前記カラー画像の撮影光源の色温度を求める光源色温度取得手段と、
前記カラー画像の画像信号に対して前記最適係数を乗算すると共に、該乗算がされた前記画像信号を、前記光源色温度取得手段により求められた色温度と基準白色の色温度との差分だけ補正する補正手段とを有してなるホワイトバランス補正装置において、
前記肌色候補画素群画素数取得手段が、前記肌色の黒体軌跡曲線に近い画素ほどカウント数の重みが高くなるように前記肌色候補画素群毎に各々の前記肌色候補画素のカウント数を重み付け加算して得た和を当該肌色候補画素群の画素数とすることを特徴とするものである。
【００６０】
本発明の第４のホワイトバランス補正装置は、カラー画像の各画素の画像信号に対して、所定の係数を乗算する乗算手段と、
前記乗算の結果、肌色の黒体軌跡曲線の近傍に入る画素を肌色候補画素として各前記係数に対応する肌色候補画素群を得、該肌色候補画素群の画素数を求める肌色候補画素群画素数取得手段と、
該肌色候補画素群画素数取得手段により取得された画素数が最大となる前記肌色候補画素群に対応する前記係数を最適係数として取得する最適係数取得手段と、
該最適係数取得手段により取得された前記最適係数に対応する前記肌色候補画素群を肌色画素群とし、該肌色画素群に含まれる各々の画素の色温度から前記カラー画像の撮影光源の色温度を求める光源色温度取得手段と、
前記カラー画像の画像信号に対して前記最適係数を乗算すると共に、該乗算がされた前記画像信号を、前記光源色温度取得手段により求められた色温度と基準白色の色温度との差分だけ補正する補正手段とを有してなるホワイトバランス補正装置において、
前記肌色候補画素群画素数取得手段が、サンプルカラー画像中の肌色画素の個数が当該サンプルカラー画像の全画素の個数に占める割合に対して、多数の前記サンプルカラー画像を用いて統計的に求められた各々の前記割合毎のサンプルカラー画像の存在頻度に応じた補正係数で、前記肌色候補画素群に含まれる肌色候補画素の個数が前記カラー画像の全画素の個数に占める割合に応じて前記肌色候補画素群毎にその肌色候補画素の個数を補正して得た値を当該肌色候補画素群の画素数とすることを特徴とするものである。
【００６１】
本発明の第５のホワイトバランス補正装置は、カラー画像の各画素の画像信号に対して所定の係数を乗算する乗算手段と、
前記乗算の結果、グレーの黒体軌跡曲線の近傍に入る画素をグレー候補画素として各前記係数に対応するグレー候補画素群と肌色の黒体軌跡曲線の近傍に入る画素を肌色候補画素として各前記係数に対応する肌色候補画素群とを得、前記グレー候補画素群の画素数および前記肌色候補画素群の画素数を求める候補画素群画素数取得手段と、
該候補画素群画素数取得手段により取得された前記グレー候補画素群の画素数と前記肌色候補画素群の画素数との和が最大となる前記係数を最適係数として取得する最適係数取得手段と、
該最適係数取得手段により取得された前記適係数に対応する前記グレー候補画素群と肌色候補画素群を夫々グレー画素群と肌色画素群にし、該グレー画素群に含まれる各々の画素の色温度および該肌色画素群に含まれる各々の画素の色温度から前記カラー画像の撮影光源の色温度を求める光源色温度取得手段と、
前記カラー画像の画像信号に対して前記最適係数を乗算すると共に、該乗算がされた前記画像信号を、前記光源色温度取得手段により求められた色温度と基準白色との差分だけ補正する補正手段とを有してなるホワイトバランス補正装置において、
前記候補画素群画素数取得手段が、前記グレーの黒体軌跡曲線に近い画素ほどカウント数の重みが高くなるように前記グレー候補画像群毎に各々の前記グレー候補画素のカウント数を重み付け加算して得た和、または、サンプルカラー画像中のグレー画素の個数が当該サンプルカラー画像の全画素の個数に占める割合に対して、多数の前記サンプルカラー画像を用いて統計的に求められた各々の前記割合毎のサンプルカラー画像の存在頻度に応じた補正係数で、前記グレー候補画素群に含まれるグレー候補画素の個数が前記カラー画像の全画素の個数に占める割合に応じて前記グレー候補画素群毎にそのグレー候補画素の個数を補正して得た値、を当該グレー候補画素群の画素数とする処理、および／または、
前記肌色の黒体軌跡曲線に近い画素ほどカウント数の重みが高くなるように前記肌色候補画素群毎に各々の前記肌色候補画素のカウント数を重み付け加算して得た和、またはサンプルカラー画像中の肌色画素の個数が当該サンプルカラー画像の全画素の個数に占める割合に対して、多数の前記サンプルカラー画像を用いて統計的に求められた各々の前記割合毎のサンプルカラー画像の存在頻度に応じた補正係数で、前記肌色候補画素群に含まれる肌色候補画素の個数が前記カラー画像の全画素の個数に占める割合に応じて前記肌色候補画素群毎にその肌色候補画素の個数を補正して得た値、を当該肌色候補画素群の画素数とする処理を行うことを特徴とするものである。
【００６２】
本発明の第６のホワイトバランス補正装置は、カラー画像の各画素の画像信号に対して所定の係数を乗算する乗算手段と、
前記乗算の結果、グレーの黒体軌跡曲線の近傍に入る画素をグレー候補画素として各前記係数に対応するグレー候補画素群と肌色の黒体軌跡曲線の近傍に入る画素を肌色候補画素として各前記係数に対応する肌色候補画素群とを得、前記グレー候補画素群の平均色温度と前記肌色候補画素群の平均色温度を求める候補画素群平均色温度取得手段と、
該候補画素群平均色温度により取得された前記グレー候補画素群の平均色温度と前記肌色候補画素群の平均色温度との差が最小となる前記係数を最適係数として取得する最適係数取得手段と、
該最適係数取得手段により取得された前記適係数に対応する前記グレー候補画素群と肌色候補画素群を夫々グレー画素群と肌色画素群にし、該グレー画素群に含まれる各々の画素の色温度および該肌色画素群に含まれる各々の画素の色温度から前記カラー画像の撮影光源の色温度を求める光源色温度取得手段と、
前記カラー画像の画像信号に対して前記最適係数を乗算すると共に、該乗算がされた前記画像信号を、前記光源色温度取得手段により求められた色温度と基準白色との差分だけ補正する補正手段とを有してなるホワイトバランス補正装置において、
前記候補画素群平均色温度取得手段が、前記グレーの黒体軌跡曲線に近いグレー候補画素ほどその色温度の重みが高くなるように前記グレー候補画素群に含まれる各々のグレー候補画素の色温度を重み付け平均演算して得た値を該グレー候補画素群の平均色温度とする処理、および／または、
前記肌色の黒体軌跡曲線に近い肌色候補画素ほどその色温度の重みが高くなるように前記肌色候補画素群に含まれる各々の肌色候補画素の色温度を重み付け平均演算して得た値を該肌色候補画素群の平均色温度とする処理を行うことを特徴とするものである。
【００６３】
本発明の第７のホワイトバランス補正装置は、カラー画像の各画素の画像信号に対して所定の係数を乗算する乗算手段と、
前記乗算の結果、グレーの黒体軌跡曲線の近傍に入る画素をグレー候補画素として各前記係数に対応するグレー候補画素群と肌色の黒体軌跡曲線の近傍に入る画素を肌色候補画素として各前記係数に対応する肌色候補画素群とを得る候補画素群取得手段と、
該候補画素群取得手段により取得された前記グレー候補画素群の画素数および前記肌色候補画素群の画素数を求める候補画素群画素数取得手段と、
前記候補画素群取得手段により取得された前記グレー候補画素群の平均色温度と前記肌色候補画素群の平均色温度を求める候補画素群平均色温度取得手段と、
前記候補画素群画素数取得手段により取得された前記グレー候補画素群の画素数と前記肌色候補画素群の画素数との和が最大となり、かつ前記候補画素群平均色温度取得手段により取得された前記グレー候補画素群の平均色温度と前記肌色候補画素群の平均色温度との差が最小となる前記係数を最適係数として取得する最適係数取得手段と、
該最適係数取得手段により取得された前記適係数に対応する前記グレー候補画素群と肌色候補画素群を夫々グレー画素群と肌色画素群にし、該グレー画素群に含まれる各々の画素の色温度および該肌色画素群に含まれる各々の画素の色温度から前記カラー画像の撮影光源の色温度を求める光源色温度取得手段と、
前記カラー画像の画像信号に対して前記最適係数を乗算すると共に、該乗算がされた前記画像信号を、前記光源色温度取得手段により求められた色温度と基準白色との差分だけ補正する補正手段とを有してなるホワイトバランス補正装置において、
前記候補画素群画素数取得手段が、前記グレーの黒体軌跡曲線に近い画素ほどカウント数の重みが高くなるように前記グレー候補画像群毎に各々の前記グレー候補画素のカウント数を重み付け加算して得た和、または、サンプルカラー画像中のグレー画素の個数が当該サンプルカラー画像の全画素の個数に占める割合に対して、多数の前記サンプルカラー画像を用いて統計的に求められた各々の前記割合毎のサンプルカラー画像の存在頻度に応じた補正係数で、前記グレー候補画素群に含まれるグレー候補画素の個数が前記カラー画像の全画素の個数に占める割合に応じて前記グレー候補画素群毎にそのグレー候補画素の個数を補正して得た値、を当該グレー候補画素群の画素数とする処理、および／または、
前記肌色の黒体軌跡曲線に近い画素ほどカウント数の重みが高くなるように前記肌色候補画素群毎に各々の前記肌色候補画素のカウント数を重み付け加算して得た和、または、サンプルカラー画像中の肌色画素の個数が当該サンプルカラー画像の全画素の個数に占める割合に対して、多数の前記サンプルカラー画像を用いて統計的に求められた各々の前記割合毎のサンプルカラー画像の存在頻度に応じた補正係数で、前記肌色候補画素群に含まれる肌色候補画素の個数が前記カラー画像の全画素の個数に占める割合に応じて前記肌色候補画素群毎にその肌色候補画素の個数を補正して得た値、を当該肌色候補画素群の画素数とする処理を行うことを特徴とするものである。
【００６４】
本発明の第８のホワイトバランス補正装置は、カラー画像の各画素の画像信号に対して所定の係数を乗算する乗算手段と、
前記乗算の結果、グレーの黒体軌跡曲線の近傍に入る画素をグレー候補画素として各前記係数に対応するグレー候補画素群と肌色の黒体軌跡曲線の近傍に入る画素を肌色候補画素として各前記係数に対応する肌色候補画素群とを得る候補画素群取得手段と、
該候補画素群取得手段により取得された前記グレー候補画素群の画素数および前記肌色候補画素群の画素数を求める候補画素群画素数取得手段と、
前記候補画素群取得手段により取得された前記グレー候補画素群の平均色温度と前記肌色候補画素群の平均色温度を求める候補画素群平均色温度取得手段と、
前記候補画素群画素数取得手段により取得された前記グレー候補画素群の画素数と前記肌色候補画素群の画素数との和が最大となり、かつ前記候補画素群平均色温度取得手段により取得された前記グレー候補画素群の平均色温度と前記肌色候補画素群の平均色温度との差が最小となる前記係数を最適係数として取得する最適係数取得手段と、
該最適係数取得手段により取得された前記適係数に対応する前記グレー候補画素群と肌色候補画素群を夫々グレー画素群と肌色画素群にし、該グレー画素群に含まれる各々の画素の色温度および該肌色画素群に含まれる各々の画素の色温度から前記カラー画像の撮影光源の色温度を求める光源色温度取得手段と、
前記カラー画像の画像信号に対して前記最適係数を乗算すると共に、該乗算がされた前記画像信号を、前記光源色温度取得手段により求められた色温度と基準白色との差分だけ補正する補正手段とを有してなるホワイトバランス補正装置において、
前記候補画素群平均色温度取得手段が、前記グレーの黒体軌跡曲線に近いグレー候補画素ほどその色温度の重みが高くなるように前記グレー候補画素群に含まれる各々のグレー候補画素の色温度を重み付け平均演算して得た値を該グレー候補画素群の平均色温度とする処理、および／または、
前記肌色の黒体軌跡曲線に近い肌色候補画素ほどその色温度の重みが高くなるように前記肌色候補画素群に含まれる各々の肌色候補画素の色温度を重み付け平均演算して得た値を該肌色候補画素群の平均色温度とする処理を行うことを特徴とするものである。
【００６５】
本発明の第１から第８のホワイトバランス補正装置は、前記カラー画像の各画素のうち、前記グレー候補画素群および／または肌色候補画素群を得るために有効な画素を抽出し、該有効な画素のみを前記グレー候補画素群および／または肌色候補画素群の取得に供する有効画素抽出手段をさらに備えたことが好ましい。
【００６６】
本発明のホワイトバランス装置において、前記光源色温度取得手段は、前記黒体軌跡曲線に近い画素ほどその色温度の重みが高くなるように前記最適係数に対応する前記候補画素群に含まれる各々の画素の色温度を重付平均演算して得た平均色温度を前記撮影光源の色温度として求めるものであることが好ましい。
【００６７】
本発明のホワイトバランス補正装置において、前記黒体軌跡曲線の代わりに昼光軌跡曲線を用いてもよい。
【００６８】
本発明の第１のプログラムは、カラー画像の各画素の画像信号に対して、所定の係数を乗算する乗算処理と、
前記乗算の結果、グレーの黒体軌跡曲線の近傍に入る画素をグレー候補画素として各前記係数に対応するグレー候補画素群を得、該グレー候補画素群の画素数を求めるグレー候補画素群画素数取得処理と、
該グレー候補画素群画素数取得処理により取得された画素数が最大となる前記グレー候補画素群に対応する前記係数を最適係数として取得する最適係数取得処理と、
該最適係数取得処理により取得された前記最適係数に対応する前記グレー候補画素群をグレー画素群とし、該グレー画素群に含まれる各々の画素の色温度から前記カラー画像の撮影光源の色温度を求める光源色温度取得処理と、
前記カラー画像の画像信号に対して前記最適係数を乗算すると共に、該乗算がされた前記画像信号を、前記光源色温度取得処理により求められた色温度と基準白色の色温度との差分だけ補正する補正処理とをコンピュータに行わせるプログラムであって、
前記グレー候補画素群画素数取得処理が、前記グレーの黒体軌跡曲線に近い画素ほどカウント数の重みが高くなるように前記グレー候補画像群毎に各々の前記グレー候補画素のカウント数を重み付け加算して得た和を当該グレー候補画素群の画素数とすることを特徴とするものである。
【００６９】
本発明の第２のプログラムは、カラー画像の各画素の画像信号に対して、所定の係数を乗算する乗算処理と、
前記乗算の結果、グレーの黒体軌跡曲線の近傍に入る画素をグレー候補画素として各前記係数に対応するグレー候補画素群を得、該グレー候補画素群の画素数を求めるグレー候補画素群画素数取得処理と、
該グレー候補画素群画素数取得処理により取得された画素数が最大となる前記グレー候補画素群に対応する前記係数を最適係数として取得する最適係数取得処理と、
該最適係数取得処理により取得された前記最適係数に対応する前記グレー候補画素群をグレー画素群とし、該グレー画素群に含まれる各々の画素の色温度から前記カラー画像の撮影光源の色温度を求める光源色温度取得処理と、
前記カラー画像の画像信号に対して前記最適係数を乗算すると共に、該乗算がされた前記画像信号を、前記光源色温度取得処理により求められた色温度と基準白色の色温度との差分だけ補正する補正処理とをコンピュータに行わせるプログラムであって、
前記グレー候補画素群画素数取得処理が、サンプルカラー画像中のグレー画素の個数が当該サンプルカラー画像の全画素の個数に占める割合に対して、多数の前記サンプルカラー画像を用いて統計的に求められた各々の前記割合毎のサンプルカラー画像の存在頻度に応じた補正係数で、前記グレー候補画素群に含まれるグレー候補画素の個数が前記カラー画像の全画素の個数に占める割合に応じて前記グレー候補画素群毎にそのグレー候補画素の個数を補正して得た値を当該グレー候補画素群の画素数とすることを特徴とするものである。
【００７０】
本発明の第３のプログラムは、カラー画像の各画素の画像信号に対して、所定の係数を乗算する乗算処理と、
前記乗算の結果、肌色の黒体軌跡曲線の近傍に入る画素を肌色候補画素として各前記係数に対応する肌色候補画素群を得、該肌色候補画素群の画素数を求める肌色候補画素群画素数取得処理と、
該肌色候補画素群画素数取得処理により取得された画素数が最大となる前記肌色候補画素群に対応する前記係数を最適係数として取得する最適係数取得処理と、
該最適係数取得処理により取得された前記最適係数に対応する前記肌色候補画素群を肌色画素群とし、該肌色画素群に含まれる各々の画素の色温度から前記カラー画像の撮影光源の色温度を求める光源色温度取得処理と、
前記カラー画像の画像信号に対して前記最適係数を乗算すると共に、該乗算がされた前記画像信号を、前記光源色温度取得処理により求められた色温度と基準白色の色温度との差分だけ補正する補正処理とをコンピュータに実行させるプログラムであって、
前記肌色候補画素群画素数取得処理が、前記肌色の黒体軌跡曲線に近い画素ほどカウント数の重みが高くなるように前記肌色候補画素群毎に各々の前記肌色候補画素のカウント数を重み付け加算して得た和を当該肌色候補画素群の画素数とすることを特徴とするものである。
【００７１】
本発明の第４のプログラムは、カラー画像の各画素の画像信号に対して、所定の係数を乗算する乗算処理と、
前記乗算の結果、肌色の黒体軌跡曲線の近傍に入る画素を肌色候補画素として各前記係数に対応する肌色候補画素群を得、該肌色候補画素群の画素数を求める肌色候補画素群画素数取得処理と、
該肌色候補画素群画素数取得処理により取得された画素数が最大となる前記肌色候補画素群に対応する前記係数を最適係数として取得する最適係数取得処理と、
該最適係数取得処理により取得された前記最適係数に対応する前記肌色候補画素群を肌色画素群とし、該肌色画素群に含まれる各々の画素の色温度から前記カラー画像の撮影光源の色温度を求める光源色温度取得処理と、
前記カラー画像の画像信号に対して前記最適係数を乗算すると共に、該乗算がされた前記画像信号を、前記光源色温度取得処理により求められた色温度と基準白色の色温度との差分だけ補正する補正処理とをコンピュータに実行させるプログラムであって、
前記肌色候補画素群画素数取得処理が、サンプルカラー画像中の肌色画素の個数が当該サンプルカラー画像の全画素の個数に占める割合に対して、多数の前記サンプルカラー画像を用いて統計的に求められた各々の前記割合毎のサンプルカラー画像の存在頻度に応じた補正係数で、前記肌色候補画素群に含まれる肌色候補画素の個数が前記カラー画像の全画素の個数に占める割合に応じて前記肌色候補画素群毎にその肌色候補画素の個数を補正して得た値を該当肌色候補画素群の画素数とすることを特徴とするものである。
【００７２】
本発明の第５のプログラムは、カラー画像の各画素の画像信号に対して所定の係数を乗算する乗算処理と、
前記乗算の結果、グレーの黒体軌跡曲線の近傍に入る画素をグレー候補画素として各前記係数に対応するグレー候補画素群と肌色の黒体軌跡曲線の近傍に入る画素を肌色候補画素として各前記係数に対応する肌色候補画素群とを得、前記グレー候補画素群の画素数および前記肌色候補画素群の画素数を求める候補画素群画素数取得処理と、
該候補画素群画素数取得処理により取得された前記グレー候補画素群の画素数と前記肌色候補画素群の画素数との和が最大となる前記係数を最適係数として取得する最適係数取得処理と、
該最適係数取得処理により取得された前記適係数に対応する前記グレー候補画素群と肌色候補画素群を夫々グレー画素群と肌色画素群にし、該グレー画素群に含まれる各々の画素の色温度および該肌色画素群に含まれる各々の画素の色温度から前記カラー画像の撮影光源の色温度を求める光源色温度取得処理と、
前記カラー画像の画像信号に対して前記最適係数を乗算すると共に、該乗算がされた前記画像信号を、前記光源色温度取得処理により求められた色温度と基準白色との差分だけ補正する補正処理とをコンピュータに実行させるプログラムであって、
前記候補画素群画素数取得処理が、前記グレーの黒体軌跡曲線に近い画素ほどカウント数の重みが高くなるように前記グレー候補画像群毎に各々の前記グレー候補画素のカウント数を重み付け加算して得た和、または、サンプルカラー画像中のグレー画素の個数が当該サンプルカラー画像の全画素の個数に占める割合に対して、多数の前記サンプルカラー画像を用いて統計的に求められた各々の前記割合毎のサンプルカラー画像の存在頻度に応じた補正係数で、前記グレー候補画素群に含まれるグレー候補画素の個数が前記カラー画像の全画素の個数に占める割合に応じて前記グレー候補画素群毎にそのグレー候補画素の個数を補正して得た値、を当該グレー候補画素群の画素数とする手順、および／または、
前記肌色の黒体軌跡曲線に近い画素ほどカウント数の重みが高くなるように前記肌色候補画素群毎に各々の前記肌色候補画素のカウント数を重み付け加算して得た和、または、サンプルカラー画像中の肌色画素の個数が当該サンプルカラー画像の全画素の個数に占める割合に対して、多数の前記サンプルカラー画像を用いて統計的に求められた各々の前記割合毎のサンプルカラー画像の存在頻度に応じた補正係数で、前記肌色候補画素群に含まれる肌色候補画素の個数が前記カラー画像の全画素の個数に占める割合に応じて前記肌色候補画素群毎にその肌色候補画素の個数を補正して得た値、を当該肌色候補画素群の画素数とする手順を有することを特徴とするものである。
【００７３】
本発明の第６のプログラムは、カラー画像の各画素の画像信号に対して所定の係数を乗算する乗算処理と、
前記乗算の結果、グレーの黒体軌跡曲線の近傍に入る画素をグレー候補画素として各前記係数に対応するグレー候補画素群と肌色の黒体軌跡曲線の近傍に入る画素を肌色候補画素として各前記係数に対応する肌色候補画素群とを得、前記グレー候補画素群の平均色温度と前記肌色候補画素群の平均色温度を求める候補画素群平均色温度取得処理と、
該候補画素群平均色温度により取得された前記グレー候補画素群の平均色温度と前記肌色候補画素群の平均色温度との差が最小となる前記係数を最適係数として取得する最適係数取得処理と、
該最適係数取得処理により取得された前記適係数に対応する前記グレー候補画素群と肌色候補画素群を夫々グレー画素群と肌色画素群にし、該グレー画素群に含まれる各々の画素の色温度および該肌色画素群に含まれる各々の画素の色温度から前記カラー画像の撮影光源の色温度を求める光源色温度取得処理と、
前記カラー画像の画像信号に対して前記最適係数を乗算すると共に、該乗算がされた前記画像信号を、前記光源色温度取得処理により求められた色温度と基準白色との差分だけ補正する補正処理とをコンピュータに実行させるプログラムであって、
前記候補画素群平均色温度取得処理が、前記グレーの黒体軌跡曲線に近いグレー候補画素ほどその色温度の重みが高くなるように前記グレー候補画素群に含まれる各々のグレー候補画素の色温度を重み付け平均演算して得た値を該グレー候補画素群の平均色温度とする手順、および／または、
前記肌色の黒体軌跡曲線に近い肌色候補画素ほどその色温度の重みが高くなるように前記肌色候補画素群に含まれる各々の肌色候補画素の色温度を重み付け平均演算して得た値を該肌色候補画素群の平均色温度とする手順を有することを特徴とするものである。
【００７４】
本発明の第７のプログラムは、カラー画像の各画素の画像信号に対して所定の係数を乗算する乗算処理と、
前記乗算の結果、グレーの黒体軌跡曲線の近傍に入る画素をグレー候補画素として各前記係数に対応するグレー候補画素群と肌色の黒体軌跡曲線の近傍に入る画素を肌色候補画素として各前記係数に対応する肌色候補画素群とを得る候補画素群取得処理と、
該候補画素群取得処理により取得された前記グレー候補画素群の画素数および前記肌色候補画素群の画素数を求める候補画素群画素数取得処理と、
前記候補画素群取得処理により取得された前記グレー候補画素群の平均色温度と前記肌色候補画素群の平均色温度を求める候補画素群平均色温度取得処理と、
前記候補画素群画素数取得処理により取得された前記グレー候補画素群の画素数と前記肌色候補画素群の画素数との和が最大となり、かつ前記候補画素群平均色温度取得処理により取得された前記グレー候補画素群の平均色温度と前記肌色候補画素群の平均色温度との差が最小となる前記係数を最適係数として取得する最適係数取得処理と、
該最適係数取得処理により取得された前記適係数に対応する前記グレー候補画素群と肌色候補画素群を夫々グレー画素群と肌色画素群にし、該グレー画素群に含まれる各々の画素の色温度および該肌色画素群に含まれる各々の画素の色温度から前記カラー画像の撮影光源の色温度を求める光源色温度取得処理と、
前記カラー画像の画像信号に対して前記最適係数を乗算すると共に、該乗算がされた前記画像信号を、前記光源色温度取得処理により求められた色温度と基準白色との差分だけ補正する補正処理とをコンピュータに実行させるプログラムであって、
前記候補画素群画素数取得処理が、前記グレーの黒体軌跡曲線に近い画素ほどカウント数の重みが高くなるように前記グレー候補画像群毎に各々の前記グレー候補画素のカウント数を重み付け加算して得た和、または、サンプルカラー画像中のグレー画素の個数が当該サンプルカラー画像の全画素の個数に占める割合に対して、多数の前記サンプルカラー画像を用いて統計的に求められた各々の前記割合毎のサンプルカラー画像の存在頻度に応じた補正係数で、前記グレー候補画素群に含まれるグレー候補画素の個数が前記カラー画像の全画素の個数に占める割合に応じて前記グレー候補画素群毎にそのグレー候補画素の個数を補正して得た値、を当該グレー候補画素群の画素数する手順、および／または、
前記肌色の黒体軌跡曲線に近い画素ほどカウント数の重みが高くなるように前記肌色候補画素群毎に各々の前記肌色候補画素のカウント数を重み付け加算して得た和、または、サンプルカラー画像中の肌色画素の個数が当該サンプルカラー画像の全画素の個数に占める割合に対して、多数の前記サンプルカラー画像を用いて統計的に求められた各々の前記割合毎のサンプルカラー画像の存在頻度に応じた補正係数で、前記肌色候補画素群に含まれる肌色候補画素の個数が前記カラー画像の全画素の個数に占める割合に応じて前記肌色候補画素群毎にその肌色候補画素の個数を補正して得た値、を当該肌色候補画素群の画素数とする手順を有することを特徴とするものである。
【００７５】
本発明の第８のプログラムは、カラー画像の各画素の画像信号に対して所定の係数を乗算する乗算処理と、
前記乗算の結果、グレーの黒体軌跡曲線の近傍に入る画素をグレー候補画素として各前記係数に対応するグレー候補画素群と肌色の黒体軌跡曲線の近傍に入る画素を肌色候補画素として各前記係数に対応する肌色候補画素群とを得る候補画素群取得処理と、
該候補画素群取得処理により取得された前記グレー候補画素群の画素数および前記肌色候補画素群の画素数を求める候補画素群画素数取得処理と、
前記候補画素群取得処理により取得された前記グレー候補画素群の平均色温度と前記肌色候補画素群の平均色温度を求める候補画素群平均色温度取得処理と、
前記候補画素群画素数取得処理により取得された前記グレー候補画素群の画素数と前記肌色候補画素群の画素数との和が最大となり、かつ前記候補画素群平均色温度取得処理により取得された前記グレー候補画素群の平均色温度と前記肌色候補画素群の平均色温度との差が最小となる前記係数を最適係数として取得する最適係数取得処理と、
該最適係数取得処理により取得された前記適係数に対応する前記グレー候補画素群と肌色候補画素群を夫々グレー画素群と肌色画素群にし、該グレー画素群に含まれる各々の画素の色温度および該肌色画素群に含まれる各々の画素の色温度から前記カラー画像の撮影光源の色温度を求める光源色温度取得処理と、
前記カラー画像の画像信号に対して前記最適係数を乗算すると共に、該乗算がされた前記画像信号を、前記光源色温度取得処理により求められた色温度と基準白色との差分だけ補正する補正処理とをコンピュータに実行させるプログラムであって、
前記候補画素群平均色温度取得処理が、前記グレーの黒体軌跡曲線に近いグレー候補画素ほどその色温度の重みが高くなるように前記グレー候補画素群に含まれる各々のグレー候補画素の色温度を重み付け平均演算して得た値を該グレー候補画素群の平均色温度とする手順、および／または、
前記肌色の黒体軌跡曲線に近い肌色候補画素ほどその色温度の重みが高くなるように前記肌色候補画素群に含まれる各々の肌色候補画素の色温度を重み付け平均演算して得た値を該肌色候補画素群の平均色温度とする手順を有することを特徴とするものである。
【００７６】
本発明の第１から第８のプログラムは、前記カラー画像の各画素のうち、前記グレー候補画素群および／または肌色候補画素群を得るために有効な画素を抽出し、該有効な画素のみを前記グレー候補画素群および／または肌色候補画素群の取得に供する有効画素抽出処理をさらにコンピュータに行わせるものであることが好ましい。
【００７７】
本発明のプログラムは、前記光源色温度取得処理として、前記黒体軌跡曲線に近い画素ほどその色温度の重みが高くなるように前記最適係数に対応する前記候補画素群に含まれる各々の画素の色温度を重付平均演算して得た平均色温度を前記撮影光源の色温度として求めるものであることが好ましい。
【００７８】
本発明のプログラムにより実行される各処理において、前記黒体軌跡曲線の代わりに昼光軌跡曲線を用いてもよい。
【発明の効果】
【００７９】
本発明のホワイトバランス補正方法および装置並びにそのためのプログラムによれば、グレー候補画素群および／または肌色候補画素群の画素数を求める際に、候補画素のカウント数（１つの候補画素はカウント数が１である）の和を単純加算した値を画素数とせず、同じ候補画素群に含まれる候補画素であっても、グレー候補画素が真のグレー画素となる確率、肌色候補画素が真の肌色画素となる確率に応じて候補画素のカウント数を重み付け加算して得た値を候補画素群の画素数にしているので、候補画素群の画素数に基づいて得た最適係数およびこの最適係数に対応する候補画素群から、撮影光源の色温度をより精度良く求めることができ、より良いホワイトバランス補正の効果を得ることができる。
【００８０】
本発明のホワイトバランス補正方法および装置並びにそのためのプログラムによれば、グレー候補画素群および／または肌色候補画素群の画素数を求める際に、統計的に求められた傾向に応じた補正係数（例えばグレーと肌色夫々に対応した図２（ｂ）と図３（ｂ）に示す補正係数）で候補画素のカウント数を単純加算して得た和を補正して得た値を候補画素群の画素数にしているので、候補画素群の画素数に基づいて得た最適係数およびこの最適係数に対応する候補画素群から、撮影光源の色温度をより精度良く求めることができ、より良いホワイトバランス補正の効果を得ることができる。
【００８１】
「グレー候補画素群の平均色温度と肌色候補画素群の平均色温度との差が最も小さい」であるべきことに基づいて、グレー候補画素群の平均色温度と肌色候補画素群の平均色温度を求める際に、候補画素群に含まれる各々の画素の色温度を単純平均して得た値を候補画素群の色温度とせず、同じ候補画素群に含まれる候補画素であっても、グレー候補画素が真のグレー画素となる確率、肌色候補画素が真の肌色画素となる確率に応じて候補画素の色温度を重み付け平均演算して得た値を候補画素群の平均色温度としているので、精度良く最適係数を求めることができ、ひいては撮影光源の色温度を精度良く求めることができる。
【００８２】
また、撮影光源の色温度を求める際にも、最適係数に対応する候補画素群の色温度を単純平均演算して得た値を撮影光源の色温度とせず、最適係数に対応する候補画素群に含まれる各々の候補画素が、真のグレー画素または真の肌色画素となる確率に応じて各々の候補画素の色温度を重み付け平均演算して得た値を撮影光源の色温度としているので、精度良く撮影光源の色温度を求めることができ、良いホワイトバランス補正の効果を図ることができる。
【００８３】
また、候補画素を取得する際に、カラー画像中の全ての画素から有効な画素を抽出するようにし、これらの有効な画素から候補画素を取得するようにすれば、候補画素を取得するための計算量を減らすことができると共に、撮影光源の色温度の取得に悪い影響を与えるハイエスト画素のような無効な画素を取り除くことにより、より精度良く撮影光源の色温度を求めることができ、ホワイトバランス補正の効果を向上させることができる。
【発明を実施するための最良の形態】
【００８４】
以下、図面を参照して、本発明の実施形態について説明する。
【００８５】
図４は、本発明のホワイトバランス補正方法および装置並びにそのためのプログラムの実施形態となる画像処理装置Ａの構成を示すブロック図である。なお、本実施形態の画像処理装置Ａは、カラー画像に対してホワイトバランス補正を行うものであり、補助記憶装置に読み込まれたホワイトバランス補正プログラムをコンピュータ（たとえばパーソナルコンピュータ等）上で実行することにより実現される。また、このホワイトバランス補正プログラムは、ＣＤＲＯＭ等の情報記憶媒体に記憶され、もしくはインターネット等のネットワークを介して配布され、コンピュータにインストールされることになる。
【００８６】
図示のように、本実施形態の画像処理装置Ａは、デジタルスチールカメラ（ＤＳＣ）により取得したカラー画像Ｓ０（Ｒ０，Ｇ０，Ｂ０）から、有効な画素を抽出するための第１の有効画素抽出手段１０ａおよび第２の有効画素抽出手段１０ｂと、有効画素抽出手段１０ａおよび１０ｂにより抽出された有効な画素の画像信号Ｓ１ａとｓ１ｂに対して所定の係数を乗算して各係数に対応する画像信号の集合となる画像信号群Ｓ２ａおよびＳ２ｂを得る乗算手段１５と、乗算手段１５により得られた画像信号群Ｓ２ａを用いて各係数に対応するグレー候補画素群Ｓ３ａを検出するグレー候補画素群検出手段２０ａと、乗算手段１５により得られた画像信号群Ｓ２ａおよびＳ２ｂを用いて各係数に対応する肌色候補画素群Ｓ３ｂを検出する肌色候補画素群検出手段２０ｂと、各々のグレー候補画素群Ｓ３ａの夫々の画素数Ｍａおよび各々の肌色候補画素群Ｓ３ｂの夫々の画素数Ｍｂを求める画素数算出手段３０ａと、各々のグレー候補画素群Ｓ３ａの夫々の平均色温度Ｔａおよび各々の肌色候補画素群Ｓ３ｂの夫々の平均色温度Ｔｂを求める平均色温度算出手段３０ｂと、グレー候補画素群の画素数と肌色候補画素群の画素数との和が最も大きい、かつグレー候補画素群の平均色温度と肌色候補画素群の平均色温度との差が最も小さい係数を最適係数αとして取得する最適係数取得手段４０と、最適係数取得手段４０により取得された最適係数αに対応するグレー候補画素群Ｓ３ａと肌色候補画素群Ｓ３ｂに含まれる各々の画素の色温度から撮影光源の色温度Ｔを求める光源色温度取得手段５０と、最適係数取得手段４０により求められた最適係数αおよび光源色温度取得手段５０により取得された撮影光源の色温度を用いてカラー画像Ｓ０の全ての画素の画像信号に対して補正を行って補正済み画像Ｓ４（Ｒ４，Ｇ４，Ｂ４）を得る補正手段６０とを有してなる。
【００８７】
次に、図１に示す画像処理装置Ａの各構成について説明する。
【００８８】
第１の有効画素抽出手段１０ａは、まず、カラー画像Ｓ０中の下記のような画素を無効な画素として除去する。
【００８９】
１． カラー画像中の高彩度画素
ここでは、Ｒ＝Ｇ＝Ｂのグレー軸からの距離が所定の閾値以上の画素を高彩度画素とする。なお、閾値は、各色相に対して同じ閾値を用いてもよく、色相によって閾値を変えるようにしてもよい。
【００９０】
２． ハイエスト画素
ここでは、カラー画像Ｓ０中のハイライトの所定のパーセンテージ（例えば５％ ）までの画素をハイエスト画素とする
第１の有効画素抽出手段１０ａが、上記無効な画素を除去して得た残りの画素に、カラー画像Ｓ０中の輝度の高い領域にある画素、すなわち、輝度値が所定の閾値以上の画素を加えて、有効画素Ｓ１ａ（Ｒ１ａ，Ｇ１ａ，Ｂ１ａ）を得る。
【００９１】
第２の有効画素抽出手段１０ｂが、顔抽出手段であり、カラー画像Ｓ０中の顔部分を抽出し、抽出した顔部分の画素を有効画素Ｓ１ｂ（Ｒ１ｂ，Ｇ１ｂ，Ｇ１ｂ）として第１の抽出手段１０ａにより抽出された有効画素Ｓ１ａに加える。
【００９２】
乗算手段１５は、有効画素Ｓ１ａとＳ１ｂの画像信号に対して下記の式（４）のように所定の係数α０（α１，α２）を乗算して各係数α０に対応する画像信号の集合となる画像信号群Ｓ２ａおよびＳ２ｂを得て、画像信号群Ｓ２ａをグレー候補画素群検出手段２０ａに出力すると共に、画像信号群Ｓ２ａおよびＳ２ｂを肌色候補画素群検出手段２０ｂに出力する。なお、乗算をＲ、Ｇ、Ｂの３信号に対して行う必要がなく、いずれか２つの信号、ここではＲ、Ｇに対して行えれば十分である。
【００９３】
Ｒ２ａ＝α１Ｒ１ａ
Ｇ２ａ＝α２Ｇ１ａ （４）
Ｒ２ｂ＝α１Ｒ１ｂ
Ｇ２ｂ＝α２Ｇ１ｂ
グレー候補画素群検出手段２０ａと肌色候補画素群検出手段２０ｂは、夫々画像信号群Ｓ２ａと、Ｓ２ａおよびＳ２ｂとを用いて各係数に対応するグレー候補画素群と肌色候補画素群とを夫々検出するものである。以下図１を参照して、グレー候補画素群検出手段２０ａと肌色候補画素群検出手段２０ｂの動作を具体的に説明する。
【００９４】
図１において、Ｇｙはグレーの黒体軌跡曲線である。前述したように、黒体軌跡とは、色温度をＴ、色温度Ｔの黒体放射エネルギ分布をＰ（λ）、被写体の分光反射率分布をρ（λ）、ＤＳＣのＣＣＤセンサの分光感度分布をＳｉ（λ）（ｉ＝Ｒ、Ｇ、Ｂ）としたとき、次の式（２）で計算されたＥｉを式（１）により色度座標（ｒ，ｂ）に変換して色度図にプロットしたとき、色温度Ｔを動かしたときの軌跡である。黒体軌跡は、ＣＣＤセンサの分光分布および被写体の色ごとに存在し、グレーの黒体軌跡は、被写体をグレーとしたときの被写体の分光反射率ρ（λ）１として得られる。なお、ＣＣＤセンサの分光感度分布Ｓｉ（λ）は、カラー画像Ｓ０を撮影したＤＳＣのＣＣＤセンサ固有のものを用いることが好ましいが、図５に示すようなＢＴ７０９準拠の理想分光感度分布を用いてもよい。
【００９５】
ｒ＝Ｒ／（Ｒ＋Ｇ＋Ｂ）
ｂ＝Ｂ／（Ｒ＋Ｇ＋Ｂ） （１）
Ｅｉ＝∫Ｐ（λ）ρ（λ）Ｓｉ（λ）ｄλ （２）
また、肌色の黒体軌跡曲線は、グレーの黒体軌跡曲線Ｇｙと同じ方法で、肌色に対して得たものであり、ここで図示を省略する。
【００９６】
グレー候補画素群検出手段２０ａは、乗算手段１５により得られた画像信号群Ｓ２ａに対して、まず、式（１）に従って、（Ｒ、Ｇ、Ｂ）信号を色度座標（ｒ，ｂ）に変換すると共に、図１に示す色度図にプロットする。そして次に、グレー候補画素群検出手段２０ａは、画像信号群Ｓ２ａの各信号をグレーの黒体軌跡曲線Ｇｙと比較して、グレーの黒体軌跡曲線Ｇｙの近傍の信号を有する画素（ここでは、黒体軌跡曲線Ｇｙ上の点と比較して、色度座標ｒの差が０．０３以下の信号の画素）をグレー候補画素として検出する。このように、グレー候補画素群検出手段２０ａは、各係数α０に対してグレー候補画素を検出し、各々の係数α０に対応するグレー候補画素群Ｓ３ａを検出する。
【００９７】
肌色候補画素群検出手段２０ｂは、画像信号Ｓ２ａ、Ｓ２ｂを用いて各係数α０に対応する肌色候補画素群Ｓ３ｂを検出するものであり、黒体軌跡曲線として、グレーの黒体軌跡曲線Ｇｙの代わりに肌色の黒体軌跡曲線を用いる点を除けば、グレー候補画素群検出手段２０ａと略同様に動作するので、ここでその詳細な説明を省略する。
【００９８】
こうして、グレー候補画素群検出手段２０ａと肌色候補画素群検出手段２０ｂにより、各々の係数α０（α１，α２）に対応するグレー候補画素群Ｓ３ａとＳ３ｂが夫々検出される。
【００９９】
画素数算出手段３０ａは、各グレー候補画素群Ｓ３ａの画素数Ｍａおよび各肌色候補画素群Ｓ３ｂの画素数Ｍｂを算出するものであり、平均色温度算出手段３０ｂは、各グレー候補画素群Ｓ３ａの平均色温度Ｔａおよび各肌色候補画素群Ｓ３ｂの平均色温度Ｔｂを算出するものである。まず、画素数算出手段３０ａの動作を説明する。
【０１００】
画素数算出手段３０ａは、グレー候補画素群Ｓ３ａの各画素のカウント数に対して、図１に示すグレーの黒体軌跡曲線Ｇｙに近い画素ほど、そのカウント数の重みが高くなる重み付け係数で重み付け加算して得た和を当該グレー候補画素群Ｓ３ａの画素数Ｍａとする。図６は、本実施形態における画素数算出手段３０ａが用いた重み付け係数（図示実線）を示している。図示のように、同じグレー候補画素群に含まれる画素でも、グレーの黒体軌跡曲線Ｇｙ上の画素（黒体軌跡曲線Ｇｙとの距離がゼロである）の場合、そのカウント数に対する重み付け係数が１であり、すなわち、１つの画素が画素群の画素数に対して１を貢献する一方、グレーの黒体軌跡曲線Ｇｙとの距離が０．０２である画素の場合、そのカウント数に対する重み付け係数が０．０５であり、すなわち、１つの画素が画素群の画素数に０．０５しか貢献しない。なお、図示点線は、特許文献１提案の方法において候補画素群の画素数を算出する際に用いる重み付け係数を示している。図示のように、特許文献１提案の方法では、グレー候補画素群の画素数を算出する際に、グレー候補画素群の全ての画素に対して、重み付け係数として１を用い、すなわち、グレーの黒体軌跡曲線との遠近（真のグレーである確率の高低）に関係なく、１つの候補画素は画素数１を貢献することになっている。
【０１０１】
同様に、画素数算出手段３０ａは、肌色候補画素群Ｓ３ｂの各画素のカウント数に対して、図示しない肌色の黒体軌跡曲線に近い画素ほど、そのカウント数の重みが高くなる重み付け係数で重み付け加算して得た和を当該肌色候補画素群Ｓ３ｂの画素数Ｍｂとする。ここで、画素数算出手段３０ａは、グレー候補画素群Ｓ３ａの画素数を算出する際と同じように、図６に示す重み付け係数を用いて肌色候補画素群Ｓ３ｂの画素数Ｍｂを算出する。
【０１０２】
平均色温度算出手段３０ｂは、グレー候補画素群Ｓ３ａの各画素（例えば図１に示すＡ部分）に対して、グレーの黒体軌跡曲線Ｇｙに近い画素ほど、その色温度の重みが高くなるように各々のグレー候補画素の色温度を重み付け平均演算して得た値を当該グレー候補画素群Ｓ３ａの平均色温度Ｔａとすると共に、肌色候補画素群Ｓ３ｂの各画素に対して、肌色の黒体軌跡曲線に近い画素ほど、その色温度の重みが高くなるように各々の肌色候補画素の色温度を重み付け平均演算して得た値を当該肌色候補画素群Ｓ３ｂの平均色温度Ｔｂとする。なお、ここで、例として、平均色温度算出手段３０ｂは、色温度の重み付け係数として、画素数算出手段３０ａが用いた、図６に示す重み付け係数を用いて各候補画素群の平均色温度ＴａおよびＴｂを算出する。
【０１０３】
画素数算出手段３０ａにより算出された各グレー候補画素群Ｓ３ａの画素数Ｍａおよび肌色候補画素群Ｓ３ｂの画素数Ｍｂと、平均色温度算出手段３０ｂにより算出された各グレー候補画素群Ｓ３ａの平均色温度Ｔａおよび肌色候補画素群Ｓ３ｂの平均色温度Ｔｂとは、最適係数取得手段４０に出力される。最適係数取得手段４０は、「グレー候補画素群と肌色候補画素群との画素数の和が最も大きい」、かつ「グレー候補画素群の平均色温度と肌色画素群の平均色温度との差が最も小さい」ことを目的関数として係数α０の最適化をして最適係数α（α１，α２）を得て、補正手段６０および光源色温度取得手段５０に出力する。ここで、最適係数αは、図１に示すベクトルαに相当する。
【０１０４】
光源色温度取得手段５０は、最適係数α（α１，α２）に対応するグレー候補画素群および肌色候補画素群の各々の画素の色温度から撮影光源の色温度を推定するものであり、ここでは、最適係数αに対応するグレー候補画素群の平均色温度Ｔ１ａと最適係数αに対応する肌色候補画素群の平均色温度Ｔ１ｂとをさらに平均して得た値を撮影光源の色温度Ｔを求めるものである。なお、最適係数αに対応するグレー候補画素群（グレー画素群）および最適係数αに対応する肌色候補画素群（肌色画素群）の夫々の平均色温度Ｔ１ａ、Ｔ１ｂを新たに求めてもよいが、ここでは、光源色温度取得手段は、平均色温度算出手段３０ｂにより算出された平均色温度から、最適係数αに対応する候補画素群の平均色温度Ｔ１ａ、Ｔ１ｂを取得して、それらの平均値を光源の色温度Ｔとして算出する。なお、Ｔ１ａとＴ１ｂを平均する際に、下記の式（５）のように単純平均して得た値を撮影光源の色温度Ｔとしてもよいし、グレーの色を重視する場合はＴ１ａを光源の色温度Ｔとしてもよい。さらに、グレーと肌色を夫々重視する程度に応じて、Ｔ１ａとＴ１ｂとを重み付け平均演算して得た値を光源の色温度Ｔとしてもよい。
【０１０５】
Ｔ＝（Ｔ１ａ＋Ｔ１ｂ）／２ （５）
但し、Ｔ：撮影光源の色温度
Ｔ１ａ：グレー画素の平均色温度
Ｔ１ｂ：肌色画素の平均色温度
補正手段６０は、まず、光源色温度取得手段５０により取得された色温度Ｔを基準白色（例えば５５００Ｋ）へ変換する変換、すなわち、図１に示すベクトルβ（β１、β２）を求める。
【０１０６】
最適係数、すなわち図１に示すベクトルα（α１，α２）およびベクトルβ（β１，β２）を用いて、下記の式（６）に従って、カラー画像Ｓ０（Ｒ０，Ｇ０，Ｂ０）に対して補正処理を施して補正済み画像Ｓ４（Ｒ４，Ｇ４，Ｂ４）を得ることができる。
【０１０７】
Ｒ４＝α１β１Ｒ０
Ｇ４＝α２Ｇ０ （６）
Ｂ４＝β２Ｂ０
但し，
Ｒ４，Ｇ４，Ｂ４：補正済み画像Ｓ４の画素値
Ｒ０，Ｇ０，Ｂ０：カラー画像Ｓ０の画素値
（α１，α２）： 最適係数α
また、式（６）に示す変換は、カラーバランスだけではなく、明るさの変化を含むので、Ｇ信号を不変として表現すれば、次の式（７）になる。
【０１０８】
Ｒ４＝（α１β１／α２）Ｒ０
Ｇ４＝Ｇ０ （７）
Ｂ４＝（β２／α２）Ｂ０
但し，
Ｒ４，Ｇ４，Ｂ４：補正済み画像Ｓ４の画素値
Ｒ０，Ｇ０，Ｂ０：カラー画像Ｓ０の画素値
（α１，α２）：最適係数α
補正手段６０は、カラー画像Ｓ０の全ての画素の画像信号に対して式（７）に示す変換を行い、補正済み画像Ｓ４を得る。
【０１０９】
図１に示す実施形態の画像処理装置Ａにおいて、候補画素群（グレー候補画素群または肌色候補画素群）の画素数を求めて、この画素数に基づいて最適係数、すなわちベクトルαを求める際に、黒体軌跡曲線に近い候補画素ほど、真のグレー画素または真の肌色画素になる確率が高いことに着目し、黒体軌跡曲線との距離に応じて各画素のカウント数を重み付け加算して得た値を候補画素群の画素数とするようにしてベクトルαを求めるようにしているので、ベクトルαに基づいて算出された撮影光源の色温度の精度を上げることができ、より良いホワイトバランス補正の効果を図ることができる。
【０１１０】
図７は、本発明のホワイトバランス補正方法および装置並びにプログラムの実施形態となる画像処理装置Ｂの構成を示すブロック図である。なお、本実施形態の画像処理装置Ｂは、後述する画素数算出手段３０’ａが図１に示す画像処理装置Ａの画素数算出手段３０ａと異なる動作をする点を除けば、画像処理装置Ａと同様な構成を有するものであるので、画像処理装置Ａの相対応する構成と同様な動作をする構成については、同じ符号を付与すると共に、画像処理装置Ｂの画素数算出手段３０’ａの動作のみについて説明する。
【０１１１】
図７に示すように、本実施形態の画像処理装置Ｂは、デジタルスチールカメラ（ＤＳＣ）により取得したカラー画像Ｓ０（Ｒ０，Ｇ０，Ｂ０）から、有効な画素を抽出するための第１の有効画素抽出手段１０ａおよび第２の有効画素抽出手段１０ｂと、有効画素抽出手段１０ａおよび１０ｂにより抽出された有効な画素の画像信号Ｓ１ａとｓ１ｂに対して所定の係数を乗算して各係数に対応する画像信号の集合となる画像信号群Ｓ２ａおよびＳ２ｂを得る乗算手段１５と、乗算手段１５により得られた画像信号群Ｓ２ａを用いて各係数に対応するグレー候補画素群Ｓ３ａを検出するグレー候補画素群検出手段２０ａと、乗算手段１５により得られた画像信号群Ｓ２ａおよびＳ２ｂを用いて各係数に対応する肌色候補画素群Ｓ３ｂを検出する肌色候補画素群検出手段２０ｂと、各々のグレー候補画素群Ｓ３ａの夫々の画素数Ｍ’ａおよび各々の肌色候補画素群Ｓ３ｂの夫々の画素数Ｍ’ｂを求める画素数算出手段３０’ａと、各々のグレー候補画素群Ｓ３ａの夫々の平均色温度Ｔａおよび各々の肌色候補画素群Ｓ３ｂの夫々の平均色温度Ｔｂを求める平均色温度算出手段３０ｂと、グレー候補画素群の画素数と肌色候補画素群の画素数との和が最も大きい、かつグレー候補画素群の平均色温度と肌色候補画素群の平均色温度との差が最も小さい係数を最適係数α’として取得する最適係数取得手段４０と、最適係数取得手段４０により取得された最適係数α’に対応するグレー候補画素群Ｓ３ａと肌色候補画素群Ｓ３ｂに含まれる各々の画素の色温度から撮影光源の色温度Ｔ’を求める光源色温度取得手段５０と、最適係数取得手段４０により求められた最適係数α’および光源色温度取得手段５０により取得された撮影光源の色温度を用いてカラー画像Ｓ０の全ての画素の画像信号に対して補正を行って補正済み画像Ｓ４（Ｒ４，Ｇ４，Ｂ４）を得る補正手段６０とを有してなる。
【０１１２】
ここで、画素数算出手段３０’ａの動作についてのみを説明する。
【０１１３】
画素数算出手段３０’ａは、各グレー候補画素群Ｓ３ａの画素数Ｍ’ａおよび各肌色候補画素群Ｓ３ｂの画素数Ｍ’ｂを算出するものであり、まず、図２を参照して、画素数算出手段３０’ａによるグレー候補画素群Ｓ３ａの画素数Ｍ’ａの算出を説明する。
【０１１４】
前述したように、図２（ｂ）は、図２（ａ）に示す統計的な傾向を反映した補正係数の例を示している。図示のように、この補正係数は、「割合が大きいほど大きくなる補正係数」であり、かつ図２（ａ）に示す傾向を反映し、グレー候補画素群に含まれるグレー候補画素の個数が全画素の個数に占める割合に応じて、該割合が大きいほど大きくなり、かつ該割合が大きいほど増加率が小さくなるものである。図７に示す画像処理装置Ｂの画素数算出手段３０’ａは、図２（ｂ）に示す補正係数でグレー候補画素群Ｓ３ａ毎にそのグレー候補画素の個数を補正して得た値を当該グレー候補画素群の画素数Ｍ’ａとする。
【０１１５】
次に図３を参照して、画素数算出手段３０’ａによる肌色候補画素群Ｓ３ｂの画素数Ｍ’ｂの算出を説明する。
【０１１６】
前述したように、図３（ｂ）は、図３（ａ）に示す統計的な傾向を反映した補正係数の例を示している。図示のように、この補正係数は、「割合が大きいほど大きくなる補正係数」であり、かつ図３（ａ）に示す傾向を反映し、肌色候補画素群に含まれる肌色候補画素の個数が全画素の個数に占める割合に応じて、所定の値（存在頻度がゼロとなる割合の値）の割合まで該割合が大きいほど大きくなり、かつ該割合が大きいほど増加率が小さくなる一方、前記所定の値以降は該割合が大きいほど小さくなるものである。本実施形態の画像処理装置Ｂの画素数算出手段３０’ｂは、図３（ｂ）に示す補正係数で肌色候補画素群Ｓ３ｂ毎にその肌色候補画素の個数を補正して得た値を当該肌色候補画素群の画素数Ｍ’ｂとする。
【０１１７】
画像処理装置Ｂの最適係数取得手段４０は、画素数算出手段３０’ａにより得られたグレー候補画素群の画素数Ｍ’ａおよび肌色候補画素群の画素数Ｍ’ｂと、平均色温度算出手段３０ｂにより得られたグレー候補画素群の平均色温度Ｔａおよび肌色候補画素群の平均色温度Ｔｂとを用いて最適係数α’を得、光源色温度取得手段５０は、最適係数α’に対応するグレー候補画素群と肌色候補画素群の夫々の平均色温度Ｔ１’ａとＴ１’ｂをさらに平均して得た値を撮影光源の色温度Ｔ’として算出し、補正手段６０は、光源色温度取得手段５０により取得した撮影光源の色温度Ｔ’に基づいて得た図１に示すベクトルβに相当するベクトルβ’と、最適係数取得手段４０により取得した最適係数α’とを用いて、カラー画像Ｓ０に対して補正処理を行って補正済み画像Ｓ４を得る。
【０１１８】
このように、本実施形態の画像処理装置Ｂは、候補画素群（グレー候補画素群または肌色候補画素群）の画素数を求めて、この画素数に基づいて最適係数、すなわちベクトルα’を求める際に、画像処理装置Ａと異なる視点から、候補画素群に含まれる候補画素の個数がカラー画像の全画素の個数に占める割合に応じて、統計的に求められた傾向に応じた補正係数（グレーと肌色夫々に対応した図２（ｂ）と図３（ｂ）に示す補正係数）で候補画素のカウント数を単純加算して得た和を補正して得た値を候補画素群の画素数にしているので、候補画素群の画素数に基づいて得た最適係数およびこの最適係数に対応する候補画素群から、撮影光源の色温度をより精度良く求めることができ、より良いホワイトバランス補正の効果を得ることができる。
【０１１９】
以上、本発明の望ましい実施形態について説明したが、本発明のホワイトバランス補正方法および装置並びにそのためのプログラムは、上述した実施形態に限られることがなく、本発明の主旨を逸脱しない限り、様々な増減、変化を加えることができる。
【０１２０】
例えば、図１に示す実施形態の画像処理装置Ａおよび図７に示す画像処理装置Ｂにおいて、カラー画像Ｓ０の全ての画素から有効な画素を抽出し、これらの有効な画素を用いて、候補画素群の検出、最適係数α（α’）と撮影光源の色温度の算出などを行っているが、カラー画像Ｓ０に対して縮小処理を得た画像に対して上述の処理、すなわち、有効な画素の抽出から、最適係数と撮影光源の色温度の算出までの処理を行うようにして演算量を減らし、処理のスピードアップを図ってもよい。なお、この場合、縮小処理として間引き縮小処理を用いれば演算の精度を高めることができるが、例えばＤＳＣにより連続撮影して得た一連の画像のような類似シーン間のホワイトバランス補正効果のバラツキを減らす視点から、縮小処理としては、間引き縮小処理よりも平均縮小処理を用いることが望ましい。
【０１２１】
また、図１に示す実施形態の画像処理装置Ａおよび図７に示す画像処理装置Ｂは、演算の精度および速度の向上のため、カラー画像Ｓ０から有効な画素を抽出して、これらの有効な画素を用いて最適係数および光源の色温度の算出を行っているが、カラー画像Ｓ０の全ての画素を用いて上述した処理を行うようにしてもよい。
【０１２２】
また、図１に示す実施形態の画像処理装置Ａおよび図７に示す画像処理装置Ｂは、グレーと肌色との両方を用いているが、グレーと肌色のいずれか一方の色のみを用いるようにしてもよい。
【０１２３】
また、図１に示す実施形態の画像処理装置Ａおよび図７に示す画像処理装置Ｂは、候補画素群の画素数および候補画素群の平均色温度の両方を用いて最適係数を求めるようにしているが、画素数と平均色温度のいずれか一方のみを用いて最適係数を求めるようにしてもよい。
【０１２４】
また、本発明のホワイトバランス補正方法および装置並びにプログラムは、ＤＳＣにより取得されたカラー画像に限らず、従来のネガカラーフィルムにより取得した写真画像をスキャナーなどの読取装置で読み取って得たカラー画像にも適用することができる。
【図面の簡単な説明】
【０１２５】
【図１】本発明のホワイトバランス方法および装置並びにプログラムの原理を説明するための色度図
【図２（ａ）】サンプルカラー画像の存在頻度とサンプルカラー画像中のグレー画素が全画素に占める割合との関係を統計的に求められた傾向を示す図
【図２（ｂ）】図２（ａ）に示す傾向を反映したグレー候補画素の個数に対する補正係数
【図３（ａ）】サンプルカラー画像の存在頻度とサンプルカラー画像中の肌色画素が全画素に占める割合との関係を統計的に求められた傾向を示す図
【図３（ｂ）】図３（ａ）に示す傾向を反映した肌色候補画素の個数に対する補正係数
【図４】本発明の実施形態となる画像処理装置Ａの構成を示すブロック図
【図５】ＢＴ７０９準拠のＣＣＤセンサの理想分光感度分布を示す図
【図６】図４に示す画像処理装置Ａにおける画素数算出手段３０ａおよび平均色温度算出手段３０ｂの動作を説明するための図
【図７】本発明の実施形態となる画像処理装置Ｂの構成を示すブロック図
【符号の説明】
【０１２６】
１０ａ 第１の有効画素抽出手段
１０ｂ 第２の有効画素抽出手段
１５ 乗算手段
２０ａ グレー候補画素群検出手段
２０ｂ 肌色候補画素群検出手段
３０ａ，３０’ａ 画素数算出手段
３０ｂ 平均色温度算出手段
４０ 最適係数取得手段
５０ 光源色温度取得手段
６０ 補正手段
【技術分野】
【０００１】
本発明はカラー画像に対してホワイトバランス補正を行う方法および装置並びにそのためのプログラムに関するものである。
【背景技術】
【０００２】
ネガフィルムやカラーリバーサルフィルムなどの写真フィルムに記録された写真画像をスキャナーなどの読取装置で光電的に読み取って得たデジタル画像や、デジタルスチルカメラ（ＤＳＣ）で撮像して得た画像などに対して、種々の画像処理を施してプリントすることが行われている。これらの画像処理の一つとして、カラーの画像の場合において、撮影光源の色味がプリントに反映されることに起因するプリントの画質劣化を避けるためのホワイトバランス補正処理が挙げられる。
【０００３】
また、写真フィルムに記録されたカラーの写真画像を読み取って得たデジタル画像やＤＳＣにより得られたカラー画像（以下略して全部画像という）は、プリントすることに限らず、モニタに表示されるなど、様々な形態で利用されている。モニタに表示する場合においても、撮影光源の色味の影響を取り除いて、ホワイトバランスの取れた美しい画像にする必要がある。
【０００４】
従来、ホワイトバランス補正の代表的な手法として、「世の中の色をすべて平均すればグレーとなる」というエバンスの原理（仮説）に基づいたＬＡＴＤ（Ｌａｒｇｅ Ａｒｅａ Ｔｒａｎｓｍｉｓｓｉｏｎ Ｄｅｎｓｉｔｙ、大面積平均透過濃度）方式の補正方法が用いられている。この補正方法は、補正した後の画像の平均色がグレーとなるように補正を行うものである。
【０００５】
しかし、ＬＡＴＤ方式のホワイトバランス補正方法は、画像にかかった色味が撮影光源に起因するものか、被写体に起因するものかの区別ができないため、原因が撮影光源の場合にはうまくいくが、原因が被写体の場合には、補正後の画像は却って画質悪化してしまうという問題がある。例えば、赤い服を着た女性を撮影して得た画像の場合、ＬＡＴＤ方式でホワイトバランスを施すと、画像全体をグレーにしようとするために、赤い服が濁り、女性の顔色が悪くなってしまう。
【０００６】
また、近年のほとんどのＤＳＣには、撮影して得た画像に対してホワイトバランス補正を自動的に行うＡＷＢ（Ａｕｔｏ Ｗｈｉｔｅ Ｂａｌａｎｃｅ）機能が搭載されており、ＤＳＣから出力された画像がこのＷＡＢ機能によってホワイトバランス補正されたものとなる。ＤＳＣ内部のＡＷＢ機能によるホワイトバランス補正処理は、撮影直後の全画素の画像信号のＲ、Ｇ、Ｂを一様に定数倍にするように動作する簡単なものであり、うまく機能する場合とうまく機能しない場合があり、全ての画像をホワイトバランスの取れた画像にすることができないため、ＡＷＢ機能がうまく動作しなかった場合の影響を取り除く必要がある。
【０００７】
上述した問題を解決するために、特許文献１には、処理対象の画像に対して、光源の色温度を求めるのに適した所定の色（例えばグレーまたは肌色）となる画素を検出し、これらの画素の色温度から撮影光源の色温度を求め、求めた撮影光源の色温度に基づいてホワイトバランス補正を行う方法が提案されている。なお、カラーネガフィルムを読み取って得た画像の場合でも、ＤＳＣにより取得して得た画像の場合でも、この方法を適用することができ、以下、ＤＳＣにより取得した画像からグレーの画素を検出してホワイトバランス補正を行うことを例にしてこの方法の原理を説明する。例えば、ＤＳＣにより色温度４０００Ｋの自然昼光でグレー部分（グレーおよびその近似色）を含むシーンを撮影した場合を考える。このとき、撮影したグレー部分の画像信号（Ｒ，Ｇ，Ｂ）を次の式（１）により、色度座標（ｒ，ｂ）に変換して、色度図にプロットする。
【０００８】
ｒ＝Ｒ／（Ｒ＋Ｇ＋Ｂ）
ｂ＝Ｂ／（Ｒ＋Ｇ＋Ｂ） （１）
図１に色度図を示す。図１において、曲線Ｇｙはグレーの黒体軌跡曲線である。黒体軌跡とは、色温度をＴ、色温度Ｔの黒体放射エネルギ分布をＰ（λ）、被写体の分光反射率分布をρ（λ）、ＤＳＣのＣＣＤセンサの分光感度分布をＳｉ（λ）（ｉ＝Ｒ、Ｇ、Ｂ）としたとき、次の式（２）で計算されたＥｉを上記の式（１）により色度座標（ｒ，ｂ）に変換して色度図にプロットしたとき、色温度Ｔを動かしたときの軌跡である。黒体軌跡は、ＣＣＤセンサの分光分布および被写体の色ごとに存在し、グレーの黒体軌跡は、被写体をグレーとしたときの被写体の分光反射率ρ（λ）１として得られる。
【０００９】
Ｅｉ＝∫Ｐ（λ）ρ（λ）Ｓｉ（λ）ｄλ （２）
上述したシーンの中のグレーの部分の画像信号を図１に示す色度図にプロットすると、グレーの黒体軌跡Ｇｙの４０００Ｋの近傍Ｇｙ０に散布すると考えられる。しかし、上述のように、最近のＤＳＣは、殆どＡＷＢ（オートホワイトバランス）機能を有しているため、この機能が上手く動作した場合には、グレー部分は標準白色（例えば５５００Ｋ）の近傍ＧＹ１に散布するが、この機能が上手く動作しなかった場合には、撮影光源の色温度４０００Ｋから離れた位置不明な場所（例えば図１に示す場所Ａ）に散布してしまう。
【００１０】
そこで、ＤＳＣ画像に含まれる、図１に示すＡのような位置不明なグレー部分を基準白色の近傍Ｇｙ１に変換する処理をホワイトバランス補正処理とし、この処理を画像中の全ての画素に対して施せば、ホワイトバランスの取れた画像が得られる。しかし、図１に示すＡの部分の位置は不明であるので、Ａを基準白色の近傍Ｇｙ１へ直接変換するのは不可能である。そこで、特許文献１提案の方法では、ホワイトバランス処理を図１に示すベクトルαとβによる２段階の変換に分けて行う。図示のように、ベクトルαは、ＤＳＣ側のＡＷＢ機能の不完全性により引き起こされた黒体軌跡Ｇｙからのずれ量を補正するベクトルであり、ベクトルαによる変換で図１に示すＡの部分が黒体軌跡Ｇｙ上の部分Ｇｙ０に変換される。また、ベクトルβは、黒体軌跡上のＧｙ０の部分を基準白色（例えば５５００Ｋ）の近傍Ｇｙ１に変換するベクトルであり、この２つのベクトルαとβとの合成により、図１に示すＡから基準白色の近傍Ｇｙ１への変換が実現される。
【００１１】
２つのベクトルαとβのうち、図１に示すＡの部分を黒体軌跡Ｇｙ上のＧｙ０に移すベクトルαを求めることが難しい。黒体軌跡上のＧｙ０が求められれば、Ｇｙ０から撮影光源の色温度Ｔを求めることができる。そして、黒体軌跡Ｇｙ上でこのＧｙ０（色温度Ｔ）をＧｙ１（色温度５５００Ｋ）へ移す変換を表すベクトルβを求めるのは容易である。
【００１２】
一方、ＤＳＣのＡＷＢ機能は、撮影直後の全画素の画像信号Ｒ、Ｇ、Ｂを一様に定数倍にするように作用する。この作用により、画像信号が黒体軌跡からずれたとすれば、これと逆の操作をすれば、黒体軌跡上の撮影光源の色温度（ここの例では、４０００Ｋ）近傍（図１のＧｙ０部分）に、多くのグレー部分が散布するようになるはずである。ＤＳＣのＡＷＢ機能が、画像信号に対する一次変換であるので、その逆変換も一次変換、すなわち、ＤＳＣの画像信号Ｒ、Ｇ、Ｂに対して所定の係数を乗算することである（図１では、画像信号Ｒ、Ｇ、Ｂを色度座標に変換している）。特許文献１提案の方法では、これを利用してベクトルαを求める。具体的には、ＤＳＣの画像信号に対して、所定の係数を乗算し、各係数に対して、この乗算がされた信号をグレーの黒体軌跡と比較し、黒体軌跡の近傍に位置すると検出される画素をグレーの可能性が高いとして、グレー候補画素とする。近傍であるか否かの判断は、色度座標（ｒ，ｂ）上で例えば距離０．０１の範囲内であるか否かで行えばよい。
【００１３】
こうして、乗算する係数毎に、グレー候補画素により構成されるグレー候補画素群が得られる。これらのグレー候補画素群に含まれる画素の数を数え、グレー候補画素の数が最も多いグレー候補画素群（図１に示すＡの部分に相当する）に対応する係数を最適係数、すなわち、図１に示すＡの部分を黒体軌跡上のＧｙ０に変換するベクトルαとすることができる。
【００１４】
ベクトルαを用いて、このベクトルαに対応するグレー候補画素群の各画素の信号を図１に示す黒体軌跡Ｇｙ上のＧｙ０に変換すれば、Ｇｙ０の各画素の色温度の平均値を求めて撮影光源の色温度として求めることができる。求められた色温度から基準白色に変換するためのベクトルβを求めることができるので、ベクトルαとβを画像の全ての画素に対して適用することによってホワイトバランス補正処理が施されることになる。
【００１５】
また、ベクトルαを求める際に、グレーに限らず、被写体の中で、撮影頻度が高く、種類によって色味の変換が少ない肌色を用いてもよい。肌色は、人種（白人、黄人、黒人など）によって色味がかなり異なると思われるが、測定した分光スペクトルによれば、違うのは主として明るさであり、スペクトルの形はあまり変わらず色味の変化は小さいことが分かるので、肌色を色の同定に利用することができる。すなわち、グレーの黒体軌跡の代わりに肌色の黒体軌跡を用い、前述したグレー候補画素群を求めるのと同じようにして肌色候補画素群を求め、肌色候補画素の個数が最も多い肌色候補画素群に対応する係数を最適係数にしてベクトルαを求めるようにしてもよい。
【００１６】
さらに、ベクトルαをより精度良く求めるために、グレー候補画素群と肌色候補画素群両方との両方を検出し、グレー候補画素群に含まれるグレー候補画素の個数と、肌色候補画素群に含まれる肌色候補画素の個数との和が最も多い係数を最適係数、すなわちベクトルαとするようにしてもよい。
【００１７】
また、グレー部分と肌色部分とを含むシーンを均一光源で撮影した場合、グレーを用いて求めた撮影光源の色温度と、肌色を用いて求めた撮影光源の色温度とは一致するはずであることを利用して、グレー候補画素群の平均色温度と肌色候補画素群の平均色温度との差が最も小さい係数を最適係数、すわわち、ベクトルαとして求めてよい。
【００１８】
さらに、グレー候補画素群に含まれるグレー候補画素の個数と肌色候補画素群に含まれる肌色候補画素の個数との和が最も多く、かつグレー候補画素群の平均色温度と肌色候補画素群の平均色温度との差が最も小さい係数を最適係数とするようにして、ベクトルαの精度をより高くするようにしてもよい。
【００１９】
このように、ベクトルαとベクトルβを求めて、画像中の全ての画素の画像信号に対して適用することによってホワイトバランス補正を施す方法では、画像中の真のグレーおよび／または肌色の画素を検出して撮影光源の色温度を求めてホワイトバランス補正を行っているので、ＬＡＴＤ方式に基づいたホワイトバランス補正方法より適切なホワイトバランス補正効果を得ることができると共に、ＤＳＣのＡＷＢ機能のばらつきにも影響されない。
【特許文献１】特開２００２−１５２７７２号公報
【発明の開示】
【発明が解決しようとする課題】
【００２０】
しかしながら、特許文献１記載の方法において、最適係数、すなわちベクトルαを求める際に、各グレー候補画素のカウント数を平等に取り扱うようにしてグレー候補画素群のグレー候補画素の個数を求めるようにしている。すなわち、グレー候補画素群に対して、１つのグレー候補画素を１個としてカウントして各グレー候補画素群に含まれるグレー候補画素の個数を求め、この個数が最も多いグレー候補画素群に対応する係数を最適係数としている。肌色を用いる場合においても同様である。
【００２１】
また、グレー候補画素群の平均色温度と肌色候補画素群の平均色温度との差が最も小さい係数を最適係数としてベクトルαを求める際においても、各候補画素の色温度を平等に取り扱うようにしてグレー候補画素群と肌色候補画素群の平均色温度を求めるようにしている。
【００２２】
一方、同じ候補画素群（グレー候補画素群または肌色候補画素群）に含まれる候補画素（グレー候補画素または肌色候補画素）であっても、真のグレーまたは真の肌色である確率が異なるため、同じ候補画素群に含まれる候補画素が、真のグレーまたは真の肌色である確率を考慮し、最適係数の精度を高め、より良いホワイトバランス補正を実現することが要望されている。
【００２３】
本発明は、上記事情に鑑み、同じ候補画素群に含まれる候補画素が、真のグレーまたは真の肌色である確率を考慮した上で最適係数となるベクトルαを求め、より良い効果を得られるホワイトバランス補正の方法および装置並びにそのためのプログラムを提供することを目的とするものである。
【課題を解決するための手段】
【００２４】
本発明の第１のホワイトバランス補正方法は、カラー画像の各画素の画像信号に対して、所定の係数を乗算し、その結果、グレーの黒体軌跡曲線の近傍に入る画素をグレー候補画素として各前記係数に対応するグレー候補画素群を得、該グレー候補画素群の画素数が最大となる前記係数を最適係数とすると共に、該最適係数に対応する前記グレー候補画素群をグレー画素群とし、該グレー画素群に含まれる各々の画素の色温度から前記カラー画像の撮影光源の色温度を求め、前記最適係数を乗算された前記カラー画像の画像信号を、前記求められた色温度と基準白色の色温度との差分だけ補正するホワイトバランス補正方法において、
前記グレーの黒体軌跡曲線に近い画素ほどカウント数の重みが高くなるように前記グレー候補画像群毎に各々の前記グレー候補画素のカウント数を重み付け加算して得た和を当該グレー候補画素群の画素数とすることを特徴とするものである。
【００２５】
すなわち、本発明の第１のホワイトバランス補正方法は、グレーを用いて撮影光源の色温度を求めてホワイトバランス補正を行うものであり、グレーの黒体軌跡曲線に位置するべきであるにも拘わらずグレーの黒体軌跡曲線からずれたグレーの部分を、グレーの黒体軌跡曲線上に戻す変換を行うための前記最適係数として、画素数が最も多いグレー候補画素群（すなわちグレー画素群）に対応する係数を求めて撮影光源の色温度を取得する点については、特許文献１記載の方法と同様であるが、各グレー候補画素群の画素数を求める際に、特許文献１に記載された方法のように、単純に各グレー候補画素群に含まれるグレー候補画素をカウントして加算する、すなわち１個のグレー候補画素を１としてカウントし、カウント数の和を該当するグレー候補画素群の画素数とするのではなく、同じグレー候補画素群に含まれるグレー候補画素であっても、グレーの黒体軌跡曲線に近い画素ほど、真のグレーの画素である可能性が高いことに着目し、グレーの黒体軌跡曲線に近いグレー候補画素ほど、カウント数の重みが高くようにグレー候補画素群毎に各々の前記グレー候補画素のカウント数を重み付け加算して得た和を当該グレー候補画素群の画素数とする。すなわち、同じグレー候補群に含まれるグレー候補画素のうち、グレーの黒体軌跡曲線に位置する（黒体軌跡曲線との距離が零である）グレー候補画素に対して、そのカウント数（１個の候補画素のカウント数が１となる）を最大の重みを付け、グレーの黒体軌跡曲線からの距離が遠いグレー候補画素ほど、その重みが前記最大の重みより小さくなるようにしてグレー候補画素群毎にグレー候補画素のカウント数を重み付け加算して得た和を当該グレー候補画素群の画素数とする。
【００２６】
また、「黒体軌跡曲線の近傍に入る画素」とは、その画素の画像信号（ここでは、前記所定の係数を乗算した信号）が色度図における位置と黒体軌跡曲線との距離が所定の値（例えば０．０３）以下である画素のことを意味する。また、前記「距離」は、前記画素と黒体軌跡曲線との遠近を表すことができるものであれば如何なる求め方で求められた値であってもよく（但し、同じグレー候補画素群の全ての画素に対して同じ求め方で求める必要がある）、例えば、その画素の位置から黒体軌跡曲線までの法線の長さ（例えば、図１に示す画素Ｑの場合、法線の長さＬ１）を用いることは勿論、その画素の位置から色度座標のいずれか１つの座標に平行する方向に沿って黒体軌跡曲線まで引いた線の長さ（例えば、図１に示す画素Ｑの場合、色度座標ｒに平行する線の長さＬ２）を用いてもよい。なお、実際の実験の結果、画素の位置から色度座標ｒに平行する方向に沿って黒体軌跡曲線まで引いた線の長さを、画素の位置と黒体軌跡曲線との距離として用いる場合において、最も良いホワイトバランスの効果を得ているので、画素の位置から色度座標ｒに平行する方向に沿って黒体軌跡曲線まで引いた線の長さを、画素の位置と黒体軌跡曲線との距離として用いることが好ましい。
【００２７】
また、グレー画素群に含まれるグレー画素の色温度とは、該画素のグレーの黒体軌跡曲線における色温度のことを意味し、例えば、図１に示す画素Ｑの場合、その色温度は、グレーの黒体軌跡曲線Ｇｙ上の点Ｑ１の色温度値となる。
【００２８】
また、本発明における「色温度」は、色温度そのものに限らず、色温度を表すことができる数値であればいかなる数値を用いてもよい。例えば、通常の、直接的に単位Ｋにより表される数値を用いるのは勿論、単位としてＫではないが、間接的でありながら色温度を表すことができる、下記の式（３）に示すｍｉｒｅｄ値を用いてもよい。
【００２９】
ｍｉｒｅｄ＝１０６／Ｔ （３）
但し、Ｔ：色温度値（Ｋ）
なお、上記における「黒体軌跡の近傍に入る画素」および「色温度」の説明は、本発明の全てのホワイトバランス補正方法および装置並びにプログラムに適用することとし、以下の説明においてその説明を省略する。
【００３０】
本発明の第２のホワイトバランス補正方法は、カラー画像の各画素の画像信号に対して、所定の係数を乗算し、その結果、グレーの黒体軌跡曲線の近傍に入る画素をグレー候補画素として各前記係数に対応するグレー候補画素群を得、該グレー候補画素群の画素数が最大となる前記係数を最適係数とすると共に、該最適係数に対応する前記グレー候補画素群をグレー画素群とし、該グレー画素群に含まれる各々の画素の色温度から前記カラー画像の撮影光源の色温度を求め、前記最適係数を乗算された前記カラー画像の画像信号を、前記求められた色温度と基準白色の色温度との差分だけ補正するホワイトバランス補正方法において、
サンプルカラー画像中のグレー画素の個数が当該サンプルカラー画像の全画素の個数に占める割合に対して、多数の前記サンプルカラー画像を用いて統計的に求められた各々の前記割合毎のサンプルカラー画像の存在頻度に応じた補正係数で、前記グレー候補画素群に含まれるグレー候補画素の個数が前記カラー画像の全画素の個数に占める割合に応じて前記グレー候補画素群毎にそのグレー候補画素の個数を補正して得た値を当該グレー候補画素群の画素数とすることを特徴とするものである。
【００３１】
すなわち、本発明の第２のホワイトバランス補正方法は、第１のホワイトバランス補正方法と同じように、グレーを用いて撮影光源の色温度を求めてホワイトバランス補正を行うものであり、グレーの黒体軌跡曲線に位置するべきであるにも拘わらずグレーの黒体軌跡曲線からずれたグレーの部分を、グレーの黒体軌跡曲線上に戻す変換を行うための前記最適係数として、画素数が最も多いグレー候補画素群（すなわちグレー画素群）に対応する係数を求めて撮影光源の色温度を取得するが、各グレー候補画素群の画素数を求める際に、第１のホワイトバランス補正方法と異なる視点から、グレー候補画素群に含まれるグレー候補画素の個数に対して補正を行って得た値を当該グレー候補画素群の画素数とする。以下その詳細について説明する。
【００３２】
カラー画像から検出された前記グレー候補群に含まれるグレー候補画素の個数が前記カラー画像の全画素の個数に占める割合が大きいほど、このグレー候補画素群に含まれるグレー候補画素が真のグレー画素である可能性が高い。この傾向に基づいて、グレー候補画素群の画素数を求める際に、グレー候補画素群の前記割合に応じて、割合が大きいほど大きくなる補正係数で、グレー候補画素群に含まれるグレー候補画素の個数を補正して得た値を当該グレー候補画素群の画素数とするようにすれば、より精度良く前記最適係数を得ることができるはずである。
【００３３】
一方、図２（ａ）は、様々なシーンを撮影して得た多数（数万枚）のカラー画像（前記サンプルカラー画像）に対して、サンプルカラー画像中のグレー画素の個数がサンプルカラー画像全体の画素（全画素）の個数に占める割合を画像毎に求めると共に、各々の割合に対して、該割合を有するサンプルカラー画像の存在頻度を求めた結果（例えば、２万枚のサンプルカラー画像のうち、ｗとなる前記割合を有するサンプルカラー画像が２００枚あるとすれば、ｗの前記割合に対応するサンプルカラー画像の存在頻度が２万分の２００、すなわち１％となる。）に基づいて得た前記割合とサンプルカラー画像の存在頻度との関係を示す図である。図示のように、グレー画素の個数が全画素の個数に占める割合が大きいほど、その割合を有するサンプルカラー画像の存在頻度が低くなるが、存在頻度の減少率が、前記割合が大きくなるにつれ小さくなる。
【００３４】
このような統計的な傾向があるから、前述の「割合が大きいほど大きくなる補正係数」としては、図２（ａ）に示す統計的な傾向を反映した補正係数を用いた方が、この統計的な傾向を反映しない補正係数を用いるより、より良い精度で前記最適係数を求めることができる。
【００３５】
図２（ｂ）は、図２（ａ）に示す統計的な傾向を反映した補正係数の例を示している。図示のように、この補正係数は、前述の「割合が大きいほど大きくなる補正係数」であり、かつ図２（ａ）に示す傾向を反映し、グレー候補画素群に含まれるグレー候補画素の個数が全画素の個数に占める割合に応じて、該割合が大きいほど大きくなり、かつ該割合が大きいほど増加率が小さくなるものである。
【００３６】
本発明の第２のホワイトバランス補正方法は、図２（ａ）に示す統計的な傾向を反映した補正係数（例えば図２（ｂ）に示す補正係数）で、前記グレー候補画素群に含まれるグレー候補画素の個数が前記カラー画像の全画素の個数に占める割合に応じて、前記グレー候補画素群毎にそのグレー候補画素の個数を補正して得た値を当該グレー候補画素群の画素数とする。
【００３７】
なお、図２（ａ）に示す統計的な傾向を求める際に、サンプルカラー画像中のグレー画素としては、できるだけ真のグレー画素に近い画素を用いることが望ましい。例えば、特許文献１に記載の方法で最適係数を求め、この最適係数に対応するグレー候補画素群に含まれる画素を用いてもよく、本発明の第１のホワイトバランス補正方法を用いて得られた最適係数に対応するグレー候補画素群に含まれる画素を用いてもよい。
【００３８】
本発明の第３のホワイトバランス補正方法は、カラー画像の各画素の画像信号に対して、所定の係数を乗算し、その結果、肌色の黒体軌跡曲線の近傍に入る画素を肌色候補画素として各前記係数に対応する肌色候補画素群を得、該肌色候補画素群の画素数が最大となる前記係数を最適係数とすると共に、該最適係数に対応する前記肌色候補画素群を肌色画素群とし、該肌色画素群に含まれる各々の画素の色温度から前記カラー画像の撮影光源の色温度を求め、前記最適係数を乗算された前記カラー画像の画像信号を、前記求められた色温度と基準白色の色温度との差分だけ補正するホワイトバランス補正方法において、
前記肌色の黒体軌跡曲線に近い画素ほどカウント数の重みが高くなるように前記肌色候補画素群毎に各々の前記肌色候補画素のカウント数を重み付け加算して得た和を当該肌色候補群の画素数とすることを特徴とするものである。
【００３９】
本発明の第３のホワイトバランス補正方法は、グレーの代わりに肌色を用いる点を除いて、第１のホワイトバランス補正方法と同様である。すなわち、本発明の第３のホワイトバランス補正方法は、肌色を用いて撮影光源の色温度を求めてホワイトバランス補正を行うものであり、肌色の黒体軌跡曲線に位置するべきであるにも拘わらず肌色の黒体軌跡曲線からずれた肌色の部分を、肌色の黒体軌跡曲線上に戻す変換を行うための前記最適係数として、画素数が最も多い肌色候補画素群（すなわち肌色画素群）に対応する係数を求めて撮影光源の色温度を取得する点については、特許文献１記載の方法と同様であるが、各肌色候補画素群の画素数を求める際に、特許文献１に記載された方法のように、単純に各肌色候補画素群に含まれる肌色候補画素をカウントして加算する、すなわち１個の肌色候補画素を１としてカウントし、カウント数の和を該当する肌色候補画素群の画素数とするのではなく、同じ肌色候補画素群に含まれる肌色候補画素であっても、肌色の黒体軌跡曲線に近い画素ほど、真の肌色の画素である可能性が高いことに着目し、肌色の黒体軌跡曲線に近い肌色候補画素ほど、カウント数の重みが高くように肌色候補画素群毎に各々の前記肌色候補画素のカウント数を重み付け加算して得た和を当該肌色候補画素群の画素数とする。すなわち、同じ肌色候補群に含まれる肌色候補画素のうち、肌色の黒体軌跡曲線に位置する（黒体軌跡曲線との距離が零である）肌色候補画素に対して、そのカウント数（１個の候補画素のカウント数が１となる）を最大の重みを付け、肌色の黒体軌跡曲線からの距離が遠い肌色候補画素ほど、その重みが前記最大の重みより小さくなるようにして肌色候補画素群毎に肌色候補画素のカウント数を重み付け加算して得た和を当該肌色候補画素群の画素数とする。
【００４０】
本発明の第４のホワイトバランス補正方法は、カラー画像の各画素の画像信号に対して、所定の係数を乗算し、その結果、肌色の黒体軌跡曲線の近傍に入る画素を肌色候補画素として各前記係数に対応する肌色候補画素群を得、該肌色候補画素群の画素数が最大となる前記係数を最適係数とすると共に、該最適係数に対応する前記肌色候補画素群を肌色画素群とし、該肌色画素群に含まれる各々の画素の色温度から前記カラー画像の撮影光源の色温度を求め、前記最適係数を乗算された前記カラー画像の画像信号を、前記求められた色温度と基準白色の色温度との差分だけ補正するホワイトバランス補正方法において、
サンプルカラー画像中の肌色画素の個数が当該サンプルカラー画像の全画素の個数に占める割合に対して、多数の前記サンプルカラー画像を用いて統計的に求められた各々の前記割合毎のサンプルカラー画像の存在頻度に応じた補正係数で、前記肌色候補画素群に含まれる肌色候補画素の個数が前記カラー画像の全画素の個数に占める割合に応じて前記肌色候補画素群毎にその肌色候補画素の個数を補正して得た値を当該肌色候補画素群の画素数とすることを特徴とするものである。
【００４１】
すなわち、本発明の第４のホワイトバランス補正方法は、第３のホワイトバランス補正方法と同じように、肌色を用いて撮影光源の色温度を求めてホワイトバランス補正を行うものであり、肌色の黒体軌跡曲線に位置するべきであるにも拘わらず肌色の黒体軌跡曲線からずれた肌色の部分を、肌色の黒体軌跡曲線上に戻す変換を行うための前記最適係数として、画素数が最も多い肌色候補画素群（すなわち肌色画素群）に対応する係数を求めて撮影光源の色温度を取得するが、各肌色候補画素群の画素数を求める際に、第３のホワイトバランス補正方法と異なる視点から、肌色候補画素群に含まれる肌色候補画素の個数に対して補正を行って得た値を当該肌色候補画素群の画素数とする。以下その詳細について説明する。
【００４２】
カラー画像から検出された前記肌色候補群に含まれる肌色候補画素の個数が前記カラー画像の全画素の個数に占める割合が大きいほど、この肌色候補画素群に含まれる肌色候補画素が真の肌色画素である可能性が高い。この傾向に基づいて、肌色候補画素群の画素数を求める際に、肌色候補画素群の前記割合に応じて、割合が大きいほど大きくなる補正係数で、肌色候補画素群に含まれる肌色候補画素の個数を補正して得た値を当該肌色候補画素群の画素数とするようにすれば、より精度良く前記最適係数を得ることができるはずである。
【００４３】
一方、図３（ａ）は、様々なシーンを撮影して得た多数（数万枚）のカラー画像（前記サンプルカラー画像）に対して、サンプルカラー画像中の肌色画素の個数がサンプルカラー画像全体の画素（全画素）の個数に占める割合を画像毎に求めると共に、各々の割合に対して、該割合を有するサンプルカラー画像の存在頻度を求めた結果（例えば、２万枚のサンプルカラー画像のうち、ｗとなる前記割合を有するサンプルカラー画像が２００枚あるとすれば、ｗの前記割合に対応するサンプルカラー画像の存在頻度が２万分の２００、すなわち１％となる。）に基づいて得た前記割合とサンプルカラー画像の存在頻度との関係を示す図である。図示のように、肌色画素の個数が全画素の個数に占める割合が大きいほど、その割合を有するサンプルカラー画像の存在頻度が低くなる（所定の値、図３（ａ）の例では、０．１８程度の割合でゼロになる）が、存在頻度の減少率が、前記割合が大きくなるにつれ小さくなる。
【００４４】
このような統計的な傾向があるから、前述の「割合が大きいほど大きくなる補正係数」としては、図３（ａ）に示す統計的な傾向を反映した補正係数を用いた方が、この統計的な傾向を反映しない補正係数を用いるより、より良い精度で前記最適係数を求めることができる。
【００４５】
図３（ｂ）は、図３（ａ）に示す統計的な傾向を反映した補正係数の例を示している。図示のように、この補正係数は、前述の「割合が大きいほど大きくなる補正係数」であり、かつ図３（ａ）に示す傾向を反映し、肌色候補画素群に含まれる肌色候補画素の個数が全画素の個数に占める割合に応じて、所定の値（存在頻度がゼロとなる割合の値）の割合まで該割合が大きいほど大きくなり、かつ該割合が大きいほど増加率が小さくなる一方、前記所定の値以降は該割合が大きいほど小さくなるものである。
【００４６】
本発明の第４のホワイトバランス補正方法は、図３（ａ）に示す統計的な傾向を反映した補正係数（例えば図３（ｂ）に示す補正係数）で、前記肌色候補画素群に含まれる肌色候補画素の個数が前記カラー画像の全画素の個数に占める割合に応じて、前記肌色候補画素群毎にその肌色候補画素の個数を補正して得た値を当該肌色候補画素群の画素数とする。
【００４７】
なお、図３（ａ）に示す統計的な傾向を求める際に、サンプルカラー画像中の肌色画素としては、できるだけ真の肌色画素に近い画素を用いることが望ましい。例えば、特許文献１に記載の方法で最適係数を求め、この最適係数に対応する肌色候補画素群に含まれる画素を用いてもよく、本発明の第３のホワイトバランス補正方法を用いて得られた最適係数に対応する肌色候補画素群に含まれる画素を用いてもよい。
【００４８】
本発明の第５のホワイトバランス補正方法は、色温度をより精度良く求めるために、グレーと肌色との両方を用い、「グレー候補画素群の画素数と肌色候補群の画素数との和」が最も大きい係数に対応するグレー候補画素群と肌色候補画素群はグレー画素群と肌色画素群になることに基づいてホワイトバランス補正を行うものである。具体的には、本発明の第５のホワイトバランス補正方法は、カラー画像の各画素の画像信号に対して所定の係数を乗算し、その結果、グレーの黒体軌跡曲線の近傍に入る画素をグレー候補画素として各前記係数に対応するグレー候補画素群と、肌色の黒体軌跡曲線の近傍に入る画素を肌色候補画素として各前記係数に対応する肌色候補画素群とを得、前記グレー候補画素群の画素数と、前記肌色候補画素群の画素数との和が最大となる前記係数を最適係数とすると共に、該最適係数に対応する前記グレー候補画素群と肌色候補画素群を夫々グレー画素群と肌色画素群にし、該グレー画素群に含まれる各々の画素の色温度および該肌色画素群に含まれる各々の画素の色温度から前記カラー画像の撮影光源の色温度を求め、前記最適係数が乗算された前記カラー画像の画像信号を、前記求められた色温度と基準白色との差分だけ補正するホワイトバランス補正方法において、
前記グレーの黒体軌跡曲線に近い画素ほどカウント数の重みが高くなるように前記グレー候補画像群毎に各々の前記グレー候補画素のカウント数を重み付け加算して得た和、または、サンプルカラー画像中のグレー画素の個数が当該サンプルカラー画像の全画素の個数に占める割合に対して、多数の前記サンプルカラー画像を用いて統計的に求められた各々の前記割合毎のサンプルカラー画像の存在頻度に応じた補正係数で、前記グレー候補画素群に含まれるグレー候補画素の個数が前記カラー画像の全画素の個数に占める割合に応じて前記グレー候補画素群毎にそのグレー候補画素の個数を補正して得た値、を当該グレー候補画素群の画素数とする工程、および／または、
前記肌色の黒体軌跡曲線に近い画素ほどカウント数の重みが高くなるように前記肌色候補画素群毎に各々の前記肌色候補画素のカウント数を重み付け加算して得た和、または、サンプルカラー画像中の肌色画素の個数が当該サンプルカラー画像の全画素の個数に占める割合に対して、多数の前記サンプルカラー画像を用いて統計的に求められた各々の前記割合毎のサンプルカラー画像の存在頻度に応じた補正係数で、前記肌色候補画素群に含まれる肌色候補画素の個数が前記カラー画像の全画素の個数に占める割合に応じて前記肌色候補画素群毎にその肌色候補画素の個数を補正して得た値、を当該肌色候補画素群の画素数とする工程を有することを特徴とするものである。
【００４９】
本発明の第６のホワイトバランス補正方法は、グレーと肌色との両方を用いて、「グレー候補画素群の平均色温度と肌色候補画素群の平均色温度との差」が最も小さい係数に対応するグレー候補画素群と肌色候補画素群はグレー画素群と肌色画素群になることに基づいてホワイトバランス補正を行うものである。具体的には、本発明の第６のホワイトバランス補正方法は、カラー画像の各画素の画像信号に対して所定の係数を乗算し、その結果、グレーの黒体軌跡曲線の近傍に入る画素をグレー候補画素として各前記係数に対応するグレー候補画素群と、肌色の黒体軌跡曲線の近傍に入る画素を肌色候補画素として各前記係数に対応する肌色候補画素群とを得、前記グレー候補画素群の平均色温度と前記肌色候補画素群の平均色温度との差が最小となる前記係数を最適係数とすると共に、該最適係数に対応する前記グレー候補画素群と肌色候補画素群を夫々グレー画素群と肌色画素群にし、該グレー画素群に含まれる各々の画素の色温度および該肌色画素群に含まれる各々の画素の色温度から前記カラー画像の撮影光源の色温度を求め、前記最適係数が乗算された前記カラー画像の画像信号を、前記求められた色温度と基準白色との差分だけ補正するホワイトバランス補正方法において、
前記グレーの黒体軌跡曲線に近いグレー候補画素ほどその色温度の重みが高くなるように前記グレー候補画素群に含まれる各々のグレー候補画素の色温度を重み付け平均演算して得た値を該グレー候補画素群の平均色温度とする工程、および／または、
前記肌色の黒体軌跡曲線に近い肌色候補画素ほどその色温度の重みが高くなるように前記肌色候補画素群に含まれる各々の肌色候補画素の色温度を重み付け平均演算して得た値を該肌色候補画素群の平均色温度とする工程を有することを特徴とするものである。
【００５０】
本発明の第７のホワイトバランス補正方法は、グレーと肌色との両方を用い、「グレー候補画素群の画素数と肌色候補画素数との和」が最も大きく、かつ「グレー候補画素群の平均色温度と肌色候補画素群の平均色温度との差」が小さい係数に対応するグレー候補画素群と肌色候補画素群はグレー画素群と肌色画素群になることに基づいてホワイトバランス補正を行うものである。具体的には、本発明の第７のホワイトバランス補正方法は、カラー画像の各画素の画像信号に対して所定の係数を乗算し、その結果、グレーの黒体軌跡曲線の近傍に入る画素をグレー候補画素として各前記係数に対応するグレー候補画素群と、肌色の黒体軌跡曲線の近傍に入る画素を肌色候補画素として各前記係数に対応する肌色候補画素群とを得、前記グレー候補画素群の画素数と、前記肌色候補画素群の画素数との和が最大となり、かつ前記グレー候補画素群の平均色温度と前記肌色候補画素群の平均色温度との差が最小となる前記係数を最適係数とすると共に、該最適係数に対応する前記グレー候補画素群と肌色候補画素群を夫々グレー画素群と肌色画素群にし、該グレー画素群に含まれる各々の画素の色温度および該肌色画素群に含まれる各々の画素の色温度から前記カラー画像の撮影光源の色温度を求め、前記最適係数が乗算された前記カラー画像の画像信号を、前記求められた色温度と基準白色との差分だけ補正すホワイトバランス補正方法において、
前記グレーの黒体軌跡曲線に近い画素ほどカウント数の重みが高くなるように前記グレー候補画像群毎に各々の前記グレー候補画素のカウント数を重み付け加算して得た和、または、サンプルカラー画像中のグレー画素の個数が当該サンプルカラー画像の全画素の個数に占める割合に対して、多数の前記サンプルカラー画像を用いて統計的に求められた各々の前記割合毎のサンプルカラー画像の存在頻度に応じた補正係数で、前記グレー候補画素群に含まれるグレー候補画素の個数が前記カラー画像の全画素の個数に占める割合に応じて前記グレー候補画素群毎にそのグレー候補画素の個数を補正して得た値、を当該グレー候補画素群の画素数とする工程、および／または、
前記肌色の黒体軌跡曲線に近い画素ほどカウント数の重みが高くなるように前記肌色候補画素群毎に各々の前記肌色候補画素のカウント数を重み付け加算して得た和、または、サンプルカラー画像中の肌色画素の個数が当該サンプルカラー画像の全画素の個数に占める割合に対して、多数の前記サンプルカラー画像を用いて統計的に求められた各々の前記割合毎のサンプルカラー画像の存在頻度に応じた補正係数で、前記肌色候補画素群に含まれる肌色候補画素の個数が前記カラー画像の全画素の個数に占める割合に応じて前記肌色候補画素群毎にその肌色候補画素の個数を補正して得た値、を当該肌色候補画素群の画素数とする工程、および／または、
前記グレーの黒体軌跡曲線に近いグレー候補画素ほどその色温度の重みが高くなるように前記グレー候補画素群に含まれる各々のグレー候補画素の色温度を重み付け平均演算して得た値を該グレー候補画素群の平均色温度とする工程、および／または、
前記肌色の黒体軌跡曲線に近い肌色候補画素ほどその色温度の重みが高くなるように前記肌色候補画素群に含まれる各々の肌色候補画素の色温度を重み付け平均演算して得た値を該肌色候補画素群の平均色温度とする工程を有することを特徴とするものである。
【００５１】
本発明の第１から第７のホワイトバランス補正方法において、前記カラー画像の全ての画素の中から前記グレー候補画素群および／または肌色候補画素群を取得するようにしてもよいが、前記カラー画像の画素のうち、前記グレー候補画素群および／または肌色候補画素群を得るために有効な画素のみを用いて、これらの有効な画素から前記グレー候補画素群および／または肌色候補画素群を取得するようにすることが好ましい。例えば、第１のホワイトバランス補正方法のようにグレーを用いる場合、カラー画像の全ての画素の画像信号に対して所定の係数を乗算し、その結果、グレーの黒体軌跡曲線の近傍に入る画素をグレー候補画素として各係数に対応するグレー候補画素群を得る代わりに、カラー画像の全ての画素のうち、グレー候補画素を求めるのに有効な画素、すなわち、グレー候補画素になる可能性が高い画素を抽出し、抽出されたこれらの画素の画像信号に対して、所定の係数を乗算し、乗算の結果、グレーの黒体軌跡曲線の近傍に入る画素をグレー候補として各係数に対応するグレー候補画素群を得るようにすることが好ましい。
【００５２】
グレー候補画素群および肌色候補画素群を得るための有効な画素として、例えば、カラー画像中の高彩度画素（例えば、Ｒ＝Ｇ＝Ｂのグレー軸からの距離が所定の閾値以上の画素。なお、閾値は、各色相に対して同じ閾値を用いてもよく、色相によって閾値を変えるようにしてもよい）を除外した画素、画像中の輝度の高い領域に位置する画素またはそれらの画素の組合わせとすることができる。
【００５３】
また、肌色を用いる場合、従来公知の顔抽出技術でカラー画像中の顔部分を抽出し、顔部分の画素を有効な画素とするようにしてもよい。
【００５４】
また、ＤＳＣにより取得したカラー画像の場合、ハイエスト画素（ＣＣＤの飽和に起因する、画素値がさちっている画素）には、撮影光源の色温度が正しく反映されていないので、このような画素を用いて撮影光源の色温度を求めると、精度が下がり、ホワイトバランス補正に悪い影響を与えてしまうので、ハイライトの所定のパーセンテージまでの画素を無効画素とし、これらの無効画素を除去した画像中の画素を有効な画素とするようにしてもよい。
【００５５】
本発明の第１から第７までのホワイトバランス補正方法は、最適係数に対応する候補画素群（グレー候補画素群および／または肌色候補画素群）に含まれる各々の画素の色温度から撮影光源の色温度を求める際に、黒体軌跡曲線（グレー候補画素群の場合はグレーの黒体軌跡曲線、肌色候補画素群の場合は、肌色の黒体軌跡曲線）に近い画素ほどその色温度の重みが高くなるように前記最適係数に対応する前記候補画素群に含まれる各々の画素の色温度を重付平均演算して得た平均色温度を前記撮影光源の色温度として求めることが好ましい。
【００５６】
また、上述のホワイトバランス補正方法において、黒体軌跡曲線を用いているが、昼光軌跡曲線が黒体軌跡曲線と略同じである理由から、上述の全てのホワイトバランス補正方法において、黒体軌跡曲線の代わりに昼光軌跡曲線を用いるようにしてもよい。
【００５７】
本発明の第１のホワイトバランス補正装置は、カラー画像の各画素の画像信号に対して、所定の係数を乗算する乗算手段と、
前記乗算の結果、グレーの黒体軌跡曲線の近傍に入る画素をグレー候補画素として各前記係数に対応するグレー候補画素群を得、該グレー候補画素群の画素数を求めるグレー候補画素群画素数取得手段と、
該グレー候補画素群画素数取得手段により取得された画素数が最大となる前記グレー候補画素群に対応する前記係数を最適係数として取得する最適係数取得手段と、
該最適係数取得手段により取得された前記最適係数に対応する前記グレー候補画素群をグレー画素群とし、該グレー画素群に含まれる各々の画素の色温度から前記カラー画像の撮影光源の色温度を求める光源色温度取得手段と、
前記カラー画像の画像信号に対して前記最適係数を乗算すると共に、該乗算がされた前記画像信号を、前記光源色温度取得手段により求められた色温度と基準白色の色温度との差分だけ補正する補正手段とを有してなるホワイトバランス補正装置において、
前記グレー候補画素群画素数取得手段が、前記グレーの黒体軌跡曲線に近い画素ほどカウント数の重みが高くなるように前記グレー候補画像群毎に各々の前記グレー候補画素のカウント数を重み付け加算して得た和を当該グレー候補画素群の画素数とすることを特徴とするものである。
【００５８】
本発明の第２のホワイトバランス補正装置は、カラー画像の各画素の画像信号に対して、所定の係数を乗算する乗算手段と、
前記乗算の結果、グレーの黒体軌跡曲線の近傍に入る画素をグレー候補画素として各前記係数に対応するグレー候補画素群を得、該グレー候補画素群の画素数を求めるグレー候補画素群画素数取得手段と、
該グレー候補画素群画素数取得手段により取得された画素数が最大となる前記グレー候補画素群に対応する前記係数を最適係数として取得する最適係数取得手段と、
該最適係数取得手段により取得された前記最適係数に対応する前記グレー候補画素群をグレー画素群とし、該グレー画素群に含まれる各々の画素の色温度から前記カラー画像の撮影光源の色温度を求める光源色温度取得手段と、
前記カラー画像の画像信号に対して前記最適係数を乗算すると共に、該乗算がされた前記画像信号を、前記光源色温度取得手段により求められた色温度と基準白色の色温度との差分だけ補正する補正手段とを有してなるホワイトバランス補正装置において、
前記グレー候補画素群画素数取得手段が、サンプルカラー画像中のグレー画素の個数が当該サンプルカラー画像の全画素の個数に占める割合に対して、多数の前記サンプルカラー画像を用いて統計的に求められた各々の前記割合毎のサンプルカラー画像の存在頻度に応じた補正係数で、前記グレー候補画素群に含まれるグレー候補画素の個数が前記カラー画像の全画素の個数に占める割合に応じて前記グレー候補画素群毎にそのグレー候補画素の個数を補正して得た値を当該グレー候補画素群の画素数とすることを特徴とするものである。
【００５９】
本発明の第３のホワイトバランス補正装置は、カラー画像の各画素の画像信号に対して、所定の係数を乗算する乗算手段と、
前記乗算の結果、肌色の黒体軌跡曲線の近傍に入る画素を肌色候補画素として各前記係数に対応する肌色候補画素群を得、該肌色候補画素群の画素数を求める肌色候補画素群画素数取得手段と、
該肌色候補画素群画素数取得手段により取得された画素数が最大となる前記肌色候補画素群に対応する前記係数を最適係数として取得する最適係数取得手段と、
該最適係数取得手段により取得された前記最適係数に対応する前記肌色候補画素群を肌色画素群とし、該肌色画素群に含まれる各々の画素の色温度から前記カラー画像の撮影光源の色温度を求める光源色温度取得手段と、
前記カラー画像の画像信号に対して前記最適係数を乗算すると共に、該乗算がされた前記画像信号を、前記光源色温度取得手段により求められた色温度と基準白色の色温度との差分だけ補正する補正手段とを有してなるホワイトバランス補正装置において、
前記肌色候補画素群画素数取得手段が、前記肌色の黒体軌跡曲線に近い画素ほどカウント数の重みが高くなるように前記肌色候補画素群毎に各々の前記肌色候補画素のカウント数を重み付け加算して得た和を当該肌色候補画素群の画素数とすることを特徴とするものである。
【００６０】
本発明の第４のホワイトバランス補正装置は、カラー画像の各画素の画像信号に対して、所定の係数を乗算する乗算手段と、
前記乗算の結果、肌色の黒体軌跡曲線の近傍に入る画素を肌色候補画素として各前記係数に対応する肌色候補画素群を得、該肌色候補画素群の画素数を求める肌色候補画素群画素数取得手段と、
該肌色候補画素群画素数取得手段により取得された画素数が最大となる前記肌色候補画素群に対応する前記係数を最適係数として取得する最適係数取得手段と、
該最適係数取得手段により取得された前記最適係数に対応する前記肌色候補画素群を肌色画素群とし、該肌色画素群に含まれる各々の画素の色温度から前記カラー画像の撮影光源の色温度を求める光源色温度取得手段と、
前記カラー画像の画像信号に対して前記最適係数を乗算すると共に、該乗算がされた前記画像信号を、前記光源色温度取得手段により求められた色温度と基準白色の色温度との差分だけ補正する補正手段とを有してなるホワイトバランス補正装置において、
前記肌色候補画素群画素数取得手段が、サンプルカラー画像中の肌色画素の個数が当該サンプルカラー画像の全画素の個数に占める割合に対して、多数の前記サンプルカラー画像を用いて統計的に求められた各々の前記割合毎のサンプルカラー画像の存在頻度に応じた補正係数で、前記肌色候補画素群に含まれる肌色候補画素の個数が前記カラー画像の全画素の個数に占める割合に応じて前記肌色候補画素群毎にその肌色候補画素の個数を補正して得た値を当該肌色候補画素群の画素数とすることを特徴とするものである。
【００６１】
本発明の第５のホワイトバランス補正装置は、カラー画像の各画素の画像信号に対して所定の係数を乗算する乗算手段と、
前記乗算の結果、グレーの黒体軌跡曲線の近傍に入る画素をグレー候補画素として各前記係数に対応するグレー候補画素群と肌色の黒体軌跡曲線の近傍に入る画素を肌色候補画素として各前記係数に対応する肌色候補画素群とを得、前記グレー候補画素群の画素数および前記肌色候補画素群の画素数を求める候補画素群画素数取得手段と、
該候補画素群画素数取得手段により取得された前記グレー候補画素群の画素数と前記肌色候補画素群の画素数との和が最大となる前記係数を最適係数として取得する最適係数取得手段と、
該最適係数取得手段により取得された前記適係数に対応する前記グレー候補画素群と肌色候補画素群を夫々グレー画素群と肌色画素群にし、該グレー画素群に含まれる各々の画素の色温度および該肌色画素群に含まれる各々の画素の色温度から前記カラー画像の撮影光源の色温度を求める光源色温度取得手段と、
前記カラー画像の画像信号に対して前記最適係数を乗算すると共に、該乗算がされた前記画像信号を、前記光源色温度取得手段により求められた色温度と基準白色との差分だけ補正する補正手段とを有してなるホワイトバランス補正装置において、
前記候補画素群画素数取得手段が、前記グレーの黒体軌跡曲線に近い画素ほどカウント数の重みが高くなるように前記グレー候補画像群毎に各々の前記グレー候補画素のカウント数を重み付け加算して得た和、または、サンプルカラー画像中のグレー画素の個数が当該サンプルカラー画像の全画素の個数に占める割合に対して、多数の前記サンプルカラー画像を用いて統計的に求められた各々の前記割合毎のサンプルカラー画像の存在頻度に応じた補正係数で、前記グレー候補画素群に含まれるグレー候補画素の個数が前記カラー画像の全画素の個数に占める割合に応じて前記グレー候補画素群毎にそのグレー候補画素の個数を補正して得た値、を当該グレー候補画素群の画素数とする処理、および／または、
前記肌色の黒体軌跡曲線に近い画素ほどカウント数の重みが高くなるように前記肌色候補画素群毎に各々の前記肌色候補画素のカウント数を重み付け加算して得た和、またはサンプルカラー画像中の肌色画素の個数が当該サンプルカラー画像の全画素の個数に占める割合に対して、多数の前記サンプルカラー画像を用いて統計的に求められた各々の前記割合毎のサンプルカラー画像の存在頻度に応じた補正係数で、前記肌色候補画素群に含まれる肌色候補画素の個数が前記カラー画像の全画素の個数に占める割合に応じて前記肌色候補画素群毎にその肌色候補画素の個数を補正して得た値、を当該肌色候補画素群の画素数とする処理を行うことを特徴とするものである。
【００６２】
本発明の第６のホワイトバランス補正装置は、カラー画像の各画素の画像信号に対して所定の係数を乗算する乗算手段と、
前記乗算の結果、グレーの黒体軌跡曲線の近傍に入る画素をグレー候補画素として各前記係数に対応するグレー候補画素群と肌色の黒体軌跡曲線の近傍に入る画素を肌色候補画素として各前記係数に対応する肌色候補画素群とを得、前記グレー候補画素群の平均色温度と前記肌色候補画素群の平均色温度を求める候補画素群平均色温度取得手段と、
該候補画素群平均色温度により取得された前記グレー候補画素群の平均色温度と前記肌色候補画素群の平均色温度との差が最小となる前記係数を最適係数として取得する最適係数取得手段と、
該最適係数取得手段により取得された前記適係数に対応する前記グレー候補画素群と肌色候補画素群を夫々グレー画素群と肌色画素群にし、該グレー画素群に含まれる各々の画素の色温度および該肌色画素群に含まれる各々の画素の色温度から前記カラー画像の撮影光源の色温度を求める光源色温度取得手段と、
前記カラー画像の画像信号に対して前記最適係数を乗算すると共に、該乗算がされた前記画像信号を、前記光源色温度取得手段により求められた色温度と基準白色との差分だけ補正する補正手段とを有してなるホワイトバランス補正装置において、
前記候補画素群平均色温度取得手段が、前記グレーの黒体軌跡曲線に近いグレー候補画素ほどその色温度の重みが高くなるように前記グレー候補画素群に含まれる各々のグレー候補画素の色温度を重み付け平均演算して得た値を該グレー候補画素群の平均色温度とする処理、および／または、
前記肌色の黒体軌跡曲線に近い肌色候補画素ほどその色温度の重みが高くなるように前記肌色候補画素群に含まれる各々の肌色候補画素の色温度を重み付け平均演算して得た値を該肌色候補画素群の平均色温度とする処理を行うことを特徴とするものである。
【００６３】
本発明の第７のホワイトバランス補正装置は、カラー画像の各画素の画像信号に対して所定の係数を乗算する乗算手段と、
前記乗算の結果、グレーの黒体軌跡曲線の近傍に入る画素をグレー候補画素として各前記係数に対応するグレー候補画素群と肌色の黒体軌跡曲線の近傍に入る画素を肌色候補画素として各前記係数に対応する肌色候補画素群とを得る候補画素群取得手段と、
該候補画素群取得手段により取得された前記グレー候補画素群の画素数および前記肌色候補画素群の画素数を求める候補画素群画素数取得手段と、
前記候補画素群取得手段により取得された前記グレー候補画素群の平均色温度と前記肌色候補画素群の平均色温度を求める候補画素群平均色温度取得手段と、
前記候補画素群画素数取得手段により取得された前記グレー候補画素群の画素数と前記肌色候補画素群の画素数との和が最大となり、かつ前記候補画素群平均色温度取得手段により取得された前記グレー候補画素群の平均色温度と前記肌色候補画素群の平均色温度との差が最小となる前記係数を最適係数として取得する最適係数取得手段と、
該最適係数取得手段により取得された前記適係数に対応する前記グレー候補画素群と肌色候補画素群を夫々グレー画素群と肌色画素群にし、該グレー画素群に含まれる各々の画素の色温度および該肌色画素群に含まれる各々の画素の色温度から前記カラー画像の撮影光源の色温度を求める光源色温度取得手段と、
前記カラー画像の画像信号に対して前記最適係数を乗算すると共に、該乗算がされた前記画像信号を、前記光源色温度取得手段により求められた色温度と基準白色との差分だけ補正する補正手段とを有してなるホワイトバランス補正装置において、
前記候補画素群画素数取得手段が、前記グレーの黒体軌跡曲線に近い画素ほどカウント数の重みが高くなるように前記グレー候補画像群毎に各々の前記グレー候補画素のカウント数を重み付け加算して得た和、または、サンプルカラー画像中のグレー画素の個数が当該サンプルカラー画像の全画素の個数に占める割合に対して、多数の前記サンプルカラー画像を用いて統計的に求められた各々の前記割合毎のサンプルカラー画像の存在頻度に応じた補正係数で、前記グレー候補画素群に含まれるグレー候補画素の個数が前記カラー画像の全画素の個数に占める割合に応じて前記グレー候補画素群毎にそのグレー候補画素の個数を補正して得た値、を当該グレー候補画素群の画素数とする処理、および／または、
前記肌色の黒体軌跡曲線に近い画素ほどカウント数の重みが高くなるように前記肌色候補画素群毎に各々の前記肌色候補画素のカウント数を重み付け加算して得た和、または、サンプルカラー画像中の肌色画素の個数が当該サンプルカラー画像の全画素の個数に占める割合に対して、多数の前記サンプルカラー画像を用いて統計的に求められた各々の前記割合毎のサンプルカラー画像の存在頻度に応じた補正係数で、前記肌色候補画素群に含まれる肌色候補画素の個数が前記カラー画像の全画素の個数に占める割合に応じて前記肌色候補画素群毎にその肌色候補画素の個数を補正して得た値、を当該肌色候補画素群の画素数とする処理を行うことを特徴とするものである。
【００６４】
本発明の第８のホワイトバランス補正装置は、カラー画像の各画素の画像信号に対して所定の係数を乗算する乗算手段と、
前記乗算の結果、グレーの黒体軌跡曲線の近傍に入る画素をグレー候補画素として各前記係数に対応するグレー候補画素群と肌色の黒体軌跡曲線の近傍に入る画素を肌色候補画素として各前記係数に対応する肌色候補画素群とを得る候補画素群取得手段と、
該候補画素群取得手段により取得された前記グレー候補画素群の画素数および前記肌色候補画素群の画素数を求める候補画素群画素数取得手段と、
前記候補画素群取得手段により取得された前記グレー候補画素群の平均色温度と前記肌色候補画素群の平均色温度を求める候補画素群平均色温度取得手段と、
前記候補画素群画素数取得手段により取得された前記グレー候補画素群の画素数と前記肌色候補画素群の画素数との和が最大となり、かつ前記候補画素群平均色温度取得手段により取得された前記グレー候補画素群の平均色温度と前記肌色候補画素群の平均色温度との差が最小となる前記係数を最適係数として取得する最適係数取得手段と、
該最適係数取得手段により取得された前記適係数に対応する前記グレー候補画素群と肌色候補画素群を夫々グレー画素群と肌色画素群にし、該グレー画素群に含まれる各々の画素の色温度および該肌色画素群に含まれる各々の画素の色温度から前記カラー画像の撮影光源の色温度を求める光源色温度取得手段と、
前記カラー画像の画像信号に対して前記最適係数を乗算すると共に、該乗算がされた前記画像信号を、前記光源色温度取得手段により求められた色温度と基準白色との差分だけ補正する補正手段とを有してなるホワイトバランス補正装置において、
前記候補画素群平均色温度取得手段が、前記グレーの黒体軌跡曲線に近いグレー候補画素ほどその色温度の重みが高くなるように前記グレー候補画素群に含まれる各々のグレー候補画素の色温度を重み付け平均演算して得た値を該グレー候補画素群の平均色温度とする処理、および／または、
前記肌色の黒体軌跡曲線に近い肌色候補画素ほどその色温度の重みが高くなるように前記肌色候補画素群に含まれる各々の肌色候補画素の色温度を重み付け平均演算して得た値を該肌色候補画素群の平均色温度とする処理を行うことを特徴とするものである。
【００６５】
本発明の第１から第８のホワイトバランス補正装置は、前記カラー画像の各画素のうち、前記グレー候補画素群および／または肌色候補画素群を得るために有効な画素を抽出し、該有効な画素のみを前記グレー候補画素群および／または肌色候補画素群の取得に供する有効画素抽出手段をさらに備えたことが好ましい。
【００６６】
本発明のホワイトバランス装置において、前記光源色温度取得手段は、前記黒体軌跡曲線に近い画素ほどその色温度の重みが高くなるように前記最適係数に対応する前記候補画素群に含まれる各々の画素の色温度を重付平均演算して得た平均色温度を前記撮影光源の色温度として求めるものであることが好ましい。
【００６７】
本発明のホワイトバランス補正装置において、前記黒体軌跡曲線の代わりに昼光軌跡曲線を用いてもよい。
【００６８】
本発明の第１のプログラムは、カラー画像の各画素の画像信号に対して、所定の係数を乗算する乗算処理と、
前記乗算の結果、グレーの黒体軌跡曲線の近傍に入る画素をグレー候補画素として各前記係数に対応するグレー候補画素群を得、該グレー候補画素群の画素数を求めるグレー候補画素群画素数取得処理と、
該グレー候補画素群画素数取得処理により取得された画素数が最大となる前記グレー候補画素群に対応する前記係数を最適係数として取得する最適係数取得処理と、
該最適係数取得処理により取得された前記最適係数に対応する前記グレー候補画素群をグレー画素群とし、該グレー画素群に含まれる各々の画素の色温度から前記カラー画像の撮影光源の色温度を求める光源色温度取得処理と、
前記カラー画像の画像信号に対して前記最適係数を乗算すると共に、該乗算がされた前記画像信号を、前記光源色温度取得処理により求められた色温度と基準白色の色温度との差分だけ補正する補正処理とをコンピュータに行わせるプログラムであって、
前記グレー候補画素群画素数取得処理が、前記グレーの黒体軌跡曲線に近い画素ほどカウント数の重みが高くなるように前記グレー候補画像群毎に各々の前記グレー候補画素のカウント数を重み付け加算して得た和を当該グレー候補画素群の画素数とすることを特徴とするものである。
【００６９】
本発明の第２のプログラムは、カラー画像の各画素の画像信号に対して、所定の係数を乗算する乗算処理と、
前記乗算の結果、グレーの黒体軌跡曲線の近傍に入る画素をグレー候補画素として各前記係数に対応するグレー候補画素群を得、該グレー候補画素群の画素数を求めるグレー候補画素群画素数取得処理と、
該グレー候補画素群画素数取得処理により取得された画素数が最大となる前記グレー候補画素群に対応する前記係数を最適係数として取得する最適係数取得処理と、
該最適係数取得処理により取得された前記最適係数に対応する前記グレー候補画素群をグレー画素群とし、該グレー画素群に含まれる各々の画素の色温度から前記カラー画像の撮影光源の色温度を求める光源色温度取得処理と、
前記カラー画像の画像信号に対して前記最適係数を乗算すると共に、該乗算がされた前記画像信号を、前記光源色温度取得処理により求められた色温度と基準白色の色温度との差分だけ補正する補正処理とをコンピュータに行わせるプログラムであって、
前記グレー候補画素群画素数取得処理が、サンプルカラー画像中のグレー画素の個数が当該サンプルカラー画像の全画素の個数に占める割合に対して、多数の前記サンプルカラー画像を用いて統計的に求められた各々の前記割合毎のサンプルカラー画像の存在頻度に応じた補正係数で、前記グレー候補画素群に含まれるグレー候補画素の個数が前記カラー画像の全画素の個数に占める割合に応じて前記グレー候補画素群毎にそのグレー候補画素の個数を補正して得た値を当該グレー候補画素群の画素数とすることを特徴とするものである。
【００７０】
本発明の第３のプログラムは、カラー画像の各画素の画像信号に対して、所定の係数を乗算する乗算処理と、
前記乗算の結果、肌色の黒体軌跡曲線の近傍に入る画素を肌色候補画素として各前記係数に対応する肌色候補画素群を得、該肌色候補画素群の画素数を求める肌色候補画素群画素数取得処理と、
該肌色候補画素群画素数取得処理により取得された画素数が最大となる前記肌色候補画素群に対応する前記係数を最適係数として取得する最適係数取得処理と、
該最適係数取得処理により取得された前記最適係数に対応する前記肌色候補画素群を肌色画素群とし、該肌色画素群に含まれる各々の画素の色温度から前記カラー画像の撮影光源の色温度を求める光源色温度取得処理と、
前記カラー画像の画像信号に対して前記最適係数を乗算すると共に、該乗算がされた前記画像信号を、前記光源色温度取得処理により求められた色温度と基準白色の色温度との差分だけ補正する補正処理とをコンピュータに実行させるプログラムであって、
前記肌色候補画素群画素数取得処理が、前記肌色の黒体軌跡曲線に近い画素ほどカウント数の重みが高くなるように前記肌色候補画素群毎に各々の前記肌色候補画素のカウント数を重み付け加算して得た和を当該肌色候補画素群の画素数とすることを特徴とするものである。
【００７１】
本発明の第４のプログラムは、カラー画像の各画素の画像信号に対して、所定の係数を乗算する乗算処理と、
前記乗算の結果、肌色の黒体軌跡曲線の近傍に入る画素を肌色候補画素として各前記係数に対応する肌色候補画素群を得、該肌色候補画素群の画素数を求める肌色候補画素群画素数取得処理と、
該肌色候補画素群画素数取得処理により取得された画素数が最大となる前記肌色候補画素群に対応する前記係数を最適係数として取得する最適係数取得処理と、
該最適係数取得処理により取得された前記最適係数に対応する前記肌色候補画素群を肌色画素群とし、該肌色画素群に含まれる各々の画素の色温度から前記カラー画像の撮影光源の色温度を求める光源色温度取得処理と、
前記カラー画像の画像信号に対して前記最適係数を乗算すると共に、該乗算がされた前記画像信号を、前記光源色温度取得処理により求められた色温度と基準白色の色温度との差分だけ補正する補正処理とをコンピュータに実行させるプログラムであって、
前記肌色候補画素群画素数取得処理が、サンプルカラー画像中の肌色画素の個数が当該サンプルカラー画像の全画素の個数に占める割合に対して、多数の前記サンプルカラー画像を用いて統計的に求められた各々の前記割合毎のサンプルカラー画像の存在頻度に応じた補正係数で、前記肌色候補画素群に含まれる肌色候補画素の個数が前記カラー画像の全画素の個数に占める割合に応じて前記肌色候補画素群毎にその肌色候補画素の個数を補正して得た値を該当肌色候補画素群の画素数とすることを特徴とするものである。
【００７２】
本発明の第５のプログラムは、カラー画像の各画素の画像信号に対して所定の係数を乗算する乗算処理と、
前記乗算の結果、グレーの黒体軌跡曲線の近傍に入る画素をグレー候補画素として各前記係数に対応するグレー候補画素群と肌色の黒体軌跡曲線の近傍に入る画素を肌色候補画素として各前記係数に対応する肌色候補画素群とを得、前記グレー候補画素群の画素数および前記肌色候補画素群の画素数を求める候補画素群画素数取得処理と、
該候補画素群画素数取得処理により取得された前記グレー候補画素群の画素数と前記肌色候補画素群の画素数との和が最大となる前記係数を最適係数として取得する最適係数取得処理と、
該最適係数取得処理により取得された前記適係数に対応する前記グレー候補画素群と肌色候補画素群を夫々グレー画素群と肌色画素群にし、該グレー画素群に含まれる各々の画素の色温度および該肌色画素群に含まれる各々の画素の色温度から前記カラー画像の撮影光源の色温度を求める光源色温度取得処理と、
前記カラー画像の画像信号に対して前記最適係数を乗算すると共に、該乗算がされた前記画像信号を、前記光源色温度取得処理により求められた色温度と基準白色との差分だけ補正する補正処理とをコンピュータに実行させるプログラムであって、
前記候補画素群画素数取得処理が、前記グレーの黒体軌跡曲線に近い画素ほどカウント数の重みが高くなるように前記グレー候補画像群毎に各々の前記グレー候補画素のカウント数を重み付け加算して得た和、または、サンプルカラー画像中のグレー画素の個数が当該サンプルカラー画像の全画素の個数に占める割合に対して、多数の前記サンプルカラー画像を用いて統計的に求められた各々の前記割合毎のサンプルカラー画像の存在頻度に応じた補正係数で、前記グレー候補画素群に含まれるグレー候補画素の個数が前記カラー画像の全画素の個数に占める割合に応じて前記グレー候補画素群毎にそのグレー候補画素の個数を補正して得た値、を当該グレー候補画素群の画素数とする手順、および／または、
前記肌色の黒体軌跡曲線に近い画素ほどカウント数の重みが高くなるように前記肌色候補画素群毎に各々の前記肌色候補画素のカウント数を重み付け加算して得た和、または、サンプルカラー画像中の肌色画素の個数が当該サンプルカラー画像の全画素の個数に占める割合に対して、多数の前記サンプルカラー画像を用いて統計的に求められた各々の前記割合毎のサンプルカラー画像の存在頻度に応じた補正係数で、前記肌色候補画素群に含まれる肌色候補画素の個数が前記カラー画像の全画素の個数に占める割合に応じて前記肌色候補画素群毎にその肌色候補画素の個数を補正して得た値、を当該肌色候補画素群の画素数とする手順を有することを特徴とするものである。
【００７３】
本発明の第６のプログラムは、カラー画像の各画素の画像信号に対して所定の係数を乗算する乗算処理と、
前記乗算の結果、グレーの黒体軌跡曲線の近傍に入る画素をグレー候補画素として各前記係数に対応するグレー候補画素群と肌色の黒体軌跡曲線の近傍に入る画素を肌色候補画素として各前記係数に対応する肌色候補画素群とを得、前記グレー候補画素群の平均色温度と前記肌色候補画素群の平均色温度を求める候補画素群平均色温度取得処理と、
該候補画素群平均色温度により取得された前記グレー候補画素群の平均色温度と前記肌色候補画素群の平均色温度との差が最小となる前記係数を最適係数として取得する最適係数取得処理と、
該最適係数取得処理により取得された前記適係数に対応する前記グレー候補画素群と肌色候補画素群を夫々グレー画素群と肌色画素群にし、該グレー画素群に含まれる各々の画素の色温度および該肌色画素群に含まれる各々の画素の色温度から前記カラー画像の撮影光源の色温度を求める光源色温度取得処理と、
前記カラー画像の画像信号に対して前記最適係数を乗算すると共に、該乗算がされた前記画像信号を、前記光源色温度取得処理により求められた色温度と基準白色との差分だけ補正する補正処理とをコンピュータに実行させるプログラムであって、
前記候補画素群平均色温度取得処理が、前記グレーの黒体軌跡曲線に近いグレー候補画素ほどその色温度の重みが高くなるように前記グレー候補画素群に含まれる各々のグレー候補画素の色温度を重み付け平均演算して得た値を該グレー候補画素群の平均色温度とする手順、および／または、
前記肌色の黒体軌跡曲線に近い肌色候補画素ほどその色温度の重みが高くなるように前記肌色候補画素群に含まれる各々の肌色候補画素の色温度を重み付け平均演算して得た値を該肌色候補画素群の平均色温度とする手順を有することを特徴とするものである。
【００７４】
本発明の第７のプログラムは、カラー画像の各画素の画像信号に対して所定の係数を乗算する乗算処理と、
前記乗算の結果、グレーの黒体軌跡曲線の近傍に入る画素をグレー候補画素として各前記係数に対応するグレー候補画素群と肌色の黒体軌跡曲線の近傍に入る画素を肌色候補画素として各前記係数に対応する肌色候補画素群とを得る候補画素群取得処理と、
該候補画素群取得処理により取得された前記グレー候補画素群の画素数および前記肌色候補画素群の画素数を求める候補画素群画素数取得処理と、
前記候補画素群取得処理により取得された前記グレー候補画素群の平均色温度と前記肌色候補画素群の平均色温度を求める候補画素群平均色温度取得処理と、
前記候補画素群画素数取得処理により取得された前記グレー候補画素群の画素数と前記肌色候補画素群の画素数との和が最大となり、かつ前記候補画素群平均色温度取得処理により取得された前記グレー候補画素群の平均色温度と前記肌色候補画素群の平均色温度との差が最小となる前記係数を最適係数として取得する最適係数取得処理と、
該最適係数取得処理により取得された前記適係数に対応する前記グレー候補画素群と肌色候補画素群を夫々グレー画素群と肌色画素群にし、該グレー画素群に含まれる各々の画素の色温度および該肌色画素群に含まれる各々の画素の色温度から前記カラー画像の撮影光源の色温度を求める光源色温度取得処理と、
前記カラー画像の画像信号に対して前記最適係数を乗算すると共に、該乗算がされた前記画像信号を、前記光源色温度取得処理により求められた色温度と基準白色との差分だけ補正する補正処理とをコンピュータに実行させるプログラムであって、
前記候補画素群画素数取得処理が、前記グレーの黒体軌跡曲線に近い画素ほどカウント数の重みが高くなるように前記グレー候補画像群毎に各々の前記グレー候補画素のカウント数を重み付け加算して得た和、または、サンプルカラー画像中のグレー画素の個数が当該サンプルカラー画像の全画素の個数に占める割合に対して、多数の前記サンプルカラー画像を用いて統計的に求められた各々の前記割合毎のサンプルカラー画像の存在頻度に応じた補正係数で、前記グレー候補画素群に含まれるグレー候補画素の個数が前記カラー画像の全画素の個数に占める割合に応じて前記グレー候補画素群毎にそのグレー候補画素の個数を補正して得た値、を当該グレー候補画素群の画素数する手順、および／または、
前記肌色の黒体軌跡曲線に近い画素ほどカウント数の重みが高くなるように前記肌色候補画素群毎に各々の前記肌色候補画素のカウント数を重み付け加算して得た和、または、サンプルカラー画像中の肌色画素の個数が当該サンプルカラー画像の全画素の個数に占める割合に対して、多数の前記サンプルカラー画像を用いて統計的に求められた各々の前記割合毎のサンプルカラー画像の存在頻度に応じた補正係数で、前記肌色候補画素群に含まれる肌色候補画素の個数が前記カラー画像の全画素の個数に占める割合に応じて前記肌色候補画素群毎にその肌色候補画素の個数を補正して得た値、を当該肌色候補画素群の画素数とする手順を有することを特徴とするものである。
【００７５】
本発明の第８のプログラムは、カラー画像の各画素の画像信号に対して所定の係数を乗算する乗算処理と、
前記乗算の結果、グレーの黒体軌跡曲線の近傍に入る画素をグレー候補画素として各前記係数に対応するグレー候補画素群と肌色の黒体軌跡曲線の近傍に入る画素を肌色候補画素として各前記係数に対応する肌色候補画素群とを得る候補画素群取得処理と、
該候補画素群取得処理により取得された前記グレー候補画素群の画素数および前記肌色候補画素群の画素数を求める候補画素群画素数取得処理と、
前記候補画素群取得処理により取得された前記グレー候補画素群の平均色温度と前記肌色候補画素群の平均色温度を求める候補画素群平均色温度取得処理と、
前記候補画素群画素数取得処理により取得された前記グレー候補画素群の画素数と前記肌色候補画素群の画素数との和が最大となり、かつ前記候補画素群平均色温度取得処理により取得された前記グレー候補画素群の平均色温度と前記肌色候補画素群の平均色温度との差が最小となる前記係数を最適係数として取得する最適係数取得処理と、
該最適係数取得処理により取得された前記適係数に対応する前記グレー候補画素群と肌色候補画素群を夫々グレー画素群と肌色画素群にし、該グレー画素群に含まれる各々の画素の色温度および該肌色画素群に含まれる各々の画素の色温度から前記カラー画像の撮影光源の色温度を求める光源色温度取得処理と、
前記カラー画像の画像信号に対して前記最適係数を乗算すると共に、該乗算がされた前記画像信号を、前記光源色温度取得処理により求められた色温度と基準白色との差分だけ補正する補正処理とをコンピュータに実行させるプログラムであって、
前記候補画素群平均色温度取得処理が、前記グレーの黒体軌跡曲線に近いグレー候補画素ほどその色温度の重みが高くなるように前記グレー候補画素群に含まれる各々のグレー候補画素の色温度を重み付け平均演算して得た値を該グレー候補画素群の平均色温度とする手順、および／または、
前記肌色の黒体軌跡曲線に近い肌色候補画素ほどその色温度の重みが高くなるように前記肌色候補画素群に含まれる各々の肌色候補画素の色温度を重み付け平均演算して得た値を該肌色候補画素群の平均色温度とする手順を有することを特徴とするものである。
【００７６】
本発明の第１から第８のプログラムは、前記カラー画像の各画素のうち、前記グレー候補画素群および／または肌色候補画素群を得るために有効な画素を抽出し、該有効な画素のみを前記グレー候補画素群および／または肌色候補画素群の取得に供する有効画素抽出処理をさらにコンピュータに行わせるものであることが好ましい。
【００７７】
本発明のプログラムは、前記光源色温度取得処理として、前記黒体軌跡曲線に近い画素ほどその色温度の重みが高くなるように前記最適係数に対応する前記候補画素群に含まれる各々の画素の色温度を重付平均演算して得た平均色温度を前記撮影光源の色温度として求めるものであることが好ましい。
【００７８】
本発明のプログラムにより実行される各処理において、前記黒体軌跡曲線の代わりに昼光軌跡曲線を用いてもよい。
【発明の効果】
【００７９】
本発明のホワイトバランス補正方法および装置並びにそのためのプログラムによれば、グレー候補画素群および／または肌色候補画素群の画素数を求める際に、候補画素のカウント数（１つの候補画素はカウント数が１である）の和を単純加算した値を画素数とせず、同じ候補画素群に含まれる候補画素であっても、グレー候補画素が真のグレー画素となる確率、肌色候補画素が真の肌色画素となる確率に応じて候補画素のカウント数を重み付け加算して得た値を候補画素群の画素数にしているので、候補画素群の画素数に基づいて得た最適係数およびこの最適係数に対応する候補画素群から、撮影光源の色温度をより精度良く求めることができ、より良いホワイトバランス補正の効果を得ることができる。
【００８０】
本発明のホワイトバランス補正方法および装置並びにそのためのプログラムによれば、グレー候補画素群および／または肌色候補画素群の画素数を求める際に、統計的に求められた傾向に応じた補正係数（例えばグレーと肌色夫々に対応した図２（ｂ）と図３（ｂ）に示す補正係数）で候補画素のカウント数を単純加算して得た和を補正して得た値を候補画素群の画素数にしているので、候補画素群の画素数に基づいて得た最適係数およびこの最適係数に対応する候補画素群から、撮影光源の色温度をより精度良く求めることができ、より良いホワイトバランス補正の効果を得ることができる。
【００８１】
「グレー候補画素群の平均色温度と肌色候補画素群の平均色温度との差が最も小さい」であるべきことに基づいて、グレー候補画素群の平均色温度と肌色候補画素群の平均色温度を求める際に、候補画素群に含まれる各々の画素の色温度を単純平均して得た値を候補画素群の色温度とせず、同じ候補画素群に含まれる候補画素であっても、グレー候補画素が真のグレー画素となる確率、肌色候補画素が真の肌色画素となる確率に応じて候補画素の色温度を重み付け平均演算して得た値を候補画素群の平均色温度としているので、精度良く最適係数を求めることができ、ひいては撮影光源の色温度を精度良く求めることができる。
【００８２】
また、撮影光源の色温度を求める際にも、最適係数に対応する候補画素群の色温度を単純平均演算して得た値を撮影光源の色温度とせず、最適係数に対応する候補画素群に含まれる各々の候補画素が、真のグレー画素または真の肌色画素となる確率に応じて各々の候補画素の色温度を重み付け平均演算して得た値を撮影光源の色温度としているので、精度良く撮影光源の色温度を求めることができ、良いホワイトバランス補正の効果を図ることができる。
【００８３】
また、候補画素を取得する際に、カラー画像中の全ての画素から有効な画素を抽出するようにし、これらの有効な画素から候補画素を取得するようにすれば、候補画素を取得するための計算量を減らすことができると共に、撮影光源の色温度の取得に悪い影響を与えるハイエスト画素のような無効な画素を取り除くことにより、より精度良く撮影光源の色温度を求めることができ、ホワイトバランス補正の効果を向上させることができる。
【発明を実施するための最良の形態】
【００８４】
以下、図面を参照して、本発明の実施形態について説明する。
【００８５】
図４は、本発明のホワイトバランス補正方法および装置並びにそのためのプログラムの実施形態となる画像処理装置Ａの構成を示すブロック図である。なお、本実施形態の画像処理装置Ａは、カラー画像に対してホワイトバランス補正を行うものであり、補助記憶装置に読み込まれたホワイトバランス補正プログラムをコンピュータ（たとえばパーソナルコンピュータ等）上で実行することにより実現される。また、このホワイトバランス補正プログラムは、ＣＤＲＯＭ等の情報記憶媒体に記憶され、もしくはインターネット等のネットワークを介して配布され、コンピュータにインストールされることになる。
【００８６】
図示のように、本実施形態の画像処理装置Ａは、デジタルスチールカメラ（ＤＳＣ）により取得したカラー画像Ｓ０（Ｒ０，Ｇ０，Ｂ０）から、有効な画素を抽出するための第１の有効画素抽出手段１０ａおよび第２の有効画素抽出手段１０ｂと、有効画素抽出手段１０ａおよび１０ｂにより抽出された有効な画素の画像信号Ｓ１ａとｓ１ｂに対して所定の係数を乗算して各係数に対応する画像信号の集合となる画像信号群Ｓ２ａおよびＳ２ｂを得る乗算手段１５と、乗算手段１５により得られた画像信号群Ｓ２ａを用いて各係数に対応するグレー候補画素群Ｓ３ａを検出するグレー候補画素群検出手段２０ａと、乗算手段１５により得られた画像信号群Ｓ２ａおよびＳ２ｂを用いて各係数に対応する肌色候補画素群Ｓ３ｂを検出する肌色候補画素群検出手段２０ｂと、各々のグレー候補画素群Ｓ３ａの夫々の画素数Ｍａおよび各々の肌色候補画素群Ｓ３ｂの夫々の画素数Ｍｂを求める画素数算出手段３０ａと、各々のグレー候補画素群Ｓ３ａの夫々の平均色温度Ｔａおよび各々の肌色候補画素群Ｓ３ｂの夫々の平均色温度Ｔｂを求める平均色温度算出手段３０ｂと、グレー候補画素群の画素数と肌色候補画素群の画素数との和が最も大きい、かつグレー候補画素群の平均色温度と肌色候補画素群の平均色温度との差が最も小さい係数を最適係数αとして取得する最適係数取得手段４０と、最適係数取得手段４０により取得された最適係数αに対応するグレー候補画素群Ｓ３ａと肌色候補画素群Ｓ３ｂに含まれる各々の画素の色温度から撮影光源の色温度Ｔを求める光源色温度取得手段５０と、最適係数取得手段４０により求められた最適係数αおよび光源色温度取得手段５０により取得された撮影光源の色温度を用いてカラー画像Ｓ０の全ての画素の画像信号に対して補正を行って補正済み画像Ｓ４（Ｒ４，Ｇ４，Ｂ４）を得る補正手段６０とを有してなる。
【００８７】
次に、図１に示す画像処理装置Ａの各構成について説明する。
【００８８】
第１の有効画素抽出手段１０ａは、まず、カラー画像Ｓ０中の下記のような画素を無効な画素として除去する。
【００８９】
１． カラー画像中の高彩度画素
ここでは、Ｒ＝Ｇ＝Ｂのグレー軸からの距離が所定の閾値以上の画素を高彩度画素とする。なお、閾値は、各色相に対して同じ閾値を用いてもよく、色相によって閾値を変えるようにしてもよい。
【００９０】
２． ハイエスト画素
ここでは、カラー画像Ｓ０中のハイライトの所定のパーセンテージ（例えば５％ ）までの画素をハイエスト画素とする
第１の有効画素抽出手段１０ａが、上記無効な画素を除去して得た残りの画素に、カラー画像Ｓ０中の輝度の高い領域にある画素、すなわち、輝度値が所定の閾値以上の画素を加えて、有効画素Ｓ１ａ（Ｒ１ａ，Ｇ１ａ，Ｂ１ａ）を得る。
【００９１】
第２の有効画素抽出手段１０ｂが、顔抽出手段であり、カラー画像Ｓ０中の顔部分を抽出し、抽出した顔部分の画素を有効画素Ｓ１ｂ（Ｒ１ｂ，Ｇ１ｂ，Ｇ１ｂ）として第１の抽出手段１０ａにより抽出された有効画素Ｓ１ａに加える。
【００９２】
乗算手段１５は、有効画素Ｓ１ａとＳ１ｂの画像信号に対して下記の式（４）のように所定の係数α０（α１，α２）を乗算して各係数α０に対応する画像信号の集合となる画像信号群Ｓ２ａおよびＳ２ｂを得て、画像信号群Ｓ２ａをグレー候補画素群検出手段２０ａに出力すると共に、画像信号群Ｓ２ａおよびＳ２ｂを肌色候補画素群検出手段２０ｂに出力する。なお、乗算をＲ、Ｇ、Ｂの３信号に対して行う必要がなく、いずれか２つの信号、ここではＲ、Ｇに対して行えれば十分である。
【００９３】
Ｒ２ａ＝α１Ｒ１ａ
Ｇ２ａ＝α２Ｇ１ａ （４）
Ｒ２ｂ＝α１Ｒ１ｂ
Ｇ２ｂ＝α２Ｇ１ｂ
グレー候補画素群検出手段２０ａと肌色候補画素群検出手段２０ｂは、夫々画像信号群Ｓ２ａと、Ｓ２ａおよびＳ２ｂとを用いて各係数に対応するグレー候補画素群と肌色候補画素群とを夫々検出するものである。以下図１を参照して、グレー候補画素群検出手段２０ａと肌色候補画素群検出手段２０ｂの動作を具体的に説明する。
【００９４】
図１において、Ｇｙはグレーの黒体軌跡曲線である。前述したように、黒体軌跡とは、色温度をＴ、色温度Ｔの黒体放射エネルギ分布をＰ（λ）、被写体の分光反射率分布をρ（λ）、ＤＳＣのＣＣＤセンサの分光感度分布をＳｉ（λ）（ｉ＝Ｒ、Ｇ、Ｂ）としたとき、次の式（２）で計算されたＥｉを式（１）により色度座標（ｒ，ｂ）に変換して色度図にプロットしたとき、色温度Ｔを動かしたときの軌跡である。黒体軌跡は、ＣＣＤセンサの分光分布および被写体の色ごとに存在し、グレーの黒体軌跡は、被写体をグレーとしたときの被写体の分光反射率ρ（λ）１として得られる。なお、ＣＣＤセンサの分光感度分布Ｓｉ（λ）は、カラー画像Ｓ０を撮影したＤＳＣのＣＣＤセンサ固有のものを用いることが好ましいが、図５に示すようなＢＴ７０９準拠の理想分光感度分布を用いてもよい。
【００９５】
ｒ＝Ｒ／（Ｒ＋Ｇ＋Ｂ）
ｂ＝Ｂ／（Ｒ＋Ｇ＋Ｂ） （１）
Ｅｉ＝∫Ｐ（λ）ρ（λ）Ｓｉ（λ）ｄλ （２）
また、肌色の黒体軌跡曲線は、グレーの黒体軌跡曲線Ｇｙと同じ方法で、肌色に対して得たものであり、ここで図示を省略する。
【００９６】
グレー候補画素群検出手段２０ａは、乗算手段１５により得られた画像信号群Ｓ２ａに対して、まず、式（１）に従って、（Ｒ、Ｇ、Ｂ）信号を色度座標（ｒ，ｂ）に変換すると共に、図１に示す色度図にプロットする。そして次に、グレー候補画素群検出手段２０ａは、画像信号群Ｓ２ａの各信号をグレーの黒体軌跡曲線Ｇｙと比較して、グレーの黒体軌跡曲線Ｇｙの近傍の信号を有する画素（ここでは、黒体軌跡曲線Ｇｙ上の点と比較して、色度座標ｒの差が０．０３以下の信号の画素）をグレー候補画素として検出する。このように、グレー候補画素群検出手段２０ａは、各係数α０に対してグレー候補画素を検出し、各々の係数α０に対応するグレー候補画素群Ｓ３ａを検出する。
【００９７】
肌色候補画素群検出手段２０ｂは、画像信号Ｓ２ａ、Ｓ２ｂを用いて各係数α０に対応する肌色候補画素群Ｓ３ｂを検出するものであり、黒体軌跡曲線として、グレーの黒体軌跡曲線Ｇｙの代わりに肌色の黒体軌跡曲線を用いる点を除けば、グレー候補画素群検出手段２０ａと略同様に動作するので、ここでその詳細な説明を省略する。
【００９８】
こうして、グレー候補画素群検出手段２０ａと肌色候補画素群検出手段２０ｂにより、各々の係数α０（α１，α２）に対応するグレー候補画素群Ｓ３ａとＳ３ｂが夫々検出される。
【００９９】
画素数算出手段３０ａは、各グレー候補画素群Ｓ３ａの画素数Ｍａおよび各肌色候補画素群Ｓ３ｂの画素数Ｍｂを算出するものであり、平均色温度算出手段３０ｂは、各グレー候補画素群Ｓ３ａの平均色温度Ｔａおよび各肌色候補画素群Ｓ３ｂの平均色温度Ｔｂを算出するものである。まず、画素数算出手段３０ａの動作を説明する。
【０１００】
画素数算出手段３０ａは、グレー候補画素群Ｓ３ａの各画素のカウント数に対して、図１に示すグレーの黒体軌跡曲線Ｇｙに近い画素ほど、そのカウント数の重みが高くなる重み付け係数で重み付け加算して得た和を当該グレー候補画素群Ｓ３ａの画素数Ｍａとする。図６は、本実施形態における画素数算出手段３０ａが用いた重み付け係数（図示実線）を示している。図示のように、同じグレー候補画素群に含まれる画素でも、グレーの黒体軌跡曲線Ｇｙ上の画素（黒体軌跡曲線Ｇｙとの距離がゼロである）の場合、そのカウント数に対する重み付け係数が１であり、すなわち、１つの画素が画素群の画素数に対して１を貢献する一方、グレーの黒体軌跡曲線Ｇｙとの距離が０．０２である画素の場合、そのカウント数に対する重み付け係数が０．０５であり、すなわち、１つの画素が画素群の画素数に０．０５しか貢献しない。なお、図示点線は、特許文献１提案の方法において候補画素群の画素数を算出する際に用いる重み付け係数を示している。図示のように、特許文献１提案の方法では、グレー候補画素群の画素数を算出する際に、グレー候補画素群の全ての画素に対して、重み付け係数として１を用い、すなわち、グレーの黒体軌跡曲線との遠近（真のグレーである確率の高低）に関係なく、１つの候補画素は画素数１を貢献することになっている。
【０１０１】
同様に、画素数算出手段３０ａは、肌色候補画素群Ｓ３ｂの各画素のカウント数に対して、図示しない肌色の黒体軌跡曲線に近い画素ほど、そのカウント数の重みが高くなる重み付け係数で重み付け加算して得た和を当該肌色候補画素群Ｓ３ｂの画素数Ｍｂとする。ここで、画素数算出手段３０ａは、グレー候補画素群Ｓ３ａの画素数を算出する際と同じように、図６に示す重み付け係数を用いて肌色候補画素群Ｓ３ｂの画素数Ｍｂを算出する。
【０１０２】
平均色温度算出手段３０ｂは、グレー候補画素群Ｓ３ａの各画素（例えば図１に示すＡ部分）に対して、グレーの黒体軌跡曲線Ｇｙに近い画素ほど、その色温度の重みが高くなるように各々のグレー候補画素の色温度を重み付け平均演算して得た値を当該グレー候補画素群Ｓ３ａの平均色温度Ｔａとすると共に、肌色候補画素群Ｓ３ｂの各画素に対して、肌色の黒体軌跡曲線に近い画素ほど、その色温度の重みが高くなるように各々の肌色候補画素の色温度を重み付け平均演算して得た値を当該肌色候補画素群Ｓ３ｂの平均色温度Ｔｂとする。なお、ここで、例として、平均色温度算出手段３０ｂは、色温度の重み付け係数として、画素数算出手段３０ａが用いた、図６に示す重み付け係数を用いて各候補画素群の平均色温度ＴａおよびＴｂを算出する。
【０１０３】
画素数算出手段３０ａにより算出された各グレー候補画素群Ｓ３ａの画素数Ｍａおよび肌色候補画素群Ｓ３ｂの画素数Ｍｂと、平均色温度算出手段３０ｂにより算出された各グレー候補画素群Ｓ３ａの平均色温度Ｔａおよび肌色候補画素群Ｓ３ｂの平均色温度Ｔｂとは、最適係数取得手段４０に出力される。最適係数取得手段４０は、「グレー候補画素群と肌色候補画素群との画素数の和が最も大きい」、かつ「グレー候補画素群の平均色温度と肌色画素群の平均色温度との差が最も小さい」ことを目的関数として係数α０の最適化をして最適係数α（α１，α２）を得て、補正手段６０および光源色温度取得手段５０に出力する。ここで、最適係数αは、図１に示すベクトルαに相当する。
【０１０４】
光源色温度取得手段５０は、最適係数α（α１，α２）に対応するグレー候補画素群および肌色候補画素群の各々の画素の色温度から撮影光源の色温度を推定するものであり、ここでは、最適係数αに対応するグレー候補画素群の平均色温度Ｔ１ａと最適係数αに対応する肌色候補画素群の平均色温度Ｔ１ｂとをさらに平均して得た値を撮影光源の色温度Ｔを求めるものである。なお、最適係数αに対応するグレー候補画素群（グレー画素群）および最適係数αに対応する肌色候補画素群（肌色画素群）の夫々の平均色温度Ｔ１ａ、Ｔ１ｂを新たに求めてもよいが、ここでは、光源色温度取得手段は、平均色温度算出手段３０ｂにより算出された平均色温度から、最適係数αに対応する候補画素群の平均色温度Ｔ１ａ、Ｔ１ｂを取得して、それらの平均値を光源の色温度Ｔとして算出する。なお、Ｔ１ａとＴ１ｂを平均する際に、下記の式（５）のように単純平均して得た値を撮影光源の色温度Ｔとしてもよいし、グレーの色を重視する場合はＴ１ａを光源の色温度Ｔとしてもよい。さらに、グレーと肌色を夫々重視する程度に応じて、Ｔ１ａとＴ１ｂとを重み付け平均演算して得た値を光源の色温度Ｔとしてもよい。
【０１０５】
Ｔ＝（Ｔ１ａ＋Ｔ１ｂ）／２ （５）
但し、Ｔ：撮影光源の色温度
Ｔ１ａ：グレー画素の平均色温度
Ｔ１ｂ：肌色画素の平均色温度
補正手段６０は、まず、光源色温度取得手段５０により取得された色温度Ｔを基準白色（例えば５５００Ｋ）へ変換する変換、すなわち、図１に示すベクトルβ（β１、β２）を求める。
【０１０６】
最適係数、すなわち図１に示すベクトルα（α１，α２）およびベクトルβ（β１，β２）を用いて、下記の式（６）に従って、カラー画像Ｓ０（Ｒ０，Ｇ０，Ｂ０）に対して補正処理を施して補正済み画像Ｓ４（Ｒ４，Ｇ４，Ｂ４）を得ることができる。
【０１０７】
Ｒ４＝α１β１Ｒ０
Ｇ４＝α２Ｇ０ （６）
Ｂ４＝β２Ｂ０
但し，
Ｒ４，Ｇ４，Ｂ４：補正済み画像Ｓ４の画素値
Ｒ０，Ｇ０，Ｂ０：カラー画像Ｓ０の画素値
（α１，α２）： 最適係数α
また、式（６）に示す変換は、カラーバランスだけではなく、明るさの変化を含むので、Ｇ信号を不変として表現すれば、次の式（７）になる。
【０１０８】
Ｒ４＝（α１β１／α２）Ｒ０
Ｇ４＝Ｇ０ （７）
Ｂ４＝（β２／α２）Ｂ０
但し，
Ｒ４，Ｇ４，Ｂ４：補正済み画像Ｓ４の画素値
Ｒ０，Ｇ０，Ｂ０：カラー画像Ｓ０の画素値
（α１，α２）：最適係数α
補正手段６０は、カラー画像Ｓ０の全ての画素の画像信号に対して式（７）に示す変換を行い、補正済み画像Ｓ４を得る。
【０１０９】
図１に示す実施形態の画像処理装置Ａにおいて、候補画素群（グレー候補画素群または肌色候補画素群）の画素数を求めて、この画素数に基づいて最適係数、すなわちベクトルαを求める際に、黒体軌跡曲線に近い候補画素ほど、真のグレー画素または真の肌色画素になる確率が高いことに着目し、黒体軌跡曲線との距離に応じて各画素のカウント数を重み付け加算して得た値を候補画素群の画素数とするようにしてベクトルαを求めるようにしているので、ベクトルαに基づいて算出された撮影光源の色温度の精度を上げることができ、より良いホワイトバランス補正の効果を図ることができる。
【０１１０】
図７は、本発明のホワイトバランス補正方法および装置並びにプログラムの実施形態となる画像処理装置Ｂの構成を示すブロック図である。なお、本実施形態の画像処理装置Ｂは、後述する画素数算出手段３０’ａが図１に示す画像処理装置Ａの画素数算出手段３０ａと異なる動作をする点を除けば、画像処理装置Ａと同様な構成を有するものであるので、画像処理装置Ａの相対応する構成と同様な動作をする構成については、同じ符号を付与すると共に、画像処理装置Ｂの画素数算出手段３０’ａの動作のみについて説明する。
【０１１１】
図７に示すように、本実施形態の画像処理装置Ｂは、デジタルスチールカメラ（ＤＳＣ）により取得したカラー画像Ｓ０（Ｒ０，Ｇ０，Ｂ０）から、有効な画素を抽出するための第１の有効画素抽出手段１０ａおよび第２の有効画素抽出手段１０ｂと、有効画素抽出手段１０ａおよび１０ｂにより抽出された有効な画素の画像信号Ｓ１ａとｓ１ｂに対して所定の係数を乗算して各係数に対応する画像信号の集合となる画像信号群Ｓ２ａおよびＳ２ｂを得る乗算手段１５と、乗算手段１５により得られた画像信号群Ｓ２ａを用いて各係数に対応するグレー候補画素群Ｓ３ａを検出するグレー候補画素群検出手段２０ａと、乗算手段１５により得られた画像信号群Ｓ２ａおよびＳ２ｂを用いて各係数に対応する肌色候補画素群Ｓ３ｂを検出する肌色候補画素群検出手段２０ｂと、各々のグレー候補画素群Ｓ３ａの夫々の画素数Ｍ’ａおよび各々の肌色候補画素群Ｓ３ｂの夫々の画素数Ｍ’ｂを求める画素数算出手段３０’ａと、各々のグレー候補画素群Ｓ３ａの夫々の平均色温度Ｔａおよび各々の肌色候補画素群Ｓ３ｂの夫々の平均色温度Ｔｂを求める平均色温度算出手段３０ｂと、グレー候補画素群の画素数と肌色候補画素群の画素数との和が最も大きい、かつグレー候補画素群の平均色温度と肌色候補画素群の平均色温度との差が最も小さい係数を最適係数α’として取得する最適係数取得手段４０と、最適係数取得手段４０により取得された最適係数α’に対応するグレー候補画素群Ｓ３ａと肌色候補画素群Ｓ３ｂに含まれる各々の画素の色温度から撮影光源の色温度Ｔ’を求める光源色温度取得手段５０と、最適係数取得手段４０により求められた最適係数α’および光源色温度取得手段５０により取得された撮影光源の色温度を用いてカラー画像Ｓ０の全ての画素の画像信号に対して補正を行って補正済み画像Ｓ４（Ｒ４，Ｇ４，Ｂ４）を得る補正手段６０とを有してなる。
【０１１２】
ここで、画素数算出手段３０’ａの動作についてのみを説明する。
【０１１３】
画素数算出手段３０’ａは、各グレー候補画素群Ｓ３ａの画素数Ｍ’ａおよび各肌色候補画素群Ｓ３ｂの画素数Ｍ’ｂを算出するものであり、まず、図２を参照して、画素数算出手段３０’ａによるグレー候補画素群Ｓ３ａの画素数Ｍ’ａの算出を説明する。
【０１１４】
前述したように、図２（ｂ）は、図２（ａ）に示す統計的な傾向を反映した補正係数の例を示している。図示のように、この補正係数は、「割合が大きいほど大きくなる補正係数」であり、かつ図２（ａ）に示す傾向を反映し、グレー候補画素群に含まれるグレー候補画素の個数が全画素の個数に占める割合に応じて、該割合が大きいほど大きくなり、かつ該割合が大きいほど増加率が小さくなるものである。図７に示す画像処理装置Ｂの画素数算出手段３０’ａは、図２（ｂ）に示す補正係数でグレー候補画素群Ｓ３ａ毎にそのグレー候補画素の個数を補正して得た値を当該グレー候補画素群の画素数Ｍ’ａとする。
【０１１５】
次に図３を参照して、画素数算出手段３０’ａによる肌色候補画素群Ｓ３ｂの画素数Ｍ’ｂの算出を説明する。
【０１１６】
前述したように、図３（ｂ）は、図３（ａ）に示す統計的な傾向を反映した補正係数の例を示している。図示のように、この補正係数は、「割合が大きいほど大きくなる補正係数」であり、かつ図３（ａ）に示す傾向を反映し、肌色候補画素群に含まれる肌色候補画素の個数が全画素の個数に占める割合に応じて、所定の値（存在頻度がゼロとなる割合の値）の割合まで該割合が大きいほど大きくなり、かつ該割合が大きいほど増加率が小さくなる一方、前記所定の値以降は該割合が大きいほど小さくなるものである。本実施形態の画像処理装置Ｂの画素数算出手段３０’ｂは、図３（ｂ）に示す補正係数で肌色候補画素群Ｓ３ｂ毎にその肌色候補画素の個数を補正して得た値を当該肌色候補画素群の画素数Ｍ’ｂとする。
【０１１７】
画像処理装置Ｂの最適係数取得手段４０は、画素数算出手段３０’ａにより得られたグレー候補画素群の画素数Ｍ’ａおよび肌色候補画素群の画素数Ｍ’ｂと、平均色温度算出手段３０ｂにより得られたグレー候補画素群の平均色温度Ｔａおよび肌色候補画素群の平均色温度Ｔｂとを用いて最適係数α’を得、光源色温度取得手段５０は、最適係数α’に対応するグレー候補画素群と肌色候補画素群の夫々の平均色温度Ｔ１’ａとＴ１’ｂをさらに平均して得た値を撮影光源の色温度Ｔ’として算出し、補正手段６０は、光源色温度取得手段５０により取得した撮影光源の色温度Ｔ’に基づいて得た図１に示すベクトルβに相当するベクトルβ’と、最適係数取得手段４０により取得した最適係数α’とを用いて、カラー画像Ｓ０に対して補正処理を行って補正済み画像Ｓ４を得る。
【０１１８】
このように、本実施形態の画像処理装置Ｂは、候補画素群（グレー候補画素群または肌色候補画素群）の画素数を求めて、この画素数に基づいて最適係数、すなわちベクトルα’を求める際に、画像処理装置Ａと異なる視点から、候補画素群に含まれる候補画素の個数がカラー画像の全画素の個数に占める割合に応じて、統計的に求められた傾向に応じた補正係数（グレーと肌色夫々に対応した図２（ｂ）と図３（ｂ）に示す補正係数）で候補画素のカウント数を単純加算して得た和を補正して得た値を候補画素群の画素数にしているので、候補画素群の画素数に基づいて得た最適係数およびこの最適係数に対応する候補画素群から、撮影光源の色温度をより精度良く求めることができ、より良いホワイトバランス補正の効果を得ることができる。
【０１１９】
以上、本発明の望ましい実施形態について説明したが、本発明のホワイトバランス補正方法および装置並びにそのためのプログラムは、上述した実施形態に限られることがなく、本発明の主旨を逸脱しない限り、様々な増減、変化を加えることができる。
【０１２０】
例えば、図１に示す実施形態の画像処理装置Ａおよび図７に示す画像処理装置Ｂにおいて、カラー画像Ｓ０の全ての画素から有効な画素を抽出し、これらの有効な画素を用いて、候補画素群の検出、最適係数α（α’）と撮影光源の色温度の算出などを行っているが、カラー画像Ｓ０に対して縮小処理を得た画像に対して上述の処理、すなわち、有効な画素の抽出から、最適係数と撮影光源の色温度の算出までの処理を行うようにして演算量を減らし、処理のスピードアップを図ってもよい。なお、この場合、縮小処理として間引き縮小処理を用いれば演算の精度を高めることができるが、例えばＤＳＣにより連続撮影して得た一連の画像のような類似シーン間のホワイトバランス補正効果のバラツキを減らす視点から、縮小処理としては、間引き縮小処理よりも平均縮小処理を用いることが望ましい。
【０１２１】
また、図１に示す実施形態の画像処理装置Ａおよび図７に示す画像処理装置Ｂは、演算の精度および速度の向上のため、カラー画像Ｓ０から有効な画素を抽出して、これらの有効な画素を用いて最適係数および光源の色温度の算出を行っているが、カラー画像Ｓ０の全ての画素を用いて上述した処理を行うようにしてもよい。
【０１２２】
また、図１に示す実施形態の画像処理装置Ａおよび図７に示す画像処理装置Ｂは、グレーと肌色との両方を用いているが、グレーと肌色のいずれか一方の色のみを用いるようにしてもよい。
【０１２３】
また、図１に示す実施形態の画像処理装置Ａおよび図７に示す画像処理装置Ｂは、候補画素群の画素数および候補画素群の平均色温度の両方を用いて最適係数を求めるようにしているが、画素数と平均色温度のいずれか一方のみを用いて最適係数を求めるようにしてもよい。
【０１２４】
また、本発明のホワイトバランス補正方法および装置並びにプログラムは、ＤＳＣにより取得されたカラー画像に限らず、従来のネガカラーフィルムにより取得した写真画像をスキャナーなどの読取装置で読み取って得たカラー画像にも適用することができる。
【図面の簡単な説明】
【０１２５】
【図１】本発明のホワイトバランス方法および装置並びにプログラムの原理を説明するための色度図
【図２（ａ）】サンプルカラー画像の存在頻度とサンプルカラー画像中のグレー画素が全画素に占める割合との関係を統計的に求められた傾向を示す図
【図２（ｂ）】図２（ａ）に示す傾向を反映したグレー候補画素の個数に対する補正係数
【図３（ａ）】サンプルカラー画像の存在頻度とサンプルカラー画像中の肌色画素が全画素に占める割合との関係を統計的に求められた傾向を示す図
【図３（ｂ）】図３（ａ）に示す傾向を反映した肌色候補画素の個数に対する補正係数
【図４】本発明の実施形態となる画像処理装置Ａの構成を示すブロック図
【図５】ＢＴ７０９準拠のＣＣＤセンサの理想分光感度分布を示す図
【図６】図４に示す画像処理装置Ａにおける画素数算出手段３０ａおよび平均色温度算出手段３０ｂの動作を説明するための図
【図７】本発明の実施形態となる画像処理装置Ｂの構成を示すブロック図
【符号の説明】
【０１２６】
１０ａ 第１の有効画素抽出手段
１０ｂ 第２の有効画素抽出手段
１５ 乗算手段
２０ａ グレー候補画素群検出手段
２０ｂ 肌色候補画素群検出手段
３０ａ，３０’ａ 画素数算出手段
３０ｂ 平均色温度算出手段
４０ 最適係数取得手段
５０ 光源色温度取得手段
６０ 補正手段
【特許請求の範囲】
【請求項１】
カラー画像の各画素の画像信号に対して、所定の係数を乗算し、その結果、グレーの黒体軌跡曲線の近傍に入る画素をグレー候補画素として各前記係数に対応するグレー候補画素群を得、該グレー候補画素群の画素数が最大となる前記係数を最適係数とすると共に、該最適係数に対応する前記グレー候補画素群をグレー画素群とし、該グレー画素群に含まれる各々の画素の色温度から前記カラー画像の撮影光源の色温度を求め、前記最適係数を乗算された前記カラー画像の画像信号を、前記求められた色温度と基準白色の色温度との差分だけ補正するホワイトバランス補正方法において、
前記グレーの黒体軌跡曲線に近い画素ほどカウント数の重みが高くなるように前記グレー候補画像群毎に各々の前記グレー候補画素のカウント数を重み付け加算して得た和、または、
サンプルカラー画像中のグレー画素の個数が当該サンプルカラー画像の全画素の個数に占める割合に対して、多数の前記サンプルカラー画像を用いて統計的に求められた各々の前記割合毎のサンプルカラー画像の存在頻度に応じた補正係数で、前記グレー候補画素群に含まれるグレー候補画素の個数が前記カラー画像の全画素の個数に占める割合に応じて前記グレー候補画素群毎にそのグレー候補画素の個数を補正して得た値、
を当該グレー候補画素群の画素数とすることを特徴とするホワイトバランス補正方法。
【請求項２】
カラー画像の各画素の画像信号に対して、所定の係数を乗算し、その結果、肌色の黒体軌跡曲線の近傍に入る画素を肌色候補画素として各前記係数に対応する肌色候補画素群を得、該肌色候補画素群の画素数が最大となる前記係数を最適係数とすると共に、該最適係数に対応する前記肌色候補画素群を肌色画素群とし、該肌色画素群に含まれる各々の画素の色温度から前記カラー画像の撮影光源の色温度を求め、前記最適係数を乗算された前記カラー画像の画像信号を、前記求められた色温度と基準白色の色温度との差分だけ補正するホワイトバランス補正方法において、
前記肌色の黒体軌跡曲線に近い画素ほどカウント数の重みが高くなるように前記肌色候補画素群毎に各々の前記肌色候補画素のカウント数を重み付け加算して得た和、または、
サンプルカラー画像中の肌色画素の個数が当該サンプルカラー画像の全画素の個数に占める割合に対して、多数の前記サンプルカラー画像を用いて統計的に求められた各々の前記割合毎のサンプルカラー画像の存在頻度に応じた補正係数で、前記肌色候補画素群に含まれる肌色候補画素の個数が前記カラー画像の全画素の個数に占める割合に応じて前記肌色候補画素群毎にその肌色候補画素の個数を補正して得た値、
を当該肌色候補画素群の画素数とすることを特徴とするホワイトバランス補正方法。
【請求項３】
カラー画像の各画素の画像信号に対して所定の係数を乗算し、その結果、グレーの黒体軌跡曲線の近傍に入る画素をグレー候補画素として各前記係数に対応するグレー候補画素群と、肌色の黒体軌跡曲線の近傍に入る画素を肌色候補画素として各前記係数に対応する肌色候補画素群とを得、前記グレー候補画素群の画素数と、前記肌色候補画素群の画素数との和が最大となる前記係数を最適係数とすると共に、該最適係数に対応する前記グレー候補画素群と肌色候補画素群を夫々グレー画素群と肌色画素群にし、該グレー画素群に含まれる各々の画素の色温度および該肌色画素群に含まれる各々の画素の色温度から前記カラー画像の撮影光源の色温度を求め、前記最適係数が乗算された前記カラー画像の画像信号を、前記求められた色温度と基準白色との差分だけ補正するホワイトバランス補正方法において、
前記グレーの黒体軌跡曲線に近い画素ほどカウント数の重みが高くなるように前記グレー候補画像群毎に各々の前記グレー候補画素のカウント数を重み付け加算して得た和、または、サンプルカラー画像中のグレー画素の個数が当該サンプルカラー画像の全画素の個数に占める割合に対して、多数の前記サンプルカラー画像を用いて統計的に求められた各々の前記割合毎のサンプルカラー画像の存在頻度に応じた補正係数で、前記グレー候補画素群に含まれるグレー候補画素の個数が前記カラー画像の全画素の個数に占める割合に応じて前記グレー候補画素群毎にそのグレー候補画素の個数を補正して得た値、を当該グレー候補画素群の画素数とする工程、および／または、
前記肌色の黒体軌跡曲線に近い画素ほどカウント数の重みが高くなるように前記肌色候補画素群毎に各々の前記肌色候補画素のカウント数を重み付け加算して得た和、または、サンプルカラー画像中の肌色画素の個数が当該サンプルカラー画像の全画素の個数に占める割合に対して、多数の前記サンプルカラー画像を用いて統計的に求められた各々の前記割合毎のサンプルカラー画像の存在頻度に応じた補正係数で、前記肌色候補画素群に含まれる肌色候補画素の個数が前記カラー画像の全画素の個数に占める割合に応じて前記肌色候補画素群毎にその肌色候補画素の個数を補正して得た値、を当該肌色候補画素群の画素数とする工程を有することを特徴とするホワイトバランス補正方法。
【請求項４】
カラー画像の各画素の画像信号に対して所定の係数を乗算し、その結果、グレーの黒体軌跡曲線の近傍に入る画素をグレー候補画素として各前記係数に対応するグレー候補画素群と、肌色の黒体軌跡曲線の近傍に入る画素を肌色候補画素として各前記係数に対応する肌色候補画素群とを得、前記グレー候補画素群の平均色温度と前記肌色候補画素群の平均色温度との差が最小となる前記係数を最適係数とすると共に、該最適係数に対応する前記グレー候補画素群と肌色候補画素群を夫々グレー画素群と肌色画素群にし、該グレー画素群に含まれる各々の画素の色温度および該肌色画素群に含まれる各々の画素の色温度から前記カラー画像の撮影光源の色温度を求め、前記最適係数が乗算された前記カラー画像の画像信号を、前記求められた色温度と基準白色との差分だけ補正するホワイトバランス補正方法において、
前記グレーの黒体軌跡曲線に近いグレー候補画素ほどその色温度の重みが高くなるように前記グレー候補画素群に含まれる各々のグレー候補画素の色温度を重み付け平均演算して得た値を該グレー候補画素群の平均色温度とする工程、および／または、
前記肌色の黒体軌跡曲線に近い肌色候補画素ほどその色温度の重みが高くなるように前記肌色候補画素群に含まれる各々の肌色候補画素の色温度を重み付け平均演算して得た値を該肌色候補画素群の平均色温度とする工程を有することを特徴とするホワイトバランス補正方法。
【請求項５】
カラー画像の各画素の画像信号に対して所定の係数を乗算し、その結果、グレーの黒体軌跡曲線の近傍に入る画素をグレー候補画素として各前記係数に対応するグレー候補画素群と、肌色の黒体軌跡曲線の近傍に入る画素を肌色候補画素として各前記係数に対応する肌色候補画素群とを得、前記グレー候補画素群の画素数と、前記肌色候補画素群の画素数との和が最大となり、かつ前記グレー候補画素群の平均色温度と前記肌色候補画素群の平均色温度との差が最小となる前記係数を最適係数とすると共に、該最適係数に対応する前記グレー候補画素群と肌色候補画素群を夫々グレー画素群と肌色画素群にし、該グレー画素群に含まれる各々の画素の色温度および該肌色画素群に含まれる各々の画素の色温度から前記カラー画像の撮影光源の色温度を求め、前記最適係数が乗算された前記カラー画像の画像信号を、前記求められた色温度と基準白色との差分だけ補正すホワイトバランス補正方法において、
前記グレーの黒体軌跡曲線に近い画素ほどカウント数の重みが高くなるように前記グレー候補画像群毎に各々の前記グレー候補画素のカウント数を重み付け加算して得た和、または、サンプルカラー画像中のグレー画素の個数が当該サンプルカラー画像の全画素の個数に占める割合に対して、多数の前記サンプルカラー画像を用いて統計的に求められた各々の前記割合毎のサンプルカラー画像の存在頻度に応じた補正係数で、前記グレー候補画素群に含まれるグレー候補画素の個数が前記カラー画像の全画素の個数に占める割合に応じて前記グレー候補画素群毎にそのグレー候補画素の個数を補正して得た値、を当該グレー候補画素群の画素数とする工程、および／または、
前記肌色の黒体軌跡曲線に近い画素ほどカウント数の重みが高くなるように前記肌色候補画素群毎に各々の前記肌色候補画素のカウント数を重み付け加算して得た和、または、サンプルカラー画像中の肌色画素の個数が当該サンプルカラー画像の全画素の個数に占める割合に対して、多数の前記サンプルカラー画像を用いて統計的に求められた各々の前記割合毎のサンプルカラー画像の存在頻度に応じた補正係数で、前記肌色候補画素群に含まれる肌色候補画素の個数が前記カラー画像の全画素の個数に占める割合に応じて前記肌色候補画素群毎にその肌色候補画素の個数を補正して得た値、を当該肌色候補画素群の画素数とする工程、および／または、
前記グレーの黒体軌跡曲線に近いグレー候補画素ほどその色温度の重みが高くなるように前記グレー候補画素群に含まれる各々のグレー候補画素の色温度を重み付け平均演算して得た値を該グレー候補画素群の平均色温度とする工程、および／または、
前記肌色の黒体軌跡曲線に近い肌色候補画素ほどその色温度の重みが高くなるように前記肌色候補画素群に含まれる各々の肌色候補画素の色温度を重み付け平均演算して得た値を該肌色候補画素群の平均色温度とする工程を有することを特徴とするホワイトバランス補正方法。
【請求項６】
前記カラー画像の各画素のうち、前記候補画素群を得るために有効な画素のみから前記候補画素群を得ることを特徴とする請求項１から５のいずれか１項記載のホワイトバランス補正方法。
【請求項７】
前記黒体軌跡曲線に近い画素ほどその色温度の重みが高くなるように前記最適係数に対応する前記候補画素群に含まれる各々の画素の色温度を重付平均演算して得た平均色温度を前記撮影光源の色温度として求めることを特徴とする請求項１から６のいずれか１項記載のホワイトバランス補正方法。
【請求項８】
前記黒体軌跡曲線の代わりに昼光軌跡曲線を用いることを特徴とする請求項１から７のいずれか１項記載のホワイトバランス補正方法。
【請求項９】
カラー画像の各画素の画像信号に対して、所定の係数を乗算する乗算手段と、
前記乗算の結果、グレーの黒体軌跡曲線の近傍に入る画素をグレー候補画素として各前記係数に対応するグレー候補画素群を得、該グレー候補画素群の画素数を求めるグレー候補画素群画素数取得手段と、
該グレー候補画素群画素数取得手段により取得された画素数が最大となる前記グレー候補画素群に対応する前記係数を最適係数として取得する最適係数取得手段と、
該最適係数取得手段により取得された前記最適係数に対応する前記グレー候補画素群をグレー画素群とし、該グレー画素群に含まれる各々の画素の色温度から前記カラー画像の撮影光源の色温度を求める光源色温度取得手段と、
前記カラー画像の画像信号に対して前記最適係数を乗算すると共に、該乗算がされた前記画像信号を、前記光源色温度取得手段により求められた色温度と基準白色の色温度との差分だけ補正する補正手段とを有してなるホワイトバランス補正装置において、
前記グレー候補画素群画素数取得手段が、前記グレーの黒体軌跡曲線に近い画素ほどカウント数の重みが高くなるように前記グレー候補画像群毎に各々の前記グレー候補画素のカウント数を重み付け加算して得た和、または、
サンプルカラー画像中のグレー画素の個数が当該サンプルカラー画像の全画素の個数に占める割合に対して、多数の前記サンプルカラー画像を用いて統計的に求められた各々の前記割合毎のサンプルカラー画像の存在頻度に応じた補正係数で、前記グレー候補画素群に含まれるグレー候補画素の個数が前記カラー画像の全画素の個数に占める割合に応じて前記グレー候補画素群毎にそのグレー候補画素の個数を補正して得た値、
を当該グレー候補画素群の画素数とすることを特徴とするホワイトバランス補正装置。
【請求項１０】
カラー画像の各画素の画像信号に対して、所定の係数を乗算する乗算手段と、
前記乗算の結果、肌色の黒体軌跡曲線の近傍に入る画素を肌色候補画素として各前記係数に対応する肌色候補画素群を得、該肌色候補画素群の画素数を求める肌色候補画素群画素数取得手段と、
該肌色候補画素群画素数取得手段により取得された画素数が最大となる前記肌色候補画素群に対応する前記係数を最適係数として取得する最適係数取得手段と、
該最適係数取得手段により取得された前記最適係数に対応する前記肌色候補画素群を肌色画素群とし、該肌色画素群に含まれる各々の画素の色温度から前記カラー画像の撮影光源の色温度を求める光源色温度取得手段と、
前記カラー画像の画像信号に対して前記最適係数を乗算すると共に、該乗算がされた前記画像信号を、前記光源色温度取得手段により求められた色温度と基準白色の色温度との差分だけ補正する補正手段とを有してなるホワイトバランス補正装置において、
前記肌色候補画素群画素数取得手段が、前記肌色の黒体軌跡曲線に近い画素ほどカウント数の重みが高くなるように前記肌色候補画素群毎に各々の前記肌色候補画素のカウント数を重み付け加算して得た和、または、
サンプルカラー画像中の肌色画素の個数が当該サンプルカラー画像の全画素の個数に占める割合に対して、多数の前記サンプルカラー画像を用いて統計的に求められた各々の前記割合毎のサンプルカラー画像の存在頻度に応じた補正係数で、前記肌色候補画素群に含まれる肌色候補画素の個数が前記カラー画像の全画素の個数に占める割合に応じて前記肌色候補画素群毎にその肌色候補画素の個数を補正して得た値、
を当該肌色候補画素群の画素数とすることを特徴とするホワイトバランス補正装置。
【請求項１１】
カラー画像の各画素の画像信号に対して所定の係数を乗算する乗算手段と、
前記乗算の結果、グレーの黒体軌跡曲線の近傍に入る画素をグレー候補画素として各前記係数に対応するグレー候補画素群と肌色の黒体軌跡曲線の近傍に入る画素を肌色候補画素として各前記係数に対応する肌色候補画素群とを得、前記グレー候補画素群の画素数および前記肌色候補画素群の画素数を求める候補画素群画素数取得手段と、
該候補画素群画素数取得手段により取得された前記グレー候補画素群の画素数と前記肌色候補画素群の画素数との和が最大となる前記係数を最適係数として取得する最適係数取得手段と、
該最適係数取得手段により取得された前記適係数に対応する前記グレー候補画素群と肌色候補画素群を夫々グレー画素群と肌色画素群にし、該グレー画素群に含まれる各々の画素の色温度および該肌色画素群に含まれる各々の画素の色温度から前記カラー画像の撮影光源の色温度を求める光源色温度取得手段と、
前記カラー画像の画像信号に対して前記最適係数を乗算すると共に、該乗算がされた前記画像信号を、前記光源色温度取得手段により求められた色温度と基準白色との差分だけ補正する補正手段とを有してなるホワイトバランス補正装置において、
前記候補画素群画素数取得手段が、前記グレーの黒体軌跡曲線に近い画素ほどカウント数の重みが高くなるように前記グレー候補画像群毎に各々の前記グレー候補画素のカウント数を重み付け加算して得た和、または、サンプルカラー画像中のグレー画素の個数が当該サンプルカラー画像の全画素の個数に占める割合に対して、多数の前記サンプルカラー画像を用いて統計的に求められた各々の前記割合毎のサンプルカラー画像の存在頻度に応じた補正係数で、前記グレー候補画素群に含まれるグレー候補画素の個数が前記カラー画像の全画素の個数に占める割合に応じて前記グレー候補画素群毎にそのグレー候補画素の個数を補正して得た値、を当該グレー候補画素群の画素数とする処理、および／または、
前記肌色の黒体軌跡曲線に近い画素ほどカウント数の重みが高くなるように前記肌色候補画素群毎に各々の前記肌色候補画素のカウント数を重み付け加算して得た和、または、サンプルカラー画像中の肌色画素の個数が当該サンプルカラー画像の全画素の個数に占める割合に対して、多数の前記サンプルカラー画像を用いて統計的に求められた各々の前記割合毎のサンプルカラー画像の存在頻度に応じた補正係数で、前記肌色候補画素群に含まれる肌色候補画素の個数が前記カラー画像の全画素の個数に占める割合に応じて前記肌色候補画素群毎にその肌色候補画素の個数を補正して得た値、を当該肌色候補画素群の画素数とする処理を行うことを特徴とするホワイトバランス補正装置。
【請求項１２】
カラー画像の各画素の画像信号に対して所定の係数を乗算する乗算手段と、
前記乗算の結果、グレーの黒体軌跡曲線の近傍に入る画素をグレー候補画素として各前記係数に対応するグレー候補画素群と肌色の黒体軌跡曲線の近傍に入る画素を肌色候補画素として各前記係数に対応する肌色候補画素群とを得、前記グレー候補画素群の平均色温度と前記肌色候補画素群の平均色温度を求める候補画素群平均色温度取得手段と、
該候補画素群平均色温度により取得された前記グレー候補画素群の平均色温度と前記肌色候補画素群の平均色温度との差が最小となる前記係数を最適係数として取得する最適係数取得手段と、
該最適係数取得手段により取得された前記適係数に対応する前記グレー候補画素群と肌色候補画素群を夫々グレー画素群と肌色画素群にし、該グレー画素群に含まれる各々の画素の色温度および該肌色画素群に含まれる各々の画素の色温度から前記カラー画像の撮影光源の色温度を求める光源色温度取得手段と、
前記カラー画像の画像信号に対して前記最適係数を乗算すると共に、該乗算がされた前記画像信号を、前記光源色温度取得手段により求められた色温度と基準白色との差分だけ補正する補正手段とを有してなるホワイトバランス補正装置において、
前記候補画素群平均色温度取得手段が、前記グレーの黒体軌跡曲線に近いグレー候補画素ほどその色温度の重みが高くなるように前記グレー候補画素群に含まれる各々のグレー候補画素の色温度を重み付け平均演算して得た値を該グレー候補画素群の平均色温度とする処理、および／または、
前記肌色の黒体軌跡曲線に近い肌色候補画素ほどその色温度の重みが高くなるように前記肌色候補画素群に含まれる各々の肌色候補画素の色温度を重み付け平均演算して得た値を該肌色候補画素群の平均色温度とする処理を行うことを特徴とするホワイトバランス補正装置。
【請求項１３】
カラー画像の各画素の画像信号に対して所定の係数を乗算する乗算手段と、
前記乗算の結果、グレーの黒体軌跡曲線の近傍に入る画素をグレー候補画素として各前記係数に対応するグレー候補画素群と肌色の黒体軌跡曲線の近傍に入る画素を肌色候補画素として各前記係数に対応する肌色候補画素群とを得る候補画素群取得手段と、
該候補画素群取得手段により取得された前記グレー候補画素群の画素数および前記肌色候補画素群の画素数を求める候補画素群画素数取得手段と、
前記候補画素群取得手段により取得された前記グレー候補画素群の平均色温度と前記肌色候補画素群の平均色温度を求める候補画素群平均色温度取得手段と、
前記候補画素群画素数取得手段により取得された前記グレー候補画素群の画素数と前記肌色候補画素群の画素数との和が最大となり、かつ前記候補画素群平均色温度取得手段により取得された前記グレー候補画素群の平均色温度と前記肌色候補画素群の平均色温度との差が最小となる前記係数を最適係数として取得する最適係数取得手段と、
該最適係数取得手段により取得された前記適係数に対応する前記グレー候補画素群と肌色候補画素群を夫々グレー画素群と肌色画素群にし、該グレー画素群に含まれる各々の画素の色温度および該肌色画素群に含まれる各々の画素の色温度から前記カラー画像の撮影光源の色温度を求める光源色温度取得手段と、
前記カラー画像の画像信号に対して前記最適係数を乗算すると共に、該乗算がされた前記画像信号を、前記光源色温度取得手段により求められた色温度と基準白色との差分だけ補正する補正手段とを有してなるホワイトバランス補正装置において、
前記候補画素群画素数取得手段が、前記グレーの黒体軌跡曲線に近い画素ほどカウント数の重みが高くなるように前記グレー候補画像群毎に各々の前記グレー候補画素のカウント数を重み付け加算して得た和、または、サンプルカラー画像中のグレー画素の個数が当該サンプルカラー画像の全画素の個数に占める割合に対して、多数の前記サンプルカラー画像を用いて統計的に求められた各々の前記割合毎のサンプルカラー画像の存在頻度に応じた補正係数で、前記グレー候補画素群に含まれるグレー候補画素の個数が前記カラー画像の全画素の個数に占める割合に応じて前記グレー候補画素群毎にそのグレー候補画素の個数を補正して得た値、を当該グレー候補画素群の画素数とする処理、および／または、
前記肌色の黒体軌跡曲線に近い画素ほどカウント数の重みが高くなるように前記肌色候補画素群毎に各々の前記肌色候補画素のカウント数を重み付け加算して得た和、または、サンプルカラー画像中の肌色画素の個数が当該サンプルカラー画像の全画素の個数に占める割合に対して、多数の前記サンプルカラー画像を用いて統計的に求められた各々の前記割合毎のサンプルカラー画像の存在頻度に応じた補正係数で、前記肌色候補画素群に含まれる肌色候補画素の個数が前記カラー画像の全画素の個数に占める割合に応じて前記肌色候補画素群毎にその肌色候補画素の個数を補正して得た値、を当該肌色候補画素群の画素数とする処理を行うことを特徴とするホワイトバランス補正装置。
【請求項１４】
カラー画像の各画素の画像信号に対して所定の係数を乗算する乗算手段と、
前記乗算の結果、グレーの黒体軌跡曲線の近傍に入る画素をグレー候補画素として各前記係数に対応するグレー候補画素群と肌色の黒体軌跡曲線の近傍に入る画素を肌色候補画素として各前記係数に対応する肌色候補画素群とを得る候補画素群取得手段と、
該候補画素群取得手段により取得された前記グレー候補画素群の画素数および前記肌色候補画素群の画素数を求める候補画素群画素数取得手段と、
前記候補画素群取得手段により取得された前記グレー候補画素群の平均色温度と前記肌色候補画素群の平均色温度を求める候補画素群平均色温度取得手段と、
前記候補画素群画素数取得手段により取得された前記グレー候補画素群の画素数と前記肌色候補画素群の画素数との和が最大となり、かつ前記候補画素群平均色温度取得手段により取得された前記グレー候補画素群の平均色温度と前記肌色候補画素群の平均色温度との差が最小となる前記係数を最適係数として取得する最適係数取得手段と、
該最適係数取得手段により取得された前記適係数に対応する前記グレー候補画素群と肌色候補画素群を夫々グレー画素群と肌色画素群にし、該グレー画素群に含まれる各々の画素の色温度および該肌色画素群に含まれる各々の画素の色温度から前記カラー画像の撮影光源の色温度を求める光源色温度取得手段と、
前記カラー画像の画像信号に対して前記最適係数を乗算すると共に、該乗算がされた前記画像信号を、前記光源色温度取得手段により求められた色温度と基準白色との差分だけ補正する補正手段とを有してなるホワイトバランス補正装置において、
前記候補画素群平均色温度取得手段が、前記グレーの黒体軌跡曲線に近いグレー候補画素ほどその色温度の重みが高くなるように前記グレー候補画素群に含まれる各々のグレー候補画素の色温度を重み付け平均演算して得た値を該グレー候補画素群の平均色温度とする処理、および／または、
前記肌色の黒体軌跡曲線に近い肌色候補画素ほどその色温度の重みが高くなるように前記肌色候補画素群に含まれる各々の肌色候補画素の色温度を重み付け平均演算して得た値を該肌色候補画素群の平均色温度とする処理を行うことを特徴とするホワイトバランス補正装置。
【請求項１５】
前記カラー画像の各画素のうち、前記グレー候補画素群および／または肌色候補画素群を得るために有効な画素を抽出し、該有効な画素のみを前記グレー候補画素群および／または肌色候補画素群の取得に供する有効画素抽出手段をさらに備えたことを特徴とする請求項９から１４のいずれか１項記載のホワイトバランス補正装置。
【請求項１６】
前記光源色温度取得手段が、前記黒体軌跡曲線に近い画素ほどその色温度の重みが高くなるように前記最適係数に対応する前記候補画素群に含まれる各々の画素の色温度を重付平均演算して得た平均色温度を前記撮影光源の色温度として求めることを特徴とする請求項９から１５のいずれか１項記載のホワイトバランス補正装置。
【請求項１７】
前記黒体軌跡曲線の代わりに昼光軌跡曲線を用いることを特徴とする請求項９から１６のいずれか１項記載のホワイトバランス補正装置。
【請求項１８】
カラー画像の各画素の画像信号に対して、所定の係数を乗算する乗算処理と、
前記乗算の結果、グレーの黒体軌跡曲線の近傍に入る画素をグレー候補画素として各前記係数に対応するグレー候補画素群を得、該グレー候補画素群の画素数を求めるグレー候補画素群画素数取得処理と、
該グレー候補画素群画素数取得処理により取得された画素数が最大となる前記グレー候補画素群に対応する前記係数を最適係数として取得する最適係数取得処理と、
該最適係数取得処理により取得された前記最適係数に対応する前記グレー候補画素群をグレー画素群とし、該グレー画素群に含まれる各々の画素の色温度から前記カラー画像の撮影光源の色温度を求める光源色温度取得処理と、
前記カラー画像の画像信号に対して前記最適係数を乗算すると共に、該乗算がされた前記画像信号を、前記光源色温度取得処理により求められた色温度と基準白色の色温度との差分だけ補正する補正処理とをコンピュータに行わせるプログラムであって、
前記グレー候補画素群画素数取得処理が、前記グレーの黒体軌跡曲線に近い画素ほどカウント数の重みが高くなるように前記グレー候補画像群毎に各々の前記グレー候補画素のカウント数を重み付け加算して得た和、または、
サンプルカラー画像中のグレー画素の個数が当該サンプルカラー画像の全画素の個数に占める割合に対して、多数の前記サンプルカラー画像を用いて統計的に求められた各々の前記割合毎のサンプルカラー画像の存在頻度に応じた補正係数で、前記グレー候補画素群に含まれるグレー候補画素の個数が前記カラー画像の全画素の個数に占める割合に応じて前記グレー候補画素群毎にそのグレー候補画素の個数を補正して得た値、
を当該グレー候補画素群の画素数とすることを特徴とするプログラム。
【請求項１９】
カラー画像の各画素の画像信号に対して、所定の係数を乗算する乗算処理と、
前記乗算の結果、肌色の黒体軌跡曲線の近傍に入る画素を肌色候補画素として各前記係数に対応する肌色候補画素群を得、該肌色候補画素群の画素数を求める肌色候補画素群画素数取得処理と、
該肌色候補画素群画素数取得処理により取得された画素数が最大となる前記肌色候補画素群に対応する前記係数を最適係数として取得する最適係数取得処理と、
該最適係数取得処理により取得された前記最適係数に対応する前記肌色候補画素群を肌色画素群とし、該肌色画素群に含まれる各々の画素の色温度から前記カラー画像の撮影光源の色温度を求める光源色温度取得処理と、
前記カラー画像の画像信号に対して前記最適係数を乗算すると共に、該乗算がされた前記画像信号を、前記光源色温度取得処理により求められた色温度と基準白色の色温度との差分だけ補正する補正処理とをコンピュータに実行させるプログラムであって、
前記肌色候補画素群画素数取得処理が、前記肌色の黒体軌跡曲線に近い画素ほどカウント数の重みが高くなるように前記肌色候補画素群毎に各々の前記肌色候補画素のカウント数を重み付け加算して得た和、または、
サンプルカラー画像中の肌色画素の個数が当該サンプルカラー画像の全画素の個数に占める割合に対して、多数の前記サンプルカラー画像を用いて統計的に求められた各々の前記割合毎のサンプルカラー画像の存在頻度に応じた補正係数で、前記肌色候補画素群に含まれる肌色候補画素の個数が前記カラー画像の全画素の個数に占める割合に応じて前記肌色候補画素群毎にその肌色候補画素の個数を補正して得た値、
を該当肌色候補画素群の画素数とすることを特徴とするプログラム。
【請求項２０】
カラー画像の各画素の画像信号に対して所定の係数を乗算する乗算処理と、
前記乗算の結果、グレーの黒体軌跡曲線の近傍に入る画素をグレー候補画素として各前記係数に対応するグレー候補画素群と肌色の黒体軌跡曲線の近傍に入る画素を肌色候補画素として各前記係数に対応する肌色候補画素群とを得、前記グレー候補画素群の画素数および前記肌色候補画素群の画素数を求める候補画素群画素数取得処理と、
該候補画素群画素数取得処理により取得された前記グレー候補画素群の画素数と前記肌色候補画素群の画素数との和が最大となる前記係数を最適係数として取得する最適係数取得処理と、
該最適係数取得処理により取得された前記適係数に対応する前記グレー候補画素群と肌色候補画素群を夫々グレー画素群と肌色画素群にし、該グレー画素群に含まれる各々の画素の色温度および該肌色画素群に含まれる各々の画素の色温度から前記カラー画像の撮影光源の色温度を求める光源色温度取得処理と、
前記カラー画像の画像信号に対して前記最適係数を乗算すると共に、該乗算がされた前記画像信号を、前記光源色温度取得処理により求められた色温度と基準白色との差分だけ補正する補正処理とをコンピュータに実行させるプログラムであって、
前記候補画素群画素数取得処理が、前記グレーの黒体軌跡曲線に近い画素ほどカウント数の重みが高くなるように前記グレー候補画像群毎に各々の前記グレー候補画素のカウント数を重み付け加算して得た和、または、サンプルカラー画像中のグレー画素の個数が当該サンプルカラー画像の全画素の個数に占める割合に対して、多数の前記サンプルカラー画像を用いて統計的に求められた各々の前記割合毎のサンプルカラー画像の存在頻度に応じた補正係数で、前記グレー候補画素群に含まれるグレー候補画素の個数が前記カラー画像の全画素の個数に占める割合に応じて前記グレー候補画素群毎にそのグレー候補画素の個数を補正して得た値、を当該グレー候補画素群の画素数とする手順、および／または、
前記肌色の黒体軌跡曲線に近い画素ほどカウント数の重みが高くなるように前記肌色候補画素群毎に各々の前記肌色候補画素のカウント数を重み付け加算して得た和、または、サンプルカラー画像中の肌色画素の個数が当該サンプルカラー画像の全画素の個数に占める割合に対して、多数の前記サンプルカラー画像を用いて統計的に求められた各々の前記割合毎のサンプルカラー画像の存在頻度に応じた補正係数で、前記肌色候補画素群に含まれる肌色候補画素の個数が前記カラー画像の全画素の個数に占める割合に応じて前記肌色候補画素群毎にその肌色候補画素の個数を補正して得た値、を当該肌色候補画素群の画素数とする手順を有することを特徴とするプログラム。
【請求項２１】
カラー画像の各画素の画像信号に対して所定の係数を乗算する乗算処理と、
前記乗算の結果、グレーの黒体軌跡曲線の近傍に入る画素をグレー候補画素として各前記係数に対応するグレー候補画素群と肌色の黒体軌跡曲線の近傍に入る画素を肌色候補画素として各前記係数に対応する肌色候補画素群とを得、前記グレー候補画素群の平均色温度と前記肌色候補画素群の平均色温度を求める候補画素群平均色温度取得処理と、
該候補画素群平均色温度により取得された前記グレー候補画素群の平均色温度と前記肌色候補画素群の平均色温度との差が最小となる前記係数を最適係数として取得する最適係数取得処理と、
該最適係数取得処理により取得された前記適係数に対応する前記グレー候補画素群と肌色候補画素群を夫々グレー画素群と肌色画素群にし、該グレー画素群に含まれる各々の画素の色温度および該肌色画素群に含まれる各々の画素の色温度から前記カラー画像の撮影光源の色温度を求める光源色温度取得処理と、
前記カラー画像の画像信号に対して前記最適係数を乗算すると共に、該乗算がされた前記画像信号を、前記光源色温度取得処理により求められた色温度と基準白色との差分だけ補正する補正処理とをコンピュータに実行させるプログラムであって、
前記候補画素群平均色温度取得処理が、前記グレーの黒体軌跡曲線に近いグレー候補画素ほどその色温度の重みが高くなるように前記グレー候補画素群に含まれる各々のグレー候補画素の色温度を重み付け平均演算して得た値を該グレー候補画素群の平均色温度とする手順、および／または、
前記肌色の黒体軌跡曲線に近い肌色候補画素ほどその色温度の重みが高くなるように前記肌色候補画素群に含まれる各々の肌色候補画素の色温度を重み付け平均演算して得た値を該肌色候補画素群の平均色温度とする手順を有することを特徴とするプログラム。
【請求項２２】
カラー画像の各画素の画像信号に対して所定の係数を乗算する乗算処理と、
前記乗算の結果、グレーの黒体軌跡曲線の近傍に入る画素をグレー候補画素として各前記係数に対応するグレー候補画素群と肌色の黒体軌跡曲線の近傍に入る画素を肌色候補画素として各前記係数に対応する肌色候補画素群とを得る候補画素群取得処理と、
該候補画素群取得処理により取得された前記グレー候補画素群の画素数および前記肌色候補画素群の画素数を求める候補画素群画素数取得処理と、
前記候補画素群取得処理により取得された前記グレー候補画素群の平均色温度と前記肌色候補画素群の平均色温度を求める候補画素群平均色温度取得処理と、
前記候補画素群画素数取得処理により取得された前記グレー候補画素群の画素数と前記肌色候補画素群の画素数との和が最大となり、かつ前記候補画素群平均色温度取得処理により取得された前記グレー候補画素群の平均色温度と前記肌色候補画素群の平均色温度との差が最小となる前記係数を最適係数として取得する最適係数取得処理と、
該最適係数取得処理により取得された前記適係数に対応する前記グレー候補画素群と肌色候補画素群を夫々グレー画素群と肌色画素群にし、該グレー画素群に含まれる各々の画素の色温度および該肌色画素群に含まれる各々の画素の色温度から前記カラー画像の撮影光源の色温度を求める光源色温度取得処理と、
前記カラー画像の画像信号に対して前記最適係数を乗算すると共に、該乗算がされた前記画像信号を、前記光源色温度取得処理により求められた色温度と基準白色との差分だけ補正する補正処理とをコンピュータに実行させるプログラムであって、
前記候補画素群画素数取得処理が、前記グレーの黒体軌跡曲線に近い画素ほどカウント数の重みが高くなるように前記グレー候補画像群毎に各々の前記グレー候補画素のカウント数を重み付け加算して得た和、または、サンプルカラー画像中のグレー画素の個数が当該サンプルカラー画像の全画素の個数に占める割合に対して、多数の前記サンプルカラー画像を用いて統計的に求められた各々の前記割合毎のサンプルカラー画像の存在頻度に応じた補正係数で、前記グレー候補画素群に含まれるグレー候補画素の個数が前記カラー画像の全画素の個数に占める割合に応じて前記グレー候補画素群毎にそのグレー候補画素の個数を補正して得た値、を当該グレー候補画素群の画素数する手順、および／または、
前記肌色の黒体軌跡曲線に近い画素ほどカウント数の重みが高くなるように前記肌色候補画素群毎に各々の前記肌色候補画素のカウント数を重み付け加算して得た和、または、サンプルカラー画像中の肌色画素の個数が当該サンプルカラー画像の全画素の個数に占める割合に対して、多数の前記サンプルカラー画像を用いて統計的に求められた各々の前記割合毎のサンプルカラー画像の存在頻度に応じた補正係数で、前記肌色候補画素群に含まれる肌色候補画素の個数が前記カラー画像の全画素の個数に占める割合に応じて前記肌色候補画素群毎にその肌色候補画素の個数を補正して得た値、を当該肌色候補画素群の画素数とする手順を有することを特徴とするプログラム。
【請求項２３】
カラー画像の各画素の画像信号に対して所定の係数を乗算する乗算処理と、
前記乗算の結果、グレーの黒体軌跡曲線の近傍に入る画素をグレー候補画素として各前記係数に対応するグレー候補画素群と肌色の黒体軌跡曲線の近傍に入る画素を肌色候補画素として各前記係数に対応する肌色候補画素群とを得る候補画素群取得処理と、
該候補画素群取得処理により取得された前記グレー候補画素群の画素数および前記肌色候補画素群の画素数を求める候補画素群画素数取得処理と、
前記候補画素群取得処理により取得された前記グレー候補画素群の平均色温度と前記肌色候補画素群の平均色温度を求める候補画素群平均色温度取得処理と、
前記候補画素群画素数取得処理により取得された前記グレー候補画素群の画素数と前記肌色候補画素群の画素数との和が最大となり、かつ前記候補画素群平均色温度取得処理により取得された前記グレー候補画素群の平均色温度と前記肌色候補画素群の平均色温度との差が最小となる前記係数を最適係数として取得する最適係数取得処理と、
該最適係数取得処理により取得された前記適係数に対応する前記グレー候補画素群と肌色候補画素群を夫々グレー画素群と肌色画素群にし、該グレー画素群に含まれる各々の画素の色温度および該肌色画素群に含まれる各々の画素の色温度から前記カラー画像の撮影光源の色温度を求める光源色温度取得処理と、
前記カラー画像の画像信号に対して前記最適係数を乗算すると共に、該乗算がされた前記画像信号を、前記光源色温度取得処理により求められた色温度と基準白色との差分だけ補正する補正処理とをコンピュータに実行させるプログラムであって、
前記候補画素群平均色温度取得処理が、前記グレーの黒体軌跡曲線に近いグレー候補画素ほどその色温度の重みが高くなるように前記グレー候補画素群に含まれる各々のグレー候補画素の色温度を重み付け平均演算して得た値を該グレー候補画素群の平均色温度とする手順、および／または、
前記肌色の黒体軌跡曲線に近い肌色候補画素ほどその色温度の重みが高くなるように前記肌色候補画素群に含まれる各々の肌色候補画素の色温度を重み付け平均演算して得た値を該肌色候補画素群の平均色温度とする手順を有することを特徴とするプログラム。
【請求項２４】
前記カラー画像の各画素のうち、前記グレー候補画素群および／または肌色候補画素群を得るために有効な画素を抽出し、該有効な画素のみを前記グレー候補画素群および／または肌色候補画素群の取得に供する有効画素抽出処理をさらにコンピュータに行わせることを特徴とする請求項９から１４のいずれか１項記載のプログラム。
【請求項２５】
前記光源色温度取得処理が、前記黒体軌跡曲線に近い画素ほどその色温度の重みが高くなるように前記最適係数に対応する前記候補画素群に含まれる各々の画素の色温度を重付平均演算して得た平均色温度を前記撮影光源の色温度として求めることを特徴とする請求項１８から２４のいずれか１項記載のプログラム。
【請求項２６】
前記黒体軌跡曲線の代わりに昼光軌跡曲線を用いることを特徴とする請求項１８から２５のいずれか１項記載のプログラム。
【請求項１】
カラー画像の各画素の画像信号に対して、所定の係数を乗算し、その結果、グレーの黒体軌跡曲線の近傍に入る画素をグレー候補画素として各前記係数に対応するグレー候補画素群を得、該グレー候補画素群の画素数が最大となる前記係数を最適係数とすると共に、該最適係数に対応する前記グレー候補画素群をグレー画素群とし、該グレー画素群に含まれる各々の画素の色温度から前記カラー画像の撮影光源の色温度を求め、前記最適係数を乗算された前記カラー画像の画像信号を、前記求められた色温度と基準白色の色温度との差分だけ補正するホワイトバランス補正方法において、
前記グレーの黒体軌跡曲線に近い画素ほどカウント数の重みが高くなるように前記グレー候補画像群毎に各々の前記グレー候補画素のカウント数を重み付け加算して得た和、または、
サンプルカラー画像中のグレー画素の個数が当該サンプルカラー画像の全画素の個数に占める割合に対して、多数の前記サンプルカラー画像を用いて統計的に求められた各々の前記割合毎のサンプルカラー画像の存在頻度に応じた補正係数で、前記グレー候補画素群に含まれるグレー候補画素の個数が前記カラー画像の全画素の個数に占める割合に応じて前記グレー候補画素群毎にそのグレー候補画素の個数を補正して得た値、
を当該グレー候補画素群の画素数とすることを特徴とするホワイトバランス補正方法。
【請求項２】
カラー画像の各画素の画像信号に対して、所定の係数を乗算し、その結果、肌色の黒体軌跡曲線の近傍に入る画素を肌色候補画素として各前記係数に対応する肌色候補画素群を得、該肌色候補画素群の画素数が最大となる前記係数を最適係数とすると共に、該最適係数に対応する前記肌色候補画素群を肌色画素群とし、該肌色画素群に含まれる各々の画素の色温度から前記カラー画像の撮影光源の色温度を求め、前記最適係数を乗算された前記カラー画像の画像信号を、前記求められた色温度と基準白色の色温度との差分だけ補正するホワイトバランス補正方法において、
前記肌色の黒体軌跡曲線に近い画素ほどカウント数の重みが高くなるように前記肌色候補画素群毎に各々の前記肌色候補画素のカウント数を重み付け加算して得た和、または、
サンプルカラー画像中の肌色画素の個数が当該サンプルカラー画像の全画素の個数に占める割合に対して、多数の前記サンプルカラー画像を用いて統計的に求められた各々の前記割合毎のサンプルカラー画像の存在頻度に応じた補正係数で、前記肌色候補画素群に含まれる肌色候補画素の個数が前記カラー画像の全画素の個数に占める割合に応じて前記肌色候補画素群毎にその肌色候補画素の個数を補正して得た値、
を当該肌色候補画素群の画素数とすることを特徴とするホワイトバランス補正方法。
【請求項３】
カラー画像の各画素の画像信号に対して所定の係数を乗算し、その結果、グレーの黒体軌跡曲線の近傍に入る画素をグレー候補画素として各前記係数に対応するグレー候補画素群と、肌色の黒体軌跡曲線の近傍に入る画素を肌色候補画素として各前記係数に対応する肌色候補画素群とを得、前記グレー候補画素群の画素数と、前記肌色候補画素群の画素数との和が最大となる前記係数を最適係数とすると共に、該最適係数に対応する前記グレー候補画素群と肌色候補画素群を夫々グレー画素群と肌色画素群にし、該グレー画素群に含まれる各々の画素の色温度および該肌色画素群に含まれる各々の画素の色温度から前記カラー画像の撮影光源の色温度を求め、前記最適係数が乗算された前記カラー画像の画像信号を、前記求められた色温度と基準白色との差分だけ補正するホワイトバランス補正方法において、
前記グレーの黒体軌跡曲線に近い画素ほどカウント数の重みが高くなるように前記グレー候補画像群毎に各々の前記グレー候補画素のカウント数を重み付け加算して得た和、または、サンプルカラー画像中のグレー画素の個数が当該サンプルカラー画像の全画素の個数に占める割合に対して、多数の前記サンプルカラー画像を用いて統計的に求められた各々の前記割合毎のサンプルカラー画像の存在頻度に応じた補正係数で、前記グレー候補画素群に含まれるグレー候補画素の個数が前記カラー画像の全画素の個数に占める割合に応じて前記グレー候補画素群毎にそのグレー候補画素の個数を補正して得た値、を当該グレー候補画素群の画素数とする工程、および／または、
前記肌色の黒体軌跡曲線に近い画素ほどカウント数の重みが高くなるように前記肌色候補画素群毎に各々の前記肌色候補画素のカウント数を重み付け加算して得た和、または、サンプルカラー画像中の肌色画素の個数が当該サンプルカラー画像の全画素の個数に占める割合に対して、多数の前記サンプルカラー画像を用いて統計的に求められた各々の前記割合毎のサンプルカラー画像の存在頻度に応じた補正係数で、前記肌色候補画素群に含まれる肌色候補画素の個数が前記カラー画像の全画素の個数に占める割合に応じて前記肌色候補画素群毎にその肌色候補画素の個数を補正して得た値、を当該肌色候補画素群の画素数とする工程を有することを特徴とするホワイトバランス補正方法。
【請求項４】
カラー画像の各画素の画像信号に対して所定の係数を乗算し、その結果、グレーの黒体軌跡曲線の近傍に入る画素をグレー候補画素として各前記係数に対応するグレー候補画素群と、肌色の黒体軌跡曲線の近傍に入る画素を肌色候補画素として各前記係数に対応する肌色候補画素群とを得、前記グレー候補画素群の平均色温度と前記肌色候補画素群の平均色温度との差が最小となる前記係数を最適係数とすると共に、該最適係数に対応する前記グレー候補画素群と肌色候補画素群を夫々グレー画素群と肌色画素群にし、該グレー画素群に含まれる各々の画素の色温度および該肌色画素群に含まれる各々の画素の色温度から前記カラー画像の撮影光源の色温度を求め、前記最適係数が乗算された前記カラー画像の画像信号を、前記求められた色温度と基準白色との差分だけ補正するホワイトバランス補正方法において、
前記グレーの黒体軌跡曲線に近いグレー候補画素ほどその色温度の重みが高くなるように前記グレー候補画素群に含まれる各々のグレー候補画素の色温度を重み付け平均演算して得た値を該グレー候補画素群の平均色温度とする工程、および／または、
前記肌色の黒体軌跡曲線に近い肌色候補画素ほどその色温度の重みが高くなるように前記肌色候補画素群に含まれる各々の肌色候補画素の色温度を重み付け平均演算して得た値を該肌色候補画素群の平均色温度とする工程を有することを特徴とするホワイトバランス補正方法。
【請求項５】
カラー画像の各画素の画像信号に対して所定の係数を乗算し、その結果、グレーの黒体軌跡曲線の近傍に入る画素をグレー候補画素として各前記係数に対応するグレー候補画素群と、肌色の黒体軌跡曲線の近傍に入る画素を肌色候補画素として各前記係数に対応する肌色候補画素群とを得、前記グレー候補画素群の画素数と、前記肌色候補画素群の画素数との和が最大となり、かつ前記グレー候補画素群の平均色温度と前記肌色候補画素群の平均色温度との差が最小となる前記係数を最適係数とすると共に、該最適係数に対応する前記グレー候補画素群と肌色候補画素群を夫々グレー画素群と肌色画素群にし、該グレー画素群に含まれる各々の画素の色温度および該肌色画素群に含まれる各々の画素の色温度から前記カラー画像の撮影光源の色温度を求め、前記最適係数が乗算された前記カラー画像の画像信号を、前記求められた色温度と基準白色との差分だけ補正すホワイトバランス補正方法において、
前記グレーの黒体軌跡曲線に近い画素ほどカウント数の重みが高くなるように前記グレー候補画像群毎に各々の前記グレー候補画素のカウント数を重み付け加算して得た和、または、サンプルカラー画像中のグレー画素の個数が当該サンプルカラー画像の全画素の個数に占める割合に対して、多数の前記サンプルカラー画像を用いて統計的に求められた各々の前記割合毎のサンプルカラー画像の存在頻度に応じた補正係数で、前記グレー候補画素群に含まれるグレー候補画素の個数が前記カラー画像の全画素の個数に占める割合に応じて前記グレー候補画素群毎にそのグレー候補画素の個数を補正して得た値、を当該グレー候補画素群の画素数とする工程、および／または、
前記肌色の黒体軌跡曲線に近い画素ほどカウント数の重みが高くなるように前記肌色候補画素群毎に各々の前記肌色候補画素のカウント数を重み付け加算して得た和、または、サンプルカラー画像中の肌色画素の個数が当該サンプルカラー画像の全画素の個数に占める割合に対して、多数の前記サンプルカラー画像を用いて統計的に求められた各々の前記割合毎のサンプルカラー画像の存在頻度に応じた補正係数で、前記肌色候補画素群に含まれる肌色候補画素の個数が前記カラー画像の全画素の個数に占める割合に応じて前記肌色候補画素群毎にその肌色候補画素の個数を補正して得た値、を当該肌色候補画素群の画素数とする工程、および／または、
前記グレーの黒体軌跡曲線に近いグレー候補画素ほどその色温度の重みが高くなるように前記グレー候補画素群に含まれる各々のグレー候補画素の色温度を重み付け平均演算して得た値を該グレー候補画素群の平均色温度とする工程、および／または、
前記肌色の黒体軌跡曲線に近い肌色候補画素ほどその色温度の重みが高くなるように前記肌色候補画素群に含まれる各々の肌色候補画素の色温度を重み付け平均演算して得た値を該肌色候補画素群の平均色温度とする工程を有することを特徴とするホワイトバランス補正方法。
【請求項６】
前記カラー画像の各画素のうち、前記候補画素群を得るために有効な画素のみから前記候補画素群を得ることを特徴とする請求項１から５のいずれか１項記載のホワイトバランス補正方法。
【請求項７】
前記黒体軌跡曲線に近い画素ほどその色温度の重みが高くなるように前記最適係数に対応する前記候補画素群に含まれる各々の画素の色温度を重付平均演算して得た平均色温度を前記撮影光源の色温度として求めることを特徴とする請求項１から６のいずれか１項記載のホワイトバランス補正方法。
【請求項８】
前記黒体軌跡曲線の代わりに昼光軌跡曲線を用いることを特徴とする請求項１から７のいずれか１項記載のホワイトバランス補正方法。
【請求項９】
カラー画像の各画素の画像信号に対して、所定の係数を乗算する乗算手段と、
前記乗算の結果、グレーの黒体軌跡曲線の近傍に入る画素をグレー候補画素として各前記係数に対応するグレー候補画素群を得、該グレー候補画素群の画素数を求めるグレー候補画素群画素数取得手段と、
該グレー候補画素群画素数取得手段により取得された画素数が最大となる前記グレー候補画素群に対応する前記係数を最適係数として取得する最適係数取得手段と、
該最適係数取得手段により取得された前記最適係数に対応する前記グレー候補画素群をグレー画素群とし、該グレー画素群に含まれる各々の画素の色温度から前記カラー画像の撮影光源の色温度を求める光源色温度取得手段と、
前記カラー画像の画像信号に対して前記最適係数を乗算すると共に、該乗算がされた前記画像信号を、前記光源色温度取得手段により求められた色温度と基準白色の色温度との差分だけ補正する補正手段とを有してなるホワイトバランス補正装置において、
前記グレー候補画素群画素数取得手段が、前記グレーの黒体軌跡曲線に近い画素ほどカウント数の重みが高くなるように前記グレー候補画像群毎に各々の前記グレー候補画素のカウント数を重み付け加算して得た和、または、
サンプルカラー画像中のグレー画素の個数が当該サンプルカラー画像の全画素の個数に占める割合に対して、多数の前記サンプルカラー画像を用いて統計的に求められた各々の前記割合毎のサンプルカラー画像の存在頻度に応じた補正係数で、前記グレー候補画素群に含まれるグレー候補画素の個数が前記カラー画像の全画素の個数に占める割合に応じて前記グレー候補画素群毎にそのグレー候補画素の個数を補正して得た値、
を当該グレー候補画素群の画素数とすることを特徴とするホワイトバランス補正装置。
【請求項１０】
カラー画像の各画素の画像信号に対して、所定の係数を乗算する乗算手段と、
前記乗算の結果、肌色の黒体軌跡曲線の近傍に入る画素を肌色候補画素として各前記係数に対応する肌色候補画素群を得、該肌色候補画素群の画素数を求める肌色候補画素群画素数取得手段と、
該肌色候補画素群画素数取得手段により取得された画素数が最大となる前記肌色候補画素群に対応する前記係数を最適係数として取得する最適係数取得手段と、
該最適係数取得手段により取得された前記最適係数に対応する前記肌色候補画素群を肌色画素群とし、該肌色画素群に含まれる各々の画素の色温度から前記カラー画像の撮影光源の色温度を求める光源色温度取得手段と、
前記カラー画像の画像信号に対して前記最適係数を乗算すると共に、該乗算がされた前記画像信号を、前記光源色温度取得手段により求められた色温度と基準白色の色温度との差分だけ補正する補正手段とを有してなるホワイトバランス補正装置において、
前記肌色候補画素群画素数取得手段が、前記肌色の黒体軌跡曲線に近い画素ほどカウント数の重みが高くなるように前記肌色候補画素群毎に各々の前記肌色候補画素のカウント数を重み付け加算して得た和、または、
サンプルカラー画像中の肌色画素の個数が当該サンプルカラー画像の全画素の個数に占める割合に対して、多数の前記サンプルカラー画像を用いて統計的に求められた各々の前記割合毎のサンプルカラー画像の存在頻度に応じた補正係数で、前記肌色候補画素群に含まれる肌色候補画素の個数が前記カラー画像の全画素の個数に占める割合に応じて前記肌色候補画素群毎にその肌色候補画素の個数を補正して得た値、
を当該肌色候補画素群の画素数とすることを特徴とするホワイトバランス補正装置。
【請求項１１】
カラー画像の各画素の画像信号に対して所定の係数を乗算する乗算手段と、
前記乗算の結果、グレーの黒体軌跡曲線の近傍に入る画素をグレー候補画素として各前記係数に対応するグレー候補画素群と肌色の黒体軌跡曲線の近傍に入る画素を肌色候補画素として各前記係数に対応する肌色候補画素群とを得、前記グレー候補画素群の画素数および前記肌色候補画素群の画素数を求める候補画素群画素数取得手段と、
該候補画素群画素数取得手段により取得された前記グレー候補画素群の画素数と前記肌色候補画素群の画素数との和が最大となる前記係数を最適係数として取得する最適係数取得手段と、
該最適係数取得手段により取得された前記適係数に対応する前記グレー候補画素群と肌色候補画素群を夫々グレー画素群と肌色画素群にし、該グレー画素群に含まれる各々の画素の色温度および該肌色画素群に含まれる各々の画素の色温度から前記カラー画像の撮影光源の色温度を求める光源色温度取得手段と、
前記カラー画像の画像信号に対して前記最適係数を乗算すると共に、該乗算がされた前記画像信号を、前記光源色温度取得手段により求められた色温度と基準白色との差分だけ補正する補正手段とを有してなるホワイトバランス補正装置において、
前記候補画素群画素数取得手段が、前記グレーの黒体軌跡曲線に近い画素ほどカウント数の重みが高くなるように前記グレー候補画像群毎に各々の前記グレー候補画素のカウント数を重み付け加算して得た和、または、サンプルカラー画像中のグレー画素の個数が当該サンプルカラー画像の全画素の個数に占める割合に対して、多数の前記サンプルカラー画像を用いて統計的に求められた各々の前記割合毎のサンプルカラー画像の存在頻度に応じた補正係数で、前記グレー候補画素群に含まれるグレー候補画素の個数が前記カラー画像の全画素の個数に占める割合に応じて前記グレー候補画素群毎にそのグレー候補画素の個数を補正して得た値、を当該グレー候補画素群の画素数とする処理、および／または、
前記肌色の黒体軌跡曲線に近い画素ほどカウント数の重みが高くなるように前記肌色候補画素群毎に各々の前記肌色候補画素のカウント数を重み付け加算して得た和、または、サンプルカラー画像中の肌色画素の個数が当該サンプルカラー画像の全画素の個数に占める割合に対して、多数の前記サンプルカラー画像を用いて統計的に求められた各々の前記割合毎のサンプルカラー画像の存在頻度に応じた補正係数で、前記肌色候補画素群に含まれる肌色候補画素の個数が前記カラー画像の全画素の個数に占める割合に応じて前記肌色候補画素群毎にその肌色候補画素の個数を補正して得た値、を当該肌色候補画素群の画素数とする処理を行うことを特徴とするホワイトバランス補正装置。
【請求項１２】
カラー画像の各画素の画像信号に対して所定の係数を乗算する乗算手段と、
前記乗算の結果、グレーの黒体軌跡曲線の近傍に入る画素をグレー候補画素として各前記係数に対応するグレー候補画素群と肌色の黒体軌跡曲線の近傍に入る画素を肌色候補画素として各前記係数に対応する肌色候補画素群とを得、前記グレー候補画素群の平均色温度と前記肌色候補画素群の平均色温度を求める候補画素群平均色温度取得手段と、
該候補画素群平均色温度により取得された前記グレー候補画素群の平均色温度と前記肌色候補画素群の平均色温度との差が最小となる前記係数を最適係数として取得する最適係数取得手段と、
該最適係数取得手段により取得された前記適係数に対応する前記グレー候補画素群と肌色候補画素群を夫々グレー画素群と肌色画素群にし、該グレー画素群に含まれる各々の画素の色温度および該肌色画素群に含まれる各々の画素の色温度から前記カラー画像の撮影光源の色温度を求める光源色温度取得手段と、
前記カラー画像の画像信号に対して前記最適係数を乗算すると共に、該乗算がされた前記画像信号を、前記光源色温度取得手段により求められた色温度と基準白色との差分だけ補正する補正手段とを有してなるホワイトバランス補正装置において、
前記候補画素群平均色温度取得手段が、前記グレーの黒体軌跡曲線に近いグレー候補画素ほどその色温度の重みが高くなるように前記グレー候補画素群に含まれる各々のグレー候補画素の色温度を重み付け平均演算して得た値を該グレー候補画素群の平均色温度とする処理、および／または、
前記肌色の黒体軌跡曲線に近い肌色候補画素ほどその色温度の重みが高くなるように前記肌色候補画素群に含まれる各々の肌色候補画素の色温度を重み付け平均演算して得た値を該肌色候補画素群の平均色温度とする処理を行うことを特徴とするホワイトバランス補正装置。
【請求項１３】
カラー画像の各画素の画像信号に対して所定の係数を乗算する乗算手段と、
前記乗算の結果、グレーの黒体軌跡曲線の近傍に入る画素をグレー候補画素として各前記係数に対応するグレー候補画素群と肌色の黒体軌跡曲線の近傍に入る画素を肌色候補画素として各前記係数に対応する肌色候補画素群とを得る候補画素群取得手段と、
該候補画素群取得手段により取得された前記グレー候補画素群の画素数および前記肌色候補画素群の画素数を求める候補画素群画素数取得手段と、
前記候補画素群取得手段により取得された前記グレー候補画素群の平均色温度と前記肌色候補画素群の平均色温度を求める候補画素群平均色温度取得手段と、
前記候補画素群画素数取得手段により取得された前記グレー候補画素群の画素数と前記肌色候補画素群の画素数との和が最大となり、かつ前記候補画素群平均色温度取得手段により取得された前記グレー候補画素群の平均色温度と前記肌色候補画素群の平均色温度との差が最小となる前記係数を最適係数として取得する最適係数取得手段と、
該最適係数取得手段により取得された前記適係数に対応する前記グレー候補画素群と肌色候補画素群を夫々グレー画素群と肌色画素群にし、該グレー画素群に含まれる各々の画素の色温度および該肌色画素群に含まれる各々の画素の色温度から前記カラー画像の撮影光源の色温度を求める光源色温度取得手段と、
前記カラー画像の画像信号に対して前記最適係数を乗算すると共に、該乗算がされた前記画像信号を、前記光源色温度取得手段により求められた色温度と基準白色との差分だけ補正する補正手段とを有してなるホワイトバランス補正装置において、
前記候補画素群画素数取得手段が、前記グレーの黒体軌跡曲線に近い画素ほどカウント数の重みが高くなるように前記グレー候補画像群毎に各々の前記グレー候補画素のカウント数を重み付け加算して得た和、または、サンプルカラー画像中のグレー画素の個数が当該サンプルカラー画像の全画素の個数に占める割合に対して、多数の前記サンプルカラー画像を用いて統計的に求められた各々の前記割合毎のサンプルカラー画像の存在頻度に応じた補正係数で、前記グレー候補画素群に含まれるグレー候補画素の個数が前記カラー画像の全画素の個数に占める割合に応じて前記グレー候補画素群毎にそのグレー候補画素の個数を補正して得た値、を当該グレー候補画素群の画素数とする処理、および／または、
前記肌色の黒体軌跡曲線に近い画素ほどカウント数の重みが高くなるように前記肌色候補画素群毎に各々の前記肌色候補画素のカウント数を重み付け加算して得た和、または、サンプルカラー画像中の肌色画素の個数が当該サンプルカラー画像の全画素の個数に占める割合に対して、多数の前記サンプルカラー画像を用いて統計的に求められた各々の前記割合毎のサンプルカラー画像の存在頻度に応じた補正係数で、前記肌色候補画素群に含まれる肌色候補画素の個数が前記カラー画像の全画素の個数に占める割合に応じて前記肌色候補画素群毎にその肌色候補画素の個数を補正して得た値、を当該肌色候補画素群の画素数とする処理を行うことを特徴とするホワイトバランス補正装置。
【請求項１４】
カラー画像の各画素の画像信号に対して所定の係数を乗算する乗算手段と、
前記乗算の結果、グレーの黒体軌跡曲線の近傍に入る画素をグレー候補画素として各前記係数に対応するグレー候補画素群と肌色の黒体軌跡曲線の近傍に入る画素を肌色候補画素として各前記係数に対応する肌色候補画素群とを得る候補画素群取得手段と、
該候補画素群取得手段により取得された前記グレー候補画素群の画素数および前記肌色候補画素群の画素数を求める候補画素群画素数取得手段と、
前記候補画素群取得手段により取得された前記グレー候補画素群の平均色温度と前記肌色候補画素群の平均色温度を求める候補画素群平均色温度取得手段と、
前記候補画素群画素数取得手段により取得された前記グレー候補画素群の画素数と前記肌色候補画素群の画素数との和が最大となり、かつ前記候補画素群平均色温度取得手段により取得された前記グレー候補画素群の平均色温度と前記肌色候補画素群の平均色温度との差が最小となる前記係数を最適係数として取得する最適係数取得手段と、
該最適係数取得手段により取得された前記適係数に対応する前記グレー候補画素群と肌色候補画素群を夫々グレー画素群と肌色画素群にし、該グレー画素群に含まれる各々の画素の色温度および該肌色画素群に含まれる各々の画素の色温度から前記カラー画像の撮影光源の色温度を求める光源色温度取得手段と、
前記カラー画像の画像信号に対して前記最適係数を乗算すると共に、該乗算がされた前記画像信号を、前記光源色温度取得手段により求められた色温度と基準白色との差分だけ補正する補正手段とを有してなるホワイトバランス補正装置において、
前記候補画素群平均色温度取得手段が、前記グレーの黒体軌跡曲線に近いグレー候補画素ほどその色温度の重みが高くなるように前記グレー候補画素群に含まれる各々のグレー候補画素の色温度を重み付け平均演算して得た値を該グレー候補画素群の平均色温度とする処理、および／または、
前記肌色の黒体軌跡曲線に近い肌色候補画素ほどその色温度の重みが高くなるように前記肌色候補画素群に含まれる各々の肌色候補画素の色温度を重み付け平均演算して得た値を該肌色候補画素群の平均色温度とする処理を行うことを特徴とするホワイトバランス補正装置。
【請求項１５】
前記カラー画像の各画素のうち、前記グレー候補画素群および／または肌色候補画素群を得るために有効な画素を抽出し、該有効な画素のみを前記グレー候補画素群および／または肌色候補画素群の取得に供する有効画素抽出手段をさらに備えたことを特徴とする請求項９から１４のいずれか１項記載のホワイトバランス補正装置。
【請求項１６】
前記光源色温度取得手段が、前記黒体軌跡曲線に近い画素ほどその色温度の重みが高くなるように前記最適係数に対応する前記候補画素群に含まれる各々の画素の色温度を重付平均演算して得た平均色温度を前記撮影光源の色温度として求めることを特徴とする請求項９から１５のいずれか１項記載のホワイトバランス補正装置。
【請求項１７】
前記黒体軌跡曲線の代わりに昼光軌跡曲線を用いることを特徴とする請求項９から１６のいずれか１項記載のホワイトバランス補正装置。
【請求項１８】
カラー画像の各画素の画像信号に対して、所定の係数を乗算する乗算処理と、
前記乗算の結果、グレーの黒体軌跡曲線の近傍に入る画素をグレー候補画素として各前記係数に対応するグレー候補画素群を得、該グレー候補画素群の画素数を求めるグレー候補画素群画素数取得処理と、
該グレー候補画素群画素数取得処理により取得された画素数が最大となる前記グレー候補画素群に対応する前記係数を最適係数として取得する最適係数取得処理と、
該最適係数取得処理により取得された前記最適係数に対応する前記グレー候補画素群をグレー画素群とし、該グレー画素群に含まれる各々の画素の色温度から前記カラー画像の撮影光源の色温度を求める光源色温度取得処理と、
前記カラー画像の画像信号に対して前記最適係数を乗算すると共に、該乗算がされた前記画像信号を、前記光源色温度取得処理により求められた色温度と基準白色の色温度との差分だけ補正する補正処理とをコンピュータに行わせるプログラムであって、
前記グレー候補画素群画素数取得処理が、前記グレーの黒体軌跡曲線に近い画素ほどカウント数の重みが高くなるように前記グレー候補画像群毎に各々の前記グレー候補画素のカウント数を重み付け加算して得た和、または、
サンプルカラー画像中のグレー画素の個数が当該サンプルカラー画像の全画素の個数に占める割合に対して、多数の前記サンプルカラー画像を用いて統計的に求められた各々の前記割合毎のサンプルカラー画像の存在頻度に応じた補正係数で、前記グレー候補画素群に含まれるグレー候補画素の個数が前記カラー画像の全画素の個数に占める割合に応じて前記グレー候補画素群毎にそのグレー候補画素の個数を補正して得た値、
を当該グレー候補画素群の画素数とすることを特徴とするプログラム。
【請求項１９】
カラー画像の各画素の画像信号に対して、所定の係数を乗算する乗算処理と、
前記乗算の結果、肌色の黒体軌跡曲線の近傍に入る画素を肌色候補画素として各前記係数に対応する肌色候補画素群を得、該肌色候補画素群の画素数を求める肌色候補画素群画素数取得処理と、
該肌色候補画素群画素数取得処理により取得された画素数が最大となる前記肌色候補画素群に対応する前記係数を最適係数として取得する最適係数取得処理と、
該最適係数取得処理により取得された前記最適係数に対応する前記肌色候補画素群を肌色画素群とし、該肌色画素群に含まれる各々の画素の色温度から前記カラー画像の撮影光源の色温度を求める光源色温度取得処理と、
前記カラー画像の画像信号に対して前記最適係数を乗算すると共に、該乗算がされた前記画像信号を、前記光源色温度取得処理により求められた色温度と基準白色の色温度との差分だけ補正する補正処理とをコンピュータに実行させるプログラムであって、
前記肌色候補画素群画素数取得処理が、前記肌色の黒体軌跡曲線に近い画素ほどカウント数の重みが高くなるように前記肌色候補画素群毎に各々の前記肌色候補画素のカウント数を重み付け加算して得た和、または、
サンプルカラー画像中の肌色画素の個数が当該サンプルカラー画像の全画素の個数に占める割合に対して、多数の前記サンプルカラー画像を用いて統計的に求められた各々の前記割合毎のサンプルカラー画像の存在頻度に応じた補正係数で、前記肌色候補画素群に含まれる肌色候補画素の個数が前記カラー画像の全画素の個数に占める割合に応じて前記肌色候補画素群毎にその肌色候補画素の個数を補正して得た値、
を該当肌色候補画素群の画素数とすることを特徴とするプログラム。
【請求項２０】
カラー画像の各画素の画像信号に対して所定の係数を乗算する乗算処理と、
前記乗算の結果、グレーの黒体軌跡曲線の近傍に入る画素をグレー候補画素として各前記係数に対応するグレー候補画素群と肌色の黒体軌跡曲線の近傍に入る画素を肌色候補画素として各前記係数に対応する肌色候補画素群とを得、前記グレー候補画素群の画素数および前記肌色候補画素群の画素数を求める候補画素群画素数取得処理と、
該候補画素群画素数取得処理により取得された前記グレー候補画素群の画素数と前記肌色候補画素群の画素数との和が最大となる前記係数を最適係数として取得する最適係数取得処理と、
該最適係数取得処理により取得された前記適係数に対応する前記グレー候補画素群と肌色候補画素群を夫々グレー画素群と肌色画素群にし、該グレー画素群に含まれる各々の画素の色温度および該肌色画素群に含まれる各々の画素の色温度から前記カラー画像の撮影光源の色温度を求める光源色温度取得処理と、
前記カラー画像の画像信号に対して前記最適係数を乗算すると共に、該乗算がされた前記画像信号を、前記光源色温度取得処理により求められた色温度と基準白色との差分だけ補正する補正処理とをコンピュータに実行させるプログラムであって、
前記候補画素群画素数取得処理が、前記グレーの黒体軌跡曲線に近い画素ほどカウント数の重みが高くなるように前記グレー候補画像群毎に各々の前記グレー候補画素のカウント数を重み付け加算して得た和、または、サンプルカラー画像中のグレー画素の個数が当該サンプルカラー画像の全画素の個数に占める割合に対して、多数の前記サンプルカラー画像を用いて統計的に求められた各々の前記割合毎のサンプルカラー画像の存在頻度に応じた補正係数で、前記グレー候補画素群に含まれるグレー候補画素の個数が前記カラー画像の全画素の個数に占める割合に応じて前記グレー候補画素群毎にそのグレー候補画素の個数を補正して得た値、を当該グレー候補画素群の画素数とする手順、および／または、
前記肌色の黒体軌跡曲線に近い画素ほどカウント数の重みが高くなるように前記肌色候補画素群毎に各々の前記肌色候補画素のカウント数を重み付け加算して得た和、または、サンプルカラー画像中の肌色画素の個数が当該サンプルカラー画像の全画素の個数に占める割合に対して、多数の前記サンプルカラー画像を用いて統計的に求められた各々の前記割合毎のサンプルカラー画像の存在頻度に応じた補正係数で、前記肌色候補画素群に含まれる肌色候補画素の個数が前記カラー画像の全画素の個数に占める割合に応じて前記肌色候補画素群毎にその肌色候補画素の個数を補正して得た値、を当該肌色候補画素群の画素数とする手順を有することを特徴とするプログラム。
【請求項２１】
カラー画像の各画素の画像信号に対して所定の係数を乗算する乗算処理と、
前記乗算の結果、グレーの黒体軌跡曲線の近傍に入る画素をグレー候補画素として各前記係数に対応するグレー候補画素群と肌色の黒体軌跡曲線の近傍に入る画素を肌色候補画素として各前記係数に対応する肌色候補画素群とを得、前記グレー候補画素群の平均色温度と前記肌色候補画素群の平均色温度を求める候補画素群平均色温度取得処理と、
該候補画素群平均色温度により取得された前記グレー候補画素群の平均色温度と前記肌色候補画素群の平均色温度との差が最小となる前記係数を最適係数として取得する最適係数取得処理と、
該最適係数取得処理により取得された前記適係数に対応する前記グレー候補画素群と肌色候補画素群を夫々グレー画素群と肌色画素群にし、該グレー画素群に含まれる各々の画素の色温度および該肌色画素群に含まれる各々の画素の色温度から前記カラー画像の撮影光源の色温度を求める光源色温度取得処理と、
前記カラー画像の画像信号に対して前記最適係数を乗算すると共に、該乗算がされた前記画像信号を、前記光源色温度取得処理により求められた色温度と基準白色との差分だけ補正する補正処理とをコンピュータに実行させるプログラムであって、
前記候補画素群平均色温度取得処理が、前記グレーの黒体軌跡曲線に近いグレー候補画素ほどその色温度の重みが高くなるように前記グレー候補画素群に含まれる各々のグレー候補画素の色温度を重み付け平均演算して得た値を該グレー候補画素群の平均色温度とする手順、および／または、
前記肌色の黒体軌跡曲線に近い肌色候補画素ほどその色温度の重みが高くなるように前記肌色候補画素群に含まれる各々の肌色候補画素の色温度を重み付け平均演算して得た値を該肌色候補画素群の平均色温度とする手順を有することを特徴とするプログラム。
【請求項２２】
カラー画像の各画素の画像信号に対して所定の係数を乗算する乗算処理と、
前記乗算の結果、グレーの黒体軌跡曲線の近傍に入る画素をグレー候補画素として各前記係数に対応するグレー候補画素群と肌色の黒体軌跡曲線の近傍に入る画素を肌色候補画素として各前記係数に対応する肌色候補画素群とを得る候補画素群取得処理と、
該候補画素群取得処理により取得された前記グレー候補画素群の画素数および前記肌色候補画素群の画素数を求める候補画素群画素数取得処理と、
前記候補画素群取得処理により取得された前記グレー候補画素群の平均色温度と前記肌色候補画素群の平均色温度を求める候補画素群平均色温度取得処理と、
前記候補画素群画素数取得処理により取得された前記グレー候補画素群の画素数と前記肌色候補画素群の画素数との和が最大となり、かつ前記候補画素群平均色温度取得処理により取得された前記グレー候補画素群の平均色温度と前記肌色候補画素群の平均色温度との差が最小となる前記係数を最適係数として取得する最適係数取得処理と、
該最適係数取得処理により取得された前記適係数に対応する前記グレー候補画素群と肌色候補画素群を夫々グレー画素群と肌色画素群にし、該グレー画素群に含まれる各々の画素の色温度および該肌色画素群に含まれる各々の画素の色温度から前記カラー画像の撮影光源の色温度を求める光源色温度取得処理と、
前記カラー画像の画像信号に対して前記最適係数を乗算すると共に、該乗算がされた前記画像信号を、前記光源色温度取得処理により求められた色温度と基準白色との差分だけ補正する補正処理とをコンピュータに実行させるプログラムであって、
前記候補画素群画素数取得処理が、前記グレーの黒体軌跡曲線に近い画素ほどカウント数の重みが高くなるように前記グレー候補画像群毎に各々の前記グレー候補画素のカウント数を重み付け加算して得た和、または、サンプルカラー画像中のグレー画素の個数が当該サンプルカラー画像の全画素の個数に占める割合に対して、多数の前記サンプルカラー画像を用いて統計的に求められた各々の前記割合毎のサンプルカラー画像の存在頻度に応じた補正係数で、前記グレー候補画素群に含まれるグレー候補画素の個数が前記カラー画像の全画素の個数に占める割合に応じて前記グレー候補画素群毎にそのグレー候補画素の個数を補正して得た値、を当該グレー候補画素群の画素数する手順、および／または、
前記肌色の黒体軌跡曲線に近い画素ほどカウント数の重みが高くなるように前記肌色候補画素群毎に各々の前記肌色候補画素のカウント数を重み付け加算して得た和、または、サンプルカラー画像中の肌色画素の個数が当該サンプルカラー画像の全画素の個数に占める割合に対して、多数の前記サンプルカラー画像を用いて統計的に求められた各々の前記割合毎のサンプルカラー画像の存在頻度に応じた補正係数で、前記肌色候補画素群に含まれる肌色候補画素の個数が前記カラー画像の全画素の個数に占める割合に応じて前記肌色候補画素群毎にその肌色候補画素の個数を補正して得た値、を当該肌色候補画素群の画素数とする手順を有することを特徴とするプログラム。
【請求項２３】
カラー画像の各画素の画像信号に対して所定の係数を乗算する乗算処理と、
前記乗算の結果、グレーの黒体軌跡曲線の近傍に入る画素をグレー候補画素として各前記係数に対応するグレー候補画素群と肌色の黒体軌跡曲線の近傍に入る画素を肌色候補画素として各前記係数に対応する肌色候補画素群とを得る候補画素群取得処理と、
該候補画素群取得処理により取得された前記グレー候補画素群の画素数および前記肌色候補画素群の画素数を求める候補画素群画素数取得処理と、
前記候補画素群取得処理により取得された前記グレー候補画素群の平均色温度と前記肌色候補画素群の平均色温度を求める候補画素群平均色温度取得処理と、
前記候補画素群画素数取得処理により取得された前記グレー候補画素群の画素数と前記肌色候補画素群の画素数との和が最大となり、かつ前記候補画素群平均色温度取得処理により取得された前記グレー候補画素群の平均色温度と前記肌色候補画素群の平均色温度との差が最小となる前記係数を最適係数として取得する最適係数取得処理と、
該最適係数取得処理により取得された前記適係数に対応する前記グレー候補画素群と肌色候補画素群を夫々グレー画素群と肌色画素群にし、該グレー画素群に含まれる各々の画素の色温度および該肌色画素群に含まれる各々の画素の色温度から前記カラー画像の撮影光源の色温度を求める光源色温度取得処理と、
前記カラー画像の画像信号に対して前記最適係数を乗算すると共に、該乗算がされた前記画像信号を、前記光源色温度取得処理により求められた色温度と基準白色との差分だけ補正する補正処理とをコンピュータに実行させるプログラムであって、
前記候補画素群平均色温度取得処理が、前記グレーの黒体軌跡曲線に近いグレー候補画素ほどその色温度の重みが高くなるように前記グレー候補画素群に含まれる各々のグレー候補画素の色温度を重み付け平均演算して得た値を該グレー候補画素群の平均色温度とする手順、および／または、
前記肌色の黒体軌跡曲線に近い肌色候補画素ほどその色温度の重みが高くなるように前記肌色候補画素群に含まれる各々の肌色候補画素の色温度を重み付け平均演算して得た値を該肌色候補画素群の平均色温度とする手順を有することを特徴とするプログラム。
【請求項２４】
前記カラー画像の各画素のうち、前記グレー候補画素群および／または肌色候補画素群を得るために有効な画素を抽出し、該有効な画素のみを前記グレー候補画素群および／または肌色候補画素群の取得に供する有効画素抽出処理をさらにコンピュータに行わせることを特徴とする請求項９から１４のいずれか１項記載のプログラム。
【請求項２５】
前記光源色温度取得処理が、前記黒体軌跡曲線に近い画素ほどその色温度の重みが高くなるように前記最適係数に対応する前記候補画素群に含まれる各々の画素の色温度を重付平均演算して得た平均色温度を前記撮影光源の色温度として求めることを特徴とする請求項１８から２４のいずれか１項記載のプログラム。
【請求項２６】
前記黒体軌跡曲線の代わりに昼光軌跡曲線を用いることを特徴とする請求項１８から２５のいずれか１項記載のプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【公開番号】特開２００５−７９６２３（Ｐ２００５−７９６２３Ａ）
【公開日】平成１７年３月２４日（２００５．３．２４）
【国際特許分類】
【出願番号】特願２００３−３０４３７４（Ｐ２００３−３０４３７４）
【出願日】平成１５年８月２８日（２００３．８．２８）
【出願人】（０００００５２０１）富士写真フイルム株式会社 (7,609)
【Ｆターム（参考）】
【公開日】平成１７年３月２４日（２００５．３．２４）
【国際特許分類】
【出願日】平成１５年８月２８日（２００３．８．２８）
【出願人】（０００００５２０１）富士写真フイルム株式会社 (7,609)
【Ｆターム（参考）】
[ Back to top ]