画像処理装置及びホワイトバランス調整装置

【課題】葉などの物体が存在するシーンにおいても光源色を高精度に推定してホワイトバランスを調整する。
【解決手段】ホワイトバランス調整装置は、撮影画像を複数のブロックに分割し、各ブロック毎に代表色差（Ｔｇ、Ｔｉ）および当該ブロックにおける最大色差を有する特徴画素（Ｔｇ０、Ｔｉ０）を抽出する。ホワイトバランス調整装置は、ブロック毎に代表値画素と特徴画素から光源色推定ベクトルを計算し、複数のブロックの光源色推定ベクトル４００，４０２，４０４，４０６の収束点５００を入力画像の光源色と推定してホワイトバランスを調整する。

【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、デジタルカメラ等の撮像装置で撮影された画像のホワイトバランスを調整する技術に関する。
【背景技術】
【０００２】
デジタルカメラ等においては、任意の光源下において白い被写体を白く再現するためにオートホワイトバランス調整が行われている。ホワイトバランス調整方式としては、画像全体の平均が無彩色となるように各画素の信号のＲＧＢ成分のバランスを調整する方式が用いられる。また、画像を複数のブロックに分割し、各ブロックのＲＧＢの平均値を算出し、その平均値が予め定められた範囲に属しているブロックのみを選択し、選択したブロック群のＲＧＢの平均値が無彩色となるようにＲＧＢ成分の調整を行う技術も知られている。下記の特許文献には、画像を複数のブロックに分割し、各ブロックの代表値を算出し、全てのブロックの代表値を用いてホワイトバランスゲインを算出する技術が開示されている。
【０００３】
図１０に、従来のホワイトバランス調整装置の構成ブロック図を示す。デジタルカメラ等の撮像装置１０は、撮影デジタル画像をブロック分割回路１２に出力する。ブロック分割回路１２は、入力画像を複数のブロックに等分割する。各ブロックは、ｎ×ｍ画素から構成される。ブロック分割回路１２は、各ブロックを順次、代表値計算回路１４に出力する。代表値計算回路１４は、各ブロックを構成するｎ×ｍ個の画素のＲＧＢの平均値を算出し、そのブロック平均値に対して、以下の線形変換を施して代表値（Ｔｌ，Ｔｇ，Ｔｉ）を算出する。
【０００４】
【数１】

【０００５】
ここに、Ｔｌはブロックの輝度、ＴｇおよびＴｉはブロックの色差である。代表値計算回路１４は、算出した各ブロックの代表値（Ｔｌ，Ｔｇ，Ｔｉ）をホワイトバランス評価回路１６に出力する。
【０００６】
ホワイトバランス評価回路１６は、各ブロックの信頼度を評価し、信頼度に応じた重み係数を算出してホワイトバランスゲイン計算回路１８に出力する。ホワイトバランスゲイン計算回路１８は、各ブロックの代表値、およびホワイトバランス評価回路１６で算出された各ブロックの信頼度に基づく重み係数を用いて加重平均することによりホワイトバランスゲインを算出する。具体的には、以下の式によりホワイトバランスゲインを算出する。
【０００７】
【数２】

【数３】

【数４】

【０００８】
ここに、ＴｌＭｉｘ、ＴｇＭｉｘ、ＴｉＭｉｘは、各ブロックの代表値の加重平均値である。これらの式で算出された（ＲＭｉｘ、ＧＭｉｘ、ＢＭｉｘ）が被写体を照明する光源の色であり、ホワイトバランスゲインＲｇａｉｎ、Ｇｇａｉｎ、Ｂｇａｉｎは、推定された光源色が白色物体で反射されたときの色をグレーに補正する（つまりＲ＝Ｇ＝Ｂ）ように設定される。ホワイトバランスゲイン計算回路１８は、算出したゲインをホワイトバランス調整回路２０に出力する。ホワイトバランス調整回路２０は、撮像装置１０から入力された画像構成する各画素のＲ，Ｇ，Ｂに対してホワイトバランスゲイン計算回路１８で算出したゲインを乗じることで画像のホワイトバランスを調整し、その結果を出力する。
【０００９】
【特許文献１】特開２０００−９２５０９号公報
【発明の開示】
【発明が解決しようとする課題】
【００１０】
しかしながら、上記従来技術では、各ブロックを構成する全ての画素ｎ×ｍ個のＲ，Ｇ，Ｂの平均値を算出し、その平均値に対して（１）式を用いて各ブロックの代表値としているため、あるブロック内に光源色ではない特定の物体色が存在した場合に、そのブロックの平均値がその物体色の影響を受けてしまう問題があった。
【００１１】
図１１に、画像を複数のブロックに分割した場合における、あるブロック１００を示す。ブロック１００はｎ×ｍ個の画素から構成され、全画素のＲ，Ｇ，Ｂの平均値が算出されてそのブロックの平均値とされる。ところが、図に示すように、ブロック１００内に緑の葉の画像１０２が存在すると、背景色と緑色とが平均されることになるため、その平均値はブロックを照らしている光源色を反映しなくなり、本来であれば昼光（デイライト）と判定されるべきところを蛍光灯と誤って判定してしまう。このように、従来技術は、ブロック内に有彩色のものが存在する場合やブロック内が一様でない場合の対策が必ずしも十分ではなく（各ブロックの信頼度でその影響を軽減できるが、信頼度を正確に評価する必要が生じる）、ホワイトバランス調整の精度低下を招く一因となっていた。
【００１２】
本発明の目的は、ブロック内に有彩色のものが存在する場合やブロック内が一様ではない場合においても、簡易にかつ確実にホワイトバランス調整を実行できる装置を提供することにある。
【課題を解決するための手段】
【００１３】
本発明は、入力画像の所定領域内における画素のうち、色差空間における色差平均値画素と色差最大値画素から光源色推定ベクトルを演算する手段と、前記光源色推定ベクトルの方向に基づいて前記入力画像の光源色を推定してホワイトバランス補正を制御する制御手段とを有することを特徴とする。
【００１４】
また、本発明は、撮像装置のホワイトバランスを調整するホワイトバランス調整装置であって、入力画像を複数のブロックに分割する手段と、各ブロック毎に、色差空間上での色差平均座標及び色差大座標を検出する手段と、各ブロック毎に、前記色差平均座標及び色差大座標からベクトルを演算する手段と、前記入力画像を構成するいずれか複数のブロックまたは全てのブロックの前記ベクトルの収束点座標を演算する手段と、前記収束点座標に基づいて前記入力画像の光源色を推定してホワイトバランスを調整する手段とを有することを特徴とする。
【００１５】
本発明では、色差平均値画素と色差最大値画素（あるいは色差）が所定のしきい値以上である色差大画素からベクトルを演算する。色差平均画素は物体色と光源色との光源色を反映し、色差大画素は物体色を反映しているから、これらの画素を用いて演算されるベクトルの方向（延長線上）に光源色が存在すると推定でき、推定された光源色を用いてホワイトバランスを調整する。
【発明の効果】
【００１６】
本発明によれば、複雑な解析アルゴリズムあるいは多数の解析パラメータを用いることなく、色差に基づいて演算されるベクトルを用いて簡易に、かつ高精度に光源色を推定し、ホワイトバランスを調整できる。
【発明を実施するための最良の形態】
【００１７】
以下、図面に基づき本発明の実施形態について説明する。
【００１８】
図１に、本実施形態に係るホワイトバランス調整装置の構成ブロック図を示す。本実施形態のホワイトバランス調整装置は、プロセッサおよびメモリを有する画像処理ＩＣとしてデジタルカメラに内蔵される。図１０に示す従来の構成と異なり、代表値計算回路１４と並列的に特徴画素検出回路２２が設けられ、代表値計算回路１４の出力と特徴画素検出回路２２の出力が共にブロックベクトル計算回路２４に供給され、さらにブロックベクトル計算回路２４の出力がベクトル収束点計算回路２６に供給される。ベクトル収束点計算回路２６の出力はホワイトバランスゲイン計算回路１８に供給される。
【００１９】
ブロック分割回路１２は、撮像装置１０から入力した画像を複数のブロックに等分割し、各ブロックを順次、代表値計算回路１４及び特徴画素検出回路２２に出力する。
【００２０】
代表値計算回路１４は、従来と同様に各ブロックを構成するｎ×ｍ個の画素のＲＧＢの平均値を算出し、その平均値に対して（１）式に従いブロックの輝度Ｔｌ、ブロックの色差Ｔｇ、Ｔｉを算出する。代表値計算回路１４は、算出した各ブロックの代表値（Ｔｌ、Ｔｇ、Ｔｉ）をブロックベクトル計算回路２４に出力する。
【００２１】
一方、特徴画素検出回路２２は、各ブロックを構成するｎ×ｍ個の画素毎に（１）式に従い輝度Ｔｌおよび色差Ｔｇ、Ｔｉを算出する。ここで留意すべきは、代表値計算回路１４では各ブロックを構成する全画素のＲＧＢの平均値に対して（１）式を用いて輝度や色差を算出するのに対し、特徴画素検出回路２２は各画素のＲＧＢそれ自体の値を用いて輝度および色差を算出することである。特徴画素検出回路２２は、各ブロックを構成するｎ×ｍ個の画素の輝度および色差を算出した後、さらに、各画素毎に以下の式により輝度・色差空間における距離（色差距離）を算出する。
【００２２】
距離＝（Ｔｉ²＋Ｔｇ²）^1/2
各画素毎に輝度・色差空間における距離を算出した後、当該ブロックの全画素の距離を互いに大小比較し、当該ブロックにおいて最大の距離を有する画素（最大色差画素）を抽出し、当該ブロックにおける特徴画素としてブロックベクトル計算回路２４に出力する。
【００２３】
図２に、各ブロックを構成する画素の一例を示す。ブロックを構成する画素群２００のそれぞれはＲ画素、Ｇ画素およびＢ画素から構成される。本実施形態ではＲ画素、Ｇ画素、Ｂ画素をまとめて１つの画素２０２とする。特徴画素検出回路２２は、各画素を構成するＲ画素、Ｇ画素、Ｂ画素の各画素値を用いて輝度Ｔｌ、色差Ｔｇ、Ｔｉを算出する。そして、算出した色差Ｔｇ、Ｔｉを用いて輝度・色差空間上の距離を算出し、当該ブロックを構成する全ての画素について距離を算出した後に、最大距離（最大色差）を有する画素を特徴画素として抽出する。
【００２４】
図３に、あるブロック１００において抽出される特徴画素、すなわち最大色差画素３００を示す。ブロック１００には葉の像１０２が存在し、このエリアにおいて色差が最大値となる。図において、最大色素画素３００が葉像１０２の一部として示されている。
【００２５】
ブロックベクトル計算回路２４は、特徴画素検出回路２２からの特徴画素の色差、及び代表値計算回路１４からの代表値の色差を入力し、これら２つの色差データから光源色推定ベクトルを生成する。すなわち、色差空間上において、これら２つの色差座標点を互いに結ぶことで１つのベクトルが形成され、このベクトルをもって光源色推定ベクトルとする。
【００２６】
図４に、あるブロックの特徴画素及び代表画素を示す。画素Ｐがそのブロックで最大色差を有する特徴画素（Ｔｉ０、Ｔｇ０）であり、画素Ｑが代表値計算回路１４で算出された当該ブロックにおける代表値画素Ｑ（Ｔｉ１、Ｔｇ１）である。ブロックの代表画素Ｑの色差は、既述したように当該ブロック内に存在する物体の色と光源の色が混ざった混色を示し、特徴画素の色差は、当該ブロックにおける物体の色を示すと考えられる。従って、当該ブロックにおける特徴画素Ｐと代表画素Ｑから形成されるベクトルに着目すると、このベクトルはそのブロックにおける物体色と光源色との混色と、物体色との相互の関係を規定するベクトルとなり、従ってこのベクトルを含む直線上、すなわちベクトルの方向に光源色が存在する可能性が高いと推定される。図では、代表画素Ｑを始点、特徴画素Ｐを終点としたベクトルを示しているが、特徴画素Ｐを始点、代表画素Ｑを終点とするベクトルとしてもよい。特徴画素Ｐを始点とし、代表画素Ｑを終点とするベクトルの向きの延長上に光源色が存在する可能性が高いと推定できる。本実施形態では、以上の原理に基づき、ブロック分割回路１２から供給される全てのブロックに対して代表値計算回路１４で算出される代表値と特徴画素検出回路２２で算出される特徴画素から光源色ベクトルを算出し、各ブロック毎の光源色ベクトルに基づいて色差空間における光源の色を推定する。ブロックベクトル計算回路２４は、ブロック毎に算出した光源色推定ベクトルをベクトル収束点計算回路２６に出力する。
【００２７】
ベクトル収束点計算回路２６は、全てのブロックの光源色推定ベクトルの収束点を演算する。上記のとおり、光源色は光源色推定ベクトルの延長上に存在する可能性が高いから、全てのブロックの光源色推定ベクトルの収束点が、全てのブロックの光源色、すなわち入力画像シーンの光源色を示すことになる。
【００２８】
図５に、ベクトル収束点計算回路２６におけるベクトル収束点演算の様子を示す。複数のブロック毎に算出されたベクトル４００、ベクトル４０２、ベクトル４０４、ベクトル４０６、及びこれらのベクトルの収束点５００を示す。全ブロックの光源色推定ベクトルの収束点５００の色差座標を（Ｔｉα、Ｔｇα）とし、あるブロックにおける光源色推定ベクトルがａ_nＴｉ＋ｂ_nＴｇ＋ｃ_n＝０で与えられるものとすると、収束点５００と光源色推定ベクトルとの距離の二乗ｄは次の式で与えられる。
【００２９】
ｄ＝｛ａ_nＴｉα＋ｂ_nＴｇα＋ｃ_n｝²／（ａ_n²＋ｂ_n²）
理論的には、全ての光源色推定ベクトル４００、４０２、４０４、４０６に対してｄ＝０となる点が収束点５００であるが、実際には全てのブロックの光源色推定ベクトルがある一点に収束することは稀であるため（図では理想的な条件での収束を示している）、全てのブロックの光源色推定ベクトル４００〜４０６と収束点５００との距離の平均（あるいは距離の２乗ｄの平均）が最小となる点を収束点５００とすればよい。このような収束点５００は、例えば準ニュートン法で算出することができる。図６に、ある撮影画像に対して全てのブロックについて算出した光源色推定ベクトルの実例を示す。図に示すように、実際には全てのブロックはひとつの収束点に収束するわけではなくばらつきが存在する。図には、準ニュートン法で算出した１つの収束点５０２を示す。ベクトル収束点計算回路２６は、以上のようにして算出された収束点５００の色差座標を光源の色差として、また代表値計算回路１４で算出された全ブロックの輝度の平均値を光源の輝度として推定し、ホワイトバランスゲイン計算回路１８に出力する。ホワイトバランスゲイン計算回路１８は、（２）、（３）、（４）式に従ってホワイトバランスゲインを算出し、ホワイトバランス調整回路２０に出力する。もちろん、ホワイトバランスゲイン計算回路１８において、ベクトル収束点計算回路２６で得られた光源色の座標に基づいて光源色の種類（昼光か蛍光灯か等）を識別し、識別した種類をホワイトバランス調整回路２０に出力してもよい。ホワイトバランス調整回路２０は、予め光源の種類毎に定めたゲイン（例えばデイライト用ゲイン、蛍光灯用ゲイン等）に従ってホワイトバランスを調整できる。
【００３０】
図７に、色差空間における昼白（デイライト）の白エリア、蛍光灯の白エリア、及び葉のエリアを示す。ホワイトバランス調整の要諦は、得られた画像からこれらの光源色を互いに正しく識別することにある。図に示される通り、蛍光灯の白エリアと葉のエリアは色差空間においてその範囲が一部重複して存在するため、シーンに葉の像が存在すると、本来はデイライトであるにもかかわらずそのシーンの光源色を蛍光灯と誤判定してしまうおそれが生じる。
【００３１】
図８に、蛍光灯下における光源色推定ベクトルの様子を示し、図９にデイライト下における光源色推定ベクトルの様子を示す。蛍光灯下においては、光源色推定ベクトルは蛍光灯の白エリアに収束する。葉が存在していても同様である。一方、デイライト下では例え葉のエリアであっても光源色推定ベクトルは蛍光灯付近ではなくデイライトの白エリア方向に収束する。このことからも、例え葉の像が存在する場合においても、光源色推定ベクトルの収束点を探索することで、蛍光灯ではなくデイライトであると正しく判定することができる。
【００３２】
このように、本実施形態においては、各ブロック毎に代表値を算出する処理に加え、各ブロック毎に特徴画素を抽出して、これら２つの画素点から光源色推定ベクトルを計算するだけで光源色を高精度に推定してホワイトバランスを調整することが可能である。本実施形態においては、複雑なシーン解析アルゴリズムや多数の制御パラメータを新たに導入する必要がなく、画像の特徴を抽出するのみで光源色を推定できる。
【００３３】
以上、本発明の実施形態について説明したが、本発明はこれに限定されるものではなく種々の変更が可能である。
【００３４】
例えば、本実施形態では、入力画像を構成する全てのブロックについて光源色推定ベクトルを演算し、これら全ての光源色推定ベクトルから収束点を演算しているが、入力画像を構成する全ブロックのうちの選択されたブロックの光源色推定ベクトルを用いて収束点を演算してもよい。
【００３５】
また、本実施形態では、ブロック内において最大色差を有する画素を当該ブロックの特徴画素として抽出しているが、しきい値を定め、このしきい値以上の色差を有する画素群の中から特徴画素を選択してもよい。しきい値以上の色差を有する画素も、物体色をある程度反映した画素であるから、光源色を一定の精度で推定できる。しきい値を大きくするほど精度が向上する。
【００３６】
さらに、光源色推定ベクトルの大きさが所定値よりも小さい場合には、代表画素と特徴画素との間に相違がないとしてその光源色推定ベクトルを無視してもよい。
【図面の簡単な説明】
【００３７】
【図１】実施形態の構成ブロック図である。
【図２】入力画像の画素構成図である。
【図３】あるブロックにおける特徴画素説明図である。
【図４】色差空間における特徴画素と代表値画素から形成される光源色推定ベクトルの説明図である。
【図５】光源色推定ベクトルの収束の様子を示す説明図（理想条件）である。
【図６】光源色推定ベクトルの収束の様子を示す説明図である。
【図７】色差空間におけるデイライト、蛍光灯の白エリアと葉のエリアの関係を示す説明図である。
【図８】色差空間における光源色推定ベクトルの蛍光灯への収束の様子を示す説明図である。
【図９】色差空間における光源色推定ベクトルのデイライトへの収束の様子を示す説明図である。
【図１０】従来装置の構成ブロック図である。
【図１１】ブロック内に葉像が存在する説明図である。
【符号の説明】
【００３８】
１０撮像装置、１２ブロック分割回路、１４代表値計算回路、１６ホワイトバランス評価回路、１８ホワイトバランスゲイン計算回路、２０ホワイトバランス調整回路、２２特徴画素検出回路、２４ブロックベクトル計算回路、２６ベクトル収束点計算回路、３００特徴画素（最大色差画素）、４００，４０２，４０４，４０６光源色推定ベクトル、５００，５０２収束点。

【特許請求の範囲】
【請求項１】
入力画像の所定領域内における画素のうち、色差空間における色差平均値画素と色差最大値画素から光源色推定ベクトルを演算する手段と、
前記光源色推定ベクトルの方向に基づいて前記入力画像の光源色を推定してホワイトバランス補正を制御する制御手段と、
を有することを特徴とする画像処理装置。
【請求項２】
請求項１記載の装置において、
前記演算手段は、複数の前記所定領域毎に前記光源色推定ベクトルを演算し、
前記制御手段は、複数の前記所定領域毎に演算された光源色推定ベクトル群の収束点を光源色と推定して前記ホワイトバランス補正を制御する
ことを特徴とする画像処理装置。
【請求項３】
請求項１記載の装置において、
前記演算手段は、複数の前記所定領域毎に前記光源色推定ベクトルを演算し、
前記制御手段は、複数の前記所定領域毎に演算された光源色推定ベクトルまでの距離の平均が最小となる色差空間における座標点を光源色と推定して前記ホワイトバランス補正を制御する
ことを特徴とする画像処理装置。
【請求項４】
撮像装置のホワイトバランスを調整するホワイトバランス調整装置であって、
入力画像を複数のブロックに分割する手段と、
各ブロック毎に、色差空間上での色差平均座標、及び所定のしきい値よりも大なる色差を有する色差大座標を検出する手段と、
各ブロック毎に、前記色差平均座標及び色差大座標からベクトルを演算する手段と、
前記入力画像を構成する、いずれか複数のブロックまたは全てのブロックの前記ベクトルの収束点座標を演算する手段と、
前記収束点座標に基づいて前記入力画像の光源色を推定してホワイトバランスを調整する手段と、
を有することを特徴とするホワイトバランス調整装置。

【図１】