画像処理装置、画像処理方法及び画像処理プログラム
【課題】ＬＥＤやＥＬといった照明光下においても適切なホワイトバランス制御を可能とする他、従来の光源下においても被写体の色によらずより安定したホワイトバランス制御を実現する画像処理装置を提供する。
【解決手段】ＣＣＤ撮像素子である撮像手段から送られてくる画像データから、黒と判断される領域を抽出しホワイトバランス補正パラメータを算出する黒領域パラメータ算出手段と、前記黒領域パラメータ算出手段よって算出されたパラメータを基に画像データに補正処理を行う画像補正手段を備える。
【解決手段】ＣＣＤ撮像素子である撮像手段から送られてくる画像データから、黒と判断される領域を抽出しホワイトバランス補正パラメータを算出する黒領域パラメータ算出手段と、前記黒領域パラメータ算出手段よって算出されたパラメータを基に画像データに補正処理を行う画像補正手段を備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、デジタルカメラ等の撮像装置により得られる画像データのホワイトバランス補正係数を算出する画像処理装置、画像処理方法及び画像処理プログラムに関する。
【背景技術】
【０００２】
近年、デジタルカメラやビデオカメラやなどに備えられるＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal-oxide Semiconductor）などの撮像素子を備えた撮像装置が広く普及している。これらの撮像装置は、屋外や蛍光灯、白熱電球等の様々な光環境の下で使用されるが、何の処理も行わずに撮像素子で撮像された画像データは、これら光環境の違いによる影響により、それぞれの照明光の色を反映した色味の異なる画像となる。しかし、人間の目は順応の効果により、様々な色の光環境下において照明光の色による変化をある程度キャンセルできることが知られている。そのため、光源色が反映され色づいたそのままの画像データは違和感のあるものとなる。これを考慮し、一般の撮像装置においてはホワイトバランス補正が画像処理により施されることによって、照明光の違いに左右されることなく、常に適切な画像データを取得できるようにしている。
【０００３】
ホワイトバランス補正の方法としては、あらかじめ各光源に対応した適切な補正係数をプリセットしておき、ユーザーが撮影環境の光源に応じて選択する方法のほか、撮像装置側で自動的に補正係数を設定するオートホワイトバランスがある。オートホワイトバランスには、環境光の情報を取得するセンサを画像を取得する撮像素子とは別に設け、そのセンサの出力に応じてホワイトバランスの補正係数を決定し補正する方式のほか、取得した画像データを解析し、画像全体、あるいは画像中から白色であると思われる（黒体放射軌跡に近いと判断される）領域を抽出し、Ｒ（赤）Ｇ（緑）Ｂ（青）各色ごとに画素値の平均を算出し、その平均値が全て一致、あるいは設定した比率で一致するように補正係数を決定し補正する方式が知られている。
【０００４】
例えば、特許文献１に記載のホワイトバランス制御装置は、画面を複数の領域に分割して、画像データから個々の領域の色成分を演算して出力する評価値演算回路と、前記色成分の評価値からホワイトバランス制御量と輝度とに変換し、前記輝度が高い領域ほど重みが強く作用する加重処理をかけたホワイトバランス制御量を演算し、これら双方のホワイトバランス制御量の値を用いて、画像記録時に適用されるホワイトバランス制御量を演算する高輝度加重手段とを有することを特徴としている。輝度に応じて重み付けをして制御量を決定することにより、白の被写体と黒体輻射の特性に近い色の有彩色被写体が混在した場合に、白色領域に重み付けすることによりホワイトバランスが誤動作する頻度を軽減するホワイトバランス制御装置を実現している。
【０００５】
また、特許文献２に記載の画像処理装置および方法並びにプログラム、撮像装置および方法並びにプログラムは、画像データから第一のホワイトバランス係数算出部が第一のホワイトバランス係数を算出し、第二のホワイトバランス係数算出部が特定被写体に基づいて第二のホワイトバランス係数を算出し、特定色度評価部による評価結果または撮像条件制御部の撮像条件に基づき、ホワイトバランス合成部が、第一のホワイトバランス係数および第二のホワイトバランス係数を重み付けすることにより、第三のホワイトバランス係数を算出することを特徴としている。これにより、特定被写体として、人物の顔、胴体、手、足の他、人物以外の動物のなどを検出し、特定被写体から算出された特定の色に関する色度値である特定色度の評価値または撮像条件を用いて、適切なホワイトバランス係数を決定することで、ホワイトバランスの精度を高めている。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００２−２３２９０６号公報
【特許文献２】特開２００９−１０８１４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
従来、光源として太陽光をはじめ、蛍光灯や白熱灯などが考慮されてきたが、近年ＬＥＤ(Light Emitting Diode)照明や有機ＥＬ（Electro-Luminescence）照明などの新たな光源の普及が始まっている。これらの光源は、従来の光源とは異なる様々なスペクトルを持っており、撮像装置側の持つカラーフィルタの特性によっては大きく色味が崩れる場合がある。これにより従来の手法では、光源自体の色は黒体放射軌跡付近にあるものの、カメラを通した画像からはそれが判別できなくなる他、肌色等の色味も崩れて正確に判断することができなくなることにより、適切なホワイトバランス制御が行えなくなる場合があるという問題がある。また、従来の光源下においても、被写体の色によっては光源色と誤って判断されることにより、ホワイトバランス制御の結果本来と異なる色味の画像になることがあり、人物の顔などの特定被写体がない場合には対応が難しいという問題もある。
【０００８】
本発明は、このような事情に鑑みてなされたもので、ＬＥＤやＥＬといった照明光下においても適切なホワイトバランス制御を可能とする他、従来の光源下においても被写体の色によらずより安定したホワイトバランス制御を実現することができる画像処理装置、画像処理方法及び画像処理プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００９】
本発明は、撮像した画像からホワイトバランスを制御するためのパラメータを決定する画像処理装置であって、前記画像から所定の閾値以下の画素値を持つ画素を検出し、各色ごとの画素値平均からパラメータを算出するパラメータ算出手段と、前記パラメータを基に、ホワイトバランスの補正を行う画像補正手段とを備えることを特徴とする。
【００１０】
本発明は、撮像した画像からホワイトバランスを制御するためのパラメータを決定する画像処理装置であって、前記画像を全体もしくは少なくとも２つ以上の領域に分割して、各色ごとの画素値平均からパラメータを算出する第１のパラメータ算出手段と、前記画像から所定の閾値以下の画素値を持つ画素を検出し、各色ごとの画素値平均からパラメータを算出する第２のパラメータ算出手段と、前記２つのパラメータ算出手段によって算出されたパラメータを基に、ホワイトバランス補正を行うための補正パラメータを決定するパラメータ決定手段とを備えることを特徴とする。
【００１１】
本発明における前記パラメータ決定手段は、前記第１のパラメータ算出手段によって算出されたパラメータにより光源色を推定し、推定した光源色が黒体放射軌跡から所定の閾値以上距離を持つ場合に、前記第２のパラメータ算出手段を参照して補正パラメータを決定することを特徴とする。
【００１２】
本発明における前記パラメータ決定手段は、前記第１のパラメータ算出手段によって算出されたパラメータにより光源色を推定し、推定した光源色がＤ６５から所定の閾値以上距離を持つ場合に、前記第２のパラメータ算出手段を参照して補正パラメータを決定することを特徴とする。
【００１３】
本発明における前記パラメータ決定手段は、前記第１のパラメータ算出手段により算出されたパラメータと、前記第２のパラメータ算出手段により算出されたパラメータの平均を補正パラメータとすることを特徴とする。
【００１４】
本発明における前記パラメータ決定手段は、前記第１のパラメータ算出手段において、各領域ごとに算出したパラメータが黒体放射軌跡から所定の閾値以内となる領域の数に応じて、前記第１のパラメータ算出手段により算出されたパラメータと、前記第２のパラメータ算出手段により算出されたパラメータの平均をとる際に重み付けを行うことを特徴とする。
【００１５】
本発明における前記パラメータ決定手段は、前記第１のパラメータ算出手段において、各領域ごとに算出したパラメータのうち、前記第２のパラメータ算出手段において算出されたパラメータから推定される光源色からの差異が所定の閾値以内となるパラメータを用いて補正パラメータを決定することを特徴とする。
【００１６】
本発明は、撮影環境が屋内であるか否かを判別するためのセンサをさらに備え、前記センサにより屋内と判断される場合には前記第１のパラメータ算出手段により算出されたパラメータと前記第２のパラメータ算出手段により算出されたパラメータから補正パラメータを決定することを特徴とする。
【００１７】
本発明は、撮像した画像からホワイトバランスを制御するためのパラメータを決定する画像処理方法であって、前記画像から所定の閾値以下の画素値を持つ画素を検出し、各色ごとの画素値平均からパラメータを算出するパラメータ算出ステップと、前記パラメータを基に、ホワイトバランスの補正を行う画像補正ステップとを有することを特徴とする。
【００１８】
本発明は、撮像した画像からホワイトバランスを制御するためのパラメータを決定する画像処理方法であって、前記画像を全体もしくは少なくとも２つ以上の領域に分割して、各色ごとの画素値平均からパラメータを算出する第１のパラメータ算出ステップと、前記画像から所定の閾値以下の画素値を持つ画素を検出し、各色ごとの画素値平均からパラメータを算出する第２のパラメータ算出ステップと、前記２つのパラメータ算出ステップによって算出されたパラメータを基に、ホワイトバランス補正を行うための補正パラメータを決定するパラメータ決定ステップとを有することを特徴とする。
【００１９】
本発明は、撮像した画像からホワイトバランスを制御するためのパラメータを決定する画像処理プログラムであって、前記画像から所定の閾値以下の画素値を持つ画素を検出し、各色ごとの画素値平均からパラメータを算出するパラメータ算出ステップと、前記パラメータを基に、ホワイトバランスの補正を行う画像補正ステップとをコンピュータに行わせることを特徴とする。
【００２０】
本発明は、撮像した画像からホワイトバランスを制御するためのパラメータを決定する画像処理プログラムであって、前記画像を全体もしくは少なくとも２つ以上の領域に分割して、各色ごとの画素値平均からパラメータを算出する第１のパラメータ算出ステップと、前記画像から所定の閾値以下の画素値を持つ画素を検出し、各色ごとの画素値平均からパラメータを算出する第２のパラメータ算出ステップと、前記２つのパラメータ算出ステップによって算出されたパラメータを基に、ホワイトバランス補正を行うための補正パラメータを決定するパラメータ決定ステップとをコンピュータに行わせることを特徴とする。
【発明の効果】
【００２１】
本発明によれば、従来考慮されていなかったＬＥＤやＥＬ等の照明光下においても、より適切なホワイトバランス制御を行うことが可能になるという効果が得られる。
【図面の簡単な説明】
【００２２】
【図１】本発明の第１の実施の形態による画像処理装置の一構成例を示すブロック図である。
【図２】本発明の第１の実施の形態による画像処理装置で処理される画像データの一例である。
【図３】本発明の第１の実施の形態による画像処理装置における黒領域パラメータ算出手段の動作を示すフローチャートである。
【図４】各種光源のスペクトルを表した図である。
【図５】図４に示す各光源の光源色をｘｙ色度座標上に表した図である。
【図６】撮像手段のカラーフィルタ特性を示す図である。
【図７】光源のスペクトルと撮像手段のカラーフィルタ特性を比較する図である。
【図８】本発明の第２の実施の形態による画像処理装置の一構成例を示すブロック図である。
【図９】本発明の第２の実施の形態による画像処理装置の処理手順を示すフローチャート図である。
【図１０】撮像素子により取得した画像データと、白領域パラメータ算出手段における領域分割を示す図である。
【図１１】画像データを領域分割した際の、領域ごとに算出されたパラメータを色度座標上に表現した図である。
【図１２】黒領域パラメータ算出手段が認識した黒領域を示す図である。
【図１３】本発明の第３の実施形態による画像処理装置の一構成例を示す図である。
【図１４】白領域パラメータ算出手段と黒領域パラメータ算出手段から算出されたパラメータから光源色をｘｙ色度座標上で推定した位置を示す図である。
【発明を実施するための形態】
【００２３】
＜第１の実施の形態＞
以下、図面を参照して、本発明の第１の実施の形態による画像処理装置について説明する。図１は本発明の第１の実施の形態による画像処理装置の構成を示すブロック図である。画像処理装置１００は、ＣＣＤ撮像素子を備える撮像手段１０１から出力される画像データから、黒と判断される領域を抽出しホワイトバランス補正パラメータを算出する黒領域パラメータ算出手段１０２と、黒領域パラメータ算出手段１０２によって算出されたパラメータを基に画像データに補正処理を行う画像補正手段１０３からなる。画像処理装置１００から出力される画像データは、フラッシュメモリ等で構成するデータ保持手段１０４に保存される。図中の矢印は電気信号やデータの流れを示している。
【００２４】
図２に、撮像手段１０１から画像処理装置１００へ出力される画像データ１１０の一例を示す。画像データ１１０の被写体はカラーチャート１１１であり、背景はグレーであるものとする。カラーチャート１１１は、内部の四角部分がそれぞれ異なる色で構成され、画像評価などに使用されるものである。ここでは、カラーチャート１１１は２４色であり、斜線部１１２は無彩色であり、斜線部１１２は上から順にマンセル表色系でＮ９．５、Ｎ８、Ｎ６．５、Ｎ５、Ｎ３．５、Ｎ２で構成され、一番左の白から始まり、右に行くほど暗いグレーに、一番右が黒となっている。
【００２５】
黒領域パラメータ算出手段１０２は、画像中から黒と判断される領域を抽出し、抽出した画素値をＲＧＢ（赤、緑、青）ごとに全て平均化することで、ホワイトバランス補正パラメータを算出する。図２中では、カラーチャート１１１の黒で示される部分は黒色であるためこの部分と、黒と濃いグレーである縞線部１１２が抽出される。
【００２６】
次に、図３を参照して、図１に示す黒領域パラメータ算出手段１０２の処理動作を説明する。図３は、図１に示す黒領域パラメータ算出手段１０２処理動作を示すフローチャートである。黒領域パラメータ算出手段１０２は、あらかじめ保持している黒であるか否かを判別するための閾値を読み出す（ステップＳ１１）。ここでは、ＲＧＢ値の合算値が１５０以下の領域を黒領域とするものとし、閾値を１５０とする。画像データ内の画素値を順に探索し、画素値のＲＧＢの合計が閾値以下であるか否かを判定する（ステップＳ１２）。閾値以下であった場合、その画素値を持つ部分は黒領域であると判断し、ＲＧＢ個別に画素値を積算する（ステップＳ１３）。この処理を全ての画素値について行う（ステップＳ１４）。全ての画素値について判別が終了後、積算したＲＧＢ値をそれぞれ黒領域と判断した画素数で除算し、平均を出す。この値をホワイトバランス補正パラメータとして決定する（ステップＳ１５）。
【００２７】
なお、黒であるか否かを判別するための閾値は、ここではあらかじめ決められ、保持されているとしたが、ユーザーが変更できるようになっていても良く、画像の明るさに応じて適宜選択されるようになっていても良い。また、ここではＲＧＢ値の合計で閾値を設定しているが、ＲＧＢのそれぞれに閾値が設定されていてもよい。
【００２８】
黒領域パラメータ算出手段１０２は、このようにして決定したホワイトバランス補正パラメータを画像補正手段１０３へ出力する。画像補正手段１０３は、ホワイトバランス補正パラメータのＲＧＢごとのバランスを見る。例えば、Ｇを１としＲＧＢの比が、１．２対１．０対０．８であったとする。このとき、画像補正手段１０３は全てのバランスが一致するよう、画像全体に対し各画素値のＲを１．２、Ｂを０．８で除算することによりホワイトバランスを調整する。
【００２９】
このように、黒領域を抽出してホワイトバランス補正パラメータを算出することにより、ＬＥＤなどの特殊な光源下の環境の場合に、黒体放射軌跡から離れた場合にもホワイトバランスを制御することが可能となる。黒体放射軌跡とは、黒体というエネルギーを完全に吸収する物体において、温度が上昇していくと発する光の色が変化するが、このときの色の変化を色度図上にあらわした時の軌跡のことである。各色における黒体の絶対温度を色温度といい、黒体放射軌跡上ではないものの、黒体放射の色と近い色を相関色温度という。一般に人工の光源も、この黒体放射軌跡近辺に色度座標が来るような光源色であることがほとんどである。ＬＥＤなどの照明もこの黒体放射軌跡に近くなるよう設計されていることが多い。
【００３０】
しかし、ＬＥＤのような急峻なピークを持つ光源の場合、光源色自体は黒体放射軌跡に近いものの、撮像素子のカラーフィルタの特性によっては黒体放射から大きく外れていると判断されることがある。図４は、様々な光源のスペクトルを示したものであり、（ａ）と（ｂ）のスペクトルはＬＥＤ、（ｃ）は通常の電球のスペクトルを示したものである。横軸は波長、縦軸は強度であり、縦軸の値は強度１で正規化している。これらのスペクトルを比較すると、（ａ）と（ｂ）に関しては概形は類似しているものの、４４０ｎｍ付近のピークの高さや６００ｎｍ付近にピークを持つ山の半値幅は異なっている。また、（ｃ）のスペクトルはこれら２つとは全く異なるものとなっている。これらのスペクトルからｘｙ色度座標を算出し、ｘｙ色度座標上にプロットしたものを図５に示す。図５において横軸はｘｙ色度座標におけるｘ、縦軸はｙ、図中の白抜きの丸はＤ６５の色度座標を示しており、図中ａｂｃの点はそれぞれ図４の（ａ）〜（ｃ）の各光源に対応している。それぞれの光源の色度座標は、図５中のａ〜ｃに示すとおり、スペクトルはまったく異なるにもかかわらず、非常に近い値になっておりほぼ同様の光色であることがわかる。
【００３１】
なお、ＲＧＢ値のｘｙ色度座標への変換においては、画像処理を施す前の撮像素子から得られる生のＲＧＢ値が全て同一の値の時に白となるよう撮像素子の特性を考慮して変換することとなる。白とは例えば、一般的なモニタ、プリンタ、デジタルカメラなどが準拠している国際電気標準会議（ＩＥＣ）が定めた国際標準規格ｓＲＧＢ色空間であればＤ６５となる。白がＤ６５に、純粋な赤（ＲＧＢ値のＲのみ２５５、他が０）、青（Ｂのみ２５５、他が０）、緑（Ｇのみ２５５、他が０）が規格上の色度座標に位置するような変換行列をあらかじめ保持、あるいは算出し、これにしたがってＲＧＢ値を変換することでｘｙ色度座標上に変換することとなる。
【００３２】
これらの光源下において、カメラで撮像した場合を考える。図６は、撮像手段１０１のカラーフィルタ特性の一例である。横軸は波長、縦軸は１に正規化したカラーフィルタの透過率を表し、実線がＢ（青）、太い波線がＧ（緑）、細かい点線がＲ（赤）のフィルタ特性を表している。このカラーフィルタのうちＧのカラーフィルタと、図４（ａ）と（ｂ）のスペクトルを重ねたものを図７に示す。本来であれば、ほぼ同様の色度座標を持つ光源であるため、撮像手段１０１で同一の被写体を撮像した場合、同じ値になる必要がある。しかし、図７に示すように、光源のスペクトルが異なるために、Ｇの値は違う値となる。Ｇのフィルタと光源のスペクトルを比較すると、図７（ａ）のほうが図７（ｂ）よりも重なり部分が大きく、（ａ）のＧの値の方が大きくなることがわかる。
【００３３】
このように、スペクトルによってＲＧＢ値が変わってくることから、従来一般的に行われているホワイトバランス制御手法を用いた場合に、制御ができなくなることがある。従来の手法では、画像内全体、あるいは複数の領域に分けて各領域ごとにＲＧＢ各色の画素値平均を求める。これは、様々な色を平均化すると無彩色に近づくと言う理論に基づいている。そして、この平均化されたＲＧＢデータをｘｙ座標系に変換し、黒体放射付近にある場合に光源色を推定できたと判断し、領域を分割した場合は黒体放射軌跡付近の値のみを使ってＲＧＢのバランスが一致するよう画像処理を行う。黒体放射付近で無い場合、被写体そのものの色と判断し、補正を行わないこととなる。この手法では、カラーフィルタと光源のスペクトルによっては、白色部分から求めた光源を示すＲＧＢデータであっても、黒体放射軌跡から外れてしまうことにより、適切な制御が行われないことがありうる。このようにＬＥＤ光源などでは黒体放射軌跡から外れていても、それをパラメータとして補正処理を行わないとおかしな色となってしまうことがありうるが、黒体放射軌跡から外れていても常に制御すると、被写体の色にも左右されてしまうことになり、従来適切に制御できていた状況でも色が崩れてしまうことになりうる。
【００３４】
そのため、前述したように黒領域を抽出し、そこから算出した補正パラメータが黒体放射軌跡付近か否かを判断することなく、このパラメータを用いて補正することにより、ＬＥＤのような特殊な光源下であっても適切なホワイトバランスを実現することが可能となる。画像中には通常物体の影となる部分が存在し、黒色の被写体やグレーの無彩色部分、そしてこの影となる部分が抽出され、パラメータが算出されることとなり、黒部分は無彩色であるため、光源色の影響をそのまま反映している。また、影部分は被写体そのもの色による影響が少ないため、黒の被写体部分と合わせて算出されたパラメータは光源色を反映したものとなるためである。
【００３５】
なお、ここではｘｙ色度座標上で説明を行ったが、この色度座標上である必要は無く、ｕｖ座標上、ｕ’ｖ’座標上など他の表色系であっても良い。その場合、表現の方法により閾値の値や設定方法なども適宜変わることになる。また、ここではホワイトバランス制御時にＲＧＢのバランスが１対１対１になるものとして説明を行ったが、人間の目の順応を考慮して、例えば光源がＡ光源の場合には完全に一致するようにせず、赤味を残すように制御するなど、設計思想により適切なホワイトバランス制御は変わる。また、ここでは説明のため被写体をカラーチェッカーとしたが、これに限定されるものではなく被写体は様々なものがある。同様に撮像手段についてもここではＣＣＤとしたがＣＭＯＳなどの他の撮像素子であっても構わない。
【００３６】
また、ここでは撮像手段から出力される画像データそのものから黒領域を抽出するものとしたが、色変換後の画像から黒領域を抽出しても良い。例えば、ｓＲＧＢ色空間上に撮像手段の特性を考慮した色変換行列を用いて色変換を行い、この空間上の画像で黒を抽出する等である。なお、色空間はここではｓＲＧＢとしているが、これに限定するものではなくＡｄｏｂｅＲＧＢなど他の色空間であっても良い。
【００３７】
また、黒領域の抽出における閾値は、リニアＲＧＢ空間上で取り得る最大値に対し１８％以下であることが望ましい。リニアＲＧＢ空間とは、一般的にカメラからの出力画像ではディスプレイの特性をキャンセルする為にガンマ処理が行われているが、これが行われる前のＲＧＢ値であり、カメラへの入力に対して線形な特性を持つ。一般にマンセル表色系において色相は５Ｒ（赤）、７Ｇ（緑）などと数値と色の組み合わせで表現され、各色相において代表する色は５Ｒのように数値５で表される。無彩色はＮ１からＮ９で表され（Ｎはニュートラルを意味する）、無彩色の代表はＮ５となる。このＮ５を境に白に近いか、黒に近いかを判断することができる。Ｎ５とは反射率１８％の無彩色を意味し、このことから１８％以下とすることで、影などの暗い無彩色部分を精度良く抽出することが可能となり、注目する被写体の色などを含んでしまい、被写体が黒体放射に近い色であった場合に誤動作することを防ぐことができ、より効果的な制御が可能となる。また、ここでは取り得る値の最大値を基準としたが、露出に応じて画像中の最大輝度値を持つ画素値に対して１８％というように明るさに応じて適応的に閾値を設定することにより、暗い画像であっても適切に暗部のみを抽出することが可能となる。
【００３８】
＜第２の実施の形態＞
次に、本発明の第２の実施の形態による画像処理装置について説明する。図８は、本発明の第２の実施の形態による画像処理装置の構成を示すブロック図である。画像処理装置２００は、ＣＣＤ撮像素子を備える撮像手段２０１から出力される画像データから、白と判断される領域を抽出しホワイトバランス補正パラメータを算出する第１のパラメータ算出手段である白領域パラメータ算出手段２０２と、算出したパラメータの算出条件から妥当性を判断するパラメータ判定手段２０３、画像データから黒と判断される領域を抽出してホワイトバランス補正パラメータを算出する第２のパラメータ算出手段である黒領域パラメータ算出手段２０４、白領域パラメータ算出手段２０２により算出されたホワイトバランス補正パラメータと、黒領域パラメータ算出手段２０４により算出された補正パラメータから、最終的なホワイトバランス補正パラメータを決定するパラメータ決定手段２０５、このパラメータ決定手段２０５によって決められたホワイトバランス補正パラメータを用いて画像データを補正する画像補正手段２０６によって構成される。画像処理装置２００から出力されたデータは、フラッシュメモリやハードディスク等の記憶装置で構成するデータ保持手段２０７に保存される。図中の矢印は電気信号やデータの流れを示している。
【００３９】
次に、図９を参照して、図８に示す画像処理装置２００の処理動作を説明する。図９は、図８に示す画像処理装置２００画像処理動作を示すフローチャートである。まず、白領域パラメータ算出手段２０２は、撮像手段２０１において光電変換することにより得られた画像データを入力する。白領域パラメータ算出手段２０２は、撮像手段２０１から入力した画像データを複数の領域に分割する。ここで、図１０を参照して、画像データを領域分割について説明する。撮像手段２０１で取得される画像データの一例である画像データ２１０において、被写体はカラーチャート２１１、画用紙２１２であるとする。ここでは、第１の実施形態と同様カラーチャート２１１は２４色であり、画用紙１１２に近い６つの四角、斜線部２１３は無彩色であり、一番上の黒から始まり、下に行くほど明るいグレーに、一番下が白となっている。画用紙２１２は、ここでは黄色であるものとする。また、カラーチャート２１１、画用紙２１２の背景部分はグレーの被写体であるものと仮定する。図中に示す点線で囲まれる各領域が、白領域パラメータ算出手段２０２によって分割された領域を示している。また、このときの被写体の照明光は蛍光灯のＤ６５光源であるとする。
【００４０】
図９に戻り、白領域パラメータ算出手段２０２は、画像データ２１０を１８の領域に分割し、各領域ごとに領域内の画素値平均を算出する（ステップＳ２１）。これは、画像全体の色の平均が無彩色に近づくことを利用して、この結果から光源の種類や色温度を特定するためである。一般に、算出されたＲＧＢ各色ごとのバランスを見て、この比が１：１：１になるよう各色のゲインを調整することでホワイトバランスの補正を行っている。前述のように、各領域ごとに画素値を平均し、そのＲＧＢデータをｘｙ色度座標上に変換し、黒体放射軌跡からの距離を算出する。
【００４１】
次に、白領域パラメータ算出手段２０２は、黒体放射軌跡に近いｘｙ色度座標となる領域のＲＧＢデータのみを使用して、この選出した領域のＲＧＢデータをさらに平均し、ただ一組のＲＧＢデータを算出する（ステップＳ２２）。彩度の高い被写体が画像内の多くを占める場合に、画像全体のＲＧＢ値の平均が無彩色から離れてしまい、これを基にホワイトバランス制御を行った場合に画像の色味が崩れることがありうるが、このように、黒体放射軌跡付近のＲＧＢデータだけを用いてホワイトバランス補正パラメータを算出することで防止している。
【００４２】
ステップＳ２２の処理の詳細を以下に示す。例えば、図１０において上段左から５番目の領域をＡ、下段左から２番目の領域をＢ、下段左から３番目の領域をＣとして、この３つの領域で画素平均したＲＧＢをｘｙ色度座標上に変換し、判定を行うとする。図１１は、この３つの領域においてＲＧＢごと画素平均をとり、そのＲＧＢ値をｘｙ色度座標に変換した時の座標をプロットしたものである。横軸がｘ座標、縦軸がｙ座標を表しており、図中の点線は黒体放射軌跡、実線は黒体放射軌跡から距離０．５となる位置を示す線である。黒体放射軌跡上の黒三角で示す点は、Ａ光源の色度座標を示しており、参考として記載している。Ａの領域のＲＧＢ平均から算出した色度座標は、画用紙２１２の多くを含み、画用紙２１２は黄色であるためＡ光源に近い場所に位置している。
【００４３】
また、領域Ｂについては黒体放射軌跡からはずれ、実線で示す黒体放射軌跡から距離０．５よりも外側に位置している。また、領域Ｃは、黒体放射軌跡上であり、この位置はＤ６５である。領域Ｃは、斜線部２１３に示す無彩色領域が多くを占め、背景も無彩色であるため、光源の色温度をほぼ正確に特定できている。これら各領域ごとの色度座標に対し、領域Ｂは判定の閾値である黒体放射軌跡からの距離０．５を超えているため除外し、領域Ａと領域ＣのＲＧＢ値を用いて、これを平均しホワイトバランス補正パラメータとなるＲＧＢ値を算出することとなる。なお、ここでは、説明を簡単に行うため上記３つの領域のみで考慮したが、同様のことを分割したすべての領域について行う。また、領域の分割数はここでは１８分割としたが、これに限定されるものではなく求める精度や状況に応じて幾つであってもよい。
【００４４】
上記ステップＳ２２の処理を１８個の領域において行うと、画用紙１１３の占める領域が多く、かつ画用紙２１３が設定された黒体放射からの距離の閾値内に含まれるため、本来Ｃ領域から算出される色度座標から計算される色温度が正しい照明光の色を示すにもかかわらず、算出される補正パラメータは領域Ａで示した色度座標に近いものとなり、Ａ光源に近い照明光であると判断されることとなる。このように、被写体の色によっては被写体の色は除外されるべきであるにもかかわらず光源色と誤って判断され、色味が崩れる結果となる。
【００４５】
これを防止するため、白領域パラメータ算出手段２０２は、ステップＳ２２で算出したホワイトバランス補正パラメータを、パラメータ判定手段２０３へ出力する。パラメータ判定手段は２０３は、このＲＧＢ値から色温度を算出する。この色温度が光源の色温度を推定したものとなるが、パラメータ判定手段２０３は、これがＤ６５付近にあるか否かを判定する（ステップＳ２３）。Ｄ６５付近にある場合、本来の光源色と多少違いがあってもあまり色味が崩れないと想定されることから、正確に光源の推定ができていると判断し、そのまま画像データと補正パラメータをパラメータ決定手段２０５へ出力する。Ｄ６５付近に無かった場合、前述のように被写体の色を光源色と誤って判断している可能性があると判定し、画像データを黒領域パラメータ算出手段２０４へ出力すると共に、白領域パラメータ算出手段２０２で算出された補正パラメータをパラメータ決定手段１０５へと出力する。
【００４６】
Ｄ６５付近か否かの閾値は、あらかじめ設定されているものとする。例えば、ｘｙ色度座標上でＤ６５からの距離が０．５以内などである。Ｄ６５からの距離に応じて制御を変えることにより、被写体の色の影響があるか否かを判定し、安定したホワイトバランス制御が行える他、必要な場合のみ黒領域抽出の処理を行うことにより処理の軽減を図ることが可能となる。
【００４７】
黒領域パラメータ算出手段２０４は、出力された画像データから、ある閾値以下の画素値を持つ部分を抽出し、この部分のＲＧＢ画素平均を算出する（ステップＳ２５）。例えば、ＲＧＢ値の合計値が１００以下となる画素値を持つ部分を抽出する。図１２を参照して説明すると、カラーチャート２１１で示される黒枠部分は、黒色であるものとするとこの部分が抽出され、同じくカラーチャート２１１中の無彩色部分のうち、輝度の低い黒とグレー部である暗部２１４が画素値が閾値以下となる部分に相当し、この部分のＲＧＢごとの平均値を算出する。
【００４８】
これを、パラメータ補正係数としてパラメータ決定手段２０５へと出力する。画像中には、たいていの場合物体の影となる部分が存在し、黒色の被写体やグレーの無彩色部分、そしてこの影となる部分が抽出され、パラメータが算出されることとなる。黒部分は無彩色であるため、光源色の影響をそのまま反映している。また、影部分は被写体そのもの色による影響が少ないため、黒の被写体部分と合わせて算出されたパラメータは光源色を反映したものとなる。これを、ある閾値以下の画素値平均も白領域から算出したパラメータとあわせて使用することで、安定したホワイトバランス制御を行うことが可能となる。
【００４９】
パラメータ決定手段２０５は、パラメータ判定手段２０３から出力された白領域パラメータ算出手段２０２により算出されたパラメータと、黒領域パラメータ算出手段２０４より出力されたパラメータから、単一の補正パラメータを決定する。パラメータ判定手段２０３において、光源色がＤ６５付近にあると判定された場合には、黒領域パラメータ算出手段２０４からのパラメータは存在しないため、そのまま白領域パラメータ算出手段２０２で算出されたパラメータをホワイトバランス補正パラメータとして決定する（ステップＳ２４）。
【００５０】
一方、パラメータ判定手段２０３において、白領域から算出されたパラメータから推測される光源色がＤ６５付近にないと判定された場合、白領域と黒領域のそれぞれのパラメータを平均して、補正パラメータとして決定する（ステップＳ２６）。そして、決定した補正パラメータと画像データを画像補正手段２０６へと出力する。このように、白領域と黒領域のそれぞれから算出されたパラメータを用いて、最終的な補正パラメータを決定することで、被写体の色による影響を低減した安定したホワイトバランス補正を行うことが可能となる。
【００５１】
画像補正手段２０６は、パラメータ決定手段２０５から出力された画像データを、ホワイトバランス補正パラメータに従い補正を行う（ステップＳ２７）。出力された補正パラメータのＲＧＢ比に従い、ＲとＧとＢのバランスがほぼ同一となるよう、ＲとＢのゲインを調整することでホワイトバランスが調整される。ホワイトバランス調整が行われた画像データは、データ保持手段２０７へ出力され、ここで保持される。
【００５２】
なお、本実施例においては説明のため発明の特徴であるホワイトバランスに着目して記載しており、露出制御や画像をより好ましく見せるための色変換など、その他の画像処理は記載していないが、これらと合わせて使用してよい。また、ここではＲＧＢバランスがほぼ同一になるようにゲインを調整したが、補正パラメータのＲＧＢ比からあらかじめ備えるテーブルを参照してゲインを算出し、補正するようにしても良い。
【００５３】
また、本実施形態中に示したいくつかの閾値の値は例であり、この値に限定されるものではない。また、パラメータ決定手段２０５で、ここでは単純に第１のパラメータである白領域からのパラメータと、第２のパラメータである黒領域のパラメータを平均化したが、画素値そのものを用いた場合黒領域のパラメータのほうが小さくなるため、適宜重み付けをして平均化するようにしても良く、Ｇ基準で正規化したのち平均化するようにして、パラメータを比として扱うようにしてもよい。このように、重み付けをして平均化することにより、黒領域の影響をきちんと反映でき、より適切な制御が可能となる。
【００５４】
また、ここでは画像データから算出した白領域パラメータは黒体放射軌跡近辺にいくつか存在していたが、第１の実施形態のように白領域パラメータで推定される光源色が黒体放射軌跡付近に無い場合に、黒領域から算出したパラメータを使用しても良い。このように、通常は白領域パラメータを用い、白領域パラメータが黒体放射に無い場合には被写体の色による影響や光源がＬＥＤなどの特殊光であると判断して制御することで、従来の手法を用いた際の特徴を保ちつつ、白領域パラメータが適切な値を示さず制御ができなかった様々な環境化で、安定したホワイトバランス制御を行うことが可能となる。
【００５５】
また、ここでは被写体としてカラーチャートと画用紙として説明を行ったが、被写体はこれに限るものではなく、様々な被写体であってよい。また、ここでは記載は表示手段を備え、表示手段に表示しデータ保持手段への保存をするか否かを選択するというように、様々な応用例が考慮されるが本発明の特徴の本質とは関わらないため、ここでは省略している。
【００５６】
＜第３の実施の形態＞
次に、本発明の第３の実施の形態による画像処理装置について説明する。図１３は、本発明の第３の実施の形態による画像処理装置の構成を示すブロック図である。画像処理装置３００は、ＣＣＤ撮像素子を備える撮像手段３０１から出力される画像データから、白と判断される領域を抽出しホワイトバランス補正パラメータを算出する第１のパラメータ算出手段である白領域パラメータ算出手段３０２と、算出したパラメータの算出条件と光源判別手段３０８からの情報を基にパラメータの妥当性を判断するパラメータ判定手段３０３、画像データから黒と判断される領域を抽出してホワイトバランス補正パラメータを算出する第２のパラメータ算出手段である黒領域パラメータ算出手段３０４、白領域パラメータ算出手段３０２により算出されたホワイトバランス補正パラメータと、黒領域パラメータ算出手段３０４により算出された補正パラメータから、最終的なホワイトバランス補正パラメータを決定するパラメータ決定手段３０５、このパラメータ決定手段３０５によって決められた補正パラメータを用いて画像データを補正する画像補正手段３０６によって構成される。
【００５７】
画像処理装置３００から出力されるデータは、フラッシュメモリやハードディスク等の記憶装置で構成するデータ保持手段３０７に保存される。また、画像処理装置３００には、照度センサで構成する光源判別手段３０８が接続される。図中の矢印は電気信号やデータの流れを示している。
【００５８】
撮像手段３０１は、光電変換を行い画像データを取得し、画像処理装置３００の白領域パラメータ算出手段３０２へと出力する。画像処理装置３００で行われる画像処理については、第２の実施形態と同様である。以下に、第２の実施形態と異なる点を中心に説明を行う。白領域パラメータ算出手段３０２は、撮像手段３０１から出力された画像データを領域分割し、各領域ごとにパラメータを算出する。この各領域ごとのパラメータを全てパラメータ判定手段３０３へと出力する。
【００５９】
パラメータ判定手段３０３は、光源判別手段３０８から出力される情報を基に、黒領域パラメータ算出手段３０４でパラメータを算出するか否かを判定する。光源判別手段３０８は、照度センサで構成され撮影環境の照度を取得する。照度が高い場合は撮影環境を屋外、照度が低い場合には撮影環境を屋内であると判断し、屋内である場合のみ黒領域パラメータ算出手段３０４でパラメータを算出するよう画像データを出力する。屋外の場合、ＬＥＤのような特殊光源環境ではないことと、明るく黒領域の占める割合が小さく従来通りの手法を用いる方が安定するため、黒領域でのパラメータ算出を行わないようにする。このようにすることで、どのような環境であっても安定したホワイトバランス補正が可能となる。屋内である場合、黒領域パラメータ算出手段３０４は、第２の実施形態同様に画像データから黒領域を抽出し、パラメータを算出する。そしてこのデータをパラメータ決定手段３０５へと出力する。
【００６０】
パラメータ決定手段３０５は、白領域パラメータ算出手段３０２からのパラメータと黒領域パラメータ算出手段３０４からのパラメータから、補正パラメータを決定する。図１４は、これらパラメータから光源色を推定したもので、ｘｙ色度座標上に示したものである。横軸はｘｙ色度座標のｘを、縦軸はｘｙ色度座標のｙ座標を示している。白領域パラメータ算出手段３０２によって算出された各領域ごとのパラメータをＢとして黒い四角で示しており、黒領域パラメータ算出手段３０４によって算出されたパラメータをＡとして黒い丸で示している。点線は黒体放射軌跡、実線はそれぞれ黒体放射軌跡からｘｙ色度座標上での距離０．５位置を示しており、白抜きの丸はＤ６５、黒三角はＡ光源の色度座標である。これにより、分割した白領域のうち４つのエリアから算出したパラメータが黒体放射から所定の距離以内の部分に入っていることがわかり、そのうち２つはＤ６５付近に、残りはＡ光源付近にある。同一の光源環境下であるにも関わらず、このように異なるパラメータが算出されているのは画像の被写体の色に影響され、誤った推定データが出ているためである。ここで、黒領域から算出されたパラメータＡを見ると、Ｄ６５付近にある。
【００６１】
そのため、正しい光源色はＤ６５付近にあるものと判断し、Ｄ６５付近のパラメータを平均し、最終的な補正パラメータを決定する。このように、白領域から算出されたパラメータのうち、黒領域から算出されたパラメータから所定の距離以内（閾値等で判別する）のパラメータを用いて補正パラメータを決定することにより、被写体の色に影響され画像の補正時に色味が崩れ、適切なホワイトバランスが取れなくなることを防止することが可能となる。これ以降の処理は、第２の実施形態と同様のため、詳細な説明を省略する。
【００６２】
なお、ここでは光源判別手段３０８を照度センサとし、明るさにより屋外か否かを判定するものとしたが、例えば赤外線を感知し、赤外線の有無で屋内外を判別するような赤外センサであってもよく、その他光源そのものを判別可能な分光器などであっても良い。
【００６３】
以上、本発明の実施の形態について説明したが、各実施形態の図における各部品や構成図等は、理解を容易にするために誇張や簡略化を行って記載しており、実際の大きさや比とは異なる。また、本発明は、上述した各実施の形態に限定されるものではなく、請求項に示した範囲内で種々の変更が可能であり、異なる実施の形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。
【００６４】
なお、図１、８、１３に示す画像処理装置１００、２００、３００の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより画像データのホワイトバランス補正係数を算出する処理を行ってもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（ＲＡＭ）のように、一定時間プログラムを保持しているものも含むものとする。
【００６５】
また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。また、上記プログラムは、前述した機能の一部を実現するためのものであってもよい。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であってもよい。
【産業上の利用可能性】
【００６６】
本発明は、撮像素子を用いたデジタルカメラやビデオカメラなどの撮像装置に利用可能である。
【符号の説明】
【００６７】
１０１・・・撮像手段、１００・・・画像処理装置、１０２・・・黒領域パラメータ算出手段、１０３・・・画像補正手段、１０４・・・データ保持手段、２０１・・・撮像手段、２００・・・画像処理装置、２０２・・・白領域パラメータ算出手段、２０３・・・パラメータ判定手段、２０４・・・黒領域パラメータ算出手段、２０５・・・パラメータ決定手段、２０６・・・画像補正手段、２０７・・・データ保持手段、３０１・・・撮像手段、３００・・・画像処理装置、３０２・・・白領域パラメータ算出手段、３０３・・・パラメータ判定手段、３０４・・・黒領域パラメータ算出手段、３０５・・・パラメータ決定手段、３０６・・・画像補正手段、２０７・・・データ保持手段、３０８・・・光源判別手段
【技術分野】
【０００１】
本発明は、デジタルカメラ等の撮像装置により得られる画像データのホワイトバランス補正係数を算出する画像処理装置、画像処理方法及び画像処理プログラムに関する。
【背景技術】
【０００２】
近年、デジタルカメラやビデオカメラやなどに備えられるＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal-oxide Semiconductor）などの撮像素子を備えた撮像装置が広く普及している。これらの撮像装置は、屋外や蛍光灯、白熱電球等の様々な光環境の下で使用されるが、何の処理も行わずに撮像素子で撮像された画像データは、これら光環境の違いによる影響により、それぞれの照明光の色を反映した色味の異なる画像となる。しかし、人間の目は順応の効果により、様々な色の光環境下において照明光の色による変化をある程度キャンセルできることが知られている。そのため、光源色が反映され色づいたそのままの画像データは違和感のあるものとなる。これを考慮し、一般の撮像装置においてはホワイトバランス補正が画像処理により施されることによって、照明光の違いに左右されることなく、常に適切な画像データを取得できるようにしている。
【０００３】
ホワイトバランス補正の方法としては、あらかじめ各光源に対応した適切な補正係数をプリセットしておき、ユーザーが撮影環境の光源に応じて選択する方法のほか、撮像装置側で自動的に補正係数を設定するオートホワイトバランスがある。オートホワイトバランスには、環境光の情報を取得するセンサを画像を取得する撮像素子とは別に設け、そのセンサの出力に応じてホワイトバランスの補正係数を決定し補正する方式のほか、取得した画像データを解析し、画像全体、あるいは画像中から白色であると思われる（黒体放射軌跡に近いと判断される）領域を抽出し、Ｒ（赤）Ｇ（緑）Ｂ（青）各色ごとに画素値の平均を算出し、その平均値が全て一致、あるいは設定した比率で一致するように補正係数を決定し補正する方式が知られている。
【０００４】
例えば、特許文献１に記載のホワイトバランス制御装置は、画面を複数の領域に分割して、画像データから個々の領域の色成分を演算して出力する評価値演算回路と、前記色成分の評価値からホワイトバランス制御量と輝度とに変換し、前記輝度が高い領域ほど重みが強く作用する加重処理をかけたホワイトバランス制御量を演算し、これら双方のホワイトバランス制御量の値を用いて、画像記録時に適用されるホワイトバランス制御量を演算する高輝度加重手段とを有することを特徴としている。輝度に応じて重み付けをして制御量を決定することにより、白の被写体と黒体輻射の特性に近い色の有彩色被写体が混在した場合に、白色領域に重み付けすることによりホワイトバランスが誤動作する頻度を軽減するホワイトバランス制御装置を実現している。
【０００５】
また、特許文献２に記載の画像処理装置および方法並びにプログラム、撮像装置および方法並びにプログラムは、画像データから第一のホワイトバランス係数算出部が第一のホワイトバランス係数を算出し、第二のホワイトバランス係数算出部が特定被写体に基づいて第二のホワイトバランス係数を算出し、特定色度評価部による評価結果または撮像条件制御部の撮像条件に基づき、ホワイトバランス合成部が、第一のホワイトバランス係数および第二のホワイトバランス係数を重み付けすることにより、第三のホワイトバランス係数を算出することを特徴としている。これにより、特定被写体として、人物の顔、胴体、手、足の他、人物以外の動物のなどを検出し、特定被写体から算出された特定の色に関する色度値である特定色度の評価値または撮像条件を用いて、適切なホワイトバランス係数を決定することで、ホワイトバランスの精度を高めている。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００２−２３２９０６号公報
【特許文献２】特開２００９−１０８１４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
従来、光源として太陽光をはじめ、蛍光灯や白熱灯などが考慮されてきたが、近年ＬＥＤ(Light Emitting Diode)照明や有機ＥＬ（Electro-Luminescence）照明などの新たな光源の普及が始まっている。これらの光源は、従来の光源とは異なる様々なスペクトルを持っており、撮像装置側の持つカラーフィルタの特性によっては大きく色味が崩れる場合がある。これにより従来の手法では、光源自体の色は黒体放射軌跡付近にあるものの、カメラを通した画像からはそれが判別できなくなる他、肌色等の色味も崩れて正確に判断することができなくなることにより、適切なホワイトバランス制御が行えなくなる場合があるという問題がある。また、従来の光源下においても、被写体の色によっては光源色と誤って判断されることにより、ホワイトバランス制御の結果本来と異なる色味の画像になることがあり、人物の顔などの特定被写体がない場合には対応が難しいという問題もある。
【０００８】
本発明は、このような事情に鑑みてなされたもので、ＬＥＤやＥＬといった照明光下においても適切なホワイトバランス制御を可能とする他、従来の光源下においても被写体の色によらずより安定したホワイトバランス制御を実現することができる画像処理装置、画像処理方法及び画像処理プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００９】
本発明は、撮像した画像からホワイトバランスを制御するためのパラメータを決定する画像処理装置であって、前記画像から所定の閾値以下の画素値を持つ画素を検出し、各色ごとの画素値平均からパラメータを算出するパラメータ算出手段と、前記パラメータを基に、ホワイトバランスの補正を行う画像補正手段とを備えることを特徴とする。
【００１０】
本発明は、撮像した画像からホワイトバランスを制御するためのパラメータを決定する画像処理装置であって、前記画像を全体もしくは少なくとも２つ以上の領域に分割して、各色ごとの画素値平均からパラメータを算出する第１のパラメータ算出手段と、前記画像から所定の閾値以下の画素値を持つ画素を検出し、各色ごとの画素値平均からパラメータを算出する第２のパラメータ算出手段と、前記２つのパラメータ算出手段によって算出されたパラメータを基に、ホワイトバランス補正を行うための補正パラメータを決定するパラメータ決定手段とを備えることを特徴とする。
【００１１】
本発明における前記パラメータ決定手段は、前記第１のパラメータ算出手段によって算出されたパラメータにより光源色を推定し、推定した光源色が黒体放射軌跡から所定の閾値以上距離を持つ場合に、前記第２のパラメータ算出手段を参照して補正パラメータを決定することを特徴とする。
【００１２】
本発明における前記パラメータ決定手段は、前記第１のパラメータ算出手段によって算出されたパラメータにより光源色を推定し、推定した光源色がＤ６５から所定の閾値以上距離を持つ場合に、前記第２のパラメータ算出手段を参照して補正パラメータを決定することを特徴とする。
【００１３】
本発明における前記パラメータ決定手段は、前記第１のパラメータ算出手段により算出されたパラメータと、前記第２のパラメータ算出手段により算出されたパラメータの平均を補正パラメータとすることを特徴とする。
【００１４】
本発明における前記パラメータ決定手段は、前記第１のパラメータ算出手段において、各領域ごとに算出したパラメータが黒体放射軌跡から所定の閾値以内となる領域の数に応じて、前記第１のパラメータ算出手段により算出されたパラメータと、前記第２のパラメータ算出手段により算出されたパラメータの平均をとる際に重み付けを行うことを特徴とする。
【００１５】
本発明における前記パラメータ決定手段は、前記第１のパラメータ算出手段において、各領域ごとに算出したパラメータのうち、前記第２のパラメータ算出手段において算出されたパラメータから推定される光源色からの差異が所定の閾値以内となるパラメータを用いて補正パラメータを決定することを特徴とする。
【００１６】
本発明は、撮影環境が屋内であるか否かを判別するためのセンサをさらに備え、前記センサにより屋内と判断される場合には前記第１のパラメータ算出手段により算出されたパラメータと前記第２のパラメータ算出手段により算出されたパラメータから補正パラメータを決定することを特徴とする。
【００１７】
本発明は、撮像した画像からホワイトバランスを制御するためのパラメータを決定する画像処理方法であって、前記画像から所定の閾値以下の画素値を持つ画素を検出し、各色ごとの画素値平均からパラメータを算出するパラメータ算出ステップと、前記パラメータを基に、ホワイトバランスの補正を行う画像補正ステップとを有することを特徴とする。
【００１８】
本発明は、撮像した画像からホワイトバランスを制御するためのパラメータを決定する画像処理方法であって、前記画像を全体もしくは少なくとも２つ以上の領域に分割して、各色ごとの画素値平均からパラメータを算出する第１のパラメータ算出ステップと、前記画像から所定の閾値以下の画素値を持つ画素を検出し、各色ごとの画素値平均からパラメータを算出する第２のパラメータ算出ステップと、前記２つのパラメータ算出ステップによって算出されたパラメータを基に、ホワイトバランス補正を行うための補正パラメータを決定するパラメータ決定ステップとを有することを特徴とする。
【００１９】
本発明は、撮像した画像からホワイトバランスを制御するためのパラメータを決定する画像処理プログラムであって、前記画像から所定の閾値以下の画素値を持つ画素を検出し、各色ごとの画素値平均からパラメータを算出するパラメータ算出ステップと、前記パラメータを基に、ホワイトバランスの補正を行う画像補正ステップとをコンピュータに行わせることを特徴とする。
【００２０】
本発明は、撮像した画像からホワイトバランスを制御するためのパラメータを決定する画像処理プログラムであって、前記画像を全体もしくは少なくとも２つ以上の領域に分割して、各色ごとの画素値平均からパラメータを算出する第１のパラメータ算出ステップと、前記画像から所定の閾値以下の画素値を持つ画素を検出し、各色ごとの画素値平均からパラメータを算出する第２のパラメータ算出ステップと、前記２つのパラメータ算出ステップによって算出されたパラメータを基に、ホワイトバランス補正を行うための補正パラメータを決定するパラメータ決定ステップとをコンピュータに行わせることを特徴とする。
【発明の効果】
【００２１】
本発明によれば、従来考慮されていなかったＬＥＤやＥＬ等の照明光下においても、より適切なホワイトバランス制御を行うことが可能になるという効果が得られる。
【図面の簡単な説明】
【００２２】
【図１】本発明の第１の実施の形態による画像処理装置の一構成例を示すブロック図である。
【図２】本発明の第１の実施の形態による画像処理装置で処理される画像データの一例である。
【図３】本発明の第１の実施の形態による画像処理装置における黒領域パラメータ算出手段の動作を示すフローチャートである。
【図４】各種光源のスペクトルを表した図である。
【図５】図４に示す各光源の光源色をｘｙ色度座標上に表した図である。
【図６】撮像手段のカラーフィルタ特性を示す図である。
【図７】光源のスペクトルと撮像手段のカラーフィルタ特性を比較する図である。
【図８】本発明の第２の実施の形態による画像処理装置の一構成例を示すブロック図である。
【図９】本発明の第２の実施の形態による画像処理装置の処理手順を示すフローチャート図である。
【図１０】撮像素子により取得した画像データと、白領域パラメータ算出手段における領域分割を示す図である。
【図１１】画像データを領域分割した際の、領域ごとに算出されたパラメータを色度座標上に表現した図である。
【図１２】黒領域パラメータ算出手段が認識した黒領域を示す図である。
【図１３】本発明の第３の実施形態による画像処理装置の一構成例を示す図である。
【図１４】白領域パラメータ算出手段と黒領域パラメータ算出手段から算出されたパラメータから光源色をｘｙ色度座標上で推定した位置を示す図である。
【発明を実施するための形態】
【００２３】
＜第１の実施の形態＞
以下、図面を参照して、本発明の第１の実施の形態による画像処理装置について説明する。図１は本発明の第１の実施の形態による画像処理装置の構成を示すブロック図である。画像処理装置１００は、ＣＣＤ撮像素子を備える撮像手段１０１から出力される画像データから、黒と判断される領域を抽出しホワイトバランス補正パラメータを算出する黒領域パラメータ算出手段１０２と、黒領域パラメータ算出手段１０２によって算出されたパラメータを基に画像データに補正処理を行う画像補正手段１０３からなる。画像処理装置１００から出力される画像データは、フラッシュメモリ等で構成するデータ保持手段１０４に保存される。図中の矢印は電気信号やデータの流れを示している。
【００２４】
図２に、撮像手段１０１から画像処理装置１００へ出力される画像データ１１０の一例を示す。画像データ１１０の被写体はカラーチャート１１１であり、背景はグレーであるものとする。カラーチャート１１１は、内部の四角部分がそれぞれ異なる色で構成され、画像評価などに使用されるものである。ここでは、カラーチャート１１１は２４色であり、斜線部１１２は無彩色であり、斜線部１１２は上から順にマンセル表色系でＮ９．５、Ｎ８、Ｎ６．５、Ｎ５、Ｎ３．５、Ｎ２で構成され、一番左の白から始まり、右に行くほど暗いグレーに、一番右が黒となっている。
【００２５】
黒領域パラメータ算出手段１０２は、画像中から黒と判断される領域を抽出し、抽出した画素値をＲＧＢ（赤、緑、青）ごとに全て平均化することで、ホワイトバランス補正パラメータを算出する。図２中では、カラーチャート１１１の黒で示される部分は黒色であるためこの部分と、黒と濃いグレーである縞線部１１２が抽出される。
【００２６】
次に、図３を参照して、図１に示す黒領域パラメータ算出手段１０２の処理動作を説明する。図３は、図１に示す黒領域パラメータ算出手段１０２処理動作を示すフローチャートである。黒領域パラメータ算出手段１０２は、あらかじめ保持している黒であるか否かを判別するための閾値を読み出す（ステップＳ１１）。ここでは、ＲＧＢ値の合算値が１５０以下の領域を黒領域とするものとし、閾値を１５０とする。画像データ内の画素値を順に探索し、画素値のＲＧＢの合計が閾値以下であるか否かを判定する（ステップＳ１２）。閾値以下であった場合、その画素値を持つ部分は黒領域であると判断し、ＲＧＢ個別に画素値を積算する（ステップＳ１３）。この処理を全ての画素値について行う（ステップＳ１４）。全ての画素値について判別が終了後、積算したＲＧＢ値をそれぞれ黒領域と判断した画素数で除算し、平均を出す。この値をホワイトバランス補正パラメータとして決定する（ステップＳ１５）。
【００２７】
なお、黒であるか否かを判別するための閾値は、ここではあらかじめ決められ、保持されているとしたが、ユーザーが変更できるようになっていても良く、画像の明るさに応じて適宜選択されるようになっていても良い。また、ここではＲＧＢ値の合計で閾値を設定しているが、ＲＧＢのそれぞれに閾値が設定されていてもよい。
【００２８】
黒領域パラメータ算出手段１０２は、このようにして決定したホワイトバランス補正パラメータを画像補正手段１０３へ出力する。画像補正手段１０３は、ホワイトバランス補正パラメータのＲＧＢごとのバランスを見る。例えば、Ｇを１としＲＧＢの比が、１．２対１．０対０．８であったとする。このとき、画像補正手段１０３は全てのバランスが一致するよう、画像全体に対し各画素値のＲを１．２、Ｂを０．８で除算することによりホワイトバランスを調整する。
【００２９】
このように、黒領域を抽出してホワイトバランス補正パラメータを算出することにより、ＬＥＤなどの特殊な光源下の環境の場合に、黒体放射軌跡から離れた場合にもホワイトバランスを制御することが可能となる。黒体放射軌跡とは、黒体というエネルギーを完全に吸収する物体において、温度が上昇していくと発する光の色が変化するが、このときの色の変化を色度図上にあらわした時の軌跡のことである。各色における黒体の絶対温度を色温度といい、黒体放射軌跡上ではないものの、黒体放射の色と近い色を相関色温度という。一般に人工の光源も、この黒体放射軌跡近辺に色度座標が来るような光源色であることがほとんどである。ＬＥＤなどの照明もこの黒体放射軌跡に近くなるよう設計されていることが多い。
【００３０】
しかし、ＬＥＤのような急峻なピークを持つ光源の場合、光源色自体は黒体放射軌跡に近いものの、撮像素子のカラーフィルタの特性によっては黒体放射から大きく外れていると判断されることがある。図４は、様々な光源のスペクトルを示したものであり、（ａ）と（ｂ）のスペクトルはＬＥＤ、（ｃ）は通常の電球のスペクトルを示したものである。横軸は波長、縦軸は強度であり、縦軸の値は強度１で正規化している。これらのスペクトルを比較すると、（ａ）と（ｂ）に関しては概形は類似しているものの、４４０ｎｍ付近のピークの高さや６００ｎｍ付近にピークを持つ山の半値幅は異なっている。また、（ｃ）のスペクトルはこれら２つとは全く異なるものとなっている。これらのスペクトルからｘｙ色度座標を算出し、ｘｙ色度座標上にプロットしたものを図５に示す。図５において横軸はｘｙ色度座標におけるｘ、縦軸はｙ、図中の白抜きの丸はＤ６５の色度座標を示しており、図中ａｂｃの点はそれぞれ図４の（ａ）〜（ｃ）の各光源に対応している。それぞれの光源の色度座標は、図５中のａ〜ｃに示すとおり、スペクトルはまったく異なるにもかかわらず、非常に近い値になっておりほぼ同様の光色であることがわかる。
【００３１】
なお、ＲＧＢ値のｘｙ色度座標への変換においては、画像処理を施す前の撮像素子から得られる生のＲＧＢ値が全て同一の値の時に白となるよう撮像素子の特性を考慮して変換することとなる。白とは例えば、一般的なモニタ、プリンタ、デジタルカメラなどが準拠している国際電気標準会議（ＩＥＣ）が定めた国際標準規格ｓＲＧＢ色空間であればＤ６５となる。白がＤ６５に、純粋な赤（ＲＧＢ値のＲのみ２５５、他が０）、青（Ｂのみ２５５、他が０）、緑（Ｇのみ２５５、他が０）が規格上の色度座標に位置するような変換行列をあらかじめ保持、あるいは算出し、これにしたがってＲＧＢ値を変換することでｘｙ色度座標上に変換することとなる。
【００３２】
これらの光源下において、カメラで撮像した場合を考える。図６は、撮像手段１０１のカラーフィルタ特性の一例である。横軸は波長、縦軸は１に正規化したカラーフィルタの透過率を表し、実線がＢ（青）、太い波線がＧ（緑）、細かい点線がＲ（赤）のフィルタ特性を表している。このカラーフィルタのうちＧのカラーフィルタと、図４（ａ）と（ｂ）のスペクトルを重ねたものを図７に示す。本来であれば、ほぼ同様の色度座標を持つ光源であるため、撮像手段１０１で同一の被写体を撮像した場合、同じ値になる必要がある。しかし、図７に示すように、光源のスペクトルが異なるために、Ｇの値は違う値となる。Ｇのフィルタと光源のスペクトルを比較すると、図７（ａ）のほうが図７（ｂ）よりも重なり部分が大きく、（ａ）のＧの値の方が大きくなることがわかる。
【００３３】
このように、スペクトルによってＲＧＢ値が変わってくることから、従来一般的に行われているホワイトバランス制御手法を用いた場合に、制御ができなくなることがある。従来の手法では、画像内全体、あるいは複数の領域に分けて各領域ごとにＲＧＢ各色の画素値平均を求める。これは、様々な色を平均化すると無彩色に近づくと言う理論に基づいている。そして、この平均化されたＲＧＢデータをｘｙ座標系に変換し、黒体放射付近にある場合に光源色を推定できたと判断し、領域を分割した場合は黒体放射軌跡付近の値のみを使ってＲＧＢのバランスが一致するよう画像処理を行う。黒体放射付近で無い場合、被写体そのものの色と判断し、補正を行わないこととなる。この手法では、カラーフィルタと光源のスペクトルによっては、白色部分から求めた光源を示すＲＧＢデータであっても、黒体放射軌跡から外れてしまうことにより、適切な制御が行われないことがありうる。このようにＬＥＤ光源などでは黒体放射軌跡から外れていても、それをパラメータとして補正処理を行わないとおかしな色となってしまうことがありうるが、黒体放射軌跡から外れていても常に制御すると、被写体の色にも左右されてしまうことになり、従来適切に制御できていた状況でも色が崩れてしまうことになりうる。
【００３４】
そのため、前述したように黒領域を抽出し、そこから算出した補正パラメータが黒体放射軌跡付近か否かを判断することなく、このパラメータを用いて補正することにより、ＬＥＤのような特殊な光源下であっても適切なホワイトバランスを実現することが可能となる。画像中には通常物体の影となる部分が存在し、黒色の被写体やグレーの無彩色部分、そしてこの影となる部分が抽出され、パラメータが算出されることとなり、黒部分は無彩色であるため、光源色の影響をそのまま反映している。また、影部分は被写体そのもの色による影響が少ないため、黒の被写体部分と合わせて算出されたパラメータは光源色を反映したものとなるためである。
【００３５】
なお、ここではｘｙ色度座標上で説明を行ったが、この色度座標上である必要は無く、ｕｖ座標上、ｕ’ｖ’座標上など他の表色系であっても良い。その場合、表現の方法により閾値の値や設定方法なども適宜変わることになる。また、ここではホワイトバランス制御時にＲＧＢのバランスが１対１対１になるものとして説明を行ったが、人間の目の順応を考慮して、例えば光源がＡ光源の場合には完全に一致するようにせず、赤味を残すように制御するなど、設計思想により適切なホワイトバランス制御は変わる。また、ここでは説明のため被写体をカラーチェッカーとしたが、これに限定されるものではなく被写体は様々なものがある。同様に撮像手段についてもここではＣＣＤとしたがＣＭＯＳなどの他の撮像素子であっても構わない。
【００３６】
また、ここでは撮像手段から出力される画像データそのものから黒領域を抽出するものとしたが、色変換後の画像から黒領域を抽出しても良い。例えば、ｓＲＧＢ色空間上に撮像手段の特性を考慮した色変換行列を用いて色変換を行い、この空間上の画像で黒を抽出する等である。なお、色空間はここではｓＲＧＢとしているが、これに限定するものではなくＡｄｏｂｅＲＧＢなど他の色空間であっても良い。
【００３７】
また、黒領域の抽出における閾値は、リニアＲＧＢ空間上で取り得る最大値に対し１８％以下であることが望ましい。リニアＲＧＢ空間とは、一般的にカメラからの出力画像ではディスプレイの特性をキャンセルする為にガンマ処理が行われているが、これが行われる前のＲＧＢ値であり、カメラへの入力に対して線形な特性を持つ。一般にマンセル表色系において色相は５Ｒ（赤）、７Ｇ（緑）などと数値と色の組み合わせで表現され、各色相において代表する色は５Ｒのように数値５で表される。無彩色はＮ１からＮ９で表され（Ｎはニュートラルを意味する）、無彩色の代表はＮ５となる。このＮ５を境に白に近いか、黒に近いかを判断することができる。Ｎ５とは反射率１８％の無彩色を意味し、このことから１８％以下とすることで、影などの暗い無彩色部分を精度良く抽出することが可能となり、注目する被写体の色などを含んでしまい、被写体が黒体放射に近い色であった場合に誤動作することを防ぐことができ、より効果的な制御が可能となる。また、ここでは取り得る値の最大値を基準としたが、露出に応じて画像中の最大輝度値を持つ画素値に対して１８％というように明るさに応じて適応的に閾値を設定することにより、暗い画像であっても適切に暗部のみを抽出することが可能となる。
【００３８】
＜第２の実施の形態＞
次に、本発明の第２の実施の形態による画像処理装置について説明する。図８は、本発明の第２の実施の形態による画像処理装置の構成を示すブロック図である。画像処理装置２００は、ＣＣＤ撮像素子を備える撮像手段２０１から出力される画像データから、白と判断される領域を抽出しホワイトバランス補正パラメータを算出する第１のパラメータ算出手段である白領域パラメータ算出手段２０２と、算出したパラメータの算出条件から妥当性を判断するパラメータ判定手段２０３、画像データから黒と判断される領域を抽出してホワイトバランス補正パラメータを算出する第２のパラメータ算出手段である黒領域パラメータ算出手段２０４、白領域パラメータ算出手段２０２により算出されたホワイトバランス補正パラメータと、黒領域パラメータ算出手段２０４により算出された補正パラメータから、最終的なホワイトバランス補正パラメータを決定するパラメータ決定手段２０５、このパラメータ決定手段２０５によって決められたホワイトバランス補正パラメータを用いて画像データを補正する画像補正手段２０６によって構成される。画像処理装置２００から出力されたデータは、フラッシュメモリやハードディスク等の記憶装置で構成するデータ保持手段２０７に保存される。図中の矢印は電気信号やデータの流れを示している。
【００３９】
次に、図９を参照して、図８に示す画像処理装置２００の処理動作を説明する。図９は、図８に示す画像処理装置２００画像処理動作を示すフローチャートである。まず、白領域パラメータ算出手段２０２は、撮像手段２０１において光電変換することにより得られた画像データを入力する。白領域パラメータ算出手段２０２は、撮像手段２０１から入力した画像データを複数の領域に分割する。ここで、図１０を参照して、画像データを領域分割について説明する。撮像手段２０１で取得される画像データの一例である画像データ２１０において、被写体はカラーチャート２１１、画用紙２１２であるとする。ここでは、第１の実施形態と同様カラーチャート２１１は２４色であり、画用紙１１２に近い６つの四角、斜線部２１３は無彩色であり、一番上の黒から始まり、下に行くほど明るいグレーに、一番下が白となっている。画用紙２１２は、ここでは黄色であるものとする。また、カラーチャート２１１、画用紙２１２の背景部分はグレーの被写体であるものと仮定する。図中に示す点線で囲まれる各領域が、白領域パラメータ算出手段２０２によって分割された領域を示している。また、このときの被写体の照明光は蛍光灯のＤ６５光源であるとする。
【００４０】
図９に戻り、白領域パラメータ算出手段２０２は、画像データ２１０を１８の領域に分割し、各領域ごとに領域内の画素値平均を算出する（ステップＳ２１）。これは、画像全体の色の平均が無彩色に近づくことを利用して、この結果から光源の種類や色温度を特定するためである。一般に、算出されたＲＧＢ各色ごとのバランスを見て、この比が１：１：１になるよう各色のゲインを調整することでホワイトバランスの補正を行っている。前述のように、各領域ごとに画素値を平均し、そのＲＧＢデータをｘｙ色度座標上に変換し、黒体放射軌跡からの距離を算出する。
【００４１】
次に、白領域パラメータ算出手段２０２は、黒体放射軌跡に近いｘｙ色度座標となる領域のＲＧＢデータのみを使用して、この選出した領域のＲＧＢデータをさらに平均し、ただ一組のＲＧＢデータを算出する（ステップＳ２２）。彩度の高い被写体が画像内の多くを占める場合に、画像全体のＲＧＢ値の平均が無彩色から離れてしまい、これを基にホワイトバランス制御を行った場合に画像の色味が崩れることがありうるが、このように、黒体放射軌跡付近のＲＧＢデータだけを用いてホワイトバランス補正パラメータを算出することで防止している。
【００４２】
ステップＳ２２の処理の詳細を以下に示す。例えば、図１０において上段左から５番目の領域をＡ、下段左から２番目の領域をＢ、下段左から３番目の領域をＣとして、この３つの領域で画素平均したＲＧＢをｘｙ色度座標上に変換し、判定を行うとする。図１１は、この３つの領域においてＲＧＢごと画素平均をとり、そのＲＧＢ値をｘｙ色度座標に変換した時の座標をプロットしたものである。横軸がｘ座標、縦軸がｙ座標を表しており、図中の点線は黒体放射軌跡、実線は黒体放射軌跡から距離０．５となる位置を示す線である。黒体放射軌跡上の黒三角で示す点は、Ａ光源の色度座標を示しており、参考として記載している。Ａの領域のＲＧＢ平均から算出した色度座標は、画用紙２１２の多くを含み、画用紙２１２は黄色であるためＡ光源に近い場所に位置している。
【００４３】
また、領域Ｂについては黒体放射軌跡からはずれ、実線で示す黒体放射軌跡から距離０．５よりも外側に位置している。また、領域Ｃは、黒体放射軌跡上であり、この位置はＤ６５である。領域Ｃは、斜線部２１３に示す無彩色領域が多くを占め、背景も無彩色であるため、光源の色温度をほぼ正確に特定できている。これら各領域ごとの色度座標に対し、領域Ｂは判定の閾値である黒体放射軌跡からの距離０．５を超えているため除外し、領域Ａと領域ＣのＲＧＢ値を用いて、これを平均しホワイトバランス補正パラメータとなるＲＧＢ値を算出することとなる。なお、ここでは、説明を簡単に行うため上記３つの領域のみで考慮したが、同様のことを分割したすべての領域について行う。また、領域の分割数はここでは１８分割としたが、これに限定されるものではなく求める精度や状況に応じて幾つであってもよい。
【００４４】
上記ステップＳ２２の処理を１８個の領域において行うと、画用紙１１３の占める領域が多く、かつ画用紙２１３が設定された黒体放射からの距離の閾値内に含まれるため、本来Ｃ領域から算出される色度座標から計算される色温度が正しい照明光の色を示すにもかかわらず、算出される補正パラメータは領域Ａで示した色度座標に近いものとなり、Ａ光源に近い照明光であると判断されることとなる。このように、被写体の色によっては被写体の色は除外されるべきであるにもかかわらず光源色と誤って判断され、色味が崩れる結果となる。
【００４５】
これを防止するため、白領域パラメータ算出手段２０２は、ステップＳ２２で算出したホワイトバランス補正パラメータを、パラメータ判定手段２０３へ出力する。パラメータ判定手段は２０３は、このＲＧＢ値から色温度を算出する。この色温度が光源の色温度を推定したものとなるが、パラメータ判定手段２０３は、これがＤ６５付近にあるか否かを判定する（ステップＳ２３）。Ｄ６５付近にある場合、本来の光源色と多少違いがあってもあまり色味が崩れないと想定されることから、正確に光源の推定ができていると判断し、そのまま画像データと補正パラメータをパラメータ決定手段２０５へ出力する。Ｄ６５付近に無かった場合、前述のように被写体の色を光源色と誤って判断している可能性があると判定し、画像データを黒領域パラメータ算出手段２０４へ出力すると共に、白領域パラメータ算出手段２０２で算出された補正パラメータをパラメータ決定手段１０５へと出力する。
【００４６】
Ｄ６５付近か否かの閾値は、あらかじめ設定されているものとする。例えば、ｘｙ色度座標上でＤ６５からの距離が０．５以内などである。Ｄ６５からの距離に応じて制御を変えることにより、被写体の色の影響があるか否かを判定し、安定したホワイトバランス制御が行える他、必要な場合のみ黒領域抽出の処理を行うことにより処理の軽減を図ることが可能となる。
【００４７】
黒領域パラメータ算出手段２０４は、出力された画像データから、ある閾値以下の画素値を持つ部分を抽出し、この部分のＲＧＢ画素平均を算出する（ステップＳ２５）。例えば、ＲＧＢ値の合計値が１００以下となる画素値を持つ部分を抽出する。図１２を参照して説明すると、カラーチャート２１１で示される黒枠部分は、黒色であるものとするとこの部分が抽出され、同じくカラーチャート２１１中の無彩色部分のうち、輝度の低い黒とグレー部である暗部２１４が画素値が閾値以下となる部分に相当し、この部分のＲＧＢごとの平均値を算出する。
【００４８】
これを、パラメータ補正係数としてパラメータ決定手段２０５へと出力する。画像中には、たいていの場合物体の影となる部分が存在し、黒色の被写体やグレーの無彩色部分、そしてこの影となる部分が抽出され、パラメータが算出されることとなる。黒部分は無彩色であるため、光源色の影響をそのまま反映している。また、影部分は被写体そのもの色による影響が少ないため、黒の被写体部分と合わせて算出されたパラメータは光源色を反映したものとなる。これを、ある閾値以下の画素値平均も白領域から算出したパラメータとあわせて使用することで、安定したホワイトバランス制御を行うことが可能となる。
【００４９】
パラメータ決定手段２０５は、パラメータ判定手段２０３から出力された白領域パラメータ算出手段２０２により算出されたパラメータと、黒領域パラメータ算出手段２０４より出力されたパラメータから、単一の補正パラメータを決定する。パラメータ判定手段２０３において、光源色がＤ６５付近にあると判定された場合には、黒領域パラメータ算出手段２０４からのパラメータは存在しないため、そのまま白領域パラメータ算出手段２０２で算出されたパラメータをホワイトバランス補正パラメータとして決定する（ステップＳ２４）。
【００５０】
一方、パラメータ判定手段２０３において、白領域から算出されたパラメータから推測される光源色がＤ６５付近にないと判定された場合、白領域と黒領域のそれぞれのパラメータを平均して、補正パラメータとして決定する（ステップＳ２６）。そして、決定した補正パラメータと画像データを画像補正手段２０６へと出力する。このように、白領域と黒領域のそれぞれから算出されたパラメータを用いて、最終的な補正パラメータを決定することで、被写体の色による影響を低減した安定したホワイトバランス補正を行うことが可能となる。
【００５１】
画像補正手段２０６は、パラメータ決定手段２０５から出力された画像データを、ホワイトバランス補正パラメータに従い補正を行う（ステップＳ２７）。出力された補正パラメータのＲＧＢ比に従い、ＲとＧとＢのバランスがほぼ同一となるよう、ＲとＢのゲインを調整することでホワイトバランスが調整される。ホワイトバランス調整が行われた画像データは、データ保持手段２０７へ出力され、ここで保持される。
【００５２】
なお、本実施例においては説明のため発明の特徴であるホワイトバランスに着目して記載しており、露出制御や画像をより好ましく見せるための色変換など、その他の画像処理は記載していないが、これらと合わせて使用してよい。また、ここではＲＧＢバランスがほぼ同一になるようにゲインを調整したが、補正パラメータのＲＧＢ比からあらかじめ備えるテーブルを参照してゲインを算出し、補正するようにしても良い。
【００５３】
また、本実施形態中に示したいくつかの閾値の値は例であり、この値に限定されるものではない。また、パラメータ決定手段２０５で、ここでは単純に第１のパラメータである白領域からのパラメータと、第２のパラメータである黒領域のパラメータを平均化したが、画素値そのものを用いた場合黒領域のパラメータのほうが小さくなるため、適宜重み付けをして平均化するようにしても良く、Ｇ基準で正規化したのち平均化するようにして、パラメータを比として扱うようにしてもよい。このように、重み付けをして平均化することにより、黒領域の影響をきちんと反映でき、より適切な制御が可能となる。
【００５４】
また、ここでは画像データから算出した白領域パラメータは黒体放射軌跡近辺にいくつか存在していたが、第１の実施形態のように白領域パラメータで推定される光源色が黒体放射軌跡付近に無い場合に、黒領域から算出したパラメータを使用しても良い。このように、通常は白領域パラメータを用い、白領域パラメータが黒体放射に無い場合には被写体の色による影響や光源がＬＥＤなどの特殊光であると判断して制御することで、従来の手法を用いた際の特徴を保ちつつ、白領域パラメータが適切な値を示さず制御ができなかった様々な環境化で、安定したホワイトバランス制御を行うことが可能となる。
【００５５】
また、ここでは被写体としてカラーチャートと画用紙として説明を行ったが、被写体はこれに限るものではなく、様々な被写体であってよい。また、ここでは記載は表示手段を備え、表示手段に表示しデータ保持手段への保存をするか否かを選択するというように、様々な応用例が考慮されるが本発明の特徴の本質とは関わらないため、ここでは省略している。
【００５６】
＜第３の実施の形態＞
次に、本発明の第３の実施の形態による画像処理装置について説明する。図１３は、本発明の第３の実施の形態による画像処理装置の構成を示すブロック図である。画像処理装置３００は、ＣＣＤ撮像素子を備える撮像手段３０１から出力される画像データから、白と判断される領域を抽出しホワイトバランス補正パラメータを算出する第１のパラメータ算出手段である白領域パラメータ算出手段３０２と、算出したパラメータの算出条件と光源判別手段３０８からの情報を基にパラメータの妥当性を判断するパラメータ判定手段３０３、画像データから黒と判断される領域を抽出してホワイトバランス補正パラメータを算出する第２のパラメータ算出手段である黒領域パラメータ算出手段３０４、白領域パラメータ算出手段３０２により算出されたホワイトバランス補正パラメータと、黒領域パラメータ算出手段３０４により算出された補正パラメータから、最終的なホワイトバランス補正パラメータを決定するパラメータ決定手段３０５、このパラメータ決定手段３０５によって決められた補正パラメータを用いて画像データを補正する画像補正手段３０６によって構成される。
【００５７】
画像処理装置３００から出力されるデータは、フラッシュメモリやハードディスク等の記憶装置で構成するデータ保持手段３０７に保存される。また、画像処理装置３００には、照度センサで構成する光源判別手段３０８が接続される。図中の矢印は電気信号やデータの流れを示している。
【００５８】
撮像手段３０１は、光電変換を行い画像データを取得し、画像処理装置３００の白領域パラメータ算出手段３０２へと出力する。画像処理装置３００で行われる画像処理については、第２の実施形態と同様である。以下に、第２の実施形態と異なる点を中心に説明を行う。白領域パラメータ算出手段３０２は、撮像手段３０１から出力された画像データを領域分割し、各領域ごとにパラメータを算出する。この各領域ごとのパラメータを全てパラメータ判定手段３０３へと出力する。
【００５９】
パラメータ判定手段３０３は、光源判別手段３０８から出力される情報を基に、黒領域パラメータ算出手段３０４でパラメータを算出するか否かを判定する。光源判別手段３０８は、照度センサで構成され撮影環境の照度を取得する。照度が高い場合は撮影環境を屋外、照度が低い場合には撮影環境を屋内であると判断し、屋内である場合のみ黒領域パラメータ算出手段３０４でパラメータを算出するよう画像データを出力する。屋外の場合、ＬＥＤのような特殊光源環境ではないことと、明るく黒領域の占める割合が小さく従来通りの手法を用いる方が安定するため、黒領域でのパラメータ算出を行わないようにする。このようにすることで、どのような環境であっても安定したホワイトバランス補正が可能となる。屋内である場合、黒領域パラメータ算出手段３０４は、第２の実施形態同様に画像データから黒領域を抽出し、パラメータを算出する。そしてこのデータをパラメータ決定手段３０５へと出力する。
【００６０】
パラメータ決定手段３０５は、白領域パラメータ算出手段３０２からのパラメータと黒領域パラメータ算出手段３０４からのパラメータから、補正パラメータを決定する。図１４は、これらパラメータから光源色を推定したもので、ｘｙ色度座標上に示したものである。横軸はｘｙ色度座標のｘを、縦軸はｘｙ色度座標のｙ座標を示している。白領域パラメータ算出手段３０２によって算出された各領域ごとのパラメータをＢとして黒い四角で示しており、黒領域パラメータ算出手段３０４によって算出されたパラメータをＡとして黒い丸で示している。点線は黒体放射軌跡、実線はそれぞれ黒体放射軌跡からｘｙ色度座標上での距離０．５位置を示しており、白抜きの丸はＤ６５、黒三角はＡ光源の色度座標である。これにより、分割した白領域のうち４つのエリアから算出したパラメータが黒体放射から所定の距離以内の部分に入っていることがわかり、そのうち２つはＤ６５付近に、残りはＡ光源付近にある。同一の光源環境下であるにも関わらず、このように異なるパラメータが算出されているのは画像の被写体の色に影響され、誤った推定データが出ているためである。ここで、黒領域から算出されたパラメータＡを見ると、Ｄ６５付近にある。
【００６１】
そのため、正しい光源色はＤ６５付近にあるものと判断し、Ｄ６５付近のパラメータを平均し、最終的な補正パラメータを決定する。このように、白領域から算出されたパラメータのうち、黒領域から算出されたパラメータから所定の距離以内（閾値等で判別する）のパラメータを用いて補正パラメータを決定することにより、被写体の色に影響され画像の補正時に色味が崩れ、適切なホワイトバランスが取れなくなることを防止することが可能となる。これ以降の処理は、第２の実施形態と同様のため、詳細な説明を省略する。
【００６２】
なお、ここでは光源判別手段３０８を照度センサとし、明るさにより屋外か否かを判定するものとしたが、例えば赤外線を感知し、赤外線の有無で屋内外を判別するような赤外センサであってもよく、その他光源そのものを判別可能な分光器などであっても良い。
【００６３】
以上、本発明の実施の形態について説明したが、各実施形態の図における各部品や構成図等は、理解を容易にするために誇張や簡略化を行って記載しており、実際の大きさや比とは異なる。また、本発明は、上述した各実施の形態に限定されるものではなく、請求項に示した範囲内で種々の変更が可能であり、異なる実施の形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。
【００６４】
なお、図１、８、１３に示す画像処理装置１００、２００、３００の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより画像データのホワイトバランス補正係数を算出する処理を行ってもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（ＲＡＭ）のように、一定時間プログラムを保持しているものも含むものとする。
【００６５】
また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。また、上記プログラムは、前述した機能の一部を実現するためのものであってもよい。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であってもよい。
【産業上の利用可能性】
【００６６】
本発明は、撮像素子を用いたデジタルカメラやビデオカメラなどの撮像装置に利用可能である。
【符号の説明】
【００６７】
１０１・・・撮像手段、１００・・・画像処理装置、１０２・・・黒領域パラメータ算出手段、１０３・・・画像補正手段、１０４・・・データ保持手段、２０１・・・撮像手段、２００・・・画像処理装置、２０２・・・白領域パラメータ算出手段、２０３・・・パラメータ判定手段、２０４・・・黒領域パラメータ算出手段、２０５・・・パラメータ決定手段、２０６・・・画像補正手段、２０７・・・データ保持手段、３０１・・・撮像手段、３００・・・画像処理装置、３０２・・・白領域パラメータ算出手段、３０３・・・パラメータ判定手段、３０４・・・黒領域パラメータ算出手段、３０５・・・パラメータ決定手段、３０６・・・画像補正手段、２０７・・・データ保持手段、３０８・・・光源判別手段
【特許請求の範囲】
【請求項１】
撮像した画像からホワイトバランスを制御するためのパラメータを決定する画像処理装置であって、
前記画像から所定の閾値以下の画素値を持つ画素を検出し、各色ごとの画素値平均からパラメータを算出するパラメータ算出手段と、
前記パラメータを基に、ホワイトバランスの補正を行う画像補正手段と
を備えることを特徴とする画像処理装置。
【請求項２】
撮像した画像からホワイトバランスを制御するためのパラメータを決定する画像処理装置であって、
前記画像を全体もしくは少なくとも２つ以上の領域に分割して、各色ごとの画素値平均からパラメータを算出する第１のパラメータ算出手段と、
前記画像から所定の閾値以下の画素値を持つ画素を検出し、各色ごとの画素値平均からパラメータを算出する第２のパラメータ算出手段と、
前記２つのパラメータ算出手段によって算出されたパラメータを基に、ホワイトバランス補正を行うための補正パラメータを決定するパラメータ決定手段と
を備えることを特徴とする画像処理装置。
【請求項３】
前記パラメータ決定手段は、前記第１のパラメータ算出手段によって算出されたパラメータにより光源色を推定し、推定した光源色が黒体放射軌跡から所定の閾値以上距離を持つ場合に、前記第２のパラメータ算出手段を参照して補正パラメータを決定することを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記パラメータ決定手段は、前記第１のパラメータ算出手段によって算出されたパラメータにより光源色を推定し、推定した光源色がＤ６５から所定の閾値以上距離を持つ場合に、前記第２のパラメータ算出手段を参照して補正パラメータを決定することを特徴とする請求項２に記載の画像処理装置。
【請求項５】
前記パラメータ決定手段は、前記第１のパラメータ算出手段により算出されたパラメータと、前記第２のパラメータ算出手段により算出されたパラメータの平均を補正パラメータとすることを特徴とする請求項２に記載の画像処理装置。
【請求項６】
前記パラメータ決定手段は、前記第１のパラメータ算出手段において、各領域ごとに算出したパラメータが黒体放射軌跡から所定の閾値以内となる領域の数に応じて、前記第１のパラメータ算出手段により算出されたパラメータと、前記第２のパラメータ算出手段により算出されたパラメータの平均をとる際に重み付けを行うことを特徴とする請求項５に記載の画像処理装置。
【請求項７】
前記パラメータ決定手段は、前記第１のパラメータ算出手段において、各領域ごとに算出したパラメータのうち、前記第２のパラメータ算出手段において算出されたパラメータから推定される光源色からの差異が所定の閾値以内となるパラメータを用いて補正パラメータを決定することを特徴とする請求項２に記載の画像処理装置。
【請求項８】
撮影環境が屋内であるか否かを判別するためのセンサをさらに備え、前記センサにより屋内と判断される場合には前記第１のパラメータ算出手段により算出されたパラメータと前記第２のパラメータ算出手段により算出されたパラメータから補正パラメータを決定することを特徴とする請求項２から７のいずれかに記載の画像処理装置。
【請求項９】
撮像した画像からホワイトバランスを制御するためのパラメータを決定する画像処理方法であって、
前記画像から所定の閾値以下の画素値を持つ画素を検出し、各色ごとの画素値平均からパラメータを算出するパラメータ算出ステップと、
前記パラメータを基に、ホワイトバランスの補正を行う画像補正ステップと
を有することを特徴とする画像処理方法。
【請求項１０】
撮像した画像からホワイトバランスを制御するためのパラメータを決定する画像処理方法であって、
前記画像を全体もしくは少なくとも２つ以上の領域に分割して、各色ごとの画素値平均からパラメータを算出する第１のパラメータ算出ステップと、
前記画像から所定の閾値以下の画素値を持つ画素を検出し、各色ごとの画素値平均からパラメータを算出する第２のパラメータ算出ステップと、
前記２つのパラメータ算出ステップによって算出されたパラメータを基に、ホワイトバランス補正を行うための補正パラメータを決定するパラメータ決定ステップと
を有することを特徴とする画像処理方法。
【請求項１１】
撮像した画像からホワイトバランスを制御するためのパラメータを決定する画像処理プログラムであって、
前記画像から所定の閾値以下の画素値を持つ画素を検出し、各色ごとの画素値平均からパラメータを算出するパラメータ算出ステップと、
前記パラメータを基に、ホワイトバランスの補正を行う画像補正ステップと
をコンピュータに行わせることを特徴とする画像処理プログラム。
【請求項１２】
撮像した画像からホワイトバランスを制御するためのパラメータを決定する画像処理プログラムであって、
前記画像を全体もしくは少なくとも２つ以上の領域に分割して、各色ごとの画素値平均からパラメータを算出する第１のパラメータ算出ステップと、
前記画像から所定の閾値以下の画素値を持つ画素を検出し、各色ごとの画素値平均からパラメータを算出する第２のパラメータ算出ステップと、
前記２つのパラメータ算出ステップによって算出されたパラメータを基に、ホワイトバランス補正を行うための補正パラメータを決定するパラメータ決定ステップと
をコンピュータに行わせることを特徴とする画像処理プログラム。
【請求項１】
撮像した画像からホワイトバランスを制御するためのパラメータを決定する画像処理装置であって、
前記画像から所定の閾値以下の画素値を持つ画素を検出し、各色ごとの画素値平均からパラメータを算出するパラメータ算出手段と、
前記パラメータを基に、ホワイトバランスの補正を行う画像補正手段と
を備えることを特徴とする画像処理装置。
【請求項２】
撮像した画像からホワイトバランスを制御するためのパラメータを決定する画像処理装置であって、
前記画像を全体もしくは少なくとも２つ以上の領域に分割して、各色ごとの画素値平均からパラメータを算出する第１のパラメータ算出手段と、
前記画像から所定の閾値以下の画素値を持つ画素を検出し、各色ごとの画素値平均からパラメータを算出する第２のパラメータ算出手段と、
前記２つのパラメータ算出手段によって算出されたパラメータを基に、ホワイトバランス補正を行うための補正パラメータを決定するパラメータ決定手段と
を備えることを特徴とする画像処理装置。
【請求項３】
前記パラメータ決定手段は、前記第１のパラメータ算出手段によって算出されたパラメータにより光源色を推定し、推定した光源色が黒体放射軌跡から所定の閾値以上距離を持つ場合に、前記第２のパラメータ算出手段を参照して補正パラメータを決定することを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記パラメータ決定手段は、前記第１のパラメータ算出手段によって算出されたパラメータにより光源色を推定し、推定した光源色がＤ６５から所定の閾値以上距離を持つ場合に、前記第２のパラメータ算出手段を参照して補正パラメータを決定することを特徴とする請求項２に記載の画像処理装置。
【請求項５】
前記パラメータ決定手段は、前記第１のパラメータ算出手段により算出されたパラメータと、前記第２のパラメータ算出手段により算出されたパラメータの平均を補正パラメータとすることを特徴とする請求項２に記載の画像処理装置。
【請求項６】
前記パラメータ決定手段は、前記第１のパラメータ算出手段において、各領域ごとに算出したパラメータが黒体放射軌跡から所定の閾値以内となる領域の数に応じて、前記第１のパラメータ算出手段により算出されたパラメータと、前記第２のパラメータ算出手段により算出されたパラメータの平均をとる際に重み付けを行うことを特徴とする請求項５に記載の画像処理装置。
【請求項７】
前記パラメータ決定手段は、前記第１のパラメータ算出手段において、各領域ごとに算出したパラメータのうち、前記第２のパラメータ算出手段において算出されたパラメータから推定される光源色からの差異が所定の閾値以内となるパラメータを用いて補正パラメータを決定することを特徴とする請求項２に記載の画像処理装置。
【請求項８】
撮影環境が屋内であるか否かを判別するためのセンサをさらに備え、前記センサにより屋内と判断される場合には前記第１のパラメータ算出手段により算出されたパラメータと前記第２のパラメータ算出手段により算出されたパラメータから補正パラメータを決定することを特徴とする請求項２から７のいずれかに記載の画像処理装置。
【請求項９】
撮像した画像からホワイトバランスを制御するためのパラメータを決定する画像処理方法であって、
前記画像から所定の閾値以下の画素値を持つ画素を検出し、各色ごとの画素値平均からパラメータを算出するパラメータ算出ステップと、
前記パラメータを基に、ホワイトバランスの補正を行う画像補正ステップと
を有することを特徴とする画像処理方法。
【請求項１０】
撮像した画像からホワイトバランスを制御するためのパラメータを決定する画像処理方法であって、
前記画像を全体もしくは少なくとも２つ以上の領域に分割して、各色ごとの画素値平均からパラメータを算出する第１のパラメータ算出ステップと、
前記画像から所定の閾値以下の画素値を持つ画素を検出し、各色ごとの画素値平均からパラメータを算出する第２のパラメータ算出ステップと、
前記２つのパラメータ算出ステップによって算出されたパラメータを基に、ホワイトバランス補正を行うための補正パラメータを決定するパラメータ決定ステップと
を有することを特徴とする画像処理方法。
【請求項１１】
撮像した画像からホワイトバランスを制御するためのパラメータを決定する画像処理プログラムであって、
前記画像から所定の閾値以下の画素値を持つ画素を検出し、各色ごとの画素値平均からパラメータを算出するパラメータ算出ステップと、
前記パラメータを基に、ホワイトバランスの補正を行う画像補正ステップと
をコンピュータに行わせることを特徴とする画像処理プログラム。
【請求項１２】
撮像した画像からホワイトバランスを制御するためのパラメータを決定する画像処理プログラムであって、
前記画像を全体もしくは少なくとも２つ以上の領域に分割して、各色ごとの画素値平均からパラメータを算出する第１のパラメータ算出ステップと、
前記画像から所定の閾値以下の画素値を持つ画素を検出し、各色ごとの画素値平均からパラメータを算出する第２のパラメータ算出ステップと、
前記２つのパラメータ算出ステップによって算出されたパラメータを基に、ホワイトバランス補正を行うための補正パラメータを決定するパラメータ決定ステップと
をコンピュータに行わせることを特徴とする画像処理プログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【公開番号】特開２０１１−４０８５６（Ｐ２０１１−４０８５６Ａ）
【公開日】平成２３年２月２４日（２０１１．２．２４）
【国際特許分類】
【出願番号】特願２００９−１８４２１９（Ｐ２００９−１８４２１９）
【出願日】平成２１年８月７日（２００９．８．７）
【出願人】（０００００５０４９）シャープ株式会社 (33,933)
【Ｆターム（参考）】
【公開日】平成２３年２月２４日（２０１１．２．２４）
【国際特許分類】
【出願日】平成２１年８月７日（２００９．８．７）
【出願人】（０００００５０４９）シャープ株式会社 (33,933)
【Ｆターム（参考）】
[ Back to top ]