ホワイトバランス調整装置及び色識別装置
【課題】ホワイトバランス調整の精度を向上する。
【解決手段】撮像装置１０からの画像をブロックに分割し、各ブロックの代表値を用いてホワイトバランスゲインを算出する。各ブロックの代表値を算出するに先立ち、各ブロックを構成する画素毎に、色域判定回路１３で光源色に属するか明らかな物体色領域に属するかを判定する。明らかな物体色領域と判定された画素を除外した残りの画素でそのブロックの代表値を算出する。物体色が代表値に反映されることを防止してホワイトバランスゲインの精度を向上する。
【解決手段】撮像装置１０からの画像をブロックに分割し、各ブロックの代表値を用いてホワイトバランスゲインを算出する。各ブロックの代表値を算出するに先立ち、各ブロックを構成する画素毎に、色域判定回路１３で光源色に属するか明らかな物体色領域に属するかを判定する。明らかな物体色領域と判定された画素を除外した残りの画素でそのブロックの代表値を算出する。物体色が代表値に反映されることを防止してホワイトバランスゲインの精度を向上する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、デジタルカメラ等の撮像装置で撮影された画像のホワイトバランスを調整する技術に関する。
【背景技術】
【０００２】
デジタルカメラ等においては、白い被写体を白く再現するためにオートホワイトバランス調整が行われている。ホワイトバランス方式としては、画像全体の平均が無彩色となるように各画素の信号のＲＧＢ成分のバランスを調整する方式が用いられる。また、画像を複数のブロックに分割し、各ブロックのＲＧＢの平均値を算出し、その平均値が予め定めた範囲に属しているブロックのみを抽出し、抽出したブロック群のＲＧＢの平均値が無彩色となるようにＲＧＢ各成分の調整を行う技術も知られている。
【０００３】
さらに、下記の特許文献には、画像を複数のブロックに分割し、各ブロックの代表値を算出し、全てのブロックの代表値を用いてホワイトバランスゲインを算出する技術が開示されている。
【０００４】
図１２に、この従来技術の構成ブロック図を示す。デジタルカメラ等の撮像装置１０は、画像を撮影し、得られた画像をブロック分割回路１２に出力する。
【０００５】
ブロック分割回路１２は、入力画像を複数のブロックに等分割する。各ブロックは、ｎ×ｍ画素から構成される。ブロック分割回路１２は、各ブロックを順次代表値計算回路１４に出力する。
【０００６】
代表値計算回路１４は、各ブロックを構成するｎ×ｍ個の画素のＲＧＢの平均値を算出し、その平均値に対して次の線形変換を施して代表値（Ｔｌ、Ｔｇ、Ｔｉ）を算出する。
【数１】
ここで、Ｔｌはブロックの輝度、Ｔｇ、Ｔｉはブロックの色差である。代表値計算回路１４は、算出した各ブロックの代表値（Ｔｌ、Ｔｇ、Ｔｉ）をホワイトバランス評価回路１６に出力する。
【０００７】
ホワイトバランス評価回路１６は、各ブロックの信頼度を評価し、信頼度に応じた重み係数を算出してホワイトバランスゲイン計算回路１８に出力する。信頼度は、例えば各光源についての経験的知識を用いて評価され、被写体の輝度が非常に高い場合には照明が蛍光灯である可能性が低いという経験的知識を用いて特定ブロック（蛍光灯の可能性が高いブロック）の重みを被写体輝度が増大するほど小さく設定する。
【０００８】
ホワイトバランスゲイン計算回路１８は、各ブロックの代表値、及びホワイトバランス評価回路１６で算出された各ブロックの信頼度に基づく重み係数を用いて加重平均することによりホワイトバランスゲインを算出する。具体的には、以下の式によりホワイトバランスゲインを算出する。
【数２】
【数３】
【数４】
ここで、ＴｌＭｉｘ、ＴｇＭｉｘ、ＴｉＭｉｘは、各ブロックの代表値の加重平均値である。上記の式で算出された（ＲＭｉｘ、ＧＭｉｘ、ＢＭｉｘ）が被写体を照明する光源の色であり、ホワイトバランスゲインＲｇａｉｎ、Ｇｇａｉｎ、Ｂｇａｉｎはこの光源色が白色物体で反射されたときの色をグレイに補正する（つまりＲ＝Ｇ＝Ｂ）ように設定される。ホワイトバランスゲイン計算回路１８は、算出したゲインをホワイトバランス調整回路２０に出力する。
【０００９】
ホワイトバランス調整回路２０は、撮像装置１０から入力した画像を構成する各画素の画素値Ｒ、Ｇ、Ｂに対してホワイトバランスゲイン計算回路１８で算出したゲインを乗じることで画像のホワイトバランスを調整し、その結果を出力する。
【先行技術文献】
【特許文献】
【００１０】
【特許文献１】特開２０００−９２５０９号公報
【発明の概要】
【発明が解決しようとする課題】
【００１１】
しかしながら、上記従来技術では、各ブロックを構成する全画素のＲ，Ｇ，Ｂ平均値を求め、その平均値に対して（１）式を用いて各ブロックの代表値を算出しているから、あるブロック内に光源色ではない特定の物体色が存在した場合に、そのブロックの平均値はその物体色の影響を受けてしまう。
【００１２】
図１３に、画像を複数のブロックに分割した場合における、あるブロック１００を示す。ブロック１００はｎ×ｍ個の画素から構成され、全画素のＲ，Ｇ，Ｂの単純平均が算出される。ところが、図に示すように、ブロック１００内に緑の葉の画像１０２が存在する場合、背景色と緑色とが平均化されることになるから、その平均値はブロックを照らしている光源の色を反映しなくなり、本来であればデイライトと判定すべきところを蛍光灯と誤って判定しまう事態が生じ得る。
【００１３】
このように、従来技術では、ブロック内に有彩色のものが存在する場合やブロック内が一様でない場合の対策が十分でなく、ホワイトバランス調整の精度低下を招く一因となっていた。
【００１４】
本発明の目的は、ブロック内に有彩色のものが存在する場合やブロック内が一様ではない場合においてもホワイトバランス調整を確実に実行できる装置を提供することにある。
【課題を解決するための手段】
【００１５】
本発明は、入力画像のホワイトバランスを調整するホワイトバランス調整装置であって、入力画像の各画素の色度に基づき入力画像を複数のクラスタに分割する分割手段と、各クラスタの代表値を演算する代表値演算手段と、前記代表値に基づき各クラスタが物体色クラスタであるか否かを判定する判定手段と、全てのクラスタのうち物体色クラスタと判定されたクラスタを除く残存クラスタの代表値を用いてホワイトバランスゲインを演算するゲイン演算手段とを有することを特徴とする。
【００１６】
また、本発明は、入力画像を色度が一致する画素群で構成される複数のクラスタに分割し、各クラスタの代表値を用いてホワイトバランスを調整するホワイトバランス調整装置であって、全クラスタのうち、光源色を反映しているクラスタを選択する選択手段と、選択されたクラスタの代表値のみを用いて前記ホワイトバランスを調整する調整手段とを有することを特徴とする。
【００１７】
また、本発明は、入力画像を構成するクラスタが光源色を反映しているか否かを識別する色識別装置であって、前記クラスタの色差を算出する色差演算手段と、色差平面上において、複数の光源下における無彩色物体の色差領域を光源色領域として記憶するとともに特定色物体の色差領域を物体色領域として記憶する記憶手段と、前記クラスタの色差が前記記憶手段に記憶された光源色領域あるいは物体色領域に属するか否かを判定することで前記クラスタが光源色を反映しているか否かを識別する処理手段とを有することを特徴とする。
【発明の効果】
【００１８】
本発明によれば、ホワイトバランスの調整精度を向上でき、高品質画質を得ることができる。
【図面の簡単な説明】
【００１９】
【図１】実施形態の構成ブロック図である。
【図２】入力画像の画素構成図である。
【図３】色差平面上の光源色領域と明らかな物体色領域の説明図である。
【図４】処理結果を示す説明図である。
【図５】実施形態のフローチャートである。
【図６】他の実施形態の構成ブロック図である。
【図７】クラスタリングの説明図である。
【図８】グレーゾーンの識別説明図である。
【図９】実施形態のフローチャートである。
【図１０】特定色域領域の説明図である。
【図１１】特定色域領域の位置調整説明図である。
【図１２】従来装置の構成ブロック図である。
【図１３】ブロック内に葉像が存在する説明図である。
【発明を実施するための形態】
【００２０】
以下、図面に基づき本発明の実施形態について説明する。
【００２１】
＜第１実施形態＞
図１に、本実施形態に係るホワイトバランス調整装置の構成ブロック図を示す。本実施形態のホワイトバランス調整装置は、プロセッサ及びメモリを有する画像処理ＩＣとしてデジタルカメラに内蔵される。図１２に示す従来の構成と異なる点は、代表値計算回路１４の前段に色域判定回路１３が設けられる点である。
【００２２】
ブロック分割回路１２は、撮像装置１０から入力した画像を複数のブロックに等分割し、各ブロックを順次色域判定回路１３に出力する。
【００２３】
色域判定回路１３は、各ブロックを構成するｎ×ｍ個の画素それぞれに対し、その色差に基づいて明らかな物体色の画素であるか否かを判定し、明らかな物体色の画素とそうでない画素とを識別する。色域判定回路１３は、全てのブロックに対し、そのブロックを構成する各画素を識別し、識別結果を代表値計算回路１４に出力する。識別結果は、例えば明らかな物体色の画素に対して特定のフラグを設定することで行う。
【００２４】
代表値計算回路１４は、基本的に従来の回路と同様に各ブロックの代表値を算出するが、本実施形態の代表値計算回路１４は、従来のように各ブロックの構成する全画素の平均値を用いて各ブロックの代表値を算出するのではなく、明らかな物体色と識別された画素を除いた残存画素のみの平均値を用いて各ブロックの代表値を算出する。各ブロックの代表値算出は、（１）式を用いて行われる。（Ｒ、Ｇ、Ｂ）は全画素の平均ではなく、明らかな物体色と識別されていない画素の平均値である点が異なる。代表値計算回路１４は、各ブロックの代表値をホワイトバランス評価回路１６に出力する。以後の処理は図１２と同様であり、各ブロックの代表値を加重平均し、さらに加重平均値から（２）〜（４）式を用いてホワイトバランスゲイン（Ｒｇａｉｎ、Ｇｇａｉｎ、Ｂｇａｉｎ）を算出する。本実施形態では、各ブロックから明らかな物体色の画素を除去して代表値を算出し、この代表値に基づいてホワイトバランスゲインを算出しているから、各ブロック自体は無彩色とは限らず、各ブロックの代表値の加重平均が無彩色であるとして処理する。したがって、入力画像内に無彩色が存在しない場合であっても適当なホワイトバランスゲインを算出することができる。また、各ブロックにおいて残存画素の平均値をもってそのブロックの代表値としているため、各ブロック内のノイズも吸収できる。
【００２５】
以下、色域判定回路１３の処理をより具体的に説明する。
【００２６】
図２に、ブロック分割回路１２から入力する各ブロックを構成する画素を示す。ブロックを構成する画素群２００のそれぞれはＲ画素、Ｇ画素、及びＢ画素から構成される。本実施形態では、Ｒ画素、Ｇ画素、Ｂ画素をまとめて１画素２０２とする。色域判定回路１３は、各画素を構成するＲ画素、Ｇ画素、Ｂ画素の各画素値を用いて色差（Ｔｇ、Ｔｉ）を算出する。色差の算出は、（Ｒ、Ｇ、Ｂ）として各画素のＲ画素値、Ｇ画素値、Ｂ画素値を用いて（１）式により算出できる。
【００２７】
図３に、色差平面（Ｔｉ−Ｔｇ平面）を示す。色差平面において、一般に光源色と考えられる領域２０４及び明らかな物体色と考えられる領域２０６を一義的に設定できる。光源色と考えられる領域２０４は、Ｔｉ及びＴｇの大きさが所定値以下の矩形領域として設定され、明らかな物体色と考えられる領域はＴｉ及びＴｇの大きさが所定値より大きい領域として設定される。色域判定回路１３は、図３に示す領域２０４、２０６をメモリに記憶しておき、各ブロックを構成する各画素に対して算出された色差（Ｔｇ、Ｔｉ）が、いずれの領域に属するかを識別する。所定値をＴｉｔｈ、Ｔｇｔｈとし、あるブロックを構成するある画素の色差（Ｔｇａ、Ｔｉａ）が、Ｔｇａ＞Ｔｇｔｈ、かつ、Ｔｉａ＞Ｔｉｔｈであれば、その画素は明らかな物体色と考えられる領域２０６の画素であると識別する。
【００２８】
なお、無彩色は、分光反射率において波長によらずほぼ一定（フラット）の反射率を有する物体の色をいい、この物体に光源が反射して得られた光の色が光源色と考えられる。デイライト、蛍光灯、タングステン光等の光源の相違により、色差平面上では無彩色は変動する。図３における光源色領域２０４は、種々の光源下で無彩色の変動する範囲として設定される。一方、明らかな物体色は、分光反射率がフラットでない物体の色である。光源が変化すれば、この物体の分光反射分布は当然ながら変動するが、明らかな物体色はたとえ光源が変化してもその色差は上記の光源色領域２０４に属することはない。言い換えれば、光源が変化した場合にその色差が光源色領域２０４に入るものは本実施形態における「明らかな物体色」から除外される。但し、両領域の境界にはグレーゾーンが存在し得る。グレーゾーンの処理については後述する。
【００２９】
図４に、色域判定回路１３で判定したあるブロック１００の判定結果を模式的に示す。ブロック１００を構成する画素のうち、図中斜線で示した画素が明らかな物体色と考えられる領域２０６に属する画素、つまり明らかな物体色の画素２０８で識別された画素を示す。このブロック１００の代表値計算では、斜線の画素を除く残存画素の画素値の平均値を算出し、この平均値を用いて（１）式に従いブロック１００の代表値を算出する。明らかな物体色の画素２０８を除去して平均値を算出するため、明らかな物体色の影響を排除し、その代表値も光源色を反映した値となる。図１３に即して説明すると、緑の葉の像１０２を構成する画素群が排除され、残存画素群のみの平均値が算出され、この平均値を用いてブロック１００の代表値が算出されることになる。
【００３０】
図５に、本実施形態の処理フローチャートを示す。まず、撮像装置１０から画像を入力すると（Ｓ１０１）、画像を所定サイズのブロックに分割する（Ｓ１０２）。ブロックのサイズは任意である。各ブロックを順次入力し、各ブロックにおいて、そのブロックを構成する各画素の画素値（Ｒ、Ｇ、Ｂ）を用いて（１）式に従い色差（Ｔｇ、Ｔｉ）を算出する（Ｓ１０３）。算出した色差（Ｔｇ、Ｔｉ）はその画素を特定する情報、例えば画素番号や画素座標と関連付けてメモリに記憶する。
【００３１】
着目している画素の色差（Ｔｇ、Ｔｉ）を算出した後、その色差（Ｔｇ、Ｔｉ）が予め設定された、明らかな物体色領域２０６に属するか否かを判定する（Ｓ１０４）。具体的には、上記のとおり光源色領域２０６と明らかな物体色領域２０８とを識別するしきい値Ｔｇｔｈ、Ｔｉｔｈとの大小を判定する。着目している画素の色差（Ｔｇ、Ｔｉ）が明らかな物体色領域２０６に属すると判定された場合、その画素にフラグを設定してメモリに記憶する（Ｓ１０５）。一方、明らかな物体色領域２０６に属しないと判定された場合、フラグはセットしない。以上の処理をブロックを構成する全ての画素について繰り返し実行する（Ｓ１０６）。そして、あるブロック内の全ての画素について実行した後、メモリからフラグの設定された画素以外の画素を読み出し、読み出した画素の画素値の平均値を算出し、さらに算出された平均値を（Ｒ、Ｇ、Ｂ）として（１）式に従いそのブロックの代表値を算出する（Ｓ１０７）。以上の処理を全てのブロックに対して実行し、全てのブロックについてその代表値を算出する（Ｓ１０８）。全てのブロックの代表値を算出した後、各ブロックの代表値に基づきホワイトバランスゲインを（２）〜（４）に従って算出する（Ｓ１０９）。算出されたホワイトバランスゲインは、撮像装置１０から入力した画像を構成する各画素の画素値に乗じられ、ホワイトバランスが調整される。
【００３２】
＜第２実施形態＞
図６に、本実施形態の構成ブロック図を示す。第１実施形態では、ブロック分割回路１２で入力画像を予め定めたサイズのブロックに等分割したが、本実施形態では画像を構成する各画素の色度に応じて動的にクラスタリングする。このため、クラスタリングブロック分割回路２２、代表値計算回路２４及び色域判定回路２６がホワイトバランス評価回路１６の前段に設けられる。
【００３３】
クラスタリングブロック分割回路２２は、撮像装置１０から画像を入力し、画像を構成する各画素の色度に基づき各画素をクラスタリングする。すなわち、色度が互いに一致する隣接画素同士を順次グループ化していき（同一ラベルを付していく）、同一色度の領域範囲を画定していく。クラスタリングした各領域に順次ナンバリングしてメモリに記憶する。クラスタリングブロック分割回路２２は、各クラスタに属する画素を代表値計算回路２４に出力する。
【００３４】
代表値計算回路２４は、各クラスタに属する画素の平均値を算出し、算出した平均値（Ｒ、Ｇ、Ｂ）を用いて（１）色に従いそのクラスタの代表値を算出する。代表値計算回路２４は、全てのクラスタについてその代表値を算出すると、色域判定回路２６に出力する。
【００３５】
色域判定回路２６は、図１における色域判定回路１３と同様に、図３に示すような光源色領域２０４及び明らかな物体色領域２０６をマップとしてメモリに記憶しており、各クラスタの代表値の色差（Ｔｇ、Ｔｉ）が明らかな物体色領域２０６に属するか否かを判定する。色域判定回路２６は、全てのクラスタについて明らかな物体色か否かを判定した後、明らかな物体色を除く残存クラスタの代表値のみをホワイトバランス評価回路１６に出力する。以後の処理は図１と同様である。本実施形態では、光源色領域２０４に属するクラスタの代表値のみがホワイトバランスゲインの算出に寄与することとなる。
【００３６】
図７に、クラスタリングブロック分割回路２２、代表値計算回路２４及び色域判定回路２６の処理を模式的に示す。入力画像１を構成する各画素の色度を算出し、順次メモリに記憶していく。そして、色度が互いに一致する画素に同一ラベルを付してクラスタリングする。なお、図７では説明の都合上白黒で示しているが、実際には赤や緑、橙、黄色等であることに注意されたい。図では、クラスタ３００、３０２、３０４、３０６が例示されている。クラスタ３００を構成する全画素、つまり同一ラベルを有する画素をメモリから読み出してその平均値（Ｒ、Ｇ、Ｂ）を算出し、（１）式によりクラスタ３００の代表値を算出する。代表値のうちの色差（Ｔｇ、Ｔｉ）が明らかな物体色領域２０６に属するか否かを判定し、属しない場合には光源色領域３００と識別する。同様に、クラスタ３０２を構成する全画素をメモリから読み出してその平均値（Ｒ、Ｇ、Ｂ）を算出し、（１）式によりクラスタ３０２の代表値を算出する。代表値のうちの色差（Ｔｇ、Ｔｉ）が明らかな物体色領域２０６に属するか否かを判定し、属する場合には明らかな物体色領域３０２と識別する。
【００３７】
一方、クラスタ３０４は橙に相当する色度のクラスタであり、明らかな物体色領域２０６と光源色領域２０４の境界領域、グレーゾーンに位置する。色度だけから判定すると橙色に相当しタングステンの光源色領域とも識別され得る。しかしながら、クラスタ領域３０４は明らかな物体色領域３０２にその周囲を囲まれており、このことからクラスタ領域３０４も明らかな物体色領域であると判定する。クラスタ３０６も同様であり、明らかな物体色領域２０６と光源色領域２０４のグレーゾーンに位置し、色度だけから判定すると黄緑色に相当し蛍光灯の光源色領域とも識別され得るが、その周囲に色度が近く、しかも明らかな物体色領域３０２と識別されたクラスタが存在するため、クラスタ３０６も明らかな物体色領域であると判定する。
【００３８】
このように、光源色領域であるか、明らかな物体色領域であるかの識別が困難な場合には、
（１）周囲に色度の近いクラスタが存在するか
（２）色度の近いクラスタは光源色領域あるいは明らかな物体色領域のいずれであるか
を判定することで、精度良く識別することができる。すなわち、あるクラスタの識別が困難である場合、つまり、その色差（Ｔｇ、Ｔｉ）がしきい値（Ｔｇｔｈ、Ｔｉｔｈ）近傍である場合（その差が所定の誤差範囲内にある場合）、周囲に色度の近いクラスタが存在し、そのクラスタが明らかな物体色領域であれば着目しているクラスタも明らかな物体色領域であると識別し、そのクラスタが明らかな物体色領域でなければ着目しているクラスタも光源色領域と識別する。周囲に色度の近いクラスタが存在しない場合、あるいは色度の近いクラスタが複数存在しそれらの識別結果が互いに異なる場合には、いずれの領域に識別するかは任意に設定し得るが、例えば着目しているクラスタを明らかな物体色領域と識別する。以下に、グレーゾーンの着目クラスタを明らかな物体色領域と識別するためのアルゴリズムの一例を示す。
【００３９】
（ａ）色度が近く、既に明らかな物体色と識別されたクラスタが隣接して存在する場合に着目クラスタを明らかな物体色領域と識別する。
（ｂ）色度が近く、既に明らかな物体色と識別されたクラスタが隣接して存在しない場合に、その周囲を既に明らかな物体色と識別されたクラスタが囲んでいる場合には着目クラスタを明らかな物体色領域と識別する。
【００４０】
図８に、グレーゾーンにおける上記処理を模式的に示す。着目しているクラスタ３１０の色差が色差平面上においてグレーゾーンに存在し、クラスタ３１０の周囲、あるいは隣接して物体色領域３０８が存在するものとする。クラスタ３１０単独では識別できないものの、隣接して物体色領域３０８が存在する場合、クラスタ３１０の色度と物体色領域３０８の色度とを比較する。色度差が所定の許容範囲内である場合には図示のようにクラスタ３１０を物体色領域３１０と識別する。色度差が所定の許容範囲を超える場合には、周囲を物体色領域が取り囲んでいるか否かを判定し、取り囲んでいる場合にも物体色領域と識別する。
【００４１】
図９に、本実施形態の処理フローチャートを示す。撮像装置１０から画像を入力すると（Ｓ２０１）、ブロックに分割することなく、入力画像を構成する各画素毎に色度を算出し、色度の一致する画素群をグループ化することでクラスタを形成する（Ｓ２０２）。クラスタリングはコンピュータを用いた画像処理で周知技術である。ある画素の色度を算出し、隣接する画素の色度と比較し、一致する場合には両画素に同一のラベリングを付していく。以上の処理を全ての画素について行い、同一ラベルが付された画素群を１つのクラスタとしてナンバリングしメモリに記憶する。クラスタ１には画素１、２、３が属し、クラスタ２には画素４、５、６、７が属する等である。クラスタリングを行った後、各クラスタに属する画素の画素値を用いてそのクラスタの代表値を算出する（Ｓ２０３）。すなわち、クラスタに属する画素の平均値を算出し、その平均値を用いて（１）式によりそのクラスタの輝度Ｔｌ及び色差（Ｔｇ、Ｔｉ）を算出する。
【００４２】
クラスタの代表値（Ｔｌ、Ｔｇ、Ｔｉ）を算出した後、代表値の色差（Ｔｇ、Ｔｉ）を色差平面上において予め設定された光源色領域２０４及び明らかな物体色領域２０６（図３参照）と比較し、明らかな物体色領域２０６に属するか否かを判定する（Ｓ２０４）。明らかな物体色領域２０６に属する場合には、そのクラスタにフラグを設定する（Ｓ２０５）。明らかな物体色領域２０６に属しない場合には、そのクラスタにはフラグを設定しない。
【００４３】
Ｓ２０５の判定処理において、クラスタの色差（Ｔｇ、Ｔｉ）が光源色領域２０４と明らかな物体色領域２０６の境界近傍（グレーゾーン）に位置する場合には、次にそのクラスタに隣接して色度の近いクラスタであって明らかな物体色領域と識別されたクラスタが存在するか否かを判定する。存在すればそのクラスタも明らかな物体色領域に属するとしてフラグを設定する。また、存在しない場合には、さらに周囲を明らかな物体色領域で囲まれているか否かを判定し、囲まれていればそのクラスタも明らかな物体色領域に属するとしてフラグを設定する。図３において、光源色領域２０４と明らかな物体色領域２０６との境界に所定幅を有するグレーゾーンを設してもよい。クラスタの色差がこのグレーゾーンに位置する場合に上記の判定処理に移行する。
【００４４】
以上の処理を全てのクラスタについて繰り返し実行し（Ｓ２０６）、全てのクラスタについて識別した後、フラグの設定されたクラスタを除いた残存クラスタの代表値を用いてホワイトバランスゲインを算出する（Ｓ２０７）。
【００４５】
本実施形態によっても、明らかな物体色と認定されたクラスタを除外してホワイトバランスゲインを算出するため、ホワイトバランスの調整精度を向上することができる。
【００４６】
なお、本実施形態では、グレーゾーンに位置するクラスタの識別について説明したが、同様の処理を第１実施形態における色域判定回路１３で各画素に対して実行することもできる。各画素の色差に基づいて各画素が光源色領域２０４であるか明らかな物体色領域２０６であるかを判定する際に、周囲を明らかな物体色画素で囲まれている場合には、着目している画素も物体色画素であると識別する等である。
【００４７】
＜第３実施形態＞
上記の実施形態では、図３に示す領域マップを用いて各画素あるいは各クラスタが明らかな物体色領域２０６に属するか否かを判定しているが、さらに特定の物体固有の色差領域を設定し、これらの特定領域に属するか否かを判定することで識別精度を向上することもできる。
【００４８】
図１０に、特定色域領域の一例を示す。特定領域として、青空領域４００、肌色領域４０２、葉領域４０４、花領域４０６が色差平面上にマッピングされる。クラスタの色差がこれらの特定色域領域に属する場合に、明らかな物体色領域と識別する。例えば、あるクラスタの色差が葉領域４０４あるいは花領域４０６に属する場合、そのクラスタを明らかな物体色領域と識別する。あるクラスタがグレーゾーンに存在していても、これらの特定色域領域に属する場合には、そのクラスタを明らかな物体色領域と識別し、ホワイトバランスゲインの演算から排除することができる。
【００４９】
＜第４実施形態＞
第３実施形態では、色差平面上に特定色域領域をマッピングし、クラスタの色差がこれらの特定色域領域に属するか否かを判定することで識別精度を上げているが、当然ながら識別精度は各特定色域領域のマッピング精度に依存する。特定色域は、図１０に示すような肌色領域４０２や葉領域４０４であるが、特定色域領域を増大させるほど識別精度が向上する一方、特定色域領域を細分化するほど正確にマッピングすることが困難となる。
【００５０】
そこで、本実施形態では、ある特定色域領域における被写体の位置関係から、他の特定色域領域の正確なマッピング位置を推定する。
【００５１】
図１１に、本実施形態の処理を模式的に示す。マッピング補正に用いる被写体は人物の顔画像である。顔画像内には眼部があり、唇部が存在する。ここで、ホワイトバランスの異なる２つの顔画像５００、５０２が存在するものとする。顔画像５００の肌色部分及び唇部分と、顔画像５０２の肌色部分及び唇部分の色差はそれぞれ異なる。一方、色差平面上には、デイライト（昼光）、蛍光灯、タングステン光源を考慮した肌色領域５０４がマッピングされる。顔画像５００における肌色部分の色差は、この肌色領域５０４内のいずれかに位置し（位置Ｐ）、顔画像５０２における肌色画像の色差も同様に肌色５０４内のいずれかに位置する（位置Ｑ）。但し、両者の位置は元の画像のホワイトバランスが異なるため肌色領域５０４内の異なる位置にある。唇部分は肌色部分内に存在するので、肌色部分の位置が異なれば唇部分の位置も当然異なってくる。そこで、図示のように、特定色域領域として唇色領域をマッピングする場合には、肌色領域５０４内における位置Ｐに応じて唇色領域５０６を設定し、あるいは肌色領域５０４内における位置Ｑに応じて肌色領域５０８を設定する。すなわち、肌色領域５０４における画像の肌色部分の色差位置に応じて、唇色領域の位置をシフトさせる。具体的には、画像処理ＩＣのプロセッサが、メモリに記憶されている肌色領域５０４の中心位置と肌部分の位置Ｐ（あるいは位置Ｑ）とのずれ量に応じて同じメモリに記憶されている唇色領域のデフォルト位置をシフトさせてメモリに再記憶する。これにより、唇色領域を正確にマッピングすることができ、あるクラスタが唇色であるか否かの識別精度が向上する。図において、顔画像５００の唇部分は、位置Ｐに応じて色差平面上に設定された唇色領域５０６内に位置し、顔画像５０２の唇部分は、位置Ｑに応じて色差平面上に設定された唇色領域５０８に位置していることを示す。唇色領域５０６しか存在しない場合、顔画像５０２の唇部分は唇色領域５０６外となるため正確に識別できないことが理解されよう。位置Ｐ、Ｑに応じた特定色域領域の設定は、唇色領域のみならず他の特定色域領域にも同様に適用できる。例えば、眼部は黒目部分と白目部分から構成されているが、無彩色である白目部分の特定色領域の位置を位置Ｐ、Ｑに応じて可変設定できる。なお、眼部の場合、色差だけでなく、白目部分と黒目部分の輝度差に着目することでさらに精度を上げることも可能である。
【符号の説明】
【００５２】
１０ 撮像装置、１２ ブロック分割回路、１３ 色域判定回路、１４ 代表値計算回路、１６ ホワイトバランス評価回路、１８ ホワイトバランスゲイン計算回路、２０ ホワイトバランス調整回路。
【技術分野】
【０００１】
本発明は、デジタルカメラ等の撮像装置で撮影された画像のホワイトバランスを調整する技術に関する。
【背景技術】
【０００２】
デジタルカメラ等においては、白い被写体を白く再現するためにオートホワイトバランス調整が行われている。ホワイトバランス方式としては、画像全体の平均が無彩色となるように各画素の信号のＲＧＢ成分のバランスを調整する方式が用いられる。また、画像を複数のブロックに分割し、各ブロックのＲＧＢの平均値を算出し、その平均値が予め定めた範囲に属しているブロックのみを抽出し、抽出したブロック群のＲＧＢの平均値が無彩色となるようにＲＧＢ各成分の調整を行う技術も知られている。
【０００３】
さらに、下記の特許文献には、画像を複数のブロックに分割し、各ブロックの代表値を算出し、全てのブロックの代表値を用いてホワイトバランスゲインを算出する技術が開示されている。
【０００４】
図１２に、この従来技術の構成ブロック図を示す。デジタルカメラ等の撮像装置１０は、画像を撮影し、得られた画像をブロック分割回路１２に出力する。
【０００５】
ブロック分割回路１２は、入力画像を複数のブロックに等分割する。各ブロックは、ｎ×ｍ画素から構成される。ブロック分割回路１２は、各ブロックを順次代表値計算回路１４に出力する。
【０００６】
代表値計算回路１４は、各ブロックを構成するｎ×ｍ個の画素のＲＧＢの平均値を算出し、その平均値に対して次の線形変換を施して代表値（Ｔｌ、Ｔｇ、Ｔｉ）を算出する。
【数１】
ここで、Ｔｌはブロックの輝度、Ｔｇ、Ｔｉはブロックの色差である。代表値計算回路１４は、算出した各ブロックの代表値（Ｔｌ、Ｔｇ、Ｔｉ）をホワイトバランス評価回路１６に出力する。
【０００７】
ホワイトバランス評価回路１６は、各ブロックの信頼度を評価し、信頼度に応じた重み係数を算出してホワイトバランスゲイン計算回路１８に出力する。信頼度は、例えば各光源についての経験的知識を用いて評価され、被写体の輝度が非常に高い場合には照明が蛍光灯である可能性が低いという経験的知識を用いて特定ブロック（蛍光灯の可能性が高いブロック）の重みを被写体輝度が増大するほど小さく設定する。
【０００８】
ホワイトバランスゲイン計算回路１８は、各ブロックの代表値、及びホワイトバランス評価回路１６で算出された各ブロックの信頼度に基づく重み係数を用いて加重平均することによりホワイトバランスゲインを算出する。具体的には、以下の式によりホワイトバランスゲインを算出する。
【数２】
【数３】
【数４】
ここで、ＴｌＭｉｘ、ＴｇＭｉｘ、ＴｉＭｉｘは、各ブロックの代表値の加重平均値である。上記の式で算出された（ＲＭｉｘ、ＧＭｉｘ、ＢＭｉｘ）が被写体を照明する光源の色であり、ホワイトバランスゲインＲｇａｉｎ、Ｇｇａｉｎ、Ｂｇａｉｎはこの光源色が白色物体で反射されたときの色をグレイに補正する（つまりＲ＝Ｇ＝Ｂ）ように設定される。ホワイトバランスゲイン計算回路１８は、算出したゲインをホワイトバランス調整回路２０に出力する。
【０００９】
ホワイトバランス調整回路２０は、撮像装置１０から入力した画像を構成する各画素の画素値Ｒ、Ｇ、Ｂに対してホワイトバランスゲイン計算回路１８で算出したゲインを乗じることで画像のホワイトバランスを調整し、その結果を出力する。
【先行技術文献】
【特許文献】
【００１０】
【特許文献１】特開２０００−９２５０９号公報
【発明の概要】
【発明が解決しようとする課題】
【００１１】
しかしながら、上記従来技術では、各ブロックを構成する全画素のＲ，Ｇ，Ｂ平均値を求め、その平均値に対して（１）式を用いて各ブロックの代表値を算出しているから、あるブロック内に光源色ではない特定の物体色が存在した場合に、そのブロックの平均値はその物体色の影響を受けてしまう。
【００１２】
図１３に、画像を複数のブロックに分割した場合における、あるブロック１００を示す。ブロック１００はｎ×ｍ個の画素から構成され、全画素のＲ，Ｇ，Ｂの単純平均が算出される。ところが、図に示すように、ブロック１００内に緑の葉の画像１０２が存在する場合、背景色と緑色とが平均化されることになるから、その平均値はブロックを照らしている光源の色を反映しなくなり、本来であればデイライトと判定すべきところを蛍光灯と誤って判定しまう事態が生じ得る。
【００１３】
このように、従来技術では、ブロック内に有彩色のものが存在する場合やブロック内が一様でない場合の対策が十分でなく、ホワイトバランス調整の精度低下を招く一因となっていた。
【００１４】
本発明の目的は、ブロック内に有彩色のものが存在する場合やブロック内が一様ではない場合においてもホワイトバランス調整を確実に実行できる装置を提供することにある。
【課題を解決するための手段】
【００１５】
本発明は、入力画像のホワイトバランスを調整するホワイトバランス調整装置であって、入力画像の各画素の色度に基づき入力画像を複数のクラスタに分割する分割手段と、各クラスタの代表値を演算する代表値演算手段と、前記代表値に基づき各クラスタが物体色クラスタであるか否かを判定する判定手段と、全てのクラスタのうち物体色クラスタと判定されたクラスタを除く残存クラスタの代表値を用いてホワイトバランスゲインを演算するゲイン演算手段とを有することを特徴とする。
【００１６】
また、本発明は、入力画像を色度が一致する画素群で構成される複数のクラスタに分割し、各クラスタの代表値を用いてホワイトバランスを調整するホワイトバランス調整装置であって、全クラスタのうち、光源色を反映しているクラスタを選択する選択手段と、選択されたクラスタの代表値のみを用いて前記ホワイトバランスを調整する調整手段とを有することを特徴とする。
【００１７】
また、本発明は、入力画像を構成するクラスタが光源色を反映しているか否かを識別する色識別装置であって、前記クラスタの色差を算出する色差演算手段と、色差平面上において、複数の光源下における無彩色物体の色差領域を光源色領域として記憶するとともに特定色物体の色差領域を物体色領域として記憶する記憶手段と、前記クラスタの色差が前記記憶手段に記憶された光源色領域あるいは物体色領域に属するか否かを判定することで前記クラスタが光源色を反映しているか否かを識別する処理手段とを有することを特徴とする。
【発明の効果】
【００１８】
本発明によれば、ホワイトバランスの調整精度を向上でき、高品質画質を得ることができる。
【図面の簡単な説明】
【００１９】
【図１】実施形態の構成ブロック図である。
【図２】入力画像の画素構成図である。
【図３】色差平面上の光源色領域と明らかな物体色領域の説明図である。
【図４】処理結果を示す説明図である。
【図５】実施形態のフローチャートである。
【図６】他の実施形態の構成ブロック図である。
【図７】クラスタリングの説明図である。
【図８】グレーゾーンの識別説明図である。
【図９】実施形態のフローチャートである。
【図１０】特定色域領域の説明図である。
【図１１】特定色域領域の位置調整説明図である。
【図１２】従来装置の構成ブロック図である。
【図１３】ブロック内に葉像が存在する説明図である。
【発明を実施するための形態】
【００２０】
以下、図面に基づき本発明の実施形態について説明する。
【００２１】
＜第１実施形態＞
図１に、本実施形態に係るホワイトバランス調整装置の構成ブロック図を示す。本実施形態のホワイトバランス調整装置は、プロセッサ及びメモリを有する画像処理ＩＣとしてデジタルカメラに内蔵される。図１２に示す従来の構成と異なる点は、代表値計算回路１４の前段に色域判定回路１３が設けられる点である。
【００２２】
ブロック分割回路１２は、撮像装置１０から入力した画像を複数のブロックに等分割し、各ブロックを順次色域判定回路１３に出力する。
【００２３】
色域判定回路１３は、各ブロックを構成するｎ×ｍ個の画素それぞれに対し、その色差に基づいて明らかな物体色の画素であるか否かを判定し、明らかな物体色の画素とそうでない画素とを識別する。色域判定回路１３は、全てのブロックに対し、そのブロックを構成する各画素を識別し、識別結果を代表値計算回路１４に出力する。識別結果は、例えば明らかな物体色の画素に対して特定のフラグを設定することで行う。
【００２４】
代表値計算回路１４は、基本的に従来の回路と同様に各ブロックの代表値を算出するが、本実施形態の代表値計算回路１４は、従来のように各ブロックの構成する全画素の平均値を用いて各ブロックの代表値を算出するのではなく、明らかな物体色と識別された画素を除いた残存画素のみの平均値を用いて各ブロックの代表値を算出する。各ブロックの代表値算出は、（１）式を用いて行われる。（Ｒ、Ｇ、Ｂ）は全画素の平均ではなく、明らかな物体色と識別されていない画素の平均値である点が異なる。代表値計算回路１４は、各ブロックの代表値をホワイトバランス評価回路１６に出力する。以後の処理は図１２と同様であり、各ブロックの代表値を加重平均し、さらに加重平均値から（２）〜（４）式を用いてホワイトバランスゲイン（Ｒｇａｉｎ、Ｇｇａｉｎ、Ｂｇａｉｎ）を算出する。本実施形態では、各ブロックから明らかな物体色の画素を除去して代表値を算出し、この代表値に基づいてホワイトバランスゲインを算出しているから、各ブロック自体は無彩色とは限らず、各ブロックの代表値の加重平均が無彩色であるとして処理する。したがって、入力画像内に無彩色が存在しない場合であっても適当なホワイトバランスゲインを算出することができる。また、各ブロックにおいて残存画素の平均値をもってそのブロックの代表値としているため、各ブロック内のノイズも吸収できる。
【００２５】
以下、色域判定回路１３の処理をより具体的に説明する。
【００２６】
図２に、ブロック分割回路１２から入力する各ブロックを構成する画素を示す。ブロックを構成する画素群２００のそれぞれはＲ画素、Ｇ画素、及びＢ画素から構成される。本実施形態では、Ｒ画素、Ｇ画素、Ｂ画素をまとめて１画素２０２とする。色域判定回路１３は、各画素を構成するＲ画素、Ｇ画素、Ｂ画素の各画素値を用いて色差（Ｔｇ、Ｔｉ）を算出する。色差の算出は、（Ｒ、Ｇ、Ｂ）として各画素のＲ画素値、Ｇ画素値、Ｂ画素値を用いて（１）式により算出できる。
【００２７】
図３に、色差平面（Ｔｉ−Ｔｇ平面）を示す。色差平面において、一般に光源色と考えられる領域２０４及び明らかな物体色と考えられる領域２０６を一義的に設定できる。光源色と考えられる領域２０４は、Ｔｉ及びＴｇの大きさが所定値以下の矩形領域として設定され、明らかな物体色と考えられる領域はＴｉ及びＴｇの大きさが所定値より大きい領域として設定される。色域判定回路１３は、図３に示す領域２０４、２０６をメモリに記憶しておき、各ブロックを構成する各画素に対して算出された色差（Ｔｇ、Ｔｉ）が、いずれの領域に属するかを識別する。所定値をＴｉｔｈ、Ｔｇｔｈとし、あるブロックを構成するある画素の色差（Ｔｇａ、Ｔｉａ）が、Ｔｇａ＞Ｔｇｔｈ、かつ、Ｔｉａ＞Ｔｉｔｈであれば、その画素は明らかな物体色と考えられる領域２０６の画素であると識別する。
【００２８】
なお、無彩色は、分光反射率において波長によらずほぼ一定（フラット）の反射率を有する物体の色をいい、この物体に光源が反射して得られた光の色が光源色と考えられる。デイライト、蛍光灯、タングステン光等の光源の相違により、色差平面上では無彩色は変動する。図３における光源色領域２０４は、種々の光源下で無彩色の変動する範囲として設定される。一方、明らかな物体色は、分光反射率がフラットでない物体の色である。光源が変化すれば、この物体の分光反射分布は当然ながら変動するが、明らかな物体色はたとえ光源が変化してもその色差は上記の光源色領域２０４に属することはない。言い換えれば、光源が変化した場合にその色差が光源色領域２０４に入るものは本実施形態における「明らかな物体色」から除外される。但し、両領域の境界にはグレーゾーンが存在し得る。グレーゾーンの処理については後述する。
【００２９】
図４に、色域判定回路１３で判定したあるブロック１００の判定結果を模式的に示す。ブロック１００を構成する画素のうち、図中斜線で示した画素が明らかな物体色と考えられる領域２０６に属する画素、つまり明らかな物体色の画素２０８で識別された画素を示す。このブロック１００の代表値計算では、斜線の画素を除く残存画素の画素値の平均値を算出し、この平均値を用いて（１）式に従いブロック１００の代表値を算出する。明らかな物体色の画素２０８を除去して平均値を算出するため、明らかな物体色の影響を排除し、その代表値も光源色を反映した値となる。図１３に即して説明すると、緑の葉の像１０２を構成する画素群が排除され、残存画素群のみの平均値が算出され、この平均値を用いてブロック１００の代表値が算出されることになる。
【００３０】
図５に、本実施形態の処理フローチャートを示す。まず、撮像装置１０から画像を入力すると（Ｓ１０１）、画像を所定サイズのブロックに分割する（Ｓ１０２）。ブロックのサイズは任意である。各ブロックを順次入力し、各ブロックにおいて、そのブロックを構成する各画素の画素値（Ｒ、Ｇ、Ｂ）を用いて（１）式に従い色差（Ｔｇ、Ｔｉ）を算出する（Ｓ１０３）。算出した色差（Ｔｇ、Ｔｉ）はその画素を特定する情報、例えば画素番号や画素座標と関連付けてメモリに記憶する。
【００３１】
着目している画素の色差（Ｔｇ、Ｔｉ）を算出した後、その色差（Ｔｇ、Ｔｉ）が予め設定された、明らかな物体色領域２０６に属するか否かを判定する（Ｓ１０４）。具体的には、上記のとおり光源色領域２０６と明らかな物体色領域２０８とを識別するしきい値Ｔｇｔｈ、Ｔｉｔｈとの大小を判定する。着目している画素の色差（Ｔｇ、Ｔｉ）が明らかな物体色領域２０６に属すると判定された場合、その画素にフラグを設定してメモリに記憶する（Ｓ１０５）。一方、明らかな物体色領域２０６に属しないと判定された場合、フラグはセットしない。以上の処理をブロックを構成する全ての画素について繰り返し実行する（Ｓ１０６）。そして、あるブロック内の全ての画素について実行した後、メモリからフラグの設定された画素以外の画素を読み出し、読み出した画素の画素値の平均値を算出し、さらに算出された平均値を（Ｒ、Ｇ、Ｂ）として（１）式に従いそのブロックの代表値を算出する（Ｓ１０７）。以上の処理を全てのブロックに対して実行し、全てのブロックについてその代表値を算出する（Ｓ１０８）。全てのブロックの代表値を算出した後、各ブロックの代表値に基づきホワイトバランスゲインを（２）〜（４）に従って算出する（Ｓ１０９）。算出されたホワイトバランスゲインは、撮像装置１０から入力した画像を構成する各画素の画素値に乗じられ、ホワイトバランスが調整される。
【００３２】
＜第２実施形態＞
図６に、本実施形態の構成ブロック図を示す。第１実施形態では、ブロック分割回路１２で入力画像を予め定めたサイズのブロックに等分割したが、本実施形態では画像を構成する各画素の色度に応じて動的にクラスタリングする。このため、クラスタリングブロック分割回路２２、代表値計算回路２４及び色域判定回路２６がホワイトバランス評価回路１６の前段に設けられる。
【００３３】
クラスタリングブロック分割回路２２は、撮像装置１０から画像を入力し、画像を構成する各画素の色度に基づき各画素をクラスタリングする。すなわち、色度が互いに一致する隣接画素同士を順次グループ化していき（同一ラベルを付していく）、同一色度の領域範囲を画定していく。クラスタリングした各領域に順次ナンバリングしてメモリに記憶する。クラスタリングブロック分割回路２２は、各クラスタに属する画素を代表値計算回路２４に出力する。
【００３４】
代表値計算回路２４は、各クラスタに属する画素の平均値を算出し、算出した平均値（Ｒ、Ｇ、Ｂ）を用いて（１）色に従いそのクラスタの代表値を算出する。代表値計算回路２４は、全てのクラスタについてその代表値を算出すると、色域判定回路２６に出力する。
【００３５】
色域判定回路２６は、図１における色域判定回路１３と同様に、図３に示すような光源色領域２０４及び明らかな物体色領域２０６をマップとしてメモリに記憶しており、各クラスタの代表値の色差（Ｔｇ、Ｔｉ）が明らかな物体色領域２０６に属するか否かを判定する。色域判定回路２６は、全てのクラスタについて明らかな物体色か否かを判定した後、明らかな物体色を除く残存クラスタの代表値のみをホワイトバランス評価回路１６に出力する。以後の処理は図１と同様である。本実施形態では、光源色領域２０４に属するクラスタの代表値のみがホワイトバランスゲインの算出に寄与することとなる。
【００３６】
図７に、クラスタリングブロック分割回路２２、代表値計算回路２４及び色域判定回路２６の処理を模式的に示す。入力画像１を構成する各画素の色度を算出し、順次メモリに記憶していく。そして、色度が互いに一致する画素に同一ラベルを付してクラスタリングする。なお、図７では説明の都合上白黒で示しているが、実際には赤や緑、橙、黄色等であることに注意されたい。図では、クラスタ３００、３０２、３０４、３０６が例示されている。クラスタ３００を構成する全画素、つまり同一ラベルを有する画素をメモリから読み出してその平均値（Ｒ、Ｇ、Ｂ）を算出し、（１）式によりクラスタ３００の代表値を算出する。代表値のうちの色差（Ｔｇ、Ｔｉ）が明らかな物体色領域２０６に属するか否かを判定し、属しない場合には光源色領域３００と識別する。同様に、クラスタ３０２を構成する全画素をメモリから読み出してその平均値（Ｒ、Ｇ、Ｂ）を算出し、（１）式によりクラスタ３０２の代表値を算出する。代表値のうちの色差（Ｔｇ、Ｔｉ）が明らかな物体色領域２０６に属するか否かを判定し、属する場合には明らかな物体色領域３０２と識別する。
【００３７】
一方、クラスタ３０４は橙に相当する色度のクラスタであり、明らかな物体色領域２０６と光源色領域２０４の境界領域、グレーゾーンに位置する。色度だけから判定すると橙色に相当しタングステンの光源色領域とも識別され得る。しかしながら、クラスタ領域３０４は明らかな物体色領域３０２にその周囲を囲まれており、このことからクラスタ領域３０４も明らかな物体色領域であると判定する。クラスタ３０６も同様であり、明らかな物体色領域２０６と光源色領域２０４のグレーゾーンに位置し、色度だけから判定すると黄緑色に相当し蛍光灯の光源色領域とも識別され得るが、その周囲に色度が近く、しかも明らかな物体色領域３０２と識別されたクラスタが存在するため、クラスタ３０６も明らかな物体色領域であると判定する。
【００３８】
このように、光源色領域であるか、明らかな物体色領域であるかの識別が困難な場合には、
（１）周囲に色度の近いクラスタが存在するか
（２）色度の近いクラスタは光源色領域あるいは明らかな物体色領域のいずれであるか
を判定することで、精度良く識別することができる。すなわち、あるクラスタの識別が困難である場合、つまり、その色差（Ｔｇ、Ｔｉ）がしきい値（Ｔｇｔｈ、Ｔｉｔｈ）近傍である場合（その差が所定の誤差範囲内にある場合）、周囲に色度の近いクラスタが存在し、そのクラスタが明らかな物体色領域であれば着目しているクラスタも明らかな物体色領域であると識別し、そのクラスタが明らかな物体色領域でなければ着目しているクラスタも光源色領域と識別する。周囲に色度の近いクラスタが存在しない場合、あるいは色度の近いクラスタが複数存在しそれらの識別結果が互いに異なる場合には、いずれの領域に識別するかは任意に設定し得るが、例えば着目しているクラスタを明らかな物体色領域と識別する。以下に、グレーゾーンの着目クラスタを明らかな物体色領域と識別するためのアルゴリズムの一例を示す。
【００３９】
（ａ）色度が近く、既に明らかな物体色と識別されたクラスタが隣接して存在する場合に着目クラスタを明らかな物体色領域と識別する。
（ｂ）色度が近く、既に明らかな物体色と識別されたクラスタが隣接して存在しない場合に、その周囲を既に明らかな物体色と識別されたクラスタが囲んでいる場合には着目クラスタを明らかな物体色領域と識別する。
【００４０】
図８に、グレーゾーンにおける上記処理を模式的に示す。着目しているクラスタ３１０の色差が色差平面上においてグレーゾーンに存在し、クラスタ３１０の周囲、あるいは隣接して物体色領域３０８が存在するものとする。クラスタ３１０単独では識別できないものの、隣接して物体色領域３０８が存在する場合、クラスタ３１０の色度と物体色領域３０８の色度とを比較する。色度差が所定の許容範囲内である場合には図示のようにクラスタ３１０を物体色領域３１０と識別する。色度差が所定の許容範囲を超える場合には、周囲を物体色領域が取り囲んでいるか否かを判定し、取り囲んでいる場合にも物体色領域と識別する。
【００４１】
図９に、本実施形態の処理フローチャートを示す。撮像装置１０から画像を入力すると（Ｓ２０１）、ブロックに分割することなく、入力画像を構成する各画素毎に色度を算出し、色度の一致する画素群をグループ化することでクラスタを形成する（Ｓ２０２）。クラスタリングはコンピュータを用いた画像処理で周知技術である。ある画素の色度を算出し、隣接する画素の色度と比較し、一致する場合には両画素に同一のラベリングを付していく。以上の処理を全ての画素について行い、同一ラベルが付された画素群を１つのクラスタとしてナンバリングしメモリに記憶する。クラスタ１には画素１、２、３が属し、クラスタ２には画素４、５、６、７が属する等である。クラスタリングを行った後、各クラスタに属する画素の画素値を用いてそのクラスタの代表値を算出する（Ｓ２０３）。すなわち、クラスタに属する画素の平均値を算出し、その平均値を用いて（１）式によりそのクラスタの輝度Ｔｌ及び色差（Ｔｇ、Ｔｉ）を算出する。
【００４２】
クラスタの代表値（Ｔｌ、Ｔｇ、Ｔｉ）を算出した後、代表値の色差（Ｔｇ、Ｔｉ）を色差平面上において予め設定された光源色領域２０４及び明らかな物体色領域２０６（図３参照）と比較し、明らかな物体色領域２０６に属するか否かを判定する（Ｓ２０４）。明らかな物体色領域２０６に属する場合には、そのクラスタにフラグを設定する（Ｓ２０５）。明らかな物体色領域２０６に属しない場合には、そのクラスタにはフラグを設定しない。
【００４３】
Ｓ２０５の判定処理において、クラスタの色差（Ｔｇ、Ｔｉ）が光源色領域２０４と明らかな物体色領域２０６の境界近傍（グレーゾーン）に位置する場合には、次にそのクラスタに隣接して色度の近いクラスタであって明らかな物体色領域と識別されたクラスタが存在するか否かを判定する。存在すればそのクラスタも明らかな物体色領域に属するとしてフラグを設定する。また、存在しない場合には、さらに周囲を明らかな物体色領域で囲まれているか否かを判定し、囲まれていればそのクラスタも明らかな物体色領域に属するとしてフラグを設定する。図３において、光源色領域２０４と明らかな物体色領域２０６との境界に所定幅を有するグレーゾーンを設してもよい。クラスタの色差がこのグレーゾーンに位置する場合に上記の判定処理に移行する。
【００４４】
以上の処理を全てのクラスタについて繰り返し実行し（Ｓ２０６）、全てのクラスタについて識別した後、フラグの設定されたクラスタを除いた残存クラスタの代表値を用いてホワイトバランスゲインを算出する（Ｓ２０７）。
【００４５】
本実施形態によっても、明らかな物体色と認定されたクラスタを除外してホワイトバランスゲインを算出するため、ホワイトバランスの調整精度を向上することができる。
【００４６】
なお、本実施形態では、グレーゾーンに位置するクラスタの識別について説明したが、同様の処理を第１実施形態における色域判定回路１３で各画素に対して実行することもできる。各画素の色差に基づいて各画素が光源色領域２０４であるか明らかな物体色領域２０６であるかを判定する際に、周囲を明らかな物体色画素で囲まれている場合には、着目している画素も物体色画素であると識別する等である。
【００４７】
＜第３実施形態＞
上記の実施形態では、図３に示す領域マップを用いて各画素あるいは各クラスタが明らかな物体色領域２０６に属するか否かを判定しているが、さらに特定の物体固有の色差領域を設定し、これらの特定領域に属するか否かを判定することで識別精度を向上することもできる。
【００４８】
図１０に、特定色域領域の一例を示す。特定領域として、青空領域４００、肌色領域４０２、葉領域４０４、花領域４０６が色差平面上にマッピングされる。クラスタの色差がこれらの特定色域領域に属する場合に、明らかな物体色領域と識別する。例えば、あるクラスタの色差が葉領域４０４あるいは花領域４０６に属する場合、そのクラスタを明らかな物体色領域と識別する。あるクラスタがグレーゾーンに存在していても、これらの特定色域領域に属する場合には、そのクラスタを明らかな物体色領域と識別し、ホワイトバランスゲインの演算から排除することができる。
【００４９】
＜第４実施形態＞
第３実施形態では、色差平面上に特定色域領域をマッピングし、クラスタの色差がこれらの特定色域領域に属するか否かを判定することで識別精度を上げているが、当然ながら識別精度は各特定色域領域のマッピング精度に依存する。特定色域は、図１０に示すような肌色領域４０２や葉領域４０４であるが、特定色域領域を増大させるほど識別精度が向上する一方、特定色域領域を細分化するほど正確にマッピングすることが困難となる。
【００５０】
そこで、本実施形態では、ある特定色域領域における被写体の位置関係から、他の特定色域領域の正確なマッピング位置を推定する。
【００５１】
図１１に、本実施形態の処理を模式的に示す。マッピング補正に用いる被写体は人物の顔画像である。顔画像内には眼部があり、唇部が存在する。ここで、ホワイトバランスの異なる２つの顔画像５００、５０２が存在するものとする。顔画像５００の肌色部分及び唇部分と、顔画像５０２の肌色部分及び唇部分の色差はそれぞれ異なる。一方、色差平面上には、デイライト（昼光）、蛍光灯、タングステン光源を考慮した肌色領域５０４がマッピングされる。顔画像５００における肌色部分の色差は、この肌色領域５０４内のいずれかに位置し（位置Ｐ）、顔画像５０２における肌色画像の色差も同様に肌色５０４内のいずれかに位置する（位置Ｑ）。但し、両者の位置は元の画像のホワイトバランスが異なるため肌色領域５０４内の異なる位置にある。唇部分は肌色部分内に存在するので、肌色部分の位置が異なれば唇部分の位置も当然異なってくる。そこで、図示のように、特定色域領域として唇色領域をマッピングする場合には、肌色領域５０４内における位置Ｐに応じて唇色領域５０６を設定し、あるいは肌色領域５０４内における位置Ｑに応じて肌色領域５０８を設定する。すなわち、肌色領域５０４における画像の肌色部分の色差位置に応じて、唇色領域の位置をシフトさせる。具体的には、画像処理ＩＣのプロセッサが、メモリに記憶されている肌色領域５０４の中心位置と肌部分の位置Ｐ（あるいは位置Ｑ）とのずれ量に応じて同じメモリに記憶されている唇色領域のデフォルト位置をシフトさせてメモリに再記憶する。これにより、唇色領域を正確にマッピングすることができ、あるクラスタが唇色であるか否かの識別精度が向上する。図において、顔画像５００の唇部分は、位置Ｐに応じて色差平面上に設定された唇色領域５０６内に位置し、顔画像５０２の唇部分は、位置Ｑに応じて色差平面上に設定された唇色領域５０８に位置していることを示す。唇色領域５０６しか存在しない場合、顔画像５０２の唇部分は唇色領域５０６外となるため正確に識別できないことが理解されよう。位置Ｐ、Ｑに応じた特定色域領域の設定は、唇色領域のみならず他の特定色域領域にも同様に適用できる。例えば、眼部は黒目部分と白目部分から構成されているが、無彩色である白目部分の特定色領域の位置を位置Ｐ、Ｑに応じて可変設定できる。なお、眼部の場合、色差だけでなく、白目部分と黒目部分の輝度差に着目することでさらに精度を上げることも可能である。
【符号の説明】
【００５２】
１０ 撮像装置、１２ ブロック分割回路、１３ 色域判定回路、１４ 代表値計算回路、１６ ホワイトバランス評価回路、１８ ホワイトバランスゲイン計算回路、２０ ホワイトバランス調整回路。
【特許請求の範囲】
【請求項１】
入力画像のホワイトバランスを調整するホワイトバランス調整装置であって、
入力画像の各画素の色度に基づき入力画像を複数のクラスタに分割する分割手段と、
各クラスタの代表値を演算する代表値演算手段と、
前記代表値に基づき各クラスタが物体色クラスタであるか否かを判定する判定手段と、
全てのクラスタのうち物体色クラスタと判定されたクラスタを除く残存クラスタの代表値を用いてホワイトバランスゲインを演算するゲイン演算手段と、
を有することを特徴とするホワイトバランス調整装置。
【請求項２】
請求項１記載の装置において、
前記クラスタの代表値にはそのクラスタの色差が含まれ、
色差平面上における光源色領域及び明らかな物体色領域を予め記憶する記憶手段
を有し、前記判定手段は、前記クラスタの代表値に含まれる前記色差が、前記記憶手段に記憶された明らかな物体色領域に属する場合に前記物体色クラスタと判定することを特徴とするホワイトバランス調整装置。
【請求項３】
請求項２記載の装置において、
前記判定手段は、判定すべき前記色差が前記光源色領域と前記明らかな物体色領域の境界近傍である場合に、周囲の画素あるいはクラスタの判定結果に応じて判定することを特徴とするホワイトバランス調整装置。
【請求項４】
請求項２記載の装置において、
前記記憶手段は、さらに特定物体固有の特定色領域を予め記憶し、
前記判定手段は、判定すべき前記色差が、前記記憶手段に記憶された特定色領域に属する場合に物体色画素あるいは物体色クラスタと判定することを特徴とするホワイトバランス調整装置。
【請求項５】
請求項４記載の装置において、
複数の前記特定色領域の前記色差平面上における位置は、ある基準特定色領域内における特定部位色の位置と前記基準特定色領域の中心位置とのずれに応じて設定されることを特徴とするホワイトバランス調整装置。
【請求項６】
請求項５記載の装置において、
前記基準特定色領域は種々の光源下における肌色の領域であり、前記特定部位色は唇色であることを特徴とするホワイトバランス調整装置。
【請求項７】
入力画像を色度が一致する画素群で構成される複数のクラスタに分割し、各クラスタの代表値を用いてホワイトバランスを調整するホワイトバランス調整装置であって、
全クラスタのうち、光源色を反映しているクラスタを選択する選択手段と、
選択されたクラスタの代表値のみを用いて前記ホワイトバランスを調整する調整手段と、
を有することを特徴とするホワイトバランス調整装置。
【請求項８】
入力画像を構成するクラスタが光源色を反映しているか否かを識別する色識別装置であって、
前記クラスタの色差を算出する色差演算手段と、
色差平面上において、複数の光源下における無彩色物体の色差領域を光源色領域として記憶するとともに特定色物体の色差領域を物体色領域として記憶する記憶手段と、
前記クラスタの色差が前記記憶手段に記憶された光源色領域あるいは物体色領域に属するか否かを判定することで前記クラスタが光源色を反映しているか否かを識別する処理手段と、
を有することを特徴とする色識別装置。
【請求項９】
請求項８記載の装置において、
前記物体色領域には、肌色領域、葉の緑領域、花の赤領域、青空の青領域の少なくともいずれかが含まれることを特徴とする色識別装置。
【請求項１０】
請求項８記載の装置において、
前記物体色領域には、肌色領域が含まれ、
前記肌色領域内における、前記入力画像の肌色クラスタの色差の位置に応じて前記物体色領域の少なくともいずれかの位置を可変設定する手段
を有することを特徴とする色識別装置。
【請求項１１】
請求項８記載の装置において、
前記処理手段は、さらに、判定対象のクラスタに隣接して、色度が近く既に物体色領域と識別されたクラスタが存在するか否かにより前記クラスタが光源色を反映しているか否かを識別することを特徴とする色識別装置。
【請求項１】
入力画像のホワイトバランスを調整するホワイトバランス調整装置であって、
入力画像の各画素の色度に基づき入力画像を複数のクラスタに分割する分割手段と、
各クラスタの代表値を演算する代表値演算手段と、
前記代表値に基づき各クラスタが物体色クラスタであるか否かを判定する判定手段と、
全てのクラスタのうち物体色クラスタと判定されたクラスタを除く残存クラスタの代表値を用いてホワイトバランスゲインを演算するゲイン演算手段と、
を有することを特徴とするホワイトバランス調整装置。
【請求項２】
請求項１記載の装置において、
前記クラスタの代表値にはそのクラスタの色差が含まれ、
色差平面上における光源色領域及び明らかな物体色領域を予め記憶する記憶手段
を有し、前記判定手段は、前記クラスタの代表値に含まれる前記色差が、前記記憶手段に記憶された明らかな物体色領域に属する場合に前記物体色クラスタと判定することを特徴とするホワイトバランス調整装置。
【請求項３】
請求項２記載の装置において、
前記判定手段は、判定すべき前記色差が前記光源色領域と前記明らかな物体色領域の境界近傍である場合に、周囲の画素あるいはクラスタの判定結果に応じて判定することを特徴とするホワイトバランス調整装置。
【請求項４】
請求項２記載の装置において、
前記記憶手段は、さらに特定物体固有の特定色領域を予め記憶し、
前記判定手段は、判定すべき前記色差が、前記記憶手段に記憶された特定色領域に属する場合に物体色画素あるいは物体色クラスタと判定することを特徴とするホワイトバランス調整装置。
【請求項５】
請求項４記載の装置において、
複数の前記特定色領域の前記色差平面上における位置は、ある基準特定色領域内における特定部位色の位置と前記基準特定色領域の中心位置とのずれに応じて設定されることを特徴とするホワイトバランス調整装置。
【請求項６】
請求項５記載の装置において、
前記基準特定色領域は種々の光源下における肌色の領域であり、前記特定部位色は唇色であることを特徴とするホワイトバランス調整装置。
【請求項７】
入力画像を色度が一致する画素群で構成される複数のクラスタに分割し、各クラスタの代表値を用いてホワイトバランスを調整するホワイトバランス調整装置であって、
全クラスタのうち、光源色を反映しているクラスタを選択する選択手段と、
選択されたクラスタの代表値のみを用いて前記ホワイトバランスを調整する調整手段と、
を有することを特徴とするホワイトバランス調整装置。
【請求項８】
入力画像を構成するクラスタが光源色を反映しているか否かを識別する色識別装置であって、
前記クラスタの色差を算出する色差演算手段と、
色差平面上において、複数の光源下における無彩色物体の色差領域を光源色領域として記憶するとともに特定色物体の色差領域を物体色領域として記憶する記憶手段と、
前記クラスタの色差が前記記憶手段に記憶された光源色領域あるいは物体色領域に属するか否かを判定することで前記クラスタが光源色を反映しているか否かを識別する処理手段と、
を有することを特徴とする色識別装置。
【請求項９】
請求項８記載の装置において、
前記物体色領域には、肌色領域、葉の緑領域、花の赤領域、青空の青領域の少なくともいずれかが含まれることを特徴とする色識別装置。
【請求項１０】
請求項８記載の装置において、
前記物体色領域には、肌色領域が含まれ、
前記肌色領域内における、前記入力画像の肌色クラスタの色差の位置に応じて前記物体色領域の少なくともいずれかの位置を可変設定する手段
を有することを特徴とする色識別装置。
【請求項１１】
請求項８記載の装置において、
前記処理手段は、さらに、判定対象のクラスタに隣接して、色度が近く既に物体色領域と識別されたクラスタが存在するか否かにより前記クラスタが光源色を反映しているか否かを識別することを特徴とする色識別装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図７】
【図２】
【図３】
【図４】
【図５】
【図６】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図７】
【公開番号】特開２０１１−１３９４８９（Ｐ２０１１−１３９４８９Ａ）
【公開日】平成２３年７月１４日（２０１１．７．１４）
【国際特許分類】
【出願番号】特願２０１１−２０４３０（Ｐ２０１１−２０４３０）
【出願日】平成２３年２月２日（２０１１．２．２）
【分割の表示】特願２００５−１１７４５６（Ｐ２００５−１１７４５６）の分割
【原出願日】平成１７年４月１４日（２００５．４．１４）
【出願人】（５９００００８４６）イーストマン コダック カンパニー (1,594)
【Ｆターム（参考）】
【公開日】平成２３年７月１４日（２０１１．７．１４）
【国際特許分類】
【出願日】平成２３年２月２日（２０１１．２．２）
【分割の表示】特願２００５−１１７４５６（Ｐ２００５−１１７４５６）の分割
【原出願日】平成１７年４月１４日（２００５．４．１４）
【出願人】（５９００００８４６）イーストマン コダック カンパニー (1,594)
【Ｆターム（参考）】
[ Back to top ]