光源推定装置及び光源推定方法
【課題】画像のカラーテクスチャが平坦で色数が少ない場合であっても、少ない計算量で精度良く光源を推定する。
【解決手段】光源種類推定部１０９は、被写体を撮像する撮像素子により生成された画像信号から、輝度と色との間の相関係数を算出する輝度−色相関算出部と、前記画像信号における画像全体のカラーバランスと、前記画像信号におけるニュートラルグレー領域のカラーバランスを算出するカラーバランス算出部と、相関係数と、画像全体のカラーバランスと、ニュートラルグレー領域のカラーバランスとに基づく特徴ベクトルを生成する特徴ベクトル生成部と、生成された特徴ベクトルに基づき、前記画像信号における光源の種類を判定する識別器とを備える。
【解決手段】光源種類推定部１０９は、被写体を撮像する撮像素子により生成された画像信号から、輝度と色との間の相関係数を算出する輝度−色相関算出部と、前記画像信号における画像全体のカラーバランスと、前記画像信号におけるニュートラルグレー領域のカラーバランスを算出するカラーバランス算出部と、相関係数と、画像全体のカラーバランスと、ニュートラルグレー領域のカラーバランスとに基づく特徴ベクトルを生成する特徴ベクトル生成部と、生成された特徴ベクトルに基づき、前記画像信号における光源の種類を判定する識別器とを備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、光源推定装置及び光源推定方法に関する。
【背景技術】
【０００２】
人間の視覚系は、光源色の特性が未知であっても、ある程度物体の色を同定できる。例えば、太陽光の下で白い紙を見ると、人間は白い紙と認識する。一方、この紙を例えばハロゲンランプの下でみると、ハロゲンランプはオレンジがかった光源なので、紙はオレンジ色に見えるはずである。ところが、人間はハロゲンランプの下で見た場合でも太陽光の下で見たときと同様に白い紙と認識する。このように、光源色が変化しても本来の色を認識する機能を色恒常性という。色恒常性はデジタルスチルカメラやデジタルビデオカメラなどの電子撮像機器におけるホワイトバランス調整と同義である。ホワイトバランスとは、本来無彩色である物体が無彩色に見えるようにＲＧＢ各カラーチャネル間の調整を行うことである。この調整は本来、光源と物体表面の分光特性が分からないとできない処理である。すなわち、人間の眼にとどく光の分光特性は光源と物体表面それぞれの分光反射特性の積で表されるが、両者が未知なので不良設定問題となっている。そのため、光源と物体表面、および観察しているシーンに対して仮定や制約を設けて、色恒常性をモデル化した様々なアルゴリズムが提案されている。
【０００３】
色恒常性を解くために良く用いられているアルゴリズムの一つに灰色仮説がある（例えば、非特許文献１参照）。灰色仮説は、一般的なシーンでは視野内に様々な色が分布するため、その平均色は灰色に近いという経験則に基づいている。もしこの平均色が灰色からずれていれば、そのずれを光源色によるものと判断し、ＲＧＢカラーチャネル間の調整を行うことでホワイトバランス調整ができる。この手法は計算コストが小さく、デジタルスチルカメラのような組み込み機器への実装が容易であるという利点がある。反面、物理的には光源と独立であるはずの物体表面についての仮定に基づくため、シーンによってはその仮定が成立せず、光源推定結果が大きく左右される。例えば、赤い壁の一部に灰色のロゴがあったとする。このとき、画像平均色は赤くなり、灰色仮説はその赤みを光源色によるものと判断する。そのため、シーン全体を灰色にしようとして赤の反対色であるシアンを画面全体に加えるので、もともと灰色であったロゴの部分にシアンの色がついてしまう。これをカラーフェリアという。
【０００４】
灰色仮説に対して、光源と物体表面の分光特性を用いて推定する手法が提案されている（例えば、非特許文献２参照）。この手法は光源と物体表面の分光特性を低次の直交基底で表現し、光源・物体表面・撮像系に対する仮定により制約条件を設けたり、光源・物体表面・撮像系に関する既知情報を確率分布で統合したりすることで、統計的に光源推定精度を高める。この手法の利点は詳細な光源推定が行える点にある。しかしその反面、演算量が増えるため、デジタルカメラ内部のホワイトバランス処理などの画像処理演算で利用する場合、実時間処理に支障が生じる場合がある。
【０００５】
計算コストを下げつつ、光源、および物体表面の分光特性を考慮して光源種類を推定する方法として、輝度−色相関が提案されている（例えば、非特許文献３参照）。この手法は、光源色が赤い場合（緑、青も同様）には赤い領域がより赤くなるという輝度と色との間にある相関関係を利用して、光源色が白色光源かそうでないかを識別する。図９及び図１０を参照して輝度−色相関の概念を説明する。図９及び図１０は、輝度−色相関を説明するためのスペクトル分布の模式図である。図９及び図１０に示すグラフの横軸は波長、縦軸は各波長が持つエネルギーである。図９（ａ）は、左から、様々な色を含む一般的な物体Ｘの画像、その物体Ｘに照射する赤色光源Ｌｒ、およびその光源Ｌｒを物体Ｘに照射したときに撮像した撮像画像それぞれのスペクトル分布の模式図である。図９（ａ）の撮像画像のスペクトルは、短波長側（青い側）の強度が下がり、長波長側（赤い側）の強度が増大する。すなわち、一般的な物体に赤色光源を照射して撮像した画像は、画像内で明るい領域ほど赤みが増すという相関関係を有する。ただし、この相関関係は画面内に複数の色が存在する場合に生じる。一方、図９（ｂ）は、左から赤い物体Ｘｒの画像、その物体Ｘｒに照射する白色光源Ｌｈ（例えば色温度が５，５００[Ｋ（ケルビン）]の光源）、およびその光源Ｌｈを物体Ｘｒに照射したときに撮像した撮像画像それぞれのスペクトル分布の模式図である。白色光源のスペクトル分布は平坦なので、この場合は撮像対象のスペクトル分布がそのまま検知される。従って、この場合は輝度と色との間に相関が無いということになる。また、この相関は赤みだけでなく、青みにも同様な性質がある。
【０００６】
図１０は、赤色光源を照射したときのスペクトル分布の模式図である。図１０（ａ）は、左から、赤系領域Ｓｒの画像、その赤系領域Ｓｒに照射する赤色光源Ｌｒ、およびその光源Ｌｒを赤系領域Ｓｒに照射したときに撮像した撮像画像それぞれのスペクトル分布の模式図である。図１０（ｂ）は、左から、緑系領域Ｓｇの画像、その緑系領域Ｓｇに照射する赤色光源Ｌｒ、およびその光源Ｌｒを緑系領域Ｓｇに照射したときに撮像した撮像画像それぞれのスペクトル分布の模式図である。図１０（ｃ）は、左から、青系領域Ｓｂの画像、その青系領域Ｓｂに照射する赤色光源Ｌｒ、およびその光源Ｌｒを青系領域Ｓｂに照射したときに撮像した撮像画像それぞれのスペクトル分布の模式図である。青系領域Ｓｂには長波長側のエネルギーが少ないため、青系領域Ｓｂに赤色光源Ｌｒが照射された場合は、赤系領域Ｓｒに赤色光源Ｌｒが照射された場合と比較して暗くなる。一方、青系領域Ｓｂの反射光に含まれる短波長側のエネルギーは赤い光の分光特性により減衰するが、青系領域Ｓｂは赤系領域Ｓｒに赤い光が当たった場合と比較して短波長成分が残る（青系領域には短波長側のスペクトルが大きいため）。すなわち、暗いほど青みが強くなるという負の相関関係になる。以上が「輝度−色相関」と呼ばれている原理である。
【０００７】
この手法の利点は少ない演算量で大まかな光源の特性（白色、または非白色）を推定できる点にある。これは、上述の分光反射特性を用いる方法と比較して、光源と物体表面の詳細な分光特性を考慮する必要が無いからである。よって、カラーフェリア問題を低減するために十分な光源種類推定性能を持っており、かつ計算コストが小さいため、組み込み機器実装に向いている。
【０００８】
また、特許文献１には、複数の異なる分光感度特性を持つセンサの応答値から、被写体を照射する光源の色を示す分光特性を推定することが記載されている。
【先行技術文献】
【特許文献】
【０００９】
【特許文献１】特許第３７６７５４１号公報
【非特許文献】
【００１０】
【非特許文献１】E. H. Land, “Recent Advance in Retinex Theory”, Vision Research, 26, 1986.
【非特許文献２】D. H. Brainard & W. T. Freeman, “Baysian Color Constancy”, J. Opt. Soc. Am. A, Vol.14, No.7, 1997.
【非特許文献３】J. Golz & D. I. A. Macleod,“Influence of scene statistics on color constancy”, NATURE, VOL. 415, 7, FEBRUARY, 2002.
【発明の概要】
【発明が解決しようとする課題】
【００１１】
しかしながら、上述した輝度−色相関は、カメラ位置や光源強度に起因する画像のテクスチャ程度に影響される、という問題点がある。例えば、画像のカラーテクスチャが平坦で色数が少ない場合、輝度と色の入力データ分布が広がらないため、輝度−色相関が不安定になる場合がある。実環境下で安定した光源推定性能を確保するには、この問題による影響を低減する必要がある。
また、輝度−色相関は入力データの正規分布を仮定しているため、入力データ数が少なかったりデータにはずれ値が存在したりすると正規分布の仮定から外れ、正しい輝度−色相関を算出できない場合がある。また、物体の鏡面反射により一部の画素が白飛びしてハイライト領域が存在するシーンでは、それらの画素がはずれ値となり、輝度−色相関が不安定になる場合がある。
また、特許文献１に記載された技術では、センサの応答値に基づいて光源の色を示す分光特性を推定するため、計算量が多くなる、という問題がある。また、撮像手段は、複数の異なる分光感度特性を持つセンサを備えなければならない。
【００１２】
本発明は上記の点に鑑みてなされたものであり、その目的は、画像のカラーテクスチャが平坦で色数が少ない場合であっても、少ない計算量で精度良く光源を推定することができる光源推定装置及び光源推定方法を提供することにある。
【課題を解決するための手段】
【００１３】
本発明は上記の課題を解決するためになされたものであり、本発明の一態様は、被写体を撮像する撮像素子により生成された画像信号から、輝度と色との間の相関係数を算出する輝度−色相関算出部と、前記画像信号における画像全体のカラーバランスを算出する第１のカラーバランス算出部と、前記画像信号において平均色が灰色の領域であるニュートラルグレー領域のカラーバランスを算出する第２のカラーバランス算出部と、前記相関係数と、前記画像全体のカラーバランスと、前記ニュートラルグレー領域のカラーバランスとに基づく特徴ベクトルを生成する特徴ベクトル生成部と、前記特徴ベクトル生成部により生成された特徴ベクトルに基づき、前記画像信号における光源の種類を判定する識別器と、を備えることを特徴とする光源推定装置である。
【００１４】
この発明によれば、輝度と色との間の相関係数に加えて、画像全体のカラーバランス、及びニュートラルグレー領域のカラーバランスに基づいて、光源の種類を判定する。これにより、画像のカラーテクスチャが平坦で色数が少ない場合であっても、少ない計算量で精度良く光源を推定することができる。
【００１５】
また、本発明の一態様は、上記の光源推定装置において、前記画像信号における色の多様性を示すカラーテクスチャ特徴を算出するテクスチャ解析部を備え、前記特徴ベクトル生成部は、前記カラーテクスチャ特徴に基づいて、前記特徴ベクトルを生成することを特徴とする。
【００１６】
この発明によれば、輝度と色との間の相関係数、画像全体のカラーバランス、及びニュートラルグレー領域のカラーバランスに加えて、カラーテクスチャ特徴に基づいて光源の種類を判定する。これにより、より精度良く光源を推定することができる。
【００１７】
また、本発明の一態様は、上記の光源推定装置において、前記画像信号において輝度が一定となる輝度一定領域を特定する輝度むら解析部を備え、輝度−色相関算出部は、前記輝度むら解析部により特定された輝度一定領域において前記相関係数を算出することを特徴とする。
【００１８】
この発明によれば、輝度一定領域において相関係数を算出しているため、光源の位置や強度に依存することなく相関係数を算出することができる。これにより、カラーフェリアを軽減することができる。
【００１９】
また、本発明の一態様は、上記の光源推定装置において、前記撮像素子により生成された画像信号を時系列に順次記憶する時系列データバッファを備え、輝度−色相関算出部は、前記時系列に記憶された複数の画像信号から、前記相関係数を算出することを特徴とする。
【００２０】
この発明によれば、複数の画像信号を用いて相関係数を算出するため、精度良く相関係数を算出することができる。また、時系列データを用いているため、手振れ、シーン内に存在する被写体の運動、及び照明条件の変化等によって生じる画像情報の時間変化に対応することができる。
【００２１】
また、本発明の一態様は、上記の光源推定装置において、前記識別器は、複数の画像信号の特徴ベクトルと各画像信号に対応する光源の種類とからなる学習データに基づいて、特徴ベクトルから光源の種類を導くための判定基準を学習する学習部と、前記学習部による学習結果に基づき、前記特徴ベクトル生成部により生成された特徴ベクトルに対応する光源の種類を判定する識別部と、を備えることを特徴とする。
【００２２】
この発明によれば、機会学習による学習結果に基づき光源種類を判定しているため、マニュアルで特徴ベクトルから光源の種類を導くための判断基準を設定する必要がない。
【００２３】
また、本発明の一態様は、光源推定装置の輝度−色相関算出部が、被写体を撮像する撮像素子により生成された画像信号から、輝度と色との間の相関係数を算出するステップと、前記光源推定装置の第１のカラーバランス算出部が、前記画像信号における画像全体のカラーバランスを算出するステップと、前記光源推定装置の第２のカラーバランス算出部が、前記画像信号において平均色が灰色の領域であるニュートラルグレー領域のカラーバランスを算出するステップと、前記光源推定装置の特徴ベクトル生成部が、前記相関係数と、前記画像全体のカラーバランスと、前記ニュートラルグレー領域のカラーバランスとに基づく特徴ベクトルを生成するステップと、前記光源推定装置の識別器が、前記特徴ベクトル生成部により生成された特徴ベクトルに基づき、前記画像信号における光源の種類を判定するステップと、を有することを特徴とする光源推定方法である。
【００２４】
また、本発明の一態様は、上記の光源推定方法において、前記光源推定装置のテクスチャ解析部が、前記画像信号における色の多様性を示すカラーテクスチャ特徴を算出するステップを有し、前記特徴ベクトル生成部は、前記カラーテクスチャ特徴に基づいて、前記特徴ベクトルを生成することを特徴とする。
【００２５】
また、本発明の一態様は、上記の光源推定方法において、前記光源推定装置の輝度むら解析部が、前記画像信号において輝度が一定となる輝度一定領域を特定するステップを有し、輝度−色相関算出部は、前記輝度むら解析部により特定された輝度一定領域において前記相関係数を算出することを特徴とする。
【００２６】
また、本発明の一態様は、上記の光源推定方法において、記光源推定装置は、前記撮像素子により生成された画像信号を時系列に順次記憶する時系列データバッファを備え、輝度−色相関算出部は、前記時系列に記憶された複数の画像信号から、前記相関係数を算出することを特徴とする。
【００２７】
また、本発明の一態様は、上記の光源推定方法において、前記識別器は、前記識別器の学習部が、複数の画像信号と各画像信号に対応する光源の種類とからなる学習データに基づいて、特徴ベクトルから光源の種類を導くための判定基準を学習するステップと、前記識別器の識別部が、前記学習部による学習結果に基づき、前記特徴ベクトル生成部により生成された特徴ベクトルに対応する光源の種類を判定するステップと、を有することを特徴とする。
【発明の効果】
【００２８】
本発明によれば、輝度と色との間の相関係数に加えて、カラーテクスチャ特徴、画像全体のカラーバランス、及びニュートラルグレー領域のカラーバランスを用いて、光源の種類を判定する。これにより、画像のカラーテクスチャが平坦で色数が少ない場合であっても、少ない計算量で精度良く光源を推定することができる。
【図面の簡単な説明】
【００２９】
【図１】本実施形態によるホワイトバランス調整装置の機能構成を示すブロック図である。
【図２】本実施形態による光源種類推定部の機能構成を示すブロック図である。
【図３】本実施形態による光源種類推定処理の手順を示すフローチャートである。
【図４】本実施形態による特徴ベクトル算出処理の手順を示すフローチャートである。
【図５】本実施形態による一般的な被写体に対して赤色光源を照射して撮像した入力画像における輝度と色との相関を示すグラフである。
【図６】本実施形態による一般的な被写体に対して白色光源を照射して撮像した入力画像における輝度と色との相関を示すグラフである。
【図７】本実施形態による色−輝度相関係数をプロットした２次元散布図である。
【図８】本実施形態による特徴ベクトルの３次元プロットを示すグラフである。
【図９】輝度−色相関を説明するためのスペクトル分布の模式図である。
【図１０】輝度−色相関を説明するためのスペクトル分布の模式図である。
【発明を実施するための形態】
【００３０】
以下、図面を参照しながら本発明の一実施形態について詳しく説明する。
図１は、本実施形態によるホワイトバランス調整装置１の機能構成を示すブロック図である。
ホワイトバランス調整装置１は、デジタルビデオカメラ、デジタルスチルカメラやカメラ付携帯端末等の被写体光学像を変換して画像信号を電気的に出力する装置おいて、画像信号のホワイトバランスを調整する装置である。ホワイトバランス調整装置１は、レンズ１０１と、アイリス１０２と、撮像素子１０３と、ＡＧＣ（Automatic Gain Control）部１０４と、前処理部１０５と、画像情報算出部１０６と、照度検出部１０７と、駆動部１０８と、光源種類推定部１０９と、ホワイトバランスゲイン算出部１１１と、ホワイトバランス制御部１１２と、色補正制御部１１３と、ガンマ補正制御部１１４と、出力部１１５とを含んで構成される。
【００３１】
レンズ１０１は、撮像素子１０３の受光面に光学像を導く。アイリス１０２は、レンズ１０１から撮像素子１０３への光の出力を調整する。撮像素子１０３は、その受光面に結像した光学像を光電変換して画像信号を生成し、生成した画像信号をＡＧＣ部１０４へ出力する。ＡＧＣ部１０４は、照度検出部１０７により検出された照度に基づいて、入力された画像信号のレベルを一定にし、レベルを一定にした画像信号を前処理部１０５に出力する。前処理部１０５は、入力された画像信号に対してノイズ除去、欠陥補正、及びシェーディング補正等の前処理を行い、前処理した画像信号を画像情報算出部１０６とホワイトバランス制御部１１２とに出力する。
【００３２】
画像情報算出部１０６は、入力された画像信号を縮小してホワイトバランス算出用の縮小画像信号を生成し、生成した縮小画像信号を照度検出部１０７と光源種類推定部１０９とホワイトバランスゲイン算出部１１１とに出力する。照度検出部１０７は、入力された縮小画像信号に基づいて露出処理に用いる照度を算出し、算出した照度をＡＧＣ部１０４と駆動部１０８とホワイトバランスゲイン算出部１１１とに出力する。駆動部１０８は、入力された照度に基づいてアイリスを駆動し、露出を調整する。
【００３３】
光源種類推定部（光源推定装置）１０９は、入力された縮小画像信号を用いて「輝度−色相関」原理を基にした画像特徴量（特徴ベクトル）を算出し、光源種類（光源の種類）が白色系か非白色系かを判定する。そして、光源種類推定部１０９は、判定結果をホワイトバランスゲイン算出部１１１へ出力する。光源種類推定部１０９の詳細については後述する。
【００３４】
ホワイトバランスゲイン算出部１１１は、光源種類推定部１０９により判定された光源種類と照度検出部１０７により検出された照度とに基づいて、ホワイトバランスゲインを算出する。具体的には、ホワイトバランスゲイン算出部１１１は、光源種類に対応するホワイトバランスゲインをホワイトバランスチューニングパラーメータ記憶部１１０から読み出し、読み出したホワイトバランスゲインをホワイトバランス制御部１１２に出力する。ホワイトバランスチューニングパラーメータ記憶部１１０は、光源種類毎に最適化されたホワイトバランスゲインを示すホワイトバランスチューニングパラメータを記憶する。
【００３５】
なお、本実施形態では、ホワイトバランスゲイン算出部１１１は、ホワイトバランスチューニングパラーメータに基づいて、ホワイトバランスゲインを算出しているが、一般的なホワイトバランス算出アルゴリズムを用いてホワイトバランスゲインを算出してもよい。例えば、ホワイトバランスゲイン算出部１１１は、縮小画像全体の色が光源種類の光源色であればカラーバランスがグレーになるようにホワイトバランスゲインを算出し、縮小画像全体の色が光源色以外の物体色であれば色味を補正せず残すホワイトバランスゲインを算出する。この方法は元のホワイトバランスアルゴリズムを変更する必要が無いので、システム親和性が高いというメリットがある。さらに別の例を説明する。光源種類が推定できると各光源を照射したときの被写体輝度（Brightness Value）の範囲を制限できる。このため、その被写体輝度範囲をパラメータとしてホワイトバランスゲイン算出に用いることが考えられる。一般的なホワイトバランス算出アルゴリズムでは被写体輝度から光源種別を推定するロジックを含むことが多いが、カメラシステムによってはレンズ１０１と本体（撮像素子１０３以降）が通信できないために被写体輝度を取得できず、ホワイトバランス算出の精度に影響が出る場合がある。本例によれば、光源種類を推定することにより被写体輝度範囲をある程度推定するため、ホワイトバランス算出の精度劣化を防ぐことができる。
【００３６】
ホワイトバランス制御部１１２は、入力されたホワイトバランスゲインに基づき、前処理部１０５から入力された画像信号に対しホワイトバランス調整する。そして、ホワイトバランス制御部１１２は、ホワイトバランス調整した画像信号を色補正制御部１１３に出力する。色補正制御部１１３は、入力された画像信号を色補正し、色補正した画像信号をガンマ補正制御部１１４に出力する。ガンマ補正制御部１１４は、入力された画像信号をガンマ補正し、ガンマ補正した画像信号を出力部１１５に出力する。出力部１１５は、入力された画像信号を外部記憶媒体、ディスプレイ、又はネットワーク等に出力する。
【００３７】
図２は、本実施形態による光源種類推定部１０９の機能構成を示すブロック図である。
光源種類推定部１０９は、時系列データバッファ２０２と、輝度むら解析部２０３と、特徴量算出部２０４と、識別器２１１とを含んで構成される。
時系列データバッファ２０２は、縮小画像信号２０１を入力とし、入力された縮小画像信号の画像データ（以下、縮小画像データとする）をフレーム毎に時系列に記憶する。時系列データバッファ２０２は、例えばＤＲＡＭ（Dynamic Random Access Memory）等のフラッシュメモリ上に確保されたリングバッファであり、所定フレーム数の画像データを格納することができる。時系列データバッファ２０２に記憶された縮小画像データは、順次輝度むら解析部２０３に入力される。
【００３８】
輝度むら解析部２０３は、フレーム単位で輝度一定領域とハイライト画素とを特定する。輝度一定領域とは、光源の位置を仮定したときに、輝度が一定になる領域である。また、ハイライト画素とは、２色性反射モデル（例えば、S.A.Shafer, “Using color to separate reflection components,” in COLOR Research and Application, Vol.10, No.4, pp.210-218, 1985.参照）等によって得られる極端に明るい画素である。そして、輝度むら解析部２０３は、特定した輝度一定領域の情報（面積、座標）である輝度むら情報とハイライト画素の情報（座標）であるハイライト画素情報と縮小画像データとを特徴量算出部２０４に出力する。輝度むら解析部２０３における処理の詳細は後述する。
【００３９】
特徴量算出部２０４は、縮小画像データにおける光源種類を判定するための特徴量（以下、特徴ベクトルとする）を算出し、算出した特徴ベクトルを識別器２１１に出力する。特徴量算出部２０４は、輝度−色相関算出部２０５と、テクスチャ解析部２０６と、平均色算出部２０７と、ニュートラルグレー領域探索部２０８と、カラーバランス算出部２０９と、特徴ベクトル算出部２１０とを含んで構成される。
【００４０】
輝度−色相関算出部２０５は、時系列に並べられたＫ（Ｋは２以上の整数）フレームの縮小画像データと、各縮小画像データに対応する輝度むら情報と、各縮小画像データに対応するハイライト画素情報とに基づいて、輝度と色の間の相関を示す輝度−色相関係数を算出する。この輝度−色相関係数は、カラーテクスチャの多い（色数の多い）画像に対して精度良く光源種類を推定できる特徴量である。そして、輝度−色相関算出部２０５は、算出した輝度−色相関係数を特徴ベクトル算出部２１０に出力する。輝度−色相関算出部２０５における処理の詳細については後述する。
【００４１】
テクスチャ解析部２０６は、時系列に並べられたＫフレームの縮小画像データからカラーテクスチャ特徴を算出し、算出したカラーテクスチャ特徴を特徴ベクトル算出部２１０に出力する。カラーテクスチャ特徴は、色の多様性を表す指標である。テクスチャ解析部２０６における処理の詳細については後述する。
【００４２】
平均色算出部２０７は、縮小画像データにおけるＲＧＢチャネルそれぞれの平均色を算出し、算出した平均色と縮小画像データとをカラーバランス算出部２０９に出力する。ニュートラルグレー領域探索部２０８は、縮小画像データにおけるニュートラルグレー（灰色）領域を探索し、縮小画像データにニュートラルグレー領域があるか否かを判定する。ニュートラルグレー領域は、平均色が灰色である領域である。そして、ニュートラルグレー領域探索部２０８は、ニュートラルグレー領域の有無と縮小画像データとをカラーバランス算出部２０９に出力する。
【００４３】
カラーバランス算出部２０９は、平均色算出部２０７が算出したＲＧＢチャネルそれぞれの平均色から、縮小画像データにおける画像全体のカラーバランスを算出する。また、カラーバランス算出部２０９は、ニュートラルグレー領域探索部２０８が探索したニュートラルグレー領域のカラーバランスを算出する。そして、カラーバランス算出部２０９は、算出した画像全体のカラーバランスとニュートラルグレー領域のカラーバランスとを特徴ベクトル算出部２１０に出力する。カラーバランスの算出方法の詳細については後述する。画像全体のカラーバランスとニュートラルグレー領域のカラーバランスとの組は、カラーテクスチャの少ない画像に対して精度良く光源種類を推定できる特徴量である。
【００４４】
特徴ベクトル算出部２１０は、輝度−色相関算出部２０５により算出された輝度−色相関と、テクスチャ解析部２０６により抽出されたカラーテクスチャ特徴と、カラーバランス算出部２０９により算出されたカラーバランスとに基づいて、特徴ベクトル（輝度−色相関，カラーテクスチャ特徴，画像全体のカラーバランス，ニュートラルグレー領域のカラーバランス）を生成し、識別器２１１の学習部２１２又は識別部２１５に出力する。
【００４５】
識別器２１１は、複数の画像データの特徴ベクトルと各画像データに対応する光源種類（教示データ）とからなる学習データに基づいて、特徴ベクトルから光源種類を導くための判定基準を機械学習する。このとき、識別部１１は、ブースティング（Ｂｏｏｓｔｉｎｇ）、サポート・ベクター・マシーン（ＳＶＭ）、決定木（Ｄｅｃｉｓｉｏｎ Ｔｒｅｅ）、あるいは決定木を拡張したＲａｎｄｏｍ Ｆｏｒｅｓｔ等を用いて機械学習する。そして、識別器２１１は、学習した結果に基づいて、特徴量算出部２０４により入力された特徴ベクトルに対応する光源種類を判定する。識別器２１１は、学習部２１２と、識別部２１５とを含んで構成される。なお、識別器２１１は、本実施形態では機械学習しているが、例えばマニュアル操作によって判断基準に基づいて光源種類を判定してもよい。
【００４６】
学習部２１２は、学習データに基づいて、特徴ベクトルから光源種類を導くための判定基準を機械学習し、この学習結果を学習結果記憶部２１４に書き込む。学習結果記憶部２１４は、ホワイトバランス調整装置１の外部にある外部記憶装置であり、学習部２１２による学習結果を記憶する。なお、学習部２１２は、学習に続いて光源種類推定処理をする場合には、ホワイトバランス調整装置１内に設けられたフラッシュメモリ等に学習結果を書き込む。
【００４７】
識別部２１５は、学習部２１２による学習結果に基づいて、特徴ベクトル算出部２１０により入力された特徴ベクトルに対応する光源種類を判定し、判定結果をホワイトバランスゲイン算出部１１１に出力する。例えば、識別部２１５は、特徴ベクトル（輝度−色相関，カラーテクスチャ特徴，画像全体のカラーバランス，ニュートラルグレー領域のカラーバランス）において、カラーテクスチャ特徴が大きい（カラーテクスチャが多い）場合には輝度−色相関に対する重みを重くして光源種類を判定し、カラーテクスチャ特徴が小さい（カラーテクスチャが少ない）場合には画像全体のカラーバランスとニュートラルグレー領域のカラーバランスとの組に対する重みを重くして光源種類を判定する。
【００４８】
次に、図３を参照して、光源種類推定部１０９による光源種類推定処理について説明する。図３は、本実施形態による光源種類推定処理の手順を示すフローチャートである。
まず、識別部２１５が、学習結果記憶部２１４から学習結果を読み込む（ステップＳ１０）。次に、光源種類推定部１０９は、時系列データバッファ２０２へ縮小画像データを書き込む（ステップＳ２０）。
【００４９】
次に、光源種類推定部１０９は、時系列データバッファ２０２に書き込んだ縮小画像データ数が所定の閾値以上であるか否かを判定する（ステップＳ３０）。縮小画像データ数が閾値以上であればステップＳ４０へ進み、縮小画像データ数が閾値未満であればステップＳ２０へ戻る。この分岐の目的は、後述する輝度−色相関係数の算出を安定して行うために、十分な数のデータを確保することである。
【００５０】
次に、輝度むら解析部２０３が、輝度むら解析によりフレーム単位で輝度一定領域とハイライト画素とを特定する（ステップＳ４０）。具体的には、輝度むら解析部２０３は、次の領域近似方法を用いて輝度一定領域を特定する。輝度むらは、光源位置、物体の形状・配置に依存する。このため、この領域近似方法では、光源位置について正面を中心として上下左右の８方向とした場合を想定し、さらに物体の奥行きサイズはカメラから物体までの距離と比較して十分小さいものと仮定し、画像上で水平・垂直・斜め方向のいずれかの方向において照明強度が一定であると仮定した上で、輝度一定領域を特定する。
なお、この方法に限らず、他の領域近似方法を用いて輝度一定領域を特定してもよい。例えば、画像の領域分割を行う領域近似方法がある。この領域近似方法は、影の領域や鏡面反射で白飛びしている領域を領域分割し、輝度レベルが一定の領域のみを用いる手法である。影の領域は色や輝度のクラスタリングで求めることができる。また、鏡面反射している領域は例えば、２色性反射モデルを用いて推定することができる。なお、これら２つの領域近似手法を併用してもよい。
【００５１】
次に、特徴量算出部２０４が、輝度一定領域の情報である輝度むら情報と、ハイライト情報と、縮小画像データとに基づいて、光源種類を判定するための特徴ベクトルを算出する（ステップＳ５０）。この特徴ベクトル算出処理の詳細は後述する。
次に、識別部２１５が、読み込んだ学習結果に基づいて、算出された特徴ベクトルに対するスコアを光源種類毎に算出する（ステップＳ６０）。そして、識別部２１５は、光源種類毎に算出されたスコアに基づき、光源種類を判定する（ステップＳ７０）。具体的には、識別部２１５は、スコアの高い光源種類を、算出された特徴ベクトルに対応する光源種類とする。
【００５２】
次に、図４を参照して、上述したステップＳ５０における特徴ベクトル算出処理について説明する。図４は、本実施形態による特徴ベクトル算出処理の手順を示すフローチャートである。
まず、特徴量算出部２０４は、輝度むら解析部２０３から、時系列に並べられたＫフレームの縮小画像データと、各縮小画像データに対応する輝度むら情報と、各縮小画像データに対応するハイライト画素情報とを取得する（ステップＳ１００，Ｓ１１０，Ｓ１２０）。次に、特徴量算出部２０４は、輝度−色相関算出処理と、カラーテクスチャ解析処理と、画像全体のカラーバランス算出処理と、ニュートラルグレー領域のカラーバランス算出処理とを並行して行う。なお、本実施形態では、輝度−色相関算出処理と、カラーテクスチャ解析処理と、画像全体のカラーバランス算出処理と、ニュートラルグレー領域のカラーバランス算出処理とを並行して行うが、１処理ずつ順に行ってもよい。
【００５３】
［輝度−色相関算出処理（ステップＳ１４０）］
まず、輝度−色相関算出処理について説明する。
輝度−色相関算出部２０５は、時系列に並べられたＫフレームの縮小画像データと、各縮小画像データに対応する輝度むら情報と、各縮小画像データに対応するハイライト画素情報とに基づいて、輝度−色相関係数を算出する（ステップＳ１４０）。
ここで、Ｋフレームの縮小画像データを用いるのは、後述する相関係数の算出を安定して行うためである。相関係数の算出は、データ分布が正規分布でなければ安定して行うことができないが、相関係数の算出に用いるデータ数が少ないと、データ分布が正規分布になっているかがわからない。このため、複数のフレームを用いて、相関係数を算出するためのデータ数を確保する。また、時系列データを用いる理由は、手振れ、シーン内に存在する被写体の運動、及び照明条件の変化等によって生じる画像情報の時間変化に対応するためである。
【００５４】
具体的には、まず、輝度−色相関算出部２０５は、輝度一定領域以外の領域とハイライト画素とを各縮小画像データから除去する。これは、光源位置が偏っている場合や物体表面の反射特性に極端に差がある場合等には、撮像画像の輝度分布に大きな差が生じ（シェーディング）、輝度と色味のデータ分布が正規分布にならず輝度−色相関係数の算出が不安定になるためである。
次に、輝度−色相関算出部２０５は、輝度一定領域以外の領域とハイライト画素とを除去した各縮小画像データを縦横にＮ（Ｎは２以上の整数）分割する。以下、分割した領域を分割ブロックとする。なお、Ｎの値は任意であり、例えば画素を1分割ブロックとしてもよい。そして、輝度−色相関算出部２０５は、分割ブロックｉ（ｉ＝１，２，…，Ｎ×Ｋ）毎にＲチャネルの平均値Ｒｉと、Ｇチャネルの平均値Ｇｉと、Ｂチャネルの平均値Ｂｉとを算出する。そして、輝度−色相関算出部２０５は、次の式（１）により各分割ブロックｉの輝度Ｌｕｍｉを算出する。
【００５５】
【数１】
【００５６】
次に、輝度−色相関算出部２０５は、次の式（２）により、各分割ブロックｉの赤みＲｅｄｎｅｓｓｉを算出する。
【００５７】
【数２】
【００５８】
次に、輝度−色相関算出部２０５は、次の式（３）により、各分割ブロックｉの青みＢｌｕｅｎｅｓｓｉを算出する。
【００５９】
【数３】
【００６０】
次に、輝度−色相関算出部２０５は、輝度Ｌｕｍと赤みＲｅｄｎｅｓｓの相関係数Ｆｒを次の式（４）で表されるピアソンの積率相関係数により算出する。
【００６１】
【数４】
【００６２】
以下、式中の文字上部に「−」が付いた文字は、文中において文字の前に（−）を記載して示す。ｎはデータ数であり、ｎ＝Ｎ×Ｋである。（−）Ｌｕｍは、輝度Ｌｕｍの平均値である。（−）Ｒｅｄｎｅｓｓは、赤みＲｅｄｎｅｓｓの平均値である。
【００６３】
そして、輝度−色相関算出部２０５は、輝度Ｌｕｍと青みＢｌｕｅｎｅｓｓの相関係数Ｆｂを次の式（５）で表されるピアソンの積率相関係数により算出する。
【００６４】
【数５】
【００６５】
ただし、（−）Ｂｌｕｅｎｅｓｓは、青みＢｌｕｅｎｅｓｓの平均値である。
【００６６】
最後に、輝度−色相関算出部２０５は、輝度−色相関係数Ｆ＝（Ｆｒ，Ｆｂ）とする。相関係数の算出には式（４）及び式（５）で示されるピアソンの積率相関係数を用いるが、これはデータの正規分布性を仮定している。そのため、データ数が少なかったり、はずれ値(Outlier)が存在したりする場合には正しい相関係数を算出できない場合がある。このため、本実施形態では、時系列バッファへの画像保存（ステップＳ２０）によりデータ数を確保して、相関係数を算出している。また、輝度むら解析（ステップＳ４０）による輝度の変動とハイライト画素とを除去することにより、相関係数算出の誤差要因を低減する。
なお、これらの要因以外にはずれ値が混入する可能性がある。例えばシーン中に自発光する領域が存在する場合である。このような場合には輝度むら解析ではデータのはずれ値を特定できないため、データの分布が正規分布にならない可能性がある。そのため、このような場合には、データの正規分布性を仮定しないスピアマンの順位相関係数を用いてもよい。
【００６７】
図５は、本実施形態による一般的な被写体に対して赤色光源を照射して撮像した入力画像における輝度と色との相関を示すグラフである。
図５（ａ）は、様々な色を含む一般的な被写体に対して赤色光源（ここではハロゲンランプ）を照射して撮像した入力画像である。図５（ｂ）は、図５（ａ）に示す入力画像における輝度Ｌｕｍに対する赤みＲｅｄｎｅｓｓの変化をプロットしたグラフである。このグラフにおける縦軸は赤みＲｅｄｎｅｓｓであり、横軸は輝度Ｌｕｍである。本図に示すように、輝度Ｌｕｍと赤みＲｅｄｎｅｓｓは正の相関を持つ。図５（ｃ）は、図５（ａ）に示す入力画像における輝度Ｌｕｍに対する青みＢｌｕｅｎｅｓｓの変化をプロットしたグラフである。このグラフにおける縦軸は青みＢｌｕｅｎｅｓｓであり、横軸は輝度Ｌｕｍである。本図に示すように、輝度Ｌｕｍと青みＢｌｕｅｎｅｓｓは負の相関を持つ。
【００６８】
図６は、本実施形態による一般的な被写体に対して白色光源を照射して撮像した入力画像における輝度と色との相関を示すグラフである。
本図に示すグラフは、図５（ａ）に示す様々な色を含む一般的な被写体に対して白色光源（ここでは色温度５，５００[Ｋ]の白色光源）を照射して撮像した入力画像Ｈにおける輝度に対する色の変化を示す。図６（ａ）は、入力画像Ｈにおける輝度Ｌｕｍに対する赤みＲｅｄｎｅｓｓの変化をプロットしたグラフである。このグラフにおける縦軸は赤みＲｅｄｎｅｓｓであり、横軸は輝度Ｌｕｍである。本図に示すように、輝度Ｌｕｍと赤みＲｅｄｎｅｓｓとには相関関係が見られない。また、図６（ｂ）は、入力画像Ｈにおける輝度に対する青みの変化をプロットしたグラフである。このグラフにおける縦軸は青みＢｌｕｅｎｅｓｓであり、横軸は輝度Ｌｕｍである。本図に示すように、輝度Ｌｕｍと青みＢｌｕｅｎｅｓｓとには相関関係が見られない。
これらのことから、赤色光源を照射したときのみ輝度−色相関が生じることが確認できる。
【００６９】
図７は、本実施形態による色−輝度相関係数をプロットした２次元散布図である。
この２次元散布図のグラフにおける横軸は輝度と赤みの相関係数Ｆｒであり、縦軸は輝度と青みの相関係数Ｆｂである。プロットの凡例は５種類あり、赤色光源を照射して撮像した３つの被写体（様々な色を含む被写体、２４色マクベスカラーチャート、グレーチャート）、および白色光源を照射して撮像した２つの被写体（様々な色を含む被写体、赤色の被写体（赤系物体））である。一つの凡例あたり、撮像位置を変えて１０枚の画像を撮像した。本図から、赤色光源で撮像した凡例は、輝度−赤み相関が大きく、かつ輝度−青み相関が小さいため、プロットがグラフの右下の領域に集中することがわかる。一方、白色光源で撮像した凡例は、プロットがグラフ右下の領域以外の領域に散らばることがわかる。よって、図７に示すグラフの右下領域を検出する識別境界を学習部２１２で指定できれば、その領域に入ったプロットを赤色光源と判定できる。しかし、図７では、赤色光源のプロットと白色光源のプロットとが一部右下領域で混じっている。この現象の要因として、テクスチャレスの被写体に含まれる色の数が少ないため相関係数算出が不安定になり、白色光源を照射しているにも関わらず偶然輝度−赤み相関の値が大きくなることが考えられる。そこで、輝度−色相関特徴を補完するためにカラーテクスチャ特徴、画面全体のカラーバランス、ニュートラルグレー領域のカラーバランスの３つの特徴量を導入する。
【００７０】
［カラーテクスチャ解析処理（ステップＳ１５０）］
図４に戻り、次に、カラーテクスチャ解析処理について説明する。
テクスチャ解析部２０６が、時系列に並べられたＫフレームの縮小画像データのカラーテクスチャ解析を行う（ステップＳ１５０）。まず、テクスチャ解析部２０６は、縮小画像データのＲＧＢ信号をＨＳＶ信号に変換する。ＨはＨｕｅ（色相）、ＳはＳａｔｕｒａｔｉｏｎ（彩度）、ＶはＶｌｉｇｈｔｎｅｓｓ（輝度）を表す。次に、テクスチャ解析部２０６は、Ｈ成分の値域を量子化ステップで量子化し、Ｌ個のビンからなるヒストグラムを生成する。そのヒストグラムをｈ（ｉ）（ｉ＝１，２，…，Ｌ）とする。そして、テクスチャ解析部２０６は、このヒストグラムから、ノイズとみなす画素、ここでは極端に暗い、または明るい画素の影響をキャンセルした相対ヒストグラムｐ（ｉ）を次の式（６）より算出する。
【００７１】
【数６】
【００７２】
ただし、Ｍは縮小画像データ中に含まれる画素数であり、eはノイズとみなす画素の数である。続いて、テクスチャ解析部２０６は、次の式（７）で表されるエントロピーＥを算出する。
【００７３】
【数７】
【００７４】
このエントロピーＥが、色の多様性を示すカラーテクスチャ特徴である。次の式（８）に示すように、このエントロピーＥは、ヒストグラムの各ビンの相対度数ｐ（ｉ）の値が等しいときに最大値Ｅｍａｘをとる。すなわち、画像内にある色の種類が多いほどヒストグラムが平坦になるため、画像内にある色の種類が多いほどこのエントロピーＥの値は大きい。
【００７５】
【数８】
【００７６】
上述した式（７）のエントロピーＥを光源種類推定の特徴量として用いる理由を以下に説明する。極端な例で、もし画面全体が一色で塗りつぶされている場合、輝度と赤み（または青み）のプロットはある一点に集中してしまい、輝度と赤み（または青み）との相関係数を算出できなくなる。相関係数はある程度データの分布が広くないと算出できないが、これは画面内に複数の色が存在しなければならないことを示す。また、光源や物体表面の分光特性からも、画面全体が一色の場合は、その色が光源によるものなのか、もともとの物体の色なのかを区別できない。そこで式（７）のような色の多様性を表す指標が必要となってくる。色の多様性の指標はエントロピーに限定されるものではなく、例えば分散値も使うことができる。
【００７７】
本実施形態ではカラーテクスチャ解析で算出されるエントロピーＥを光源種類の推定のための特徴ベクトルの一要素としているが、輝度−色相関算出で算出される相関係数に対する重みとしてもよい。すなわち、エントロピーが大きい画素（または領域）の相関係数は信頼性が高いとみなして大きな重みを与えた上で識別部１１５に送り、光源種類を推定させることもできる。
【００７８】
［画像全体のカラーバランス算出処理（ステップＳ１６０，Ｓ１６５）］
次に、画像全体のカラーバランス算出処理について説明する。
まず、平均色算出部２０７が、Ｋフレームの縮小画像データ全体におけるＲ信号の平均値（−）Ｒと、Ｇ信号の平均値（−）Ｇと、Ｂ信号の平均値（−）Ｂとを算出する。（ステップＳ１６０）。次に、カラーバランス算出部２０９が、画像全体のカラーバランスＣＢａ＝（（−）Ｒ／（−）Ｇ，（−）Ｂ／（−）Ｇ）を算出する（ステップＳ１６５）。
【００７９】
画像全体のカラーバランスは灰色仮説モデル（非特許文献２）に基づいている。このモデルは、画像全体には様々な色が存在し、それらの平均値はニュートラルグレー（灰色）であるという仮説に基づいている。もし、このカラーバランスがニュートラルグレーからずれていれば、そのずれは光源色によるものと判断する。ただし、灰色仮説はシンプルで使いやすいモデルではあるが、仮に赤いレンガやカーペットが画面全体に映っていると、画面全体のカラーバランスが赤に寄るので、色かぶりが発生していると間違えることがある。このような問題を低減するために、次に説明するニュートラルグレー領域のカラーバランスを特徴量に加える。
【００８０】
［ニュートラルグレー領域のカラーバランス算出処理（ステップＳ１７０〜Ｓ１９０）］
次に、ニュートラルグレー領域のカラーバランス算出処理について説明する。
まず、ニュートラルグレー領域探索部２０８が、各フレームにおけるニュートラルグレー領域の有無を判定する（ステップＳ１７０）。具体的には、ニュートラルグレー領域探索部２０８は、所定サイズの矩形ウィンドウを画像中で走査して、次の式（９）を満たす矩形領域がある場合にニュートラルグレー領域があると判定し、式（９）を満たす矩形領域がない場合にニュートラルグレー領域がないと判定する。
【００８１】
【数９】
【００８２】
ｉは縮小画像データのｘ座標値であり、ｊは縮小画像データのｙ座標値である。（−）Ｒｉ，ｊは、座標値（ｉ，ｊ）を中心とした矩形領域内のＲチャネル平均値である。（−）Ｇｉ，ｊは、座標値（ｉ，ｊ）を中心とした矩形領域内のＧチャネル平均値である。（−）Ｂｉ，ｊは、座標値（ｉ，ｊ）を中心とした矩形領域内のＢチャネル平均値である。
【００８３】
次に、カラーバランス算出部２０９が、ニュートラルグレー領域探索部２０８によりニュートラルグレー領域が有ると判定されたフレームのカラーバランスＣを次の式（１０）により算出する（ステップＳ１８０）。
【００８４】
【数１０】
【００８５】
ただし、Ｄは縮小画像データの画像領域である。そして、カラーバランス算出部２０９は、各フレームのカラーバランスＣの中から最小値を抽出し、抽出した最小値をニュートラルグレー領域のカラーバランスＣＢｎする（ステップＳ１９０）。
【００８６】
ニュートラルグレー領域のカラーバランスは灰色仮説と輝度−色相関原理とをサポートする特徴量である。灰色仮説では、仮に赤いレンガやカーペットが画面全体に映っていると、画面全体のカラーバランスが赤に寄るので、色かぶりが発生していると間違える。このとき、もし一部でもカラーバランスがニュートラルグレーである領域（例えば、コンクリート面が少しでも見えている領域）があれば、赤いレンガやカーペットの赤色は物体色であると予想できる。逆に光源による色かぶりであれば、そのようなニュートラルグレー領域も赤みを帯びる。この識別をするために、ニュートラルグレー領域探索部２０８は、上述した式（９）により、ニュートラルグレー領域を探索する。
【００８７】
この特徴量（ニュートラルグレー領域のカラーバランス）は、画像のカラーテクスチャが少ない場合でも有効である。このため、例えば、識別部２１５は、カラーテクスチャ解析で得られるエントロピーＥの値が小さい場合、すなわち画像がテクスチャレスである場合にニュートラルグレー領域のカラーバランスに対して大きな重みをつけ、逆に輝度−色相関係数に対する重みを小さくする。これにより、シーンのテクスチャに依存しない光源種類推定が可能となる。
【００８８】
本実施形態では、ニュートラルグレー領域探索部２０８は、矩形ウィンドウを画像内で走査することでニュートラルグレー領域を探索するが、このとき、走査する矩形ウィンドウがニュートラルグレー領域と色が付いている領域にまたがる場合、または動画中のあるフレームでニュートラル領域が存在しない場合には、矩形領域がニュートラルグレー領域に収まるフレームを検知する手順が考えられる。これが、上述したステップＳ１９０の最小値抽出である。
【００８９】
［特徴ベクトル算出処理（ステップＳ２００）］
最後に、特徴ベクトル算出部２１０が、特徴ベクトルＶ＝（輝度−色相関係数Ｆ，カラーテクスチャ特徴Ｅ、画像全体のカラーバランスＣＢａ，ニュートラルグレー領域のカラーバランスＣＢｎ）を算出し、処理を終了する（ステップＳ２００）。なお、本実施形態では、４つの特徴量を全て特徴ベクトルとしたが、少なくとも輝度−色相関係数Ｆと、画像全体のカラーバランスＣＢａと、ニュートラルグレー領域のカラーバランスＣＢｎとが特徴ベクトルに含まれていればよい。
【００９０】
図８は、本実施形態による特徴ベクトルの３次元プロットを示すグラフである。
本図に示すグラフは、輝度と赤みの相関係数Ｆｒと、画像全体のカラーバランスＣＢａと、ニュートラルグレー領域のカラーバランスＣＢｎとをそれぞれ軸とする。プロットの凡例は５種類あり、赤色光源を照射して撮像した３つの被写体（様々な色を含む被写体、２４色マクベスカラーチャート、グレーチャート）、および白色光源を照射して撮像した２つの被写体（様々な色を含む被写体、赤色の被写体（赤系物体））である。一つの凡例あたり、撮像位置を変えて１０枚の画像を撮像した。図８に示すように、輝度と赤みの相関係数Ｆｒに、画像全体のカラーバランスＣＢａとニュートラルグレー領域のカラーバランスＣＢｎとを加えることで、赤色光源のプロットと白色光源のプロットとを分離しやすくなる様子が分かる。
【００９１】
このように、本実施形態では、特徴量算出部２０４が４つの特徴量（輝度−色相関係数、カラーテクスチャ特徴、画面全体カラーバランス、ニュートラルグレー領域カラーバランス）をまとめて特徴ベクトルとし、識別部１１５で光源種類を判定する。このため、ホワイトバランスゲイン算出部１１１において光源種類毎に適切なホワイトバランスを算出できるため、カラーフェリアを低減できる。
【００９２】
また、図３，４に示す各ステップを実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより、光源種類推定処理又は特徴ベクトル算出処理を行ってもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものであってもよい。
また、「コンピュータシステム」は、ＷＷＷシステムを利用している場合であれば、ホームページ提供環境（あるいは表示環境）も含むものとする。
また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、フラッシュメモリ等の書き込み可能な不揮発性メモリ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。
【００９３】
さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（例えばＤＲＡＭ（Dynamic Random Access Memory））のように、一定時間プログラムを保持しているものも含むものとする。
また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。
また、上記プログラムは、前述した機能の一部を実現するためのものであっても良い。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であっても良い。
【００９４】
以上、図面を参照してこの発明の一実施形態について詳しく説明してきたが、具体的な構成は上述のものに限られることはなく、この発明の要旨を逸脱しない範囲内において様々な設計変更等をすることが可能である。
例えば、本実施形態では輝度−色相関原理の説明と応用方法について、赤系光源を想定して説明しているが、蛍光灯のように緑成分を多く含む光源や、屋外晴天時のように色温度が高く青成分を含む光源についても同様である。
また、本実施形態におけるホワイト調整装置１は、ハードディスクレコーダなどの電子的画像蓄積装置における画像検索や、外光に応じて画質調整を可能とする電子的映像装置等にも用いることができる。
【符号の説明】
【００９５】
１…ホワイトバランス調整装置 １０１…レンズ １０２…アイリス １０３…ＡＧＣ部 １０５…前処理部 １０６…画像情報算出部 １０７…照度検出部 １０８…駆動部 １０９…光源種類推定部 １１０…ホワイトバランスチューニングパラメータ記憶部 １１１…ホワイトバランスゲイン算出部 １１２…ホワイトバランス制御部 １１３…色補正制御部 １１４…ガンマ補正制御部 １１５…出力部 ２０２…時系列データバッファ ２０３…輝度むら解析部 ２０４…特徴量算出部 ２０５…輝度−色相関算出部 ２０６…テクスチャ解析部 ２０７…平均色算出部 ２０８…ニュートラルグレー領域探索部 ２０９…カラーバランス算出部 ２１０…特徴ベクトル算出部 ２１１…識別器 ２１２…学習部 ２１５…識別部
【技術分野】
【０００１】
本発明は、光源推定装置及び光源推定方法に関する。
【背景技術】
【０００２】
人間の視覚系は、光源色の特性が未知であっても、ある程度物体の色を同定できる。例えば、太陽光の下で白い紙を見ると、人間は白い紙と認識する。一方、この紙を例えばハロゲンランプの下でみると、ハロゲンランプはオレンジがかった光源なので、紙はオレンジ色に見えるはずである。ところが、人間はハロゲンランプの下で見た場合でも太陽光の下で見たときと同様に白い紙と認識する。このように、光源色が変化しても本来の色を認識する機能を色恒常性という。色恒常性はデジタルスチルカメラやデジタルビデオカメラなどの電子撮像機器におけるホワイトバランス調整と同義である。ホワイトバランスとは、本来無彩色である物体が無彩色に見えるようにＲＧＢ各カラーチャネル間の調整を行うことである。この調整は本来、光源と物体表面の分光特性が分からないとできない処理である。すなわち、人間の眼にとどく光の分光特性は光源と物体表面それぞれの分光反射特性の積で表されるが、両者が未知なので不良設定問題となっている。そのため、光源と物体表面、および観察しているシーンに対して仮定や制約を設けて、色恒常性をモデル化した様々なアルゴリズムが提案されている。
【０００３】
色恒常性を解くために良く用いられているアルゴリズムの一つに灰色仮説がある（例えば、非特許文献１参照）。灰色仮説は、一般的なシーンでは視野内に様々な色が分布するため、その平均色は灰色に近いという経験則に基づいている。もしこの平均色が灰色からずれていれば、そのずれを光源色によるものと判断し、ＲＧＢカラーチャネル間の調整を行うことでホワイトバランス調整ができる。この手法は計算コストが小さく、デジタルスチルカメラのような組み込み機器への実装が容易であるという利点がある。反面、物理的には光源と独立であるはずの物体表面についての仮定に基づくため、シーンによってはその仮定が成立せず、光源推定結果が大きく左右される。例えば、赤い壁の一部に灰色のロゴがあったとする。このとき、画像平均色は赤くなり、灰色仮説はその赤みを光源色によるものと判断する。そのため、シーン全体を灰色にしようとして赤の反対色であるシアンを画面全体に加えるので、もともと灰色であったロゴの部分にシアンの色がついてしまう。これをカラーフェリアという。
【０００４】
灰色仮説に対して、光源と物体表面の分光特性を用いて推定する手法が提案されている（例えば、非特許文献２参照）。この手法は光源と物体表面の分光特性を低次の直交基底で表現し、光源・物体表面・撮像系に対する仮定により制約条件を設けたり、光源・物体表面・撮像系に関する既知情報を確率分布で統合したりすることで、統計的に光源推定精度を高める。この手法の利点は詳細な光源推定が行える点にある。しかしその反面、演算量が増えるため、デジタルカメラ内部のホワイトバランス処理などの画像処理演算で利用する場合、実時間処理に支障が生じる場合がある。
【０００５】
計算コストを下げつつ、光源、および物体表面の分光特性を考慮して光源種類を推定する方法として、輝度−色相関が提案されている（例えば、非特許文献３参照）。この手法は、光源色が赤い場合（緑、青も同様）には赤い領域がより赤くなるという輝度と色との間にある相関関係を利用して、光源色が白色光源かそうでないかを識別する。図９及び図１０を参照して輝度−色相関の概念を説明する。図９及び図１０は、輝度−色相関を説明するためのスペクトル分布の模式図である。図９及び図１０に示すグラフの横軸は波長、縦軸は各波長が持つエネルギーである。図９（ａ）は、左から、様々な色を含む一般的な物体Ｘの画像、その物体Ｘに照射する赤色光源Ｌｒ、およびその光源Ｌｒを物体Ｘに照射したときに撮像した撮像画像それぞれのスペクトル分布の模式図である。図９（ａ）の撮像画像のスペクトルは、短波長側（青い側）の強度が下がり、長波長側（赤い側）の強度が増大する。すなわち、一般的な物体に赤色光源を照射して撮像した画像は、画像内で明るい領域ほど赤みが増すという相関関係を有する。ただし、この相関関係は画面内に複数の色が存在する場合に生じる。一方、図９（ｂ）は、左から赤い物体Ｘｒの画像、その物体Ｘｒに照射する白色光源Ｌｈ（例えば色温度が５，５００[Ｋ（ケルビン）]の光源）、およびその光源Ｌｈを物体Ｘｒに照射したときに撮像した撮像画像それぞれのスペクトル分布の模式図である。白色光源のスペクトル分布は平坦なので、この場合は撮像対象のスペクトル分布がそのまま検知される。従って、この場合は輝度と色との間に相関が無いということになる。また、この相関は赤みだけでなく、青みにも同様な性質がある。
【０００６】
図１０は、赤色光源を照射したときのスペクトル分布の模式図である。図１０（ａ）は、左から、赤系領域Ｓｒの画像、その赤系領域Ｓｒに照射する赤色光源Ｌｒ、およびその光源Ｌｒを赤系領域Ｓｒに照射したときに撮像した撮像画像それぞれのスペクトル分布の模式図である。図１０（ｂ）は、左から、緑系領域Ｓｇの画像、その緑系領域Ｓｇに照射する赤色光源Ｌｒ、およびその光源Ｌｒを緑系領域Ｓｇに照射したときに撮像した撮像画像それぞれのスペクトル分布の模式図である。図１０（ｃ）は、左から、青系領域Ｓｂの画像、その青系領域Ｓｂに照射する赤色光源Ｌｒ、およびその光源Ｌｒを青系領域Ｓｂに照射したときに撮像した撮像画像それぞれのスペクトル分布の模式図である。青系領域Ｓｂには長波長側のエネルギーが少ないため、青系領域Ｓｂに赤色光源Ｌｒが照射された場合は、赤系領域Ｓｒに赤色光源Ｌｒが照射された場合と比較して暗くなる。一方、青系領域Ｓｂの反射光に含まれる短波長側のエネルギーは赤い光の分光特性により減衰するが、青系領域Ｓｂは赤系領域Ｓｒに赤い光が当たった場合と比較して短波長成分が残る（青系領域には短波長側のスペクトルが大きいため）。すなわち、暗いほど青みが強くなるという負の相関関係になる。以上が「輝度−色相関」と呼ばれている原理である。
【０００７】
この手法の利点は少ない演算量で大まかな光源の特性（白色、または非白色）を推定できる点にある。これは、上述の分光反射特性を用いる方法と比較して、光源と物体表面の詳細な分光特性を考慮する必要が無いからである。よって、カラーフェリア問題を低減するために十分な光源種類推定性能を持っており、かつ計算コストが小さいため、組み込み機器実装に向いている。
【０００８】
また、特許文献１には、複数の異なる分光感度特性を持つセンサの応答値から、被写体を照射する光源の色を示す分光特性を推定することが記載されている。
【先行技術文献】
【特許文献】
【０００９】
【特許文献１】特許第３７６７５４１号公報
【非特許文献】
【００１０】
【非特許文献１】E. H. Land, “Recent Advance in Retinex Theory”, Vision Research, 26, 1986.
【非特許文献２】D. H. Brainard & W. T. Freeman, “Baysian Color Constancy”, J. Opt. Soc. Am. A, Vol.14, No.7, 1997.
【非特許文献３】J. Golz & D. I. A. Macleod,“Influence of scene statistics on color constancy”, NATURE, VOL. 415, 7, FEBRUARY, 2002.
【発明の概要】
【発明が解決しようとする課題】
【００１１】
しかしながら、上述した輝度−色相関は、カメラ位置や光源強度に起因する画像のテクスチャ程度に影響される、という問題点がある。例えば、画像のカラーテクスチャが平坦で色数が少ない場合、輝度と色の入力データ分布が広がらないため、輝度−色相関が不安定になる場合がある。実環境下で安定した光源推定性能を確保するには、この問題による影響を低減する必要がある。
また、輝度−色相関は入力データの正規分布を仮定しているため、入力データ数が少なかったりデータにはずれ値が存在したりすると正規分布の仮定から外れ、正しい輝度−色相関を算出できない場合がある。また、物体の鏡面反射により一部の画素が白飛びしてハイライト領域が存在するシーンでは、それらの画素がはずれ値となり、輝度−色相関が不安定になる場合がある。
また、特許文献１に記載された技術では、センサの応答値に基づいて光源の色を示す分光特性を推定するため、計算量が多くなる、という問題がある。また、撮像手段は、複数の異なる分光感度特性を持つセンサを備えなければならない。
【００１２】
本発明は上記の点に鑑みてなされたものであり、その目的は、画像のカラーテクスチャが平坦で色数が少ない場合であっても、少ない計算量で精度良く光源を推定することができる光源推定装置及び光源推定方法を提供することにある。
【課題を解決するための手段】
【００１３】
本発明は上記の課題を解決するためになされたものであり、本発明の一態様は、被写体を撮像する撮像素子により生成された画像信号から、輝度と色との間の相関係数を算出する輝度−色相関算出部と、前記画像信号における画像全体のカラーバランスを算出する第１のカラーバランス算出部と、前記画像信号において平均色が灰色の領域であるニュートラルグレー領域のカラーバランスを算出する第２のカラーバランス算出部と、前記相関係数と、前記画像全体のカラーバランスと、前記ニュートラルグレー領域のカラーバランスとに基づく特徴ベクトルを生成する特徴ベクトル生成部と、前記特徴ベクトル生成部により生成された特徴ベクトルに基づき、前記画像信号における光源の種類を判定する識別器と、を備えることを特徴とする光源推定装置である。
【００１４】
この発明によれば、輝度と色との間の相関係数に加えて、画像全体のカラーバランス、及びニュートラルグレー領域のカラーバランスに基づいて、光源の種類を判定する。これにより、画像のカラーテクスチャが平坦で色数が少ない場合であっても、少ない計算量で精度良く光源を推定することができる。
【００１５】
また、本発明の一態様は、上記の光源推定装置において、前記画像信号における色の多様性を示すカラーテクスチャ特徴を算出するテクスチャ解析部を備え、前記特徴ベクトル生成部は、前記カラーテクスチャ特徴に基づいて、前記特徴ベクトルを生成することを特徴とする。
【００１６】
この発明によれば、輝度と色との間の相関係数、画像全体のカラーバランス、及びニュートラルグレー領域のカラーバランスに加えて、カラーテクスチャ特徴に基づいて光源の種類を判定する。これにより、より精度良く光源を推定することができる。
【００１７】
また、本発明の一態様は、上記の光源推定装置において、前記画像信号において輝度が一定となる輝度一定領域を特定する輝度むら解析部を備え、輝度−色相関算出部は、前記輝度むら解析部により特定された輝度一定領域において前記相関係数を算出することを特徴とする。
【００１８】
この発明によれば、輝度一定領域において相関係数を算出しているため、光源の位置や強度に依存することなく相関係数を算出することができる。これにより、カラーフェリアを軽減することができる。
【００１９】
また、本発明の一態様は、上記の光源推定装置において、前記撮像素子により生成された画像信号を時系列に順次記憶する時系列データバッファを備え、輝度−色相関算出部は、前記時系列に記憶された複数の画像信号から、前記相関係数を算出することを特徴とする。
【００２０】
この発明によれば、複数の画像信号を用いて相関係数を算出するため、精度良く相関係数を算出することができる。また、時系列データを用いているため、手振れ、シーン内に存在する被写体の運動、及び照明条件の変化等によって生じる画像情報の時間変化に対応することができる。
【００２１】
また、本発明の一態様は、上記の光源推定装置において、前記識別器は、複数の画像信号の特徴ベクトルと各画像信号に対応する光源の種類とからなる学習データに基づいて、特徴ベクトルから光源の種類を導くための判定基準を学習する学習部と、前記学習部による学習結果に基づき、前記特徴ベクトル生成部により生成された特徴ベクトルに対応する光源の種類を判定する識別部と、を備えることを特徴とする。
【００２２】
この発明によれば、機会学習による学習結果に基づき光源種類を判定しているため、マニュアルで特徴ベクトルから光源の種類を導くための判断基準を設定する必要がない。
【００２３】
また、本発明の一態様は、光源推定装置の輝度−色相関算出部が、被写体を撮像する撮像素子により生成された画像信号から、輝度と色との間の相関係数を算出するステップと、前記光源推定装置の第１のカラーバランス算出部が、前記画像信号における画像全体のカラーバランスを算出するステップと、前記光源推定装置の第２のカラーバランス算出部が、前記画像信号において平均色が灰色の領域であるニュートラルグレー領域のカラーバランスを算出するステップと、前記光源推定装置の特徴ベクトル生成部が、前記相関係数と、前記画像全体のカラーバランスと、前記ニュートラルグレー領域のカラーバランスとに基づく特徴ベクトルを生成するステップと、前記光源推定装置の識別器が、前記特徴ベクトル生成部により生成された特徴ベクトルに基づき、前記画像信号における光源の種類を判定するステップと、を有することを特徴とする光源推定方法である。
【００２４】
また、本発明の一態様は、上記の光源推定方法において、前記光源推定装置のテクスチャ解析部が、前記画像信号における色の多様性を示すカラーテクスチャ特徴を算出するステップを有し、前記特徴ベクトル生成部は、前記カラーテクスチャ特徴に基づいて、前記特徴ベクトルを生成することを特徴とする。
【００２５】
また、本発明の一態様は、上記の光源推定方法において、前記光源推定装置の輝度むら解析部が、前記画像信号において輝度が一定となる輝度一定領域を特定するステップを有し、輝度−色相関算出部は、前記輝度むら解析部により特定された輝度一定領域において前記相関係数を算出することを特徴とする。
【００２６】
また、本発明の一態様は、上記の光源推定方法において、記光源推定装置は、前記撮像素子により生成された画像信号を時系列に順次記憶する時系列データバッファを備え、輝度−色相関算出部は、前記時系列に記憶された複数の画像信号から、前記相関係数を算出することを特徴とする。
【００２７】
また、本発明の一態様は、上記の光源推定方法において、前記識別器は、前記識別器の学習部が、複数の画像信号と各画像信号に対応する光源の種類とからなる学習データに基づいて、特徴ベクトルから光源の種類を導くための判定基準を学習するステップと、前記識別器の識別部が、前記学習部による学習結果に基づき、前記特徴ベクトル生成部により生成された特徴ベクトルに対応する光源の種類を判定するステップと、を有することを特徴とする。
【発明の効果】
【００２８】
本発明によれば、輝度と色との間の相関係数に加えて、カラーテクスチャ特徴、画像全体のカラーバランス、及びニュートラルグレー領域のカラーバランスを用いて、光源の種類を判定する。これにより、画像のカラーテクスチャが平坦で色数が少ない場合であっても、少ない計算量で精度良く光源を推定することができる。
【図面の簡単な説明】
【００２９】
【図１】本実施形態によるホワイトバランス調整装置の機能構成を示すブロック図である。
【図２】本実施形態による光源種類推定部の機能構成を示すブロック図である。
【図３】本実施形態による光源種類推定処理の手順を示すフローチャートである。
【図４】本実施形態による特徴ベクトル算出処理の手順を示すフローチャートである。
【図５】本実施形態による一般的な被写体に対して赤色光源を照射して撮像した入力画像における輝度と色との相関を示すグラフである。
【図６】本実施形態による一般的な被写体に対して白色光源を照射して撮像した入力画像における輝度と色との相関を示すグラフである。
【図７】本実施形態による色−輝度相関係数をプロットした２次元散布図である。
【図８】本実施形態による特徴ベクトルの３次元プロットを示すグラフである。
【図９】輝度−色相関を説明するためのスペクトル分布の模式図である。
【図１０】輝度−色相関を説明するためのスペクトル分布の模式図である。
【発明を実施するための形態】
【００３０】
以下、図面を参照しながら本発明の一実施形態について詳しく説明する。
図１は、本実施形態によるホワイトバランス調整装置１の機能構成を示すブロック図である。
ホワイトバランス調整装置１は、デジタルビデオカメラ、デジタルスチルカメラやカメラ付携帯端末等の被写体光学像を変換して画像信号を電気的に出力する装置おいて、画像信号のホワイトバランスを調整する装置である。ホワイトバランス調整装置１は、レンズ１０１と、アイリス１０２と、撮像素子１０３と、ＡＧＣ（Automatic Gain Control）部１０４と、前処理部１０５と、画像情報算出部１０６と、照度検出部１０７と、駆動部１０８と、光源種類推定部１０９と、ホワイトバランスゲイン算出部１１１と、ホワイトバランス制御部１１２と、色補正制御部１１３と、ガンマ補正制御部１１４と、出力部１１５とを含んで構成される。
【００３１】
レンズ１０１は、撮像素子１０３の受光面に光学像を導く。アイリス１０２は、レンズ１０１から撮像素子１０３への光の出力を調整する。撮像素子１０３は、その受光面に結像した光学像を光電変換して画像信号を生成し、生成した画像信号をＡＧＣ部１０４へ出力する。ＡＧＣ部１０４は、照度検出部１０７により検出された照度に基づいて、入力された画像信号のレベルを一定にし、レベルを一定にした画像信号を前処理部１０５に出力する。前処理部１０５は、入力された画像信号に対してノイズ除去、欠陥補正、及びシェーディング補正等の前処理を行い、前処理した画像信号を画像情報算出部１０６とホワイトバランス制御部１１２とに出力する。
【００３２】
画像情報算出部１０６は、入力された画像信号を縮小してホワイトバランス算出用の縮小画像信号を生成し、生成した縮小画像信号を照度検出部１０７と光源種類推定部１０９とホワイトバランスゲイン算出部１１１とに出力する。照度検出部１０７は、入力された縮小画像信号に基づいて露出処理に用いる照度を算出し、算出した照度をＡＧＣ部１０４と駆動部１０８とホワイトバランスゲイン算出部１１１とに出力する。駆動部１０８は、入力された照度に基づいてアイリスを駆動し、露出を調整する。
【００３３】
光源種類推定部（光源推定装置）１０９は、入力された縮小画像信号を用いて「輝度−色相関」原理を基にした画像特徴量（特徴ベクトル）を算出し、光源種類（光源の種類）が白色系か非白色系かを判定する。そして、光源種類推定部１０９は、判定結果をホワイトバランスゲイン算出部１１１へ出力する。光源種類推定部１０９の詳細については後述する。
【００３４】
ホワイトバランスゲイン算出部１１１は、光源種類推定部１０９により判定された光源種類と照度検出部１０７により検出された照度とに基づいて、ホワイトバランスゲインを算出する。具体的には、ホワイトバランスゲイン算出部１１１は、光源種類に対応するホワイトバランスゲインをホワイトバランスチューニングパラーメータ記憶部１１０から読み出し、読み出したホワイトバランスゲインをホワイトバランス制御部１１２に出力する。ホワイトバランスチューニングパラーメータ記憶部１１０は、光源種類毎に最適化されたホワイトバランスゲインを示すホワイトバランスチューニングパラメータを記憶する。
【００３５】
なお、本実施形態では、ホワイトバランスゲイン算出部１１１は、ホワイトバランスチューニングパラーメータに基づいて、ホワイトバランスゲインを算出しているが、一般的なホワイトバランス算出アルゴリズムを用いてホワイトバランスゲインを算出してもよい。例えば、ホワイトバランスゲイン算出部１１１は、縮小画像全体の色が光源種類の光源色であればカラーバランスがグレーになるようにホワイトバランスゲインを算出し、縮小画像全体の色が光源色以外の物体色であれば色味を補正せず残すホワイトバランスゲインを算出する。この方法は元のホワイトバランスアルゴリズムを変更する必要が無いので、システム親和性が高いというメリットがある。さらに別の例を説明する。光源種類が推定できると各光源を照射したときの被写体輝度（Brightness Value）の範囲を制限できる。このため、その被写体輝度範囲をパラメータとしてホワイトバランスゲイン算出に用いることが考えられる。一般的なホワイトバランス算出アルゴリズムでは被写体輝度から光源種別を推定するロジックを含むことが多いが、カメラシステムによってはレンズ１０１と本体（撮像素子１０３以降）が通信できないために被写体輝度を取得できず、ホワイトバランス算出の精度に影響が出る場合がある。本例によれば、光源種類を推定することにより被写体輝度範囲をある程度推定するため、ホワイトバランス算出の精度劣化を防ぐことができる。
【００３６】
ホワイトバランス制御部１１２は、入力されたホワイトバランスゲインに基づき、前処理部１０５から入力された画像信号に対しホワイトバランス調整する。そして、ホワイトバランス制御部１１２は、ホワイトバランス調整した画像信号を色補正制御部１１３に出力する。色補正制御部１１３は、入力された画像信号を色補正し、色補正した画像信号をガンマ補正制御部１１４に出力する。ガンマ補正制御部１１４は、入力された画像信号をガンマ補正し、ガンマ補正した画像信号を出力部１１５に出力する。出力部１１５は、入力された画像信号を外部記憶媒体、ディスプレイ、又はネットワーク等に出力する。
【００３７】
図２は、本実施形態による光源種類推定部１０９の機能構成を示すブロック図である。
光源種類推定部１０９は、時系列データバッファ２０２と、輝度むら解析部２０３と、特徴量算出部２０４と、識別器２１１とを含んで構成される。
時系列データバッファ２０２は、縮小画像信号２０１を入力とし、入力された縮小画像信号の画像データ（以下、縮小画像データとする）をフレーム毎に時系列に記憶する。時系列データバッファ２０２は、例えばＤＲＡＭ（Dynamic Random Access Memory）等のフラッシュメモリ上に確保されたリングバッファであり、所定フレーム数の画像データを格納することができる。時系列データバッファ２０２に記憶された縮小画像データは、順次輝度むら解析部２０３に入力される。
【００３８】
輝度むら解析部２０３は、フレーム単位で輝度一定領域とハイライト画素とを特定する。輝度一定領域とは、光源の位置を仮定したときに、輝度が一定になる領域である。また、ハイライト画素とは、２色性反射モデル（例えば、S.A.Shafer, “Using color to separate reflection components,” in COLOR Research and Application, Vol.10, No.4, pp.210-218, 1985.参照）等によって得られる極端に明るい画素である。そして、輝度むら解析部２０３は、特定した輝度一定領域の情報（面積、座標）である輝度むら情報とハイライト画素の情報（座標）であるハイライト画素情報と縮小画像データとを特徴量算出部２０４に出力する。輝度むら解析部２０３における処理の詳細は後述する。
【００３９】
特徴量算出部２０４は、縮小画像データにおける光源種類を判定するための特徴量（以下、特徴ベクトルとする）を算出し、算出した特徴ベクトルを識別器２１１に出力する。特徴量算出部２０４は、輝度−色相関算出部２０５と、テクスチャ解析部２０６と、平均色算出部２０７と、ニュートラルグレー領域探索部２０８と、カラーバランス算出部２０９と、特徴ベクトル算出部２１０とを含んで構成される。
【００４０】
輝度−色相関算出部２０５は、時系列に並べられたＫ（Ｋは２以上の整数）フレームの縮小画像データと、各縮小画像データに対応する輝度むら情報と、各縮小画像データに対応するハイライト画素情報とに基づいて、輝度と色の間の相関を示す輝度−色相関係数を算出する。この輝度−色相関係数は、カラーテクスチャの多い（色数の多い）画像に対して精度良く光源種類を推定できる特徴量である。そして、輝度−色相関算出部２０５は、算出した輝度−色相関係数を特徴ベクトル算出部２１０に出力する。輝度−色相関算出部２０５における処理の詳細については後述する。
【００４１】
テクスチャ解析部２０６は、時系列に並べられたＫフレームの縮小画像データからカラーテクスチャ特徴を算出し、算出したカラーテクスチャ特徴を特徴ベクトル算出部２１０に出力する。カラーテクスチャ特徴は、色の多様性を表す指標である。テクスチャ解析部２０６における処理の詳細については後述する。
【００４２】
平均色算出部２０７は、縮小画像データにおけるＲＧＢチャネルそれぞれの平均色を算出し、算出した平均色と縮小画像データとをカラーバランス算出部２０９に出力する。ニュートラルグレー領域探索部２０８は、縮小画像データにおけるニュートラルグレー（灰色）領域を探索し、縮小画像データにニュートラルグレー領域があるか否かを判定する。ニュートラルグレー領域は、平均色が灰色である領域である。そして、ニュートラルグレー領域探索部２０８は、ニュートラルグレー領域の有無と縮小画像データとをカラーバランス算出部２０９に出力する。
【００４３】
カラーバランス算出部２０９は、平均色算出部２０７が算出したＲＧＢチャネルそれぞれの平均色から、縮小画像データにおける画像全体のカラーバランスを算出する。また、カラーバランス算出部２０９は、ニュートラルグレー領域探索部２０８が探索したニュートラルグレー領域のカラーバランスを算出する。そして、カラーバランス算出部２０９は、算出した画像全体のカラーバランスとニュートラルグレー領域のカラーバランスとを特徴ベクトル算出部２１０に出力する。カラーバランスの算出方法の詳細については後述する。画像全体のカラーバランスとニュートラルグレー領域のカラーバランスとの組は、カラーテクスチャの少ない画像に対して精度良く光源種類を推定できる特徴量である。
【００４４】
特徴ベクトル算出部２１０は、輝度−色相関算出部２０５により算出された輝度−色相関と、テクスチャ解析部２０６により抽出されたカラーテクスチャ特徴と、カラーバランス算出部２０９により算出されたカラーバランスとに基づいて、特徴ベクトル（輝度−色相関，カラーテクスチャ特徴，画像全体のカラーバランス，ニュートラルグレー領域のカラーバランス）を生成し、識別器２１１の学習部２１２又は識別部２１５に出力する。
【００４５】
識別器２１１は、複数の画像データの特徴ベクトルと各画像データに対応する光源種類（教示データ）とからなる学習データに基づいて、特徴ベクトルから光源種類を導くための判定基準を機械学習する。このとき、識別部１１は、ブースティング（Ｂｏｏｓｔｉｎｇ）、サポート・ベクター・マシーン（ＳＶＭ）、決定木（Ｄｅｃｉｓｉｏｎ Ｔｒｅｅ）、あるいは決定木を拡張したＲａｎｄｏｍ Ｆｏｒｅｓｔ等を用いて機械学習する。そして、識別器２１１は、学習した結果に基づいて、特徴量算出部２０４により入力された特徴ベクトルに対応する光源種類を判定する。識別器２１１は、学習部２１２と、識別部２１５とを含んで構成される。なお、識別器２１１は、本実施形態では機械学習しているが、例えばマニュアル操作によって判断基準に基づいて光源種類を判定してもよい。
【００４６】
学習部２１２は、学習データに基づいて、特徴ベクトルから光源種類を導くための判定基準を機械学習し、この学習結果を学習結果記憶部２１４に書き込む。学習結果記憶部２１４は、ホワイトバランス調整装置１の外部にある外部記憶装置であり、学習部２１２による学習結果を記憶する。なお、学習部２１２は、学習に続いて光源種類推定処理をする場合には、ホワイトバランス調整装置１内に設けられたフラッシュメモリ等に学習結果を書き込む。
【００４７】
識別部２１５は、学習部２１２による学習結果に基づいて、特徴ベクトル算出部２１０により入力された特徴ベクトルに対応する光源種類を判定し、判定結果をホワイトバランスゲイン算出部１１１に出力する。例えば、識別部２１５は、特徴ベクトル（輝度−色相関，カラーテクスチャ特徴，画像全体のカラーバランス，ニュートラルグレー領域のカラーバランス）において、カラーテクスチャ特徴が大きい（カラーテクスチャが多い）場合には輝度−色相関に対する重みを重くして光源種類を判定し、カラーテクスチャ特徴が小さい（カラーテクスチャが少ない）場合には画像全体のカラーバランスとニュートラルグレー領域のカラーバランスとの組に対する重みを重くして光源種類を判定する。
【００４８】
次に、図３を参照して、光源種類推定部１０９による光源種類推定処理について説明する。図３は、本実施形態による光源種類推定処理の手順を示すフローチャートである。
まず、識別部２１５が、学習結果記憶部２１４から学習結果を読み込む（ステップＳ１０）。次に、光源種類推定部１０９は、時系列データバッファ２０２へ縮小画像データを書き込む（ステップＳ２０）。
【００４９】
次に、光源種類推定部１０９は、時系列データバッファ２０２に書き込んだ縮小画像データ数が所定の閾値以上であるか否かを判定する（ステップＳ３０）。縮小画像データ数が閾値以上であればステップＳ４０へ進み、縮小画像データ数が閾値未満であればステップＳ２０へ戻る。この分岐の目的は、後述する輝度−色相関係数の算出を安定して行うために、十分な数のデータを確保することである。
【００５０】
次に、輝度むら解析部２０３が、輝度むら解析によりフレーム単位で輝度一定領域とハイライト画素とを特定する（ステップＳ４０）。具体的には、輝度むら解析部２０３は、次の領域近似方法を用いて輝度一定領域を特定する。輝度むらは、光源位置、物体の形状・配置に依存する。このため、この領域近似方法では、光源位置について正面を中心として上下左右の８方向とした場合を想定し、さらに物体の奥行きサイズはカメラから物体までの距離と比較して十分小さいものと仮定し、画像上で水平・垂直・斜め方向のいずれかの方向において照明強度が一定であると仮定した上で、輝度一定領域を特定する。
なお、この方法に限らず、他の領域近似方法を用いて輝度一定領域を特定してもよい。例えば、画像の領域分割を行う領域近似方法がある。この領域近似方法は、影の領域や鏡面反射で白飛びしている領域を領域分割し、輝度レベルが一定の領域のみを用いる手法である。影の領域は色や輝度のクラスタリングで求めることができる。また、鏡面反射している領域は例えば、２色性反射モデルを用いて推定することができる。なお、これら２つの領域近似手法を併用してもよい。
【００５１】
次に、特徴量算出部２０４が、輝度一定領域の情報である輝度むら情報と、ハイライト情報と、縮小画像データとに基づいて、光源種類を判定するための特徴ベクトルを算出する（ステップＳ５０）。この特徴ベクトル算出処理の詳細は後述する。
次に、識別部２１５が、読み込んだ学習結果に基づいて、算出された特徴ベクトルに対するスコアを光源種類毎に算出する（ステップＳ６０）。そして、識別部２１５は、光源種類毎に算出されたスコアに基づき、光源種類を判定する（ステップＳ７０）。具体的には、識別部２１５は、スコアの高い光源種類を、算出された特徴ベクトルに対応する光源種類とする。
【００５２】
次に、図４を参照して、上述したステップＳ５０における特徴ベクトル算出処理について説明する。図４は、本実施形態による特徴ベクトル算出処理の手順を示すフローチャートである。
まず、特徴量算出部２０４は、輝度むら解析部２０３から、時系列に並べられたＫフレームの縮小画像データと、各縮小画像データに対応する輝度むら情報と、各縮小画像データに対応するハイライト画素情報とを取得する（ステップＳ１００，Ｓ１１０，Ｓ１２０）。次に、特徴量算出部２０４は、輝度−色相関算出処理と、カラーテクスチャ解析処理と、画像全体のカラーバランス算出処理と、ニュートラルグレー領域のカラーバランス算出処理とを並行して行う。なお、本実施形態では、輝度−色相関算出処理と、カラーテクスチャ解析処理と、画像全体のカラーバランス算出処理と、ニュートラルグレー領域のカラーバランス算出処理とを並行して行うが、１処理ずつ順に行ってもよい。
【００５３】
［輝度−色相関算出処理（ステップＳ１４０）］
まず、輝度−色相関算出処理について説明する。
輝度−色相関算出部２０５は、時系列に並べられたＫフレームの縮小画像データと、各縮小画像データに対応する輝度むら情報と、各縮小画像データに対応するハイライト画素情報とに基づいて、輝度−色相関係数を算出する（ステップＳ１４０）。
ここで、Ｋフレームの縮小画像データを用いるのは、後述する相関係数の算出を安定して行うためである。相関係数の算出は、データ分布が正規分布でなければ安定して行うことができないが、相関係数の算出に用いるデータ数が少ないと、データ分布が正規分布になっているかがわからない。このため、複数のフレームを用いて、相関係数を算出するためのデータ数を確保する。また、時系列データを用いる理由は、手振れ、シーン内に存在する被写体の運動、及び照明条件の変化等によって生じる画像情報の時間変化に対応するためである。
【００５４】
具体的には、まず、輝度−色相関算出部２０５は、輝度一定領域以外の領域とハイライト画素とを各縮小画像データから除去する。これは、光源位置が偏っている場合や物体表面の反射特性に極端に差がある場合等には、撮像画像の輝度分布に大きな差が生じ（シェーディング）、輝度と色味のデータ分布が正規分布にならず輝度−色相関係数の算出が不安定になるためである。
次に、輝度−色相関算出部２０５は、輝度一定領域以外の領域とハイライト画素とを除去した各縮小画像データを縦横にＮ（Ｎは２以上の整数）分割する。以下、分割した領域を分割ブロックとする。なお、Ｎの値は任意であり、例えば画素を1分割ブロックとしてもよい。そして、輝度−色相関算出部２０５は、分割ブロックｉ（ｉ＝１，２，…，Ｎ×Ｋ）毎にＲチャネルの平均値Ｒｉと、Ｇチャネルの平均値Ｇｉと、Ｂチャネルの平均値Ｂｉとを算出する。そして、輝度−色相関算出部２０５は、次の式（１）により各分割ブロックｉの輝度Ｌｕｍｉを算出する。
【００５５】
【数１】
【００５６】
次に、輝度−色相関算出部２０５は、次の式（２）により、各分割ブロックｉの赤みＲｅｄｎｅｓｓｉを算出する。
【００５７】
【数２】
【００５８】
次に、輝度−色相関算出部２０５は、次の式（３）により、各分割ブロックｉの青みＢｌｕｅｎｅｓｓｉを算出する。
【００５９】
【数３】
【００６０】
次に、輝度−色相関算出部２０５は、輝度Ｌｕｍと赤みＲｅｄｎｅｓｓの相関係数Ｆｒを次の式（４）で表されるピアソンの積率相関係数により算出する。
【００６１】
【数４】
【００６２】
以下、式中の文字上部に「−」が付いた文字は、文中において文字の前に（−）を記載して示す。ｎはデータ数であり、ｎ＝Ｎ×Ｋである。（−）Ｌｕｍは、輝度Ｌｕｍの平均値である。（−）Ｒｅｄｎｅｓｓは、赤みＲｅｄｎｅｓｓの平均値である。
【００６３】
そして、輝度−色相関算出部２０５は、輝度Ｌｕｍと青みＢｌｕｅｎｅｓｓの相関係数Ｆｂを次の式（５）で表されるピアソンの積率相関係数により算出する。
【００６４】
【数５】
【００６５】
ただし、（−）Ｂｌｕｅｎｅｓｓは、青みＢｌｕｅｎｅｓｓの平均値である。
【００６６】
最後に、輝度−色相関算出部２０５は、輝度−色相関係数Ｆ＝（Ｆｒ，Ｆｂ）とする。相関係数の算出には式（４）及び式（５）で示されるピアソンの積率相関係数を用いるが、これはデータの正規分布性を仮定している。そのため、データ数が少なかったり、はずれ値(Outlier)が存在したりする場合には正しい相関係数を算出できない場合がある。このため、本実施形態では、時系列バッファへの画像保存（ステップＳ２０）によりデータ数を確保して、相関係数を算出している。また、輝度むら解析（ステップＳ４０）による輝度の変動とハイライト画素とを除去することにより、相関係数算出の誤差要因を低減する。
なお、これらの要因以外にはずれ値が混入する可能性がある。例えばシーン中に自発光する領域が存在する場合である。このような場合には輝度むら解析ではデータのはずれ値を特定できないため、データの分布が正規分布にならない可能性がある。そのため、このような場合には、データの正規分布性を仮定しないスピアマンの順位相関係数を用いてもよい。
【００６７】
図５は、本実施形態による一般的な被写体に対して赤色光源を照射して撮像した入力画像における輝度と色との相関を示すグラフである。
図５（ａ）は、様々な色を含む一般的な被写体に対して赤色光源（ここではハロゲンランプ）を照射して撮像した入力画像である。図５（ｂ）は、図５（ａ）に示す入力画像における輝度Ｌｕｍに対する赤みＲｅｄｎｅｓｓの変化をプロットしたグラフである。このグラフにおける縦軸は赤みＲｅｄｎｅｓｓであり、横軸は輝度Ｌｕｍである。本図に示すように、輝度Ｌｕｍと赤みＲｅｄｎｅｓｓは正の相関を持つ。図５（ｃ）は、図５（ａ）に示す入力画像における輝度Ｌｕｍに対する青みＢｌｕｅｎｅｓｓの変化をプロットしたグラフである。このグラフにおける縦軸は青みＢｌｕｅｎｅｓｓであり、横軸は輝度Ｌｕｍである。本図に示すように、輝度Ｌｕｍと青みＢｌｕｅｎｅｓｓは負の相関を持つ。
【００６８】
図６は、本実施形態による一般的な被写体に対して白色光源を照射して撮像した入力画像における輝度と色との相関を示すグラフである。
本図に示すグラフは、図５（ａ）に示す様々な色を含む一般的な被写体に対して白色光源（ここでは色温度５，５００[Ｋ]の白色光源）を照射して撮像した入力画像Ｈにおける輝度に対する色の変化を示す。図６（ａ）は、入力画像Ｈにおける輝度Ｌｕｍに対する赤みＲｅｄｎｅｓｓの変化をプロットしたグラフである。このグラフにおける縦軸は赤みＲｅｄｎｅｓｓであり、横軸は輝度Ｌｕｍである。本図に示すように、輝度Ｌｕｍと赤みＲｅｄｎｅｓｓとには相関関係が見られない。また、図６（ｂ）は、入力画像Ｈにおける輝度に対する青みの変化をプロットしたグラフである。このグラフにおける縦軸は青みＢｌｕｅｎｅｓｓであり、横軸は輝度Ｌｕｍである。本図に示すように、輝度Ｌｕｍと青みＢｌｕｅｎｅｓｓとには相関関係が見られない。
これらのことから、赤色光源を照射したときのみ輝度−色相関が生じることが確認できる。
【００６９】
図７は、本実施形態による色−輝度相関係数をプロットした２次元散布図である。
この２次元散布図のグラフにおける横軸は輝度と赤みの相関係数Ｆｒであり、縦軸は輝度と青みの相関係数Ｆｂである。プロットの凡例は５種類あり、赤色光源を照射して撮像した３つの被写体（様々な色を含む被写体、２４色マクベスカラーチャート、グレーチャート）、および白色光源を照射して撮像した２つの被写体（様々な色を含む被写体、赤色の被写体（赤系物体））である。一つの凡例あたり、撮像位置を変えて１０枚の画像を撮像した。本図から、赤色光源で撮像した凡例は、輝度−赤み相関が大きく、かつ輝度−青み相関が小さいため、プロットがグラフの右下の領域に集中することがわかる。一方、白色光源で撮像した凡例は、プロットがグラフ右下の領域以外の領域に散らばることがわかる。よって、図７に示すグラフの右下領域を検出する識別境界を学習部２１２で指定できれば、その領域に入ったプロットを赤色光源と判定できる。しかし、図７では、赤色光源のプロットと白色光源のプロットとが一部右下領域で混じっている。この現象の要因として、テクスチャレスの被写体に含まれる色の数が少ないため相関係数算出が不安定になり、白色光源を照射しているにも関わらず偶然輝度−赤み相関の値が大きくなることが考えられる。そこで、輝度−色相関特徴を補完するためにカラーテクスチャ特徴、画面全体のカラーバランス、ニュートラルグレー領域のカラーバランスの３つの特徴量を導入する。
【００７０】
［カラーテクスチャ解析処理（ステップＳ１５０）］
図４に戻り、次に、カラーテクスチャ解析処理について説明する。
テクスチャ解析部２０６が、時系列に並べられたＫフレームの縮小画像データのカラーテクスチャ解析を行う（ステップＳ１５０）。まず、テクスチャ解析部２０６は、縮小画像データのＲＧＢ信号をＨＳＶ信号に変換する。ＨはＨｕｅ（色相）、ＳはＳａｔｕｒａｔｉｏｎ（彩度）、ＶはＶｌｉｇｈｔｎｅｓｓ（輝度）を表す。次に、テクスチャ解析部２０６は、Ｈ成分の値域を量子化ステップで量子化し、Ｌ個のビンからなるヒストグラムを生成する。そのヒストグラムをｈ（ｉ）（ｉ＝１，２，…，Ｌ）とする。そして、テクスチャ解析部２０６は、このヒストグラムから、ノイズとみなす画素、ここでは極端に暗い、または明るい画素の影響をキャンセルした相対ヒストグラムｐ（ｉ）を次の式（６）より算出する。
【００７１】
【数６】
【００７２】
ただし、Ｍは縮小画像データ中に含まれる画素数であり、eはノイズとみなす画素の数である。続いて、テクスチャ解析部２０６は、次の式（７）で表されるエントロピーＥを算出する。
【００７３】
【数７】
【００７４】
このエントロピーＥが、色の多様性を示すカラーテクスチャ特徴である。次の式（８）に示すように、このエントロピーＥは、ヒストグラムの各ビンの相対度数ｐ（ｉ）の値が等しいときに最大値Ｅｍａｘをとる。すなわち、画像内にある色の種類が多いほどヒストグラムが平坦になるため、画像内にある色の種類が多いほどこのエントロピーＥの値は大きい。
【００７５】
【数８】
【００７６】
上述した式（７）のエントロピーＥを光源種類推定の特徴量として用いる理由を以下に説明する。極端な例で、もし画面全体が一色で塗りつぶされている場合、輝度と赤み（または青み）のプロットはある一点に集中してしまい、輝度と赤み（または青み）との相関係数を算出できなくなる。相関係数はある程度データの分布が広くないと算出できないが、これは画面内に複数の色が存在しなければならないことを示す。また、光源や物体表面の分光特性からも、画面全体が一色の場合は、その色が光源によるものなのか、もともとの物体の色なのかを区別できない。そこで式（７）のような色の多様性を表す指標が必要となってくる。色の多様性の指標はエントロピーに限定されるものではなく、例えば分散値も使うことができる。
【００７７】
本実施形態ではカラーテクスチャ解析で算出されるエントロピーＥを光源種類の推定のための特徴ベクトルの一要素としているが、輝度−色相関算出で算出される相関係数に対する重みとしてもよい。すなわち、エントロピーが大きい画素（または領域）の相関係数は信頼性が高いとみなして大きな重みを与えた上で識別部１１５に送り、光源種類を推定させることもできる。
【００７８】
［画像全体のカラーバランス算出処理（ステップＳ１６０，Ｓ１６５）］
次に、画像全体のカラーバランス算出処理について説明する。
まず、平均色算出部２０７が、Ｋフレームの縮小画像データ全体におけるＲ信号の平均値（−）Ｒと、Ｇ信号の平均値（−）Ｇと、Ｂ信号の平均値（−）Ｂとを算出する。（ステップＳ１６０）。次に、カラーバランス算出部２０９が、画像全体のカラーバランスＣＢａ＝（（−）Ｒ／（−）Ｇ，（−）Ｂ／（−）Ｇ）を算出する（ステップＳ１６５）。
【００７９】
画像全体のカラーバランスは灰色仮説モデル（非特許文献２）に基づいている。このモデルは、画像全体には様々な色が存在し、それらの平均値はニュートラルグレー（灰色）であるという仮説に基づいている。もし、このカラーバランスがニュートラルグレーからずれていれば、そのずれは光源色によるものと判断する。ただし、灰色仮説はシンプルで使いやすいモデルではあるが、仮に赤いレンガやカーペットが画面全体に映っていると、画面全体のカラーバランスが赤に寄るので、色かぶりが発生していると間違えることがある。このような問題を低減するために、次に説明するニュートラルグレー領域のカラーバランスを特徴量に加える。
【００８０】
［ニュートラルグレー領域のカラーバランス算出処理（ステップＳ１７０〜Ｓ１９０）］
次に、ニュートラルグレー領域のカラーバランス算出処理について説明する。
まず、ニュートラルグレー領域探索部２０８が、各フレームにおけるニュートラルグレー領域の有無を判定する（ステップＳ１７０）。具体的には、ニュートラルグレー領域探索部２０８は、所定サイズの矩形ウィンドウを画像中で走査して、次の式（９）を満たす矩形領域がある場合にニュートラルグレー領域があると判定し、式（９）を満たす矩形領域がない場合にニュートラルグレー領域がないと判定する。
【００８１】
【数９】
【００８２】
ｉは縮小画像データのｘ座標値であり、ｊは縮小画像データのｙ座標値である。（−）Ｒｉ，ｊは、座標値（ｉ，ｊ）を中心とした矩形領域内のＲチャネル平均値である。（−）Ｇｉ，ｊは、座標値（ｉ，ｊ）を中心とした矩形領域内のＧチャネル平均値である。（−）Ｂｉ，ｊは、座標値（ｉ，ｊ）を中心とした矩形領域内のＢチャネル平均値である。
【００８３】
次に、カラーバランス算出部２０９が、ニュートラルグレー領域探索部２０８によりニュートラルグレー領域が有ると判定されたフレームのカラーバランスＣを次の式（１０）により算出する（ステップＳ１８０）。
【００８４】
【数１０】
【００８５】
ただし、Ｄは縮小画像データの画像領域である。そして、カラーバランス算出部２０９は、各フレームのカラーバランスＣの中から最小値を抽出し、抽出した最小値をニュートラルグレー領域のカラーバランスＣＢｎする（ステップＳ１９０）。
【００８６】
ニュートラルグレー領域のカラーバランスは灰色仮説と輝度−色相関原理とをサポートする特徴量である。灰色仮説では、仮に赤いレンガやカーペットが画面全体に映っていると、画面全体のカラーバランスが赤に寄るので、色かぶりが発生していると間違える。このとき、もし一部でもカラーバランスがニュートラルグレーである領域（例えば、コンクリート面が少しでも見えている領域）があれば、赤いレンガやカーペットの赤色は物体色であると予想できる。逆に光源による色かぶりであれば、そのようなニュートラルグレー領域も赤みを帯びる。この識別をするために、ニュートラルグレー領域探索部２０８は、上述した式（９）により、ニュートラルグレー領域を探索する。
【００８７】
この特徴量（ニュートラルグレー領域のカラーバランス）は、画像のカラーテクスチャが少ない場合でも有効である。このため、例えば、識別部２１５は、カラーテクスチャ解析で得られるエントロピーＥの値が小さい場合、すなわち画像がテクスチャレスである場合にニュートラルグレー領域のカラーバランスに対して大きな重みをつけ、逆に輝度−色相関係数に対する重みを小さくする。これにより、シーンのテクスチャに依存しない光源種類推定が可能となる。
【００８８】
本実施形態では、ニュートラルグレー領域探索部２０８は、矩形ウィンドウを画像内で走査することでニュートラルグレー領域を探索するが、このとき、走査する矩形ウィンドウがニュートラルグレー領域と色が付いている領域にまたがる場合、または動画中のあるフレームでニュートラル領域が存在しない場合には、矩形領域がニュートラルグレー領域に収まるフレームを検知する手順が考えられる。これが、上述したステップＳ１９０の最小値抽出である。
【００８９】
［特徴ベクトル算出処理（ステップＳ２００）］
最後に、特徴ベクトル算出部２１０が、特徴ベクトルＶ＝（輝度−色相関係数Ｆ，カラーテクスチャ特徴Ｅ、画像全体のカラーバランスＣＢａ，ニュートラルグレー領域のカラーバランスＣＢｎ）を算出し、処理を終了する（ステップＳ２００）。なお、本実施形態では、４つの特徴量を全て特徴ベクトルとしたが、少なくとも輝度−色相関係数Ｆと、画像全体のカラーバランスＣＢａと、ニュートラルグレー領域のカラーバランスＣＢｎとが特徴ベクトルに含まれていればよい。
【００９０】
図８は、本実施形態による特徴ベクトルの３次元プロットを示すグラフである。
本図に示すグラフは、輝度と赤みの相関係数Ｆｒと、画像全体のカラーバランスＣＢａと、ニュートラルグレー領域のカラーバランスＣＢｎとをそれぞれ軸とする。プロットの凡例は５種類あり、赤色光源を照射して撮像した３つの被写体（様々な色を含む被写体、２４色マクベスカラーチャート、グレーチャート）、および白色光源を照射して撮像した２つの被写体（様々な色を含む被写体、赤色の被写体（赤系物体））である。一つの凡例あたり、撮像位置を変えて１０枚の画像を撮像した。図８に示すように、輝度と赤みの相関係数Ｆｒに、画像全体のカラーバランスＣＢａとニュートラルグレー領域のカラーバランスＣＢｎとを加えることで、赤色光源のプロットと白色光源のプロットとを分離しやすくなる様子が分かる。
【００９１】
このように、本実施形態では、特徴量算出部２０４が４つの特徴量（輝度−色相関係数、カラーテクスチャ特徴、画面全体カラーバランス、ニュートラルグレー領域カラーバランス）をまとめて特徴ベクトルとし、識別部１１５で光源種類を判定する。このため、ホワイトバランスゲイン算出部１１１において光源種類毎に適切なホワイトバランスを算出できるため、カラーフェリアを低減できる。
【００９２】
また、図３，４に示す各ステップを実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより、光源種類推定処理又は特徴ベクトル算出処理を行ってもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものであってもよい。
また、「コンピュータシステム」は、ＷＷＷシステムを利用している場合であれば、ホームページ提供環境（あるいは表示環境）も含むものとする。
また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、フラッシュメモリ等の書き込み可能な不揮発性メモリ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。
【００９３】
さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（例えばＤＲＡＭ（Dynamic Random Access Memory））のように、一定時間プログラムを保持しているものも含むものとする。
また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。
また、上記プログラムは、前述した機能の一部を実現するためのものであっても良い。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であっても良い。
【００９４】
以上、図面を参照してこの発明の一実施形態について詳しく説明してきたが、具体的な構成は上述のものに限られることはなく、この発明の要旨を逸脱しない範囲内において様々な設計変更等をすることが可能である。
例えば、本実施形態では輝度−色相関原理の説明と応用方法について、赤系光源を想定して説明しているが、蛍光灯のように緑成分を多く含む光源や、屋外晴天時のように色温度が高く青成分を含む光源についても同様である。
また、本実施形態におけるホワイト調整装置１は、ハードディスクレコーダなどの電子的画像蓄積装置における画像検索や、外光に応じて画質調整を可能とする電子的映像装置等にも用いることができる。
【符号の説明】
【００９５】
１…ホワイトバランス調整装置 １０１…レンズ １０２…アイリス １０３…ＡＧＣ部 １０５…前処理部 １０６…画像情報算出部 １０７…照度検出部 １０８…駆動部 １０９…光源種類推定部 １１０…ホワイトバランスチューニングパラメータ記憶部 １１１…ホワイトバランスゲイン算出部 １１２…ホワイトバランス制御部 １１３…色補正制御部 １１４…ガンマ補正制御部 １１５…出力部 ２０２…時系列データバッファ ２０３…輝度むら解析部 ２０４…特徴量算出部 ２０５…輝度−色相関算出部 ２０６…テクスチャ解析部 ２０７…平均色算出部 ２０８…ニュートラルグレー領域探索部 ２０９…カラーバランス算出部 ２１０…特徴ベクトル算出部 ２１１…識別器 ２１２…学習部 ２１５…識別部
【特許請求の範囲】
【請求項１】
被写体を撮像する撮像素子により生成された画像信号から、輝度と色との間の相関係数を算出する輝度−色相関算出部と、
前記画像信号における画像全体のカラーバランスを算出する第１のカラーバランス算出部と、
前記画像信号において平均色が灰色の領域であるニュートラルグレー領域のカラーバランスを算出する第２のカラーバランス算出部と、
前記相関係数と、前記画像全体のカラーバランスと、前記ニュートラルグレー領域のカラーバランスとに基づく特徴ベクトルを生成する特徴ベクトル生成部と、
前記特徴ベクトル生成部により生成された特徴ベクトルに基づき、前記画像信号における光源の種類を判定する識別器と、
を備えることを特徴とする光源推定装置。
【請求項２】
前記画像信号における色の多様性を示すカラーテクスチャ特徴を算出するテクスチャ解析部を備え、
前記特徴ベクトル生成部は、前記カラーテクスチャ特徴に基づいて、前記特徴ベクトルを生成する
ことを特徴とする請求項１に記載の光源推定装置。
【請求項３】
前記画像信号において輝度が一定となる輝度一定領域を特定する輝度むら解析部を備え、
輝度−色相関算出部は、前記輝度むら解析部により特定された輝度一定領域において前記相関係数を算出する
ことを特徴とする請求項１又は２に記載の光源推定装置。
【請求項４】
前記撮像素子により生成された画像信号を時系列に順次記憶する時系列データバッファを備え、
輝度−色相関算出部は、前記時系列に記憶された複数の画像信号から、前記相関係数を算出する
ことを特徴とする請求項１から３いずれか１項に記載の光源推定装置。
【請求項５】
前記識別器は、
複数の画像信号の特徴ベクトルと各画像信号に対応する光源の種類とからなる学習データに基づいて、特徴ベクトルから光源の種類を導くための判定基準を学習する学習部と、
前記学習部による学習結果に基づき、前記特徴ベクトル生成部により生成された特徴ベクトルに対応する光源の種類を判定する識別部と、
を備えることを特徴とする請求項１から４いずれか１項に記載の光源推定装置。
【請求項６】
光源推定装置の輝度−色相関算出部が、被写体を撮像する撮像素子により生成された画像信号から、輝度と色との間の相関係数を算出するステップと、
前記光源推定装置の第１のカラーバランス算出部が、前記画像信号における画像全体のカラーバランスを算出するステップと、
前記光源推定装置の第２のカラーバランス算出部が、前記画像信号において平均色が灰色の領域であるニュートラルグレー領域のカラーバランスを算出するステップと、
前記光源推定装置の特徴ベクトル生成部が、前記相関係数と、前記画像全体のカラーバランスと、前記ニュートラルグレー領域のカラーバランスとに基づく特徴ベクトルを生成するステップと、
前記光源推定装置の識別器が、前記特徴ベクトル生成部により生成された特徴ベクトルに基づき、前記画像信号における光源の種類を判定するステップと、
を有することを特徴とする光源推定方法。
【請求項７】
前記光源推定装置のテクスチャ解析部が、前記画像信号における色の多様性を示すカラーテクスチャ特徴を算出するステップを有し、
前記特徴ベクトル生成部は、前記カラーテクスチャ特徴に基づいて、前記特徴ベクトルを生成する
ことを特徴とする請求項６に記載の光源推定方法。
【請求項８】
前記光源推定装置の輝度むら解析部が、前記画像信号において輝度が一定となる輝度一定領域を特定するステップを有し、
輝度−色相関算出部は、前記輝度むら解析部により特定された輝度一定領域において前記相関係数を算出する
ことを特徴とする請求項６又７に記載の光源推定方法。
【請求項９】
前記光源推定装置は、前記撮像素子により生成された画像信号を時系列に順次記憶する時系列データバッファを備え、
輝度−色相関算出部は、前記時系列に記憶された複数の画像信号から、前記相関係数を算出する
ことを特徴とする請求項６から８いずれか１項に記載の光源推定方法。
【請求項１０】
前記識別器は、
前記識別器の学習部が、複数の画像信号と各画像信号に対応する光源の種類とからなる学習データに基づいて、特徴ベクトルから光源の種類を導くための判定基準を学習するステップと、
前記識別器の識別部が、前記学習部による学習結果に基づき、前記特徴ベクトル生成部により生成された特徴ベクトルに対応する光源の種類を判定するステップと、
を有することを特徴とする請求項６から９いずれか１項に記載の光源推定方法。
【請求項１】
被写体を撮像する撮像素子により生成された画像信号から、輝度と色との間の相関係数を算出する輝度−色相関算出部と、
前記画像信号における画像全体のカラーバランスを算出する第１のカラーバランス算出部と、
前記画像信号において平均色が灰色の領域であるニュートラルグレー領域のカラーバランスを算出する第２のカラーバランス算出部と、
前記相関係数と、前記画像全体のカラーバランスと、前記ニュートラルグレー領域のカラーバランスとに基づく特徴ベクトルを生成する特徴ベクトル生成部と、
前記特徴ベクトル生成部により生成された特徴ベクトルに基づき、前記画像信号における光源の種類を判定する識別器と、
を備えることを特徴とする光源推定装置。
【請求項２】
前記画像信号における色の多様性を示すカラーテクスチャ特徴を算出するテクスチャ解析部を備え、
前記特徴ベクトル生成部は、前記カラーテクスチャ特徴に基づいて、前記特徴ベクトルを生成する
ことを特徴とする請求項１に記載の光源推定装置。
【請求項３】
前記画像信号において輝度が一定となる輝度一定領域を特定する輝度むら解析部を備え、
輝度−色相関算出部は、前記輝度むら解析部により特定された輝度一定領域において前記相関係数を算出する
ことを特徴とする請求項１又は２に記載の光源推定装置。
【請求項４】
前記撮像素子により生成された画像信号を時系列に順次記憶する時系列データバッファを備え、
輝度−色相関算出部は、前記時系列に記憶された複数の画像信号から、前記相関係数を算出する
ことを特徴とする請求項１から３いずれか１項に記載の光源推定装置。
【請求項５】
前記識別器は、
複数の画像信号の特徴ベクトルと各画像信号に対応する光源の種類とからなる学習データに基づいて、特徴ベクトルから光源の種類を導くための判定基準を学習する学習部と、
前記学習部による学習結果に基づき、前記特徴ベクトル生成部により生成された特徴ベクトルに対応する光源の種類を判定する識別部と、
を備えることを特徴とする請求項１から４いずれか１項に記載の光源推定装置。
【請求項６】
光源推定装置の輝度−色相関算出部が、被写体を撮像する撮像素子により生成された画像信号から、輝度と色との間の相関係数を算出するステップと、
前記光源推定装置の第１のカラーバランス算出部が、前記画像信号における画像全体のカラーバランスを算出するステップと、
前記光源推定装置の第２のカラーバランス算出部が、前記画像信号において平均色が灰色の領域であるニュートラルグレー領域のカラーバランスを算出するステップと、
前記光源推定装置の特徴ベクトル生成部が、前記相関係数と、前記画像全体のカラーバランスと、前記ニュートラルグレー領域のカラーバランスとに基づく特徴ベクトルを生成するステップと、
前記光源推定装置の識別器が、前記特徴ベクトル生成部により生成された特徴ベクトルに基づき、前記画像信号における光源の種類を判定するステップと、
を有することを特徴とする光源推定方法。
【請求項７】
前記光源推定装置のテクスチャ解析部が、前記画像信号における色の多様性を示すカラーテクスチャ特徴を算出するステップを有し、
前記特徴ベクトル生成部は、前記カラーテクスチャ特徴に基づいて、前記特徴ベクトルを生成する
ことを特徴とする請求項６に記載の光源推定方法。
【請求項８】
前記光源推定装置の輝度むら解析部が、前記画像信号において輝度が一定となる輝度一定領域を特定するステップを有し、
輝度−色相関算出部は、前記輝度むら解析部により特定された輝度一定領域において前記相関係数を算出する
ことを特徴とする請求項６又７に記載の光源推定方法。
【請求項９】
前記光源推定装置は、前記撮像素子により生成された画像信号を時系列に順次記憶する時系列データバッファを備え、
輝度−色相関算出部は、前記時系列に記憶された複数の画像信号から、前記相関係数を算出する
ことを特徴とする請求項６から８いずれか１項に記載の光源推定方法。
【請求項１０】
前記識別器は、
前記識別器の学習部が、複数の画像信号と各画像信号に対応する光源の種類とからなる学習データに基づいて、特徴ベクトルから光源の種類を導くための判定基準を学習するステップと、
前記識別器の識別部が、前記学習部による学習結果に基づき、前記特徴ベクトル生成部により生成された特徴ベクトルに対応する光源の種類を判定するステップと、
を有することを特徴とする請求項６から９いずれか１項に記載の光源推定方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【公開番号】特開２０１２−１３４６２５（Ｐ２０１２−１３４６２５Ａ）
【公開日】平成２４年７月１２日（２０１２．７．１２）
【国際特許分類】
【出願番号】特願２０１０−２８３１２３（Ｐ２０１０−２８３１２３）
【出願日】平成２２年１２月２０日（２０１０．１２．２０）
【出願人】（５００５４８８８４）三星テクウィン株式会社 (156)
【氏名又は名称原語表記】Ｓａｍｓｕｎｇ Ｔｅｃｈｗｉｎ Ｃｏ．， Ｌｔｄ
【住所又は居所原語表記】２８ Ｓｕｎｇｊｕ−ｄｏｎｇ，Ｃｈａｎｇｗｏｎ−ｃｉｔｙ，Ｋｙｏｎｇｓａｎｇｎａｍ−ｄｏ，Ｒｅｐｕｂｌｉｃ ｏｆ Ｋｏｒｅａ
【Ｆターム（参考）】
【公開日】平成２４年７月１２日（２０１２．７．１２）
【国際特許分類】
【出願日】平成２２年１２月２０日（２０１０．１２．２０）
【出願人】（５００５４８８８４）三星テクウィン株式会社 (156)
【氏名又は名称原語表記】Ｓａｍｓｕｎｇ Ｔｅｃｈｗｉｎ Ｃｏ．， Ｌｔｄ
【住所又は居所原語表記】２８ Ｓｕｎｇｊｕ−ｄｏｎｇ，Ｃｈａｎｇｗｏｎ−ｃｉｔｙ，Ｋｙｏｎｇｓａｎｇｎａｍ−ｄｏ，Ｒｅｐｕｂｌｉｃ ｏｆ Ｋｏｒｅａ
【Ｆターム（参考）】
[ Back to top ]