ホワイトバランス調整装置およびホワイトバランス調整方法
【課題】ホワイトバランスの収束判定をより確実に行う技術を提供する。
【解決手段】ホワイトバランス調整装置には、時系列的に画像が入力される。この装置は、第１と第２の積分部を有している。第１と第２の積分部は、補正パラメータの互いに異なる値に基づいて、先の画像の色成分を補正し、補正された色成分を積分することにより、それぞれ第１と第２の積分値を算出する。後の画像の補正に使用される補正パラメータの値は、補正パラメータ決定部により決定される。ホワイトバランス調整が施された画像は、補正パラメータ決定部により決定された第１の値と第２の値の間に設定された第３の値に基づいて、画像の色成分を補正することにより生成される。第１と第２の値を決定する補正パラメータ決定部は、第１と第２の積分値と、積分値の目標値との大小関係に応じて、第１と第２の値の変更の要否を判定する。
【解決手段】ホワイトバランス調整装置には、時系列的に画像が入力される。この装置は、第１と第２の積分部を有している。第１と第２の積分部は、補正パラメータの互いに異なる値に基づいて、先の画像の色成分を補正し、補正された色成分を積分することにより、それぞれ第１と第２の積分値を算出する。後の画像の補正に使用される補正パラメータの値は、補正パラメータ決定部により決定される。ホワイトバランス調整が施された画像は、補正パラメータ決定部により決定された第１の値と第２の値の間に設定された第３の値に基づいて、画像の色成分を補正することにより生成される。第１と第２の値を決定する補正パラメータ決定部は、第１と第２の積分値と、積分値の目標値との大小関係に応じて、第１と第２の値の変更の要否を判定する。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、デジタルカメラにおけるホワイトバランスの調整技術に関する。
【背景技術】
【０００２】
デジタルスチルカメラやビデオカメラ等のデジタルカメラにおいては、光源のスペクトルの違いにより同一の被写体を撮影した場合に再現される色が変化する。そのため、白色の被写体を撮影した画像において白色被写体の色が白色として再現されるように、ホワイトバランス調整が行われる。ホワイトバランス調整は、通常、撮影画像における色情報に基づいて、赤色と青色の画像信号あるいは画像データのゲインを調整する。このゲインの調整では、撮影画像を構成する白色の画素の赤色成分と青色成分と緑色成分とのそれぞれの積算値（積分値）を算出し、算出された積分値に基づいてゲインの設定が行われる。これらの積分値は、ゲインの他に、撮影画像中の白色画素の割合に依存する。そこで、白色画像の割合など撮影画像の状態によらずにホワイトバランス調整を行うため、ゲイン調整後の画像の色情報に基づいてゲインの微調整を繰り返すことによりホワイトバランスの調整が行われる。
【０００３】
【特許文献１】特開２００１−３６９２３号公報
【特許文献２】特開平１１−７５２１３号公報
【特許文献３】特開平７−２８４１１８号公報
【特許文献４】特開平７−２５５０６２号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、ホワイトバランスの調整の終了（「ホワイトバランスの収束」とも呼ばれる）は、複数の色成分（例えば、赤色成分と緑色成分）の積分値を比較し、これらの積分値の大小関係が反転を検出することにより判定される。そのため、ホワイトバランスの収束判定には、ゲインの微調整前後の色成分積分値が使用されるため、撮影時の光源や被写体の状況によっては、ホワイトバランスの収束判定ができないおそれがある。
【０００５】
本発明は、上述した従来の課題を解決するためになされたものであり、ホワイトバランスの収束判定をより確実に行う技術を提供することを目的とする。
【課題を解決するための手段】
【０００６】
本発明は、上述の課題の少なくとも一部を解決するためになされたものであり、以下の形態又は適用例として実現することが可能である。
【０００７】
［適用例１］
時系列的に入力される入力画像のホワイトバランスを調整するホワイトバランス調整装置であって、
先の入力画像の所定の色空間における複数の色成分のうちの対象色成分を補正パラメータの第１の値に基づいて補正し、補正された対象色成分を前記先の入力画像の少なくとも一部の積分対象領域について積分して第１の対象色成分積分値を算出する第１の対象色成分積分部と、
前記先の入力画像の対象色成分を前記補正パラメータの第１の値と異なる第２の値に基づいて補正し、補正された対象色成分を前記積分対象領域について積分して第２の対象色成分積分値を算出する第２の対象色成分積分部と、
後の入力画像の対象色成分の補正に使用される前記第１と第２の値を決定する補正パラメータ決定部と、
前記補正パラメータ決定部により決定された第１の値と第２の値の間に設定された第３の値に基づいて、前記後の入力画像の対象色成分を補正することによりホワイトバランス調整が施された調整画像を生成する調整画像生成部と、
を備え、
前記補正パラメータ決定部は、前記第１と第２の対象色成分積分値と、対象色成分積分値の目標値との大小関係に応じて、前記第１と第２の値の変更の要否を判定する、
ホワイトバランス調整装置。
【０００８】
この適用例によれば、補正パラメータ決定部は、先の入力画像を用いて算出された第１の対象色成分積分値と第２の対象色成分積分値と、対象色成分積分値の目標値との大小関係に応じて、第１と第２の値の変更の要否を判定する。そのため、先の入力画像のみで、補正パラメータの値の変更が不要か否か、すなわち、ホワイトバランスが収束したか否かが判定できるので、ホワイトバランスの収束判定をより確実に行うことができる
【０００９】
［適用例２］
適用例１記載のホワイトバランス調整装置であって、前記補正パラメータ決定部は、前記目標値が前記第１の対象色成分積分値と前記第２の対象色成分積分値との間である場合には、前記第１と第２の値の変更を行わず、前記目標値が前記第１の対象色成分積分値と前記第２の対象色成分積分値との間でない場合には、前記第１と第２の対象色成分積分値と前記目標値との大小関係に応じて、前記先の入力画像の対象色成分の補正に使用された前記第１と第２の値のそれぞれに、前記第１と第２の値の差分よりも小さい第１のオフセット値を加減することにより、前記第１と第２の値を変更する、ホワイトバランス調整装置。
【００１０】
この適用例では、第１と第２の値は、前記第１と第２の値の差分よりも小さい第１のオフセット値を加減することにより変更される。そのため、ホワイトバランスの過調整を抑制することができる。
【００１１】
［適用例３］
適用例２記載のホワイトバランス調整装置であって、さらに、前記先の入力画像の対象色成分を前記第３の値に基づいて補正し、補正された対象色成分を前記積分対象領域について積分して第３の対象色成分積分値を算出する第３の対象色成分積分部を備えており、前記補正パラメータ決定部は、前記第３の対象色成分積分値と前記目標値との大小関係に基づいて、前記第１と第２の値のそれぞれに前記第１のオフセット値を加えるか、前記第１と第２の値のそれぞれから前記第１のオフセット値を減ずるか、を決定する、ホワイトバランス調整装置。
【００１２】
この適用例によれば、調整画像生成部におけるホワイトバランス調整に使用される第３の値に基づいて、補正パラメータの変更内容が決定されるので、ホワイトバランスをより好ましい状態に調整することが可能となる。
【００１３】
［適用例４］
適用例２または３記載のホワイトバランス調整装置であって、前記対象色成分積分値は、前記補正パラメータの値の増大に応じて単調増加し、前記第２の値は、前記第１の値よりも大きく設定されており、前記補正パラメータ決定部は、前記第２の対象色成分積分値が前記目標値よりも小さい場合には、前記第１のオフセット値が加えられた第１と第２の値のそれぞれに、さらに前記第１と第２の値の差分に基づいて設定される第２のオフセット値を加え、前記第１の対象色成分積分値が前記目標値よりも大きい場合には、前記第１のオフセット値が減じられた第１と第２の値のそれぞれから、さらに前記第２のオフセット値を減じる、ホワイトバランス調整装置。
【００１４】
この適用例によれば、補正パラメータの第１と第２の値は、第１のオフセット値により変更の後、更に第２のオフセット値により変更される。そのため、補正パラメータの値の変更量が大きくなるので、ホワイトバランスの収束をより早めることができる。
【００１５】
［適用例５］
適用例１ないし４のいずれか記載のホワイトバランス調整装置であって、前記目標値は、前記先の入力画像の前記対象色成分とは異なる比較色成分を前記積分対象領域について積分した比較色成分積分値である、ホワイトバランス調整装置。
【００１６】
この適用例によれば、対象色成分積分値の目標値として、対象色成分とは異なる比較色成分を積分した比較色成分積分値が使用される。そのため、入力画像に応じた目標値を設定することができ、ホワイトバランスをより好ましい状態に調整することが可能となる。
【００１７】
［適用例６］
適用例１ないし５のいずれか記載のホワイトバランス調整装置であって、前記時系列的に入力される入力画像は、動画像であり、前記後の入力画像は、前記ホワイトバランス調整装置から出力される現フレームの画像であり、前記先の入力画像は、前記現フレームの直前のフレームの画像である、ホワイトバランス調整装置。
【００１８】
なお、本発明は、種々の態様で実現することが可能である。例えば、ホワイトバランス調整装置およびホワイトバランス調整方法、これらの調整装置および調整方法を適用したビデオカメラおよびデジタルスチルカメラ、ビデオカメラおよびデジタルスチルカメラの制御装置および制御方法、それらの装置および方法を実現するためのコンピュータプログラム、そのコンピュータプログラムを記録した記録媒体、そのコンピュータプログラムを含み搬送波内に具現化されたデータ信号、等の態様で実現することができる。
【発明を実施するための最良の形態】
【００１９】
次に、本発明の実施の形態を実施例に基づいて以下の順序で説明する。
Ａ．第１実施例：
Ｂ．第２実施例：
Ｃ．変形例：
【００２０】
Ａ．第１実施例：
Ａ１．ビデオカメラの構成：
図１は、第１実施例としてのビデオカメラ１０の機能的な構成を示す機能ブロック図である。ビデオカメラ１０は、イメージセンサ１００と、カメラ制御部２００と、を備えている。カメラ制御部２００は、イメージセンサ１００を制御するとともに、イメージセンサ１００から供給される画像データＧＤ１に種々の処理を施し、ビデオカメラ１０から出力される映像信号ＶＳＧを生成する。
【００２１】
イメージセンサ１００は、レンズ（図示しない）により受光部に形成された被写体像を表す画像データＧＤ１を生成する。生成された画像データＧＤ１は、クランプ処理部２１０に供給される。ビデオカメラ１０では、タイミング信号生成部２５０からの周期的なタイミング信号ＳＴ１に応じて１フレーム分の画像データＧＤ１が周期的に生成され、クランプ処理部２１０に供給される。イメージセンサ１００としては、例えば、増幅器とアナログ−デジタル変換器（ＡＤ変換器）とが組み込まれたＣＭＯＳイメージセンサや、増幅器とＡＤ変換器（併せて、「アナログフロントエンド」と呼ばれる）が取り付けられたＣＣＤイメージセンサを使用することができる。
【００２２】
これらのイメージセンサ１００の受光部は、複数のセンサ素子により形成されている。センサ素子は、入射光に応じて電荷を生成するとともに、タイミング信号ＳＴ１によって指定される期間に生成された電荷を蓄積する。センサ素子上には、ＲＧＢの原色フィルタが市松模様状（「Ｂａｙｅｒ配列」と呼ばれる）に配置されており、各センサ素子には、ＲＧＢのいずれか１色の入射光の強度に対応した電荷が蓄積される。各センサ素子に蓄積された電荷量を表す電気信号（画像信号）は増幅され、増幅後の画像信号がＡＤ変換器によりデジタルデータに変換されて画像データＧＤ１が生成される。そのため、各センサ素子に対応する画像データＧＤ１の画素は、ＲＧＢのいずれか１色のみの色成分値を持つ画素となる。このように、画素がＲＧＢのいずれか１色のみの色成分値を持つ画像データＧＤ１は、「Ｂａｙｅｒデータ」ともよばれる。
【００２３】
クランプ処理部２１０は、画像データＧＤ１にクランプ処理を施し、画像データＧＤ２を生成する。ここで、クランプ処理とは、画像データＧＤ１において黒色（オプティカルブラック）を表す値（黒色値）を、カメラ制御部２００における各処理で使用される黒色値に変換する処理のことをいう。クランプ処理が施された画像データＧＤ２は、ＲＢゲイン調整部２２０と、ホワイトバランス調整部３００と、に供給される。
【００２４】
ホワイトバランス調整部３００は、画像データＧＤ２に基づいて、ＲＢゲイン調整部２２０に供給する赤色ゲイン設定値ｇRおよび青色ゲイン設定値ｇBを決定する。なお、ホワイトバランス調整部３００の具体的な構成と、これらのゲイン設定値ｇR，ｇBを決定する具体的な方法については、後述する。
【００２５】
ＲＢゲイン調整部２２０は、ホワイトバランス調整部３００から供給される赤色ゲイン設定値ｇRと青色ゲイン設定値ｇRに基づいて赤成分値と青成分値とのゲインを調整する。具体的には、画像データＧＤ２の赤成分値に赤色ゲイン設定値ｇRを乗じ、青成分値に青色ゲイン設定値ｇBを乗じる。なお、緑成分値は、ゲインが調整されることなく、そのまま出力される。ＲＢゲイン調整部２２０は、このように、赤成分値と青成分値とのゲイン調整が行われた画像データＧＤ３を生成する。ＲＢゲイン調整部２２０で生成された画像データＧＤ３は、補間処理部２３０に供給される。なお、この説明から明らかなように、ゲインは、ＲＧＢ色空間における赤色成分Ｒもしくは青色成分Ｂを補正するための「補正パラメータ」である。
【００２６】
補間処理部２３０は、画像データＧＤ３の各画素に欠落している色成分値を生成する。具体的には、画像データＧＤ３の各画素毎に、その画素に欠落している色成分値を周囲の画素の色成分値から補間・生成する。これにより、補間処理が施された画像データＧＤ４は、各画素がＲ，Ｇ，Ｂの３色の色成分値を有する画像データとなる。
【００２７】
映像信号生成部２４０は、タイミング信号生成部から供給されるタイミング信号ＳＴ２に従って、補間処理部２３０から供給された画像データＧＤ４から映像信号ＶＳＧを生成する。映像信号生成部２４０では、画像データＧＤ４に対して、ガンマ補正、色変換、輪郭強調等の種々の処理が施される。そして、これらの処理が施された画像データから所定の形式の映像信号ＶＳＧが生成される。なお、映像信号生成部２４０におけるこれらの処理については、本発明に影響しないので、ここではその説明を省略する。
【００２８】
図２は、ホワイトバランス調整部３００の機能的構成を示す機能ブロック図である。ホワイトバランス調整部３００は、簡易補間処理部３１０と、無偏差ゲイン調整部３２２と、正偏差ゲイン調整部３２４と、負偏差ゲイン調整部３２６と、無偏差色成分積分部３４２と、正偏差色成分積分部３４４と、負偏差色成分積分部３４６と、白検出部３３０と、オートホワイトバランス（ＡＷＢ）制御部と、を備えている。なお、以下では、無偏差ゲイン調整部３２２と正偏差ゲイン調整部３２４と負偏差ゲイン調整部３２６とを併せて、「ゲイン調整部」ともよぶ。同様に、無偏差色成分積分部３４２と正偏差色成分積分部３４４と負偏差色成分積分部３４６とを併せて、「色成分積分部」とも呼ぶ。
【００２９】
簡易補間処理部３１０は、画像データＧＤ２に補間処理を施すことにより、画像データＧＤ２の各画素に欠落している色成分値を補間・生成する。なお、簡易補間処理部３１０により生成される画像データは、ホワイトバランスの調整にのみ使用されるので、補間処理部２３０において施される通常の補間処理よりも簡便な補間処理が行われる。簡易補間処理部３１０は、例えば、色成分値の生成対象となる画素に隣接する画素の色成分値を平均することにより欠落した色成分値を生成する。
【００３０】
簡易補間処理が行われたＲＧＢ画像データは、３つのゲイン調整部３２２〜３２６と白検出部３３０とに供給される。白検出部３３０は、画像を構成する個々の画素が白色を表す画素であるか否かを判断する。具体的には、注目する画素のＲ，Ｇ，Ｂの各成分のいずれもが所定の閾値より高い場合に、注目する画素が白色の画素であると判断する。注目する画素が白色の画素であると判断された場合には、白検出部３３０は、白検出信号を３つの色成分積分部３４２〜３４６に供給する。
【００３１】
無偏差ゲイン調整部３２２は、赤色ゲイン設定値ｇRと青色ゲイン設定値ｇBとで指定されるゲインで赤成分値と青成分値とのゲインを調整する。具体的には、ＲＢゲイン調整部２２０と同様に、赤成分値Ｒに赤色ゲイン設定値ｇRを乗じてゲイン調整後の赤成分値Ｒ0を出力し、青成分値Ｂに青色ゲイン設定値ｇBを乗じてゲイン調整後の青成分値Ｂ0を出力する。また、緑成分値Ｇはゲイン調整が行われず、そのままの緑成分値Ｇ0（＝Ｇ）が出力される。
【００３２】
正偏差ゲイン調整部３２４は、赤色ゲイン設定値ｇRと青色ゲイン設定値ｇBとのそれぞれに所定の偏差Ａ（＞０）を加えたゲイン（以下、「正偏差ゲイン」とも呼ぶ）で赤成分値と青成分値とのゲインを調整する。具体的には、赤成分値Ｒに赤色の正偏差ゲイン（ｇR＋Ａ）を乗じてゲイン調整後の赤成分値Ｒ+を出力し、青成分値Ｂに青色の正偏差ゲイン（ｇB＋Ａ）を乗じてゲイン調整後の青成分値Ｂ+を出力する。なお、本実施例では、偏差Ａとしてゲインの調整単位（１）を使用しているが、偏差Ａをゲインの調整単位の倍（２）あるいはそれ以上の値とすることも可能である。但し、ホワイトバランスの変動をより抑制することが可能になる点で、所定の偏差Ａを１とすることが好ましい。一方、イメージセンサ１００における画像信号の増幅度を高くした際など、画像データのＳ／Ｎ比が低下している場合には、偏差Ａは２以上の値を使用するのが好ましい。偏差Ａを大きくすることにより、不要なホワイトバランス調整が行われることを抑制することができる
【００３３】
負偏差ゲイン調整部３２６は、赤色ゲイン設定値ｇRと青色ゲイン設定値ｇBとのそれぞれから上述の偏差Ａを減じたゲイン（以下、「負偏差ゲイン」とも呼ぶ）で赤成分値と青成分値とのゲインを調整する。具体的には、赤成分値Ｒに赤色の負偏差ゲイン（ｇR−Ａ）を乗じてゲイン調整後の赤成分値Ｒ-を出力し、青成分値Ｂに青色の負偏差ゲイン（ｇB−Ａ）を乗じてゲイン調整後の青成分値Ｂ-を出力する。
【００３４】
なお、第１実施例では、正偏差ゲインと負偏差ゲインとは、ゲイン設定値ｇR，ｇBに偏差Ａを加えているが、ゲイン設定値が正偏差ゲインと負偏差ゲインとから求められているともいうことができる。一般に、ゲイン設定値は、正偏差ゲインと負偏差ゲインとの間の値に設定されていればよい。
【００３５】
無偏差色成分積分部３４２は、白検出部３３０が白色の画素と判断した画素（白色画素）について、無偏差ゲイン調整部３２２が出力する赤成分値Ｒ0と、青成分値Ｂ0と、緑成分値Ｇ0とを積分する。そして、赤成分値Ｒ0の積分値ＩR0（無偏差赤成分積分値）と、青成分値Ｂ0の積分値ＩB0（無偏差青成分積分値）と、緑成分値Ｇ0の積分値ＩG0（無偏差緑積分値）とをオートホワイトバランス制御部３５０に供給する。
【００３６】
正偏差色成分積分部３４４は、白色画素について、正偏差ゲイン調整部３２４が出力する赤成分値Ｒ+と、青成分値Ｂ+とを積分する。そして、赤成分値Ｒ+の積分値ＩR+（正偏差赤成分積分値）と、青成分値Ｂ+の積分値ＩB+（正偏差青成分積分値）とをオートホワイトバランス制御部３５０に供給する。
【００３７】
負偏差色成分積分部３４６は、白色画素について、負偏差ゲイン調整部３２６が出力する赤成分値Ｒ-と、青成分値Ｂ-とを積分する。そして、赤成分値Ｒ-の積分値ＩR-（正偏差赤成分積分値）と、青成分値Ｂ-の積分値ＩB-（正偏差青成分積分値）とをオートホワイトバランス制御部３５０に供給する。
【００３８】
オートホワイトバランス制御部３５０は、３つの色成分積分部３４２〜３４６からそれぞれ供給される色成分積分値ＩR0，ＩB0，ＩG0，ＩR+，ＩB+，ＩR-，ＩB-に基づいて、赤色ゲイン設定値ｇRと、青色ゲイン設定値ｇBとを決定する。そして、決定されたゲイン設定値ｇR，ｇBを３つのゲイン調整部３２２〜３２６と、ＲＢゲイン調整部２２０（図１）とに供給する。
【００３９】
Ａ２．ホワイトバランスの調整：
図３は、オートホワイトバランス制御部３５０により実行される赤色ゲイン決定ルーチンを示すフローチャートである。赤色ゲイン決定ルーチンでは、緑成分積分値ＩG0と、３種の赤成分積分値ＩR0，ＩR+，ＩR-とに基づいて赤色ゲイン設定値ｇRが決定される。なお、図３は、赤色ゲイン設定値ｇRを決定する赤色ゲイン決定ルーチンを示しているが、青色ゲイン設定値ｇBも同様に、緑成分積分値ＩG0と、３種の青成分積分値ＩB0，ＩB+，ＩB-とに基づいて決定される。
【００４０】
図４は、図３の赤色ゲイン決定ルーチンの実行によりホワイトバランスの調整が行われる様子を示す説明図である。図４のグラフは、緑成分積分値ＩG0と３種の赤成分積分値ＩR0，ＩR+，ＩR-との時間的な変化を示している。図４（ａ）ないし図４（ｅ）の横軸は、時間を示している。図４（ａ）は、画像データのフレーム番号を示している。図４（ｂ）ないし図４（ｅ）の縦軸は、それぞれ色成分積分値の大きさを示している。図４（ｃ）ないし図４（ｅ）の破線は、緑成分積分値ＩG0を示している。なお、図４では、１フレーム分の色成分積分値ＩG0，ＩR0，ＩR+，ＩR-を、フレーム期間Ｔｆにわたって同一の値となるグラフとして示しているが、色成分積分値ＩG0，ＩR0，ＩR+，ＩR-は、フレームの開始からフレーム期間Ｔｆが経過する前の特定のタイミングで算出される。また、図４の例は、同一の被写体が撮影されている状態を示している。そのため、撮影画像中の白色画素の割合が変化せず、緑成分積分値ＩG0は時間的に変化していない。
【００４１】
ステップＳ１００において、オートホワイトバランス制御部３５０は、１フレーム分の緑成分積分値ＩG0と、赤成分積分値ＩR0，ＩR+，ＩR-と、を取得する。具体的には、３つの色成分積分部３４２〜３４６が１フレーム分の色成分積分値ＩG0，ＩR0，ＩR+，ＩR-の算出を完了したタイミングにおいて、色成分積分部３４２〜３４６からこれらの色成分積分値ＩG0，ＩR0，ＩR+，ＩR-を取得する。
【００４２】
ステップＳ２００において、オートホワイトバランス制御部３５０は、緑成分積分値ＩG0が負偏差赤成分積分値ＩR-から正偏差赤成分積分値ＩR+までの範囲（収束範囲）内であるか否か、すなわち、ゲインの調整が必要か否かを判断する。緑成分積分値ＩG0が収束範囲内であると判断された場合には、制御はステップＳ１００に戻される。一方、緑成分積分値ＩG0が収束範囲外であると判断された場合には、制御はステップＳ３００に移される。図４の例では、第１のフレーム期間（フレーム＃１）において、緑成分積分値ＩG0は、負偏差赤成分積分値ＩR-（および、正偏差赤成分積分値ＩR+）よりも小さくなっている。そのため、緑成分積分値ＩG0は、収束範囲外であると判断され、制御はステップＳ３００に移される。
【００４３】
図３のステップＳ３００では、オートホワイトバランス制御部３５０が、赤成分積分値ＩR0が緑成分積分値ＩG0よりも大きいか否かを判断する。赤成分積分値ＩR0が緑成分積分値ＩG0よりも大きいと判断された場合、制御はステップＳ３１０に移される。ステップＳ３１０では、赤色ゲイン設定値ｇRは所定のオフセット値「１」が減じられ、赤色ゲイン設定値ｇRの低減の後、制御はステップＳ１００に戻される。一方、赤成分積分値ＩR0が緑成分積分値ＩG0よりも小さいと判断された場合、制御はステップＳ３２０に移される。ステップＳ３２０では、赤色ゲイン設定値ｇRは所定のオフセット値「１」が加えられ、赤色ゲイン設定値ｇRの増加の後、制御はステップＳ１００に戻される。図４の例では、第１のフレーム期間において、赤成分積分値ＩR0は、緑成分積緑成分積分値ＩG0よりも大きくなっている。そのため、制御は、ステップＳ３００からステップＳ３１０に移され、赤色ゲイン設定値ｇRは「１」低減される。なお、第１実施例では、ステップＳ３１０，Ｓ３２０において、赤色ゲイン設定値ｇRにはオフセット値１（ゲインの調整単位）が加減されているが、オフセット値としては１以外の値を加減するものとしてもよい。但し、ホワイトバランスの過調整を抑制するため、オフセット値は、正偏差ゲインと負偏差ゲインの差（２×Ａ）よりも小さい値とするのが好ましい。
【００４４】
図４に示すように、第１のフレーム期間の色成分積分値ＩG0，ＩR0，ＩR+，ＩR-に基づいて赤色ゲイン設定値ｇRが「１」低減されることにより、第２のフレーム期間（フレーム＃２）では、赤成分積分値ＩR0，ＩR+，ＩR-のそれぞれが第１のフレーム期間よりも小さくなっている。しかしながら、第２のフレーム期間においても、緑成分積分値ＩG0が収束範囲外であり、赤成分積分値ＩR0が緑成分積分値ＩG0よりも大きいため、赤色ゲイン設定値ｇRは更に「１」低減される。
【００４５】
このように赤色ゲイン設定値ｇRが「１」低減されることにより、第３のフレーム期間（フレーム＃３）では、赤成分積分値ＩR0，ＩR+，ＩR-のそれぞれが第２のフレーム期間よりも小さくなっている。しかしながら、第３のフレーム期間においても、緑成分積分値ＩG0が収束範囲外であり、赤成分積分値ＩR0が緑成分積分値ＩG0よりも大きいため、赤色ゲイン設定値ｇRは更に「１」低減される。
【００４６】
第４のフレーム期間（フレーム＃４）では、赤色ゲイン設定値ｇRが更に「１」低減されることにより、緑成分積分値ＩG0が収束範囲内となる。そのため、赤色ゲイン設定値ｇRの変更は行われなくなる。このように、緑成分積分値ＩG0が収束範囲内となった状態は、「ホワイトバランスが収束した状態」とも呼ばれ、緑成分積分値ＩG0が収束範囲内となることは、「ホワイトバランスが収束する」ともいわれる。以上の説明から明らかなように、緑成分積分値ＩG0は、赤成分積分値ＩR0の目標値である。
【００４７】
Ａ３．比較例としての従来技術：
図５は、比較例としての従来のビデオカメラ１２の機能的な構成を示す機能ブロック図である。比較例のビデオカメラ１２は、ホワイトバランス調整部３０２に供給される画像データが補間処理部２３０が出力する画像データＧＤ４に変更されている点で、図１に示す第１実施例のビデオカメラ１０と異なっている。他の点は、第１実施例と同様である。
【００４８】
図６は、比較例におけるホワイトバランス調整部３０２の機能的な構成を示す機能ブロック図である。比較例のホワイトバランス調整部３０２は、簡易補間処理部３１０および３つのゲイン調整部３２２〜３２６が省略されている点と、３つの色成分積分部３４２〜３４６に換えて単一の色成分積分部３４０が用いられている点とで、第１実施例のホワイトバランス調整部３００と異なっている。他の点は、第１実施例と同様である。
【００４９】
第１実施例のホワイトバランス調整部と同様に、白検出部３３０は、画像データＧＤ４の個々の画素が白色を表す画素であるかを判断する。そして、注目する画素が白色の画素であると判断した場合には、白検出信号を色成分積分部３４０に供給する。
【００５０】
色成分積分部３４０は、画像データＧＤ４の白色画素について、色成分値Ｒ，Ｇ，Ｂのそれぞれを積分し、色成分積分値ＩR，ＩG，ＩBを生成する。生成された色成分積分値ＩR，ＩG，ＩBは、オートホワイトバランス制御部３５２に供給される。オートホワイトバランス制御部３５２は、供給された色成分積分値ＩR，ＩG，ＩBに基づいて、赤色ゲイン設定値ｇRと青色ゲイン設定値ｇBとを決定する。決定されたこれらのゲイン設定値ｇR，ｇBとは、ＲＢゲイン調整部２２０（図５）に供給される。ＲＢゲイン調整部２２０がゲイン設定値ｇR，ｇBに基づいて赤成分値と青成分値とのゲインを調整することにより、画像データＧＤ３，ＧＤ４のホワイトバランスが調整される。このように、画像データＧＤ４のホワイトバランスが調整されることにより、ホワイトバランス調整のフィードバック制御が行われる。
【００５１】
図７は、比較例のオートホワイトバランス制御部３５２により実行される赤色ゲイン決定ルーチンを示すフローチャートである。図７の赤色ゲイン決定ルーチンは、ステップＳ１００がステップＳ１０２に置き換えられている点と、ステップＳ２００が、ステップＳ２１０〜Ｓ２６０に置き換えられている点と、ステップＳ３００〜Ｓ３２０が、それぞれステップＳ３０２〜Ｓ３２２に置き換えられている点とで、図３に示す第１実施例の赤色ゲイン決定ルーチンと異なっている。
【００５２】
図８は、図７の赤色ゲイン決定ルーチンの実行によりホワイトバランスの調整が行われる様子を示す説明図である。図８のグラフは、緑成分積分値ＩGと、赤成分積分値ＩRと、これらの色成分積分値の差（積分値差）ＩR−ＩGと、の時間的な変化を示している。図８（ａ）ないし図８（ｄ）の横軸は、時間を示している。図８（ａ）は、画像データのフレーム番号を示している。図８（ｂ）ないし図８（ｃ）の縦軸は、それぞれ色成分積分値の大きさを示している。
【００５３】
ステップＳ１０２において、オートホワイトバランス制御部３５２は、１フレーム分の緑成分積分値ＩGと赤成分積分値ＩRとを、色成分積分部３４０から取得する。具体的には、色成分積分部３４０が１フレーム分の色成分積分値ＩG，ＩRの算出を完了したタイミングにおいて、色成分積分部３４０からこれらの色成分積分値ＩG，ＩRを取得する。
【００５４】
ステップＳ２１０において、オートホワイトバランス制御部３５２は、赤成分積分値ＩRと緑成分積分値ＩGとの差の絶対値（積分値差絶対値）｜ＩR−ＩG｜が調整開始パラメータＰよりも大きいか否かを判断する。積分値差絶対値｜ＩR−ＩG｜が調整開始パラメータＰよりも小さいと判断された場合、すなわち、ホワイトバランスの調整が不要と判断された場合、制御はステップＳ１０２に戻され、ホワイトバランスの調整が必要と判断されるまでステップＳ１０２，Ｓ２１０が繰り返し実行される。一方、積分値差絶対値｜ＩR−ＩG｜が調整開始パラメータＰよりも大きいと判断された場合、すなわち、ホワイトバランスの調整が必要であると判断された場合、制御はステップＳ２２０に移され、ホワイトバランスの調整が開始される。
【００５５】
ホワイトバランスの調整が開始されると、ステップＳ２２０において、オートホワイトバランス制御部３５２は、積分値差ＩR−ＩGを前フレーム積分値差Ｄに設定する。図８の例では、第１のフレーム（フレーム＃１）の積分値差ＩR−ＩGが前フレーム積分値差Ｄに設定される。
【００５６】
ステップＳ２３０において、オートホワイトバランス制御部３５２は、次のフレームの緑成分積分値ＩGと赤成分積分値ＩRとを取得する。具体的には、色成分積分部３４０が次のフレーム分の色成分積分値ＩG，ＩRの算出を完了したタイミングにおいて、色成分積分部３４０からこれらの色成分積分値ＩG，ＩRを取得する。図８の例では、第２のフレーム（フレーム＃２）期間中の特定のタイミングにおいて色成分積分値ＩG，ＩRが算出された後、算出された色成分積分値ＩG，ＩRが取得される。
【００５７】
ステップＳ２４０において、オートホワイトバランス制御部３５２は、ステップＳ２４０において取得された色成分積分値の差ＩR−ＩGを現フレーム積分値差Ｃに設定する。図８の例では、第２のフレーム期間の色成分積分値差ＩR−ＩGが現フレーム積分値差Ｃに設定される。
【００５８】
ステップＳ２５０において、オートホワイトバランス制御部３５２は、前フレーム積分値差Ｄと現フレーム積分値差Ｃとで極性が反転しているか否かを判断する。極性が反転している場合、すなわち、ホワイトバランスが収束したと判断された場合、制御はステップＳ１０２に戻される。一方、極性が反転していない場合、すなわち、ホワイトバランスが収束していないと判断された場合、制御はステップＳ２６０に移される。次いで、ステップＳ２６０において、現フレーム積分値差Ｃが前フレーム積分値差Ｄに設定される。
【００５９】
ステップＳ３０２において、オートホワイトバランス制御部３５０は、赤成分積分値ＩRが緑成分積分値ＩGよりも大きいか否かを判断する。赤成分積分値ＩRが緑成分積分値ＩGよりも大きいと判断された場合、制御はステップＳ３１２に移され、赤色ゲイン設定値ｇRから「１」が減じられる。一方、赤成分積分値ＩRが緑成分積分値ＩGよりも小さいと判断された場合、制御はステップＳ３２２に移され、赤色ゲイン設定値ｇRには「１」が加えられる。
【００６０】
赤色ゲイン設定値ｇRの変更の後、制御はステップＳ２３０に戻され、ステップＳ２５０においてホワイトバランスが収束したと判断されるまで、ステップＳ２３０〜Ｓ３２２が繰り返し実行される。
【００６１】
図８の例では、第２のフレーム期間において、第１のフレームから第４のフレーム（フレーム＃４）までは、積分値差ＩR−ＩGが正値となっている。そして、第５のフレーム（フレーム＃５）において、積分値差ＩR−ＩGが負値となる。そのため、第５のフレームにおいてホワイトバランスが収束したと判断される。
【００６２】
これに対し、第１実施例では、図４に示すように、第４のフレームにおいてホワイトバランスが収束したと判断される。このように、第１実施例によれば、無偏差色成分積分値ＩR0，ＩG0，ＩB0と、正偏差色成分積分値ＩR+，ＩB+と、負偏差色成分積分値ＩR-，ＩB-と、に基づいて赤色ゲイン設定値ｇRと青色ゲイン設定値ｇBとを決定することにより、比較例よりもホワイトバランスの収束をより早く判定することができる。
【００６３】
また、比較例では、ホワイトバランスの調整の要否が、積分値差絶対値｜ＩR−ＩG｜と調整開始パラメータＰとの大小関係により判断される（図７のステップＳ２１０）。そのため、調整開始パラメータの設定によっては、ホワイトバランスを調整することが好ましい場合においても、ホワイトバランスの調整が行われないおそれがある。これに対し、第１実施例では、緑成分積分値ＩG0が収束範囲（［ＩR-，ＩR+］）外となった場合にゲイン設定値ｇR，ｇBの変更（すなわち、ホワイトバランス調整）が行われるため、ホワイトバランスの調整をより的確に行うことが可能となる。
【００６４】
さらに、比較例では、２つのフレームの積分値差Ｃ，Ｄを比較することによりホワイトバランスの収束を判定しているため、フレーム間の画像の変化が大きい場合など、撮影画像の状態によってはホワイトバランスの収束を性格に判定することができないおそれがある。これに対し、第１実施例では、ゲインの調整の要否、すなわち、ホワイトバランスが収束したか否かが、単一のフレームで判断できる。そのため、より確実にホワイトバランスの収束を判定することができる。
【００６５】
Ｂ．第２実施例：
図９は、第２実施例における赤色ゲイン決定ルーチンを示すフローチャートである。第２実施例の赤色ゲイン決定ルーチンは、ステップＳ３１０の後に２つのステップＳ３３０，Ｓ３４０が付加されている点と、ステップＳ３２０の後に２つのステップＳ３５０，Ｓ３６０が付加されている点とで、図４に示す第１実施例の赤色ゲイン決定ルーチンと異なっている。他の点は、第１実施例の赤色ゲイン決定ルーチンと同じである。
【００６６】
図１０は、図９の赤色ゲイン決定ルーチンの実行によりホワイトバランスの調整が行われる様子を示す説明図である。図１０のグラフは、緑成分積分値ＩG0と３種の赤成分積分値ＩR0，ＩR+，ＩR-との時間的な変化を示している。図１０（ａ）ないし図１０（ｅ）の横軸は、時間を示している。図１０（ａ）は、画像データのフレーム番号を示している。図１０（ｂ）ないし図１０（ｅ）の縦軸は、それぞれ色成分積分値の大きさを示している。図１０（ｃ）ないし図１０（ｅ）の破線は、緑成分積分値ＩG0を示している。
【００６７】
ステップＳ３３０において、オートホワイトバランス制御部３５０は、負偏差赤成分積分値ＩR-が緑成分積分値ＩG0よりも大きいか否かを判断する。負偏差赤成分積分値ＩR-が緑成分積分値ＩG0よりも小さい場合、制御はステップＳ１００に戻される。一方、負偏差赤成分積分値ＩR-が緑成分積分値ＩG0よりも大きい場合、制御はステップＳ３４０に移される。ステップＳ３４０において赤色ゲイン設定値ｇRから偏差Ａが減じられた後、制御はステップＳ１００に戻される。なお、負偏差赤成分積分値ＩR-が緑成分積分値ＩG0よりも大きい場合、赤色ゲイン設定値ｇRを負偏差ゲイン（ｇR−Ａ）に変更しても無偏差赤成分析積分値ＩR0は、緑成分積分値ＩG0よりも大きくなる。そのため、ステップＳ３４０において、赤色ゲイン設定値ｇRから偏差Ａを減じても、ホワイトバランスの過調整は発生しない。なお、ステップＳ３４０において減じられるオフセット値は、正偏差ゲインと負偏差ゲインとの差（２×Ａ）に基づいて設定されているともいうことができる。
【００６８】
ステップＳ３５０において、オートホワイトバランス制御部３５０は、正偏差赤成分積分値ＩR+が緑成分積分値ＩG0よりも小さいか否かを判断する。正偏差赤成分積分値ＩR+が緑成分積分値ＩG0よりも小さい場合、制御はステップＳ３６０に移される。ステップＳ３６０において赤色ゲイン設定値ｇRに偏差Ａが加えられた後、制御はステップＳ１００に戻される。一方、正偏差赤成分積分値ＩR+が緑成分積分値ＩG0よりも大きい場合、制御はステップＳ１００に戻される。なお、ステップＳ３６０において加えられるオフセット値は、正偏差ゲインと負偏差ゲインとの差（２×Ａ）に基づいて設定されているともいうことができる。
【００６９】
図１０の例では、第１のフレームにおいては、負偏差赤成分積分値ＩR-が緑成分積分値ＩG0よりも大きくなっている。そのため、赤色ゲイン設定値ｇRは、ステップＳ３１０において１が減じられ、ステップＳ３４０において更に偏差Ａ（＝１）が減じられる。そのため、第２のフレームにおいては、赤成分積分値ＩR0，ＩR+，ＩR-のいずれもが、第１実施例の場合よりも更に小さくなっている。しかしながら、緑成分積分値ＩG0が収束範囲外であり、無偏差赤成分積分値ＩR0と負偏差赤成分積分値ＩR-とのいずれもが緑成分積分値ＩG0よりも大きいため、赤色ゲイン設定値ｇRは１低減されたのち、偏差Ａが減じられる。
【００７０】
赤色ゲイン設定値ｇRが更に低減されることにより、第３のフレーム期間（フレーム＃３）では、緑成分積分値ＩG0が収束範囲内となり、ホワイトバランスが収束する。このように、負偏差赤成分積分値ＩR-が緑成分積分値ＩG0より大きい場合に、赤色ゲイン設定値ｇRから更に偏差Ａを減じることにより、ホワイトバランスの収束を早めることが可能となる。同様に、正偏差赤成分積分値ＩR+が緑成分積分値ＩG0より小さい場合に、赤色ゲイン設定値ｇRに更に偏差Ａを加えることにより、ホワイトバランスの収束を早めることが可能となる。
【００７１】
このように、第２実施例によれば、無偏差緑成分積分値ＩR0，ＩG0，ＩB0と、正偏差色成分積分値ＩR+，ＩB+あるいは負偏差色成分積分値ＩR-，ＩB-との大小関係に応じて赤色ゲイン設定値ｇRと青色ゲイン設定値ｇBと偏差Ａに基づいて変更することにより、ホワイトバランスをより速やかに収束させることが可能となる。
【００７２】
なお、第２実施例は、ホワイトバランスをより速やかに収束させることができる点で、第１実施例よりも好ましい。一方、第１実施例は、ホワイトバランスの調整処理がより簡単になる点で、第２実施例よりも好ましい。
【００７３】
Ｃ．変形例：
なお、この発明は上記実施例や実施形態に限られるものではなく、その要旨を逸脱しない範囲において種々の態様において実施することが可能であり、例えば次のような変形も可能である。
【００７４】
Ｃ１．変形例１：
上記各実施例では、ホワイトバランス調整部３００に簡易補間処理部３１０を設け、簡易補間処理部３１０で補間処理された画像データに対してゲイン調整が行われているが、簡易補間処理部３１０を省略することも可能である。例えば、カメラ制御部２００（図１）の補間処理部２３０によって補間処理された画像データを用いることも可能である。この場合、ホワイトバランス調整部３００の３つのゲイン調整部３２２〜３２６のうち、無偏差ゲイン調整部３２２を省略することが可能である。また、正偏差ゲイン調整部３２４および負偏差ゲイン調整部３２６では、偏差Ａに相当するゲインの調整が行われる。
【００７５】
Ｃ２．変形例２：
上記各実施例では、オートホワイトバランス制御部３５０は、赤色ゲイン設定値ｇRを３種の赤色成分積分値ＩR0，ＩR+，ＩR-に基づいて決定しているが、赤色ゲイン設定値ｇRは、これらの赤色成分積分値ＩR0，ＩR+，ＩR-のうちの少なくとも２つの積分値に基づいて決定することもできる。この場合、赤色ゲイン設定値ｇRに加減されるオフセット値は、使用される積分値に応じて適宜変更される。
【００７６】
Ｃ３．変形例３：
上記各実施例では、色成分積分部３４２〜３４６（図２）は、白検出部３３０が白色の画素と判断した画素について、色成分値を積分しているが、１フレーム分の画像全体について色成分値を積分するものとしてもよく、また、画像の一部（例えば、周辺部）について色成分値を積分するものとしてもよい。但し、白色画素について色成分値を積分することにより、被写体の状態によらずホワイトバランスの調整をより好ましいものとすることができるので、白色画素について色成分値を積分するのが好ましい。
【００７７】
Ｃ４．変形例４：
上記各実施例では、ホワイトバランスの調整を赤色成分Ｒと青色成分Ｂとのそれぞれのゲインを変更することにより行っているが、他の方法によりホワイトバランスの調整を行うことも可能である。例えば、ＲＧＢ色空間の画像データをＹＣｂＣｒ色空間の画像データに変換し、色差成分Ｃｂ，Ｃｒを補正することによりホワイトバランスを調整するものとしてもよい。この場合においても、色差成分Ｃｂ，Ｃｒを異なる補正パラメータで補正し、補正後の色差成分積分値に基づいて、ホワイトバランスの調整の要否、および、補正パラメータの変更内容が決定される。なお、色差成分Ｃｂ，Ｃｒを補正する場合には、色差成分積分値の目標値はゼロに設定される。
【００７８】
Ｃ５．変形例５：
上記各実施例では、ゲイン調整部２２０，３２２〜３２６は、ＡＤ変換された画像データの色成分値にゲインを乗ずることにより画像の色成分を補正しているが、画像の色成分をアナログ増幅器の増幅度を変更することにより補正することも可能である。この場合、イメージセンサとしては、アナログの映像信号を出力するイメージセンサが使用される。
【００７９】
Ｃ６．変形例６：
上記各実施例では、本発明をビデオカメラに適用しているが、本発明はビデオカメラの他、モニタ機能を有するデジタルスチルカメラ等、種々の撮像装置に適用することができる。一般に、本発明は、時系列的に画像が生成される装置であれば、任意の装置に適用することができる。
【図面の簡単な説明】
【００８０】
【図１】第１実施例としてのビデオカメラの機能的な構成を示す機能ブロック図。
【図２】ホワイトバランス調整部の機能的構成を示す機能ブロック図。
【図３】オートホワイトバランス制御部により実行される赤色ゲイン決定ルーチンを示すフローチャート。
【図４】第１実施例においてホワイトバランスの調整が行われる様子を示す説明図。
【図５】比較例としての従来のビデオカメラの機能的な構成を示す機能ブロック図。
【図６】比較例におけるホワイトバランス調整部の機能的な構成を示す機能ブロック図。
【図７】比較例のオートホワイトバランス制御部により実行される赤色ゲイン決定ルーチンを示すフローチャート。
【図８】比較例においてホワイトバランスの調整が行われる様子を示す説明図。
【図９】第２実施例における赤色ゲイン決定ルーチンを示すフローチャート。
【図１０】第２実施例においてホワイトバランスの調整が行われる様子を示す説明図。
【符号の説明】
【００８１】
１０，１２…ビデオカメラ
１００…イメージセンサ
２００…カメラ制御部
２１０…クランプ処理部
２２０…ＲＢゲイン調整部
２３０…補間処理部
２４０…映像信号生成部
２５０…タイミング信号生成部
３００，３０２…ホワイトバランス調整部
３１０…簡易補間処理部
３２２…無偏差ゲイン調整部
３２４…正偏差ゲイン調整部
３２６…負偏差ゲイン調整部
３３０…白検出部
３４０…色成分積分部
３４２…無偏差色成分積分部
３４４…正偏差色成分積分部
３４６…負偏差色成分積分部
３５０，３５２…オートホワイトバランス制御部
【技術分野】
【０００１】
この発明は、デジタルカメラにおけるホワイトバランスの調整技術に関する。
【背景技術】
【０００２】
デジタルスチルカメラやビデオカメラ等のデジタルカメラにおいては、光源のスペクトルの違いにより同一の被写体を撮影した場合に再現される色が変化する。そのため、白色の被写体を撮影した画像において白色被写体の色が白色として再現されるように、ホワイトバランス調整が行われる。ホワイトバランス調整は、通常、撮影画像における色情報に基づいて、赤色と青色の画像信号あるいは画像データのゲインを調整する。このゲインの調整では、撮影画像を構成する白色の画素の赤色成分と青色成分と緑色成分とのそれぞれの積算値（積分値）を算出し、算出された積分値に基づいてゲインの設定が行われる。これらの積分値は、ゲインの他に、撮影画像中の白色画素の割合に依存する。そこで、白色画像の割合など撮影画像の状態によらずにホワイトバランス調整を行うため、ゲイン調整後の画像の色情報に基づいてゲインの微調整を繰り返すことによりホワイトバランスの調整が行われる。
【０００３】
【特許文献１】特開２００１−３６９２３号公報
【特許文献２】特開平１１−７５２１３号公報
【特許文献３】特開平７−２８４１１８号公報
【特許文献４】特開平７−２５５０６２号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、ホワイトバランスの調整の終了（「ホワイトバランスの収束」とも呼ばれる）は、複数の色成分（例えば、赤色成分と緑色成分）の積分値を比較し、これらの積分値の大小関係が反転を検出することにより判定される。そのため、ホワイトバランスの収束判定には、ゲインの微調整前後の色成分積分値が使用されるため、撮影時の光源や被写体の状況によっては、ホワイトバランスの収束判定ができないおそれがある。
【０００５】
本発明は、上述した従来の課題を解決するためになされたものであり、ホワイトバランスの収束判定をより確実に行う技術を提供することを目的とする。
【課題を解決するための手段】
【０００６】
本発明は、上述の課題の少なくとも一部を解決するためになされたものであり、以下の形態又は適用例として実現することが可能である。
【０００７】
［適用例１］
時系列的に入力される入力画像のホワイトバランスを調整するホワイトバランス調整装置であって、
先の入力画像の所定の色空間における複数の色成分のうちの対象色成分を補正パラメータの第１の値に基づいて補正し、補正された対象色成分を前記先の入力画像の少なくとも一部の積分対象領域について積分して第１の対象色成分積分値を算出する第１の対象色成分積分部と、
前記先の入力画像の対象色成分を前記補正パラメータの第１の値と異なる第２の値に基づいて補正し、補正された対象色成分を前記積分対象領域について積分して第２の対象色成分積分値を算出する第２の対象色成分積分部と、
後の入力画像の対象色成分の補正に使用される前記第１と第２の値を決定する補正パラメータ決定部と、
前記補正パラメータ決定部により決定された第１の値と第２の値の間に設定された第３の値に基づいて、前記後の入力画像の対象色成分を補正することによりホワイトバランス調整が施された調整画像を生成する調整画像生成部と、
を備え、
前記補正パラメータ決定部は、前記第１と第２の対象色成分積分値と、対象色成分積分値の目標値との大小関係に応じて、前記第１と第２の値の変更の要否を判定する、
ホワイトバランス調整装置。
【０００８】
この適用例によれば、補正パラメータ決定部は、先の入力画像を用いて算出された第１の対象色成分積分値と第２の対象色成分積分値と、対象色成分積分値の目標値との大小関係に応じて、第１と第２の値の変更の要否を判定する。そのため、先の入力画像のみで、補正パラメータの値の変更が不要か否か、すなわち、ホワイトバランスが収束したか否かが判定できるので、ホワイトバランスの収束判定をより確実に行うことができる
【０００９】
［適用例２］
適用例１記載のホワイトバランス調整装置であって、前記補正パラメータ決定部は、前記目標値が前記第１の対象色成分積分値と前記第２の対象色成分積分値との間である場合には、前記第１と第２の値の変更を行わず、前記目標値が前記第１の対象色成分積分値と前記第２の対象色成分積分値との間でない場合には、前記第１と第２の対象色成分積分値と前記目標値との大小関係に応じて、前記先の入力画像の対象色成分の補正に使用された前記第１と第２の値のそれぞれに、前記第１と第２の値の差分よりも小さい第１のオフセット値を加減することにより、前記第１と第２の値を変更する、ホワイトバランス調整装置。
【００１０】
この適用例では、第１と第２の値は、前記第１と第２の値の差分よりも小さい第１のオフセット値を加減することにより変更される。そのため、ホワイトバランスの過調整を抑制することができる。
【００１１】
［適用例３］
適用例２記載のホワイトバランス調整装置であって、さらに、前記先の入力画像の対象色成分を前記第３の値に基づいて補正し、補正された対象色成分を前記積分対象領域について積分して第３の対象色成分積分値を算出する第３の対象色成分積分部を備えており、前記補正パラメータ決定部は、前記第３の対象色成分積分値と前記目標値との大小関係に基づいて、前記第１と第２の値のそれぞれに前記第１のオフセット値を加えるか、前記第１と第２の値のそれぞれから前記第１のオフセット値を減ずるか、を決定する、ホワイトバランス調整装置。
【００１２】
この適用例によれば、調整画像生成部におけるホワイトバランス調整に使用される第３の値に基づいて、補正パラメータの変更内容が決定されるので、ホワイトバランスをより好ましい状態に調整することが可能となる。
【００１３】
［適用例４］
適用例２または３記載のホワイトバランス調整装置であって、前記対象色成分積分値は、前記補正パラメータの値の増大に応じて単調増加し、前記第２の値は、前記第１の値よりも大きく設定されており、前記補正パラメータ決定部は、前記第２の対象色成分積分値が前記目標値よりも小さい場合には、前記第１のオフセット値が加えられた第１と第２の値のそれぞれに、さらに前記第１と第２の値の差分に基づいて設定される第２のオフセット値を加え、前記第１の対象色成分積分値が前記目標値よりも大きい場合には、前記第１のオフセット値が減じられた第１と第２の値のそれぞれから、さらに前記第２のオフセット値を減じる、ホワイトバランス調整装置。
【００１４】
この適用例によれば、補正パラメータの第１と第２の値は、第１のオフセット値により変更の後、更に第２のオフセット値により変更される。そのため、補正パラメータの値の変更量が大きくなるので、ホワイトバランスの収束をより早めることができる。
【００１５】
［適用例５］
適用例１ないし４のいずれか記載のホワイトバランス調整装置であって、前記目標値は、前記先の入力画像の前記対象色成分とは異なる比較色成分を前記積分対象領域について積分した比較色成分積分値である、ホワイトバランス調整装置。
【００１６】
この適用例によれば、対象色成分積分値の目標値として、対象色成分とは異なる比較色成分を積分した比較色成分積分値が使用される。そのため、入力画像に応じた目標値を設定することができ、ホワイトバランスをより好ましい状態に調整することが可能となる。
【００１７】
［適用例６］
適用例１ないし５のいずれか記載のホワイトバランス調整装置であって、前記時系列的に入力される入力画像は、動画像であり、前記後の入力画像は、前記ホワイトバランス調整装置から出力される現フレームの画像であり、前記先の入力画像は、前記現フレームの直前のフレームの画像である、ホワイトバランス調整装置。
【００１８】
なお、本発明は、種々の態様で実現することが可能である。例えば、ホワイトバランス調整装置およびホワイトバランス調整方法、これらの調整装置および調整方法を適用したビデオカメラおよびデジタルスチルカメラ、ビデオカメラおよびデジタルスチルカメラの制御装置および制御方法、それらの装置および方法を実現するためのコンピュータプログラム、そのコンピュータプログラムを記録した記録媒体、そのコンピュータプログラムを含み搬送波内に具現化されたデータ信号、等の態様で実現することができる。
【発明を実施するための最良の形態】
【００１９】
次に、本発明の実施の形態を実施例に基づいて以下の順序で説明する。
Ａ．第１実施例：
Ｂ．第２実施例：
Ｃ．変形例：
【００２０】
Ａ．第１実施例：
Ａ１．ビデオカメラの構成：
図１は、第１実施例としてのビデオカメラ１０の機能的な構成を示す機能ブロック図である。ビデオカメラ１０は、イメージセンサ１００と、カメラ制御部２００と、を備えている。カメラ制御部２００は、イメージセンサ１００を制御するとともに、イメージセンサ１００から供給される画像データＧＤ１に種々の処理を施し、ビデオカメラ１０から出力される映像信号ＶＳＧを生成する。
【００２１】
イメージセンサ１００は、レンズ（図示しない）により受光部に形成された被写体像を表す画像データＧＤ１を生成する。生成された画像データＧＤ１は、クランプ処理部２１０に供給される。ビデオカメラ１０では、タイミング信号生成部２５０からの周期的なタイミング信号ＳＴ１に応じて１フレーム分の画像データＧＤ１が周期的に生成され、クランプ処理部２１０に供給される。イメージセンサ１００としては、例えば、増幅器とアナログ−デジタル変換器（ＡＤ変換器）とが組み込まれたＣＭＯＳイメージセンサや、増幅器とＡＤ変換器（併せて、「アナログフロントエンド」と呼ばれる）が取り付けられたＣＣＤイメージセンサを使用することができる。
【００２２】
これらのイメージセンサ１００の受光部は、複数のセンサ素子により形成されている。センサ素子は、入射光に応じて電荷を生成するとともに、タイミング信号ＳＴ１によって指定される期間に生成された電荷を蓄積する。センサ素子上には、ＲＧＢの原色フィルタが市松模様状（「Ｂａｙｅｒ配列」と呼ばれる）に配置されており、各センサ素子には、ＲＧＢのいずれか１色の入射光の強度に対応した電荷が蓄積される。各センサ素子に蓄積された電荷量を表す電気信号（画像信号）は増幅され、増幅後の画像信号がＡＤ変換器によりデジタルデータに変換されて画像データＧＤ１が生成される。そのため、各センサ素子に対応する画像データＧＤ１の画素は、ＲＧＢのいずれか１色のみの色成分値を持つ画素となる。このように、画素がＲＧＢのいずれか１色のみの色成分値を持つ画像データＧＤ１は、「Ｂａｙｅｒデータ」ともよばれる。
【００２３】
クランプ処理部２１０は、画像データＧＤ１にクランプ処理を施し、画像データＧＤ２を生成する。ここで、クランプ処理とは、画像データＧＤ１において黒色（オプティカルブラック）を表す値（黒色値）を、カメラ制御部２００における各処理で使用される黒色値に変換する処理のことをいう。クランプ処理が施された画像データＧＤ２は、ＲＢゲイン調整部２２０と、ホワイトバランス調整部３００と、に供給される。
【００２４】
ホワイトバランス調整部３００は、画像データＧＤ２に基づいて、ＲＢゲイン調整部２２０に供給する赤色ゲイン設定値ｇRおよび青色ゲイン設定値ｇBを決定する。なお、ホワイトバランス調整部３００の具体的な構成と、これらのゲイン設定値ｇR，ｇBを決定する具体的な方法については、後述する。
【００２５】
ＲＢゲイン調整部２２０は、ホワイトバランス調整部３００から供給される赤色ゲイン設定値ｇRと青色ゲイン設定値ｇRに基づいて赤成分値と青成分値とのゲインを調整する。具体的には、画像データＧＤ２の赤成分値に赤色ゲイン設定値ｇRを乗じ、青成分値に青色ゲイン設定値ｇBを乗じる。なお、緑成分値は、ゲインが調整されることなく、そのまま出力される。ＲＢゲイン調整部２２０は、このように、赤成分値と青成分値とのゲイン調整が行われた画像データＧＤ３を生成する。ＲＢゲイン調整部２２０で生成された画像データＧＤ３は、補間処理部２３０に供給される。なお、この説明から明らかなように、ゲインは、ＲＧＢ色空間における赤色成分Ｒもしくは青色成分Ｂを補正するための「補正パラメータ」である。
【００２６】
補間処理部２３０は、画像データＧＤ３の各画素に欠落している色成分値を生成する。具体的には、画像データＧＤ３の各画素毎に、その画素に欠落している色成分値を周囲の画素の色成分値から補間・生成する。これにより、補間処理が施された画像データＧＤ４は、各画素がＲ，Ｇ，Ｂの３色の色成分値を有する画像データとなる。
【００２７】
映像信号生成部２４０は、タイミング信号生成部から供給されるタイミング信号ＳＴ２に従って、補間処理部２３０から供給された画像データＧＤ４から映像信号ＶＳＧを生成する。映像信号生成部２４０では、画像データＧＤ４に対して、ガンマ補正、色変換、輪郭強調等の種々の処理が施される。そして、これらの処理が施された画像データから所定の形式の映像信号ＶＳＧが生成される。なお、映像信号生成部２４０におけるこれらの処理については、本発明に影響しないので、ここではその説明を省略する。
【００２８】
図２は、ホワイトバランス調整部３００の機能的構成を示す機能ブロック図である。ホワイトバランス調整部３００は、簡易補間処理部３１０と、無偏差ゲイン調整部３２２と、正偏差ゲイン調整部３２４と、負偏差ゲイン調整部３２６と、無偏差色成分積分部３４２と、正偏差色成分積分部３４４と、負偏差色成分積分部３４６と、白検出部３３０と、オートホワイトバランス（ＡＷＢ）制御部と、を備えている。なお、以下では、無偏差ゲイン調整部３２２と正偏差ゲイン調整部３２４と負偏差ゲイン調整部３２６とを併せて、「ゲイン調整部」ともよぶ。同様に、無偏差色成分積分部３４２と正偏差色成分積分部３４４と負偏差色成分積分部３４６とを併せて、「色成分積分部」とも呼ぶ。
【００２９】
簡易補間処理部３１０は、画像データＧＤ２に補間処理を施すことにより、画像データＧＤ２の各画素に欠落している色成分値を補間・生成する。なお、簡易補間処理部３１０により生成される画像データは、ホワイトバランスの調整にのみ使用されるので、補間処理部２３０において施される通常の補間処理よりも簡便な補間処理が行われる。簡易補間処理部３１０は、例えば、色成分値の生成対象となる画素に隣接する画素の色成分値を平均することにより欠落した色成分値を生成する。
【００３０】
簡易補間処理が行われたＲＧＢ画像データは、３つのゲイン調整部３２２〜３２６と白検出部３３０とに供給される。白検出部３３０は、画像を構成する個々の画素が白色を表す画素であるか否かを判断する。具体的には、注目する画素のＲ，Ｇ，Ｂの各成分のいずれもが所定の閾値より高い場合に、注目する画素が白色の画素であると判断する。注目する画素が白色の画素であると判断された場合には、白検出部３３０は、白検出信号を３つの色成分積分部３４２〜３４６に供給する。
【００３１】
無偏差ゲイン調整部３２２は、赤色ゲイン設定値ｇRと青色ゲイン設定値ｇBとで指定されるゲインで赤成分値と青成分値とのゲインを調整する。具体的には、ＲＢゲイン調整部２２０と同様に、赤成分値Ｒに赤色ゲイン設定値ｇRを乗じてゲイン調整後の赤成分値Ｒ0を出力し、青成分値Ｂに青色ゲイン設定値ｇBを乗じてゲイン調整後の青成分値Ｂ0を出力する。また、緑成分値Ｇはゲイン調整が行われず、そのままの緑成分値Ｇ0（＝Ｇ）が出力される。
【００３２】
正偏差ゲイン調整部３２４は、赤色ゲイン設定値ｇRと青色ゲイン設定値ｇBとのそれぞれに所定の偏差Ａ（＞０）を加えたゲイン（以下、「正偏差ゲイン」とも呼ぶ）で赤成分値と青成分値とのゲインを調整する。具体的には、赤成分値Ｒに赤色の正偏差ゲイン（ｇR＋Ａ）を乗じてゲイン調整後の赤成分値Ｒ+を出力し、青成分値Ｂに青色の正偏差ゲイン（ｇB＋Ａ）を乗じてゲイン調整後の青成分値Ｂ+を出力する。なお、本実施例では、偏差Ａとしてゲインの調整単位（１）を使用しているが、偏差Ａをゲインの調整単位の倍（２）あるいはそれ以上の値とすることも可能である。但し、ホワイトバランスの変動をより抑制することが可能になる点で、所定の偏差Ａを１とすることが好ましい。一方、イメージセンサ１００における画像信号の増幅度を高くした際など、画像データのＳ／Ｎ比が低下している場合には、偏差Ａは２以上の値を使用するのが好ましい。偏差Ａを大きくすることにより、不要なホワイトバランス調整が行われることを抑制することができる
【００３３】
負偏差ゲイン調整部３２６は、赤色ゲイン設定値ｇRと青色ゲイン設定値ｇBとのそれぞれから上述の偏差Ａを減じたゲイン（以下、「負偏差ゲイン」とも呼ぶ）で赤成分値と青成分値とのゲインを調整する。具体的には、赤成分値Ｒに赤色の負偏差ゲイン（ｇR−Ａ）を乗じてゲイン調整後の赤成分値Ｒ-を出力し、青成分値Ｂに青色の負偏差ゲイン（ｇB−Ａ）を乗じてゲイン調整後の青成分値Ｂ-を出力する。
【００３４】
なお、第１実施例では、正偏差ゲインと負偏差ゲインとは、ゲイン設定値ｇR，ｇBに偏差Ａを加えているが、ゲイン設定値が正偏差ゲインと負偏差ゲインとから求められているともいうことができる。一般に、ゲイン設定値は、正偏差ゲインと負偏差ゲインとの間の値に設定されていればよい。
【００３５】
無偏差色成分積分部３４２は、白検出部３３０が白色の画素と判断した画素（白色画素）について、無偏差ゲイン調整部３２２が出力する赤成分値Ｒ0と、青成分値Ｂ0と、緑成分値Ｇ0とを積分する。そして、赤成分値Ｒ0の積分値ＩR0（無偏差赤成分積分値）と、青成分値Ｂ0の積分値ＩB0（無偏差青成分積分値）と、緑成分値Ｇ0の積分値ＩG0（無偏差緑積分値）とをオートホワイトバランス制御部３５０に供給する。
【００３６】
正偏差色成分積分部３４４は、白色画素について、正偏差ゲイン調整部３２４が出力する赤成分値Ｒ+と、青成分値Ｂ+とを積分する。そして、赤成分値Ｒ+の積分値ＩR+（正偏差赤成分積分値）と、青成分値Ｂ+の積分値ＩB+（正偏差青成分積分値）とをオートホワイトバランス制御部３５０に供給する。
【００３７】
負偏差色成分積分部３４６は、白色画素について、負偏差ゲイン調整部３２６が出力する赤成分値Ｒ-と、青成分値Ｂ-とを積分する。そして、赤成分値Ｒ-の積分値ＩR-（正偏差赤成分積分値）と、青成分値Ｂ-の積分値ＩB-（正偏差青成分積分値）とをオートホワイトバランス制御部３５０に供給する。
【００３８】
オートホワイトバランス制御部３５０は、３つの色成分積分部３４２〜３４６からそれぞれ供給される色成分積分値ＩR0，ＩB0，ＩG0，ＩR+，ＩB+，ＩR-，ＩB-に基づいて、赤色ゲイン設定値ｇRと、青色ゲイン設定値ｇBとを決定する。そして、決定されたゲイン設定値ｇR，ｇBを３つのゲイン調整部３２２〜３２６と、ＲＢゲイン調整部２２０（図１）とに供給する。
【００３９】
Ａ２．ホワイトバランスの調整：
図３は、オートホワイトバランス制御部３５０により実行される赤色ゲイン決定ルーチンを示すフローチャートである。赤色ゲイン決定ルーチンでは、緑成分積分値ＩG0と、３種の赤成分積分値ＩR0，ＩR+，ＩR-とに基づいて赤色ゲイン設定値ｇRが決定される。なお、図３は、赤色ゲイン設定値ｇRを決定する赤色ゲイン決定ルーチンを示しているが、青色ゲイン設定値ｇBも同様に、緑成分積分値ＩG0と、３種の青成分積分値ＩB0，ＩB+，ＩB-とに基づいて決定される。
【００４０】
図４は、図３の赤色ゲイン決定ルーチンの実行によりホワイトバランスの調整が行われる様子を示す説明図である。図４のグラフは、緑成分積分値ＩG0と３種の赤成分積分値ＩR0，ＩR+，ＩR-との時間的な変化を示している。図４（ａ）ないし図４（ｅ）の横軸は、時間を示している。図４（ａ）は、画像データのフレーム番号を示している。図４（ｂ）ないし図４（ｅ）の縦軸は、それぞれ色成分積分値の大きさを示している。図４（ｃ）ないし図４（ｅ）の破線は、緑成分積分値ＩG0を示している。なお、図４では、１フレーム分の色成分積分値ＩG0，ＩR0，ＩR+，ＩR-を、フレーム期間Ｔｆにわたって同一の値となるグラフとして示しているが、色成分積分値ＩG0，ＩR0，ＩR+，ＩR-は、フレームの開始からフレーム期間Ｔｆが経過する前の特定のタイミングで算出される。また、図４の例は、同一の被写体が撮影されている状態を示している。そのため、撮影画像中の白色画素の割合が変化せず、緑成分積分値ＩG0は時間的に変化していない。
【００４１】
ステップＳ１００において、オートホワイトバランス制御部３５０は、１フレーム分の緑成分積分値ＩG0と、赤成分積分値ＩR0，ＩR+，ＩR-と、を取得する。具体的には、３つの色成分積分部３４２〜３４６が１フレーム分の色成分積分値ＩG0，ＩR0，ＩR+，ＩR-の算出を完了したタイミングにおいて、色成分積分部３４２〜３４６からこれらの色成分積分値ＩG0，ＩR0，ＩR+，ＩR-を取得する。
【００４２】
ステップＳ２００において、オートホワイトバランス制御部３５０は、緑成分積分値ＩG0が負偏差赤成分積分値ＩR-から正偏差赤成分積分値ＩR+までの範囲（収束範囲）内であるか否か、すなわち、ゲインの調整が必要か否かを判断する。緑成分積分値ＩG0が収束範囲内であると判断された場合には、制御はステップＳ１００に戻される。一方、緑成分積分値ＩG0が収束範囲外であると判断された場合には、制御はステップＳ３００に移される。図４の例では、第１のフレーム期間（フレーム＃１）において、緑成分積分値ＩG0は、負偏差赤成分積分値ＩR-（および、正偏差赤成分積分値ＩR+）よりも小さくなっている。そのため、緑成分積分値ＩG0は、収束範囲外であると判断され、制御はステップＳ３００に移される。
【００４３】
図３のステップＳ３００では、オートホワイトバランス制御部３５０が、赤成分積分値ＩR0が緑成分積分値ＩG0よりも大きいか否かを判断する。赤成分積分値ＩR0が緑成分積分値ＩG0よりも大きいと判断された場合、制御はステップＳ３１０に移される。ステップＳ３１０では、赤色ゲイン設定値ｇRは所定のオフセット値「１」が減じられ、赤色ゲイン設定値ｇRの低減の後、制御はステップＳ１００に戻される。一方、赤成分積分値ＩR0が緑成分積分値ＩG0よりも小さいと判断された場合、制御はステップＳ３２０に移される。ステップＳ３２０では、赤色ゲイン設定値ｇRは所定のオフセット値「１」が加えられ、赤色ゲイン設定値ｇRの増加の後、制御はステップＳ１００に戻される。図４の例では、第１のフレーム期間において、赤成分積分値ＩR0は、緑成分積緑成分積分値ＩG0よりも大きくなっている。そのため、制御は、ステップＳ３００からステップＳ３１０に移され、赤色ゲイン設定値ｇRは「１」低減される。なお、第１実施例では、ステップＳ３１０，Ｓ３２０において、赤色ゲイン設定値ｇRにはオフセット値１（ゲインの調整単位）が加減されているが、オフセット値としては１以外の値を加減するものとしてもよい。但し、ホワイトバランスの過調整を抑制するため、オフセット値は、正偏差ゲインと負偏差ゲインの差（２×Ａ）よりも小さい値とするのが好ましい。
【００４４】
図４に示すように、第１のフレーム期間の色成分積分値ＩG0，ＩR0，ＩR+，ＩR-に基づいて赤色ゲイン設定値ｇRが「１」低減されることにより、第２のフレーム期間（フレーム＃２）では、赤成分積分値ＩR0，ＩR+，ＩR-のそれぞれが第１のフレーム期間よりも小さくなっている。しかしながら、第２のフレーム期間においても、緑成分積分値ＩG0が収束範囲外であり、赤成分積分値ＩR0が緑成分積分値ＩG0よりも大きいため、赤色ゲイン設定値ｇRは更に「１」低減される。
【００４５】
このように赤色ゲイン設定値ｇRが「１」低減されることにより、第３のフレーム期間（フレーム＃３）では、赤成分積分値ＩR0，ＩR+，ＩR-のそれぞれが第２のフレーム期間よりも小さくなっている。しかしながら、第３のフレーム期間においても、緑成分積分値ＩG0が収束範囲外であり、赤成分積分値ＩR0が緑成分積分値ＩG0よりも大きいため、赤色ゲイン設定値ｇRは更に「１」低減される。
【００４６】
第４のフレーム期間（フレーム＃４）では、赤色ゲイン設定値ｇRが更に「１」低減されることにより、緑成分積分値ＩG0が収束範囲内となる。そのため、赤色ゲイン設定値ｇRの変更は行われなくなる。このように、緑成分積分値ＩG0が収束範囲内となった状態は、「ホワイトバランスが収束した状態」とも呼ばれ、緑成分積分値ＩG0が収束範囲内となることは、「ホワイトバランスが収束する」ともいわれる。以上の説明から明らかなように、緑成分積分値ＩG0は、赤成分積分値ＩR0の目標値である。
【００４７】
Ａ３．比較例としての従来技術：
図５は、比較例としての従来のビデオカメラ１２の機能的な構成を示す機能ブロック図である。比較例のビデオカメラ１２は、ホワイトバランス調整部３０２に供給される画像データが補間処理部２３０が出力する画像データＧＤ４に変更されている点で、図１に示す第１実施例のビデオカメラ１０と異なっている。他の点は、第１実施例と同様である。
【００４８】
図６は、比較例におけるホワイトバランス調整部３０２の機能的な構成を示す機能ブロック図である。比較例のホワイトバランス調整部３０２は、簡易補間処理部３１０および３つのゲイン調整部３２２〜３２６が省略されている点と、３つの色成分積分部３４２〜３４６に換えて単一の色成分積分部３４０が用いられている点とで、第１実施例のホワイトバランス調整部３００と異なっている。他の点は、第１実施例と同様である。
【００４９】
第１実施例のホワイトバランス調整部と同様に、白検出部３３０は、画像データＧＤ４の個々の画素が白色を表す画素であるかを判断する。そして、注目する画素が白色の画素であると判断した場合には、白検出信号を色成分積分部３４０に供給する。
【００５０】
色成分積分部３４０は、画像データＧＤ４の白色画素について、色成分値Ｒ，Ｇ，Ｂのそれぞれを積分し、色成分積分値ＩR，ＩG，ＩBを生成する。生成された色成分積分値ＩR，ＩG，ＩBは、オートホワイトバランス制御部３５２に供給される。オートホワイトバランス制御部３５２は、供給された色成分積分値ＩR，ＩG，ＩBに基づいて、赤色ゲイン設定値ｇRと青色ゲイン設定値ｇBとを決定する。決定されたこれらのゲイン設定値ｇR，ｇBとは、ＲＢゲイン調整部２２０（図５）に供給される。ＲＢゲイン調整部２２０がゲイン設定値ｇR，ｇBに基づいて赤成分値と青成分値とのゲインを調整することにより、画像データＧＤ３，ＧＤ４のホワイトバランスが調整される。このように、画像データＧＤ４のホワイトバランスが調整されることにより、ホワイトバランス調整のフィードバック制御が行われる。
【００５１】
図７は、比較例のオートホワイトバランス制御部３５２により実行される赤色ゲイン決定ルーチンを示すフローチャートである。図７の赤色ゲイン決定ルーチンは、ステップＳ１００がステップＳ１０２に置き換えられている点と、ステップＳ２００が、ステップＳ２１０〜Ｓ２６０に置き換えられている点と、ステップＳ３００〜Ｓ３２０が、それぞれステップＳ３０２〜Ｓ３２２に置き換えられている点とで、図３に示す第１実施例の赤色ゲイン決定ルーチンと異なっている。
【００５２】
図８は、図７の赤色ゲイン決定ルーチンの実行によりホワイトバランスの調整が行われる様子を示す説明図である。図８のグラフは、緑成分積分値ＩGと、赤成分積分値ＩRと、これらの色成分積分値の差（積分値差）ＩR−ＩGと、の時間的な変化を示している。図８（ａ）ないし図８（ｄ）の横軸は、時間を示している。図８（ａ）は、画像データのフレーム番号を示している。図８（ｂ）ないし図８（ｃ）の縦軸は、それぞれ色成分積分値の大きさを示している。
【００５３】
ステップＳ１０２において、オートホワイトバランス制御部３５２は、１フレーム分の緑成分積分値ＩGと赤成分積分値ＩRとを、色成分積分部３４０から取得する。具体的には、色成分積分部３４０が１フレーム分の色成分積分値ＩG，ＩRの算出を完了したタイミングにおいて、色成分積分部３４０からこれらの色成分積分値ＩG，ＩRを取得する。
【００５４】
ステップＳ２１０において、オートホワイトバランス制御部３５２は、赤成分積分値ＩRと緑成分積分値ＩGとの差の絶対値（積分値差絶対値）｜ＩR−ＩG｜が調整開始パラメータＰよりも大きいか否かを判断する。積分値差絶対値｜ＩR−ＩG｜が調整開始パラメータＰよりも小さいと判断された場合、すなわち、ホワイトバランスの調整が不要と判断された場合、制御はステップＳ１０２に戻され、ホワイトバランスの調整が必要と判断されるまでステップＳ１０２，Ｓ２１０が繰り返し実行される。一方、積分値差絶対値｜ＩR−ＩG｜が調整開始パラメータＰよりも大きいと判断された場合、すなわち、ホワイトバランスの調整が必要であると判断された場合、制御はステップＳ２２０に移され、ホワイトバランスの調整が開始される。
【００５５】
ホワイトバランスの調整が開始されると、ステップＳ２２０において、オートホワイトバランス制御部３５２は、積分値差ＩR−ＩGを前フレーム積分値差Ｄに設定する。図８の例では、第１のフレーム（フレーム＃１）の積分値差ＩR−ＩGが前フレーム積分値差Ｄに設定される。
【００５６】
ステップＳ２３０において、オートホワイトバランス制御部３５２は、次のフレームの緑成分積分値ＩGと赤成分積分値ＩRとを取得する。具体的には、色成分積分部３４０が次のフレーム分の色成分積分値ＩG，ＩRの算出を完了したタイミングにおいて、色成分積分部３４０からこれらの色成分積分値ＩG，ＩRを取得する。図８の例では、第２のフレーム（フレーム＃２）期間中の特定のタイミングにおいて色成分積分値ＩG，ＩRが算出された後、算出された色成分積分値ＩG，ＩRが取得される。
【００５７】
ステップＳ２４０において、オートホワイトバランス制御部３５２は、ステップＳ２４０において取得された色成分積分値の差ＩR−ＩGを現フレーム積分値差Ｃに設定する。図８の例では、第２のフレーム期間の色成分積分値差ＩR−ＩGが現フレーム積分値差Ｃに設定される。
【００５８】
ステップＳ２５０において、オートホワイトバランス制御部３５２は、前フレーム積分値差Ｄと現フレーム積分値差Ｃとで極性が反転しているか否かを判断する。極性が反転している場合、すなわち、ホワイトバランスが収束したと判断された場合、制御はステップＳ１０２に戻される。一方、極性が反転していない場合、すなわち、ホワイトバランスが収束していないと判断された場合、制御はステップＳ２６０に移される。次いで、ステップＳ２６０において、現フレーム積分値差Ｃが前フレーム積分値差Ｄに設定される。
【００５９】
ステップＳ３０２において、オートホワイトバランス制御部３５０は、赤成分積分値ＩRが緑成分積分値ＩGよりも大きいか否かを判断する。赤成分積分値ＩRが緑成分積分値ＩGよりも大きいと判断された場合、制御はステップＳ３１２に移され、赤色ゲイン設定値ｇRから「１」が減じられる。一方、赤成分積分値ＩRが緑成分積分値ＩGよりも小さいと判断された場合、制御はステップＳ３２２に移され、赤色ゲイン設定値ｇRには「１」が加えられる。
【００６０】
赤色ゲイン設定値ｇRの変更の後、制御はステップＳ２３０に戻され、ステップＳ２５０においてホワイトバランスが収束したと判断されるまで、ステップＳ２３０〜Ｓ３２２が繰り返し実行される。
【００６１】
図８の例では、第２のフレーム期間において、第１のフレームから第４のフレーム（フレーム＃４）までは、積分値差ＩR−ＩGが正値となっている。そして、第５のフレーム（フレーム＃５）において、積分値差ＩR−ＩGが負値となる。そのため、第５のフレームにおいてホワイトバランスが収束したと判断される。
【００６２】
これに対し、第１実施例では、図４に示すように、第４のフレームにおいてホワイトバランスが収束したと判断される。このように、第１実施例によれば、無偏差色成分積分値ＩR0，ＩG0，ＩB0と、正偏差色成分積分値ＩR+，ＩB+と、負偏差色成分積分値ＩR-，ＩB-と、に基づいて赤色ゲイン設定値ｇRと青色ゲイン設定値ｇBとを決定することにより、比較例よりもホワイトバランスの収束をより早く判定することができる。
【００６３】
また、比較例では、ホワイトバランスの調整の要否が、積分値差絶対値｜ＩR−ＩG｜と調整開始パラメータＰとの大小関係により判断される（図７のステップＳ２１０）。そのため、調整開始パラメータの設定によっては、ホワイトバランスを調整することが好ましい場合においても、ホワイトバランスの調整が行われないおそれがある。これに対し、第１実施例では、緑成分積分値ＩG0が収束範囲（［ＩR-，ＩR+］）外となった場合にゲイン設定値ｇR，ｇBの変更（すなわち、ホワイトバランス調整）が行われるため、ホワイトバランスの調整をより的確に行うことが可能となる。
【００６４】
さらに、比較例では、２つのフレームの積分値差Ｃ，Ｄを比較することによりホワイトバランスの収束を判定しているため、フレーム間の画像の変化が大きい場合など、撮影画像の状態によってはホワイトバランスの収束を性格に判定することができないおそれがある。これに対し、第１実施例では、ゲインの調整の要否、すなわち、ホワイトバランスが収束したか否かが、単一のフレームで判断できる。そのため、より確実にホワイトバランスの収束を判定することができる。
【００６５】
Ｂ．第２実施例：
図９は、第２実施例における赤色ゲイン決定ルーチンを示すフローチャートである。第２実施例の赤色ゲイン決定ルーチンは、ステップＳ３１０の後に２つのステップＳ３３０，Ｓ３４０が付加されている点と、ステップＳ３２０の後に２つのステップＳ３５０，Ｓ３６０が付加されている点とで、図４に示す第１実施例の赤色ゲイン決定ルーチンと異なっている。他の点は、第１実施例の赤色ゲイン決定ルーチンと同じである。
【００６６】
図１０は、図９の赤色ゲイン決定ルーチンの実行によりホワイトバランスの調整が行われる様子を示す説明図である。図１０のグラフは、緑成分積分値ＩG0と３種の赤成分積分値ＩR0，ＩR+，ＩR-との時間的な変化を示している。図１０（ａ）ないし図１０（ｅ）の横軸は、時間を示している。図１０（ａ）は、画像データのフレーム番号を示している。図１０（ｂ）ないし図１０（ｅ）の縦軸は、それぞれ色成分積分値の大きさを示している。図１０（ｃ）ないし図１０（ｅ）の破線は、緑成分積分値ＩG0を示している。
【００６７】
ステップＳ３３０において、オートホワイトバランス制御部３５０は、負偏差赤成分積分値ＩR-が緑成分積分値ＩG0よりも大きいか否かを判断する。負偏差赤成分積分値ＩR-が緑成分積分値ＩG0よりも小さい場合、制御はステップＳ１００に戻される。一方、負偏差赤成分積分値ＩR-が緑成分積分値ＩG0よりも大きい場合、制御はステップＳ３４０に移される。ステップＳ３４０において赤色ゲイン設定値ｇRから偏差Ａが減じられた後、制御はステップＳ１００に戻される。なお、負偏差赤成分積分値ＩR-が緑成分積分値ＩG0よりも大きい場合、赤色ゲイン設定値ｇRを負偏差ゲイン（ｇR−Ａ）に変更しても無偏差赤成分析積分値ＩR0は、緑成分積分値ＩG0よりも大きくなる。そのため、ステップＳ３４０において、赤色ゲイン設定値ｇRから偏差Ａを減じても、ホワイトバランスの過調整は発生しない。なお、ステップＳ３４０において減じられるオフセット値は、正偏差ゲインと負偏差ゲインとの差（２×Ａ）に基づいて設定されているともいうことができる。
【００６８】
ステップＳ３５０において、オートホワイトバランス制御部３５０は、正偏差赤成分積分値ＩR+が緑成分積分値ＩG0よりも小さいか否かを判断する。正偏差赤成分積分値ＩR+が緑成分積分値ＩG0よりも小さい場合、制御はステップＳ３６０に移される。ステップＳ３６０において赤色ゲイン設定値ｇRに偏差Ａが加えられた後、制御はステップＳ１００に戻される。一方、正偏差赤成分積分値ＩR+が緑成分積分値ＩG0よりも大きい場合、制御はステップＳ１００に戻される。なお、ステップＳ３６０において加えられるオフセット値は、正偏差ゲインと負偏差ゲインとの差（２×Ａ）に基づいて設定されているともいうことができる。
【００６９】
図１０の例では、第１のフレームにおいては、負偏差赤成分積分値ＩR-が緑成分積分値ＩG0よりも大きくなっている。そのため、赤色ゲイン設定値ｇRは、ステップＳ３１０において１が減じられ、ステップＳ３４０において更に偏差Ａ（＝１）が減じられる。そのため、第２のフレームにおいては、赤成分積分値ＩR0，ＩR+，ＩR-のいずれもが、第１実施例の場合よりも更に小さくなっている。しかしながら、緑成分積分値ＩG0が収束範囲外であり、無偏差赤成分積分値ＩR0と負偏差赤成分積分値ＩR-とのいずれもが緑成分積分値ＩG0よりも大きいため、赤色ゲイン設定値ｇRは１低減されたのち、偏差Ａが減じられる。
【００７０】
赤色ゲイン設定値ｇRが更に低減されることにより、第３のフレーム期間（フレーム＃３）では、緑成分積分値ＩG0が収束範囲内となり、ホワイトバランスが収束する。このように、負偏差赤成分積分値ＩR-が緑成分積分値ＩG0より大きい場合に、赤色ゲイン設定値ｇRから更に偏差Ａを減じることにより、ホワイトバランスの収束を早めることが可能となる。同様に、正偏差赤成分積分値ＩR+が緑成分積分値ＩG0より小さい場合に、赤色ゲイン設定値ｇRに更に偏差Ａを加えることにより、ホワイトバランスの収束を早めることが可能となる。
【００７１】
このように、第２実施例によれば、無偏差緑成分積分値ＩR0，ＩG0，ＩB0と、正偏差色成分積分値ＩR+，ＩB+あるいは負偏差色成分積分値ＩR-，ＩB-との大小関係に応じて赤色ゲイン設定値ｇRと青色ゲイン設定値ｇBと偏差Ａに基づいて変更することにより、ホワイトバランスをより速やかに収束させることが可能となる。
【００７２】
なお、第２実施例は、ホワイトバランスをより速やかに収束させることができる点で、第１実施例よりも好ましい。一方、第１実施例は、ホワイトバランスの調整処理がより簡単になる点で、第２実施例よりも好ましい。
【００７３】
Ｃ．変形例：
なお、この発明は上記実施例や実施形態に限られるものではなく、その要旨を逸脱しない範囲において種々の態様において実施することが可能であり、例えば次のような変形も可能である。
【００７４】
Ｃ１．変形例１：
上記各実施例では、ホワイトバランス調整部３００に簡易補間処理部３１０を設け、簡易補間処理部３１０で補間処理された画像データに対してゲイン調整が行われているが、簡易補間処理部３１０を省略することも可能である。例えば、カメラ制御部２００（図１）の補間処理部２３０によって補間処理された画像データを用いることも可能である。この場合、ホワイトバランス調整部３００の３つのゲイン調整部３２２〜３２６のうち、無偏差ゲイン調整部３２２を省略することが可能である。また、正偏差ゲイン調整部３２４および負偏差ゲイン調整部３２６では、偏差Ａに相当するゲインの調整が行われる。
【００７５】
Ｃ２．変形例２：
上記各実施例では、オートホワイトバランス制御部３５０は、赤色ゲイン設定値ｇRを３種の赤色成分積分値ＩR0，ＩR+，ＩR-に基づいて決定しているが、赤色ゲイン設定値ｇRは、これらの赤色成分積分値ＩR0，ＩR+，ＩR-のうちの少なくとも２つの積分値に基づいて決定することもできる。この場合、赤色ゲイン設定値ｇRに加減されるオフセット値は、使用される積分値に応じて適宜変更される。
【００７６】
Ｃ３．変形例３：
上記各実施例では、色成分積分部３４２〜３４６（図２）は、白検出部３３０が白色の画素と判断した画素について、色成分値を積分しているが、１フレーム分の画像全体について色成分値を積分するものとしてもよく、また、画像の一部（例えば、周辺部）について色成分値を積分するものとしてもよい。但し、白色画素について色成分値を積分することにより、被写体の状態によらずホワイトバランスの調整をより好ましいものとすることができるので、白色画素について色成分値を積分するのが好ましい。
【００７７】
Ｃ４．変形例４：
上記各実施例では、ホワイトバランスの調整を赤色成分Ｒと青色成分Ｂとのそれぞれのゲインを変更することにより行っているが、他の方法によりホワイトバランスの調整を行うことも可能である。例えば、ＲＧＢ色空間の画像データをＹＣｂＣｒ色空間の画像データに変換し、色差成分Ｃｂ，Ｃｒを補正することによりホワイトバランスを調整するものとしてもよい。この場合においても、色差成分Ｃｂ，Ｃｒを異なる補正パラメータで補正し、補正後の色差成分積分値に基づいて、ホワイトバランスの調整の要否、および、補正パラメータの変更内容が決定される。なお、色差成分Ｃｂ，Ｃｒを補正する場合には、色差成分積分値の目標値はゼロに設定される。
【００７８】
Ｃ５．変形例５：
上記各実施例では、ゲイン調整部２２０，３２２〜３２６は、ＡＤ変換された画像データの色成分値にゲインを乗ずることにより画像の色成分を補正しているが、画像の色成分をアナログ増幅器の増幅度を変更することにより補正することも可能である。この場合、イメージセンサとしては、アナログの映像信号を出力するイメージセンサが使用される。
【００７９】
Ｃ６．変形例６：
上記各実施例では、本発明をビデオカメラに適用しているが、本発明はビデオカメラの他、モニタ機能を有するデジタルスチルカメラ等、種々の撮像装置に適用することができる。一般に、本発明は、時系列的に画像が生成される装置であれば、任意の装置に適用することができる。
【図面の簡単な説明】
【００８０】
【図１】第１実施例としてのビデオカメラの機能的な構成を示す機能ブロック図。
【図２】ホワイトバランス調整部の機能的構成を示す機能ブロック図。
【図３】オートホワイトバランス制御部により実行される赤色ゲイン決定ルーチンを示すフローチャート。
【図４】第１実施例においてホワイトバランスの調整が行われる様子を示す説明図。
【図５】比較例としての従来のビデオカメラの機能的な構成を示す機能ブロック図。
【図６】比較例におけるホワイトバランス調整部の機能的な構成を示す機能ブロック図。
【図７】比較例のオートホワイトバランス制御部により実行される赤色ゲイン決定ルーチンを示すフローチャート。
【図８】比較例においてホワイトバランスの調整が行われる様子を示す説明図。
【図９】第２実施例における赤色ゲイン決定ルーチンを示すフローチャート。
【図１０】第２実施例においてホワイトバランスの調整が行われる様子を示す説明図。
【符号の説明】
【００８１】
１０，１２…ビデオカメラ
１００…イメージセンサ
２００…カメラ制御部
２１０…クランプ処理部
２２０…ＲＢゲイン調整部
２３０…補間処理部
２４０…映像信号生成部
２５０…タイミング信号生成部
３００，３０２…ホワイトバランス調整部
３１０…簡易補間処理部
３２２…無偏差ゲイン調整部
３２４…正偏差ゲイン調整部
３２６…負偏差ゲイン調整部
３３０…白検出部
３４０…色成分積分部
３４２…無偏差色成分積分部
３４４…正偏差色成分積分部
３４６…負偏差色成分積分部
３５０，３５２…オートホワイトバランス制御部
【特許請求の範囲】
【請求項１】
時系列的に入力される入力画像のホワイトバランスを調整するホワイトバランス調整装置であって、
先の入力画像の所定の色空間における複数の色成分のうちの対象色成分を補正パラメータの第１の値に基づいて補正し、補正された対象色成分を前記先の入力画像の少なくとも一部の積分対象領域について積分して第１の対象色成分積分値を算出する第１の対象色成分積分部と、
前記先の入力画像の対象色成分を前記補正パラメータの第１の値と異なる第２の値に基づいて補正し、補正された対象色成分を前記積分対象領域について積分して第２の対象色成分積分値を算出する第２の対象色成分積分部と、
後の入力画像の対象色成分の補正に使用される前記第１と第２の値を決定する補正パラメータ決定部と、
前記補正パラメータ決定部により決定された第１の値と第２の値の間に設定された第３の値に基づいて、前記後の入力画像の対象色成分を補正することによりホワイトバランス調整が施された調整画像を生成する調整画像生成部と、
を備え、
前記補正パラメータ決定部は、前記第１と第２の対象色成分積分値と、対象色成分積分値の目標値との大小関係に応じて、前記第１と第２の値の変更の要否を判定する、
ホワイトバランス調整装置。
【請求項２】
請求項１記載のホワイトバランス調整装置であって、
前記補正パラメータ決定部は、
前記目標値が前記第１の対象色成分積分値と前記第２の対象色成分積分値との間である場合には、前記第１と第２の値の変更を行わず、
前記目標値が前記第１の対象色成分積分値と前記第２の対象色成分積分値との間でない場合には、前記第１と第２の対象色成分積分値と前記目標値との大小関係に応じて、前記先の入力画像の対象色成分の補正に使用された前記第１と第２の値のそれぞれに、前記第１と第２の値の差分よりも小さい第１のオフセット値を加減することにより、前記第１と第２の値を変更する、
ホワイトバランス調整装置。
【請求項３】
請求項２記載のホワイトバランス調整装置であって、さらに、
前記先の入力画像の対象色成分を前記第３の値に基づいて補正し、補正された対象色成分を前記積分対象領域について積分して第３の対象色成分積分値を算出する第３の対象色成分積分部を備えており、
前記補正パラメータ決定部は、前記第３の対象色成分積分値と前記目標値との大小関係に基づいて、前記第１と第２の値のそれぞれに前記第１のオフセット値を加えるか、前記第１と第２の値のそれぞれから前記第１のオフセット値を減ずるか、を決定する、
ホワイトバランス調整装置。
【請求項４】
請求項２または３記載のホワイトバランス調整装置であって、
前記対象色成分積分値は、前記補正パラメータの値の増大に応じて単調増加し、
前記第２の値は、前記第１の値よりも大きく設定されており、
前記補正パラメータ決定部は、
前記第２の対象色成分積分値が前記目標値よりも小さい場合には、前記第１のオフセット値が加えられた第１と第２の値のそれぞれに、さらに前記第１と第２の値の差分に基づいて設定される第２のオフセット値を加え、
前記第１の対象色成分積分値が前記目標値よりも大きい場合には、前記第１のオフセット値が減じられた第１と第２の値のそれぞれから、さらに前記第２のオフセット値を減じる、
ホワイトバランス調整装置。
【請求項５】
請求項１ないし４のいずれか記載のホワイトバランス調整装置であって、
前記目標値は、前記先の入力画像の前記対象色成分とは異なる比較色成分を前記積分対象領域について積分した比較色成分積分値である、
ホワイトバランス調整装置。
【請求項６】
請求項１ないし５のいずれか記載のホワイトバランス調整装置であって、
前記時系列的に入力される入力画像は、動画像であり、
前記後の入力画像は、前記ホワイトバランス調整装置から出力される現フレームの画像であり、
前記先の入力画像は、前記現フレームの直前のフレームの画像である、
ホワイトバランス調整装置。
【請求項７】
時系列的に入力される入力画像のホワイトバランスを調整するホワイトバランス調整方法であって、
（ａ）先の入力画像の所定の色空間における複数の色成分のうちの対象色成分を補正パラメータの第１の値に基づいて補正し、補正された対象色成分を前記先の入力画像の少なくとも一部の積分対象領域について積分して第１の対象色成分積分値を算出する工程と、
（ｂ）前記先の入力画像の対象色成分を前記補正パラメータの第１の値と異なる第２の値に基づいて補正し、補正された対象色成分を前記積分対象領域について積分して第２の対象色成分積分値を算出する工程と、
（ｃ）後の入力画像の対象色成分の補正に使用される前記第１と第２の値を決定する工程と、
（ｄ）前記工程（ｃ）により決定された第１の値と第２の値の間に設定された第３の値に基づいて、前記後の入力画像の対象色成分を補正することによりホワイトバランス調整が施された調整画像を生成する工程と、
を備え、
前記工程（ｃ）は、前記第１と第２の対象色成分積分値と、対象色成分積分値の目標値との大小関係に応じて、前記第１と第２の値の変更の要否を判定する工程を含む、
ホワイトバランス調整方法。
【請求項１】
時系列的に入力される入力画像のホワイトバランスを調整するホワイトバランス調整装置であって、
先の入力画像の所定の色空間における複数の色成分のうちの対象色成分を補正パラメータの第１の値に基づいて補正し、補正された対象色成分を前記先の入力画像の少なくとも一部の積分対象領域について積分して第１の対象色成分積分値を算出する第１の対象色成分積分部と、
前記先の入力画像の対象色成分を前記補正パラメータの第１の値と異なる第２の値に基づいて補正し、補正された対象色成分を前記積分対象領域について積分して第２の対象色成分積分値を算出する第２の対象色成分積分部と、
後の入力画像の対象色成分の補正に使用される前記第１と第２の値を決定する補正パラメータ決定部と、
前記補正パラメータ決定部により決定された第１の値と第２の値の間に設定された第３の値に基づいて、前記後の入力画像の対象色成分を補正することによりホワイトバランス調整が施された調整画像を生成する調整画像生成部と、
を備え、
前記補正パラメータ決定部は、前記第１と第２の対象色成分積分値と、対象色成分積分値の目標値との大小関係に応じて、前記第１と第２の値の変更の要否を判定する、
ホワイトバランス調整装置。
【請求項２】
請求項１記載のホワイトバランス調整装置であって、
前記補正パラメータ決定部は、
前記目標値が前記第１の対象色成分積分値と前記第２の対象色成分積分値との間である場合には、前記第１と第２の値の変更を行わず、
前記目標値が前記第１の対象色成分積分値と前記第２の対象色成分積分値との間でない場合には、前記第１と第２の対象色成分積分値と前記目標値との大小関係に応じて、前記先の入力画像の対象色成分の補正に使用された前記第１と第２の値のそれぞれに、前記第１と第２の値の差分よりも小さい第１のオフセット値を加減することにより、前記第１と第２の値を変更する、
ホワイトバランス調整装置。
【請求項３】
請求項２記載のホワイトバランス調整装置であって、さらに、
前記先の入力画像の対象色成分を前記第３の値に基づいて補正し、補正された対象色成分を前記積分対象領域について積分して第３の対象色成分積分値を算出する第３の対象色成分積分部を備えており、
前記補正パラメータ決定部は、前記第３の対象色成分積分値と前記目標値との大小関係に基づいて、前記第１と第２の値のそれぞれに前記第１のオフセット値を加えるか、前記第１と第２の値のそれぞれから前記第１のオフセット値を減ずるか、を決定する、
ホワイトバランス調整装置。
【請求項４】
請求項２または３記載のホワイトバランス調整装置であって、
前記対象色成分積分値は、前記補正パラメータの値の増大に応じて単調増加し、
前記第２の値は、前記第１の値よりも大きく設定されており、
前記補正パラメータ決定部は、
前記第２の対象色成分積分値が前記目標値よりも小さい場合には、前記第１のオフセット値が加えられた第１と第２の値のそれぞれに、さらに前記第１と第２の値の差分に基づいて設定される第２のオフセット値を加え、
前記第１の対象色成分積分値が前記目標値よりも大きい場合には、前記第１のオフセット値が減じられた第１と第２の値のそれぞれから、さらに前記第２のオフセット値を減じる、
ホワイトバランス調整装置。
【請求項５】
請求項１ないし４のいずれか記載のホワイトバランス調整装置であって、
前記目標値は、前記先の入力画像の前記対象色成分とは異なる比較色成分を前記積分対象領域について積分した比較色成分積分値である、
ホワイトバランス調整装置。
【請求項６】
請求項１ないし５のいずれか記載のホワイトバランス調整装置であって、
前記時系列的に入力される入力画像は、動画像であり、
前記後の入力画像は、前記ホワイトバランス調整装置から出力される現フレームの画像であり、
前記先の入力画像は、前記現フレームの直前のフレームの画像である、
ホワイトバランス調整装置。
【請求項７】
時系列的に入力される入力画像のホワイトバランスを調整するホワイトバランス調整方法であって、
（ａ）先の入力画像の所定の色空間における複数の色成分のうちの対象色成分を補正パラメータの第１の値に基づいて補正し、補正された対象色成分を前記先の入力画像の少なくとも一部の積分対象領域について積分して第１の対象色成分積分値を算出する工程と、
（ｂ）前記先の入力画像の対象色成分を前記補正パラメータの第１の値と異なる第２の値に基づいて補正し、補正された対象色成分を前記積分対象領域について積分して第２の対象色成分積分値を算出する工程と、
（ｃ）後の入力画像の対象色成分の補正に使用される前記第１と第２の値を決定する工程と、
（ｄ）前記工程（ｃ）により決定された第１の値と第２の値の間に設定された第３の値に基づいて、前記後の入力画像の対象色成分を補正することによりホワイトバランス調整が施された調整画像を生成する工程と、
を備え、
前記工程（ｃ）は、前記第１と第２の対象色成分積分値と、対象色成分積分値の目標値との大小関係に応じて、前記第１と第２の値の変更の要否を判定する工程を含む、
ホワイトバランス調整方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【公開番号】特開２００８−３１１７３０（Ｐ２００８−３１１７３０Ａ）
【公開日】平成２０年１２月２５日（２００８．１２．２５）
【国際特許分類】
【出願番号】特願２００７−１５５１８９（Ｐ２００７−１５５１８９）
【出願日】平成１９年６月１２日（２００７．６．１２）
【出願人】（００００００４２４）株式会社エルモ社 (104)
【Ｆターム（参考）】
【公開日】平成２０年１２月２５日（２００８．１２．２５）
【国際特許分類】
【出願日】平成１９年６月１２日（２００７．６．１２）
【出願人】（００００００４２４）株式会社エルモ社 (104)
【Ｆターム（参考）】
[ Back to top ]