画像入力装置、ホワイトバランス調整方法、およびその方法を実行するためのプログラムを格納したコンピュータが読取可能な記録媒体
【課題】 白の被写体と肌色などの黒体輻射の特性に近い色の有彩色被写体が混在した場合でも、正確なホワイトバランス調整を行うことが可能な画像入力装置を提供すること。
【解決手段】 図１に示すデジタルカメラは、ホワイトバランス調整が行われたカラー画像データのうち、設定される白検出パラメータの範囲内の画素の各色の画像データを各色毎に積算して各色毎の積算値を出力する白検出回路１４と、各色毎の積算値が「０」とならない条件で、最も高輝度かつ狭い範囲となる白検出パラメータを算出して、白検出回路１４に設定し、かつ、各色毎の積算値が「０」とならない条件で、最も高輝度かつ狭い範囲となる白検出パラメータが白検出回路１４に設定された場合に出力される各色毎の積算値に基づいて、ホワイトバランス調整回路１２のＲ，Ｇのゲイン値を算出してホワイトバランス調整回路１２に設定するコントローラ６とを備える。
【解決手段】 図１に示すデジタルカメラは、ホワイトバランス調整が行われたカラー画像データのうち、設定される白検出パラメータの範囲内の画素の各色の画像データを各色毎に積算して各色毎の積算値を出力する白検出回路１４と、各色毎の積算値が「０」とならない条件で、最も高輝度かつ狭い範囲となる白検出パラメータを算出して、白検出回路１４に設定し、かつ、各色毎の積算値が「０」とならない条件で、最も高輝度かつ狭い範囲となる白検出パラメータが白検出回路１４に設定された場合に出力される各色毎の積算値に基づいて、ホワイトバランス調整回路１２のＲ，Ｇのゲイン値を算出してホワイトバランス調整回路１２に設定するコントローラ６とを備える。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】この発明は、画像入力装置、ホワイトバランス調整方法、およびその方法を実行するためのプログラムを格納したコンピュータが読取可能な記録媒体に関し、詳細には、デジタルビデオカメラ、デジタルスチルカメラ等に使用される撮像装置に適用される画像入力装置、ホワイトバランス調整方法、およびその方法を実行するためのプログラムを格納したコンピュータが読取可能な記録媒体に関する。
【０００２】
【従来の技術】ＣＣＤを撮像素子として用いた画像入力装置のホワイトバランス制御装置は、光源の色温度によるＣＣＤの出力信号の色調変化を人間の目に違和感なく補正する技術であり、ＣＣＤを用いたデジタルカメラ等において必須の機能である。
【０００３】従来、ホワイトバランス制御装置は大別して２つの方式が用いられている。一方の方式は、撮像系とは別に外部色温度センサを設け、その出力信号に応じて撮像系の色調を補正する外部測定方式である。他方の方式は撮像系によって取り込まれた画像の色情報を利用して色調の補正量を求めるＴＴＬ（ＴｈｒｏｕｇｈＴｈｅ Ｌｅｎｓ）方式である。
【０００４】さらに後者の方式は、経験則に従って撮像画像の全色差の総和を「０」に補正する全画面平均方式と、画像中から白の領域を抽出して、その部分の色差を「０」に補正する白検出方式に大別できる。外部測定方式は専用のセンサーが必要となり、全画面平均方式は誤差が大きいことから、現在、白検出方式が主流となりつつある。
【０００５】以下、従来の白検出方式について説明する。例えば、特開平２−２６１９３号公報の「ホワイトバランス装置」では、色情報のＹ，Ｃｒ，Ｃｂの値を用いてＣｒ／Ｙ，Ｃｂ／Ｙの値を算出し、算出したＣｒ／Ｙ，Ｃｂ／Ｙの値がＣｂ／Ｙ−Ｃｒ／Ｙ座標上の黒体輻射の特性曲線に沿った一定の範囲に含まれている場合に、その画素を白と判定する方式が提案されている。ここで、Ｙは画素の輝度値Ｃｒは画素の色差Ｒ−Ｙ値、Ｃｂは画素の色差Ｂ−Ｙ値を示している。
【０００６】画像入力装置のＣＣＤから得られるＹ，Ｃｒ，Ｃｂ値から、Ｃｒ／Ｙ，Ｃｂ／Ｙの値を求めると、Ｃｂ／Ｙ−Ｃｒ／Ｙ座標上で、同じ色の画素に対する値は、ほぼ一義的に定まる。また、ホワイトバランス制御にかかわる光源の色温度による物体の黒体輻射に沿った特性は、Ｃｂ／Ｙ−Ｃｒ／Ｙ座標上では図８に示すような曲線として現わすことができる。
【０００７】したがって、この曲線に近いＣｒ／Ｙ，Ｃｂ／Ｙ値を示す領域は白である可能性が高い。上記特開平２−２６１９３号公報記載の白検出方式では、撮像画像中で図８に示す斜線部分のように、黒体輻射特性曲線を４つの直線で囲んだ領域に含まれるＣｒ／Ｙ，Ｃｂ／Ｙ値を示す領域を白領域として検出して、この領域の色差が「０」となるように色調補正することによってホワイトバランス調整を行っている。
【０００８】また、撮像画像上に白領域が存在しない場合は、白検出条件を緩和して画像全体の色情報を用いて補正量を求めるが、この際、補正量に制限を加えて有彩色被写体に対して過大な補正がかからないように制限を加えている。
【０００９】
【発明が解決しようとする課題】しかしながら、上記特開平２−２６１９３号公報記載の白検出方式では、白の被写体に対しては、画像データの輝度によらず一定の値となるＣｒ／Ｙ，Ｃｂ／Ｙを用いているため、輝度が低く、色が濃い有彩色被写体を誤って白と判定することによって生じる誤差が少なくなる利点があるものの、白い被写体と肌色などの黒体輻射の特性に近い色の有彩色被写体が混在した場合には白以外の領域を白と判定してしまい、白検出の誤差を生じるという問題がある。
【００１０】本発明は、上記課題に鑑みてなされたものであり、白の被写体と肌色などの黒体輻射の特性に近い色の有彩色被写体が混在した場合でも、正確なホワイトバラ調整を行うことが可能な画像入力装置、ホワイトバランス調整方法、およびその方法を実行するためのプログラムを格納したコンピュータが読取可能な記録媒体を提供することを目的とする。
【００１１】
【課題を解決するための手段】上記課題を解決するために、請求項１にかかる発明は、入力されるカラー画像データのゲインを調整してホワイトバランスを行う画像入力装置において、前記カラー画像データのうち少なくとも２色の画像データのゲインを調整してホワイトバランス調整を行うホワイトバランス調整手段と、前記ホワイトバランス調整が行われたカラー画像データのうち、設定される白検出パラメータの範囲内にある画素を検出して、当該検出した画素の各色の画像データを各色毎に積算して各色毎の積算値を出力する白検出手段と、前記各色毎の積算値が「０」とならない条件で、最も高輝度かつ狭い領域となる白検出パラメータを算出して、前記白検出手段に設定する白検出パラメータ設定手段と、前記各色毎の積算値が「０」とならない条件で、最も高輝度かつ狭い領域となる白検出パラメータが前記白検出手段に設定された場合の前記各色毎の積算値に基づいて、前記利得調整手段の少なくとも２色のゲイン値を算出し、前記利得調整手段に設定してフィードバック制御するホワイトバランス制御手段と、を備えたものである。
【００１２】上記発明によれば、ホワイトバランス調整手段はカラー画像データのうち少なくとも２色の画像データのゲインを調整してホワイトバランス調整を行い、白検出手段は前記ホワイトバランス調整が行われたカラー画像データのうち、設定される白検出パラメータの範囲内にある画素を検出して、当該検出した画素の各色の画像データを各色毎に積算して各色毎の積算値を出力し、白検出パラメータ設定手段は各色毎の積算値が「０」とならない条件で、最も高輝度かつ狭い領域となる白検出パラメータを算出して、白検出手段に設定し、ホワイトバランス制御手段は、前記各色毎の積算値が「０」とならない条件で、最も高輝度かつ狭い領域となる白検出パラメータが前記白検出手段に設定された場合の前記各色毎の積算値に基づいて、利得調整手段の少なくとも２色のゲイン値を算出し、利得調整手段に設定してフィードバック制御を行う。
【００１３】また、請求項２にかかる発明は、請求項１にかかる発明において、前記白検出パラメータ設定手段は、所定設定時には白検出パラメータの輝度検出範囲のパラメータを最も高輝度かつ狭い領域に設定し、前記各色毎の積算値が「０」である場合は、所定の幅で白検出パラメータの輝度検出範囲を低輝度側にシフトさせていき、前記白検出手段に画面内で最も高輝度の画素を検出させるべく、前記白検出手段に対してフィードバック制御を行うものである。
【００１４】上記発明によれば、白検出パラメータ設定手段は、初期設定時には白検出パラメータの輝度検出範囲を最も高輝度かつ狭い領域に設定し、各色毎の積算値が「０」である場合は、所定の幅で白検出パラメータの輝度検出範囲を低輝度側にシフトさせていき、白検出手段に画面内で最も高輝度の画素を検出させるべく、白検出手段に対してフィードバック制御を行うものである。
【００１５】また、請求項３にかかる発明は、請求項２にかかる発明において、前記白検出パラメータ設定手段は、前記白検出パラメータの輝度検出範囲を低輝度側にシフトさせていった場合に、前記各色毎の積算値が「０」でなくなった場合または白検出パラメータの輝度検出範囲が下限値に達した場合に、初期設定時の白検出パラメータにリセットするものである。
【００１６】上記発明によれば、白検出パラメータ設定手段は、白検出パラメータの輝度検出範囲を低輝度側にシフトさせていった場合に、各色毎の積算値が「０」でなくなった場合または白検出パラメータの輝度検出範囲が下限値に達した場合に、初期化時の白検出パラメータにリセットする。
【００１７】また、請求項４にかかる発明は、入力されるカラー画像データのゲインを調整してホワイトバランスを行うホワイトバランス調整方法において、カラー画像データのうち少なくとも２色の画像データのゲインを調整してホワイトバランス調整を行うステップと、前記ホワイトバランス調整が行われたカラー画像データのうち、設定される白検出パラメータの範囲内にある画素を検出して、当該検出した画素の各色の画像データを各色毎に積算して各色毎の積算値を出力するステップと、前記各色毎の積算値が「０」とならない条件で、最も高輝度かつ狭い領域となる白検出パラメータを算出して設定するステップと、前記各色毎の積算値が「０」とならない条件で、最も高輝度かつ狭い領域となる白検出パラメータが設定された場合の前記各色毎の積算値に基づいて、前記少なくとも２色のゲイン値を算出し設定してフィードバック制御を行うステップとを含むものである。
【００１８】上記発明によれば、カラー画像データのうち少なくとも２色の画像データのゲインを調整してホワイトバランス調整を行い、ホワイトバランス調整が行われたカラー画像データのうち、設定される白検出パラメータの範囲内にある画素を検出して、当該検出した画素の各色の画像データを各色毎に積算して各色毎の積算値を出力し、各色毎の積算値が「０」とならない条件で、最も高輝度かつ狭い領域となる白検出パラメータを算出して設定し、各色毎の積算値が「０」とならない条件で、最も高輝度かつ狭い領域となる白検出パラメータが設定された場合の各色毎の積算値に基づいて、少なくとも２色のゲイン値を算出し設定してフィードバック制御を行う。
【００１９】また、請求項５にかかる発明は、入力されるカラー画像データのゲインを調整してホワイトバランスを行うホワイトバランス調整方法において、初期設定時の白検出パラメータの輝度検出範囲を最も高輝度に相当する狭い領域に設定するステップと、カラー画像データのうち少なくとも２色の画像データのゲインを調整してホワイトバランス調整を行うステップと、前記ホワイトバランス調整が行われたカラー画像データのうち、設定される白検出パラメータの範囲内にある画素を検出して、当該検出した画素の各色の画像データを各色毎に積算して各色毎の積算値を出力するステップと、前記各色毎の積算値が「０」とならない条件で、最も高輝度かつ狭い領域となる白検出パラメータを算出して設定するステップと、前記各色毎の積算値が「０」とならない条件で、最も高輝度かつ狭い領域となる白検出パラメータが設定された場合の前記各色毎の積算値に基づいて、前記少なくとも２色のゲイン値を算出し設定してフィードバック制御を行うステップと、各色毎の積算値が「０」である場合に、所定の幅で白検出パラメータの輝度検出範囲を低輝度側にシフトさせるステップと、を含むものである。
【００２０】上記発明によれば、初期設定時に白検出パラメータの輝度検出範囲を最も高輝度に相当する狭い領域に設定し、カラー画像データのうち少なくとも２色の画像データのゲインを調整してホワイトバランス調整を行い、ホワイトバランス調整が行われたカラー画像データのうち、設定される白検出パラメータの範囲内にある画素を検出して、当該検出した画素の各色の画像データを各色毎に積算して各色毎の積算値を出力し、各色毎の積算値が「０」とならない条件で、最も高輝度かつ狭い領域となる白検出パラメータを算出して設定し、各色毎の積算値が「０」とならない条件で、最も高輝度かつ狭い領域となる白検出パラメータが設定された場合の各色毎の積算値に基づいて、少なくとも２色のゲイン値を算出し設定してフィードバック制御を行い、各色毎の積算値が「０」である場合に、所定の幅で白検出パラメータの輝度検出範囲を低輝度側にシフトさせる。
【００２１】また、請求項６にかかる発明は、入力されるカラー画像データのゲインを調整してホワイトバランスを行うホワイトバランス調整方法において、初期設定時に白検出パラメータの輝度検出範囲を最も高輝度かつ狭い領域に設定するステップと、カラー画像データのうち少なくとも２色の画像データのゲインを調整してホワイトバランス調整を行うステップと、前記ホワイトバランス調整が行われたカラー画像データのうち、設定される白検出パラメータの範囲内にある画素を検出して、当該検出した画素の各色の画像データを各色毎に積算して各色毎の積算値を出力するステップと、前記各色毎の積算値が「０」とならない条件で、最も高輝度かつ狭い範囲となる白検出パラメータを算出して設定するステップと、前記各色毎の積算値が「０」とならない条件で、最も高輝度かつ狭い領域となる白検出パラメータが設定された場合の前記各色毎の積算値に基づいて、前記少なくとも２色のゲイン値を算出し設定してフィードバック制御を行うステップと、各色毎の積算値が「０」である場合に、所定の幅で白検出パラメータの輝度検出範囲を低輝度側にシフトさせるステップと、各色毎の積算値が「０」でなくなった場合または白検出パラメータの輝度検出範囲が下限値に達した場合に、初期設定時の白検出パラメータにリセットするステップと、を含むものである。
【００２２】上記発明によれば、初期設定時に白検出パラメータの輝度検出範囲を最も高輝度かつ狭い領域に設定し、カラー画像データのうち少なくとも２色の画像データのゲインを調整してホワイトバランス調整を行うステップと、前記ホワイトバランス調整が行われたカラー画像データのうち、設定される白検出パラメータの範囲内にある画素を検出して、当該検出した画素の各色の画像データを各色毎に積算して各色毎の積算値を出力し、各色毎の積算値が「０」とならない条件で、最も高輝度かつ狭い範囲となる白検出パラメータを算出して設定し、各色毎の積算値が「０」とならない条件で、最も高輝度かつ狭い領域となる白検出パラメータが設定された場合の各色毎の積算値に基づいて、少なくとも２色のゲイン値を算出し設定してフィードバック制御を行い、各色毎の積算値が「０」である場合に、所定の幅で白検出パラメータの輝度検出範囲を低輝度側にシフトさせ、各色毎の積算値が「０」でなくなった場合または白検出パラメータの輝度検出範囲が下限値に達した場合に、初期設定時の白検出パラメータにリセットする。
【００２３】また、請求項７にかかる発明は、請求項４〜請求項６のいずれか１つにかかる発明の各工程を実行するためのプログラムを格納したものである。上記発明によれば、コンピュータにより記録媒体に格納されたプログラムを実行することにより、請求項４〜請求項６のいずれか１つにかかる発明の各工程を実現する。
【００２４】
【発明の実施の形態】以下に添付図面を参照して、この発明にかかる画像入力装置およびホワイトバランス調整方法を適用したデジタルカメラの好適な実施の形態を詳細に説明する。
【００２５】図１は本実施の形態にかかるデジタルカメラのブロック図である。図１に示すデジタルカメラは、光学メカ１、ＣＣＤ・ＣＤＳ回路２、Ａ／Ｄ変換器３、信号処理回路４、画像出力装置５、コントローラ６を備えている。
【００２６】光学メカ１は、レンズ・絞り・シャッター等により構成され、被写体の結像や焦点・露光量の調整を行う。ＣＣＤ・ＣＤＳ回路２は、光学メカ１により適正な露光条件でカラーＣＣＤ面上に結像された被写体像をＣＣＤおよびＣＤＳにおいて電気信号（アナログ信号）に変換する。Ａ／Ｄ変換器３は、ＣＤＤ・ＣＤＳ回路２から入力されるアナログ信号をデジタルデータに変換する。信号処理回路４は、Ａ／Ｄ変換器３で変換されたデジタルデータに対して色補間処理を行いカラー画像データを生成し、コントローラ６により設定されるパラメータに従い、ホワイトバランス調整ならびに白検出用の色積算値の演算を行い結果を出力する。
【００２７】画像出力装置５は、ホワイトバランス調整された画像データの表示または記憶媒体への書き込み等を行う。コントローラ６は、ＲＯＭに格納された制御プログラムを実行するマイクロプロセッサと制御プログラムが格納されたＲＯＭ等により構成される。コントローラ６は、信号処理回路４で演算された色積算値に基づいて、ホワイトバランス調整用のＲゲイン、Ｂゲインの設定値、および次の露光で信号処理回路４内の白検出処理に用いられる白検出パラメータの値を算出して、信号処理回路４に対してフィードバック制御を行う。
【００２８】上記信号処理回路４は、マトリクス回路１１、ホワイトバランス調整回路１２、色差演算回路１３、および白検出回路１４を備えている。マトリクス回路１１は、ＣＣＤ・ＣＤＳ回路２のＲ，Ｇ，Ｂ、Ｃ，Ｍ，Ｙ等のカラーフィルタを通った画像データに対して色補間演算処理を施して、Ｒ，Ｇ，Ｂカラー画像データを生成してホワイトバランス調整回路１２に出力する。
【００２９】ホワイトバランス調整回路１２は、マトリクス回路１１から入力されるＲ，Ｇ，Ｂカラー画像データのうち、Ｒ，Ｂデータに対してゲイン調整処理を行ってホワイトバランス調整を行い、ホワイトバランス調整後のＲ，Ｇ，Ｂデータを色差演算回路１３および画像出力装置５に出力する。この際の調整係数、すなわち、Ｒゲイン、Ｂゲインの値はコントローラ６によって設定される。
【００３０】色差演算回路１３は、ホワイトバランス調整されたＲ，Ｇ，Ｂデータを輝度データＹと色差データＲ−Ｇ，Ｂ−Ｇに変換して白検出回路１４に出力する。ここで、輝度データＹは下式（１）により変換を行う。
【００３１】
Ｙ ＝ ０．３＊Ｒ＋０．６＊Ｇ＋０．１＊Ｂ・・・（１）
【００３２】白検出回路１４は、コントローラ６によって設定される白検出パラメータＹ＿ｍｉｎ（Ｙ下限値），Ｙ＿ｍａｘ（Ｙ上限値），Ｒ−Ｇ＿ｍｉｎ（Ｒ−Ｇ下限値），Ｒ−Ｇ＿ｍａｘ（Ｒ−Ｇ上限値），Ｂ−Ｇ＿ｍｉｎ（Ｂ−Ｇ下限値），Ｂ−Ｇ＿ｍａｘ（Ｂ−Ｇ上限値）の６つの値にしたがって、下式（２）〜（４）の３条件を全て満たす画素を画像全体から検出し、検出した全画素のＲ，Ｇ，Ｂデータの積算値ΣＲ，ΣＧ，ΣＢを夫々算出してコントローラ６に出力する。
【００３３】
Ｙ＿ｍｉｎ ＜＝ Ｙ ＜＝ Ｙ＿ｍａｘ ・・・（２）
Ｒ−Ｇ＿ｍｉｎ ＜＝ Ｒ−Ｇ ＜＝ Ｒ−Ｇ＿ｍａｘ・・・（３）
Ｂ−Ｇ＿ｍｉｎ ＜＝ Ｂ−Ｇ ＜＝ Ｂ−Ｇ＿ｍａｘ・・・（４）
【００３４】図２は白検出回路１４の白検出範囲を説明するための図である。同図は、Ｒ−Ｇ，Ｂ−Ｇの色差平面と輝度Ｙの３次元座標を示しており、白検出パラメータＹ＿ｍｉｎ（Ｙ下限値），Ｙ＿ｍａｘ（Ｙ上限値），Ｒ−Ｇ＿ｍｉｎ（Ｒ−Ｇ下限値），Ｒ−Ｇ＿ｍａｘ（Ｒ−Ｇ上限値），Ｂ−Ｇ＿ｍｉｎ（Ｂ−Ｇ下限値），Ｂ−Ｇ＿ｍａｘ（Ｂ−Ｇ上限値）で指定される白検出範囲Ｗrangeは角柱の領域となる。白検出回路１４は、画像データの中でこの白検出範囲Ｗrange内（角柱領域内）に含まれる値を有する画素のＲ，Ｇ，Ｂデータの積算値ΣＲ，ΣＧ，ΣＢを夫々演算してコントローラ６に出力する。
【００３５】上記構成のデジタルカメラにおいて、コントローラ６は白検出パラメータ設定手段およびホワイトバランス制御手段として機能し、ホワイトバランス調整回路１２はホワイトバランス調整手段として機能し、白検出回路１４は白検出手段として機能する。
【００３６】つぎに、上記コントローラ６の処理を詳細に説明する。コントローラ６は、上述したように、ホワイトバランス調整回路１２のＲゲイン、Ｂゲインの値、および白検出回路１４の白検出パラメータを算出し、ホワイトバランス調整回路１２のＲゲイン、Ｂゲインの値、および白検出回路１４の白検出パラメータを設定する。
【００３７】まず、Ｒゲイン，Ｂゲインの算出方法について説明する。コントローラ６は、ホワイトバランス調整回路１２のＲゲイン，Ｂゲインを、白検出回路１４から入力される色積算値データΣＲ，ΣＧ，ΣＢに基づいて、下式（５）、（６）に従って算出する。
【００３８】Ｒゲイン＝ΣＧ／ΣＲ・・・（５）
Ｂゲイン＝ΣＧ／ΣＢ・・・（６）
【００３９】コントローラ６は、この演算結果（Ｒゲイン、Ｂゲイン）を次回の露光の際に信号処理回路４のホワイトバランス調整回路１２に対してフィードバックすることにより、ΣＲ＝ΣＧ＝ΣＢ、すなわち白検出回路１４で検出された領域の画像データを白とするホワイトバランス調整を行う。
【００４０】次に、白検出パラメータの決定方法について説明する。まず、カメラを起動する際の白検出パラメータの初期設定を説明する。図３は白検出範囲Ｗrangeの色差平面（Ｒ−Ｇ、Ｂ−Ｇ）を示している。図３に示すように、色差に関する白検出パラメータＲ−Ｇ＿ｍｉｎ（Ｒ−Ｇ下限値），Ｒ−Ｇ＿ｍａｘ（Ｒ−Ｇ上限値），Ｂ−Ｇ＿ｍｉｎ（Ｂ−Ｇ下限値），Ｂ−Ｇ＿ｍａｘ（Ｂ−Ｇ上限値）は、ホワイトバランス制御を行う色温度の範囲で黒体輻射に従って白の被写体の色が変化する曲線の軌跡を全て含むような領域で可能な限り狭い領域を設定する。
【００４１】図４は白検出範囲Ｗrangeの輝度方向の検出領域（輝度検出範囲）を示した図である。図４に示すように、輝度に関する白検出パラメータＹ＿ｍｉｎ（Ｙ下限値），Ｙ＿ｍａｘ（Ｙ上限値）は、灰色から黒の低輝度の無彩色領域を含まない白に相当する領域で可能な限り狭い領域に設定する。
【００４２】白検出パラメータをシフトさせる場合について説明する。図５は白検出パラメータのシフトを説明するための図であり、同図は、白検出回路１４における白検出範囲を輝度方向から見た図である。白検出パラメータの初期設定において、白検出回路１４から入力される色積算値ΣＲ，ΣＧ，ΣＢが「０」である場合は、図５に示すように輝度検出範囲を低輝度方向に所定の微少な幅でシフトさせる。この際、画像データにおいて輝度が小さくなると白被写体の色温度変化に対する色ずれ色差も小さくなるため、色差方向の白検出範囲も同時に狭めるものとする。同図では、露光１、露光２、露光３、露光４、露光５で順次、輝度検出範囲を低輝度方向に微少な幅でシフトさせ、かつ色差方向の白検出範囲も同時に狭めた場合を示している。
【００４３】コントローラ６は、白検出パラメータの輝度検出範囲を低輝度方向にシフトさせ、かつ白検出パラメータの色差方向の検出範囲を狭めながら、信号処理回路４の白検出回路１４から入力される色積算値ΣＲ，ΣＧ，ΣＢが出力されるまで露光を繰り返し、色積算値ΣＲ，ΣＧ，ΣＢが「０」以外の値、すなわち白検出範囲にいくつかの画素が含まれた際に、白検出パラメータを再び高輝度領域の初期設定にリセットするとともに、白検出回路１４から入力される色積算値ΣＲ，ΣＧ，ΣＢに基づいてＲゲインとＢゲインの演算処理を行い、ホワイトバランス調整回路１２に対するＲゲイン、Ｂゲインを再設定する。
【００４４】また、コントローラ６は、色積算値ΣＲ，ΣＧ，ΣＢが出力されないまま白検出パラメータの輝度検出範囲が下限に達した際にも、白検出パラメータを初期設定にリセットし、再び、白検出回路１４に高輝度側より白検出動作を再開させる。以上の動作を繰り返し行うことで、コントローラ６におけるＲゲイン、Ｂゲインの演算は、常に画面内で最も輝度の高い領域に対して行われるこになる。
【００４５】図６は、信号処理回路４の白検出回路１４における白検出範囲を輝度方向から見た図であり、白被写体と肌色被写体が混在しているシーンの一例を示している。本発明においては、高輝度側から順次、白を検索していくため、露光２において色積算値が出力された時点で、最高輝度領域に白検出範囲がリセットされるため、肌色領域の色積算値が出力されることがなく、従来技術で生じていたような肌色に対する誤差を防止できる。
【００４６】つぎに、図１のデジタルカメラのホワイトバランス調整方法を図７のフローチャートに従って説明する。図７は、図１のデジタルカメラのホワイトバランス調整方法を説明するためのフローチャートを示している。
【００４７】図７において、まず、カメラの電源がＯＮされて起動されると、コントローラ６は、信号処理回路４のホワイトバランス調整回路１２のＲゲイン、Ｂゲインを太陽光などに対して適正値となる基準の値に初期化する（ステップＳ１）。ついで、コントローラ６は、信号処理回路４の白検出回路１４の白検出パラメータＹ＿ｍｉｎ（Ｙ下限値），Ｙ＿ｍａｘ（Ｙ上限値），Ｒ−Ｇ＿ｍｉｎ（Ｒ−Ｇ下限値），Ｒ−Ｇ＿ｍａｘ（Ｒ−Ｇ上限値），Ｂ−Ｇ＿ｍｉｎ（Ｒ−Ｇ下限値），Ｂ−Ｇ＿ｍａｘ（Ｂ−Ｇ上限値）を、上述したように高輝度領域に初期化する（ステップＳ２）。この後、露光制御を行って、光学メカ１、ＣＣＤ・ＣＤＳ回路２等を介して画像データを取り込み、信号処理回路４の白検出回路１４は取り込んだ画像データに対して白検出処理を行って色積算値ΣＲ，ΣＧ，ΣＢを算出し、コントローラ６に出力する（ステップＳ３）。
【００４８】コントローラ６は、白検出回路１４から入力される色積算値ΣＲ，ΣＧ，ΣＢが「０」であるか否かを判定し（ステップＳ４）、色積算値ΣＲ，ΣＧ，ΣＢが「０」である場合には、ステップＳ５に移行する一方、色積算値ΣＲ，ΣＧ，ΣＢが「０」でない場合には、ステップＳ８に移行する。
【００４９】ステップＳ５では、コントローラ６は、色積算値ΣＲ，ΣＧ，ΣＢが「０」である場合には、上述したように、白検出範囲の輝度検出範囲を低輝度方向にシフトさせ、色差検出範囲を狭めた白検出パラメータＹ＿ｍｉｎ（Ｙ下限値），Ｙ＿ｍａｘ（Ｙ上限値），Ｒ−Ｇ＿ｍｉｎ（Ｒ−Ｇ下限値），Ｒ−Ｇ＿ｍａｘ（Ｒ−Ｇ上限値），Ｂ−Ｇ＿ｍｉｎ（Ｂ−Ｇ下限値），Ｂ−Ｇ＿ｍａｘ（Ｂ−Ｇ上限値）を算出する。そして、コントローラ６は、演算した白検出パラメータのうち、輝度検出範囲Ｙ＿ｍｉｎ（Ｙ下限値）、Ｙ＿ｍａｘ（Ｙ上限値）が下限に達したか否かを判定し（ステップＳ６）、輝度検出範囲が下限に達していると判断した場合には、ステップＳ２に移行して、白検出パラメータを初期化してリセットを行う。他方、ステップＳ６で白検出パラメータの輝度検出範囲Ｙ＿ｍｉｎ（Ｙ下限値）、Ｙ＿ｍａｘ（Ｙ上限値）が下限に達していないと判断した場合には、ステップＳ７に移行して、上述のステップＳ５で演算した白検出パラメータＹ＿ｍｉｎ（Ｙ下限値），Ｙ＿ｍａｘ（Ｙ上限値），Ｒ−Ｇ＿ｍｉｎ（Ｒ−Ｇ下限値），Ｒ−Ｇ＿ｍａｘ（Ｒ−Ｇ上限値），Ｂ−Ｇ＿ｍｉｎ（Ｂ−Ｇ下限値），Ｂ−Ｇ＿ｍａｘ（Ｂ−Ｇ上限値）を信号処理回路４の白検出回路１４に設定して、ステップＳ３に戻り、次の露光制御が行われる。
【００５０】他方、ステップＳ８では、コントローラ６は、色積算値ΣＲ，ΣＧ，ΣＢが「０」でない場合には、色積算値ΣＲ，ΣＧ，ΣＢに基づいて信号処理回路４のホワイトバランス調整回路１２のＲゲインとＢゲインの値を演算する。この後、コントローラ６は、信号処理回路４のホワイトバランス調整回路１２に対して演算したＲゲイン、Ｂゲインの値を設定した後（ステップＳ９）、ステップＳ２に戻り、白検出パラメータを初期設定にリセットし、同じ処理を繰り返し実行する。このように、コントローラ６は、上記の処理を繰り返してフィードバック制御を行い、ホワイトバランス調整を行う。
【００５１】以上説明したように、本実施の形態においては、ホワイトバランス調整回路１２はカラー画像データのＲ，Ｂの画像データのゲインを調整してホワイトバランス調整を行い、白検出回路１４はホワイトバランス調整が行われたカラー画像データのうち、設定される白検出パラメータの範囲内にある画素を検出して、当該検出した画素の各色の画像データを各色毎に積算して各色毎の色積算値ΣＲ，ΣＧ，ΣＢを出力し、コントローラ６は各色毎の色積算値ΣＲ，ΣＧ，ΣＢが「０」とならない条件で、最も高輝度かつ狭い範囲となる白検出パラメータを算出して白検出回路１４に設定するとともに、各色毎の色積算値ΣＲ，ΣＧ，ΣＢが「０」とならない条件で、最も高輝度かつ狭い範囲となる白検出パラメータが白検出回路１４に設定された場合に出力される各色毎の色積算値ΣＲ，ΣＧ，ΣＢに基づいて、ホワイトバランス調整回路１２のＲ，Ｂのゲインを算出してホワイトバランス調整回路１２に設定してフィードバック制御を行うこととしたので、ホワイトバランス調整のＲゲイン、Ｂゲインを画面内で高輝度の領域に限定して白検出した色積算値を用いて決定することができ、白色と黒体輻射に沿った色温度変化による色ずれに相当する有彩色の被写体が混在したシーンでも、有彩色領域の影響を受けずに、誤差の少ないホワイトバランス調整を行うことが可能となる。付言すると、画面内で無彩色の領域のうち、白である可能性の最も高い、高輝度の領域を自動検索して、白検出処理した結果の色差積算値を用いているため、肌色などの誤差を生じ易い有彩色被写体の影響を防止できる。
【００５２】また、コントローラ６は、制御を開始する初期設定時には、白検出回路１４に対する白検出パラメータの輝度検出範囲を最も高輝度に相当する狭い領域に設定しておき、白検出回路１４の色積算値ΣＲ，ΣＧ，ΣＢが「０」であった場合は、所定の幅で白検出パラメータの輝度検出範囲を低輝度側にシフトさせていき、白検出回路１４に画面内で最も高輝度の画素を検出させるべく、白検出回路１４に対して白検出パラメータのフィードバック制御を行うこととしたので、画面内に高輝度の領域が存在しない場合には白検出の輝度領域を低輝度方向にシフトさせて順次検索し、最も輝度の高い領域で白検出された色積算値に基づいてホワイトバランス調整を行うことができ、画面内に白が存在していなくても、無彩色領域がある場合には適正なホワイトバランス調整が可能となる。
【００５３】また、コントローラ６は、白検出回路１４の白検出パラメータを低輝度側にシフトさせていき、白検出回路１４の色積算値ΣＲ，ΣＧ，ΣＢが「０」でなくなった場合と白検出パラメータの輝度検出範囲が設定可能な下限値に達した場合に、初期設定の白検出パラメータ（輝度検出範囲を最も高輝度に相当する狭い領域とした）にリセットすることとしたので、中間の輝度検出範囲で無彩色の領域が検出された場合や、輝度検出範囲の設定範囲の下限値まで検索しても画面内に無彩色の領域が存在しなかった場合に、白検出パラメータの高輝度領域へのリセット動作と低輝度方向への検索処理を続行し、画角が変化してより高輝度の白の領域が画面内に含まれしだい、直ぐにその領域における色積算値を用いてゲイン設定値の演算を実行でき、常に撮影画面に対して最も誤差の少ないホワイトバランス調整を行うことが可能となる。
【００５４】なお、上述の実施の形態の画像入力装置のホワイトバランス調整方法は、予め容易されたプログラムをパーソナルコンピュータや、ワークステーション等のコンピュータで実行することにしても良い。このプログラムは、ハードディスク、フロッピー（登録商標）ディスク、ＣＤ−ＲＯＭ、ＭＯ、ＤＶＤ等のコンピュータが読取可能な記録媒体から読み出されることによって実行される。また、このプログラムは、上記記録媒体を介して、また伝送媒体として、インターネット等のネットワークを介して配布することができる。
【００５５】また、本発明は上記した実施の形態に限定されるものではなく、発明の要旨を変更しない範囲で適宜変更可能である。例えば、ホワイトバランス調整回路１２で調整するゲインをＲ、Ｂとしているが、本発明はこれに限られるものではなく、Ｒ，Ｇ，Ｂのうち少なくとも２以上の組み合わせのゲインを調整することにしても良い。
【００５６】また、本発明の画像入力装置およびホワイトバランス調整方法は、ビデオカメラ、デジタルカメラ等に使用される撮像装置に広く適用可能である。
【００５７】
【発明の効果】以上説明したように、請求項１にかかる画像入力装置によれば、ホワイトバランス調整手段はカラー画像データのうち少なくとも２色の画像データのゲインを調整してホワイトバランス調整を行い、白検出手段は前記ホワイトバランス調整が行われたカラー画像データのうち、設定される白検出パラメータの範囲内にある画素を検出して、当該検出した画素の各色の画像データを各色毎に積算して各色毎の積算値を出力し、白検出パラメータ設定手段は各色毎の積算値が「０」とならない条件で、最も高輝度かつ狭い領域となる白検出パラメータを算出して、白検出手段に設定し、ホワイトバランス制御手段は、前記各色毎の積算値が「０」とならない条件で、最も高輝度かつ狭い領域となる白検出パラメータが前記白検出手段に設定された場合の前記各色毎の積算値に基づいて、利得調整手段の少なくとも２色のゲイン値を算出し、利得調整手段に設定してフィードバック制御を行うこととしたので、ホワイトバランス調整のＲゲイン、Ｂゲインを画面内で高輝度の領域に限定して白検出した色積算値を用いて決定することができ、白色と黒体輻射に沿った色温度変化による色ずれに相当する有彩色の被写体が混在したシーンでも、有彩色領域の影響を受けずに、誤差の少ないホワイトバランス調整を行うことが可能となる。
【００５８】また、請求項２にかかる画像入力装置によれば、請求項１にかかる画像入力装置において、白検出パラメータ設定手段は、初期設定時には白検出パラメータの輝度検出範囲のパラメータを最も高輝度かつ狭い領域に設定し、各色毎の積算値が「０」である場合は、所定の幅で白検出パラメータの輝度検出範囲を低輝度側にシフトさせていき、白検出手段に画面内で最も高輝度の画素を検出させるべく、白検出手段に対してフィードバック制御を行うこととしたので、画面内に高輝度の領域が存在しない場合には白検出の輝度領域を低輝度方向にシフトさせて順次検索し、最も輝度の高い領域で白検出された色積算値を用いたホワイトバランス調整を行うことができ、画面内に白が存在していなくても、無彩色領域があればホワイトバランス調整が可能となる。
【００５９】また、請求項３にかかる画像入力装置によれば、請求項２にかかる画像入力装置において、白検出パラメータ設定手段は、白検出パラメータの輝度検出範囲をを低輝度側にシフトさせていった場合に、各色毎の積算値が「０」でなくなった場合または白検出パラメータの輝度検出範囲が下限値に達した場合に、初期設定時の白検出パラメータにリセットすることとしたので、中間の輝度検出範囲で無彩色の領域が検出された場合や、輝度検出範囲の設定範囲の下限値まで検索しても画面内に無彩色の領域が存在しなかった場合に、白検出範囲の高輝度領域へのリセット動作と低輝度方向への検索処理を続行するため、画角が変化してより高輝度の白の領域が画面内に含まれしだい、直ぐにその領域に対する色積算値を用いてゲイン設定値の演算を実行でき、常に撮影画面に対して最も誤差の少ないホワイトバランス調整を行うことが可能となる。
【００６０】また、請求項４にかかるホワイトバランス調整方法によれば、カラー画像データのうち少なくとも２色の画像データのゲインを調整してホワイトバランス調整を行い、ホワイトバランス調整が行われたカラー画像データのうち、設定される白検出パラメータの範囲内にある画素を検出して、当該検出した画素の各色の画像データを各色毎に積算して各色毎の積算値を出力し、各色毎の積算値が「０」とならない条件で、最も高輝度かつ狭い領域となる白検出パラメータを算出して設定し、各色毎の積算値が「０」とならない条件で、最も高輝度かつ狭い領域となる白検出パラメータが設定された場合の各色毎の積算値に基づいて、少なくとも２色の画像データのゲイン値を算出し設定してフィードバック制御を行うこととしたので、ホワイトバランス調整のＲゲイン、Ｂゲイン等を画面内で高輝度の領域に限定して白検出した色積算値を用いて決定することができ、白色と黒体輻射に沿った色温度変化による色ずれに相当する有彩色の被写体が混在したシーンでも、有彩色領域の影響を受けずに、誤差の少ないホワイトバランス調整を行うことが可能となる。
【００６１】また、請求項５にかかるホワイトバランス調整方法によれば、初期設定時に白検出パラメータの輝度検出範囲のパラメータを最も高輝度に相当する狭い領域に設定し、カラー画像データのうち少なくとも２色の画像データのゲインを調整してホワイトバランス調整を行い、ホワイトバランス調整が行われたカラー画像データのうち、設定される白検出パラメータの範囲内にある画素を検出して、当該検出した画素の各色の画像データを各色毎に積算して各色毎の積算値を出力し、各色毎の積算値が「０」とならない条件で、最も高輝度かつ狭い領域となる白検出パラメータを算出して設定し、各色毎の積算値が「０」とならない条件で、最も高輝度かつ狭い領域となる白検出パラメータが設定された場合の各色毎の積算値に基づいて、少なくとも２色のゲイン値を算出し設定してフィードバック制御を行い、各色毎の積算値が「０」である場合に、所定の幅で白検出パラメータの輝度検出範囲を低輝度側にシフトさせることとしたので、画面内に高輝度の領域が存在しない場合には白検出の輝度領域を低輝度方向にシフトさせて順次検索して、最も輝度の高い領域で白検出された積算値を用いたホワイトバランス調整を行うことができ、画面内に白が存在していなくても、無彩色領域があればホワイトバランス調整が可能となる。
【００６２】また、請求項６にかかるホワイトバランス調整方法によれば、初期設定時に白検出パラメータの輝度検出範囲のパラメータを最も高輝度に相当する狭い領域に設定し、カラー画像データのうち少なくとも２色の画像データのゲインを調整してホワイトバランス調整を行うステップと、前記ホワイトバランス調整が行われたカラー画像データのうち、設定される白検出パラメータの範囲内にある画素を検出して、当該検出した画素の各色の画像データを各色毎に積算して各色毎の積算値を出力し、各色毎の積算値が「０」とならない条件で、最も高輝度かつ狭い範囲となる白検出パラメータを算出して設定し、各色毎の積算値が「０」とならない条件で、最も高輝度かつ狭い領域となる白検出パラメータが設定された場合の各色毎の積算値に基づいて、少なくとも２色のゲイン値を算出し設定してフィードバック制御を行い、各色毎の積算値出力が「０」である場合に、所定の幅で白検出パラメータの輝度検出範囲を低輝度側にシフトさせ、各色毎の積算値が「０」でなくなった場合または白検出パラメータの輝度検出範囲が下限値に達した場合に、初期設定時の白検出パラメータにリセットすることとしたので、中間の輝度検出範囲で無彩色の領域が検出された場合や、輝度検出範囲の設定範囲の下限値まで検索しても画面内に無彩色の領域が存在しなかった場合に、白検出範囲の高輝度領域へのリセット動作と低輝度方向への検索処理を実行し続けるため、画角が変化してより高輝度の白の領域が画面内に含まれしだい、直ぐにその領域に対する色積算値を用いてゲイン設定値の演算を実行でき、常に撮影画面に対して最も誤差の少ないホワイトバランス調整を行うことが可能となる。
【００６３】また、請求項７にかかる記録媒体によれば、コンピュータにより記録媒体に格納されたプログラムを実行することにより、請求項４〜請求項６のいずれか１つにかかる発明の各工程を実現することとしたので、ホワイトバランス調整のＲゲイン、Ｂゲイン等を画面内で高輝度の領域に限定して白検出した色積算値を用いて決定することができ、白色と黒体輻射に沿った色温度変化による色ずれに相当する有彩色の被写体が混在したシーンでも、有彩色領域の影響を受けずに、誤差の少ないホワイトバランス調整を行うことが可能となる。
【図面の簡単な説明】
【図１】本実施の形態にかかるデジタルカメラのブロック図である。
【図２】図１の白検出回路の白検出範囲を説明するための図である。
【図３】白検出範囲Ｗrangeの色差平面（Ｒ−Ｇ、Ｂ−Ｇ）を示す図である。
【図４】白検出範囲Ｗrangeの輝度方向の検出領域（輝度検出範囲）を示した図である。
【図５】白検出パラメータのシフトを説明するための図であり、白検出回路における白検出範囲Ｗrangeを輝度方向から見た図である。
【図６】肌色を含んだ被写体の場合の白検出パラメータのシフトを説明するための図であり、白検出回路における白検出範囲Ｗrangeを輝度方向から見た図である。
【図７】図１のデジタルカメラのホワイトバランス調整方法を説明するためのフローチャートである。
【図８】従来の白検出方式を説明するための図である。
【符号の説明】
１ 光学メカ
２ ＣＣＤ・ＣＤＳ回路
３ Ａ／Ｄ変換器
４ 信号処理回路
５ 画像出力装置
６ コントローラ
１１ マトリクス回路
１２ ホワイトバランス調整回路
１３ 色差演算回路
１４ 白検出回路
【０００１】
【発明の属する技術分野】この発明は、画像入力装置、ホワイトバランス調整方法、およびその方法を実行するためのプログラムを格納したコンピュータが読取可能な記録媒体に関し、詳細には、デジタルビデオカメラ、デジタルスチルカメラ等に使用される撮像装置に適用される画像入力装置、ホワイトバランス調整方法、およびその方法を実行するためのプログラムを格納したコンピュータが読取可能な記録媒体に関する。
【０００２】
【従来の技術】ＣＣＤを撮像素子として用いた画像入力装置のホワイトバランス制御装置は、光源の色温度によるＣＣＤの出力信号の色調変化を人間の目に違和感なく補正する技術であり、ＣＣＤを用いたデジタルカメラ等において必須の機能である。
【０００３】従来、ホワイトバランス制御装置は大別して２つの方式が用いられている。一方の方式は、撮像系とは別に外部色温度センサを設け、その出力信号に応じて撮像系の色調を補正する外部測定方式である。他方の方式は撮像系によって取り込まれた画像の色情報を利用して色調の補正量を求めるＴＴＬ（ＴｈｒｏｕｇｈＴｈｅ Ｌｅｎｓ）方式である。
【０００４】さらに後者の方式は、経験則に従って撮像画像の全色差の総和を「０」に補正する全画面平均方式と、画像中から白の領域を抽出して、その部分の色差を「０」に補正する白検出方式に大別できる。外部測定方式は専用のセンサーが必要となり、全画面平均方式は誤差が大きいことから、現在、白検出方式が主流となりつつある。
【０００５】以下、従来の白検出方式について説明する。例えば、特開平２−２６１９３号公報の「ホワイトバランス装置」では、色情報のＹ，Ｃｒ，Ｃｂの値を用いてＣｒ／Ｙ，Ｃｂ／Ｙの値を算出し、算出したＣｒ／Ｙ，Ｃｂ／Ｙの値がＣｂ／Ｙ−Ｃｒ／Ｙ座標上の黒体輻射の特性曲線に沿った一定の範囲に含まれている場合に、その画素を白と判定する方式が提案されている。ここで、Ｙは画素の輝度値Ｃｒは画素の色差Ｒ−Ｙ値、Ｃｂは画素の色差Ｂ−Ｙ値を示している。
【０００６】画像入力装置のＣＣＤから得られるＹ，Ｃｒ，Ｃｂ値から、Ｃｒ／Ｙ，Ｃｂ／Ｙの値を求めると、Ｃｂ／Ｙ−Ｃｒ／Ｙ座標上で、同じ色の画素に対する値は、ほぼ一義的に定まる。また、ホワイトバランス制御にかかわる光源の色温度による物体の黒体輻射に沿った特性は、Ｃｂ／Ｙ−Ｃｒ／Ｙ座標上では図８に示すような曲線として現わすことができる。
【０００７】したがって、この曲線に近いＣｒ／Ｙ，Ｃｂ／Ｙ値を示す領域は白である可能性が高い。上記特開平２−２６１９３号公報記載の白検出方式では、撮像画像中で図８に示す斜線部分のように、黒体輻射特性曲線を４つの直線で囲んだ領域に含まれるＣｒ／Ｙ，Ｃｂ／Ｙ値を示す領域を白領域として検出して、この領域の色差が「０」となるように色調補正することによってホワイトバランス調整を行っている。
【０００８】また、撮像画像上に白領域が存在しない場合は、白検出条件を緩和して画像全体の色情報を用いて補正量を求めるが、この際、補正量に制限を加えて有彩色被写体に対して過大な補正がかからないように制限を加えている。
【０００９】
【発明が解決しようとする課題】しかしながら、上記特開平２−２６１９３号公報記載の白検出方式では、白の被写体に対しては、画像データの輝度によらず一定の値となるＣｒ／Ｙ，Ｃｂ／Ｙを用いているため、輝度が低く、色が濃い有彩色被写体を誤って白と判定することによって生じる誤差が少なくなる利点があるものの、白い被写体と肌色などの黒体輻射の特性に近い色の有彩色被写体が混在した場合には白以外の領域を白と判定してしまい、白検出の誤差を生じるという問題がある。
【００１０】本発明は、上記課題に鑑みてなされたものであり、白の被写体と肌色などの黒体輻射の特性に近い色の有彩色被写体が混在した場合でも、正確なホワイトバラ調整を行うことが可能な画像入力装置、ホワイトバランス調整方法、およびその方法を実行するためのプログラムを格納したコンピュータが読取可能な記録媒体を提供することを目的とする。
【００１１】
【課題を解決するための手段】上記課題を解決するために、請求項１にかかる発明は、入力されるカラー画像データのゲインを調整してホワイトバランスを行う画像入力装置において、前記カラー画像データのうち少なくとも２色の画像データのゲインを調整してホワイトバランス調整を行うホワイトバランス調整手段と、前記ホワイトバランス調整が行われたカラー画像データのうち、設定される白検出パラメータの範囲内にある画素を検出して、当該検出した画素の各色の画像データを各色毎に積算して各色毎の積算値を出力する白検出手段と、前記各色毎の積算値が「０」とならない条件で、最も高輝度かつ狭い領域となる白検出パラメータを算出して、前記白検出手段に設定する白検出パラメータ設定手段と、前記各色毎の積算値が「０」とならない条件で、最も高輝度かつ狭い領域となる白検出パラメータが前記白検出手段に設定された場合の前記各色毎の積算値に基づいて、前記利得調整手段の少なくとも２色のゲイン値を算出し、前記利得調整手段に設定してフィードバック制御するホワイトバランス制御手段と、を備えたものである。
【００１２】上記発明によれば、ホワイトバランス調整手段はカラー画像データのうち少なくとも２色の画像データのゲインを調整してホワイトバランス調整を行い、白検出手段は前記ホワイトバランス調整が行われたカラー画像データのうち、設定される白検出パラメータの範囲内にある画素を検出して、当該検出した画素の各色の画像データを各色毎に積算して各色毎の積算値を出力し、白検出パラメータ設定手段は各色毎の積算値が「０」とならない条件で、最も高輝度かつ狭い領域となる白検出パラメータを算出して、白検出手段に設定し、ホワイトバランス制御手段は、前記各色毎の積算値が「０」とならない条件で、最も高輝度かつ狭い領域となる白検出パラメータが前記白検出手段に設定された場合の前記各色毎の積算値に基づいて、利得調整手段の少なくとも２色のゲイン値を算出し、利得調整手段に設定してフィードバック制御を行う。
【００１３】また、請求項２にかかる発明は、請求項１にかかる発明において、前記白検出パラメータ設定手段は、所定設定時には白検出パラメータの輝度検出範囲のパラメータを最も高輝度かつ狭い領域に設定し、前記各色毎の積算値が「０」である場合は、所定の幅で白検出パラメータの輝度検出範囲を低輝度側にシフトさせていき、前記白検出手段に画面内で最も高輝度の画素を検出させるべく、前記白検出手段に対してフィードバック制御を行うものである。
【００１４】上記発明によれば、白検出パラメータ設定手段は、初期設定時には白検出パラメータの輝度検出範囲を最も高輝度かつ狭い領域に設定し、各色毎の積算値が「０」である場合は、所定の幅で白検出パラメータの輝度検出範囲を低輝度側にシフトさせていき、白検出手段に画面内で最も高輝度の画素を検出させるべく、白検出手段に対してフィードバック制御を行うものである。
【００１５】また、請求項３にかかる発明は、請求項２にかかる発明において、前記白検出パラメータ設定手段は、前記白検出パラメータの輝度検出範囲を低輝度側にシフトさせていった場合に、前記各色毎の積算値が「０」でなくなった場合または白検出パラメータの輝度検出範囲が下限値に達した場合に、初期設定時の白検出パラメータにリセットするものである。
【００１６】上記発明によれば、白検出パラメータ設定手段は、白検出パラメータの輝度検出範囲を低輝度側にシフトさせていった場合に、各色毎の積算値が「０」でなくなった場合または白検出パラメータの輝度検出範囲が下限値に達した場合に、初期化時の白検出パラメータにリセットする。
【００１７】また、請求項４にかかる発明は、入力されるカラー画像データのゲインを調整してホワイトバランスを行うホワイトバランス調整方法において、カラー画像データのうち少なくとも２色の画像データのゲインを調整してホワイトバランス調整を行うステップと、前記ホワイトバランス調整が行われたカラー画像データのうち、設定される白検出パラメータの範囲内にある画素を検出して、当該検出した画素の各色の画像データを各色毎に積算して各色毎の積算値を出力するステップと、前記各色毎の積算値が「０」とならない条件で、最も高輝度かつ狭い領域となる白検出パラメータを算出して設定するステップと、前記各色毎の積算値が「０」とならない条件で、最も高輝度かつ狭い領域となる白検出パラメータが設定された場合の前記各色毎の積算値に基づいて、前記少なくとも２色のゲイン値を算出し設定してフィードバック制御を行うステップとを含むものである。
【００１８】上記発明によれば、カラー画像データのうち少なくとも２色の画像データのゲインを調整してホワイトバランス調整を行い、ホワイトバランス調整が行われたカラー画像データのうち、設定される白検出パラメータの範囲内にある画素を検出して、当該検出した画素の各色の画像データを各色毎に積算して各色毎の積算値を出力し、各色毎の積算値が「０」とならない条件で、最も高輝度かつ狭い領域となる白検出パラメータを算出して設定し、各色毎の積算値が「０」とならない条件で、最も高輝度かつ狭い領域となる白検出パラメータが設定された場合の各色毎の積算値に基づいて、少なくとも２色のゲイン値を算出し設定してフィードバック制御を行う。
【００１９】また、請求項５にかかる発明は、入力されるカラー画像データのゲインを調整してホワイトバランスを行うホワイトバランス調整方法において、初期設定時の白検出パラメータの輝度検出範囲を最も高輝度に相当する狭い領域に設定するステップと、カラー画像データのうち少なくとも２色の画像データのゲインを調整してホワイトバランス調整を行うステップと、前記ホワイトバランス調整が行われたカラー画像データのうち、設定される白検出パラメータの範囲内にある画素を検出して、当該検出した画素の各色の画像データを各色毎に積算して各色毎の積算値を出力するステップと、前記各色毎の積算値が「０」とならない条件で、最も高輝度かつ狭い領域となる白検出パラメータを算出して設定するステップと、前記各色毎の積算値が「０」とならない条件で、最も高輝度かつ狭い領域となる白検出パラメータが設定された場合の前記各色毎の積算値に基づいて、前記少なくとも２色のゲイン値を算出し設定してフィードバック制御を行うステップと、各色毎の積算値が「０」である場合に、所定の幅で白検出パラメータの輝度検出範囲を低輝度側にシフトさせるステップと、を含むものである。
【００２０】上記発明によれば、初期設定時に白検出パラメータの輝度検出範囲を最も高輝度に相当する狭い領域に設定し、カラー画像データのうち少なくとも２色の画像データのゲインを調整してホワイトバランス調整を行い、ホワイトバランス調整が行われたカラー画像データのうち、設定される白検出パラメータの範囲内にある画素を検出して、当該検出した画素の各色の画像データを各色毎に積算して各色毎の積算値を出力し、各色毎の積算値が「０」とならない条件で、最も高輝度かつ狭い領域となる白検出パラメータを算出して設定し、各色毎の積算値が「０」とならない条件で、最も高輝度かつ狭い領域となる白検出パラメータが設定された場合の各色毎の積算値に基づいて、少なくとも２色のゲイン値を算出し設定してフィードバック制御を行い、各色毎の積算値が「０」である場合に、所定の幅で白検出パラメータの輝度検出範囲を低輝度側にシフトさせる。
【００２１】また、請求項６にかかる発明は、入力されるカラー画像データのゲインを調整してホワイトバランスを行うホワイトバランス調整方法において、初期設定時に白検出パラメータの輝度検出範囲を最も高輝度かつ狭い領域に設定するステップと、カラー画像データのうち少なくとも２色の画像データのゲインを調整してホワイトバランス調整を行うステップと、前記ホワイトバランス調整が行われたカラー画像データのうち、設定される白検出パラメータの範囲内にある画素を検出して、当該検出した画素の各色の画像データを各色毎に積算して各色毎の積算値を出力するステップと、前記各色毎の積算値が「０」とならない条件で、最も高輝度かつ狭い範囲となる白検出パラメータを算出して設定するステップと、前記各色毎の積算値が「０」とならない条件で、最も高輝度かつ狭い領域となる白検出パラメータが設定された場合の前記各色毎の積算値に基づいて、前記少なくとも２色のゲイン値を算出し設定してフィードバック制御を行うステップと、各色毎の積算値が「０」である場合に、所定の幅で白検出パラメータの輝度検出範囲を低輝度側にシフトさせるステップと、各色毎の積算値が「０」でなくなった場合または白検出パラメータの輝度検出範囲が下限値に達した場合に、初期設定時の白検出パラメータにリセットするステップと、を含むものである。
【００２２】上記発明によれば、初期設定時に白検出パラメータの輝度検出範囲を最も高輝度かつ狭い領域に設定し、カラー画像データのうち少なくとも２色の画像データのゲインを調整してホワイトバランス調整を行うステップと、前記ホワイトバランス調整が行われたカラー画像データのうち、設定される白検出パラメータの範囲内にある画素を検出して、当該検出した画素の各色の画像データを各色毎に積算して各色毎の積算値を出力し、各色毎の積算値が「０」とならない条件で、最も高輝度かつ狭い範囲となる白検出パラメータを算出して設定し、各色毎の積算値が「０」とならない条件で、最も高輝度かつ狭い領域となる白検出パラメータが設定された場合の各色毎の積算値に基づいて、少なくとも２色のゲイン値を算出し設定してフィードバック制御を行い、各色毎の積算値が「０」である場合に、所定の幅で白検出パラメータの輝度検出範囲を低輝度側にシフトさせ、各色毎の積算値が「０」でなくなった場合または白検出パラメータの輝度検出範囲が下限値に達した場合に、初期設定時の白検出パラメータにリセットする。
【００２３】また、請求項７にかかる発明は、請求項４〜請求項６のいずれか１つにかかる発明の各工程を実行するためのプログラムを格納したものである。上記発明によれば、コンピュータにより記録媒体に格納されたプログラムを実行することにより、請求項４〜請求項６のいずれか１つにかかる発明の各工程を実現する。
【００２４】
【発明の実施の形態】以下に添付図面を参照して、この発明にかかる画像入力装置およびホワイトバランス調整方法を適用したデジタルカメラの好適な実施の形態を詳細に説明する。
【００２５】図１は本実施の形態にかかるデジタルカメラのブロック図である。図１に示すデジタルカメラは、光学メカ１、ＣＣＤ・ＣＤＳ回路２、Ａ／Ｄ変換器３、信号処理回路４、画像出力装置５、コントローラ６を備えている。
【００２６】光学メカ１は、レンズ・絞り・シャッター等により構成され、被写体の結像や焦点・露光量の調整を行う。ＣＣＤ・ＣＤＳ回路２は、光学メカ１により適正な露光条件でカラーＣＣＤ面上に結像された被写体像をＣＣＤおよびＣＤＳにおいて電気信号（アナログ信号）に変換する。Ａ／Ｄ変換器３は、ＣＤＤ・ＣＤＳ回路２から入力されるアナログ信号をデジタルデータに変換する。信号処理回路４は、Ａ／Ｄ変換器３で変換されたデジタルデータに対して色補間処理を行いカラー画像データを生成し、コントローラ６により設定されるパラメータに従い、ホワイトバランス調整ならびに白検出用の色積算値の演算を行い結果を出力する。
【００２７】画像出力装置５は、ホワイトバランス調整された画像データの表示または記憶媒体への書き込み等を行う。コントローラ６は、ＲＯＭに格納された制御プログラムを実行するマイクロプロセッサと制御プログラムが格納されたＲＯＭ等により構成される。コントローラ６は、信号処理回路４で演算された色積算値に基づいて、ホワイトバランス調整用のＲゲイン、Ｂゲインの設定値、および次の露光で信号処理回路４内の白検出処理に用いられる白検出パラメータの値を算出して、信号処理回路４に対してフィードバック制御を行う。
【００２８】上記信号処理回路４は、マトリクス回路１１、ホワイトバランス調整回路１２、色差演算回路１３、および白検出回路１４を備えている。マトリクス回路１１は、ＣＣＤ・ＣＤＳ回路２のＲ，Ｇ，Ｂ、Ｃ，Ｍ，Ｙ等のカラーフィルタを通った画像データに対して色補間演算処理を施して、Ｒ，Ｇ，Ｂカラー画像データを生成してホワイトバランス調整回路１２に出力する。
【００２９】ホワイトバランス調整回路１２は、マトリクス回路１１から入力されるＲ，Ｇ，Ｂカラー画像データのうち、Ｒ，Ｂデータに対してゲイン調整処理を行ってホワイトバランス調整を行い、ホワイトバランス調整後のＲ，Ｇ，Ｂデータを色差演算回路１３および画像出力装置５に出力する。この際の調整係数、すなわち、Ｒゲイン、Ｂゲインの値はコントローラ６によって設定される。
【００３０】色差演算回路１３は、ホワイトバランス調整されたＲ，Ｇ，Ｂデータを輝度データＹと色差データＲ−Ｇ，Ｂ−Ｇに変換して白検出回路１４に出力する。ここで、輝度データＹは下式（１）により変換を行う。
【００３１】
Ｙ ＝ ０．３＊Ｒ＋０．６＊Ｇ＋０．１＊Ｂ・・・（１）
【００３２】白検出回路１４は、コントローラ６によって設定される白検出パラメータＹ＿ｍｉｎ（Ｙ下限値），Ｙ＿ｍａｘ（Ｙ上限値），Ｒ−Ｇ＿ｍｉｎ（Ｒ−Ｇ下限値），Ｒ−Ｇ＿ｍａｘ（Ｒ−Ｇ上限値），Ｂ−Ｇ＿ｍｉｎ（Ｂ−Ｇ下限値），Ｂ−Ｇ＿ｍａｘ（Ｂ−Ｇ上限値）の６つの値にしたがって、下式（２）〜（４）の３条件を全て満たす画素を画像全体から検出し、検出した全画素のＲ，Ｇ，Ｂデータの積算値ΣＲ，ΣＧ，ΣＢを夫々算出してコントローラ６に出力する。
【００３３】
Ｙ＿ｍｉｎ ＜＝ Ｙ ＜＝ Ｙ＿ｍａｘ ・・・（２）
Ｒ−Ｇ＿ｍｉｎ ＜＝ Ｒ−Ｇ ＜＝ Ｒ−Ｇ＿ｍａｘ・・・（３）
Ｂ−Ｇ＿ｍｉｎ ＜＝ Ｂ−Ｇ ＜＝ Ｂ−Ｇ＿ｍａｘ・・・（４）
【００３４】図２は白検出回路１４の白検出範囲を説明するための図である。同図は、Ｒ−Ｇ，Ｂ−Ｇの色差平面と輝度Ｙの３次元座標を示しており、白検出パラメータＹ＿ｍｉｎ（Ｙ下限値），Ｙ＿ｍａｘ（Ｙ上限値），Ｒ−Ｇ＿ｍｉｎ（Ｒ−Ｇ下限値），Ｒ−Ｇ＿ｍａｘ（Ｒ−Ｇ上限値），Ｂ−Ｇ＿ｍｉｎ（Ｂ−Ｇ下限値），Ｂ−Ｇ＿ｍａｘ（Ｂ−Ｇ上限値）で指定される白検出範囲Ｗrangeは角柱の領域となる。白検出回路１４は、画像データの中でこの白検出範囲Ｗrange内（角柱領域内）に含まれる値を有する画素のＲ，Ｇ，Ｂデータの積算値ΣＲ，ΣＧ，ΣＢを夫々演算してコントローラ６に出力する。
【００３５】上記構成のデジタルカメラにおいて、コントローラ６は白検出パラメータ設定手段およびホワイトバランス制御手段として機能し、ホワイトバランス調整回路１２はホワイトバランス調整手段として機能し、白検出回路１４は白検出手段として機能する。
【００３６】つぎに、上記コントローラ６の処理を詳細に説明する。コントローラ６は、上述したように、ホワイトバランス調整回路１２のＲゲイン、Ｂゲインの値、および白検出回路１４の白検出パラメータを算出し、ホワイトバランス調整回路１２のＲゲイン、Ｂゲインの値、および白検出回路１４の白検出パラメータを設定する。
【００３７】まず、Ｒゲイン，Ｂゲインの算出方法について説明する。コントローラ６は、ホワイトバランス調整回路１２のＲゲイン，Ｂゲインを、白検出回路１４から入力される色積算値データΣＲ，ΣＧ，ΣＢに基づいて、下式（５）、（６）に従って算出する。
【００３８】Ｒゲイン＝ΣＧ／ΣＲ・・・（５）
Ｂゲイン＝ΣＧ／ΣＢ・・・（６）
【００３９】コントローラ６は、この演算結果（Ｒゲイン、Ｂゲイン）を次回の露光の際に信号処理回路４のホワイトバランス調整回路１２に対してフィードバックすることにより、ΣＲ＝ΣＧ＝ΣＢ、すなわち白検出回路１４で検出された領域の画像データを白とするホワイトバランス調整を行う。
【００４０】次に、白検出パラメータの決定方法について説明する。まず、カメラを起動する際の白検出パラメータの初期設定を説明する。図３は白検出範囲Ｗrangeの色差平面（Ｒ−Ｇ、Ｂ−Ｇ）を示している。図３に示すように、色差に関する白検出パラメータＲ−Ｇ＿ｍｉｎ（Ｒ−Ｇ下限値），Ｒ−Ｇ＿ｍａｘ（Ｒ−Ｇ上限値），Ｂ−Ｇ＿ｍｉｎ（Ｂ−Ｇ下限値），Ｂ−Ｇ＿ｍａｘ（Ｂ−Ｇ上限値）は、ホワイトバランス制御を行う色温度の範囲で黒体輻射に従って白の被写体の色が変化する曲線の軌跡を全て含むような領域で可能な限り狭い領域を設定する。
【００４１】図４は白検出範囲Ｗrangeの輝度方向の検出領域（輝度検出範囲）を示した図である。図４に示すように、輝度に関する白検出パラメータＹ＿ｍｉｎ（Ｙ下限値），Ｙ＿ｍａｘ（Ｙ上限値）は、灰色から黒の低輝度の無彩色領域を含まない白に相当する領域で可能な限り狭い領域に設定する。
【００４２】白検出パラメータをシフトさせる場合について説明する。図５は白検出パラメータのシフトを説明するための図であり、同図は、白検出回路１４における白検出範囲を輝度方向から見た図である。白検出パラメータの初期設定において、白検出回路１４から入力される色積算値ΣＲ，ΣＧ，ΣＢが「０」である場合は、図５に示すように輝度検出範囲を低輝度方向に所定の微少な幅でシフトさせる。この際、画像データにおいて輝度が小さくなると白被写体の色温度変化に対する色ずれ色差も小さくなるため、色差方向の白検出範囲も同時に狭めるものとする。同図では、露光１、露光２、露光３、露光４、露光５で順次、輝度検出範囲を低輝度方向に微少な幅でシフトさせ、かつ色差方向の白検出範囲も同時に狭めた場合を示している。
【００４３】コントローラ６は、白検出パラメータの輝度検出範囲を低輝度方向にシフトさせ、かつ白検出パラメータの色差方向の検出範囲を狭めながら、信号処理回路４の白検出回路１４から入力される色積算値ΣＲ，ΣＧ，ΣＢが出力されるまで露光を繰り返し、色積算値ΣＲ，ΣＧ，ΣＢが「０」以外の値、すなわち白検出範囲にいくつかの画素が含まれた際に、白検出パラメータを再び高輝度領域の初期設定にリセットするとともに、白検出回路１４から入力される色積算値ΣＲ，ΣＧ，ΣＢに基づいてＲゲインとＢゲインの演算処理を行い、ホワイトバランス調整回路１２に対するＲゲイン、Ｂゲインを再設定する。
【００４４】また、コントローラ６は、色積算値ΣＲ，ΣＧ，ΣＢが出力されないまま白検出パラメータの輝度検出範囲が下限に達した際にも、白検出パラメータを初期設定にリセットし、再び、白検出回路１４に高輝度側より白検出動作を再開させる。以上の動作を繰り返し行うことで、コントローラ６におけるＲゲイン、Ｂゲインの演算は、常に画面内で最も輝度の高い領域に対して行われるこになる。
【００４５】図６は、信号処理回路４の白検出回路１４における白検出範囲を輝度方向から見た図であり、白被写体と肌色被写体が混在しているシーンの一例を示している。本発明においては、高輝度側から順次、白を検索していくため、露光２において色積算値が出力された時点で、最高輝度領域に白検出範囲がリセットされるため、肌色領域の色積算値が出力されることがなく、従来技術で生じていたような肌色に対する誤差を防止できる。
【００４６】つぎに、図１のデジタルカメラのホワイトバランス調整方法を図７のフローチャートに従って説明する。図７は、図１のデジタルカメラのホワイトバランス調整方法を説明するためのフローチャートを示している。
【００４７】図７において、まず、カメラの電源がＯＮされて起動されると、コントローラ６は、信号処理回路４のホワイトバランス調整回路１２のＲゲイン、Ｂゲインを太陽光などに対して適正値となる基準の値に初期化する（ステップＳ１）。ついで、コントローラ６は、信号処理回路４の白検出回路１４の白検出パラメータＹ＿ｍｉｎ（Ｙ下限値），Ｙ＿ｍａｘ（Ｙ上限値），Ｒ−Ｇ＿ｍｉｎ（Ｒ−Ｇ下限値），Ｒ−Ｇ＿ｍａｘ（Ｒ−Ｇ上限値），Ｂ−Ｇ＿ｍｉｎ（Ｒ−Ｇ下限値），Ｂ−Ｇ＿ｍａｘ（Ｂ−Ｇ上限値）を、上述したように高輝度領域に初期化する（ステップＳ２）。この後、露光制御を行って、光学メカ１、ＣＣＤ・ＣＤＳ回路２等を介して画像データを取り込み、信号処理回路４の白検出回路１４は取り込んだ画像データに対して白検出処理を行って色積算値ΣＲ，ΣＧ，ΣＢを算出し、コントローラ６に出力する（ステップＳ３）。
【００４８】コントローラ６は、白検出回路１４から入力される色積算値ΣＲ，ΣＧ，ΣＢが「０」であるか否かを判定し（ステップＳ４）、色積算値ΣＲ，ΣＧ，ΣＢが「０」である場合には、ステップＳ５に移行する一方、色積算値ΣＲ，ΣＧ，ΣＢが「０」でない場合には、ステップＳ８に移行する。
【００４９】ステップＳ５では、コントローラ６は、色積算値ΣＲ，ΣＧ，ΣＢが「０」である場合には、上述したように、白検出範囲の輝度検出範囲を低輝度方向にシフトさせ、色差検出範囲を狭めた白検出パラメータＹ＿ｍｉｎ（Ｙ下限値），Ｙ＿ｍａｘ（Ｙ上限値），Ｒ−Ｇ＿ｍｉｎ（Ｒ−Ｇ下限値），Ｒ−Ｇ＿ｍａｘ（Ｒ−Ｇ上限値），Ｂ−Ｇ＿ｍｉｎ（Ｂ−Ｇ下限値），Ｂ−Ｇ＿ｍａｘ（Ｂ−Ｇ上限値）を算出する。そして、コントローラ６は、演算した白検出パラメータのうち、輝度検出範囲Ｙ＿ｍｉｎ（Ｙ下限値）、Ｙ＿ｍａｘ（Ｙ上限値）が下限に達したか否かを判定し（ステップＳ６）、輝度検出範囲が下限に達していると判断した場合には、ステップＳ２に移行して、白検出パラメータを初期化してリセットを行う。他方、ステップＳ６で白検出パラメータの輝度検出範囲Ｙ＿ｍｉｎ（Ｙ下限値）、Ｙ＿ｍａｘ（Ｙ上限値）が下限に達していないと判断した場合には、ステップＳ７に移行して、上述のステップＳ５で演算した白検出パラメータＹ＿ｍｉｎ（Ｙ下限値），Ｙ＿ｍａｘ（Ｙ上限値），Ｒ−Ｇ＿ｍｉｎ（Ｒ−Ｇ下限値），Ｒ−Ｇ＿ｍａｘ（Ｒ−Ｇ上限値），Ｂ−Ｇ＿ｍｉｎ（Ｂ−Ｇ下限値），Ｂ−Ｇ＿ｍａｘ（Ｂ−Ｇ上限値）を信号処理回路４の白検出回路１４に設定して、ステップＳ３に戻り、次の露光制御が行われる。
【００５０】他方、ステップＳ８では、コントローラ６は、色積算値ΣＲ，ΣＧ，ΣＢが「０」でない場合には、色積算値ΣＲ，ΣＧ，ΣＢに基づいて信号処理回路４のホワイトバランス調整回路１２のＲゲインとＢゲインの値を演算する。この後、コントローラ６は、信号処理回路４のホワイトバランス調整回路１２に対して演算したＲゲイン、Ｂゲインの値を設定した後（ステップＳ９）、ステップＳ２に戻り、白検出パラメータを初期設定にリセットし、同じ処理を繰り返し実行する。このように、コントローラ６は、上記の処理を繰り返してフィードバック制御を行い、ホワイトバランス調整を行う。
【００５１】以上説明したように、本実施の形態においては、ホワイトバランス調整回路１２はカラー画像データのＲ，Ｂの画像データのゲインを調整してホワイトバランス調整を行い、白検出回路１４はホワイトバランス調整が行われたカラー画像データのうち、設定される白検出パラメータの範囲内にある画素を検出して、当該検出した画素の各色の画像データを各色毎に積算して各色毎の色積算値ΣＲ，ΣＧ，ΣＢを出力し、コントローラ６は各色毎の色積算値ΣＲ，ΣＧ，ΣＢが「０」とならない条件で、最も高輝度かつ狭い範囲となる白検出パラメータを算出して白検出回路１４に設定するとともに、各色毎の色積算値ΣＲ，ΣＧ，ΣＢが「０」とならない条件で、最も高輝度かつ狭い範囲となる白検出パラメータが白検出回路１４に設定された場合に出力される各色毎の色積算値ΣＲ，ΣＧ，ΣＢに基づいて、ホワイトバランス調整回路１２のＲ，Ｂのゲインを算出してホワイトバランス調整回路１２に設定してフィードバック制御を行うこととしたので、ホワイトバランス調整のＲゲイン、Ｂゲインを画面内で高輝度の領域に限定して白検出した色積算値を用いて決定することができ、白色と黒体輻射に沿った色温度変化による色ずれに相当する有彩色の被写体が混在したシーンでも、有彩色領域の影響を受けずに、誤差の少ないホワイトバランス調整を行うことが可能となる。付言すると、画面内で無彩色の領域のうち、白である可能性の最も高い、高輝度の領域を自動検索して、白検出処理した結果の色差積算値を用いているため、肌色などの誤差を生じ易い有彩色被写体の影響を防止できる。
【００５２】また、コントローラ６は、制御を開始する初期設定時には、白検出回路１４に対する白検出パラメータの輝度検出範囲を最も高輝度に相当する狭い領域に設定しておき、白検出回路１４の色積算値ΣＲ，ΣＧ，ΣＢが「０」であった場合は、所定の幅で白検出パラメータの輝度検出範囲を低輝度側にシフトさせていき、白検出回路１４に画面内で最も高輝度の画素を検出させるべく、白検出回路１４に対して白検出パラメータのフィードバック制御を行うこととしたので、画面内に高輝度の領域が存在しない場合には白検出の輝度領域を低輝度方向にシフトさせて順次検索し、最も輝度の高い領域で白検出された色積算値に基づいてホワイトバランス調整を行うことができ、画面内に白が存在していなくても、無彩色領域がある場合には適正なホワイトバランス調整が可能となる。
【００５３】また、コントローラ６は、白検出回路１４の白検出パラメータを低輝度側にシフトさせていき、白検出回路１４の色積算値ΣＲ，ΣＧ，ΣＢが「０」でなくなった場合と白検出パラメータの輝度検出範囲が設定可能な下限値に達した場合に、初期設定の白検出パラメータ（輝度検出範囲を最も高輝度に相当する狭い領域とした）にリセットすることとしたので、中間の輝度検出範囲で無彩色の領域が検出された場合や、輝度検出範囲の設定範囲の下限値まで検索しても画面内に無彩色の領域が存在しなかった場合に、白検出パラメータの高輝度領域へのリセット動作と低輝度方向への検索処理を続行し、画角が変化してより高輝度の白の領域が画面内に含まれしだい、直ぐにその領域における色積算値を用いてゲイン設定値の演算を実行でき、常に撮影画面に対して最も誤差の少ないホワイトバランス調整を行うことが可能となる。
【００５４】なお、上述の実施の形態の画像入力装置のホワイトバランス調整方法は、予め容易されたプログラムをパーソナルコンピュータや、ワークステーション等のコンピュータで実行することにしても良い。このプログラムは、ハードディスク、フロッピー（登録商標）ディスク、ＣＤ−ＲＯＭ、ＭＯ、ＤＶＤ等のコンピュータが読取可能な記録媒体から読み出されることによって実行される。また、このプログラムは、上記記録媒体を介して、また伝送媒体として、インターネット等のネットワークを介して配布することができる。
【００５５】また、本発明は上記した実施の形態に限定されるものではなく、発明の要旨を変更しない範囲で適宜変更可能である。例えば、ホワイトバランス調整回路１２で調整するゲインをＲ、Ｂとしているが、本発明はこれに限られるものではなく、Ｒ，Ｇ，Ｂのうち少なくとも２以上の組み合わせのゲインを調整することにしても良い。
【００５６】また、本発明の画像入力装置およびホワイトバランス調整方法は、ビデオカメラ、デジタルカメラ等に使用される撮像装置に広く適用可能である。
【００５７】
【発明の効果】以上説明したように、請求項１にかかる画像入力装置によれば、ホワイトバランス調整手段はカラー画像データのうち少なくとも２色の画像データのゲインを調整してホワイトバランス調整を行い、白検出手段は前記ホワイトバランス調整が行われたカラー画像データのうち、設定される白検出パラメータの範囲内にある画素を検出して、当該検出した画素の各色の画像データを各色毎に積算して各色毎の積算値を出力し、白検出パラメータ設定手段は各色毎の積算値が「０」とならない条件で、最も高輝度かつ狭い領域となる白検出パラメータを算出して、白検出手段に設定し、ホワイトバランス制御手段は、前記各色毎の積算値が「０」とならない条件で、最も高輝度かつ狭い領域となる白検出パラメータが前記白検出手段に設定された場合の前記各色毎の積算値に基づいて、利得調整手段の少なくとも２色のゲイン値を算出し、利得調整手段に設定してフィードバック制御を行うこととしたので、ホワイトバランス調整のＲゲイン、Ｂゲインを画面内で高輝度の領域に限定して白検出した色積算値を用いて決定することができ、白色と黒体輻射に沿った色温度変化による色ずれに相当する有彩色の被写体が混在したシーンでも、有彩色領域の影響を受けずに、誤差の少ないホワイトバランス調整を行うことが可能となる。
【００５８】また、請求項２にかかる画像入力装置によれば、請求項１にかかる画像入力装置において、白検出パラメータ設定手段は、初期設定時には白検出パラメータの輝度検出範囲のパラメータを最も高輝度かつ狭い領域に設定し、各色毎の積算値が「０」である場合は、所定の幅で白検出パラメータの輝度検出範囲を低輝度側にシフトさせていき、白検出手段に画面内で最も高輝度の画素を検出させるべく、白検出手段に対してフィードバック制御を行うこととしたので、画面内に高輝度の領域が存在しない場合には白検出の輝度領域を低輝度方向にシフトさせて順次検索し、最も輝度の高い領域で白検出された色積算値を用いたホワイトバランス調整を行うことができ、画面内に白が存在していなくても、無彩色領域があればホワイトバランス調整が可能となる。
【００５９】また、請求項３にかかる画像入力装置によれば、請求項２にかかる画像入力装置において、白検出パラメータ設定手段は、白検出パラメータの輝度検出範囲をを低輝度側にシフトさせていった場合に、各色毎の積算値が「０」でなくなった場合または白検出パラメータの輝度検出範囲が下限値に達した場合に、初期設定時の白検出パラメータにリセットすることとしたので、中間の輝度検出範囲で無彩色の領域が検出された場合や、輝度検出範囲の設定範囲の下限値まで検索しても画面内に無彩色の領域が存在しなかった場合に、白検出範囲の高輝度領域へのリセット動作と低輝度方向への検索処理を続行するため、画角が変化してより高輝度の白の領域が画面内に含まれしだい、直ぐにその領域に対する色積算値を用いてゲイン設定値の演算を実行でき、常に撮影画面に対して最も誤差の少ないホワイトバランス調整を行うことが可能となる。
【００６０】また、請求項４にかかるホワイトバランス調整方法によれば、カラー画像データのうち少なくとも２色の画像データのゲインを調整してホワイトバランス調整を行い、ホワイトバランス調整が行われたカラー画像データのうち、設定される白検出パラメータの範囲内にある画素を検出して、当該検出した画素の各色の画像データを各色毎に積算して各色毎の積算値を出力し、各色毎の積算値が「０」とならない条件で、最も高輝度かつ狭い領域となる白検出パラメータを算出して設定し、各色毎の積算値が「０」とならない条件で、最も高輝度かつ狭い領域となる白検出パラメータが設定された場合の各色毎の積算値に基づいて、少なくとも２色の画像データのゲイン値を算出し設定してフィードバック制御を行うこととしたので、ホワイトバランス調整のＲゲイン、Ｂゲイン等を画面内で高輝度の領域に限定して白検出した色積算値を用いて決定することができ、白色と黒体輻射に沿った色温度変化による色ずれに相当する有彩色の被写体が混在したシーンでも、有彩色領域の影響を受けずに、誤差の少ないホワイトバランス調整を行うことが可能となる。
【００６１】また、請求項５にかかるホワイトバランス調整方法によれば、初期設定時に白検出パラメータの輝度検出範囲のパラメータを最も高輝度に相当する狭い領域に設定し、カラー画像データのうち少なくとも２色の画像データのゲインを調整してホワイトバランス調整を行い、ホワイトバランス調整が行われたカラー画像データのうち、設定される白検出パラメータの範囲内にある画素を検出して、当該検出した画素の各色の画像データを各色毎に積算して各色毎の積算値を出力し、各色毎の積算値が「０」とならない条件で、最も高輝度かつ狭い領域となる白検出パラメータを算出して設定し、各色毎の積算値が「０」とならない条件で、最も高輝度かつ狭い領域となる白検出パラメータが設定された場合の各色毎の積算値に基づいて、少なくとも２色のゲイン値を算出し設定してフィードバック制御を行い、各色毎の積算値が「０」である場合に、所定の幅で白検出パラメータの輝度検出範囲を低輝度側にシフトさせることとしたので、画面内に高輝度の領域が存在しない場合には白検出の輝度領域を低輝度方向にシフトさせて順次検索して、最も輝度の高い領域で白検出された積算値を用いたホワイトバランス調整を行うことができ、画面内に白が存在していなくても、無彩色領域があればホワイトバランス調整が可能となる。
【００６２】また、請求項６にかかるホワイトバランス調整方法によれば、初期設定時に白検出パラメータの輝度検出範囲のパラメータを最も高輝度に相当する狭い領域に設定し、カラー画像データのうち少なくとも２色の画像データのゲインを調整してホワイトバランス調整を行うステップと、前記ホワイトバランス調整が行われたカラー画像データのうち、設定される白検出パラメータの範囲内にある画素を検出して、当該検出した画素の各色の画像データを各色毎に積算して各色毎の積算値を出力し、各色毎の積算値が「０」とならない条件で、最も高輝度かつ狭い範囲となる白検出パラメータを算出して設定し、各色毎の積算値が「０」とならない条件で、最も高輝度かつ狭い領域となる白検出パラメータが設定された場合の各色毎の積算値に基づいて、少なくとも２色のゲイン値を算出し設定してフィードバック制御を行い、各色毎の積算値出力が「０」である場合に、所定の幅で白検出パラメータの輝度検出範囲を低輝度側にシフトさせ、各色毎の積算値が「０」でなくなった場合または白検出パラメータの輝度検出範囲が下限値に達した場合に、初期設定時の白検出パラメータにリセットすることとしたので、中間の輝度検出範囲で無彩色の領域が検出された場合や、輝度検出範囲の設定範囲の下限値まで検索しても画面内に無彩色の領域が存在しなかった場合に、白検出範囲の高輝度領域へのリセット動作と低輝度方向への検索処理を実行し続けるため、画角が変化してより高輝度の白の領域が画面内に含まれしだい、直ぐにその領域に対する色積算値を用いてゲイン設定値の演算を実行でき、常に撮影画面に対して最も誤差の少ないホワイトバランス調整を行うことが可能となる。
【００６３】また、請求項７にかかる記録媒体によれば、コンピュータにより記録媒体に格納されたプログラムを実行することにより、請求項４〜請求項６のいずれか１つにかかる発明の各工程を実現することとしたので、ホワイトバランス調整のＲゲイン、Ｂゲイン等を画面内で高輝度の領域に限定して白検出した色積算値を用いて決定することができ、白色と黒体輻射に沿った色温度変化による色ずれに相当する有彩色の被写体が混在したシーンでも、有彩色領域の影響を受けずに、誤差の少ないホワイトバランス調整を行うことが可能となる。
【図面の簡単な説明】
【図１】本実施の形態にかかるデジタルカメラのブロック図である。
【図２】図１の白検出回路の白検出範囲を説明するための図である。
【図３】白検出範囲Ｗrangeの色差平面（Ｒ−Ｇ、Ｂ−Ｇ）を示す図である。
【図４】白検出範囲Ｗrangeの輝度方向の検出領域（輝度検出範囲）を示した図である。
【図５】白検出パラメータのシフトを説明するための図であり、白検出回路における白検出範囲Ｗrangeを輝度方向から見た図である。
【図６】肌色を含んだ被写体の場合の白検出パラメータのシフトを説明するための図であり、白検出回路における白検出範囲Ｗrangeを輝度方向から見た図である。
【図７】図１のデジタルカメラのホワイトバランス調整方法を説明するためのフローチャートである。
【図８】従来の白検出方式を説明するための図である。
【符号の説明】
１ 光学メカ
２ ＣＣＤ・ＣＤＳ回路
３ Ａ／Ｄ変換器
４ 信号処理回路
５ 画像出力装置
６ コントローラ
１１ マトリクス回路
１２ ホワイトバランス調整回路
１３ 色差演算回路
１４ 白検出回路
【特許請求の範囲】
【請求項１】 入力されるカラー画像データのゲインを調整してホワイトバランスを行う画像入力装置において、前記カラー画像データのうち少なくとも２色の画像データのゲインを調整してホワイトバランス調整を行うホワイトバランス調整手段と、前記ホワイトバランス調整が行われたカラー画像データのうち、設定される白検出パラメータの範囲内にある画素を検出して、当該検出した画素の各色の画像データを各色毎に積算して各色毎の積算値を出力する白検出手段と、前記各色毎の積算値が「０」とならない条件で、最も高輝度かつ狭い領域となる白検出パラメータを算出して、前記白検出手段に設定する白検出パラメータ設定手段と、前記各色毎の積算値が「０」とならない条件で、最も高輝度かつ狭い領域となる白検出パラメータが前記白検出手段に設定された場合の前記各色毎の積算値に基づいて、前記利得調整手段の少なくとも２色のゲイン値を算出し、前記利得調整手段に設定してフィードバック制御するホワイトバランス制御手段と、を備えたことを特徴とする画像入力装置。
【請求項２】 前記白検出パラメータ設定手段は、初期設定時には前記白検出パラメータの輝度検出範囲を最も高輝度かつ狭い領域に設定し、前記各色毎の積算値が「０」である場合は、所定の幅で前記白検出パラメータの輝度検出範囲を低輝度側にシフトさせていき、前記白検出手段に画面内で最も高輝度の画素を検出させるべく、前記白検出手段に対してフィードバック制御を行うことを特徴とする請求項１に記載の画像入力装置。
【請求項３】 前記白検出パラメータ設定手段は、前記白検出パラメータの輝度検出範囲の低輝度側にシフトさせていった場合に、前記各色毎の積算値が「０」でなくなった場合または前記白検出パラメータの輝度検出範囲が下限値に達した場合に、初期設定時の白検出パラメータにリセットすることを特徴とする請求項２に記載の画像入力装置。
【請求項４】 入力されるカラー画像データのゲインを調整してホワイトバランスを行うホワイトバランス調整方法において、カラー画像データのうち少なくとも２色の画像データのゲインを調整してホワイトバランス調整を行うステップと、前記ホワイトバランス調整が行われたカラー画像データのうち、設定される白検出パラメータの範囲内にある画素を検出して、当該検出した画素の各色の画像データを各色毎に積算して各色毎の積算値を出力するステップと、前記各色毎の積算値が「０」とならない条件で、最も高輝度かつ狭い領域となる白検出パラメータを算出して設定するステップと、前記各色毎の積算値が「０」とならない条件で、最も高輝度かつ狭い領域となる白検出パラメータが設定された場合の前記各色毎の積算値に基づいて、前記少なくとも２色のゲイン値を算出し設定してフィードバック制御を行うステップと、を含むことを特徴とするホワイトバランス調整方法。
【請求項５】 入力されるカラー画像データのゲインを調整してホワイトバランスを行うホワイトバランス調整方法において、初期設定時に白検出パラメータの輝度検出範囲のパラメータを最も高輝度に相当する狭い領域に設定するステップと、カラー画像データのうち少なくとも２色の画像データのゲインを調整してホワイトバランス調整を行うステップと、前記ホワイトバランス調整が行われたカラー画像データのうち、設定される白検出パラメータの範囲内にある画素を検出して、当該検出した画素の各色の画像データを各色毎に積算して各色毎の積算値を出力するステップと、前記各色毎の積算値が「０」とならない条件で、最も高輝度かつ狭い領域となる白検出パラメータを算出して設定するステップと、前記各色毎の積算値が「０」とならない条件で、最も高輝度かつ狭い領域となる白検出パラメータが設定された場合の前記各色毎の積算値に基づいて、前記少なくとも２色のゲイン値を算出し設定してフィードバック制御を行うステップと、前記各色毎の積算値が「０」である場合に、所定の幅で白検出パラメータの輝度検出範囲を低輝度側にシフトさせるステップと、を含むことを特徴とするホワイトバランス調整方法。
【請求項６】 入力されるカラー画像データのゲインを調整してホワイトバランスを行うホワイトバランス調整方法において、初期設定時に白検出パラメータの輝度検出範囲のパラメータを最も高輝度に相当する狭い領域に設定するステップと、カラー画像データのうち少なくとも２色の画像データのゲインを調整してホワイトバランス調整を行うステップと、前記ホワイトバランス調整が行われたカラー画像データのうち、設定される白検出パラメータの範囲内にある画素を検出して、当該検出した画素の各色の画像データを各色毎に積算して各色毎の積算値を出力するステップと、前記各色毎の積算値が「０」とならない条件で、最も高輝度かつ狭い領域となる白検出パラメータを算出して設定するステップと、前記各色毎の積算値が「０」とならない条件で、最も高輝度かつ狭い領域となる白検出パラメータが設定された場合の前記各色毎の積算値に基づいて、前記少なくとも２色のゲイン値を算出し設定してフィードバック制御を行うステップと、前記各色毎の積算値が「０」である場合に、所定の幅で白検出パラメータの輝度検出範囲を低輝度側にシフトさせるステップと、前記各色毎の積算値が「０」でなくなった場合または白検出パラメータの輝度検出範囲が下限値に達した場合に、初期設定時の白検出パラメータにリセットするステップと、を含むことを特徴とするホワイトバランス調整方法。
【請求項７】 請求項４〜請求項６のいずれか１つにかかる発明の各工程を実行するためのプログラムを格納したことを特徴とするコンピュータが読取可能な記録媒体。
【請求項１】 入力されるカラー画像データのゲインを調整してホワイトバランスを行う画像入力装置において、前記カラー画像データのうち少なくとも２色の画像データのゲインを調整してホワイトバランス調整を行うホワイトバランス調整手段と、前記ホワイトバランス調整が行われたカラー画像データのうち、設定される白検出パラメータの範囲内にある画素を検出して、当該検出した画素の各色の画像データを各色毎に積算して各色毎の積算値を出力する白検出手段と、前記各色毎の積算値が「０」とならない条件で、最も高輝度かつ狭い領域となる白検出パラメータを算出して、前記白検出手段に設定する白検出パラメータ設定手段と、前記各色毎の積算値が「０」とならない条件で、最も高輝度かつ狭い領域となる白検出パラメータが前記白検出手段に設定された場合の前記各色毎の積算値に基づいて、前記利得調整手段の少なくとも２色のゲイン値を算出し、前記利得調整手段に設定してフィードバック制御するホワイトバランス制御手段と、を備えたことを特徴とする画像入力装置。
【請求項２】 前記白検出パラメータ設定手段は、初期設定時には前記白検出パラメータの輝度検出範囲を最も高輝度かつ狭い領域に設定し、前記各色毎の積算値が「０」である場合は、所定の幅で前記白検出パラメータの輝度検出範囲を低輝度側にシフトさせていき、前記白検出手段に画面内で最も高輝度の画素を検出させるべく、前記白検出手段に対してフィードバック制御を行うことを特徴とする請求項１に記載の画像入力装置。
【請求項３】 前記白検出パラメータ設定手段は、前記白検出パラメータの輝度検出範囲の低輝度側にシフトさせていった場合に、前記各色毎の積算値が「０」でなくなった場合または前記白検出パラメータの輝度検出範囲が下限値に達した場合に、初期設定時の白検出パラメータにリセットすることを特徴とする請求項２に記載の画像入力装置。
【請求項４】 入力されるカラー画像データのゲインを調整してホワイトバランスを行うホワイトバランス調整方法において、カラー画像データのうち少なくとも２色の画像データのゲインを調整してホワイトバランス調整を行うステップと、前記ホワイトバランス調整が行われたカラー画像データのうち、設定される白検出パラメータの範囲内にある画素を検出して、当該検出した画素の各色の画像データを各色毎に積算して各色毎の積算値を出力するステップと、前記各色毎の積算値が「０」とならない条件で、最も高輝度かつ狭い領域となる白検出パラメータを算出して設定するステップと、前記各色毎の積算値が「０」とならない条件で、最も高輝度かつ狭い領域となる白検出パラメータが設定された場合の前記各色毎の積算値に基づいて、前記少なくとも２色のゲイン値を算出し設定してフィードバック制御を行うステップと、を含むことを特徴とするホワイトバランス調整方法。
【請求項５】 入力されるカラー画像データのゲインを調整してホワイトバランスを行うホワイトバランス調整方法において、初期設定時に白検出パラメータの輝度検出範囲のパラメータを最も高輝度に相当する狭い領域に設定するステップと、カラー画像データのうち少なくとも２色の画像データのゲインを調整してホワイトバランス調整を行うステップと、前記ホワイトバランス調整が行われたカラー画像データのうち、設定される白検出パラメータの範囲内にある画素を検出して、当該検出した画素の各色の画像データを各色毎に積算して各色毎の積算値を出力するステップと、前記各色毎の積算値が「０」とならない条件で、最も高輝度かつ狭い領域となる白検出パラメータを算出して設定するステップと、前記各色毎の積算値が「０」とならない条件で、最も高輝度かつ狭い領域となる白検出パラメータが設定された場合の前記各色毎の積算値に基づいて、前記少なくとも２色のゲイン値を算出し設定してフィードバック制御を行うステップと、前記各色毎の積算値が「０」である場合に、所定の幅で白検出パラメータの輝度検出範囲を低輝度側にシフトさせるステップと、を含むことを特徴とするホワイトバランス調整方法。
【請求項６】 入力されるカラー画像データのゲインを調整してホワイトバランスを行うホワイトバランス調整方法において、初期設定時に白検出パラメータの輝度検出範囲のパラメータを最も高輝度に相当する狭い領域に設定するステップと、カラー画像データのうち少なくとも２色の画像データのゲインを調整してホワイトバランス調整を行うステップと、前記ホワイトバランス調整が行われたカラー画像データのうち、設定される白検出パラメータの範囲内にある画素を検出して、当該検出した画素の各色の画像データを各色毎に積算して各色毎の積算値を出力するステップと、前記各色毎の積算値が「０」とならない条件で、最も高輝度かつ狭い領域となる白検出パラメータを算出して設定するステップと、前記各色毎の積算値が「０」とならない条件で、最も高輝度かつ狭い領域となる白検出パラメータが設定された場合の前記各色毎の積算値に基づいて、前記少なくとも２色のゲイン値を算出し設定してフィードバック制御を行うステップと、前記各色毎の積算値が「０」である場合に、所定の幅で白検出パラメータの輝度検出範囲を低輝度側にシフトさせるステップと、前記各色毎の積算値が「０」でなくなった場合または白検出パラメータの輝度検出範囲が下限値に達した場合に、初期設定時の白検出パラメータにリセットするステップと、を含むことを特徴とするホワイトバランス調整方法。
【請求項７】 請求項４〜請求項６のいずれか１つにかかる発明の各工程を実行するためのプログラムを格納したことを特徴とするコンピュータが読取可能な記録媒体。
【図１】
【図４】
【図８】
【図２】
【図３】
【図５】
【図６】
【図７】
【図４】
【図８】
【図２】
【図３】
【図５】
【図６】
【図７】
【公開番号】特開２００２−２７４９１（Ｐ２００２−２７４９１Ａ）
【公開日】平成１４年１月２５日（２００２．１．２５）
【国際特許分類】
【出願番号】特願２０００−２００２７０（Ｐ２０００−２００２７０）
【出願日】平成１２年６月３０日（２０００．６．３０）
【出願人】（０００００６７４７）株式会社リコー (37,907)
【Ｆターム（参考）】
【公開日】平成１４年１月２５日（２００２．１．２５）
【国際特許分類】
【出願日】平成１２年６月３０日（２０００．６．３０）
【出願人】（０００００６７４７）株式会社リコー (37,907)
【Ｆターム（参考）】
[ Back to top ]