画像処理装置および撮像装置
【課題】環境の色温度が変化しても、表示画像のホワイトバランス調整を精度よく行う。
【解決手段】画素信号から色信号を分離する原色分離器と、分離された色信号を所定期間積分する積分回路と、積分された色信号を色座標データに変換する座標軸変換部と、原色信号を予め測定し、測定したデータの色温度データを評価基準データとして記憶する記憶回路と、記評価基準データと新たに座標軸変換部から出力された色温度データとを比較する色温度比較部と、画像の特定された領域を積分領域として選択し、該積分領域で色信号を積分するように積分回路を制御し、色温度比較部から出力された比較データに応じて画像の特定領域の色温度を推定する制御部とを有し、環境色温度が変化しても色温度を精度良く推定し、ホワイトバランス調整する。
【解決手段】画素信号から色信号を分離する原色分離器と、分離された色信号を所定期間積分する積分回路と、積分された色信号を色座標データに変換する座標軸変換部と、原色信号を予め測定し、測定したデータの色温度データを評価基準データとして記憶する記憶回路と、記評価基準データと新たに座標軸変換部から出力された色温度データとを比較する色温度比較部と、画像の特定された領域を積分領域として選択し、該積分領域で色信号を積分するように積分回路を制御し、色温度比較部から出力された比較データに応じて画像の特定領域の色温度を推定する制御部とを有し、環境色温度が変化しても色温度を精度良く推定し、ホワイトバランス調整する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、固体撮像素子などを用いた画像処理装置および撮像装置に関し、特に画像の固定被写体の情報を用いて、固定被写体の基準値の色の変化から色温度を推定する画像処理装置および撮像装置に関する。
【背景技術】
【０００２】
ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）やＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）デバイスなどの固体撮像装置またはこれを用いた撮像装置（デジタルカメラやビデオカメラ）において、色温度が異なる光源状態でも、白色を正確に白く映し出すようにホワイトバランスを制御して補正する。
図１１に、ホワイトバランス制御を実施する信号処理のシステム構成を示す。
図１１に示すように、固体撮像素子、例えばＣＣＤ型撮像素子等によって得られた電気信号が信号処理され、ディジタル信号として原色分離器２０１に入力される。原色分離器２０１では入力されたディジタル信号がＲ（赤）、Ｇ（緑）、B（青）の原色信号に分離される。分離された色信号はホワイトバランスアンプ（WBアンプ）２０２に入力される。
また、原色分離されたＲ，Ｇ，Ｂ信号は、ホワイトバランス調整に利用するために、オプティカルディテクタ回路（ＯＰＤ）２０３にも供給される。オプティカルディテクタ回路２０３はＲ，Ｇ，Ｄ信号をフィールド毎に積分する積分回路などで構成される。オプティカルディテクタ回路２０３で得られた積分値データは、次段のコントローラ２０４に供給される。
【０００３】
コントローラ２０４は、オプティカルディテクタ回路２０３から供給されるR'、Ｂ'、G'色信号の各積分値データを基に、（R'−Ｂ'）／G'のデータと、（R'＋Ｂ'−２G'）／G'のデータを演算しこの結果を出力する機能と、（R'−Ｂ'）／G'、 （R'＋Ｂ'−２G'）／G'の各座標データに基づいてＲ信号、Ｇ信号、Ｂ信号の各ゲインを設定するゲイン設定の機能を備える。なお、これらの機能をソフトウェアによって実行する。コントローラ２０４のソフトウェア実行により得られた各ゲインの設定値は、各ホワイトバランスアンプ２０２に供給されて、Ｒ，Ｇ，Ｂ信号に関する各ゲインを調整する。
ここで、ホワイトバランスを調整するとは、推測した色温度のＲ，Ｇ，Ｂ各信号の比率が等しくなるようにホワイトバランスアンプ２０２を調整することをいう。
【０００４】
色温度の推測方法は、特許文献１に開示されているように、黒体放射カーブを用いて推測する方法がある。
この方式において、ホワイトバランスを調整するにあたっては、推測した色温度を下記の式により設定している。
【０００５】
R信号×Rゲイン−G信号×Gゲイン＝B信号×Bゲイン−G信号×Gゲイン＝０
・・・（１）
【０００６】
すなわちR：G：B＝1：1：1が成り立つように、ホワイトバランスアンプ２０２を制御する。
また、引用文献２では、アミューズメントカメラの背景の白い壁などを固定被写体として、カメラの有効領域内で全て白であることを前提に、ホワイトバランス制御を行い、人の肌色が薄くならないように制御することを開示している。
【特許文献１】特開２００４−３２０６７１号公報
【特許文献２】特開２０００−５９８０７号公報
【発明の開示】
【発明が解決しようとする課題】
【０００７】
しかしながら、上述した例においては被写体が何であるかを特定できなかったため、有効領域全画素のＲ：Ｇ：Ｂの割合が１：１：１であることを前提に、色温度(光源)を推定していた。これにより正確な色温度を推定できず、Ｒ：Ｇ：Ｂ＝１：１：１とするホワイトバランス制御を行うことで被写体本来の色を崩してしまう問題点があった。
本発明は、上記問題に鑑み、どのような色の固定被写体でも精度の高い色温度を推定でき、色温度にあったホワイトバランス調整を行う画像処理装置および撮像装置を提供することにある。
【課題を解決するための手段】
【０００８】
本発明の画像処理装置は、画素信号から色信号を分離する原色分離器と、分離された色信号を所定期間積分する積分回路と、積分された色信号を色座標データに変換する座標軸変換部と、上記色信号を予め測定し、測定した色信号の色温度を評価基準データとして記憶する記憶回路と、上記評価基準データと新たに上記座標軸変換部から出力された色温度データとを比較する色温度比較部と、画像の特定された領域を積分領域として選択し、該積分領域で色信号を積分するように上記積分回路を制御し、上記色温度比較部から出力された比較データに応じて上記画像の特定領域の色温度を推定する制御部とを有する。
【０００９】
本発明の撮像装置は、撮像素子と、上記撮像素子から出力された画素信号を色信号に分離する原色分離器と、分離された色信号を所定期間積分する積分回路と、積分された色信号を色座標データに変換する座標軸変換部と、上記積分領域の画素信号を予め測定し、測定した色温度データを評価基準データとして記憶する記憶回路と、上記評価基準データと上記座標軸変換回路から出力された色温度データとを比較する色温度比較部と、画像の特定された領域を積分領域として選択し、該積分領域で色信号を積分するように上記積分回路を制御し、上記色温度比較部から出力された比較データに応じて上記画像の特定領域の色温度を推定する制御部と、上記制御部で推定された色温度によりホワイトバランス調整し、該調整された色信号と上記画素信号の輝度信号を信号処理して画像信号を発生する信号処理回路とを有する。
【００１０】
本発明の画像処理装置および撮像装置は、表示画像に所定の固定被写体が存在するようにし、この固定被写体内に積分領域を設定する。環境温度を可変したときのこの積分領域の画素信号の色温度を基準データとして蓄積し、撮影中の特定された積分領域の色温度データと蓄積された基準データとを比較して色温度を推定し、この推定温度に応じてホワイトバランスの調整を行う。
【発明の効果】
【００１１】
本発明の画像処理装置および撮像装置は、特定された積分領域の色の変化から精度の高い色温度を推定できる。また、特定された積分領域の色の変化から、赤外線カットフィルタなしの撮像システムでも色温度を推定することができ、被写体に依存しない精度の高いホワイトバランス制御を行うことができる。
本発明は、ＣＣＤやＣＭＯＳデバイスなどを用いた固体撮像素子の画像処理装置および撮像装置において、特に撮影環境の変化におけるホワイトバランス制御を精度よく行うことができる。
【発明を実施するための最良の形態】
【００１２】
図１に本発明の実施の形態に係る固体撮像装置（カメラ装置）１０の概略構成図を示す。以下ＣＣＤデバイスを用いた固体撮像装置について説明するが、本発明はそれ以外の撮像素子を用いた撮像装置にも適用できる。
固体撮像装置１０は、例えば、レンズ１１、撮像素子１２、ＣＤＳ（相関二重サンプリング）やプリアンプなどを有するプリアンプ１３、Ａ／Ｄ（アナログ／ディジタル）変換器１４と、前処理部１５、原色分離器１６、輝度信号処理部（７０）、色信号処理部（８０）を有する信号処理部（５０）などで構成される。信号処理部（５０）については、後述する。
なお、色信号処理部（８０）の一部は、図１に示すように、ホワイトバランスアンプ１７、オプティカルディテクタ回路１８、コントローラ１９で構成される。
【００１３】
レンズ１１は、被写体（図示せず）の画像を撮像素子１２の撮像面上に投写する。撮像素子１２は、例えば、ＣＣＤやＣＭＯＳデバイスなどからなり、レンズ１１を透過した画像を電気信号に変換し、画素信号としてＣＤＳ（相関二重サンプリング）やプリアンプなどを有するプリアンプ１３に供給する。
【００１４】
プリアンプ１３は、撮像素子１２からの画素信号をサンプルホールドして必要なデータを取り出すと共に、適正なレベルに合わせるためにゲインコントロール（ＡＧＣ）を行い、また黒レベル調整も行う。このプリアンプ１３の出力信号は、後段のＡ／Ｄ変換器１４に出力される。
【００１５】
Ａ／Ｄ変換器１４は、画素（画像）信号を取り扱うため、一般に１０〜１２ビット精度のものが採用され、プリアンプ１３から供給された出力信号をアナログ信号からディジタル信号に変換し、ディジタル信号を後段に接続された信号処理部５０に出力する。
【００１６】
信号処理部５０は、例えば、前処理部１５、原色分離器１６、輝度信号処理部７０と色信号処理部８０で構成され、ディジタル信号処理が行われる。
【００１７】
前処理部１５では、黒検出、ディジタルゲイン調整（Ｄｉｇｉｔａｌ Ｇａｉｎ Ｃｏｎｔｒｏｌ）、レンズ１１で生じるシェーディングの補正や、遅延線を用いて輝度信号（データ）と色信号（データ）を分離し、また遅延線を用いて画素欠陥の補正を行う。
【００１８】
原色分離器１６は、前処理部１５で補正処理されたディジタル信号から、赤（Ｒ）、青（Ｂ）、緑（Ｇ）の原色信号を抽出する。
【００１９】
輝度信号処理部７０はＹ（輝度）信号の垂直・水平（方向）輪郭補正（ＶＨアパーチャーコントロール）、Ｙ輝度信号と垂直・水平輪郭補正信号のＭｉｘ（混合；加算）処理、γ（ガンマ）補正、ルミナンス（輝度）キー処理、画像の一部領域を任意の輝度などに処理するソラリ、また画像を反転するネガ処理などの種々の画像処理を行う。輝度信号処理部７０の詳細については後述する。
【００２０】
色信号処理部８０は、色分離やクランプ処理、色信号のノイズや色偽信号の除去、ＲＧＢマトリックス（Ｍａｔｒｉｘ）処理、Ｒ，Ｇ，Ｂの各色の係数を可変するホワイトバランス（ＷＢ）調整、γ（ガンマ）補正、Ｒ−Ｇ／Ｂ−Ｇ変換，色偽信号の抑圧処理、色差信号（Ｃｒ／Ｃｂ）の生成、クロマサプレス（抑制）処理，Ｈｕｅ／Ｇａｉｎ調整，モノトーン効果処理などを行う。色信号処理部８０の詳細については後述する。
【００２１】
図２に信号処理部５０のブロック構成例を示す。
信号処理部５０は、主に前処理部６０、Ｙ−ブロック（輝度信号処理部）７０とＣ−ブロック（色信号処理部）８０の３つのブロックで構成されている。
【００２２】
前処理部６０は、黒検出部６１、加算器６２、ディジタルゲイン調整部６３、シェーディング補正部６４、遅延線／欠陥補正部６５などで構成されている。
【００２３】
黒検出部６１はＡ／Ｄ変換器１４から出力されたディジタルデータ（ＡＤｉｎ）を用いて、入力データ（信号）の黒レベルを計算し、クランプレベルを計算するためのデータを出力する。
【００２４】
加算器６２は、ディジタルデータ（ＡＤｉｎ）から黒レベルを減算処理し、黒レベルを基準とした（黒レベルにクランプされた）新たな画素信号（データ）を生成する。
【００２５】
ディジタルゲイン調整部６３は、加算器６２から出力された黒レベルにクランプされたデータの利得をディジタル的に可変して明るさを調整する。
【００２６】
シェーディング補正部６４は、レンズ１１の口径により画像の中心部に対して周辺部は輝度の差（ムラ）があり、この輝度ムラを補正する。
【００２７】
遅延線／欠陥補正部６５は、遅延線と演算（加算・減算）器を用いて入力データを輝度信号（データ）と色信号（データ）に分離する。また、遅延素子で入力データを、たとえば１画素、２画素遅延させ、欠陥画素の前後のデータを平均化した値を求め、それを欠陥画素と置換して、画素の欠陥補正を行っている。
【００２８】
遅延線／欠陥補正部６５で、欠陥補正され、さらに輝度信号と色信号に分離されたデータはそれぞれ輝度信号処理部（Ｙ−ブロック）７０と色信号処理部（Ｃ−ブロック）８０に供給される。
【００２９】
輝度信号処理部（Ｙ−ブロック）７０は、ＹＬＰＦ（輝度信号Ｌｏｗ Ｐａｓｓ Ｆｉｌｔｅｒ；輝度信号ローパスフィルタ）７１、垂直・水平輪郭補正（ＶＨアパーチャーコントロール；ＶＨアパコン）部７２、輪郭補正加算器（輪郭補正Ｍｉｘ；アパーチャーコントロールＭｉｘ）７３、γ（ガンマ）補正部７４、画像エフェクト処理部７５、クロマサプレス用信号生成部７６などで構成される。
【００３０】
ＹＬＰＦ７１は、輝度信号に関するデータを加算演算処理して、等価的にノイズを除去している。
【００３１】
垂直・水平輪郭補正部７２は、遅延素子と加算・減算処理する演算器を用いて、画像の水平方向の輪郭部を強調するパルスを生成し、また画像の垂直方向の輪郭部を強調するパルスも生成する。
【００３２】
輪郭補正加算器（輪郭補正Ｍｉｘ）７３は、垂直・水平輪郭補正部７２から出力された水平方向の輪郭補正パルスと垂直方向の輪郭補正パルスと、ＹＬＰＦ７１から供給された輝度データが供給され、これらを加算処理して輪郭が強調された輝度データとして出力する。
【００３３】
ガンマ（γ）補正部７４は、たとえば表示装置をＣＲＴ（Ｃａｔｈｏｄｅ ｒａｙ ｔｕｂｅ；受像管）とすると、このＣＲＴのγ特性が２．２であるので、あらかじめ撮像側で１／γ＝０．４５と入出力特性のカーブを補正して、ＣＲＴ側で画像の階調が正しく再現されるようにし、正しい再生画像が得られるように補正する。
【００３４】
画像エフェクト処理部７５は、ルミナンス（輝度）キー処理、画像の一部領域を任意の輝度などに処理するソラリ処理、また画像を反転するネガ処理などを行う。
【００３５】
クロマサプレス用信号生成部７６は、垂直・水平輪郭補正部７２で生成したパルス信号から、画像輪郭部のパルスを用いて、クロマ（色）データを削除する制御信号を発生する。
【００３６】
次に、図２に示す色信号処理部８０について説明する。
色信号処理部８０は、遅延線／欠陥補正部６５で処理された色信号が入力され、原色分離器１６、オプティカルディテクタ回路１８、コントローラ１９、ホワイトバランスアンプ（ホワイトバランス調整部）１７、ガンマ（γ）補正部８５、Ｒ−Ｇ／Ｂ−Ｇ変換部８６、Ｃｒ／Ｃｂ生成部８７、クロマサプレス，Ｈｕｅ（色相制御）／Ｇａｉｎ（ゲイン）調整部（モノトーン効果）８８などで構成される。
【００３７】
原色分離器１６は、前処理部６０の遅延線／欠陥補正部６５から出力された画素信号（データ）を色分離し、また所定の値にクランプする。
【００３８】
オプティカルディテクタ回路１８の積分回路は、原色分離器１６から出力されたＲ信号、Ｇ信号、Ｂ信号を１フィールド（または１フレーム）期間それぞれ積分し、その積分された色信号をコントローラ１９に出力する。
また、図３に示す固定被写体枠内積分部１０１は、固定被写体枠のＲ，Ｇ，Ｂ信号が供給される。固定された被写体の制限枠のアドレスになると固定被写体枠内積分部１０１が動作を開始し、原色分離器１６から供給されたＲ，Ｇ，Ｂ信号が固定被写体枠内で積分される。
【００３９】
コントローラ１９は、マイクロコンピュータや制御プログラムやデータが記憶される記憶装置などが設けられている。このコントローラ１９は図３に示すように色信号に関するデータ処理を行う座標軸変換部１０２、色温度比較部１０３と評価データ記憶装置１０４などで構成される。
コントローラ１９は、オプティカルディテクタ回路１８で検出された信号に応じて、黒検出部６１に制御信号を供給し、黒レベルを制御する。また、コントローラ１９は、オプティカルディテクタ回路１８の固定被写体枠内積分部１０１の動作を制御し、固定被写体の積分領域ｂのアドレスカウントや積分動作制御を行い、積分された色信号を演算処理して座標変換し、この値と評価データ記憶装置に記憶された評価色温度から、表示画像の色温度を推定する。
なお、固定被写体枠内積分部１０１、座標軸変換部１０２、色温度比較部１０３などは、マイクロコンピュータによりソフトウェアにより構成することができるが、勿論これ以外にハードウェアで構成することもできる。
【００４０】
ホワイトバランスアンプ（ＷＢアンプ）１７は、Ｒ信号用アンプ１７ｒ、Ｇ信号用アンプ１７ｇ、Ｂ信号用アンプ１７ｂで構成され、コントローラ１９から出力された色温度情報に応じて、ゲインが設定される。
【００４１】
次に、ホワイトバランス調整の主要部について説明する。
図１、図２に示すように、ホワイトバランス調整の主要部は、オプティカルディテクタ回路１８とコントローラ１９で構成される。
図３に、ホワイトバランス調整の主要部の具体構成例を示す。図３において、図２のオプティカルディテクタ回路１８は通常の積分回路と固定被写体枠内積分部１０１などで構成され、またコントローラ１９の一部は、座標軸変換部１０２、色温度比較部１０３、評価データ記憶装置１０４で構成される。
【００４２】
コントローラ１９に設けられた座標軸変換部１０２は、マイクロコンピュータなどの制御回路により、固定被写体枠内積分部１０１から供給された固定被写体枠内の積分データ（積分された色信号）Ｒ’，Ｂ’，Ｇ’信号を用いて、水平軸に（Ｒ’＋Ｂ’−２Ｇ’）／Ｇ’に変換し、垂直軸に（Ｒ’−Ｂ’）／Ｇ’と変換し、色座標変換する。この変換された座標値が色温度比較部１０３に出力される。
【００４３】
次に、座標軸変換部１０２で得られた座標データから色温度を求める方法について説明する。図４に色温度座標例を示す。座標軸変換部１０２において、黒体放射カーブを直線（以下色温度変化直線ＬＢと称する）で近似し、色温度を推測する。
図４においてＸ軸を（Ｒ’＋Ｂ’−２Ｇ’）／Ｇ’、Ｙ軸を（Ｒ’−Ｂ’）／Ｇ’に設定した場合、座標上の領域“Ａ”は、第３象限でのＷ１の範囲内、及び第４象限での枠Ｗ１の範囲内において色温度変化直線ＬＢより左側となる領域である。
積分データ（色信号）Ｒ’，Ｇ’，Ｂ’を変換して座標上のデータとした積分値変換データが、上述した上記領域“Ａ”内の○（丸印）で示す位置にあった場合は、矢印で示すように（Ｒ’＋Ｂ’−２Ｇ’）／Ｇ’のＸ軸に沿って平行移動して色温度変化直線ＬＢと交差する点を、現在の色温度と推測する。
一方、座標上の領域“Ｂ”は、第４象限での枠Ｗ１の範囲内において色温度変化直線ＬＢより右側となる領域である。
積分データＲ’，Ｇ’，Ｂ’を変換して座標上のデータとした積分値変換データが、上述した領域“Ｂ”内の△で示す位置にあった場合は、矢印で示すように（Ｒ’＋Ｂ’−２Ｇ’）／Ｇ’のＸ軸及び（Ｒ’−Ｂ’）／Ｇ’のＹ軸に対して、負の方向へ同じ量だけ移動させ、色温度変化直線ＬＢとの交差点から色温度を求める。
具体的には、領域“Ｂ”の△（三角印）の位置から、座標上で４５°左下方に移動させ、その延長線と色温度変化直線ＬＢが交差した点を、現在の色温度と推測する。
【００４４】
ここで、ホワイトバランスを調整するとは、上述したように、推測して得られた色温度のＲ、Ｇ、Ｂ各信号の比率が等しくなるようにホワイトバランスアンプを調整する事をいう。
この色温度の推測方法は、直線近似した黒体放射特性を用いて推測する方法であるが、本発明はこれに限定されるべきものではない。
【００４５】
この信号処理回路において、ホワイトバランスを調整するにあたっては、推測した色温度を、
【００４６】
Ｒ信号×Ｒゲイン＝Ｇ信号×Ｇゲイン＝Ｂ信号×Ｂゲイン・・・（２）
すなわち
【００４７】
Ｒ信号×Ｒゲイン−Ｇ信号×Ｇゲイン＝Ｂ信号×Ｂゲイン−Ｇ信号×Ｇゲイン＝０
・・・（３）
が成り立つように、ホワイトバランスアンプ１７のゲインをを設定する。
【００４８】
色温度を推定するために予め色温度を変化させた際の固定被写体の参考値（評価データ）を準備する必要がある。この評価データを記憶するために評価データ記憶装置１０４が設けられる。
固定被写体の評価値（評価データ）を準備するため、まず、色温度は低い環境で固定被写体のｒ，ｇ，ｂから（ｒ−ｇ）／ｇ，（ｒ＋ｂ−２ｇ）／ｇを求め、そのときの色温度値と（ｒ−ｇ）／ｇ，（ｒ＋ｂ−２ｇ）／ｇのデータを評価データ記憶装置１０４、例えばメモリに記憶する。次に、色温度値を上げていき、各色温度でのデータを順にメモリに記憶する。この動作を繰り返して得られた結果を後述する図８（ｂ）に示す。このような動作を、座標軸変換部１０２で行う。
【００４９】
次に、図３に示す色温度比較部１０３は、座標軸変換部１０２から出力された固定被写体枠内の実際の積分値を座標変換して（Ｒ’−Ｂ’）／Ｇ’、（Ｒ’＋Ｂ’−２Ｇ’）／Ｇ’から求められた色温度と、予め記憶しておいた固定被写体の各色温度での評価データを比較し色温度を推定する。
【００５０】
そして、コントローラ１９の制御信号により、実際の固体被写体の色温度を評価データに基づき補正して、補正した色温度推定値の、Ｒゲイン信号、Ｇゲイン信号およびＢゲイン信号を、図１に示すホワイトバランスアンプ１７のＲ信号用アンプ１７ｒ，Ｇ信号用アンプ１７ｇ，Ｂ信号用アンプ１７ｂに出力し、ゲインを設定してホワイトバランスの調整を行う。
このホワイトバランスのとれたディジタル信号は、次段のγ補正部８５に出力され、そこで、入力信号レベルに対するディスプレイの階調特性に応じて、入力−出力特性が補正される。
【００５１】
Ｒ−Ｇ／Ｂ−Ｇ変換部８６は、ホワイトバランスアンプ１７から出力された色データをγ補正した後、撮像素子の画素間で他の色信号が混入したことによる色偽信号を抑圧し、そしてＲ（赤）−Ｇ（緑），Ｂ（青）−Ｇ（緑）の色信号に変換する。
【００５２】
Ｃｒ／Ｃｂ生成部８７は、Ｒ−ＹとＢ−Ｙの色差信号を発生する。ここで、Ｃｒ＝Ｒ−Ｙ，Ｃｂ＝Ｂ−Ｙ（Ｙは輝度信号）である。
クロマサプレス，Ｈｕｅ／Ｇａｉｎ調整，モノトーン効果処理部８９は、クロマサプレス用信号生成部７６から出力された制御信号により、Ｃｒ，Ｃｂの色差信号のデータが出力されることを阻止する。
また、色差信号のデータに関し、Ｈｕｅ（色相）の調整、Ｇａｉｎ（ゲイン；利得）の調整を行うと共に、色を消して白黒画像にするモノトーン効果の処理も行う。
そして、処理された（色）データは不図示のエンコーダに出力され、輝度信号処理部（Ｙ−ブロック）７０から出力される輝度（Ｙ）信号を用いてエンコードされてコンポーネントまたはコンポジットの画像信号が生成される。
【００５３】
次に、車載カメラにおいて車のボディを固定被写体としたときの動作について説明する。なお、車のボディａの色は赤色として説明するが、この色に限定するものではない。
図５（ａ）は１８０度の広角レンズを使用した車載カメラを例にした図である。広角レンズを用いているため、リア（後方）カメラを設置した場合、車のボディもカメラの有効領域内に入り、車が移動して周囲の風景が変化しても、車のボディは必ず有効領域内で固定被写体となる。
図５（ａ），（ｂ）に示すように、車のボディａを固定被写体としその一部領域に積分領域ｂを設定する。例えば図５（ｂ）に示すように、リアカメラで撮影した表示画像の車のボディ（ａ）内に破線で示す積分領域ｂを設定する。この場合、積分領域ｂは、車のボディであれは場所と色は問わない。
【００５４】
また、図６に、撮影画像における他の固定被写体の例を示す。図６において、例えば、ビルａ’内の破線で示した特定領域を積分領域ｂ’と設定し、車載カメラの場合と同様に温度評価することができる。したがって、ビルａ’についての詳細な説明は省略する。
【００５５】
図７に、色信号の座標変換に関する（Ｒ’＋Ｂ’−２Ｇ’）／Ｇ’、（Ｒ’−Ｂ’）／Ｇ’の値を算出するまでのフローチャートを示す。この座標変換に関する動作を図７と図１を参照しながら説明する。
原色分離器１６にＡ／Ｄ変換器１４からの画素信号が前処理部１５を介して供給され、原色に分離された色信号がオプティカルディテクタ回路１８に供給される（ＳＴ−１２）。
またこの画素信号（または色信号）の座標位置に関する水平、垂直アドレスが計測される（ＳＴ−１４）。
次にカメラの有効領域内で入力された画素信号の水平・垂直アドレス値をカウントし、固定被写体ａの積分枠ｂのアドレスを設定する（ＳＴ−１６）。
原色分離器１６から供給された画素信号がこの積分枠（内）ｂのアドレスとなると、コントローラ１９により制御されて固定被写体枠内積分部１０１が動作を開始し、色信号を積分する枠内積分イネーブル信号を生成する（ＳＴ−１８）。
次に、枠内積分イネーブル信号が設定され、かつ色分離後のＲ，Ｇ，Ｂ信号が入力されるに伴い、カメラの有効画素領域内で水平・垂直アドレス値をカウントし、積分枠内であるかどうか判定する（ＳＴ−２０）。
色信号のアドレス値が固定被写体ａの積分領域（枠内）ｂと一致するときに、アクティブとなる枠内積分イネーブル信号を生成する。このイネーブル信号を基に原色分離器１６で色分離されたR、G、B信号をオプティカルディテクタ回路１８の固定被写体枠内積分部１０１でそれぞれの色ごとに積分し、固定被写体内の積分領域ｂでの積分値R'、G'、B'を生成する（ＳＴ−２２）。
さらに、この積分値R'，G'，B'が座標軸変換部１０２に供給され、そこで座標軸に基く(R'−G')／B'，(R'+B'−２B')／G'の値を算出する（ＳＴ−２４）。この座標軸における(R'−G')／B'，(R'+B'−２B')／G'に示す色温度は、図４の説明により求めることができる。
【００５６】
今まで色温度の推定方法について説明してきたが、色温度を推定するために予め色温度を変化させた際の固定被写体ａの積分領域ｂの参考値（評価データ）を準備する必要がある。
図８（ａ）に、積分領域ｂの評価データを準備するためのフローチャートを示す。この色温度推定に関するフローチャートの説明を図１を参照しながら説明する。
まず、色温度の低い環境で、例えば１０００度Ｋ（ケルビン）における撮像画像から固定被写体ａの積分領域ｂの画像を取り込み、原色分離器１６から分離された画素信号をオプティカルディテクタ回路１８の固定被写体枠内積分部１０１に供給する（ＳＴ−４２）。例えば、固定被写体ａを車のボディａとし、積分領域ｂをボディａ内の破線で囲んだ領域とする。そして色信号を固定被写体枠内積分部１０１で積分してｒ，ｂ，ｇの色信号を求める。ここで、ｒ，ｂ，ｇは積分領域ｂ（または固定被写体ａ）の測定時の赤、青、緑の色信号である。
【００５７】
次に、前回処理した評価色温度と今回設定した評価色温度を加算する（ＳＴ−４４）。最初は、前回の評価色温度は存在しないので、０度Ｋとし、加算処理を行う。加算された評価色温度、この場合１０００度Ｋ（ケルビン）における固定被写体枠内積分部１０１で積分して得られた積分領域ｂにおけるｒ，ｂ，ｇの色信号から（ｒ−ｇ）／ｂ、（ｒ＋ｂ−２ｇ）／ｇの演算処理を行う。この結果得られた色信号を色座標上にプロットし（図８（ｂ）の１０００度Ｋのポイントに対応する）、色温度とそれに対応する座標データをメモリなどの記憶装置に記憶する（ＳＴ−４６）。
【００５８】
次に、色温度が最大であるか否かを判別する（ＳＴ−４８）。今、評価色温度が１０００度Ｋであるので、最大評価色温度を９０００度Ｋと仮定すると、この最大評価色温度より低いので、ＳＴ−４４に遷移する。
【００５９】
ステップＳＴ−４６で演算処理されたときの色温度が１０００度Ｋであったので、今回それに任意の評価温度ステップ、たとえば１０００度Ｋを加算する（ＳＴ−４４）。次に、環境の色温度を２０００度Ｋとしたときの車のボディａの破線で囲んだ積分領域ｂのｒ，ｂ，ｇの色信号を求める。このｒ，ｂ，ｇの色信号を用いて（ｒ−ｇ）／ｂ、（ｒ＋ｂ−２ｇ）／ｇの演算処理を行い、色座標上のデータを求め、そしてこの演算結果をプロットする（ＳＴ−４６）。色座標データは図８（ｂ）の２０００度Ｋのポイントに対応する。またその測定データと環境色温度をメモリに記憶する。
【００６０】
以下、環境温度を最大色温度と比較し（ＳＴ−４８）、最高温度、例えば９０００度Ｋになるまで同様な動作を繰り返し行い、評価データの作成を終了する（ＳＴ−５０）。
【００６１】
図８（ｂ）は、色温度の環境を１０００度Ｋから１０００度Ｋステップで９０００度Ｋまで可変したときの色座標データをプロットした図である。
メモリに記憶された色座標の色信号（データ）を色温度の評価時の基準データとする。
【００６２】
色温度評価時の基準データは図５の車載カメラと同様に、図６に示す監視カメラなどの固定カメラにおいても作成する。監視カメラは固定されているので建造物（ビル）ａ’や樹木ｃなどを固定被写体とし、この固定被写体枠内の積分領域ｂ’について同様に環境色温度を変化したときの色信号を測定し、その結果求められた色温度データを基準データとして記憶する。
【００６３】
次に、撮像装置などで表示される表示画像の被写体の色温度推定フローチャートを図９（ａ），（ｂ）に示す。表示画像において、実際に走行中の車のボディａの積分領域ｂについて、（Ｒ’−Ｂ’）／Ｇ’，（Ｒ’＋Ｂ’−２Ｇ’）／Ｇ’の色座標データが図９（ｂ）に示す位置の５０００度Ｋ以下の近傍にある場合、例えば、以下のようにして判定する。
走行中の車のボディａの固定被写体枠内の積分領域ｂの色信号Ｒ，Ｇ，Ｂを固定被写体枠内積分部１０１で積分し、Ｒ’，Ｂ’，Ｇ’信号を求める。このＲ’，Ｂ’，Ｇ’信号を座標軸変換部１０２で演算処理して座標変換する。具体的には、色座標のＹ軸の値に対応する（Ｒ’−Ｂ’）／Ｇ’とＸ軸の値に対応する（Ｒ’＋Ｂ’−２Ｇ’）／Ｇ’の値を求める。そして変換された色信号を色温度比較部１０３に供給する（ＳＴ−６２）。
第１判定でまず、色座標上のＸ軸の値に対応する（Ｒ’＋Ｂ’−２Ｇ’）／Ｇ’と予めメモリなどに記憶された評価データのＸ軸の値（ｒ＋ｂ−２）／ｇを比較し、推定色温度の候補値を選出する。ここで、色温度候補値として２０００度Ｋ、３０００度Ｋ、４０００度Ｋ、５０００度Ｋが選出される（ＳＴ−６４）。
さらに第２判定で色座標上のＹ軸の値に対応する（Ｒ’−Ｂ’）／Ｇ’と予めメモリなどに記憶された評価データのＹ軸の値（ｒ−ｇ）／ｇを比較する（ＳＴ−６８）。そして、候補値の中から推定色温度を選出する。この結果、Ｘ軸の値とＹ軸の値から、評価値と一番近い５０００度Ｋが選出される（ＳＴ−７０）。
この推定色温度値を利用することで、有効領域全画素のR：G：Bの割合が1：1：1であることを前提とした色温度(光源)推定よりも、精度の高いホワイトバランス制御を行うことができる。
【００６４】
また、図６に監視カメラなどの固定カメラにおいても同様に、車載カメラの例と同様に環境色温度の変化に伴ってビルａ’の積分領域ｂ’の色温度判定を行い、推定色温度を推定することができる。
【００６５】
さらに、他の変形例として、赤外光カットフィルタを装着しない撮像装置（カメラ装置）においても、色温度推定を行うことができる。
赤外線カットフィルタなしのカメラ装置では、赤外光成分の影響で被写体の色が変化してしまい、従来の色温度推定方式では、正確な色温度を推定することができなかった。しかし、上述した色温度推定方法を利用し、赤外光カットフィルタなしでの評価値を準備しておくことで、赤外成分の影響で被写体の色が変化しても正確な色温度を推定することができる。
【００６６】
次に、上述した色温度推定値をホワイトバランス調整に適用したときの例を説明する。
図１０（ａ）は黒体放射温度に対する色信号ゲインの特性を示したグラフである。図１０（ａ）において、横軸に色温度を示し、縦軸にＲゲインとＢゲインを示す。このとき、Ｇゲインを１と仮定している。
Ｒゲインは、横軸の色温度が増加するに伴い曲線状に増加する。一方Ｂゲインは温度が増加するに伴い曲線状に減少する。
図１０（ａ）に示すように、Ｘ座標の色温度５０００度Ｋに対するＲゲインの値ｆと、Ｂゲインの値ｇを求める。
上述した推定色温度５０００度Ｋに対応するRゲインｆとBゲインｇからホワイトバランスアンプ１７のＲ信号用アンプ１７ｒ，Ｇ信号用アンプ１７ｇ，Ｂ信号用アンプ１７ｂのゲイン（利得係数）を求め各アンプに供給する。
【００６７】
図１０（ｂ）に、各推定色温度を用いてホワイトバランス調整を行うためのフローチャートを示す。
まず、最小最大評価色温度を求める動作を開始しする（ＳＴ−８２）。
前回評価した評価色温度に今回設定した色温度を加算する（ＳＴ−８４）。例えば、先回の色温度の設定温度が４０００度Ｋであれば、今回加算される色温度ステップを５００度Ｋとすると、４５００度Ｋに設定される。この加算されるステップ色温度は、精度により任意に設定することができる。
各色温度下で固定被写体およびマクベスチャート（商標名）を配置し、視覚的に評価して最適な色になるようにRゲイン、Bゲインを調整する（ＳＴ−８６）。
調整後のRゲイン、Bゲインをメモリに記憶する（ＳＴ−８８）。
使用した評価色温度の４５００度Ｋが最大色温度（５０００度Ｋ）以下であるか否か判断する（ＳＴ−９０）。
評価色温度が最大色温度以下のとき、Ｒゲイン、Ｂゲインを１にリセットし、ＳＴ−８４に遷移する（ＳＴ−９２）。ＳＴ−８４で評価色温度４５００度Ｋに所定の精度の色温度（加算ステップ温度）を加算する。加算ステップ温度を５００度Ｋを加算することにより、評価色温度を５０００度Ｋとして、以下同様にＳＴ−８６〜ＳＴ−９０まで繰り返す。一方、評価色温度が最大色温度、この場合は５０００度Ｋになると一連の動作フローは終了する（ＳＴ−９４）。
【００６８】
このように、本発明は、画像表示領域に固定被写体領域を設け、さらにこの固定被写体領域に特定の積分領域を設定し、この積分領域の環境温度に対する色温度データを予め測定し、評価データとして記憶し、環境が変化して積分領域の色温度は変わっても記憶した評価データを参照して色温度を推定することにより、最適なR、Bゲインを選択することで、被写体に依存しない精度の高いホワイトバランス制御を実現できる。
また、本発明は、固定被写体の色の変化から、赤外線カットフィルタなしの撮像システムでも色温度を推定することができ、被写体に依存しない精度の高いホワイトバランス制御を行うことができる。
【図面の簡単な説明】
【００６９】
【図１】撮像装置のブロック構成を示す図である。
【図２】撮像装置の信号処理部のブロック構成を示す図である。
【図３】信号処理部のコントローラ部のブロック構成を示す図である。
【図４】色温度推定を説明するための色座標図である。
【図５】車載カメラと固定被写体を含む表示画像を示す図である。
【図６】固定被写体を含む他の表示画像を示す図である。
【図７】色信号積分動作と座標変換を説明するためのフローチャートである。
【図８】評価データを求めるフローチャートと評価色温度を色座標に表示した図である。
【図９】表示画像の色温度推定を説明するためのフロ−チャートと色座標に表示した図である。
【図１０】評価色温度に対する各色ゲインを求めるグラフとフローチャートである。
【図１１】従来の撮像装置のブロック構成を示す図である。
【符号の説明】
【００７０】
１０，２００…固体撮像装置、１１…レンズ、１２…撮像素子（受光素子）、１３…プリアンプ、１４…Ａ／Ｄ（アナログ／ディジタル）変換器、１５，６０…前処理部、１６，２０１…原色分離器、１７（１７ｒ，１７ｇ，１７ｂ），２０２…ホワイトバランスアンプ、１８，２０３…オプティカルディテクタ回路、１９，２０４…コントローラ、５０…信号処理部、６１…黒検出部、６２…加算器、６３…ディジタルゲイン調整部、６４…シェーディング補正部、６５…遅延線／欠陥補正部、７０…輝度信号処理部、７１…輝度信号ローパスフィルタ（ＹＬＰＦ）、７２…垂直・水平輪郭補正部、７３…輪郭補正加算器（Ｍｉｘ）、７４，８５…ガンマ（γ）補正部、７５…画像エフェクト処理部、７６…クロマサプレス用信号生成部、８０…色信号処理部、８６…Ｒ−Ｇ／Ｂ−Ｇ変換部、８７…Ｃｒ／Ｃｂ（色差信号）生成部、８８…クロマサプレス，Ｈｕｅ／Ｇａｉｎ調整部、１０１…固定被写体枠内積分部、１０２…座標軸変換部、１０３…色温度比較部、１０４…評価データ記憶装置。
【技術分野】
【０００１】
本発明は、固体撮像素子などを用いた画像処理装置および撮像装置に関し、特に画像の固定被写体の情報を用いて、固定被写体の基準値の色の変化から色温度を推定する画像処理装置および撮像装置に関する。
【背景技術】
【０００２】
ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）やＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）デバイスなどの固体撮像装置またはこれを用いた撮像装置（デジタルカメラやビデオカメラ）において、色温度が異なる光源状態でも、白色を正確に白く映し出すようにホワイトバランスを制御して補正する。
図１１に、ホワイトバランス制御を実施する信号処理のシステム構成を示す。
図１１に示すように、固体撮像素子、例えばＣＣＤ型撮像素子等によって得られた電気信号が信号処理され、ディジタル信号として原色分離器２０１に入力される。原色分離器２０１では入力されたディジタル信号がＲ（赤）、Ｇ（緑）、B（青）の原色信号に分離される。分離された色信号はホワイトバランスアンプ（WBアンプ）２０２に入力される。
また、原色分離されたＲ，Ｇ，Ｂ信号は、ホワイトバランス調整に利用するために、オプティカルディテクタ回路（ＯＰＤ）２０３にも供給される。オプティカルディテクタ回路２０３はＲ，Ｇ，Ｄ信号をフィールド毎に積分する積分回路などで構成される。オプティカルディテクタ回路２０３で得られた積分値データは、次段のコントローラ２０４に供給される。
【０００３】
コントローラ２０４は、オプティカルディテクタ回路２０３から供給されるR'、Ｂ'、G'色信号の各積分値データを基に、（R'−Ｂ'）／G'のデータと、（R'＋Ｂ'−２G'）／G'のデータを演算しこの結果を出力する機能と、（R'−Ｂ'）／G'、 （R'＋Ｂ'−２G'）／G'の各座標データに基づいてＲ信号、Ｇ信号、Ｂ信号の各ゲインを設定するゲイン設定の機能を備える。なお、これらの機能をソフトウェアによって実行する。コントローラ２０４のソフトウェア実行により得られた各ゲインの設定値は、各ホワイトバランスアンプ２０２に供給されて、Ｒ，Ｇ，Ｂ信号に関する各ゲインを調整する。
ここで、ホワイトバランスを調整するとは、推測した色温度のＲ，Ｇ，Ｂ各信号の比率が等しくなるようにホワイトバランスアンプ２０２を調整することをいう。
【０００４】
色温度の推測方法は、特許文献１に開示されているように、黒体放射カーブを用いて推測する方法がある。
この方式において、ホワイトバランスを調整するにあたっては、推測した色温度を下記の式により設定している。
【０００５】
R信号×Rゲイン−G信号×Gゲイン＝B信号×Bゲイン−G信号×Gゲイン＝０
・・・（１）
【０００６】
すなわちR：G：B＝1：1：1が成り立つように、ホワイトバランスアンプ２０２を制御する。
また、引用文献２では、アミューズメントカメラの背景の白い壁などを固定被写体として、カメラの有効領域内で全て白であることを前提に、ホワイトバランス制御を行い、人の肌色が薄くならないように制御することを開示している。
【特許文献１】特開２００４−３２０６７１号公報
【特許文献２】特開２０００−５９８０７号公報
【発明の開示】
【発明が解決しようとする課題】
【０００７】
しかしながら、上述した例においては被写体が何であるかを特定できなかったため、有効領域全画素のＲ：Ｇ：Ｂの割合が１：１：１であることを前提に、色温度(光源)を推定していた。これにより正確な色温度を推定できず、Ｒ：Ｇ：Ｂ＝１：１：１とするホワイトバランス制御を行うことで被写体本来の色を崩してしまう問題点があった。
本発明は、上記問題に鑑み、どのような色の固定被写体でも精度の高い色温度を推定でき、色温度にあったホワイトバランス調整を行う画像処理装置および撮像装置を提供することにある。
【課題を解決するための手段】
【０００８】
本発明の画像処理装置は、画素信号から色信号を分離する原色分離器と、分離された色信号を所定期間積分する積分回路と、積分された色信号を色座標データに変換する座標軸変換部と、上記色信号を予め測定し、測定した色信号の色温度を評価基準データとして記憶する記憶回路と、上記評価基準データと新たに上記座標軸変換部から出力された色温度データとを比較する色温度比較部と、画像の特定された領域を積分領域として選択し、該積分領域で色信号を積分するように上記積分回路を制御し、上記色温度比較部から出力された比較データに応じて上記画像の特定領域の色温度を推定する制御部とを有する。
【０００９】
本発明の撮像装置は、撮像素子と、上記撮像素子から出力された画素信号を色信号に分離する原色分離器と、分離された色信号を所定期間積分する積分回路と、積分された色信号を色座標データに変換する座標軸変換部と、上記積分領域の画素信号を予め測定し、測定した色温度データを評価基準データとして記憶する記憶回路と、上記評価基準データと上記座標軸変換回路から出力された色温度データとを比較する色温度比較部と、画像の特定された領域を積分領域として選択し、該積分領域で色信号を積分するように上記積分回路を制御し、上記色温度比較部から出力された比較データに応じて上記画像の特定領域の色温度を推定する制御部と、上記制御部で推定された色温度によりホワイトバランス調整し、該調整された色信号と上記画素信号の輝度信号を信号処理して画像信号を発生する信号処理回路とを有する。
【００１０】
本発明の画像処理装置および撮像装置は、表示画像に所定の固定被写体が存在するようにし、この固定被写体内に積分領域を設定する。環境温度を可変したときのこの積分領域の画素信号の色温度を基準データとして蓄積し、撮影中の特定された積分領域の色温度データと蓄積された基準データとを比較して色温度を推定し、この推定温度に応じてホワイトバランスの調整を行う。
【発明の効果】
【００１１】
本発明の画像処理装置および撮像装置は、特定された積分領域の色の変化から精度の高い色温度を推定できる。また、特定された積分領域の色の変化から、赤外線カットフィルタなしの撮像システムでも色温度を推定することができ、被写体に依存しない精度の高いホワイトバランス制御を行うことができる。
本発明は、ＣＣＤやＣＭＯＳデバイスなどを用いた固体撮像素子の画像処理装置および撮像装置において、特に撮影環境の変化におけるホワイトバランス制御を精度よく行うことができる。
【発明を実施するための最良の形態】
【００１２】
図１に本発明の実施の形態に係る固体撮像装置（カメラ装置）１０の概略構成図を示す。以下ＣＣＤデバイスを用いた固体撮像装置について説明するが、本発明はそれ以外の撮像素子を用いた撮像装置にも適用できる。
固体撮像装置１０は、例えば、レンズ１１、撮像素子１２、ＣＤＳ（相関二重サンプリング）やプリアンプなどを有するプリアンプ１３、Ａ／Ｄ（アナログ／ディジタル）変換器１４と、前処理部１５、原色分離器１６、輝度信号処理部（７０）、色信号処理部（８０）を有する信号処理部（５０）などで構成される。信号処理部（５０）については、後述する。
なお、色信号処理部（８０）の一部は、図１に示すように、ホワイトバランスアンプ１７、オプティカルディテクタ回路１８、コントローラ１９で構成される。
【００１３】
レンズ１１は、被写体（図示せず）の画像を撮像素子１２の撮像面上に投写する。撮像素子１２は、例えば、ＣＣＤやＣＭＯＳデバイスなどからなり、レンズ１１を透過した画像を電気信号に変換し、画素信号としてＣＤＳ（相関二重サンプリング）やプリアンプなどを有するプリアンプ１３に供給する。
【００１４】
プリアンプ１３は、撮像素子１２からの画素信号をサンプルホールドして必要なデータを取り出すと共に、適正なレベルに合わせるためにゲインコントロール（ＡＧＣ）を行い、また黒レベル調整も行う。このプリアンプ１３の出力信号は、後段のＡ／Ｄ変換器１４に出力される。
【００１５】
Ａ／Ｄ変換器１４は、画素（画像）信号を取り扱うため、一般に１０〜１２ビット精度のものが採用され、プリアンプ１３から供給された出力信号をアナログ信号からディジタル信号に変換し、ディジタル信号を後段に接続された信号処理部５０に出力する。
【００１６】
信号処理部５０は、例えば、前処理部１５、原色分離器１６、輝度信号処理部７０と色信号処理部８０で構成され、ディジタル信号処理が行われる。
【００１７】
前処理部１５では、黒検出、ディジタルゲイン調整（Ｄｉｇｉｔａｌ Ｇａｉｎ Ｃｏｎｔｒｏｌ）、レンズ１１で生じるシェーディングの補正や、遅延線を用いて輝度信号（データ）と色信号（データ）を分離し、また遅延線を用いて画素欠陥の補正を行う。
【００１８】
原色分離器１６は、前処理部１５で補正処理されたディジタル信号から、赤（Ｒ）、青（Ｂ）、緑（Ｇ）の原色信号を抽出する。
【００１９】
輝度信号処理部７０はＹ（輝度）信号の垂直・水平（方向）輪郭補正（ＶＨアパーチャーコントロール）、Ｙ輝度信号と垂直・水平輪郭補正信号のＭｉｘ（混合；加算）処理、γ（ガンマ）補正、ルミナンス（輝度）キー処理、画像の一部領域を任意の輝度などに処理するソラリ、また画像を反転するネガ処理などの種々の画像処理を行う。輝度信号処理部７０の詳細については後述する。
【００２０】
色信号処理部８０は、色分離やクランプ処理、色信号のノイズや色偽信号の除去、ＲＧＢマトリックス（Ｍａｔｒｉｘ）処理、Ｒ，Ｇ，Ｂの各色の係数を可変するホワイトバランス（ＷＢ）調整、γ（ガンマ）補正、Ｒ−Ｇ／Ｂ−Ｇ変換，色偽信号の抑圧処理、色差信号（Ｃｒ／Ｃｂ）の生成、クロマサプレス（抑制）処理，Ｈｕｅ／Ｇａｉｎ調整，モノトーン効果処理などを行う。色信号処理部８０の詳細については後述する。
【００２１】
図２に信号処理部５０のブロック構成例を示す。
信号処理部５０は、主に前処理部６０、Ｙ−ブロック（輝度信号処理部）７０とＣ−ブロック（色信号処理部）８０の３つのブロックで構成されている。
【００２２】
前処理部６０は、黒検出部６１、加算器６２、ディジタルゲイン調整部６３、シェーディング補正部６４、遅延線／欠陥補正部６５などで構成されている。
【００２３】
黒検出部６１はＡ／Ｄ変換器１４から出力されたディジタルデータ（ＡＤｉｎ）を用いて、入力データ（信号）の黒レベルを計算し、クランプレベルを計算するためのデータを出力する。
【００２４】
加算器６２は、ディジタルデータ（ＡＤｉｎ）から黒レベルを減算処理し、黒レベルを基準とした（黒レベルにクランプされた）新たな画素信号（データ）を生成する。
【００２５】
ディジタルゲイン調整部６３は、加算器６２から出力された黒レベルにクランプされたデータの利得をディジタル的に可変して明るさを調整する。
【００２６】
シェーディング補正部６４は、レンズ１１の口径により画像の中心部に対して周辺部は輝度の差（ムラ）があり、この輝度ムラを補正する。
【００２７】
遅延線／欠陥補正部６５は、遅延線と演算（加算・減算）器を用いて入力データを輝度信号（データ）と色信号（データ）に分離する。また、遅延素子で入力データを、たとえば１画素、２画素遅延させ、欠陥画素の前後のデータを平均化した値を求め、それを欠陥画素と置換して、画素の欠陥補正を行っている。
【００２８】
遅延線／欠陥補正部６５で、欠陥補正され、さらに輝度信号と色信号に分離されたデータはそれぞれ輝度信号処理部（Ｙ−ブロック）７０と色信号処理部（Ｃ−ブロック）８０に供給される。
【００２９】
輝度信号処理部（Ｙ−ブロック）７０は、ＹＬＰＦ（輝度信号Ｌｏｗ Ｐａｓｓ Ｆｉｌｔｅｒ；輝度信号ローパスフィルタ）７１、垂直・水平輪郭補正（ＶＨアパーチャーコントロール；ＶＨアパコン）部７２、輪郭補正加算器（輪郭補正Ｍｉｘ；アパーチャーコントロールＭｉｘ）７３、γ（ガンマ）補正部７４、画像エフェクト処理部７５、クロマサプレス用信号生成部７６などで構成される。
【００３０】
ＹＬＰＦ７１は、輝度信号に関するデータを加算演算処理して、等価的にノイズを除去している。
【００３１】
垂直・水平輪郭補正部７２は、遅延素子と加算・減算処理する演算器を用いて、画像の水平方向の輪郭部を強調するパルスを生成し、また画像の垂直方向の輪郭部を強調するパルスも生成する。
【００３２】
輪郭補正加算器（輪郭補正Ｍｉｘ）７３は、垂直・水平輪郭補正部７２から出力された水平方向の輪郭補正パルスと垂直方向の輪郭補正パルスと、ＹＬＰＦ７１から供給された輝度データが供給され、これらを加算処理して輪郭が強調された輝度データとして出力する。
【００３３】
ガンマ（γ）補正部７４は、たとえば表示装置をＣＲＴ（Ｃａｔｈｏｄｅ ｒａｙ ｔｕｂｅ；受像管）とすると、このＣＲＴのγ特性が２．２であるので、あらかじめ撮像側で１／γ＝０．４５と入出力特性のカーブを補正して、ＣＲＴ側で画像の階調が正しく再現されるようにし、正しい再生画像が得られるように補正する。
【００３４】
画像エフェクト処理部７５は、ルミナンス（輝度）キー処理、画像の一部領域を任意の輝度などに処理するソラリ処理、また画像を反転するネガ処理などを行う。
【００３５】
クロマサプレス用信号生成部７６は、垂直・水平輪郭補正部７２で生成したパルス信号から、画像輪郭部のパルスを用いて、クロマ（色）データを削除する制御信号を発生する。
【００３６】
次に、図２に示す色信号処理部８０について説明する。
色信号処理部８０は、遅延線／欠陥補正部６５で処理された色信号が入力され、原色分離器１６、オプティカルディテクタ回路１８、コントローラ１９、ホワイトバランスアンプ（ホワイトバランス調整部）１７、ガンマ（γ）補正部８５、Ｒ−Ｇ／Ｂ−Ｇ変換部８６、Ｃｒ／Ｃｂ生成部８７、クロマサプレス，Ｈｕｅ（色相制御）／Ｇａｉｎ（ゲイン）調整部（モノトーン効果）８８などで構成される。
【００３７】
原色分離器１６は、前処理部６０の遅延線／欠陥補正部６５から出力された画素信号（データ）を色分離し、また所定の値にクランプする。
【００３８】
オプティカルディテクタ回路１８の積分回路は、原色分離器１６から出力されたＲ信号、Ｇ信号、Ｂ信号を１フィールド（または１フレーム）期間それぞれ積分し、その積分された色信号をコントローラ１９に出力する。
また、図３に示す固定被写体枠内積分部１０１は、固定被写体枠のＲ，Ｇ，Ｂ信号が供給される。固定された被写体の制限枠のアドレスになると固定被写体枠内積分部１０１が動作を開始し、原色分離器１６から供給されたＲ，Ｇ，Ｂ信号が固定被写体枠内で積分される。
【００３９】
コントローラ１９は、マイクロコンピュータや制御プログラムやデータが記憶される記憶装置などが設けられている。このコントローラ１９は図３に示すように色信号に関するデータ処理を行う座標軸変換部１０２、色温度比較部１０３と評価データ記憶装置１０４などで構成される。
コントローラ１９は、オプティカルディテクタ回路１８で検出された信号に応じて、黒検出部６１に制御信号を供給し、黒レベルを制御する。また、コントローラ１９は、オプティカルディテクタ回路１８の固定被写体枠内積分部１０１の動作を制御し、固定被写体の積分領域ｂのアドレスカウントや積分動作制御を行い、積分された色信号を演算処理して座標変換し、この値と評価データ記憶装置に記憶された評価色温度から、表示画像の色温度を推定する。
なお、固定被写体枠内積分部１０１、座標軸変換部１０２、色温度比較部１０３などは、マイクロコンピュータによりソフトウェアにより構成することができるが、勿論これ以外にハードウェアで構成することもできる。
【００４０】
ホワイトバランスアンプ（ＷＢアンプ）１７は、Ｒ信号用アンプ１７ｒ、Ｇ信号用アンプ１７ｇ、Ｂ信号用アンプ１７ｂで構成され、コントローラ１９から出力された色温度情報に応じて、ゲインが設定される。
【００４１】
次に、ホワイトバランス調整の主要部について説明する。
図１、図２に示すように、ホワイトバランス調整の主要部は、オプティカルディテクタ回路１８とコントローラ１９で構成される。
図３に、ホワイトバランス調整の主要部の具体構成例を示す。図３において、図２のオプティカルディテクタ回路１８は通常の積分回路と固定被写体枠内積分部１０１などで構成され、またコントローラ１９の一部は、座標軸変換部１０２、色温度比較部１０３、評価データ記憶装置１０４で構成される。
【００４２】
コントローラ１９に設けられた座標軸変換部１０２は、マイクロコンピュータなどの制御回路により、固定被写体枠内積分部１０１から供給された固定被写体枠内の積分データ（積分された色信号）Ｒ’，Ｂ’，Ｇ’信号を用いて、水平軸に（Ｒ’＋Ｂ’−２Ｇ’）／Ｇ’に変換し、垂直軸に（Ｒ’−Ｂ’）／Ｇ’と変換し、色座標変換する。この変換された座標値が色温度比較部１０３に出力される。
【００４３】
次に、座標軸変換部１０２で得られた座標データから色温度を求める方法について説明する。図４に色温度座標例を示す。座標軸変換部１０２において、黒体放射カーブを直線（以下色温度変化直線ＬＢと称する）で近似し、色温度を推測する。
図４においてＸ軸を（Ｒ’＋Ｂ’−２Ｇ’）／Ｇ’、Ｙ軸を（Ｒ’−Ｂ’）／Ｇ’に設定した場合、座標上の領域“Ａ”は、第３象限でのＷ１の範囲内、及び第４象限での枠Ｗ１の範囲内において色温度変化直線ＬＢより左側となる領域である。
積分データ（色信号）Ｒ’，Ｇ’，Ｂ’を変換して座標上のデータとした積分値変換データが、上述した上記領域“Ａ”内の○（丸印）で示す位置にあった場合は、矢印で示すように（Ｒ’＋Ｂ’−２Ｇ’）／Ｇ’のＸ軸に沿って平行移動して色温度変化直線ＬＢと交差する点を、現在の色温度と推測する。
一方、座標上の領域“Ｂ”は、第４象限での枠Ｗ１の範囲内において色温度変化直線ＬＢより右側となる領域である。
積分データＲ’，Ｇ’，Ｂ’を変換して座標上のデータとした積分値変換データが、上述した領域“Ｂ”内の△で示す位置にあった場合は、矢印で示すように（Ｒ’＋Ｂ’−２Ｇ’）／Ｇ’のＸ軸及び（Ｒ’−Ｂ’）／Ｇ’のＹ軸に対して、負の方向へ同じ量だけ移動させ、色温度変化直線ＬＢとの交差点から色温度を求める。
具体的には、領域“Ｂ”の△（三角印）の位置から、座標上で４５°左下方に移動させ、その延長線と色温度変化直線ＬＢが交差した点を、現在の色温度と推測する。
【００４４】
ここで、ホワイトバランスを調整するとは、上述したように、推測して得られた色温度のＲ、Ｇ、Ｂ各信号の比率が等しくなるようにホワイトバランスアンプを調整する事をいう。
この色温度の推測方法は、直線近似した黒体放射特性を用いて推測する方法であるが、本発明はこれに限定されるべきものではない。
【００４５】
この信号処理回路において、ホワイトバランスを調整するにあたっては、推測した色温度を、
【００４６】
Ｒ信号×Ｒゲイン＝Ｇ信号×Ｇゲイン＝Ｂ信号×Ｂゲイン・・・（２）
すなわち
【００４７】
Ｒ信号×Ｒゲイン−Ｇ信号×Ｇゲイン＝Ｂ信号×Ｂゲイン−Ｇ信号×Ｇゲイン＝０
・・・（３）
が成り立つように、ホワイトバランスアンプ１７のゲインをを設定する。
【００４８】
色温度を推定するために予め色温度を変化させた際の固定被写体の参考値（評価データ）を準備する必要がある。この評価データを記憶するために評価データ記憶装置１０４が設けられる。
固定被写体の評価値（評価データ）を準備するため、まず、色温度は低い環境で固定被写体のｒ，ｇ，ｂから（ｒ−ｇ）／ｇ，（ｒ＋ｂ−２ｇ）／ｇを求め、そのときの色温度値と（ｒ−ｇ）／ｇ，（ｒ＋ｂ−２ｇ）／ｇのデータを評価データ記憶装置１０４、例えばメモリに記憶する。次に、色温度値を上げていき、各色温度でのデータを順にメモリに記憶する。この動作を繰り返して得られた結果を後述する図８（ｂ）に示す。このような動作を、座標軸変換部１０２で行う。
【００４９】
次に、図３に示す色温度比較部１０３は、座標軸変換部１０２から出力された固定被写体枠内の実際の積分値を座標変換して（Ｒ’−Ｂ’）／Ｇ’、（Ｒ’＋Ｂ’−２Ｇ’）／Ｇ’から求められた色温度と、予め記憶しておいた固定被写体の各色温度での評価データを比較し色温度を推定する。
【００５０】
そして、コントローラ１９の制御信号により、実際の固体被写体の色温度を評価データに基づき補正して、補正した色温度推定値の、Ｒゲイン信号、Ｇゲイン信号およびＢゲイン信号を、図１に示すホワイトバランスアンプ１７のＲ信号用アンプ１７ｒ，Ｇ信号用アンプ１７ｇ，Ｂ信号用アンプ１７ｂに出力し、ゲインを設定してホワイトバランスの調整を行う。
このホワイトバランスのとれたディジタル信号は、次段のγ補正部８５に出力され、そこで、入力信号レベルに対するディスプレイの階調特性に応じて、入力−出力特性が補正される。
【００５１】
Ｒ−Ｇ／Ｂ−Ｇ変換部８６は、ホワイトバランスアンプ１７から出力された色データをγ補正した後、撮像素子の画素間で他の色信号が混入したことによる色偽信号を抑圧し、そしてＲ（赤）−Ｇ（緑），Ｂ（青）−Ｇ（緑）の色信号に変換する。
【００５２】
Ｃｒ／Ｃｂ生成部８７は、Ｒ−ＹとＢ−Ｙの色差信号を発生する。ここで、Ｃｒ＝Ｒ−Ｙ，Ｃｂ＝Ｂ−Ｙ（Ｙは輝度信号）である。
クロマサプレス，Ｈｕｅ／Ｇａｉｎ調整，モノトーン効果処理部８９は、クロマサプレス用信号生成部７６から出力された制御信号により、Ｃｒ，Ｃｂの色差信号のデータが出力されることを阻止する。
また、色差信号のデータに関し、Ｈｕｅ（色相）の調整、Ｇａｉｎ（ゲイン；利得）の調整を行うと共に、色を消して白黒画像にするモノトーン効果の処理も行う。
そして、処理された（色）データは不図示のエンコーダに出力され、輝度信号処理部（Ｙ−ブロック）７０から出力される輝度（Ｙ）信号を用いてエンコードされてコンポーネントまたはコンポジットの画像信号が生成される。
【００５３】
次に、車載カメラにおいて車のボディを固定被写体としたときの動作について説明する。なお、車のボディａの色は赤色として説明するが、この色に限定するものではない。
図５（ａ）は１８０度の広角レンズを使用した車載カメラを例にした図である。広角レンズを用いているため、リア（後方）カメラを設置した場合、車のボディもカメラの有効領域内に入り、車が移動して周囲の風景が変化しても、車のボディは必ず有効領域内で固定被写体となる。
図５（ａ），（ｂ）に示すように、車のボディａを固定被写体としその一部領域に積分領域ｂを設定する。例えば図５（ｂ）に示すように、リアカメラで撮影した表示画像の車のボディ（ａ）内に破線で示す積分領域ｂを設定する。この場合、積分領域ｂは、車のボディであれは場所と色は問わない。
【００５４】
また、図６に、撮影画像における他の固定被写体の例を示す。図６において、例えば、ビルａ’内の破線で示した特定領域を積分領域ｂ’と設定し、車載カメラの場合と同様に温度評価することができる。したがって、ビルａ’についての詳細な説明は省略する。
【００５５】
図７に、色信号の座標変換に関する（Ｒ’＋Ｂ’−２Ｇ’）／Ｇ’、（Ｒ’−Ｂ’）／Ｇ’の値を算出するまでのフローチャートを示す。この座標変換に関する動作を図７と図１を参照しながら説明する。
原色分離器１６にＡ／Ｄ変換器１４からの画素信号が前処理部１５を介して供給され、原色に分離された色信号がオプティカルディテクタ回路１８に供給される（ＳＴ−１２）。
またこの画素信号（または色信号）の座標位置に関する水平、垂直アドレスが計測される（ＳＴ−１４）。
次にカメラの有効領域内で入力された画素信号の水平・垂直アドレス値をカウントし、固定被写体ａの積分枠ｂのアドレスを設定する（ＳＴ−１６）。
原色分離器１６から供給された画素信号がこの積分枠（内）ｂのアドレスとなると、コントローラ１９により制御されて固定被写体枠内積分部１０１が動作を開始し、色信号を積分する枠内積分イネーブル信号を生成する（ＳＴ−１８）。
次に、枠内積分イネーブル信号が設定され、かつ色分離後のＲ，Ｇ，Ｂ信号が入力されるに伴い、カメラの有効画素領域内で水平・垂直アドレス値をカウントし、積分枠内であるかどうか判定する（ＳＴ−２０）。
色信号のアドレス値が固定被写体ａの積分領域（枠内）ｂと一致するときに、アクティブとなる枠内積分イネーブル信号を生成する。このイネーブル信号を基に原色分離器１６で色分離されたR、G、B信号をオプティカルディテクタ回路１８の固定被写体枠内積分部１０１でそれぞれの色ごとに積分し、固定被写体内の積分領域ｂでの積分値R'、G'、B'を生成する（ＳＴ−２２）。
さらに、この積分値R'，G'，B'が座標軸変換部１０２に供給され、そこで座標軸に基く(R'−G')／B'，(R'+B'−２B')／G'の値を算出する（ＳＴ−２４）。この座標軸における(R'−G')／B'，(R'+B'−２B')／G'に示す色温度は、図４の説明により求めることができる。
【００５６】
今まで色温度の推定方法について説明してきたが、色温度を推定するために予め色温度を変化させた際の固定被写体ａの積分領域ｂの参考値（評価データ）を準備する必要がある。
図８（ａ）に、積分領域ｂの評価データを準備するためのフローチャートを示す。この色温度推定に関するフローチャートの説明を図１を参照しながら説明する。
まず、色温度の低い環境で、例えば１０００度Ｋ（ケルビン）における撮像画像から固定被写体ａの積分領域ｂの画像を取り込み、原色分離器１６から分離された画素信号をオプティカルディテクタ回路１８の固定被写体枠内積分部１０１に供給する（ＳＴ−４２）。例えば、固定被写体ａを車のボディａとし、積分領域ｂをボディａ内の破線で囲んだ領域とする。そして色信号を固定被写体枠内積分部１０１で積分してｒ，ｂ，ｇの色信号を求める。ここで、ｒ，ｂ，ｇは積分領域ｂ（または固定被写体ａ）の測定時の赤、青、緑の色信号である。
【００５７】
次に、前回処理した評価色温度と今回設定した評価色温度を加算する（ＳＴ−４４）。最初は、前回の評価色温度は存在しないので、０度Ｋとし、加算処理を行う。加算された評価色温度、この場合１０００度Ｋ（ケルビン）における固定被写体枠内積分部１０１で積分して得られた積分領域ｂにおけるｒ，ｂ，ｇの色信号から（ｒ−ｇ）／ｂ、（ｒ＋ｂ−２ｇ）／ｇの演算処理を行う。この結果得られた色信号を色座標上にプロットし（図８（ｂ）の１０００度Ｋのポイントに対応する）、色温度とそれに対応する座標データをメモリなどの記憶装置に記憶する（ＳＴ−４６）。
【００５８】
次に、色温度が最大であるか否かを判別する（ＳＴ−４８）。今、評価色温度が１０００度Ｋであるので、最大評価色温度を９０００度Ｋと仮定すると、この最大評価色温度より低いので、ＳＴ−４４に遷移する。
【００５９】
ステップＳＴ−４６で演算処理されたときの色温度が１０００度Ｋであったので、今回それに任意の評価温度ステップ、たとえば１０００度Ｋを加算する（ＳＴ−４４）。次に、環境の色温度を２０００度Ｋとしたときの車のボディａの破線で囲んだ積分領域ｂのｒ，ｂ，ｇの色信号を求める。このｒ，ｂ，ｇの色信号を用いて（ｒ−ｇ）／ｂ、（ｒ＋ｂ−２ｇ）／ｇの演算処理を行い、色座標上のデータを求め、そしてこの演算結果をプロットする（ＳＴ−４６）。色座標データは図８（ｂ）の２０００度Ｋのポイントに対応する。またその測定データと環境色温度をメモリに記憶する。
【００６０】
以下、環境温度を最大色温度と比較し（ＳＴ−４８）、最高温度、例えば９０００度Ｋになるまで同様な動作を繰り返し行い、評価データの作成を終了する（ＳＴ−５０）。
【００６１】
図８（ｂ）は、色温度の環境を１０００度Ｋから１０００度Ｋステップで９０００度Ｋまで可変したときの色座標データをプロットした図である。
メモリに記憶された色座標の色信号（データ）を色温度の評価時の基準データとする。
【００６２】
色温度評価時の基準データは図５の車載カメラと同様に、図６に示す監視カメラなどの固定カメラにおいても作成する。監視カメラは固定されているので建造物（ビル）ａ’や樹木ｃなどを固定被写体とし、この固定被写体枠内の積分領域ｂ’について同様に環境色温度を変化したときの色信号を測定し、その結果求められた色温度データを基準データとして記憶する。
【００６３】
次に、撮像装置などで表示される表示画像の被写体の色温度推定フローチャートを図９（ａ），（ｂ）に示す。表示画像において、実際に走行中の車のボディａの積分領域ｂについて、（Ｒ’−Ｂ’）／Ｇ’，（Ｒ’＋Ｂ’−２Ｇ’）／Ｇ’の色座標データが図９（ｂ）に示す位置の５０００度Ｋ以下の近傍にある場合、例えば、以下のようにして判定する。
走行中の車のボディａの固定被写体枠内の積分領域ｂの色信号Ｒ，Ｇ，Ｂを固定被写体枠内積分部１０１で積分し、Ｒ’，Ｂ’，Ｇ’信号を求める。このＲ’，Ｂ’，Ｇ’信号を座標軸変換部１０２で演算処理して座標変換する。具体的には、色座標のＹ軸の値に対応する（Ｒ’−Ｂ’）／Ｇ’とＸ軸の値に対応する（Ｒ’＋Ｂ’−２Ｇ’）／Ｇ’の値を求める。そして変換された色信号を色温度比較部１０３に供給する（ＳＴ−６２）。
第１判定でまず、色座標上のＸ軸の値に対応する（Ｒ’＋Ｂ’−２Ｇ’）／Ｇ’と予めメモリなどに記憶された評価データのＸ軸の値（ｒ＋ｂ−２）／ｇを比較し、推定色温度の候補値を選出する。ここで、色温度候補値として２０００度Ｋ、３０００度Ｋ、４０００度Ｋ、５０００度Ｋが選出される（ＳＴ−６４）。
さらに第２判定で色座標上のＹ軸の値に対応する（Ｒ’−Ｂ’）／Ｇ’と予めメモリなどに記憶された評価データのＹ軸の値（ｒ−ｇ）／ｇを比較する（ＳＴ−６８）。そして、候補値の中から推定色温度を選出する。この結果、Ｘ軸の値とＹ軸の値から、評価値と一番近い５０００度Ｋが選出される（ＳＴ−７０）。
この推定色温度値を利用することで、有効領域全画素のR：G：Bの割合が1：1：1であることを前提とした色温度(光源)推定よりも、精度の高いホワイトバランス制御を行うことができる。
【００６４】
また、図６に監視カメラなどの固定カメラにおいても同様に、車載カメラの例と同様に環境色温度の変化に伴ってビルａ’の積分領域ｂ’の色温度判定を行い、推定色温度を推定することができる。
【００６５】
さらに、他の変形例として、赤外光カットフィルタを装着しない撮像装置（カメラ装置）においても、色温度推定を行うことができる。
赤外線カットフィルタなしのカメラ装置では、赤外光成分の影響で被写体の色が変化してしまい、従来の色温度推定方式では、正確な色温度を推定することができなかった。しかし、上述した色温度推定方法を利用し、赤外光カットフィルタなしでの評価値を準備しておくことで、赤外成分の影響で被写体の色が変化しても正確な色温度を推定することができる。
【００６６】
次に、上述した色温度推定値をホワイトバランス調整に適用したときの例を説明する。
図１０（ａ）は黒体放射温度に対する色信号ゲインの特性を示したグラフである。図１０（ａ）において、横軸に色温度を示し、縦軸にＲゲインとＢゲインを示す。このとき、Ｇゲインを１と仮定している。
Ｒゲインは、横軸の色温度が増加するに伴い曲線状に増加する。一方Ｂゲインは温度が増加するに伴い曲線状に減少する。
図１０（ａ）に示すように、Ｘ座標の色温度５０００度Ｋに対するＲゲインの値ｆと、Ｂゲインの値ｇを求める。
上述した推定色温度５０００度Ｋに対応するRゲインｆとBゲインｇからホワイトバランスアンプ１７のＲ信号用アンプ１７ｒ，Ｇ信号用アンプ１７ｇ，Ｂ信号用アンプ１７ｂのゲイン（利得係数）を求め各アンプに供給する。
【００６７】
図１０（ｂ）に、各推定色温度を用いてホワイトバランス調整を行うためのフローチャートを示す。
まず、最小最大評価色温度を求める動作を開始しする（ＳＴ−８２）。
前回評価した評価色温度に今回設定した色温度を加算する（ＳＴ−８４）。例えば、先回の色温度の設定温度が４０００度Ｋであれば、今回加算される色温度ステップを５００度Ｋとすると、４５００度Ｋに設定される。この加算されるステップ色温度は、精度により任意に設定することができる。
各色温度下で固定被写体およびマクベスチャート（商標名）を配置し、視覚的に評価して最適な色になるようにRゲイン、Bゲインを調整する（ＳＴ−８６）。
調整後のRゲイン、Bゲインをメモリに記憶する（ＳＴ−８８）。
使用した評価色温度の４５００度Ｋが最大色温度（５０００度Ｋ）以下であるか否か判断する（ＳＴ−９０）。
評価色温度が最大色温度以下のとき、Ｒゲイン、Ｂゲインを１にリセットし、ＳＴ−８４に遷移する（ＳＴ−９２）。ＳＴ−８４で評価色温度４５００度Ｋに所定の精度の色温度（加算ステップ温度）を加算する。加算ステップ温度を５００度Ｋを加算することにより、評価色温度を５０００度Ｋとして、以下同様にＳＴ−８６〜ＳＴ−９０まで繰り返す。一方、評価色温度が最大色温度、この場合は５０００度Ｋになると一連の動作フローは終了する（ＳＴ−９４）。
【００６８】
このように、本発明は、画像表示領域に固定被写体領域を設け、さらにこの固定被写体領域に特定の積分領域を設定し、この積分領域の環境温度に対する色温度データを予め測定し、評価データとして記憶し、環境が変化して積分領域の色温度は変わっても記憶した評価データを参照して色温度を推定することにより、最適なR、Bゲインを選択することで、被写体に依存しない精度の高いホワイトバランス制御を実現できる。
また、本発明は、固定被写体の色の変化から、赤外線カットフィルタなしの撮像システムでも色温度を推定することができ、被写体に依存しない精度の高いホワイトバランス制御を行うことができる。
【図面の簡単な説明】
【００６９】
【図１】撮像装置のブロック構成を示す図である。
【図２】撮像装置の信号処理部のブロック構成を示す図である。
【図３】信号処理部のコントローラ部のブロック構成を示す図である。
【図４】色温度推定を説明するための色座標図である。
【図５】車載カメラと固定被写体を含む表示画像を示す図である。
【図６】固定被写体を含む他の表示画像を示す図である。
【図７】色信号積分動作と座標変換を説明するためのフローチャートである。
【図８】評価データを求めるフローチャートと評価色温度を色座標に表示した図である。
【図９】表示画像の色温度推定を説明するためのフロ−チャートと色座標に表示した図である。
【図１０】評価色温度に対する各色ゲインを求めるグラフとフローチャートである。
【図１１】従来の撮像装置のブロック構成を示す図である。
【符号の説明】
【００７０】
１０，２００…固体撮像装置、１１…レンズ、１２…撮像素子（受光素子）、１３…プリアンプ、１４…Ａ／Ｄ（アナログ／ディジタル）変換器、１５，６０…前処理部、１６，２０１…原色分離器、１７（１７ｒ，１７ｇ，１７ｂ），２０２…ホワイトバランスアンプ、１８，２０３…オプティカルディテクタ回路、１９，２０４…コントローラ、５０…信号処理部、６１…黒検出部、６２…加算器、６３…ディジタルゲイン調整部、６４…シェーディング補正部、６５…遅延線／欠陥補正部、７０…輝度信号処理部、７１…輝度信号ローパスフィルタ（ＹＬＰＦ）、７２…垂直・水平輪郭補正部、７３…輪郭補正加算器（Ｍｉｘ）、７４，８５…ガンマ（γ）補正部、７５…画像エフェクト処理部、７６…クロマサプレス用信号生成部、８０…色信号処理部、８６…Ｒ−Ｇ／Ｂ−Ｇ変換部、８７…Ｃｒ／Ｃｂ（色差信号）生成部、８８…クロマサプレス，Ｈｕｅ／Ｇａｉｎ調整部、１０１…固定被写体枠内積分部、１０２…座標軸変換部、１０３…色温度比較部、１０４…評価データ記憶装置。
【特許請求の範囲】
【請求項１】
画素信号から色信号を分離する原色分離器と、
分離された色信号を所定期間積分する積分回路と、
積分された色信号を色座標データに変換する座標軸変換部と、
上記色信号を予め測定し、測定した色信号の色温度を評価基準データとして記憶する記憶回路と、
上記評価基準データと新たに上記座標軸変換部から出力された色温度データとを比較する色温度比較部と、
画像の特定された領域を積分領域として選択し、該積分領域で色信号を積分するように上記積分回路を制御し、上記色温度比較部から出力された比較データに応じて上記画像の特定領域の色温度を推定する制御部と
を有する画像処理装置。
【請求項２】
上記制御部は、上記座標軸変換部から出力された色温度データを該色温度に近接する評価基準データの色温度に設定する
請求項１記載の画像処理装置。
【請求項３】
上記制御部は、撮影画像の水平・垂直アドレスを計測し、被写体内の上記積分領域を特定する
請求項１記載の画像処理装置。
【請求項４】
上記積分領域は、撮影画像の既知の被写体の画像内である
請求項３記載の画像処理装置。
【請求項５】
上記被写体は、撮影画像の固定被写体である
請求項４記載の画像処理装置。
【請求項６】
上記画像処理装置は、ホワイトバランス回路を有し、該ホワイトバランス回路でＧ（緑）信号を基準にして、Ｒ(赤)とＢ（青）信号のゲインを推定温度に応じて設定する
請求項１記載の画像処理装置。
【請求項７】
撮像素子と、
上記撮像素子から出力された画素信号を色信号に分離する原色分離器と、
分離された色信号を所定期間積分する積分回路と、
積分された色信号を色座標データに変換する座標軸変換部と、
上記積分領域の画素信号を予め測定し、測定した色温度データを評価基準データとして記憶する記憶回路と、
上記評価基準データと上記座標軸変換回路から出力された色温度データとを比較する色温度比較部と、
画像の特定された領域を積分領域として選択し、該積分領域で色信号を積分するように上記積分回路を制御し、上記色温度比較部から出力された比較データに応じて上記画像の特定領域の色温度を推定する制御部と、
上記制御部で推定された色温度によりホワイトバランス調整し、該調整された色信号と上記画素信号の輝度信号を信号処理して画像信号を発生する信号処理回路と
を有する撮像装置。
【請求項８】
上記制御部は、上記座標軸変換部から出力された色温度データを該色温度に近接する評価基準データの色温度に設定する
請求項７記載の撮像装置。
【請求項９】
上記制御回路は、撮影画像の水平・垂直アドレスを計測し、被写体内の上記積分領域を特定する
請求項７記載の撮像装置。
【請求項１０】
上記積分領域は、撮影画像の既知の被写体の画像内である
請求項９記載の撮像装置。
【請求項１１】
上記被写体は、撮影画像の固定被写体である
請求項１０記載の撮像装置。
【請求項１２】
上記撮像装置は、ホワイトバランス回路を有し、該ホワイトバランス回路でＧ（緑）信号を基準にして、Ｒ(赤)とＢ（青）信号のゲインを推定温度に応じて設定する
請求項７記載の撮像装置。
【請求項１】
画素信号から色信号を分離する原色分離器と、
分離された色信号を所定期間積分する積分回路と、
積分された色信号を色座標データに変換する座標軸変換部と、
上記色信号を予め測定し、測定した色信号の色温度を評価基準データとして記憶する記憶回路と、
上記評価基準データと新たに上記座標軸変換部から出力された色温度データとを比較する色温度比較部と、
画像の特定された領域を積分領域として選択し、該積分領域で色信号を積分するように上記積分回路を制御し、上記色温度比較部から出力された比較データに応じて上記画像の特定領域の色温度を推定する制御部と
を有する画像処理装置。
【請求項２】
上記制御部は、上記座標軸変換部から出力された色温度データを該色温度に近接する評価基準データの色温度に設定する
請求項１記載の画像処理装置。
【請求項３】
上記制御部は、撮影画像の水平・垂直アドレスを計測し、被写体内の上記積分領域を特定する
請求項１記載の画像処理装置。
【請求項４】
上記積分領域は、撮影画像の既知の被写体の画像内である
請求項３記載の画像処理装置。
【請求項５】
上記被写体は、撮影画像の固定被写体である
請求項４記載の画像処理装置。
【請求項６】
上記画像処理装置は、ホワイトバランス回路を有し、該ホワイトバランス回路でＧ（緑）信号を基準にして、Ｒ(赤)とＢ（青）信号のゲインを推定温度に応じて設定する
請求項１記載の画像処理装置。
【請求項７】
撮像素子と、
上記撮像素子から出力された画素信号を色信号に分離する原色分離器と、
分離された色信号を所定期間積分する積分回路と、
積分された色信号を色座標データに変換する座標軸変換部と、
上記積分領域の画素信号を予め測定し、測定した色温度データを評価基準データとして記憶する記憶回路と、
上記評価基準データと上記座標軸変換回路から出力された色温度データとを比較する色温度比較部と、
画像の特定された領域を積分領域として選択し、該積分領域で色信号を積分するように上記積分回路を制御し、上記色温度比較部から出力された比較データに応じて上記画像の特定領域の色温度を推定する制御部と、
上記制御部で推定された色温度によりホワイトバランス調整し、該調整された色信号と上記画素信号の輝度信号を信号処理して画像信号を発生する信号処理回路と
を有する撮像装置。
【請求項８】
上記制御部は、上記座標軸変換部から出力された色温度データを該色温度に近接する評価基準データの色温度に設定する
請求項７記載の撮像装置。
【請求項９】
上記制御回路は、撮影画像の水平・垂直アドレスを計測し、被写体内の上記積分領域を特定する
請求項７記載の撮像装置。
【請求項１０】
上記積分領域は、撮影画像の既知の被写体の画像内である
請求項９記載の撮像装置。
【請求項１１】
上記被写体は、撮影画像の固定被写体である
請求項１０記載の撮像装置。
【請求項１２】
上記撮像装置は、ホワイトバランス回路を有し、該ホワイトバランス回路でＧ（緑）信号を基準にして、Ｒ(赤)とＢ（青）信号のゲインを推定温度に応じて設定する
請求項７記載の撮像装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【公開番号】特開２００８−２０６０５５（Ｐ２００８−２０６０５５Ａ）
【公開日】平成２０年９月４日（２００８．９．４）
【国際特許分類】
【出願番号】特願２００７−４２４８３（Ｐ２００７−４２４８３）
【出願日】平成１９年２月２２日（２００７．２．２２）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
【公開日】平成２０年９月４日（２００８．９．４）
【国際特許分類】
【出願日】平成１９年２月２２日（２００７．２．２２）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
[ Back to top ]