撮像装置
【課題】ベイヤ配列の撮像信号を、混色させること無く、解像度の低下を最小限に、撮像装置の感度を大きくする。
【解決手段】注目画素を中心とする５×５画素の領域内に位置し、第１の色成分の光を検出する第１種の画素の画素値だけを加重加算して第１の色成分（Ｒ）値を生成し、同様に注目画素を中心とする５×５画素の領域内に位置し、第３の色成分（Ｂ）の光を検出する画素の画素値だけを加重加算して第３の色成分（Ｂ）値を生成する。注目画素を中心とした３×３画素の領域内に位置し、第２の色成分（Ｇ）の光を検出する画素の画素値だけを加重加算して第２の色成分（Ｇ）値を生成する。
【解決手段】注目画素を中心とする５×５画素の領域内に位置し、第１の色成分の光を検出する第１種の画素の画素値だけを加重加算して第１の色成分（Ｒ）値を生成し、同様に注目画素を中心とする５×５画素の領域内に位置し、第３の色成分（Ｂ）の光を検出する画素の画素値だけを加重加算して第３の色成分（Ｂ）値を生成する。注目画素を中心とした３×３画素の領域内に位置し、第２の色成分（Ｇ）の光を検出する画素の画素値だけを加重加算して第２の色成分（Ｇ）値を生成する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、低照度の撮像環境において、より高感度な撮像画像が得られる撮像装置に関する。
【背景技術】
【０００２】
従来の撮像装置として、Ｎ画素前までのデジタル信号を全て加算する機能を実行することにより、固体撮像素子の高感度化やＳ／Ｎ向上を図るように構成したものがある（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０００−１８４２７４号公報（第４頁、段落００１０）
【発明の概要】
【発明が解決しようとする課題】
【０００４】
従来の撮像装置は、連続する隣接画素からの撮像信号を加算しているため、カラー撮像素子を用いた場合には色が混ざりカラー信号を再生できないという問題があった。
【０００５】
この発明は、上述のような課題を解決するためになされたもので、カラー撮像素子から読み出した撮像信号を画素加算しても、色が混ざることなく、カラー信号を高感度化できる撮像装置を得ることを目的とする。
【課題を解決するための手段】
【０００６】
本発明の撮像装置は、
第１の色成分の光を検出して対応する撮像信号を発生する第１種の画素と、第２の色成分の光を検出して対応する撮像信号を発生する第２種の画素と、第３の色成分の光を検出して対応する撮像信号を発生する第３種の画素と、前記第２の色成分の光を検出して対応する撮像信号を発生する第４種の画素とが、水平２画素、垂直２画素の組み合わせを基本単位として画面内に規則的に配列された撮像部と、前記撮像部から出力された撮像信号を所定の時間遅延させることで、注目画素とその周囲の画素の画素値を表す信号を抽出して同時に出力する画素抽出部と、
加算係数を生成する加算係数生成部と、
注目画素を中心とした水平５画素、垂直５画素の領域内に位置する前記第１種の画素を参照画素として、該参照画素の画素値だけを加算係数によって加重加算し、注目画素の第１の色成分値を生成する第１の色成分生成部と、
注目画素を中心とした水平３画素、垂直３画素の領域内に位置する前記第２種及び第４種の画素を参照画素として、該参照画素の画素値だけを加算係数によって加重加算し、注目画素の第２の色成分値を生成する第２の色成分生成部と、
注目画素を中心とした水平５画素、垂直５画素の領域内に位置する前記第３種の画素を参照画素として、該参照画素の画素値だけを加算係数によって加重加算し、注目画素の第３の色成分値を生成する第３の色成分生成部と
を備えることを特徴とする。
【発明の効果】
【０００７】
本発明によれば、カラー撮像素子から読み出した撮像信号でも感度を例えば４倍に向上させ、極めて暗い低照度環境においても被写体を視認できるという効果が得られる。
【図面の簡単な説明】
【０００８】
【図１】本発明の実施の形態１の撮像装置を示すブロック構成図である。
【図２】図１の画素加算回路の一例を示すブロック構成図である。
【図３】図２の画素加算回路で加算される画素の空間配置を示す図である。
【図４】図１の画素抽出部６Ｅの一例を示すブロック構成図である。
【図５】図１の画素加算回路のＲ画素加算部６Ｒ及びＲ信号係数設定回路９５の一例を示すブロック構成図である。
【図６】図１の画素加算回路のＧ画素加算部６Ｇ及びＧ信号係数設定回路１９５の一例を示すブロック構成図である。
【図７】図１の画素加算回路のＢ画素加算部６Ｂ及びＢ信号係数設定回路１２５の一例を示すブロック構成図である。
【図８】（ａ）〜（ｄ）は、図５〜図７のＲ画素加算部６Ｒ、Ｇ画素加算部６Ｇ、Ｂ画素加算部６Ｅで加算される画素の色フィルタの配列情報を示す図である。
【図９】（ａ）〜（ｄ）は、図５のＲ画素加算部６ＲでＲ信号を生成するために用いられる参照画素の配列を示す図である。
【図１０】（ａ）〜（ｄ）は、図６のＧ画素加算部６ＧでＧ信号を生成するために用いられる参照画素の配列を示す図である。
【図１１】（ａ）〜（ｄ）は、図７のＢ画素加算部６ＢでＢ信号を生成するために用いられる参照画素の配列を示す図である。
【図１２】（ａ）〜（ｃ）は、増感倍率Ｌと重み係数Ｋｗの関係を示す図である。
【図１３】本発明の実施の形態１の撮像装置の別の構成を示すブロック構成図である。
【図１４】本発明の実施の形態２の撮像装置を示すブロック構成図である。
【図１５】（ａ）〜（ｅ）は、被写体照度と、レンズの絞り、プログラマブル利得増幅回路の増幅利得、画素加算回路の増感倍率、撮像部の露光時間、及び画素加算回路の出力信号の振幅との関係を示す図である。
【図１６】本発明の実施の形態３の撮像装置を示すブロック構成図である。
【発明を実施するための形態】
【０００９】
以下、第１、第２及び第３の色成分の光がそれぞれ赤色、緑色、及び青色の光であり、これらの色成分の光を検出して、対応する信号を出力する画素がベイヤ配列された撮像部が用いられる場合について詳しく説明する。
【００１０】
実施の形態１．
図１は本発明の実施の形態１による撮像装置を示す。図１において、レンズ１は、被写体像をＣＣＤ撮像素子２の撮像面上に合焦させる。
【００１１】
ＣＣＤ撮像素子（ＣＣＤ）２は、後述の図８（ａ）〜図１１（ｄ）に示すように、赤色の光（第１の色成分の光）を検出するＲ画素、緑色の光（第２の色成分の光）を検出するＧ画素、及び青色の光（第３の色成分の光）を検出するＢ画素がベイヤ配列されたものであり、これらにより、赤色の光、緑色の光、青色の光（第１の色成分の光、第２の色成分の光、第３の色成分の光）が検出され、即ち光電変換されて、光電変換により生成された電荷が素子内部を転送されて、電気信号（撮像信号）として出力される。
【００１２】
この撮像信号は、Ｒ画素からの画素信号であるＲ信号（第１の色成分値を表す信号）、Ｇ画素からの画素信号であるＧ信号（第２の色成分値を表す信号）、及びＢ画素からの画素信号であるＢ信号（第３の色成分値を表す信号）を含む。
【００１３】
Ｒ画素、Ｇ画素、Ｂ画素は、例えば、それぞれ赤色の光のみを透過させる色フィルタを備えた光電変換素子、緑色の光のみを透過させる色フィルタを備えた光電変換素子、青色の光のみを透過させる色フィルタを備えた光電変換素子で構成される。
【００１４】
ＣＣＤ撮像素子２から信号された撮像信号は、相関二重サンプリング処理回路（ＣＤＳ）３でノイズ等が除去される。
プログラマブル利得増幅回路（ＰＧＡ）４は、相関二重サンプリング処理回路３の出力信号を制御回路１２から出力された制御信号によって制御された利得で増幅して出力する。
Ａ／Ｄ変換回路（ＡＤＣ）５は、プログラマブル利得増幅回路４の出力信号を、デジタル信号に変換する。
【００１５】
画素加算回路６は、Ａ／Ｄ変換回路５から出力される撮像信号を受け、各画素位置を順次注目画素位置として選択し、該注目画素及びその周囲の画素のうち、同じ色の画素（同じ色成分の光を検出する画素）の信号を選択的に加算する。このような処理が撮像画面内のすべての画素位置について行われることで、すべての画素位置について、Ｒ信号、Ｇ信号、Ｂ信号が生成される。
【００１６】
映像信号処理回路７は、画素加算回路６の出力信号に、色同時化処理、階調補正処理、ノイズ低減処理、輪郭補正処理、白バランス調整処理、信号振幅調整処理、及び色補正処理などを加えた映像信号を映像信号出力端子８から出力する。
【００１７】
同期信号発生回路１１は、垂直同期信号及び水平同期信号を生成して画素加算回路６、映像信号処理回路７及びタイミング発生回路１０に供給する。
【００１８】
タイミング発生回路１０は、ＣＣＤ撮像素子２の駆動タイミング信号ＤＲＴを発生して駆動回路９に供給する。駆動回路９は、タイミング発生回路１０から出力された駆動タイミング信号ＤＲＴに基づいてＣＣＤ撮像素子２の駆動信号ＤＲＳを生成する。ＣＣＤ撮像素子２は、駆動回路９から出力された駆動信号ＤＲＳに基づいて、光電変換及び電荷転送を行う。
【００１９】
制御回路１２は、レンズ１の絞りの制御、タイミング発生回路１０が発生するＣＣＤ撮像素子２の光電変換素子からの電荷読出しタイミング及び電荷強制排出タイミングの制御（従って、電荷蓄積時間、即ち露光時間の制御）、プログラマブル利得増幅回路４の増幅利得の制御、並びに画素加算回路６の画素加算処理の制御を行う。
【００２０】
画素加算回路６は図２に示すように、画素抽出部６Ｅと、Ｒ画素加算部６Ｒと、Ｇ画素加算部６Ｇと、Ｂ画素加算部６Ｂと、Ｒ信号係数設定回路９５と、Ｇ信号係数設定回路１９５と、Ｂ信号係数設定回路２９５とを有する。Ｒ画素加算部６Ｒは、第１の色成分値を表す信号を生成する第１の色成分生成部を構成し、Ｇ画素加算部６Ｇは、第２の色成分値を表す信号を生成する第２の色成分生成部を構成し、Ｂ画素加算部６Ｂは、第３の色成分値を表す信号を生成する第３の色成分生成部を構成する。
【００２１】
上記のように、Ａ／Ｄ変換回路５からはベイヤ配列されたＲ画素、Ｇ画素、Ｂ画素からの撮像信号が出力され、画素加算回路６は、撮像画面内の各画素位置を順次注目画素として加算を行う。
【００２２】
ベイヤ配列においては、１個のＲ画素、１個のＢ画素、及び２個のＧ画素から成る、水平２画素、垂直２画素の４画素の基本単位が繰り返される。
この基本単位において、２個のＧ画素が４画素の基本単位のうちの一方の対角線上に並び、Ｒ画素とＢ画素とが他方の対角線上に並んでいる。
２個のＧ画素のうち、Ｂ画素と同じ水平ライン（行）にあるものを符号ＧＢで表し、Ｒ画素と同じ水平ライン（行）にあるものを符号ＧＲで表す。また、Ｒ画素を符号ＲＲで表し、Ｂ画素を符号ＢＢで表すこともある。
【００２３】
以下では、Ｒ画素を第１種の画素、ＧＢ画素を第２種の画素、Ｂ画素を第３種の画素、ＢＲ画素を第４種の画素と呼ぶ。また、ＧＢ画素とＧＲ画素の両者をＧ画素と総称することがある。
また、注目画素をＰ３３で示し、図８（ｃ）に示すように、注目画素がＲ画素であるときは符号ＲＲ３３で示し、図８（ａ）に示すように、注目画素がＧＢ画素であるときは符号ＧＢ３３で示し、図８（ｂ）に示すように、注目画素がＢ画素であるときは符号ＢＢ３３で示し、図８（ｄ）に示すように、注目画素がＧＲ画素であるときは符号ＢＲ３３で示す。
【００２４】
撮像素子２の撮像画面上の画素は、図３に示すように水平方向（行方向）Ｈ及び垂直方向（列方向）Ｖに整列し、全体としてマトリクス状に配置されている。各画素の画面上の位置は水平座標ｈ、及び垂直座標ｖの組合せ（ｈ，ｖ）で表され、座標（ｈ，ｖ）の画素は符号Ｐｈｖ（ｈ、ｖは１、２、３…）で表される。水平方向に隣接する画素間ではｈの値が１だけ異なり、垂直方向に隣接する画素間ではｖの値が１だけ異なる。即ち隣接画素間の距離（画素ピッチ）は１で表される。
【００２５】
図３には、注目画素Ｐ３３を中心とした水平５画素、垂直５画素の領域（以下単に「５×５画素の領域或いはブロック」と言うことがある）内の画素の配置が示されている。
注目画素Ｐ３３に対する水平方向の座標値の差及び垂直方向の座標値の差のうちの大きい方が１である画素（Ｐ２２、Ｐ３２、Ｐ３４、Ｐ２３、Ｐ４３、Ｐ２４、Ｐ３４、Ｐ４４）、即ち注目画素を中心した水平３画素、垂直３画素の領域（３×３画素の領域）内に位置し、値画素以外の画素を、注目画素に隣接する画素或いは単に隣接画素と言うことがある。
【００２６】
画素抽出部６Ｅは、Ａ／Ｄ変換回路５の出力から、図３に示される、５×５画素の領域内の画素の画素値を抽出する。抽出された画素値は、Ｒ画素加算部６Ｒ、Ｇ画素加算部６Ｇ及びＢ画素加算部６Ｂへ供給される。
【００２７】
画素抽出部６Ｅは、図４に示すように構成されている。
図４で「１Ｌ−ＤＬ」は１ライン遅延回路を示し、「１Ｄ−ＤＬ」は１画素遅延回路を示す。
画素抽出部６Ｅは、１ライン遅延回路２２〜２５と、１画素遅延回路３２〜３５、３７〜４０、４２〜４５、４７〜５０、５２〜５５とを図示にように接続して構成されており、注目画素とその周囲の画素の画素値を示す画素信号を同時に出力する。
例えば、注目画素が図３のＰ３３であるとき、注目画素Ｐ３３とその周囲の画素Ｐ１１〜Ｐ５５の画素値を表す画素信号を同時に出力する。
【００２８】
Ａ／Ｄ変換回路５から出力された画素信号Ｐｃは画素信号Ｐ５５として、画素加算回路６の入力端子１０１に印加され、画素加算回路６の画素抽出部６Ｅへ供給される。
【００２９】
画素信号Ｐ５５は、１ライン遅延回路２２〜２５で順次１ライン遅延されて、画素信号Ｐ５５に対して、それぞれ１、２、３、４ライン遅延した画素信号Ｐ５４、Ｐ５３、Ｐ５２、Ｐ５１が出力される。
画素信号Ｐ５５はまた、１画素遅延回路３２〜３５で順次１画素遅延されて、画素信号Ｐ５５に対してそれぞれ１、２、３、４画素遅延した画素信号Ｐ４５、Ｐ３５、Ｐ２５、Ｐ１５が出力される。
【００３０】
１ライン遅延回路２２から出力された画素信号Ｐ５４は、１画素遅延回路３７〜４０で順次１画素遅延されて、画素信号Ｐ５４に対してそれぞれ１、２、３、４画素遅延した画素信号Ｐ４４、Ｐ３４、Ｐ２４、Ｐ１４が出力される。
１ライン遅延回路２３から出力された画素信号Ｐ５３は、１画素遅延回路４２〜４５で順次１画素遅延されて、画素信号Ｐ５３に対してそれぞれ１、２、３、４画素遅延した画素信号Ｐ４３、Ｐ３３、Ｐ２３、Ｐ１３が出力される。
【００３１】
１ライン遅延回路２４から出力された画素信号Ｐ５２は、１画素遅延回路４７〜５０で順次１画素遅延されて、画素信号Ｐ５２に対してそれぞれ１、２、３、４画素遅延した画素信号Ｐ４２、Ｐ３２、Ｐ２２、Ｐ１２が出力される。
１ライン遅延回路２５から出力された画素信号Ｐ５１は、１画素遅延回路５２〜５５で順次１画素遅延されて、画素信号Ｐ５１に対してそれぞれ１、２、３、４画素遅延した画素信号Ｐ４１、Ｐ３１、Ｐ２１、Ｐ１１が出力される。
【００３２】
画素信号Ｐ５５〜Ｐ１１は、それぞれ図３の画素Ｐ５５〜Ｐ１１の画素値を表すものであり、画素信号Ｐ５５が入力されたタイミングで、画素抽出部６Ｅから同時に出力される。
画素信号Ｐ５５〜Ｐ１１は、それぞれ、接続端子１１１〜１１５、１２１〜１２５、１３１〜１３５、１４１〜１４５、１５１〜１５５を介してＲ画素加算部６Ｒ、Ｇ画素加算部６Ｇ、Ｂ画素加算部６Ｂに供給される。
【００３３】
図５は、画素加算回路６のＲ画素加算部６Ｒ及びＲ信号係数設定回路９５を示し、図６は、画素加算回路６のＧ画素加算部６Ｇ及びＧ信号係数設定回路１９５を示し、図７は、画素加算回路６のＢ画素加算部６Ｂ及びＢ信号係数設定回路２９５を示す。
【００３４】
画素抽出部６Ｅで抽出された画素Ｐ１１〜Ｐ５５の画素値は、５×５画素の領域内の画素の画素値であり、図５に示される、Ｒ画素加算部６Ｒの乗算回路６１〜８５、図６に示される、Ｇ画素加算部６Ｇの乗算回路１６１〜１８５、及び図７に示されるＢ画素加算部６Ｂの乗算回路２６１〜２８５へ供給される。
【００３５】
乗算回路６１〜８５、１６１〜１８５、及び２６１〜２８５は、それぞれ、５×５画素の領域内の各画素に対応して設けられたものであり、対応する画素の画素値とＲ信号係数設定回路９５、Ｇ信号係数設定回路１９５、Ｂ信号係数設定回路２９５から供給される加算係数との乗算を行う。
【００３６】
なお、後述のように、Ｇ画素加算部６Ｇには、水平３画素、垂直３画素の領域（３×３画素の領域）内の画素のみを供給するようにしても良い。
【００３７】
Ｒ画素加算部６Ｒ、Ｇ画素加算部６Ｇ及びＢ加算部６Ｂの各々は、注目画素及びその周辺の画素を含む参照領域内の同じ色の画素の画素値を参照画素として加重加算して、加算画素値として出力する。即ち、Ｒ画素加算部６Ｒは、参照領域内の赤色の画素（Ｒ画素）の画素値を参照画素として加重加算して、赤色の加算画素値Ｒとして出力し、Ｇ画素加算部６Ｇは、参照領域内の緑色の画素（Ｇ画素）の画素値を参照画素として加重加算して、緑色の加算画素値Ｇとして出力し、Ｂ画素加算部６Ｂは、参照領域内の青色の画素（Ｂ画素）の画素値を参照画素として加重加算して、青色の加算画素値Ｂとして出力する。
【００３８】
Ｒ画素加算部６Ｒ及びＢ画素加算部６Ｂでは、５×５画素の領域のうちの４隅の画素（注目画素に対して水平方向の座標値の差及び垂直方向の座標値の画素）を除いた部分を参照領域とし、Ｇ画素加算部６Ｇでは、３×３画素の領域を参照領域とする。
【００３９】
上記の参照画素の選択は、注目画素からの距離の近い順に、注目画素を含め６個以下の画素を参照画素として選択すること、但しこの場合、選択された画素が、注目画素を中心として、水平方向及び垂直方向に対称（注目画素を通る水平線を中心として線対称、かつ注目画素を通る垂直線を中心として線対称）に配置されたものとなるようにすることを意味する。
【００４０】
以下に詳しく述べるように、制御回路１２は、制御端子１０３を介して、Ｒ信号係数設定回路９５、Ｇ信号係数設定回路１９５、Ｂ信号係数設定回路２９５に増感倍率Ｌを供給し、
Ｒ信号係数設定回路９５、Ｇ信号係数設定回路１９５、Ｂ信号係数設定回路２９５は、供給された増感倍率Ｌに基づき加算係数を生成する。
増感倍率Ｌは例えば１から４までの、小数部分をも含み得る数で表される値である。
【００４１】
参照画素に対する加算係数は、例えば、参照画素の数に反比例する正規化係数Ｋｎと、参照画素毎に定められる重み係数Ｋｗの積で与えられるものとされる。
【００４２】
例えば、各画素に対する重み係数Ｋｗは、当該画素の注目画素からの距離と、増感倍率Ｌに依存し、増感倍率Ｌが比較的小さいときは、上記重み係数Ｋｗは上記の距離が大きいほど小さく、増感倍率Ｌが大きくなるほど、重み係数Ｋｗの、上記距離に対する依存性が小さくなるように設定される。増感倍率が最大の値であるときは、すべての参照画素に対する加算係数が互いに等しくなるようにしても良い。
【００４３】
参照画素以外の画素に対する加算係数はゼロに固定される。但し、本実施の形態では、５×５画素の領域内のすべての画素に対して乗算回路が設けられ、参照画素以外の画素に対する加算係数をゼロとすることで加重加算から除外する構成としている。これは画素加算部６Ｒ、６Ｇ、６Ｂを同一構成とするためである。
【００４４】
図５において、制御回路１２は制御端子１０３を介してＲ信号係数設定回路９５へ１倍から４倍までの増感倍率Ｌを供給する。同期信号発生回路１１は同期信号入力端子１０４を介してＲ信号係数設定回路９５へ水平同期信号ＨＤと垂直同期信号ＶＤを供給する。
【００４５】
Ｒ信号係数設定回路９５は水平同期信号ＨＤと垂直同期信号ＶＤに基づいて注目画素Ｐ３３の画素位置を判断して、注目画素の色フィルタ配列上の画素位置を特定し、特定した画素位置と増感倍率Ｌに基づいて、それぞれの画素位置に対応して設けられた乗算回路６１〜８５各々へ独立に２５個の加算係数ＫＲ１１〜ＫＲ５５を設定する。参照画素以外の画素に対する加算係数は、ゼロに固定される。
【００４６】
乗算回路６１〜８５は、画素抽出部６Ｅから、それぞれ接続端子１１１〜１５５を介して入力される画素値Ｐ１１〜Ｐ５５とＲ係数設定回路９５で設定された加算係数ＫＲ１１〜ＫＲ５５を乗算する。
加算回路９０は乗算回路６１〜８５の出力値を加算して、加算結果を加算画素信号Ｒとして、Ｒ信号出力端子１０６から出力する。
【００４７】
図６において、制御回路１２は制御端子１０３を介してＧ信号係数設定回路１９５へ増感倍率Ｌを供給する。同期信号発生回路１１は同期信号入力端子１０４を介してＧ信号係数設定回路１９５へ水平同期信号ＨＤと垂直同期信号ＶＤを供給する。
Ｇ信号係数設定回路１９５は水平同期信号ＨＤと垂直同期信号ＶＤに基づいて注目画素Ｐ３３の画素位置を判断して、注目画素の色フィルタ配列上の画素位置を特定し、特定した画素位置と増感倍率Ｌに基づいて、乗算回路１６１〜１８５各々へ独立に２５個の加算係数を設定する。
【００４８】
乗算回路１６１〜１８５は、画素抽出部６Ｅから、それぞれ接続端子１１１〜１５５を介して入力される画素値Ｐ１１〜Ｐ５５とＧ係数設定回路１９５で設定された加算係数ＫＧ１１〜ＫＧ５５を乗算する。
加算回路１９０は乗算回路１６１〜１８５の出力値を加算して、加算結果を加算画素信号Ｇとして、Ｇ信号出力端子１０７から出力する。
【００４９】
図７において、制御回路１２は制御端子１０３を介してＢ信号係数設定回路２９５へ増感倍率Ｌを供給する。同期信号発生回路１１は同期信号入力端子１０４を介してＢ信号係数設定回路２９５へ水平同期信号ＨＤと垂直同期信号ＶＤを供給する。
Ｂ信号係数設定回路２９５は水平同期信号ＨＤと垂直同期信号ＶＤに基づいて注目画素Ｐ３３の画素位置を判断して、注目画素の色フィルタ配列上の画素位置を特定し、特定した画素位置と増感倍率Ｌに基づいて、乗算回路２６１〜２８５各々へ独立に２５個の加算係数を設定する。
【００５０】
乗算回路２６１〜２８５は、画素抽出部６Ｅから、それぞれ接続端子１１１〜１５５を介して入力される画素値Ｐ１１〜Ｐ５５とＢ係数設定回路２９５で設定された加算係数ＫＢ１１〜ＫＢ５５を乗算する。加算回路２９０は乗算回路２６１〜２８５の出力値を加算して、加算結果を加算画素信号Ｂとして、Ｂ信号出力端子１０８から出力する。
【００５１】
図８（ａ）〜（ｄ）は、色フィルタ配列を考慮した注目画素を中心とした５×５画素の領域内における画素の配置を示す。Ｒ画素、Ｇ画素、Ｂ画素は市松模様状に配列されている。処理対象となる注目画素は、Ｒ画素の場合も、ＧＢ画素の場合も、Ｂ画素の場合も、ＧＲ画素の場合もあり、水平画素位置と垂直画素位置から特定される。
注目画素がＧＢ３３の時の周辺画素配置を図８（ａ）に示し、注目画素がＢＢ３３の時の周辺画素配置を図８（ｂ）に示し、注目画素がＲＲ３３の時の周辺画素配置を図８（ｃ）に示し、注目画素がＧＲ３３の時の周辺画素配置を図８（ｄ）に示す。
注目画素の色フィルタが変われば、周辺画素の色フィルタ配列も異なる。また、同じＧ画素でも、ＧＲ画素とＧＢ画素で周辺画素の色フィルタ配列は異なる。
【００５２】
図８（ａ）の画素配置で、ＲＲ１２、ＲＲ３２、ＲＲ５２、ＲＲ１４、ＲＲ３４、ＲＲ５４、ＲＲ１６、ＲＲ３６、ＲＲ５６はＲ画素を示す。
ＧＲ２２、ＧＲ４２、ＧＲ６２、ＧＲ２４、ＧＲ４４、ＧＲ６４、ＧＲ２６、ＧＲ４６、ＧＲ６６は、Ｒ画素と同一水平ライン（同一の行）上に配置されたＧ画素を示す。色フィルタの特性に基づいてＧ画素と表記する場合と、Ｒ画素と同一水平ライン上に配置されたＧ画素の画素位置を特定するためにＧＲ画素と表記する場合がある。
ＢＢ２１、ＢＢ４１、ＢＢ６１、ＢＢ２３、ＢＢ４３、ＢＢ６３、ＢＢ２５、ＢＢ４５、ＢＢ６５はＢ画素を示す。
ＧＢ１１、ＧＢ３１、ＧＢ５１、ＧＢ１３、ＧＢ３３、ＧＢ５３、ＧＢ１５、ＧＢ３５、ＧＢ５５は、Ｂ画素と同一水平ライン上に配置されたＧ画素を示す。
色フィルタの特性に基づいてＧ画素と表記する場合と、Ｂ画素と同一水平ライン上に配置されたＧ画素の画素位置を特定するためにＧＢ画素と表記する場合がある。
【００５３】
図８（ｂ）の画素配置で、ＲＲ０２、ＲＲ２２、ＲＲ４２、ＲＲ０４、ＲＲ２４、ＲＲ４４、ＲＲ０６、ＲＲ２６、ＲＲ４６はＲ画素を示す。ＧＲ１２、ＧＲ３２、ＧＲ５２、ＧＲ１４、ＧＲ３４、ＧＲ５４、ＧＲ１６、ＧＲ３６、ＧＲ５６は、Ｒ画素と同一水平ライン上に配置されたＧ画素を示す。ＢＢ１１、ＢＢ３１、ＢＢ５１、ＢＢ１３、ＢＢ３３、ＢＢ５３、ＢＢ１５、ＢＢ３５、ＢＢ５５はＢ画素を示す。ＧＢ０１、ＧＢ２１、ＧＢ４１、ＧＢ０３、ＧＢ２３、ＧＢ４３、ＧＢ０５、ＧＢ２５、ＧＢ４５は、Ｂ画素と同一水平ライン上に配置されたＧ画素を示す。
【００５４】
図８（ｃ）の画素配置で、ＲＲ１１、ＲＲ３１、ＲＲ５１、ＲＲ１３、ＲＲ３３、ＲＲ５３、ＲＲ１５、ＲＲ３５、ＲＲ５５はＲ画素を示す。ＧＲ２１、ＧＲ４１、ＧＲ６１、ＧＲ２３、ＧＲ４３、ＧＲ６３、ＧＲ２５、ＧＲ４５、ＧＲ６５は、Ｒ画素と同一水平ライン上に配置されたＧ画素を示す。ＢＢ２０、ＢＢ４０、ＢＢ６０、ＢＢ２２、ＢＢ４２、ＢＢ６２、ＢＢ２４、ＢＢ４４、ＢＢ６４はＢ画素を示す。ＧＢ１０、ＧＢ３０、ＧＢ５０、ＧＢ１２、ＧＢ３２、ＧＢ５２、ＧＢ１４、ＧＢ３４、ＧＢ５４は、Ｂ画素と同一水平ライン上に配置されたＧ画素を示す。
【００５５】
図８（ｄ）の画素配置で、ＲＲ０１、ＲＲ２１、ＲＲ４１、ＲＲ０３、ＲＲ２３、ＲＲ４３、ＲＲ０５、ＲＲ２５、ＲＲ４５はＲ画素を示す。ＧＲ１１、ＧＲ３１、ＧＲ５１、ＧＲ１３、ＧＲ３３、ＧＲ５３、ＧＲ１５、ＧＲ３５、ＧＲ５５は、Ｒ画素と同一水平ライン上に配置されたＧ画素を示す。ＢＢ１０、ＢＢ３０、ＢＢ５０、ＢＢ１２、ＢＢ３２、ＢＢ５２、ＢＢ１４、ＢＢ３４、ＢＢ５４はＢ画素を示す。ＧＢ００、ＧＢ２０、ＧＢ４０、ＧＢ０２、ＧＢ２２、ＧＢ４２、ＧＢ０４、ＧＢ２４、ＧＢ４４は、Ｂ画素と同一水平ライン上に配置されたＧ画素を示す。
【００５６】
図９（ａ）〜（ｄ）は、図５の画素加算回路のＲ画素加算部６ＲでＲ信号を生成するために用いられる参照画素の配列を示す。図示のように、５×５画素の領域から４隅の画素を除いた参照領域Ａｒ内に位置するＲ画素（Ｒ成分の光を検出する画素、例えばＲフィルタを設けた画素）が参照画素として用いられる。参照画素は、画素加算における加重加算で用いられるが、後述の増感倍率Ｌの値によっては、加算係数が「０」となる。即ち、増感倍率が小さいときは、注目画素から比較的遠い画素の加算係数が「０」となり、注目画素に比較的近い画素のみにより注目画素の画素値が求められる。
【００５７】
図９（ａ）は、注目画素がＧＢ３３（第２種の画素）の時の参照領域Ａｒ及び参照画素を示す。図示のように、参照領域Ａｒ内にＲ画素が６個存在し、そのすべてが参照画素として用いられる。即ち、注目画素の１ライン前に位置する画素ＲＲ３２、注目画素の１ライン前の２画素前に位置する画素ＲＲ１２、注目画素の１ライン前の２画素後に位置する画素ＲＲ５２、注目画素の１ライン後に位置する画素ＲＲ３４、注目画素の１ライン後の２画素前に位置する画素ＲＲ１４、及び注目画素の１ライン後の２画素後に位置する画素ＲＲ５４
が参照画素として用いられる。
このとき、Ｒ信号（第１の成分値）は次式で求める。
Ｒ＝ＫＲ１２×ＲＲ１２＋ＫＲ３２×ＲＲ３２＋ＫＲ５２×ＲＲ５２
＋ＫＲ１４×ＲＲ１４＋ＫＲ３４×ＲＲ３４＋ＫＲ５４×ＲＲ５４
Ｒ信号係数設定回路９５は、加算係数ＫＲ１１〜ＫＲ５５のうち、上式で使わない係数、即ち参照画素位置の画素に対する係数を「０」に設定する。
【００５８】
Ｒ信号係数設定回路９５は、上式で使う加算係数を下式に従って算出する。
ＫＲ１２＝（Ｌ−１）×４／１８
ＫＲ３２＝（Ｌ＋８）／１８
ＫＲ５２＝（Ｌ−１）×４／１８
ＫＲ１４＝（Ｌ−１）×４／１８
ＫＲ３４＝（Ｌ＋８）／１８
ＫＲ５４＝（Ｌ−１）×４／１８
ここで、Ｌは制御回路１２から設定される増感倍率である。
【００５９】
上記の係数の各々は、正規化係数Ｋｎと重み係数Ｋｗの積で与えられるものであり、上記の例では、加算される画素の数に反比例した４／６が正規化係数Ｋｎである。
例えば、ＫＲ３２（３×３画素の領域内の画素についての加算係数）を求める式は、
ＫＲ３２＝（Ｌ＋８）／１２×４／６
と書き換えることができ、そのうち、４／６が正規化係数Ｋｎ、残りの（Ｌ＋８）／１２が重み係数Ｋｗである。
同様に、ＫＲ１２（３×３画素の領域外の画素についての加算係数）を求める式は、
ＫＲ１２＝（Ｌ−１）／３×４／６
そのうち、４／６が正規化係数Ｋｎ、残りの（Ｌ−１）／３が重み係数Ｋｗである。他の係数についても同様である。
【００６０】
増感倍率Ｌが１倍の時、Ｒ画素加算部６Ｒは次式の演算を行う。
Ｒ＝ ０ ×ＲＲ１２＋ ９／１８×ＲＲ３２＋ ０ ×ＲＲ５２
＋ ０ ×ＲＲ１４＋ ９／１８×ＲＲ３４＋ ０ ×ＲＲ５４
増感倍率Ｌが２倍の時、Ｒ画素加算部６Ｒは次式の演算を行う。
Ｒ＝４／１８×ＲＲ１２＋１０／１８×ＲＲ３２＋４／１８×ＲＲ５２
＋４／１８×ＲＲ１４＋１０／１８×ＲＲ３４＋４／１８×ＲＲ５４
増感倍率Ｌが３倍の時、Ｒ画素加算部６Ｒは次式の演算を行う。
Ｒ＝８／１８×ＲＲ１２＋１１／１８×ＲＲ３２＋８／１８×ＲＲ５２
＋８／１８×ＲＲ１４＋１１／１８×ＲＲ３４＋８／１８×ＲＲ５４
増感倍率Ｌが４倍の時、Ｒ画素加算部６Ｒは次式の演算を行う。
Ｒ＝１２／１８×ＲＲ１２＋１２／１８×ＲＲ３２＋１２／１８×ＲＲ５２
＋１２／１８×ＲＲ１４＋１２／１８×ＲＲ３４＋１２／１８×ＲＲ５４
【００６１】
図９（ｂ）は、注目画素がＢＢ３３（第３種の画素）の時の参照領域Ａｒ及び参照画素を示す。図示のように、参照領域Ａｒ内にＲ画素が４個存在し、そのすべてが参照画素として用いられる。即ち、注目画素の１ライン前の１画素前に位置する画素ＲＲ２２、注目画素の１ライン前の１画素後に位置する画素ＲＲ４２、注目画素の１ライン後の１画素前に位置する画素ＲＲ４２、及び注目画素の１ライン後の１画素後に位置する画素ＲＲ４４が参照画素として用いられる。
このとき、Ｒ信号（第１の成分値）は次式で求める。
Ｒ＝ＫＲ２２×ＲＲ２２＋ＫＲ４２×ＲＲ４２
＋ＫＲ２４×ＲＲ２４＋ＫＲ４４×ＲＲ４４
Ｒ信号係数設定回路９５は、加算係数ＫＲ１１〜ＫＲ５５のうち、上式で使わない係数、即ち参照画素位置の画素に対する係数を「０」に設定する。
【００６２】
Ｒ信号係数設定回路９５は、上式で使う加算係数を下式に従って算出する。
ＫＲ２２＝Ｌ／４
ＫＲ４２＝Ｌ／４
ＫＲ２４＝Ｌ／４
ＫＲ４４＝Ｌ／４
ここで、Ｌは制御回路１２から設定される増感倍率である。
【００６３】
上記の係数の各々は、正規化係数Ｋｎと重み係数Ｋｗの積で与えられるものであり、上記の例では、加算される画素の数に反比例した４／４が正規化係数である。
例えば、ＫＲ２２を求める式は、
ＫＲ２２＝Ｌ／４×４／４
と書き換えることができ、そのうち、４／４が正規化係数Ｋｎ、残りのＬ／４が重み係数Ｋｗである。他の係数についても同様である。
【００６４】
増感倍率Ｌが１倍の時、Ｒ画素加算部６Ｒは次式の演算を行う。
Ｒ＝ １／４ ×ＲＲ２２＋ １／４ ×ＲＲ４２
＋ １／４ ×ＲＲ２４＋ １／４ ×ＲＲ４４
増感倍率Ｌが２倍の時、Ｒ画素加算部６Ｒは次式の演算を行う。
Ｒ＝ ２／４ ×ＲＲ２２＋ ２／４ ×ＲＲ４２
＋ ２／４ ×ＲＲ２４＋ ２／４ ×ＲＲ４４
増感倍率Ｌが３倍の時、Ｒ画素加算部６Ｒは次式の演算を行う。
Ｒ＝ ３／４ ×ＲＲ２２＋ ３／４ ×ＲＲ４２
＋ ３／４ ×ＲＲ２４＋ ３／４ ×ＲＲ４４
増感倍率Ｌが４倍の時、Ｒ画素加算部６Ｒは次式の演算を行う。
Ｒ＝ ４／４ ×ＲＲ２２＋ ４／４ ×ＲＲ４２
＋ ４／４ ×ＲＲ２４＋ ４／４ ×ＲＲ４４
【００６５】
図９（ｃ）は、注目画素がＲＲ３３（第１種の画素）の時の参照領域Ａｒ及び参照画素を示す。図示のように、Ｒ画素が５個存在し、そのすべてが参照画素として用いられる。即ち、注目画素ＲＲ３３、注目画素の２ライン前に位置する参照画素ＲＲ３１、注目画素の２画素前に位置する参照画素ＲＲ１３、注目画素の２画素後に位置する参照画素ＲＲ５３、及び注目画素の２ライン後に位置する参照画素ＲＲ３５が参照画素として用いられる。
このとき、Ｒ信号は次式で求める。
Ｒ＝ＫＲ３１×ＲＲ３１
＋ＫＲ１３×ＲＲ１３＋ＫＲ３３×ＲＲ３３＋ＫＲ５３×ＲＲ５３
＋ＫＲ３５×ＲＲ３５
Ｒ信号係数設定回路９５は、加算係数ＫＲ１１〜ＫＲ５５のうち、上式で使わない係数、即ち参照画素位置の画素に対する係数を「０」に設定する。
【００６６】
Ｒ信号係数設定回路９５は、上式で使う加算係数を下式に従って算出する。
ＫＲ３１＝（Ｌ−１）×４／１５
ＫＲ１３＝（Ｌ−１）×４／１５
ＫＲ３３＝（１６−Ｌ）／１５
ＫＲ５３＝（Ｌ−１）×４／１５
ＫＲ３５＝（Ｌ−１）×４／１５
ここで、Ｌは制御回路１２から設定される増感倍率である。
【００６７】
上記の係数の各々は、正規化係数Ｋｎと重み係数Ｋｗの積で与えられるものであり、上記の例では、加算される画素の数に反比例した４／５が正規化係数である。
例えば、ＫＲ３３（注目画素についての加算係数）を求める式は、
ＫＲ３３＝（１６−Ｌ）／１２×４／５
と書き換えることができ、そのうち、４／５が正規化係数Ｋｎ、残りの（１６−Ｌ）／１２が重み係数Ｋｗである。
同様に、ＫＲ３１（３×３画素の領域外の画素についての加算係数）を求める式は、
ＫＲ３１＝（Ｌ−１）／３×４／５
と書き換えることができ、そのうち、４／５が正規化係数Ｋｎ、残りの（Ｌ−１）／３が重み係数Ｋｗである。他の係数についても同様である。
【００６８】
増感倍率Ｌが１倍の時、Ｒ画素加算部６Ｒは次式の演算を行う。
Ｒ＝ ０ ×ＲＲ３１
＋ ０ ×ＲＲ１３＋１５／１５×ＲＲ３３＋ ０ ×ＲＲ５３
＋ ０ ×ＲＲ３５
増感倍率Ｌが２倍の時、Ｒ画素加算部６Ｒは次式の演算を行う。
Ｒ＝ ４／１５×ＲＲ３１
＋ ４／１５×ＲＲ１３＋１４／１５×ＲＲ３３＋ ４／１５×ＲＲ５３
＋ ４／１５×ＲＲ３５
増感倍率Ｌが３倍の時、Ｒ画素加算部６Ｒは次式の演算を行う。
Ｒ＝ ８／１５×ＲＲ３１
＋ ８／１５×ＲＲ１３＋１３／１５×ＲＲ３３＋ ８／１５×ＲＲ５３
＋ ８／１５×ＲＲ３５
増感倍率Ｌが４倍の時、Ｒ画素加算部６Ｒは次式の演算を行う。
Ｒ＝１２／１５×ＲＲ３１
＋１２／１５×ＲＲ１３＋１２／１５×ＲＲ３３＋１２／１５×ＲＲ５３
＋１２／１５×ＲＲ３５
【００６９】
図９（ｄ）は、注目画素がＧＲ３３（第４種の画素）の時の参照領域Ａｒ及び参照画素を示す。図示のように、参照領域Ａｒ内にＲ画素が６個存在し、そのすべてが参照画素として用いられる。即ち、注目画素の２ライン前の１画素前に位置する画素ＲＲ２１、注目画素の２ライン前の１画素後に位置する画素ＲＲ４１、注目画素の１画素前に位置する画素ＲＲ２３、注目画素の１画素後に位置する画素ＲＲ４３、注目画素の２ライン後の１画素前に位置する画素ＲＲ２５、及び注目画素の２ライン後の１画素後に位置する画素ＲＲ４５が参照画素として用いられる。
このとき、Ｒ信号は次式で求める。
Ｒ＝ＫＲ２１×ＲＲ２１＋ＫＲ４１×ＲＲ４１
＋ＫＲ２３×ＲＲ２３＋ＫＲ４３×ＲＲ４３
＋ＫＲ２５×ＲＲ２５＋ＫＲ４５×ＲＲ４５
Ｒ信号係数設定回路９５は、加算係数ＫＲ１１〜ＫＲ５５のうち、上式で使わない係数、即ち参照画素位置の画素に対する係数を「０」に設定する。
【００７０】
Ｒ信号係数設定回路９５は、上式で使う加算係数を下式に従って算出する。
ＫＲ２１＝（Ｌ−１）×４／１８
ＫＲ４１＝（Ｌ−１）×４／１８
ＫＲ２３＝（Ｌ＋８）／１８
ＫＲ４３＝（Ｌ＋８）／１８
ＫＲ２５＝（Ｌ−１）×４／１８
ＫＲ４５＝（Ｌ−１）×４／１８
ここで、Ｌは制御回路１２から設定される増感倍率である。
【００７１】
上記の係数の各々は、正規化係数Ｋｎと重み係数Ｋｗの積で与えられるものであり、上記の例では、加算される画素の数に反比例した４／６が正規化係数である。
例えば、ＫＲ２３（３×３画素の領域内の画素についての加算係数）を求める式は、
ＫＲ２３＝（Ｌ＋８）／１２×４／６
と書き換えることができ、そのうち、４／６が正規化係数Ｋｎ、残りの（Ｌ＋８）／１２が重み係数Ｋｗである。
同様に、ＫＲ２１（３×３画素の領域外の画素についての加算係数）を求める式は、
ＫＲ２１＝（Ｌ−１）／３×４／６
と書き換えることができ、そのうち、４／６が正規化係数Ｋｎ、残りの（Ｌ−１）／３が重み係数Ｋｗである。他の係数についても同様である。
【００７２】
増感倍率Ｌが１倍の時、Ｒ画素加算部６Ｒは次式の演算を行う。
Ｒ＝ ０ ×ＲＲ２１＋ ０ ×ＲＲ４１
＋ ９／１８×ＲＲ２３＋ ９／１８×ＲＲ４３
＋ ０ ×ＲＲ２５＋ ０ ×ＲＲ４５
増感倍率Ｌが２倍の時、Ｒ画素加算部６Ｒは次式の演算を行う。
Ｒ＝ ４／１８×ＲＲ２１＋ ４／１８×ＲＲ４１
＋１０／１８×ＲＲ２３＋１０／１８×ＲＲ４３
＋ ４／１８×ＲＲ２５＋ ４／１８×ＲＲ４５
増感倍率Ｌが３倍の時、Ｒ画素加算部６Ｒは次式の演算を行う。
Ｒ＝ ８／１８×ＲＲ２１＋ ８／１８×ＲＲ４１
＋１１／１８×ＲＲ２３＋１１／１８×ＲＲ４３
＋ ８／１８×ＲＲ２５＋ ８／１８×ＲＲ４５
増感倍率Ｌが４倍の時、Ｒ画素加算部６Ｒは次式の演算を行う。
Ｒ＝１２／１８×ＲＲ２１＋１２／１８×ＲＲ４１
＋１２／１８×ＲＲ２３＋１２／１８×ＲＲ４３
＋１２／１８×ＲＲ２５＋１２／１８×ＲＲ４５
【００７３】
図１０（ａ）乃至（ｄ）は、図６の画素加算回路のＧ画素加算部６ＧでＧ信号を生成するために用いられる参照画素の配列を示す。図示のように、３×３画素の参照領域Ａｇ内に位置するＧ画素（Ｇ成分の光を検出する画素、例えばＧフィルタを設けた画素）が参照画素として用いられる。参照画素は、画素加算における加重加算で用いられるが、後述の増感倍率Ｌの値によっては、加算係数が「０」となる。即ち、増感倍率が小さいときは、注目画素から比較的遠い画素の加算係数が「０」となり、注目画素に比較的近い画素のみにより注目画素の画素値が求められる。
【００７４】
図１０（ａ）は、注目画素がＧＢ３３（第２種の画素）の時の参照領域Ａｇ及び参照画素を示す。図示のように、参照領域Ａｇ内にＧ画素（ＧＢ画素又はＧＲ画素）が５個存在し、そのすべてが参照画素として用いられる。即ち、注目画素ＧＢ３３と、注目画素の１ライン前の１画素前に位置する画素ＧＲ２２、注目画素の１ライン前の１画素後に位置する画素ＧＲ４２、注目画素の１ライン後の１画素前に位置する画素ＧＲ２４、及び注目画素の１ライン後の１画素後に位置する画素ＧＲ４４が参照画素として用いられる。
このとき、Ｇ信号は次式で求める。
Ｇ＝ＫＧ２２×ＧＲ２２＋ＫＧ４２×ＧＲ４２
＋ＫＧ３３×ＧＢ３３
＋ＫＧ２４×ＧＲ２４＋ＫＧ４４×ＧＲ４４
Ｇ信号係数設定回路１９５は、加算係数ＫＧ１１〜ＫＧ５５のうち、上式で使わない係数、即ち参照画素位置の画素に対する係数を「０」に設定する。
【００７５】
Ｇ信号係数設定回路１９５は、上式で使う加算係数を下式に従って算出する。
ＫＧ２２＝（Ｌ−１）×４／１５
ＫＧ４２＝（Ｌ−１）×４／１５
ＫＧ３３＝（１６−Ｌ）／１５
ＫＧ２４＝（Ｌ−１）×４／１５
ＫＧ４４＝（Ｌ−１）×４／１５
ここで、Ｌは制御回路１２から設定される増感倍率である。
【００７６】
上記の係数の各々は、正規化係数Ｋｎと重み係数Ｋｗの積で与えられるものであり、上記の例では、加算される画素の数に反比例した４／５が正規化係数である。
例えば、ＫＧ３３（注目画素についての加算係数）を求める式は、
ＫＧ３３＝（１６−Ｌ）／１２×４／５
と書き換えることができ、そのうち、４／５が正規化係数Ｋｎ、残りの（１６−Ｌ）／１２が重み係数Ｋｗである。
同様に、ＫＧ２２（注目画素以外の画素についての加算係数）を求める式は、
ＫＧ２２＝（Ｌ−１）／３×４／５
と書き換えることができ、そのうち、４／５が正規化係数Ｋｎ、残りの（Ｌ−１）／３が重み係数Ｋｗである。他の係数についても同様である。
【００７７】
増感倍率Ｌが１倍の時、Ｇ画素加算部６Ｇは次式の演算を行う。
Ｇ＝ ０ ×ＧＲ２２＋ ０ ×ＧＲ４２
＋１５／１５×ＧＢ３３
＋ ０ ×ＧＲ２４＋ ０ ×ＧＲ４４
増感倍率Ｌが２倍の時、Ｇ画素加算部６Ｇは次式の演算を行う。
Ｇ＝ ４／１５×ＧＲ２２＋ ４／１５×ＧＲ４２
＋１４／１５×ＧＢ３３
＋ ４／１５×ＧＲ２４＋ ４／１５×ＧＲ４４
増感倍率Ｌが３倍の時、Ｇ画素加算部６Ｇは次式の演算を行う。
Ｇ＝ ８／１５×ＧＲ２２＋ ８／１５×ＧＲ４２
＋１３／１５×ＧＢ３３
＋ ８／１５×ＧＲ２４＋ ８／１５×ＧＲ４４
増感倍率Ｌが４倍の時、Ｇ画素加算部６Ｇは次式の演算を行う。
Ｇ＝１２／１５×ＧＲ２２＋１２／１５×ＧＲ４２
＋１２／１５×ＧＢ３３
＋１２／１５×ＧＲ２４＋１２／１５×ＧＲ４４
【００７８】
図１０（ｂ）は、注目画素がＢＢ３３（第３種の画素）の時の参照領域及び参照画素を示す。図示のように、参照領域Ａｇ内にＧ画素（ＧＢ画素又はＧＲ画素）が４個存在し、そのすべてが参照画素として用いられる。即ち、注目画素の１ライン前に位置する画素ＧＲ３２、注目画素の１画素前に位置する画素ＧＢ２３、注目画素の１画素後に位置する画素ＧＢ４３、及び注目画素の１ライン後に位置する画素ＧＲ３４が参照画素として用いられる。
このとき、Ｇ信号は次式で求める。
Ｇ＝ＫＧ３２×ＧＲ３２＋ＫＧ３４×ＧＲ３４
＋ＫＧ２３×ＧＢ２３＋ＫＧ４３×ＧＢ４３
Ｇ信号係数設定回路１９５は、加算係数ＫＧ１１〜ＫＧ５５のうち、上式で使わない係数、即ち参照画素位置の画素に対する係数を「０」に設定する。
【００７９】
Ｇ信号係数設定回路１９５は、上式で使う加算係数を下式に従って算出する。
ＫＧ３２＝Ｌ／４
ＫＧ３４＝Ｌ／４
ＫＧ２３＝Ｌ／４
ＫＧ４３＝Ｌ／４
ここで、Ｌは制御回路１２から設定される増感倍率である。
【００８０】
上記の係数の各々は、正規化係数Ｋｎと重み係数Ｋｗの積で与えられるものであり、上記の例では、加算される画素の数に反比例した４／４が正規化係数である。
例えば、ＫＧ３２を求める式は、
ＫＧ３２＝Ｌ／４×４／４
と書き換えることができ、そのうち、４／４が正規化係数Ｋｎ、残りのＬ／４が重み係数Ｋｗである。他の係数についても同様である。
【００８１】
増感倍率Ｌが１倍の時、Ｇ画素加算部６Ｇは次式の演算を行う。
Ｇ＝ １／４ ×ＧＲ３２＋ １／４ ×ＧＲ３４
＋ １／４ ×ＧＢ２３＋ １／４ ×ＧＢ４３
増感倍率Ｌが２倍の時、Ｇ画素加算部６Ｇは次式の演算を行う。
Ｇ＝ ２／４ ×ＧＲ３２＋ ２／４ ×ＧＲ３４
＋ ２／４ ×ＧＢ２３＋ ２／４ ×ＧＢ４３
増感倍率Ｌが３倍の時、Ｇ画素加算部６Ｇは次式の演算を行う。
Ｇ＝ ３／４ ×ＧＲ３２＋ ３／４ ×ＧＲ３４
＋ ３／４ ×ＧＢ２３＋ ３／４ ×ＧＢ４３
増感倍率Ｌが４倍の時、Ｇ画素加算部６Ｇは次式の演算を行う。
Ｇ＝ ４／４ ×ＧＲ３２＋ ４／４ ×ＧＲ３４
＋ ４／４ ×ＧＢ２３＋ ４／４ ×ＧＢ４３
【００８２】
図１０（ｃ）は、注目画素がＲＲ３３（第１種の画素）の時の参照領域Ａｇ及び参照画素を示す。図示のように、参照領域ＡＧ内にＧ画素（ＧＢ画素又はＧＲ画素）が４個存在し、そのすべてが参照画素として用いられる。即ち、注目画素の１ライン前に位置する画素ＧＢ３２、注目画素の１画素前に位置する画素ＧＲ２３、注目画素の１画素後に位置する画素ＧＲ４３、及び注目画素の１ライン後に位置する画素ＧＢ３４が参照画素として用いられる。
このとき、Ｇ信号は次式で求める。
Ｇ＝ＫＧ３２×ＧＢ３２＋ＫＧ３４×ＧＢ３４
＋ＫＧ２３×ＧＲ２３＋ＫＧ４３×ＧＲ４３
Ｇ信号係数設定回路１９５は、加算係数ＫＧ１１〜ＫＧ５５のうち、上式で使わない係数、即ち参照画素位置の画素に対する係数を「０」に設定する。
【００８３】
Ｇ信号係数設定回路１９５は、上式で使う加算係数を下式に従って算出する。
ＫＧ３２＝Ｌ／４
ＫＧ３４＝Ｌ／４
ＫＧ２３＝Ｌ／４
ＫＧ４３＝Ｌ／４
ここで、Ｌは制御回路１２から設定される増感倍率である。
【００８４】
上記の係数の各々は、正規化係数Ｋｎと重み係数Ｋｗの積で与えられるものであり、上記の例では、加算される画素の数に反比例した４／４が正規化係数である。例えばＫＧ３２を求める式は、
ＫＧ３２＝Ｌ／４×４／４
と書き換えることができ、そのうち、４／４が正規化係数Ｋｎ、残りのＬ／４が重み係数Ｋｗである。他の係数についても同様である。
【００８５】
増感倍率Ｌが１倍の時、Ｇ画素加算部６Ｇは次式の演算を行う。
Ｇ＝ １／４ ×ＧＢ３２＋ １／４ ×ＧＢ３４
＋ １／４ ×ＧＲ２３＋ １／４ ×ＧＲ４３
増感倍率Ｌが２倍の時、Ｇ画素加算部６Ｇは次式の演算を行う。
Ｇ＝ ２／４ ×ＧＢ３２＋ ２／４ ×ＧＢ３４
＋ ２／４ ×ＧＲ２３＋ ２／４ ×ＧＲ４３
増感倍率Ｌが３倍の時、Ｇ画素加算部６Ｇは次式の演算を行う。
Ｇ＝ ３／４ ×ＧＢ３２＋ ３／４ ×ＧＢ３４
＋ ３／４ ×ＧＲ２３＋ ３／４ ×ＧＲ４３
増感倍率Ｌが４倍の時、Ｇ画素加算部６Ｇは次式の演算を行う。
Ｇ＝ ４／４ ×ＧＢ３２＋ ４／４ ×ＧＢ３４
＋ ４／４ ×ＧＲ２３＋ ４／４ ×ＧＲ４３
【００８６】
図１０（ｄ）は、注目画素がＧＲ３３（第４種の画素）の時の参照領域Ａｇ及び参照画素を示す。図示のように、参照領域Ａｇ内にＧ画素（ＧＢ画素又はＧＲ画素）が５個存在し、そのすべてが参照画素として用いられる。即ち、注目画素ＧＲ３３と、注目画素の１ライン前の１画素前に位置する画素ＧＢ２２、注目画素の１ライン前の１画素後に位置する画素ＧＢ４２、注目画素の１ライン後の１画素前に位置する画素ＧＢ２４、及び注目画素の１ライン後の１画素後に位置する画素ＧＢ４４が参照画素として用いられる。
このとき、Ｇ信号は次式で求める。
Ｇ＝ＫＧ２２×ＧＢ２２＋ＫＧ４２×ＧＢ４２
＋ＫＧ３３×ＧＲ３３
＋ＫＧ２４×ＧＢ２４＋ＫＧ４４×ＧＢ４４
Ｇ信号係数設定回路１９５は、加算係数ＫＧ１１〜ＫＧ５５のうち、上式で使わない係数、即ち参照画素位置の画素に対する係数を「０」に設定する。
【００８７】
Ｇ信号係数設定回路１９５は、上式で使う加算係数を下式に従って算出する。
ＫＧ２２＝（Ｌ−１）×４／１５
ＫＧ４２＝（Ｌ−１）×４／１５
ＫＧ３３＝（１６−Ｌ）／１５
ＫＧ２４＝（Ｌ−１）×４／１５
ＫＧ４４＝（Ｌ−１）×４／１５
ここで、Ｌは制御回路１２から設定される増感倍率である。
【００８８】
上記の係数の各々は、正規化係数Ｋｎと重み係数Ｋｗの積で与えられるものであり、上記の例では、加算される画素の数に反比例した４／５が正規化係数である。
例えば、ＫＧ３３（注目画素についての加算係数）を求める式は、
ＫＧ３３＝（１６−Ｌ）／１２×４／５
と書き換えることができ、そのうち、４／５が正規化係数Ｋｎ、残りの（１６−Ｌ）／１２が重み係数Ｋｗである。
同様に、ＫＧ２２（注目画素以外の画素についての加算係数）を求める式は、
ＫＧ２２＝（Ｌ−１）／３×４／５
と書き換えることができ、そのうち、４／５が正規化係数Ｋｎ、残りの（Ｌ−１）／３が重み係数Ｋｗである。他の係数についても同様である。
【００８９】
増感倍率Ｌが１倍の時、Ｇ画素加算部６Ｇは次式の演算を行う。
Ｇ＝ ０ ×ＧＢ２２＋ ０ ×ＧＢ４２
＋１５／１５×ＧＲ３３
＋ ０ ×ＧＢ２４＋ ０ ×ＧＢ４４
増感倍率Ｌが２倍の時、Ｇ画素加算部６Ｇは次式の演算を行う。
Ｇ＝ ４／１５×ＧＢ２２＋ ４／１５×ＧＢ４２
＋１４／１５×ＧＲ３３
＋ ４／１５×ＧＢ２４＋ ４／１５×ＧＢ４４
増感倍率Ｌが３倍の時、Ｇ画素加算部６Ｇは次式の演算を行う。
Ｇ＝ ８／１５×ＧＢ２２＋ ８／１５×ＧＢ４２
＋１３／１５×ＧＲ３３
＋ ８／１５×ＧＢ２４＋ ８／１５×ＧＢ４４
増感倍率Ｌが４倍の時、Ｇ画素加算部６Ｇは次式の演算を行う。
Ｇ＝１２／１５×ＧＢ２２＋１２／１５×ＧＢ４２
＋１２／１５×ＧＲ３３
＋１２／１５×ＧＢ２４＋１２／１５×ＧＢ４４
【００９０】
図１１（ａ）〜（ｄ）は、図５の画素加算回路のＢ画素加算部６ＢでＢ信号を生成するために用いられる参照画素の配列を示す。図示のように、５×５画素の領域から４隅の画素を除いた参照領域Ａｂ内に位置するＢ画素（Ｂ成分の光を検出する画素、例えばＢフィルタを設けた画素）が参照画素として用いられる。参照画素は、画素加算における加重加算で用いられるが、後述の増感倍率Ｌの値によっては、加算係数が「０」となる。即ち、増感倍率が小さいときは、注目画素から比較的遠い画素の加算係数が「０」となり、注目画素に比較的近い画素のみにより注目画素の画素値が求められる。
【００９１】
図１１（ａ）は、注目画素がＧＢ３３（第２種の画素）の時の参照領域Ａｂ及び参照画素を示す。図示のように、参照領域Ａｂ内にＢ画素が６個存在し、そのすべてが参照画素として用いられる。即ち、注目画素の２ライン前の１画素前に位置する画素ＢＢ２１、注目画素の２ライン前の１画素前に位置する画素ＢＢ４１、注目画素の１画素前に位置する画素ＢＢ２３、注目画素の１画素後に位置する画素ＢＢ４３、注目画素の２ライン後の１画素前に位置する画素ＢＢ２５、及び注目画素の２ライン後の１画素後に位置する画素ＢＢ４５が参照画素として用いられる。
このとき、Ｂ信号は次式で求める。
Ｂ＝ＫＢ２１×ＢＢ２１＋ＫＢ４１×ＢＢ４１
＋ＫＢ２３×ＢＢ２３＋ＫＢ４３×ＢＢ４３
＋ＫＢ２５×ＢＢ２５＋ＫＢ４５×ＢＢ４５
Ｂ信号係数設定回路２９５は、加算係数ＫＢ１１〜ＫＢ５５のうち、上式で使わない係数、即ち参照画素位置の画素に対する係数を「０」に設定する。
【００９２】
Ｂ信号係数設定回路２９５は、上式で使う加算係数を下式に従って算出する。
ＫＢ２１＝（Ｌ−１）×４／１８
ＫＢ４１＝（Ｌ−１）×４／１８
ＫＢ２３＝（Ｌ＋８）／１８
ＫＢ４３＝（Ｌ＋８）／１８
ＫＢ２５＝（Ｌ−１）×４／１８
ＫＢ４５＝（Ｌ−１）×４／１８
ここで、Ｌは制御回路１２から設定される増感倍率である。
【００９３】
上記の係数の各々は、正規化係数Ｋｎと重み係数Ｋｗの積で与えられるものであり、上記の例では、加算される画素の数に反比例した４／６が正規化係数である。
例えば、ＫＢ２３（３×３画素の領域内の画素についての加算係数）を求める式は、
ＫＢ２３＝（Ｌ＋８）／１２×４／６
と書き換えることができ、そのうち、４／６が正規化係数Ｋｎ、残りの（Ｌ＋８）／１２が重み係数Ｋｗである。
同様に、ＫＢ２１（３×３画素の領域外の画素についての加算係数）を求める式は、
ＫＢ２１＝（Ｌ−１）／３×４／６
と書き換えることができ、そのうち、４／６が正規化係数Ｋｎ、残りの（Ｌ−１）／３が重み係数Ｋｗである。他の係数についても同様である。
【００９４】
増感倍率Ｌが１倍の時、Ｂ画素加算部６Ｂは次式の演算を行う。
Ｂ＝ ０ ×ＢＢ２１＋ ０ ×ＢＢ４１
＋ ９／１８×ＢＢ２３＋ ９／１８×ＢＢ４３
＋ ０ ×ＢＢ２５＋ ０ ×ＢＢ４５
増感倍率Ｌが２倍の時、Ｂ画素加算部６Ｂは次式の演算を行う。
Ｂ＝ ４／１８×ＢＢ２１＋ ４／１８×ＢＢ４１
＋１０／１８×ＢＢ２３＋１０／１８×ＢＢ４３
＋ ４／１８×ＢＢ２５＋ ４／１８×ＢＢ４５
増感倍率Ｌが３倍の時、Ｂ画素加算部６Ｂは次式の演算を行う。
Ｂ＝ ８／１８×ＢＢ２１＋ ８／１８×ＢＢ４１
＋１１／１８×ＢＢ２３＋１１／１８×ＢＢ４３
＋ ８／１８×ＢＢ２５＋ ８／１８×ＢＢ４５
増感倍率Ｌが４倍の時、Ｂ画素加算部６Ｂは次式の演算を行う。
Ｂ＝１２／１８×ＢＢ２１＋１２／１８×ＢＢ４１
＋１２／１８×ＢＢ２３＋１２／１８×ＢＢ４３
＋１２／１８×ＢＢ２５＋１２／１８×ＢＢ４５
【００９５】
図１１（ｂ）は、注目画素がＢＢ３３（第３種の画素）の時の参照領域Ａｂ及び参照画素を示す。図示のように、参照領域Ａｂ内にＢ画素が５個存在し、そのすべてが参照画素として用いられる。即ち、注目画素ＢＢ３３、注目画素の２ライン前に位置する画素ＢＢ３１、注目画素の２画素前に位置する画素ＢＢ１３、注目画素の２画素後に位置する画素ＢＢ５３、及び注目画素の２ライン後に位置する画素ＢＢ３５が参照画素として用いられる。
このとき、Ｂ信号は次式で求める。
Ｂ＝ＫＢ３１×ＢＢ３１
＋ＫＢ１３×ＢＢ１３＋ＫＢ３３×ＢＢ３３＋ＫＢ５３×ＢＢ５３
＋ＫＢ３５×ＢＢ３５
Ｂ信号係数設定回路２９５は、加算係数ＫＢ１１〜ＫＢ５５のうち、上式で使わない係数、即ち参照画素位置の画素に対する係数を「０」に設定する。
【００９６】
Ｂ信号係数設定回路２９５は、上式で使う加算係数を下式に従って算出する。
ＫＢ３１＝（Ｌ−１）×４／１５
ＫＢ１３＝（Ｌ−１）×４／１５
ＫＢ３３＝（１６−Ｌ）／１５
ＫＢ５３＝（Ｌ−１）×４／１５
ＫＢ３５＝（Ｌ−１）×４／１５
ここで、Ｌは制御回路１２から設定される増感倍率である。
【００９７】
上記の係数の各々は、正規化係数Ｋｎと重み係数Ｋｗの積で与えられるものであり、上記の例では、加算される画素の数に反比例した４／５が正規化係数である。
例えば、ＫＢ３３（注目画素についての加算係数）を求める式は、
ＫＢ３３＝（１６−Ｌ）／１２×４／５
と書き換えることができ、そのうち、４／５が正規化係数Ｋｎ、残りの（１６−Ｌ）／１２が重み係数Ｋｗである。
同様に、ＫＢ３１（３×３画素の領域外の画素についての加算係数）を求める式は、
ＫＢ３１＝（Ｌ−１）／３×４／５
と書き換えることができ、そのうち、４／５が正規化係数Ｋｎ、残りの（Ｌ−１）／３が重み係数Ｋｗである。他の係数についても同様である。
【００９８】
増感倍率Ｌが１倍の時、Ｂ画素加算部６Ｂは次式の演算を行う。
Ｂ＝ ０ ×ＢＢ３１
＋ ０ ×ＢＢ１３＋１５／１５×ＢＢ３３＋ ０ ×ＢＢ５３
＋ ０ ×ＢＢ３５
増感倍率Ｌが２倍の時、Ｂ画素加算部６Ｂは次式の演算を行う。
Ｂ＝ ４／１５×ＢＢ３１
＋ ４／１５×ＢＢ１３＋１４／１５×ＢＢ３３＋ ４／１５×ＢＢ５３
＋ ４／１５×ＢＢ３５
増感倍率Ｌが３倍の時、Ｂ画素加算部６Ｂは次式の演算を行う。
Ｂ＝ ８／１５×ＢＢ３１
＋ ８／１５×ＢＢ１３＋１３／１５×ＢＢ３３＋ ８／１５×ＢＢ５３
＋ ８／１５×ＢＢ３５
増感倍率Ｌが４倍の時、Ｂ画素加算部６Ｂは次式の演算を行う。
Ｂ＝１２／１５×ＢＢ３１
＋１２／１５×ＢＢ１３＋１２／１５×ＢＢ３３＋１２／１５×ＢＢ５３
＋１２／１５×ＢＢ３５
【００９９】
図１１（ｃ）は、注目画素がＲＲ３３（第１種の画素）の時の参照領域Ａｂ及び参照画素を示す。図示のように、参照領域Ａｂ内にＢ画素が４個存在し、そのすべてが参照画素として用いられる。即ち、注目画素の１ライン前の１画素前に位置する画素ＢＢ２２、注目画素の１ライン前の１画素後に位置する画素ＢＢ４２、注目画素の１ライン後の１画素前に位置する画素ＢＢ２４、及び注目画素の１ライン後の１画素後に位置する画素ＢＢ４４が参照画素として用いられる。
このとき、Ｂ信号は次式で求める。
Ｂ＝ＫＢ２２×ＢＢ２２＋ＫＢ４２×ＢＢ４２
＋ＫＢ２４×ＢＢ２４＋ＫＢ４４×ＢＢ４４
Ｂ信号係数設定回路２９５は、加算係数ＫＢ１１〜ＫＢ５５のうち、上式で使わない係数、即ち参照画素位置の画素に対する係数を「０」に設定する。
【０１００】
Ｂ信号係数設定回路２９５は、上式で使う加算係数を下式に従って算出する。
ＫＢ２２＝Ｌ／４
ＫＢ４２＝Ｌ／４
ＫＢ２４＝Ｌ／４
ＫＢ４４＝Ｌ／４
ここで、Ｌは制御回路１２から設定される増感倍率である。
【０１０１】
上記の係数の各々は、正規化係数Ｋｎと重み係数Ｋｗの積で与えられるものであり、上記の例では、加算される画素の数に反比例した４／４が正規化係数である。例えばＫＢ２２を求める式は、
ＫＢ２２＝Ｌ／４×４／４
と書き換えることができ、そのうち、４／４が正規化係数Ｋｎ、残りのＬ／４が重み係数Ｋｗである。他の係数についても同様である。
【０１０２】
増感倍率Ｌが１倍の時、Ｂ画素加算部６Ｂは次式の演算を行う。
Ｂ＝ １／４ ×ＢＢ２２＋ １／４ ×ＢＢ４２
＋ １／４ ×ＢＢ２４＋ １／４ ×ＢＢ４４
増感倍率Ｌが２倍の時、Ｂ画素加算部６Ｂは次式の演算を行う。
Ｂ＝ ２／４ ×ＢＢ２２＋ ２／４ ×ＢＢ４２
＋ ２／４ ×ＢＢ２４＋ ２／４ ×ＢＢ４４
増感倍率Ｌが３倍の時、Ｂ画素加算部６Ｂは次式の演算を行う。
Ｂ＝ ３／４ ×ＢＢ２２＋ ３／４ ×ＢＢ４２
＋ ３／４ ×ＢＢ２４＋ ３／４ ×ＢＢ４４
増感倍率Ｌが４倍の時、Ｂ画素加算部６Ｂは次式の演算を行う。
Ｂ＝ ４／４ ×ＢＢ２２＋ ４／４ ×ＢＢ４２
＋ ４／４ ×ＢＢ２４＋ ４／４ ×ＢＢ４４
【０１０３】
図１１（ｄ）は、注目画素がＧＲ３３（第４種の画素）の時の参照領域Ａｂ及び参照画素を示す。図示のように、参照領域Ａｂ内にＢ画素が６個存在し、そのすべてが参照画素として用いられる。即ち、注目画素の１ライン前に位置する画素ＢＢ３２、注目画素の１ライン前の２画素前に位置する画素ＢＢ１２、注目画素の１ライン前の２画素後に位置する画素ＢＢ５２、注目画素の１ライン後に位置する画素ＢＢ３４、注目画素の１ライン後の２画素前に位置する画素ＢＢ１４、及び注目画素の１ライン後の２画素後に位置する画素ＢＢ５４が参照画素として用いられる。
このとき、Ｂ信号は次式で求める。
Ｂ＝ＫＢ１２×ＢＢ１２＋ＫＢ３２×ＢＢ３２＋ＫＢ５２×ＢＢ５２
＋ＫＢ１４×ＢＢ１４＋ＫＢ３４×ＢＢ３４＋ＫＢ５４×ＢＢ５４
Ｂ信号係数設定回路２９５は、加算係数ＫＢ１１〜ＫＢ５５のうち、上式で使わない係数、即ち参照画素位置の画素に対する係数を「０」に設定する。
【０１０４】
Ｂ信号係数設定回路２９５は、上式で使う加算係数を下式に従って算出する。
ＫＢ１２＝（Ｌ−１）×４／１８
ＫＢ３２＝（Ｌ＋８）／１８
ＫＢ５２＝（Ｌ−１）×４／１８
ＫＢ１４＝（Ｌ−１）×４／１８
ＫＢ３４＝（Ｌ＋８）／１８
ＫＢ５４＝（Ｌ−１）×４／１８
ここで、Ｌは制御回路１２から設定される増感倍率である。
【０１０５】
上記の係数の各々は、正規化係数Ｋｎと重み係数Ｋｗの積で与えられるものであり、上記の例では、加算される画素の数に反比例した４／６が正規化係数である。
例えば、ＫＢ３２（３×３画素の領域内の画素についての加算係数）を求める式は、
ＫＢ３２＝（Ｌ＋８）／１２×４／６
と書き換えることができ、そのうち、４／６が正規化係数Ｋｎ、残りの（Ｌ＋８）／１２が重み係数Ｋｗである。
同様に、ＫＢ１２（３×３画素の領域外の画素についての加算係数）を求める式は、
ＫＢ１２＝（Ｌ−１）／３×４／６
と書き換えることができ、そのうち、４／６が正規化係数Ｋｎ、残りの（Ｌ−１）／３が重み係数Ｋｗである。他の係数についても同様である。
【０１０６】
増感倍率Ｌが１倍の時、Ｒ画素加算部６Ｒは次式の演算を行う。
Ｂ＝ ０ ×ＢＢ１２＋ ９／１８×ＢＢ３２＋ ０ ×ＢＢ５２
＋ ０ ×ＢＢ１４＋ ９／１８×ＢＢ３４＋ ０ ×ＢＢ５４
増感倍率Ｌが２倍の時、Ｒ画素加算部６Ｒは次式の演算を行う。
Ｂ＝４／１８×ＢＢ１２＋１０／１８×ＢＢ３２＋４／１８×ＢＢ５２
＋４／１８×ＢＢ１４＋１０／１８×ＢＢ３４＋４／１８×ＢＢ５４
増感倍率Ｌが３倍の時、Ｒ画素加算部６Ｒは次式の演算を行う。
Ｂ＝８／１８×ＢＢ１２＋１１／１８×ＢＢ３２＋８／１８×ＢＢ５２
＋８／１８×ＢＢ１４＋１１／１８×ＢＢ３４＋８／１８×ＢＢ５４
増感倍率Ｌが４倍の時、Ｒ画素加算部６Ｒは次式の演算を行う。
Ｂ＝１２／１８×ＢＢ１２＋１２／１８×ＢＢ３２＋１２／１８×ＢＢ５２
＋１２／１８×ＢＢ１４＋１２／１８×ＢＢ３４＋１２／１８×ＢＢ５４
【０１０７】
一般化すれば、参照画素に対する加算係数Ｋａ（ＫＲ２１、ＫＲ２２、…、ＫＧ２２、ＫＧ２３、…、ＫＢ２１、ＫＢ２２、…）は、重み係数Ｋｗと正規化係数Ｋｎの積で与えられる。
正規化係数Ｋｎは、加算により求めようとしている色成分値に応じて予め決められるものであり、参照画素の数に反比例する。上記の例では、参照画素の数がＮｐ（＝４、５又は６）であれば、正規化係数Ｋｎ＝４／Ｎｐ（＝４／４、４／５又は４／６）である。
一方、重み係数Ｋｗは、加算される各画素に対して定められるものであり、各画素に対する重み係数Ｋｗは、当該画素の注目画素からの距離と、増感倍率に依存し、増感倍率Ｌが比較的小さいときは、重み係数Ｋｗは距離が大きいほど小さく、増感倍率Ｌが大きくなるほど、重み係数Ｋｗの距離に対する依存性が小さくなるように設定される。
加算係数の、すべての参照画素についての総和Ｓｋａは、増感倍率Ｌに等しい。
【０１０８】
参照画素の数が４の場合（図９（ｂ）、図１０（ｂ）、図１０（ｃ）、図１１（ｃ））
参照画素の数が５の場合（図９（ｃ）、図１０（ａ）、図１０（ｄ）、図１１（ｂ））、
参照画素の数が６の場合(図９（ａ）、図９（ｄ）、図１１（ａ）、図１１（ｄ））、
のそれぞれについて、増感倍率Ｌと重み係数Ｋｗの関係を図１２（ａ）、（ｂ）、（ｃ）に示す。
図１２（ａ）で、符号Ｋｗ４はすべての参照画素に共通の重み係数Ｋｗを示す。
図１２（ｂ）で、符号Ｋｗ５０は注目画素についての重み係数を示し、符号Ｋｗ５１は注目画素以外の画素についての重み係数を示す。
図１２（ｃ）で、符号Ｋｗ６１は３×３画素の領域内の参照画素についての重み係数を示し、符号Ｋｗ６２は３×３画素の領域外の画素についての重み係数を示す。
【０１０９】
上記の実施の形態では、制御回路１２において、増感倍率Ｌを出力し、係数設定回路９５，１９５，２９５が増感倍率Ｌに基づいて加算係数Ｋａを生成することとしており、制御回路１２と係数設定回路９５，１９５，２９５とで、加算係数Ｋａを生成する加算係数生成部を構成している。
【０１１０】
上記の例で説明したように、注目画素に最も近い相関の高い画素を使って画素加算を行うので画像解像度の劣化を最小限に抑えつつ感度向上を実現することができる。特に解像度に寄与するＧ画素は、注目画素の隣接画素（３×３画素の領域内の画素）を参照画素としている。
【０１１１】
上記の例で説明したように、注目画素の近傍に位置する画素の画素値、従って相関が比較的高い画素値を用いて画素加算を行うので、画像解像度の劣化を抑制しつつ感度向上を実現することができる。特に輝度成分への影響を大きく与え、従って、解像度の向上への寄与の大きいＧ画素については、隣接画素（３×３画素の領域内の画素）のみを参照画素として画素加算を行うので、画素加算による解像度の劣化を最小限に抑えることができる。
【０１１２】
上記の例で説明したように、画素加算を撮像素子から出力された直後に(即ち映像信号処理回路７による処理の前に)行うことにより、映像信号処理の影響を受けずに、画素加算による高感度信号が生成できる。映像信号処理の後段で行う画素加算は、近傍に位置する画素を使った演算である色同時化処理や、フィルタ処理が施されているので、水平解像度や垂直解像度の低下が想定よりも大きい。隣接画素（水平方向の座標値の差及び垂直方向の座標値の差のうちの大きい方が１である画素）を使った画素加算を行った場合には、その１画素隣の画素は、色同時化処理で隣接画素に隣接する画素を使って生成されている場合があり、そうすると、結果的に水平方向又は垂直方向の画素間距離が２画素ピッチである画素と画素加算を行っていることになる。これとの比較から、映像信号処理後の画素信号を用いた画素加算に較べて、映像信号処理前の画素信号を用いた画素加算は、より高い解像度の画像が得られる効果がある。
【０１１３】
また映像信号処理では非線形なフィルタ処理や階調変換処理が行われているので、低振幅信号を入力した場合、信号振幅が失われている場合がある。このため、映像信号処理の出力信号を２画素加算しても、２倍の画像信号にならない可能性がある。上記した例では映像信号処理前に画素加算するように構成したので、２画素加算したら、２倍の画像信号になる効果がある。
【０１１４】
上記の例で説明したように、注目画素がＲ画素又はＢ画素である場合には、増感倍率Ｌが１倍の場合は、注目画素自体、又はその隣接画素のみを用いて画素加算を行い、増感倍率Ｌが４倍の場合は、隣接画素の周囲に配置されている周辺画素をも用いた画素加算を行うこととし、その間の増感倍率Ｌでは、増感倍率の増加に伴って加算係数が連続的に変化するように、例えば増感倍率の増加に加算係数の増加又は減少が比例するようにした。
一方、注目画素がＧ画素である場合には、増感倍率が１倍から４倍の如何なる場合にも、注目画素のみ又は注目画素及びその隣接画素のみを用いて画素加算を行なうこととした。
【０１１５】
以上のように構成したので、標準照度（高照度側基準値以上の範囲内）では、増感倍率Ｌは１倍として解像度の低下がない画像を出力できる。低照度範囲（低照度側基準値以下の範囲）では、増感倍率Ｌは４倍として解像度の低下を最小限に抑えた４倍の感度で画像を出力できる。カメラに搭載される撮像素子の感度やノイズレベルによるが、例えば上記の高照度側基準値を１ｌｘに設定し、上記の低照度側基準値を０．２５ｌｘに設定しても良い。また、標準照度での増感倍率Ｌ＝１倍と、低照度での増感倍率Ｌ＝４倍の間の中照度範囲においては、シームレスに増感倍率Ｌを設定できるように構成したので、撮像装置から得られる画像を動画として見る場合にも、照度が暗くなる過程で画像が急変することがなく違和感を与えない効果がある。出力信号の明るさが急変することがなくなり、画面を見ている人が違和感を受けたり、見づらいと感じたりすることがなくなる。
【０１１６】
以上要するに、制御回路１２とＲ信号係数設定回路９５との組合せは、Ｒ画素加算部（第１の色成分生成部）６Ｒで用いられる加算係数を定めるに当たり、
被写体照度が所定の高照度側基準値以上の高照度範囲内にあり、図９（ｃ）に示すように、注目画素がＲ画素（第１種の画素）である場合、注目画素以外の参照画素についての加算係数をゼロとし、
被写体照度が所定の高照度側基準値以上の高照度範囲内にあり、図９（ａ）、（ｂ）、（ｄ）に示すように、注目画素がＲ画素以外である場合（ＧＢ画素、Ｂ画素、又はＧＲ画素である場合、即ち、第２種、第３種又は第４種の画素である場合）、注目画素を中心とした３×３画素の領域内に含まれない参照画素についての加算係数をゼロとし、
被写体照度が所定の低照度側基準値以下の低照度範囲内にある場合、参照画素のすべてについての加算係数を互いに等しいゼロ以外の値とし、
被写体照度が上記低照度側基準値と上記高照度側基準値の間の中照度範囲内にある場合、被写体照度の増加とともに、上記低照度範囲で用いられる値から、上記高照度範囲で用いられる値へ上記加算係数を連続的に変化させる。
【０１１７】
また、制御回路１２とＧ信号係数設定回路１９５との組合せは、Ｇ画素加算部（第２の色成分生成部）６Ｇで用いられる加算係数を定めるに当たり、
被写体照度が所定の高照度側基準値以上の高照度範囲の場合にあり、図１０（ａ）、（ｄ）に示すように、注目画素がＧＢ画素又はＧＲ画素（第２種又は第４種の画素）、即ちＧ成分の光を検出する画素である場合、注目画素以外の参照画素についての加算係数をゼロとし、
被写体照度が所定の低照度側基準値以下の低照度範囲内にあり、図１０（ａ）、（ｄ）に示すように、注目画素がＧＢ画素又はＧＲ画素（第２種又は第４種の画素）、即ち、Ｇ成分の光を検出する画素である場合、すべての参照画素についての加算係数を互いに等しい値とし、
被写体照度が所定の高照度側基準値以上の高照度範囲内にあり、図１０（ｃ）、（ｂ）に示すように、注目画素がＲ画素又はＢ画素（第１種又は第３種の画素）、即ち、Ｇ成分の光を検出する画素以外の画素であるである場合、すべての参照画素についての加算係数を互いに等しい第１の値とし、
被写体照度が所定の低照度側基準値以下の低照度範囲内にあり、図１０（ｃ）、（ｂ）に示すように、注目画素がＲ画素又はＢ画素（第１種又は第３種の画素）、即ち、Ｇ成分の光を検出する画素以外の画素である場合、すべての参照画素についての加算係数を互いに等しい、上記第１の値よりも大きい第２の値とし、
被写体照度が上記低照度側基準値と上記高照度側基準値の間の中照度範囲内にある場合、
被写体照度の増加とともに、上記低照度範囲で用いられる値から、上記高照度範囲で用いられる値へ上記加算係数を連続的に変化させる。
【０１１８】
さらに、制御回路１２とＢ信号係数設定回路１９５との組合せは、Ｂ画素加算部（第３の色成分生成部）６Ｂで用いられる加算係数を定めるに当たり、
被写体照度が所定の高照度側基準値以上の高照度範囲内にあり、図１１（ｂ）に示すように、注目画素がＢ画素（第３種の画素）である場合、注目画素以外の参照画素についての加算係数をゼロとし、
被写体照度が所定の高照度側基準値以上の高照度範囲内にあり、図１１（ａ）、（ｃ）、（ｄ）に示すように、注目画素がＢ画素以外の画素（Ｒ画素、ＧＢ画素、ＧＲ画素、即ち第１種、２種、第４種の画素）である場合、注目画素を中心とした３×３画素の領域内に含まれない参照画素についての加算係数をゼロとし、
被写体照度が所定の低照度側基準値以下の低照度範囲内にある場合、参照画素のすべてについての加算係数を互いに等しいゼロ以外の値とし、
被写体照度が上記低照度側基準値と上記高照度側基準値の間の中照度範囲内にある場合、被写体照度の増加とともに、上記低照度範囲で用いられる値から、上記高照度範囲で用いられる値へ上記加算係数を連続的に変化させる。
【０１１９】
上記の例では、４倍までの増感倍率Ｌを設定した場合について説明したが、４倍よりも大きな値に設定しても良い。上記の加算係数の生成式は、増感倍率Ｌを１倍から４倍まで設定範囲とし、４倍の時に、すべての参照画素の重みが等しくなる。４倍よりも大きな増感倍率Ｌの加算係数の生成式は、参照画素の重みが等しいまま増感倍率Ｌを設定できる生成式とする。周辺画素の色フィルタ配置パターンによって異なるが、４画素加算のケースでは加算係数の生成式はＬ／４とし、５画素加算のケースでは加算係数の生成式はＬ／５とし、６画素加算のケースでは加算係数の生成式はＬ／６とする。４倍よりも大きな増感倍率Ｌの設定は、階調落ちに注意して使う必要がある。
【０１２０】
図９（ａ）〜（ｄ）、図１１（ａ）〜（ｄ）では、Ｒ画素加算部６ＲでＲ信号を生成するために用いられる参照領域及びＢ画素加算部６ＢでＢ信号を生成するために用いられる参照領域を５×５画素の領域から４隅の画素を除いた部分としたが、４隅の画素を除かず、５×５画素の全体を参照領域としても良い。また、上記の例では、注目画素からの距離の近い順に、注目画素を含め６個以下の画素を参照画素として選択することとしたが、より多くの画素を参照画素として選択することとしても良い。
【０１２１】
上記の例で説明したように、同じ色成分の光を検出する画素の画素値（同じ色の色フィルｔを備えた画素からの画素値）を加算するので、混色することなく高感度なカラー画像が得られる。
【０１２２】
低照度時の撮像画像をアナログアンプで増幅すると信号よりもノイズが大きくなる。またデジタルアンプで増幅すると階調落ちが発生する。上記の例で説明したように本発明は、近傍領域内の画素の画素加算で高感度化をはかるので信号よりもノイズが小さくなる。例えば２画素加算すると信号成分は２倍になり、ノイズ成分は二乗根倍になり、相対的に純粋の信号成分が大きくなる。また、画像の性質として近傍に位置する画素同士は相関が高いことから、注目画素の近傍に位置する複数画素を加算することで実効性の高い感度向上を実現している。
【０１２３】
上記の例において、固体撮像素子の一構成例として図１のようにＣＣＤ撮像素子２を使った構成について説明したが、２次元イメージセンサであればＣＣＤ撮像素子に限らず、ＣＭＯＳ撮像素子でも、どのようなものでも良い。またインターライントランスファーＣＣＤに限らず、フレームトランスファーＣＣＤでもフレームインターライントランスファーＣＣＤであっても良い。
図１３に、ＣＭＯＳ撮像素子２０を使った構成を示す。ＣＭＯＳ撮像素子は、撮像機能単体のデバイスの場合もあるし、周辺機能を集積したデバイスの場合もある。
図１３は、周辺機能を集積したＣＭＯＳ撮像素子の場合について示す。
図１のＣＣＤ撮像素子２、相関二重サンプリング処理回路３、プログラマブル利得増幅回路４、Ａ／Ｄ変換回路５、タイミング発生回路１０の持つ機能は、ＣＭＯＳ撮像素子２０の中に含まれている。
【０１２４】
実施の形態２．
図１４は本発明の実施の形態２による撮像装置を示す。図１４において、検波回路１３が付加されていること、及び図１の制御回路１２の代わりに制御回路１２ｂが設けられている点を除き、実施の形態１の説明と同様であり、同様な効果を奏する。
【０１２５】
検波回路１３は、画素加算回路６から供給された信号の大きさを検波し、信号振幅のレベル、例えば平均レベルの検出値ＡＳＡを求め、照度情報として出力する。
【０１２６】
検波回路１３は、上記の検波において、信号振幅の平均レベルの算出値ＡＳＡを、全有効画素の画素値の総和を全有効画素数で除算して求める。
このような平均レベルの算出は、例えば垂直走査周期毎に行われ、例えば積分処理と割算処理とにより実行される。上記のようにして求められる信号振幅の平均レベルの「算出値」を、信号振幅の平均レベルの「検出値」と言うことがある。
【０１２７】
なお、上記の信号振幅の平均レベル算出における全有効画素数での除算は、画素数が２のｎ乗（ｎは整数）で与えられるときは、デジタル値のビットシフト処理で実現しても良い。また全有効画素数は、同じシステムでは定数であるので全有効画素数の除算を省略しても良い。
【０１２８】
制御回路１２ｂは、実施の形態１の制御回路１２と同様であるが、以下のように付加的な機能を有する。即ち、制御回路１２ｂは、検波回路１３から供給された信号振幅の平均レベルの検出値ＡＳＡに基づいて、レンズ１の絞りの制御、タイミング発生回路１０が発生するＣＣＤ撮像素子２の光電変換素子からの電荷読出しタイミング及び電荷強制排出タイミングの制御（従って、電荷蓄積時間、即ち露光時間の制御）、プログラマブル利得増幅回路４の増幅利得の制御、並びに画素加算回路６の画素加算処理の制御を行う。
さらに、映像信号処理回路７は、垂直走査周期毎に画素加算回路６の出力に含まれるノイズのレベルを算出し、制御回路１２ｂへ供給する。
【０１２９】
なお、上記の例では、上記の信号振幅の平均レベルの算出及びノイズレベルの算出を、垂直走査周期毎に行うものとして説明したが、検波回路１３及び映像信号処理回路７内部の信号処理時間並びに検波回路１３及び映像信号処理回路７から制御回路１２ｂへの伝送時間を考慮して、数回の垂直走査に１回だけ行うようにしても良い。
【０１３０】
上記の例では、検波回路１３は、信号振幅の平均レベルを算出したが、信号振幅のピーク検波とする場合もある。検波回路１３の出力は、着目する被写体の視認性が高くなるように生成する。例えば、ハイライト部分を白く飽和させたくない場合は、ピーク検波とし、ハイライト部分が白く飽和しても中間階調がはっきり見えれば良い場合は、平均値検波とする。
【０１３１】
以下で詳しく述べるように、画素加算回路６による感度制御も露光制御の一環として制御できるので照度環境が変化しても、常に最適な条件で被写体を視認できる画像が得られる効果がある。また、画素加算回路６は、加算する画素の数（参照画素のうちで加算係数をゼロ以外の値とする画素の数）や加算係数を変えることで、信号振幅を調整する。
【０１３２】
制御回路１２ｂは、検波回路１３から得られる信号振幅の平均レベルの検出値ＡＳＡが一定となるように自動露光制御を行う。明るい環境での撮像で上記信号振幅が大きい時、制御回路１２ｂは、レンズ１の開口を絞るように制御してＣＣＤ撮像素子２への入射光量を減らしたり、タイミング発生回路１０による電荷強制排出タイミングの調整で、ＣＣＤ撮像素子２の光電変換素子に蓄積される電荷を強制排出するように制御して露光時間を減らしたりする。
【０１３３】
暗い環境での撮像で上記信号振幅が小さくなってきた時、制御回路１２ｂは、プログラマブル利得増幅回路４の増幅利得を増やすように制御して撮像信号を増幅する。しかしながら、上記増幅利得が大き過ぎるとノイズが目立つようになり視認性の悪い画像となる。他の方法として、制御回路１２ｂは、ＣＣＤ撮像素子２の光電変換素子からの電荷読出しを垂直走査周期単位で間引くように制御することにより露光時間を延ばすこともできる。しかしながら、露光時間が長すぎると動く被写体が残像となり視認性の悪い画像となる。さらに垂直走査周期単位で欠落する画像の補間（フレーム補間）を行なう回路が必要になる。
【０１３４】
実施の形態１と同様に、本実施の形態の制御回路１２ｂは、画素加算回路６への増感倍率Ｌを１倍から４倍に設定する。増感倍率Ｌの設定（調整）は、検波回路１３からの照度情報並びに露光パラメータに基づいて行われる。実施の形態１で述べたように、増感倍率Ｌの変更により加算係数ＫＲ、ＫＧ、ＫＢが調整される。従って、照度情報に基づいて加算係数が調整される。
注目画素の近傍領域内に位置する４〜６画素を加算することにより、４倍の感度向上を実現でき、極めて暗い環境での撮像でも大幅に視認性を改善することができる。また、フレーム周波数の低下を防止乃至抑制することができるので、動解像度の劣化はなく、水平解像度、垂直解像度の劣化は最小に抑えることができる。
【０１３５】
以下、被写体照度が変化したときの感度調整のための手順の一例を説明する。まず、露光時間は一定値（標準露光時間）Ｔｒに維持するものとして説明する。
被写体照度が徐々に暗くなり、信号振幅の平均レベルの検出値ＡＳＡが下がってくると、レンズ１の絞りを開放方向に制御して（図１５（ａ）の範囲Ｓａ）、信号振幅の平均レベルを維持する。ここで、「信号振幅の平均レベルを維持する」とは、画素加算回路６の出力の信号振幅の平均レベル、従って検波回路１３の出力で表される、信号振幅の平均レベルを維持することを意味する。
【０１３６】
レンズ１の絞りが開放（全開）になった後は、プログラマブル利得増幅回路４の増幅利得を増やすように制御して（図１５（ｂ）の範囲Ｓｂ）、信号振幅の平均レベルを維持する。プログラマブル利得増幅回路４の増幅利得が大きくなり、増幅利得の所定の上限値ＵＧＬよりも大きくなった後は、画素加算回路６の増感倍率Ｌを大きくなるように制御して（図１５（ｃ）の範囲Ｓｃ）、信号振幅の平均レベルＡＳＡを維持する。
【０１３７】
増感倍率Ｌの制御による平均レベルＡＳＡの維持は、増感倍率Ｌが最大値（Ｌ＝４）となるまで可能である。それよりもさらに被写体照度が低下すると、平均レベルＡＳＡは低下を開始する。
【０１３８】
標準露光時間Ｔｒにおいて、レンズ絞りを開放とし、増幅利得を最大とし、増感倍率Ｌが１であるときに画素加算回路６の出力（画素加算部６Ｒ、６Ｇ、６Ｂの出力）が所定のレベルとなる照度ＨＬを高照度側基準値とし、高照度基準値ＨＬの１／４の照度、即ち、標準露光時間Ｔｒにおいて、レンズ絞りを開放とし、増幅利得を最大とし、増感倍率Ｌが４であるときに画素加算回路６の出力が所定のレベルとなる照度ＬＬを、低照度側基準値とする。
【０１３９】
被写体照度が徐々に明るくなって、低照度側基準値ＬＬ以上となり、信号振幅の平均レベルの検出値ＡＳＡが上がろうとすると、画素加算回路６の増感倍率Ｌを減らすように制御して（図１５（ｃ）の範囲Ｓｃ）、信号振幅の平均レベルを維持する。増感倍率Ｌが１倍まで小さくなると、次にプログラマブル利得増幅回路４の増幅利得を減らすように制御して、信号振幅の平均レベルを維持する。プログラマブル利得増幅回路４の増幅利得が減少し（図１５（ｂ）の範囲Ｓｂ）、所定の下限値ＬＧＬよりも小さくなった後は、レンズ１の絞りを遮光方向に制御して（図１５（ａ）の範囲Ｓａ）、信号振幅の平均レベルを維持する（図１５（ｅ））。さらに照度が高くなると、平均レベルＡＳＡは上昇する。
【０１４０】
以上の制御を行う結果、図１５（ｅ）に実線で示すように、下限ＬＬから上限ＵＬまでの範囲において、信号振幅の平均レベルＡＳＡを一定に保つことができる。
なお、露光時間を一定としたが、被写体の照度に応じて露光時間をも制御しても良い。例えば、照度が低下して、増感倍率Ｌが最大値になってもなおも、信号振幅が十分な値とならないときに、露光時間を長くすることとしても良い（図１５（ｄ）の範囲Ｓｄ）。逆に、照度が高くなり、絞りを最大に絞っても（Ｆ値を最も高くしても）、信号振幅が大きすぎる場合には、露光時間を短くしても良い（図１５（ｄ）の範囲Ｓｅ）。
このような露光時間の制御を加えると、図１５（ｅ）に点線で示すように、下限ＬＬｅから上限ＵＬｅまでの範囲において、信号振幅の平均レベルＡＳＡを一定に保つことができる。
【０１４１】
上記増幅利得の所定の上限値ＵＧＬは、映像信号処理回路７で検出されるノイズレベルの検出値ＡＮＬに基づいて決まる。（被写体照度が低下し、それに伴い撮像素子２の出力のＳ／Ｎが低下した場合に増幅利得を増加させる必要があることを考慮し、）ノイズレベルの検出値ＡＮＬが信号振幅の平均レベルの検出値ＡＳＡに対して所定のノイズ割合（第１の所定のノイズ割合、即ち許容上限値）ＮＰＲ１に達したときのプログラマブル利得増幅回路４の増幅利得を上記所定の上限値ＵＧＬとする。上記第１の所定のノイズ割合ＮＰＲ１は例えば１／５０と定められる。
【０１４２】
ノイズレベルの算出値ＡＮＬは、ノイズ低減処理によりノイズ成分を抽出し、全有効画素範囲のノイズ成分の絶対値の総和を全有効画素数で除算することで求まる。ノイズ低減処理により、入力信号のノイズを低減したノイズ低減信号ＮＲＳが得られる。上記入力信号（映像信号処理回路７内でノイズ低減処理を行う前の信号）から上記ノイズ低減信号ＮＲＳを減算することでノイズ成分を抽出できる。上記のようにして求められるノイズレベルの「算出値」を、「検出値」と言うことがある。
【０１４３】
用途によって被写体の視認にあたり許容できるノイズレベルは異なるため、上記第１の所定のノイズ割合ＮＰＲ１は、Ｓ／Ｎを重視するか、画像解像度を重視するか等、撮像装置の用途によって変わる。制御回路１２ｂは、プログラマブル利得増幅回路４に設定している利得、及び検波回路１３から制御回路１２ｂへ供給されるノイズレベルの検出値ＡＮＬを観測しながらダイナミックに上記増幅利得の所定の上限値ＵＧＬを決めてプログラマブル利得増幅回路４及び画素加算回路６を制御することとしても良く、撮像装置を工場から出荷する前にノイズレベルの検出値ＡＮＬが信号振幅の平均レベルの検出値ＡＳＡに対して第１の所定のノイズ割合ＮＰＲ１に達する増幅利得を測定し、上記所定の上限値ＵＧＬとして撮像装置の電源を切っても記憶内容を保持できる記憶部（不揮発性のメモリ、電池でバックアップされた揮発性のメモリなど）１６に書込み、制御回路１２ｂは上記増幅利得の所定の上限値ＵＧＬを参照してプログラマブル利得増幅回路４及び画素加算回路６を制御するようにしても良い。
【０１４４】
上記増幅利得の所定の下限値ＬＧＬは、映像信号処理回路７から制御回路１２ｂへ供給されるノイズレベルの検出値ＡＮＬに基づいて決まる。ノイズレベルの検出値ＡＮＬが信号振幅の平均レベルの検出値ＡＳＡに対して所定のノイズ割合（第２の所定のノイズ割合）ＮＰＲ２を下回ったときのプログラマブル利得増幅回路４の増幅利得を上記所定の下限値ＬＧＬとする。上記第２の所定のノイズ割合は、上記第１の所定のノイズ割合ＮＰＲ１と画素加算回路６による感度倍率（４倍）に基づいて決める。例えば、上記第２の所定のノイズ割合ＮＰＲ２は、１／２００（＝｛（１／５０）×（１／４）｝）と定められる。
【０１４５】
用途によって被写体の視認にあたり許容できるノイズレベルは異なるため、上記第２の所定のノイズ割合ＮＰＲ２は、Ｓ／Ｎを重視するか、画像解像度を重視するか等、撮像装置の用途によって変わる。制御回路１２ｂは、プログラマブル利得増幅回路４に設定している利得、及び検波回路１３から制御回路１２ｂへ供給されるノイズレベルの検出値ＡＮＬを観測しながらダイナミックに上記増幅利得の所定の下限値ＬＧＬを決めてプログラマブル利得増幅回路４及び画素加算回路６を制御することとしても良く、撮像装置を工場から出荷する前にノイズレベルの検出値ＡＮＬが信号振幅の平均レベルの検出値ＡＳＡに対して第２の所定のノイズ割合ＮＰＲ２に達する増幅利得を測定し、上記所定の下限値ＬＧＬとして撮像装置の電源を切っても記憶内容を保持できる記憶部１６に書込み、制御回路１２ｂは上記増幅利得の所定の下限値ＬＧＬを参照してプログラマブル利得増幅回路４及び画素加算回路６を制御するようにしても良い。
【０１４６】
制御回路１２ｂは、レンズ１の絞り、ＣＣＤ撮像素子２の露光時間、プログラマブル利得増幅回路４の増幅利得、画素加算回路６における画素加算による信号振幅調整機能を制御して信号振幅の平均レベル（画素加算回路６の出力の信号振幅の平均レベル）を維持する。
【０１４７】
以上のような制御を行っているので、検波回路１３で得られる信号の振幅ＡＳＡと、そのときの露光制御パラメータ（絞り、増幅利得、増感感度、露光時間）とに基づいて、被写体の照度を求めることができる。
言い換えれば、検波回路の出力に対し、露光制御パラメータに基づく逆算を行うことで得られる換算値は、被写体の照度に対応した値である。即ち、そのようなに逆算によって得られた照度が高照度側基準値以上か、低照度側輝度値以下か、それらの基準値の間の範囲にあるかを判断し、判断結果に応じ画素加算の制御（増感感度）を行うことができる。
【０１４８】
上記のように構成したので、露光制御の中で、絞り制御、増幅利得制御、画素加算制御、露光時間制御を順番に切替えることで、視認性の良い最適な明るさの画像を出力することができる効果がある。
【０１４９】
また、画素加算回路において、加算する画素の数ではなく加算係数で増感倍率を設定できるように構成し、増感倍率Ｌを整数に限らず小数を含み得る値で設定できることとしたので、露光制御の中で、画素加算制御も加算係数を小数点以下の値をも使ってシームレスに切替えられ、照度変化の過程で、画像の明るさが急変することなく見やすい画像が出力できる効果がある。
【０１５０】
実施の形態３．
図１６は本発明の実施の形態３による撮像装置を示す。図１６において、測光部１４が付加されている点、及び制御回路１２の代わりに制御回路１２ｃが設けられている点を除き、実施の形態１と同様であり、同様な効果を奏する。
【０１５１】
測光部１４は、レンズ１への光の入射方向の被写体照度を測光する。測光部１４の照度センサ（図示せず）の取り付け及び位置決めはレンズの光軸に基づいて決められ、レンズ１が撮像する被写体の照度を測光する。
【０１５２】
制御回路１２ｃは、実施の形態１の制御回路１２と同様であるが、以下のように付加的な機能を有する。即ち、制御回路１２ｃは、測光部１４から供給された照度値に基づいて、レンズ１の絞りの制御、タイミング発生回路１０が発生するＣＣＤ撮像素子２の光電変換素子からの電荷読出しタイミング及び電荷強制排出タイミングの制御（従って、電荷蓄積時間、即ち露光時間の制御）、プログラマブル利得増幅回路４の増幅利得の制御、並びに画素加算回路６の画素加算処理の制御を行う。
【０１５３】
制御回路１２ｃは、記憶部１６内に保持されている設定値テーブルに従って、レンズ１の絞り、ＣＣＤ撮像素子２の露光時間、プログラマブル利得増幅回路４の増幅利得、画素加算回路６の増感倍率の設定を行う。
設定値テーブルには、照度値ごとにレンズ１の絞り、ＣＣＤ撮像素子２の露光時間、プログラマブル利得増幅回路４の増幅利得、画素加算回路６の増感倍率が登録されている。
【０１５４】
照度が明るいときは、撮像素子２の露光時間はフレームレートに基づく標準露光時間Ｔｒに、プログラマブル利得増幅回路４の増幅利得は１倍に、画素加算回路６の増感倍率Ｌは１倍に設定してレンズ１の絞りを絞っていく（図１５（ａ）の範囲Ｓａ）。レンズ１が最大絞りになって照度がさらに明るくなると、撮像素子２の露光時間を標準露光時間Ｔｒから短く制御する（図１５(ｄ）の範囲Ｓｅ）。
【０１５５】
照度が暗くなると、撮像素子２の露光時間はフレームレートに基づく標準露光時間Ｔｒに、プログラマブル利得増幅回路４の増幅利得は１倍に、画素加算回路６の増感倍率は１倍に設定してレンズ１の絞りを開いていく（図１５（ａ）の範囲Ｓａ）。レンズ１が絞り開放になって照度がさらに暗くなると、プログラマブル利得増幅回路４の増幅利得を１倍から大きくしていく（図１５（ｂ）の範囲Ｓｂ）。プログラマブル利得増幅回路４の増幅利得が、上記の上限値（画素加算回路６の出力に含まれるノイズのレベルが上記の第１の所定の割合に達したときの増幅利得の値、即ち、該ノイズレベルが上記の第１の所定の割合（許容範囲の上限値）を超えないという制約条件を満たす最大利得値）となって照度がさらに暗くなると、画素加算回路６の増感倍率を１倍から大きくしていく（図１５（ｃ）の範囲Ｓｃ）。さらに暗くなると、露光時間を長くする（図１５（ｄ）の範囲Ｓｄ）。
【０１５６】
上記のように構成したので、露光制御の中で、絞り制御、増幅利得制御、画素加算制御及び露光時間制御を順番に切替えることで、視認性の良い最適な明るさの画像を出力することができる効果がある。
【０１５７】
また、画素加算回路において、加算する画素の数ではなく加算係数で増感倍率を設定できるように構成し、増感倍率Ｌを整数に限らず小数を含む値で設定できることとしたので、露光制御の中で、画素加算制御も加算係数を小数点以下の値をも使ってシームレスに切替えられ、照度変化の過程で、画像の明るさが急変することなく見やすい画像が出力できる効果がある。
【０１５８】
なお、実施の形態２及び３において、増感倍率を最大にしても信号振幅が十分でない場合に露光時間を長くする旨説明したが、これはフレームレートが変わらないようにすることを優先した結果である。フレームレートよりも解像度を重視する場合には、露光時間を長くする制御を先に行い、露光時間を（例えば所定の値まで）長くしても信号振幅が十分でない場合に増感倍率を大きくすることとしても良く、増感倍率を大きくする制御と露光時間を長くする制御を平行して行っても良い。
【符号の説明】
【０１５９】
１ レンズ、 ２ ＣＣＤ撮像素子、 ３ 相関二重サンプリング処理回路、 ４ プログラマブル利得増幅回路、 ５ Ａ／Ｄ変換回路、 ６ 画素加算回路、 ６Ｅ 画素抽出部、 ６Ｒ Ｒ画素加算部、 ６Ｇ Ｇ画素加算部、 ６Ｂ Ｂ画素加算部、 ７ 映像信号処理回路、 ８ 映像信号出力端子、 ９ 駆動回路、 １０ タイミング発生回路、 １１ 同期信号発生回路、 １２、１２ｂ、１２ｃ 制御回路、 １３ 検波回路、 １４ 測光部、 ２０ ＣＭＯＳ撮像素子、 １０１ 入力端子、 １０３ 制御端子、 １０４ 同期信号入力端子、 ２２〜２５ １ライン遅延回路、 ３２〜５５ １画素遅延回路、 ６１〜８５ 乗算回路、 ９０ 加算回路、 ９５ Ｒ信号係数設定回路、 １０６ Ｒ信号出力端子、 １６１〜１８５ 乗算回路、 １９０ 加算回路、 １９５ Ｇ信号係数設定回路、 １０７ Ｇ信号出力端子、 ２６１〜２８５ 乗算回路、 ２９０ 加算回路、 ２９５ Ｂ信号係数設定回路、 １０８ Ｂ信号出力端子。
【技術分野】
【０００１】
本発明は、低照度の撮像環境において、より高感度な撮像画像が得られる撮像装置に関する。
【背景技術】
【０００２】
従来の撮像装置として、Ｎ画素前までのデジタル信号を全て加算する機能を実行することにより、固体撮像素子の高感度化やＳ／Ｎ向上を図るように構成したものがある（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０００−１８４２７４号公報（第４頁、段落００１０）
【発明の概要】
【発明が解決しようとする課題】
【０００４】
従来の撮像装置は、連続する隣接画素からの撮像信号を加算しているため、カラー撮像素子を用いた場合には色が混ざりカラー信号を再生できないという問題があった。
【０００５】
この発明は、上述のような課題を解決するためになされたもので、カラー撮像素子から読み出した撮像信号を画素加算しても、色が混ざることなく、カラー信号を高感度化できる撮像装置を得ることを目的とする。
【課題を解決するための手段】
【０００６】
本発明の撮像装置は、
第１の色成分の光を検出して対応する撮像信号を発生する第１種の画素と、第２の色成分の光を検出して対応する撮像信号を発生する第２種の画素と、第３の色成分の光を検出して対応する撮像信号を発生する第３種の画素と、前記第２の色成分の光を検出して対応する撮像信号を発生する第４種の画素とが、水平２画素、垂直２画素の組み合わせを基本単位として画面内に規則的に配列された撮像部と、前記撮像部から出力された撮像信号を所定の時間遅延させることで、注目画素とその周囲の画素の画素値を表す信号を抽出して同時に出力する画素抽出部と、
加算係数を生成する加算係数生成部と、
注目画素を中心とした水平５画素、垂直５画素の領域内に位置する前記第１種の画素を参照画素として、該参照画素の画素値だけを加算係数によって加重加算し、注目画素の第１の色成分値を生成する第１の色成分生成部と、
注目画素を中心とした水平３画素、垂直３画素の領域内に位置する前記第２種及び第４種の画素を参照画素として、該参照画素の画素値だけを加算係数によって加重加算し、注目画素の第２の色成分値を生成する第２の色成分生成部と、
注目画素を中心とした水平５画素、垂直５画素の領域内に位置する前記第３種の画素を参照画素として、該参照画素の画素値だけを加算係数によって加重加算し、注目画素の第３の色成分値を生成する第３の色成分生成部と
を備えることを特徴とする。
【発明の効果】
【０００７】
本発明によれば、カラー撮像素子から読み出した撮像信号でも感度を例えば４倍に向上させ、極めて暗い低照度環境においても被写体を視認できるという効果が得られる。
【図面の簡単な説明】
【０００８】
【図１】本発明の実施の形態１の撮像装置を示すブロック構成図である。
【図２】図１の画素加算回路の一例を示すブロック構成図である。
【図３】図２の画素加算回路で加算される画素の空間配置を示す図である。
【図４】図１の画素抽出部６Ｅの一例を示すブロック構成図である。
【図５】図１の画素加算回路のＲ画素加算部６Ｒ及びＲ信号係数設定回路９５の一例を示すブロック構成図である。
【図６】図１の画素加算回路のＧ画素加算部６Ｇ及びＧ信号係数設定回路１９５の一例を示すブロック構成図である。
【図７】図１の画素加算回路のＢ画素加算部６Ｂ及びＢ信号係数設定回路１２５の一例を示すブロック構成図である。
【図８】（ａ）〜（ｄ）は、図５〜図７のＲ画素加算部６Ｒ、Ｇ画素加算部６Ｇ、Ｂ画素加算部６Ｅで加算される画素の色フィルタの配列情報を示す図である。
【図９】（ａ）〜（ｄ）は、図５のＲ画素加算部６ＲでＲ信号を生成するために用いられる参照画素の配列を示す図である。
【図１０】（ａ）〜（ｄ）は、図６のＧ画素加算部６ＧでＧ信号を生成するために用いられる参照画素の配列を示す図である。
【図１１】（ａ）〜（ｄ）は、図７のＢ画素加算部６ＢでＢ信号を生成するために用いられる参照画素の配列を示す図である。
【図１２】（ａ）〜（ｃ）は、増感倍率Ｌと重み係数Ｋｗの関係を示す図である。
【図１３】本発明の実施の形態１の撮像装置の別の構成を示すブロック構成図である。
【図１４】本発明の実施の形態２の撮像装置を示すブロック構成図である。
【図１５】（ａ）〜（ｅ）は、被写体照度と、レンズの絞り、プログラマブル利得増幅回路の増幅利得、画素加算回路の増感倍率、撮像部の露光時間、及び画素加算回路の出力信号の振幅との関係を示す図である。
【図１６】本発明の実施の形態３の撮像装置を示すブロック構成図である。
【発明を実施するための形態】
【０００９】
以下、第１、第２及び第３の色成分の光がそれぞれ赤色、緑色、及び青色の光であり、これらの色成分の光を検出して、対応する信号を出力する画素がベイヤ配列された撮像部が用いられる場合について詳しく説明する。
【００１０】
実施の形態１．
図１は本発明の実施の形態１による撮像装置を示す。図１において、レンズ１は、被写体像をＣＣＤ撮像素子２の撮像面上に合焦させる。
【００１１】
ＣＣＤ撮像素子（ＣＣＤ）２は、後述の図８（ａ）〜図１１（ｄ）に示すように、赤色の光（第１の色成分の光）を検出するＲ画素、緑色の光（第２の色成分の光）を検出するＧ画素、及び青色の光（第３の色成分の光）を検出するＢ画素がベイヤ配列されたものであり、これらにより、赤色の光、緑色の光、青色の光（第１の色成分の光、第２の色成分の光、第３の色成分の光）が検出され、即ち光電変換されて、光電変換により生成された電荷が素子内部を転送されて、電気信号（撮像信号）として出力される。
【００１２】
この撮像信号は、Ｒ画素からの画素信号であるＲ信号（第１の色成分値を表す信号）、Ｇ画素からの画素信号であるＧ信号（第２の色成分値を表す信号）、及びＢ画素からの画素信号であるＢ信号（第３の色成分値を表す信号）を含む。
【００１３】
Ｒ画素、Ｇ画素、Ｂ画素は、例えば、それぞれ赤色の光のみを透過させる色フィルタを備えた光電変換素子、緑色の光のみを透過させる色フィルタを備えた光電変換素子、青色の光のみを透過させる色フィルタを備えた光電変換素子で構成される。
【００１４】
ＣＣＤ撮像素子２から信号された撮像信号は、相関二重サンプリング処理回路（ＣＤＳ）３でノイズ等が除去される。
プログラマブル利得増幅回路（ＰＧＡ）４は、相関二重サンプリング処理回路３の出力信号を制御回路１２から出力された制御信号によって制御された利得で増幅して出力する。
Ａ／Ｄ変換回路（ＡＤＣ）５は、プログラマブル利得増幅回路４の出力信号を、デジタル信号に変換する。
【００１５】
画素加算回路６は、Ａ／Ｄ変換回路５から出力される撮像信号を受け、各画素位置を順次注目画素位置として選択し、該注目画素及びその周囲の画素のうち、同じ色の画素（同じ色成分の光を検出する画素）の信号を選択的に加算する。このような処理が撮像画面内のすべての画素位置について行われることで、すべての画素位置について、Ｒ信号、Ｇ信号、Ｂ信号が生成される。
【００１６】
映像信号処理回路７は、画素加算回路６の出力信号に、色同時化処理、階調補正処理、ノイズ低減処理、輪郭補正処理、白バランス調整処理、信号振幅調整処理、及び色補正処理などを加えた映像信号を映像信号出力端子８から出力する。
【００１７】
同期信号発生回路１１は、垂直同期信号及び水平同期信号を生成して画素加算回路６、映像信号処理回路７及びタイミング発生回路１０に供給する。
【００１８】
タイミング発生回路１０は、ＣＣＤ撮像素子２の駆動タイミング信号ＤＲＴを発生して駆動回路９に供給する。駆動回路９は、タイミング発生回路１０から出力された駆動タイミング信号ＤＲＴに基づいてＣＣＤ撮像素子２の駆動信号ＤＲＳを生成する。ＣＣＤ撮像素子２は、駆動回路９から出力された駆動信号ＤＲＳに基づいて、光電変換及び電荷転送を行う。
【００１９】
制御回路１２は、レンズ１の絞りの制御、タイミング発生回路１０が発生するＣＣＤ撮像素子２の光電変換素子からの電荷読出しタイミング及び電荷強制排出タイミングの制御（従って、電荷蓄積時間、即ち露光時間の制御）、プログラマブル利得増幅回路４の増幅利得の制御、並びに画素加算回路６の画素加算処理の制御を行う。
【００２０】
画素加算回路６は図２に示すように、画素抽出部６Ｅと、Ｒ画素加算部６Ｒと、Ｇ画素加算部６Ｇと、Ｂ画素加算部６Ｂと、Ｒ信号係数設定回路９５と、Ｇ信号係数設定回路１９５と、Ｂ信号係数設定回路２９５とを有する。Ｒ画素加算部６Ｒは、第１の色成分値を表す信号を生成する第１の色成分生成部を構成し、Ｇ画素加算部６Ｇは、第２の色成分値を表す信号を生成する第２の色成分生成部を構成し、Ｂ画素加算部６Ｂは、第３の色成分値を表す信号を生成する第３の色成分生成部を構成する。
【００２１】
上記のように、Ａ／Ｄ変換回路５からはベイヤ配列されたＲ画素、Ｇ画素、Ｂ画素からの撮像信号が出力され、画素加算回路６は、撮像画面内の各画素位置を順次注目画素として加算を行う。
【００２２】
ベイヤ配列においては、１個のＲ画素、１個のＢ画素、及び２個のＧ画素から成る、水平２画素、垂直２画素の４画素の基本単位が繰り返される。
この基本単位において、２個のＧ画素が４画素の基本単位のうちの一方の対角線上に並び、Ｒ画素とＢ画素とが他方の対角線上に並んでいる。
２個のＧ画素のうち、Ｂ画素と同じ水平ライン（行）にあるものを符号ＧＢで表し、Ｒ画素と同じ水平ライン（行）にあるものを符号ＧＲで表す。また、Ｒ画素を符号ＲＲで表し、Ｂ画素を符号ＢＢで表すこともある。
【００２３】
以下では、Ｒ画素を第１種の画素、ＧＢ画素を第２種の画素、Ｂ画素を第３種の画素、ＢＲ画素を第４種の画素と呼ぶ。また、ＧＢ画素とＧＲ画素の両者をＧ画素と総称することがある。
また、注目画素をＰ３３で示し、図８（ｃ）に示すように、注目画素がＲ画素であるときは符号ＲＲ３３で示し、図８（ａ）に示すように、注目画素がＧＢ画素であるときは符号ＧＢ３３で示し、図８（ｂ）に示すように、注目画素がＢ画素であるときは符号ＢＢ３３で示し、図８（ｄ）に示すように、注目画素がＧＲ画素であるときは符号ＢＲ３３で示す。
【００２４】
撮像素子２の撮像画面上の画素は、図３に示すように水平方向（行方向）Ｈ及び垂直方向（列方向）Ｖに整列し、全体としてマトリクス状に配置されている。各画素の画面上の位置は水平座標ｈ、及び垂直座標ｖの組合せ（ｈ，ｖ）で表され、座標（ｈ，ｖ）の画素は符号Ｐｈｖ（ｈ、ｖは１、２、３…）で表される。水平方向に隣接する画素間ではｈの値が１だけ異なり、垂直方向に隣接する画素間ではｖの値が１だけ異なる。即ち隣接画素間の距離（画素ピッチ）は１で表される。
【００２５】
図３には、注目画素Ｐ３３を中心とした水平５画素、垂直５画素の領域（以下単に「５×５画素の領域或いはブロック」と言うことがある）内の画素の配置が示されている。
注目画素Ｐ３３に対する水平方向の座標値の差及び垂直方向の座標値の差のうちの大きい方が１である画素（Ｐ２２、Ｐ３２、Ｐ３４、Ｐ２３、Ｐ４３、Ｐ２４、Ｐ３４、Ｐ４４）、即ち注目画素を中心した水平３画素、垂直３画素の領域（３×３画素の領域）内に位置し、値画素以外の画素を、注目画素に隣接する画素或いは単に隣接画素と言うことがある。
【００２６】
画素抽出部６Ｅは、Ａ／Ｄ変換回路５の出力から、図３に示される、５×５画素の領域内の画素の画素値を抽出する。抽出された画素値は、Ｒ画素加算部６Ｒ、Ｇ画素加算部６Ｇ及びＢ画素加算部６Ｂへ供給される。
【００２７】
画素抽出部６Ｅは、図４に示すように構成されている。
図４で「１Ｌ−ＤＬ」は１ライン遅延回路を示し、「１Ｄ−ＤＬ」は１画素遅延回路を示す。
画素抽出部６Ｅは、１ライン遅延回路２２〜２５と、１画素遅延回路３２〜３５、３７〜４０、４２〜４５、４７〜５０、５２〜５５とを図示にように接続して構成されており、注目画素とその周囲の画素の画素値を示す画素信号を同時に出力する。
例えば、注目画素が図３のＰ３３であるとき、注目画素Ｐ３３とその周囲の画素Ｐ１１〜Ｐ５５の画素値を表す画素信号を同時に出力する。
【００２８】
Ａ／Ｄ変換回路５から出力された画素信号Ｐｃは画素信号Ｐ５５として、画素加算回路６の入力端子１０１に印加され、画素加算回路６の画素抽出部６Ｅへ供給される。
【００２９】
画素信号Ｐ５５は、１ライン遅延回路２２〜２５で順次１ライン遅延されて、画素信号Ｐ５５に対して、それぞれ１、２、３、４ライン遅延した画素信号Ｐ５４、Ｐ５３、Ｐ５２、Ｐ５１が出力される。
画素信号Ｐ５５はまた、１画素遅延回路３２〜３５で順次１画素遅延されて、画素信号Ｐ５５に対してそれぞれ１、２、３、４画素遅延した画素信号Ｐ４５、Ｐ３５、Ｐ２５、Ｐ１５が出力される。
【００３０】
１ライン遅延回路２２から出力された画素信号Ｐ５４は、１画素遅延回路３７〜４０で順次１画素遅延されて、画素信号Ｐ５４に対してそれぞれ１、２、３、４画素遅延した画素信号Ｐ４４、Ｐ３４、Ｐ２４、Ｐ１４が出力される。
１ライン遅延回路２３から出力された画素信号Ｐ５３は、１画素遅延回路４２〜４５で順次１画素遅延されて、画素信号Ｐ５３に対してそれぞれ１、２、３、４画素遅延した画素信号Ｐ４３、Ｐ３３、Ｐ２３、Ｐ１３が出力される。
【００３１】
１ライン遅延回路２４から出力された画素信号Ｐ５２は、１画素遅延回路４７〜５０で順次１画素遅延されて、画素信号Ｐ５２に対してそれぞれ１、２、３、４画素遅延した画素信号Ｐ４２、Ｐ３２、Ｐ２２、Ｐ１２が出力される。
１ライン遅延回路２５から出力された画素信号Ｐ５１は、１画素遅延回路５２〜５５で順次１画素遅延されて、画素信号Ｐ５１に対してそれぞれ１、２、３、４画素遅延した画素信号Ｐ４１、Ｐ３１、Ｐ２１、Ｐ１１が出力される。
【００３２】
画素信号Ｐ５５〜Ｐ１１は、それぞれ図３の画素Ｐ５５〜Ｐ１１の画素値を表すものであり、画素信号Ｐ５５が入力されたタイミングで、画素抽出部６Ｅから同時に出力される。
画素信号Ｐ５５〜Ｐ１１は、それぞれ、接続端子１１１〜１１５、１２１〜１２５、１３１〜１３５、１４１〜１４５、１５１〜１５５を介してＲ画素加算部６Ｒ、Ｇ画素加算部６Ｇ、Ｂ画素加算部６Ｂに供給される。
【００３３】
図５は、画素加算回路６のＲ画素加算部６Ｒ及びＲ信号係数設定回路９５を示し、図６は、画素加算回路６のＧ画素加算部６Ｇ及びＧ信号係数設定回路１９５を示し、図７は、画素加算回路６のＢ画素加算部６Ｂ及びＢ信号係数設定回路２９５を示す。
【００３４】
画素抽出部６Ｅで抽出された画素Ｐ１１〜Ｐ５５の画素値は、５×５画素の領域内の画素の画素値であり、図５に示される、Ｒ画素加算部６Ｒの乗算回路６１〜８５、図６に示される、Ｇ画素加算部６Ｇの乗算回路１６１〜１８５、及び図７に示されるＢ画素加算部６Ｂの乗算回路２６１〜２８５へ供給される。
【００３５】
乗算回路６１〜８５、１６１〜１８５、及び２６１〜２８５は、それぞれ、５×５画素の領域内の各画素に対応して設けられたものであり、対応する画素の画素値とＲ信号係数設定回路９５、Ｇ信号係数設定回路１９５、Ｂ信号係数設定回路２９５から供給される加算係数との乗算を行う。
【００３６】
なお、後述のように、Ｇ画素加算部６Ｇには、水平３画素、垂直３画素の領域（３×３画素の領域）内の画素のみを供給するようにしても良い。
【００３７】
Ｒ画素加算部６Ｒ、Ｇ画素加算部６Ｇ及びＢ加算部６Ｂの各々は、注目画素及びその周辺の画素を含む参照領域内の同じ色の画素の画素値を参照画素として加重加算して、加算画素値として出力する。即ち、Ｒ画素加算部６Ｒは、参照領域内の赤色の画素（Ｒ画素）の画素値を参照画素として加重加算して、赤色の加算画素値Ｒとして出力し、Ｇ画素加算部６Ｇは、参照領域内の緑色の画素（Ｇ画素）の画素値を参照画素として加重加算して、緑色の加算画素値Ｇとして出力し、Ｂ画素加算部６Ｂは、参照領域内の青色の画素（Ｂ画素）の画素値を参照画素として加重加算して、青色の加算画素値Ｂとして出力する。
【００３８】
Ｒ画素加算部６Ｒ及びＢ画素加算部６Ｂでは、５×５画素の領域のうちの４隅の画素（注目画素に対して水平方向の座標値の差及び垂直方向の座標値の画素）を除いた部分を参照領域とし、Ｇ画素加算部６Ｇでは、３×３画素の領域を参照領域とする。
【００３９】
上記の参照画素の選択は、注目画素からの距離の近い順に、注目画素を含め６個以下の画素を参照画素として選択すること、但しこの場合、選択された画素が、注目画素を中心として、水平方向及び垂直方向に対称（注目画素を通る水平線を中心として線対称、かつ注目画素を通る垂直線を中心として線対称）に配置されたものとなるようにすることを意味する。
【００４０】
以下に詳しく述べるように、制御回路１２は、制御端子１０３を介して、Ｒ信号係数設定回路９５、Ｇ信号係数設定回路１９５、Ｂ信号係数設定回路２９５に増感倍率Ｌを供給し、
Ｒ信号係数設定回路９５、Ｇ信号係数設定回路１９５、Ｂ信号係数設定回路２９５は、供給された増感倍率Ｌに基づき加算係数を生成する。
増感倍率Ｌは例えば１から４までの、小数部分をも含み得る数で表される値である。
【００４１】
参照画素に対する加算係数は、例えば、参照画素の数に反比例する正規化係数Ｋｎと、参照画素毎に定められる重み係数Ｋｗの積で与えられるものとされる。
【００４２】
例えば、各画素に対する重み係数Ｋｗは、当該画素の注目画素からの距離と、増感倍率Ｌに依存し、増感倍率Ｌが比較的小さいときは、上記重み係数Ｋｗは上記の距離が大きいほど小さく、増感倍率Ｌが大きくなるほど、重み係数Ｋｗの、上記距離に対する依存性が小さくなるように設定される。増感倍率が最大の値であるときは、すべての参照画素に対する加算係数が互いに等しくなるようにしても良い。
【００４３】
参照画素以外の画素に対する加算係数はゼロに固定される。但し、本実施の形態では、５×５画素の領域内のすべての画素に対して乗算回路が設けられ、参照画素以外の画素に対する加算係数をゼロとすることで加重加算から除外する構成としている。これは画素加算部６Ｒ、６Ｇ、６Ｂを同一構成とするためである。
【００４４】
図５において、制御回路１２は制御端子１０３を介してＲ信号係数設定回路９５へ１倍から４倍までの増感倍率Ｌを供給する。同期信号発生回路１１は同期信号入力端子１０４を介してＲ信号係数設定回路９５へ水平同期信号ＨＤと垂直同期信号ＶＤを供給する。
【００４５】
Ｒ信号係数設定回路９５は水平同期信号ＨＤと垂直同期信号ＶＤに基づいて注目画素Ｐ３３の画素位置を判断して、注目画素の色フィルタ配列上の画素位置を特定し、特定した画素位置と増感倍率Ｌに基づいて、それぞれの画素位置に対応して設けられた乗算回路６１〜８５各々へ独立に２５個の加算係数ＫＲ１１〜ＫＲ５５を設定する。参照画素以外の画素に対する加算係数は、ゼロに固定される。
【００４６】
乗算回路６１〜８５は、画素抽出部６Ｅから、それぞれ接続端子１１１〜１５５を介して入力される画素値Ｐ１１〜Ｐ５５とＲ係数設定回路９５で設定された加算係数ＫＲ１１〜ＫＲ５５を乗算する。
加算回路９０は乗算回路６１〜８５の出力値を加算して、加算結果を加算画素信号Ｒとして、Ｒ信号出力端子１０６から出力する。
【００４７】
図６において、制御回路１２は制御端子１０３を介してＧ信号係数設定回路１９５へ増感倍率Ｌを供給する。同期信号発生回路１１は同期信号入力端子１０４を介してＧ信号係数設定回路１９５へ水平同期信号ＨＤと垂直同期信号ＶＤを供給する。
Ｇ信号係数設定回路１９５は水平同期信号ＨＤと垂直同期信号ＶＤに基づいて注目画素Ｐ３３の画素位置を判断して、注目画素の色フィルタ配列上の画素位置を特定し、特定した画素位置と増感倍率Ｌに基づいて、乗算回路１６１〜１８５各々へ独立に２５個の加算係数を設定する。
【００４８】
乗算回路１６１〜１８５は、画素抽出部６Ｅから、それぞれ接続端子１１１〜１５５を介して入力される画素値Ｐ１１〜Ｐ５５とＧ係数設定回路１９５で設定された加算係数ＫＧ１１〜ＫＧ５５を乗算する。
加算回路１９０は乗算回路１６１〜１８５の出力値を加算して、加算結果を加算画素信号Ｇとして、Ｇ信号出力端子１０７から出力する。
【００４９】
図７において、制御回路１２は制御端子１０３を介してＢ信号係数設定回路２９５へ増感倍率Ｌを供給する。同期信号発生回路１１は同期信号入力端子１０４を介してＢ信号係数設定回路２９５へ水平同期信号ＨＤと垂直同期信号ＶＤを供給する。
Ｂ信号係数設定回路２９５は水平同期信号ＨＤと垂直同期信号ＶＤに基づいて注目画素Ｐ３３の画素位置を判断して、注目画素の色フィルタ配列上の画素位置を特定し、特定した画素位置と増感倍率Ｌに基づいて、乗算回路２６１〜２８５各々へ独立に２５個の加算係数を設定する。
【００５０】
乗算回路２６１〜２８５は、画素抽出部６Ｅから、それぞれ接続端子１１１〜１５５を介して入力される画素値Ｐ１１〜Ｐ５５とＢ係数設定回路２９５で設定された加算係数ＫＢ１１〜ＫＢ５５を乗算する。加算回路２９０は乗算回路２６１〜２８５の出力値を加算して、加算結果を加算画素信号Ｂとして、Ｂ信号出力端子１０８から出力する。
【００５１】
図８（ａ）〜（ｄ）は、色フィルタ配列を考慮した注目画素を中心とした５×５画素の領域内における画素の配置を示す。Ｒ画素、Ｇ画素、Ｂ画素は市松模様状に配列されている。処理対象となる注目画素は、Ｒ画素の場合も、ＧＢ画素の場合も、Ｂ画素の場合も、ＧＲ画素の場合もあり、水平画素位置と垂直画素位置から特定される。
注目画素がＧＢ３３の時の周辺画素配置を図８（ａ）に示し、注目画素がＢＢ３３の時の周辺画素配置を図８（ｂ）に示し、注目画素がＲＲ３３の時の周辺画素配置を図８（ｃ）に示し、注目画素がＧＲ３３の時の周辺画素配置を図８（ｄ）に示す。
注目画素の色フィルタが変われば、周辺画素の色フィルタ配列も異なる。また、同じＧ画素でも、ＧＲ画素とＧＢ画素で周辺画素の色フィルタ配列は異なる。
【００５２】
図８（ａ）の画素配置で、ＲＲ１２、ＲＲ３２、ＲＲ５２、ＲＲ１４、ＲＲ３４、ＲＲ５４、ＲＲ１６、ＲＲ３６、ＲＲ５６はＲ画素を示す。
ＧＲ２２、ＧＲ４２、ＧＲ６２、ＧＲ２４、ＧＲ４４、ＧＲ６４、ＧＲ２６、ＧＲ４６、ＧＲ６６は、Ｒ画素と同一水平ライン（同一の行）上に配置されたＧ画素を示す。色フィルタの特性に基づいてＧ画素と表記する場合と、Ｒ画素と同一水平ライン上に配置されたＧ画素の画素位置を特定するためにＧＲ画素と表記する場合がある。
ＢＢ２１、ＢＢ４１、ＢＢ６１、ＢＢ２３、ＢＢ４３、ＢＢ６３、ＢＢ２５、ＢＢ４５、ＢＢ６５はＢ画素を示す。
ＧＢ１１、ＧＢ３１、ＧＢ５１、ＧＢ１３、ＧＢ３３、ＧＢ５３、ＧＢ１５、ＧＢ３５、ＧＢ５５は、Ｂ画素と同一水平ライン上に配置されたＧ画素を示す。
色フィルタの特性に基づいてＧ画素と表記する場合と、Ｂ画素と同一水平ライン上に配置されたＧ画素の画素位置を特定するためにＧＢ画素と表記する場合がある。
【００５３】
図８（ｂ）の画素配置で、ＲＲ０２、ＲＲ２２、ＲＲ４２、ＲＲ０４、ＲＲ２４、ＲＲ４４、ＲＲ０６、ＲＲ２６、ＲＲ４６はＲ画素を示す。ＧＲ１２、ＧＲ３２、ＧＲ５２、ＧＲ１４、ＧＲ３４、ＧＲ５４、ＧＲ１６、ＧＲ３６、ＧＲ５６は、Ｒ画素と同一水平ライン上に配置されたＧ画素を示す。ＢＢ１１、ＢＢ３１、ＢＢ５１、ＢＢ１３、ＢＢ３３、ＢＢ５３、ＢＢ１５、ＢＢ３５、ＢＢ５５はＢ画素を示す。ＧＢ０１、ＧＢ２１、ＧＢ４１、ＧＢ０３、ＧＢ２３、ＧＢ４３、ＧＢ０５、ＧＢ２５、ＧＢ４５は、Ｂ画素と同一水平ライン上に配置されたＧ画素を示す。
【００５４】
図８（ｃ）の画素配置で、ＲＲ１１、ＲＲ３１、ＲＲ５１、ＲＲ１３、ＲＲ３３、ＲＲ５３、ＲＲ１５、ＲＲ３５、ＲＲ５５はＲ画素を示す。ＧＲ２１、ＧＲ４１、ＧＲ６１、ＧＲ２３、ＧＲ４３、ＧＲ６３、ＧＲ２５、ＧＲ４５、ＧＲ６５は、Ｒ画素と同一水平ライン上に配置されたＧ画素を示す。ＢＢ２０、ＢＢ４０、ＢＢ６０、ＢＢ２２、ＢＢ４２、ＢＢ６２、ＢＢ２４、ＢＢ４４、ＢＢ６４はＢ画素を示す。ＧＢ１０、ＧＢ３０、ＧＢ５０、ＧＢ１２、ＧＢ３２、ＧＢ５２、ＧＢ１４、ＧＢ３４、ＧＢ５４は、Ｂ画素と同一水平ライン上に配置されたＧ画素を示す。
【００５５】
図８（ｄ）の画素配置で、ＲＲ０１、ＲＲ２１、ＲＲ４１、ＲＲ０３、ＲＲ２３、ＲＲ４３、ＲＲ０５、ＲＲ２５、ＲＲ４５はＲ画素を示す。ＧＲ１１、ＧＲ３１、ＧＲ５１、ＧＲ１３、ＧＲ３３、ＧＲ５３、ＧＲ１５、ＧＲ３５、ＧＲ５５は、Ｒ画素と同一水平ライン上に配置されたＧ画素を示す。ＢＢ１０、ＢＢ３０、ＢＢ５０、ＢＢ１２、ＢＢ３２、ＢＢ５２、ＢＢ１４、ＢＢ３４、ＢＢ５４はＢ画素を示す。ＧＢ００、ＧＢ２０、ＧＢ４０、ＧＢ０２、ＧＢ２２、ＧＢ４２、ＧＢ０４、ＧＢ２４、ＧＢ４４は、Ｂ画素と同一水平ライン上に配置されたＧ画素を示す。
【００５６】
図９（ａ）〜（ｄ）は、図５の画素加算回路のＲ画素加算部６ＲでＲ信号を生成するために用いられる参照画素の配列を示す。図示のように、５×５画素の領域から４隅の画素を除いた参照領域Ａｒ内に位置するＲ画素（Ｒ成分の光を検出する画素、例えばＲフィルタを設けた画素）が参照画素として用いられる。参照画素は、画素加算における加重加算で用いられるが、後述の増感倍率Ｌの値によっては、加算係数が「０」となる。即ち、増感倍率が小さいときは、注目画素から比較的遠い画素の加算係数が「０」となり、注目画素に比較的近い画素のみにより注目画素の画素値が求められる。
【００５７】
図９（ａ）は、注目画素がＧＢ３３（第２種の画素）の時の参照領域Ａｒ及び参照画素を示す。図示のように、参照領域Ａｒ内にＲ画素が６個存在し、そのすべてが参照画素として用いられる。即ち、注目画素の１ライン前に位置する画素ＲＲ３２、注目画素の１ライン前の２画素前に位置する画素ＲＲ１２、注目画素の１ライン前の２画素後に位置する画素ＲＲ５２、注目画素の１ライン後に位置する画素ＲＲ３４、注目画素の１ライン後の２画素前に位置する画素ＲＲ１４、及び注目画素の１ライン後の２画素後に位置する画素ＲＲ５４
が参照画素として用いられる。
このとき、Ｒ信号（第１の成分値）は次式で求める。
Ｒ＝ＫＲ１２×ＲＲ１２＋ＫＲ３２×ＲＲ３２＋ＫＲ５２×ＲＲ５２
＋ＫＲ１４×ＲＲ１４＋ＫＲ３４×ＲＲ３４＋ＫＲ５４×ＲＲ５４
Ｒ信号係数設定回路９５は、加算係数ＫＲ１１〜ＫＲ５５のうち、上式で使わない係数、即ち参照画素位置の画素に対する係数を「０」に設定する。
【００５８】
Ｒ信号係数設定回路９５は、上式で使う加算係数を下式に従って算出する。
ＫＲ１２＝（Ｌ−１）×４／１８
ＫＲ３２＝（Ｌ＋８）／１８
ＫＲ５２＝（Ｌ−１）×４／１８
ＫＲ１４＝（Ｌ−１）×４／１８
ＫＲ３４＝（Ｌ＋８）／１８
ＫＲ５４＝（Ｌ−１）×４／１８
ここで、Ｌは制御回路１２から設定される増感倍率である。
【００５９】
上記の係数の各々は、正規化係数Ｋｎと重み係数Ｋｗの積で与えられるものであり、上記の例では、加算される画素の数に反比例した４／６が正規化係数Ｋｎである。
例えば、ＫＲ３２（３×３画素の領域内の画素についての加算係数）を求める式は、
ＫＲ３２＝（Ｌ＋８）／１２×４／６
と書き換えることができ、そのうち、４／６が正規化係数Ｋｎ、残りの（Ｌ＋８）／１２が重み係数Ｋｗである。
同様に、ＫＲ１２（３×３画素の領域外の画素についての加算係数）を求める式は、
ＫＲ１２＝（Ｌ−１）／３×４／６
そのうち、４／６が正規化係数Ｋｎ、残りの（Ｌ−１）／３が重み係数Ｋｗである。他の係数についても同様である。
【００６０】
増感倍率Ｌが１倍の時、Ｒ画素加算部６Ｒは次式の演算を行う。
Ｒ＝ ０ ×ＲＲ１２＋ ９／１８×ＲＲ３２＋ ０ ×ＲＲ５２
＋ ０ ×ＲＲ１４＋ ９／１８×ＲＲ３４＋ ０ ×ＲＲ５４
増感倍率Ｌが２倍の時、Ｒ画素加算部６Ｒは次式の演算を行う。
Ｒ＝４／１８×ＲＲ１２＋１０／１８×ＲＲ３２＋４／１８×ＲＲ５２
＋４／１８×ＲＲ１４＋１０／１８×ＲＲ３４＋４／１８×ＲＲ５４
増感倍率Ｌが３倍の時、Ｒ画素加算部６Ｒは次式の演算を行う。
Ｒ＝８／１８×ＲＲ１２＋１１／１８×ＲＲ３２＋８／１８×ＲＲ５２
＋８／１８×ＲＲ１４＋１１／１８×ＲＲ３４＋８／１８×ＲＲ５４
増感倍率Ｌが４倍の時、Ｒ画素加算部６Ｒは次式の演算を行う。
Ｒ＝１２／１８×ＲＲ１２＋１２／１８×ＲＲ３２＋１２／１８×ＲＲ５２
＋１２／１８×ＲＲ１４＋１２／１８×ＲＲ３４＋１２／１８×ＲＲ５４
【００６１】
図９（ｂ）は、注目画素がＢＢ３３（第３種の画素）の時の参照領域Ａｒ及び参照画素を示す。図示のように、参照領域Ａｒ内にＲ画素が４個存在し、そのすべてが参照画素として用いられる。即ち、注目画素の１ライン前の１画素前に位置する画素ＲＲ２２、注目画素の１ライン前の１画素後に位置する画素ＲＲ４２、注目画素の１ライン後の１画素前に位置する画素ＲＲ４２、及び注目画素の１ライン後の１画素後に位置する画素ＲＲ４４が参照画素として用いられる。
このとき、Ｒ信号（第１の成分値）は次式で求める。
Ｒ＝ＫＲ２２×ＲＲ２２＋ＫＲ４２×ＲＲ４２
＋ＫＲ２４×ＲＲ２４＋ＫＲ４４×ＲＲ４４
Ｒ信号係数設定回路９５は、加算係数ＫＲ１１〜ＫＲ５５のうち、上式で使わない係数、即ち参照画素位置の画素に対する係数を「０」に設定する。
【００６２】
Ｒ信号係数設定回路９５は、上式で使う加算係数を下式に従って算出する。
ＫＲ２２＝Ｌ／４
ＫＲ４２＝Ｌ／４
ＫＲ２４＝Ｌ／４
ＫＲ４４＝Ｌ／４
ここで、Ｌは制御回路１２から設定される増感倍率である。
【００６３】
上記の係数の各々は、正規化係数Ｋｎと重み係数Ｋｗの積で与えられるものであり、上記の例では、加算される画素の数に反比例した４／４が正規化係数である。
例えば、ＫＲ２２を求める式は、
ＫＲ２２＝Ｌ／４×４／４
と書き換えることができ、そのうち、４／４が正規化係数Ｋｎ、残りのＬ／４が重み係数Ｋｗである。他の係数についても同様である。
【００６４】
増感倍率Ｌが１倍の時、Ｒ画素加算部６Ｒは次式の演算を行う。
Ｒ＝ １／４ ×ＲＲ２２＋ １／４ ×ＲＲ４２
＋ １／４ ×ＲＲ２４＋ １／４ ×ＲＲ４４
増感倍率Ｌが２倍の時、Ｒ画素加算部６Ｒは次式の演算を行う。
Ｒ＝ ２／４ ×ＲＲ２２＋ ２／４ ×ＲＲ４２
＋ ２／４ ×ＲＲ２４＋ ２／４ ×ＲＲ４４
増感倍率Ｌが３倍の時、Ｒ画素加算部６Ｒは次式の演算を行う。
Ｒ＝ ３／４ ×ＲＲ２２＋ ３／４ ×ＲＲ４２
＋ ３／４ ×ＲＲ２４＋ ３／４ ×ＲＲ４４
増感倍率Ｌが４倍の時、Ｒ画素加算部６Ｒは次式の演算を行う。
Ｒ＝ ４／４ ×ＲＲ２２＋ ４／４ ×ＲＲ４２
＋ ４／４ ×ＲＲ２４＋ ４／４ ×ＲＲ４４
【００６５】
図９（ｃ）は、注目画素がＲＲ３３（第１種の画素）の時の参照領域Ａｒ及び参照画素を示す。図示のように、Ｒ画素が５個存在し、そのすべてが参照画素として用いられる。即ち、注目画素ＲＲ３３、注目画素の２ライン前に位置する参照画素ＲＲ３１、注目画素の２画素前に位置する参照画素ＲＲ１３、注目画素の２画素後に位置する参照画素ＲＲ５３、及び注目画素の２ライン後に位置する参照画素ＲＲ３５が参照画素として用いられる。
このとき、Ｒ信号は次式で求める。
Ｒ＝ＫＲ３１×ＲＲ３１
＋ＫＲ１３×ＲＲ１３＋ＫＲ３３×ＲＲ３３＋ＫＲ５３×ＲＲ５３
＋ＫＲ３５×ＲＲ３５
Ｒ信号係数設定回路９５は、加算係数ＫＲ１１〜ＫＲ５５のうち、上式で使わない係数、即ち参照画素位置の画素に対する係数を「０」に設定する。
【００６６】
Ｒ信号係数設定回路９５は、上式で使う加算係数を下式に従って算出する。
ＫＲ３１＝（Ｌ−１）×４／１５
ＫＲ１３＝（Ｌ−１）×４／１５
ＫＲ３３＝（１６−Ｌ）／１５
ＫＲ５３＝（Ｌ−１）×４／１５
ＫＲ３５＝（Ｌ−１）×４／１５
ここで、Ｌは制御回路１２から設定される増感倍率である。
【００６７】
上記の係数の各々は、正規化係数Ｋｎと重み係数Ｋｗの積で与えられるものであり、上記の例では、加算される画素の数に反比例した４／５が正規化係数である。
例えば、ＫＲ３３（注目画素についての加算係数）を求める式は、
ＫＲ３３＝（１６−Ｌ）／１２×４／５
と書き換えることができ、そのうち、４／５が正規化係数Ｋｎ、残りの（１６−Ｌ）／１２が重み係数Ｋｗである。
同様に、ＫＲ３１（３×３画素の領域外の画素についての加算係数）を求める式は、
ＫＲ３１＝（Ｌ−１）／３×４／５
と書き換えることができ、そのうち、４／５が正規化係数Ｋｎ、残りの（Ｌ−１）／３が重み係数Ｋｗである。他の係数についても同様である。
【００６８】
増感倍率Ｌが１倍の時、Ｒ画素加算部６Ｒは次式の演算を行う。
Ｒ＝ ０ ×ＲＲ３１
＋ ０ ×ＲＲ１３＋１５／１５×ＲＲ３３＋ ０ ×ＲＲ５３
＋ ０ ×ＲＲ３５
増感倍率Ｌが２倍の時、Ｒ画素加算部６Ｒは次式の演算を行う。
Ｒ＝ ４／１５×ＲＲ３１
＋ ４／１５×ＲＲ１３＋１４／１５×ＲＲ３３＋ ４／１５×ＲＲ５３
＋ ４／１５×ＲＲ３５
増感倍率Ｌが３倍の時、Ｒ画素加算部６Ｒは次式の演算を行う。
Ｒ＝ ８／１５×ＲＲ３１
＋ ８／１５×ＲＲ１３＋１３／１５×ＲＲ３３＋ ８／１５×ＲＲ５３
＋ ８／１５×ＲＲ３５
増感倍率Ｌが４倍の時、Ｒ画素加算部６Ｒは次式の演算を行う。
Ｒ＝１２／１５×ＲＲ３１
＋１２／１５×ＲＲ１３＋１２／１５×ＲＲ３３＋１２／１５×ＲＲ５３
＋１２／１５×ＲＲ３５
【００６９】
図９（ｄ）は、注目画素がＧＲ３３（第４種の画素）の時の参照領域Ａｒ及び参照画素を示す。図示のように、参照領域Ａｒ内にＲ画素が６個存在し、そのすべてが参照画素として用いられる。即ち、注目画素の２ライン前の１画素前に位置する画素ＲＲ２１、注目画素の２ライン前の１画素後に位置する画素ＲＲ４１、注目画素の１画素前に位置する画素ＲＲ２３、注目画素の１画素後に位置する画素ＲＲ４３、注目画素の２ライン後の１画素前に位置する画素ＲＲ２５、及び注目画素の２ライン後の１画素後に位置する画素ＲＲ４５が参照画素として用いられる。
このとき、Ｒ信号は次式で求める。
Ｒ＝ＫＲ２１×ＲＲ２１＋ＫＲ４１×ＲＲ４１
＋ＫＲ２３×ＲＲ２３＋ＫＲ４３×ＲＲ４３
＋ＫＲ２５×ＲＲ２５＋ＫＲ４５×ＲＲ４５
Ｒ信号係数設定回路９５は、加算係数ＫＲ１１〜ＫＲ５５のうち、上式で使わない係数、即ち参照画素位置の画素に対する係数を「０」に設定する。
【００７０】
Ｒ信号係数設定回路９５は、上式で使う加算係数を下式に従って算出する。
ＫＲ２１＝（Ｌ−１）×４／１８
ＫＲ４１＝（Ｌ−１）×４／１８
ＫＲ２３＝（Ｌ＋８）／１８
ＫＲ４３＝（Ｌ＋８）／１８
ＫＲ２５＝（Ｌ−１）×４／１８
ＫＲ４５＝（Ｌ−１）×４／１８
ここで、Ｌは制御回路１２から設定される増感倍率である。
【００７１】
上記の係数の各々は、正規化係数Ｋｎと重み係数Ｋｗの積で与えられるものであり、上記の例では、加算される画素の数に反比例した４／６が正規化係数である。
例えば、ＫＲ２３（３×３画素の領域内の画素についての加算係数）を求める式は、
ＫＲ２３＝（Ｌ＋８）／１２×４／６
と書き換えることができ、そのうち、４／６が正規化係数Ｋｎ、残りの（Ｌ＋８）／１２が重み係数Ｋｗである。
同様に、ＫＲ２１（３×３画素の領域外の画素についての加算係数）を求める式は、
ＫＲ２１＝（Ｌ−１）／３×４／６
と書き換えることができ、そのうち、４／６が正規化係数Ｋｎ、残りの（Ｌ−１）／３が重み係数Ｋｗである。他の係数についても同様である。
【００７２】
増感倍率Ｌが１倍の時、Ｒ画素加算部６Ｒは次式の演算を行う。
Ｒ＝ ０ ×ＲＲ２１＋ ０ ×ＲＲ４１
＋ ９／１８×ＲＲ２３＋ ９／１８×ＲＲ４３
＋ ０ ×ＲＲ２５＋ ０ ×ＲＲ４５
増感倍率Ｌが２倍の時、Ｒ画素加算部６Ｒは次式の演算を行う。
Ｒ＝ ４／１８×ＲＲ２１＋ ４／１８×ＲＲ４１
＋１０／１８×ＲＲ２３＋１０／１８×ＲＲ４３
＋ ４／１８×ＲＲ２５＋ ４／１８×ＲＲ４５
増感倍率Ｌが３倍の時、Ｒ画素加算部６Ｒは次式の演算を行う。
Ｒ＝ ８／１８×ＲＲ２１＋ ８／１８×ＲＲ４１
＋１１／１８×ＲＲ２３＋１１／１８×ＲＲ４３
＋ ８／１８×ＲＲ２５＋ ８／１８×ＲＲ４５
増感倍率Ｌが４倍の時、Ｒ画素加算部６Ｒは次式の演算を行う。
Ｒ＝１２／１８×ＲＲ２１＋１２／１８×ＲＲ４１
＋１２／１８×ＲＲ２３＋１２／１８×ＲＲ４３
＋１２／１８×ＲＲ２５＋１２／１８×ＲＲ４５
【００７３】
図１０（ａ）乃至（ｄ）は、図６の画素加算回路のＧ画素加算部６ＧでＧ信号を生成するために用いられる参照画素の配列を示す。図示のように、３×３画素の参照領域Ａｇ内に位置するＧ画素（Ｇ成分の光を検出する画素、例えばＧフィルタを設けた画素）が参照画素として用いられる。参照画素は、画素加算における加重加算で用いられるが、後述の増感倍率Ｌの値によっては、加算係数が「０」となる。即ち、増感倍率が小さいときは、注目画素から比較的遠い画素の加算係数が「０」となり、注目画素に比較的近い画素のみにより注目画素の画素値が求められる。
【００７４】
図１０（ａ）は、注目画素がＧＢ３３（第２種の画素）の時の参照領域Ａｇ及び参照画素を示す。図示のように、参照領域Ａｇ内にＧ画素（ＧＢ画素又はＧＲ画素）が５個存在し、そのすべてが参照画素として用いられる。即ち、注目画素ＧＢ３３と、注目画素の１ライン前の１画素前に位置する画素ＧＲ２２、注目画素の１ライン前の１画素後に位置する画素ＧＲ４２、注目画素の１ライン後の１画素前に位置する画素ＧＲ２４、及び注目画素の１ライン後の１画素後に位置する画素ＧＲ４４が参照画素として用いられる。
このとき、Ｇ信号は次式で求める。
Ｇ＝ＫＧ２２×ＧＲ２２＋ＫＧ４２×ＧＲ４２
＋ＫＧ３３×ＧＢ３３
＋ＫＧ２４×ＧＲ２４＋ＫＧ４４×ＧＲ４４
Ｇ信号係数設定回路１９５は、加算係数ＫＧ１１〜ＫＧ５５のうち、上式で使わない係数、即ち参照画素位置の画素に対する係数を「０」に設定する。
【００７５】
Ｇ信号係数設定回路１９５は、上式で使う加算係数を下式に従って算出する。
ＫＧ２２＝（Ｌ−１）×４／１５
ＫＧ４２＝（Ｌ−１）×４／１５
ＫＧ３３＝（１６−Ｌ）／１５
ＫＧ２４＝（Ｌ−１）×４／１５
ＫＧ４４＝（Ｌ−１）×４／１５
ここで、Ｌは制御回路１２から設定される増感倍率である。
【００７６】
上記の係数の各々は、正規化係数Ｋｎと重み係数Ｋｗの積で与えられるものであり、上記の例では、加算される画素の数に反比例した４／５が正規化係数である。
例えば、ＫＧ３３（注目画素についての加算係数）を求める式は、
ＫＧ３３＝（１６−Ｌ）／１２×４／５
と書き換えることができ、そのうち、４／５が正規化係数Ｋｎ、残りの（１６−Ｌ）／１２が重み係数Ｋｗである。
同様に、ＫＧ２２（注目画素以外の画素についての加算係数）を求める式は、
ＫＧ２２＝（Ｌ−１）／３×４／５
と書き換えることができ、そのうち、４／５が正規化係数Ｋｎ、残りの（Ｌ−１）／３が重み係数Ｋｗである。他の係数についても同様である。
【００７７】
増感倍率Ｌが１倍の時、Ｇ画素加算部６Ｇは次式の演算を行う。
Ｇ＝ ０ ×ＧＲ２２＋ ０ ×ＧＲ４２
＋１５／１５×ＧＢ３３
＋ ０ ×ＧＲ２４＋ ０ ×ＧＲ４４
増感倍率Ｌが２倍の時、Ｇ画素加算部６Ｇは次式の演算を行う。
Ｇ＝ ４／１５×ＧＲ２２＋ ４／１５×ＧＲ４２
＋１４／１５×ＧＢ３３
＋ ４／１５×ＧＲ２４＋ ４／１５×ＧＲ４４
増感倍率Ｌが３倍の時、Ｇ画素加算部６Ｇは次式の演算を行う。
Ｇ＝ ８／１５×ＧＲ２２＋ ８／１５×ＧＲ４２
＋１３／１５×ＧＢ３３
＋ ８／１５×ＧＲ２４＋ ８／１５×ＧＲ４４
増感倍率Ｌが４倍の時、Ｇ画素加算部６Ｇは次式の演算を行う。
Ｇ＝１２／１５×ＧＲ２２＋１２／１５×ＧＲ４２
＋１２／１５×ＧＢ３３
＋１２／１５×ＧＲ２４＋１２／１５×ＧＲ４４
【００７８】
図１０（ｂ）は、注目画素がＢＢ３３（第３種の画素）の時の参照領域及び参照画素を示す。図示のように、参照領域Ａｇ内にＧ画素（ＧＢ画素又はＧＲ画素）が４個存在し、そのすべてが参照画素として用いられる。即ち、注目画素の１ライン前に位置する画素ＧＲ３２、注目画素の１画素前に位置する画素ＧＢ２３、注目画素の１画素後に位置する画素ＧＢ４３、及び注目画素の１ライン後に位置する画素ＧＲ３４が参照画素として用いられる。
このとき、Ｇ信号は次式で求める。
Ｇ＝ＫＧ３２×ＧＲ３２＋ＫＧ３４×ＧＲ３４
＋ＫＧ２３×ＧＢ２３＋ＫＧ４３×ＧＢ４３
Ｇ信号係数設定回路１９５は、加算係数ＫＧ１１〜ＫＧ５５のうち、上式で使わない係数、即ち参照画素位置の画素に対する係数を「０」に設定する。
【００７９】
Ｇ信号係数設定回路１９５は、上式で使う加算係数を下式に従って算出する。
ＫＧ３２＝Ｌ／４
ＫＧ３４＝Ｌ／４
ＫＧ２３＝Ｌ／４
ＫＧ４３＝Ｌ／４
ここで、Ｌは制御回路１２から設定される増感倍率である。
【００８０】
上記の係数の各々は、正規化係数Ｋｎと重み係数Ｋｗの積で与えられるものであり、上記の例では、加算される画素の数に反比例した４／４が正規化係数である。
例えば、ＫＧ３２を求める式は、
ＫＧ３２＝Ｌ／４×４／４
と書き換えることができ、そのうち、４／４が正規化係数Ｋｎ、残りのＬ／４が重み係数Ｋｗである。他の係数についても同様である。
【００８１】
増感倍率Ｌが１倍の時、Ｇ画素加算部６Ｇは次式の演算を行う。
Ｇ＝ １／４ ×ＧＲ３２＋ １／４ ×ＧＲ３４
＋ １／４ ×ＧＢ２３＋ １／４ ×ＧＢ４３
増感倍率Ｌが２倍の時、Ｇ画素加算部６Ｇは次式の演算を行う。
Ｇ＝ ２／４ ×ＧＲ３２＋ ２／４ ×ＧＲ３４
＋ ２／４ ×ＧＢ２３＋ ２／４ ×ＧＢ４３
増感倍率Ｌが３倍の時、Ｇ画素加算部６Ｇは次式の演算を行う。
Ｇ＝ ３／４ ×ＧＲ３２＋ ３／４ ×ＧＲ３４
＋ ３／４ ×ＧＢ２３＋ ３／４ ×ＧＢ４３
増感倍率Ｌが４倍の時、Ｇ画素加算部６Ｇは次式の演算を行う。
Ｇ＝ ４／４ ×ＧＲ３２＋ ４／４ ×ＧＲ３４
＋ ４／４ ×ＧＢ２３＋ ４／４ ×ＧＢ４３
【００８２】
図１０（ｃ）は、注目画素がＲＲ３３（第１種の画素）の時の参照領域Ａｇ及び参照画素を示す。図示のように、参照領域ＡＧ内にＧ画素（ＧＢ画素又はＧＲ画素）が４個存在し、そのすべてが参照画素として用いられる。即ち、注目画素の１ライン前に位置する画素ＧＢ３２、注目画素の１画素前に位置する画素ＧＲ２３、注目画素の１画素後に位置する画素ＧＲ４３、及び注目画素の１ライン後に位置する画素ＧＢ３４が参照画素として用いられる。
このとき、Ｇ信号は次式で求める。
Ｇ＝ＫＧ３２×ＧＢ３２＋ＫＧ３４×ＧＢ３４
＋ＫＧ２３×ＧＲ２３＋ＫＧ４３×ＧＲ４３
Ｇ信号係数設定回路１９５は、加算係数ＫＧ１１〜ＫＧ５５のうち、上式で使わない係数、即ち参照画素位置の画素に対する係数を「０」に設定する。
【００８３】
Ｇ信号係数設定回路１９５は、上式で使う加算係数を下式に従って算出する。
ＫＧ３２＝Ｌ／４
ＫＧ３４＝Ｌ／４
ＫＧ２３＝Ｌ／４
ＫＧ４３＝Ｌ／４
ここで、Ｌは制御回路１２から設定される増感倍率である。
【００８４】
上記の係数の各々は、正規化係数Ｋｎと重み係数Ｋｗの積で与えられるものであり、上記の例では、加算される画素の数に反比例した４／４が正規化係数である。例えばＫＧ３２を求める式は、
ＫＧ３２＝Ｌ／４×４／４
と書き換えることができ、そのうち、４／４が正規化係数Ｋｎ、残りのＬ／４が重み係数Ｋｗである。他の係数についても同様である。
【００８５】
増感倍率Ｌが１倍の時、Ｇ画素加算部６Ｇは次式の演算を行う。
Ｇ＝ １／４ ×ＧＢ３２＋ １／４ ×ＧＢ３４
＋ １／４ ×ＧＲ２３＋ １／４ ×ＧＲ４３
増感倍率Ｌが２倍の時、Ｇ画素加算部６Ｇは次式の演算を行う。
Ｇ＝ ２／４ ×ＧＢ３２＋ ２／４ ×ＧＢ３４
＋ ２／４ ×ＧＲ２３＋ ２／４ ×ＧＲ４３
増感倍率Ｌが３倍の時、Ｇ画素加算部６Ｇは次式の演算を行う。
Ｇ＝ ３／４ ×ＧＢ３２＋ ３／４ ×ＧＢ３４
＋ ３／４ ×ＧＲ２３＋ ３／４ ×ＧＲ４３
増感倍率Ｌが４倍の時、Ｇ画素加算部６Ｇは次式の演算を行う。
Ｇ＝ ４／４ ×ＧＢ３２＋ ４／４ ×ＧＢ３４
＋ ４／４ ×ＧＲ２３＋ ４／４ ×ＧＲ４３
【００８６】
図１０（ｄ）は、注目画素がＧＲ３３（第４種の画素）の時の参照領域Ａｇ及び参照画素を示す。図示のように、参照領域Ａｇ内にＧ画素（ＧＢ画素又はＧＲ画素）が５個存在し、そのすべてが参照画素として用いられる。即ち、注目画素ＧＲ３３と、注目画素の１ライン前の１画素前に位置する画素ＧＢ２２、注目画素の１ライン前の１画素後に位置する画素ＧＢ４２、注目画素の１ライン後の１画素前に位置する画素ＧＢ２４、及び注目画素の１ライン後の１画素後に位置する画素ＧＢ４４が参照画素として用いられる。
このとき、Ｇ信号は次式で求める。
Ｇ＝ＫＧ２２×ＧＢ２２＋ＫＧ４２×ＧＢ４２
＋ＫＧ３３×ＧＲ３３
＋ＫＧ２４×ＧＢ２４＋ＫＧ４４×ＧＢ４４
Ｇ信号係数設定回路１９５は、加算係数ＫＧ１１〜ＫＧ５５のうち、上式で使わない係数、即ち参照画素位置の画素に対する係数を「０」に設定する。
【００８７】
Ｇ信号係数設定回路１９５は、上式で使う加算係数を下式に従って算出する。
ＫＧ２２＝（Ｌ−１）×４／１５
ＫＧ４２＝（Ｌ−１）×４／１５
ＫＧ３３＝（１６−Ｌ）／１５
ＫＧ２４＝（Ｌ−１）×４／１５
ＫＧ４４＝（Ｌ−１）×４／１５
ここで、Ｌは制御回路１２から設定される増感倍率である。
【００８８】
上記の係数の各々は、正規化係数Ｋｎと重み係数Ｋｗの積で与えられるものであり、上記の例では、加算される画素の数に反比例した４／５が正規化係数である。
例えば、ＫＧ３３（注目画素についての加算係数）を求める式は、
ＫＧ３３＝（１６−Ｌ）／１２×４／５
と書き換えることができ、そのうち、４／５が正規化係数Ｋｎ、残りの（１６−Ｌ）／１２が重み係数Ｋｗである。
同様に、ＫＧ２２（注目画素以外の画素についての加算係数）を求める式は、
ＫＧ２２＝（Ｌ−１）／３×４／５
と書き換えることができ、そのうち、４／５が正規化係数Ｋｎ、残りの（Ｌ−１）／３が重み係数Ｋｗである。他の係数についても同様である。
【００８９】
増感倍率Ｌが１倍の時、Ｇ画素加算部６Ｇは次式の演算を行う。
Ｇ＝ ０ ×ＧＢ２２＋ ０ ×ＧＢ４２
＋１５／１５×ＧＲ３３
＋ ０ ×ＧＢ２４＋ ０ ×ＧＢ４４
増感倍率Ｌが２倍の時、Ｇ画素加算部６Ｇは次式の演算を行う。
Ｇ＝ ４／１５×ＧＢ２２＋ ４／１５×ＧＢ４２
＋１４／１５×ＧＲ３３
＋ ４／１５×ＧＢ２４＋ ４／１５×ＧＢ４４
増感倍率Ｌが３倍の時、Ｇ画素加算部６Ｇは次式の演算を行う。
Ｇ＝ ８／１５×ＧＢ２２＋ ８／１５×ＧＢ４２
＋１３／１５×ＧＲ３３
＋ ８／１５×ＧＢ２４＋ ８／１５×ＧＢ４４
増感倍率Ｌが４倍の時、Ｇ画素加算部６Ｇは次式の演算を行う。
Ｇ＝１２／１５×ＧＢ２２＋１２／１５×ＧＢ４２
＋１２／１５×ＧＲ３３
＋１２／１５×ＧＢ２４＋１２／１５×ＧＢ４４
【００９０】
図１１（ａ）〜（ｄ）は、図５の画素加算回路のＢ画素加算部６ＢでＢ信号を生成するために用いられる参照画素の配列を示す。図示のように、５×５画素の領域から４隅の画素を除いた参照領域Ａｂ内に位置するＢ画素（Ｂ成分の光を検出する画素、例えばＢフィルタを設けた画素）が参照画素として用いられる。参照画素は、画素加算における加重加算で用いられるが、後述の増感倍率Ｌの値によっては、加算係数が「０」となる。即ち、増感倍率が小さいときは、注目画素から比較的遠い画素の加算係数が「０」となり、注目画素に比較的近い画素のみにより注目画素の画素値が求められる。
【００９１】
図１１（ａ）は、注目画素がＧＢ３３（第２種の画素）の時の参照領域Ａｂ及び参照画素を示す。図示のように、参照領域Ａｂ内にＢ画素が６個存在し、そのすべてが参照画素として用いられる。即ち、注目画素の２ライン前の１画素前に位置する画素ＢＢ２１、注目画素の２ライン前の１画素前に位置する画素ＢＢ４１、注目画素の１画素前に位置する画素ＢＢ２３、注目画素の１画素後に位置する画素ＢＢ４３、注目画素の２ライン後の１画素前に位置する画素ＢＢ２５、及び注目画素の２ライン後の１画素後に位置する画素ＢＢ４５が参照画素として用いられる。
このとき、Ｂ信号は次式で求める。
Ｂ＝ＫＢ２１×ＢＢ２１＋ＫＢ４１×ＢＢ４１
＋ＫＢ２３×ＢＢ２３＋ＫＢ４３×ＢＢ４３
＋ＫＢ２５×ＢＢ２５＋ＫＢ４５×ＢＢ４５
Ｂ信号係数設定回路２９５は、加算係数ＫＢ１１〜ＫＢ５５のうち、上式で使わない係数、即ち参照画素位置の画素に対する係数を「０」に設定する。
【００９２】
Ｂ信号係数設定回路２９５は、上式で使う加算係数を下式に従って算出する。
ＫＢ２１＝（Ｌ−１）×４／１８
ＫＢ４１＝（Ｌ−１）×４／１８
ＫＢ２３＝（Ｌ＋８）／１８
ＫＢ４３＝（Ｌ＋８）／１８
ＫＢ２５＝（Ｌ−１）×４／１８
ＫＢ４５＝（Ｌ−１）×４／１８
ここで、Ｌは制御回路１２から設定される増感倍率である。
【００９３】
上記の係数の各々は、正規化係数Ｋｎと重み係数Ｋｗの積で与えられるものであり、上記の例では、加算される画素の数に反比例した４／６が正規化係数である。
例えば、ＫＢ２３（３×３画素の領域内の画素についての加算係数）を求める式は、
ＫＢ２３＝（Ｌ＋８）／１２×４／６
と書き換えることができ、そのうち、４／６が正規化係数Ｋｎ、残りの（Ｌ＋８）／１２が重み係数Ｋｗである。
同様に、ＫＢ２１（３×３画素の領域外の画素についての加算係数）を求める式は、
ＫＢ２１＝（Ｌ−１）／３×４／６
と書き換えることができ、そのうち、４／６が正規化係数Ｋｎ、残りの（Ｌ−１）／３が重み係数Ｋｗである。他の係数についても同様である。
【００９４】
増感倍率Ｌが１倍の時、Ｂ画素加算部６Ｂは次式の演算を行う。
Ｂ＝ ０ ×ＢＢ２１＋ ０ ×ＢＢ４１
＋ ９／１８×ＢＢ２３＋ ９／１８×ＢＢ４３
＋ ０ ×ＢＢ２５＋ ０ ×ＢＢ４５
増感倍率Ｌが２倍の時、Ｂ画素加算部６Ｂは次式の演算を行う。
Ｂ＝ ４／１８×ＢＢ２１＋ ４／１８×ＢＢ４１
＋１０／１８×ＢＢ２３＋１０／１８×ＢＢ４３
＋ ４／１８×ＢＢ２５＋ ４／１８×ＢＢ４５
増感倍率Ｌが３倍の時、Ｂ画素加算部６Ｂは次式の演算を行う。
Ｂ＝ ８／１８×ＢＢ２１＋ ８／１８×ＢＢ４１
＋１１／１８×ＢＢ２３＋１１／１８×ＢＢ４３
＋ ８／１８×ＢＢ２５＋ ８／１８×ＢＢ４５
増感倍率Ｌが４倍の時、Ｂ画素加算部６Ｂは次式の演算を行う。
Ｂ＝１２／１８×ＢＢ２１＋１２／１８×ＢＢ４１
＋１２／１８×ＢＢ２３＋１２／１８×ＢＢ４３
＋１２／１８×ＢＢ２５＋１２／１８×ＢＢ４５
【００９５】
図１１（ｂ）は、注目画素がＢＢ３３（第３種の画素）の時の参照領域Ａｂ及び参照画素を示す。図示のように、参照領域Ａｂ内にＢ画素が５個存在し、そのすべてが参照画素として用いられる。即ち、注目画素ＢＢ３３、注目画素の２ライン前に位置する画素ＢＢ３１、注目画素の２画素前に位置する画素ＢＢ１３、注目画素の２画素後に位置する画素ＢＢ５３、及び注目画素の２ライン後に位置する画素ＢＢ３５が参照画素として用いられる。
このとき、Ｂ信号は次式で求める。
Ｂ＝ＫＢ３１×ＢＢ３１
＋ＫＢ１３×ＢＢ１３＋ＫＢ３３×ＢＢ３３＋ＫＢ５３×ＢＢ５３
＋ＫＢ３５×ＢＢ３５
Ｂ信号係数設定回路２９５は、加算係数ＫＢ１１〜ＫＢ５５のうち、上式で使わない係数、即ち参照画素位置の画素に対する係数を「０」に設定する。
【００９６】
Ｂ信号係数設定回路２９５は、上式で使う加算係数を下式に従って算出する。
ＫＢ３１＝（Ｌ−１）×４／１５
ＫＢ１３＝（Ｌ−１）×４／１５
ＫＢ３３＝（１６−Ｌ）／１５
ＫＢ５３＝（Ｌ−１）×４／１５
ＫＢ３５＝（Ｌ−１）×４／１５
ここで、Ｌは制御回路１２から設定される増感倍率である。
【００９７】
上記の係数の各々は、正規化係数Ｋｎと重み係数Ｋｗの積で与えられるものであり、上記の例では、加算される画素の数に反比例した４／５が正規化係数である。
例えば、ＫＢ３３（注目画素についての加算係数）を求める式は、
ＫＢ３３＝（１６−Ｌ）／１２×４／５
と書き換えることができ、そのうち、４／５が正規化係数Ｋｎ、残りの（１６−Ｌ）／１２が重み係数Ｋｗである。
同様に、ＫＢ３１（３×３画素の領域外の画素についての加算係数）を求める式は、
ＫＢ３１＝（Ｌ−１）／３×４／５
と書き換えることができ、そのうち、４／５が正規化係数Ｋｎ、残りの（Ｌ−１）／３が重み係数Ｋｗである。他の係数についても同様である。
【００９８】
増感倍率Ｌが１倍の時、Ｂ画素加算部６Ｂは次式の演算を行う。
Ｂ＝ ０ ×ＢＢ３１
＋ ０ ×ＢＢ１３＋１５／１５×ＢＢ３３＋ ０ ×ＢＢ５３
＋ ０ ×ＢＢ３５
増感倍率Ｌが２倍の時、Ｂ画素加算部６Ｂは次式の演算を行う。
Ｂ＝ ４／１５×ＢＢ３１
＋ ４／１５×ＢＢ１３＋１４／１５×ＢＢ３３＋ ４／１５×ＢＢ５３
＋ ４／１５×ＢＢ３５
増感倍率Ｌが３倍の時、Ｂ画素加算部６Ｂは次式の演算を行う。
Ｂ＝ ８／１５×ＢＢ３１
＋ ８／１５×ＢＢ１３＋１３／１５×ＢＢ３３＋ ８／１５×ＢＢ５３
＋ ８／１５×ＢＢ３５
増感倍率Ｌが４倍の時、Ｂ画素加算部６Ｂは次式の演算を行う。
Ｂ＝１２／１５×ＢＢ３１
＋１２／１５×ＢＢ１３＋１２／１５×ＢＢ３３＋１２／１５×ＢＢ５３
＋１２／１５×ＢＢ３５
【００９９】
図１１（ｃ）は、注目画素がＲＲ３３（第１種の画素）の時の参照領域Ａｂ及び参照画素を示す。図示のように、参照領域Ａｂ内にＢ画素が４個存在し、そのすべてが参照画素として用いられる。即ち、注目画素の１ライン前の１画素前に位置する画素ＢＢ２２、注目画素の１ライン前の１画素後に位置する画素ＢＢ４２、注目画素の１ライン後の１画素前に位置する画素ＢＢ２４、及び注目画素の１ライン後の１画素後に位置する画素ＢＢ４４が参照画素として用いられる。
このとき、Ｂ信号は次式で求める。
Ｂ＝ＫＢ２２×ＢＢ２２＋ＫＢ４２×ＢＢ４２
＋ＫＢ２４×ＢＢ２４＋ＫＢ４４×ＢＢ４４
Ｂ信号係数設定回路２９５は、加算係数ＫＢ１１〜ＫＢ５５のうち、上式で使わない係数、即ち参照画素位置の画素に対する係数を「０」に設定する。
【０１００】
Ｂ信号係数設定回路２９５は、上式で使う加算係数を下式に従って算出する。
ＫＢ２２＝Ｌ／４
ＫＢ４２＝Ｌ／４
ＫＢ２４＝Ｌ／４
ＫＢ４４＝Ｌ／４
ここで、Ｌは制御回路１２から設定される増感倍率である。
【０１０１】
上記の係数の各々は、正規化係数Ｋｎと重み係数Ｋｗの積で与えられるものであり、上記の例では、加算される画素の数に反比例した４／４が正規化係数である。例えばＫＢ２２を求める式は、
ＫＢ２２＝Ｌ／４×４／４
と書き換えることができ、そのうち、４／４が正規化係数Ｋｎ、残りのＬ／４が重み係数Ｋｗである。他の係数についても同様である。
【０１０２】
増感倍率Ｌが１倍の時、Ｂ画素加算部６Ｂは次式の演算を行う。
Ｂ＝ １／４ ×ＢＢ２２＋ １／４ ×ＢＢ４２
＋ １／４ ×ＢＢ２４＋ １／４ ×ＢＢ４４
増感倍率Ｌが２倍の時、Ｂ画素加算部６Ｂは次式の演算を行う。
Ｂ＝ ２／４ ×ＢＢ２２＋ ２／４ ×ＢＢ４２
＋ ２／４ ×ＢＢ２４＋ ２／４ ×ＢＢ４４
増感倍率Ｌが３倍の時、Ｂ画素加算部６Ｂは次式の演算を行う。
Ｂ＝ ３／４ ×ＢＢ２２＋ ３／４ ×ＢＢ４２
＋ ３／４ ×ＢＢ２４＋ ３／４ ×ＢＢ４４
増感倍率Ｌが４倍の時、Ｂ画素加算部６Ｂは次式の演算を行う。
Ｂ＝ ４／４ ×ＢＢ２２＋ ４／４ ×ＢＢ４２
＋ ４／４ ×ＢＢ２４＋ ４／４ ×ＢＢ４４
【０１０３】
図１１（ｄ）は、注目画素がＧＲ３３（第４種の画素）の時の参照領域Ａｂ及び参照画素を示す。図示のように、参照領域Ａｂ内にＢ画素が６個存在し、そのすべてが参照画素として用いられる。即ち、注目画素の１ライン前に位置する画素ＢＢ３２、注目画素の１ライン前の２画素前に位置する画素ＢＢ１２、注目画素の１ライン前の２画素後に位置する画素ＢＢ５２、注目画素の１ライン後に位置する画素ＢＢ３４、注目画素の１ライン後の２画素前に位置する画素ＢＢ１４、及び注目画素の１ライン後の２画素後に位置する画素ＢＢ５４が参照画素として用いられる。
このとき、Ｂ信号は次式で求める。
Ｂ＝ＫＢ１２×ＢＢ１２＋ＫＢ３２×ＢＢ３２＋ＫＢ５２×ＢＢ５２
＋ＫＢ１４×ＢＢ１４＋ＫＢ３４×ＢＢ３４＋ＫＢ５４×ＢＢ５４
Ｂ信号係数設定回路２９５は、加算係数ＫＢ１１〜ＫＢ５５のうち、上式で使わない係数、即ち参照画素位置の画素に対する係数を「０」に設定する。
【０１０４】
Ｂ信号係数設定回路２９５は、上式で使う加算係数を下式に従って算出する。
ＫＢ１２＝（Ｌ−１）×４／１８
ＫＢ３２＝（Ｌ＋８）／１８
ＫＢ５２＝（Ｌ−１）×４／１８
ＫＢ１４＝（Ｌ−１）×４／１８
ＫＢ３４＝（Ｌ＋８）／１８
ＫＢ５４＝（Ｌ−１）×４／１８
ここで、Ｌは制御回路１２から設定される増感倍率である。
【０１０５】
上記の係数の各々は、正規化係数Ｋｎと重み係数Ｋｗの積で与えられるものであり、上記の例では、加算される画素の数に反比例した４／６が正規化係数である。
例えば、ＫＢ３２（３×３画素の領域内の画素についての加算係数）を求める式は、
ＫＢ３２＝（Ｌ＋８）／１２×４／６
と書き換えることができ、そのうち、４／６が正規化係数Ｋｎ、残りの（Ｌ＋８）／１２が重み係数Ｋｗである。
同様に、ＫＢ１２（３×３画素の領域外の画素についての加算係数）を求める式は、
ＫＢ１２＝（Ｌ−１）／３×４／６
と書き換えることができ、そのうち、４／６が正規化係数Ｋｎ、残りの（Ｌ−１）／３が重み係数Ｋｗである。他の係数についても同様である。
【０１０６】
増感倍率Ｌが１倍の時、Ｒ画素加算部６Ｒは次式の演算を行う。
Ｂ＝ ０ ×ＢＢ１２＋ ９／１８×ＢＢ３２＋ ０ ×ＢＢ５２
＋ ０ ×ＢＢ１４＋ ９／１８×ＢＢ３４＋ ０ ×ＢＢ５４
増感倍率Ｌが２倍の時、Ｒ画素加算部６Ｒは次式の演算を行う。
Ｂ＝４／１８×ＢＢ１２＋１０／１８×ＢＢ３２＋４／１８×ＢＢ５２
＋４／１８×ＢＢ１４＋１０／１８×ＢＢ３４＋４／１８×ＢＢ５４
増感倍率Ｌが３倍の時、Ｒ画素加算部６Ｒは次式の演算を行う。
Ｂ＝８／１８×ＢＢ１２＋１１／１８×ＢＢ３２＋８／１８×ＢＢ５２
＋８／１８×ＢＢ１４＋１１／１８×ＢＢ３４＋８／１８×ＢＢ５４
増感倍率Ｌが４倍の時、Ｒ画素加算部６Ｒは次式の演算を行う。
Ｂ＝１２／１８×ＢＢ１２＋１２／１８×ＢＢ３２＋１２／１８×ＢＢ５２
＋１２／１８×ＢＢ１４＋１２／１８×ＢＢ３４＋１２／１８×ＢＢ５４
【０１０７】
一般化すれば、参照画素に対する加算係数Ｋａ（ＫＲ２１、ＫＲ２２、…、ＫＧ２２、ＫＧ２３、…、ＫＢ２１、ＫＢ２２、…）は、重み係数Ｋｗと正規化係数Ｋｎの積で与えられる。
正規化係数Ｋｎは、加算により求めようとしている色成分値に応じて予め決められるものであり、参照画素の数に反比例する。上記の例では、参照画素の数がＮｐ（＝４、５又は６）であれば、正規化係数Ｋｎ＝４／Ｎｐ（＝４／４、４／５又は４／６）である。
一方、重み係数Ｋｗは、加算される各画素に対して定められるものであり、各画素に対する重み係数Ｋｗは、当該画素の注目画素からの距離と、増感倍率に依存し、増感倍率Ｌが比較的小さいときは、重み係数Ｋｗは距離が大きいほど小さく、増感倍率Ｌが大きくなるほど、重み係数Ｋｗの距離に対する依存性が小さくなるように設定される。
加算係数の、すべての参照画素についての総和Ｓｋａは、増感倍率Ｌに等しい。
【０１０８】
参照画素の数が４の場合（図９（ｂ）、図１０（ｂ）、図１０（ｃ）、図１１（ｃ））
参照画素の数が５の場合（図９（ｃ）、図１０（ａ）、図１０（ｄ）、図１１（ｂ））、
参照画素の数が６の場合(図９（ａ）、図９（ｄ）、図１１（ａ）、図１１（ｄ））、
のそれぞれについて、増感倍率Ｌと重み係数Ｋｗの関係を図１２（ａ）、（ｂ）、（ｃ）に示す。
図１２（ａ）で、符号Ｋｗ４はすべての参照画素に共通の重み係数Ｋｗを示す。
図１２（ｂ）で、符号Ｋｗ５０は注目画素についての重み係数を示し、符号Ｋｗ５１は注目画素以外の画素についての重み係数を示す。
図１２（ｃ）で、符号Ｋｗ６１は３×３画素の領域内の参照画素についての重み係数を示し、符号Ｋｗ６２は３×３画素の領域外の画素についての重み係数を示す。
【０１０９】
上記の実施の形態では、制御回路１２において、増感倍率Ｌを出力し、係数設定回路９５，１９５，２９５が増感倍率Ｌに基づいて加算係数Ｋａを生成することとしており、制御回路１２と係数設定回路９５，１９５，２９５とで、加算係数Ｋａを生成する加算係数生成部を構成している。
【０１１０】
上記の例で説明したように、注目画素に最も近い相関の高い画素を使って画素加算を行うので画像解像度の劣化を最小限に抑えつつ感度向上を実現することができる。特に解像度に寄与するＧ画素は、注目画素の隣接画素（３×３画素の領域内の画素）を参照画素としている。
【０１１１】
上記の例で説明したように、注目画素の近傍に位置する画素の画素値、従って相関が比較的高い画素値を用いて画素加算を行うので、画像解像度の劣化を抑制しつつ感度向上を実現することができる。特に輝度成分への影響を大きく与え、従って、解像度の向上への寄与の大きいＧ画素については、隣接画素（３×３画素の領域内の画素）のみを参照画素として画素加算を行うので、画素加算による解像度の劣化を最小限に抑えることができる。
【０１１２】
上記の例で説明したように、画素加算を撮像素子から出力された直後に(即ち映像信号処理回路７による処理の前に)行うことにより、映像信号処理の影響を受けずに、画素加算による高感度信号が生成できる。映像信号処理の後段で行う画素加算は、近傍に位置する画素を使った演算である色同時化処理や、フィルタ処理が施されているので、水平解像度や垂直解像度の低下が想定よりも大きい。隣接画素（水平方向の座標値の差及び垂直方向の座標値の差のうちの大きい方が１である画素）を使った画素加算を行った場合には、その１画素隣の画素は、色同時化処理で隣接画素に隣接する画素を使って生成されている場合があり、そうすると、結果的に水平方向又は垂直方向の画素間距離が２画素ピッチである画素と画素加算を行っていることになる。これとの比較から、映像信号処理後の画素信号を用いた画素加算に較べて、映像信号処理前の画素信号を用いた画素加算は、より高い解像度の画像が得られる効果がある。
【０１１３】
また映像信号処理では非線形なフィルタ処理や階調変換処理が行われているので、低振幅信号を入力した場合、信号振幅が失われている場合がある。このため、映像信号処理の出力信号を２画素加算しても、２倍の画像信号にならない可能性がある。上記した例では映像信号処理前に画素加算するように構成したので、２画素加算したら、２倍の画像信号になる効果がある。
【０１１４】
上記の例で説明したように、注目画素がＲ画素又はＢ画素である場合には、増感倍率Ｌが１倍の場合は、注目画素自体、又はその隣接画素のみを用いて画素加算を行い、増感倍率Ｌが４倍の場合は、隣接画素の周囲に配置されている周辺画素をも用いた画素加算を行うこととし、その間の増感倍率Ｌでは、増感倍率の増加に伴って加算係数が連続的に変化するように、例えば増感倍率の増加に加算係数の増加又は減少が比例するようにした。
一方、注目画素がＧ画素である場合には、増感倍率が１倍から４倍の如何なる場合にも、注目画素のみ又は注目画素及びその隣接画素のみを用いて画素加算を行なうこととした。
【０１１５】
以上のように構成したので、標準照度（高照度側基準値以上の範囲内）では、増感倍率Ｌは１倍として解像度の低下がない画像を出力できる。低照度範囲（低照度側基準値以下の範囲）では、増感倍率Ｌは４倍として解像度の低下を最小限に抑えた４倍の感度で画像を出力できる。カメラに搭載される撮像素子の感度やノイズレベルによるが、例えば上記の高照度側基準値を１ｌｘに設定し、上記の低照度側基準値を０．２５ｌｘに設定しても良い。また、標準照度での増感倍率Ｌ＝１倍と、低照度での増感倍率Ｌ＝４倍の間の中照度範囲においては、シームレスに増感倍率Ｌを設定できるように構成したので、撮像装置から得られる画像を動画として見る場合にも、照度が暗くなる過程で画像が急変することがなく違和感を与えない効果がある。出力信号の明るさが急変することがなくなり、画面を見ている人が違和感を受けたり、見づらいと感じたりすることがなくなる。
【０１１６】
以上要するに、制御回路１２とＲ信号係数設定回路９５との組合せは、Ｒ画素加算部（第１の色成分生成部）６Ｒで用いられる加算係数を定めるに当たり、
被写体照度が所定の高照度側基準値以上の高照度範囲内にあり、図９（ｃ）に示すように、注目画素がＲ画素（第１種の画素）である場合、注目画素以外の参照画素についての加算係数をゼロとし、
被写体照度が所定の高照度側基準値以上の高照度範囲内にあり、図９（ａ）、（ｂ）、（ｄ）に示すように、注目画素がＲ画素以外である場合（ＧＢ画素、Ｂ画素、又はＧＲ画素である場合、即ち、第２種、第３種又は第４種の画素である場合）、注目画素を中心とした３×３画素の領域内に含まれない参照画素についての加算係数をゼロとし、
被写体照度が所定の低照度側基準値以下の低照度範囲内にある場合、参照画素のすべてについての加算係数を互いに等しいゼロ以外の値とし、
被写体照度が上記低照度側基準値と上記高照度側基準値の間の中照度範囲内にある場合、被写体照度の増加とともに、上記低照度範囲で用いられる値から、上記高照度範囲で用いられる値へ上記加算係数を連続的に変化させる。
【０１１７】
また、制御回路１２とＧ信号係数設定回路１９５との組合せは、Ｇ画素加算部（第２の色成分生成部）６Ｇで用いられる加算係数を定めるに当たり、
被写体照度が所定の高照度側基準値以上の高照度範囲の場合にあり、図１０（ａ）、（ｄ）に示すように、注目画素がＧＢ画素又はＧＲ画素（第２種又は第４種の画素）、即ちＧ成分の光を検出する画素である場合、注目画素以外の参照画素についての加算係数をゼロとし、
被写体照度が所定の低照度側基準値以下の低照度範囲内にあり、図１０（ａ）、（ｄ）に示すように、注目画素がＧＢ画素又はＧＲ画素（第２種又は第４種の画素）、即ち、Ｇ成分の光を検出する画素である場合、すべての参照画素についての加算係数を互いに等しい値とし、
被写体照度が所定の高照度側基準値以上の高照度範囲内にあり、図１０（ｃ）、（ｂ）に示すように、注目画素がＲ画素又はＢ画素（第１種又は第３種の画素）、即ち、Ｇ成分の光を検出する画素以外の画素であるである場合、すべての参照画素についての加算係数を互いに等しい第１の値とし、
被写体照度が所定の低照度側基準値以下の低照度範囲内にあり、図１０（ｃ）、（ｂ）に示すように、注目画素がＲ画素又はＢ画素（第１種又は第３種の画素）、即ち、Ｇ成分の光を検出する画素以外の画素である場合、すべての参照画素についての加算係数を互いに等しい、上記第１の値よりも大きい第２の値とし、
被写体照度が上記低照度側基準値と上記高照度側基準値の間の中照度範囲内にある場合、
被写体照度の増加とともに、上記低照度範囲で用いられる値から、上記高照度範囲で用いられる値へ上記加算係数を連続的に変化させる。
【０１１８】
さらに、制御回路１２とＢ信号係数設定回路１９５との組合せは、Ｂ画素加算部（第３の色成分生成部）６Ｂで用いられる加算係数を定めるに当たり、
被写体照度が所定の高照度側基準値以上の高照度範囲内にあり、図１１（ｂ）に示すように、注目画素がＢ画素（第３種の画素）である場合、注目画素以外の参照画素についての加算係数をゼロとし、
被写体照度が所定の高照度側基準値以上の高照度範囲内にあり、図１１（ａ）、（ｃ）、（ｄ）に示すように、注目画素がＢ画素以外の画素（Ｒ画素、ＧＢ画素、ＧＲ画素、即ち第１種、２種、第４種の画素）である場合、注目画素を中心とした３×３画素の領域内に含まれない参照画素についての加算係数をゼロとし、
被写体照度が所定の低照度側基準値以下の低照度範囲内にある場合、参照画素のすべてについての加算係数を互いに等しいゼロ以外の値とし、
被写体照度が上記低照度側基準値と上記高照度側基準値の間の中照度範囲内にある場合、被写体照度の増加とともに、上記低照度範囲で用いられる値から、上記高照度範囲で用いられる値へ上記加算係数を連続的に変化させる。
【０１１９】
上記の例では、４倍までの増感倍率Ｌを設定した場合について説明したが、４倍よりも大きな値に設定しても良い。上記の加算係数の生成式は、増感倍率Ｌを１倍から４倍まで設定範囲とし、４倍の時に、すべての参照画素の重みが等しくなる。４倍よりも大きな増感倍率Ｌの加算係数の生成式は、参照画素の重みが等しいまま増感倍率Ｌを設定できる生成式とする。周辺画素の色フィルタ配置パターンによって異なるが、４画素加算のケースでは加算係数の生成式はＬ／４とし、５画素加算のケースでは加算係数の生成式はＬ／５とし、６画素加算のケースでは加算係数の生成式はＬ／６とする。４倍よりも大きな増感倍率Ｌの設定は、階調落ちに注意して使う必要がある。
【０１２０】
図９（ａ）〜（ｄ）、図１１（ａ）〜（ｄ）では、Ｒ画素加算部６ＲでＲ信号を生成するために用いられる参照領域及びＢ画素加算部６ＢでＢ信号を生成するために用いられる参照領域を５×５画素の領域から４隅の画素を除いた部分としたが、４隅の画素を除かず、５×５画素の全体を参照領域としても良い。また、上記の例では、注目画素からの距離の近い順に、注目画素を含め６個以下の画素を参照画素として選択することとしたが、より多くの画素を参照画素として選択することとしても良い。
【０１２１】
上記の例で説明したように、同じ色成分の光を検出する画素の画素値（同じ色の色フィルｔを備えた画素からの画素値）を加算するので、混色することなく高感度なカラー画像が得られる。
【０１２２】
低照度時の撮像画像をアナログアンプで増幅すると信号よりもノイズが大きくなる。またデジタルアンプで増幅すると階調落ちが発生する。上記の例で説明したように本発明は、近傍領域内の画素の画素加算で高感度化をはかるので信号よりもノイズが小さくなる。例えば２画素加算すると信号成分は２倍になり、ノイズ成分は二乗根倍になり、相対的に純粋の信号成分が大きくなる。また、画像の性質として近傍に位置する画素同士は相関が高いことから、注目画素の近傍に位置する複数画素を加算することで実効性の高い感度向上を実現している。
【０１２３】
上記の例において、固体撮像素子の一構成例として図１のようにＣＣＤ撮像素子２を使った構成について説明したが、２次元イメージセンサであればＣＣＤ撮像素子に限らず、ＣＭＯＳ撮像素子でも、どのようなものでも良い。またインターライントランスファーＣＣＤに限らず、フレームトランスファーＣＣＤでもフレームインターライントランスファーＣＣＤであっても良い。
図１３に、ＣＭＯＳ撮像素子２０を使った構成を示す。ＣＭＯＳ撮像素子は、撮像機能単体のデバイスの場合もあるし、周辺機能を集積したデバイスの場合もある。
図１３は、周辺機能を集積したＣＭＯＳ撮像素子の場合について示す。
図１のＣＣＤ撮像素子２、相関二重サンプリング処理回路３、プログラマブル利得増幅回路４、Ａ／Ｄ変換回路５、タイミング発生回路１０の持つ機能は、ＣＭＯＳ撮像素子２０の中に含まれている。
【０１２４】
実施の形態２．
図１４は本発明の実施の形態２による撮像装置を示す。図１４において、検波回路１３が付加されていること、及び図１の制御回路１２の代わりに制御回路１２ｂが設けられている点を除き、実施の形態１の説明と同様であり、同様な効果を奏する。
【０１２５】
検波回路１３は、画素加算回路６から供給された信号の大きさを検波し、信号振幅のレベル、例えば平均レベルの検出値ＡＳＡを求め、照度情報として出力する。
【０１２６】
検波回路１３は、上記の検波において、信号振幅の平均レベルの算出値ＡＳＡを、全有効画素の画素値の総和を全有効画素数で除算して求める。
このような平均レベルの算出は、例えば垂直走査周期毎に行われ、例えば積分処理と割算処理とにより実行される。上記のようにして求められる信号振幅の平均レベルの「算出値」を、信号振幅の平均レベルの「検出値」と言うことがある。
【０１２７】
なお、上記の信号振幅の平均レベル算出における全有効画素数での除算は、画素数が２のｎ乗（ｎは整数）で与えられるときは、デジタル値のビットシフト処理で実現しても良い。また全有効画素数は、同じシステムでは定数であるので全有効画素数の除算を省略しても良い。
【０１２８】
制御回路１２ｂは、実施の形態１の制御回路１２と同様であるが、以下のように付加的な機能を有する。即ち、制御回路１２ｂは、検波回路１３から供給された信号振幅の平均レベルの検出値ＡＳＡに基づいて、レンズ１の絞りの制御、タイミング発生回路１０が発生するＣＣＤ撮像素子２の光電変換素子からの電荷読出しタイミング及び電荷強制排出タイミングの制御（従って、電荷蓄積時間、即ち露光時間の制御）、プログラマブル利得増幅回路４の増幅利得の制御、並びに画素加算回路６の画素加算処理の制御を行う。
さらに、映像信号処理回路７は、垂直走査周期毎に画素加算回路６の出力に含まれるノイズのレベルを算出し、制御回路１２ｂへ供給する。
【０１２９】
なお、上記の例では、上記の信号振幅の平均レベルの算出及びノイズレベルの算出を、垂直走査周期毎に行うものとして説明したが、検波回路１３及び映像信号処理回路７内部の信号処理時間並びに検波回路１３及び映像信号処理回路７から制御回路１２ｂへの伝送時間を考慮して、数回の垂直走査に１回だけ行うようにしても良い。
【０１３０】
上記の例では、検波回路１３は、信号振幅の平均レベルを算出したが、信号振幅のピーク検波とする場合もある。検波回路１３の出力は、着目する被写体の視認性が高くなるように生成する。例えば、ハイライト部分を白く飽和させたくない場合は、ピーク検波とし、ハイライト部分が白く飽和しても中間階調がはっきり見えれば良い場合は、平均値検波とする。
【０１３１】
以下で詳しく述べるように、画素加算回路６による感度制御も露光制御の一環として制御できるので照度環境が変化しても、常に最適な条件で被写体を視認できる画像が得られる効果がある。また、画素加算回路６は、加算する画素の数（参照画素のうちで加算係数をゼロ以外の値とする画素の数）や加算係数を変えることで、信号振幅を調整する。
【０１３２】
制御回路１２ｂは、検波回路１３から得られる信号振幅の平均レベルの検出値ＡＳＡが一定となるように自動露光制御を行う。明るい環境での撮像で上記信号振幅が大きい時、制御回路１２ｂは、レンズ１の開口を絞るように制御してＣＣＤ撮像素子２への入射光量を減らしたり、タイミング発生回路１０による電荷強制排出タイミングの調整で、ＣＣＤ撮像素子２の光電変換素子に蓄積される電荷を強制排出するように制御して露光時間を減らしたりする。
【０１３３】
暗い環境での撮像で上記信号振幅が小さくなってきた時、制御回路１２ｂは、プログラマブル利得増幅回路４の増幅利得を増やすように制御して撮像信号を増幅する。しかしながら、上記増幅利得が大き過ぎるとノイズが目立つようになり視認性の悪い画像となる。他の方法として、制御回路１２ｂは、ＣＣＤ撮像素子２の光電変換素子からの電荷読出しを垂直走査周期単位で間引くように制御することにより露光時間を延ばすこともできる。しかしながら、露光時間が長すぎると動く被写体が残像となり視認性の悪い画像となる。さらに垂直走査周期単位で欠落する画像の補間（フレーム補間）を行なう回路が必要になる。
【０１３４】
実施の形態１と同様に、本実施の形態の制御回路１２ｂは、画素加算回路６への増感倍率Ｌを１倍から４倍に設定する。増感倍率Ｌの設定（調整）は、検波回路１３からの照度情報並びに露光パラメータに基づいて行われる。実施の形態１で述べたように、増感倍率Ｌの変更により加算係数ＫＲ、ＫＧ、ＫＢが調整される。従って、照度情報に基づいて加算係数が調整される。
注目画素の近傍領域内に位置する４〜６画素を加算することにより、４倍の感度向上を実現でき、極めて暗い環境での撮像でも大幅に視認性を改善することができる。また、フレーム周波数の低下を防止乃至抑制することができるので、動解像度の劣化はなく、水平解像度、垂直解像度の劣化は最小に抑えることができる。
【０１３５】
以下、被写体照度が変化したときの感度調整のための手順の一例を説明する。まず、露光時間は一定値（標準露光時間）Ｔｒに維持するものとして説明する。
被写体照度が徐々に暗くなり、信号振幅の平均レベルの検出値ＡＳＡが下がってくると、レンズ１の絞りを開放方向に制御して（図１５（ａ）の範囲Ｓａ）、信号振幅の平均レベルを維持する。ここで、「信号振幅の平均レベルを維持する」とは、画素加算回路６の出力の信号振幅の平均レベル、従って検波回路１３の出力で表される、信号振幅の平均レベルを維持することを意味する。
【０１３６】
レンズ１の絞りが開放（全開）になった後は、プログラマブル利得増幅回路４の増幅利得を増やすように制御して（図１５（ｂ）の範囲Ｓｂ）、信号振幅の平均レベルを維持する。プログラマブル利得増幅回路４の増幅利得が大きくなり、増幅利得の所定の上限値ＵＧＬよりも大きくなった後は、画素加算回路６の増感倍率Ｌを大きくなるように制御して（図１５（ｃ）の範囲Ｓｃ）、信号振幅の平均レベルＡＳＡを維持する。
【０１３７】
増感倍率Ｌの制御による平均レベルＡＳＡの維持は、増感倍率Ｌが最大値（Ｌ＝４）となるまで可能である。それよりもさらに被写体照度が低下すると、平均レベルＡＳＡは低下を開始する。
【０１３８】
標準露光時間Ｔｒにおいて、レンズ絞りを開放とし、増幅利得を最大とし、増感倍率Ｌが１であるときに画素加算回路６の出力（画素加算部６Ｒ、６Ｇ、６Ｂの出力）が所定のレベルとなる照度ＨＬを高照度側基準値とし、高照度基準値ＨＬの１／４の照度、即ち、標準露光時間Ｔｒにおいて、レンズ絞りを開放とし、増幅利得を最大とし、増感倍率Ｌが４であるときに画素加算回路６の出力が所定のレベルとなる照度ＬＬを、低照度側基準値とする。
【０１３９】
被写体照度が徐々に明るくなって、低照度側基準値ＬＬ以上となり、信号振幅の平均レベルの検出値ＡＳＡが上がろうとすると、画素加算回路６の増感倍率Ｌを減らすように制御して（図１５（ｃ）の範囲Ｓｃ）、信号振幅の平均レベルを維持する。増感倍率Ｌが１倍まで小さくなると、次にプログラマブル利得増幅回路４の増幅利得を減らすように制御して、信号振幅の平均レベルを維持する。プログラマブル利得増幅回路４の増幅利得が減少し（図１５（ｂ）の範囲Ｓｂ）、所定の下限値ＬＧＬよりも小さくなった後は、レンズ１の絞りを遮光方向に制御して（図１５（ａ）の範囲Ｓａ）、信号振幅の平均レベルを維持する（図１５（ｅ））。さらに照度が高くなると、平均レベルＡＳＡは上昇する。
【０１４０】
以上の制御を行う結果、図１５（ｅ）に実線で示すように、下限ＬＬから上限ＵＬまでの範囲において、信号振幅の平均レベルＡＳＡを一定に保つことができる。
なお、露光時間を一定としたが、被写体の照度に応じて露光時間をも制御しても良い。例えば、照度が低下して、増感倍率Ｌが最大値になってもなおも、信号振幅が十分な値とならないときに、露光時間を長くすることとしても良い（図１５（ｄ）の範囲Ｓｄ）。逆に、照度が高くなり、絞りを最大に絞っても（Ｆ値を最も高くしても）、信号振幅が大きすぎる場合には、露光時間を短くしても良い（図１５（ｄ）の範囲Ｓｅ）。
このような露光時間の制御を加えると、図１５（ｅ）に点線で示すように、下限ＬＬｅから上限ＵＬｅまでの範囲において、信号振幅の平均レベルＡＳＡを一定に保つことができる。
【０１４１】
上記増幅利得の所定の上限値ＵＧＬは、映像信号処理回路７で検出されるノイズレベルの検出値ＡＮＬに基づいて決まる。（被写体照度が低下し、それに伴い撮像素子２の出力のＳ／Ｎが低下した場合に増幅利得を増加させる必要があることを考慮し、）ノイズレベルの検出値ＡＮＬが信号振幅の平均レベルの検出値ＡＳＡに対して所定のノイズ割合（第１の所定のノイズ割合、即ち許容上限値）ＮＰＲ１に達したときのプログラマブル利得増幅回路４の増幅利得を上記所定の上限値ＵＧＬとする。上記第１の所定のノイズ割合ＮＰＲ１は例えば１／５０と定められる。
【０１４２】
ノイズレベルの算出値ＡＮＬは、ノイズ低減処理によりノイズ成分を抽出し、全有効画素範囲のノイズ成分の絶対値の総和を全有効画素数で除算することで求まる。ノイズ低減処理により、入力信号のノイズを低減したノイズ低減信号ＮＲＳが得られる。上記入力信号（映像信号処理回路７内でノイズ低減処理を行う前の信号）から上記ノイズ低減信号ＮＲＳを減算することでノイズ成分を抽出できる。上記のようにして求められるノイズレベルの「算出値」を、「検出値」と言うことがある。
【０１４３】
用途によって被写体の視認にあたり許容できるノイズレベルは異なるため、上記第１の所定のノイズ割合ＮＰＲ１は、Ｓ／Ｎを重視するか、画像解像度を重視するか等、撮像装置の用途によって変わる。制御回路１２ｂは、プログラマブル利得増幅回路４に設定している利得、及び検波回路１３から制御回路１２ｂへ供給されるノイズレベルの検出値ＡＮＬを観測しながらダイナミックに上記増幅利得の所定の上限値ＵＧＬを決めてプログラマブル利得増幅回路４及び画素加算回路６を制御することとしても良く、撮像装置を工場から出荷する前にノイズレベルの検出値ＡＮＬが信号振幅の平均レベルの検出値ＡＳＡに対して第１の所定のノイズ割合ＮＰＲ１に達する増幅利得を測定し、上記所定の上限値ＵＧＬとして撮像装置の電源を切っても記憶内容を保持できる記憶部（不揮発性のメモリ、電池でバックアップされた揮発性のメモリなど）１６に書込み、制御回路１２ｂは上記増幅利得の所定の上限値ＵＧＬを参照してプログラマブル利得増幅回路４及び画素加算回路６を制御するようにしても良い。
【０１４４】
上記増幅利得の所定の下限値ＬＧＬは、映像信号処理回路７から制御回路１２ｂへ供給されるノイズレベルの検出値ＡＮＬに基づいて決まる。ノイズレベルの検出値ＡＮＬが信号振幅の平均レベルの検出値ＡＳＡに対して所定のノイズ割合（第２の所定のノイズ割合）ＮＰＲ２を下回ったときのプログラマブル利得増幅回路４の増幅利得を上記所定の下限値ＬＧＬとする。上記第２の所定のノイズ割合は、上記第１の所定のノイズ割合ＮＰＲ１と画素加算回路６による感度倍率（４倍）に基づいて決める。例えば、上記第２の所定のノイズ割合ＮＰＲ２は、１／２００（＝｛（１／５０）×（１／４）｝）と定められる。
【０１４５】
用途によって被写体の視認にあたり許容できるノイズレベルは異なるため、上記第２の所定のノイズ割合ＮＰＲ２は、Ｓ／Ｎを重視するか、画像解像度を重視するか等、撮像装置の用途によって変わる。制御回路１２ｂは、プログラマブル利得増幅回路４に設定している利得、及び検波回路１３から制御回路１２ｂへ供給されるノイズレベルの検出値ＡＮＬを観測しながらダイナミックに上記増幅利得の所定の下限値ＬＧＬを決めてプログラマブル利得増幅回路４及び画素加算回路６を制御することとしても良く、撮像装置を工場から出荷する前にノイズレベルの検出値ＡＮＬが信号振幅の平均レベルの検出値ＡＳＡに対して第２の所定のノイズ割合ＮＰＲ２に達する増幅利得を測定し、上記所定の下限値ＬＧＬとして撮像装置の電源を切っても記憶内容を保持できる記憶部１６に書込み、制御回路１２ｂは上記増幅利得の所定の下限値ＬＧＬを参照してプログラマブル利得増幅回路４及び画素加算回路６を制御するようにしても良い。
【０１４６】
制御回路１２ｂは、レンズ１の絞り、ＣＣＤ撮像素子２の露光時間、プログラマブル利得増幅回路４の増幅利得、画素加算回路６における画素加算による信号振幅調整機能を制御して信号振幅の平均レベル（画素加算回路６の出力の信号振幅の平均レベル）を維持する。
【０１４７】
以上のような制御を行っているので、検波回路１３で得られる信号の振幅ＡＳＡと、そのときの露光制御パラメータ（絞り、増幅利得、増感感度、露光時間）とに基づいて、被写体の照度を求めることができる。
言い換えれば、検波回路の出力に対し、露光制御パラメータに基づく逆算を行うことで得られる換算値は、被写体の照度に対応した値である。即ち、そのようなに逆算によって得られた照度が高照度側基準値以上か、低照度側輝度値以下か、それらの基準値の間の範囲にあるかを判断し、判断結果に応じ画素加算の制御（増感感度）を行うことができる。
【０１４８】
上記のように構成したので、露光制御の中で、絞り制御、増幅利得制御、画素加算制御、露光時間制御を順番に切替えることで、視認性の良い最適な明るさの画像を出力することができる効果がある。
【０１４９】
また、画素加算回路において、加算する画素の数ではなく加算係数で増感倍率を設定できるように構成し、増感倍率Ｌを整数に限らず小数を含み得る値で設定できることとしたので、露光制御の中で、画素加算制御も加算係数を小数点以下の値をも使ってシームレスに切替えられ、照度変化の過程で、画像の明るさが急変することなく見やすい画像が出力できる効果がある。
【０１５０】
実施の形態３．
図１６は本発明の実施の形態３による撮像装置を示す。図１６において、測光部１４が付加されている点、及び制御回路１２の代わりに制御回路１２ｃが設けられている点を除き、実施の形態１と同様であり、同様な効果を奏する。
【０１５１】
測光部１４は、レンズ１への光の入射方向の被写体照度を測光する。測光部１４の照度センサ（図示せず）の取り付け及び位置決めはレンズの光軸に基づいて決められ、レンズ１が撮像する被写体の照度を測光する。
【０１５２】
制御回路１２ｃは、実施の形態１の制御回路１２と同様であるが、以下のように付加的な機能を有する。即ち、制御回路１２ｃは、測光部１４から供給された照度値に基づいて、レンズ１の絞りの制御、タイミング発生回路１０が発生するＣＣＤ撮像素子２の光電変換素子からの電荷読出しタイミング及び電荷強制排出タイミングの制御（従って、電荷蓄積時間、即ち露光時間の制御）、プログラマブル利得増幅回路４の増幅利得の制御、並びに画素加算回路６の画素加算処理の制御を行う。
【０１５３】
制御回路１２ｃは、記憶部１６内に保持されている設定値テーブルに従って、レンズ１の絞り、ＣＣＤ撮像素子２の露光時間、プログラマブル利得増幅回路４の増幅利得、画素加算回路６の増感倍率の設定を行う。
設定値テーブルには、照度値ごとにレンズ１の絞り、ＣＣＤ撮像素子２の露光時間、プログラマブル利得増幅回路４の増幅利得、画素加算回路６の増感倍率が登録されている。
【０１５４】
照度が明るいときは、撮像素子２の露光時間はフレームレートに基づく標準露光時間Ｔｒに、プログラマブル利得増幅回路４の増幅利得は１倍に、画素加算回路６の増感倍率Ｌは１倍に設定してレンズ１の絞りを絞っていく（図１５（ａ）の範囲Ｓａ）。レンズ１が最大絞りになって照度がさらに明るくなると、撮像素子２の露光時間を標準露光時間Ｔｒから短く制御する（図１５(ｄ）の範囲Ｓｅ）。
【０１５５】
照度が暗くなると、撮像素子２の露光時間はフレームレートに基づく標準露光時間Ｔｒに、プログラマブル利得増幅回路４の増幅利得は１倍に、画素加算回路６の増感倍率は１倍に設定してレンズ１の絞りを開いていく（図１５（ａ）の範囲Ｓａ）。レンズ１が絞り開放になって照度がさらに暗くなると、プログラマブル利得増幅回路４の増幅利得を１倍から大きくしていく（図１５（ｂ）の範囲Ｓｂ）。プログラマブル利得増幅回路４の増幅利得が、上記の上限値（画素加算回路６の出力に含まれるノイズのレベルが上記の第１の所定の割合に達したときの増幅利得の値、即ち、該ノイズレベルが上記の第１の所定の割合（許容範囲の上限値）を超えないという制約条件を満たす最大利得値）となって照度がさらに暗くなると、画素加算回路６の増感倍率を１倍から大きくしていく（図１５（ｃ）の範囲Ｓｃ）。さらに暗くなると、露光時間を長くする（図１５（ｄ）の範囲Ｓｄ）。
【０１５６】
上記のように構成したので、露光制御の中で、絞り制御、増幅利得制御、画素加算制御及び露光時間制御を順番に切替えることで、視認性の良い最適な明るさの画像を出力することができる効果がある。
【０１５７】
また、画素加算回路において、加算する画素の数ではなく加算係数で増感倍率を設定できるように構成し、増感倍率Ｌを整数に限らず小数を含む値で設定できることとしたので、露光制御の中で、画素加算制御も加算係数を小数点以下の値をも使ってシームレスに切替えられ、照度変化の過程で、画像の明るさが急変することなく見やすい画像が出力できる効果がある。
【０１５８】
なお、実施の形態２及び３において、増感倍率を最大にしても信号振幅が十分でない場合に露光時間を長くする旨説明したが、これはフレームレートが変わらないようにすることを優先した結果である。フレームレートよりも解像度を重視する場合には、露光時間を長くする制御を先に行い、露光時間を（例えば所定の値まで）長くしても信号振幅が十分でない場合に増感倍率を大きくすることとしても良く、増感倍率を大きくする制御と露光時間を長くする制御を平行して行っても良い。
【符号の説明】
【０１５９】
１ レンズ、 ２ ＣＣＤ撮像素子、 ３ 相関二重サンプリング処理回路、 ４ プログラマブル利得増幅回路、 ５ Ａ／Ｄ変換回路、 ６ 画素加算回路、 ６Ｅ 画素抽出部、 ６Ｒ Ｒ画素加算部、 ６Ｇ Ｇ画素加算部、 ６Ｂ Ｂ画素加算部、 ７ 映像信号処理回路、 ８ 映像信号出力端子、 ９ 駆動回路、 １０ タイミング発生回路、 １１ 同期信号発生回路、 １２、１２ｂ、１２ｃ 制御回路、 １３ 検波回路、 １４ 測光部、 ２０ ＣＭＯＳ撮像素子、 １０１ 入力端子、 １０３ 制御端子、 １０４ 同期信号入力端子、 ２２〜２５ １ライン遅延回路、 ３２〜５５ １画素遅延回路、 ６１〜８５ 乗算回路、 ９０ 加算回路、 ９５ Ｒ信号係数設定回路、 １０６ Ｒ信号出力端子、 １６１〜１８５ 乗算回路、 １９０ 加算回路、 １９５ Ｇ信号係数設定回路、 １０７ Ｇ信号出力端子、 ２６１〜２８５ 乗算回路、 ２９０ 加算回路、 ２９５ Ｂ信号係数設定回路、 １０８ Ｂ信号出力端子。
【特許請求の範囲】
【請求項１】
第１の色成分の光を検出して対応する撮像信号を発生する第１種の画素と、第２の色成分の光を検出して対応する撮像信号を発生する第２種の画素と、第３の色成分の光を検出して対応する撮像信号を発生する第３種の画素と、前記第２の色成分の光を検出して対応する撮像信号を発生する第４種の画素とが、水平２画素、垂直２画素の組み合わせを基本単位として画面内に規則的に配列された撮像部と、前記撮像部から出力された撮像信号を所定の時間遅延させることで、注目画素とその周囲の画素の画素値を表す信号を抽出して同時に出力する画素抽出部と、
加算係数を生成する加算係数生成部と、
注目画素を中心とした水平５画素、垂直５画素の領域内に位置する前記第１種の画素を参照画素として、該参照画素の画素値だけを加算係数によって加重加算し、注目画素の第１の色成分値を生成する第１の色成分生成部と、
注目画素を中心とした水平３画素、垂直３画素の領域内に位置する前記第２種及び第４種の画素を参照画素として、該参照画素の画素値だけを加算係数によって加重加算し、注目画素の第２の色成分値を生成する第２の色成分生成部と、
注目画素を中心とした水平５画素、垂直５画素の領域内に位置する前記第３種の画素を参照画素として、該参照画素の画素値だけを加算係数によって加重加算し、注目画素の第３の色成分値を生成する第３の色成分生成部と
を備えることを特徴とする撮像装置。
【請求項２】
第１の色成分が赤、第２の色成分が緑、第３の色成分が青であり、前記画素がベイヤ配列されたものであることを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記第１種の画素が、前記第１の色成分の光を透過させる第１の色フィルタを設けた画素であり、前記第２種の画素及び第４種の画素が、前記第２の色成分の光を透過させる第２の色フィルタを設けた画素であり、前記第３種の画素が、前記第３の色成分の光を透過させる第３の色フィルタを設けた画素であることを特徴とする請求項１又は２に記載の撮像装置。
【請求項４】
前記第１の色成分生成部は、前記水平５画素、垂直５画素の領域内の４隅に位置する画素以外の、前記第１種の画素の画素値のすべてを用いて加重加算を行い、前記第３の色成分生成部は、前記水平５画素、垂直５画素の領域の４隅に位置する画素以外の、前記第３種の画素の画素値のすべてを用いて加重加算を行うことを特徴とする請求項１に記載の撮像装置。
【請求項５】
前記第１の色成分値を求める際に用いられる加算係数は、前記第１の色成分値を求める際に用いられる参照画素の数に反比例する正規化係数と、前記参照画素ごとの重み係数の積で与えられ、
前記第２の色成分値を求める際に用いられる加算係数は、前記第２の色成分値を求める際に用いられる参照画素の数に反比例する正規化係数と、前記参照画素ごとの重み係数の積で与えられ、
前記第３の色成分値を求める際に用いられる加算係数は、前記第３の色成分値を求める際に用いられる参照画素の数に反比例する正規化係数と、前記参照画素ごとの重み係数の積で与えられる
ことを特徴とする請求項１に記載の撮像装置。
【請求項６】
各参照画素に対する重み係数は、当該画素の注目画素からの距離と、増感倍率に依存し、
前記増感倍率が比較的小さいときは、前記重み係数は前記距離が大きいほど小さく、
前記増感倍率が大きくなるほど、前記重み係数の前記距離に対する依存性が小さくなる
ことを特徴とする請求項５に記載の撮像装置。
【請求項７】
前記加算係数生成部は、被写体の照度が低いほど、前記増感倍率を大きくすることを特徴とする請求項６に記載の撮像装置。
【請求項８】
被写体の照度を表す照度情報を生成する照度情報生成部を備え、
前記加算係数生成部は、前記照度情報に基づいて前記増感倍率を決定することを特徴とする請求項７に記載の撮像装置。
【請求項９】
前記照度情報生成部が、被写体からの光に基づいて上記照度を測定して、照度情報を生成する測光部を有する
ことを特徴とする請求項８に記載の撮像装置。
【請求項１０】
前記照度情報生成部は、前記第１、第２及び第３の色成分生成部で生成された前記第１、第２及び第３の色成分値の信号振幅並びに露光制御パラメータに基いて前記照度情報を生成することを特徴とする請求項８に記載の撮像装置。
【請求項１１】
前記第１の色成分生成部は、
注目画素が前記第１種の画素である場合、注目画素、注目画素の２ライン前に位置する参照画素、注目画素の２画素前に位置する参照画素、注目画素の２画素後に位置する参照画素、及び注目画素の２ライン後に位置する参照画素の画素値を加重加算した結果を注目画素の第１の色成分値として出力し、
注目画素が前記第２種の画素である場合、注目画素の１ライン前に位置する参照画素、注目画素の１ライン前の２画素前に位置する参照画素、注目画素の１ライン前の２画素後に位置する参照画素、注目画素の１ライン後に位置する参照画素、注目画素の１ライン後の２画素前に位置する参照画素、及び注目画素の１ライン後の２画素後に位置する参照画素の画素値を加重加算した結果を注目画素の第１の色成分値として出力し、
注目画素が前記第３種の画素である場合、注目画素の１ライン前の１画素前に位置する参照画素、注目画素の１ライン前の１画素後に位置する参照画素、注目画素の１ライン後の１画素前に位置する参照画素、及び注目画素の１ライン後の１画素後に位置する参照画素の画素値を加重加算した結果を注目画素の第１の色成分値として出力し、
注目画素が前記第４種の画素である場合、注目画素の２ライン前の１画素前に位置する参照画素、注目画素の２ライン前の１画素後に位置する参照画素、注目画素の１画素前に位置する参照画素、注目画素の１画素後に位置する参照画素、注目画素の２ライン後の１画素前に位置する参照画素、及び注目画素の２ライン後の１画素後に位置する参照画素の画素値を加重加算した結果を注目画素の第１の色成分値として出力する
ことを特徴とする請求項１乃至１０のいずれかに記載の撮像装置。
【請求項１２】
前記第２の色成分生成部は、
注目画素が前記第１種又は第３種の画素である場合、注目画素の１ライン前に位置する参照画素、注目画素の１画素前に位置する参照画素、注目画素の１画素後に位置する参照画素、及び注目画素の１ライン後に位置する参照画素の画素値を加重加算した結果を注目画素の第２の色成分値として出力し、
注目画素が前記第２種又は第４種の画素である場合、注目画素、注目画素の１ライン前の１画素前に位置する参照画素、注目画素の１ライン前の１画素後に位置する参照画素、注目画素の１ライン後の１画素前に位置する参照画素、及び注目画素の１ライン後の１画素後に位置する参照画素の画素値を加重加算した結果を注目画素の第２の色成分値として出力する
ことを特徴とする請求項１乃至１１のいずれかに記載の撮像装置。
【請求項１３】
前記第３の色成分生成部は、
注目画素が前記第１種の画素である場合、注目画素の１ライン前の１画素前に位置する参照画素、注目画素の１ライン前の１画素後に位置する参照画素、注目画素の１ライン後の１画素前に位置する参照画素、及び注目画素の１ライン後の１画素後に位置する参照画素の画素値を加重加算した結果を注目画素の第３の色成分値として出力し、
注目画素が前記第２種の画素である場合、注目画素の２ライン前の１画素前に位置する参照画素、注目画素の２ライン前の１画素後に位置する参照画素、注目画素の１画素前に位置する参照画素、注目画素の１画素後に位置する参照画素、注目画素の２ライン後の１画素前に位置する参照画素、及び注目画素の２ライン後の１画素後に位置する参照画素の画素値を加重加算した結果を注目画素の第３の色成分値として出力し、
注目画素が前記第３種の画素である場合、注目画素、注目画素の２ライン前に位置する参照画素、注目画素の２画素前に位置する参照画素、注目画素の２画素後に位置する参照画素、及び注目画素の２ライン後に位置する参照画素の画素値を加重加算した結果を注目画素の第３の色成分値として出力し、
注目画素が前記第４種の画素である場合、注目画素の１ライン前に位置する参照画素、注目画素の１ライン前の２画素前に位置する参照画素、注目画素の１ライン前の２画素後に位置する参照画素、注目画素の１ライン後に位置する参照画素、注目画素の１ライン後の２画素前に位置する参照画素、及び注目画素の１ライン後の２画素後に位置する参照画素の画素値を加重加算した結果を注目画素の第３の色成分値として出力する
ことを特徴とする請求項１乃至１２のいずれかに記載の撮像装置。
【請求項１４】
前記加算係数生成部は、前記第１の色成分生成部で用いられる加算係数を定めるに当たり、
被写体照度が所定の高照度側基準値以上の高照度範囲内にあり、注目画素が前記第１種の画素である場合、注目画素以外の参照画素についての加算係数をゼロとし、
前記被写体照度が所定の高照度側基準値以上の高照度範囲内にあり、注目画素が前記第２種、第３種、又は第４種の画素である場合、注目画素を中心とした水平３画素、垂直３画素の領域内に含まれない参照画素についての加算係数をゼロとし、
前記被写体照度が所定の低照度側基準値以下の低照度範囲内にある場合、参照画素のすべてについての加算係数を互いに等しい、ゼロ以外の値とし、
前記被写体照度が前記低照度側基準値と前記高照度側基準値の間の中照度範囲内にある場合、前記被写体照度の増加とともに、前記低照度範囲で用いられる値から、前記高照度範囲で用いられる値へ前記加算係数を連続的に変化させる
ことを特徴とする請求項１１に記載の撮像装置。
【請求項１５】
前記加算係数生成部は、前記第２の色成分生成部で用いられる加算係数を定めるに当たり、
被写体照度が所定の高照度側基準値以上の高照度範囲の場合にあり、注目画素が前記第２種又は第４種の画素である場合、注目画素以外の参照画素についての加算係数をゼロとし、
前記被写体照度が所定の低照度側基準値以下の低照度範囲内にあり、注目画素が前記第２種又は第４種の画素である場合、すべての参照画素についての加算係数を互いに等しい値とし、
前記被写体照度が所定の高照度側基準値以上の高照度範囲内にあり、注目画素が前記第１種又は第３種の画素である場合、すべての参照画素についての加算係数を互いに等しい第１の値とし、
前記被写体照度が所定の低照度側基準値以下の低照度範囲内にあり、注目画素が前記第１種又は第３種の画素である場合、すべての参照画素についての加算係数を互いに等しい、前記第１の値よりも大きい第２の値とし、
前記被写体照度が前記低照度側基準値と前記高照度側基準値の間の中照度範囲内にある場合、前記被写体照度の増加とともに、前記低照度範囲で用いられる値から、前記高照度範囲で用いられる値へ前記加算係数を連続的に変化させる
ことを特徴とする請求項１２に記載の撮像装置。
【請求項１６】
前記加算係数生成部は、前記第３の色成分生成部で用いられる加算係数を定めるに当たり、
被写体照度が所定の高照度側基準値以上の高照度範囲内にあり、注目画素が前記第３種の画素である場合、注目画素以外の参照画素についての加算係数をゼロとし、
前記被写体照度が所定の高照度側基準値以上の高照度範囲内にあり、注目画素が前記第１種、２種、又は第４種の画素である場合、注目画素を中心とした水平３画素、垂直３画素の領域内に含まれない参照画素についての加算係数をゼロとし、
前記被写体照度が所定の低照度側基準値以下の低照度範囲内にある場合、参照画素のすべてについての加算係数を互いに等しいゼロ以外の値とし、
前記被写体照度が前記低照度側基準値と前記高照度側基準値の間の中照度範囲内にある場合、前記被写体照度の増加とともに、前記低照度範囲で用いられる値から、前記高照度範囲で用いられる値へ前記加算係数を連続的に変化させる
することを特徴とする請求項１３に記載の撮像装置。
【請求項１７】
前記所定の正規化係数は、前記参照画素の数をＮｐとするとき、４／Ｎｐで与えられることを特徴とする請求項５又は６に記載の撮像装置。
【請求項１８】
前記撮像部のレンズ絞り及び露光時間を制御する制御回路と、前記撮像部から出力された撮像信号を増幅する信号増幅部とをさらに備え、
前記高照度側基準値は、レンズ絞りを開放とし、前記露光時間を標準露光時間とし、前記信号増幅部の増幅利得を、前記画素加算回路に含まれるノイズのレベルが所定値を超えないとの制約条件を満たす最大利得値とし、前記第１乃至第３の色成分生成部の増感倍率を１とした時に、前記第１乃至第３の色成分生成部の出力が所定のレベルとなる照度であることを特徴とする請求項１４、１５又は１６に記載の撮像装置。
【請求項１９】
前記低照度側基準値は、前記高照度側基準値の１／４倍であることを特徴とする請求項１４、１５又は１６に記載の撮像装置。
【請求項１】
第１の色成分の光を検出して対応する撮像信号を発生する第１種の画素と、第２の色成分の光を検出して対応する撮像信号を発生する第２種の画素と、第３の色成分の光を検出して対応する撮像信号を発生する第３種の画素と、前記第２の色成分の光を検出して対応する撮像信号を発生する第４種の画素とが、水平２画素、垂直２画素の組み合わせを基本単位として画面内に規則的に配列された撮像部と、前記撮像部から出力された撮像信号を所定の時間遅延させることで、注目画素とその周囲の画素の画素値を表す信号を抽出して同時に出力する画素抽出部と、
加算係数を生成する加算係数生成部と、
注目画素を中心とした水平５画素、垂直５画素の領域内に位置する前記第１種の画素を参照画素として、該参照画素の画素値だけを加算係数によって加重加算し、注目画素の第１の色成分値を生成する第１の色成分生成部と、
注目画素を中心とした水平３画素、垂直３画素の領域内に位置する前記第２種及び第４種の画素を参照画素として、該参照画素の画素値だけを加算係数によって加重加算し、注目画素の第２の色成分値を生成する第２の色成分生成部と、
注目画素を中心とした水平５画素、垂直５画素の領域内に位置する前記第３種の画素を参照画素として、該参照画素の画素値だけを加算係数によって加重加算し、注目画素の第３の色成分値を生成する第３の色成分生成部と
を備えることを特徴とする撮像装置。
【請求項２】
第１の色成分が赤、第２の色成分が緑、第３の色成分が青であり、前記画素がベイヤ配列されたものであることを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記第１種の画素が、前記第１の色成分の光を透過させる第１の色フィルタを設けた画素であり、前記第２種の画素及び第４種の画素が、前記第２の色成分の光を透過させる第２の色フィルタを設けた画素であり、前記第３種の画素が、前記第３の色成分の光を透過させる第３の色フィルタを設けた画素であることを特徴とする請求項１又は２に記載の撮像装置。
【請求項４】
前記第１の色成分生成部は、前記水平５画素、垂直５画素の領域内の４隅に位置する画素以外の、前記第１種の画素の画素値のすべてを用いて加重加算を行い、前記第３の色成分生成部は、前記水平５画素、垂直５画素の領域の４隅に位置する画素以外の、前記第３種の画素の画素値のすべてを用いて加重加算を行うことを特徴とする請求項１に記載の撮像装置。
【請求項５】
前記第１の色成分値を求める際に用いられる加算係数は、前記第１の色成分値を求める際に用いられる参照画素の数に反比例する正規化係数と、前記参照画素ごとの重み係数の積で与えられ、
前記第２の色成分値を求める際に用いられる加算係数は、前記第２の色成分値を求める際に用いられる参照画素の数に反比例する正規化係数と、前記参照画素ごとの重み係数の積で与えられ、
前記第３の色成分値を求める際に用いられる加算係数は、前記第３の色成分値を求める際に用いられる参照画素の数に反比例する正規化係数と、前記参照画素ごとの重み係数の積で与えられる
ことを特徴とする請求項１に記載の撮像装置。
【請求項６】
各参照画素に対する重み係数は、当該画素の注目画素からの距離と、増感倍率に依存し、
前記増感倍率が比較的小さいときは、前記重み係数は前記距離が大きいほど小さく、
前記増感倍率が大きくなるほど、前記重み係数の前記距離に対する依存性が小さくなる
ことを特徴とする請求項５に記載の撮像装置。
【請求項７】
前記加算係数生成部は、被写体の照度が低いほど、前記増感倍率を大きくすることを特徴とする請求項６に記載の撮像装置。
【請求項８】
被写体の照度を表す照度情報を生成する照度情報生成部を備え、
前記加算係数生成部は、前記照度情報に基づいて前記増感倍率を決定することを特徴とする請求項７に記載の撮像装置。
【請求項９】
前記照度情報生成部が、被写体からの光に基づいて上記照度を測定して、照度情報を生成する測光部を有する
ことを特徴とする請求項８に記載の撮像装置。
【請求項１０】
前記照度情報生成部は、前記第１、第２及び第３の色成分生成部で生成された前記第１、第２及び第３の色成分値の信号振幅並びに露光制御パラメータに基いて前記照度情報を生成することを特徴とする請求項８に記載の撮像装置。
【請求項１１】
前記第１の色成分生成部は、
注目画素が前記第１種の画素である場合、注目画素、注目画素の２ライン前に位置する参照画素、注目画素の２画素前に位置する参照画素、注目画素の２画素後に位置する参照画素、及び注目画素の２ライン後に位置する参照画素の画素値を加重加算した結果を注目画素の第１の色成分値として出力し、
注目画素が前記第２種の画素である場合、注目画素の１ライン前に位置する参照画素、注目画素の１ライン前の２画素前に位置する参照画素、注目画素の１ライン前の２画素後に位置する参照画素、注目画素の１ライン後に位置する参照画素、注目画素の１ライン後の２画素前に位置する参照画素、及び注目画素の１ライン後の２画素後に位置する参照画素の画素値を加重加算した結果を注目画素の第１の色成分値として出力し、
注目画素が前記第３種の画素である場合、注目画素の１ライン前の１画素前に位置する参照画素、注目画素の１ライン前の１画素後に位置する参照画素、注目画素の１ライン後の１画素前に位置する参照画素、及び注目画素の１ライン後の１画素後に位置する参照画素の画素値を加重加算した結果を注目画素の第１の色成分値として出力し、
注目画素が前記第４種の画素である場合、注目画素の２ライン前の１画素前に位置する参照画素、注目画素の２ライン前の１画素後に位置する参照画素、注目画素の１画素前に位置する参照画素、注目画素の１画素後に位置する参照画素、注目画素の２ライン後の１画素前に位置する参照画素、及び注目画素の２ライン後の１画素後に位置する参照画素の画素値を加重加算した結果を注目画素の第１の色成分値として出力する
ことを特徴とする請求項１乃至１０のいずれかに記載の撮像装置。
【請求項１２】
前記第２の色成分生成部は、
注目画素が前記第１種又は第３種の画素である場合、注目画素の１ライン前に位置する参照画素、注目画素の１画素前に位置する参照画素、注目画素の１画素後に位置する参照画素、及び注目画素の１ライン後に位置する参照画素の画素値を加重加算した結果を注目画素の第２の色成分値として出力し、
注目画素が前記第２種又は第４種の画素である場合、注目画素、注目画素の１ライン前の１画素前に位置する参照画素、注目画素の１ライン前の１画素後に位置する参照画素、注目画素の１ライン後の１画素前に位置する参照画素、及び注目画素の１ライン後の１画素後に位置する参照画素の画素値を加重加算した結果を注目画素の第２の色成分値として出力する
ことを特徴とする請求項１乃至１１のいずれかに記載の撮像装置。
【請求項１３】
前記第３の色成分生成部は、
注目画素が前記第１種の画素である場合、注目画素の１ライン前の１画素前に位置する参照画素、注目画素の１ライン前の１画素後に位置する参照画素、注目画素の１ライン後の１画素前に位置する参照画素、及び注目画素の１ライン後の１画素後に位置する参照画素の画素値を加重加算した結果を注目画素の第３の色成分値として出力し、
注目画素が前記第２種の画素である場合、注目画素の２ライン前の１画素前に位置する参照画素、注目画素の２ライン前の１画素後に位置する参照画素、注目画素の１画素前に位置する参照画素、注目画素の１画素後に位置する参照画素、注目画素の２ライン後の１画素前に位置する参照画素、及び注目画素の２ライン後の１画素後に位置する参照画素の画素値を加重加算した結果を注目画素の第３の色成分値として出力し、
注目画素が前記第３種の画素である場合、注目画素、注目画素の２ライン前に位置する参照画素、注目画素の２画素前に位置する参照画素、注目画素の２画素後に位置する参照画素、及び注目画素の２ライン後に位置する参照画素の画素値を加重加算した結果を注目画素の第３の色成分値として出力し、
注目画素が前記第４種の画素である場合、注目画素の１ライン前に位置する参照画素、注目画素の１ライン前の２画素前に位置する参照画素、注目画素の１ライン前の２画素後に位置する参照画素、注目画素の１ライン後に位置する参照画素、注目画素の１ライン後の２画素前に位置する参照画素、及び注目画素の１ライン後の２画素後に位置する参照画素の画素値を加重加算した結果を注目画素の第３の色成分値として出力する
ことを特徴とする請求項１乃至１２のいずれかに記載の撮像装置。
【請求項１４】
前記加算係数生成部は、前記第１の色成分生成部で用いられる加算係数を定めるに当たり、
被写体照度が所定の高照度側基準値以上の高照度範囲内にあり、注目画素が前記第１種の画素である場合、注目画素以外の参照画素についての加算係数をゼロとし、
前記被写体照度が所定の高照度側基準値以上の高照度範囲内にあり、注目画素が前記第２種、第３種、又は第４種の画素である場合、注目画素を中心とした水平３画素、垂直３画素の領域内に含まれない参照画素についての加算係数をゼロとし、
前記被写体照度が所定の低照度側基準値以下の低照度範囲内にある場合、参照画素のすべてについての加算係数を互いに等しい、ゼロ以外の値とし、
前記被写体照度が前記低照度側基準値と前記高照度側基準値の間の中照度範囲内にある場合、前記被写体照度の増加とともに、前記低照度範囲で用いられる値から、前記高照度範囲で用いられる値へ前記加算係数を連続的に変化させる
ことを特徴とする請求項１１に記載の撮像装置。
【請求項１５】
前記加算係数生成部は、前記第２の色成分生成部で用いられる加算係数を定めるに当たり、
被写体照度が所定の高照度側基準値以上の高照度範囲の場合にあり、注目画素が前記第２種又は第４種の画素である場合、注目画素以外の参照画素についての加算係数をゼロとし、
前記被写体照度が所定の低照度側基準値以下の低照度範囲内にあり、注目画素が前記第２種又は第４種の画素である場合、すべての参照画素についての加算係数を互いに等しい値とし、
前記被写体照度が所定の高照度側基準値以上の高照度範囲内にあり、注目画素が前記第１種又は第３種の画素である場合、すべての参照画素についての加算係数を互いに等しい第１の値とし、
前記被写体照度が所定の低照度側基準値以下の低照度範囲内にあり、注目画素が前記第１種又は第３種の画素である場合、すべての参照画素についての加算係数を互いに等しい、前記第１の値よりも大きい第２の値とし、
前記被写体照度が前記低照度側基準値と前記高照度側基準値の間の中照度範囲内にある場合、前記被写体照度の増加とともに、前記低照度範囲で用いられる値から、前記高照度範囲で用いられる値へ前記加算係数を連続的に変化させる
ことを特徴とする請求項１２に記載の撮像装置。
【請求項１６】
前記加算係数生成部は、前記第３の色成分生成部で用いられる加算係数を定めるに当たり、
被写体照度が所定の高照度側基準値以上の高照度範囲内にあり、注目画素が前記第３種の画素である場合、注目画素以外の参照画素についての加算係数をゼロとし、
前記被写体照度が所定の高照度側基準値以上の高照度範囲内にあり、注目画素が前記第１種、２種、又は第４種の画素である場合、注目画素を中心とした水平３画素、垂直３画素の領域内に含まれない参照画素についての加算係数をゼロとし、
前記被写体照度が所定の低照度側基準値以下の低照度範囲内にある場合、参照画素のすべてについての加算係数を互いに等しいゼロ以外の値とし、
前記被写体照度が前記低照度側基準値と前記高照度側基準値の間の中照度範囲内にある場合、前記被写体照度の増加とともに、前記低照度範囲で用いられる値から、前記高照度範囲で用いられる値へ前記加算係数を連続的に変化させる
することを特徴とする請求項１３に記載の撮像装置。
【請求項１７】
前記所定の正規化係数は、前記参照画素の数をＮｐとするとき、４／Ｎｐで与えられることを特徴とする請求項５又は６に記載の撮像装置。
【請求項１８】
前記撮像部のレンズ絞り及び露光時間を制御する制御回路と、前記撮像部から出力された撮像信号を増幅する信号増幅部とをさらに備え、
前記高照度側基準値は、レンズ絞りを開放とし、前記露光時間を標準露光時間とし、前記信号増幅部の増幅利得を、前記画素加算回路に含まれるノイズのレベルが所定値を超えないとの制約条件を満たす最大利得値とし、前記第１乃至第３の色成分生成部の増感倍率を１とした時に、前記第１乃至第３の色成分生成部の出力が所定のレベルとなる照度であることを特徴とする請求項１４、１５又は１６に記載の撮像装置。
【請求項１９】
前記低照度側基準値は、前記高照度側基準値の１／４倍であることを特徴とする請求項１４、１５又は１６に記載の撮像装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【公開番号】特開２０１２−１９５６７５（Ｐ２０１２−１９５６７５Ａ）
【公開日】平成２４年１０月１１日（２０１２．１０．１１）
【国際特許分類】
【出願番号】特願２０１１−５６５７２（Ｐ２０１１−５６５７２）
【出願日】平成２３年３月１５日（２０１１．３．１５）
【出願人】（０００００６０１３）三菱電機株式会社 (33,312)
【Ｆターム（参考）】
【公開日】平成２４年１０月１１日（２０１２．１０．１１）
【国際特許分類】
【出願日】平成２３年３月１５日（２０１１．３．１５）
【出願人】（０００００６０１３）三菱電機株式会社 (33,312)
【Ｆターム（参考）】
[ Back to top ]