撮像装置
【課題】ベイヤ配列の撮像信号を、混色させること無く、解像度の低下を最小限に、撮像装置の感度を大きくする。
【解決手段】ノイズ低減回路（４０）でノイズ低減された撮像信号に基づいて、各注目画素について、各注目画素とその周囲の同じ色成分の光を検出する画素で形成される領域のうち、相関の高い領域を選択し（５０)、撮像部（２）から出力された各注目画素の撮像信号について、領域選択回路（５０)で選択された画素領域に含まれる画素の撮像信号を加算して加算画素信号として出力する(３０)。
【解決手段】ノイズ低減回路（４０）でノイズ低減された撮像信号に基づいて、各注目画素について、各注目画素とその周囲の同じ色成分の光を検出する画素で形成される領域のうち、相関の高い領域を選択し（５０)、撮像部（２）から出力された各注目画素の撮像信号について、領域選択回路（５０)で選択された画素領域に含まれる画素の撮像信号を加算して加算画素信号として出力する(３０)。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、低照度の撮像環境において、より高感度な撮像画像が得られる撮像装置に関する。
【背景技術】
【０００２】
従来の撮像装置として、Ｎ画素前までのデジタル信号を全て加算する機能を実行することにより、固体撮像素子の高感度化やＳ／Ｎ向上を図るように構成したものが知られている（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０００−１８４２７４号公報（第４頁、段落００１０）
【発明の概要】
【発明が解決しようとする課題】
【０００４】
従来の撮像装置は、連続する隣接画素からの撮像信号を加算しているため、カラー撮像素子を用いた場合には色が混ざりカラー信号を再生できないという問題があった。
【０００５】
この発明は、上述のような課題を解決するためになされたもので、カラー撮像素子から読み出した撮像信号を画素加算しても、色が混ざることなく、カラー信号を高感度化できる撮像装置を得ることを目的とする。
【課題を解決するための手段】
【０００６】
本発明の撮像装置は、
それぞれ異なる色成分の光を検出して対応する撮像信号を出力する複数種の画素を有する撮像部と、
前記撮像部から出力された撮像信号のノイズを低減するノイズ低減回路と、
前記ノイズ低減回路でノイズが低減された撮像信号に基づいて、各注目画素について、各注目画素とその周囲の同じ色成分の光を検出する画素で形成される領域のうち、相関の高い領域を選択する領域選択回路と、
前記撮像部から出力された各注目画素の撮像信号について、前記領域選択回路で選択された画素領域に含まれる画素の撮像信号を加算して加算結果を加算画素信号として出力する選択加算回路と
を備えることを特徴とする。
【発明の効果】
【０００７】
本発明によれば、カラー撮像素子から読み出した撮像信号でも感度を例えば４倍に向上させ、極めて暗い低照度環境においても被写体を視認できるという効果が得られる。
【図面の簡単な説明】
【０００８】
【図１】本発明の実施の形態１の撮像装置を示すブロック構成図である。
【図２】図１の画素加算回路の一例を示すブロック構成図である。
【図３】撮像素子から出力される注目画素を中心とした画素空間配置を示す図である。
【図４】図２のノイズ低減回路の一例を示すブロック構成図である。
【図５】図４の画素抽出部の一例を示すブロック構成図である。
【図６】図４の加重加算部の一例を示すブロック構成図である。
【図７】図３の画素空間配置で注目画素がＧ画素のときの色配列情報を示す図である。
【図８】図３の画素空間配置で注目画素がＧ画素のときのノイズ低減回路の演算対象画素を示す図である。
【図９】図３の画素空間配置で注目画素がＲ画素のときの色配列情報を示す図である。
【図１０】図３の画素空間配置で注目画素がＲ画素のときのノイズ低減回路の演算対象画素を示す図である。
【図１１】図３の画素空間配置で注目画素がＢ画素のときの色配列情報を示す図である。
【図１２】図３の画素空間配置で注目画素がＢ画素のときのノイズ低減回路の演算対象画素を示す図である。
【図１３】図２の領域選択回路の一例の一部を示すブロック構成図である。
【図１４】図１３の画素抽出部５０Ａの構成例を示すブロック構成図である。
【図１５】図１３の相関判定部５０Ｂの構成例及び画素指定回路５９０を示すブロック構成図である。
【図１６】（ａ）〜（ｄ）は、画素加算回路の注目画素がＧ画素の時の第１から第４の加算パターンを示す図である。
【図１７】（ａ）〜（ｄ）は、画素加算回路の注目画素がＧ画素の時の第５から第８の加算パターンを示す図である。
【図１８】（ａ）〜（ｄ）は、画素加算回路の注目画素がＧ画素の時の第９から第１２の加算パターンを示す図である。
【図１９】（ａ）〜（ｄ）は、画素加算回路の注目画素がＲ画素の時の第１から第４の加算パターンを示す図である。
【図２０】（ａ）〜（ｄ）は、画素加算回路の注目画素がＢ画素の時の第１から第４の加算パターンを示す図である。
【図２１】図２の選択加算回路の一例を示すブロック構成図である。
【図２２】本発明の実施の形態１の撮像装置の別の構成を示すブロック構成図である。
【図２３】本発明の実施の形態２の撮像装置を示すブロック構成図である。
【図２４】（ａ）〜（ｅ）は、被写体照度と、レンズの絞り、プログラマブル利得増幅回路の増幅利得、画素加算回路の増感倍率、撮像部の露光時間、及び画素加算回路の出力信号の振幅との関係を示す図である。
【図２５】本発明の実施の形態３の撮像装置を示すブロック構成図である。
【発明を実施するための形態】
【０００９】
以下、第１、第２及び第３の色成分の光がそれぞれ赤色、緑色、及び青色の光であり、これらの色成分の光を検出して、対応する信号を出力する画素がベイヤ配列された撮像部が用いられる場合について詳しく説明する。
【００１０】
実施の形態１．
図１は本発明の実施の形態１による撮像装置を示す。図１において、レンズ１は、被写体像をＣＣＤ撮像素子２の撮像面上に合焦させる。
【００１１】
ＣＣＤ撮像素子（ＣＣＤ）２は、後述の図８〜図１１に示すように、赤色の光（第１の色成分の光）を検出するＲ画素、緑色の光（第２の色成分の光）を検出するＧ画素、及び青色の光（第３の色成分の光）を検出するＢ画素がベイヤ配列されたものであり、これらにより、赤色の光、緑色の光、青色の光（第１の色成分の光、第２の色成分の光、第３の色成分の光）が検出され、即ち光電変換されて、光電変換により生成された電荷が素子内部を転送されて、電気信号（撮像信号）として出力される。
【００１２】
この撮像信号は、Ｒ画素からの画素信号であるＲ信号（第１の色成分値を表す信号）、Ｇ画素からの画素信号であるＧ信号（第２の色成分値を表す信号）、及びＢ画素からの画素信号であるＢ信号（第３の色成分値を表す信号）を含む。
【００１３】
Ｒ画素、Ｇ画素、Ｂ画素は、例えば、それぞれ赤色の光のみを透過させる色フィルタを備えた光電変換素子、緑色の光のみを透過させる色フィルタを備えた光電変換素子、青色の光のみを透過させる色フィルタを備えた光電変換素子で構成される。
【００１４】
ＣＣＤ撮像素子２から信号された撮像信号は、相関二重サンプリング処理回路（ＣＤＳ）３でノイズ等が除去される。
プログラマブル利得増幅回路（ＰＧＡ）４は、相関二重サンプリング処理回路３の出力信号を制御回路１２から出力された制御信号によって制御された利得で増幅して出力する。
Ａ／Ｄ変換回路（ＡＤＣ）５は、プログラマブル利得増幅回路４の出力信号を、デジタル信号に変換する。
【００１５】
画素加算回路６は、Ａ／Ｄ変換回路５から出力される撮像信号Ｐｃを受け、各画素位置を順次注目画素位置として選択し、該注目画素と、その周囲の画素のうち注目画素同じ色の画素（同じ色成分の光を検出する画素）の信号を選択的に加算する。このような処理が撮像画面内のすべての画素位置について行われる。
【００１６】
映像信号処理回路７は、画素加算回路６の出力信号に、色同時化処理、階調補正処理、ノイズ低減処理、輪郭補正処理、白バランス調整処理、信号振幅調整処理、及び色補正処理などを加えた映像信号を映像信号出力端子８から出力する。
【００１７】
同期信号発生回路１１は、垂直同期信号及び水平同期信号を生成して画素加算回路６、映像信号処理回路７及びタイミング発生回路１０に供給する。
【００１８】
タイミング発生回路１０は、ＣＣＤ撮像素子２の駆動タイミング信号ＤＲＴを発生して駆動回路９に供給する。駆動回路９は、タイミング発生回路１０から出力された駆動タイミング信号ＤＲＴに基づいてＣＣＤ撮像素子２の駆動信号ＤＲＳを生成する。ＣＣＤ撮像素子２は、駆動回路９から出力された駆動信号ＤＲＳに基づいて、光電変換及び電荷転送を行う。
【００１９】
制御回路１２は、レンズ１の絞りの制御、タイミング発生回路１０が発生するＣＣＤ撮像素子２の光電変換素子からの電荷読出しタイミング及び電荷強制排出タイミングの制御（従って、電荷蓄積時間、即ち露光時間の制御）、プログラマブル利得増幅回路４の増幅利得の制御、並びに画素加算回路６の画素加算処理の制御を行う。
【００２０】
画素加算回路６は、図２に示すように、ノイズ低減回路４０と、領域選択回路５０と、遅延回路１９と、選択加算回路３０とを有する。
【００２１】
上記のように、Ａ／Ｄ変換回路５からはベイヤ配列されたＲ画素、Ｇ画素、Ｂ画素からの撮像信号Ｐｃが出力され、画素加算回路６は、撮像画面内の各画素位置を順次注目画素として加算を行う。
【００２２】
撮像素子２の撮像画面上の画素は、図３に示すように水平方向（行方向）Ｈ及び垂直方向（列方向）Ｖに整列し、全体としてマトリクス状に配置されている。各画素の画面上の位置は水平座標ｈ、及び垂直座標ｖの組合せ（ｈ，ｖ）で表され、座標（ｈ，ｖ）の画素は符号Ｐｈｖで表される。水平方向に隣接する画素間ではｈの値が１だけ異なり、垂直方向に隣接する画素間ではｖの値が１だけ異なる。即ち隣接画素間の距離（画素ピッチ）は１で表される。
【００２３】
図３には、注目画素Ｐ３３を中心とした水平５画素、垂直５画素の５範囲（５×５画素の範囲）及びその周辺に位置する画素の配置が示されている。
【００２４】
Ａ／Ｄ変換回路５からの撮像信号Ｐｃは、入力端子１５に印加され、遅延回路１９とノイズ低減回路４０へ供給される。
【００２５】
ノイズ低減回路４０は、撮像部２から出力され、相関二重サンプリング処理回路３、プログラマブル利得増幅回路４、Ａ／Ｄ変換回路５を介して画素加算回路６に供給された撮像信号Ｐｃを受けて、例えば、注目画素と、その周囲の画素のうちの注目画素と同じ色成分の撮像信号を発生する画素からの撮像信号に対して二次元フィルタリング、例えば低域通過型フィルタリングを行うことにより、撮像信号のノイズを低減する。
【００２６】
領域選択回路５０は、ノイズ低減回路４０でノイズが低減された撮像信号Ｐｆに基づいて、各注目画素について、各注目画素とその周囲の同じ色成分の光を検出する画素で形成される領域のうち、相関の高い領域を選択し、選択した領域内の画素の画素位置を選択加算回路３０に通知する。
【００２７】
遅延回路１９は、撮像信号Ｐｃを所定時間遅延させ、遅延された撮像信号Ｐｄを出力する。
選択加算回路３０は、遅延された撮像信号Ｐｄを受け、各注目画素の撮像信号について、領域選択回路５０で選択された画素領域に含まれる画素の撮像信号を加算して加算結果を加算画素信号Ｐｅとして出力する。加算画素信号Ｐｅは、出力端子１６を介して映像信号処理回路７へ供給される。
【００２８】
領域選択回路５０からの、選択した領域内の画素の画素位置の選択加算回路３０への通知のタイミングに同期して、遅延回路１９の出力（遅延された撮像信号Ｐｄ）が選択加算回路３０に供給される必要がある。遅延回路１９はそのために設けられたものであり、その遅延時間は、ノイズ低減回路４０と領域選択回路５０での処理遅延時間に基づいて決められる。
【００２９】
ノイズ低減回路４０は、図４に示されるように、画素抽出部４０Ａと、加重加算部４０Ｂと、係数設定部４０Ｃとを有する。
【００３０】
画素抽出部４０Ａは、例えば、図５に示すように構成されている。図５で「１Ｌ−ＤＬ」は１ライン遅延回路を示し、「１Ｄ−ＤＬ」は１画素遅延回路を示す。画素抽出部４０Ａは、１ライン遅延回路４２２〜４２５と、１画素遅延回路４３２〜４３５、４３７〜４４０、４４２〜４４５、４４７〜４５０、４５２〜４５５とを図示のように接続して構成されており、注目画素とその周囲の画素の画素値を示す画素信号を同時に出力する。例えば、注目画素が図３のＰ３３であるとき、注目画素Ｐ３３とその周囲の画素Ｐ１１〜Ｐ５５の画素値を表す画素信号を同時に出力する。
【００３１】
Ａ／Ｄ変換回路５から出力された画素信号Ｐｃは、画素加算回路６の入力端子４０１に印加され、ノイズ低減回路４０の画素抽出部４０Ａへ供給される。
【００３２】
入力された画素信号Ｐｃは、画素信号Ｐ５５として、１ライン遅延回路４２２〜４２５で順次１ライン遅延されて、画素信号Ｐ５５に対して、それぞれ１、２、３、４ライン遅延した画素信号Ｐ５４、Ｐ５３、Ｐ５２、Ｐ５１が出力される。
画素信号Ｐ５５はまた、１画素遅延回路４３２〜４３５で順次１画素遅延されて、画素信号Ｐ５５に対してそれぞれ１、２、３、４画素遅延した画素信号Ｐ４５、Ｐ３５、Ｐ２５、Ｐ１５が出力される。
【００３３】
１ライン遅延回路４２２から出力された画素信号Ｐ５４は、１画素遅延回路４３７〜４４０で順次１画素遅延されて、画素信号Ｐ５４に対してそれぞれ１、２、３、４画素遅延した画素信号Ｐ４４、Ｐ３４、Ｐ２４、Ｐ１４が出力される。
１ライン遅延回路４２３から出力された画素信号Ｐ５３は、１画素遅延回路４４２〜４４５で順次１画素遅延されて、画素信号Ｐ５３に対してそれぞれ１、２、３、４画素遅延した画素信号Ｐ４３、Ｐ３３、Ｐ２３、Ｐ１３が出力される。
【００３４】
１ライン遅延回路４２４から出力された画素信号Ｐ５２は、１画素遅延回路４４７〜４５０で順次１画素遅延されて、画素信号Ｐ５２に対してそれぞれ１、２、３、４画素遅延した画素信号Ｐ４２、Ｐ３２、Ｐ２２、Ｐ１２が出力される。
１ライン遅延回路４２５から出力された画素信号Ｐ５１は、１画素遅延回路４５２〜４５５で順次１画素遅延されて、画素信号Ｐ５１に対してそれぞれ１、２、３、４画素遅延した画素信号Ｐ４１、Ｐ３１、Ｐ２１、Ｐ１１が出力される。
【００３５】
画素信号Ｐ５５〜Ｐ１１は、それぞれ図３の画素Ｐ５５〜Ｐ１１の画素値を表すものであり、画素信号Ｐ５５が入力されたタイミングで、画素抽出部４０Ａから同時に出力される。
画素信号Ｐ５５〜Ｐ１１は、それぞれ、乗算回路４６１〜４８５に供給される。
【００３６】
ノイズ低減回路４０の加重加算回路４０Ｂは、例えば、図６に示すように、乗算回路４６１〜４８５と加算回路４９０とを図示のように接続して構成されており、画素抽出部４０Ａで抽出された画素の画素値に対して、係数を掛けて、加算することにより、二次元フィルタリング、例えば低域通過型フィルタリングを行う。
【００３７】
加重加算回路４０Ｂのフィルタ特性ＦＣＨは、制御回路１２により決定され、該フィルタ特性を表す係数が画素加算回路６の制御端子１７を経て、ノイズ低減回路４０の制御端子４１７に印加され、係数設定回路４０Ｃに設定され、加重加算回路４０Ｂは、係数設定回路４０Ｃに設定された係数を用いて加重加算を行う。
同期信号発生回路１１から出力された水平同期信号ＨＤと垂直同期信号ＶＤは、画素加算回路６の同期信号入力端子１８を経て、ノイズ低減回路４０の制御端子４１８に印加され、係数設定回路４０Ｃに供給される。
【００３８】
係数設定回路４０Ｃは水平同期信号ＨＤと垂直同期信号ＶＤに基づいて注目画素Ｐ３３の画素位置を判断して、注目画素の色フィルタ配列上の画素位置を特定する。
係数設定回路４０Ｃはまた、水平同期信号ＨＤと垂直同期信号ＶＤに基づいて注目画素が、Ｒ画素かＧ画素かＢ画素かをも特定する。
そして、特定した画素位置と前記フィルタ係数に基づいて、加重加算部４０Ｂの乗算回路４６１〜４８５各々へ独立に２５個のフィルタ係数Ｋ１１〜Ｋ５５を供給する。
【００３９】
乗算回路４６１〜４８５は、入力される画素値Ｐ１１〜Ｐ５５とフィルタ係数Ｋ１１〜Ｋ５５を乗算する。加算回路４９０は乗算回路４６１〜４８５の出力値を加算して、加算結果をノイズ低減された画素値Ｐｆとして出力端子４０２から出力する。
【００４０】
図７、図９及び図１１は、Ｒ画素、Ｇ画素及びＢ画素の配列を示す。この配列においては、Ｒ画素、Ｇ画素、Ｂ画素が市松模様状に配列され、水平２画素、垂直２画素の４画素の配列を基本単位として繰り返している。この基本単位においては、２つのＧ画素が一方の対角線に並び、Ｒ画素とＢ画素が他方の対角線上に並んでいる。
【００４１】
図７は、図３の画素空間配置で注目画素の色フィルタがＧ画素の時の５×５画素の領域及びその周囲の画素の色フィルタ配置を示す。
Ｒ１２、Ｒ３２、Ｒ５２、Ｒ１４、Ｒ３４、Ｒ５４はＲ画素を示す。Ｇ１１、Ｇ３１、Ｇ５１、Ｇ２２、Ｇ４２、Ｇ１３、Ｇ３３、Ｇ５３、Ｇ２４、Ｇ４４、Ｇ１５、Ｇ３５、Ｇ５５はＧ画素を示す。Ｂ２１、Ｂ４１、Ｂ２３、Ｂ４３、Ｂ２５、Ｂ４５はＢ画素を示す。
【００４２】
例えば、Ｒ３２、Ｇ３３、Ｂ４３、Ｇ４２の水平２画素、垂直２画素の４画素の配列を基本単位として繰り返す配列で、色フィルタ配列は構成されている。
【００４３】
図７は、Ｇ３３の同じライン上の隣接画素（１画素前及び１画素後の画素）がＢ画素の場合を例に説明したが、Ｇ２２のように同じライン上の隣接画素がＲ画素である配列パターンも存在する。その場合は、Ｒ画素とＢ画素が入れ替わった色配置となるが、注目画素がＧ画素の時の加算対象画素はＧ画素のみなので、一方の色配置についての説明は他方にも若干の修正のみで当てはまる。
【００４４】
図８は、画素加算回路６のノイズ低減回路４０で注目画素がＧ画素の時の、演算対象画素の配列を示す。このとき、ノイズ低減回路４０の出力は次式で求める。
Ｇ＝Ｋ２２×Ｇ２２＋Ｋ４２×Ｇ４２
＋Ｋ３３×Ｇ３３
＋Ｋ２４×Ｇ２４＋Ｋ４４×Ｇ４４
係数設定回路４０Ｃは、フィルタ係数Ｋ１１〜５５のうち、上式で使わない係数を「０」に設定する。
【００４５】
係数設定回路４０Ｃは、制御回路１２からの設定に基づいて、よりノイズが低減されるフィルタ係数を設定する。例えば以下のフィルタ係数を設定する。
Ｋ２２＝１／８
Ｋ２４＝１／８
Ｋ３３＝４／８
Ｋ４２＝１／８
Ｋ４４＝１／８
上記フィルタ係数は、低照度時で信号振幅が小さい場合は、例えば各々８倍の係数とし、これにより、微弱な信号成分が少しでも失われることを防ぐため、各係数が１以上となるようにする。
【００４６】
あるいは、係数設定回路４０Ｃは、制御回路１２からの設定に基づいて、例えば以下のフィルタ係数を設定する。
Ｋ２２＝１／５
Ｋ２４＝１／５
Ｋ３３＝１／５
Ｋ４２＝１／５
Ｋ４４＝１／５
上記フィルタ係数は、低照度時で信号振幅が小さい場合は、例えば各々５倍の係数とし、これにより、微弱な信号成分が少しでも失われることを防ぐため、各係数を１以上となるようにする。
【００４７】
上記の例では、ノイズ低減回路４０は、周辺の５画素を対象としたノイズ低減フィルタとしたが、さらにノイズが多い低照度時の撮像信号の場合は、周辺の９画素を対象としたノイズ低減フィルタとするように構成したほうが良い。このとき、ノイズ低減回路４０の出力は次式で求める。
Ｇ＝Ｋ３１×Ｇ３１
＋Ｋ２２×Ｇ２２＋Ｋ４２×Ｇ４２
＋Ｋ１３×Ｇ１３＋Ｋ３３×Ｇ３３＋Ｋ５３×Ｇ５３
＋Ｋ２４×Ｇ２４＋Ｋ４４×Ｇ４４
＋Ｋ３５×Ｇ３５
【００４８】
図９は、図３の画素空間配置で注目画素の色フィルタがＲ画素の時の５×５画素の領域及びその周囲の画素の色フィルタ配置を示す。
Ｒ１１、Ｒ３１、Ｒ５１、Ｒ１３、Ｒ３３、Ｒ５３、Ｒ１５、Ｒ３５、Ｒ５５はＲ画素を示す。Ｇ２１、Ｇ４１、Ｇ１２、Ｇ３２、Ｇ５２、Ｇ２３、Ｇ４３、Ｇ１４、Ｇ３４、Ｇ５４、Ｇ２５、Ｇ４５はＧ画素を示す。Ｂ２２、Ｂ４２、Ｂ２４、Ｂ４４はＢ画素を示す。
【００４９】
例えば、Ｒ３３、Ｇ３４、Ｂ４４、Ｇ４３の水平２画素、垂直２画素の４画素の配列を基本単位として繰り返す配列で、色フィルタ配列は構成されている。
【００５０】
図１０は、画素加算回路６のノイズ低減回路４０で注目画素がＲ画素の時の、演算対象画素の配列を示す。このとき、ノイズ低減回路４０の出力は次式で求める。
Ｒ＝Ｋ３１×Ｒ３１
＋Ｋ１３×Ｒ１３＋Ｋ３３×Ｒ３３＋Ｋ５３×Ｒ５３
＋Ｋ３５×Ｒ３５
係数設定回路４０Ｃは、フィルタ係数Ｋ１１〜５５のうち、上式で使わない係数を「０」に設定する。
【００５１】
係数設定回路４０Ｃは、制御回路１２からの設定に基づいて、よりノイズが低減されるフィルタ係数を設定する。例えば以下のフィルタ係数を設定する。
Ｋ３１＝１／８
Ｋ１３＝１／８
Ｋ３３＝４／８
Ｋ５３＝１／８
Ｋ３５＝１／８
上記フィルタ係数は、低照度時で信号振幅が小さい場合は、例えば各々８倍の係数とし、これにより、微弱な信号成分が少しでも失われることを防ぐため、各係数が１以上となるようにする。
【００５２】
あるいは、係数設定回路４０Ｃは、制御回路１２からの設定に基づいて、例えば以下のフィルタ係数を設定する。
Ｋ３１＝１／５
Ｋ１３＝１／５
Ｋ３３＝１／５
Ｋ５３＝１／５
Ｋ３５＝１／５
上記フィルタ係数は、低照度時で信号振幅が小さい場合は、例えば各々５倍の係数とし、これにより、微弱な信号成分が少しでも失われることを防ぐため、１以上となるようにする。
【００５３】
上記の例では、ノイズ低減回路４０は、周辺の５画素を対象としたノイズ低減フィルタとしたが、さらにノイズが多い低照度時の撮像信号の場合は、周辺の９画素を対象としたノイズ低減フィルタとするように構成したほうが良い。このとき、ノイズ低減回路４０の出力は次式で求める。
Ｒ＝Ｋ１１×Ｒ１１＋Ｋ３１×Ｒ３１＋Ｋ５１×Ｒ５１
＋Ｋ１３×Ｒ１３＋Ｋ３３×Ｒ３３＋Ｋ５３×Ｒ５３
＋Ｋ１５×Ｒ１５＋Ｋ３５×Ｒ３５＋Ｋ５５×Ｒ５５
【００５４】
図１１は、図３の画素空間配置で注目画素の色フィルタがＢ画素の時の５×５画素の領域及びその周囲の画素の色フィルタ配置を示す。
Ｒ２２、Ｒ４２、Ｒ２４、Ｒ４４はＲ画素を示す。Ｇ２１、Ｇ４１、Ｇ１２、Ｇ３２、Ｇ５２、Ｇ２３、Ｇ４３、Ｇ１４、Ｇ３４、Ｇ５４、Ｇ２５、Ｇ４５はＧ画素を示す。Ｂ１１、Ｂ３１、Ｂ５１、Ｂ１３、Ｂ３３、Ｂ５３、Ｂ１５、Ｂ３５、Ｂ５５はＢ画素を示す。
【００５５】
例えば、Ｒ２２、Ｇ２３、Ｂ３３、Ｇ３２の水平２画素、垂直２画素の４画素の配列を基本単位として繰り返す配列で、色フィルタ配列は構成されている。
【００５６】
図１２は、画素加算回路６のノイズ低減回路４０で注目画素がＢ画素の時の、演算対象画素の配列を示す。このとき、ノイズ低減回路４０の出力は次式で求める。
Ｂ＝Ｋ３１×Ｂ３１
＋Ｋ１３×Ｂ１３＋Ｋ３３×Ｂ３３＋Ｋ５３×Ｂ５３
＋Ｋ３５×Ｂ３５
係数設定回路４０Ｃは、フィルタ係数Ｋ１１〜５５のうち、上式で使わない係数を「０」に設定する。
【００５７】
係数設定回路４０Ｃは、制御回路１２からの設定に基づいて、よりノイズが低減されるフィルタ係数を設定する。例えば以下のフィルタ係数を設定する。
Ｋ３１＝１／８
Ｋ１３＝１／８
Ｋ３３＝４／８
Ｋ５３＝１／８
Ｋ３５＝１／８
上記フィルタ係数は、低照度時で信号振幅が小さい場合は、例えば各々８倍の係数とし、これにより、微弱な信号成分が少しでも失われることを防ぐため、各係数が１以上となるようにする。
【００５８】
あるいは、係数設定回路４０Ｃは、制御回路１２からの設定に基づいて、例えば以下のフィルタ係数を設定する。
Ｋ３１＝１／５
Ｋ１３＝１／５
Ｋ３３＝１／５
Ｋ５３＝１／５
Ｋ３５＝１／５
上記フィルタ係数は、低照度時で信号振幅が小さい場合は、例えば各々５倍の係数とし、これにより、微弱な信号成分が少しでも失われることを防ぐため、１以上となるようにする。
【００５９】
上記の例では、ノイズ低減回路４０は、周辺の５画素を対象としたノイズ低減フィルタとしたが、さらにノイズが多い低照度時の撮像信号の場合は、周辺の９画素を対象としたノイズ低減フィルタとするように構成したほうが良い。このとき、ノイズ低減回路４０の出力は次式で求める。
Ｂ＝Ｋ１１×Ｂ１１＋Ｋ３１×Ｂ３１＋Ｋ５１×Ｂ５１
＋Ｋ１３×Ｂ１３＋Ｋ３３×Ｂ３３＋Ｋ５３×Ｂ５３
＋Ｋ１５×Ｂ１５＋Ｋ３５×Ｂ３５＋Ｋ５５×Ｂ５５
【００６０】
上記の例では、ノイズ低減回路４０は、例えばノイズが高域周波数に分布する仮定から、低域通過型フィルタの構成としたが、撮像信号に含まれるノイズの特性に応じたノイズ低減フィルタとしたほうが良い。
【００６１】
上記の例では、ノイズ低減回路４０を設け、ノイズによる誤判定を防ぎ、より相関の高い画素を特定できるように構成したので、画素加算画像の解像度が低下することなく高画質化できる。
【００６２】
次に、図１３〜図１５を参照して、領域選択回路５０の動作を説明する。
領域選択回路５０は、ノイズ低減回路４０でノイズが低減された撮像信号Ｒｆに基づいて、各注目画素について、各注目画素とその周囲の同じ色成分の光を検出する画素で形成される領域のうち、相関の高い領域を選択する。
【００６３】
領域選択回路５０は、より具体的には、ノイズ低減回路４０から出力された撮像信号を所定の時間だけ遅延させて注目画素及びその周囲に位置し、注目画素と同じ色成分の撮像信号を出力する画素（参照画素）の各画素値を同時に抽出し、各々、注目画素と、その周囲の参照画素のうちの注目画素に対して特定の相対位置にある複数の画素から成る組合せで構成される複数の画素領域の各々について最大画素値と最小画素値の差を変化幅として算出し、複数の上記画素領域の中から上記変化幅が最小の画素領域を判別して上記相関の高い画素領域として選択加算回路３０へ通知する。即ち、上記相関の高い画素領域を示す情報Ｓｐを選択加算回路３０へ供給する。
【００６４】
領域選択回路５０は、図１３に示すように、画素抽出部５０Ａと、相関判定部５０Ｂとを有する。
【００６５】
画素抽出部５０Ａは、ノイズ低減回路４０から出力された撮像信号を所定の時間だけ遅延させて、注目画素及びその周囲の画素の画素値を表す信号を同時に抽出する。
相関判定部５０Ｂは、画素抽出部５０Ａで抽出された画素のうちの、注目画素と、該注目画素と同じ色成分の光を検出する複数の画素とから成る組合せを複数個形成し、該複数個の組合せのうち、当該組合せを構成する画素の画素値の最大値と最小値の差が最小である組合せを前記相関の高い画素領域を構成するものと判定する。
【００６６】
画素抽出部５０Ａは、例えば図１４に示されるように構成されている。図１４で、「２Ｌ−ＤＬ」は２ライン遅延回路を示し、「１Ｌ−ＤＬ」は１ライン遅延回路を示し、「４Ｄ−ＤＬ」は４画素遅延回路を示し、「２Ｄ−ＤＬ」は２画素遅延回路を示し、「１Ｄ−ＤＬ」は１画素遅延回路を示す。
【００６７】
画素抽出部５０Ａは、２ライン遅延回路５１１、５１２と、１ライン遅延回路５２２〜５２５と、４画素遅延回路５３０、５３１と、２画素遅延回路５３２〜５３７と、１画素遅延回路５４２〜５４５、５４７〜５５０、５５２〜５５５、５５７〜５６０、５６２〜５６５とを図示のように接続して構成されており、注目画素とその周囲の画素の画素値を示す画素信号を同時に出力する。
【００６８】
例えば、注目画素が図３のＰ３３であるとき、注目画素Ｐ３３とその周囲の画素Ｐ１１〜Ｐ５５、ＰＬ３、Ｐ３Ｔ、Ｐ３Ｂ、ＰＲ１〜ＰＲ５の画素値を表す画素信号を同時に出力する。なお、図５の画素抽出部４０Ａの説明の際と同じ符号Ｐ１１〜Ｐ５５が用いられているが、図５では、画素信号Ｐｃを遅延したものであるのに対して、図１４では、画素信号Ｐｆを遅延したものである点で異なる。
【００６９】
ノイズ低減回路４０から出力された画素信号Ｐｆは、領域選択回路５０の入力端子５０１に印加される。
入力端子５０１に印加された画素信号Ｐｆは、画素信号ＰＲＢとして、２ライン遅延回路５１１、１ライン遅延回路５２２〜５２５、２ライン遅延回路５１２で順次遅延されて、画素信号ＰＲＢに対して、それぞれ２、３、４、５、６、８ライン遅延した画素信号ＰＲ５、ＰＲ４、ＰＲ３、ＰＲ２、ＰＲ１、ＰＲＴが出力される。
画素信号ＰＲＢはまた、４画素遅延回路５３０で遅延されて、画素信号Ｐ３Ｂとして出力される。
【００７０】
２ライン遅延回路５１１から出力された画素信号ＰＲ５は、２画素遅延回路５３２で２画素遅延され、さらに、１画素遅延回路５４２〜５４５で順次１画素遅延されて、画素信号ＰＲ５に対してそれぞれ２、３、４、５、６画素遅延した画素信号Ｐ５５、Ｐ４５、Ｐ３５、Ｐ２５、Ｐ１５が出力される。
１ライン遅延回路５２２から出力された画素信号ＰＲ４は、２画素遅延回路５３３で２画素遅延され、さらに、１画素遅延回路５４７〜５５０で順次１画素遅延されて、画素信号ＰＲ４に対してそれぞれ２、３、４、５、６画素遅延した画素信号Ｐ５４、Ｐ４４、Ｐ３４、Ｐ２４、Ｐ１４が出力される。
１ライン遅延回路５２３から出力された画素信号ＰＲ３は、２画素遅延回路５３４で２画素遅延され、さらに、１画素遅延回路５５２〜５５５で順次１画素遅延され、さらに、２画素遅延回路５３５で２画素遅延されて、画素信号ＰＲ３に対してそれぞれ２、３、４、５、６、８画素遅延した画素信号Ｐ５３、Ｐ４３、Ｐ３３、Ｐ２３、Ｐ１３、ＰＬ３が出力される。
【００７１】
１ライン遅延回路５２４から出力された画素信号ＰＲ２は、２画素遅延回路５３６で２画素遅延され、さらに、１画素遅延回路５５７〜５６０で順次１画素遅延されて、画素信号ＰＲ２に対してそれぞれ２、３、４、５、６画素遅延した画素信号Ｐ５２、Ｐ４２、Ｐ３２、Ｐ２２、Ｐ１２が出力される。
１ライン遅延回路５２５から出力された画素信号ＰＲ１は、２画素遅延回路５３７で２画素遅延され、さらに、１画素遅延回路５６２〜５６５で順次１画素遅延されて、画素信号ＰＲ１に対してそれぞれ２、３、４、５、６画素遅延した画素信号Ｐ５１、Ｐ４１、Ｐ３１、Ｐ２１、Ｐ１１が出力される。
２ライン遅延回路５１２から出力された画素信号ＰＲＴは、４画素遅延回路５３１で遅延されて画素信号Ｐ３Ｔとして出力される。
【００７２】
画素信号Ｐ５５〜Ｐ１１、Ｐ３Ｂ、ＰＲ３、ＰＬ３、Ｐ３Ｔは、それぞれ図３の画素Ｐ５５〜Ｐ１１、Ｐ３Ｂ、ＰＲ３、ＰＬ３、Ｐ３Ｔの画素値を表すものであり、画素信号ＰＲＢが入力されたタイミングで、画素抽出部５０Ａから同時に出力される。
画素信号Ｐ５５〜Ｐ１１、Ｐ３Ｂ、ＰＲ３、ＰＬ３、Ｐ３Ｔは、相関判定部５０Ｂ内の画素選択回路５７０に供給される。
【００７３】
相関判定部５０Ｂは、例えば図１５に示されるように、画素選択回路５７０と、変化幅算出回路５７１〜５８２と、最小値算出回路５８５と、画素指定回路５９０とを有する。
【００７４】
図１５において、同期信号発生回路１１から出力された水平同期信号ＨＤと垂直同期信号ＶＤは、画素加算回路６の同期信号入力端子１８を経て、領域選択回路５０の同期信号入力端子５１８に印加され、画素選択回路５７０、最小値算出回路５８５及び画素指定回路５９０に供給される。
【００７５】
画素選択回路５７０は水平同期信号ＨＤと垂直同期信号ＶＤに基づいて注目画素Ｐ３３の画素位置を判断して、注目画素の色フィルタ配列上の画素位置を特定する。画素選択回路５７０は、注目画素が、Ｒ画素かＧ画素かＢ画素かをも特定する。
そして、画素抽出部５０Ｂから供給された画素信号Ｐ５５〜Ｐ１１、Ｐ３Ｂ、ＰＲ３、ＰＬ３、Ｐ３Ｔを受け、注目画素と、その周囲の参照画素のうちの注目画素に対して特定の相対位置にある複数の画素の画素値の組合せを生成する。各注目画素についてそのような組合せは複数個生成される。
【００７６】
選択加算回路３０における画素加算に使う画素に、注目画素と相関の高い画素を正しく選択できれば、画素加算後の画像の解像度劣化を小さくすることができる。そこで、注目画素と注目画素に対して特定の相対位置にある周辺画素との組合せを複数個形成し、各組合せについて相関の高さを求め、最も相関の高い組合せに属する画素を用いて画素加算を行う。
【００７７】
各組み合わせについて相関の高さを求めるために、各組み合わせに属する画素の画素値の最大値と最小値の差を変化幅として求め、変化幅が最小の組合せを、相関の最も高い組合せと判定する。相関の最も高い組合せに属する画素は画素加算に用いられるので、該組合せを加算パターンと呼ばれる。
【００７８】
図３の画素空間配置で注目画素の色フィルタがＧ画素の時の４画素加算の加算パターンを図１６（ａ）から図１８（ｄ）に示す。Ｇ画素の４画素加算の場合は、１２個の加算パターンから最も相関の高い最適な加算パターンを求める。
【００７９】
図１６（ａ）は、注目画素とその上側の周辺画素、即ち、注目画素Ｇ３３、注目画素の２ライン前の画素Ｇ３１、注目画素の１ライン前の１画素前の画素Ｇ２２、及び注目画素の１ライン前の１画素後の画素Ｇ４２の組合せで構成される上側ブロックパターンＧＰ１を示す。
【００８０】
図１６（ｂ）は、注目画素とその右側の周辺画素、即ち、注目画素Ｇ３３、注目画素の２画素後の画素Ｇ５３、注目画素の１ライン前の１画素後の画素Ｇ４２、及び注目画素の１ライン後の１画素後の画素Ｇ４４の組合せで構成される右側ブロックパターンＧＰ２を示す。
【００８１】
図１６（ｃ）は、注目画素とその左側の周辺画素、即ち、注目画素Ｇ３３、注目画素の２画素前の画素Ｇ１３、注目画素の１ライン前の１画素前の画素Ｇ２２、及び注目画素の１ライン後の１画素前の画素Ｇ２４の組合せで構成される右側ブロックパターンＧＰ２を示す。
【００８２】
図１６（ｄ）は、注目画素とその下側の周辺画素、即ち、注目画素Ｇ３３、注目画素の２ライン後の画素Ｇ３５、注目画素の１ライン後の１画素前の画素Ｇ２４、及び注目画素の１ライン後の１画素後の画素Ｇ４４の組合せで構成される上側ブロックパターンＧＰ４を示す。
【００８３】
図１７（ａ）は、注目画素とその上側の周辺画素、即ち、注目画素Ｇ３３、注目画素の４ライン前の画素Ｇ３Ｔ、注目画素の２ライン前の画素Ｇ３１、及び注目画素の２ライン後の画素Ｇ３５の組合せで構成される上側縦ラインパターンＧＰを示す。
【００８４】
図１７(ｂ)は、注目画素とその下側の周辺画素、即ち、注目画素Ｇ３３、注目画素の４ライン後の画素Ｇ３Ｂ、注目画素の２ライン後の画素Ｇ３５、及び注目画素の２ライン前の画素Ｇ３１の組合せで構成される下側縦ラインパターンＧＰ６を示す。
【００８５】
図１７（ｃ）は、注目画素とその左側の周辺画素、即ち、注目画素Ｇ３３、注目画素の４画素前の画素ＧＬ３、注目画素の２画素前の画素Ｇ１３、及び注目画素の２画素後の画素Ｇ５３の組合せで構成される左側横ラインパターンＧＰ７を示す。
【００８６】
図１７（ｄ）は、注目画素とその右側の周辺画素、即ち、注目画素Ｇ３３、注目画素の４画素後の画素ＧＲ３、注目画素の２画素後の画素Ｇ５３、及び注目画素の２画素前の画素Ｇ１３の組合せで構成される右側横ラインパターンＧＰ８を示す。
【００８７】
図１８（ａ）は、注目画素とその左上側の周辺画素、即ち、注目画素Ｇ３３、注目画素の２ライン前の２画素前の画素Ｇ１１、注目画素の１ライン前の１画素前の画素Ｇ２２、及び注目画素の１ライン後の１画素後の画素Ｇ４４の組合せで構成される左上側斜めラインパターンＧＰ９を示す。
【００８８】
図１８（ｂ）は、注目画素とその右下側の周辺画素、即ち、注目画素Ｇ３３、注目画素の２ライン後の２画素後の画素Ｇ５５、注目画素の１ライン後の１画素後の画素Ｇ４４、及び注目画素の１ライン前の１画素前の画素及びＧ２２の組合せで構成される右下側斜めラインパターンＧＰ１０を示す。
【００８９】
図１８（ｃ）は、注目画素とその右上側の周辺画素、即ち、注目画素Ｇ３３、注目画素の２ライン前の２画素後の画素Ｇ５１、注目画素の１ライン前の１画素後の画素Ｇ４２、及び注目画素の１ライン後の１画素前の画素Ｇ２４の組合せで構成される右上側斜めラインパターンＧＰ１１を示す。
【００９０】
図１８（ｄ）は、注目画素とその左下側の周辺画素、即ち、注目画素Ｇ３３、注目画素の２ライン後の２画素前の画素Ｇ１５、注目画素の１ライン後の１画素前の画素Ｇ２４、及び注目画素の１ライン前の１画素後の画素Ｇ４２の組合せで構成される左下側斜めラインパターンＧＰ１２を示す。
【００９１】
画素選択回路５７０は、上記のパターンＧＰ１〜ＧＰ１２を構成する画素の画素値を、それぞれ第１乃至第１２の加算パターンＡＰ１〜ＡＰ１２を構成する画素値として、それぞれ第１乃至第１２の変化幅算出回路５７１〜５８２へ供給する。
【００９２】
図３の画素空間配置で注目画素の色フィルタがＲ画素の時の４画素加算の加算パターンを図１９(ａ）〜（ｄ）に示す。Ｒ画素の４画素加算の場合は、４個の加算パターンから最も相関の高い最適な加算パターンを求める。
【００９３】
図１９（ａ）は、注目画素とその左上側の周辺画素、即ち、注目画素Ｒ３３、注目画素の２ライン前の画素Ｒ３１、注目画素の２ライン前の２画素前の画素Ｒ１１、及び注目画素の２画素前の画素Ｒ１３の組合せで構成される左上側ブロックパターンＲＰ１を示す。
【００９４】
図１９（ｂ）は、注目画素とその右上側の周辺画素、即ち、注目画素Ｒ３３、注目画素の２ライン前の画素Ｒ３１、注目画素の２ライン前の２画素後の画素Ｒ５１、及び注目画素の２画素後の画素Ｒ５３の組合せで構成される右上側ブロックパターンＲＰ２を示す。
【００９５】
図１９（ｃ）は、注目画素とその左下側の周辺画素、即ち、注目画素Ｒ３３、注目画素の２画素前の画素Ｒ１３、注目画素の２ライン後の画素Ｒ３５、及び注目画素の２ライン後の２画素前の画素Ｒ１５の組合せで構成される左下側ブロックパターンＲＰ３を示す。
【００９６】
図１９（ｄ）は、注目画素とその右下側の周辺画素、即ち、注目画素Ｒ３３、注目画素の２画素後の画素Ｒ５３、注目画素の２ライン後の画素Ｒ３５、及び注目画素の２ライン後の２画素後の画素Ｒ５５の組合せで構成される右下側ブロックパターンＲＰ４を示す。
【００９７】
画素選択回路５７０は、上記のパターンＰＲ１〜ＰＲ４をそれぞれ第１乃至第４の加算パターンＡＰ１〜ＡＰ４として、それぞれ第１乃至第４の変化幅算出回路５７１〜５７４へ供給する。
【００９８】
図３の画素空間配置で注目画素の色フィルタがＢ画素の時の４画素加算の加算パターンを図２０（ａ）〜（ｄ）に示す。Ｂ画素の４画素加算の場合は、４個の加算パターンから最も相関の高い最適な加算パターンを求める。Ｂ画素の４画素加算の場合の加算パターンを図２０に示す。
【００９９】
図２０（ａ）は、注目画素とその左上側の周辺画素、即ち、注目画素Ｂ３３、注目画素の２ライン前の画素Ｂ３１、注目画素の２ライン前の２画素前の画素Ｂ１１、及び注目画素の２画素前の画素Ｂ１３の組合せで構成される左上側ブロックパターンＢＰ１を示す。
【０１００】
図２０（ｂ）は、注目画素とその右上側の周辺画素、即ち、注目画素Ｂ３３、注目画素の２ライン前の画素Ｂ３１、注目画素の２ライン前の２画素後の画素Ｂ５１、及び注目画素の２画素後の画素Ｂ５３の組合せで構成される右上側ブロックパターンＢＰ２を示す。
【０１０１】
図２０（ｃ）は、注目画素とその左下側の周辺画素、即ち、注目画素Ｂ３３、注目画素の２画素前の画素Ｂ１３、注目画素の２ライン後の画素Ｂ３５、及び注目画素の２ライン後の２画素前の画素Ｂ１５の組合せで構成される左下側ブロックパターンＢＰ３を示す。
【０１０２】
図２０（ｄ）は、注目画素とその右下側の周辺画素、即ち、注目画素Ｂ３３、注目画素の２画素後の画素Ｂ５３、注目画素の２ライン後の画素Ｂ３５、及び注目画素の２ライン後の２画素後の画素Ｂ５５の組合せで構成される右下側ブロックパターンＢＰ４を示す。
【０１０３】
画素選択回路５７０は、上記のパターンＰＢ１〜ＰＢ４をそれぞれ第１乃至第４の加算パターンＡＰ１〜ＡＰ４として、それぞれ第１乃至第４の変化幅算出回路５７１〜５７４へ供給する。
【０１０４】
第１乃至第１２の変化幅算出回路５７１〜５８２は、各々、入力された第１乃至第１２の加算パターンＡＰ１〜ＡＰ１２を構成する画素値、即ち注目画素とその周囲の参照画素のうちの注目画素に対して特定の相対位置にある複数の画素の画素値の組合せで構成される複数の画素領域（加算パターン）の各々について最大画素値と最小画素値の差を変化幅として算出する。
【０１０５】
即ち、変化幅算出回路５７１〜５８２は、入力される４画素の画素値同士を比較して、最大画素値と最小画素値を求める。次に最大画素値と最小画素値の差分を求め当該加算パターン（画素領域）の変化幅として最小値算出回路５８５へ供給する。
【０１０６】
注目画素がＧ画素の場合、
変化幅算出回路５７１は、第１の加算パターンＡＰ１として入力された上側ブロックパターンＧＰ１の画素間の変化幅を算出し、第１の変化幅ＷＰ１として出力し、
変化幅算出回路５７２は、第２の加算パターンＡＰ２として入力された右側ブロックパターンＧＰ２の画素間の変化幅を算出し、第２の変化幅ＷＰ２として出力し、
変化幅算出回路５７３は、第３の加算パターンＡＰ３として入力された左側ブロックパターンＧＰ３の画素間の変化幅を算出し、第３の変化幅ＷＰ３として出力し、
変化幅算出回路５７４は、第４の加算パターンＡＰ４として入力された下側ブロックパターンＧＰ４の画素間の変化幅を算出し、第４の変化幅ＷＰ４として出力し、
変化幅算出回路５７５は、第５の加算パターンＡＰ５として入力された上側縦ラインパターンＧＰ５の画素間の変化幅を算出し、第５の変化幅ＷＰ５として出力し、
変化幅算出回路５７６は、第６の加算パターンＡＰ６として入力された下側縦ラインパターンＧＰ６の画素間の変化幅を算出し、第６の変化幅ＷＰ６として出力し、
変化幅算出回路５７７は、第７の加算パターンＡＰ７として入力された左側横ラインパターンＧＰ７の画素間の変化幅を算出し、第７の変化幅ＷＰ７として出力し、
変化幅算出回路５７８は、第８の加算パターンＡＰ８として入力された右側横ラインパターンＧＰ８の画素間の変化幅を算出し、第８の変化幅ＷＰ８として出力し、
変化幅算出回路５７９は、第９の加算パターンＡＰ９として入力された左上側斜めラインパターンＧＰ９の画素間の変化幅を算出し、第９の変化幅ＷＰ９として出力し、
変化幅算出回路５８０は、第１０の加算パターンＡＰ１０として入力された右下側斜めラインパターンＧＰ１０の画素間の変化幅を算出し、第１０の変化幅ＷＰ１０として出力し、
変化幅算出回路５８１は、第１１の加算パターンＡＰ１１として入力された右上側斜めラインパターンＧＰ１１の画素間の変化幅を算出し、第１１の変化幅ＷＰ１１として出力し、
変化幅算出回路５８２は、第１２の加算パターンＡＰ１２として入力された左下側斜めラインパターンＧＰ１２の画素間の変化幅を算出し、第１２の変化幅ＷＰ１２として出力する。
【０１０７】
注目画素がＲ画素或いはＢ画素の場合、
変化幅算出回路５７１は、第１の加算パターンＡＰ１として入力された左上側ブロックパターンＲＰ１或いはＢＰ１の画素間の変化幅を算出し、第１の変化幅ＷＰ１として出力し、
変化幅算出回路５７２は、第２の加算パターンＡＰ２として入力された右上側ブロックパターンＲＰ２或いはＢＰ２の画素間の変化幅を算出し、第２の変化幅ＷＰ２として出力し、
変化幅算出回路５７３は、第３の加算パターンＡＰ３として入力された左下側ブロックパターンＲＰ３或いはＢＰ３の画素間の変化幅を算出し、第３の変化幅ＷＰ３として出力し、
変化幅算出回路５７４は、第４の加算パターンＡＰ４として入力された右下側ブロックパターンＲＰ４或いはＢＰ４の画素間の変化幅を算出し、第４の変化幅ＷＰ４として出力する。
変化幅算出回路５７５〜５８２は変化幅算出の動作を行わない。
【０１０８】
最小値算出回路５８５の注目画素がＧ画素の場合の動作について説明する。
最小値算出回路５８５は、変化幅算出回路５７１〜５８２から出力される第１乃至第１２の変化幅ＷＰ１〜ＷＰ１２を受け、そのうちの最小のものを求め、変化幅が最小の加算パターンＡＰＭを画素指定回路５９０へ通知する。
画素指定回路５９０は、最小値算出回路５８５から通知された加算パターン（選択された加算パターン）ＡＰＭを構成する画素の画素位置（該画素を構成する画素領域）を示す情報Ｓｐを出力端子５０２を介して選択加算回路３０へ供給する。
【０１０９】
このような処理により、最小値算出回路５８５と画素指定回路５９０とで構成される相関領域検出部５９５は、変化幅算出回路５７１〜５８２から出力される第１乃至第１２の変化幅ＷＰ１〜ＷＰ１２を受け、変化幅が最小の加算パターンを構成する画素から成る画素領域を、相関の高い画素領域と判定し、該領域を識別する情報Ｓｐを選択加算回路３０へ供給する。
【０１１０】
上側ブロックパターンＧＰ１の構成画素が最小の変化幅の場合は、画素Ｇ３１、Ｇ２２、Ｇ４２、Ｇ３３の画素位置情報Ｓｐが選択加算回路３０へ供給される。
右側ブロックパターンＧＰ２の構成画素が最小の変化幅の場合は、画素Ｇ４２、Ｇ３３、Ｇ５３、Ｇ４４の画素位置情報Ｓｐが選択加算回路３０へ供給される。
左側ブロックパターンＧＰ３の構成画素が最小の変化幅の場合は、画素Ｇ２２、Ｇ１３、Ｇ３３、Ｇ２４の画素位置情報Ｓｐが選択加算回路３０へ供給される。
下側ブロックパターンＧＰ４の構成画素が最小の変化幅の場合は、画素Ｇ３３、Ｇ２４、Ｇ４４、Ｇ３５の画素位置情報Ｓｐが選択加算回路３０へ供給される。
【０１１１】
上側縦ラインパターンＧＰ５の構成画素が最小の変化幅の場合は、画素Ｇ３Ｔ、Ｇ３１、Ｇ３３、Ｇ３５の画素位置情報Ｓｐが選択加算回路３０へ供給される。
下側縦ラインパターンＧＰ６の構成画素が最小の変化幅の場合は、画素Ｇ３１、Ｇ３３、Ｇ３５、Ｇ３Ｂの画素位置情報Ｓｐが選択加算回路３０へ供給される。
左側横ラインパターンＧＰ７の構成画素が最小の変化幅の場合は、画素ＧＬ３、Ｇ１３、Ｇ３３、Ｇ５３の画素位置情報Ｓｐが選択加算回路３０へ供給される。
右側横ラインパターンＧＰ８の構成画素が最小の変化幅の場合は、画素Ｇ１３、Ｇ３３、Ｇ５３、ＧＲ３の画素位置情報Ｓｐが選択加算回路３０へ供給される。
【０１１２】
左上側斜めラインパターンＧＰ９の構成画素が最小の変化幅の場合は、画素Ｇ１１、Ｇ２２、Ｇ３３、Ｇ４４の画素位置情報Ｓｐが選択加算回路３０へ供給される。
右下側斜めラインパターンＧＰ１０の構成画素が最小の変化幅の場合は、画素Ｇ２２、Ｇ３３、Ｇ４４、Ｇ５５の画素位置情報Ｓｐが選択加算回路３０へ供給される。
右上側斜めラインパターンＧＰ１１の構成画素が最小の変化幅の場合は、画素Ｇ５１、Ｇ４２、Ｇ３３、Ｇ２４の画素位置情報Ｓｐが選択加算回路３０へ供給される。
左下側斜めラインパターンＧＰ１２の構成画素が最小の変化幅の場合は、画素Ｇ４２、Ｇ３３、Ｇ２４、Ｇ１５の画素位置情報Ｓｐが選択加算回路３０へ供給される。
【０１１３】
最小値算出回路５８５の注目画素がＲ画素の場合の動作について説明する。
最小値算出回路５８５は、変化幅算出回路５７１〜５７４から出力される第１乃至第４の変化幅ＷＰ１〜ＷＰ４を受け、そのうちの最小のものを求め、変化幅が最小の加算パターンＡＰＭを画素指定回路５９０へ通知する。
画素指定回路５９０は、最小値算出回路５８５から通知された加算パターン（選択された加算パターン）ＡＰＭを構成する画素の画素位置（該画素を構成する画素領域）を示す情報Ｓｐを出力端子５０２を介して選択加算回路３０へ供給する。
【０１１４】
このような処理により、相関領域検出部５９５は、変化幅算出回路５７１〜５７４から出力される第１乃至第４の変化幅ＷＰ１〜ＷＰ４を受け、変化幅が最小の加算パターンを構成する画素から成る画素領域を、相関の高い画素領域と判定し、該領域を識別する情報Ｓｐを選択加算回路３０へ供給する。
【０１１５】
左上側ブロックパターンＲＰ１の構成画素が最小の変化幅の場合は、画素Ｒ１１、Ｒ３１、Ｒ１３、Ｒ３３の画素位置情報Ｓｐが選択加算回路３０へ供給される。
右上側ブロックパターンＲＰ２の構成画素が最小の変化幅の場合は、画素Ｒ３１、Ｒ５１、Ｒ３３、Ｒ５３の画素位置情報Ｓｐが選択加算回路３０へ供給される。
左下側ブロックパターンＲＰ３の構成画素が最小の変化幅の場合は、画素Ｒ１３、Ｒ３３、Ｒ１５、Ｒ３５の画素位置情報Ｓｐが選択加算回路３０へ供給される。
右下側ブロックパターンＲＰ４の構成画素が最小の変化幅の場合は、画素Ｒ３３、Ｒ５３、Ｒ３５、Ｒ５５の画素位置情報Ｓｐが選択加算回路３０へ供給される。
【０１１６】
最小値算出回路５８５の注目画素がＢ画素の場合の動作について説明する。
最小値算出回路５８５は、変化幅算出回路５７１〜５７４から出力される第１乃至第４の変化幅ＷＰ１〜ＷＰ４を受け、そのうちの最小のものを求め、変化幅が最小の加算パターンＡＰＭを画素指定回路５９０へ通知する。
画素指定回路５９０は、最小値算出回路５８５から通知された加算パターン（選択された加算パターン）ＡＰＭを構成する画素の画素位置（該画素を構成する画素領域）を示す情報Ｓｐを出力端子５０２を介して選択加算回路３０へ供給する。
【０１１７】
このような処理により、相関領域検出部５９５は、変化幅算出回路５７１〜５７４から出力される第１乃至第４の変化幅ＷＰ１〜ＷＰ４を受け、変化幅が最小の加算パターンを構成する画素から成る画素領域を、相関の高い画素領域と判定し、該領域を識別する情報Ｓｐを選択加算回路３０へ供給する。
【０１１８】
左上側ブロックパターンＢＰ１の構成画素が最小の変化幅の場合は、画素Ｂ１１、Ｂ３１、Ｂ１３、Ｂ３３の画素位置情報Ｓｐが選択加算回路３０へ供給される。
右上側ブロックパターンＢＰ２の構成画素が最小の変化幅の場合は、画素Ｂ３１、Ｂ５１、Ｂ３３、Ｂ５３の画素位置情報Ｓｐが選択加算回路３０へ供給される。
左下側ブロックパターンＢＰ３の構成画素が最小の変化幅の場合は、画素Ｂ１３、Ｂ３３、Ｂ１５、Ｂ３５の画素位置情報Ｓｐが選択加算回路３０へ供給される。
右下側ブロックパターンＢＰ４の構成画素が最小の変化幅の場合は、画素Ｂ３３、Ｂ５３、Ｂ３５、Ｂ５５の画素位置情報Ｓｐが選択加算回路３０へ供給される。
【０１１９】
上記のようにＧ画素の場合は１２個の加算パターンから、Ｒ画素、Ｂ画素の場合は４個の加算パターンから、最も相関の高い最適な加算パターンを求めるように構成したので画素加算に使う画素に、注目画素と相関の高い画素を正しく選択することができ、画素加算後の画像の解像度劣化を小さくすることができる。
【０１２０】
次に、図２１を参照して、選択加算回路３０について説明する。
選択加算回路３０は、撮像部２から出力され、相関二重サンプリング処理回路３、プログラマブル利得増幅回路４、Ａ／Ｄ変換回路５を介し、さらに画素加算回路６内の遅延回路１９を介して供給される各注目画素の撮像信号Ｐｄを受け、そのうち、領域選択回路５０で選択された画素領域に含まれる画素の撮像信号を加算し、加算結果を加算画素信号Ｐｅとして出力する。
【０１２１】
選択加算回路３０は、例えば図２１に示すように構成されている。
図２１で、「２Ｌ−ＤＬ」は２ライン遅延回路を示し、「１Ｌ−ＤＬ」は１ライン遅延回路を示し、「４Ｄ−ＤＬ」は４画素遅延回路を示し、「２Ｄ−ＤＬ」は２画素遅延回路を示し、「１Ｄ−ＤＬ」は１画素遅延回路を示す。
【０１２２】
２ライン遅延回路３１１、３３１と、１ライン遅延回路３２２〜３２５と、４画素遅延回路３３０、３３１と、２画素遅延回路３３２〜３３７と、１画素遅延回路３４２〜３４５、３４７〜３５０、３５２〜３５５、３５７〜３６０、及び３６２〜３６５は図示のように接続さており、注目画素とその周囲の画素の画素値を示す画素信号を同時に出力する。
【０１２３】
例えば、注目画素が図３のＰ３３であるとき、注目画素Ｐ３３とその周囲の画素Ｐ１１〜Ｐ５５、ＰＬ３、Ｐ３Ｔ、Ｐ３Ｂ、ＰＲ１〜ＰＲ５の画素値を表す画素信号を同時に出力する。なお、図５の画素抽出部４０Ａの説明、図１４の画素抽出部５０Ａの説明の際と同じ符号Ｐ１１〜Ｐ５５、ＰＬ３、Ｐ３Ｔ、Ｐ３Ｂ、ＰＲＴ、ＰＲ１〜ＰＲ５、ＰＲＢが用いられているが、図５では、画素信号Ｐｃを遅延したものであり、図１４では、画素信号Ｐｆを遅延したものであるのに対し、図２１では、画素信号Ｐｄを遅延したものである点で異なる。
【０１２４】
遅延回路１９から出力された撮像信号Ｐｄは、選択加算回路３０の入力端子３０１に印加される。
入力された画素信号Ｐｄは、画素信号ＰＲＢとして、２ライン遅延回路３１１、１ライン遅延回路３２２〜３２５、２ライン遅延回路３１２で順次遅延されて、画素信号ＰＲＢに対して、それぞれ２、３、４、５、６、８ライン遅延した画素信号ＰＲ５、ＰＲ４、ＰＲ３、ＰＲ２、ＰＲ１、ＰＲＴが出力される。
画素信号ＰＲＢはまた、４画素遅延回路３３０で遅延されて、画素信号Ｐ３Ｂとして出力される。
【０１２５】
２ライン遅延回路３１１から出力された画素信号ＰＲ５は、２画素遅延回路３３２で２画素遅延され、さらに、１画素遅延回路３４２〜３４５で順次１画素遅延されて、画素信号ＰＲ５に対してそれぞれ２、３、４、５、６画素遅延した画素信号Ｐ５５、Ｐ４５、Ｐ３５、Ｐ２５、Ｐ１５が出力される。
１ライン遅延回路３２２から出力された画素信号ＰＲ４は、２画素遅延回路３３３で２画素遅延され、さらに、１画素遅延回路３４７〜３５０で順次１画素遅延されて、画素信号ＰＲ４に対してそれぞれ２、３、４、５、６画素遅延した画素信号Ｐ５４、Ｐ４４、Ｐ３４、Ｐ２４、Ｐ１４が出力される。
１ライン遅延回路３２３から出力された画素信号ＰＲ３は、２画素遅延回路３３４で２画素遅延され、さらに、１画素遅延回路３５２〜３５５で順次１画素遅延され、さらに、２画素遅延回路３３５で２画素遅延されて、画素信号ＰＲ３に対してそれぞれ２、３、４、５、６、８画素遅延した画素信号Ｐ４３、Ｐ３３、Ｐ２３、Ｐ１３、ＰＬ３が出力される。
【０１２６】
１ライン遅延回路３２４から出力された画素信号ＰＲ２は、２画素遅延回路３３６で２画素遅延され、さらに、１画素遅延回路３５７〜３６０で順次１画素遅延されて、画素信号ＰＲ２に対してそれぞれ２、３、４、５、６画素遅延した画素信号Ｐ５２、Ｐ４２、Ｐ３２、Ｐ２２、Ｐ１２が出力される。
１ライン遅延回路３２５から出力された画素信号ＰＲ１は、２画素遅延回路３３７で２画素遅延され、さらに、１画素遅延回路３６２〜３６５で順次１画素遅延されて、画素信号ＰＲ１に対してそれぞれ２、３、４、５、６画素遅延した画素信号Ｐ５１、Ｐ４１、Ｐ３１、Ｐ２１、Ｐ１１が出力される。
２ライン遅延回路３１２から出力された画素信号ＰＲＴは、４画素遅延回路３３１で遅延されて画素信号Ｐ３Ｔとして出力される。
【０１２７】
画素信号Ｐ５５〜Ｐ１１、Ｐ３Ｂ、ＰＲ３、ＰＬ３、Ｐ３Ｔは、それぞれ図３の画素Ｐ５５〜Ｐ１１、Ｐ３Ｂ、ＰＲ３、ＰＬ３、Ｐ３Ｔの画素値を表すものであり、画素信号ＰＲＢが入力されたタイミングで、同時に出力され、画素選択回路３７０に供給される。
【０１２８】
図２１において、同期信号発生回路１１から出力される水平同期信号ＨＤと垂直同期信号ＶＤは、画素加算回路６の同期信号入力端子１８を経て、選択加算回路３０の同期信号入力端子３１８へ印加され、画素選択回路３７０へ供給される。
領域選択回路５０の画素指定回路５９０から通知される加算パターンに属する画素の画素位置を示す情報Ｓｐは、選択加算回路３０の画素位置入力端子３１９を介して画素選択回路３７０へ供給される。
【０１２９】
画素選択回路３７０は水平同期信号ＨＤと垂直同期信号ＶＤに基づいて注目画素Ｐ３３の画素位置を判断して、注目画素の色フィルタ配列上の画素位置を特定する。
画素選択回路３７０は、注目画素が、Ｒ画素かＧ画素かＢ画素かをも特定する。そして画素指定回路５９０からの情報Ｓｐで示される加算パターン（注目画素との相関が最も高いものとして選択された加算パターン）を構成する画素の画素位置も特定する。
【０１３０】
画素選択回路３７０は、選択した加算パターンを構成する４個の画素の画素値Ｐｓ１〜Ｐｓ４を加算回路３９０へ供給する。制御回路１２から出力される１倍から４倍の増感倍率Ｌは、画素加算回路６の制御端子１７を経て、選択加算回路３０の制御端子３１７へ印加され、加算回路３９０へ供給される。
【０１３１】
加算回路３９０は、画素選択回路３７０から供給された４画素の画素値を加算して、加算結果を加算画素信号Ｐｅとして、出力端子３０２を介して映像信号処理回路７へ供給する。この加算に当たり、加算前の画素値に対して加算結果が所定の増感倍率Ｌを有するように、加算係数が掛けられる。即ち該加算係数を用いた加重加算が行われる。
例えば、４画素の画素値をＰｓ１、Ｐｓ２、Ｐｓ３、Ｐｓ４、増感倍率をＬとすると、
Ｐｅ＝（Ｐｓ１＋Ｐｓ２＋Ｐｓ３＋Ｐｓ４）×Ｌ／４
で表される演算により、加算画素値Ｐｅを求める。以下の説明で、Ｇ画素についての加算画素値はＧｅで、Ｒ画素についての加算画素値はＲｅで、Ｂ画素についての加算画素値はＢｅで示される。
【０１３２】
増感倍率Ｌは、例えば、被写体照度との関係で定められる。例えば、被写体照度が第１の所定の値（高照度側基準値）以上では、増感倍率Ｌは１と設定され、上記第１の所定の値よりも低い第２の所定の値（低照度側基準値）以下では、増感倍率を４とし、高照度側基準値よりも低く、低照度側基準よりも高い範囲（中照度範囲）では、照度の低下とともに、増感倍率を次第に大きくする。
加重加算に当たり、各画素の画素値に掛けられる加算係数は、増感倍率に依存する。
画素毎に異なる加算係数を用いることとしても良い。例えば、増感倍率が１のときは、注目画素に対する加算係数を１とし、他の画素に対する加算係数を０とし、増感倍率が最大値、例えば４のときは、すべての画素に対する加算係数を同じ値としても良い。
増感倍率が１と４の間では、増感倍率が１のときの値から、増感倍率が最大値のときの値へ、加算係数を連続的に変化させるようにしても良い。
【０１３３】
注目画素がＧ画素の時の動作を説明する。
第１の加算パターンＡＰ１としての上側ブロックパターンＧＰ１が選択された場合、加算回路３９０は、次式の演算を行う。
Ｇｅ＝（Ｇ３１＋Ｇ２２＋Ｇ４２＋Ｇ３３）×Ｌ／４
第２の加算パターンＡＰ２としての右側ブロックパターンＧＰ２が選択された場合、加算回路３９０は、次式の演算を行う。
Ｇｅ＝（Ｇ４２＋Ｇ３３＋Ｇ５３＋Ｇ４４）×Ｌ／４
第３の加算パターンＡＰ３としての左側ブロックパターンＧＰ３が選択された場合、加算回路３９０は、次式の演算を行う。
Ｇｅ＝（Ｇ２２＋Ｇ１３＋Ｇ３３＋Ｇ２４）×Ｌ／４
第４の加算パターンＡＰ４としての下側ブロックパターンＧＰ４が選択された場合、加算回路３９０は、次式の演算を行う。
Ｇｅ＝（Ｇ３３＋Ｇ２４＋Ｇ４４＋Ｇ３５）×Ｌ／４
【０１３４】
第５の加算パターンＡＰ５としての上側縦ラインパターンＧＰ５が選択された場合、加算回路３９０は、次式の演算を行う。
Ｇｅ＝（Ｇ３Ｔ＋Ｇ３１＋Ｇ３３＋Ｇ３５）×Ｌ／４
第６の加算パターンＡＰ６としての下側縦ラインパターンＧＰ６が選択された場合、加算回路３９０は、次式の演算を行う。
Ｇｅ＝（Ｇ３１＋Ｇ３３＋Ｇ３５＋Ｇ３Ｂ）×Ｌ／４
第７の加算パターンＡＰ７としての左側横ラインパターンＧＰ７が選択された場合、加算回路３９０は、次式の演算を行う。
Ｇｅ＝（ＧＬ３＋Ｇ１３＋Ｇ３３＋Ｇ５３）×Ｌ／４
第８の加算パターンＡＰ８としての右側横ラインパターンＧＰ８が選択された場合、加算回路３９０は、次式の演算を行う。
Ｇｅ＝（Ｇ１３＋Ｇ３３＋Ｇ５３＋ＧＲ３）×Ｌ／４
【０１３５】
第９の加算パターンＡＰ９としての左上側斜めラインパターンＧＰ９が選択された場合、加算回路３９０は、次式の演算を行う。
Ｇｅ＝（Ｇ１１＋Ｇ２２＋Ｇ３３＋Ｇ４４）×Ｌ／４
第１０の加算パターンＡＰ１０としての右下側斜めラインパターンＧＰ１０が選択された場合、加算回路３９０は、次式の演算を行う。
Ｇｅ＝（Ｇ２２＋Ｇ３３＋Ｇ４４＋Ｇ５５）×Ｌ／４
第１１の加算パターンＡＰ１１としての右上側斜めラインパターンＧＰ１１が選択された場合、加算回路３９０は、次式の演算を行う。
Ｇｅ＝（Ｇ５１＋Ｇ４２＋Ｇ３３＋Ｇ２４）×Ｌ／４
第１２の加算パターンＡＰ１２としての左下側斜めラインパターンＧＰ１２が選択された場合、加算回路３９０は、次式の演算を行う。
Ｇ＝（Ｇ４２＋Ｇ３３＋Ｇ２４＋Ｇ１５）×Ｌ／４
【０１３６】
注目画素がＲ画素の時の動作を説明する。
第１の加算パターンＡＰ１としての左上側ブロックパターンＲＰ１が選択された場合、加算回路３９０は、次式の演算を行う。
Ｒｅ＝（Ｒ１１＋Ｒ３１＋Ｒ１３＋Ｒ３３）×Ｌ／４
第２の加算パターンＡＰ２としての右上側ブロックパターンＲＰ２が選択された場合、加算回路３９０は、次式の演算を行う。
Ｒｅ＝（Ｒ３１＋Ｒ５１＋Ｒ３３＋Ｒ５３）×Ｌ／４
第３の加算パターンＡＰ３としての左下側ブロックパターンＲＰ３が選択された場合、加算回路３９０は、次式の演算を行う。
Ｒｅ＝（Ｒ１３＋Ｒ３３＋Ｒ１５＋Ｒ３５）×Ｌ／４
第４の加算パターンＡＰ４としての右下側ブロックパターンＲＰ４が選択された場合、加算回路３９０は、次式の演算を行う。
Ｒｅ＝（Ｒ３３＋Ｒ５３＋Ｒ３５＋Ｒ５５）×Ｌ／４
【０１３７】
注目画素がＢ画素の時の動作を説明する。
第１の加算パターンＡＰ１としての左上側ブロックパターンＢＰ１が選択された場合、加算回路３９０は、次式の演算を行う。
Ｂｅ＝（Ｂ１１＋Ｂ３１＋Ｂ１３＋Ｂ３３）×Ｌ／４
第２の加算パターンＡＰ２としての右上側ブロックパターンＢＰ２が選択された場合、加算回路３９０は、次式の演算を行う。
Ｂｅ＝（Ｂ３１＋Ｂ５１＋Ｂ３３＋Ｂ５３）×Ｌ／４
第３の加算パターンＡＰ３としての左下側ブロックパターンＢＰ３が選択された場合、加算回路３９０は、次式の演算を行う。
Ｂｅ＝（Ｂ１３＋Ｂ３３＋Ｂ１５＋Ｂ３５）×Ｌ／４
第４の加算パターンＡＰ４としての右下側ブロックパターンＢＰ４が選択された場合、加算回路３９０は、次式の演算を行う。
Ｂｅ＝（Ｂ３３＋Ｂ５３＋Ｂ３５＋Ｂ５５）×Ｌ／４
【０１３８】
上記の例では、Ｇ画素について、画素加算を、縦、横、斜めラインパターン、ブロックパターンなど、解像度の高い被写体を含む画像を想定した加算パターンを使うように構成したので、相関の高い画素同士が加算できる。解像度の高い被写体を含むシーンを画素加算した場合でも、高解像度部分がぼやけることを防ぐ効果がある。
【０１３９】
上記の例ではＲ画素とＢ画素については、ブロックパターンのみを用いているが、Ｒ画素とＢ画素の加算パターンとして、Ｇ画素同様に、縦、横、斜めラインパターンをも用い、これらについて相関を判定するように構成しても良い。
但し、Ｒ画素とＢ画素の場合は、Ｇ画素よりも加算対象の画素間の距離が長くなることから相関判定の誤判定の危険性が高まること、また回路規模が大きくなること、また人間の色の変化に対する感度が輝度よりも低いこと等を総合的に判断して加算パターンを決める。
【０１４０】
さらに、Ｇ画素についても、上記の１２の加算パターンのすべてを用いず、その一部のみを用いても良い。例えば、図１６（ａ）〜（ｄ）に示す４つのパターンのみを用いても良く、図１７（ａ）〜（ｄ）に示す４つのパターンのみを用いても良く、図１８（ａ）〜（ｄ）に示す４つのパターンのみを用いても良い。
【０１４１】
上記の例で説明したように、注目画素に最も近い相関の高い画素を使って画素加算を行うので画像解像度の劣化を最小限に抑えつつ感度向上を実現することができる。
【０１４２】
上記の例で説明したように、画素加算を撮像素子から出力された直後に(即ち映像信号処理回路７による処理の前に)行うことにより、映像信号処理の影響を受けずに、画素加算による高感度信号が生成できる。映像信号処理の後段で行う画素加算は、近傍に位置する画素を使った演算である色同時化処理や、フィルタ処理が施されているので、水平解像度や垂直解像度の低下が想定よりも大きい。また、小振幅信号のまま、映像信号処理を行うので階調落ちの可能性がある。画素加算を撮像素子から出力された直後に行うことにより、画像情報が損なわれる前に、画素加算して信号振幅を回復できるので、細部の画像情報が視認できる効果がある。
【０１４３】
また映像信号処理では非線形なフィルタ処理や階調変換処理が行われているので、低振幅信号を入力した場合、信号振幅が失われている場合がある。このため、映像信号処理の出力信号を２画素加算しても、２倍の画像信号にならない可能性がある。上記した例では映像信号処理前に画素加算するように構成したので、２画素加算したら、２倍の画像信号になる効果がある。
【０１４４】
上記の例では、４倍までの増感倍率Ｌを設定した場合について説明したが、４倍以上に設定しても良い。４倍以上の増感倍率Ｌの設定は、階調落ちに注意して使う必要がある。
【０１４５】
上記の例で説明したように、同じフィルタ色の画素を加算するので、混色することなく高感度なカラー画像が得られる。
【０１４６】
低照度時の撮像画像をアナログアンプで増幅すると信号よりもノイズが大きくなる。またデジタルアンプで増幅すると階調落ちが発生する。上記の例で説明したように本発明は、周辺画素の画素加算で高感度化をはかるので信号よりもノイズが小さくなる。例えば２画素加算すると信号成分は２倍になり、ノイズ成分は二乗根倍になり、相対的に純粋の信号成分が大きくなる。また、画像の性質として近傍に位置する画素同士は相関が高いことから、注目画素に最も近い位置の複数画素を加算することで実効性の高い感度向上を実現している。
【０１４７】
上記の例において、固体撮像素子の一構成例として図１のようにＣＣＤ撮像素子２を使った構成について説明したが、２次元イメージセンサであればＣＣＤ撮像素子に限らず、ＣＭＯＳ撮像素子でも、どのようなものでも良い。またインターライントランスファーＣＣＤに限らず、フレームトランスファーＣＣＤでもフレームインターライントランスファーＣＣＤであっても良い。
図２２に、ＣＭＯＳ撮像素子２０を使った構成を示す。ＣＭＯＳ撮像素子は、撮像機能単体のデバイスの場合もあるし、周辺機能を集積したデバイスの場合もある。
図２２は、周辺機能を集積したＣＭＯＳ撮像素子の場合について示す。
図１のＣＣＤ撮像素子２、相関二重サンプリング処理回路３、プログラマブル利得増幅回路４、Ａ／Ｄ変換回路５、タイミング発生回路１０の持つ機能は、ＣＭＯＳ撮像素子２０の中に含まれている。
【０１４８】
実施の形態２．
図２３は本発明の実施の形態２による撮像装置を示す。図２３において、検波回路１３が付加されていること、及び図１の制御回路１２の代わりに制御回路１２ｂが設けられている点を除き、実施の形態１の説明と同様であり、同様な効果を奏する。
【０１４９】
検波回路１３は、画素加算回路６から供給された信号の大きさを検波し、信号振幅のレベル、例えば平均レベルの検出値ＡＳＡを求め、照度情報として出力する。
【０１５０】
検波回路１３は、上記の検波において、信号振幅の平均レベルの算出値ＡＳＡを、全有効画素の画素値の総和を全有効画素数で除算して求める。
このような平均レベルの算出は、例えば垂直走査周期毎に行われ、例えば積分処理と割算処理とにより実行される。上記のようにして求められる信号振幅の平均レベルの「算出値」を、信号振幅の平均レベルの「検出値」と言うことがある。
【０１５１】
なお、上記の信号振幅の平均レベル算出における全有効画素数での除算は、画素数が２のｎ乗（ｎは整数）で与えられるときは、デジタル値のビットシフト処理で実現しても良い。また全有効画素数は、同じシステムでは定数であるので全有効画素数の除算を省略しても良い。
【０１５２】
制御回路１２ｂは、実施の形態１の制御回路１２と同様であるが、以下のように付加的な機能を有する。即ち、制御回路１２ｂは、検波回路１３から供給された信号振幅の平均レベルの検出値ＡＳＡに基づいて、レンズ１の絞りの制御、タイミング発生回路１０が発生するＣＣＤ撮像素子２の光電変換素子からの電荷読出しタイミング及び電荷強制排出タイミングの制御（従って、電荷蓄積時間、即ち露光時間の制御）、プログラマブル利得増幅回路４の増幅利得の制御、並びに画素加算回路６の画素加算処理の制御を行う。
さらに、映像信号処理回路７は、垂直走査周期毎に画素加算回路６の出力に含まれるノイズのレベルを算出し、制御回路１２ｂへ供給する。
【０１５３】
なお、上記の例では、上記の信号振幅の平均レベルの算出及びノイズレベルの算出を、垂直走査周期毎に行うものとして説明したが、検波回路１３及び映像信号処理回路７内部の信号処理時間並びに検波回路１３及び映像信号処理回路７から制御回路１２ｂへの伝送時間を考慮して、数回の垂直走査に１回だけ行うようにしても良い。
【０１５４】
上記の例では、検波回路１３は、信号振幅の平均レベルを算出したが、信号振幅のピーク検波とする場合もある。検波回路１３の出力は、着目する被写体の視認性が高くなるように生成する。例えば、ハイライト部分を白く飽和させたくない場合は、ピーク検波とし、ハイライト部分が白く飽和しても中間階調がはっきり見えれば良い場合は、平均値検波とする。
【０１５５】
以下で詳しく述べるように、画素加算回路６による感度制御も露光制御の一環として制御できるので照度環境が変化しても、常に最適な条件で被写体を視認できる画像が得られる効果がある。また、画素加算回路６は、加算係数を変えることで、信号振幅を調整する。
【０１５６】
制御回路１２ｂは、検波回路１３から得られる信号振幅の平均レベルの検出値ＡＳＡが一定となるように自動露光制御を行う。明るい環境での撮像で上記信号振幅が大きい時、制御回路１２ｂは、レンズ１の開口を絞るように制御してＣＣＤ撮像素子２への入射光量を減らしたり、タイミング発生回路１０による電荷強制排出タイミングの調整で、ＣＣＤ撮像素子２の光電変換素子に蓄積される電荷を強制排出するように制御して露光時間を減らしたりする。
【０１５７】
暗い環境での撮像で上記信号振幅が小さくなってきた時、制御回路１２ｂは、プログラマブル利得増幅回路４の増幅利得を増やすように制御して撮像信号を増幅する。しかしながら、上記増幅利得が大き過ぎるとノイズが目立つようになり視認性の悪い画像となる。他の方法として、制御回路１２ｂは、ＣＣＤ撮像素子２の光電変換素子からの電荷読出しを垂直走査周期単位で間引くように制御することにより露光時間を延ばすこともできる。しかしながら、露光時間が長すぎると動く被写体が残像となり視認性の悪い画像となる。さらに垂直走査周期単位で欠落する画像の補間（フレーム補間）を行なう回路が必要になる。
【０１５８】
実施の形態１と同様に、本実施の形態の制御回路１２ｂは、画素加算回路６への増感倍率Ｌを１倍から４倍に設定する。増感倍率Ｌの設定（調整）は、検波回路１３からの照度情報並びに露光パラメータに基づいて行われる。実施の形態１で述べたように、増感倍率Ｌの変更により加算係数ＫＲ、ＫＧ、ＫＢが調整される。従って、照度情報に基づいて加算係数が調整される。
また、注目画素と、注目画素の近傍領域内に位置し、注目画素に対して特定の位置にある画素から成る組合せを複数個形成して、形成した組合せの各々について変化幅を算出して、変化幅が最小の組合せに属する画素を加算する。
注目画素の近傍領域内に位置し、最も相関の高い４画素を加算することにより、４倍の感度向上を実現でき、極めて暗い環境での撮像でも大幅に視認性を改善することができる。また、フレーム周波数の低下を防止乃至抑制することができるので、動解像度の劣化はなく、水平解像度、垂直解像度の劣化は最小に抑えることができる。
【０１５９】
以下、被写体照度が変化したときの感度調整のための手順の一例を説明する。まず、露光時間は一定値（標準露光時間）Ｔｒに維持するものとして説明する。
被写体照度が徐々に暗くなり、信号振幅の平均レベルの検出値ＡＳＡが下がってくると、レンズ１の絞りを開放方向に制御して（図２４（ａ）の範囲Ｓａ）、信号振幅の平均レベルを維持する。ここで、「信号振幅の平均レベルを維持する」とは、画素加算回路６の出力の信号振幅の平均レベル、従って検波回路１３の出力で表される、信号振幅の平均レベルを維持することを意味する。
【０１６０】
レンズ１の絞りが開放（全開）になった後は、プログラマブル利得増幅回路４の増幅利得を増やすように制御して（図２４（ｂ）の範囲Ｓｂ）、信号振幅の平均レベルを維持する。プログラマブル利得増幅回路４の増幅利得が大きくなり、増幅利得の所定の上限値ＵＧＬよりも大きくなった後は、画素加算回路６の増感倍率Ｌを大きくなるように制御して（図２４（ｃ）の範囲Ｓｃ）、信号振幅の平均レベルを維持する。
【０１６１】
増感倍率Ｌの制御による平均レベルＡＳＡの維持は、増感倍率Ｌが最大値（Ｌ＝４）となるまで可能である。それよりもさらに被写体照度が低下すると、平均レベルＡＳＡは低下を開始する。
【０１６２】
標準露光時間Ｔｒにおいて、レンズ絞りを開放とし、増幅利得を最大とし、増感倍率Ｌが１であるときに画素加算回路６の出力が所定のレベルとなる照度ＨＬを高照度側基準値とし、高照度基準値ＨＬの１／４の照度、即ち、標準露光時間Ｔｒにおいて、レンズ絞りを開放とし、増幅利得を最大とし、増感倍率Ｌが４であるときに画素加算回路６の出力が所定のレベルとなる照度ＬＬを、低照度側基準値とする。
【０１６３】
被写体照度が徐々に明るくなって、低照度側基準値ＬＬ以上となり、信号振幅の平均レベルの検出値ＡＳＡが上がろうとすると、画素加算回路６の増感倍率Ｌを減らすように制御して（図２４（ｃ）の範囲Ｓｃ）、信号振幅の平均レベルを維持する。増感倍率Ｌが１倍まで小さくなると、次にプログラマブル利得増幅回路４の増幅利得を減らすように制御して、信号振幅の平均レベルを維持する。プログラマブル利得増幅回路４の増幅利得が減少し（図２４（ｂ）の範囲Ｓｂ）、所定の下限値ＬＧＬよりも小さくなった後は、レンズ１の絞りを遮光方向に制御して（図２４（ａ）の範囲Ｓａ）、信号振幅の平均レベルを維持する（図２４（ｅ））。さらに照度が高くなると、平均レベルＡＳＡは上昇する。
【０１６４】
以上の制御を行う結果、図２４（ｅ）に実線で示すように、下限ＬＬから上限ＵＬまでの範囲において、信号振幅の平均レベルＡＳＡを一定に保つことができる。
なお、露光時間を一定としたが、被写体の照度に応じて露光時間をも制御しても良い。例えば、照度が低下して、増感倍率Ｌが最大値になってもなおも、信号振幅が十分な値とならないときに、露光時間を長くすることとしても良い（図２４（ｄ）の範囲Ｓｄ）。逆に、照度が高くなり、絞りを最大に絞っても（Ｆ値を最も高くしても）、信号振幅が大きすぎる場合には、露光時間を短くしても良い（図２４（ｄ）の範囲Ｓｅ）。
このような露光時間の制御を加えると、図２４（ｅ）に点線で示すように、下限ＬＬｅから上限ＵＬｅまでの範囲において、信号振幅の平均レベルＡＳＡを一定に保つことができる。
【０１６５】
上記増幅利得の所定の上限値ＵＧＬは、映像信号処理回路７で検出されるノイズレベルの検出値ＡＮＬに基づいて決まる。（被写体照度が低下し、それに伴い撮像素子２の出力のＳ／Ｎが低下した場合に増幅利得を増加させる必要があることを考慮し、）ノイズレベルの検出値ＡＮＬが信号振幅の平均レベルの検出値ＡＳＡに対して所定のノイズ割合（第１の所定のノイズ割合、即ち許容上限値）ＮＰＲ１に達したときのプログラマブル利得増幅回路４の増幅利得を上記所定の上限値ＵＧＬとする。上記第１の所定のノイズ割合ＮＰＲ１は例えば１／５０と定められる。
【０１６６】
ノイズレベルの算出値ＡＮＬは、ノイズ低減処理によりノイズ成分を抽出し、全有効画素範囲のノイズ成分の絶対値の総和を全有効画素数で除算することで求まる。ノイズ低減処理により、入力信号のノイズを低減したノイズ低減信号ＮＲＳが得られる。上記入力信号（映像信号処理回路７内でノイズ低減処理を行う前の信号）から上記ノイズ低減信号ＮＲＳを減算することでノイズ成分を抽出できる。上記のようにして求められるノイズレベルの「算出値」を、「検出値」と言うことがある。
【０１６７】
用途によって被写体の視認にあたり許容できるノイズレベルは異なるため、上記第１の所定のノイズ割合ＮＰＲ１は、Ｓ／Ｎを重視するか、画像解像度を重視するか等、撮像装置の用途によって変わる。制御回路１２ｂは、プログラマブル利得増幅回路４に設定している利得、及び検波回路１３から制御回路１２ｂへ供給されるノイズレベルの検出値ＡＮＬを観測しながらダイナミックに上記増幅利得の所定の上限値ＵＧＬを決めてプログラマブル利得増幅回路４及び画素加算回路６を制御することとしても良く、撮像装置を工場から出荷する前にノイズレベルの検出値ＡＮＬが信号振幅の平均レベルの検出値ＡＳＡに対して第１の所定のノイズ割合ＮＰＲ１に達する増幅利得を測定し、上記所定の上限値ＵＧＬとして撮像装置の電源を切っても記憶内容を保持できる記憶部（不揮発性のメモリ、電池でバックアップされた揮発性のメモリなど）１６に書込み、制御回路１２ｂは上記増幅利得の所定の上限値ＵＧＬを参照してプログラマブル利得増幅回路４及び画素加算回路６を制御するようにしても良い。
【０１６８】
上記増幅利得の所定の下限値ＬＧＬは、映像信号処理回路７から制御回路１２ｂへ供給されるノイズレベルの検出値ＡＮＬに基づいて決まる。ノイズレベルの検出値ＡＮＬが信号振幅の平均レベルの検出値ＡＳＡに対して所定のノイズ割合（第２の所定のノイズ割合）ＮＰＲ２を下回ったときのプログラマブル利得増幅回路４の増幅利得を上記所定の下限値ＬＧＬとする。上記第２の所定のノイズ割合は、上記第１の所定のノイズ割合ＮＰＲ１と画素加算回路６による感度倍率（４倍）に基づいて決める。例えば、上記第２の所定のノイズ割合ＮＰＲ２は、１／２００（＝｛（１／５０）×（１／４）｝）と定められる。
【０１６９】
用途によって被写体の視認にあたり許容できるノイズレベルは異なるため、上記第２の所定のノイズ割合ＮＰＲ２は、Ｓ／Ｎを重視するか、画像解像度を重視するか等、撮像装置の用途によって変わる。制御回路１２ｂは、プログラマブル利得増幅回路４に設定している利得、及び検波回路１３から制御回路１２ｂへ供給されるノイズレベルの検出値ＡＮＬを観測しながらダイナミックに上記増幅利得の所定の下限値ＬＧＬを決めてプログラマブル利得増幅回路４及び画素加算回路６を制御することとしても良く、撮像装置を工場から出荷する前にノイズレベルの検出値ＡＮＬが信号振幅の平均レベルの検出値ＡＳＡに対して第２の所定のノイズ割合ＮＰＲ２に達する増幅利得を測定し、上記所定の下限値ＬＧＬとして撮像装置の電源を切っても記憶内容を保持できる記憶部１６に書込み、制御回路１２ｂは上記増幅利得の所定の下限値ＬＧＬを参照してプログラマブル利得増幅回路４及び画素加算回路６を制御するようにしても良い。
【０１７０】
制御回路１２ｂは、レンズ１の絞り、ＣＣＤ撮像素子２の露光時間、プログラマブル利得増幅回路４の増幅利得、画素加算回路６における画素加算による信号振幅調整機能を制御して信号振幅の平均レベル（画素加算回路６の出力の信号振幅の平均レベル）を維持する。
【０１７１】
以上のような制御を行っているので、検波回路１３で得られる信号の振幅ＡＳＡと、そのときの露光制御パラメータ（絞り、増幅利得、増感感度、露光時間）とに基づいて、被写体の照度を求めることができる。
言い換えれば、検波回路の出力に対し、露光制御パラメータに基づく逆算を行うことで得られる換算値は、被写体の照度に対応した値である。即ち、そのようなに逆算によって得られた照度が高照度側基準値以上か、低照度側輝度値以下か、それらの基準値の間の範囲にあるかを判断し、判断結果に応じ画素加算の制御（増感感度）を行うことができる。
【０１７２】
上記のように構成したので、露光制御の中で、絞り制御、増幅利得制御、画素加算制御、露光時間制御を順番に切替えることで、視認性の良い最適な明るさの画像を出力することができる効果がある。
【０１７３】
また、画素加算回路において、加算する画素の数ではなく加算係数で増感倍率を設定できるように構成し、増感倍率Ｌを整数に限らず小数を含む値で設定できることとしたので、露光制御の中で、画素加算制御も加算係数を小数点以下の値をも使ってシームレスに切替えられ、照度変化の過程で、画像の明るさが急変することなく見やすい画像が出力できる効果がある。
【０１７４】
実施の形態３．
図２５は本発明の実施の形態３による撮像装置を示す。図２５において、測光部１４が付加されている点、及び制御回路１２の代わりに制御回路１２ｃが設けられている点を除き、実施の形態１と同様であり、同様な効果を奏する。
【０１７５】
測光部１４は、レンズ１への光の入射方向の被写体照度を測光する。測光部１４の照度センサ（図示せず）の取り付け及び位置決めはレンズの光軸に基づいて決められ、レンズ１が撮像する被写体の照度を測光する。
【０１７６】
制御回路１２ｃは、実施の形態１の制御回路１２と同様であるが、以下のように付加的な機能を有する。即ち、制御回路１２ｃは、測光部１４から供給された照度値に基づいて、レンズ１の絞りの制御、タイミング発生回路１０が発生するＣＣＤ撮像素子２の光電変換素子からの電荷読出しタイミング及び電荷強制排出タイミングの制御（従って、電荷蓄積時間、即ち露光時間の制御）、プログラマブル利得増幅回路４の増幅利得の制御、並びに画素加算回路６の画素加算処理の制御を行う。
【０１７７】
制御回路１２ｃは、記憶部１６内に保持されている設定値テーブルに従って、レンズ１の絞り、ＣＣＤ撮像素子２の露光時間、プログラマブル利得増幅回路４の増幅利得、画素加算回路６の増感倍率の設定を行う。
設定値テーブルには、照度値ごとにレンズ１の絞り、ＣＣＤ撮像素子２の露光時間、プログラマブル利得増幅回路４の増幅利得、画素加算回路６の増感倍率が登録されている。
【０１７８】
照度が明るいときは、撮像素子２の露光時間はフレームレートに基づく標準露光時間Ｔｒに、プログラマブル利得増幅回路４の増幅利得は１倍に、画素加算回路６の増感倍率Ｌは１倍に設定してレンズ１の絞りを絞っていく（図２４（ａ）の範囲Ｓａ）。レンズ１が最大絞りになって照度がさらに明るくなると、撮像素子２の露光時間を標準露光時間Ｔｒから短く制御する（図２４(ｄ）の範囲Ｓｅ）。
【０１７９】
照度が暗くなると、撮像素子２の露光時間はフレームレートに基づく標準露光時間Ｔｒに、プログラマブル利得増幅回路４の増幅利得は１倍に、画素加算回路６の増感倍率は１倍に設定してレンズ１の絞りを開いていく（図２４（ａ）の範囲Ｓａ）。レンズ１が絞り開放になって照度がさらに暗くなると、プログラマブル利得増幅回路４の増幅利得を１倍から大きくしていく（図２４（ｂ）の範囲Ｓｂ）。プログラマブル利得増幅回路４の増幅利得が、上記の上限値（画素加算回路６の出力に含まれるノイズのレベルが上記の第１の所定の割合に達したときの増幅利得の値、即ち、該ノイズレベルが上記の第１の所定の割合（許容範囲の上限値）を超えないという制約条件を満たす最大利得値）となって照度がさらに暗くなると、画素加算回路６の増感倍率を１倍から大きくしていく（図２４（ｃ）の範囲Ｓｃ）。さらに暗くなると、露光時間を長くする（図２４（ｄ）の範囲Ｓｄ）。
【０１８０】
上記のように構成したので、露光制御の中で、絞り制御、増幅利得制御、画素加算制御及び露光時間制御を順番に切替えることで、視認性の良い最適な明るさの画像を出力することができる効果がある。
【０１８１】
また、画素加算回路において、加算する画素の数ではなく加算係数で増感倍率を設定できるように構成し、増感倍率Ｌを整数に限らず小数を含む値で設定できることとしたので、露光制御の中で、画素加算制御も加算係数を小数点以下の値をも使ってシームレスに切替えられ、照度変化の過程で、画像の明るさが急変することなく見やすい画像が出力できる効果がある。
【０１８２】
なお、実施の形態２及び３において、増感倍率を最大にしても信号振幅が十分でない場合に露光時間を長くする旨説明したが、これはフレームレートが変わらないようにすることを優先した結果である。フレームレートよりも解像度を重視する場合には、露光時間を長くする制御を先に行い、露光時間を（例えば所定の値まで）長くしても信号振幅が十分でない場合に増感倍率を大きくすることとしても良く、増感倍率を大きくする制御と露光時間を長くする制御を平行して行っても良い。
【符号の説明】
【０１８３】
１ レンズ、 ２ ＣＣＤ撮像素子、 ３ 相関二重サンプリング処理回路、 ４ プログラマブル利得増幅回路、 ５ Ａ／Ｄ変換回路、 ６ 画素加算回路、 ７ 映像信号処理回路、 ８ 映像信号出力端子、 ９ 駆動回路、 １０ タイミング発生回路、 １１ 同期信号発生回路、 １２ 制御回路、 １３ 検波回路、 １４ 測光部、 １５ 入力端子、 １６ 出力端子、 １７ 制御端子、 １８ 同期信号入力端子、 １９ 遅延回路、 ２０ ＣＭＯＳ撮像素子、 ３０ 選択加算回路、 ４０ ノイズ低減回路、 ４０Ａ 画素抽出部、 ４０Ｂ 加重加算部、 ４０Ｃ 係数設定回路、 ５０ 領域選択回路、 ５０Ａ 画素抽出部、 ５０Ｂ 相関判定部、 ３０１ 入力端子、 ３０２ 出力端子、 ３１１〜３１２ ２ライン遅延回路、 ３１７ 制御端子、 ３１８ 同期信号入力端子、 ３１９ 画素位置入力端子、 ３２２〜３２５ １ライン遅延回路、 ３３０〜３３１ ４画素遅延回路、 ３３２〜３３７ ２画素遅延回路、 ３４２〜３６５ １画素遅延回路、 ３７０ 画素選択回路、 ３９０ 加算回路、 ４０１ 入力端子、 ４０２ 出力端子、 ４１７ 制御端子、 ４１８ 同期信号入力端子、 ４２２〜４２５ １ライン遅延回路、 ４３２〜４５５ １画素遅延回路、 ４６１〜４８５ 乗算回路、 ４９０ 加算回路、 ５０１ 入力端子、 ５０２ 出力端子、 ５１１〜５１２ ２ライン遅延回路、 ５１８ 同期信号入力端子、 ５２２〜５２５ １ライン遅延回路、 ５３０〜５３１ ４画素遅延回路、 ５３２〜５３７ ２画素遅延回路、 ５４２〜５６５ １画素遅延回路、 ５７０ 画素選択回路、 ５７１〜５８２ 変化幅算出回路、 ５８５ 最小値算出回路、 ５９０ 画素指定回路、 ５９５ 相関領域検出部。
【技術分野】
【０００１】
本発明は、低照度の撮像環境において、より高感度な撮像画像が得られる撮像装置に関する。
【背景技術】
【０００２】
従来の撮像装置として、Ｎ画素前までのデジタル信号を全て加算する機能を実行することにより、固体撮像素子の高感度化やＳ／Ｎ向上を図るように構成したものが知られている（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０００−１８４２７４号公報（第４頁、段落００１０）
【発明の概要】
【発明が解決しようとする課題】
【０００４】
従来の撮像装置は、連続する隣接画素からの撮像信号を加算しているため、カラー撮像素子を用いた場合には色が混ざりカラー信号を再生できないという問題があった。
【０００５】
この発明は、上述のような課題を解決するためになされたもので、カラー撮像素子から読み出した撮像信号を画素加算しても、色が混ざることなく、カラー信号を高感度化できる撮像装置を得ることを目的とする。
【課題を解決するための手段】
【０００６】
本発明の撮像装置は、
それぞれ異なる色成分の光を検出して対応する撮像信号を出力する複数種の画素を有する撮像部と、
前記撮像部から出力された撮像信号のノイズを低減するノイズ低減回路と、
前記ノイズ低減回路でノイズが低減された撮像信号に基づいて、各注目画素について、各注目画素とその周囲の同じ色成分の光を検出する画素で形成される領域のうち、相関の高い領域を選択する領域選択回路と、
前記撮像部から出力された各注目画素の撮像信号について、前記領域選択回路で選択された画素領域に含まれる画素の撮像信号を加算して加算結果を加算画素信号として出力する選択加算回路と
を備えることを特徴とする。
【発明の効果】
【０００７】
本発明によれば、カラー撮像素子から読み出した撮像信号でも感度を例えば４倍に向上させ、極めて暗い低照度環境においても被写体を視認できるという効果が得られる。
【図面の簡単な説明】
【０００８】
【図１】本発明の実施の形態１の撮像装置を示すブロック構成図である。
【図２】図１の画素加算回路の一例を示すブロック構成図である。
【図３】撮像素子から出力される注目画素を中心とした画素空間配置を示す図である。
【図４】図２のノイズ低減回路の一例を示すブロック構成図である。
【図５】図４の画素抽出部の一例を示すブロック構成図である。
【図６】図４の加重加算部の一例を示すブロック構成図である。
【図７】図３の画素空間配置で注目画素がＧ画素のときの色配列情報を示す図である。
【図８】図３の画素空間配置で注目画素がＧ画素のときのノイズ低減回路の演算対象画素を示す図である。
【図９】図３の画素空間配置で注目画素がＲ画素のときの色配列情報を示す図である。
【図１０】図３の画素空間配置で注目画素がＲ画素のときのノイズ低減回路の演算対象画素を示す図である。
【図１１】図３の画素空間配置で注目画素がＢ画素のときの色配列情報を示す図である。
【図１２】図３の画素空間配置で注目画素がＢ画素のときのノイズ低減回路の演算対象画素を示す図である。
【図１３】図２の領域選択回路の一例の一部を示すブロック構成図である。
【図１４】図１３の画素抽出部５０Ａの構成例を示すブロック構成図である。
【図１５】図１３の相関判定部５０Ｂの構成例及び画素指定回路５９０を示すブロック構成図である。
【図１６】（ａ）〜（ｄ）は、画素加算回路の注目画素がＧ画素の時の第１から第４の加算パターンを示す図である。
【図１７】（ａ）〜（ｄ）は、画素加算回路の注目画素がＧ画素の時の第５から第８の加算パターンを示す図である。
【図１８】（ａ）〜（ｄ）は、画素加算回路の注目画素がＧ画素の時の第９から第１２の加算パターンを示す図である。
【図１９】（ａ）〜（ｄ）は、画素加算回路の注目画素がＲ画素の時の第１から第４の加算パターンを示す図である。
【図２０】（ａ）〜（ｄ）は、画素加算回路の注目画素がＢ画素の時の第１から第４の加算パターンを示す図である。
【図２１】図２の選択加算回路の一例を示すブロック構成図である。
【図２２】本発明の実施の形態１の撮像装置の別の構成を示すブロック構成図である。
【図２３】本発明の実施の形態２の撮像装置を示すブロック構成図である。
【図２４】（ａ）〜（ｅ）は、被写体照度と、レンズの絞り、プログラマブル利得増幅回路の増幅利得、画素加算回路の増感倍率、撮像部の露光時間、及び画素加算回路の出力信号の振幅との関係を示す図である。
【図２５】本発明の実施の形態３の撮像装置を示すブロック構成図である。
【発明を実施するための形態】
【０００９】
以下、第１、第２及び第３の色成分の光がそれぞれ赤色、緑色、及び青色の光であり、これらの色成分の光を検出して、対応する信号を出力する画素がベイヤ配列された撮像部が用いられる場合について詳しく説明する。
【００１０】
実施の形態１．
図１は本発明の実施の形態１による撮像装置を示す。図１において、レンズ１は、被写体像をＣＣＤ撮像素子２の撮像面上に合焦させる。
【００１１】
ＣＣＤ撮像素子（ＣＣＤ）２は、後述の図８〜図１１に示すように、赤色の光（第１の色成分の光）を検出するＲ画素、緑色の光（第２の色成分の光）を検出するＧ画素、及び青色の光（第３の色成分の光）を検出するＢ画素がベイヤ配列されたものであり、これらにより、赤色の光、緑色の光、青色の光（第１の色成分の光、第２の色成分の光、第３の色成分の光）が検出され、即ち光電変換されて、光電変換により生成された電荷が素子内部を転送されて、電気信号（撮像信号）として出力される。
【００１２】
この撮像信号は、Ｒ画素からの画素信号であるＲ信号（第１の色成分値を表す信号）、Ｇ画素からの画素信号であるＧ信号（第２の色成分値を表す信号）、及びＢ画素からの画素信号であるＢ信号（第３の色成分値を表す信号）を含む。
【００１３】
Ｒ画素、Ｇ画素、Ｂ画素は、例えば、それぞれ赤色の光のみを透過させる色フィルタを備えた光電変換素子、緑色の光のみを透過させる色フィルタを備えた光電変換素子、青色の光のみを透過させる色フィルタを備えた光電変換素子で構成される。
【００１４】
ＣＣＤ撮像素子２から信号された撮像信号は、相関二重サンプリング処理回路（ＣＤＳ）３でノイズ等が除去される。
プログラマブル利得増幅回路（ＰＧＡ）４は、相関二重サンプリング処理回路３の出力信号を制御回路１２から出力された制御信号によって制御された利得で増幅して出力する。
Ａ／Ｄ変換回路（ＡＤＣ）５は、プログラマブル利得増幅回路４の出力信号を、デジタル信号に変換する。
【００１５】
画素加算回路６は、Ａ／Ｄ変換回路５から出力される撮像信号Ｐｃを受け、各画素位置を順次注目画素位置として選択し、該注目画素と、その周囲の画素のうち注目画素同じ色の画素（同じ色成分の光を検出する画素）の信号を選択的に加算する。このような処理が撮像画面内のすべての画素位置について行われる。
【００１６】
映像信号処理回路７は、画素加算回路６の出力信号に、色同時化処理、階調補正処理、ノイズ低減処理、輪郭補正処理、白バランス調整処理、信号振幅調整処理、及び色補正処理などを加えた映像信号を映像信号出力端子８から出力する。
【００１７】
同期信号発生回路１１は、垂直同期信号及び水平同期信号を生成して画素加算回路６、映像信号処理回路７及びタイミング発生回路１０に供給する。
【００１８】
タイミング発生回路１０は、ＣＣＤ撮像素子２の駆動タイミング信号ＤＲＴを発生して駆動回路９に供給する。駆動回路９は、タイミング発生回路１０から出力された駆動タイミング信号ＤＲＴに基づいてＣＣＤ撮像素子２の駆動信号ＤＲＳを生成する。ＣＣＤ撮像素子２は、駆動回路９から出力された駆動信号ＤＲＳに基づいて、光電変換及び電荷転送を行う。
【００１９】
制御回路１２は、レンズ１の絞りの制御、タイミング発生回路１０が発生するＣＣＤ撮像素子２の光電変換素子からの電荷読出しタイミング及び電荷強制排出タイミングの制御（従って、電荷蓄積時間、即ち露光時間の制御）、プログラマブル利得増幅回路４の増幅利得の制御、並びに画素加算回路６の画素加算処理の制御を行う。
【００２０】
画素加算回路６は、図２に示すように、ノイズ低減回路４０と、領域選択回路５０と、遅延回路１９と、選択加算回路３０とを有する。
【００２１】
上記のように、Ａ／Ｄ変換回路５からはベイヤ配列されたＲ画素、Ｇ画素、Ｂ画素からの撮像信号Ｐｃが出力され、画素加算回路６は、撮像画面内の各画素位置を順次注目画素として加算を行う。
【００２２】
撮像素子２の撮像画面上の画素は、図３に示すように水平方向（行方向）Ｈ及び垂直方向（列方向）Ｖに整列し、全体としてマトリクス状に配置されている。各画素の画面上の位置は水平座標ｈ、及び垂直座標ｖの組合せ（ｈ，ｖ）で表され、座標（ｈ，ｖ）の画素は符号Ｐｈｖで表される。水平方向に隣接する画素間ではｈの値が１だけ異なり、垂直方向に隣接する画素間ではｖの値が１だけ異なる。即ち隣接画素間の距離（画素ピッチ）は１で表される。
【００２３】
図３には、注目画素Ｐ３３を中心とした水平５画素、垂直５画素の５範囲（５×５画素の範囲）及びその周辺に位置する画素の配置が示されている。
【００２４】
Ａ／Ｄ変換回路５からの撮像信号Ｐｃは、入力端子１５に印加され、遅延回路１９とノイズ低減回路４０へ供給される。
【００２５】
ノイズ低減回路４０は、撮像部２から出力され、相関二重サンプリング処理回路３、プログラマブル利得増幅回路４、Ａ／Ｄ変換回路５を介して画素加算回路６に供給された撮像信号Ｐｃを受けて、例えば、注目画素と、その周囲の画素のうちの注目画素と同じ色成分の撮像信号を発生する画素からの撮像信号に対して二次元フィルタリング、例えば低域通過型フィルタリングを行うことにより、撮像信号のノイズを低減する。
【００２６】
領域選択回路５０は、ノイズ低減回路４０でノイズが低減された撮像信号Ｐｆに基づいて、各注目画素について、各注目画素とその周囲の同じ色成分の光を検出する画素で形成される領域のうち、相関の高い領域を選択し、選択した領域内の画素の画素位置を選択加算回路３０に通知する。
【００２７】
遅延回路１９は、撮像信号Ｐｃを所定時間遅延させ、遅延された撮像信号Ｐｄを出力する。
選択加算回路３０は、遅延された撮像信号Ｐｄを受け、各注目画素の撮像信号について、領域選択回路５０で選択された画素領域に含まれる画素の撮像信号を加算して加算結果を加算画素信号Ｐｅとして出力する。加算画素信号Ｐｅは、出力端子１６を介して映像信号処理回路７へ供給される。
【００２８】
領域選択回路５０からの、選択した領域内の画素の画素位置の選択加算回路３０への通知のタイミングに同期して、遅延回路１９の出力（遅延された撮像信号Ｐｄ）が選択加算回路３０に供給される必要がある。遅延回路１９はそのために設けられたものであり、その遅延時間は、ノイズ低減回路４０と領域選択回路５０での処理遅延時間に基づいて決められる。
【００２９】
ノイズ低減回路４０は、図４に示されるように、画素抽出部４０Ａと、加重加算部４０Ｂと、係数設定部４０Ｃとを有する。
【００３０】
画素抽出部４０Ａは、例えば、図５に示すように構成されている。図５で「１Ｌ−ＤＬ」は１ライン遅延回路を示し、「１Ｄ−ＤＬ」は１画素遅延回路を示す。画素抽出部４０Ａは、１ライン遅延回路４２２〜４２５と、１画素遅延回路４３２〜４３５、４３７〜４４０、４４２〜４４５、４４７〜４５０、４５２〜４５５とを図示のように接続して構成されており、注目画素とその周囲の画素の画素値を示す画素信号を同時に出力する。例えば、注目画素が図３のＰ３３であるとき、注目画素Ｐ３３とその周囲の画素Ｐ１１〜Ｐ５５の画素値を表す画素信号を同時に出力する。
【００３１】
Ａ／Ｄ変換回路５から出力された画素信号Ｐｃは、画素加算回路６の入力端子４０１に印加され、ノイズ低減回路４０の画素抽出部４０Ａへ供給される。
【００３２】
入力された画素信号Ｐｃは、画素信号Ｐ５５として、１ライン遅延回路４２２〜４２５で順次１ライン遅延されて、画素信号Ｐ５５に対して、それぞれ１、２、３、４ライン遅延した画素信号Ｐ５４、Ｐ５３、Ｐ５２、Ｐ５１が出力される。
画素信号Ｐ５５はまた、１画素遅延回路４３２〜４３５で順次１画素遅延されて、画素信号Ｐ５５に対してそれぞれ１、２、３、４画素遅延した画素信号Ｐ４５、Ｐ３５、Ｐ２５、Ｐ１５が出力される。
【００３３】
１ライン遅延回路４２２から出力された画素信号Ｐ５４は、１画素遅延回路４３７〜４４０で順次１画素遅延されて、画素信号Ｐ５４に対してそれぞれ１、２、３、４画素遅延した画素信号Ｐ４４、Ｐ３４、Ｐ２４、Ｐ１４が出力される。
１ライン遅延回路４２３から出力された画素信号Ｐ５３は、１画素遅延回路４４２〜４４５で順次１画素遅延されて、画素信号Ｐ５３に対してそれぞれ１、２、３、４画素遅延した画素信号Ｐ４３、Ｐ３３、Ｐ２３、Ｐ１３が出力される。
【００３４】
１ライン遅延回路４２４から出力された画素信号Ｐ５２は、１画素遅延回路４４７〜４５０で順次１画素遅延されて、画素信号Ｐ５２に対してそれぞれ１、２、３、４画素遅延した画素信号Ｐ４２、Ｐ３２、Ｐ２２、Ｐ１２が出力される。
１ライン遅延回路４２５から出力された画素信号Ｐ５１は、１画素遅延回路４５２〜４５５で順次１画素遅延されて、画素信号Ｐ５１に対してそれぞれ１、２、３、４画素遅延した画素信号Ｐ４１、Ｐ３１、Ｐ２１、Ｐ１１が出力される。
【００３５】
画素信号Ｐ５５〜Ｐ１１は、それぞれ図３の画素Ｐ５５〜Ｐ１１の画素値を表すものであり、画素信号Ｐ５５が入力されたタイミングで、画素抽出部４０Ａから同時に出力される。
画素信号Ｐ５５〜Ｐ１１は、それぞれ、乗算回路４６１〜４８５に供給される。
【００３６】
ノイズ低減回路４０の加重加算回路４０Ｂは、例えば、図６に示すように、乗算回路４６１〜４８５と加算回路４９０とを図示のように接続して構成されており、画素抽出部４０Ａで抽出された画素の画素値に対して、係数を掛けて、加算することにより、二次元フィルタリング、例えば低域通過型フィルタリングを行う。
【００３７】
加重加算回路４０Ｂのフィルタ特性ＦＣＨは、制御回路１２により決定され、該フィルタ特性を表す係数が画素加算回路６の制御端子１７を経て、ノイズ低減回路４０の制御端子４１７に印加され、係数設定回路４０Ｃに設定され、加重加算回路４０Ｂは、係数設定回路４０Ｃに設定された係数を用いて加重加算を行う。
同期信号発生回路１１から出力された水平同期信号ＨＤと垂直同期信号ＶＤは、画素加算回路６の同期信号入力端子１８を経て、ノイズ低減回路４０の制御端子４１８に印加され、係数設定回路４０Ｃに供給される。
【００３８】
係数設定回路４０Ｃは水平同期信号ＨＤと垂直同期信号ＶＤに基づいて注目画素Ｐ３３の画素位置を判断して、注目画素の色フィルタ配列上の画素位置を特定する。
係数設定回路４０Ｃはまた、水平同期信号ＨＤと垂直同期信号ＶＤに基づいて注目画素が、Ｒ画素かＧ画素かＢ画素かをも特定する。
そして、特定した画素位置と前記フィルタ係数に基づいて、加重加算部４０Ｂの乗算回路４６１〜４８５各々へ独立に２５個のフィルタ係数Ｋ１１〜Ｋ５５を供給する。
【００３９】
乗算回路４６１〜４８５は、入力される画素値Ｐ１１〜Ｐ５５とフィルタ係数Ｋ１１〜Ｋ５５を乗算する。加算回路４９０は乗算回路４６１〜４８５の出力値を加算して、加算結果をノイズ低減された画素値Ｐｆとして出力端子４０２から出力する。
【００４０】
図７、図９及び図１１は、Ｒ画素、Ｇ画素及びＢ画素の配列を示す。この配列においては、Ｒ画素、Ｇ画素、Ｂ画素が市松模様状に配列され、水平２画素、垂直２画素の４画素の配列を基本単位として繰り返している。この基本単位においては、２つのＧ画素が一方の対角線に並び、Ｒ画素とＢ画素が他方の対角線上に並んでいる。
【００４１】
図７は、図３の画素空間配置で注目画素の色フィルタがＧ画素の時の５×５画素の領域及びその周囲の画素の色フィルタ配置を示す。
Ｒ１２、Ｒ３２、Ｒ５２、Ｒ１４、Ｒ３４、Ｒ５４はＲ画素を示す。Ｇ１１、Ｇ３１、Ｇ５１、Ｇ２２、Ｇ４２、Ｇ１３、Ｇ３３、Ｇ５３、Ｇ２４、Ｇ４４、Ｇ１５、Ｇ３５、Ｇ５５はＧ画素を示す。Ｂ２１、Ｂ４１、Ｂ２３、Ｂ４３、Ｂ２５、Ｂ４５はＢ画素を示す。
【００４２】
例えば、Ｒ３２、Ｇ３３、Ｂ４３、Ｇ４２の水平２画素、垂直２画素の４画素の配列を基本単位として繰り返す配列で、色フィルタ配列は構成されている。
【００４３】
図７は、Ｇ３３の同じライン上の隣接画素（１画素前及び１画素後の画素）がＢ画素の場合を例に説明したが、Ｇ２２のように同じライン上の隣接画素がＲ画素である配列パターンも存在する。その場合は、Ｒ画素とＢ画素が入れ替わった色配置となるが、注目画素がＧ画素の時の加算対象画素はＧ画素のみなので、一方の色配置についての説明は他方にも若干の修正のみで当てはまる。
【００４４】
図８は、画素加算回路６のノイズ低減回路４０で注目画素がＧ画素の時の、演算対象画素の配列を示す。このとき、ノイズ低減回路４０の出力は次式で求める。
Ｇ＝Ｋ２２×Ｇ２２＋Ｋ４２×Ｇ４２
＋Ｋ３３×Ｇ３３
＋Ｋ２４×Ｇ２４＋Ｋ４４×Ｇ４４
係数設定回路４０Ｃは、フィルタ係数Ｋ１１〜５５のうち、上式で使わない係数を「０」に設定する。
【００４５】
係数設定回路４０Ｃは、制御回路１２からの設定に基づいて、よりノイズが低減されるフィルタ係数を設定する。例えば以下のフィルタ係数を設定する。
Ｋ２２＝１／８
Ｋ２４＝１／８
Ｋ３３＝４／８
Ｋ４２＝１／８
Ｋ４４＝１／８
上記フィルタ係数は、低照度時で信号振幅が小さい場合は、例えば各々８倍の係数とし、これにより、微弱な信号成分が少しでも失われることを防ぐため、各係数が１以上となるようにする。
【００４６】
あるいは、係数設定回路４０Ｃは、制御回路１２からの設定に基づいて、例えば以下のフィルタ係数を設定する。
Ｋ２２＝１／５
Ｋ２４＝１／５
Ｋ３３＝１／５
Ｋ４２＝１／５
Ｋ４４＝１／５
上記フィルタ係数は、低照度時で信号振幅が小さい場合は、例えば各々５倍の係数とし、これにより、微弱な信号成分が少しでも失われることを防ぐため、各係数を１以上となるようにする。
【００４７】
上記の例では、ノイズ低減回路４０は、周辺の５画素を対象としたノイズ低減フィルタとしたが、さらにノイズが多い低照度時の撮像信号の場合は、周辺の９画素を対象としたノイズ低減フィルタとするように構成したほうが良い。このとき、ノイズ低減回路４０の出力は次式で求める。
Ｇ＝Ｋ３１×Ｇ３１
＋Ｋ２２×Ｇ２２＋Ｋ４２×Ｇ４２
＋Ｋ１３×Ｇ１３＋Ｋ３３×Ｇ３３＋Ｋ５３×Ｇ５３
＋Ｋ２４×Ｇ２４＋Ｋ４４×Ｇ４４
＋Ｋ３５×Ｇ３５
【００４８】
図９は、図３の画素空間配置で注目画素の色フィルタがＲ画素の時の５×５画素の領域及びその周囲の画素の色フィルタ配置を示す。
Ｒ１１、Ｒ３１、Ｒ５１、Ｒ１３、Ｒ３３、Ｒ５３、Ｒ１５、Ｒ３５、Ｒ５５はＲ画素を示す。Ｇ２１、Ｇ４１、Ｇ１２、Ｇ３２、Ｇ５２、Ｇ２３、Ｇ４３、Ｇ１４、Ｇ３４、Ｇ５４、Ｇ２５、Ｇ４５はＧ画素を示す。Ｂ２２、Ｂ４２、Ｂ２４、Ｂ４４はＢ画素を示す。
【００４９】
例えば、Ｒ３３、Ｇ３４、Ｂ４４、Ｇ４３の水平２画素、垂直２画素の４画素の配列を基本単位として繰り返す配列で、色フィルタ配列は構成されている。
【００５０】
図１０は、画素加算回路６のノイズ低減回路４０で注目画素がＲ画素の時の、演算対象画素の配列を示す。このとき、ノイズ低減回路４０の出力は次式で求める。
Ｒ＝Ｋ３１×Ｒ３１
＋Ｋ１３×Ｒ１３＋Ｋ３３×Ｒ３３＋Ｋ５３×Ｒ５３
＋Ｋ３５×Ｒ３５
係数設定回路４０Ｃは、フィルタ係数Ｋ１１〜５５のうち、上式で使わない係数を「０」に設定する。
【００５１】
係数設定回路４０Ｃは、制御回路１２からの設定に基づいて、よりノイズが低減されるフィルタ係数を設定する。例えば以下のフィルタ係数を設定する。
Ｋ３１＝１／８
Ｋ１３＝１／８
Ｋ３３＝４／８
Ｋ５３＝１／８
Ｋ３５＝１／８
上記フィルタ係数は、低照度時で信号振幅が小さい場合は、例えば各々８倍の係数とし、これにより、微弱な信号成分が少しでも失われることを防ぐため、各係数が１以上となるようにする。
【００５２】
あるいは、係数設定回路４０Ｃは、制御回路１２からの設定に基づいて、例えば以下のフィルタ係数を設定する。
Ｋ３１＝１／５
Ｋ１３＝１／５
Ｋ３３＝１／５
Ｋ５３＝１／５
Ｋ３５＝１／５
上記フィルタ係数は、低照度時で信号振幅が小さい場合は、例えば各々５倍の係数とし、これにより、微弱な信号成分が少しでも失われることを防ぐため、１以上となるようにする。
【００５３】
上記の例では、ノイズ低減回路４０は、周辺の５画素を対象としたノイズ低減フィルタとしたが、さらにノイズが多い低照度時の撮像信号の場合は、周辺の９画素を対象としたノイズ低減フィルタとするように構成したほうが良い。このとき、ノイズ低減回路４０の出力は次式で求める。
Ｒ＝Ｋ１１×Ｒ１１＋Ｋ３１×Ｒ３１＋Ｋ５１×Ｒ５１
＋Ｋ１３×Ｒ１３＋Ｋ３３×Ｒ３３＋Ｋ５３×Ｒ５３
＋Ｋ１５×Ｒ１５＋Ｋ３５×Ｒ３５＋Ｋ５５×Ｒ５５
【００５４】
図１１は、図３の画素空間配置で注目画素の色フィルタがＢ画素の時の５×５画素の領域及びその周囲の画素の色フィルタ配置を示す。
Ｒ２２、Ｒ４２、Ｒ２４、Ｒ４４はＲ画素を示す。Ｇ２１、Ｇ４１、Ｇ１２、Ｇ３２、Ｇ５２、Ｇ２３、Ｇ４３、Ｇ１４、Ｇ３４、Ｇ５４、Ｇ２５、Ｇ４５はＧ画素を示す。Ｂ１１、Ｂ３１、Ｂ５１、Ｂ１３、Ｂ３３、Ｂ５３、Ｂ１５、Ｂ３５、Ｂ５５はＢ画素を示す。
【００５５】
例えば、Ｒ２２、Ｇ２３、Ｂ３３、Ｇ３２の水平２画素、垂直２画素の４画素の配列を基本単位として繰り返す配列で、色フィルタ配列は構成されている。
【００５６】
図１２は、画素加算回路６のノイズ低減回路４０で注目画素がＢ画素の時の、演算対象画素の配列を示す。このとき、ノイズ低減回路４０の出力は次式で求める。
Ｂ＝Ｋ３１×Ｂ３１
＋Ｋ１３×Ｂ１３＋Ｋ３３×Ｂ３３＋Ｋ５３×Ｂ５３
＋Ｋ３５×Ｂ３５
係数設定回路４０Ｃは、フィルタ係数Ｋ１１〜５５のうち、上式で使わない係数を「０」に設定する。
【００５７】
係数設定回路４０Ｃは、制御回路１２からの設定に基づいて、よりノイズが低減されるフィルタ係数を設定する。例えば以下のフィルタ係数を設定する。
Ｋ３１＝１／８
Ｋ１３＝１／８
Ｋ３３＝４／８
Ｋ５３＝１／８
Ｋ３５＝１／８
上記フィルタ係数は、低照度時で信号振幅が小さい場合は、例えば各々８倍の係数とし、これにより、微弱な信号成分が少しでも失われることを防ぐため、各係数が１以上となるようにする。
【００５８】
あるいは、係数設定回路４０Ｃは、制御回路１２からの設定に基づいて、例えば以下のフィルタ係数を設定する。
Ｋ３１＝１／５
Ｋ１３＝１／５
Ｋ３３＝１／５
Ｋ５３＝１／５
Ｋ３５＝１／５
上記フィルタ係数は、低照度時で信号振幅が小さい場合は、例えば各々５倍の係数とし、これにより、微弱な信号成分が少しでも失われることを防ぐため、１以上となるようにする。
【００５９】
上記の例では、ノイズ低減回路４０は、周辺の５画素を対象としたノイズ低減フィルタとしたが、さらにノイズが多い低照度時の撮像信号の場合は、周辺の９画素を対象としたノイズ低減フィルタとするように構成したほうが良い。このとき、ノイズ低減回路４０の出力は次式で求める。
Ｂ＝Ｋ１１×Ｂ１１＋Ｋ３１×Ｂ３１＋Ｋ５１×Ｂ５１
＋Ｋ１３×Ｂ１３＋Ｋ３３×Ｂ３３＋Ｋ５３×Ｂ５３
＋Ｋ１５×Ｂ１５＋Ｋ３５×Ｂ３５＋Ｋ５５×Ｂ５５
【００６０】
上記の例では、ノイズ低減回路４０は、例えばノイズが高域周波数に分布する仮定から、低域通過型フィルタの構成としたが、撮像信号に含まれるノイズの特性に応じたノイズ低減フィルタとしたほうが良い。
【００６１】
上記の例では、ノイズ低減回路４０を設け、ノイズによる誤判定を防ぎ、より相関の高い画素を特定できるように構成したので、画素加算画像の解像度が低下することなく高画質化できる。
【００６２】
次に、図１３〜図１５を参照して、領域選択回路５０の動作を説明する。
領域選択回路５０は、ノイズ低減回路４０でノイズが低減された撮像信号Ｒｆに基づいて、各注目画素について、各注目画素とその周囲の同じ色成分の光を検出する画素で形成される領域のうち、相関の高い領域を選択する。
【００６３】
領域選択回路５０は、より具体的には、ノイズ低減回路４０から出力された撮像信号を所定の時間だけ遅延させて注目画素及びその周囲に位置し、注目画素と同じ色成分の撮像信号を出力する画素（参照画素）の各画素値を同時に抽出し、各々、注目画素と、その周囲の参照画素のうちの注目画素に対して特定の相対位置にある複数の画素から成る組合せで構成される複数の画素領域の各々について最大画素値と最小画素値の差を変化幅として算出し、複数の上記画素領域の中から上記変化幅が最小の画素領域を判別して上記相関の高い画素領域として選択加算回路３０へ通知する。即ち、上記相関の高い画素領域を示す情報Ｓｐを選択加算回路３０へ供給する。
【００６４】
領域選択回路５０は、図１３に示すように、画素抽出部５０Ａと、相関判定部５０Ｂとを有する。
【００６５】
画素抽出部５０Ａは、ノイズ低減回路４０から出力された撮像信号を所定の時間だけ遅延させて、注目画素及びその周囲の画素の画素値を表す信号を同時に抽出する。
相関判定部５０Ｂは、画素抽出部５０Ａで抽出された画素のうちの、注目画素と、該注目画素と同じ色成分の光を検出する複数の画素とから成る組合せを複数個形成し、該複数個の組合せのうち、当該組合せを構成する画素の画素値の最大値と最小値の差が最小である組合せを前記相関の高い画素領域を構成するものと判定する。
【００６６】
画素抽出部５０Ａは、例えば図１４に示されるように構成されている。図１４で、「２Ｌ−ＤＬ」は２ライン遅延回路を示し、「１Ｌ−ＤＬ」は１ライン遅延回路を示し、「４Ｄ−ＤＬ」は４画素遅延回路を示し、「２Ｄ−ＤＬ」は２画素遅延回路を示し、「１Ｄ−ＤＬ」は１画素遅延回路を示す。
【００６７】
画素抽出部５０Ａは、２ライン遅延回路５１１、５１２と、１ライン遅延回路５２２〜５２５と、４画素遅延回路５３０、５３１と、２画素遅延回路５３２〜５３７と、１画素遅延回路５４２〜５４５、５４７〜５５０、５５２〜５５５、５５７〜５６０、５６２〜５６５とを図示のように接続して構成されており、注目画素とその周囲の画素の画素値を示す画素信号を同時に出力する。
【００６８】
例えば、注目画素が図３のＰ３３であるとき、注目画素Ｐ３３とその周囲の画素Ｐ１１〜Ｐ５５、ＰＬ３、Ｐ３Ｔ、Ｐ３Ｂ、ＰＲ１〜ＰＲ５の画素値を表す画素信号を同時に出力する。なお、図５の画素抽出部４０Ａの説明の際と同じ符号Ｐ１１〜Ｐ５５が用いられているが、図５では、画素信号Ｐｃを遅延したものであるのに対して、図１４では、画素信号Ｐｆを遅延したものである点で異なる。
【００６９】
ノイズ低減回路４０から出力された画素信号Ｐｆは、領域選択回路５０の入力端子５０１に印加される。
入力端子５０１に印加された画素信号Ｐｆは、画素信号ＰＲＢとして、２ライン遅延回路５１１、１ライン遅延回路５２２〜５２５、２ライン遅延回路５１２で順次遅延されて、画素信号ＰＲＢに対して、それぞれ２、３、４、５、６、８ライン遅延した画素信号ＰＲ５、ＰＲ４、ＰＲ３、ＰＲ２、ＰＲ１、ＰＲＴが出力される。
画素信号ＰＲＢはまた、４画素遅延回路５３０で遅延されて、画素信号Ｐ３Ｂとして出力される。
【００７０】
２ライン遅延回路５１１から出力された画素信号ＰＲ５は、２画素遅延回路５３２で２画素遅延され、さらに、１画素遅延回路５４２〜５４５で順次１画素遅延されて、画素信号ＰＲ５に対してそれぞれ２、３、４、５、６画素遅延した画素信号Ｐ５５、Ｐ４５、Ｐ３５、Ｐ２５、Ｐ１５が出力される。
１ライン遅延回路５２２から出力された画素信号ＰＲ４は、２画素遅延回路５３３で２画素遅延され、さらに、１画素遅延回路５４７〜５５０で順次１画素遅延されて、画素信号ＰＲ４に対してそれぞれ２、３、４、５、６画素遅延した画素信号Ｐ５４、Ｐ４４、Ｐ３４、Ｐ２４、Ｐ１４が出力される。
１ライン遅延回路５２３から出力された画素信号ＰＲ３は、２画素遅延回路５３４で２画素遅延され、さらに、１画素遅延回路５５２〜５５５で順次１画素遅延され、さらに、２画素遅延回路５３５で２画素遅延されて、画素信号ＰＲ３に対してそれぞれ２、３、４、５、６、８画素遅延した画素信号Ｐ５３、Ｐ４３、Ｐ３３、Ｐ２３、Ｐ１３、ＰＬ３が出力される。
【００７１】
１ライン遅延回路５２４から出力された画素信号ＰＲ２は、２画素遅延回路５３６で２画素遅延され、さらに、１画素遅延回路５５７〜５６０で順次１画素遅延されて、画素信号ＰＲ２に対してそれぞれ２、３、４、５、６画素遅延した画素信号Ｐ５２、Ｐ４２、Ｐ３２、Ｐ２２、Ｐ１２が出力される。
１ライン遅延回路５２５から出力された画素信号ＰＲ１は、２画素遅延回路５３７で２画素遅延され、さらに、１画素遅延回路５６２〜５６５で順次１画素遅延されて、画素信号ＰＲ１に対してそれぞれ２、３、４、５、６画素遅延した画素信号Ｐ５１、Ｐ４１、Ｐ３１、Ｐ２１、Ｐ１１が出力される。
２ライン遅延回路５１２から出力された画素信号ＰＲＴは、４画素遅延回路５３１で遅延されて画素信号Ｐ３Ｔとして出力される。
【００７２】
画素信号Ｐ５５〜Ｐ１１、Ｐ３Ｂ、ＰＲ３、ＰＬ３、Ｐ３Ｔは、それぞれ図３の画素Ｐ５５〜Ｐ１１、Ｐ３Ｂ、ＰＲ３、ＰＬ３、Ｐ３Ｔの画素値を表すものであり、画素信号ＰＲＢが入力されたタイミングで、画素抽出部５０Ａから同時に出力される。
画素信号Ｐ５５〜Ｐ１１、Ｐ３Ｂ、ＰＲ３、ＰＬ３、Ｐ３Ｔは、相関判定部５０Ｂ内の画素選択回路５７０に供給される。
【００７３】
相関判定部５０Ｂは、例えば図１５に示されるように、画素選択回路５７０と、変化幅算出回路５７１〜５８２と、最小値算出回路５８５と、画素指定回路５９０とを有する。
【００７４】
図１５において、同期信号発生回路１１から出力された水平同期信号ＨＤと垂直同期信号ＶＤは、画素加算回路６の同期信号入力端子１８を経て、領域選択回路５０の同期信号入力端子５１８に印加され、画素選択回路５７０、最小値算出回路５８５及び画素指定回路５９０に供給される。
【００７５】
画素選択回路５７０は水平同期信号ＨＤと垂直同期信号ＶＤに基づいて注目画素Ｐ３３の画素位置を判断して、注目画素の色フィルタ配列上の画素位置を特定する。画素選択回路５７０は、注目画素が、Ｒ画素かＧ画素かＢ画素かをも特定する。
そして、画素抽出部５０Ｂから供給された画素信号Ｐ５５〜Ｐ１１、Ｐ３Ｂ、ＰＲ３、ＰＬ３、Ｐ３Ｔを受け、注目画素と、その周囲の参照画素のうちの注目画素に対して特定の相対位置にある複数の画素の画素値の組合せを生成する。各注目画素についてそのような組合せは複数個生成される。
【００７６】
選択加算回路３０における画素加算に使う画素に、注目画素と相関の高い画素を正しく選択できれば、画素加算後の画像の解像度劣化を小さくすることができる。そこで、注目画素と注目画素に対して特定の相対位置にある周辺画素との組合せを複数個形成し、各組合せについて相関の高さを求め、最も相関の高い組合せに属する画素を用いて画素加算を行う。
【００７７】
各組み合わせについて相関の高さを求めるために、各組み合わせに属する画素の画素値の最大値と最小値の差を変化幅として求め、変化幅が最小の組合せを、相関の最も高い組合せと判定する。相関の最も高い組合せに属する画素は画素加算に用いられるので、該組合せを加算パターンと呼ばれる。
【００７８】
図３の画素空間配置で注目画素の色フィルタがＧ画素の時の４画素加算の加算パターンを図１６（ａ）から図１８（ｄ）に示す。Ｇ画素の４画素加算の場合は、１２個の加算パターンから最も相関の高い最適な加算パターンを求める。
【００７９】
図１６（ａ）は、注目画素とその上側の周辺画素、即ち、注目画素Ｇ３３、注目画素の２ライン前の画素Ｇ３１、注目画素の１ライン前の１画素前の画素Ｇ２２、及び注目画素の１ライン前の１画素後の画素Ｇ４２の組合せで構成される上側ブロックパターンＧＰ１を示す。
【００８０】
図１６（ｂ）は、注目画素とその右側の周辺画素、即ち、注目画素Ｇ３３、注目画素の２画素後の画素Ｇ５３、注目画素の１ライン前の１画素後の画素Ｇ４２、及び注目画素の１ライン後の１画素後の画素Ｇ４４の組合せで構成される右側ブロックパターンＧＰ２を示す。
【００８１】
図１６（ｃ）は、注目画素とその左側の周辺画素、即ち、注目画素Ｇ３３、注目画素の２画素前の画素Ｇ１３、注目画素の１ライン前の１画素前の画素Ｇ２２、及び注目画素の１ライン後の１画素前の画素Ｇ２４の組合せで構成される右側ブロックパターンＧＰ２を示す。
【００８２】
図１６（ｄ）は、注目画素とその下側の周辺画素、即ち、注目画素Ｇ３３、注目画素の２ライン後の画素Ｇ３５、注目画素の１ライン後の１画素前の画素Ｇ２４、及び注目画素の１ライン後の１画素後の画素Ｇ４４の組合せで構成される上側ブロックパターンＧＰ４を示す。
【００８３】
図１７（ａ）は、注目画素とその上側の周辺画素、即ち、注目画素Ｇ３３、注目画素の４ライン前の画素Ｇ３Ｔ、注目画素の２ライン前の画素Ｇ３１、及び注目画素の２ライン後の画素Ｇ３５の組合せで構成される上側縦ラインパターンＧＰを示す。
【００８４】
図１７(ｂ)は、注目画素とその下側の周辺画素、即ち、注目画素Ｇ３３、注目画素の４ライン後の画素Ｇ３Ｂ、注目画素の２ライン後の画素Ｇ３５、及び注目画素の２ライン前の画素Ｇ３１の組合せで構成される下側縦ラインパターンＧＰ６を示す。
【００８５】
図１７（ｃ）は、注目画素とその左側の周辺画素、即ち、注目画素Ｇ３３、注目画素の４画素前の画素ＧＬ３、注目画素の２画素前の画素Ｇ１３、及び注目画素の２画素後の画素Ｇ５３の組合せで構成される左側横ラインパターンＧＰ７を示す。
【００８６】
図１７（ｄ）は、注目画素とその右側の周辺画素、即ち、注目画素Ｇ３３、注目画素の４画素後の画素ＧＲ３、注目画素の２画素後の画素Ｇ５３、及び注目画素の２画素前の画素Ｇ１３の組合せで構成される右側横ラインパターンＧＰ８を示す。
【００８７】
図１８（ａ）は、注目画素とその左上側の周辺画素、即ち、注目画素Ｇ３３、注目画素の２ライン前の２画素前の画素Ｇ１１、注目画素の１ライン前の１画素前の画素Ｇ２２、及び注目画素の１ライン後の１画素後の画素Ｇ４４の組合せで構成される左上側斜めラインパターンＧＰ９を示す。
【００８８】
図１８（ｂ）は、注目画素とその右下側の周辺画素、即ち、注目画素Ｇ３３、注目画素の２ライン後の２画素後の画素Ｇ５５、注目画素の１ライン後の１画素後の画素Ｇ４４、及び注目画素の１ライン前の１画素前の画素及びＧ２２の組合せで構成される右下側斜めラインパターンＧＰ１０を示す。
【００８９】
図１８（ｃ）は、注目画素とその右上側の周辺画素、即ち、注目画素Ｇ３３、注目画素の２ライン前の２画素後の画素Ｇ５１、注目画素の１ライン前の１画素後の画素Ｇ４２、及び注目画素の１ライン後の１画素前の画素Ｇ２４の組合せで構成される右上側斜めラインパターンＧＰ１１を示す。
【００９０】
図１８（ｄ）は、注目画素とその左下側の周辺画素、即ち、注目画素Ｇ３３、注目画素の２ライン後の２画素前の画素Ｇ１５、注目画素の１ライン後の１画素前の画素Ｇ２４、及び注目画素の１ライン前の１画素後の画素Ｇ４２の組合せで構成される左下側斜めラインパターンＧＰ１２を示す。
【００９１】
画素選択回路５７０は、上記のパターンＧＰ１〜ＧＰ１２を構成する画素の画素値を、それぞれ第１乃至第１２の加算パターンＡＰ１〜ＡＰ１２を構成する画素値として、それぞれ第１乃至第１２の変化幅算出回路５７１〜５８２へ供給する。
【００９２】
図３の画素空間配置で注目画素の色フィルタがＲ画素の時の４画素加算の加算パターンを図１９(ａ）〜（ｄ）に示す。Ｒ画素の４画素加算の場合は、４個の加算パターンから最も相関の高い最適な加算パターンを求める。
【００９３】
図１９（ａ）は、注目画素とその左上側の周辺画素、即ち、注目画素Ｒ３３、注目画素の２ライン前の画素Ｒ３１、注目画素の２ライン前の２画素前の画素Ｒ１１、及び注目画素の２画素前の画素Ｒ１３の組合せで構成される左上側ブロックパターンＲＰ１を示す。
【００９４】
図１９（ｂ）は、注目画素とその右上側の周辺画素、即ち、注目画素Ｒ３３、注目画素の２ライン前の画素Ｒ３１、注目画素の２ライン前の２画素後の画素Ｒ５１、及び注目画素の２画素後の画素Ｒ５３の組合せで構成される右上側ブロックパターンＲＰ２を示す。
【００９５】
図１９（ｃ）は、注目画素とその左下側の周辺画素、即ち、注目画素Ｒ３３、注目画素の２画素前の画素Ｒ１３、注目画素の２ライン後の画素Ｒ３５、及び注目画素の２ライン後の２画素前の画素Ｒ１５の組合せで構成される左下側ブロックパターンＲＰ３を示す。
【００９６】
図１９（ｄ）は、注目画素とその右下側の周辺画素、即ち、注目画素Ｒ３３、注目画素の２画素後の画素Ｒ５３、注目画素の２ライン後の画素Ｒ３５、及び注目画素の２ライン後の２画素後の画素Ｒ５５の組合せで構成される右下側ブロックパターンＲＰ４を示す。
【００９７】
画素選択回路５７０は、上記のパターンＰＲ１〜ＰＲ４をそれぞれ第１乃至第４の加算パターンＡＰ１〜ＡＰ４として、それぞれ第１乃至第４の変化幅算出回路５７１〜５７４へ供給する。
【００９８】
図３の画素空間配置で注目画素の色フィルタがＢ画素の時の４画素加算の加算パターンを図２０（ａ）〜（ｄ）に示す。Ｂ画素の４画素加算の場合は、４個の加算パターンから最も相関の高い最適な加算パターンを求める。Ｂ画素の４画素加算の場合の加算パターンを図２０に示す。
【００９９】
図２０（ａ）は、注目画素とその左上側の周辺画素、即ち、注目画素Ｂ３３、注目画素の２ライン前の画素Ｂ３１、注目画素の２ライン前の２画素前の画素Ｂ１１、及び注目画素の２画素前の画素Ｂ１３の組合せで構成される左上側ブロックパターンＢＰ１を示す。
【０１００】
図２０（ｂ）は、注目画素とその右上側の周辺画素、即ち、注目画素Ｂ３３、注目画素の２ライン前の画素Ｂ３１、注目画素の２ライン前の２画素後の画素Ｂ５１、及び注目画素の２画素後の画素Ｂ５３の組合せで構成される右上側ブロックパターンＢＰ２を示す。
【０１０１】
図２０（ｃ）は、注目画素とその左下側の周辺画素、即ち、注目画素Ｂ３３、注目画素の２画素前の画素Ｂ１３、注目画素の２ライン後の画素Ｂ３５、及び注目画素の２ライン後の２画素前の画素Ｂ１５の組合せで構成される左下側ブロックパターンＢＰ３を示す。
【０１０２】
図２０（ｄ）は、注目画素とその右下側の周辺画素、即ち、注目画素Ｂ３３、注目画素の２画素後の画素Ｂ５３、注目画素の２ライン後の画素Ｂ３５、及び注目画素の２ライン後の２画素後の画素Ｂ５５の組合せで構成される右下側ブロックパターンＢＰ４を示す。
【０１０３】
画素選択回路５７０は、上記のパターンＰＢ１〜ＰＢ４をそれぞれ第１乃至第４の加算パターンＡＰ１〜ＡＰ４として、それぞれ第１乃至第４の変化幅算出回路５７１〜５７４へ供給する。
【０１０４】
第１乃至第１２の変化幅算出回路５７１〜５８２は、各々、入力された第１乃至第１２の加算パターンＡＰ１〜ＡＰ１２を構成する画素値、即ち注目画素とその周囲の参照画素のうちの注目画素に対して特定の相対位置にある複数の画素の画素値の組合せで構成される複数の画素領域（加算パターン）の各々について最大画素値と最小画素値の差を変化幅として算出する。
【０１０５】
即ち、変化幅算出回路５７１〜５８２は、入力される４画素の画素値同士を比較して、最大画素値と最小画素値を求める。次に最大画素値と最小画素値の差分を求め当該加算パターン（画素領域）の変化幅として最小値算出回路５８５へ供給する。
【０１０６】
注目画素がＧ画素の場合、
変化幅算出回路５７１は、第１の加算パターンＡＰ１として入力された上側ブロックパターンＧＰ１の画素間の変化幅を算出し、第１の変化幅ＷＰ１として出力し、
変化幅算出回路５７２は、第２の加算パターンＡＰ２として入力された右側ブロックパターンＧＰ２の画素間の変化幅を算出し、第２の変化幅ＷＰ２として出力し、
変化幅算出回路５７３は、第３の加算パターンＡＰ３として入力された左側ブロックパターンＧＰ３の画素間の変化幅を算出し、第３の変化幅ＷＰ３として出力し、
変化幅算出回路５７４は、第４の加算パターンＡＰ４として入力された下側ブロックパターンＧＰ４の画素間の変化幅を算出し、第４の変化幅ＷＰ４として出力し、
変化幅算出回路５７５は、第５の加算パターンＡＰ５として入力された上側縦ラインパターンＧＰ５の画素間の変化幅を算出し、第５の変化幅ＷＰ５として出力し、
変化幅算出回路５７６は、第６の加算パターンＡＰ６として入力された下側縦ラインパターンＧＰ６の画素間の変化幅を算出し、第６の変化幅ＷＰ６として出力し、
変化幅算出回路５７７は、第７の加算パターンＡＰ７として入力された左側横ラインパターンＧＰ７の画素間の変化幅を算出し、第７の変化幅ＷＰ７として出力し、
変化幅算出回路５７８は、第８の加算パターンＡＰ８として入力された右側横ラインパターンＧＰ８の画素間の変化幅を算出し、第８の変化幅ＷＰ８として出力し、
変化幅算出回路５７９は、第９の加算パターンＡＰ９として入力された左上側斜めラインパターンＧＰ９の画素間の変化幅を算出し、第９の変化幅ＷＰ９として出力し、
変化幅算出回路５８０は、第１０の加算パターンＡＰ１０として入力された右下側斜めラインパターンＧＰ１０の画素間の変化幅を算出し、第１０の変化幅ＷＰ１０として出力し、
変化幅算出回路５８１は、第１１の加算パターンＡＰ１１として入力された右上側斜めラインパターンＧＰ１１の画素間の変化幅を算出し、第１１の変化幅ＷＰ１１として出力し、
変化幅算出回路５８２は、第１２の加算パターンＡＰ１２として入力された左下側斜めラインパターンＧＰ１２の画素間の変化幅を算出し、第１２の変化幅ＷＰ１２として出力する。
【０１０７】
注目画素がＲ画素或いはＢ画素の場合、
変化幅算出回路５７１は、第１の加算パターンＡＰ１として入力された左上側ブロックパターンＲＰ１或いはＢＰ１の画素間の変化幅を算出し、第１の変化幅ＷＰ１として出力し、
変化幅算出回路５７２は、第２の加算パターンＡＰ２として入力された右上側ブロックパターンＲＰ２或いはＢＰ２の画素間の変化幅を算出し、第２の変化幅ＷＰ２として出力し、
変化幅算出回路５７３は、第３の加算パターンＡＰ３として入力された左下側ブロックパターンＲＰ３或いはＢＰ３の画素間の変化幅を算出し、第３の変化幅ＷＰ３として出力し、
変化幅算出回路５７４は、第４の加算パターンＡＰ４として入力された右下側ブロックパターンＲＰ４或いはＢＰ４の画素間の変化幅を算出し、第４の変化幅ＷＰ４として出力する。
変化幅算出回路５７５〜５８２は変化幅算出の動作を行わない。
【０１０８】
最小値算出回路５８５の注目画素がＧ画素の場合の動作について説明する。
最小値算出回路５８５は、変化幅算出回路５７１〜５８２から出力される第１乃至第１２の変化幅ＷＰ１〜ＷＰ１２を受け、そのうちの最小のものを求め、変化幅が最小の加算パターンＡＰＭを画素指定回路５９０へ通知する。
画素指定回路５９０は、最小値算出回路５８５から通知された加算パターン（選択された加算パターン）ＡＰＭを構成する画素の画素位置（該画素を構成する画素領域）を示す情報Ｓｐを出力端子５０２を介して選択加算回路３０へ供給する。
【０１０９】
このような処理により、最小値算出回路５８５と画素指定回路５９０とで構成される相関領域検出部５９５は、変化幅算出回路５７１〜５８２から出力される第１乃至第１２の変化幅ＷＰ１〜ＷＰ１２を受け、変化幅が最小の加算パターンを構成する画素から成る画素領域を、相関の高い画素領域と判定し、該領域を識別する情報Ｓｐを選択加算回路３０へ供給する。
【０１１０】
上側ブロックパターンＧＰ１の構成画素が最小の変化幅の場合は、画素Ｇ３１、Ｇ２２、Ｇ４２、Ｇ３３の画素位置情報Ｓｐが選択加算回路３０へ供給される。
右側ブロックパターンＧＰ２の構成画素が最小の変化幅の場合は、画素Ｇ４２、Ｇ３３、Ｇ５３、Ｇ４４の画素位置情報Ｓｐが選択加算回路３０へ供給される。
左側ブロックパターンＧＰ３の構成画素が最小の変化幅の場合は、画素Ｇ２２、Ｇ１３、Ｇ３３、Ｇ２４の画素位置情報Ｓｐが選択加算回路３０へ供給される。
下側ブロックパターンＧＰ４の構成画素が最小の変化幅の場合は、画素Ｇ３３、Ｇ２４、Ｇ４４、Ｇ３５の画素位置情報Ｓｐが選択加算回路３０へ供給される。
【０１１１】
上側縦ラインパターンＧＰ５の構成画素が最小の変化幅の場合は、画素Ｇ３Ｔ、Ｇ３１、Ｇ３３、Ｇ３５の画素位置情報Ｓｐが選択加算回路３０へ供給される。
下側縦ラインパターンＧＰ６の構成画素が最小の変化幅の場合は、画素Ｇ３１、Ｇ３３、Ｇ３５、Ｇ３Ｂの画素位置情報Ｓｐが選択加算回路３０へ供給される。
左側横ラインパターンＧＰ７の構成画素が最小の変化幅の場合は、画素ＧＬ３、Ｇ１３、Ｇ３３、Ｇ５３の画素位置情報Ｓｐが選択加算回路３０へ供給される。
右側横ラインパターンＧＰ８の構成画素が最小の変化幅の場合は、画素Ｇ１３、Ｇ３３、Ｇ５３、ＧＲ３の画素位置情報Ｓｐが選択加算回路３０へ供給される。
【０１１２】
左上側斜めラインパターンＧＰ９の構成画素が最小の変化幅の場合は、画素Ｇ１１、Ｇ２２、Ｇ３３、Ｇ４４の画素位置情報Ｓｐが選択加算回路３０へ供給される。
右下側斜めラインパターンＧＰ１０の構成画素が最小の変化幅の場合は、画素Ｇ２２、Ｇ３３、Ｇ４４、Ｇ５５の画素位置情報Ｓｐが選択加算回路３０へ供給される。
右上側斜めラインパターンＧＰ１１の構成画素が最小の変化幅の場合は、画素Ｇ５１、Ｇ４２、Ｇ３３、Ｇ２４の画素位置情報Ｓｐが選択加算回路３０へ供給される。
左下側斜めラインパターンＧＰ１２の構成画素が最小の変化幅の場合は、画素Ｇ４２、Ｇ３３、Ｇ２４、Ｇ１５の画素位置情報Ｓｐが選択加算回路３０へ供給される。
【０１１３】
最小値算出回路５８５の注目画素がＲ画素の場合の動作について説明する。
最小値算出回路５８５は、変化幅算出回路５７１〜５７４から出力される第１乃至第４の変化幅ＷＰ１〜ＷＰ４を受け、そのうちの最小のものを求め、変化幅が最小の加算パターンＡＰＭを画素指定回路５９０へ通知する。
画素指定回路５９０は、最小値算出回路５８５から通知された加算パターン（選択された加算パターン）ＡＰＭを構成する画素の画素位置（該画素を構成する画素領域）を示す情報Ｓｐを出力端子５０２を介して選択加算回路３０へ供給する。
【０１１４】
このような処理により、相関領域検出部５９５は、変化幅算出回路５７１〜５７４から出力される第１乃至第４の変化幅ＷＰ１〜ＷＰ４を受け、変化幅が最小の加算パターンを構成する画素から成る画素領域を、相関の高い画素領域と判定し、該領域を識別する情報Ｓｐを選択加算回路３０へ供給する。
【０１１５】
左上側ブロックパターンＲＰ１の構成画素が最小の変化幅の場合は、画素Ｒ１１、Ｒ３１、Ｒ１３、Ｒ３３の画素位置情報Ｓｐが選択加算回路３０へ供給される。
右上側ブロックパターンＲＰ２の構成画素が最小の変化幅の場合は、画素Ｒ３１、Ｒ５１、Ｒ３３、Ｒ５３の画素位置情報Ｓｐが選択加算回路３０へ供給される。
左下側ブロックパターンＲＰ３の構成画素が最小の変化幅の場合は、画素Ｒ１３、Ｒ３３、Ｒ１５、Ｒ３５の画素位置情報Ｓｐが選択加算回路３０へ供給される。
右下側ブロックパターンＲＰ４の構成画素が最小の変化幅の場合は、画素Ｒ３３、Ｒ５３、Ｒ３５、Ｒ５５の画素位置情報Ｓｐが選択加算回路３０へ供給される。
【０１１６】
最小値算出回路５８５の注目画素がＢ画素の場合の動作について説明する。
最小値算出回路５８５は、変化幅算出回路５７１〜５７４から出力される第１乃至第４の変化幅ＷＰ１〜ＷＰ４を受け、そのうちの最小のものを求め、変化幅が最小の加算パターンＡＰＭを画素指定回路５９０へ通知する。
画素指定回路５９０は、最小値算出回路５８５から通知された加算パターン（選択された加算パターン）ＡＰＭを構成する画素の画素位置（該画素を構成する画素領域）を示す情報Ｓｐを出力端子５０２を介して選択加算回路３０へ供給する。
【０１１７】
このような処理により、相関領域検出部５９５は、変化幅算出回路５７１〜５７４から出力される第１乃至第４の変化幅ＷＰ１〜ＷＰ４を受け、変化幅が最小の加算パターンを構成する画素から成る画素領域を、相関の高い画素領域と判定し、該領域を識別する情報Ｓｐを選択加算回路３０へ供給する。
【０１１８】
左上側ブロックパターンＢＰ１の構成画素が最小の変化幅の場合は、画素Ｂ１１、Ｂ３１、Ｂ１３、Ｂ３３の画素位置情報Ｓｐが選択加算回路３０へ供給される。
右上側ブロックパターンＢＰ２の構成画素が最小の変化幅の場合は、画素Ｂ３１、Ｂ５１、Ｂ３３、Ｂ５３の画素位置情報Ｓｐが選択加算回路３０へ供給される。
左下側ブロックパターンＢＰ３の構成画素が最小の変化幅の場合は、画素Ｂ１３、Ｂ３３、Ｂ１５、Ｂ３５の画素位置情報Ｓｐが選択加算回路３０へ供給される。
右下側ブロックパターンＢＰ４の構成画素が最小の変化幅の場合は、画素Ｂ３３、Ｂ５３、Ｂ３５、Ｂ５５の画素位置情報Ｓｐが選択加算回路３０へ供給される。
【０１１９】
上記のようにＧ画素の場合は１２個の加算パターンから、Ｒ画素、Ｂ画素の場合は４個の加算パターンから、最も相関の高い最適な加算パターンを求めるように構成したので画素加算に使う画素に、注目画素と相関の高い画素を正しく選択することができ、画素加算後の画像の解像度劣化を小さくすることができる。
【０１２０】
次に、図２１を参照して、選択加算回路３０について説明する。
選択加算回路３０は、撮像部２から出力され、相関二重サンプリング処理回路３、プログラマブル利得増幅回路４、Ａ／Ｄ変換回路５を介し、さらに画素加算回路６内の遅延回路１９を介して供給される各注目画素の撮像信号Ｐｄを受け、そのうち、領域選択回路５０で選択された画素領域に含まれる画素の撮像信号を加算し、加算結果を加算画素信号Ｐｅとして出力する。
【０１２１】
選択加算回路３０は、例えば図２１に示すように構成されている。
図２１で、「２Ｌ−ＤＬ」は２ライン遅延回路を示し、「１Ｌ−ＤＬ」は１ライン遅延回路を示し、「４Ｄ−ＤＬ」は４画素遅延回路を示し、「２Ｄ−ＤＬ」は２画素遅延回路を示し、「１Ｄ−ＤＬ」は１画素遅延回路を示す。
【０１２２】
２ライン遅延回路３１１、３３１と、１ライン遅延回路３２２〜３２５と、４画素遅延回路３３０、３３１と、２画素遅延回路３３２〜３３７と、１画素遅延回路３４２〜３４５、３４７〜３５０、３５２〜３５５、３５７〜３６０、及び３６２〜３６５は図示のように接続さており、注目画素とその周囲の画素の画素値を示す画素信号を同時に出力する。
【０１２３】
例えば、注目画素が図３のＰ３３であるとき、注目画素Ｐ３３とその周囲の画素Ｐ１１〜Ｐ５５、ＰＬ３、Ｐ３Ｔ、Ｐ３Ｂ、ＰＲ１〜ＰＲ５の画素値を表す画素信号を同時に出力する。なお、図５の画素抽出部４０Ａの説明、図１４の画素抽出部５０Ａの説明の際と同じ符号Ｐ１１〜Ｐ５５、ＰＬ３、Ｐ３Ｔ、Ｐ３Ｂ、ＰＲＴ、ＰＲ１〜ＰＲ５、ＰＲＢが用いられているが、図５では、画素信号Ｐｃを遅延したものであり、図１４では、画素信号Ｐｆを遅延したものであるのに対し、図２１では、画素信号Ｐｄを遅延したものである点で異なる。
【０１２４】
遅延回路１９から出力された撮像信号Ｐｄは、選択加算回路３０の入力端子３０１に印加される。
入力された画素信号Ｐｄは、画素信号ＰＲＢとして、２ライン遅延回路３１１、１ライン遅延回路３２２〜３２５、２ライン遅延回路３１２で順次遅延されて、画素信号ＰＲＢに対して、それぞれ２、３、４、５、６、８ライン遅延した画素信号ＰＲ５、ＰＲ４、ＰＲ３、ＰＲ２、ＰＲ１、ＰＲＴが出力される。
画素信号ＰＲＢはまた、４画素遅延回路３３０で遅延されて、画素信号Ｐ３Ｂとして出力される。
【０１２５】
２ライン遅延回路３１１から出力された画素信号ＰＲ５は、２画素遅延回路３３２で２画素遅延され、さらに、１画素遅延回路３４２〜３４５で順次１画素遅延されて、画素信号ＰＲ５に対してそれぞれ２、３、４、５、６画素遅延した画素信号Ｐ５５、Ｐ４５、Ｐ３５、Ｐ２５、Ｐ１５が出力される。
１ライン遅延回路３２２から出力された画素信号ＰＲ４は、２画素遅延回路３３３で２画素遅延され、さらに、１画素遅延回路３４７〜３５０で順次１画素遅延されて、画素信号ＰＲ４に対してそれぞれ２、３、４、５、６画素遅延した画素信号Ｐ５４、Ｐ４４、Ｐ３４、Ｐ２４、Ｐ１４が出力される。
１ライン遅延回路３２３から出力された画素信号ＰＲ３は、２画素遅延回路３３４で２画素遅延され、さらに、１画素遅延回路３５２〜３５５で順次１画素遅延され、さらに、２画素遅延回路３３５で２画素遅延されて、画素信号ＰＲ３に対してそれぞれ２、３、４、５、６、８画素遅延した画素信号Ｐ４３、Ｐ３３、Ｐ２３、Ｐ１３、ＰＬ３が出力される。
【０１２６】
１ライン遅延回路３２４から出力された画素信号ＰＲ２は、２画素遅延回路３３６で２画素遅延され、さらに、１画素遅延回路３５７〜３６０で順次１画素遅延されて、画素信号ＰＲ２に対してそれぞれ２、３、４、５、６画素遅延した画素信号Ｐ５２、Ｐ４２、Ｐ３２、Ｐ２２、Ｐ１２が出力される。
１ライン遅延回路３２５から出力された画素信号ＰＲ１は、２画素遅延回路３３７で２画素遅延され、さらに、１画素遅延回路３６２〜３６５で順次１画素遅延されて、画素信号ＰＲ１に対してそれぞれ２、３、４、５、６画素遅延した画素信号Ｐ５１、Ｐ４１、Ｐ３１、Ｐ２１、Ｐ１１が出力される。
２ライン遅延回路３１２から出力された画素信号ＰＲＴは、４画素遅延回路３３１で遅延されて画素信号Ｐ３Ｔとして出力される。
【０１２７】
画素信号Ｐ５５〜Ｐ１１、Ｐ３Ｂ、ＰＲ３、ＰＬ３、Ｐ３Ｔは、それぞれ図３の画素Ｐ５５〜Ｐ１１、Ｐ３Ｂ、ＰＲ３、ＰＬ３、Ｐ３Ｔの画素値を表すものであり、画素信号ＰＲＢが入力されたタイミングで、同時に出力され、画素選択回路３７０に供給される。
【０１２８】
図２１において、同期信号発生回路１１から出力される水平同期信号ＨＤと垂直同期信号ＶＤは、画素加算回路６の同期信号入力端子１８を経て、選択加算回路３０の同期信号入力端子３１８へ印加され、画素選択回路３７０へ供給される。
領域選択回路５０の画素指定回路５９０から通知される加算パターンに属する画素の画素位置を示す情報Ｓｐは、選択加算回路３０の画素位置入力端子３１９を介して画素選択回路３７０へ供給される。
【０１２９】
画素選択回路３７０は水平同期信号ＨＤと垂直同期信号ＶＤに基づいて注目画素Ｐ３３の画素位置を判断して、注目画素の色フィルタ配列上の画素位置を特定する。
画素選択回路３７０は、注目画素が、Ｒ画素かＧ画素かＢ画素かをも特定する。そして画素指定回路５９０からの情報Ｓｐで示される加算パターン（注目画素との相関が最も高いものとして選択された加算パターン）を構成する画素の画素位置も特定する。
【０１３０】
画素選択回路３７０は、選択した加算パターンを構成する４個の画素の画素値Ｐｓ１〜Ｐｓ４を加算回路３９０へ供給する。制御回路１２から出力される１倍から４倍の増感倍率Ｌは、画素加算回路６の制御端子１７を経て、選択加算回路３０の制御端子３１７へ印加され、加算回路３９０へ供給される。
【０１３１】
加算回路３９０は、画素選択回路３７０から供給された４画素の画素値を加算して、加算結果を加算画素信号Ｐｅとして、出力端子３０２を介して映像信号処理回路７へ供給する。この加算に当たり、加算前の画素値に対して加算結果が所定の増感倍率Ｌを有するように、加算係数が掛けられる。即ち該加算係数を用いた加重加算が行われる。
例えば、４画素の画素値をＰｓ１、Ｐｓ２、Ｐｓ３、Ｐｓ４、増感倍率をＬとすると、
Ｐｅ＝（Ｐｓ１＋Ｐｓ２＋Ｐｓ３＋Ｐｓ４）×Ｌ／４
で表される演算により、加算画素値Ｐｅを求める。以下の説明で、Ｇ画素についての加算画素値はＧｅで、Ｒ画素についての加算画素値はＲｅで、Ｂ画素についての加算画素値はＢｅで示される。
【０１３２】
増感倍率Ｌは、例えば、被写体照度との関係で定められる。例えば、被写体照度が第１の所定の値（高照度側基準値）以上では、増感倍率Ｌは１と設定され、上記第１の所定の値よりも低い第２の所定の値（低照度側基準値）以下では、増感倍率を４とし、高照度側基準値よりも低く、低照度側基準よりも高い範囲（中照度範囲）では、照度の低下とともに、増感倍率を次第に大きくする。
加重加算に当たり、各画素の画素値に掛けられる加算係数は、増感倍率に依存する。
画素毎に異なる加算係数を用いることとしても良い。例えば、増感倍率が１のときは、注目画素に対する加算係数を１とし、他の画素に対する加算係数を０とし、増感倍率が最大値、例えば４のときは、すべての画素に対する加算係数を同じ値としても良い。
増感倍率が１と４の間では、増感倍率が１のときの値から、増感倍率が最大値のときの値へ、加算係数を連続的に変化させるようにしても良い。
【０１３３】
注目画素がＧ画素の時の動作を説明する。
第１の加算パターンＡＰ１としての上側ブロックパターンＧＰ１が選択された場合、加算回路３９０は、次式の演算を行う。
Ｇｅ＝（Ｇ３１＋Ｇ２２＋Ｇ４２＋Ｇ３３）×Ｌ／４
第２の加算パターンＡＰ２としての右側ブロックパターンＧＰ２が選択された場合、加算回路３９０は、次式の演算を行う。
Ｇｅ＝（Ｇ４２＋Ｇ３３＋Ｇ５３＋Ｇ４４）×Ｌ／４
第３の加算パターンＡＰ３としての左側ブロックパターンＧＰ３が選択された場合、加算回路３９０は、次式の演算を行う。
Ｇｅ＝（Ｇ２２＋Ｇ１３＋Ｇ３３＋Ｇ２４）×Ｌ／４
第４の加算パターンＡＰ４としての下側ブロックパターンＧＰ４が選択された場合、加算回路３９０は、次式の演算を行う。
Ｇｅ＝（Ｇ３３＋Ｇ２４＋Ｇ４４＋Ｇ３５）×Ｌ／４
【０１３４】
第５の加算パターンＡＰ５としての上側縦ラインパターンＧＰ５が選択された場合、加算回路３９０は、次式の演算を行う。
Ｇｅ＝（Ｇ３Ｔ＋Ｇ３１＋Ｇ３３＋Ｇ３５）×Ｌ／４
第６の加算パターンＡＰ６としての下側縦ラインパターンＧＰ６が選択された場合、加算回路３９０は、次式の演算を行う。
Ｇｅ＝（Ｇ３１＋Ｇ３３＋Ｇ３５＋Ｇ３Ｂ）×Ｌ／４
第７の加算パターンＡＰ７としての左側横ラインパターンＧＰ７が選択された場合、加算回路３９０は、次式の演算を行う。
Ｇｅ＝（ＧＬ３＋Ｇ１３＋Ｇ３３＋Ｇ５３）×Ｌ／４
第８の加算パターンＡＰ８としての右側横ラインパターンＧＰ８が選択された場合、加算回路３９０は、次式の演算を行う。
Ｇｅ＝（Ｇ１３＋Ｇ３３＋Ｇ５３＋ＧＲ３）×Ｌ／４
【０１３５】
第９の加算パターンＡＰ９としての左上側斜めラインパターンＧＰ９が選択された場合、加算回路３９０は、次式の演算を行う。
Ｇｅ＝（Ｇ１１＋Ｇ２２＋Ｇ３３＋Ｇ４４）×Ｌ／４
第１０の加算パターンＡＰ１０としての右下側斜めラインパターンＧＰ１０が選択された場合、加算回路３９０は、次式の演算を行う。
Ｇｅ＝（Ｇ２２＋Ｇ３３＋Ｇ４４＋Ｇ５５）×Ｌ／４
第１１の加算パターンＡＰ１１としての右上側斜めラインパターンＧＰ１１が選択された場合、加算回路３９０は、次式の演算を行う。
Ｇｅ＝（Ｇ５１＋Ｇ４２＋Ｇ３３＋Ｇ２４）×Ｌ／４
第１２の加算パターンＡＰ１２としての左下側斜めラインパターンＧＰ１２が選択された場合、加算回路３９０は、次式の演算を行う。
Ｇ＝（Ｇ４２＋Ｇ３３＋Ｇ２４＋Ｇ１５）×Ｌ／４
【０１３６】
注目画素がＲ画素の時の動作を説明する。
第１の加算パターンＡＰ１としての左上側ブロックパターンＲＰ１が選択された場合、加算回路３９０は、次式の演算を行う。
Ｒｅ＝（Ｒ１１＋Ｒ３１＋Ｒ１３＋Ｒ３３）×Ｌ／４
第２の加算パターンＡＰ２としての右上側ブロックパターンＲＰ２が選択された場合、加算回路３９０は、次式の演算を行う。
Ｒｅ＝（Ｒ３１＋Ｒ５１＋Ｒ３３＋Ｒ５３）×Ｌ／４
第３の加算パターンＡＰ３としての左下側ブロックパターンＲＰ３が選択された場合、加算回路３９０は、次式の演算を行う。
Ｒｅ＝（Ｒ１３＋Ｒ３３＋Ｒ１５＋Ｒ３５）×Ｌ／４
第４の加算パターンＡＰ４としての右下側ブロックパターンＲＰ４が選択された場合、加算回路３９０は、次式の演算を行う。
Ｒｅ＝（Ｒ３３＋Ｒ５３＋Ｒ３５＋Ｒ５５）×Ｌ／４
【０１３７】
注目画素がＢ画素の時の動作を説明する。
第１の加算パターンＡＰ１としての左上側ブロックパターンＢＰ１が選択された場合、加算回路３９０は、次式の演算を行う。
Ｂｅ＝（Ｂ１１＋Ｂ３１＋Ｂ１３＋Ｂ３３）×Ｌ／４
第２の加算パターンＡＰ２としての右上側ブロックパターンＢＰ２が選択された場合、加算回路３９０は、次式の演算を行う。
Ｂｅ＝（Ｂ３１＋Ｂ５１＋Ｂ３３＋Ｂ５３）×Ｌ／４
第３の加算パターンＡＰ３としての左下側ブロックパターンＢＰ３が選択された場合、加算回路３９０は、次式の演算を行う。
Ｂｅ＝（Ｂ１３＋Ｂ３３＋Ｂ１５＋Ｂ３５）×Ｌ／４
第４の加算パターンＡＰ４としての右下側ブロックパターンＢＰ４が選択された場合、加算回路３９０は、次式の演算を行う。
Ｂｅ＝（Ｂ３３＋Ｂ５３＋Ｂ３５＋Ｂ５５）×Ｌ／４
【０１３８】
上記の例では、Ｇ画素について、画素加算を、縦、横、斜めラインパターン、ブロックパターンなど、解像度の高い被写体を含む画像を想定した加算パターンを使うように構成したので、相関の高い画素同士が加算できる。解像度の高い被写体を含むシーンを画素加算した場合でも、高解像度部分がぼやけることを防ぐ効果がある。
【０１３９】
上記の例ではＲ画素とＢ画素については、ブロックパターンのみを用いているが、Ｒ画素とＢ画素の加算パターンとして、Ｇ画素同様に、縦、横、斜めラインパターンをも用い、これらについて相関を判定するように構成しても良い。
但し、Ｒ画素とＢ画素の場合は、Ｇ画素よりも加算対象の画素間の距離が長くなることから相関判定の誤判定の危険性が高まること、また回路規模が大きくなること、また人間の色の変化に対する感度が輝度よりも低いこと等を総合的に判断して加算パターンを決める。
【０１４０】
さらに、Ｇ画素についても、上記の１２の加算パターンのすべてを用いず、その一部のみを用いても良い。例えば、図１６（ａ）〜（ｄ）に示す４つのパターンのみを用いても良く、図１７（ａ）〜（ｄ）に示す４つのパターンのみを用いても良く、図１８（ａ）〜（ｄ）に示す４つのパターンのみを用いても良い。
【０１４１】
上記の例で説明したように、注目画素に最も近い相関の高い画素を使って画素加算を行うので画像解像度の劣化を最小限に抑えつつ感度向上を実現することができる。
【０１４２】
上記の例で説明したように、画素加算を撮像素子から出力された直後に(即ち映像信号処理回路７による処理の前に)行うことにより、映像信号処理の影響を受けずに、画素加算による高感度信号が生成できる。映像信号処理の後段で行う画素加算は、近傍に位置する画素を使った演算である色同時化処理や、フィルタ処理が施されているので、水平解像度や垂直解像度の低下が想定よりも大きい。また、小振幅信号のまま、映像信号処理を行うので階調落ちの可能性がある。画素加算を撮像素子から出力された直後に行うことにより、画像情報が損なわれる前に、画素加算して信号振幅を回復できるので、細部の画像情報が視認できる効果がある。
【０１４３】
また映像信号処理では非線形なフィルタ処理や階調変換処理が行われているので、低振幅信号を入力した場合、信号振幅が失われている場合がある。このため、映像信号処理の出力信号を２画素加算しても、２倍の画像信号にならない可能性がある。上記した例では映像信号処理前に画素加算するように構成したので、２画素加算したら、２倍の画像信号になる効果がある。
【０１４４】
上記の例では、４倍までの増感倍率Ｌを設定した場合について説明したが、４倍以上に設定しても良い。４倍以上の増感倍率Ｌの設定は、階調落ちに注意して使う必要がある。
【０１４５】
上記の例で説明したように、同じフィルタ色の画素を加算するので、混色することなく高感度なカラー画像が得られる。
【０１４６】
低照度時の撮像画像をアナログアンプで増幅すると信号よりもノイズが大きくなる。またデジタルアンプで増幅すると階調落ちが発生する。上記の例で説明したように本発明は、周辺画素の画素加算で高感度化をはかるので信号よりもノイズが小さくなる。例えば２画素加算すると信号成分は２倍になり、ノイズ成分は二乗根倍になり、相対的に純粋の信号成分が大きくなる。また、画像の性質として近傍に位置する画素同士は相関が高いことから、注目画素に最も近い位置の複数画素を加算することで実効性の高い感度向上を実現している。
【０１４７】
上記の例において、固体撮像素子の一構成例として図１のようにＣＣＤ撮像素子２を使った構成について説明したが、２次元イメージセンサであればＣＣＤ撮像素子に限らず、ＣＭＯＳ撮像素子でも、どのようなものでも良い。またインターライントランスファーＣＣＤに限らず、フレームトランスファーＣＣＤでもフレームインターライントランスファーＣＣＤであっても良い。
図２２に、ＣＭＯＳ撮像素子２０を使った構成を示す。ＣＭＯＳ撮像素子は、撮像機能単体のデバイスの場合もあるし、周辺機能を集積したデバイスの場合もある。
図２２は、周辺機能を集積したＣＭＯＳ撮像素子の場合について示す。
図１のＣＣＤ撮像素子２、相関二重サンプリング処理回路３、プログラマブル利得増幅回路４、Ａ／Ｄ変換回路５、タイミング発生回路１０の持つ機能は、ＣＭＯＳ撮像素子２０の中に含まれている。
【０１４８】
実施の形態２．
図２３は本発明の実施の形態２による撮像装置を示す。図２３において、検波回路１３が付加されていること、及び図１の制御回路１２の代わりに制御回路１２ｂが設けられている点を除き、実施の形態１の説明と同様であり、同様な効果を奏する。
【０１４９】
検波回路１３は、画素加算回路６から供給された信号の大きさを検波し、信号振幅のレベル、例えば平均レベルの検出値ＡＳＡを求め、照度情報として出力する。
【０１５０】
検波回路１３は、上記の検波において、信号振幅の平均レベルの算出値ＡＳＡを、全有効画素の画素値の総和を全有効画素数で除算して求める。
このような平均レベルの算出は、例えば垂直走査周期毎に行われ、例えば積分処理と割算処理とにより実行される。上記のようにして求められる信号振幅の平均レベルの「算出値」を、信号振幅の平均レベルの「検出値」と言うことがある。
【０１５１】
なお、上記の信号振幅の平均レベル算出における全有効画素数での除算は、画素数が２のｎ乗（ｎは整数）で与えられるときは、デジタル値のビットシフト処理で実現しても良い。また全有効画素数は、同じシステムでは定数であるので全有効画素数の除算を省略しても良い。
【０１５２】
制御回路１２ｂは、実施の形態１の制御回路１２と同様であるが、以下のように付加的な機能を有する。即ち、制御回路１２ｂは、検波回路１３から供給された信号振幅の平均レベルの検出値ＡＳＡに基づいて、レンズ１の絞りの制御、タイミング発生回路１０が発生するＣＣＤ撮像素子２の光電変換素子からの電荷読出しタイミング及び電荷強制排出タイミングの制御（従って、電荷蓄積時間、即ち露光時間の制御）、プログラマブル利得増幅回路４の増幅利得の制御、並びに画素加算回路６の画素加算処理の制御を行う。
さらに、映像信号処理回路７は、垂直走査周期毎に画素加算回路６の出力に含まれるノイズのレベルを算出し、制御回路１２ｂへ供給する。
【０１５３】
なお、上記の例では、上記の信号振幅の平均レベルの算出及びノイズレベルの算出を、垂直走査周期毎に行うものとして説明したが、検波回路１３及び映像信号処理回路７内部の信号処理時間並びに検波回路１３及び映像信号処理回路７から制御回路１２ｂへの伝送時間を考慮して、数回の垂直走査に１回だけ行うようにしても良い。
【０１５４】
上記の例では、検波回路１３は、信号振幅の平均レベルを算出したが、信号振幅のピーク検波とする場合もある。検波回路１３の出力は、着目する被写体の視認性が高くなるように生成する。例えば、ハイライト部分を白く飽和させたくない場合は、ピーク検波とし、ハイライト部分が白く飽和しても中間階調がはっきり見えれば良い場合は、平均値検波とする。
【０１５５】
以下で詳しく述べるように、画素加算回路６による感度制御も露光制御の一環として制御できるので照度環境が変化しても、常に最適な条件で被写体を視認できる画像が得られる効果がある。また、画素加算回路６は、加算係数を変えることで、信号振幅を調整する。
【０１５６】
制御回路１２ｂは、検波回路１３から得られる信号振幅の平均レベルの検出値ＡＳＡが一定となるように自動露光制御を行う。明るい環境での撮像で上記信号振幅が大きい時、制御回路１２ｂは、レンズ１の開口を絞るように制御してＣＣＤ撮像素子２への入射光量を減らしたり、タイミング発生回路１０による電荷強制排出タイミングの調整で、ＣＣＤ撮像素子２の光電変換素子に蓄積される電荷を強制排出するように制御して露光時間を減らしたりする。
【０１５７】
暗い環境での撮像で上記信号振幅が小さくなってきた時、制御回路１２ｂは、プログラマブル利得増幅回路４の増幅利得を増やすように制御して撮像信号を増幅する。しかしながら、上記増幅利得が大き過ぎるとノイズが目立つようになり視認性の悪い画像となる。他の方法として、制御回路１２ｂは、ＣＣＤ撮像素子２の光電変換素子からの電荷読出しを垂直走査周期単位で間引くように制御することにより露光時間を延ばすこともできる。しかしながら、露光時間が長すぎると動く被写体が残像となり視認性の悪い画像となる。さらに垂直走査周期単位で欠落する画像の補間（フレーム補間）を行なう回路が必要になる。
【０１５８】
実施の形態１と同様に、本実施の形態の制御回路１２ｂは、画素加算回路６への増感倍率Ｌを１倍から４倍に設定する。増感倍率Ｌの設定（調整）は、検波回路１３からの照度情報並びに露光パラメータに基づいて行われる。実施の形態１で述べたように、増感倍率Ｌの変更により加算係数ＫＲ、ＫＧ、ＫＢが調整される。従って、照度情報に基づいて加算係数が調整される。
また、注目画素と、注目画素の近傍領域内に位置し、注目画素に対して特定の位置にある画素から成る組合せを複数個形成して、形成した組合せの各々について変化幅を算出して、変化幅が最小の組合せに属する画素を加算する。
注目画素の近傍領域内に位置し、最も相関の高い４画素を加算することにより、４倍の感度向上を実現でき、極めて暗い環境での撮像でも大幅に視認性を改善することができる。また、フレーム周波数の低下を防止乃至抑制することができるので、動解像度の劣化はなく、水平解像度、垂直解像度の劣化は最小に抑えることができる。
【０１５９】
以下、被写体照度が変化したときの感度調整のための手順の一例を説明する。まず、露光時間は一定値（標準露光時間）Ｔｒに維持するものとして説明する。
被写体照度が徐々に暗くなり、信号振幅の平均レベルの検出値ＡＳＡが下がってくると、レンズ１の絞りを開放方向に制御して（図２４（ａ）の範囲Ｓａ）、信号振幅の平均レベルを維持する。ここで、「信号振幅の平均レベルを維持する」とは、画素加算回路６の出力の信号振幅の平均レベル、従って検波回路１３の出力で表される、信号振幅の平均レベルを維持することを意味する。
【０１６０】
レンズ１の絞りが開放（全開）になった後は、プログラマブル利得増幅回路４の増幅利得を増やすように制御して（図２４（ｂ）の範囲Ｓｂ）、信号振幅の平均レベルを維持する。プログラマブル利得増幅回路４の増幅利得が大きくなり、増幅利得の所定の上限値ＵＧＬよりも大きくなった後は、画素加算回路６の増感倍率Ｌを大きくなるように制御して（図２４（ｃ）の範囲Ｓｃ）、信号振幅の平均レベルを維持する。
【０１６１】
増感倍率Ｌの制御による平均レベルＡＳＡの維持は、増感倍率Ｌが最大値（Ｌ＝４）となるまで可能である。それよりもさらに被写体照度が低下すると、平均レベルＡＳＡは低下を開始する。
【０１６２】
標準露光時間Ｔｒにおいて、レンズ絞りを開放とし、増幅利得を最大とし、増感倍率Ｌが１であるときに画素加算回路６の出力が所定のレベルとなる照度ＨＬを高照度側基準値とし、高照度基準値ＨＬの１／４の照度、即ち、標準露光時間Ｔｒにおいて、レンズ絞りを開放とし、増幅利得を最大とし、増感倍率Ｌが４であるときに画素加算回路６の出力が所定のレベルとなる照度ＬＬを、低照度側基準値とする。
【０１６３】
被写体照度が徐々に明るくなって、低照度側基準値ＬＬ以上となり、信号振幅の平均レベルの検出値ＡＳＡが上がろうとすると、画素加算回路６の増感倍率Ｌを減らすように制御して（図２４（ｃ）の範囲Ｓｃ）、信号振幅の平均レベルを維持する。増感倍率Ｌが１倍まで小さくなると、次にプログラマブル利得増幅回路４の増幅利得を減らすように制御して、信号振幅の平均レベルを維持する。プログラマブル利得増幅回路４の増幅利得が減少し（図２４（ｂ）の範囲Ｓｂ）、所定の下限値ＬＧＬよりも小さくなった後は、レンズ１の絞りを遮光方向に制御して（図２４（ａ）の範囲Ｓａ）、信号振幅の平均レベルを維持する（図２４（ｅ））。さらに照度が高くなると、平均レベルＡＳＡは上昇する。
【０１６４】
以上の制御を行う結果、図２４（ｅ）に実線で示すように、下限ＬＬから上限ＵＬまでの範囲において、信号振幅の平均レベルＡＳＡを一定に保つことができる。
なお、露光時間を一定としたが、被写体の照度に応じて露光時間をも制御しても良い。例えば、照度が低下して、増感倍率Ｌが最大値になってもなおも、信号振幅が十分な値とならないときに、露光時間を長くすることとしても良い（図２４（ｄ）の範囲Ｓｄ）。逆に、照度が高くなり、絞りを最大に絞っても（Ｆ値を最も高くしても）、信号振幅が大きすぎる場合には、露光時間を短くしても良い（図２４（ｄ）の範囲Ｓｅ）。
このような露光時間の制御を加えると、図２４（ｅ）に点線で示すように、下限ＬＬｅから上限ＵＬｅまでの範囲において、信号振幅の平均レベルＡＳＡを一定に保つことができる。
【０１６５】
上記増幅利得の所定の上限値ＵＧＬは、映像信号処理回路７で検出されるノイズレベルの検出値ＡＮＬに基づいて決まる。（被写体照度が低下し、それに伴い撮像素子２の出力のＳ／Ｎが低下した場合に増幅利得を増加させる必要があることを考慮し、）ノイズレベルの検出値ＡＮＬが信号振幅の平均レベルの検出値ＡＳＡに対して所定のノイズ割合（第１の所定のノイズ割合、即ち許容上限値）ＮＰＲ１に達したときのプログラマブル利得増幅回路４の増幅利得を上記所定の上限値ＵＧＬとする。上記第１の所定のノイズ割合ＮＰＲ１は例えば１／５０と定められる。
【０１６６】
ノイズレベルの算出値ＡＮＬは、ノイズ低減処理によりノイズ成分を抽出し、全有効画素範囲のノイズ成分の絶対値の総和を全有効画素数で除算することで求まる。ノイズ低減処理により、入力信号のノイズを低減したノイズ低減信号ＮＲＳが得られる。上記入力信号（映像信号処理回路７内でノイズ低減処理を行う前の信号）から上記ノイズ低減信号ＮＲＳを減算することでノイズ成分を抽出できる。上記のようにして求められるノイズレベルの「算出値」を、「検出値」と言うことがある。
【０１６７】
用途によって被写体の視認にあたり許容できるノイズレベルは異なるため、上記第１の所定のノイズ割合ＮＰＲ１は、Ｓ／Ｎを重視するか、画像解像度を重視するか等、撮像装置の用途によって変わる。制御回路１２ｂは、プログラマブル利得増幅回路４に設定している利得、及び検波回路１３から制御回路１２ｂへ供給されるノイズレベルの検出値ＡＮＬを観測しながらダイナミックに上記増幅利得の所定の上限値ＵＧＬを決めてプログラマブル利得増幅回路４及び画素加算回路６を制御することとしても良く、撮像装置を工場から出荷する前にノイズレベルの検出値ＡＮＬが信号振幅の平均レベルの検出値ＡＳＡに対して第１の所定のノイズ割合ＮＰＲ１に達する増幅利得を測定し、上記所定の上限値ＵＧＬとして撮像装置の電源を切っても記憶内容を保持できる記憶部（不揮発性のメモリ、電池でバックアップされた揮発性のメモリなど）１６に書込み、制御回路１２ｂは上記増幅利得の所定の上限値ＵＧＬを参照してプログラマブル利得増幅回路４及び画素加算回路６を制御するようにしても良い。
【０１６８】
上記増幅利得の所定の下限値ＬＧＬは、映像信号処理回路７から制御回路１２ｂへ供給されるノイズレベルの検出値ＡＮＬに基づいて決まる。ノイズレベルの検出値ＡＮＬが信号振幅の平均レベルの検出値ＡＳＡに対して所定のノイズ割合（第２の所定のノイズ割合）ＮＰＲ２を下回ったときのプログラマブル利得増幅回路４の増幅利得を上記所定の下限値ＬＧＬとする。上記第２の所定のノイズ割合は、上記第１の所定のノイズ割合ＮＰＲ１と画素加算回路６による感度倍率（４倍）に基づいて決める。例えば、上記第２の所定のノイズ割合ＮＰＲ２は、１／２００（＝｛（１／５０）×（１／４）｝）と定められる。
【０１６９】
用途によって被写体の視認にあたり許容できるノイズレベルは異なるため、上記第２の所定のノイズ割合ＮＰＲ２は、Ｓ／Ｎを重視するか、画像解像度を重視するか等、撮像装置の用途によって変わる。制御回路１２ｂは、プログラマブル利得増幅回路４に設定している利得、及び検波回路１３から制御回路１２ｂへ供給されるノイズレベルの検出値ＡＮＬを観測しながらダイナミックに上記増幅利得の所定の下限値ＬＧＬを決めてプログラマブル利得増幅回路４及び画素加算回路６を制御することとしても良く、撮像装置を工場から出荷する前にノイズレベルの検出値ＡＮＬが信号振幅の平均レベルの検出値ＡＳＡに対して第２の所定のノイズ割合ＮＰＲ２に達する増幅利得を測定し、上記所定の下限値ＬＧＬとして撮像装置の電源を切っても記憶内容を保持できる記憶部１６に書込み、制御回路１２ｂは上記増幅利得の所定の下限値ＬＧＬを参照してプログラマブル利得増幅回路４及び画素加算回路６を制御するようにしても良い。
【０１７０】
制御回路１２ｂは、レンズ１の絞り、ＣＣＤ撮像素子２の露光時間、プログラマブル利得増幅回路４の増幅利得、画素加算回路６における画素加算による信号振幅調整機能を制御して信号振幅の平均レベル（画素加算回路６の出力の信号振幅の平均レベル）を維持する。
【０１７１】
以上のような制御を行っているので、検波回路１３で得られる信号の振幅ＡＳＡと、そのときの露光制御パラメータ（絞り、増幅利得、増感感度、露光時間）とに基づいて、被写体の照度を求めることができる。
言い換えれば、検波回路の出力に対し、露光制御パラメータに基づく逆算を行うことで得られる換算値は、被写体の照度に対応した値である。即ち、そのようなに逆算によって得られた照度が高照度側基準値以上か、低照度側輝度値以下か、それらの基準値の間の範囲にあるかを判断し、判断結果に応じ画素加算の制御（増感感度）を行うことができる。
【０１７２】
上記のように構成したので、露光制御の中で、絞り制御、増幅利得制御、画素加算制御、露光時間制御を順番に切替えることで、視認性の良い最適な明るさの画像を出力することができる効果がある。
【０１７３】
また、画素加算回路において、加算する画素の数ではなく加算係数で増感倍率を設定できるように構成し、増感倍率Ｌを整数に限らず小数を含む値で設定できることとしたので、露光制御の中で、画素加算制御も加算係数を小数点以下の値をも使ってシームレスに切替えられ、照度変化の過程で、画像の明るさが急変することなく見やすい画像が出力できる効果がある。
【０１７４】
実施の形態３．
図２５は本発明の実施の形態３による撮像装置を示す。図２５において、測光部１４が付加されている点、及び制御回路１２の代わりに制御回路１２ｃが設けられている点を除き、実施の形態１と同様であり、同様な効果を奏する。
【０１７５】
測光部１４は、レンズ１への光の入射方向の被写体照度を測光する。測光部１４の照度センサ（図示せず）の取り付け及び位置決めはレンズの光軸に基づいて決められ、レンズ１が撮像する被写体の照度を測光する。
【０１７６】
制御回路１２ｃは、実施の形態１の制御回路１２と同様であるが、以下のように付加的な機能を有する。即ち、制御回路１２ｃは、測光部１４から供給された照度値に基づいて、レンズ１の絞りの制御、タイミング発生回路１０が発生するＣＣＤ撮像素子２の光電変換素子からの電荷読出しタイミング及び電荷強制排出タイミングの制御（従って、電荷蓄積時間、即ち露光時間の制御）、プログラマブル利得増幅回路４の増幅利得の制御、並びに画素加算回路６の画素加算処理の制御を行う。
【０１７７】
制御回路１２ｃは、記憶部１６内に保持されている設定値テーブルに従って、レンズ１の絞り、ＣＣＤ撮像素子２の露光時間、プログラマブル利得増幅回路４の増幅利得、画素加算回路６の増感倍率の設定を行う。
設定値テーブルには、照度値ごとにレンズ１の絞り、ＣＣＤ撮像素子２の露光時間、プログラマブル利得増幅回路４の増幅利得、画素加算回路６の増感倍率が登録されている。
【０１７８】
照度が明るいときは、撮像素子２の露光時間はフレームレートに基づく標準露光時間Ｔｒに、プログラマブル利得増幅回路４の増幅利得は１倍に、画素加算回路６の増感倍率Ｌは１倍に設定してレンズ１の絞りを絞っていく（図２４（ａ）の範囲Ｓａ）。レンズ１が最大絞りになって照度がさらに明るくなると、撮像素子２の露光時間を標準露光時間Ｔｒから短く制御する（図２４(ｄ）の範囲Ｓｅ）。
【０１７９】
照度が暗くなると、撮像素子２の露光時間はフレームレートに基づく標準露光時間Ｔｒに、プログラマブル利得増幅回路４の増幅利得は１倍に、画素加算回路６の増感倍率は１倍に設定してレンズ１の絞りを開いていく（図２４（ａ）の範囲Ｓａ）。レンズ１が絞り開放になって照度がさらに暗くなると、プログラマブル利得増幅回路４の増幅利得を１倍から大きくしていく（図２４（ｂ）の範囲Ｓｂ）。プログラマブル利得増幅回路４の増幅利得が、上記の上限値（画素加算回路６の出力に含まれるノイズのレベルが上記の第１の所定の割合に達したときの増幅利得の値、即ち、該ノイズレベルが上記の第１の所定の割合（許容範囲の上限値）を超えないという制約条件を満たす最大利得値）となって照度がさらに暗くなると、画素加算回路６の増感倍率を１倍から大きくしていく（図２４（ｃ）の範囲Ｓｃ）。さらに暗くなると、露光時間を長くする（図２４（ｄ）の範囲Ｓｄ）。
【０１８０】
上記のように構成したので、露光制御の中で、絞り制御、増幅利得制御、画素加算制御及び露光時間制御を順番に切替えることで、視認性の良い最適な明るさの画像を出力することができる効果がある。
【０１８１】
また、画素加算回路において、加算する画素の数ではなく加算係数で増感倍率を設定できるように構成し、増感倍率Ｌを整数に限らず小数を含む値で設定できることとしたので、露光制御の中で、画素加算制御も加算係数を小数点以下の値をも使ってシームレスに切替えられ、照度変化の過程で、画像の明るさが急変することなく見やすい画像が出力できる効果がある。
【０１８２】
なお、実施の形態２及び３において、増感倍率を最大にしても信号振幅が十分でない場合に露光時間を長くする旨説明したが、これはフレームレートが変わらないようにすることを優先した結果である。フレームレートよりも解像度を重視する場合には、露光時間を長くする制御を先に行い、露光時間を（例えば所定の値まで）長くしても信号振幅が十分でない場合に増感倍率を大きくすることとしても良く、増感倍率を大きくする制御と露光時間を長くする制御を平行して行っても良い。
【符号の説明】
【０１８３】
１ レンズ、 ２ ＣＣＤ撮像素子、 ３ 相関二重サンプリング処理回路、 ４ プログラマブル利得増幅回路、 ５ Ａ／Ｄ変換回路、 ６ 画素加算回路、 ７ 映像信号処理回路、 ８ 映像信号出力端子、 ９ 駆動回路、 １０ タイミング発生回路、 １１ 同期信号発生回路、 １２ 制御回路、 １３ 検波回路、 １４ 測光部、 １５ 入力端子、 １６ 出力端子、 １７ 制御端子、 １８ 同期信号入力端子、 １９ 遅延回路、 ２０ ＣＭＯＳ撮像素子、 ３０ 選択加算回路、 ４０ ノイズ低減回路、 ４０Ａ 画素抽出部、 ４０Ｂ 加重加算部、 ４０Ｃ 係数設定回路、 ５０ 領域選択回路、 ５０Ａ 画素抽出部、 ５０Ｂ 相関判定部、 ３０１ 入力端子、 ３０２ 出力端子、 ３１１〜３１２ ２ライン遅延回路、 ３１７ 制御端子、 ３１８ 同期信号入力端子、 ３１９ 画素位置入力端子、 ３２２〜３２５ １ライン遅延回路、 ３３０〜３３１ ４画素遅延回路、 ３３２〜３３７ ２画素遅延回路、 ３４２〜３６５ １画素遅延回路、 ３７０ 画素選択回路、 ３９０ 加算回路、 ４０１ 入力端子、 ４０２ 出力端子、 ４１７ 制御端子、 ４１８ 同期信号入力端子、 ４２２〜４２５ １ライン遅延回路、 ４３２〜４５５ １画素遅延回路、 ４６１〜４８５ 乗算回路、 ４９０ 加算回路、 ５０１ 入力端子、 ５０２ 出力端子、 ５１１〜５１２ ２ライン遅延回路、 ５１８ 同期信号入力端子、 ５２２〜５２５ １ライン遅延回路、 ５３０〜５３１ ４画素遅延回路、 ５３２〜５３７ ２画素遅延回路、 ５４２〜５６５ １画素遅延回路、 ５７０ 画素選択回路、 ５７１〜５８２ 変化幅算出回路、 ５８５ 最小値算出回路、 ５９０ 画素指定回路、 ５９５ 相関領域検出部。
【特許請求の範囲】
【請求項１】
それぞれ異なる色成分の光を検出して対応する撮像信号を出力する複数種の画素を有する撮像部と、
前記撮像部から出力された撮像信号のノイズを低減するノイズ低減回路と、
前記ノイズ低減回路でノイズが低減された撮像信号に基づいて、各注目画素について、各注目画素とその周囲の同じ色成分の光を検出する画素で形成される領域のうち、相関の高い領域を選択する領域選択回路と、
前記撮像部から出力された各注目画素の撮像信号について、前記領域選択回路で選択された画素領域に含まれる画素の撮像信号を加算して加算結果を加算画素信号として出力する選択加算回路と
を備えることを特徴とする撮像装置。
【請求項２】
前記複数の色成分が第１、第２及び第３の色成分を含み、
前記複数種の画素が、
第１の色成分の光を検出して対応する撮像信号を発生する第１種の画素と、第２の色成分の光を検出して対応する撮像信号を発生する第２種の画素と、第３の色成分の光を検出して対応する撮像信号を発生する第３種の画素と、前記第２の色成分の光を検出して対応する撮像信号を発生する第４種の画素とを含み、
前記第１乃至第４種の画素が、水平２画素、垂直２画素の組み合わせを基本単位として画面内に規則的に配列されており、
前記基本単位内の１つの対角線の方向に前記第２種及び第４種の画素が並んで配置され、他の対角線の方向に前記第１種及び第３種の画素が並んで配置されている
ことを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記第１の色成分が赤、前記第２の色成分が緑、前記第３の色成分が青であることを特徴とする請求項２に記載の撮像装置。
【請求項４】
前記第１種の画素が、前記第１の色成分の光を透過させる第１の色フィルタを設けた画素であり、
前記第２種の画素及び第４種の画素が、前記第２の色成分の光を透過させる第２の色フィルタを設けた画素であり、
前記第３種の画素が、前記第３の色成分の光を透過させる第３の色フィルタを設けた画素である
ことを特徴とする請求項２又は３に記載の撮像装置。
【請求項５】
前記ノイズ低減回路は、注目画素と、その周囲の画素のうちの注目画素と同じ色成分の光を検出する画素からの撮像信号に対して二次元フィルタリングを行うことにより、前記ノイズの低減を行うことを特徴とする請求項１乃至４のいずれかに記載の撮像装置。
【請求項６】
前記フィルタリングが低域通過フィルタリングであることを特徴とする請求項５に記載の撮像装置。
【請求項７】
前記領域選択回路は、
前記ノイズ低減回路から出力された撮像信号を所定の時間だけ遅延させて
注目画素及びその周囲の画素の画素値を表す信号を同時に抽出する画素抽出部と、
前記画素抽出部で抽出された画素のうちの、注目画素と、該注目画素と同じ色成分の光を検出する複数の画素とから成る組合せを複数個形成し、該複数個の組合せのうち、当該組合せを構成する画素の画素値の最大値と最小値の差が最小である組合せを前記相関の高い画素領域を構成するものと判定する相関判定部とを備える
ことを特徴とする請求項２に記載の撮像装置。
【請求項８】
前記相関判定部は、
前記画素抽出部で抽出された画素のうちの、注目画素と、該注目画素と同じ色成分の光を検出する複数の画素とから成る組合せを複数個形成し、該複数個の組合せを出力する選択回路と、
前記選択回路から出力される複数個の組合せにそれぞれについて、前記最大値と最小値の差を変化幅として算出する変化幅算出回路と、
前記変化幅算出回路で算出された変化幅のうちの最小のものを生じさせた組合せが、前記相関の高い画素領域を構成するものであると判定する相関領域検出部とを備える
ことを特徴とする請求項７に記載の撮像装置。
【請求項９】
第２の色成分の撮像信号を出力する画素を注目画素として、前記相関判定部で形成される組合せが、
注目画素、注目画素の２ライン前に位置する画素、注目画素の１ライン前の１画素前に位置する画素、及び注目画素の１ライン前の１画素後に位置する画素から成る組合せと、
注目画素、注目画素の１ライン前の１画素後に位置する画素、注目画素の２画素後に位置する画素、及び注目画素の１ライン後の１画素後に位置する画素から成る組合せと、
注目画素、注目画素の１ライン前の１画素前に位置する画素、注目画素の２画素前に位置する画素、及び注目画素の１ライン後の１画素前に位置する画素から成る組合せと、
注目画素、注目画素の１ライン後の１画素前に位置する画素、注目画素の１ライン後の１画素後に位置する画素、及び注目画素の２ライン後に位置する画素から成る組合せとを含む
ことを特徴とする請求項７又は８に記載の撮像装置。
【請求項１０】
第２の色成分の撮像信号を出力する画素を注目画素として、前記相関判定部で形成される組合せが、
注目画素、注目画素の２ライン前に位置する画素、注目画素の４ライン前に位置する画素、及び注目画素の２ライン後に位置する画素から成る組合せと、
注目画素、注目画素の２ライン前に位置する画素、注目画素の２ライン後に位置する画素、及び注目画素の４ライン後に位置する画素から成る組合せと、
注目画素、注目画素の２画素前に位置する画素、注目画素の４画素前に位置する画素、及び
注目画素の２画素後に位置する画素から成る組合せと、
注目画素、注目画素の２画素前に位置する画素、注目画素の２画素後に位置する画素、及び注目画素の４画素後に位置する画素から成る組合せとを含む
ことを特徴とする請求項７乃至９のいずれかに記載の撮像装置。
【請求項１１】
第２の色成分の撮像信号を出力する画素を注目画素として、前記相関判定部で形成される組合せが、
注目画素、注目画素の２ライン前の２画素前に位置する画素、注目画素の１ライン前の１画素前に位置する画素、及び注目画素の１ライン後の１画素後に位置する画素から成る組合せと、
注目画素、注目画素の１ライン前の１画素前に位置する画素、注目画素の１ライン後の１画素後に位置する画素、及び注目画素の２ライン後の２画素後に位置する画素から成る組合せと、
注目画素、注目画素の２ライン前の２画素後に位置する画素、注目画素の１ライン前の１画素後に位置する画素、及び注目画素の１ライン後の１画素前に位置する画素から成る組合せと、
注目画素、注目画素の１ライン前の１画素後に位置する画素、注目画素の１ライン後の１画素前に位置する画素、及び注目画素の２ライン前の２画素前に位置する画素から成る組合せとを含む
ことを特徴とする請求項７乃至１０のいずれかに記載の撮像装置。
【請求項１２】
第１又は第３の色成分の撮像信号を出力する画素を注目画素として、前記相関判定部で形成される組合せが、
注目画素、注目画素の２ライン前に位置する画素、注目画素の２ライン前の２画素前に位置する画素、及び注目画素の２画素前に位置する画素から成る組合せと、
注目画素、注目画素の２ライン前に位置する画素、注目画素の２ライン前の２画素後に位置する画素、及び注目画素の２画素後に位置する画素から成る組合せと、
注目画素、注目画素の２画素前に位置する画素、注目画素の２ライン後に位置する画素、及び注目画素の２ライン後の２画素前に位置する画素から成る組合せと、
注目画素、注目画素の２画素後に位置する画素、注目画素の２ライン後に位置する画素、及び注目画素の２ライン後の２画素後に位置する画素から成る組合せとを含む
ことを特徴とする請求項７乃至１１のいずれかに記載の撮像装置。
【請求項１３】
前記選択加算回路における加算は、増感倍率に基づいて定められた加算係数を用いた加重加算により行われ、
被写体の照度を表す照度情報を生成する照度情報生成部と、
前記照度情報に基づいて前記増感倍率を決定する制御回路とをさらに備える
ことを特徴とする請求項１乃至１２のいずれかに記載の撮像装置。
【請求項１４】
前記照度情報で示される照度が所定の値以下になると前記増感倍率を１よりも大きな値とすることを特徴とする請求項１３に記載の撮像装置。
【請求項１５】
前記撮像部のレンズ絞り及び露光時間を制御する制御回路と、前記撮像部から出力された撮像信号を増幅する信号増幅部とをさらに備え、
前記所定の照度は、レンズ絞りを開放とし、前記露光時間を標準露光時間とし、信号増幅部の増幅利得を、前記画素加算回路に含まれるノイズのレベルが所定値を超えないとの制約条件を満たす最大利得値とし、前記選択加算回路の増感倍率を１としたときに、前記選択加算回路の出力が、所定のレベルとなる照度であることを特徴とする請求項１４に記載の撮像装置。
【請求項１６】
前記照度情報生成部が、被写体からの光に基づいて前記照度を測定して、前記照度情報を生成する測光部を有する
ことを特徴とする請求項１３乃至１５のいずれかに記載の撮像装置。
【請求項１７】
前記照度情報生成部は、前記選択加算回路で生成された前記加算画素信号のレベル及び露光制御パラメータに基いて前記照度情報を生成することを特徴とする請求項１３乃至１５のいずれかに記載の撮像装置。
【請求項１】
それぞれ異なる色成分の光を検出して対応する撮像信号を出力する複数種の画素を有する撮像部と、
前記撮像部から出力された撮像信号のノイズを低減するノイズ低減回路と、
前記ノイズ低減回路でノイズが低減された撮像信号に基づいて、各注目画素について、各注目画素とその周囲の同じ色成分の光を検出する画素で形成される領域のうち、相関の高い領域を選択する領域選択回路と、
前記撮像部から出力された各注目画素の撮像信号について、前記領域選択回路で選択された画素領域に含まれる画素の撮像信号を加算して加算結果を加算画素信号として出力する選択加算回路と
を備えることを特徴とする撮像装置。
【請求項２】
前記複数の色成分が第１、第２及び第３の色成分を含み、
前記複数種の画素が、
第１の色成分の光を検出して対応する撮像信号を発生する第１種の画素と、第２の色成分の光を検出して対応する撮像信号を発生する第２種の画素と、第３の色成分の光を検出して対応する撮像信号を発生する第３種の画素と、前記第２の色成分の光を検出して対応する撮像信号を発生する第４種の画素とを含み、
前記第１乃至第４種の画素が、水平２画素、垂直２画素の組み合わせを基本単位として画面内に規則的に配列されており、
前記基本単位内の１つの対角線の方向に前記第２種及び第４種の画素が並んで配置され、他の対角線の方向に前記第１種及び第３種の画素が並んで配置されている
ことを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記第１の色成分が赤、前記第２の色成分が緑、前記第３の色成分が青であることを特徴とする請求項２に記載の撮像装置。
【請求項４】
前記第１種の画素が、前記第１の色成分の光を透過させる第１の色フィルタを設けた画素であり、
前記第２種の画素及び第４種の画素が、前記第２の色成分の光を透過させる第２の色フィルタを設けた画素であり、
前記第３種の画素が、前記第３の色成分の光を透過させる第３の色フィルタを設けた画素である
ことを特徴とする請求項２又は３に記載の撮像装置。
【請求項５】
前記ノイズ低減回路は、注目画素と、その周囲の画素のうちの注目画素と同じ色成分の光を検出する画素からの撮像信号に対して二次元フィルタリングを行うことにより、前記ノイズの低減を行うことを特徴とする請求項１乃至４のいずれかに記載の撮像装置。
【請求項６】
前記フィルタリングが低域通過フィルタリングであることを特徴とする請求項５に記載の撮像装置。
【請求項７】
前記領域選択回路は、
前記ノイズ低減回路から出力された撮像信号を所定の時間だけ遅延させて
注目画素及びその周囲の画素の画素値を表す信号を同時に抽出する画素抽出部と、
前記画素抽出部で抽出された画素のうちの、注目画素と、該注目画素と同じ色成分の光を検出する複数の画素とから成る組合せを複数個形成し、該複数個の組合せのうち、当該組合せを構成する画素の画素値の最大値と最小値の差が最小である組合せを前記相関の高い画素領域を構成するものと判定する相関判定部とを備える
ことを特徴とする請求項２に記載の撮像装置。
【請求項８】
前記相関判定部は、
前記画素抽出部で抽出された画素のうちの、注目画素と、該注目画素と同じ色成分の光を検出する複数の画素とから成る組合せを複数個形成し、該複数個の組合せを出力する選択回路と、
前記選択回路から出力される複数個の組合せにそれぞれについて、前記最大値と最小値の差を変化幅として算出する変化幅算出回路と、
前記変化幅算出回路で算出された変化幅のうちの最小のものを生じさせた組合せが、前記相関の高い画素領域を構成するものであると判定する相関領域検出部とを備える
ことを特徴とする請求項７に記載の撮像装置。
【請求項９】
第２の色成分の撮像信号を出力する画素を注目画素として、前記相関判定部で形成される組合せが、
注目画素、注目画素の２ライン前に位置する画素、注目画素の１ライン前の１画素前に位置する画素、及び注目画素の１ライン前の１画素後に位置する画素から成る組合せと、
注目画素、注目画素の１ライン前の１画素後に位置する画素、注目画素の２画素後に位置する画素、及び注目画素の１ライン後の１画素後に位置する画素から成る組合せと、
注目画素、注目画素の１ライン前の１画素前に位置する画素、注目画素の２画素前に位置する画素、及び注目画素の１ライン後の１画素前に位置する画素から成る組合せと、
注目画素、注目画素の１ライン後の１画素前に位置する画素、注目画素の１ライン後の１画素後に位置する画素、及び注目画素の２ライン後に位置する画素から成る組合せとを含む
ことを特徴とする請求項７又は８に記載の撮像装置。
【請求項１０】
第２の色成分の撮像信号を出力する画素を注目画素として、前記相関判定部で形成される組合せが、
注目画素、注目画素の２ライン前に位置する画素、注目画素の４ライン前に位置する画素、及び注目画素の２ライン後に位置する画素から成る組合せと、
注目画素、注目画素の２ライン前に位置する画素、注目画素の２ライン後に位置する画素、及び注目画素の４ライン後に位置する画素から成る組合せと、
注目画素、注目画素の２画素前に位置する画素、注目画素の４画素前に位置する画素、及び
注目画素の２画素後に位置する画素から成る組合せと、
注目画素、注目画素の２画素前に位置する画素、注目画素の２画素後に位置する画素、及び注目画素の４画素後に位置する画素から成る組合せとを含む
ことを特徴とする請求項７乃至９のいずれかに記載の撮像装置。
【請求項１１】
第２の色成分の撮像信号を出力する画素を注目画素として、前記相関判定部で形成される組合せが、
注目画素、注目画素の２ライン前の２画素前に位置する画素、注目画素の１ライン前の１画素前に位置する画素、及び注目画素の１ライン後の１画素後に位置する画素から成る組合せと、
注目画素、注目画素の１ライン前の１画素前に位置する画素、注目画素の１ライン後の１画素後に位置する画素、及び注目画素の２ライン後の２画素後に位置する画素から成る組合せと、
注目画素、注目画素の２ライン前の２画素後に位置する画素、注目画素の１ライン前の１画素後に位置する画素、及び注目画素の１ライン後の１画素前に位置する画素から成る組合せと、
注目画素、注目画素の１ライン前の１画素後に位置する画素、注目画素の１ライン後の１画素前に位置する画素、及び注目画素の２ライン前の２画素前に位置する画素から成る組合せとを含む
ことを特徴とする請求項７乃至１０のいずれかに記載の撮像装置。
【請求項１２】
第１又は第３の色成分の撮像信号を出力する画素を注目画素として、前記相関判定部で形成される組合せが、
注目画素、注目画素の２ライン前に位置する画素、注目画素の２ライン前の２画素前に位置する画素、及び注目画素の２画素前に位置する画素から成る組合せと、
注目画素、注目画素の２ライン前に位置する画素、注目画素の２ライン前の２画素後に位置する画素、及び注目画素の２画素後に位置する画素から成る組合せと、
注目画素、注目画素の２画素前に位置する画素、注目画素の２ライン後に位置する画素、及び注目画素の２ライン後の２画素前に位置する画素から成る組合せと、
注目画素、注目画素の２画素後に位置する画素、注目画素の２ライン後に位置する画素、及び注目画素の２ライン後の２画素後に位置する画素から成る組合せとを含む
ことを特徴とする請求項７乃至１１のいずれかに記載の撮像装置。
【請求項１３】
前記選択加算回路における加算は、増感倍率に基づいて定められた加算係数を用いた加重加算により行われ、
被写体の照度を表す照度情報を生成する照度情報生成部と、
前記照度情報に基づいて前記増感倍率を決定する制御回路とをさらに備える
ことを特徴とする請求項１乃至１２のいずれかに記載の撮像装置。
【請求項１４】
前記照度情報で示される照度が所定の値以下になると前記増感倍率を１よりも大きな値とすることを特徴とする請求項１３に記載の撮像装置。
【請求項１５】
前記撮像部のレンズ絞り及び露光時間を制御する制御回路と、前記撮像部から出力された撮像信号を増幅する信号増幅部とをさらに備え、
前記所定の照度は、レンズ絞りを開放とし、前記露光時間を標準露光時間とし、信号増幅部の増幅利得を、前記画素加算回路に含まれるノイズのレベルが所定値を超えないとの制約条件を満たす最大利得値とし、前記選択加算回路の増感倍率を１としたときに、前記選択加算回路の出力が、所定のレベルとなる照度であることを特徴とする請求項１４に記載の撮像装置。
【請求項１６】
前記照度情報生成部が、被写体からの光に基づいて前記照度を測定して、前記照度情報を生成する測光部を有する
ことを特徴とする請求項１３乃至１５のいずれかに記載の撮像装置。
【請求項１７】
前記照度情報生成部は、前記選択加算回路で生成された前記加算画素信号のレベル及び露光制御パラメータに基いて前記照度情報を生成することを特徴とする請求項１３乃至１５のいずれかに記載の撮像装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【公開番号】特開２０１２−１９５６７７（Ｐ２０１２−１９５６７７Ａ）
【公開日】平成２４年１０月１１日（２０１２．１０．１１）
【国際特許分類】
【出願番号】特願２０１１−５６６３０（Ｐ２０１１−５６６３０）
【出願日】平成２３年３月１５日（２０１１．３．１５）
【出願人】（０００００６０１３）三菱電機株式会社 (33,312)
【Ｆターム（参考）】
【公開日】平成２４年１０月１１日（２０１２．１０．１１）
【国際特許分類】
【出願日】平成２３年３月１５日（２０１１．３．１５）
【出願人】（０００００６０１３）三菱電機株式会社 (33,312)
【Ｆターム（参考）】
[ Back to top ]