固体撮像装置
【課題】固体撮像装置において画素欠陥の補正および／あるいはノイズ抑圧の動作を行う際に解像度の低下を避ける。
【解決手段】光電変換を行うｍ×ｎ画素の受光領域５０１と、受光領域の画素毎に光電変換したアナログ信号をデジタル信号に変換するＡ／Ｄ変換器４０３と、を具備し、Ａ／Ｄ変換器の出力信号が処理されたデジタル映像信号を順次出力する固体撮像装置において、受光領域内のｐ×ｑ画素の第１領域に含まれる複数の同色デジタル信号を得るとともにその中から第１領域内の中央画素の欠陥を検出して補正する、もしくは、中央画素のノイズを抑圧する画素欠陥補正・ノイズ抑圧回路５００と、受光領域内のｒ×ｓ画素の第２領域に含まれる複数の異色デジタル信号を得るとともにその中から中央画素に存在すべき高周波成分を抽出して解像感の復元を行う解像感復元回路５５０とを具備する。
【解決手段】光電変換を行うｍ×ｎ画素の受光領域５０１と、受光領域の画素毎に光電変換したアナログ信号をデジタル信号に変換するＡ／Ｄ変換器４０３と、を具備し、Ａ／Ｄ変換器の出力信号が処理されたデジタル映像信号を順次出力する固体撮像装置において、受光領域内のｐ×ｑ画素の第１領域に含まれる複数の同色デジタル信号を得るとともにその中から第１領域内の中央画素の欠陥を検出して補正する、もしくは、中央画素のノイズを抑圧する画素欠陥補正・ノイズ抑圧回路５００と、受光領域内のｒ×ｓ画素の第２領域に含まれる複数の異色デジタル信号を得るとともにその中から中央画素に存在すべき高周波成分を抽出して解像感の復元を行う解像感復元回路５５０とを具備する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、固体撮像装置に係り、特に解像感の復元システムを構成するために混載されるロジック回路に関するもので、例えばＣＭＯＳセンサなどのデジタル映像信号を出力する固体撮像装置に使用されるものである。
【背景技術】
【０００２】
従来の固体撮像装置は、画素欠陥補正とノイズ抑圧を同時に行うロジック回路が混載されているものがある。このロジック回路は、例えば、５×５＝２５画素の領域に含まれる３×３＝９個の同色画素のデジタル信号から中央画素の画素欠陥を検出補正し、併せて中央画素のノイズ抑圧を行う。しかし、上記したような画素欠陥の補正およびノイズ抑圧の動作は、結果的にデジタル映像信号の狭帯域化が施される演算処理を行うので、その分の解像度の低下は避けられないことが問題点となっている。
【０００３】
一方、従来の固体撮像装置は、中央画素のノイズ抑圧を行うロジック回路が混載されているものがある。このロジック回路は、例えば、５×５＝２５画素の領域に含まれる３×３＝９個の同色画素のデジタル信号から中央画素のノイズ抑圧を行う。しかし、このようにノイズ抑圧を行う動作でも、結果的にデジタル映像信号の狭帯域化が施される演算処理を行うので、その分の解像度の低下は避けられない。
【０００４】
なお、特許文献１には、画素欠陥補正とノイズ抑圧を行うロジック回路を搭載した固体撮像装置が開示されている。
【特許文献１】特開２００７−３３５９９１号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
本発明は上記従来の問題点を解決すべくなされたもので、画素欠陥の補正および／あるいはノイズ抑圧の動作を行う際に解像度の低下を避けることが可能な固体撮像装置を提供することを目的とする。
【課題を解決するための手段】
【０００６】
本発明の固体撮像装置は、光電変換を行うｍ×ｎ画素（ｍ，ｎは任意の整数）の受光領域と、前記受光領域の画素毎に光電変換したアナログ信号をデジタル信号に変換するアナログ／デジタル変換器と、を具備し、前記アナログ／デジタル変換器の出力信号が処理されたデジタル映像信号を順次出力する固体撮像装置において、前記受光領域内のｐ×ｑ画素（ｐ，ｑは任意の整数）の第１領域に含まれる複数の同色デジタル信号を得るとともにその中から前記第１領域内の中央画素の欠陥を検出して補正する、もしくは、前記中央画素のノイズを抑圧する第１の信号処理手段と、前記受光領域内のｒ×ｓ画素（ｒ，ｓは任意の整数）の第２領域に含まれる複数の異色デジタル信号を得るとともにその中から中央画素に存在すべき高周波成分を抽出して解像感の復元を行う第２の信号処理手段と、を具備することを特徴とする。
【発明の効果】
【０００７】
本発明の固体撮像装置によれば、画素欠陥の補正および／あるいはノイズ抑圧の動作を行う際に解像度の低下を避けることができる。
【発明を実施するための最良の形態】
【０００８】
以下、図面を参照して本発明の実施形態を説明する。この説明に際して、全図にわたり共通する部分には共通する参照符号を付す。
【０００９】
＜第１の実施形態＞
図１は、本発明の固体撮像装置の第１の実施形態に係るＣＭＯＳイメージセンサを示すブロック図である。このＣＭＯＳイメージセンサは、画素欠陥補正とノイズ抑圧を同時に行う画素欠陥補正・ノイズ抑圧回路に解像感復元回路を組み合わせた構成を有する。
【００１０】
図１中、５０１は光電変換を行うｍ×ｎ画素（ｍ，ｎは任意の整数）の受光領域であり、画素毎に光電変換したアナログ信号５０２を出力する。５０３はアナログ信号５０２をａビット幅のデジタル信号５０４に変換するＡ／Ｄ変換器（ＡＤＣ）であり、このデジタル信号５０４は画素欠陥補正とノイズ抑圧を同時に行う画素欠陥補正・ノイズ抑圧回路５００に入力する。
【００１１】
画素欠陥補正・ノイズ抑圧回路５００において、５０５はデジタル信号５０４が入力する４Ｈラインメモリであり、同時化された５ライン（０Ｈ〜４Ｈ）の信号５０６〜５１０を出力する。５１１は第１の非線形処理器（プリγ補正器）であり、３ラインの信号５０６，５０８，５１０が入力し、プリγ補正を行い、ｂビット幅のノンリニア信号５１２〜５１４を出力する。
【００１２】
５１５は第１のシフトレジスタであり、信号５１２〜５１４が入力し、９画素分の同色信号５１６〜５２４を出力する。５２５は並べ替え回路であり、同色信号５１６〜５２４が入力し、これを並べ替えてノンリニア信号５２６〜５３４を出力する。
【００１３】
５３５は画素欠陥判定回路（キズ判定回路）であり、並べ替え結果のノンリニア信号５２６〜５３４が入力し、画素欠陥の判定結果の信号５３６を出力する。具体的に述べると、キズ判定回路５３５は、同色３×３＝９画素の中央が、正常であるか、白キズであるか、黒キズであるかを判定し、３通りの判定結果を出力する。
【００１４】
５３７は選択器であり、同色信号５１６〜５２４のうちの中央の信号５２０およびキズ判定回路５３５から代用信号が入力し、この中央の信号５２０または代用信号を判定結果の信号５３６に基づいて選択し、画素欠陥補正後のノンリニア信号５３８を出力する。具体的に述べると、選択器５３７は、キズ判定回路５３５による３通りの判定結果に基づいて、３通りの信号を出力する。すなわち、中央画素が正常である場合には中央の信号５２０をそのまま出力し、中央画素にキズがある場合には中央の信号５２０を８周辺画素のうちの１つの画素の信号で置換することにより補正する。この場合、キズが白キズであるなら白キズの代用信号と置換し、キズが黒キズであるなら黒キズの代用信号と置換する。すなわち、例えば同色９画素中の２画素のキズまで許容するシステムの場合、白キズが１個目であれば並べ替え後の信号５２７を白キズの代用信号として流用し、白キズが２個目であれば並べ替え後の信号５２８を白キズの代用信号として流用する。そして、黒キズが１個目であれば並べ替え後の信号５３３を黒キズの代用信号として流用し、黒キズが２個目であれば並べ替え後の信号５３２を黒キズの代用信号として流用する。
【００１５】
５３９は減算器であり、並べ替え結果のノンリニア信号５２６〜５３４のうちの中央の信号５３０および画素欠陥補正後のノンリニア信号５３８が入力し、その減算処理を行うことにより負のノイズ成分５４０を出力する。５４１は振幅制限回路であり、負のノイズ成分５４０の振幅制限処理を行う。
【００１６】
５４２は第１の乗算器であり、振幅制限回路５４１の出力に第１の乗算係数５５５を乗算する。５４３は第１の加算器であり、画素欠陥補正後のノンリニア信号５３８に第１の乗算器の出力を加算することによりノイズ抑圧されたデジタル映像信号５４４を出力する。
【００１７】
５４５は第２の非線形処理器（逆γ補正器）であり、ノイズ抑圧後のデジタル映像信号５４４に対して逆γ補正を行うことにより、ノイズ抑圧後のａビット幅のリニア信号５４６を出力し、第２の加算器５５８へ供給する。
【００１８】
一方、解像感復元回路５５０において、５５１は第２のシフトレジスタであり、同時化された５ラインの信号５０６〜５１０が入力する。５５２は空間ＢＰＦ（バンドパスフィルタ）であり、第２のシフトレジスタ５５１から取り出された所要のデジタル信号群が入力し、高周波成分５５３を抽出する。５５４は第２の乗算器であり、空間ＢＰＦ５５２の出力に第２の乗算係数５５５を乗算し、解像感復元信号５５６を出力し、第２の加算器５５８へ供給する。第２の加算器５５８は、ノイズ抑圧後のａビット幅のリニア信号５４６に解像感復元信号５５６を加算して出力する。
【００１９】
５５７は４入力選択器であり、４つの乗算係数（Ｂ係数、Ｇｂ係数、Ｇｒ係数、Ｒ係数）入力から垂直インデックスＬＩおよび水平インデックスＣＳに基づいて第２の乗算係数５５５を選択する。
【００２０】
図２（ａ）は、図１中の受光領域５０１の一部の領域を取り出して色フィルタ配列の一例として４色画素の格子状（原色ベイヤー）配列の一例を示す。この例では、撮像素子が２×２＝４色の画素（Ｒ，Ｇｂ，Ｇｒ，Ｂ）を有し、４色の画素が格子状に繰り返し配列された一般的な構成を示した。図２（ｂ）は、図２（ａ）の領域内の中央画素Ｒに含まれるべき高周波成分（解像感情報）５５３を得るための空間ＢＰＦの空間係数（固定係数）の一例を示す。
【００２１】
次に、図１のＣＭＯＳイメージセンサの動作を説明する。ｍ×ｎ画素の受光領域５０１で光学像が光電変換され、画素毎に異なるアナログ信号５０２が生成される。アナログ信号５０２は、ＡＤＣ５０３でａビット幅（通常、ａ＝１０〜１２）のリニア映像信号５０４に変換される。
【００２２】
デジタル信号５０４は、画素欠陥補正・ノイズ抑圧回路５００で画素欠陥補正・ノイズ抑圧のために各種の補正演算が施される。まず、デジタル信号１０４は、色信号の復元に必要な５画素分の信号を得るために４Ｈラインメモリ５０５に入力され、５Ｈの信号が同時化された５ラインのリニア映像信号５０６〜５１０が得られる。
【００２３】
この５ラインのデジタル信号５０６〜５１０の内、同色３ラインのリニア映像信号５０６，５０８，５１０は、各々別々に第１の非線形処理器５１１で「プリγ補正」と呼ばれる非線形処理が施されることによって、黒付近が伸張され、白付近が圧縮されたｂビット幅の非線形なデジタル信号（ノンリニア映像信号）５１２〜５１４に変換される。この非線形処理は、後段の信号処理において施される「γ補正」を考慮し、予め黒付近の信号に対して画素欠陥補正とノイズ抑圧を強めに施すために実施される。
【００２４】
ノンリニア映像信号５１２〜５１４は、第１のシフトレジスタ５１５を通ることにより、３×３＝９個の同色画素のノンリニア映像信号５１６〜５２４が抽出される。このノンリニア映像信号５１６〜５２４のうちの５２０が中央画素に対応する。ここで、図１中の同色画素のノンリニア映像信号５１６〜５２４の空間配置を図９（ａ）に示す。
【００２５】
このノンリニア映像信号５１６〜５２４は、並べ替え回路５２５により図９（ｂ）に示すように信号の大小順に並べ替えが行われ、ノンリニア映像信号５２６〜５３４となる。図９（ｂ）中、［ ］内の数字は信号値の一例を示す。
【００２６】
大小順に並べ替えられたノンリニア映像信号５２６〜５３４の中央の信号５３０は、メディアンフィルタ出力と呼ばれており、特異点（高周波ランダムノイズ）が全く含まれない狭帯域のデジタル信号となる。このノンリニア映像信号５２６〜５３４は、キズ判定回路５３５に入り、その判定結果５３６が選択器５３７に与えられることにより、中央に存在する欠陥信号のみが他の信号に置換されて画素欠陥の補正（デジタル信号の置換）が行われる。
【００２７】
図９（ｃ）は、図１中の画素欠陥判定回路（キズ判定回路）５３５による画素欠陥の判定とデジタル信号の置換方法の一例を示す。中央画素が最大もしくは最小、または大小２番目（最大もしくは最小から２番目）に存在する場合には、各々大小３番目（最大もしくは最小から３番目）の信号と置換して画素欠陥を補正する。
【００２８】
このアルゴリズムは、３×３＝９個の同色画素の内、少なくとも中央画素を含む任意の３画素が特異なレベルを有する場合、それは画素欠陥に因るものでは無く、被写体に因るものと考えた方が正しいとの理解に基づく。本アルゴリズムによれば、誤補正が目立たない画素欠陥補正を実現することができる。選択器５３７で信号の置換が行われることで画素欠陥が補正され、画素欠陥を含まないノンリニア映像信号５３８が出力される。
【００２９】
このノンリニア映像信号５３８と並べ替え結果の中央値（メディアンフィルタ出力信号）５３０とが減算器５３９に入り、メディアンフィルタ出力信号５３０からノンリニア映像信号５３８を減算する。これにより、ノンリニア映像信号５３８に含まれる負のノイズ成分５４０（＝５３０−５３８）の抽出が行われる。
【００３０】
このノイズ成分５４０は、解像度（エッジ）情報も含まれているので、振幅制限器５４１で振幅制限される。振幅制限された負のノイズ成分５４０は、さらに、第１の係数乗算器５４２で第１の乗算係数αの乗算が施された後、第１の加算器５４３によりデジタル信号５３８と加算される。この場合、振幅制限された負のノイズ成分５４０は、第１の乗算係数αが“０”の時は常に“０”となるので、ノイズ抑圧は行われない。振幅制限された負のノイズ成分５４０がノンリニア映像信号５３８に加算され、正負のノイズ成分だけが相殺されることにより、正負のノイズ成分だけが相殺され、所望のノイズ抑圧が施されたノンリニア映像信号５４４が得られる。
【００３１】
このノンリニア映像信号５４４は、前述の「プリγ補正」が施されているので、その逆変換を行うために第２の非線形処理器５４５を通って「逆γ補正」が施されることにより、ａビット幅のリニア映像信号（デジタル信号）５４６に戻る。このリニア映像信号５４６は、ラインメモリ５０５に入力するａビット幅のデジタル信号５０４に比べて、画素欠陥もノイズも少ない。
【００３２】
上記したような画素欠陥の補正およびノイズ抑圧の動作は、結果的にデジタル映像信号の狭帯域化が施される演算処理を行うので、その分の解像度の低下は避けられない。そこで、本実施形態では、解像感復元を行うために以下のような動作を行う。
【００３３】
前述した同時化された５ラインのリニア映像信号５０６〜５１０は、第２のシフトレジスタ５５１を通り、５×５＝２５個の画素のデジタル信号となる。このデジタル信号群から中央画素に含まれるべき高周波成分（解像感情報）を抽出するために、第２のシフトレジスタ５５１から必要な画素のデジタル信号を取り出し、例えば図２（ｂ）に示すような空間係数を用いた空間ＢＰＦ５５２を通すことにより高周波成分５５３を得る。高周波成分５５３は、第２の係数乗算器５５４で第２の乗算係数５５５の乗算が施されることにより、解像感が復元された解像感復元信号５５６となる。
【００３４】
通常、Ｇｒ，Ｇｂ画素に比べてＲ，Ｂ画素は感度が低く、Ｓ／Ｎ（量子化精度）も低い。Ｇ画素は、Ｒ，Ｂ画素に比べてサンプル（画素）数も多いので、後段処理の方式にもよるが、解像感復元を強く施す必要は無い。全色画素に共通の解像感復元を施し、Ｇｒ，Ｇｂ画素のＳ／Ｎを下げると、弊害が生じる場合が有る。
【００３５】
そこで、４つの乗算係数（Ｂ係数、Ｇｂ係数、Ｇｒ係数、Ｒ係数）入力から垂直インデックスＬＩおよび水平インデックスＣＳに基づいて第２の乗算係数５５５を選択する４入力選択器５５７を用いることにより、例えば色画素毎に異なる値を設定できる。これにより、図２（ｂ）に示すような空間係数を用いたＢＰＦ５５２により、キズ補正で使用する画素以外の周辺のＧｒ，Ｇｂ画素で中央のＲ，Ｂ画素を復元し、周辺のＲ，Ｂ画素で中央Ｇｒ，Ｇｂ画素を復元することが可能になる。
【００３６】
上記したような解像感復元システムを搭載したＣＭＯＳイメージセンサによれば、画素欠陥補正とノイズ抑圧による狭帯域化の補正のみならず、レンズを含む光学系によるピントのズレ、アナログ画素間での信号漏れ込みによる画像のボケ、混色補正などの狭帯域化まで含めて信号処理回路により補正して解像感を復元する（上げる）ことができる。これにより、画素数に応じた理想解像度を有するＣＭＯＳイメージセンサを実現することが可能となる。
【００３７】
また、既存のＣＭＯＳイメージセンサに解像感復元回路５５０を増設しても、既存のラインメモリ５０５（例えば比較的大きなサイズのＳＲＡＭ）をそのまま利用することができ、サイズの増加は少なくて済む。このように複数の同色デジタル信号および複数の異色デジタル信号を得る手段において、ラインメモリ５０５を共通に用いているので、回路規模を削減することが可能になる。また、ＲＡＷデータ上での解像感復元も可能であり、小形、軽量、低コストながら高解像度のＣＭＯＳイメージセンサを実現できる。
【００３８】
また、複数の異色デジタル信号から中央画素に存在すべき高周波成分を抽出する手段において、非線形処理を施す前のリニア信号から高周波成分を抽出することが望ましい。これにより、より高精度な解像感の復元（高性能の復元処理）が可能になる。
【００３９】
また、複数の異色デジタル信号から中央画素に存在すべき高周波成分を抽出する手段において、所定の固定係数を有する空間ＢＰＦを用いることが望ましい。これにより、回路構成を簡単にでき、回路規模を削減することが可能になる。
【００４０】
また、解像感の復元を行う手段において、抽出した高周波成分に少なくとも任意の係数（復元係数）を乗算し、乗算後の復元信号を元信号へ加算する手段を具備することが望ましい。これにより、係数の変更により解像感復元の効果を任意に可変することができる。
【００４１】
また、任意の乗算係数として色画素毎に異なる値を取り得る手段を具備することが望ましい。これにより、色画素毎に解像感復元の効果を可変でき、さらに高いＳ／Ｎを達成することが可能になる。
【００４２】
＜第１の実施形態の変形例１＞
ＣＭＯＳイメージセンサにおいては、アナログゲイン（以下、ＡＧ）を大きく設定した場合に信号のＳ／Ｎが悪くなる場合が多い。このような場合に解像感復元処理を施すと、さらにＳ／Ｎが悪化してしまう。これを避けるために、第２の乗算係数５５５を色画素とＡＧに連動させることが望ましい。そこで、４入力選択器５５７に入力する４つの乗算係数は、ＡＧ、画面内の平均輝度レベル、領域内の輝度差に連動して変更しても良い。
【００４３】
図３は、図１中の４入力選択器５５７の変形例として、中央画素に含まれるべき高周波成分（解像感情報）を抽出した後に施す乗算の係数を色画素とＡＧに連動させる場合の回路例である。図３中、７０１はＡＧ最小時の４つの乗算係数が入力する４入力選択器、７０３は選択されたＡＧ最小時の乗算係数、７０２はＡＧ最大時の乗算係数が入力する４入力選択器、７０４は選択されたＡＧ最大時の乗算係数である。７０５はＡＧ最大時の乗算係数７０４からＡＧ最小時の乗算係数７０３を減算する減算器である。７０６は減算器７０５の出力信号にＡＧ情報７０９を乗算する乗算器である。７０７は乗算器７０６の出力信号にＡＧ最小時の乗算係数７０３を加算する加算器であり、その出力信号は色画素とＡＧに連動する乗算係数７０８となる。
【００４４】
次に、図３の回路の動作を説明する。４入力選択器７０１は、ＡＧ最小時の各色画素別の乗算係数を選択して乗算係数７０３を出力し、４入力選択器７０２は、ＡＧ最大時の各色画素別の乗算係数を選択して乗算係数７０４を出力する。乗算係数７０３、７０４を減算器７０５に入力し、減算器７０５の出力とＡＧ情報７０９とを乗算器７０６に入力し、乗算器７０６の出力と乗算係数７０３を加算器７０７に入力することにより、ＡＧに連動した乗算係数７０８を得ることができる。ＡＧ情報７０９は、例えばＡＧ最小時に“０”〜ＡＧ最大時に“２５５”なるデジタル信号を用いる。このようにして得られたＡＧに連動した乗算係数７０８を図２中の第２の乗算係数５５５に代えて第２の係数乗算器５５４へ入力する。このようにして得られた解像感復元信号５５６は、図１中の第２の加算器５５８でデジタル信号５４６に加算される。
【００４５】
上記変形例１においては、解像感の復元を行う手段において、抽出した高周波成分に少なくとも任意の係数（復元係数）を乗算する際、任意の乗算係数としてＡＧに応じた値を取り得る手段を具備している。これにより、アナログゲインに応じて解像感復元の効果を可変でき、低照度時のＳ／Ｎの悪化を回避することが可能になる。
【００４６】
また、任意の乗算係数として、画面内の平均輝度レベルに応じた値を取り得る手段を具備することが望ましい。これにより、画面の明るさに応じて解像感復元の効果を任意に可変することが可能になる。
【００４７】
また、任意の乗算係数を設定するために、ｔ×ｕ領域の輝度レベル、もしくは複数のｔ×ｕ領域の最大輝度差に応じた値を取り得る手段を具備することにより、画面内の輝度分布もしくは領域内での輝度差に応じて解像感復元の効果を任意に可変することが可能になる。
【００４８】
＜第１の実施形態の変形例２＞
図１では、ビット幅ａとビット幅ｂの関係がａ＜ｂの場合を想定しているが、ａ≧ｂの場合には、４Ｈラインメモリ５０５と第１の非線形処理器（プリγ補正器）５１１との処理順序を入れ換えた方が回路規模が小さくなる。
【００４９】
＜第２の実施形態＞
図４は、本発明の第２の実施形態に係るＣＭＯＳイメージセンサの一部を示すブロック図である。このＣＭＯＳイメージセンサは、中央画素のノイズ抑圧を行う回路に解像感復元回路を組み合わせた構成を有する。４Ｈラインメモリ８０２は、ａビット幅のデジタル映像信号８０１が入力し、同時化された５ライン（０Ｈ〜４Ｈ）のリニアなデジタル映像信号８０３〜８０７が取り出される。シフトレジスタ８０８は、信号８０３〜８０７が入力し、同色９画素の信号８０９〜８１７および異色１２画素の信号８５１〜８６２が取り出される。
【００５０】
加算器８１８〜８２４は周辺同色８画素平均回路８８１を構成しており、シフトレジスタ８０８から取り出される信号８０９〜８１７を加算処理し、周辺同色８画素の加算平均８２５を出力する。第１の減算器８２６は、加算平均８２５から信号８１３（８０９〜８１７の中央）を減算し、負のノイズ成分８２７を出力する。
【００５１】
振幅制限回路８２８は、負のノイズ成分８２７を振幅制限する。第１の係数乗算器８２９は、振幅制限回路８２８の出力に第１の係数（抑圧係数）を乗算する。第１の加算器８３１は、係数乗算後の負のノイズ成分８３０をノイズ抑圧映像信号８１３に加算する。
【００５２】
加算器８６３〜８６５は中央異色４画素平均回路８８２を構成しており、シフトレジスタ８０８から取り出される中央異色４画素の信号８５１〜８５４を加算処理し、中央付近の異色４画素加算平均８６６を出力する。
【００５３】
加算器８６７〜８７３は、周辺異色８画素平均回路８８３を構成しており、シフトレジスタ８０８から取り出される周辺の異色８画素の信号８５５〜８６２を加算処理し、周辺の異色８画素の加算平均８７４を出力する。第２の減算器８７５は、中央付近の異色４画素加算平均８６６から加算平均８７４を減算し、高周波成分８７６を出力する。
【００５４】
第２の係数乗算器８７７は、第２の減算器８７５の出力８７６に復元係数を乗算する。第２の加算器８７９は、ノイズ抑圧後のデジタル映像信号８３２に解像感復元信号８７８を加算し、解像感復元後のデジタル映像信号８８０を出力する。
【００５５】
次に、図４の回路において中央画素のノイズ抑圧を行う動作を説明する。ａビット幅のデジタル映像信号８０１が前段の信号処理回路（例えば図１中のＡＤＣ５０３）より入力される。このデジタル映像信号８０１は、リニア映像信号でもノンリニア映像信号でも構わない。デジタル映像信号８０１は、先ず４Ｈラインメモリ８０２に入り、同時化された５ラインのデジタル映像信号８０３〜８０７となる。デジタル信号８０３〜８０７には、同色３ラインの信号８０３，８０５，８０７が含まれる。デジタル信号８０３〜８０７はシフトレジスタ８０８を通り、３×３＝９個の同色画素のデジタル映像信号８０９〜８１７が抽出される（デジタル信号８１３が中央画素に対応する）。
【００５６】
中央画素を除く周辺同色８画素の加算平均８２５を求めるために、デジタル信号８０９〜８１２とデジタル信号８１４〜８１７が周辺同色８画素平均回路８８１に入り、順次加算される。最終段の加算器８２４の出力が加算平均８２５である。加算平均８２５はランダムノイズ成分が少ない映像信号であるので、減算器８２６により加算平均８２５から中央画素のデジタル信号８１３を減算することにより、デジタル信号８１３に含まれる負のノイズ成分８２７（＝８２５−８１３）が抽出される。ノイズ成分８２７には解像度情報も含まれているので、振幅制限器８２８による振幅制限と第１の係数乗算８２９による係数乗算を施し、負のノイズ成分８３０を得る。ノイズ成分８３０を第１の加算器８３１で元のデジタル信号８１３に加算すれば、正負のノイズ成分だけが相殺され、ノイズ抑圧されたデジタル映像信号８３２となる。
【００５７】
シフトレジスタ８０８は、上記したように中央画素のノイズ抑圧を行うために同色画素のデジタル映像信号８０９〜８１７を抽出すると同時に、解像感を復元するために異色のデジタル映像信号８５１〜８６２も抽出する。
【００５８】
図５（ａ）は、第２の実施形態に係るＣＭＯＳイメージセンサにおける受光領域の一部の色フィルタ配列の一例を示す。図５（ｂ）は、図４中の同色９画素のデジタル信号８０９〜８１７と異色１２画素のデジタル信号８５１〜８６２の空間配置の一例を示す。
【００５９】
デジタル信号８５１〜８５４は、中央異色４画素平均回路８８２に入り順次加算され、中央付近の異色４画素加算平均８６６となる。同様に、デジタル信号８５５〜８６２は、中央異色８画素平均回路８８３に入り、順次加算され、周辺の異色７画素加算平均８７４となる。加算平均８６６と加算平均８７４とを第２の減算器８７５で引き算（＝８６６−８７４）すれば、高周波成分８７６が得られる。高周波成分８７６は、第２の係数乗算８７７による係数乗算が施され、解像感復元信号８７８となる。ノイズ抑圧された映像信号８３２と解像感復元信号８７８は、第４の加算器８７９で加算される。第２の加算器８７９から出力されるデジタル映像信号８８０は、ノイズ抑圧と解像感復元とが施された最終出力になる。
【００６０】
上記したような解像感復元システムを搭載した固体撮像装置によれば、中央画素のノイズ抑圧を行うとともに、信号処理により解像感を復元することができる。
【００６１】
また、複数の同色デジタル信号および複数の異色デジタル信号を得る手段においては、シフトレジスタ８０８を共通に用いることにより、回路規模をさらに削減することが可能になる。
【００６２】
＜第３の実施形態＞
図６は、本発明の第３の実施形態に係るＣＭＯＳイメージセンサの一部を示すブロック図である。このＣＭＯＳイメージセンサは、ノンリニア領域（プリγ補正後）における画素欠陥補正とノイズ抑圧を同時に行う回路に、リニア領域（逆γ補正後）におけるノイズ抑圧と解像感の復元を行う回路を組み合わせた構成を有する。
【００６３】
図６中、１００１は光電変換を行うｍ×ｎ画素（ｍ，ｎは任意の整数）の受光領域であり、画素毎に光電変換したアナログ信号１００２を出力する。１００３はアナログ信号１００２をａビット幅のデジタル信号１００４に変換するＡ／Ｄ変換器（ＡＤＣ）であり、このデジタル信号１００４は前処理部１００５によりｂビット幅のデジタル信号１００６に変換され、画素欠陥補正・ノイズ抑圧回路１１００に入力する。
【００６４】
画素欠陥補正・ノイズ抑圧回路１０００において、１００７はデジタル信号１００６が入力する第１の４Ｈラインメモリであり、同時化された同色３ライン（０Ｈ，２Ｈ，４Ｈ）の信号１００８〜１０１０を出力する。１０１１は第１の非線形処理器（プリγ補正器）であり、同色３ラインの信号１００８〜１０１０が入力し、プリγ補正を行い、ｃビット幅のノンリニア映像信号１０１２〜１０１４を出力する。
【００６５】
１０１５は第１のシフトレジスタであり、信号１０１２〜１０１４が入力し、９画素分の同色信号１０１６〜１０２４を出力する。１０２５は並べ替え回路であり、同色信号１０１６〜１０２４が入力し、これを並べ替えてノンリニア映像信号１０２６〜１０３４を出力する。
【００６６】
１０３５は画素欠陥判定回路（キズ判定回路）であり、並べ替え結果のノンリニア信号１０２６〜１０３４が入力し、画素欠陥の判定結果の信号１０３６を出力する。１０３７は選択器であり、同色信号１０１６〜１０２４のうちの中央の信号１０２０およびキズ判定回路１０３５から代用信号が入力し、この中央の信号１０２０または代用信号を判定結果の信号１０３６に基づいて選択し、画素欠陥補正後のノンリニア信号１０３８を出力する。
【００６７】
１０３９は第１の減算器であり、並べ替え結果のノンリニア信号１０２６〜１０３４のうちの中央の信号１０３０および画素欠陥補正後のノンリニア信号１０３８が入力し、その減算処理を行うことにより負のノイズ成分１０４０を出力する。１０４１は第１の振幅制限回路であり、負のノイズ成分１０４０の振幅制限処理を行う。
【００６８】
１０４２は第１の乗算器であり、第１の振幅制限回路１０４１の出力に第１の抑圧係数発生回路１０４４から出力する第１の乗算係数を乗算する。１０４３は第１の加算器であり、画素欠陥補正後のノンリニア信号１０３８に第１の乗算器１０４２の出力を加算することによりノイズ抑圧されたノンリニア映像信号１０４５を出力する。
【００６９】
１０４６は第２の非線形処理器（逆γ補正器）であり、ノイズ抑圧後の映像信号１０４５に対して逆γ補正を行うことにより、ノイズ抑圧後のｂビット幅のリニア映像信号１０４７を出力する。
【００７０】
一方、解像感復元回路１１００において、１０４８はｂビット幅のリニア映像信号１０４７が入力する第２の４Ｈラインメモリであり、同時化された５ライン（０Ｈ〜４Ｈ）の信号１０４９〜１０５３を出力する。１０５４は第２のシフトレジスタであり、同時化された５ラインの信号１０４９〜１０５３が入力し、同色９画素の信号１０５５〜１０６３、中央付近に存在する異色４画素の信号１０６４〜１０６７および外周に存在する異色８画素の信号１０６８〜１０７５を出力する。
【００７１】
１０７６は周辺同色８画素の加算平均をとる加算平均化回路、１０７７は周辺同色８画素の加算平均である。１０７８は第２の減算器であり、周辺同色８画素の加算平均１０７７と同色９画素の信号１０５５〜１０６３のうちの中央の信号１０５９が入力し、その減算処理を行うことにより負のノイズ成分１０７９を出力する。１０８０は第２の振幅制限回路であり、負のノイズ成分１０７９の振幅制限処理を行う。
【００７２】
１０８１は第２の乗算器であり、第２の振幅制限回路１０８０の出力に第２の抑圧係数発生回路１０８３から出力する第２の乗算係数を乗算し、その出力を第２の加算器１０８２へ供給する。
【００７３】
第２の加算器１０８２は、同色９画素の信号１０５５〜１０６３のうちの中央の信号１０５９に第２の乗算器の出力信号を加算し、ノイズ抑圧されたリニア映像信号１０８４を出力する。１０８５は混色補正回路であり、ノイズ抑圧されたリニア映像信号１０８４を混色補正し、リニア映像信号１０８６を出力する。
【００７４】
１０８７は中央異色４画素の加算平均をとる加算平均化回路、１０８８は中央異色４画素の加算平均である。１０８９は周辺異色８画素の加算平均化回路、１０９０は周辺異色８画素の加算平均である。１０９１は第３の減算器であり、中央異色４画素の加算平均１０８８と周辺異色８画素の加算平均１０９０が入力し、その減算処理を行うことにより高周波成分１０９２を出力する。
【００７５】
１０９３は第３の乗算器であり、第３の減算器１０９１の出力に復元係数発生回路１０９６から出力する復元係数を乗算し、解像感復元信号１０９４を出力する。
【００７６】
第３の加算器１０９５は、混色補正後のリニア映像信号１０８６と解像感復元信号１０９４とを加算し、解像感復元後のリニア映像信号１０９７を出力する。この信号１０９７は後処理部１０９８によりｄビット幅のデジタル映像信号１０９９に変換され、最終出力となる。
【００７７】
図７は、図６中の５×５＝２５個の画素領域から得られる９画素の同色信号１０５５〜１０６３と１２画素の異色信号１０６４〜１０７５との空間配置の一例を示す。
【００７８】
次に、図６の回路における動作を説明する。ｎ×ｍ画素の受光領域１００１で光学像が光電変換され、画素毎に異なるアナログ信号１００２となる。アナログ信号１００２はＡＤＣ１００３においてａビット幅のリニア映像信号１００４に変換され、前処理部１００５に順次入力される。前処理部１００５は、例えばホワイトバランス調整、シェーディング補正などの演算回路が含まれ、その処理結果がｂビット幅のリニア映像信号１００６として出力される。
【００７９】
信号１００６は、第１の４Ｈラインメモリ１００７に入り、同時化された同色３ラインのリニア映像信号１００８〜１０１０として出力される。信号１００８〜１０１０は、各々別々に第１の非線形処理器１０１１で「プリγ補正」が施され、ｃビット幅のノンリニア映像信号１０１２〜１０１４に変換される。信号１０１２〜１０１４は、第１のシフトレジスタ１０１５を通り３×３＝９同色画素のノンリニア映像信号（デジタル信号）１０１６〜１０２４となる。ここでは、信号１０１６〜１０２４のうちの１０２０が中央画素に対応する。
【００８０】
信号１０１６〜１０２４は、並べ替え回路１０２５により大小順に並べ替えが行われ、その並べ替え結果１０２６〜１０３４が画素欠陥の判定回路１０３５に入る。判定回路１０３５の判定結果１０３６が選択器１０３７に与えられ、画素欠陥の補正（デジタル信号の置換）が行われる。画素欠陥補正後のノンリニア映像信号１０３８と並べ替え結果の中央値１０３０は減算器１０３９に入り、負のノイズ成分１０４０（＝１０３０−１０３８）の抽出が行われる。ノイズ成分１０４０は、振幅制限器１０４１による振幅制限と係数乗算器１０４２による係数乗算が施された後、加算器１０４３により画素欠陥補正後の信号１０３８と加算され、ノイズ成分だけが相殺される。
【００８１】
第１の抑圧係数発生回路１０４４は、ノンリニア領域でのノイズ抑圧の効果を可変するためのものであり、例えばＡＧ最大時に低Ｓ／Ｎの映像しか得られない場合は抑圧効果を高めてＳ／Ｎ改善を図り、ＡＧ最小時に高Ｓ／Ｎの映像が得られる場合は抑圧効果を減らして解像度を重視することも可能となる。ノイズ抑圧されたノンリニア映像信号１０４５は、第２の非線形処理器１０４６を経て「逆γ補正」が施され、再びｂビット幅のリニア映像信号１０４７に戻る。信号１０４７は、第２の４Ｈラインメモリ１０４８に入り、同時化された５ラインのリニア映像信号１０４９〜１０５３として出力される。信号１０４９〜１０５３が、第２のシフトレジスタ１０５４を通り、５×５＝２５画素領域のリニア映像信号となる。
【００８２】
中央画素と同色の周辺８画素信号１０５５〜１０５８，１０６０〜１０６３は、周辺同色８画素平均化回路１０７６に入り、加算平均１０７７が出力される。中央画素の信号１０５９と加算平均１０７７は減算器１０７８に入り、負のノイズ成分１０７９（＝１０７７−１０５９）の抽出が行われる。ノイズ成分１０７９は、振幅制限１０８０と係数乗算１０８１が施された後、加算器１０８２により中央画素の元信号１０５９と加算され、ノイズ成分だけが相殺される。第２の抑圧係数発生回路１０８３は、リニア領域でのノイズ抑圧の効果を可変するためのものである。ノイズ抑圧されたリニア映像信号１０８４は、色キャリア成分の増幅回路１０８５を経て「混色補正」が施され、狭帯域ながら高Ｓ／Ｎのリニア映像信号１０８６となる。混色補正回路１０８５は、色付き（色再現）を向上させる目的で挿入されるが、回路構成によっては信号の帯域が減少し、解像度も下がってしまう。中央付近に存在する異色４画素信号１０６４〜１０６７は、中央異色４画素平均化回路１０８７に入り、加算平均１０８８が出力される。外周に存在する異色８画素信号１０６８〜１０７５は、周辺異色８画素平均化回路１０８９に入り、加算平均１０９０が出力される。
【００８３】
加算平均１０８８と加算平均１０９０は減算器１０９１に入り、解像感復元用の高周波成分１０９２（＝１０８８−１０９０）の抽出が行われる。高周波成分１０９２は、係数乗算器１０９３で係数乗算が施され、解像感復元信号１０９４となる。信号１０８６と解像感復元信号１０９４は加算器１０９５で加算され、解像感が復元される。復元係数発生回路１０９６は、解像感復元の効果を可変するためのものである。
【００８４】
加算器１０９５の出力である解像感復元後のリニア映像信号１０９７は、後処理部１０９８に入力される。後処理部１０９８には、例えば電子ズーム（画素間引き）、色分離（ＲＧＢ同時化）、γ補正、ＹＵＶマトリクス、パラレル／シリアル変換などの演算回路が含まれ、その処理結果がｄビット幅のデジタル映像信号１０９９として固体撮像装置から出力される。
【００８５】
上記したような解像感復元システムを搭載したＣＭＯＳイメージセンサによれば、画素欠陥補正とノイズ抑圧と中央画素のノイズ抑圧を行うとともに、信号処理回路により解像感を復元することができる。
【００８６】
上記各実施形態で説明したように、本発明は、特許請求の範囲に記載した発明に限らず、以下の発明も含む。解像感の復元を行う手段において、抽出した高周波成分に少なくとも任意の復元係数を乗算する際、任意の乗算係数としてＡＧに応じた値を取り得る手段を具備させるようにしてもよい。また、任意の乗算係数として色画素毎に異なる値を取り得る手段を具備させるようにしてもよい。また、任意の乗算係数を色画素とＡＧに連動させる手段を具備させるようにしてもよい。また、任意の乗算係数として、画面内の平均輝度レベルに応じた値を取り得る手段を具備させるようにしてもよい。また、任意の乗算係数を設定するために、ｔ×ｕ領域の輝度レベル、もしくは複数のｔ×ｕ領域の最大輝度差に応じた値を取り得る手段を具備させるようにしてもよい。
【００８７】
＜使用例＞
図８は、本発明の固体撮像装置の一使用例に係る携帯電話向け小型リフローラブル・カメラモジュールの一構成例を示す断面図である。このカメラモジュールは、ＣＭＯＳエリアイメージセンサを用いたチップスケール・カメラモジュール（Chip Scale camera Module；ＣＳＣＭ）であり、センサーチップにレンズやレンズホルダを直接に取り付ける構造を有する。図８中、１１は光学レンズ、１２はレンズホルダ、１３はＩＲカットフィルタ、１４はガラス板、１５はＣＭＯＳイメージセンサのチップ（半導体チップ）、１６はチップを貫通する電極、１７はカメラモジュールを実装基板（図示せず）上に接続するための半田ボールである。
【００８８】
上記したようなカメラモジュールの構成上、小形、軽量化のために光学レンズのサイズが小さく制限されるが、解像感の復元処理を行うロジック回路を搭載した本発明の固体撮像装置を用いることで対処することができ、低コストながら高解像度のカメラモジュールを実現することが可能になる。
【図面の簡単な説明】
【００８９】
【図１】本発明の固体撮像装置の第１の実施形態に係るＣＭＯＳイメージセンサを示すブロック図。
【図２】図１中の受光領域の一部の領域を取り出して色フィルタ配列の一例および領域内の中央画素Ｒに含まれるべき高周波成分（解像感情報）を得るための空間ＢＰＦの固定係数の一例を示す図。
【図３】図１中の４入力選択器の変形例を示す回路図。
【図４】本発明の第２の実施形態に係るＣＭＯＳイメージセンサの一部を示すブロック図。
【図５】第２の実施形態に係るＣＭＯＳイメージセンサにおける受光領域の一部の色フィルタ配列の一例および図４中の同色９画素の信号と異色１２画素の信号の空間配置の一例を示す図。
【図６】本発明の第３の実施形態に係るＣＭＯＳイメージセンサの一部を示すブロック図。
【図７】図６中の５×５＝２５個の画素領域から得られる９画素の同色信号と１２画素の異色信号との空間配置の一例を示す図。
【図８】本発明の固体撮像装置を用いたカメラモジュールの一構成例を示す断面図。
【図９】図１中の同色信号の空間配置およびそれを大小順に並べ替え結果、画素欠陥の判定とデジタル信号の置換方法の一例を示す図。
【符号の説明】
【００９０】
５００…画素欠陥補正・ノイズ抑圧回路、５０１…受光領域、５０３…ＡＤＣ、５０５…４Ｈラインメモリ、５１１…第１の非線形処理器（プリγ補正器）、５２５…並べ替え回路、５３５…画素欠陥判定回路、５３７…選択器、５３９…減算器、５４１…振幅制限回路、５４２…第１の乗算器、５４３…第１の加算器、５４５…第２の非線形処理器（逆γ補正器）、５５０…解像感復元回路、５５１…第２のシフトレジスタ、５５２…空間ＢＰＦ、５５４…第２の乗算器、５５７…４入力選択器、５５８…第２の加算器。
【技術分野】
【０００１】
本発明は、固体撮像装置に係り、特に解像感の復元システムを構成するために混載されるロジック回路に関するもので、例えばＣＭＯＳセンサなどのデジタル映像信号を出力する固体撮像装置に使用されるものである。
【背景技術】
【０００２】
従来の固体撮像装置は、画素欠陥補正とノイズ抑圧を同時に行うロジック回路が混載されているものがある。このロジック回路は、例えば、５×５＝２５画素の領域に含まれる３×３＝９個の同色画素のデジタル信号から中央画素の画素欠陥を検出補正し、併せて中央画素のノイズ抑圧を行う。しかし、上記したような画素欠陥の補正およびノイズ抑圧の動作は、結果的にデジタル映像信号の狭帯域化が施される演算処理を行うので、その分の解像度の低下は避けられないことが問題点となっている。
【０００３】
一方、従来の固体撮像装置は、中央画素のノイズ抑圧を行うロジック回路が混載されているものがある。このロジック回路は、例えば、５×５＝２５画素の領域に含まれる３×３＝９個の同色画素のデジタル信号から中央画素のノイズ抑圧を行う。しかし、このようにノイズ抑圧を行う動作でも、結果的にデジタル映像信号の狭帯域化が施される演算処理を行うので、その分の解像度の低下は避けられない。
【０００４】
なお、特許文献１には、画素欠陥補正とノイズ抑圧を行うロジック回路を搭載した固体撮像装置が開示されている。
【特許文献１】特開２００７−３３５９９１号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
本発明は上記従来の問題点を解決すべくなされたもので、画素欠陥の補正および／あるいはノイズ抑圧の動作を行う際に解像度の低下を避けることが可能な固体撮像装置を提供することを目的とする。
【課題を解決するための手段】
【０００６】
本発明の固体撮像装置は、光電変換を行うｍ×ｎ画素（ｍ，ｎは任意の整数）の受光領域と、前記受光領域の画素毎に光電変換したアナログ信号をデジタル信号に変換するアナログ／デジタル変換器と、を具備し、前記アナログ／デジタル変換器の出力信号が処理されたデジタル映像信号を順次出力する固体撮像装置において、前記受光領域内のｐ×ｑ画素（ｐ，ｑは任意の整数）の第１領域に含まれる複数の同色デジタル信号を得るとともにその中から前記第１領域内の中央画素の欠陥を検出して補正する、もしくは、前記中央画素のノイズを抑圧する第１の信号処理手段と、前記受光領域内のｒ×ｓ画素（ｒ，ｓは任意の整数）の第２領域に含まれる複数の異色デジタル信号を得るとともにその中から中央画素に存在すべき高周波成分を抽出して解像感の復元を行う第２の信号処理手段と、を具備することを特徴とする。
【発明の効果】
【０００７】
本発明の固体撮像装置によれば、画素欠陥の補正および／あるいはノイズ抑圧の動作を行う際に解像度の低下を避けることができる。
【発明を実施するための最良の形態】
【０００８】
以下、図面を参照して本発明の実施形態を説明する。この説明に際して、全図にわたり共通する部分には共通する参照符号を付す。
【０００９】
＜第１の実施形態＞
図１は、本発明の固体撮像装置の第１の実施形態に係るＣＭＯＳイメージセンサを示すブロック図である。このＣＭＯＳイメージセンサは、画素欠陥補正とノイズ抑圧を同時に行う画素欠陥補正・ノイズ抑圧回路に解像感復元回路を組み合わせた構成を有する。
【００１０】
図１中、５０１は光電変換を行うｍ×ｎ画素（ｍ，ｎは任意の整数）の受光領域であり、画素毎に光電変換したアナログ信号５０２を出力する。５０３はアナログ信号５０２をａビット幅のデジタル信号５０４に変換するＡ／Ｄ変換器（ＡＤＣ）であり、このデジタル信号５０４は画素欠陥補正とノイズ抑圧を同時に行う画素欠陥補正・ノイズ抑圧回路５００に入力する。
【００１１】
画素欠陥補正・ノイズ抑圧回路５００において、５０５はデジタル信号５０４が入力する４Ｈラインメモリであり、同時化された５ライン（０Ｈ〜４Ｈ）の信号５０６〜５１０を出力する。５１１は第１の非線形処理器（プリγ補正器）であり、３ラインの信号５０６，５０８，５１０が入力し、プリγ補正を行い、ｂビット幅のノンリニア信号５１２〜５１４を出力する。
【００１２】
５１５は第１のシフトレジスタであり、信号５１２〜５１４が入力し、９画素分の同色信号５１６〜５２４を出力する。５２５は並べ替え回路であり、同色信号５１６〜５２４が入力し、これを並べ替えてノンリニア信号５２６〜５３４を出力する。
【００１３】
５３５は画素欠陥判定回路（キズ判定回路）であり、並べ替え結果のノンリニア信号５２６〜５３４が入力し、画素欠陥の判定結果の信号５３６を出力する。具体的に述べると、キズ判定回路５３５は、同色３×３＝９画素の中央が、正常であるか、白キズであるか、黒キズであるかを判定し、３通りの判定結果を出力する。
【００１４】
５３７は選択器であり、同色信号５１６〜５２４のうちの中央の信号５２０およびキズ判定回路５３５から代用信号が入力し、この中央の信号５２０または代用信号を判定結果の信号５３６に基づいて選択し、画素欠陥補正後のノンリニア信号５３８を出力する。具体的に述べると、選択器５３７は、キズ判定回路５３５による３通りの判定結果に基づいて、３通りの信号を出力する。すなわち、中央画素が正常である場合には中央の信号５２０をそのまま出力し、中央画素にキズがある場合には中央の信号５２０を８周辺画素のうちの１つの画素の信号で置換することにより補正する。この場合、キズが白キズであるなら白キズの代用信号と置換し、キズが黒キズであるなら黒キズの代用信号と置換する。すなわち、例えば同色９画素中の２画素のキズまで許容するシステムの場合、白キズが１個目であれば並べ替え後の信号５２７を白キズの代用信号として流用し、白キズが２個目であれば並べ替え後の信号５２８を白キズの代用信号として流用する。そして、黒キズが１個目であれば並べ替え後の信号５３３を黒キズの代用信号として流用し、黒キズが２個目であれば並べ替え後の信号５３２を黒キズの代用信号として流用する。
【００１５】
５３９は減算器であり、並べ替え結果のノンリニア信号５２６〜５３４のうちの中央の信号５３０および画素欠陥補正後のノンリニア信号５３８が入力し、その減算処理を行うことにより負のノイズ成分５４０を出力する。５４１は振幅制限回路であり、負のノイズ成分５４０の振幅制限処理を行う。
【００１６】
５４２は第１の乗算器であり、振幅制限回路５４１の出力に第１の乗算係数５５５を乗算する。５４３は第１の加算器であり、画素欠陥補正後のノンリニア信号５３８に第１の乗算器の出力を加算することによりノイズ抑圧されたデジタル映像信号５４４を出力する。
【００１７】
５４５は第２の非線形処理器（逆γ補正器）であり、ノイズ抑圧後のデジタル映像信号５４４に対して逆γ補正を行うことにより、ノイズ抑圧後のａビット幅のリニア信号５４６を出力し、第２の加算器５５８へ供給する。
【００１８】
一方、解像感復元回路５５０において、５５１は第２のシフトレジスタであり、同時化された５ラインの信号５０６〜５１０が入力する。５５２は空間ＢＰＦ（バンドパスフィルタ）であり、第２のシフトレジスタ５５１から取り出された所要のデジタル信号群が入力し、高周波成分５５３を抽出する。５５４は第２の乗算器であり、空間ＢＰＦ５５２の出力に第２の乗算係数５５５を乗算し、解像感復元信号５５６を出力し、第２の加算器５５８へ供給する。第２の加算器５５８は、ノイズ抑圧後のａビット幅のリニア信号５４６に解像感復元信号５５６を加算して出力する。
【００１９】
５５７は４入力選択器であり、４つの乗算係数（Ｂ係数、Ｇｂ係数、Ｇｒ係数、Ｒ係数）入力から垂直インデックスＬＩおよび水平インデックスＣＳに基づいて第２の乗算係数５５５を選択する。
【００２０】
図２（ａ）は、図１中の受光領域５０１の一部の領域を取り出して色フィルタ配列の一例として４色画素の格子状（原色ベイヤー）配列の一例を示す。この例では、撮像素子が２×２＝４色の画素（Ｒ，Ｇｂ，Ｇｒ，Ｂ）を有し、４色の画素が格子状に繰り返し配列された一般的な構成を示した。図２（ｂ）は、図２（ａ）の領域内の中央画素Ｒに含まれるべき高周波成分（解像感情報）５５３を得るための空間ＢＰＦの空間係数（固定係数）の一例を示す。
【００２１】
次に、図１のＣＭＯＳイメージセンサの動作を説明する。ｍ×ｎ画素の受光領域５０１で光学像が光電変換され、画素毎に異なるアナログ信号５０２が生成される。アナログ信号５０２は、ＡＤＣ５０３でａビット幅（通常、ａ＝１０〜１２）のリニア映像信号５０４に変換される。
【００２２】
デジタル信号５０４は、画素欠陥補正・ノイズ抑圧回路５００で画素欠陥補正・ノイズ抑圧のために各種の補正演算が施される。まず、デジタル信号１０４は、色信号の復元に必要な５画素分の信号を得るために４Ｈラインメモリ５０５に入力され、５Ｈの信号が同時化された５ラインのリニア映像信号５０６〜５１０が得られる。
【００２３】
この５ラインのデジタル信号５０６〜５１０の内、同色３ラインのリニア映像信号５０６，５０８，５１０は、各々別々に第１の非線形処理器５１１で「プリγ補正」と呼ばれる非線形処理が施されることによって、黒付近が伸張され、白付近が圧縮されたｂビット幅の非線形なデジタル信号（ノンリニア映像信号）５１２〜５１４に変換される。この非線形処理は、後段の信号処理において施される「γ補正」を考慮し、予め黒付近の信号に対して画素欠陥補正とノイズ抑圧を強めに施すために実施される。
【００２４】
ノンリニア映像信号５１２〜５１４は、第１のシフトレジスタ５１５を通ることにより、３×３＝９個の同色画素のノンリニア映像信号５１６〜５２４が抽出される。このノンリニア映像信号５１６〜５２４のうちの５２０が中央画素に対応する。ここで、図１中の同色画素のノンリニア映像信号５１６〜５２４の空間配置を図９（ａ）に示す。
【００２５】
このノンリニア映像信号５１６〜５２４は、並べ替え回路５２５により図９（ｂ）に示すように信号の大小順に並べ替えが行われ、ノンリニア映像信号５２６〜５３４となる。図９（ｂ）中、［ ］内の数字は信号値の一例を示す。
【００２６】
大小順に並べ替えられたノンリニア映像信号５２６〜５３４の中央の信号５３０は、メディアンフィルタ出力と呼ばれており、特異点（高周波ランダムノイズ）が全く含まれない狭帯域のデジタル信号となる。このノンリニア映像信号５２６〜５３４は、キズ判定回路５３５に入り、その判定結果５３６が選択器５３７に与えられることにより、中央に存在する欠陥信号のみが他の信号に置換されて画素欠陥の補正（デジタル信号の置換）が行われる。
【００２７】
図９（ｃ）は、図１中の画素欠陥判定回路（キズ判定回路）５３５による画素欠陥の判定とデジタル信号の置換方法の一例を示す。中央画素が最大もしくは最小、または大小２番目（最大もしくは最小から２番目）に存在する場合には、各々大小３番目（最大もしくは最小から３番目）の信号と置換して画素欠陥を補正する。
【００２８】
このアルゴリズムは、３×３＝９個の同色画素の内、少なくとも中央画素を含む任意の３画素が特異なレベルを有する場合、それは画素欠陥に因るものでは無く、被写体に因るものと考えた方が正しいとの理解に基づく。本アルゴリズムによれば、誤補正が目立たない画素欠陥補正を実現することができる。選択器５３７で信号の置換が行われることで画素欠陥が補正され、画素欠陥を含まないノンリニア映像信号５３８が出力される。
【００２９】
このノンリニア映像信号５３８と並べ替え結果の中央値（メディアンフィルタ出力信号）５３０とが減算器５３９に入り、メディアンフィルタ出力信号５３０からノンリニア映像信号５３８を減算する。これにより、ノンリニア映像信号５３８に含まれる負のノイズ成分５４０（＝５３０−５３８）の抽出が行われる。
【００３０】
このノイズ成分５４０は、解像度（エッジ）情報も含まれているので、振幅制限器５４１で振幅制限される。振幅制限された負のノイズ成分５４０は、さらに、第１の係数乗算器５４２で第１の乗算係数αの乗算が施された後、第１の加算器５４３によりデジタル信号５３８と加算される。この場合、振幅制限された負のノイズ成分５４０は、第１の乗算係数αが“０”の時は常に“０”となるので、ノイズ抑圧は行われない。振幅制限された負のノイズ成分５４０がノンリニア映像信号５３８に加算され、正負のノイズ成分だけが相殺されることにより、正負のノイズ成分だけが相殺され、所望のノイズ抑圧が施されたノンリニア映像信号５４４が得られる。
【００３１】
このノンリニア映像信号５４４は、前述の「プリγ補正」が施されているので、その逆変換を行うために第２の非線形処理器５４５を通って「逆γ補正」が施されることにより、ａビット幅のリニア映像信号（デジタル信号）５４６に戻る。このリニア映像信号５４６は、ラインメモリ５０５に入力するａビット幅のデジタル信号５０４に比べて、画素欠陥もノイズも少ない。
【００３２】
上記したような画素欠陥の補正およびノイズ抑圧の動作は、結果的にデジタル映像信号の狭帯域化が施される演算処理を行うので、その分の解像度の低下は避けられない。そこで、本実施形態では、解像感復元を行うために以下のような動作を行う。
【００３３】
前述した同時化された５ラインのリニア映像信号５０６〜５１０は、第２のシフトレジスタ５５１を通り、５×５＝２５個の画素のデジタル信号となる。このデジタル信号群から中央画素に含まれるべき高周波成分（解像感情報）を抽出するために、第２のシフトレジスタ５５１から必要な画素のデジタル信号を取り出し、例えば図２（ｂ）に示すような空間係数を用いた空間ＢＰＦ５５２を通すことにより高周波成分５５３を得る。高周波成分５５３は、第２の係数乗算器５５４で第２の乗算係数５５５の乗算が施されることにより、解像感が復元された解像感復元信号５５６となる。
【００３４】
通常、Ｇｒ，Ｇｂ画素に比べてＲ，Ｂ画素は感度が低く、Ｓ／Ｎ（量子化精度）も低い。Ｇ画素は、Ｒ，Ｂ画素に比べてサンプル（画素）数も多いので、後段処理の方式にもよるが、解像感復元を強く施す必要は無い。全色画素に共通の解像感復元を施し、Ｇｒ，Ｇｂ画素のＳ／Ｎを下げると、弊害が生じる場合が有る。
【００３５】
そこで、４つの乗算係数（Ｂ係数、Ｇｂ係数、Ｇｒ係数、Ｒ係数）入力から垂直インデックスＬＩおよび水平インデックスＣＳに基づいて第２の乗算係数５５５を選択する４入力選択器５５７を用いることにより、例えば色画素毎に異なる値を設定できる。これにより、図２（ｂ）に示すような空間係数を用いたＢＰＦ５５２により、キズ補正で使用する画素以外の周辺のＧｒ，Ｇｂ画素で中央のＲ，Ｂ画素を復元し、周辺のＲ，Ｂ画素で中央Ｇｒ，Ｇｂ画素を復元することが可能になる。
【００３６】
上記したような解像感復元システムを搭載したＣＭＯＳイメージセンサによれば、画素欠陥補正とノイズ抑圧による狭帯域化の補正のみならず、レンズを含む光学系によるピントのズレ、アナログ画素間での信号漏れ込みによる画像のボケ、混色補正などの狭帯域化まで含めて信号処理回路により補正して解像感を復元する（上げる）ことができる。これにより、画素数に応じた理想解像度を有するＣＭＯＳイメージセンサを実現することが可能となる。
【００３７】
また、既存のＣＭＯＳイメージセンサに解像感復元回路５５０を増設しても、既存のラインメモリ５０５（例えば比較的大きなサイズのＳＲＡＭ）をそのまま利用することができ、サイズの増加は少なくて済む。このように複数の同色デジタル信号および複数の異色デジタル信号を得る手段において、ラインメモリ５０５を共通に用いているので、回路規模を削減することが可能になる。また、ＲＡＷデータ上での解像感復元も可能であり、小形、軽量、低コストながら高解像度のＣＭＯＳイメージセンサを実現できる。
【００３８】
また、複数の異色デジタル信号から中央画素に存在すべき高周波成分を抽出する手段において、非線形処理を施す前のリニア信号から高周波成分を抽出することが望ましい。これにより、より高精度な解像感の復元（高性能の復元処理）が可能になる。
【００３９】
また、複数の異色デジタル信号から中央画素に存在すべき高周波成分を抽出する手段において、所定の固定係数を有する空間ＢＰＦを用いることが望ましい。これにより、回路構成を簡単にでき、回路規模を削減することが可能になる。
【００４０】
また、解像感の復元を行う手段において、抽出した高周波成分に少なくとも任意の係数（復元係数）を乗算し、乗算後の復元信号を元信号へ加算する手段を具備することが望ましい。これにより、係数の変更により解像感復元の効果を任意に可変することができる。
【００４１】
また、任意の乗算係数として色画素毎に異なる値を取り得る手段を具備することが望ましい。これにより、色画素毎に解像感復元の効果を可変でき、さらに高いＳ／Ｎを達成することが可能になる。
【００４２】
＜第１の実施形態の変形例１＞
ＣＭＯＳイメージセンサにおいては、アナログゲイン（以下、ＡＧ）を大きく設定した場合に信号のＳ／Ｎが悪くなる場合が多い。このような場合に解像感復元処理を施すと、さらにＳ／Ｎが悪化してしまう。これを避けるために、第２の乗算係数５５５を色画素とＡＧに連動させることが望ましい。そこで、４入力選択器５５７に入力する４つの乗算係数は、ＡＧ、画面内の平均輝度レベル、領域内の輝度差に連動して変更しても良い。
【００４３】
図３は、図１中の４入力選択器５５７の変形例として、中央画素に含まれるべき高周波成分（解像感情報）を抽出した後に施す乗算の係数を色画素とＡＧに連動させる場合の回路例である。図３中、７０１はＡＧ最小時の４つの乗算係数が入力する４入力選択器、７０３は選択されたＡＧ最小時の乗算係数、７０２はＡＧ最大時の乗算係数が入力する４入力選択器、７０４は選択されたＡＧ最大時の乗算係数である。７０５はＡＧ最大時の乗算係数７０４からＡＧ最小時の乗算係数７０３を減算する減算器である。７０６は減算器７０５の出力信号にＡＧ情報７０９を乗算する乗算器である。７０７は乗算器７０６の出力信号にＡＧ最小時の乗算係数７０３を加算する加算器であり、その出力信号は色画素とＡＧに連動する乗算係数７０８となる。
【００４４】
次に、図３の回路の動作を説明する。４入力選択器７０１は、ＡＧ最小時の各色画素別の乗算係数を選択して乗算係数７０３を出力し、４入力選択器７０２は、ＡＧ最大時の各色画素別の乗算係数を選択して乗算係数７０４を出力する。乗算係数７０３、７０４を減算器７０５に入力し、減算器７０５の出力とＡＧ情報７０９とを乗算器７０６に入力し、乗算器７０６の出力と乗算係数７０３を加算器７０７に入力することにより、ＡＧに連動した乗算係数７０８を得ることができる。ＡＧ情報７０９は、例えばＡＧ最小時に“０”〜ＡＧ最大時に“２５５”なるデジタル信号を用いる。このようにして得られたＡＧに連動した乗算係数７０８を図２中の第２の乗算係数５５５に代えて第２の係数乗算器５５４へ入力する。このようにして得られた解像感復元信号５５６は、図１中の第２の加算器５５８でデジタル信号５４６に加算される。
【００４５】
上記変形例１においては、解像感の復元を行う手段において、抽出した高周波成分に少なくとも任意の係数（復元係数）を乗算する際、任意の乗算係数としてＡＧに応じた値を取り得る手段を具備している。これにより、アナログゲインに応じて解像感復元の効果を可変でき、低照度時のＳ／Ｎの悪化を回避することが可能になる。
【００４６】
また、任意の乗算係数として、画面内の平均輝度レベルに応じた値を取り得る手段を具備することが望ましい。これにより、画面の明るさに応じて解像感復元の効果を任意に可変することが可能になる。
【００４７】
また、任意の乗算係数を設定するために、ｔ×ｕ領域の輝度レベル、もしくは複数のｔ×ｕ領域の最大輝度差に応じた値を取り得る手段を具備することにより、画面内の輝度分布もしくは領域内での輝度差に応じて解像感復元の効果を任意に可変することが可能になる。
【００４８】
＜第１の実施形態の変形例２＞
図１では、ビット幅ａとビット幅ｂの関係がａ＜ｂの場合を想定しているが、ａ≧ｂの場合には、４Ｈラインメモリ５０５と第１の非線形処理器（プリγ補正器）５１１との処理順序を入れ換えた方が回路規模が小さくなる。
【００４９】
＜第２の実施形態＞
図４は、本発明の第２の実施形態に係るＣＭＯＳイメージセンサの一部を示すブロック図である。このＣＭＯＳイメージセンサは、中央画素のノイズ抑圧を行う回路に解像感復元回路を組み合わせた構成を有する。４Ｈラインメモリ８０２は、ａビット幅のデジタル映像信号８０１が入力し、同時化された５ライン（０Ｈ〜４Ｈ）のリニアなデジタル映像信号８０３〜８０７が取り出される。シフトレジスタ８０８は、信号８０３〜８０７が入力し、同色９画素の信号８０９〜８１７および異色１２画素の信号８５１〜８６２が取り出される。
【００５０】
加算器８１８〜８２４は周辺同色８画素平均回路８８１を構成しており、シフトレジスタ８０８から取り出される信号８０９〜８１７を加算処理し、周辺同色８画素の加算平均８２５を出力する。第１の減算器８２６は、加算平均８２５から信号８１３（８０９〜８１７の中央）を減算し、負のノイズ成分８２７を出力する。
【００５１】
振幅制限回路８２８は、負のノイズ成分８２７を振幅制限する。第１の係数乗算器８２９は、振幅制限回路８２８の出力に第１の係数（抑圧係数）を乗算する。第１の加算器８３１は、係数乗算後の負のノイズ成分８３０をノイズ抑圧映像信号８１３に加算する。
【００５２】
加算器８６３〜８６５は中央異色４画素平均回路８８２を構成しており、シフトレジスタ８０８から取り出される中央異色４画素の信号８５１〜８５４を加算処理し、中央付近の異色４画素加算平均８６６を出力する。
【００５３】
加算器８６７〜８７３は、周辺異色８画素平均回路８８３を構成しており、シフトレジスタ８０８から取り出される周辺の異色８画素の信号８５５〜８６２を加算処理し、周辺の異色８画素の加算平均８７４を出力する。第２の減算器８７５は、中央付近の異色４画素加算平均８６６から加算平均８７４を減算し、高周波成分８７６を出力する。
【００５４】
第２の係数乗算器８７７は、第２の減算器８７５の出力８７６に復元係数を乗算する。第２の加算器８７９は、ノイズ抑圧後のデジタル映像信号８３２に解像感復元信号８７８を加算し、解像感復元後のデジタル映像信号８８０を出力する。
【００５５】
次に、図４の回路において中央画素のノイズ抑圧を行う動作を説明する。ａビット幅のデジタル映像信号８０１が前段の信号処理回路（例えば図１中のＡＤＣ５０３）より入力される。このデジタル映像信号８０１は、リニア映像信号でもノンリニア映像信号でも構わない。デジタル映像信号８０１は、先ず４Ｈラインメモリ８０２に入り、同時化された５ラインのデジタル映像信号８０３〜８０７となる。デジタル信号８０３〜８０７には、同色３ラインの信号８０３，８０５，８０７が含まれる。デジタル信号８０３〜８０７はシフトレジスタ８０８を通り、３×３＝９個の同色画素のデジタル映像信号８０９〜８１７が抽出される（デジタル信号８１３が中央画素に対応する）。
【００５６】
中央画素を除く周辺同色８画素の加算平均８２５を求めるために、デジタル信号８０９〜８１２とデジタル信号８１４〜８１７が周辺同色８画素平均回路８８１に入り、順次加算される。最終段の加算器８２４の出力が加算平均８２５である。加算平均８２５はランダムノイズ成分が少ない映像信号であるので、減算器８２６により加算平均８２５から中央画素のデジタル信号８１３を減算することにより、デジタル信号８１３に含まれる負のノイズ成分８２７（＝８２５−８１３）が抽出される。ノイズ成分８２７には解像度情報も含まれているので、振幅制限器８２８による振幅制限と第１の係数乗算８２９による係数乗算を施し、負のノイズ成分８３０を得る。ノイズ成分８３０を第１の加算器８３１で元のデジタル信号８１３に加算すれば、正負のノイズ成分だけが相殺され、ノイズ抑圧されたデジタル映像信号８３２となる。
【００５７】
シフトレジスタ８０８は、上記したように中央画素のノイズ抑圧を行うために同色画素のデジタル映像信号８０９〜８１７を抽出すると同時に、解像感を復元するために異色のデジタル映像信号８５１〜８６２も抽出する。
【００５８】
図５（ａ）は、第２の実施形態に係るＣＭＯＳイメージセンサにおける受光領域の一部の色フィルタ配列の一例を示す。図５（ｂ）は、図４中の同色９画素のデジタル信号８０９〜８１７と異色１２画素のデジタル信号８５１〜８６２の空間配置の一例を示す。
【００５９】
デジタル信号８５１〜８５４は、中央異色４画素平均回路８８２に入り順次加算され、中央付近の異色４画素加算平均８６６となる。同様に、デジタル信号８５５〜８６２は、中央異色８画素平均回路８８３に入り、順次加算され、周辺の異色７画素加算平均８７４となる。加算平均８６６と加算平均８７４とを第２の減算器８７５で引き算（＝８６６−８７４）すれば、高周波成分８７６が得られる。高周波成分８７６は、第２の係数乗算８７７による係数乗算が施され、解像感復元信号８７８となる。ノイズ抑圧された映像信号８３２と解像感復元信号８７８は、第４の加算器８７９で加算される。第２の加算器８７９から出力されるデジタル映像信号８８０は、ノイズ抑圧と解像感復元とが施された最終出力になる。
【００６０】
上記したような解像感復元システムを搭載した固体撮像装置によれば、中央画素のノイズ抑圧を行うとともに、信号処理により解像感を復元することができる。
【００６１】
また、複数の同色デジタル信号および複数の異色デジタル信号を得る手段においては、シフトレジスタ８０８を共通に用いることにより、回路規模をさらに削減することが可能になる。
【００６２】
＜第３の実施形態＞
図６は、本発明の第３の実施形態に係るＣＭＯＳイメージセンサの一部を示すブロック図である。このＣＭＯＳイメージセンサは、ノンリニア領域（プリγ補正後）における画素欠陥補正とノイズ抑圧を同時に行う回路に、リニア領域（逆γ補正後）におけるノイズ抑圧と解像感の復元を行う回路を組み合わせた構成を有する。
【００６３】
図６中、１００１は光電変換を行うｍ×ｎ画素（ｍ，ｎは任意の整数）の受光領域であり、画素毎に光電変換したアナログ信号１００２を出力する。１００３はアナログ信号１００２をａビット幅のデジタル信号１００４に変換するＡ／Ｄ変換器（ＡＤＣ）であり、このデジタル信号１００４は前処理部１００５によりｂビット幅のデジタル信号１００６に変換され、画素欠陥補正・ノイズ抑圧回路１１００に入力する。
【００６４】
画素欠陥補正・ノイズ抑圧回路１０００において、１００７はデジタル信号１００６が入力する第１の４Ｈラインメモリであり、同時化された同色３ライン（０Ｈ，２Ｈ，４Ｈ）の信号１００８〜１０１０を出力する。１０１１は第１の非線形処理器（プリγ補正器）であり、同色３ラインの信号１００８〜１０１０が入力し、プリγ補正を行い、ｃビット幅のノンリニア映像信号１０１２〜１０１４を出力する。
【００６５】
１０１５は第１のシフトレジスタであり、信号１０１２〜１０１４が入力し、９画素分の同色信号１０１６〜１０２４を出力する。１０２５は並べ替え回路であり、同色信号１０１６〜１０２４が入力し、これを並べ替えてノンリニア映像信号１０２６〜１０３４を出力する。
【００６６】
１０３５は画素欠陥判定回路（キズ判定回路）であり、並べ替え結果のノンリニア信号１０２６〜１０３４が入力し、画素欠陥の判定結果の信号１０３６を出力する。１０３７は選択器であり、同色信号１０１６〜１０２４のうちの中央の信号１０２０およびキズ判定回路１０３５から代用信号が入力し、この中央の信号１０２０または代用信号を判定結果の信号１０３６に基づいて選択し、画素欠陥補正後のノンリニア信号１０３８を出力する。
【００６７】
１０３９は第１の減算器であり、並べ替え結果のノンリニア信号１０２６〜１０３４のうちの中央の信号１０３０および画素欠陥補正後のノンリニア信号１０３８が入力し、その減算処理を行うことにより負のノイズ成分１０４０を出力する。１０４１は第１の振幅制限回路であり、負のノイズ成分１０４０の振幅制限処理を行う。
【００６８】
１０４２は第１の乗算器であり、第１の振幅制限回路１０４１の出力に第１の抑圧係数発生回路１０４４から出力する第１の乗算係数を乗算する。１０４３は第１の加算器であり、画素欠陥補正後のノンリニア信号１０３８に第１の乗算器１０４２の出力を加算することによりノイズ抑圧されたノンリニア映像信号１０４５を出力する。
【００６９】
１０４６は第２の非線形処理器（逆γ補正器）であり、ノイズ抑圧後の映像信号１０４５に対して逆γ補正を行うことにより、ノイズ抑圧後のｂビット幅のリニア映像信号１０４７を出力する。
【００７０】
一方、解像感復元回路１１００において、１０４８はｂビット幅のリニア映像信号１０４７が入力する第２の４Ｈラインメモリであり、同時化された５ライン（０Ｈ〜４Ｈ）の信号１０４９〜１０５３を出力する。１０５４は第２のシフトレジスタであり、同時化された５ラインの信号１０４９〜１０５３が入力し、同色９画素の信号１０５５〜１０６３、中央付近に存在する異色４画素の信号１０６４〜１０６７および外周に存在する異色８画素の信号１０６８〜１０７５を出力する。
【００７１】
１０７６は周辺同色８画素の加算平均をとる加算平均化回路、１０７７は周辺同色８画素の加算平均である。１０７８は第２の減算器であり、周辺同色８画素の加算平均１０７７と同色９画素の信号１０５５〜１０６３のうちの中央の信号１０５９が入力し、その減算処理を行うことにより負のノイズ成分１０７９を出力する。１０８０は第２の振幅制限回路であり、負のノイズ成分１０７９の振幅制限処理を行う。
【００７２】
１０８１は第２の乗算器であり、第２の振幅制限回路１０８０の出力に第２の抑圧係数発生回路１０８３から出力する第２の乗算係数を乗算し、その出力を第２の加算器１０８２へ供給する。
【００７３】
第２の加算器１０８２は、同色９画素の信号１０５５〜１０６３のうちの中央の信号１０５９に第２の乗算器の出力信号を加算し、ノイズ抑圧されたリニア映像信号１０８４を出力する。１０８５は混色補正回路であり、ノイズ抑圧されたリニア映像信号１０８４を混色補正し、リニア映像信号１０８６を出力する。
【００７４】
１０８７は中央異色４画素の加算平均をとる加算平均化回路、１０８８は中央異色４画素の加算平均である。１０８９は周辺異色８画素の加算平均化回路、１０９０は周辺異色８画素の加算平均である。１０９１は第３の減算器であり、中央異色４画素の加算平均１０８８と周辺異色８画素の加算平均１０９０が入力し、その減算処理を行うことにより高周波成分１０９２を出力する。
【００７５】
１０９３は第３の乗算器であり、第３の減算器１０９１の出力に復元係数発生回路１０９６から出力する復元係数を乗算し、解像感復元信号１０９４を出力する。
【００７６】
第３の加算器１０９５は、混色補正後のリニア映像信号１０８６と解像感復元信号１０９４とを加算し、解像感復元後のリニア映像信号１０９７を出力する。この信号１０９７は後処理部１０９８によりｄビット幅のデジタル映像信号１０９９に変換され、最終出力となる。
【００７７】
図７は、図６中の５×５＝２５個の画素領域から得られる９画素の同色信号１０５５〜１０６３と１２画素の異色信号１０６４〜１０７５との空間配置の一例を示す。
【００７８】
次に、図６の回路における動作を説明する。ｎ×ｍ画素の受光領域１００１で光学像が光電変換され、画素毎に異なるアナログ信号１００２となる。アナログ信号１００２はＡＤＣ１００３においてａビット幅のリニア映像信号１００４に変換され、前処理部１００５に順次入力される。前処理部１００５は、例えばホワイトバランス調整、シェーディング補正などの演算回路が含まれ、その処理結果がｂビット幅のリニア映像信号１００６として出力される。
【００７９】
信号１００６は、第１の４Ｈラインメモリ１００７に入り、同時化された同色３ラインのリニア映像信号１００８〜１０１０として出力される。信号１００８〜１０１０は、各々別々に第１の非線形処理器１０１１で「プリγ補正」が施され、ｃビット幅のノンリニア映像信号１０１２〜１０１４に変換される。信号１０１２〜１０１４は、第１のシフトレジスタ１０１５を通り３×３＝９同色画素のノンリニア映像信号（デジタル信号）１０１６〜１０２４となる。ここでは、信号１０１６〜１０２４のうちの１０２０が中央画素に対応する。
【００８０】
信号１０１６〜１０２４は、並べ替え回路１０２５により大小順に並べ替えが行われ、その並べ替え結果１０２６〜１０３４が画素欠陥の判定回路１０３５に入る。判定回路１０３５の判定結果１０３６が選択器１０３７に与えられ、画素欠陥の補正（デジタル信号の置換）が行われる。画素欠陥補正後のノンリニア映像信号１０３８と並べ替え結果の中央値１０３０は減算器１０３９に入り、負のノイズ成分１０４０（＝１０３０−１０３８）の抽出が行われる。ノイズ成分１０４０は、振幅制限器１０４１による振幅制限と係数乗算器１０４２による係数乗算が施された後、加算器１０４３により画素欠陥補正後の信号１０３８と加算され、ノイズ成分だけが相殺される。
【００８１】
第１の抑圧係数発生回路１０４４は、ノンリニア領域でのノイズ抑圧の効果を可変するためのものであり、例えばＡＧ最大時に低Ｓ／Ｎの映像しか得られない場合は抑圧効果を高めてＳ／Ｎ改善を図り、ＡＧ最小時に高Ｓ／Ｎの映像が得られる場合は抑圧効果を減らして解像度を重視することも可能となる。ノイズ抑圧されたノンリニア映像信号１０４５は、第２の非線形処理器１０４６を経て「逆γ補正」が施され、再びｂビット幅のリニア映像信号１０４７に戻る。信号１０４７は、第２の４Ｈラインメモリ１０４８に入り、同時化された５ラインのリニア映像信号１０４９〜１０５３として出力される。信号１０４９〜１０５３が、第２のシフトレジスタ１０５４を通り、５×５＝２５画素領域のリニア映像信号となる。
【００８２】
中央画素と同色の周辺８画素信号１０５５〜１０５８，１０６０〜１０６３は、周辺同色８画素平均化回路１０７６に入り、加算平均１０７７が出力される。中央画素の信号１０５９と加算平均１０７７は減算器１０７８に入り、負のノイズ成分１０７９（＝１０７７−１０５９）の抽出が行われる。ノイズ成分１０７９は、振幅制限１０８０と係数乗算１０８１が施された後、加算器１０８２により中央画素の元信号１０５９と加算され、ノイズ成分だけが相殺される。第２の抑圧係数発生回路１０８３は、リニア領域でのノイズ抑圧の効果を可変するためのものである。ノイズ抑圧されたリニア映像信号１０８４は、色キャリア成分の増幅回路１０８５を経て「混色補正」が施され、狭帯域ながら高Ｓ／Ｎのリニア映像信号１０８６となる。混色補正回路１０８５は、色付き（色再現）を向上させる目的で挿入されるが、回路構成によっては信号の帯域が減少し、解像度も下がってしまう。中央付近に存在する異色４画素信号１０６４〜１０６７は、中央異色４画素平均化回路１０８７に入り、加算平均１０８８が出力される。外周に存在する異色８画素信号１０６８〜１０７５は、周辺異色８画素平均化回路１０８９に入り、加算平均１０９０が出力される。
【００８３】
加算平均１０８８と加算平均１０９０は減算器１０９１に入り、解像感復元用の高周波成分１０９２（＝１０８８−１０９０）の抽出が行われる。高周波成分１０９２は、係数乗算器１０９３で係数乗算が施され、解像感復元信号１０９４となる。信号１０８６と解像感復元信号１０９４は加算器１０９５で加算され、解像感が復元される。復元係数発生回路１０９６は、解像感復元の効果を可変するためのものである。
【００８４】
加算器１０９５の出力である解像感復元後のリニア映像信号１０９７は、後処理部１０９８に入力される。後処理部１０９８には、例えば電子ズーム（画素間引き）、色分離（ＲＧＢ同時化）、γ補正、ＹＵＶマトリクス、パラレル／シリアル変換などの演算回路が含まれ、その処理結果がｄビット幅のデジタル映像信号１０９９として固体撮像装置から出力される。
【００８５】
上記したような解像感復元システムを搭載したＣＭＯＳイメージセンサによれば、画素欠陥補正とノイズ抑圧と中央画素のノイズ抑圧を行うとともに、信号処理回路により解像感を復元することができる。
【００８６】
上記各実施形態で説明したように、本発明は、特許請求の範囲に記載した発明に限らず、以下の発明も含む。解像感の復元を行う手段において、抽出した高周波成分に少なくとも任意の復元係数を乗算する際、任意の乗算係数としてＡＧに応じた値を取り得る手段を具備させるようにしてもよい。また、任意の乗算係数として色画素毎に異なる値を取り得る手段を具備させるようにしてもよい。また、任意の乗算係数を色画素とＡＧに連動させる手段を具備させるようにしてもよい。また、任意の乗算係数として、画面内の平均輝度レベルに応じた値を取り得る手段を具備させるようにしてもよい。また、任意の乗算係数を設定するために、ｔ×ｕ領域の輝度レベル、もしくは複数のｔ×ｕ領域の最大輝度差に応じた値を取り得る手段を具備させるようにしてもよい。
【００８７】
＜使用例＞
図８は、本発明の固体撮像装置の一使用例に係る携帯電話向け小型リフローラブル・カメラモジュールの一構成例を示す断面図である。このカメラモジュールは、ＣＭＯＳエリアイメージセンサを用いたチップスケール・カメラモジュール（Chip Scale camera Module；ＣＳＣＭ）であり、センサーチップにレンズやレンズホルダを直接に取り付ける構造を有する。図８中、１１は光学レンズ、１２はレンズホルダ、１３はＩＲカットフィルタ、１４はガラス板、１５はＣＭＯＳイメージセンサのチップ（半導体チップ）、１６はチップを貫通する電極、１７はカメラモジュールを実装基板（図示せず）上に接続するための半田ボールである。
【００８８】
上記したようなカメラモジュールの構成上、小形、軽量化のために光学レンズのサイズが小さく制限されるが、解像感の復元処理を行うロジック回路を搭載した本発明の固体撮像装置を用いることで対処することができ、低コストながら高解像度のカメラモジュールを実現することが可能になる。
【図面の簡単な説明】
【００８９】
【図１】本発明の固体撮像装置の第１の実施形態に係るＣＭＯＳイメージセンサを示すブロック図。
【図２】図１中の受光領域の一部の領域を取り出して色フィルタ配列の一例および領域内の中央画素Ｒに含まれるべき高周波成分（解像感情報）を得るための空間ＢＰＦの固定係数の一例を示す図。
【図３】図１中の４入力選択器の変形例を示す回路図。
【図４】本発明の第２の実施形態に係るＣＭＯＳイメージセンサの一部を示すブロック図。
【図５】第２の実施形態に係るＣＭＯＳイメージセンサにおける受光領域の一部の色フィルタ配列の一例および図４中の同色９画素の信号と異色１２画素の信号の空間配置の一例を示す図。
【図６】本発明の第３の実施形態に係るＣＭＯＳイメージセンサの一部を示すブロック図。
【図７】図６中の５×５＝２５個の画素領域から得られる９画素の同色信号と１２画素の異色信号との空間配置の一例を示す図。
【図８】本発明の固体撮像装置を用いたカメラモジュールの一構成例を示す断面図。
【図９】図１中の同色信号の空間配置およびそれを大小順に並べ替え結果、画素欠陥の判定とデジタル信号の置換方法の一例を示す図。
【符号の説明】
【００９０】
５００…画素欠陥補正・ノイズ抑圧回路、５０１…受光領域、５０３…ＡＤＣ、５０５…４Ｈラインメモリ、５１１…第１の非線形処理器（プリγ補正器）、５２５…並べ替え回路、５３５…画素欠陥判定回路、５３７…選択器、５３９…減算器、５４１…振幅制限回路、５４２…第１の乗算器、５４３…第１の加算器、５４５…第２の非線形処理器（逆γ補正器）、５５０…解像感復元回路、５５１…第２のシフトレジスタ、５５２…空間ＢＰＦ、５５４…第２の乗算器、５５７…４入力選択器、５５８…第２の加算器。
【特許請求の範囲】
【請求項１】
光電変換を行うｍ×ｎ画素（ｍ，ｎは任意の整数）の受光領域と、前記受光領域の画素毎に光電変換したアナログ信号をデジタル信号に変換するアナログ／デジタル変換器と、を具備し、前記アナログ／デジタル変換器の出力信号が処理されたデジタル映像信号を順次出力する固体撮像装置において、
前記受光領域内のｐ×ｑ画素（ｐ，ｑは任意の整数）の第１領域に含まれる複数の同色デジタル信号を得るとともにその中から前記第１領域内の中央画素の欠陥を検出して補正する、もしくは、前記中央画素のノイズを抑圧する第１の信号処理手段と、
前記受光領域内のｒ×ｓ画素（ｒ，ｓは任意の整数）の第２領域に含まれる複数の異色デジタル信号を得るとともにその中から中央画素に存在すべき高周波成分を抽出して解像感の復元を行う第２の信号処理手段と、
を具備することを特徴とする固体撮像装置。
【請求項２】
前記第１の信号処理手段および第２の信号処理手段は、前記複数の同色デジタル信号および前記複数の異色デジタル信号を得る際に、共通のラインメモリもしくは共通のシフトレジスタを用いることを特徴とする請求項１記載の固体撮像装置。
【請求項３】
前記第２の信号処理手段は、前記複数の異色デジタル信号から中央画素に存在すべき高周波成分を抽出する際に、前記非線形処理を施す前のリニア信号から高周波成分を抽出することを特徴とする請求項１または２に記載の固体撮像装置。
【請求項４】
前記第２の信号処理手段は、前記複数の異色デジタル信号から中央画素に存在すべき高周波成分を抽出する際に、固定係数を有する空間バンドパスフィルタを用いることを特徴とする請求項１乃至３のいずれか１項に記載の固体撮像装置。
【請求項５】
前記第２の信号処理手段は、前記解像感の復元を行う際、前記抽出した高周波成分に少なくとも任意の係数を乗算し、乗算後の復元信号を元信号へ加算する手段を具備することを特徴とする請求項１乃至４のいずれか１項に記載の固体撮像装置。
【請求項１】
光電変換を行うｍ×ｎ画素（ｍ，ｎは任意の整数）の受光領域と、前記受光領域の画素毎に光電変換したアナログ信号をデジタル信号に変換するアナログ／デジタル変換器と、を具備し、前記アナログ／デジタル変換器の出力信号が処理されたデジタル映像信号を順次出力する固体撮像装置において、
前記受光領域内のｐ×ｑ画素（ｐ，ｑは任意の整数）の第１領域に含まれる複数の同色デジタル信号を得るとともにその中から前記第１領域内の中央画素の欠陥を検出して補正する、もしくは、前記中央画素のノイズを抑圧する第１の信号処理手段と、
前記受光領域内のｒ×ｓ画素（ｒ，ｓは任意の整数）の第２領域に含まれる複数の異色デジタル信号を得るとともにその中から中央画素に存在すべき高周波成分を抽出して解像感の復元を行う第２の信号処理手段と、
を具備することを特徴とする固体撮像装置。
【請求項２】
前記第１の信号処理手段および第２の信号処理手段は、前記複数の同色デジタル信号および前記複数の異色デジタル信号を得る際に、共通のラインメモリもしくは共通のシフトレジスタを用いることを特徴とする請求項１記載の固体撮像装置。
【請求項３】
前記第２の信号処理手段は、前記複数の異色デジタル信号から中央画素に存在すべき高周波成分を抽出する際に、前記非線形処理を施す前のリニア信号から高周波成分を抽出することを特徴とする請求項１または２に記載の固体撮像装置。
【請求項４】
前記第２の信号処理手段は、前記複数の異色デジタル信号から中央画素に存在すべき高周波成分を抽出する際に、固定係数を有する空間バンドパスフィルタを用いることを特徴とする請求項１乃至３のいずれか１項に記載の固体撮像装置。
【請求項５】
前記第２の信号処理手段は、前記解像感の復元を行う際、前記抽出した高周波成分に少なくとも任意の係数を乗算し、乗算後の復元信号を元信号へ加算する手段を具備することを特徴とする請求項１乃至４のいずれか１項に記載の固体撮像装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【公開番号】特開２００９−３０３１３９（Ｐ２００９−３０３１３９Ａ）
【公開日】平成２１年１２月２４日（２００９．１２．２４）
【国際特許分類】
【出願番号】特願２００８−１５８１５６（Ｐ２００８−１５８１５６）
【出願日】平成２０年６月１７日（２００８．６．１７）
【出願人】（０００００３０７８）株式会社東芝 (54,554)
【出願人】（３９００１０３０８）東芝デジタルメディアエンジニアリング株式会社 (192)
【Ｆターム（参考）】
【公開日】平成２１年１２月２４日（２００９．１２．２４）
【国際特許分類】
【出願日】平成２０年６月１７日（２００８．６．１７）
【出願人】（０００００３０７８）株式会社東芝 (54,554)
【出願人】（３９００１０３０８）東芝デジタルメディアエンジニアリング株式会社 (192)
【Ｆターム（参考）】
[ Back to top ]