説明

撮像装置および雑音除去方法

【課題】CMOS撮像装置は印加するパルスを変えることにより比較的自由なタイミングで映像を出力することができるが、このときの課題の一つは、浮遊拡散層の暗電流であり、浮遊拡散層に映像信号電荷を保持しているときに発生する暗電流が画素ごとにばらついて面ザラ状の固定パターン雑音が発生する点である。もう一つの問題点は、浮遊拡散層をリセットするときに発生するkTC雑音で、こちらはランダム雑音である。
【解決手段】暗電流量が保持時間に比例することに着目し、信号出力に含まれる暗電流を、事前に出力した暗電流を時間比で補正して差し引く。kTC雑音については、1度のリセットで複数種類の出力を行い、その複数の出力間の演算でkTC雑音を除去する。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、撮像装置に係り、特に、暗電流ばらつきに起因する面ざらなどの雑音除去方法に関する。
【背景技術】
【0002】
近年の撮像装置の普及は顕著で、通常の静止画、動画のカメラや監視カメラだけでなく、携帯電話やパソコン、自動車などさまざまな装置に装備されている。ほとんどの撮像装置は、アレイ状に配置されたフォトダイオードで光電変換された映像信号電荷の情報を、順次AD変換して出力するが、特にCMOS撮像装置ではフォトダイオードの映像信号電荷を、いったん浮遊拡散層に転送してから増幅して出力する。フォトダイオードには不要電荷を外部に捨てるゲートを設けた例も多く、この場合フォトダイオードの不要電荷を外部に捨てるタイミングと映像信号電荷を浮遊拡散層に移すタイミングを全画素同じにしてグローバルシャッタ機能を実現することができる。浮遊拡散層は、リセットされるか、フォトダイオードから映像信号電荷が転送される以外は、電荷が保持されているので、フォトダイオードから映像信号電荷が転送された後、適当なタイミングで順次、映像信号電荷の情報を出力することができる。このようにグローバルシャッタ機能を実現したCMOS撮像装置については、例えば、特許文献1、特開2007−74435号公報に記載されている。
【0003】
図1が、このようなグローバルシャッタ機能を有するCMOS撮像装置の一例を説明する回路構成図で、画素部分100を中心に描いたものである。フォトダイオード101で光電変換した映像信号電荷は、転送ゲート103を介して、浮遊拡散層102に完全転送され、ソースホロワ増幅器105と行選択ゲート106により、映像信号電荷に比例した映像信号電圧を垂直信号線200に読み出した後、AD変換器300でディジタル信号に変換され、水平出力回路に出力される。図1の例では、ブルーミング掃き出しゲート107が設けられており、このゲートの電圧BGを高くすることによりフォトダイオード101の映像信号電荷を掃き出すことができる。その後転送ゲート103のゲート電圧TGにパルスを印加して映像信号電荷を浮遊拡散層102に転送するが、それまでの期間が露光期間である。BGとTGを全画素同じパルスで制御することにより全画素の露光タイミングを等しくすることができ、すなわちグローバルシャッタ機能を実現することができる。なお特許文献1ではCDS回路が装備されているが、後述するようにランダム雑音を低減する効果が小さいと思われるので、図1ではCDS回路を除いている。
【0004】
図2が、グローバルシャッタ機能を実現するタイミングチャートの一例である。時刻T1から時刻T9が1フレーム期間で、例えば17ミリ秒であり、動画像の中の1枚の映像を撮像する期間である。この中で、BGパルスを立ち下げた時刻T3からフォトダイオード101に蓄積された映像信号電荷が、TGパルスを立ち上げた時に浮遊拡散層102に転送されはじめ、TGパルスが立ち下がった時刻T4で転送が完了する。この時浮遊拡散層102に転送され保持されている映像信号電荷の露光期間はT3からT4までということになる。この映像信号電荷の情報は、その後、行毎に順次垂直信号線200に電圧の形で伝送される。n行目はLS(n)にパルスが入ったとき、 (n+1)行目はLS(n+1) にパルスが入ったとき、順次垂直信号線200にそれぞれの映像信号情報が伝わり、AD変換器300でディジタル信号に変換された後、水平出力回路400を介して出力される。出力は行毎に順番になされるが、露光期間は全ての画素について等しく、グローバルシャッタ機能が実現されている。
【0005】
このようにして、グローバルシャッタ機能を実現することができるが、1つの問題は浮遊拡散層102で発生する暗電流である。画素ごとに浮遊拡散層102があるので、その暗電流ばらつきが面ザラ状の固定パターン雑音となる。
【0006】
もう1つの問題は浮遊拡散層102をリセットするときに発生するランダム雑音、いわゆるkTC雑音である。ここにkがボルツマン定数、Tが絶対温度、Cが浮遊拡散層102の容量であり、ランダム雑音電荷の分散の自乗がkTCという式になることから一般にkTC雑音と呼ばれている。なお特許文献1ではCDS回路が装備され、1フレーム期間ずれたkTC雑音を差し引いている。これによりランダム雑音に面負相関が生じ、視覚的には若干目立ちにくくすることができる。ただ1フレームのみの映像信号を考えるとCDS回路によりランダム雑音が増えるので、計測等に使う場合は不利になる。
【先行技術文献】
【特許文献】
【0007】
【特許文献1】特開2007−74435号公報
【発明の概要】
【発明が解決しようとする課題】
【0008】
解決しようとする問題点の一つは、浮遊拡散層の暗電流であり、浮遊拡散層に映像信号電荷を保持しているときに発生する暗電流が画素ごとにばらつくので、面ザラ状の固定パターン雑音が発生する点である。もう一つの問題点は、浮遊拡散層をリセットするときに発生するkTC雑音で、こちらはランダム雑音である。
【課題を解決するための手段】
【0009】
本発明では、暗電流量が保持時間に比例することに着目し、信号出力に含まれる暗電流を、事前に出力した暗電流を時間比で補正して差し引く。kTC雑音については、1度のリセットで複数種類の信号出力を行い、その複数の信号間の演算でkTC雑音を除去する。
【発明の効果】
【0010】
本発明の雑音除去方法は、画素ごとに暗電流を差し引くので、面ザラ状の固定パターン雑音がない高品位の映像が得られる利点がある。さらにkTC雑音も除去するので、さらに高品位の映像が得られる。特に暗い被写体を高利得で撮像する際に、雑音が少ない高感度な映像が得られる。さらに、本発明の雑音除去方法は、ディジタル信号になった後の演算で行うので、精度良く雑音を除去することができる。
【図面の簡単な説明】
【0011】
【図1】CMOS撮像装置の一従来例を説明する回路構成図である。(従来例)
【図2】CMOS撮像装置の一従来例を説明するタイミングチャートである。(従来例)
【図3】雑音除去方法の一実施例を説明するタイミングチャートである。(実施例1)
【図4】雑音除去方法の一実施例を説明するタイミングチャートである。(実施例1)
【図5】撮像装置の一実施例を説明する回路構成図である。(実施例2)
【図6】雑音除去方法の一実施例を説明するタイミングチャートである。(実施例3)
【図7】雑音除去方法の一実施例を説明するタイミングチャートである。(実施例3)
【発明を実施するための形態】
【0012】
CMOS撮像装置からの映像情報読み出し方法を工夫し、1フレームの中で暗電流の情報と、露光した映像にやむなく暗電流が加わった情報とを出力し、それぞれの暗電流の蓄積時間を勘案した演算により暗電流を除去する。
【0013】
kTC雑音を除去する必要がある場合には、1度浮遊拡散層をリセットした後複数種類の出力を行い、その複数の出力信号間の演算でkTC雑音を除去する。
【実施例1】
【0014】
図3は、本発明方法の一実施例を説明するタイミングチャートであって、図2を改良して、1フレームに3回出力する例である。まず時間T2でRGにパルスを印加して浮遊拡散層102をリセット後、出力期間AでLS(n)に順次パルスを印加して出力する。この最初の出力を出力Aとすると、出力Aには時刻T2でのリセットで発生したkTC雑音と期間τ(n)の間に浮遊拡散層102で発生した暗電流が含まれる。出力期間Aで出力Aを出力した後、出力期間Bでもう一度LS(n)に順次パルスを印加して出力する。この出力を出力Bとすると、出力Bには時刻T2でのリセットで発生したkTC雑音と期間[τ1+τ(n)]の間に浮遊拡散層102で発生した暗電流が含まれる。ここに期間τ1は最初の2回の出力期間の時間差で、時刻T4から時刻T2を差し引いた値になる。出力期間Bで出力Bを出力した後、時刻T5でTGにパルスを印加して映像信号電荷をフォトダイオード101から浮遊拡散層102へ転送する。その後出力期間Cでもう一度LS(n)に順次パルスを印加して出力する。この出力を出力Cとすると、出力Cには時刻T2でのリセットで発生したkTC雑音と期間[τ1+τ2+τ(n)]の間に浮遊拡散層102で発生した暗電流と映像信号電荷が含まれる。ここに期間τ2は2回目と3回目の出力期間の時間差で、時刻T5から時刻T4を差し引いた値になる。これら3つの出力を演算して暗電流とkTC雑音を除いた映像信号が得られるが、演算の詳細は図4を用いて説明する。なお映像信号電荷の露光期間Aは、時刻T3でBGを立ち下げてフォトダイオード101に信号電荷を蓄積しはじめてから、時刻T5でTGを立ち下げて浮遊拡散層102への信号電荷転送を完了するまでの期間である。時刻T3は時刻T5の近傍を除いてどの時刻に設定してもよく、ほぼ自由に露光時間を選ぶことができる。
【0015】
図4が図3のタイミングチャートから細かいパルス部分を除いて出力信号を詳しく記した図である。3つの出力信号を演算して雑音を除いて映像信号だけを得ることができる。それぞれ連続する出力信号の差をとると;
出力B −出力A =τ1 ・Nd (式1)
出力C −出力B =映像信号+ τ2 ・Nd (式2)
となり、(式1)からは暗電流、(式2)からは映像信号と暗電流が得られる。ここにNdは単位時間あたりの暗電流である。行ごとに暗電流の蓄積時間が異なって、量も異なるが、差をとることにより行ごとの時間差が相殺され、上記のように簡単な式で表すことができる。
【0016】
暗電流を時間比τ1/τ2で補正して差し引けば雑音のない映像信号が得られる。
映像信号=(出力C −出力B)−(出力B −出力A)・ τ2 / τ1 (式3)
【0017】
期間τ1とτ2はともにほぼ出力期間と等しい値に縮小することができ、そうするのが空き時間がなく効率的である。その場合τ1=τ2となり、(式3)は以下の簡単な式になって、簡単な回路あるいは短い計算時間で演算を実現することができる。
映像信号=出力C+出力A−2・出力B ( τ2 = τ1 のとき)(式4)
【0018】
以上、暗電流とランダム雑音を同時に除去する方法について一例を説明したが、一般に、映像信号と暗電流とランダム雑音の全部または一部を含む信号で、それぞれの割合が異なる(数学的に独立な)3つ以上の信号があれば、演算により映像信号と暗電流とランダム雑音のそれぞれを分離して求めることができる。
【0019】
また、ダイナミックレンジ拡大等のために元々多くの露光期間と出力信号を設ける場合には、その分信号の種類を増やして出力し、同様の演算で暗電流またはランダム雑音を除去した信号を得ることができる。
【実施例2】
【0020】
図5が本発明の一実施例の撮像装置である。図1の従来例と似ているが、ゲート制御パルスが異なること、新しい演算が加わること、から、パルス発生回路600と演算回路500を追加して記載した。パルス発生回路600が、画素内にパルス群601を供給する。パルス群601はBG,TG,RG,LS(n)などのゲート制御パルスを含む。演算回路500で、(式3)あるいは(式4)の演算を行って雑音を除去する。
【0021】
除去する雑音のうち、暗電流は経時変化が小さいので、必ずしも毎フレーム計算する必要はない。この場合、暗電流情報をアップデートするとき以外は2回出力すればよい。また、被写体の明るさによってはkTC雑音を除去する必要がない場合がある。被写体が充分明るい場合は、信号光によるショット雑音の方が支配的になって、kTC雑音を除去してもランダム雑音の総量がほとんど変化しない。この場合も2回出力すればよい。
【実施例3】
【0022】
フレームあたり2回出力する場合の一実施例のタイミングチャートを図6、図7に示す。図3と比べて出力期間Aを削除した。RGパルスの位置は必ずしも変える必要はないが、少しでも浮遊拡散層102の暗電流を減らすため、時刻T4に合わせている。
【0023】
まず暗電流情報が別に保持されている場合は、(式2)からτ2を考慮して暗電流を差し引けば高品位な映像信号が得られる。
【0024】
明るい被写体でランダム雑音が無視できる場合は出力Bから直接暗電流が求まり、求まった暗電流に蓄積時間を考慮して出力Cから差し引けば、暗電流成分のない映像信号を求めることができる。行ごとに蓄積時間を変える点が回路規模または計算時間の点で不利ではあるが、フレームあたり2回出力するだけで暗電流を除去することができる。
【符号の説明】
【0025】
100…画素部
101…フォトダイオード
102…浮遊拡散層
103…転送ゲート
104…リセットゲート
105…ソースホロワ増幅器
106…行選択ゲート
107…ブルーミング掃き出しゲート
200…垂直信号線
201…電流源
300…AD変換器
400…水平出力回路
500…演算回路
600…パルス発生回路
601…パルス群

【特許請求の範囲】
【請求項1】
アレイ状に配置されたフォトダイオード群と、上記フォトダイオード群で光電変換により得られた映像信号を一時保持する浮遊拡散層群と、上記浮遊拡散層群に保持された映像信号を順次出力する回路と、上記回路の出力を演算する演算回路とを有する撮像装置において、フレーム期間あたり複数の出力期間を設け、上記演算回路における演算により浮遊拡散層群で発生する暗電流を除去することを特徴とする撮像装置。
【請求項2】
第1項記載の撮像装置において、上記演算回路における演算により浮遊拡散層群をリセットするときに発生するランダム雑音も除去することを特徴とする撮像装置。
【請求項3】
第2項記載の撮像装置において、上記複数の出力期間の間、上記浮遊拡散層群はリセットせず順次電荷を加算していくことを特徴とする撮像装置。
【請求項4】
第1項〜第3項記載の撮像装置において、上記複数の出力期間の一部に、上記映像信号を含まない部分を設けることを特徴とする撮像装置。
【請求項5】
アレイ状に配置されたフォトダイオード群と、上記フォトダイオード群で光電変換により得られた映像信号を一時保持する浮遊拡散層群と、上記浮遊拡散層群に保持された映像信号を順次出力する回路とを有する撮像装置において、フレーム期間あたり複数の出力期間を設けて複数の信号を出力し、上記複数の信号の演算により浮遊拡散層群で発生する暗電流を除去することを特徴とする雑音除去方法。
【請求項6】
第5項記載の雑音除去方法において、上記複数の信号の演算により浮遊拡散層群をリセットするときに発生するランダム雑音も除去することを特徴とする雑音除去方法。
【請求項7】
第6項記載の雑音除去方法において、上記複数の出力期間の間、上記浮遊拡散層群はリセットせず順次電荷を加算していき、連続する複数の出力期間の信号の差を取ることにより上記ランダム雑音を除去することを特徴とする雑音除去方法。
【請求項8】
第5項〜第7項記載の雑音除去方法において、上記複数の信号の一部に、上記映像信号を含まない信号を設けることを特徴とする雑音除去方法。
【請求項9】
アレイ状に配置されたフォトダイオード群と、上記フォトダイオード群で光電変換により得られた映像信号を一時保持する浮遊拡散層群と、上記浮遊拡散層群に保持された映像信号を順次出力する回路と、上記回路の出力を演算する演算回路とを有する撮像装置において、上記映像信号と上記浮遊拡散層群をリセットするときに発生するランダム雑音と上記浮遊拡散層群で発生する暗電流の全部または一部を互いに異なる割合で包含する複数の信号を出力し、上記演算回路において暗電流またはランダム雑音を除去することを特徴とする撮像装置。
【請求項10】
アレイ状に配置されたフォトダイオード群と、上記フォトダイオード群で光電変換により得られた映像信号を一時保持する浮遊拡散層群と、上記浮遊拡散層群に保持された映像信号を順次出力する回路とを有する撮像装置において、上記映像信号と上記浮遊拡散層群をリセットするときに発生するランダム雑音と上記浮遊拡散層群で発生する暗電流の全部または一部を互いに異なる割合で包含する複数の信号を出力し、上記複数の信号の演算により暗電流またはランダム雑音を除去することを特徴とする雑音除去方法。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate


【公開番号】特開2013−5200(P2013−5200A)
【公開日】平成25年1月7日(2013.1.7)
【国際特許分類】
【出願番号】特願2011−133910(P2011−133910)
【出願日】平成23年6月16日(2011.6.16)
【出願人】(000233136)株式会社日立アドバンストデジタル (76)
【Fターム(参考)】