撮像装置および撮像方法
【課題】CCD固体撮像素子を用いた固体撮像装置において、白キズ等のCCD固体撮像素子の暗電流の影響を受けない様に、垂直スメアを低減する。
【解決手段】固体撮像素子の受光面の有効画素より先に読み出す4ラインの垂直遮光画素から取得した信号の画面垂直方向の暗電流むらを補正してから、垂直遮光画像4ラインの各垂直画素信号の最小値から2番目の値を算出し、垂直スミア補正信号として記憶し、画像AGCに合わせて利得を可変して固体撮像素子の受光面の有効画素から出力されるAGC後の画像信号から減算する。また、前記固体撮像素子から出力される信号を14ビットにA/D変換して前記代表値信号を算出して15/16に減衰して、前記固体撮像素子の受光面の有効画素から出力される画像信号から減算する。
【解決手段】固体撮像素子の受光面の有効画素より先に読み出す4ラインの垂直遮光画素から取得した信号の画面垂直方向の暗電流むらを補正してから、垂直遮光画像4ラインの各垂直画素信号の最小値から2番目の値を算出し、垂直スミア補正信号として記憶し、画像AGCに合わせて利得を可変して固体撮像素子の受光面の有効画素から出力されるAGC後の画像信号から減算する。また、前記固体撮像素子から出力される信号を14ビットにA/D変換して前記代表値信号を算出して15/16に減衰して、前記固体撮像素子の受光面の有効画素から出力される画像信号から減算する。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、固体撮像素子を有する撮像装置に関し、撮像素子から出力される画像信号に含まれる雑音を低減する方法に関するものである。
【背景技術】
【0002】
CCD(Charge Coupled Device)撮像素子は固体撮像素子の中でも感度が高く白キズが少ないが、高感度撮像時は白キズが多い。また、CCD撮像素子はスポット光のような高輝度被写体を撮像した場合に、スポット光を撮像した画素のフォトダイオードから垂直転送路に過剰電荷が漏れ込み、高輝度被写体を撮像した画素と同じ垂直方向の画素すべてにスポット光の照度に比例した画像信号が重畳されて、垂直スミアとよばれる白い縦線が発生する。CCD撮像素子に撮像面の外側に蓄積面を設けて、垂直転送を高速化すれば、垂直スミアは低減する。しかし、蓄積面を設ければ、CCD撮像素子面積が倍増し、高価格化する。垂直転送を高速化すれば、消費電力も倍増し、白キズが増加する。さらにCCD撮像素子の近赤外感度を高くすると、フォトダイオードが深くなり白キズが増加する。
【0003】
そこで、従来、光学的黒画素部分の白キズの影響を低減するため、CCD撮像素子の垂直方向の光学的黒画素(Vertical-Optical Black以下V−OB)部分の12ラインの出力の各垂直画素信号を平均し、1ライン分の信号として記憶し、この固体撮像素子の有効画素部分の出力信号よりこの記憶した信号を減算していた。(特許文献1参照) また、デジタル信号処理回路の集積化が進み、複数ラインの出力信号を記憶し算術処理することが、映像専用のメモリ集積DSPだけでなく、安価な汎用のFPGA(Field Programmable Gate Array)でも容易に実現できる様になった。
【0004】
さらに、CCDから出力された信号から雑音を除去するCDS(Correlated Double Sampling)と暗電流補正と利得可変増幅回路(Automatic Gain Control以下AGC)とデジタル映像信号Viに変換するADC(Analog Digital Converter)とを内蔵したFEP(Front End Processor)が普及し、FEPのADC階調は従来10ビットだったが、12ビットや14ビットが一般化し、16ビットも製品化された。ADCを22ビットとし、AGCをADCの後に配置したFEPも製品化された。
【0005】
さらに、電子増倍型CCD撮像素子(Electron Multiplying-CCD以下EM−CCD)は、電子冷却部と組み合わせて感度を高くできるため、可視光と近赤外光の夜間の撮影用の照明なしの準動画監視が可能となった。
【特許文献1】特開平07−067038号公報
【発明の開示】
【発明が解決しようとする課題】
【0006】
CCD撮像素子の高感度化と画素数の増加とに強く相関して暗電流むらが大きくなり白キズや暗部むらのレベルが大きくなり易い。特に、高感度用またはHDTV(High Definition TeleVision)用のCCD撮像素子は、厳しく選別したCCD撮像素子以外は白キズや暗部むらのレベルが大きいCCD撮像素子を用いている。また、HDTVでは、(上側または下側の)垂直帰線期間が(1125(走査線総数)―1080(有効走査線数))/2=22.5本分の走査に相当する時間と短く、V−OB画素部分のライン数は上側が1ラインで下側が3ライン等多くの領域をとることができない。
【0007】
そのため、CCD撮像素子のV−OB部分のラインの出力信号を複数ラインで平均しても、白キズ成分が残留する。さらに、白い縦筋の垂直スミア低減のため、有効画素部分の出力信号から、この平均した信号を減算すると、黒い縦筋が発生してしまう。
【0008】
また、CCD撮像素子のV−OB部分のラインの出力信号を水平方向に平均すると白キズ成分の影響は減少するが、垂直スミア補正の過不足の誤差分が増加するので、減算処理を行っても白い縦筋が残り黒い縦筋が発生してしまう。
【0009】
さらに、CCD固体撮像素子の垂直スミア成分は画像信号が飽和しても増加するので、画像信号が飽和に応じて垂直スミア補正のレベルを可変しないと、垂直スミア補正の過不足の誤差分が増加するので、減算処理を行っても白い縦筋が残り黒い縦筋が発生してしまう。
【0010】
特にEM−CCDは感度を高くできるが、スミア成分は多い画像信号を生成する。さらに、画像信号が高レベルに及ぶため、信号回路で飽和し易い。そのEM−CCDを電子冷却しても、高感度動作時は、白キズや暗部むらのレベルが大きい。その結果、垂直スミア補正の過不足の誤差分が増加して、白い縦筋が残り黒い縦筋が発生してしまう。その結果、高輝度の外部照明光が直接画面に入る夜間監視の障害となっている。
【0011】
本発明の目的は、厳しく選別した白キズや暗部むらが少ないCCD撮像素子を用いることなく、CCD撮像素子から出力される垂直スミアの補正の過不足の誤差分の白い縦筋や黒い縦筋を低減することにある。
【課題を解決するための手段】
【0012】
本発明は、上記課題を解決するため、固体撮像素子と該固体撮像素子の受光面の有効画素から出力される画像信号を取得する第1の取得部と前記固体撮像素子の受光面の上部または下部の遮光した画素から出力される信号を取得する第2の取得部とを有する固体撮像装置において、(前記第2の取得部で取得した)前記固体撮像素子の受光面の上部の前記遮光した画素から出力される信号を画面始まりの垂直暗部むらを補正してから、(前記第2の取得部で取得した遮光した画素から出力される信号の複数ラインの各垂直画素信号の最小値からN(Nは2以上の自然数)番目の値、最小値からN−1番目までと最大値からM−1(Mは3以上の自然数)番目までを除外した平均値、最大値からM−1番目までを除外した平均値または最大値からM番目の値から算出される代表値信号の少なくとも1つを算出する算出部と、前記第1の取得部で取得した有効画素から出力される画像信号から前記代表値信号を減算する減算部とを有し、前記算出部において、)前記第2の取得部で取得した遮光した画素から出力される信号の複数ラインの各垂直画素信号の最小値からN(Nは2以上の自然数)番目の値、最小値からN−1番目までと最大値からM−1(Mは3以上の自然数)番目までを除外した平均値または最大値からM−1番目までを除外した平均値、の少なくとも1つから算出される代表値信号を算出し、(前記減算部において、)前記第1の取得部で取得した有効画素から出力される画像信号から前記代表値信号を減算すること(により、画面始まりの垂直暗部むらを補正して画面始まりの垂直暗部むらの影響を削除していることと、CCD撮像素子の白キズの影響を削除していること)を特徴とする(撮像装置または)撮像方法である。
【0013】
さらに、固体撮像素子と該固体撮像素子の受光面の有効画素から出力される画像信号を取得する第1の取得部と前記固体撮像素子の受光面の上部または下部の遮光した画素から出力される信号を取得する第2の取得部とを有する固体撮像装置において、(前記第2の取得部で取得した遮光した画素から出力される信号の複数ラインの各垂直画素信号の最小値からN番目の値、最小値からN−1番目までと最大値からM−1番目までを除外した平均値、または最大値からM−1番目までを除外した平均値、または最大値からM番目の値から算出される代表値信号の少なくとも1つを算出する算出部と、前記第1の取得部で取得した有効画素から出力される画像信号から前記代表値信号を減算する減算部とを有し、)前記固体撮像素子の受光面の上部の遮光した画素の垂直ライン数が3であり、前記固体撮像素子の受光面の上部の前記遮光した画素から出力される信号を画面始まりの垂直暗部むらを補正してから、(前記算出部において、)前記第2の取得部で取得した遮光した画素から出力される信号の複数ラインの各垂直画素信号の最大値から3番目の値を代表値信号とするか、または、前記固体撮像素子の受光面の上部の遮光した画素の垂直ライン数が4であり、前記固体撮像素子の受光面の上部の前記遮光した画素から出力される信号を画面始まりの垂直暗部むらを補正してから、(前記算出部において、)前記第2の取得部で取得した遮光した画素から出力される信号の複数ラインの各垂直画素信号の最大値から2番目までを除外した平均値あるいは最大値から4番目の値、の少なくとも1つから算出される代表値信号を算出し、(前記減算部において、)前記第1の取得部で取得した有効画素から出力される画像信号から前記代表値信号を減算すること(により、遮光した画素の垂直ライン数が3または4のCCD撮像素子であっても白キズの影響を削除していること)を特徴とする(撮像装置または)撮像方法である。
【0014】
また上記において、(12ビット以上のA/D変換部を有し、該12ビット以上のA/D変換部において、)前記固体撮像素子から出力される信号を12ビット以上にA/D変換して(、前記算出部において)代表値信号を算出して、3/4以上1未満に減衰して(前記減算部において、)固体撮像素子の受光面の有効画素から出力される画像信号から減算すること(により、高感度動作時のEM−CCD撮像素子の画像信号飽和等のCCD撮像素子の画像信号飽和に応じて垂直スミア補正のレベルを可変することなく、スミア成分補正の画像信号の線形領域の傾斜を幾分減衰させた線形信号で近似して、EM−CCD撮像素子の高感度動作時等のCCD撮像素子の画像信号飽和領域まで線形信号で処理できること)を特徴とする(撮像装置または)撮像方法である。
【0015】
また上記において、(12ビット以上のA/D変換部を有し、該12ビット以上のA/D変換部において、)前記固体撮像素子から出力される信号を12ビットにA/D変換して(、前記算出部において)代表値信号を算出して、該算出した代表値信号を3/4に減衰するか、(14ビット以上のA/D変換部を有し、該14ビット以上のA/D変換部において、)前記固体撮像素子から出力される信号を14ビットにA/D変換して(、前記算出部において)代表値信号を算出して、該算出した代表値信号を15/16に減衰するか、または、(16ビット以上のA/D変換部を有し、該16ビット以上のA/D変換部において、)前記固体撮像素子から出力される信号を16ビットにA/D変換して(、前記算出部において)代表値信号を算出して、該算出した代表値信号を63/64に減衰するかして、該減衰した代表値信号を固体撮像素子の受光面の有効画素から出力される画像信号から減算して、該減衰した代表値信号を固体撮像素子の受光面の有効画素から出力される画像信号から減算すること(により、高感度動作時のEM−CCD撮像素子の画像信号飽和等のCCD撮像素子の画像信号飽和に応じて垂直スミア補正のレベルを可変することなく、スミア成分補正の画像信号の線形領域の傾斜を幾分減衰させた線形信号で近似して、EM−CCD撮像素子の高感度動作時等のCCD撮像素子の画像信号飽和領域まで線形信号で処理できること)を特徴とする(撮像装置または)撮像方法である。
【0016】
または、固体撮像素子と該固体撮像素子の受光面の有効画素から出力される画像信号を取得
する第1の取得部と前記固体撮像素子の受光面の上部または下部の遮光した画素から出力される信号を取得する第2の取得部と(前記第2の取得部で取得した遮光した画素から出力される信号の複数ラインの各垂直画素信号の最小値からN(Nは2以上の自然数)番目の値、または最大値からM(Mは3以上の自然数)−1番目までを除外した平均値、の少なくとも1つから算出される代表値信号を算出する算出部と、前記第1の取得部で取得した有効画素から出力される画像信号から前記代表値信号を減算する減算部と)を有する固体撮像装置において、(前記算出部において、)前記第2の取得部で取得した遮光した画素から出力される信号の複数ラインの各垂直画素信号の最小値からN(Nは2以上の自然数)番目の値、または最大値からM(Mは3以上の自然数)−1番目までを除外した平均値、の少なくとも1つから算出される代表値信号を算出し、(前記減算部において、)前記第1の取得部で取得した有効画素から出力される画像信号から前記代表値信号を減算すること(により、CCD撮像素子の白キズの影響を削除していること)を特徴とする(撮像装置または)撮像方法である。
【0017】
または、固体撮像素子と該固体撮像素子の受光面の有効画素から出力される画像信号を取得する第1の取得部と前記固体撮像素子の受光面の上部または下部の遮光した画素から出力される信号を取得する第2の取得部と(前記第2の取得部で取得した遮光した画素から出力される信号の複数ラインの各垂直画素信号の最小値からN(Nは2以上の自然数)番目の値、または最大値からM(Mは3以上の自然数)−1番目までを除外した平均値、の少なくとも1つから算出される代表値信号を算出する算出部と、前記第1の取得部で取得した有効画素から出力される画像信号から前記代表値信号を減算する減算部と)を有する固体撮像装置において、前記固体撮像素子の受光面の上部または下部の遮光した画素の多い片方の垂直ライン数が3であり、(前記算出部において、)前記第2の取得部で取得した遮光した画素から出力される信号の複数ラインの各垂直画素信号の最大値から3番目の値を代表値信号とするか、または、前記固体撮像素子の受光面の上部または下部の遮光した画素の多い片方の垂直ライン数が4であり、(前記算出部において、)前記第2の取得部で取得した遮光した画素から出力される信号の複数ラインの各垂直画素信号の最大値から2番目までを除外した平均値もしくは最大値から4番目の値の少なくとも1つから算出される代表値信号を算出し、(前記減算部において、)前記第1の取得部で取得した有効画素から出力される画像信号から前記代表値信号を減算すること(により、遮光した画素の垂直ライン数が3または4のCCD撮像素子であっても白キズの影響を削除していること)を特徴とする(撮像装置または)撮像方法である。
【0018】
また上記において、(12ビット以上のA/D変換部を有し、該12ビット以上のA/D変換部において、)前記固体撮像素子から出力される信号を12ビット以上にA/D変換して(、前記算出部において)代表値信号を算出して、3/4以上1未満に減衰して(前記減算部において、)固体撮像素子の受光面の有効画素から出力される画像信号から減算すること(により、高感度動作時のEM−CCD撮像素子の画像信号飽和等のCCD撮像素子の画像信号飽和に応じて垂直スミア補正のレベルを可変することなく、スミア成分補正の画像信号の線形領域の傾斜を幾分減衰させた線形信号で近似して、EM−CCD撮像素子の高感度動作時等のCCD撮像素子の画像信号飽和領域まで線形信号で処理できること)を特徴とする(撮像装置または)撮像方法である。
【0019】
また上記において、(12ビット以上のA/D変換部を有し、該12ビット以上のA/D変換部において、)前記固体撮像素子から出力される信号を12ビットにA/D変換して(、前記算出部において)代表値信号を算出して、該算出した代表値信号を3/4に減衰するか、(14ビット以上のA/D変換部を有し、該14ビット以上のA/D変換部において、)前記固体撮像素子から出力される信号を14ビットにA/D変換して(、前記算出部において)代表値信号を算出して、該算出した代表値信号を15/16に減衰するか、または、(16ビット以上のA/D変換部を有し、該16ビット以上のA/D変換部において、)前記固体撮像素子から出力される信号を16ビットにA/D変換して(、前記算出部において)代表値信号を算出して、該算出した代表値信号を63/64に減衰するかして、該減衰した代表値信号を固体撮像素子の受光面の有効画素から出力される画像信号から減算して、該減衰した代表値信号を固体撮像素子の受光面の有効画素から出力される画像信号から減算すること(により、高感度動作時のEM−CCD撮像素子の画像信号飽和等のCCD撮像素子の画像信号飽和に応じて垂直スミア補正のレベルを可変することなく、スミア成分補正の画像信号の線形領域の傾斜を幾分減衰させた線形信号で近似して、EM−CCD撮像素子の高感度動作時等のCCD撮像素子の画像信号飽和領域まで線形信号で処理できること)を特徴とする(撮像装置または)撮像方法である。
【0020】
また上記記載の撮像装置の前記代表値信号を算出する前記算出部において、前記垂直画素信号の値と所定の基準値とを比較する比較部と、前記比較部で比較した値結果に基づく値を記憶するメモリ部と、を有し、前記算出部において、前記代表値信号として前記第2の取得部で取得した遮光した画素から出力される信号の複数ラインの各垂直画素信号の最小値からN(Nは2以上の自然数)番目の値、が算出されること(により、CCD撮像素子の白キズの影響を削除していること)を特徴とする撮像装置である。 また上記記載の撮像装置の前記代表値信号を算出する前記算出部において、前記メモリ部に記憶された結果に基づく値を加算する加算部と、前記加算部で加算された総和から平均値を算出する平均化部と、を有し、前記加算部と前記平均化部とにおいて、前記代表値信号として最小値からN−1番目までと最大値からM−1(Mは3以上の自然数)番目までを除外した平均値または最大値からM−1番目までを除外した平均値が算出されること(により、CCD撮像素子の白キズの影響を削除していること)を特徴とする撮像装置である。
【発明の効果】
【0021】
上記の様に本発明によれば、遮光したV−OBの複数ラインの各垂直画素信号の最小値からN番目の値等の最大値からM番目の値の影響を除く代表値を算出することにより、V−OBのライン数が少なく、白キズや暗部むらのレベルが大きい選別していないCCD撮像素子でも、白キズなどのCCD撮像素子の大きい暗電流成分を排除した垂直スミア補正信号を検出できる。さらに、垂直スミア補正信号を水平方向に平均しないで画像信号から減算することにより、垂直スミア補正の過不足の誤差分が減少して白い縦筋と黒い縦筋が目立たない画像信号が得られる。
【0022】
また、CCD固体撮像素子のスミア成分は画像信号が飽和しても増加するので、スミア成分補正の画像信号は、飽和領域まで達すると非線形特性を考慮する必要がある。そこで、スミア成分補正の画像信号の線形領域の傾斜を幾分減衰させた線形信号で近似して、飽和領域まで線形信号で処理する。例えば、4ビット分高い解像度でA/D変換できれば、2の4乗=16倍の余裕に相当する。従って、これを幾分減衰させた15/16という値にする。16ビットにA/D変換した場合は6ビット分の余裕ができるので、遮光画素代表値を63/64に減衰して減算することができ、画像信号の飽和に対応する処理の必要性が実用上なくなる。
【0023】
その結果、V−OB画素部分のライン数が少ないHDTVのCCD撮像素子や、垂直スミアも白キズも多いEM−CCDを使用しても、安定に垂直スミアが低減でき、画質が改善される。
【図面の簡単な説明】
【0024】
【図1A】V−OBが3ライン以上で最小値から2番目の値(3ラインで中央値)の場合の本発明の一実施例の全体構成の撮像装置を示すブロック図
【図1B】V−OBが5ライン以上で最小値から3番目の値(5ラインで中央値)の場合の本発明の一実施例の全体構成の撮像装置を示すブロック図
【図1C】V−OBが2ライン以上で最小値でデジタルAGC(Digital AGC))を用いる場合の本発明の一実施例の全体構成の撮像装置を示すブロック図
【図1D】V−OBが3ライン以上で最大値除く平均値の場合の本発明の一実施例の全体構成の撮像装置を示すブロック図
【図1E】V−OBが4ライン以上で最大値と最小値除く平均値の場合の本発明の一実施例の全体構成の撮像装置を示すブロック図
【図1F】V−OBが4ライン以上で最大値と2番目に大きい値除く平均値の場合の本発明の一実施例の全体構成の撮像装置を示すブロック図
【図2A】V−OBの最小値から2番目の値を代表値として検出する本発明の一実施例のフローチャート
【図2B】V−OBの最小値から3番目の値を代表値として検出する本発明の一実施例のフローチャート
【図2C】V−OBの最小値を代表値として検出する本発明の一実施例のフローチャート
【図2D】V−OBの最大値を除く平均値を代表値として検出する本発明の一実施例のフローチャート
【図2E】V−OBの最大値と最小値を除く平均値を代表値として検出する本発明の一実施例のフローチャート
【図2F】V−OBの最大値と2番目に大きい値を除く平均値を代表値として検出するフローチャート
【図3】本発明の1実施例や従来技術でのV−OBでのスミア値の検出を示す模式表図 図3A,3DはV−OBが3ラインの場合、図3BはV−OBが5ラインの場合、図3Cは、V−OBが2ラインの場合、図3E、3FはV−OBが4ラインの場合
【図4】本発明の1実施例や従来技術でのV−OBでのスミア値の検出を示す画面の模式図 図4A、4DはV−OBが3ラインの場合、図4BはV−OBが5ラインの場合、図4CはV−OBが2ラインの場合、図4E、4FはV−OBが4ラインの場合
【発明を実施するための最良の形態】
【0025】
本発明による撮像装置の一実施例の概要を、本発明の一実施例の全体構成の撮像装置を示すブロック図の図1A−1Fと本発明の1実施例や従来技術でのV−OBでのスミア値の検出を示す画面の模式図の図4A−4Fとを用いて説明する。その後、本発明の幾つかの一実施例の動作を、本発明の一実施例の全体構成の撮像装置を示すブロック図の図1A−1Fをと本発明の一実施例の代表値検出フローチャートの図2A−2Fとを用いて説明する。
【0026】
本発明の一実施例の全体構成の撮像装置を示すブロック図の図1A−1Fにおいて、図1AはV−OBが3ライン以上で最小値から2番目の値(3ラインで中央値)を検出する場合で、図1BはV−OBが5ライン以上で最小値から3番目の値(5ラインで中央値)を検出する場合で、図1CはV−OBが2ライン以上で最小値を検出しデジタルAGCする場合で、図1DはV−OBが3ライン以上で最大値除く平均値を検出する場合で、図1EはV−OBが4ライン以上で最大値と最小値除く平均値を検出する場合で、図1FはV−OBが4ライン以上で最大値と2番目に大きい値除く平均値を検出する場合である。本発明の一実施例の代表値検出フローチャートの図2A−2Fにおいて、図2AはV−OB最小値から2番目の値を検出する場合で、図2BはV−OB最小値から3番目の値を検出する場合で、図2CはV−OB最小値を検出する場合で、図2DはV−OBが最大値除く平均値を検出する場合で、図2EはV−OB最大値と最小値除く平均値を検出する場合で、図2FはV−OB最大値と2番目に大き
い値を除く平均値を検出する場合である。
【0027】
本発明の一実施例の全体構成の撮像装置を示すブロック図の図1A―1Fの特徴は、比較部とラインメモリ部とにより、最大値または2番目に大きい値を除きCCD撮像素子の白キズの影響を削除している事である。
【0028】
本発明の1実施例や従来技術でのV−OBでのスミア値の検出を示す画面の模式図の図4A−4Fと本発明の1実施例や従来技術でのV−OBでのスミア値の検出を示す模式表図の図3A,3B,3C,3D,3E,3Fがそれぞれ図1A,1B,1C,1D,1E,1Fに対応している。図1A、1DはV−OBが3ラインで、図1BはV−OBが5ラインで、図1CはV−OBが2ラインで、図1E、1FはV−OBが4ラインである。なお、図4A―図4Fは画面の模式図であり、CCD撮像面は、画面と上下左右が反転している。
【0029】
図3CのようにV−OBが2ラインの中に信号値21の白キズがあると、平均値は11.5と特に大きく、スミア補正で誤差が特に大きいことが判る(以下、本実施例では白キズと判定される最大信号値のレベルを21として説明を続ける)。図3A、3DのようにV−OBが3ラインの中に信号値21の白キズがあると、平均値は9となり、中央値4や最大値を除く平均値3から大きく異なる値である。図3E、3Fのように、V−OBが4ラインの中に信号値21の白キズがあると、平均値は8となり、最大値を除く平均値3.67から大きく異なる値である。図3Bのように、V−OBが5ラインの中に信号値21の白キズがあると、平均値は7となり、中央値4や最大値を除く平均値3.5から大きく異なる値である。よって、平均値はV−OBのライン数が少し多くなってもスミア補正で誤差が大きいことが判る。図3A―3Fでは、本実施例の最小値は2で、中央値や最大値を除く平均値より1から2小さいが、従来の平均値の7から11.5ほど大きな誤差がない。最小値はV−OBのライン数が2と少ない場合でも従来のV−OBが5ラインの平均値よりスミア補正の誤差が少なく、実用的なことが判る。
【0030】
本発明の一実施例の全体構成の撮像装置を示すブロック図の図1A―1Fにおいて、1は撮像装置、2は入射光を結像するレンズ等の光学系、3は光学系2から入射した光を電気信号に変換するCCDやEM−CCD等のCCD撮像素子、4はCCD撮像素子3から出力された信号から雑音を除去するCDSと暗電流補正と信号の利得を調整するAGCとデジタル映像信号Viに変換するADCからなるFEP(但し、図1Cや1Eのように、AGCが、FEPに含まれない構成を用いてもよい。)、5はデジタル映像信号ViからのOB代表値信号を減算してスミア成分の補正を行うスミア補正部、6はデジタル映像信号ViのV−OBの代表値信号の検出を行うOB代表値検出部であり、21〜23はデジタル映像信号ViのV−OBラインの画素ごとに比較する比較部で、71〜76はOB代表値を記憶するラインメモリであり、11は映像信号から代表値信号を減算する減算器である。7は検出スミア補正部5から出力された信号Vmに種々の画像処理を施しNTSC(National Television System Committee)方式またはPAL(Phase Alternating by Line)方式の複合映像信号(Video Burst Sync以下VBS)またはSDI(Serial Digital Interface)映像信号、あるいはHDTVのSDI(HD−SDI)等の所定方式の映像信号に変換して出力する映像信号処理部、8はEM−CCD3の駆動および電子増倍の利得制御を行うためのCCD駆動部(または、TGと標記する)であり、EM―CCDを駆動するタイミング信号を生成するタイミングジェネレータ(TG)と、生成されたタイミング信号を駆動するドライバとを主に備えており、9は撮像装置1内の各部を制御するCPU(Central Processing Unit)である(CPUから各部への制御線は図示せず)。10は、デジタルAGC(D.AGC)であり、OB代表値信号をFEPのAGCの増幅度に合わせてD.AGC自身の増幅度を調節する。
【0031】
次に、本発明の一実施例の動作を図1A―1Fを参照しつつ説明する。撮像装置1のEM−CCD3(またはCCD3)は光学系2で受光面に結像された入射光をフォトダイオードで光電変換して信号電荷を生成し、垂直転送したのち水平転送しながら信号電荷を電子増倍してFEP4に出力する。FEP4はEM−CCD3から出力された信号から雑音を除去し暗電流成分を補正し補正した信号を増幅してデジタル映像信号Viに変換してスミア補正部5にデジタル映像信号Viを出力する。デジタル映像信号Viは、スミア補正部5を介してOB代表値検出部6に送られると共に、後述する信号処理を行うために減算器11にも送られる。OB代表値検出部6はデジタル映像信号Viを比較部21〜23でV−OBラインの垂直画素信号ごとに比較し小さい順にラインメモリ71〜76に記憶し、スミア成分としてOB代表値信号を検出する。
【0032】
あるいは、図1D−1Fに示す実施例のように、比較部21,22とラインメモリ72,75,76とを用いて所定の基準を満たすV−OBラインの垂直画素信号を選び、その選ばれた垂直画素信号を加算部13を用いて加算を行い、加算結果をラインメモリ71に記憶し、平均化部12で平均値としてのOB代表値信号を算出するように構成してよい。
【0033】
スミア補正部5はOB代表値信号をFEPのAGCの増幅度に合わせてD.AGC10で増幅し、減算器11はその増幅した信号をデジタル映像信号Viから減算し、映像信号処理部7にデジタル映像信号Vmを出力する。映像信号処理部7はデジタル映像信号Vmに種々の画像処理を施し所定方式の映像信号Voに変換して出力する。
【0034】
さらに、CCD駆動部(TG)8はCPU9から出力される制御信号(図示せず)に従ってEM−CCD3を駆動するための信号を出力する。図1Cや図1Eに示す実施例ではFEP4にAGCがないので、スミア補正部5でデジタル映像信号ViからOB代表値信号を減算してからのデジタルAGCをおこなうように構成されている。
【0035】
また、図1A―1Fで示す実施例において、FEP内にAGCが含まれていない実施例や、スメア補正部のD.AGCの配置場所が異なる実施例や、デジタル信号ViやVmのビット数やOB代表値信号のビット数が異なる実施例や、比較部やラインメモリ部の構成が異なる実施例等があるが、これらは一実施例にすぎず種々の構成が適用されてよい。
【0036】
次に、図1A−1Fと図2A−2Fと図3A−3Fと図4A−4Fとを用いて垂直スミア信号の検出と補正の動作について説明する。
【0037】
まず、図1A、図2A、図3A、図4Aに示す実施例について説明する。CPU9は、ラインメモリ部72、73に最小値信号の上限値、2番目に小さい信号の上限値をそれぞれ設定しておく。ここで、これらの上限値は、例えば、信号の輝度を数値化したものを用いてよい(以下で述べる各値についても、同様の基準で数値化されたものである)。比較部21は、ラインメモリ部72に記憶されている上限値とV−OB領域の1ライン目(以下V−OB1)の映像信号の画素の値とを各画素間で比較し、値が小さい方の信号(V−OB1の映像信号)を各画素の最小値の信号としてラインメモリ部72に記憶する(ステップ21,22)。比較部21は、V−OB2の映像信号の画素の値とラインメモリ部72に最小値の信号の値とを各画素間で比較し、値が小さい方の信号をラインメモリ部72に各画素の最小値の信号として記憶する。値が大きい方の信号は比較部22に送られる。比較部22は、大きい方の信号の値と2番目に小さい信号としてラインメモリ部73に記憶されている上限値とを各画素間で比較し、小さい方の信号を各画素の2番目に小さい信号としてラインメモリ部73に記憶する(ステップ23)。同様に、比較部21は、Nライン目(Nは3以上の自然数)のV−OBNの映像信号の画素の値とメモリ部72の最小値とを各画素間で比較し、値が小さい方の信号を各画素の最小値の信号としてラインメモリ部72に記憶する。値が大きい方の信号は各画素の比較1の信号として、比較部22に送られる(ステップ24)。比較部22は、2番目に小さい信号の値と比較1の信号の値とを各画素間で比較し、値が小さい方の信号を各画素の2番目に小さい信号としてラインメモリ部73に記憶する(ステップ25)。比較部22が最後のV−OBの比較処理を終了すると、ラインメモリ部73は、2番目に小さい信号をスミア補正用のOB代表値信号としてスメア補正部5に出力し(ステップ26)、代表値検出処理が終了する(ステップ27)。
【0038】
次に、図1B、図2B、図3B、図4Bに示す実施例について説明する。CPU9は、ラインメモリ部72、73、74に最小値信号の上限値、2番目に小さい信号の上限値、3番目に小さい信号の上限値をそれぞれ設定しておく。比較部21は、ラインメモリ部72に記憶されている上限値とV−OB1の映像信号の画素の値とを各画素間で比較し、値が小さい方の信号(V−OB1の映像信号)を最小値の信号としてラインメモリ部72に記憶する(ステップ21,28)。比較部21は、最小値の信号の値とV−OB2の映像信号の画素の値とを各画素間で比較し、値が小さい方の信号を各画素の最小値の信号としてラインメモリ部72に記憶する(ステップ29)。比較部22は、大きい方の信号の値と各画素の2番目に小さい信号としてラインメモリ部73に記憶された上限値とを各画素間で比較し、値が小さい方の信号を2番目に小さい信号としてラインメモリ部73に記憶する(ステップ29)。比較部21は、ラインメモリ部72に記憶された信号の値とV−OB3の映像信号の値とを各画素間で比較し、値が小さい方の信号を各画素の最小値の信号としてラインメモリ部72に記憶する。値が大きい方の信号は、比較1の信号として、比較部23に送られる(ステップ30)。比較部22は、ラインメモリ部73に記憶されている2番目に小さい信号の値と比較1の信号とを各画素間で比較し、値が小さい方の信号を各画素の2番目に小さい信号としてラインメモリ部73に記憶する。比較部23は、値が大きい方の信号と3番目に小さい信号としてラインメモリ部74に記憶された上限値とを各画素間で比較し、値が小さい方の信号を各画素の3番目に小さい信号としてラインメモリ部74に記憶する(ステップ31)。同様に、Nライン目(Nは4以上の自然数)のV−OBNの映像信号の画素の値とラインメモリ部72の最小値とを各画素間で比較し、値が小さい方の信号を各画素の最小値の信号としてラインメモリ部72に記憶する。値が大きい方の信号は各画素の比較1の信号として、比較部22に送られる(ステップ24)。比較部22は、2番目に小さい信号の値と比較1の信号の値とを各画素間で比較し、値が小さい方の信号を各画素の2番目に小さい信号としてラインメモリ部73に記憶する。値が大きい方の信号は、各画素の比較2の信号して比較部23に送られる(ステップ32)。比較部23は、3番目に小さい信号の値と比較2の信号の値とを各画素で比較し、値が小さい方の信号を各画素の3番目に小さい信号としてラインメモリ部74に記憶する(ステップ33)。比較部23で最後のV−OBの比較が終了すると、ラインメモリ部74は、3番目に小さい信号をスミア補正用のOB代表値信号としてスメア補正部5に出力し(ステップ34)、代表値信号検出処理が終了する(ステップ27)。
【0039】
さらに、図1C、図2C、図3C、図4Cに示す実施例について説明する。CPU9は、ラインメモリ部72に最小値信号の上限値を設定しておく。比較部21は、上限値とV−OB1の映像信号の画素の値とを各画素間で比較し、値が小さい方の信号(V−OB1の映像信号)を最小値の信号としてラインメモリ部72に記憶する(ステップ21,35)。比較部21は、最小値の信号の値とV−OB2の映像信号の画素の値とを各画素間で比較し、値が小さい方の信号を最小値の信号としてラインメモリ部72に記憶する(ステップ
36)。同様に、比較部21は、Nライン目(Nは3以上の自然数)のV−OBNの映像信号の画素の値と最小値の信号の値とを各画素間で比較し、値が小さい方の信号を最小値の信号としてラインメモリ部72に記憶する(ステップ37)。比較部21が最後のV−OBの比較処理を終了すると、ラインメモリ部72は、最小値の信号をスミア補正用のOB代表値信号としてスメア補正部5に出力し(ステップ38)、代表値検出処理が終了する(ステップ27)。
【0040】
また、図1D、図2D、図3D、図4Dに示す実施例について説明する。CPU9は、ラインメモリ部71の値を0、ラインメモリ部75の値を信号の下限値に設定しておく。比較部21は、下限値とV−OB1の映像信号の値とを各画素間で比較し、値が大きい方の信号(V−OB1の映像信号)を各画素の最大値の信号としてラインメモリ部75に記憶する(ステップ21,39)。比較部21は、最大値の信号とV−OB2の映像信号の画素の値とを各画素間で比較し、値が大きい方の信号を最大値の信号としてラインメモリ部75に記憶する。加算部13は、値が小さい方の信号を中間値としてラインメモリ部71に加算記憶する(ステップ40)。同様に、比較部21は、Nライン目のV−OBN(Nは3以上の自然数)の映像信号の画素の値と最大値の信号とを各画素間で比較し、値が大きい方の信号を最大値の信号としてラインメモリ部75に記憶する。加算部13は、値が小さい方の信号を中間値としてラインメモリ部71に加算記憶する(ステップ41)。比較部21が最後のV−OBの比較処理を終了すると、ラインメモリ部71は、平均化部12に加算記憶した値を出力する。平均化部12は、中間値の信号を1/(N−1)に減衰して平均値を算出しスミア補正用のOB代表値信号としてスメア補正部5に出力し(ステップ42)、代表値検出処理が終了する(ステップ27)。
【0041】
また、図1E、図2E、図3E、図4Eに示す実施例について説明する。CPU9は、ラインメモリ部71の値を0、ラインメモリ部72の値を信号の上限値に設定しておき、ラインメモリ部75の値を信号の下限値に設定しておく。比較部21は、下限値とV−OB1の映像信号の画素の値とを各画素間で比較し、値が大きい方の信号(V−OB1の映像信号)を各画素の最大値の信号としてラインメモリ部75に記憶する(ステップ21,43)。比較部21は、最大値の信号とV−OB2の映像信号の画素の値とを各画素間で比較し、値が大きい方の信号を各画素の最大値の信号としてラインメモリ部75に記憶する。値が小さい方の信号は、各画素の最小値の信号として比較部22に送られる。比較部22は、値が小さい方の信号とラインメモリ部72に記憶された上限値とを各画素間で比較し、値が小さい方の信号を各画素の最小値の信号としてラインメモリ部72に記憶する(ステップ44)。比較部21は、ラインメモリ部75に記憶されている最大値の信号の値とV−OB3の映像信号の画素の値とを各画素で比較し、値が大きい方の信号を最大値の信号としてラインメモリ部75に記憶する。比較部21は、値が小さい方の信号を比較1の信号として比較部22に送る(ステップ45)。比較部22は、最小値の信号の値と比較1の信号の値とを各画素間で比較し、値が小さい方の信号を最小値の信号としてラインメモリ部72に記憶し、値が大きい方の信号を中間値として加算部13を介してラインメモリ部71に加算記憶する(ステップ46)。同様に、比較部21は、Nライン目(Nは4以上の自然数)のV−OBNの映像信号の画素の値と最大値の信号の値とを各画素間で比較し、値が大きい方の信号を最大値の信号としてラインメモリ部75に記憶し、値が小さい方の信号を比較1の信号として、比較部22に送る(ステップ47)。比較部22は、最小値の信号の値と比較1の信号の値とを各画素間で比較し、値が小さい方の信号を最小値の信号としてラインメモリ部72に記憶し、値が大きい方の信号を中間値として加算部13を介してラインメモリ部71に加算記憶する(ステップ48)。比較部22が最後のV−OBの比較処理を終了すると、ラインメモリ部71は、平均化部12に加算記憶した値を出力する。平均化部12は、中間値の信号を1/(N−2)に減衰して平均値を算出しスミア補正用のOB代表値信号としてスメア補正部5に出力し(ステップ49)、代表値信号処理が終了する(ステップ27)。
【0042】
また、図1F、図2F、図3F、図4Fに示す実施例について説明する。CPU9は、ラインメモリ部71の値を0、ラインメモリ部75,76の値を信号の下限値にしておく。比較部21は、下限値とV−OB1の映像信号の画素の値とを各画素間で比較し、値が大きい方の信号(V−OB1の映像信号)を最大値の信号としてラインメモリ部75に記憶する(ステップ21,50)。比較部21は、最大値の信号の値とV−OB2の映像信号の画素の値とを各画素間で比較し、値が大きい方の信号を最大値の信号としてラインメモリ部75に記憶する。値が小さい方の信号は、各画素の2番目に大きい信号として比較部22に送られる。比較部22は、値が小さい方の信号とラインメモリ部76に記憶された下限値と各画素間で比較し、値が小さい方の信号を各画素の2番目に大きい信号としてラインメモリ部76に記憶する(ステップ51)。比較部21は、ラインメモリ部75に記憶されている最大値の信号の値とV−OB3の映像信号の画素の値とを各画素間で比較し、値が大きい方の信号を最大値の信号としてラインメモリ部75に記憶する。比較部21は、値が小さい方の信号を比較1の信号として比較部22に送る(ステップ45)。比較部22は、2番目に大きい信号の値と比較1の信号の値とを各画素で比較し、値が大きい方の信号を2番目に大きい信号としてラインメモリ部75に記憶し、値が小さい方の信号を中間値として加算部13を介してラインメモリ部71に加算記憶する(ステップ52)。同様に、比較部21は、Nライン目(Nは4以上の自然数)のV−OBNの映像信号の画素の値と最大値の信号の値とを各画素間で比較し、値が大きい方の信号を最大値の信号としてラインメモリ部75に記憶し、値が小さい方の信号を比較1の信号として比較部22に送る(ステップ47)。比較部22は、2番目に大きい信号の値と比較1の信号の値とを各画素間で比較し、値が大きい方の信号を2番目に大きい信号としてラインメモリ部75に記憶し、値が小さい方の信号を中間値として加算部13を介してラインメモリ部71に加算記憶する(ステップ53)。比較部22が最後のV−OBの比較処理を終了すると、ラインメモリ部71は、平均化部12に加算記憶した値を出力する。平均化部12は、中間値の信号を1/(N−2)に減衰して平均値を算出しスミア補正用のOB代表値信号としてスメア部5に出力し(ステップ49)、代表値信号検出処理が終了(ステップ27)する。
【0043】
図1A、1Bに示す実施例においては、OB代表値信号をFEP4のAGCに合わせて利得を可変してから15/16に減衰した信号を信号Viから減算して、垂直スミア信号を低減した信号Vmを出力する。また、CCD撮像素子のスミア成分は画像信号が飽和しても増加するが、画像信号は14ビットにA/D変換しているので、従来の10ビットA/D変換に比較して画像信号の飽和に関して4ビット分の余裕ができるので、スミア成分補正の画像信号の飽和に対応するための処理の必要性が少ない。さらに、遮光画素代表値を15/16に減衰して減算するので、画像信号の飽和に対応するための処理の必要性が減少する。
【0044】
ここで、本実施例では、減衰比を15/16としたが、スミア成分補正の画像信号を、飽和に対応するための処理(例えば、線形処理)ができるような任意の値を採用してよい。一般的には、pビット以上冗長した解像度でA/D変換できれば、(2^p−s)/(2^p)以上1未満の間のいずれかの値を採用してよい。ここでp、sは自然数であり、sはpよりも小さい。好ましくは、sの値は1であるが、これに限定されない。スミア成分補正の画像信号は、飽和領域まで達すると非線形特性を考慮する必要がある。そこで、本実施例では、スミア成分補正の画像信号の線形領域の傾斜を幾分減衰させた線形信号で近似して、飽和領域まで線形信号で処理できる構成を採用している。例えば、4ビット分高い解像度でA/D変換できれば、2の4乗=16倍の余裕に相当する。従って、これを幾分減衰させた15/16という値を本実施例では採用している。図1Cに示す実施例のように、16ビットにA/D変換した場合は6ビット分の余裕ができるので、減算器11は、遮光画素代表値を63/64に減衰して減算することができ、画像信号の飽和に対応する処理の必要性が実用上なくなる。CCD固体撮像素子の信号電荷を電圧に変換する感度を上げて、図1Fのように22ビットにA/D変換しCCD撮像素子の暗電流を補正すれば、画像信号の飽和対応の必要性がほとんどなくなる。
【0045】
さらに、図1B、図2B、図3B、図4Bに示す実施例は、各垂直画素信号の最小値から3番目の値を代表値として用いる方法を示しており、白キズの影響がないだけでなく、暗電流が極端に少ない画素欠陥である黒キズの影響がほとんどなくなり、厳しく選別した高価なCCD撮像素子を使用しにくい監視用途特にEM−CCDに適している。また、白キズと黒キズの影響がほとんどないため、垂直スミア発生の有無を検出する回路を省略できる。垂直スミア誤検出による黒い縦筋を防止する少レベル垂直スミア補正信号の切り捨て処理する回路も省略できる。図1Bに示す実施例では、信号ViからOB代表値信号を減算してから映像信号処理部7に入力する信号Vmを10bitにして、監視用途に多く使用される低価格の映像信号処理部7の入力ビット数に合わせている。但し、垂直スミア補正の精度を維持するため、FEP4の出力ビット数は14ビットとしている。
【0046】
また、図1C、図2C、図3C、図4Cは、本発明の他の一実施例であり、V−OB代表値として各垂直画素信号の最小値を算出する方法を示しており、垂直スミア補正信号の記憶が1ライン分で済み集積規模が従来例よりも小型になる。本実施例では、V−OBライン数が少なく、黒キズも少ないHDTVのCCD撮像素子に適している。さらに、AGCはないが、16bitのFEPを用い、垂直スミア補正が高精度となっている。ここで、図1A、1Bで比較部22、23とラインメモリ72、73とを省略し、図2Cの動作をすれば、V−OBライン数が少なく、黒キズも少ないHDTVのCCD撮像素子を用いた高感度用途になる。
【0047】
さらに、図1D、図2D、図3D、図4Dに示す実施例は、V−OBが3ライン以上で最大値を除く平均値を算出する方法を示しており、白キズが多くV−OBのライン数も多いが黒キズが少ないCCD撮像素子に適している。
【0048】
図1E、図2E、図3E、図4Eに示す実施例は、V−OBが4ライン以上で最大値と最小値を除く平均値を代表値として用いる方法を示しており、図1Eは22ビットにA/D変換しCCD撮像素子の暗電流の補正が容易な事と合わせて、白キズも黒キズも多くV−OBのライン数も多いCCD撮像素子を高感度動作させる用途に適している。
【0049】
図1F、図2F、図3F、図4Fに示す実施例は、V−OBが4ライン以上で最大値と2番目に大きい値を除く平均値を代表値としており、白キズが特に多くV−OBのライン数も多いCCD撮像素子を高感度動作させる用途に適している。
【0050】
図1A―1Fに示す実施例は、スミア補正部5とOB代表値検出部6と映像信号処理部7と映像信号処理部7とを分けていたが、別の実施例として、スミア補正部5とOB代表値検出部6と映像信号処理部7とは、映像専用のメモリ集積DSPや、FPGAに集積することもできる。
【0051】
V−OBは画面始まりの変動が大きい垂直暗部むらによる補正精度劣化を避けるため、有効画素より後に出力される画面下のV−OB領域画素から出力される画像信号を垂直暗部む
ら補正してから、代表値を算出した方がスミア補正の精度が良くなる。しかし、スミア補正が1画面(約17m(1/60)秒)遅れるので、実用的ではない。そこで、14bitにA/D変換して画面始まりの変動が大きい垂直暗部むら補正を高精度に行い、有効画素より先に出力される画面上のV−OB領域画素から出力される画像信号を垂直暗部むら補正してから、代表値を算出すれば、有効画素出力と同時にスミア補正でき、遅れがない。
【0052】
以上EM−CCDとV−OBライン数が少なく黒キズも少ないHDTVのCCD撮像素子とを用いた撮像装置について詳細に説明したが、本発明は、ここに記載された撮像装置に限定されるものではなく、上記以外のCCDを用いた撮像装置他の撮像装置に広く適用することができることは言うまでもない。
【符号の説明】
【0053】
1:撮像装置、2:光学系、3:EM−CCD、4:FEP、5:スミア補正部、6:OB代表値検出部、7:映像信号処理部、8:CCD駆動部(TG)、9:CPU、10:利得可変部(D.AGC)11:減算器、12:係数部、13:加算器、21,22,23:比較部、71〜76:ラインメモリ部
【技術分野】
【0001】
本発明は、固体撮像素子を有する撮像装置に関し、撮像素子から出力される画像信号に含まれる雑音を低減する方法に関するものである。
【背景技術】
【0002】
CCD(Charge Coupled Device)撮像素子は固体撮像素子の中でも感度が高く白キズが少ないが、高感度撮像時は白キズが多い。また、CCD撮像素子はスポット光のような高輝度被写体を撮像した場合に、スポット光を撮像した画素のフォトダイオードから垂直転送路に過剰電荷が漏れ込み、高輝度被写体を撮像した画素と同じ垂直方向の画素すべてにスポット光の照度に比例した画像信号が重畳されて、垂直スミアとよばれる白い縦線が発生する。CCD撮像素子に撮像面の外側に蓄積面を設けて、垂直転送を高速化すれば、垂直スミアは低減する。しかし、蓄積面を設ければ、CCD撮像素子面積が倍増し、高価格化する。垂直転送を高速化すれば、消費電力も倍増し、白キズが増加する。さらにCCD撮像素子の近赤外感度を高くすると、フォトダイオードが深くなり白キズが増加する。
【0003】
そこで、従来、光学的黒画素部分の白キズの影響を低減するため、CCD撮像素子の垂直方向の光学的黒画素(Vertical-Optical Black以下V−OB)部分の12ラインの出力の各垂直画素信号を平均し、1ライン分の信号として記憶し、この固体撮像素子の有効画素部分の出力信号よりこの記憶した信号を減算していた。(特許文献1参照) また、デジタル信号処理回路の集積化が進み、複数ラインの出力信号を記憶し算術処理することが、映像専用のメモリ集積DSPだけでなく、安価な汎用のFPGA(Field Programmable Gate Array)でも容易に実現できる様になった。
【0004】
さらに、CCDから出力された信号から雑音を除去するCDS(Correlated Double Sampling)と暗電流補正と利得可変増幅回路(Automatic Gain Control以下AGC)とデジタル映像信号Viに変換するADC(Analog Digital Converter)とを内蔵したFEP(Front End Processor)が普及し、FEPのADC階調は従来10ビットだったが、12ビットや14ビットが一般化し、16ビットも製品化された。ADCを22ビットとし、AGCをADCの後に配置したFEPも製品化された。
【0005】
さらに、電子増倍型CCD撮像素子(Electron Multiplying-CCD以下EM−CCD)は、電子冷却部と組み合わせて感度を高くできるため、可視光と近赤外光の夜間の撮影用の照明なしの準動画監視が可能となった。
【特許文献1】特開平07−067038号公報
【発明の開示】
【発明が解決しようとする課題】
【0006】
CCD撮像素子の高感度化と画素数の増加とに強く相関して暗電流むらが大きくなり白キズや暗部むらのレベルが大きくなり易い。特に、高感度用またはHDTV(High Definition TeleVision)用のCCD撮像素子は、厳しく選別したCCD撮像素子以外は白キズや暗部むらのレベルが大きいCCD撮像素子を用いている。また、HDTVでは、(上側または下側の)垂直帰線期間が(1125(走査線総数)―1080(有効走査線数))/2=22.5本分の走査に相当する時間と短く、V−OB画素部分のライン数は上側が1ラインで下側が3ライン等多くの領域をとることができない。
【0007】
そのため、CCD撮像素子のV−OB部分のラインの出力信号を複数ラインで平均しても、白キズ成分が残留する。さらに、白い縦筋の垂直スミア低減のため、有効画素部分の出力信号から、この平均した信号を減算すると、黒い縦筋が発生してしまう。
【0008】
また、CCD撮像素子のV−OB部分のラインの出力信号を水平方向に平均すると白キズ成分の影響は減少するが、垂直スミア補正の過不足の誤差分が増加するので、減算処理を行っても白い縦筋が残り黒い縦筋が発生してしまう。
【0009】
さらに、CCD固体撮像素子の垂直スミア成分は画像信号が飽和しても増加するので、画像信号が飽和に応じて垂直スミア補正のレベルを可変しないと、垂直スミア補正の過不足の誤差分が増加するので、減算処理を行っても白い縦筋が残り黒い縦筋が発生してしまう。
【0010】
特にEM−CCDは感度を高くできるが、スミア成分は多い画像信号を生成する。さらに、画像信号が高レベルに及ぶため、信号回路で飽和し易い。そのEM−CCDを電子冷却しても、高感度動作時は、白キズや暗部むらのレベルが大きい。その結果、垂直スミア補正の過不足の誤差分が増加して、白い縦筋が残り黒い縦筋が発生してしまう。その結果、高輝度の外部照明光が直接画面に入る夜間監視の障害となっている。
【0011】
本発明の目的は、厳しく選別した白キズや暗部むらが少ないCCD撮像素子を用いることなく、CCD撮像素子から出力される垂直スミアの補正の過不足の誤差分の白い縦筋や黒い縦筋を低減することにある。
【課題を解決するための手段】
【0012】
本発明は、上記課題を解決するため、固体撮像素子と該固体撮像素子の受光面の有効画素から出力される画像信号を取得する第1の取得部と前記固体撮像素子の受光面の上部または下部の遮光した画素から出力される信号を取得する第2の取得部とを有する固体撮像装置において、(前記第2の取得部で取得した)前記固体撮像素子の受光面の上部の前記遮光した画素から出力される信号を画面始まりの垂直暗部むらを補正してから、(前記第2の取得部で取得した遮光した画素から出力される信号の複数ラインの各垂直画素信号の最小値からN(Nは2以上の自然数)番目の値、最小値からN−1番目までと最大値からM−1(Mは3以上の自然数)番目までを除外した平均値、最大値からM−1番目までを除外した平均値または最大値からM番目の値から算出される代表値信号の少なくとも1つを算出する算出部と、前記第1の取得部で取得した有効画素から出力される画像信号から前記代表値信号を減算する減算部とを有し、前記算出部において、)前記第2の取得部で取得した遮光した画素から出力される信号の複数ラインの各垂直画素信号の最小値からN(Nは2以上の自然数)番目の値、最小値からN−1番目までと最大値からM−1(Mは3以上の自然数)番目までを除外した平均値または最大値からM−1番目までを除外した平均値、の少なくとも1つから算出される代表値信号を算出し、(前記減算部において、)前記第1の取得部で取得した有効画素から出力される画像信号から前記代表値信号を減算すること(により、画面始まりの垂直暗部むらを補正して画面始まりの垂直暗部むらの影響を削除していることと、CCD撮像素子の白キズの影響を削除していること)を特徴とする(撮像装置または)撮像方法である。
【0013】
さらに、固体撮像素子と該固体撮像素子の受光面の有効画素から出力される画像信号を取得する第1の取得部と前記固体撮像素子の受光面の上部または下部の遮光した画素から出力される信号を取得する第2の取得部とを有する固体撮像装置において、(前記第2の取得部で取得した遮光した画素から出力される信号の複数ラインの各垂直画素信号の最小値からN番目の値、最小値からN−1番目までと最大値からM−1番目までを除外した平均値、または最大値からM−1番目までを除外した平均値、または最大値からM番目の値から算出される代表値信号の少なくとも1つを算出する算出部と、前記第1の取得部で取得した有効画素から出力される画像信号から前記代表値信号を減算する減算部とを有し、)前記固体撮像素子の受光面の上部の遮光した画素の垂直ライン数が3であり、前記固体撮像素子の受光面の上部の前記遮光した画素から出力される信号を画面始まりの垂直暗部むらを補正してから、(前記算出部において、)前記第2の取得部で取得した遮光した画素から出力される信号の複数ラインの各垂直画素信号の最大値から3番目の値を代表値信号とするか、または、前記固体撮像素子の受光面の上部の遮光した画素の垂直ライン数が4であり、前記固体撮像素子の受光面の上部の前記遮光した画素から出力される信号を画面始まりの垂直暗部むらを補正してから、(前記算出部において、)前記第2の取得部で取得した遮光した画素から出力される信号の複数ラインの各垂直画素信号の最大値から2番目までを除外した平均値あるいは最大値から4番目の値、の少なくとも1つから算出される代表値信号を算出し、(前記減算部において、)前記第1の取得部で取得した有効画素から出力される画像信号から前記代表値信号を減算すること(により、遮光した画素の垂直ライン数が3または4のCCD撮像素子であっても白キズの影響を削除していること)を特徴とする(撮像装置または)撮像方法である。
【0014】
また上記において、(12ビット以上のA/D変換部を有し、該12ビット以上のA/D変換部において、)前記固体撮像素子から出力される信号を12ビット以上にA/D変換して(、前記算出部において)代表値信号を算出して、3/4以上1未満に減衰して(前記減算部において、)固体撮像素子の受光面の有効画素から出力される画像信号から減算すること(により、高感度動作時のEM−CCD撮像素子の画像信号飽和等のCCD撮像素子の画像信号飽和に応じて垂直スミア補正のレベルを可変することなく、スミア成分補正の画像信号の線形領域の傾斜を幾分減衰させた線形信号で近似して、EM−CCD撮像素子の高感度動作時等のCCD撮像素子の画像信号飽和領域まで線形信号で処理できること)を特徴とする(撮像装置または)撮像方法である。
【0015】
また上記において、(12ビット以上のA/D変換部を有し、該12ビット以上のA/D変換部において、)前記固体撮像素子から出力される信号を12ビットにA/D変換して(、前記算出部において)代表値信号を算出して、該算出した代表値信号を3/4に減衰するか、(14ビット以上のA/D変換部を有し、該14ビット以上のA/D変換部において、)前記固体撮像素子から出力される信号を14ビットにA/D変換して(、前記算出部において)代表値信号を算出して、該算出した代表値信号を15/16に減衰するか、または、(16ビット以上のA/D変換部を有し、該16ビット以上のA/D変換部において、)前記固体撮像素子から出力される信号を16ビットにA/D変換して(、前記算出部において)代表値信号を算出して、該算出した代表値信号を63/64に減衰するかして、該減衰した代表値信号を固体撮像素子の受光面の有効画素から出力される画像信号から減算して、該減衰した代表値信号を固体撮像素子の受光面の有効画素から出力される画像信号から減算すること(により、高感度動作時のEM−CCD撮像素子の画像信号飽和等のCCD撮像素子の画像信号飽和に応じて垂直スミア補正のレベルを可変することなく、スミア成分補正の画像信号の線形領域の傾斜を幾分減衰させた線形信号で近似して、EM−CCD撮像素子の高感度動作時等のCCD撮像素子の画像信号飽和領域まで線形信号で処理できること)を特徴とする(撮像装置または)撮像方法である。
【0016】
または、固体撮像素子と該固体撮像素子の受光面の有効画素から出力される画像信号を取得
する第1の取得部と前記固体撮像素子の受光面の上部または下部の遮光した画素から出力される信号を取得する第2の取得部と(前記第2の取得部で取得した遮光した画素から出力される信号の複数ラインの各垂直画素信号の最小値からN(Nは2以上の自然数)番目の値、または最大値からM(Mは3以上の自然数)−1番目までを除外した平均値、の少なくとも1つから算出される代表値信号を算出する算出部と、前記第1の取得部で取得した有効画素から出力される画像信号から前記代表値信号を減算する減算部と)を有する固体撮像装置において、(前記算出部において、)前記第2の取得部で取得した遮光した画素から出力される信号の複数ラインの各垂直画素信号の最小値からN(Nは2以上の自然数)番目の値、または最大値からM(Mは3以上の自然数)−1番目までを除外した平均値、の少なくとも1つから算出される代表値信号を算出し、(前記減算部において、)前記第1の取得部で取得した有効画素から出力される画像信号から前記代表値信号を減算すること(により、CCD撮像素子の白キズの影響を削除していること)を特徴とする(撮像装置または)撮像方法である。
【0017】
または、固体撮像素子と該固体撮像素子の受光面の有効画素から出力される画像信号を取得する第1の取得部と前記固体撮像素子の受光面の上部または下部の遮光した画素から出力される信号を取得する第2の取得部と(前記第2の取得部で取得した遮光した画素から出力される信号の複数ラインの各垂直画素信号の最小値からN(Nは2以上の自然数)番目の値、または最大値からM(Mは3以上の自然数)−1番目までを除外した平均値、の少なくとも1つから算出される代表値信号を算出する算出部と、前記第1の取得部で取得した有効画素から出力される画像信号から前記代表値信号を減算する減算部と)を有する固体撮像装置において、前記固体撮像素子の受光面の上部または下部の遮光した画素の多い片方の垂直ライン数が3であり、(前記算出部において、)前記第2の取得部で取得した遮光した画素から出力される信号の複数ラインの各垂直画素信号の最大値から3番目の値を代表値信号とするか、または、前記固体撮像素子の受光面の上部または下部の遮光した画素の多い片方の垂直ライン数が4であり、(前記算出部において、)前記第2の取得部で取得した遮光した画素から出力される信号の複数ラインの各垂直画素信号の最大値から2番目までを除外した平均値もしくは最大値から4番目の値の少なくとも1つから算出される代表値信号を算出し、(前記減算部において、)前記第1の取得部で取得した有効画素から出力される画像信号から前記代表値信号を減算すること(により、遮光した画素の垂直ライン数が3または4のCCD撮像素子であっても白キズの影響を削除していること)を特徴とする(撮像装置または)撮像方法である。
【0018】
また上記において、(12ビット以上のA/D変換部を有し、該12ビット以上のA/D変換部において、)前記固体撮像素子から出力される信号を12ビット以上にA/D変換して(、前記算出部において)代表値信号を算出して、3/4以上1未満に減衰して(前記減算部において、)固体撮像素子の受光面の有効画素から出力される画像信号から減算すること(により、高感度動作時のEM−CCD撮像素子の画像信号飽和等のCCD撮像素子の画像信号飽和に応じて垂直スミア補正のレベルを可変することなく、スミア成分補正の画像信号の線形領域の傾斜を幾分減衰させた線形信号で近似して、EM−CCD撮像素子の高感度動作時等のCCD撮像素子の画像信号飽和領域まで線形信号で処理できること)を特徴とする(撮像装置または)撮像方法である。
【0019】
また上記において、(12ビット以上のA/D変換部を有し、該12ビット以上のA/D変換部において、)前記固体撮像素子から出力される信号を12ビットにA/D変換して(、前記算出部において)代表値信号を算出して、該算出した代表値信号を3/4に減衰するか、(14ビット以上のA/D変換部を有し、該14ビット以上のA/D変換部において、)前記固体撮像素子から出力される信号を14ビットにA/D変換して(、前記算出部において)代表値信号を算出して、該算出した代表値信号を15/16に減衰するか、または、(16ビット以上のA/D変換部を有し、該16ビット以上のA/D変換部において、)前記固体撮像素子から出力される信号を16ビットにA/D変換して(、前記算出部において)代表値信号を算出して、該算出した代表値信号を63/64に減衰するかして、該減衰した代表値信号を固体撮像素子の受光面の有効画素から出力される画像信号から減算して、該減衰した代表値信号を固体撮像素子の受光面の有効画素から出力される画像信号から減算すること(により、高感度動作時のEM−CCD撮像素子の画像信号飽和等のCCD撮像素子の画像信号飽和に応じて垂直スミア補正のレベルを可変することなく、スミア成分補正の画像信号の線形領域の傾斜を幾分減衰させた線形信号で近似して、EM−CCD撮像素子の高感度動作時等のCCD撮像素子の画像信号飽和領域まで線形信号で処理できること)を特徴とする(撮像装置または)撮像方法である。
【0020】
また上記記載の撮像装置の前記代表値信号を算出する前記算出部において、前記垂直画素信号の値と所定の基準値とを比較する比較部と、前記比較部で比較した値結果に基づく値を記憶するメモリ部と、を有し、前記算出部において、前記代表値信号として前記第2の取得部で取得した遮光した画素から出力される信号の複数ラインの各垂直画素信号の最小値からN(Nは2以上の自然数)番目の値、が算出されること(により、CCD撮像素子の白キズの影響を削除していること)を特徴とする撮像装置である。 また上記記載の撮像装置の前記代表値信号を算出する前記算出部において、前記メモリ部に記憶された結果に基づく値を加算する加算部と、前記加算部で加算された総和から平均値を算出する平均化部と、を有し、前記加算部と前記平均化部とにおいて、前記代表値信号として最小値からN−1番目までと最大値からM−1(Mは3以上の自然数)番目までを除外した平均値または最大値からM−1番目までを除外した平均値が算出されること(により、CCD撮像素子の白キズの影響を削除していること)を特徴とする撮像装置である。
【発明の効果】
【0021】
上記の様に本発明によれば、遮光したV−OBの複数ラインの各垂直画素信号の最小値からN番目の値等の最大値からM番目の値の影響を除く代表値を算出することにより、V−OBのライン数が少なく、白キズや暗部むらのレベルが大きい選別していないCCD撮像素子でも、白キズなどのCCD撮像素子の大きい暗電流成分を排除した垂直スミア補正信号を検出できる。さらに、垂直スミア補正信号を水平方向に平均しないで画像信号から減算することにより、垂直スミア補正の過不足の誤差分が減少して白い縦筋と黒い縦筋が目立たない画像信号が得られる。
【0022】
また、CCD固体撮像素子のスミア成分は画像信号が飽和しても増加するので、スミア成分補正の画像信号は、飽和領域まで達すると非線形特性を考慮する必要がある。そこで、スミア成分補正の画像信号の線形領域の傾斜を幾分減衰させた線形信号で近似して、飽和領域まで線形信号で処理する。例えば、4ビット分高い解像度でA/D変換できれば、2の4乗=16倍の余裕に相当する。従って、これを幾分減衰させた15/16という値にする。16ビットにA/D変換した場合は6ビット分の余裕ができるので、遮光画素代表値を63/64に減衰して減算することができ、画像信号の飽和に対応する処理の必要性が実用上なくなる。
【0023】
その結果、V−OB画素部分のライン数が少ないHDTVのCCD撮像素子や、垂直スミアも白キズも多いEM−CCDを使用しても、安定に垂直スミアが低減でき、画質が改善される。
【図面の簡単な説明】
【0024】
【図1A】V−OBが3ライン以上で最小値から2番目の値(3ラインで中央値)の場合の本発明の一実施例の全体構成の撮像装置を示すブロック図
【図1B】V−OBが5ライン以上で最小値から3番目の値(5ラインで中央値)の場合の本発明の一実施例の全体構成の撮像装置を示すブロック図
【図1C】V−OBが2ライン以上で最小値でデジタルAGC(Digital AGC))を用いる場合の本発明の一実施例の全体構成の撮像装置を示すブロック図
【図1D】V−OBが3ライン以上で最大値除く平均値の場合の本発明の一実施例の全体構成の撮像装置を示すブロック図
【図1E】V−OBが4ライン以上で最大値と最小値除く平均値の場合の本発明の一実施例の全体構成の撮像装置を示すブロック図
【図1F】V−OBが4ライン以上で最大値と2番目に大きい値除く平均値の場合の本発明の一実施例の全体構成の撮像装置を示すブロック図
【図2A】V−OBの最小値から2番目の値を代表値として検出する本発明の一実施例のフローチャート
【図2B】V−OBの最小値から3番目の値を代表値として検出する本発明の一実施例のフローチャート
【図2C】V−OBの最小値を代表値として検出する本発明の一実施例のフローチャート
【図2D】V−OBの最大値を除く平均値を代表値として検出する本発明の一実施例のフローチャート
【図2E】V−OBの最大値と最小値を除く平均値を代表値として検出する本発明の一実施例のフローチャート
【図2F】V−OBの最大値と2番目に大きい値を除く平均値を代表値として検出するフローチャート
【図3】本発明の1実施例や従来技術でのV−OBでのスミア値の検出を示す模式表図 図3A,3DはV−OBが3ラインの場合、図3BはV−OBが5ラインの場合、図3Cは、V−OBが2ラインの場合、図3E、3FはV−OBが4ラインの場合
【図4】本発明の1実施例や従来技術でのV−OBでのスミア値の検出を示す画面の模式図 図4A、4DはV−OBが3ラインの場合、図4BはV−OBが5ラインの場合、図4CはV−OBが2ラインの場合、図4E、4FはV−OBが4ラインの場合
【発明を実施するための最良の形態】
【0025】
本発明による撮像装置の一実施例の概要を、本発明の一実施例の全体構成の撮像装置を示すブロック図の図1A−1Fと本発明の1実施例や従来技術でのV−OBでのスミア値の検出を示す画面の模式図の図4A−4Fとを用いて説明する。その後、本発明の幾つかの一実施例の動作を、本発明の一実施例の全体構成の撮像装置を示すブロック図の図1A−1Fをと本発明の一実施例の代表値検出フローチャートの図2A−2Fとを用いて説明する。
【0026】
本発明の一実施例の全体構成の撮像装置を示すブロック図の図1A−1Fにおいて、図1AはV−OBが3ライン以上で最小値から2番目の値(3ラインで中央値)を検出する場合で、図1BはV−OBが5ライン以上で最小値から3番目の値(5ラインで中央値)を検出する場合で、図1CはV−OBが2ライン以上で最小値を検出しデジタルAGCする場合で、図1DはV−OBが3ライン以上で最大値除く平均値を検出する場合で、図1EはV−OBが4ライン以上で最大値と最小値除く平均値を検出する場合で、図1FはV−OBが4ライン以上で最大値と2番目に大きい値除く平均値を検出する場合である。本発明の一実施例の代表値検出フローチャートの図2A−2Fにおいて、図2AはV−OB最小値から2番目の値を検出する場合で、図2BはV−OB最小値から3番目の値を検出する場合で、図2CはV−OB最小値を検出する場合で、図2DはV−OBが最大値除く平均値を検出する場合で、図2EはV−OB最大値と最小値除く平均値を検出する場合で、図2FはV−OB最大値と2番目に大き
い値を除く平均値を検出する場合である。
【0027】
本発明の一実施例の全体構成の撮像装置を示すブロック図の図1A―1Fの特徴は、比較部とラインメモリ部とにより、最大値または2番目に大きい値を除きCCD撮像素子の白キズの影響を削除している事である。
【0028】
本発明の1実施例や従来技術でのV−OBでのスミア値の検出を示す画面の模式図の図4A−4Fと本発明の1実施例や従来技術でのV−OBでのスミア値の検出を示す模式表図の図3A,3B,3C,3D,3E,3Fがそれぞれ図1A,1B,1C,1D,1E,1Fに対応している。図1A、1DはV−OBが3ラインで、図1BはV−OBが5ラインで、図1CはV−OBが2ラインで、図1E、1FはV−OBが4ラインである。なお、図4A―図4Fは画面の模式図であり、CCD撮像面は、画面と上下左右が反転している。
【0029】
図3CのようにV−OBが2ラインの中に信号値21の白キズがあると、平均値は11.5と特に大きく、スミア補正で誤差が特に大きいことが判る(以下、本実施例では白キズと判定される最大信号値のレベルを21として説明を続ける)。図3A、3DのようにV−OBが3ラインの中に信号値21の白キズがあると、平均値は9となり、中央値4や最大値を除く平均値3から大きく異なる値である。図3E、3Fのように、V−OBが4ラインの中に信号値21の白キズがあると、平均値は8となり、最大値を除く平均値3.67から大きく異なる値である。図3Bのように、V−OBが5ラインの中に信号値21の白キズがあると、平均値は7となり、中央値4や最大値を除く平均値3.5から大きく異なる値である。よって、平均値はV−OBのライン数が少し多くなってもスミア補正で誤差が大きいことが判る。図3A―3Fでは、本実施例の最小値は2で、中央値や最大値を除く平均値より1から2小さいが、従来の平均値の7から11.5ほど大きな誤差がない。最小値はV−OBのライン数が2と少ない場合でも従来のV−OBが5ラインの平均値よりスミア補正の誤差が少なく、実用的なことが判る。
【0030】
本発明の一実施例の全体構成の撮像装置を示すブロック図の図1A―1Fにおいて、1は撮像装置、2は入射光を結像するレンズ等の光学系、3は光学系2から入射した光を電気信号に変換するCCDやEM−CCD等のCCD撮像素子、4はCCD撮像素子3から出力された信号から雑音を除去するCDSと暗電流補正と信号の利得を調整するAGCとデジタル映像信号Viに変換するADCからなるFEP(但し、図1Cや1Eのように、AGCが、FEPに含まれない構成を用いてもよい。)、5はデジタル映像信号ViからのOB代表値信号を減算してスミア成分の補正を行うスミア補正部、6はデジタル映像信号ViのV−OBの代表値信号の検出を行うOB代表値検出部であり、21〜23はデジタル映像信号ViのV−OBラインの画素ごとに比較する比較部で、71〜76はOB代表値を記憶するラインメモリであり、11は映像信号から代表値信号を減算する減算器である。7は検出スミア補正部5から出力された信号Vmに種々の画像処理を施しNTSC(National Television System Committee)方式またはPAL(Phase Alternating by Line)方式の複合映像信号(Video Burst Sync以下VBS)またはSDI(Serial Digital Interface)映像信号、あるいはHDTVのSDI(HD−SDI)等の所定方式の映像信号に変換して出力する映像信号処理部、8はEM−CCD3の駆動および電子増倍の利得制御を行うためのCCD駆動部(または、TGと標記する)であり、EM―CCDを駆動するタイミング信号を生成するタイミングジェネレータ(TG)と、生成されたタイミング信号を駆動するドライバとを主に備えており、9は撮像装置1内の各部を制御するCPU(Central Processing Unit)である(CPUから各部への制御線は図示せず)。10は、デジタルAGC(D.AGC)であり、OB代表値信号をFEPのAGCの増幅度に合わせてD.AGC自身の増幅度を調節する。
【0031】
次に、本発明の一実施例の動作を図1A―1Fを参照しつつ説明する。撮像装置1のEM−CCD3(またはCCD3)は光学系2で受光面に結像された入射光をフォトダイオードで光電変換して信号電荷を生成し、垂直転送したのち水平転送しながら信号電荷を電子増倍してFEP4に出力する。FEP4はEM−CCD3から出力された信号から雑音を除去し暗電流成分を補正し補正した信号を増幅してデジタル映像信号Viに変換してスミア補正部5にデジタル映像信号Viを出力する。デジタル映像信号Viは、スミア補正部5を介してOB代表値検出部6に送られると共に、後述する信号処理を行うために減算器11にも送られる。OB代表値検出部6はデジタル映像信号Viを比較部21〜23でV−OBラインの垂直画素信号ごとに比較し小さい順にラインメモリ71〜76に記憶し、スミア成分としてOB代表値信号を検出する。
【0032】
あるいは、図1D−1Fに示す実施例のように、比較部21,22とラインメモリ72,75,76とを用いて所定の基準を満たすV−OBラインの垂直画素信号を選び、その選ばれた垂直画素信号を加算部13を用いて加算を行い、加算結果をラインメモリ71に記憶し、平均化部12で平均値としてのOB代表値信号を算出するように構成してよい。
【0033】
スミア補正部5はOB代表値信号をFEPのAGCの増幅度に合わせてD.AGC10で増幅し、減算器11はその増幅した信号をデジタル映像信号Viから減算し、映像信号処理部7にデジタル映像信号Vmを出力する。映像信号処理部7はデジタル映像信号Vmに種々の画像処理を施し所定方式の映像信号Voに変換して出力する。
【0034】
さらに、CCD駆動部(TG)8はCPU9から出力される制御信号(図示せず)に従ってEM−CCD3を駆動するための信号を出力する。図1Cや図1Eに示す実施例ではFEP4にAGCがないので、スミア補正部5でデジタル映像信号ViからOB代表値信号を減算してからのデジタルAGCをおこなうように構成されている。
【0035】
また、図1A―1Fで示す実施例において、FEP内にAGCが含まれていない実施例や、スメア補正部のD.AGCの配置場所が異なる実施例や、デジタル信号ViやVmのビット数やOB代表値信号のビット数が異なる実施例や、比較部やラインメモリ部の構成が異なる実施例等があるが、これらは一実施例にすぎず種々の構成が適用されてよい。
【0036】
次に、図1A−1Fと図2A−2Fと図3A−3Fと図4A−4Fとを用いて垂直スミア信号の検出と補正の動作について説明する。
【0037】
まず、図1A、図2A、図3A、図4Aに示す実施例について説明する。CPU9は、ラインメモリ部72、73に最小値信号の上限値、2番目に小さい信号の上限値をそれぞれ設定しておく。ここで、これらの上限値は、例えば、信号の輝度を数値化したものを用いてよい(以下で述べる各値についても、同様の基準で数値化されたものである)。比較部21は、ラインメモリ部72に記憶されている上限値とV−OB領域の1ライン目(以下V−OB1)の映像信号の画素の値とを各画素間で比較し、値が小さい方の信号(V−OB1の映像信号)を各画素の最小値の信号としてラインメモリ部72に記憶する(ステップ21,22)。比較部21は、V−OB2の映像信号の画素の値とラインメモリ部72に最小値の信号の値とを各画素間で比較し、値が小さい方の信号をラインメモリ部72に各画素の最小値の信号として記憶する。値が大きい方の信号は比較部22に送られる。比較部22は、大きい方の信号の値と2番目に小さい信号としてラインメモリ部73に記憶されている上限値とを各画素間で比較し、小さい方の信号を各画素の2番目に小さい信号としてラインメモリ部73に記憶する(ステップ23)。同様に、比較部21は、Nライン目(Nは3以上の自然数)のV−OBNの映像信号の画素の値とメモリ部72の最小値とを各画素間で比較し、値が小さい方の信号を各画素の最小値の信号としてラインメモリ部72に記憶する。値が大きい方の信号は各画素の比較1の信号として、比較部22に送られる(ステップ24)。比較部22は、2番目に小さい信号の値と比較1の信号の値とを各画素間で比較し、値が小さい方の信号を各画素の2番目に小さい信号としてラインメモリ部73に記憶する(ステップ25)。比較部22が最後のV−OBの比較処理を終了すると、ラインメモリ部73は、2番目に小さい信号をスミア補正用のOB代表値信号としてスメア補正部5に出力し(ステップ26)、代表値検出処理が終了する(ステップ27)。
【0038】
次に、図1B、図2B、図3B、図4Bに示す実施例について説明する。CPU9は、ラインメモリ部72、73、74に最小値信号の上限値、2番目に小さい信号の上限値、3番目に小さい信号の上限値をそれぞれ設定しておく。比較部21は、ラインメモリ部72に記憶されている上限値とV−OB1の映像信号の画素の値とを各画素間で比較し、値が小さい方の信号(V−OB1の映像信号)を最小値の信号としてラインメモリ部72に記憶する(ステップ21,28)。比較部21は、最小値の信号の値とV−OB2の映像信号の画素の値とを各画素間で比較し、値が小さい方の信号を各画素の最小値の信号としてラインメモリ部72に記憶する(ステップ29)。比較部22は、大きい方の信号の値と各画素の2番目に小さい信号としてラインメモリ部73に記憶された上限値とを各画素間で比較し、値が小さい方の信号を2番目に小さい信号としてラインメモリ部73に記憶する(ステップ29)。比較部21は、ラインメモリ部72に記憶された信号の値とV−OB3の映像信号の値とを各画素間で比較し、値が小さい方の信号を各画素の最小値の信号としてラインメモリ部72に記憶する。値が大きい方の信号は、比較1の信号として、比較部23に送られる(ステップ30)。比較部22は、ラインメモリ部73に記憶されている2番目に小さい信号の値と比較1の信号とを各画素間で比較し、値が小さい方の信号を各画素の2番目に小さい信号としてラインメモリ部73に記憶する。比較部23は、値が大きい方の信号と3番目に小さい信号としてラインメモリ部74に記憶された上限値とを各画素間で比較し、値が小さい方の信号を各画素の3番目に小さい信号としてラインメモリ部74に記憶する(ステップ31)。同様に、Nライン目(Nは4以上の自然数)のV−OBNの映像信号の画素の値とラインメモリ部72の最小値とを各画素間で比較し、値が小さい方の信号を各画素の最小値の信号としてラインメモリ部72に記憶する。値が大きい方の信号は各画素の比較1の信号として、比較部22に送られる(ステップ24)。比較部22は、2番目に小さい信号の値と比較1の信号の値とを各画素間で比較し、値が小さい方の信号を各画素の2番目に小さい信号としてラインメモリ部73に記憶する。値が大きい方の信号は、各画素の比較2の信号して比較部23に送られる(ステップ32)。比較部23は、3番目に小さい信号の値と比較2の信号の値とを各画素で比較し、値が小さい方の信号を各画素の3番目に小さい信号としてラインメモリ部74に記憶する(ステップ33)。比較部23で最後のV−OBの比較が終了すると、ラインメモリ部74は、3番目に小さい信号をスミア補正用のOB代表値信号としてスメア補正部5に出力し(ステップ34)、代表値信号検出処理が終了する(ステップ27)。
【0039】
さらに、図1C、図2C、図3C、図4Cに示す実施例について説明する。CPU9は、ラインメモリ部72に最小値信号の上限値を設定しておく。比較部21は、上限値とV−OB1の映像信号の画素の値とを各画素間で比較し、値が小さい方の信号(V−OB1の映像信号)を最小値の信号としてラインメモリ部72に記憶する(ステップ21,35)。比較部21は、最小値の信号の値とV−OB2の映像信号の画素の値とを各画素間で比較し、値が小さい方の信号を最小値の信号としてラインメモリ部72に記憶する(ステップ
36)。同様に、比較部21は、Nライン目(Nは3以上の自然数)のV−OBNの映像信号の画素の値と最小値の信号の値とを各画素間で比較し、値が小さい方の信号を最小値の信号としてラインメモリ部72に記憶する(ステップ37)。比較部21が最後のV−OBの比較処理を終了すると、ラインメモリ部72は、最小値の信号をスミア補正用のOB代表値信号としてスメア補正部5に出力し(ステップ38)、代表値検出処理が終了する(ステップ27)。
【0040】
また、図1D、図2D、図3D、図4Dに示す実施例について説明する。CPU9は、ラインメモリ部71の値を0、ラインメモリ部75の値を信号の下限値に設定しておく。比較部21は、下限値とV−OB1の映像信号の値とを各画素間で比較し、値が大きい方の信号(V−OB1の映像信号)を各画素の最大値の信号としてラインメモリ部75に記憶する(ステップ21,39)。比較部21は、最大値の信号とV−OB2の映像信号の画素の値とを各画素間で比較し、値が大きい方の信号を最大値の信号としてラインメモリ部75に記憶する。加算部13は、値が小さい方の信号を中間値としてラインメモリ部71に加算記憶する(ステップ40)。同様に、比較部21は、Nライン目のV−OBN(Nは3以上の自然数)の映像信号の画素の値と最大値の信号とを各画素間で比較し、値が大きい方の信号を最大値の信号としてラインメモリ部75に記憶する。加算部13は、値が小さい方の信号を中間値としてラインメモリ部71に加算記憶する(ステップ41)。比較部21が最後のV−OBの比較処理を終了すると、ラインメモリ部71は、平均化部12に加算記憶した値を出力する。平均化部12は、中間値の信号を1/(N−1)に減衰して平均値を算出しスミア補正用のOB代表値信号としてスメア補正部5に出力し(ステップ42)、代表値検出処理が終了する(ステップ27)。
【0041】
また、図1E、図2E、図3E、図4Eに示す実施例について説明する。CPU9は、ラインメモリ部71の値を0、ラインメモリ部72の値を信号の上限値に設定しておき、ラインメモリ部75の値を信号の下限値に設定しておく。比較部21は、下限値とV−OB1の映像信号の画素の値とを各画素間で比較し、値が大きい方の信号(V−OB1の映像信号)を各画素の最大値の信号としてラインメモリ部75に記憶する(ステップ21,43)。比較部21は、最大値の信号とV−OB2の映像信号の画素の値とを各画素間で比較し、値が大きい方の信号を各画素の最大値の信号としてラインメモリ部75に記憶する。値が小さい方の信号は、各画素の最小値の信号として比較部22に送られる。比較部22は、値が小さい方の信号とラインメモリ部72に記憶された上限値とを各画素間で比較し、値が小さい方の信号を各画素の最小値の信号としてラインメモリ部72に記憶する(ステップ44)。比較部21は、ラインメモリ部75に記憶されている最大値の信号の値とV−OB3の映像信号の画素の値とを各画素で比較し、値が大きい方の信号を最大値の信号としてラインメモリ部75に記憶する。比較部21は、値が小さい方の信号を比較1の信号として比較部22に送る(ステップ45)。比較部22は、最小値の信号の値と比較1の信号の値とを各画素間で比較し、値が小さい方の信号を最小値の信号としてラインメモリ部72に記憶し、値が大きい方の信号を中間値として加算部13を介してラインメモリ部71に加算記憶する(ステップ46)。同様に、比較部21は、Nライン目(Nは4以上の自然数)のV−OBNの映像信号の画素の値と最大値の信号の値とを各画素間で比較し、値が大きい方の信号を最大値の信号としてラインメモリ部75に記憶し、値が小さい方の信号を比較1の信号として、比較部22に送る(ステップ47)。比較部22は、最小値の信号の値と比較1の信号の値とを各画素間で比較し、値が小さい方の信号を最小値の信号としてラインメモリ部72に記憶し、値が大きい方の信号を中間値として加算部13を介してラインメモリ部71に加算記憶する(ステップ48)。比較部22が最後のV−OBの比較処理を終了すると、ラインメモリ部71は、平均化部12に加算記憶した値を出力する。平均化部12は、中間値の信号を1/(N−2)に減衰して平均値を算出しスミア補正用のOB代表値信号としてスメア補正部5に出力し(ステップ49)、代表値信号処理が終了する(ステップ27)。
【0042】
また、図1F、図2F、図3F、図4Fに示す実施例について説明する。CPU9は、ラインメモリ部71の値を0、ラインメモリ部75,76の値を信号の下限値にしておく。比較部21は、下限値とV−OB1の映像信号の画素の値とを各画素間で比較し、値が大きい方の信号(V−OB1の映像信号)を最大値の信号としてラインメモリ部75に記憶する(ステップ21,50)。比較部21は、最大値の信号の値とV−OB2の映像信号の画素の値とを各画素間で比較し、値が大きい方の信号を最大値の信号としてラインメモリ部75に記憶する。値が小さい方の信号は、各画素の2番目に大きい信号として比較部22に送られる。比較部22は、値が小さい方の信号とラインメモリ部76に記憶された下限値と各画素間で比較し、値が小さい方の信号を各画素の2番目に大きい信号としてラインメモリ部76に記憶する(ステップ51)。比較部21は、ラインメモリ部75に記憶されている最大値の信号の値とV−OB3の映像信号の画素の値とを各画素間で比較し、値が大きい方の信号を最大値の信号としてラインメモリ部75に記憶する。比較部21は、値が小さい方の信号を比較1の信号として比較部22に送る(ステップ45)。比較部22は、2番目に大きい信号の値と比較1の信号の値とを各画素で比較し、値が大きい方の信号を2番目に大きい信号としてラインメモリ部75に記憶し、値が小さい方の信号を中間値として加算部13を介してラインメモリ部71に加算記憶する(ステップ52)。同様に、比較部21は、Nライン目(Nは4以上の自然数)のV−OBNの映像信号の画素の値と最大値の信号の値とを各画素間で比較し、値が大きい方の信号を最大値の信号としてラインメモリ部75に記憶し、値が小さい方の信号を比較1の信号として比較部22に送る(ステップ47)。比較部22は、2番目に大きい信号の値と比較1の信号の値とを各画素間で比較し、値が大きい方の信号を2番目に大きい信号としてラインメモリ部75に記憶し、値が小さい方の信号を中間値として加算部13を介してラインメモリ部71に加算記憶する(ステップ53)。比較部22が最後のV−OBの比較処理を終了すると、ラインメモリ部71は、平均化部12に加算記憶した値を出力する。平均化部12は、中間値の信号を1/(N−2)に減衰して平均値を算出しスミア補正用のOB代表値信号としてスメア部5に出力し(ステップ49)、代表値信号検出処理が終了(ステップ27)する。
【0043】
図1A、1Bに示す実施例においては、OB代表値信号をFEP4のAGCに合わせて利得を可変してから15/16に減衰した信号を信号Viから減算して、垂直スミア信号を低減した信号Vmを出力する。また、CCD撮像素子のスミア成分は画像信号が飽和しても増加するが、画像信号は14ビットにA/D変換しているので、従来の10ビットA/D変換に比較して画像信号の飽和に関して4ビット分の余裕ができるので、スミア成分補正の画像信号の飽和に対応するための処理の必要性が少ない。さらに、遮光画素代表値を15/16に減衰して減算するので、画像信号の飽和に対応するための処理の必要性が減少する。
【0044】
ここで、本実施例では、減衰比を15/16としたが、スミア成分補正の画像信号を、飽和に対応するための処理(例えば、線形処理)ができるような任意の値を採用してよい。一般的には、pビット以上冗長した解像度でA/D変換できれば、(2^p−s)/(2^p)以上1未満の間のいずれかの値を採用してよい。ここでp、sは自然数であり、sはpよりも小さい。好ましくは、sの値は1であるが、これに限定されない。スミア成分補正の画像信号は、飽和領域まで達すると非線形特性を考慮する必要がある。そこで、本実施例では、スミア成分補正の画像信号の線形領域の傾斜を幾分減衰させた線形信号で近似して、飽和領域まで線形信号で処理できる構成を採用している。例えば、4ビット分高い解像度でA/D変換できれば、2の4乗=16倍の余裕に相当する。従って、これを幾分減衰させた15/16という値を本実施例では採用している。図1Cに示す実施例のように、16ビットにA/D変換した場合は6ビット分の余裕ができるので、減算器11は、遮光画素代表値を63/64に減衰して減算することができ、画像信号の飽和に対応する処理の必要性が実用上なくなる。CCD固体撮像素子の信号電荷を電圧に変換する感度を上げて、図1Fのように22ビットにA/D変換しCCD撮像素子の暗電流を補正すれば、画像信号の飽和対応の必要性がほとんどなくなる。
【0045】
さらに、図1B、図2B、図3B、図4Bに示す実施例は、各垂直画素信号の最小値から3番目の値を代表値として用いる方法を示しており、白キズの影響がないだけでなく、暗電流が極端に少ない画素欠陥である黒キズの影響がほとんどなくなり、厳しく選別した高価なCCD撮像素子を使用しにくい監視用途特にEM−CCDに適している。また、白キズと黒キズの影響がほとんどないため、垂直スミア発生の有無を検出する回路を省略できる。垂直スミア誤検出による黒い縦筋を防止する少レベル垂直スミア補正信号の切り捨て処理する回路も省略できる。図1Bに示す実施例では、信号ViからOB代表値信号を減算してから映像信号処理部7に入力する信号Vmを10bitにして、監視用途に多く使用される低価格の映像信号処理部7の入力ビット数に合わせている。但し、垂直スミア補正の精度を維持するため、FEP4の出力ビット数は14ビットとしている。
【0046】
また、図1C、図2C、図3C、図4Cは、本発明の他の一実施例であり、V−OB代表値として各垂直画素信号の最小値を算出する方法を示しており、垂直スミア補正信号の記憶が1ライン分で済み集積規模が従来例よりも小型になる。本実施例では、V−OBライン数が少なく、黒キズも少ないHDTVのCCD撮像素子に適している。さらに、AGCはないが、16bitのFEPを用い、垂直スミア補正が高精度となっている。ここで、図1A、1Bで比較部22、23とラインメモリ72、73とを省略し、図2Cの動作をすれば、V−OBライン数が少なく、黒キズも少ないHDTVのCCD撮像素子を用いた高感度用途になる。
【0047】
さらに、図1D、図2D、図3D、図4Dに示す実施例は、V−OBが3ライン以上で最大値を除く平均値を算出する方法を示しており、白キズが多くV−OBのライン数も多いが黒キズが少ないCCD撮像素子に適している。
【0048】
図1E、図2E、図3E、図4Eに示す実施例は、V−OBが4ライン以上で最大値と最小値を除く平均値を代表値として用いる方法を示しており、図1Eは22ビットにA/D変換しCCD撮像素子の暗電流の補正が容易な事と合わせて、白キズも黒キズも多くV−OBのライン数も多いCCD撮像素子を高感度動作させる用途に適している。
【0049】
図1F、図2F、図3F、図4Fに示す実施例は、V−OBが4ライン以上で最大値と2番目に大きい値を除く平均値を代表値としており、白キズが特に多くV−OBのライン数も多いCCD撮像素子を高感度動作させる用途に適している。
【0050】
図1A―1Fに示す実施例は、スミア補正部5とOB代表値検出部6と映像信号処理部7と映像信号処理部7とを分けていたが、別の実施例として、スミア補正部5とOB代表値検出部6と映像信号処理部7とは、映像専用のメモリ集積DSPや、FPGAに集積することもできる。
【0051】
V−OBは画面始まりの変動が大きい垂直暗部むらによる補正精度劣化を避けるため、有効画素より後に出力される画面下のV−OB領域画素から出力される画像信号を垂直暗部む
ら補正してから、代表値を算出した方がスミア補正の精度が良くなる。しかし、スミア補正が1画面(約17m(1/60)秒)遅れるので、実用的ではない。そこで、14bitにA/D変換して画面始まりの変動が大きい垂直暗部むら補正を高精度に行い、有効画素より先に出力される画面上のV−OB領域画素から出力される画像信号を垂直暗部むら補正してから、代表値を算出すれば、有効画素出力と同時にスミア補正でき、遅れがない。
【0052】
以上EM−CCDとV−OBライン数が少なく黒キズも少ないHDTVのCCD撮像素子とを用いた撮像装置について詳細に説明したが、本発明は、ここに記載された撮像装置に限定されるものではなく、上記以外のCCDを用いた撮像装置他の撮像装置に広く適用することができることは言うまでもない。
【符号の説明】
【0053】
1:撮像装置、2:光学系、3:EM−CCD、4:FEP、5:スミア補正部、6:OB代表値検出部、7:映像信号処理部、8:CCD駆動部(TG)、9:CPU、10:利得可変部(D.AGC)11:減算器、12:係数部、13:加算器、21,22,23:比較部、71〜76:ラインメモリ部
【特許請求の範囲】
【請求項1】
固体撮像素子と該固体撮像素子の受光面の有効画素から出力される画像信号を取得する第1の取得部と前記固体撮像素子の受光面の上部または下部の遮光した画素から出力される信号を取得する第2の取得部とを有する固体撮像装置において、
前記第2の取得部で取得した遮光した画素から出力される信号の複数ラインの各垂直画素信号の最小値からN(Nは2以上の自然数)番目の値から算出される代表値信号を算出し、
前記第1の取得部で取得した有効画素から出力される画像信号から前記代表値信号を減算することを特徴とする撮像方法。
【請求項2】
固体撮像素子と該固体撮像素子の受光面の有効画素から出力される画像信号を取得する第1の取得部と前記固体撮像素子の受光面の上部または下部の遮光した画素から出力される信号を取得する第2の取得部とを有する固体撮像装置において、
代表値信号算出部と代表値信号減算部とを有し、
前記代表値信号算出部において、前記第2の取得部で取得した遮光した画素から出力される信号の複数ラインの各垂直画素信号の最小値からN(Nは2以上の自然数)番目の値から算出される代表値信号を算出し、
前記代表値信号減算部において、前記第1の取得部で取得した有効画素から出力される画像信号から前記代表値信号を減算することを特徴とする撮像装置。
【請求項1】
固体撮像素子と該固体撮像素子の受光面の有効画素から出力される画像信号を取得する第1の取得部と前記固体撮像素子の受光面の上部または下部の遮光した画素から出力される信号を取得する第2の取得部とを有する固体撮像装置において、
前記第2の取得部で取得した遮光した画素から出力される信号の複数ラインの各垂直画素信号の最小値からN(Nは2以上の自然数)番目の値から算出される代表値信号を算出し、
前記第1の取得部で取得した有効画素から出力される画像信号から前記代表値信号を減算することを特徴とする撮像方法。
【請求項2】
固体撮像素子と該固体撮像素子の受光面の有効画素から出力される画像信号を取得する第1の取得部と前記固体撮像素子の受光面の上部または下部の遮光した画素から出力される信号を取得する第2の取得部とを有する固体撮像装置において、
代表値信号算出部と代表値信号減算部とを有し、
前記代表値信号算出部において、前記第2の取得部で取得した遮光した画素から出力される信号の複数ラインの各垂直画素信号の最小値からN(Nは2以上の自然数)番目の値から算出される代表値信号を算出し、
前記代表値信号減算部において、前記第1の取得部で取得した有効画素から出力される画像信号から前記代表値信号を減算することを特徴とする撮像装置。
【図1A】
【図1B】
【図1C】
【図1D】
【図1E】
【図1F】
【図2A】
【図2B】
【図2C】
【図2D】
【図2E】
【図2F】
【図3】
【図4】
【図1B】
【図1C】
【図1D】
【図1E】
【図1F】
【図2A】
【図2B】
【図2C】
【図2D】
【図2E】
【図2F】
【図3】
【図4】
【公開番号】特開2012−213211(P2012−213211A)
【公開日】平成24年11月1日(2012.11.1)
【国際特許分類】
【出願番号】特願2012−138886(P2012−138886)
【出願日】平成24年6月20日(2012.6.20)
【分割の表示】特願2007−240486(P2007−240486)の分割
【原出願日】平成19年9月18日(2007.9.18)
【出願人】(000001122)株式会社日立国際電気 (5,007)
【Fターム(参考)】
【公開日】平成24年11月1日(2012.11.1)
【国際特許分類】
【出願日】平成24年6月20日(2012.6.20)
【分割の表示】特願2007−240486(P2007−240486)の分割
【原出願日】平成19年9月18日(2007.9.18)
【出願人】(000001122)株式会社日立国際電気 (5,007)
【Fターム(参考)】
[ Back to top ]