説明

撮像装置、撮像装置の駆動方法および制御プログラム

【課題】従来の縦筋状のムラの補正処理では、補正と同時にランダムノイズを画像信号に足してしまい、ランダムノイズの増加の弊害を招く。
【解決手段】撮像装置は、縦筋状のムラの補正処理に用いる遮光状態での光電変換動作で生じた信号の読み出し動作において、少なくとも撮像素子の画素信号の転送手段の信号転送速度と画素信号処理の信号処理ゲインを変更するランダムノイズが低減するように変更する。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、固体撮像素子を有する撮像装置、特に固体撮像素子の信号読み出しに起因する縦筋ムラノイズの補正機能を有する撮像装置に関する。
【背景技術】
【0002】
近年、家庭用ビデオカメラやデジタルスチルカメラなどの撮像装置が一般に普及している。これらの撮像装置には、2次元状に配列された複数の受光素子の出力信号を、複数の垂直転送CCD及び少なくとも1つの水平転送CCDを用いて順次出力するCCDタイプの固体撮像素子を用いたものがある。
【0003】
図10は、後述する固体撮像素子9001(CCD)を用いた撮像装置の撮像信号処理系を説明するための回路ブロック図である。
【0004】
1001は被写体像を像面に結像するためのレンズ等の光学系である。
1002は光学系1001からの像面光量を制御するための絞りである。
1003は光学系1001から光が入射する時間を制御するためのメカニカルシャッタである。1004は光学系1001により結像された被写体像を電気信号に変換するための撮像部である。
撮像部1004に固体撮像素子を用いた撮像装置においては、固体撮像素子の露光状態を最適に保つように露光制御手段が設けられる。
【0005】
1005は撮像部1004を駆動するための必要な振幅のパルスを供給する撮像部駆動回路である。1006は撮像部1004からの出力を二重相関サンプリングするCDS回路である。
1007はCDS回路1006の出力信号を増幅するためのAGC回路であり、使用者が撮像システムの感度設定を変更する場合や低輝度時に撮像システムが自動的にゲインアップする場合などに、この回路のゲイン設定が変更される。
1008はAGC回路1007から出力されるアナログ撮像信号をデジタル信号に変換するAD変換回路である。
1009は映像信号処理回路1010、測光回路1011及びメモリ1012を備えるシステム制御部である。
【0006】
また、図示されていないが、システム制御部1009は、撮像部1004から入力される信号に基づいて被写体の色温度を測定し、映像信号処理回路1010でのホワイトバランス処理に必要な情報を得るためのWB回路などの回路を適宜備える。
【0007】
映像信号処理回路1010は、デジタル信号に変換された撮像信号から輝度と色(R−Y、B−Yの色差信号、又はR、G、B信号)の映像信号を生成する。
【0008】
測光回路1011は、撮像部1004から入力される信号のレベルから測光量を測定する。
【0009】
1013は撮像システム各部の回路に必要なタイミングパルスを発生するタイミングパルス発生回路(TG)である。
感度・露光制御部1014は、測光回路1011からの情報に基づいて、感度や露光を制御するために、AGC回路1007にゲインを変更するための命令を出力する。
また、黒引き処理のための遮光画像を撮影する際などは、感度・露光制御部9014の出力によらず、AGC回路1007はシステム制御部1009からの信号を基にゲインを決定する。
また、感度・露光制御部1014は、露光制御回路1015に露出制御用の命令を出す機能を有する。
【0010】
次に固体撮像素子について説明する。
図9に示すように、撮像素子9001(CCD)は、多数の画素9002(光電変換素子)を2次元の行列状に配列した画素配列を有する。
【0011】
画素9002は光学系1001より入射した光を信号電荷に光電変換する光電変換素子を備える。また、各画素にはRGBのカラーフィルターが配設されていて、上記画素配列は、R(赤)の画素とG(緑)の画素が並んだ行と、G(緑)の画素とB(青)の画素が並んだ行とが上下方向に交互に並んだいわゆるベイヤ配列であるものとする。それらの画素9002の列の間には垂直転送路(VCCD)9003が配置され、対応する画素の列の信号電荷(画像信号)を垂直方向に転送する。このような画素配列からの画像信号の読み出しは、3フィールド読み出しにより行なわれる。3フィールド読み出しでは、最初の第1フィールドにおいて、1行目、4行目、7行目、…の画素の信号を垂直転送路9003に転送して読み出し、次の第2フィールドにおいて、2行目、5行目、8行目、…の画素の信号を同様に読み出す。さらに第3フィールドにおいて、3行目、6行目、9行目、…の画素の信号を読み出す。なお、垂直転送路9003に転送された信号電荷は、垂直転送路9003により垂直方向に転送され、その後水平転送路(HCCD)9004により後段のアンプに送られる。
【0012】
このような読み出し方をするのは、近年の固体撮像素子の画素数が極めて多く、画素同士が近接しているため、全画素の信号を同時に垂直転送路9003に転送すると、垂直転送路9003内で上下に隣り合う画素の信号が混色を起こしてしまうからである。
また、3行毎に読み出すのは、同じフィールドにおいて、例えば1行目と4行目の画素の信号を読み出せば、同じフィールド内で、R、G、Bの3色の信号が揃うからである。
【0013】
上記のような固体撮像素子9001では、画素9002、VCCD9003、およびHCCD9004において暗電流が発生して画像信号に重畳され、画質が低下さしてしまう。
例えば、図11に示すように、垂直転送路9003で発生する暗電流によって、列内の各画素に同量のノイズが付与され、かつ列ごとに付与されるノイズ量が異なるため、縦筋状のムラとなって見えてしまう。
【0014】
この縦筋ムラノイズは、垂直転送路9003間の暗電流発生量のバラツキに起因しているため、列方向で一定でとなり、ランダムノイズよりも小さな信号量でも目立ちやすい。図11では、説明の簡単化のため、特定の列のみを強調して描いているが、実際には列毎の暗電流量の差に従って、縦スジ状のムラとなって現れる。
また、温度が上昇したときなどの暗電流が増加する条件によってはより顕著となる。
【0015】
このような縦筋ムラノイズを補正する従来技術として、黒引き処理がある。
黒引き処理とは、撮像された被写体画像と同じ電荷蓄積期間、アンプゲインで撮像された遮光画像を本被写体画像から減算する処理を行うことである。
【0016】
従来の黒引き処理における、電荷蓄積および撮像素子からの出力信号読み出しのタイミングチャートを図12に示す。
【0017】
露光期間では電子シャッタパルスを出力して撮像素子9001内の蓄積電荷をクリアし(t1)、本露光を開始する(t2)。その後、シャッタ速度に応じてシャッタ閉じのパルスを出力してシャッタ1003を閉じる(t3)ことで、撮像素子9001への露光を終了させる。なお、この露光期間は測光回路1011により絞り値とともに決定される。また、感度・露光制御部1014によってメカシャッタ1003の制御が、撮像素子駆動回路によって電子シャッタパルスの制御が行われる。
【0018】
以下では、上記1度目の露光を本露光、また、本露光により得られた画像を本画像と呼ぶ。
【0019】
本来は、蓄積期間終了後に垂直転送路に発生した電荷を掃き出すための空転送期間を設ける必要があるが、図12では説明の簡単化のため、空転送期間を省略している。また、以降のタイミングチャートについても同様である。
【0020】
露光が終了したら、次に、フィールド毎に各画素の信号を読み出す(t4、t5,t6)。
【0021】
撮像部1004から出力された画像信号はCDS回路1006でノイズ除去された後、AGC回路1007で、任意のゲインをかけられる。
【0022】
AGC回路1007でゲインをかけられた画像信号は、AD変換回路1008にてデジタル信号に変換されシステム制御部のメモリ1012に保存される。
【0023】
全(3)フィールドの読み出しを終了したら、遮光状態のまま、再度本画像と同一の蓄積期間で電荷の蓄積(2度目)を行い、同一の経路を経て撮像素子からの信号の読み出しを行う(t7,t8,t9,t10,t11)。
【0024】
読み出した信号に対してAGC回路1007で本露光と同一のゲインをかけた後、システム制御部に含まれる減算回路1016にて、メモリ1012に保存されている本画像から、2度目の蓄積期間に得られた画像(遮光画像)を減算する。
【0025】
上記減算処理を行った後、本画像は映像信号処理回路1010にてJPEG画像に変換され、図示されていない外部メモリに保存される。
【0026】
上記のように本画像から遮光画像を減算することにより、縦筋ムラノイズを補正することが出来る。
【0027】
しかし、この様な補正方法の弊害として、遮光画像のランダムノイズが処理後の画像に乗ってノイズレベルを悪化させる問題点がある。
【0028】
一方、特許文献1のようにダミーフィールドを用いて縦筋ムラノイズの補正を行う方法も提案されている。この方法を図13に示すタイミングチャートを用いて説明する。
【0029】
図13に示すように、特許文献1では、露光期間において、電子シャッタを出力して撮像素子9001内の蓄積電荷をクリア(t1)し、本露光(t2)を開始する。
【0030】
その後、シャッタ速度に応じてシャッタ閉じのパルスを出力してシャッタを閉じることで、撮像素子9001への露光を終了させる(t3)。
【0031】
その後に、まず、撮像した画像信号を各画素9002から垂直転送路9003に転送しない方法で垂直転送路9003を駆動し、画像信号のない状態で空転送を行う(t4)。即ち、1フィールドの画像信号の転送に相当する転送動作を行なう。
この空転送により、垂直転送路9003の暗電流発生量が転送路毎に異なることに起因する縦筋ムラノイズ信号が水平転送路9004を介して読み出される。
【0032】
上記のように読み出された、光電変換素子からの信号を含まない信号をダミーフィールドと呼ぶことにする。読み出されたダミーフィールドは第3フィールド画像用のメモリに記憶される。
【0033】
そして、ダミーフィールドの読み出し後に、第1フィールドの画素9002の画像信号を垂直転送路9003に転送するパルスを出力して、第1フィールド画像を読み出す。
この読み出しの際に、先にメモリに記憶されているダミーフィールド画像を読み出して上記読み出された第1フィールドの画像信号との減算処理を行い、その結果を第1フィールド画像用のメモリ領域に書込む(t5)。
同様の処理を第2フィールドにも行い(t6)、第3フィールドにも同様の処理を行う(t7)。
【0034】
第3フィールドの処理では、ダミー画像は第3フィールド画像用のメモリ領域に記憶されているので、減算を行うためにダミーフィールドを読み出したメモリ領域には減算処理結果である第3フィールド画像を書き戻すことになる。
このため、ダミー画像が記憶されていたメモリ領域には減算処理された第3フィールドの画像が上書きされるので、全フィールドの画像が読み出された後には、ダミー画像はメモリ1012上に残っていない。
【0035】
縦筋ムラノイズは画素9002の信号電荷が無くとも垂直転送路9003の転送動作だけで発生するので、特許文献1のように縦筋ムラノイズを補正する画像として使用することができる。
これにより、縦筋ムラノイズ信号が画像信号から差し引かれてノイズが除去された画像信号を得ることができる。
【0036】
図14に上述した縦筋ムラノイズ信号の除去を模式的に示す。図の左側は、縦筋ムラノイズが未補正の画像を各読み出しフィールド毎に分解して示している。各フィールド毎の画像は行(ライン)単位で順番に読み出されることになるので、それぞれの画像の垂直方向サイズは、最終的な画像サイズに対して(1/フィールド数)のサイズになる。具体的には、3フィールド読み出しの場合は、各フィールドでは3行(3ライン)おきの画素が読み出されるので、フィールドごとに分解された画像の垂直方向のサイズは、最終的な画像の垂直方向のサイズの1/3となる。
【0037】
図14の中央の図は、読み出されたダミーフィールドの画像である。ダミーフィールドでは画素信号の垂直転送CCD9003への転送パルスを出力していないため、画像としては黒画像になる。しかし画素の情報は無くとも、垂直転送CCDの転送動作は行なっているので(空転送)、縦筋ムラノイズである白縦筋が発生する。
【0038】
この白縦筋の信号レベルが各フィールドの画像を読み出したときの白縦筋と同じレベルになるので、このダミー画像を減算することで縦筋ムラノイズ補正を行うことができる。
【0039】
そして縦筋ムラノイズは垂直転送CCD上で発生するため、各フィールドでの縦筋ムラノイズレベルは等しいので、ダミー画像は1フィールド分の画像で各フィールドの画像に対して減算を行うことができる。
【0040】
図14の右側の図は、縦筋ムラノイズ補正を施した後に得られる最終的な画像を示す。縦筋ムラノイズ補正を施した後の画像では、白縦筋が除去されている。
【0041】
このようにして、縦筋ムラノイズの画像補正を行う。
【先行技術文献】
【特許文献】
【0042】
【特許文献1】特開2007−27864号公報
【発明の概要】
【発明が解決しようとする課題】
【0043】
従来の縦筋ムラノイズ補正における減算処理では、ダミーフィールドや遮光画像のランダムノイズが本画像に重畳され、ランダムノイズが増加して本画像の画質を低下する問題がある。
【課題を解決するための手段】
【0044】
上記従来技術の問題を解決するため、本発明によれば、撮像装置は、2次元の行列状に配列された複数の光電変換素子と、列方向に配列された光電変換素子の信号を転送して出力する転送手段とを有する撮像素子と、撮像素子の露光と遮光を制御する露光手段と、露光状態と遮光状態それぞれにおいて撮像素子の光電変換動作を行ない、それにより生じた信号を読み出す読み出し手段と、読み出された信号の信号処理を行なう信号処理手段と、露光状態での光電変換動作で生じた信号を読み出し、次いで遮光状態での光電変換動作で生じた信号を読み出して、読み出された信号から画像信号を生成する制御手段を備え、制御手段は、露光状態と遮光状態の光電変換動作で生じた信号の読み出しにおいて、少なくとも転送手段の信号転送速度と信号処理手段の信号処理ゲインを変更する。
【発明の効果】
【0045】
本発明によれば、遮光画像の読み出しにおいて転送路の転送速度を遅くすることにより転送路上の暗電流成分を多く抽出し、本露光時よりもゲインを下げることによりランダムノイズの少ない遮光画像を得ることが可能となる。これにより、縦筋ムラノイズ補正での減算処理において、ランダムノイズの増加を抑えつつ、固定パターンノイズを除去することが可能となる。
【図面の簡単な説明】
【0046】
【図1】本発明の第1の実施例に係わる撮像装置のブロック図。
【図2】本発明の第1の実施例に係わる縦筋ムラノイズ補正動作のタイミングチャートを示す図。
【図3】本発明の第1の実施例に係わる縦筋ムラノイズ補正動作のフローチャートを示す図。
【図4】本発明の第1の実施例の第1の変形例に係わる縦筋ムラノイズ補正動作のタイミングチャートを示す図。
【図5】本発明の第1の実施例の第1の変形例に係わる縦筋ムラノイズ補正動作のフローチャートを示す図。
【図6】本発明の第1の実施例の第2の変形例に係わる縦筋ムラノイズ補正動作のタイミングチャートを示す図。
【図7】本発明の第1の実施例の第2の変形例に係わる縦筋ムラノイズ補正動作のフローチャートを示す図。
【図8】本発明の第1の実施例およびその変形例における動作の比較を示す図。
【図9】CCDタイプの撮像素子の画素配列構成を模式的に示す図。
【図10】従来の撮像素子を用いた撮像装置のブロック図。
【図11】縦筋ムラが生じている画像を模式的に示す図。
【図12】従来の縦筋ムラノイズ補正動作のタイミングチャートを示す図。
【図13】従来の他の縦筋ムラノイズ補正動作のタイミングチャートを示す図。
【図14】縦筋ムラノイズ補正を受ける画像を模式的に示す図。
【発明を実施するための形態】
【0047】
以下、図面を参照して本件発明の最良の実施形態を詳細に説明する。
【実施例1】
【0048】
図1は本発明の第1の実施例に係わる撮像装置のブロック図である。なお、同図において図10に示す部分と同じ部分には同じ符号を付して示し、特に必要がない限りその説明を省略する。本実施例の撮像装置の撮像部1004も、図9に示すように複数の画素9002(光電変換素子)を2次元の行列状に配列した画素配列を有する撮像素子(CCD)を備える。また、撮像装置全体は、当該撮像装置のシステム制御部1009に含まれる図示しないCPUによって制御され、例えばシステム制御部に含まれる図示しない記憶手段に記憶されている制御プログラムをCPUがロードして実行することによって制御がなされる。
【0049】
画素9002は光学系1001より入射した光を信号電荷に光電変換する光電変換素子を備える。また、各画素にはPRGのカラーフィルターが配設されていて、上記画素配列は、R(赤)の画素とG(緑)の画素が並んだ行と、G(緑)の画素とB(青)の画素が並んだ行とが上下方向(列方向)に交互に並んだいわゆるベイヤ配列であるものとする。それらの画素9002の行列の列の間には垂直転送路(VCCD)9003が配置され、対応する画素の列の信号電荷(画像信号)を垂直方向に転送する。このような画素配列からの画像信号の読み出しは、行単位で分割された3フィールドを順次読み出すことにより行なわれる。3フィールド読み出しでは、最初の第1フィールドにおいて、1行目、4行目、7行目、…の画素の信号を垂直転送路9003に転送して読み出し、次の第2フィールドにおいて、2行目、5行目、8行目、…の画素の信号を同様に読み出す。さらに第3フィールドにおいて、3行目、6行目、9行目、…の画素の信号を読み出す。なお、垂直転送路9003に転送された信号電荷は、垂直転送路9003により垂直方向に転送され、その後水平転送路(HCCD)9004により後段のアンプに送られる。そして、露光状態での光電変換動作で生成された信号と遮光状態での光電変換動作で生じた信号との差分から画像信号が生成される。
【0050】
本実施例の撮像装置の特徴は、黒引き制御回路1017を有することにある。黒引き制御回路1017は、黒引き処理を行なうときの遮光画像(黒画像)の蓄積時間、AGC回路1007がかける信号処理ゲイン(以下「ゲイン」という)および転送路の信号電荷の転送速度を決定する。また、黒引き制御回路1017は、タイミング発生回路1013からのタイミング信号に従い、AGC回路1007が本露光時にかけるゲインを取得する。
【0051】
次に、本実施例の撮像装置の動作を、図2および3を用いて説明する。
図2は本実施例に係わる縦筋ムラノイズ補正の動作のタイミングチャートを示す図である。図3は本実施例に係わる縦筋ムラノイズ補正の動作のフローチャートを示す図である。
【0052】
1度目の蓄積期間(光電変換動作)では電子シャッタを出力(t1)して撮像素子9001内の蓄積電荷をクリアし(S3001)、本露光(t2)を開始する(S3002)。
【0053】
その後、シャッタ速度に応じてメカシャッタ閉じのパルスを出力して(S3003)メカシャッタを閉じ(S3004)、撮像素子8001の露光状態を終了させる(t3)。
【0054】
本来は、蓄積期間終了後に垂直転送路に発生した電荷を掃き出すための空転送期間を設ける必要があるが、図2では説明の簡単化のため、この空転送期間については省略している。
また、他のタイミングチャートの図についても同様である。
【0055】
その後、第1フィールドの読み出しパルスを出力して、第1フィールドの画像信号を読み出す(t4)。同様に、第2、第3フィールドについても読み出しを行う(S1005)(t5,t6)。
【0056】
上記t4乃至t6の過程で読み出された画像を本画像と呼ぶ。読み出された本画像は、メモリ1012に保存される。
【0057】
第1の蓄積と読み出しが完了したら(S3006)、第2の蓄積を開始する。
【0058】
第2の蓄積期間では電子シャッタを出力(S1007)して(t7)撮像素子9001内の蓄積電荷をクリアし(S3007)、メカシャッタの閉じている遮光状態で、第2の蓄積を開始する(S3010)(t8)。
【0059】
この際、本画像の露光と同じ蓄積時間となるよう、黒引き制御回路1017による制御に基づいて電子シャッタパルスの出力期間(t7)を調整する。
【0060】
第2の露光完了後、撮像素子の信号電荷転送路の駆動タイミングとAGC回路1007のゲインを黒引き制御回路1017による制御に基づいて変更する(S3012), (S3013)。本実施例では、駆動タイミングを遅らせることで、電荷信号の垂直転送および水平転送と読み出しに係わる駆動速度を低下させている。信号転送速度を低下させると、その低下分に比例して、転送路内で発生する暗電流成分は増加する。
【0061】
黒引き処理のための遮光画像としては、本画像と同量の縦筋ムラノイズが画像に乗っていることが必要である。このため、AGC回路1008でかけるゲインを信号転送速度の低下分と同じ量だけ下げることにより、本画像と同量の縦筋ムラノイズがのったランダムノイズの少ない遮光画像を得ることが出来る。例えば、遮光画像のランダムノイズを1/2倍にしたい場合であれば、本露光時に比して遮光画像の転送期間を2倍、遮光画像の設定ゲインを本露光時の設定ゲインの1/2倍に変更すればよい。本実施例の黒引き制御回路1017による制御は、このような技術思想に基づいている。
【0062】
次に遮光画像の読み出し動作を行う(S3014)。
【0063】
第1フィールド、第2フィールド、第3フィールドの遮光画像の信号を読み出し(t9,t10,t11)た後、ゲイン演算した遮光画像の信号を本画像から除く減算処理(信号処理)を行い(S3015)、処理後の画像信号を保存する(S3016)。
【0064】
また、メモリ節約のため、遮光画像の画素信号を読み出すと同時に、メモリ1012に保存されている本画像の当該アドレスとの減算処理を行い、結果を同じメモリ内のアドレスに書き戻してもよい。
【0065】
上記のように遮光画像の読み出し処理を行うことにより、縦筋ムラノイズを補正しつつランダムノイズの少ない良好な画像を得ることが出来る。
【0066】
次に、上記第1の実施例の変形例について説明する。
【0067】
変形例は、黒引き制御回路1017による制御および遮光画像の読み出し構成の変形例であり、撮像装置の構成は第1の実施例と同様である。
【0068】
[変形例1]
本変形例は、遮光画像の読み出しにおいて画素からの信号読み出しを行なわないことを特徴とする。
【0069】
図4は本変形例に係わる縦筋ムラノイズ補正の動作のタイミングチャートを示す図である。図5は本変形例に係わる縦筋ムラノイズ補正の動作のフローチャートを示す図である。なお、図5において図3と同じ部分には同じ符号を付して示す。
【0070】
本変形例での縦筋ムラノイズ補正の動作は、図5のステップS3007までは第1の実施例(S3007)と同様なので、ここでの説明を省略する。
【0071】
上述のように、本変形例においては、遮光画像の読み出し時に画素から信号を読み出さないことを特徴とするので、電子シャッタの出力(S3007)を読み出しパルスの直前まで行ってもよい(t7)。
【0072】
電子シャッタの出力(S3007)の後、直ぐに撮像素子の信号電荷の転送路の駆動タイミングとAGC回路のゲインの変更を行う(S5001), (S5002)。
【0073】
本変形例でも、第1の実施例と同様に、駆動タイミングを遅らせることで、電荷信号の垂直転送および水平転送と読み出しに係わる駆動速度を低下させる。このとき、信号転送速度の低下分に比例して、転送路内で発生する暗電流成分は増加する。また、本変形例では、画素から垂直転送路への信号電荷の転送を行わないことにより、画素の暗電流成分が遮光画像に重畳されず、画素に起因する固定バターンノイズやランダムノイズを除去することが出来る。
【0074】
AGC回路1008でかけるゲインについては第1の実施例と同様に、転送速度の低下分と同じ量だけ下げることにより、本画像と同量の縦筋ムラノイズがのった、ランダムノイズの少ない遮光画像を得ることが出来る。具体的な例として、遮光画像のランダムノイズを半分にしたいのであれば、信号電荷の転送速度を半分にすることで、転送路での信号電荷の滞在時間(読み出し期間)を2倍にし、読み出し時のゲインを半分にすればよい。
【0075】
次に遮光画像の読み出しを行う(S5003)(t8,t9、t10)。即ち、信号転送路の転送、出力動作のみを行なう。
【0076】
遮光画像の各フィールドの読み出しを行なった後、本画像から、遮光画像の信号を除く減算処理(信号処理)を行い(S2011)、処理後の画像を保存する(S3012)。
【0077】
また、メモリ節約のため、遮光画像の読み出しと同時に、メモリ1012に保存されている本画像の当該アドレスとの減算処理を行い、結果を同じメモリ内のアドレスに書き戻してもよい。
【0078】
上記のような遮光画像の読み出し処理を行うことにより、縦筋ムラノイズを補正しつつランダムノイズの少ない良好な画像を得ることが出来る。
【0079】
また、本変形例では、遮光画像の読み出しにおいて画素からの読み出しを行わないため、参考文献1のようにダミーフィールド画像を読み出して補正に使用してもよい。
【0080】
この場合のタイミングチャートは、図4の(t1)から(t8)までのタイミングチャートと等価になる。t8がダミーデフィールドの読み出しとなる。ダミーフィールド画像の読み出しでは、各画素8002の信号を垂直転送路9003に転送するパルスを出力せずに垂直転送路9003を駆動して、撮像素子9001内で画素情報の無い空転送画像を読み出す(t8)。
【0081】
この場合においても、減算を行うための遮光画像を得る際に、転送速度およびゲインを落とすことにより、ランダムノイズの少ない黒画像を得ることが出来る。
【0082】
また、縦筋ムラノイズは画素9002の電荷が無くとも垂直転送路9003を通過するだけで発生するので、ダミーフィールドは縦筋ムラノイズを補正する画像として使用することができる。
【0083】
ただし、本画像の第1フィールド、第2フィールド、第3フィールドそれぞれに対して、同一のダミーフィールドを用いて減算処理と行うと、垂直方向に連続した3画素に対して同量のランダムノイズが重畳されることになる。
このため、縦長の目立ちやすいノイズを重畳してしまう場合がある。
上記のノイズを抑制するためには、本画像の第1フィールド、第2フィールド、第3フィールドそれぞれに対応した3つの別々のダミーフィールドを用いて減算処理を行う必要がある。
上記処理により、縦長の目立ちやすいノイズの重畳を抑えることが可能となる。
【0084】
次に、上記第1の実施例の他の変形例である第2の変形例について説明する。
【0085】
本変形例も、黒引き制御回路1017による制御および遮光画像の読み出し構成の変形例であり、撮像装置の構成は第1の実施例と同様である。
【0086】
[変形例2]
図6は本変形例に係わる縦筋ムラノイズ補正の動作のタイミングチャートを示す図、図7は本変形例に係わる縦筋ムラノイズ補正の動作のフローチャートを示す図である。
【0087】
図7に示す本変形例に係わる縦筋ムラノイズ補正の動作は、ステップS3006までは第1の実施例と同様な内容であるので、ここでの説明を省略する。
【0088】
本実施例においては、第1の画像読み出し終了直後に、信号電荷の転送の駆動タイミング、読み出し時のゲイン、および遮光画像の蓄積時間の変更を行う(S7001、S7002、S7003)(t7)。
【0089】
駆動タイミングについては、第1の実施例と同様に駆動タイミングを遅らせることで、垂直転送路および水平転送路における電荷転送と読み出しに係わる駆動速度を低下させている。
【0090】
蓄積期間(t8)については、本画像のそれよりも長くしている。これにより、各画素9002で発生している固定パターンノイズについても除去できる。
【0091】
画素で発生する固定パターンノイズには、温度依存性、蓄積期間依存性のある信号浮き(白キズとも呼ばれる)が有る。上記白キズは、同一の温度、蓄積期間であれば、画素内で同量程度の電子が励起される事が知られている。転送路で発生する固定パターンノイズと同じく、蓄積期間を長く取ることによって、画素で発生する固定パターンノイズの量を増やすことができる。図6のタイミングチャートには、この遮光画像の読み出し信号の特徴を示してある。
【0092】
ゲインについては、本露光よりも蓄積期間を長くした分(転送期間を長くした分と等しい)、遮光画像のAGC回路1008でのゲインを低下させる。これにより、画素9002で発生する固定パターンノイズの量を本画像と等しくし、ランダムノイズを少なくすることが可能となる。具体的な例として、遮光画像のランダムノイズを半分にしたいのであれば、転送速度を半分にすることによって転送路での画素電荷の滞在時間を2倍にし、さらに、蓄積期間を2倍にして読み出し時のゲインを半分にすればよい。
【0093】
遮光画像の露光と読み出しについて図7のフローチャートを参照して説明する。
【0094】
2度目(遮光画像)の蓄積期間では、読み出しパルス(t7)が出た後に電子シャッタを出力して撮像素子9001内の蓄積電荷をクリアし(S7004)、遮光画像の露光(t8)を開始する(S7005)。1度目(本画像)の蓄積期間よりも長い時間蓄積(t8)を行った後(S3009)、遮光画像の読み出し(t9,t10,t11)を開始する(S3012)。
【0095】
各フィールドの遮光画像の信号を読み出した後、本画像から遮光画像の信号を除く減算処理を行い(S3013)、処理後の画像を保存する(S3014)。
【0096】
また、メモリ節約のため、遮光画像の画素信号を読み出すと同時に、メモリ1012に保存されている本画像の当該アドレスとの減算処理を行い、同じメモリ内のアドレスに書き戻してもよい。
【0097】
上記のような遮光画像の読み出し処理を行うことにより、縦筋ムラノイズを補正し、さらに、各画素に起因する固定パターンノイズについても補正しつつランダムノイズの少ない良好な画像を得ることが出来る。
【0098】
図8に、上述した第1の実施例から変形例2それぞれにおける、遮光画像の読み出しの特徴の比較表を示す。なお、AGC回路1008のゲインの変更はいずれの例でも同じであるので図示していない。
【0099】
実施例1では、遮光画像の蓄積期間を本画像と同等とし、転送路の転送速度を低下させることにより、電荷蓄積部の固定パターンノイズと転送路の固定パターンノイズを抽出している。
【0100】
変形例1では、遮光画像について画素からの読み出しを行わず、転送路の転送速度を低下させることにより、転送路の固定パターンノイズを抽出している。
【0101】
変形例2では、遮光画像の蓄積期間を本画像よりも長くし、転送路の転送速度を低下させることにより、電荷蓄積部の固定パターンノイズと転送路の固定パターンノイズを抽出している。
【0102】
画素に起因する固定パターンノイズと、転送路に起因する固定パターンノイズは目立つ条件が異なるため、撮影の条件に合わせ第1の実施例から変形例2までを使い分けることが望ましい。
【0103】
具体的には、露光時間が短い場合では変形例1を、露光時間が比較的長い領域では、変形例2を、それ以外の領域では、第1の実施例を使用することが望ましい。
【実施例2】
【0104】
なお、上述した第1の実施例1からその変形例2までのソフト構成とハード構成は、適宜置き換えることができるものである。
【0105】
また、本発明は、以上の各実施の形態、または、それら技術要素を必要に応じて組み合わせるようにしてもよい。
【0106】
更に本発明は、特許請求の範囲の構成、または、実施形態の構成の全体若しくは一部が、1つの装置を形成する場合に限られない。例えば、デジタルカメラやビデオカメラなどの撮像装置や撮像装置から得られる信号を処理する信号処理装置など、他の装置と結合するようなものであっても、装置を構成する要素となるものであってもよい。
【0107】
また、本発明の目的は、前述した実施形態の機能の一部又は全部を実現するソフトウェアのプログラムコードを記録した記憶媒体(または記録媒体)を、システムあるいは装置に供給しすることでも達成される。即ち、システムあるいは装置のコンピュータ(またはCPUやMPU)が記憶媒体に格納されたプログラムコードを読み出し実行することによっても達成される。この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。また、コンピュータが読み出したプログラムコードを実行することにより、前述した実施形態の機能が実現される場合に限られるものではない。プログラムコードの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム(OS)などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。ここでプログラムコードを記憶する記憶媒体としては、例えば、フレキシブルディスク、ハードディスク、ROM、RAM、磁気テープ、不揮発性のメモリカード、CD−ROM、CD−R、DVD、光ディスク、光磁気ディスク、MOなどが考えられる。
【0108】
さらに、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張カードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれた場合も含まれる。即ち、そのプログラムコードの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるCPUなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【0109】
本発明を上記記憶媒体に適用する場合、その記憶媒体には、先に説明した図1の黒引き制御回路に対応するプログラムコードが格納されることになる。

【特許請求の範囲】
【請求項1】
2次元の行列状に配列された複数の光電変換素子と、前記行列の列方向に配列された光電変換素子の信号を転送して出力する転送手段とを有する撮像素子と、
前記撮像素子の露光と遮光を制御する露光手段と、
前記露光手段による露光状態と遮光状態それぞれにおいて前記撮像素子を駆動して前記複数の光電変換素子の光電変換動作を行ない、それにより生じた信号を読み出す読み出し手段と、
前記読み出し手段により読み出された信号の信号処理を行なう信号処理手段と、
前記露光手段、読み出し手段および信号処理手段を制御し、前記露光状態での前記光電変換動作で生じた信号を前記複数の光電変換素子から読み出し、次いで前記遮光状態での前記光電変換動作で生じた信号を前記複数の光電変換素子から読み出して、前記読み出された信号から画像信号を生成する制御手段を備え、
前記制御手段は、前記露光状態と遮光状態の前記光電変換動作で生じた信号の読み出しにおいて、少なくとも前記転送手段の信号転送速度と前記信号処理手段の信号処理ゲインを変更することを特徴とする撮像装置。
【請求項2】
前記制御手段は、前記遮光状態での前記光電変換動作で生じた信号の前記信号転送速度を前記露光状態での前記光電変換動作で生じた信号の前記信号転送速度より遅くなるように変更し、前記遮光状態での前記光電変換動作で生じた信号の前記信号処理ゲインを、前記信号転送速度の変更の量に応じて前記露光状態での前記光電変換動作で生じた信号の前記信号処理ゲインより小さくするよう変更することを特徴とする請求項1に記載の撮像装置。
【請求項3】
前記制御手段は前記読み出し手段を制御し、前記遮光状態での前記光電変換動作で生じた信号の読み出し動作において、前記複数の光電変換素子の信号を前記転送手段に転送しないことを特徴とする請求項1または2に記載の撮像装置。
【請求項4】
前記制御手段はさらに前記光電変換動作の期間を変更し、前記遮光状態での前記光電変換動作の前記期間を前記露光状態での前記光電変換動作の期間より長くなるように変更することを特徴とする請求項1または2に記載の撮像装置。
【請求項5】
前記信号処理手段は、前記露光状態での前記光電変換動作で生じた信号と前記遮光状態での前記光電変換動作で生じた信号との差分から前記画像信号を生成することを特徴とする請求項1乃至4のいずれか一項に記載の撮像装置。
【請求項6】
前記制御手段は前記読み出し手段を制御し、前記複数の光電変換素子を前記行列の行単位で複数のフィールドに分割して前記光電変換素子の信号を前記フィールドごとに読み出すことを特徴とする請求項1乃至5のいずれか一項に記載の撮像装置。
【請求項7】
前記制御手段は前記読み出し手段を制御し、前記遮光状態での前記光電変換動作で生じた信号の読み出し動作において前記複数の光電変換素子の信号を前記転送手段に転送しないことを特徴とする請求項6に記載の撮像装置。
【請求項8】
2次元の行列状に配列された複数の光電変換素子と、前記行列の列方向に配列された光電変換素子の信号を転送して出力する転送手段とを有する撮像素子と、前記撮像素子の露光と遮光を制御する露光手段と、前記露光手段による露光状態と遮光状態それぞれにおいて前記撮像素子を駆動して前記複数の光電変換素子の光電変換動作を行ない、それにより生じた信号を読み出す読み出し手段と、前記読み出し手段により読み出された信号の信号処理を行なう信号処理手段を有する撮像装置の制御方法において、
前記露光手段、読み出し手段および信号処理手段を制御し、前記露光状態での前記光電変換動作で生じた信号を前記複数の光電変換素子から読み出し、次いで前記遮光状態での前記光電変換動作で生じた信号を前記複数の光電変換素子から読み出して、前記読み出された信号から画像信号を生成する制御ステップを備え、
前記制御ステップは、前記露光状態と遮光状態の前記光電変換動作で生じた信号の読み出しにおいて、少なくとも前記転送手段の信号転送速度と前記信号処理手段の信号処理ゲインを変更するステップを有することを特徴とする制御方法。
【請求項9】
コンピュータを、
2次元の行列状に配列された複数の光電変換素子と、前記行列の列方向に配列された光電変換素子の信号を転送して出力する転送手段とを有する撮像素子と、前記撮像素子の露光と遮光を制御する露光手段と、前記露光手段による露光状態と遮光状態それぞれにおいて前記撮像素子を駆動して前記複数の光電変換素子の光電変換動作を行ない、それにより生じた信号を読み出す読み出し手段と、前記読み出し手段により読み出された信号の信号処理を行なう信号処理手段を有する撮像装置の制御方法において、
前記露光手段、読み出し手段および信号処理手段を制御し、前記露光状態での前記光電変換動作で生じた信号を前記複数の光電変換素子から読み出し、次いで前記遮光状態での前記光電変換動作で生じた信号を前記複数の光電変換素子から読み出して、前記読み出された信号から画像信号を生成する制御手段であり、前記露光状態と遮光状態の前記光電変換動作で生じた信号の読み出しにおいて、少なくとも前記転送手段の信号転送速度と前記信号処理手段の信号処理ゲインを変更する制御手段として機能させるプログラム。
【請求項10】
請求項9のプログラムを記録したコンピュータが読み取り可能な記録媒体。
【請求項11】
コンピュータを、請求項1乃至7のいずれか一項に記載された撮像装置の各手段として機能させるプログラム。
【請求項12】
コンピュータを、請求項1乃至7のいずれか一項に記載された撮像装置の各手段として機能させるプログラムを格納した記録媒体。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate

【図9】
image rotate

【図10】
image rotate

【図11】
image rotate

【図12】
image rotate

【図13】
image rotate

【図14】
image rotate


【公開番号】特開2013−90088(P2013−90088A)
【公開日】平成25年5月13日(2013.5.13)
【国際特許分類】
【出願番号】特願2011−227901(P2011−227901)
【出願日】平成23年10月17日(2011.10.17)
【出願人】(000001007)キヤノン株式会社 (59,756)
【Fターム(参考)】