固体撮像装置およびこれを用いた画像処理装置
【課題】 撮像素子の暗電流ムラや欠陥画素に起因してクランプ時に発生する出力チャンネルごとのオフセットを新たなノイズを増加させることなく低減できる補正方法を提供することを目的とする。
【解決手段】 複数の画素を備える撮像素子と、前記撮像素子を遮光した状態でダーク画像を取得するダーク画像取得手段と、前記ダーク画像を行または列の１方向に平滑化する平滑化手段と、前記平滑化後のダーク画像を減算する減算手段とを有することを特徴とする撮像装置を構成する。
【解決手段】 複数の画素を備える撮像素子と、前記撮像素子を遮光した状態でダーク画像を取得するダーク画像取得手段と、前記ダーク画像を行または列の１方向に平滑化する平滑化手段と、前記平滑化後のダーク画像を減算する減算手段とを有することを特徴とする撮像装置を構成する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、デジタルカメラやビデオカメラ等の固体撮像装置に関し、特に、撮像データのノイズ補正に関する。
【背景技術】
【０００２】
デジタルカメラやビデオカメラ等の撮像装置にはＣＭＯＳイメージセンサ等の固体撮像素子が使用されている。
【０００３】
固体撮像素子では、温度等の要因に起因して発生する暗電流が存在する。そのため、撮像素子の出力信号をそのまま用いると有効な信号成分に暗電流成分が重畳されてしまい、撮影画像の画質劣化の原因となる。とくに撮像素子自身の発熱や周辺回路からの熱の影響により、撮像素子の一部の領域だけ温度が高くなると、２次元の暗電流ムラが発生してしまう。
【０００４】
暗電流は使用環境や露光時間等によって変化する。そのため、実際の撮影動作の直前または直後に、撮像素子を遮光した状態で撮影動作を行い、その際に得られた撮影画像（ダーク画像）を、被写体を撮影した画像から減算処理することで、暗電流成分を除去する技術が特許文献１には記載されている。
【０００５】
また、撮像した各画素の信号にはショットノイズが発生する。このショットノイズはランダムノイズであるため、被写体を撮影した画像から黒画像を減算処理した場合、それぞれの画像に含まれるランダムノイズが重畳されてしまい、画質が劣化してしまう。そこで、ダーク画像にメディアンフィルタ処理を行ってから減算処理に用いることで、ランダムノイズを増加させることなく、暗電流ムラを除去する技術が特許文献２に記載されている。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００３−３３３４３５号公報
【特許文献２】特開２００７−１８０６１６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
ところで、固体撮像装置では、出力信号の基準となるレベルの信号（黒基準信号）を得るために、フォトダイオード部が遮光されたオプティカルブラック領域（ＯＢ領域）を備えている。フォトダイオード部が遮光されていない開口領域から得られた信号は、上記ＯＢ領域から得られた信号レベルを基準としてクランプ処理される。
【０００８】
また、撮像素子の出力信号を高速読み出しするために、撮像素子の出力経路を複数にして、複数画素の読み出しを同時に行う技術が良く知られている。そのため、上記クランプ処理も高速にするため、出力経路ごとに行う技術が良く知られている。
【０００９】
固体撮像素子では、製造過程において、白キズと呼ばれる暗電流の異常な欠陥画素ができることがある。この欠陥画素は高温、長秒撮影になるほどより顕著に現れる。
【００１０】
上記欠陥画素がＯＢ領域にあると、高温、長秒撮影時にＯＢ領域の出力が欠陥画素の影響を受けてチャンネルごとにずれてしまい、チャンネルごとに誤ったクランプレベルで処理されてしまう。その結果、撮影画像にチャンネルごとに異なるオフセットが発生してしまうという問題がある。
【００１１】
特許文献１に記載の技術では、被写体を撮影した画像からダーク画像を減算することで、暗電流ムラや前述したチャンネル間オフセットのような固定パターンノイズを除去することができるが、ショットノイズのようなランダムノイズは悪化してしまう。
【００１２】
また、特許文献２に記載の技術では、ダーク画像にメディアンフィルタ処理を行うことで、ダーク画像の減算処理時にランダムノイズを悪化させることなく暗電流ムラを除去することができる。しかし、前述したチャンネル間オフセットは、ダーク画像を平滑化してしまうため、除去することができない。
【課題を解決するための手段】
【００１３】
複数の画素を備える撮像素子と、前記撮像素子を遮光した状態でダーク画像を取得するダーク画像取得手段と、前記ダーク画像を行または列の１方向に平滑化する平滑化手段と、前記平滑化後のダーク画像を減算する減算手段とを有することを特徴とする撮像装置を構成する。
【発明の効果】
【００１４】
本発明によれば、ランダムノイズによる画質の悪化を抑えつつ、暗電流ムラおよびチャンネル間オフセットを効果的に補正することができる。
【図面の簡単な説明】
【００１５】
【図１】本発明における撮像装置の全体ブロック図
【図２】本発明における撮像素子の概略図
【図３】本発明における撮像素子の単位画素の回路
【図４】本発明における撮像素子の出力チャンネルについて説明する図
【図５】本発明におけるＡＦＥのブロック図
【図６】本発明におけるノイズ補正処理のフローチャート図
【図７】本発明の実施例１における平滑化処理を説明する図
【図８】本発明の実施例１における別の平滑化処理を説明する図
【図９】本発明の実施例２におけるダーク画像の平滑化処理領域を説明する図
【図１０】本発明の実施例２における平滑化処理を説明する図
【発明を実施するための形態】
【００１６】
以下に、本発明を実施するための最良の形態を実施例により詳しく説明する。
【００１７】
［実施例１］
図１は本発明に係る固体撮像装置の全体ブロック図である。
【００１８】
１０１はＣＭＯＳ型固体撮像素子であり、不図示の撮影レンズで結像された画像を取り込む。１０２はアナログフロントエンド（ＡＦＥ）であり、ＯＢクランプおよびアナログデジタル変換処理を行う。１０３はデジタルフロントエンド（ＤＦＥ）であり、各画素のデジタル出力を受けて画像信号の補正や画素の並び替え等をデジタル処理している。１０４は画像処理部であり、ＤＦＥ１０３からのデジタル出力に対して所定の画素補間処理や色変換処理、ノイズ補正処理等の各種画像処理を行う。本実施形態では、特にノイズ補正処理について特徴を有しており、この詳細については後述する。メモリ回路１０５は画像処理部１０４の作業用メモリであり、連続撮影等においてはバッファーメモリとしても使用される。１０６は制御回路であり、撮像装置全体を統括的に制御し、周知のＣＰＵなどを内蔵する。１０７は操作回路であり、デジタルカメラにある操作部材を電気的に受け付けるものである。１０８は画像等を表示するための表示部であり、例えば、ＴＦＴ（Ｔｈｉｎ Ｆｉｌｍ Ｔｒａｎｓｉｓｔｏｒ）方式のＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）などである。記録回路１０９はメモリカードやハードディスクなどの記録媒体である。１１０はタイミング発生回路（ＴＧ）であり、撮像素子１０１を駆動する各種タイミングを生成する。
【００１９】
図２は、ＣＭＯＳ型固体撮像素子の画素領域の構成例である。図２に示すように、本実施形態の固体撮像素子は、開口画素領域２０３、水平方向オプティカルブラック領域（HOB）２０１及び垂直方向オプティカルブラック領域（VOB）２０２を有する。開口画素領域２０３は、入射光に応じて発生した電荷を蓄積して出力する。水平方向オプティカルブラック領域（HOB）２０１および垂直方向オプティカルブラック領域（VOB）２０２は、開口画素領域２０３に隣接して設けられた遮光された領域である。
【００２０】
図３はＣＭＯＳ型撮像素子の単位画素（１画素分）の回路の一例である。３０１は光を電荷に変換するフォトダイオードである。３０２は転送スイッチであり、ＭＯＳトランジスタで構成されている。この転送スイッチ３０２はＰＴＸパルスで制御される。３０３はフローティングディフュージョン（ＦＤ）部である。３０４はＦＤ部の電圧を増幅するソースフォロアＭＯＳトランジスタである。この単位画素が行列状に並べられ、かつ同一列の画素は選択スイッチ３０５を介して共通の垂直出力線３０７に接続されている。選択スイッチ３０５はＰＳＥＬパルスで制御される。３０８は共通電源ＶＤＤである。３０６はＭＯＳトランジスタで構成されたリセットスイッチであり、ＦＤ３０３および転送スイッチ３０２を介してＰＤ３０１を電位ＶＤＤにリセットする。リセットスイッチ３０６はＰＲＥＳパルスで制御される。
【００２１】
図４は、ＣＭＯＳ型固体撮像素子の出力チャンネルについて説明する図である。３００は図３に示した単位画素である。各画素には不図示の垂直走査回路から、各行ごとに共通のＰＲＥＳ、ＰＴＸ、ＰＳＥＬパルス等の信号が入力される。各画素の出力は電流源負荷４０１が接続された垂直出力線３０７を介して、列回路に出力される。ここで、偶数列の画素信号は、４０２に示す列回路（CH１）に出力され、奇数列の画素信号は、４０３に示す列回路（CH2）に出力される。各列回路４０２、４０３に読み出された画素信号は水平走査回路４０４，４０５により順次読み出し回路４０６、４０７に転送され外部に読み出される。本実施例では出力チャンネルはＣＨ１とＣＨ２の２チャンネル構成であるが、出力チャンネルを増やすことにより、さらに高速読み出しが可能となる。
【００２２】
図５にＡＦＥ１０２の内部構成を示す。５０１はゲインコントロールアンプであり感度調整に使用される。５０２は水平ＯＢクランプ回路であり、行方向のゆるやかなダークシェーディングを補正して黒レベル基準値に合わせるためのものである。各行のＨＯＢ領域の出力と黒レベル基準値との差が減少するようにオフセット補正する。ここでの補正はＡＭＰ５０１にフィードバックされる。５０３はアナログデジタル変換回路（ＡＤ）であり、撮像素子１０１からの画素信号に対してＡＭＰ５０１と水平ＯＢクランプ回路５０２で、ＨＯＢ領域の画素出力を黒レベル基準値に合わせるようにゲインをかけた後のアナログ信号を、例えば１４ｂｉｔのデジタル信号に変換する。ＡＦＥ１０２の各ブロック５０１、５０２、５０３は撮像素子の出力チャンネルごとに設けられ、各出力チャンネルの信号を同時に処理することで、高速処理を可能にできる。
【００２３】
ただし、撮像素子のクランプのクランプ処理に利用される領域に、暗電流の異常な欠陥画素がある場合、高温、長秒撮影時に欠陥画素のあるチャンネルの出力がずれてしまい、誤ったクランプレベルで処理されてしまうことがある。その結果、出力される画像にチャンネルごとに異なるオフセットが発生してしまう。
【００２４】
次に、図１の画像処理部１０４内で行うノイズ補正処理について説明する。図６は本発明のノイズ補正処理であるダーク減算処理の手順を示すフローチャートである。
【００２５】
ステップ６０１では、被写体を撮影した本画像を取得する。この撮影処理では、所定時間蓄積した信号電荷を撮像素子１０１から読み出し、ＡＦＥ１０２およびＤＦＥ１０３で各処理を行った後の画像データをメモリ回路１０５に書き込む。
【００２６】
次に、ステップ６０２では、ダーク減算処理による補正を行うかを判定する。操作回路１０７で、ダーク減算処理を行うように設定されている場合は、ステップ６０３に移り、ダーク画像を取得する。操作回路１０７で、ダーク減算処理を行わないように設定されている場合は、ダーク画像の取得およびダーク減算処理を行わずにノイズ補正処理が終了し、画像処理部１０４内で所定の画素補間処理や色変換処理が行われる。
【００２７】
また、ステップ６０２は、次のように撮影画像の所定領域の出力から補正を行うかを判定する構成であってもよい。例えば、図２の画素領域の一部にフォトダイオードを持たない画素領域を配置しておき、ＯＢ領域の出力とフォトダイオードを持たない画素領域の出力との差分から暗電流基準値を算出し、前記暗電流基準値が所定の閾値を超える場合にダーク減算処理を行うようにする。
【００２８】
ステップ６０３では、シャッターを閉じた状態にするなどして遮光状態にしたまま、ステップ６０１にて行われた撮影処理と同じ時間、電荷を蓄積する。そして、蓄積した電荷を撮像素子１０１から読み出し、ＡＦＥ１０２、ＤＦＥ１０３で各処理を行い、ダーク画像を生成する。
【００２９】
ステップ６０４では、ステップ６０３で生成したダーク画像に後述する平滑化処理を行い、ランダムノイズの影響が低減化されたダーク画像を生成する。なお、ステップ６０３で取得したダーク画像と区別するために、平滑化処理を行ったダーク画像を補正ダーク画像と呼ぶ。
【００３０】
ステップ６０５では、ステップ６０１で取得した被写体の撮影された本画像から、ステップ６０４で生成した補正ダーク画像を単位画素ごとに減算し、減算処理された本画像を生成する。ここで減算される補正ダーク画像信号は、平滑化処理によりランダム成分が低減化されたものであるため、取り込んだダーク画像信号をそのまま減算する場合に比べて、ランダムノイズによる画質の悪化を抑えることができる。さらに、画素単位ごとの減算による補正処理を行うため、暗電流ムラなどの二次元的なムラを補正することができる。
【００３１】
ダーク減算処理が終わり、ノイズ補正処理が終了すると、補正された本画像は、所定の画素補間処理や色変換処理が行われた後、記録回路１０９に画像データとして記録される。
【００３２】
本実施例では、本画像の撮影後にダーク画像を取得しているが、本画像を撮影する前にダーク画像を取得しておく構成であってもよい。
【００３３】
図７はステップ６０４における平滑化処理を説明する図である。第ｉ行、第ｊ列の画素信号をＳijとして表してある。例えば、画素信号Ｓ３３に対して平滑化処理をする場合は、対象画素と同じ列のＳ１３、Ｓ２３、Ｓ３３、Ｓ４３、Ｓ５３の計５画素の信号からメディアン値（中央値）を算出する。仮にＳ２３が上記５画素の中央値であった場合、対象画素であるＳ３３の平滑化処理後の出力はＳ２３の値になる。なお、上記平滑化処理はメディアン値の代わりに、上記５画素の平均値を用いてもよい。
【００３４】
このように処理対象の画素と同じ列の画素を用いて平滑化処理を行うことで、ダーク減算処理によって二次元的なムラを除去できるとともに、暗電流の異常な欠陥画素等が原因でクランプ処理時に発生してしまうチャンネル間オフセットも補正することが可能である。
【００３５】
また、ステップ６０４の平滑化処理は、図８に示すように、対象画素と同一列の画素に加えて、対象画素の左右にある同じ出力チャンネルの画素も平滑化処理に利用してもよい。例えば、Ｓ３３の画素信号に平滑化処理を行う場合、対象画素と同一列のＳ１３、Ｓ２３、Ｓ３３、Ｓ４３、Ｓ５３に加えて、対象画像の左右にある同じ出力チャンネルに所属する画素Ｓ１１、Ｓ２１、Ｓ３１、Ｓ４１、Ｓ５１およびＳ１５、Ｓ２５、Ｓ３５、Ｓ４５、Ｓ５５を平滑化処理に用いる。こうすることで、ランダムノイズの影響をより低減することができ、チャンネル間オフセットも正確に検出することが可能である。
【００３６】
［実施例２］
本実施例は、ＡＦＥ１０２にて、ＶＯＢ領域２０２とＨＯＢ領域２０１の画素出力を用いて、それぞれ異なるフィードバックゲインでクランプ動作を行う場合のノイズ補正処理について説明する。
【００３７】
はじめに本実施例のクランプ動作について説明する。
【００３８】
まずVOB領域の信号出力をモニタしながら出力信号が高速に所定の基準レベルになるよう大きなゲインでフィードバックしてクランプ動作（高速クランプ）を行い、目標レベルまでクランプできたところで、モニタする領域をHOB領域に移して出力信号が低速で所定の基準レベルになるよう小さなゲインでフィードバックしてクランプ動作（低速クランプ）を継続して行う。最初にVOB領域で高速クランプを行うのは、クランプに使用する領域を大きく取ることで、暗電流が非常に大きくてもOB画素出力を所定のレベルに高速にクランプ出来るようにするためである。また、HOB領域で低速クランプを行うのは、暗時信号の垂直方向のシェーディングを補正するためである。
【００３９】
上記クランプ処理を行う次のような問題が発生することがある。
【００４０】
ＶＯＢ領域に暗電流の異常な欠陥画素等があった場合、ＶＯＢクランプのフィードバックゲインが大きいため、欠陥画素の出力の影響を受けて、クランプレベルが大きくずれてしまう。その結果、欠陥画素より下方の行に大きなチャンネル間オフセットが発生してしまう。この大きなチャンネル間オフセットはＶＯＢ領域内であれば、高速クランプですぐに追従し、数行で基準レベルに戻すことができる。しかし、ＶＯＢ領域の終端付近に欠陥画素があった場合には、大きなチャンネル間オフセットが発生した直後にＨＯＢ領域の低速クランプに切り替わってしまう。そのため、低速クランプでは、大きなチャンネル間オフセットに追従することができず、欠陥画素より下方の行にしばらくの間、チャンネル間オフセットが残ってしまう。
【００４１】
そこで、本実施例の画像処理装置１０４では、上記チャンネル間オフセットをダーク減算処理により、ランダムノイズの悪化を抑えつつ補正できるようにするため、ダーク画像に対する平滑化処理を次のようにして行う。なお、本実施例のフローチャートは、平滑化処理以外の部分は図6に示す実施例１のフローチャートと同様であるため、説明を省略する。
【００４２】
本実施例ではステップ６０３で取得したダーク画像に対して、図９に示すように３つの平滑化処理領域８０１、８０２、８０３でそれぞれ異なる平滑化処理を行い、補正ダーク画像を生成する。
【００４３】
ＶＯＢにおいて高速クランプを行っている領域８０１では、図１０（ａ）に示すように、平滑化処理の対象画素Ｓ３３に対して、同じ列のＳ２３、Ｓ３３、Ｓ４３の計３画素の信号を用いてメディアン値を算出する。すなわち、この領域では、平滑化処理に用いる画素数を少なくして、急に発生した大きなチャンネル間オフセットにすぐに追従できるようにする。平滑化処理に使用する画素数が少ないとランダムノイズ抑制効果は低減してしまう。しかし、領域８０１は被写体の写らない無効領域であるため、オフセット除去を優先し、平滑化処理の画素数を減らす。
【００４４】
低速クランプを行っており、ＶＯＢ領域の終端付近に欠陥画素があった場合に、大きなチャンネル間オフセットが残ってしまう可能性がある領域８０２では、図１０（ｂ）に示すように、平滑化処理の対象画素Ｓ３３に対して、同じ列のＳ１３、Ｓ２３、Ｓ３３、Ｓ４３、Ｓ５３の計５画素の信号を用いてメディアン値を算出する。この領域は開口領域も含まれるため、ランダムノイズ抑制効果をある程度持たせつつ、大きなチャンネル間オフセットにも追従できるような平滑化処理画素数に設定する。
【００４５】
低速クランプを行っているため、大きなチャンネル間オフセットが発生することのない領域８０３では、図１０（ｃ）に示すように、平滑化処理の対象画素Ｓ３３に対して、同じ列のＳ０３、Ｓ１３、Ｓ２３、Ｓ３３、Ｓ４３、Ｓ５３、Ｓ６３の計７画素の信号を用いてメディアン値を算出する。つまり、開口領域が大部分を占める領域８０３では、大きなチャンネル間オフセットへの追従よりもランダムノイズ抑制効果を優先し、平滑化処理の画素数を増やす。
【００４６】
以上のように、高速クランプを行っている領域では平滑化処理に用いる画素数を減らすことで、大きなチャンネル間オフセットが発生した場合でも、すぐに補正ダーク画像が追従できるようにする。低速クランプを行っている領域では大きなチャンネル間オフセットが発生することが少ないため、ランダムノイズ抑制効果を優先し、平滑化処理に用いる画素数を増やす。
【００４７】
上記平滑化処理を行った補正ダーク画像を減算処理することで、ランダムノイズによる画質の悪化を抑えつつ、暗電流ムラおよびチャンネル間オフセットを効果的に補正することができる。
【符号の説明】
【００４８】
１０１：撮像装置
１０２：アナログフロントエンド
１０３：デジタルフロントエンド
１０４：画像処理部
１０５：メモリ回路
１０６：制御回路
１０７：操作回路
１０８：表示回路
１０９：記録回路
１１０：タイミング発生回路
２０１：ＨＯＢ領域
２０２：ＶＯＢ領域
２０３：開口領域
３００：単位画素
３０１：フォトダイオード
３０２：転送ＭＯＳトランジスタ
３０３：フローティングディフュージョン
３０４：ソースフォロアＭＯＳトランジスタ
３０５：選択ＭＯＳトランジスタ
３０６：リセットＭＯＳトランジスタ
３０７：垂直出力線
３０８：共通電源ＶＤＤ
４０１：電流源負荷
４０２、４０３：列回路
４０４、４０５：水平走査回路
４０６、４０７：読み出し回路
５０１：ゲインコントロールアンプ
５０２：水平ＯＢクランプ回路
５０３：アナログデジタル変換回路
【技術分野】
【０００１】
本発明は、デジタルカメラやビデオカメラ等の固体撮像装置に関し、特に、撮像データのノイズ補正に関する。
【背景技術】
【０００２】
デジタルカメラやビデオカメラ等の撮像装置にはＣＭＯＳイメージセンサ等の固体撮像素子が使用されている。
【０００３】
固体撮像素子では、温度等の要因に起因して発生する暗電流が存在する。そのため、撮像素子の出力信号をそのまま用いると有効な信号成分に暗電流成分が重畳されてしまい、撮影画像の画質劣化の原因となる。とくに撮像素子自身の発熱や周辺回路からの熱の影響により、撮像素子の一部の領域だけ温度が高くなると、２次元の暗電流ムラが発生してしまう。
【０００４】
暗電流は使用環境や露光時間等によって変化する。そのため、実際の撮影動作の直前または直後に、撮像素子を遮光した状態で撮影動作を行い、その際に得られた撮影画像（ダーク画像）を、被写体を撮影した画像から減算処理することで、暗電流成分を除去する技術が特許文献１には記載されている。
【０００５】
また、撮像した各画素の信号にはショットノイズが発生する。このショットノイズはランダムノイズであるため、被写体を撮影した画像から黒画像を減算処理した場合、それぞれの画像に含まれるランダムノイズが重畳されてしまい、画質が劣化してしまう。そこで、ダーク画像にメディアンフィルタ処理を行ってから減算処理に用いることで、ランダムノイズを増加させることなく、暗電流ムラを除去する技術が特許文献２に記載されている。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００３−３３３４３５号公報
【特許文献２】特開２００７−１８０６１６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
ところで、固体撮像装置では、出力信号の基準となるレベルの信号（黒基準信号）を得るために、フォトダイオード部が遮光されたオプティカルブラック領域（ＯＢ領域）を備えている。フォトダイオード部が遮光されていない開口領域から得られた信号は、上記ＯＢ領域から得られた信号レベルを基準としてクランプ処理される。
【０００８】
また、撮像素子の出力信号を高速読み出しするために、撮像素子の出力経路を複数にして、複数画素の読み出しを同時に行う技術が良く知られている。そのため、上記クランプ処理も高速にするため、出力経路ごとに行う技術が良く知られている。
【０００９】
固体撮像素子では、製造過程において、白キズと呼ばれる暗電流の異常な欠陥画素ができることがある。この欠陥画素は高温、長秒撮影になるほどより顕著に現れる。
【００１０】
上記欠陥画素がＯＢ領域にあると、高温、長秒撮影時にＯＢ領域の出力が欠陥画素の影響を受けてチャンネルごとにずれてしまい、チャンネルごとに誤ったクランプレベルで処理されてしまう。その結果、撮影画像にチャンネルごとに異なるオフセットが発生してしまうという問題がある。
【００１１】
特許文献１に記載の技術では、被写体を撮影した画像からダーク画像を減算することで、暗電流ムラや前述したチャンネル間オフセットのような固定パターンノイズを除去することができるが、ショットノイズのようなランダムノイズは悪化してしまう。
【００１２】
また、特許文献２に記載の技術では、ダーク画像にメディアンフィルタ処理を行うことで、ダーク画像の減算処理時にランダムノイズを悪化させることなく暗電流ムラを除去することができる。しかし、前述したチャンネル間オフセットは、ダーク画像を平滑化してしまうため、除去することができない。
【課題を解決するための手段】
【００１３】
複数の画素を備える撮像素子と、前記撮像素子を遮光した状態でダーク画像を取得するダーク画像取得手段と、前記ダーク画像を行または列の１方向に平滑化する平滑化手段と、前記平滑化後のダーク画像を減算する減算手段とを有することを特徴とする撮像装置を構成する。
【発明の効果】
【００１４】
本発明によれば、ランダムノイズによる画質の悪化を抑えつつ、暗電流ムラおよびチャンネル間オフセットを効果的に補正することができる。
【図面の簡単な説明】
【００１５】
【図１】本発明における撮像装置の全体ブロック図
【図２】本発明における撮像素子の概略図
【図３】本発明における撮像素子の単位画素の回路
【図４】本発明における撮像素子の出力チャンネルについて説明する図
【図５】本発明におけるＡＦＥのブロック図
【図６】本発明におけるノイズ補正処理のフローチャート図
【図７】本発明の実施例１における平滑化処理を説明する図
【図８】本発明の実施例１における別の平滑化処理を説明する図
【図９】本発明の実施例２におけるダーク画像の平滑化処理領域を説明する図
【図１０】本発明の実施例２における平滑化処理を説明する図
【発明を実施するための形態】
【００１６】
以下に、本発明を実施するための最良の形態を実施例により詳しく説明する。
【００１７】
［実施例１］
図１は本発明に係る固体撮像装置の全体ブロック図である。
【００１８】
１０１はＣＭＯＳ型固体撮像素子であり、不図示の撮影レンズで結像された画像を取り込む。１０２はアナログフロントエンド（ＡＦＥ）であり、ＯＢクランプおよびアナログデジタル変換処理を行う。１０３はデジタルフロントエンド（ＤＦＥ）であり、各画素のデジタル出力を受けて画像信号の補正や画素の並び替え等をデジタル処理している。１０４は画像処理部であり、ＤＦＥ１０３からのデジタル出力に対して所定の画素補間処理や色変換処理、ノイズ補正処理等の各種画像処理を行う。本実施形態では、特にノイズ補正処理について特徴を有しており、この詳細については後述する。メモリ回路１０５は画像処理部１０４の作業用メモリであり、連続撮影等においてはバッファーメモリとしても使用される。１０６は制御回路であり、撮像装置全体を統括的に制御し、周知のＣＰＵなどを内蔵する。１０７は操作回路であり、デジタルカメラにある操作部材を電気的に受け付けるものである。１０８は画像等を表示するための表示部であり、例えば、ＴＦＴ（Ｔｈｉｎ Ｆｉｌｍ Ｔｒａｎｓｉｓｔｏｒ）方式のＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）などである。記録回路１０９はメモリカードやハードディスクなどの記録媒体である。１１０はタイミング発生回路（ＴＧ）であり、撮像素子１０１を駆動する各種タイミングを生成する。
【００１９】
図２は、ＣＭＯＳ型固体撮像素子の画素領域の構成例である。図２に示すように、本実施形態の固体撮像素子は、開口画素領域２０３、水平方向オプティカルブラック領域（HOB）２０１及び垂直方向オプティカルブラック領域（VOB）２０２を有する。開口画素領域２０３は、入射光に応じて発生した電荷を蓄積して出力する。水平方向オプティカルブラック領域（HOB）２０１および垂直方向オプティカルブラック領域（VOB）２０２は、開口画素領域２０３に隣接して設けられた遮光された領域である。
【００２０】
図３はＣＭＯＳ型撮像素子の単位画素（１画素分）の回路の一例である。３０１は光を電荷に変換するフォトダイオードである。３０２は転送スイッチであり、ＭＯＳトランジスタで構成されている。この転送スイッチ３０２はＰＴＸパルスで制御される。３０３はフローティングディフュージョン（ＦＤ）部である。３０４はＦＤ部の電圧を増幅するソースフォロアＭＯＳトランジスタである。この単位画素が行列状に並べられ、かつ同一列の画素は選択スイッチ３０５を介して共通の垂直出力線３０７に接続されている。選択スイッチ３０５はＰＳＥＬパルスで制御される。３０８は共通電源ＶＤＤである。３０６はＭＯＳトランジスタで構成されたリセットスイッチであり、ＦＤ３０３および転送スイッチ３０２を介してＰＤ３０１を電位ＶＤＤにリセットする。リセットスイッチ３０６はＰＲＥＳパルスで制御される。
【００２１】
図４は、ＣＭＯＳ型固体撮像素子の出力チャンネルについて説明する図である。３００は図３に示した単位画素である。各画素には不図示の垂直走査回路から、各行ごとに共通のＰＲＥＳ、ＰＴＸ、ＰＳＥＬパルス等の信号が入力される。各画素の出力は電流源負荷４０１が接続された垂直出力線３０７を介して、列回路に出力される。ここで、偶数列の画素信号は、４０２に示す列回路（CH１）に出力され、奇数列の画素信号は、４０３に示す列回路（CH2）に出力される。各列回路４０２、４０３に読み出された画素信号は水平走査回路４０４，４０５により順次読み出し回路４０６、４０７に転送され外部に読み出される。本実施例では出力チャンネルはＣＨ１とＣＨ２の２チャンネル構成であるが、出力チャンネルを増やすことにより、さらに高速読み出しが可能となる。
【００２２】
図５にＡＦＥ１０２の内部構成を示す。５０１はゲインコントロールアンプであり感度調整に使用される。５０２は水平ＯＢクランプ回路であり、行方向のゆるやかなダークシェーディングを補正して黒レベル基準値に合わせるためのものである。各行のＨＯＢ領域の出力と黒レベル基準値との差が減少するようにオフセット補正する。ここでの補正はＡＭＰ５０１にフィードバックされる。５０３はアナログデジタル変換回路（ＡＤ）であり、撮像素子１０１からの画素信号に対してＡＭＰ５０１と水平ＯＢクランプ回路５０２で、ＨＯＢ領域の画素出力を黒レベル基準値に合わせるようにゲインをかけた後のアナログ信号を、例えば１４ｂｉｔのデジタル信号に変換する。ＡＦＥ１０２の各ブロック５０１、５０２、５０３は撮像素子の出力チャンネルごとに設けられ、各出力チャンネルの信号を同時に処理することで、高速処理を可能にできる。
【００２３】
ただし、撮像素子のクランプのクランプ処理に利用される領域に、暗電流の異常な欠陥画素がある場合、高温、長秒撮影時に欠陥画素のあるチャンネルの出力がずれてしまい、誤ったクランプレベルで処理されてしまうことがある。その結果、出力される画像にチャンネルごとに異なるオフセットが発生してしまう。
【００２４】
次に、図１の画像処理部１０４内で行うノイズ補正処理について説明する。図６は本発明のノイズ補正処理であるダーク減算処理の手順を示すフローチャートである。
【００２５】
ステップ６０１では、被写体を撮影した本画像を取得する。この撮影処理では、所定時間蓄積した信号電荷を撮像素子１０１から読み出し、ＡＦＥ１０２およびＤＦＥ１０３で各処理を行った後の画像データをメモリ回路１０５に書き込む。
【００２６】
次に、ステップ６０２では、ダーク減算処理による補正を行うかを判定する。操作回路１０７で、ダーク減算処理を行うように設定されている場合は、ステップ６０３に移り、ダーク画像を取得する。操作回路１０７で、ダーク減算処理を行わないように設定されている場合は、ダーク画像の取得およびダーク減算処理を行わずにノイズ補正処理が終了し、画像処理部１０４内で所定の画素補間処理や色変換処理が行われる。
【００２７】
また、ステップ６０２は、次のように撮影画像の所定領域の出力から補正を行うかを判定する構成であってもよい。例えば、図２の画素領域の一部にフォトダイオードを持たない画素領域を配置しておき、ＯＢ領域の出力とフォトダイオードを持たない画素領域の出力との差分から暗電流基準値を算出し、前記暗電流基準値が所定の閾値を超える場合にダーク減算処理を行うようにする。
【００２８】
ステップ６０３では、シャッターを閉じた状態にするなどして遮光状態にしたまま、ステップ６０１にて行われた撮影処理と同じ時間、電荷を蓄積する。そして、蓄積した電荷を撮像素子１０１から読み出し、ＡＦＥ１０２、ＤＦＥ１０３で各処理を行い、ダーク画像を生成する。
【００２９】
ステップ６０４では、ステップ６０３で生成したダーク画像に後述する平滑化処理を行い、ランダムノイズの影響が低減化されたダーク画像を生成する。なお、ステップ６０３で取得したダーク画像と区別するために、平滑化処理を行ったダーク画像を補正ダーク画像と呼ぶ。
【００３０】
ステップ６０５では、ステップ６０１で取得した被写体の撮影された本画像から、ステップ６０４で生成した補正ダーク画像を単位画素ごとに減算し、減算処理された本画像を生成する。ここで減算される補正ダーク画像信号は、平滑化処理によりランダム成分が低減化されたものであるため、取り込んだダーク画像信号をそのまま減算する場合に比べて、ランダムノイズによる画質の悪化を抑えることができる。さらに、画素単位ごとの減算による補正処理を行うため、暗電流ムラなどの二次元的なムラを補正することができる。
【００３１】
ダーク減算処理が終わり、ノイズ補正処理が終了すると、補正された本画像は、所定の画素補間処理や色変換処理が行われた後、記録回路１０９に画像データとして記録される。
【００３２】
本実施例では、本画像の撮影後にダーク画像を取得しているが、本画像を撮影する前にダーク画像を取得しておく構成であってもよい。
【００３３】
図７はステップ６０４における平滑化処理を説明する図である。第ｉ行、第ｊ列の画素信号をＳijとして表してある。例えば、画素信号Ｓ３３に対して平滑化処理をする場合は、対象画素と同じ列のＳ１３、Ｓ２３、Ｓ３３、Ｓ４３、Ｓ５３の計５画素の信号からメディアン値（中央値）を算出する。仮にＳ２３が上記５画素の中央値であった場合、対象画素であるＳ３３の平滑化処理後の出力はＳ２３の値になる。なお、上記平滑化処理はメディアン値の代わりに、上記５画素の平均値を用いてもよい。
【００３４】
このように処理対象の画素と同じ列の画素を用いて平滑化処理を行うことで、ダーク減算処理によって二次元的なムラを除去できるとともに、暗電流の異常な欠陥画素等が原因でクランプ処理時に発生してしまうチャンネル間オフセットも補正することが可能である。
【００３５】
また、ステップ６０４の平滑化処理は、図８に示すように、対象画素と同一列の画素に加えて、対象画素の左右にある同じ出力チャンネルの画素も平滑化処理に利用してもよい。例えば、Ｓ３３の画素信号に平滑化処理を行う場合、対象画素と同一列のＳ１３、Ｓ２３、Ｓ３３、Ｓ４３、Ｓ５３に加えて、対象画像の左右にある同じ出力チャンネルに所属する画素Ｓ１１、Ｓ２１、Ｓ３１、Ｓ４１、Ｓ５１およびＳ１５、Ｓ２５、Ｓ３５、Ｓ４５、Ｓ５５を平滑化処理に用いる。こうすることで、ランダムノイズの影響をより低減することができ、チャンネル間オフセットも正確に検出することが可能である。
【００３６】
［実施例２］
本実施例は、ＡＦＥ１０２にて、ＶＯＢ領域２０２とＨＯＢ領域２０１の画素出力を用いて、それぞれ異なるフィードバックゲインでクランプ動作を行う場合のノイズ補正処理について説明する。
【００３７】
はじめに本実施例のクランプ動作について説明する。
【００３８】
まずVOB領域の信号出力をモニタしながら出力信号が高速に所定の基準レベルになるよう大きなゲインでフィードバックしてクランプ動作（高速クランプ）を行い、目標レベルまでクランプできたところで、モニタする領域をHOB領域に移して出力信号が低速で所定の基準レベルになるよう小さなゲインでフィードバックしてクランプ動作（低速クランプ）を継続して行う。最初にVOB領域で高速クランプを行うのは、クランプに使用する領域を大きく取ることで、暗電流が非常に大きくてもOB画素出力を所定のレベルに高速にクランプ出来るようにするためである。また、HOB領域で低速クランプを行うのは、暗時信号の垂直方向のシェーディングを補正するためである。
【００３９】
上記クランプ処理を行う次のような問題が発生することがある。
【００４０】
ＶＯＢ領域に暗電流の異常な欠陥画素等があった場合、ＶＯＢクランプのフィードバックゲインが大きいため、欠陥画素の出力の影響を受けて、クランプレベルが大きくずれてしまう。その結果、欠陥画素より下方の行に大きなチャンネル間オフセットが発生してしまう。この大きなチャンネル間オフセットはＶＯＢ領域内であれば、高速クランプですぐに追従し、数行で基準レベルに戻すことができる。しかし、ＶＯＢ領域の終端付近に欠陥画素があった場合には、大きなチャンネル間オフセットが発生した直後にＨＯＢ領域の低速クランプに切り替わってしまう。そのため、低速クランプでは、大きなチャンネル間オフセットに追従することができず、欠陥画素より下方の行にしばらくの間、チャンネル間オフセットが残ってしまう。
【００４１】
そこで、本実施例の画像処理装置１０４では、上記チャンネル間オフセットをダーク減算処理により、ランダムノイズの悪化を抑えつつ補正できるようにするため、ダーク画像に対する平滑化処理を次のようにして行う。なお、本実施例のフローチャートは、平滑化処理以外の部分は図6に示す実施例１のフローチャートと同様であるため、説明を省略する。
【００４２】
本実施例ではステップ６０３で取得したダーク画像に対して、図９に示すように３つの平滑化処理領域８０１、８０２、８０３でそれぞれ異なる平滑化処理を行い、補正ダーク画像を生成する。
【００４３】
ＶＯＢにおいて高速クランプを行っている領域８０１では、図１０（ａ）に示すように、平滑化処理の対象画素Ｓ３３に対して、同じ列のＳ２３、Ｓ３３、Ｓ４３の計３画素の信号を用いてメディアン値を算出する。すなわち、この領域では、平滑化処理に用いる画素数を少なくして、急に発生した大きなチャンネル間オフセットにすぐに追従できるようにする。平滑化処理に使用する画素数が少ないとランダムノイズ抑制効果は低減してしまう。しかし、領域８０１は被写体の写らない無効領域であるため、オフセット除去を優先し、平滑化処理の画素数を減らす。
【００４４】
低速クランプを行っており、ＶＯＢ領域の終端付近に欠陥画素があった場合に、大きなチャンネル間オフセットが残ってしまう可能性がある領域８０２では、図１０（ｂ）に示すように、平滑化処理の対象画素Ｓ３３に対して、同じ列のＳ１３、Ｓ２３、Ｓ３３、Ｓ４３、Ｓ５３の計５画素の信号を用いてメディアン値を算出する。この領域は開口領域も含まれるため、ランダムノイズ抑制効果をある程度持たせつつ、大きなチャンネル間オフセットにも追従できるような平滑化処理画素数に設定する。
【００４５】
低速クランプを行っているため、大きなチャンネル間オフセットが発生することのない領域８０３では、図１０（ｃ）に示すように、平滑化処理の対象画素Ｓ３３に対して、同じ列のＳ０３、Ｓ１３、Ｓ２３、Ｓ３３、Ｓ４３、Ｓ５３、Ｓ６３の計７画素の信号を用いてメディアン値を算出する。つまり、開口領域が大部分を占める領域８０３では、大きなチャンネル間オフセットへの追従よりもランダムノイズ抑制効果を優先し、平滑化処理の画素数を増やす。
【００４６】
以上のように、高速クランプを行っている領域では平滑化処理に用いる画素数を減らすことで、大きなチャンネル間オフセットが発生した場合でも、すぐに補正ダーク画像が追従できるようにする。低速クランプを行っている領域では大きなチャンネル間オフセットが発生することが少ないため、ランダムノイズ抑制効果を優先し、平滑化処理に用いる画素数を増やす。
【００４７】
上記平滑化処理を行った補正ダーク画像を減算処理することで、ランダムノイズによる画質の悪化を抑えつつ、暗電流ムラおよびチャンネル間オフセットを効果的に補正することができる。
【符号の説明】
【００４８】
１０１：撮像装置
１０２：アナログフロントエンド
１０３：デジタルフロントエンド
１０４：画像処理部
１０５：メモリ回路
１０６：制御回路
１０７：操作回路
１０８：表示回路
１０９：記録回路
１１０：タイミング発生回路
２０１：ＨＯＢ領域
２０２：ＶＯＢ領域
２０３：開口領域
３００：単位画素
３０１：フォトダイオード
３０２：転送ＭＯＳトランジスタ
３０３：フローティングディフュージョン
３０４：ソースフォロアＭＯＳトランジスタ
３０５：選択ＭＯＳトランジスタ
３０６：リセットＭＯＳトランジスタ
３０７：垂直出力線
３０８：共通電源ＶＤＤ
４０１：電流源負荷
４０２、４０３：列回路
４０４、４０５：水平走査回路
４０６、４０７：読み出し回路
５０１：ゲインコントロールアンプ
５０２：水平ＯＢクランプ回路
５０３：アナログデジタル変換回路
【特許請求の範囲】
【請求項１】
複数の画素を備える撮像素子と、前記撮像素子を遮光した状態でダーク画像を取得するダーク画像取得手段と、前記ダーク画像を行または列の１方向に平滑化する平滑化処理手段と、前記平滑化処理後のダーク画像を減算する減算手段とを有することを特徴とする撮像装置。
【請求項２】
前記撮像素子は複数の出力経路を備え、前記平滑化処理手段は平滑化処理対象画素の近傍の同一出力経路に属する列の画素を用いて平滑化処理を行うことを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記平滑化処理手段は前記ダーク画像内の位置に応じて、平滑化処理に用いる画素単位数が異なることを特徴とする請求項１または請求項２に記載の撮像装置。
【請求項４】
前記平滑化処理手段は、メディアン処理または平均化処理を行うことを特徴とする請求項１乃至請求項３の何れか１項に記載の撮像装置。
【請求項１】
複数の画素を備える撮像素子と、前記撮像素子を遮光した状態でダーク画像を取得するダーク画像取得手段と、前記ダーク画像を行または列の１方向に平滑化する平滑化処理手段と、前記平滑化処理後のダーク画像を減算する減算手段とを有することを特徴とする撮像装置。
【請求項２】
前記撮像素子は複数の出力経路を備え、前記平滑化処理手段は平滑化処理対象画素の近傍の同一出力経路に属する列の画素を用いて平滑化処理を行うことを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記平滑化処理手段は前記ダーク画像内の位置に応じて、平滑化処理に用いる画素単位数が異なることを特徴とする請求項１または請求項２に記載の撮像装置。
【請求項４】
前記平滑化処理手段は、メディアン処理または平均化処理を行うことを特徴とする請求項１乃至請求項３の何れか１項に記載の撮像装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【公開番号】特開２０１３−１０６１８５（Ｐ２０１３−１０６１８５Ａ）
【公開日】平成２５年５月３０日（２０１３．５．３０）
【国際特許分類】
【出願番号】特願２０１１−２４８６４８（Ｐ２０１１−２４８６４８）
【出願日】平成２３年１１月１４日（２０１１．１１．１４）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
【公開日】平成２５年５月３０日（２０１３．５．３０）
【国際特許分類】
【出願日】平成２３年１１月１４日（２０１１．１１．１４）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
[ Back to top ]