撮像装置及び撮像方法
【課題】リアルタイム性を損なうことなく縦線状ノイズの補正精度を向上させる。
【解決手段】 レンズを閉じた状態で、アナログアンプのゲインの倍率を最小値から最大値までの間ですべて変化させて、有効画素領域内の垂直方向の各列における水平方向の所定行数内に配置された画素から画素値を読み出す。そして、読み出した画素値の相加平均値を算出し、算出した相加平均値を所定の黒レベルをクランプ処理後の黒基準から減算することにより縦線量を検出し、検出した縦線量に基づいて、縦線状ノイズ除去用の補正値を算出する。算出された補正値を有効画素信号に加算して縦線状ノイズを除去する。さらに、有効画素信号または、縦線状の固定パターンノイズが除去された縦線補正後の画素信号に、デジタルゲインを乗算する。
【解決手段】 レンズを閉じた状態で、アナログアンプのゲインの倍率を最小値から最大値までの間ですべて変化させて、有効画素領域内の垂直方向の各列における水平方向の所定行数内に配置された画素から画素値を読み出す。そして、読み出した画素値の相加平均値を算出し、算出した相加平均値を所定の黒レベルをクランプ処理後の黒基準から減算することにより縦線量を検出し、検出した縦線量に基づいて、縦線状ノイズ除去用の補正値を算出する。算出された補正値を有効画素信号に加算して縦線状ノイズを除去する。さらに、有効画素信号または、縦線状の固定パターンノイズが除去された縦線補正後の画素信号に、デジタルゲインを乗算する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ビデオカメラなどの撮像装置、及びその撮像装置に適用される撮像方法に関し、特に縦線状の固定パターンノイズの除去技術に関する。
【背景技術】
【０００２】
イメージセンサを用いた撮像装置においては、その出力画像内の特定の部分に縦線状の固定パターンノイズが現れることがある。例えば、ＣＭＯＳイメージセンサを用いた撮像装置においては、列毎に並列処理するＡ／Ｄコンバータのオフセット誤差等に起因して、縦線状のノイズが発生する。また、ＣＣＤイメージセンサを用いた撮像装置においては、水平転送パルスが高速な場合等に、クロックの位相関係によっては縦線状のノイズが発生することがある。
【０００３】
このようにして発生する縦線状のノイズは、ノイズの発生源であるオフセット成分を検出し、それを画素信号から除算することで除去することができる。オフセット成分は、有効画素領域内の画素からの出力に含まれるだけでなく、光学的黒領域（オプティカルブラック領域；以下、ＯＰＢ領域とも称する）にも含まれる。このため、ＯＰＢ領域内の画素から出力された光学的黒信号（以下、ＯＰＢ信号とも称する）を用いてオフセット成分の量つまり縦線量を検出し、縦線ノイズ除去用の補正値を生成することが行われている。このようにして生成した補正値を、有効画素領域内の画素から出力される有効画素信号に乗算することで、縦線状のノイズを除去することができる。
【０００４】
縦線量の検出対象となるＯＰＢ領域は、縦方向に遮光された縦のＯＰＢ領域のうちの、有効画素領域のライン数と対応する幅を持つ領域とされることが多い。この領域を走査する時間内に、この領域内の画素から読み出したＯＰＢ信号を用いて縦線量の検出及び補正値の生成を行い、その補正値を同じラインの有効画素信号にも適用することで、撮像を行いながらリアルタイムで縦線状ノイズの除去も行えるようになる。ところが、この手法だと縦線量をサンプリングできる絶対数が少なくなるため、縦線量検出の精度も悪くなってしまう。つまり、縦線状ノイズの補正効果が下がってしまう。
【０００５】
縦線量検出の精度を上げる手法としては、例えば特許文献１に、イメージセンサの水平ライン分の出力を垂直方向に加算し、加算値を加算したライン数で除算して得られる平均値を用いて補正用データを生成する手法が記載されている。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開平１０−３１３４２８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
一方、アナログゲインの可変範囲が狭いイメージセンサを使用する場合には、後段でさらにデジタルゲインをかけることが行われている。例えば、イメージセンサのアナログゲインの可変範囲が１倍〜４倍である場合に、後段で可変範囲が１倍〜２倍のデジタルゲインをかけることができれば、カメラゲインの可変範囲を１倍〜８倍に拡張することができる。
【０００８】
ところが、縦線量検出の精度が低く、縦線状ノイズの除去が十分に行われていない状態でデジタルゲインをかけると、縦線状のノイズが幅方向に拡張してしまうという問題があった。
【０００９】
本発明はかかる点に鑑みてなされたものであり、アナログゲインとデジタルゲインが併用される撮像装置において、リアルタイム性を損なうことなく、縦線状ノイズの補正効果を向上させることを目的とする。
【課題を解決するための手段】
【００１０】
上記課題を解決するために、本発明の撮像装置は、画素と、アナログアンプと、縦線検出部と、縦線補正部と、乗算器とを備える構成とし、各部を次のような構成及び機能を有するようにする。レンズを介して得た被写体光を光電変換して電荷として蓄積する複数の画素は、光学的黒信号出力用に遮光された光学的黒領域及び、遮光されていない有効画素領域に、水平方向及び垂直方向にマトリクス状に配置する。
【００１１】
アナログアンプは、有効画素領域内の各画素から有効画素信号として読み出した電荷に、所定のゲインをかけて出力する。縦線検出部は、まず、レンズを閉じた状態で、アナログアンプのゲインの倍率を最小値から最大値までの間ですべて変化させて、有効画素領域内の垂直方向の各列における水平方向の所定行数内に配置された画素から画素値を読み出す。続いて、読み出した画素値の相加平均値を算出し、算出した相加平均値をクランプ処理後の黒レベル（０）から減算することにより縦線量を検出する。そして、検出した縦線量に基づいて縦線状の固定パターンノイズ除去用の補正値を算出する。縦線補正部は、縦線検出部で算出された補正値を有効画素信号に加算する。乗算器は、有効画素信号または、縦線補正部で縦線状の固定パターンノイズが除去された縦線補正後の画素信号に、デジタルゲインを乗算する。
【００１２】
上述したように構成および処理することで、有効画素領域の水平方向の各位置における縦線状ノイズの補正値が、アナログゲインのすべての段数に対応して生成される。そして、その補正値を用いて縦線状ノイズの補正が行われる。
【発明の効果】
【００１３】
本発明の発明によると、縦線状ノイズの縦線量が、有効画素領域内の垂直方向の各列における水平方向の所定行数内に配置された画素の相加平均に基づいて生成されるため、縦線量検出精度が向上する。すなわち、縦線状ノイズの補正効果が向上する。また、予めアナログゲインのすべての段数に対応して生成された補正値に基づいて、縦線状ノイズの補正がリアルタイムに行われるようになる。また、縦線量の検出精度が高いため、アナログゲインだけでなくデジタルゲインも併用した撮像装置において、縦線状ノイズの補正を行えるようになる。
【図面の簡単な説明】
【００１４】
【図１】本発明の第１の実施の形態による撮像装置の構成例を示すブロック図である。
【図２】本発明の第１の実施の形態による縦線量検出処理の例を示す説明図であり、（ａ）は縦線量検出を行う領域の例を示し、（ｂ）は縦線量の例を示し、（ｃ）は縦線量の記憶部への格納例を示す。
【図３】本発明の第１の実施の形態による縦線状ノイズの補正処理および、デジタルゲインがかけられる前後での画素信号および補正値の変化の例を示し、（ａ）は入力画像の画素値の例を示し、（ｂ）はクランプ処理後の画素値およびこれに基づき生成される縦線補正値の例を示し、（ｃ）は縦線補正実行後の画素信号の例を示し、（ｄ）はデジタルゲインがかけられた後の画素信号の例を示し、（ｅ）はペデスタル処理後の画素信号の例を示す。
【図４】縦線成分が残った状態での縦線状ノイズの補正処理および、デジタルゲインがかけられる前後での画素信号および補正値の変化の例を示し、（ａ）は入力画像の画素値の例を示し、（ｂ）はクランプ処理後の画素値およびこれに基づき生成される縦線補正値の例を示し、（ｃ）は縦線補正実行後の画素信号の例を示し、（ｄ）はデジタルゲインがかけられた後の画素信号および縦線補正値の例を示し、（ｅ）はペデスタル処理後の画素信号の例を示す。
【図５】本発明の第１の実施の形態による縦線補正値の算出および格納例を示す説明図である。
【図６】本発明の第１の実施の形態による縦線量検出処理の例を示すフローチャートである。
【図７】本発明の第１の実施の形態による欠陥点検出処理の例を示す説明図である。
【図８】本発明の第１の実施の形態による欠陥点検出処理の例を示すフローチャートである。
【図９】本発明の第１の実施の形態によるシェーディング量処理の例を示す説明図である。
【図１０】本発明の第１の実施の形態によるシェーディング量検出処理の例を示すフローチャートである。
【図１１】本発明の第１の実施の形態による撮像装置のゲインの可変範囲の例を示す説明図である。
【図１２】本発明の第１の実施の形態による揮発性メモリの構成例を示す説明図である。
【図１３】本発明の第１の実施の形態による不揮発性メモリの構成例を示す説明図である。
【図１４】本発明の第２の実施の形態による撮像装置の構成例を示すブロック図である。
【発明を実施するための形態】
【００１５】
以下、発明を実施するための形態について説明する。なお、説明は以下の順序で行う。
１．第１の実施の形態（縦線状ノイズの補正と黒シェーディング補正とを一つの乗算器を使用して実現する例）
２．第２の実施の形態（縦線状ノイズの補正を効率的に行う構成の例）
【００１６】
＜１．第１の実施の形態＞
［システムの全体構成例］
図１は、本発明による撮像装置の第１の実施の形態例を示すブロック図である。図１に示す撮像装置１は、イメージセンサ１０と、信号処理部２０と、揮発性メモリ３０と、不揮発性メモリ４０とを備える。
【００１７】
イメージセンサ１０は、例えばＣＭＯＳ型の固体撮像素子で構成され、図示せぬレンズを介して撮像面に結像された被写体光を光電変換して画素信号を生成する。なお、本実施の形態ではＣＭＯＳ型の固体撮像素子を用いた例を挙げているが、ＣＣＤ型等の他の固体撮像素子を用いるようにしてもよい。
【００１８】
本実施の形態では、図２（ａ）に示すように、水平方向７５２画素×垂直方向４８０ラインが有効画素領域となっている。また、有効画素領域とは別に、レンズを介して入射した光を受光しないように遮光された、ＯＰＢ領域を有する。
【００１９】
本実施の形態による撮像装置１は、垂直方向のＯＰＢ領域ではなく、有効画素領域内の画素から出力された有効画素信号を用いて縦線量の検出を行う。このため、縦線量の検出は、工場出荷時の調整時や、ユーザによってキャリブレーションの指示がされた時、または電源投入時等に、レンズを閉じていわゆる全黒状態にして行う。本実施の形態では、縦線量の検出を行う領域を、有効画素領域の水平方向７５２画素×水平方向２５６ラインとしている。縦線量のサンプリングを行う水平方向のライン数は、サンプリングに十分であると考えられるライン数であり、かつ２のべき乗であればよく、２５６ラインに限定されるものではない。
【００２０】
有効画素領域内に配置された各画素から読み出された電荷は、有効画素信号として出力される。また、図示は省略しているが、有効画素領域の各垂直方向ラインにはアナログアンプとＡ／Ｄコンバータが設けられており、有効画素信号は、アナログアンプによって信号レベルが増幅され、Ａ／Ｄコンバータによってデジタルの画素信号に変換される。本実施の形態では、可変範囲が１倍〜４倍であり段数が２５ステップのアナログアンプを使用している。そして、このアナログアンプのポジションによって、縦線状のノイズの発生位置や発生量（縦線量）が変化する。換言すれば、アナログアンプのポジションによって、縦線状のノイズの発生位置や発生量を特定することができる。なお、本実施の形態では、縦線状のノイズの発生位置や発生量が、温度変化によって変化しないイメージセンサ１０を使用している。
【００２１】
図１に戻って説明を続ける。信号処理部２０は、ＤＳＰ（Digital Signal Processor）等で構成され、クランプ処理部２１と、縦線検出／補正部２２と、記憶部２３と、乗算器２４と、ペデスタル処理部２５と、欠陥補正部２６と、欠陥／シェーディング検出部２７を備える。また、メモリ制御部２８と、制御部２９とを備える。さらに、撮像装置１は、揮発性メモリ３０と、不揮発性メモリ４０も備える。
【００２２】
クランプ処理部２１は、後段の乗算器２４でデジタルゲインをかける際のゲインをかける対象を、画素信号の光量変化分のみとするための、クランプ処理を行う。すなわち、イメージセンサ１０から出力された画素信号の黒レベルを０にするため、入力画素信号の画素値からクランプ値を減算する処理を行う。クランプ値は、イメージセンサ１０のＯＰＢ領域から出力されたＯＰＢ信号のレベルに基づいて決定される。クランプ処理部２１は、クランプ処理した画素信号を縦線検出／補正部２２に出力する。
【００２３】
縦線検出／補正部２２は、クランプ処理部２１から出力された画素信号を用いて縦線量の検出を行って補正値を生成するとともに、生成した補正値を用いて縦線状のノイズの補正を行う。縦線検出機能及び縦線補正の機能は、それぞれオン・オフができるようにしてあり、工場出荷時等の縦線量検出時には縦線検出機能がオンとなり、縦線補正機能はオフとなる。反対に、撮像開始後の実際の補正時には縦線補正機能がオンとなり、縦線検出機能はオフとなる。縦線量の検出処理の詳細については、図２〜図６を参照して後述する。
【００２４】
記憶部２３は、ＲＡＭ等で構成され、縦線検出／補正部２２で検出された縦線量を格納する。また、縦線量に基づいて生成された補正値も一時的に格納する。乗算器２４は、縦線検出／補正部２２で縦線状ノイズの補正が行われた画素信号に、ユーザによって設定されたデジタルゲイン及び／又は、後段の欠陥／シェーディング検出部２７で生成されたシェーディング補正用ゲインを乗算する。デジタルゲインの可変範囲１倍〜４倍であり、シェーディング補正用ゲインの補正範囲は最大２倍であるものとする。図１では、デジタルゲインを“ｄ_ｇａｉｎ”、シェーディング補正用ゲインを“ｓ_ｇａｉｎ”と表記している。シェーディング補正用ゲインについては後述するが、シェーディング補正用ゲインとしてマイナス方向のゲインをかけることもあるため、ｄ_ｇａｉｎ“±”ｓ_ｇａｉｎと記載している。
【００２５】
ペデスタル処理部２５は、乗算器２４でゲインがかけられた画素信号の黒レベルを実際の黒レベルに戻すため、入力された画素信号にクランプ値を加算する処理を行う。ペデスタル処理によって黒レベルが復元された画素信号は、欠陥補正部２６に出力する。欠陥補正部２６は、後段の欠陥／シェーディング検出部２７で検出された欠陥画素を、補正画素で補間する処理を行う。補正画素は、欠陥画素の周辺に配置された複数の画素を用いて生成する。欠陥補正部２６もオン・オフができるようにしてあり、オフに設定された場合には、入力された画素信号をそのまま欠陥／シェーディング検出部２７に出力する。
【００２６】
欠陥／シェーディング検出部２７は、ペデスタル処理部２５で黒レベルが復元された画素信号を入力信号として、入力された画素信号が欠陥点であるか否かの検出と、画素信号に含まれるシェーディング量を検出する。欠陥点とは、周囲の画素にくらべて信号レベルが高すぎる画素を指す。欠陥点の検出は、入力された画素信号の画素値とクランプ値とを比較することにより行う。欠陥画素であると判定した場合には、その画素が欠陥画素であることを示す欠陥フラグをオン（“１”）にし、正常な画素であると判断した場合には、欠陥フラグをオフ（“０”）とする。欠陥フラグの値は、メモリ制御部２８による制御によって揮発性メモリ３０に書き込まれる。欠陥／シェーディング検出部２７の動作の詳細については、図７〜図１１を参照して後述する。
【００２７】
シェーディング量とは、一様なグレーな被写体などを、一様な光源下で撮像している場合に、１フレームを構成する全画素を対象として算出した画素値の最大値または平均値と、入力された各画素信号の画素値との差分を指す。そして、求めた差分を用いてシェーディング補正用ゲインを算出し、算出したシェーディング補正用ゲインを揮発性メモリ３０内の所定の領域に書き込む。このシェーディング補正用ゲインが、乗算器２４によって画素信号に乗算されることにより、センサ性の白（変調）シェーディングの補正と、レンズ周辺光量落ちによる輝度ムラの補正とを同時に行うことができる。つまり、１フレームを構成する全画素の画素値を、算出された最大値または平均値で置き換えることで、画面内の位置における輝度のムラがない画像が生成されるようになる。ゴミの混入や欠陥点がない場合には、最大値を使用した補正が最も正確な補正となる。一方、平均値を使用した補正は、マイナス方向のデジタルゲインをかけるため、ダイナミックレンジが狭くなってしまうが、ゴミが混入していたり欠陥点が若干ある場合にも、これらによる影響をある程度除外することができる。補正値の算出に、画素値の最大値を用いるか平均値を用いるかの選択は、ユーザが行えるようにしてある。
【００２８】
欠陥／シェーディング検出部２７もオン・オフできるようになっており、欠陥点とシェーディング量の検出時には欠陥／シェーディング検出部２７がオンとなり、乗算器２４と欠陥補正部２６がオフになる。欠陥点とシェーディング量の検出終了後に実際の補正を開始させるときには、欠陥／シェーディング検出部２７がオフとなり、乗算器２４と欠陥補正部２６がオンになる。
【００２９】
メモリ制御部２８は、揮発性メモリ３０へのデータの読み書きを制御する。例えば、縦線検出／補正部２２で生成された補正値と、欠陥／シェーディング検出部２７で生成された欠陥フラグやシェーディング補正用ゲインの値を、揮発性メモリ３０に書き込む。また、これらの各部で補正値を計算する途中で発生する数値データを、揮発性メモリ３０に読み書きする。また、揮発性メモリ３０に記憶された補正値等を読み出して、実際の補正を行う各部に供給する。
【００３０】
制御部２９は、例えばＭＰＵ（Micro-Processing Unit）等より成り、撮像装置１を構成する各部の動作を制御する。例えば、揮発性メモリ３０に書き込まれた補正値等をメモリ制御部２８に読み出させて不揮発性メモリ４０に書き込む制御や、不揮発性メモリ４０に書き込まれた補正値等を電源投入時等に読み出して揮発性メモリ３０に展開する処理を行う。
【００３１】
揮発性メモリ３０は、ＲＡＭ等よりなり、各部で補正値を計算する途中で発生する数値データと、縦線検出／補正部２２で生成された補正値と、欠陥／シェーディング検出部２７で生成された欠陥フラグやシェーディング補正用ゲインの値が書き込まれる。不揮発性メモリ４０は、フラッシュメモリ等で構成され、縦線検出／補正部２２で生成された補正値と、欠陥／シェーディング検出部２７で生成された欠陥フラグやシェーディング補正用ゲインの値が書き込まれる。揮発性メモリ３０や不揮発性メモリ４０におけるデータの格納例については、図１２および図１３を参照して後述する。
【００３２】
［縦線量検出処理の例］
次に、図２〜図６を参照して、縦線検出／補正部２２における縦線量検出処理の例について説明する。縦線量の検出は、図２（ａ）に示すように、イメージセンサ１０の有効画素領域の水平方向７５２画素×水平方向２５６ライン内の画素を対象として行う。まず、この領域内の水平方向の７５２箇所において、垂直方向の２５６画素の画素値をすべて加算して平均値（相加平均値）を算出する。なお、水平方向７５２画素×水平方向２５６ライン内の画素値のサンプリングは、ランダムノイズ成分を除去するために４フレーム分行うようにしている。なお、縦線量サンプリング対象とするフレーム数は、少なくとも４フレームであればよく、それ以上としてもよい。ただし、サンプリング対象のフレーム数を増加させると、補正値計算の途中に発生するデータの量も増大する。したがって、不揮発性メモリ４０の途中計算保持用の領域も、それに合わせて拡大する必要がある。
【００３３】
縦線量は、図２（ｂ）に示すように、黒レベル（＝クランプ値）と画素値との差分として現れる。図２（ｂ）の縦軸は画素値を示し、横軸は画素の水平方向の位置を示す。図２（ａ）の有効画素領域に縦の実線で示してあるように、縦線状のノイズが発生している箇所においては、図２（ｂ）に示すように、画素値がプラス方向またはマイナス方向に大きくなっている。このため、クランプ処理後の黒基準（０）から水平有効画素領域の各画素配置位置における垂直方向２５６画素の画素値の平均値を減算することによって、縦線量を検出することができる。
【００３４】
水平有効画素領域の各画素配置位置における垂直方向２５６画素の画素値の平均値や、これに基づいて生成された補正値は、図２（ｃ）に示すように、水平方向の画素数（７５２）と対応する格納領域を有する記憶部２３に都度格納される。
【００３５】
本実施の形態では、水平方向７５２画素×水平方向２５６ライン内の画素値を４フレーム分サンプリングするため、縦線量の検出精度が高くなり、よって縦線検出／補正部２２で実施される縦線補正の効果も高くなる。このため、縦線補正後の画素信号に後段の乗算器２４でデジタルゲインがかけられても、縦線状ノイズが強調されてしまうことがなくなる。図３は、画素値（縦線量）および縦線状ノイズ補正用の補正値（以下、縦線補正値と称する）の変化を示したものである。図３の縦軸は画素値のレベルを示し、画素値は実線で示してあり、縦線補正値は破線で示してある。図３（ａ）に示した、全黒状態での撮像により得られた入力画像の画素信号をクランプし、図３（ｂ）に示すように、クランプ処理後の画素信号に基づいて縦線補正値を生成する。そして、縦線量と対応する量を有する縦線補正値を、縦線状ノイズが発生している方向とは逆の方向に足し込む処理を行うことで、図３（ｃ）に示すように、縦線成分を含まない画素信号が生成される。この縦線成分を含まない画素信号にデジタルゲインがかかるため、図３（ｄ）に示すデジタルゲインのかかった画素信号および、図３（ｅ）にペデスタル処理後の画素信号においても、縦線は発生していない。
【００３６】
図４は、縦線量のサンプリングが少なく、縦線成分が残った状態で、デジタルゲインがかけられた場合の画素信号の変化を示す。図４の縦軸は画素値のレベルを示し、画素値は実線で示してあり、縦線補正値は破線で示してある。図４（ａ）に示した、全黒状態での撮像により得られた入力画像の画素信号をクランプし、図４（ｂ）に示すように、クランプ処理後の画素信号に基づいて縦線補正値を生成する。しかし、この縦線補正値は、十分なサンプリングに基づいて生成されたものではない。このため、縦線補正値を縦線状ノイズが発生している方向とは逆の方向に足し込む縦線補正を行っても、図４（ｃ）に示すように、除去しきれなかった縦線成分が残ってしまう。このように、縦線成分が残った状態で乗算器２４によってデジタルゲインがかけられることで、図４（ｄ）に示すように、縦線がより強調されてしまう。（第２の実施の形態では、この強調された縦線成分を使用し補正をする。）
【００３７】
縦線量および縦線状ノイズの発生する位置は、イメージセンサ１０内でかけられるアナログゲインの値によっても変化する。このため、縦線補正値の算出は、アナログゲインのすべての段数において行っている。つまり、アナログゲインを最小値から最大値まで変化させ、そのすべてのステップにおいて、縦線補正値の算出を行う。図５は、イメージセンサ１０のアナログゲインの各ステップと、揮発性メモリ３０（不揮発性メモリ４０）に記憶される縦線補正値との対応例を示したものである。図５には、イメージセンサ１０のアナログゲインが１倍から４倍であり、ステップ数が０．１２５倍刻みの２５個である場合の例が示されている。
【００３８】
このような場合、縦線検出／補正部２２では、まずアナログゲイン１．０００倍でデジタルゲインも１倍時の縦線補正値が１ラインを構成する画素個数（７５２個）分算出される。次はアナログゲインを１．１２５倍に変化させて同様の計算が行われ、アナログゲイン４．０００倍になるまで計算が繰り返される。そして、このようにして算出された各縦線補正値は、揮発性メモリ３０の所定の領域に記憶される。
【００３９】
図６は、ここまで説明した縦線検出／補正部２２での縦線補正値算出処理のうちの、縦線量までの処理を、フローチャートで示したものである。まず、レンズを閉じて全黒状態とした上で撮像を行い、縦線量の検出を開始する（ステップＳ１）。そして、フレーム数をカウントするフレームカウンタの値をクリアする（ステップＳ２）。次に、有効画素領域の垂直方向の中央２５６ライン×４フレーム分の縦線量検出（サンプリング）が終了したか否かを判定する（ステップＳ３）。終了していない場合は、水平方向７５２画素の縦のライン毎に、クランプ処理部２１でクランプ処理が行われた画素値を次々と記憶部２３に加算していく（ステップＳ４）。ここまでの処理が完了したら、フレームカウンタの値を１つインクリメントし（ステップＳ５）、ステップＳ３に戻る。
【００４０】
ステップＳ３で、有効画素領域の垂直方向の中央２５６ライン×４フレーム分の縦線量検出が終了したと判断した場合には、次に、２５６ライン×４フレーム分の縦線量平均値を算出する処理を行う（ステップＳ６）。具体的には、ステップＳ４で記憶部２３に加算された画素値を、２５６ライン×４フレーム＝１０２４で除算することにより、画素値の平均値を算出する。続いて、ステップＳ６で算出した縦ラインの各画素平均値を、クランプ処理後の黒基準（０）から減算することにより、縦線量を検出する（ステップＳ７）。続いて、アナログゲインのすべてのステップでの縦線量検出が終了したか否かを判断し（ステップＳ８）、終了していない場合には、アナログゲインのステップを変更して（ステップＳ９）、ステップＳ２に戻る。終了した場合には、縦線量検出処理は終了となる。
【００４１】
このように、アナログゲインのすべてのステップに対応して生成され、揮発性メモリ３０に記憶された縦線補正値は、撮像装置１による撮像が開始されたときに縦線検出／補正部２２に読みだされ、実際の補正処理に使用される。つまり、アナログゲインが変更される都度、変更されたアナログゲインのステップに対応する縦線補正値が読み込まれて補正が行われる。したがって、撮像開始後は、予め生成された補正値を用いてリアルタイムに補正が行われるようになる。
【００４２】
［欠陥点／シェーディング量検出処理の例］
次に、図７〜図１０を参照して、欠陥／シェーディング検出部２７による欠陥点／シェーディング量検出処理の例について説明する。まず、図７および図８を参照して、欠陥点検出処理について説明する。図７は、欠陥画素検出の処理イメージを示す図である。欠陥／シェーディング検出部２７は、予め欠陥点検出用の閾値（以下、欠陥点閾値と称する）を決定しておき、入力される１フレーム分のすべての画素を対象として、画素値とクランプ値との差分が欠陥点閾値を超えていないかを判断する。図７に示した例では、黒丸で示した２つの画素において、画素値とクランプ値との差分が欠陥点閾値を超えているため、これらの画素を欠陥点であると判定する。つまり、欠陥画素フラグを“１”にする。画素値とクランプ値との差分が欠陥点閾値を超えていない他の８個の画素においては、欠陥フラグは“０”となる。検出処理を、１フレームを構成するすべての画素に対して行い、検出結果に基づいて、１フレーム分の欠陥点補正用のデータを生成する。本実施の形態では、欠陥点検出の精度を向上させるために、４フレーム分のすべての画素に対して欠陥点の検出を行う。
【００４３】
次に、図８のフローチャートを参照して、欠陥点検出処理の手順について説明する。まず、レンズを閉じて全黒状態とした上で撮像を行い、欠陥点の検出を開始する（ステップＳ１１）。そして、フレームカウンタの値をクリアする（ステップＳ１２）。次に、有効画素領域の７５２画素×４８０ラインの全画素を４フレーム分のサンプリングをしたかを判定する（ステップＳ１３）。終了していない場合は、次に、１フレーム分のサンプリングが終了したか否かを判断する（ステップＳ１４）。１フレーム分のサンプリングが終了していない間は、ステップＳ１４の判断が繰り返し行われる。１フレーム分のサンプリングが終了した場合には、フレームカウンタの値を１つインクリメントして、ステップＳ１３に戻る。
【００４４】
ステップＳ１３で、有効画素領域の７５２画素×４８０ラインの全画素を４フレーム分サンプリングしたと判断した場合には、サンプリングした各画素を４フレーム分加算する（ステップＳ１６）。そして、加算した値を４で除算することにより各画素の平均値を作成する（ステップＳ１７）。次に、各画素の平均値とクランプ値との差分が欠陥点閾値を超えたか否かを判断し（ステップＳ１８）、超えていない場合には欠陥フラグを“０”とし、その画素を正常画素の扱いとする（ステップＳ１９）。各画素の平均値とクランプ値との差分が欠陥点閾値を超えている場合には、欠陥フラグを“１”とし、その画素を欠陥画素の扱いとする（ステップＳ２０）。そして、ここまでの処理で得られた情報に基づいて、１フレーム分の欠陥画素点判別データを作成し（ステップＳ２１）、欠陥点検出処理は終了となる。
【００４５】
このようにして設定された欠陥フラグの値は、前述したように、メモリ制御部２８の制御に基づいて揮発性メモリ３０内の所定の領域に書き込まれる。そして、揮発性メモリ３０に書き込まれた欠陥フラグは、欠陥補正部２６によって毎画素参照される。参照された欠陥フラグが“１”であった場合には、その画素の画素値が周辺画素の画素値で補間され、欠陥フラグが“０”であった場合には、何の処理も行われない。
【００４６】
次に、図９および図１０を参照して、シェーディング量検出処理について説明する。図９は、シェーディング量検出の処理イメージを示す図である。まず、１フレームを構成するすべての画素の画素値の最大値と平均値を算出して、それらの画素を目標画素と設定する。図９（ａ）は、最大値を目標画素とした場合の処理の例を示し、図９（ｂ）は平均値を目標画素とした場合の処理の例を示す。図９（ａ）に示すように最大値が目標画素に設定された場合は、入力される各画素の画素値が最大値と同値になるように、最大値との差分値に応じたシェーディング補正用ゲインを算出する。また、図９（ｂ）に示すように平均値が目標画素に設定された場合は、入力される各画素の画素値が平均値と同値になるように、目標画素との差分値に応じたシェーディング補正用ゲインを算出する。平均値が目標画素に設定されている場合は、平均値よりも画素値が大きい画素に対してはマイナス（−）のゲインが設定され、平均値よりも画素値が小さい画素に対してはプラス（＋）のゲインが設定される。目標画素を最大値とするか平均値とするかは、前述したようにユーザが設定できるようにしている。
【００４７】
次に、図１０のフローチャートを参照して、シェーディング量検出処理の手順について説明する。まず、全体が一様なグレー状態である画像を撮像し、シェーディング量の検出を開始する（ステップＳ３１）。そして、フレームカウンタの値をクリアする（ステップＳ３２）。次に、有効画素領域の７５２画素×４８０ラインの全画素を４フレーム分のサンプリングをしたかを判定する（ステップＳ３３）。終了していない場合は、次に、１フレーム分のサンプリングが終了したか否かを判断する（ステップＳ３４）。１フレーム分のサンプリングが終了していない間は、ステップＳ３４の判断が繰り返し行われる。１フレーム分のサンプリングが終了した場合には、フレームカウンタの値を１つインクリメントして（ステップＳ３５）、ステップＳ３３に戻る。
【００４８】
ステップＳ３３で、有効画素領域の７５２画素×４８０ラインの全画素を４フレーム分サンプリングしたと判断した場合には、サンプリングした各画素を４フレーム分加算する（ステップＳ３６）。そして、加算した値を４で除算することにより各画素の平均値を作成する（ステップＳ３７）。次に、ステップＳ３７で求めた各画素の平均値から、１フレーム分の全画素中の最大値と平均値を求め、最大値または平均値を目標画素に設定する（ステップＳ３８）。続いて、目標画素と各画素の平均値との間に差があるか否かを判断し（ステップＳ３９）、差がない場合にはシェーディング補正用ゲインの値を０に設定する（ステップＳ４０）。目標画素と各画素の平均値との間に差がある場合には、差分に応じたシェーディング補正用ゲインの値を算出する（ステップＳ４１）。そして、この処理を１フレーム分のすべての画素に対して行うことで、１フレーム分の補正データが生成され（ステップＳ４２）、シェーディング量検出処理は終了となる。
【００４９】
シェーディング補正用ゲインの値は、前述したように、メモリ制御部２８の制御に基づいて揮発性メモリ３０内の所定の領域に記憶される。そして、揮発性メモリ３０に記憶されたシェーディング補正用ゲインは、乗算器２４に画素信号が入力される都度読み出されて、画素信号に乗算される。
【００５０】
そして、シェーディング補正用ゲインが乗算器２４で乗算されることにより、縦線状ノイズの補正と同時に、センサ性の白（変調）シェーディングも補正できるようになる。図１１は、本実施の形態の撮像装置１により調整可能なゲインの可変範囲を示した図である。イメージセンサ１０で調整できるアナログゲインの可変範囲が１〜４倍と狭いが、後段で１倍〜４倍のデジタルゲインが掛けられることにより、全体として１倍〜１６倍のゲインの可変範囲を実現している。デジタルゲインの可変範囲うち、倍率の高い部分はシェーディング補正用ゲイン（最大２倍）により調整される。つまり、カメラゲインとしては、アナログゲイン４倍＋デジタルゲイン４倍＝８倍の調整範囲が実現されている。
【００５１】
［不揮発性メモリおよび揮発性メモリにおけるデータの格納例］
次に、図１２および図１３を参照して、不揮発性メモリ４０と揮発性メモリ３０におけるデータの格納例について説明する。図１２は、揮発性メモリ３０におけるデータ格納例を示す図である。揮発性メモリ３０には、各部が補正値を算出する際に発生する途中計算用データを格納する領域が、１フレームを構成する画素個分設けてある。また、欠陥フラグの値とシェーディング補正用ゲインの値を格納する領域も、１フレームを構成する画素個分設けてある。さらに、縦線補正値を格納する領域を、アナログアンプのステップ数に対応する２５個分設けてある。２５個の各領域には、有効画素領域の水平方向１ライン７５２画素分の縦線補正値が格納される。
【００５２】
そして、図１３に示すように、そのうちの欠陥フラグ値およびシェーディング補正用ゲイン値と、縦線補正値とを、不揮発性メモリ４０に退避するようにしている。不揮発性メモリ４０に記憶されたこれらのデータは、制御部２９の制御によって電源投入時等に読み出され、揮発性メモリ３０に展開される。
【００５３】
上述のように、本実施の形態の撮像装置１では、アナログゲインのすべてのステップに対応した縦線補正値が予め記憶され、それに基づいて実際の補正が行われるため、毎フレームのゲイン変化に対応した補正を行うことができる。また、撮像開始後は、予め記憶された縦線補正値を読み出して補正を行うのみなので、例えばマシンビジョン等のリアルタイム性が要求される用途においても、その要求を十分に満たすことができる。
【００５４】
また、本実施の形態では、縦線量の検出を、垂直方向のＯＰＢ領域ではなく有効画素領域の複数（２５６）ラインを対象として行っているため、縦線量検出の精度が向上し、縦線補正効果も向上する。これにより、アナログゲインの可変範囲が狭く、デジタルゲインが併用される撮像装置においても、縦線状ノイズの補正を行えるようになる。さらに、複数フレーム（４フレーム）分の画素値をサンプリングすることで、ランダムノイズ成分も除去することができる。このとき、サンプリングに使用するフレーム数を４フレームとすることで、有効画素信号が多画素化した場合にも、補正値計算時に発生する途中計算データの格納領域（揮発性メモリ３０）を、圧迫することがなくなる。
【００５５】
また、本実施の形態では、縦線検出／補正部２２と、デジタルゲインおよびシェーディング補正用ゲイン乗算用の乗算器２４とを、クランプ処理部２１とペデスタル処理部２５の間に配置している。これにより、黒レベルの固定および復元に関する処理を行う回路を、シェーディング補正を行うブロックや欠陥補正を行うブロック等の他のブロックに追加する必要が無くなる。すなわち、黒レベルに関する処理を簡素化できるとともに、撮像装置１全体における回路規模も小さくすることができるようになる。さらに、デジタルゲインの乗算とシェーディング補正用ゲインの乗算とを一つの乗算器２４で行えるように構成したため、これらの処理回路を別々に構成した場合と比べて、乗算器の数を削減することができる。
【００５６】
＜２．第２の実施の形態＞
［システムの全体構成例］
次に、図１４を参照して、本発明の第２の実施の形態による撮像装置について説明する。なお、図１４において図１と対応する箇所には同一の符号を付してあり、詳細な説明は省略する。この第２の実施の形態では、デジタルゲイン用の乗算器とシェーディング補正用ゲイン用の乗算器を併合せず、乗算器ではデジタルゲインの乗算のみを行う。第１の実施の形態とは、縦線検出／補正部２２での縦線量検出方法と、乗算器２４の位置とが異なる。アナログゲインのすべてのステップにおいて縦線量の検出を行う点は第１の実施の形態と同様だが、第２の実施の形態では、デジタルゲインを最大値とした上で縦線量の検出を行う。つまり、デジタルゲインの最大値が４倍である場合には、デジタルゲインを４倍にして縦線量をサンプリングする。
【００５７】
デジタルゲインを４倍に設定して縦線量の検出を行うため、縦線量に基づき生成される縦線補正値も、それに応じた大きな値となる。このため、縦線補正値を画素信号に乗算する乗算器２４では、画素信号にかけるゲインをデジタルゲインの逆数倍とする。例えば、デジタルゲインが４倍であった場合には１倍（４倍×１／４）の縦線補正値を乗算し、２倍であった場合には０．５倍（２倍×１／４）した縦線補正値を乗算する。すなわち、デジタルゲインに応じた値に縦線補正値を正規化して乗算している。図３および図４に示したように、デジタルゲインが乗算される前後の縦線補正値の値はデジタルゲインの倍率と完全に比例するため、このような処理を行うことにより縦線状ノイズの補正を行うことができる。
【００５８】
このような、「過補正」といえる補正を行う場合は、検出した縦線量に対して正確に逆数倍された縦線補正値を乗算しないと、縦線補正効果が低くなってしまう。したがって、縦線状ノイズの除去を効率的に行う本実施の形態では、画素信号にデジタルゲインを乗算する乗算器２４と、画素信号にシェーディング補正用ゲインを乗算する乗算器とを分けている。そして、デジタルゲイン乗算用の乗算器２４を、縦線検出／補正部２２の前段に配置している。このように構成することにより、信号処理部２０ａにおける画像処理が第１の実施の形態のそれに比べて単純化されるため、画素を表現するビット長も、第１の実施の形態の撮像装置１で扱われるビット長よりも短くすることができる。
【００５９】
上述した第２の実施の形態による撮像装置１ａによれば、第１の実施の形態で得られる効果に加えて、画素を表現するビット長を短くでき、画像処理の回路規模を小さくできるという効果が得られる。
【符号の説明】
【００６０】
１…撮像装置、１ａ…撮像装置、１０…イメージセンサ、２０，２０ａ…信号処理部、２１…クランプ処理部、２２…縦線検出／補正部、２３…記憶部、２４…乗算器、２５…ペデスタル処理部、２６…欠陥補正部、２７…欠陥／シェーディング検出部、２８…メモリ制御部、２９…制御部、３０…揮発性メモリ、４０…不揮発性メモリ
【技術分野】
【０００１】
本発明は、ビデオカメラなどの撮像装置、及びその撮像装置に適用される撮像方法に関し、特に縦線状の固定パターンノイズの除去技術に関する。
【背景技術】
【０００２】
イメージセンサを用いた撮像装置においては、その出力画像内の特定の部分に縦線状の固定パターンノイズが現れることがある。例えば、ＣＭＯＳイメージセンサを用いた撮像装置においては、列毎に並列処理するＡ／Ｄコンバータのオフセット誤差等に起因して、縦線状のノイズが発生する。また、ＣＣＤイメージセンサを用いた撮像装置においては、水平転送パルスが高速な場合等に、クロックの位相関係によっては縦線状のノイズが発生することがある。
【０００３】
このようにして発生する縦線状のノイズは、ノイズの発生源であるオフセット成分を検出し、それを画素信号から除算することで除去することができる。オフセット成分は、有効画素領域内の画素からの出力に含まれるだけでなく、光学的黒領域（オプティカルブラック領域；以下、ＯＰＢ領域とも称する）にも含まれる。このため、ＯＰＢ領域内の画素から出力された光学的黒信号（以下、ＯＰＢ信号とも称する）を用いてオフセット成分の量つまり縦線量を検出し、縦線ノイズ除去用の補正値を生成することが行われている。このようにして生成した補正値を、有効画素領域内の画素から出力される有効画素信号に乗算することで、縦線状のノイズを除去することができる。
【０００４】
縦線量の検出対象となるＯＰＢ領域は、縦方向に遮光された縦のＯＰＢ領域のうちの、有効画素領域のライン数と対応する幅を持つ領域とされることが多い。この領域を走査する時間内に、この領域内の画素から読み出したＯＰＢ信号を用いて縦線量の検出及び補正値の生成を行い、その補正値を同じラインの有効画素信号にも適用することで、撮像を行いながらリアルタイムで縦線状ノイズの除去も行えるようになる。ところが、この手法だと縦線量をサンプリングできる絶対数が少なくなるため、縦線量検出の精度も悪くなってしまう。つまり、縦線状ノイズの補正効果が下がってしまう。
【０００５】
縦線量検出の精度を上げる手法としては、例えば特許文献１に、イメージセンサの水平ライン分の出力を垂直方向に加算し、加算値を加算したライン数で除算して得られる平均値を用いて補正用データを生成する手法が記載されている。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開平１０−３１３４２８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
一方、アナログゲインの可変範囲が狭いイメージセンサを使用する場合には、後段でさらにデジタルゲインをかけることが行われている。例えば、イメージセンサのアナログゲインの可変範囲が１倍〜４倍である場合に、後段で可変範囲が１倍〜２倍のデジタルゲインをかけることができれば、カメラゲインの可変範囲を１倍〜８倍に拡張することができる。
【０００８】
ところが、縦線量検出の精度が低く、縦線状ノイズの除去が十分に行われていない状態でデジタルゲインをかけると、縦線状のノイズが幅方向に拡張してしまうという問題があった。
【０００９】
本発明はかかる点に鑑みてなされたものであり、アナログゲインとデジタルゲインが併用される撮像装置において、リアルタイム性を損なうことなく、縦線状ノイズの補正効果を向上させることを目的とする。
【課題を解決するための手段】
【００１０】
上記課題を解決するために、本発明の撮像装置は、画素と、アナログアンプと、縦線検出部と、縦線補正部と、乗算器とを備える構成とし、各部を次のような構成及び機能を有するようにする。レンズを介して得た被写体光を光電変換して電荷として蓄積する複数の画素は、光学的黒信号出力用に遮光された光学的黒領域及び、遮光されていない有効画素領域に、水平方向及び垂直方向にマトリクス状に配置する。
【００１１】
アナログアンプは、有効画素領域内の各画素から有効画素信号として読み出した電荷に、所定のゲインをかけて出力する。縦線検出部は、まず、レンズを閉じた状態で、アナログアンプのゲインの倍率を最小値から最大値までの間ですべて変化させて、有効画素領域内の垂直方向の各列における水平方向の所定行数内に配置された画素から画素値を読み出す。続いて、読み出した画素値の相加平均値を算出し、算出した相加平均値をクランプ処理後の黒レベル（０）から減算することにより縦線量を検出する。そして、検出した縦線量に基づいて縦線状の固定パターンノイズ除去用の補正値を算出する。縦線補正部は、縦線検出部で算出された補正値を有効画素信号に加算する。乗算器は、有効画素信号または、縦線補正部で縦線状の固定パターンノイズが除去された縦線補正後の画素信号に、デジタルゲインを乗算する。
【００１２】
上述したように構成および処理することで、有効画素領域の水平方向の各位置における縦線状ノイズの補正値が、アナログゲインのすべての段数に対応して生成される。そして、その補正値を用いて縦線状ノイズの補正が行われる。
【発明の効果】
【００１３】
本発明の発明によると、縦線状ノイズの縦線量が、有効画素領域内の垂直方向の各列における水平方向の所定行数内に配置された画素の相加平均に基づいて生成されるため、縦線量検出精度が向上する。すなわち、縦線状ノイズの補正効果が向上する。また、予めアナログゲインのすべての段数に対応して生成された補正値に基づいて、縦線状ノイズの補正がリアルタイムに行われるようになる。また、縦線量の検出精度が高いため、アナログゲインだけでなくデジタルゲインも併用した撮像装置において、縦線状ノイズの補正を行えるようになる。
【図面の簡単な説明】
【００１４】
【図１】本発明の第１の実施の形態による撮像装置の構成例を示すブロック図である。
【図２】本発明の第１の実施の形態による縦線量検出処理の例を示す説明図であり、（ａ）は縦線量検出を行う領域の例を示し、（ｂ）は縦線量の例を示し、（ｃ）は縦線量の記憶部への格納例を示す。
【図３】本発明の第１の実施の形態による縦線状ノイズの補正処理および、デジタルゲインがかけられる前後での画素信号および補正値の変化の例を示し、（ａ）は入力画像の画素値の例を示し、（ｂ）はクランプ処理後の画素値およびこれに基づき生成される縦線補正値の例を示し、（ｃ）は縦線補正実行後の画素信号の例を示し、（ｄ）はデジタルゲインがかけられた後の画素信号の例を示し、（ｅ）はペデスタル処理後の画素信号の例を示す。
【図４】縦線成分が残った状態での縦線状ノイズの補正処理および、デジタルゲインがかけられる前後での画素信号および補正値の変化の例を示し、（ａ）は入力画像の画素値の例を示し、（ｂ）はクランプ処理後の画素値およびこれに基づき生成される縦線補正値の例を示し、（ｃ）は縦線補正実行後の画素信号の例を示し、（ｄ）はデジタルゲインがかけられた後の画素信号および縦線補正値の例を示し、（ｅ）はペデスタル処理後の画素信号の例を示す。
【図５】本発明の第１の実施の形態による縦線補正値の算出および格納例を示す説明図である。
【図６】本発明の第１の実施の形態による縦線量検出処理の例を示すフローチャートである。
【図７】本発明の第１の実施の形態による欠陥点検出処理の例を示す説明図である。
【図８】本発明の第１の実施の形態による欠陥点検出処理の例を示すフローチャートである。
【図９】本発明の第１の実施の形態によるシェーディング量処理の例を示す説明図である。
【図１０】本発明の第１の実施の形態によるシェーディング量検出処理の例を示すフローチャートである。
【図１１】本発明の第１の実施の形態による撮像装置のゲインの可変範囲の例を示す説明図である。
【図１２】本発明の第１の実施の形態による揮発性メモリの構成例を示す説明図である。
【図１３】本発明の第１の実施の形態による不揮発性メモリの構成例を示す説明図である。
【図１４】本発明の第２の実施の形態による撮像装置の構成例を示すブロック図である。
【発明を実施するための形態】
【００１５】
以下、発明を実施するための形態について説明する。なお、説明は以下の順序で行う。
１．第１の実施の形態（縦線状ノイズの補正と黒シェーディング補正とを一つの乗算器を使用して実現する例）
２．第２の実施の形態（縦線状ノイズの補正を効率的に行う構成の例）
【００１６】
＜１．第１の実施の形態＞
［システムの全体構成例］
図１は、本発明による撮像装置の第１の実施の形態例を示すブロック図である。図１に示す撮像装置１は、イメージセンサ１０と、信号処理部２０と、揮発性メモリ３０と、不揮発性メモリ４０とを備える。
【００１７】
イメージセンサ１０は、例えばＣＭＯＳ型の固体撮像素子で構成され、図示せぬレンズを介して撮像面に結像された被写体光を光電変換して画素信号を生成する。なお、本実施の形態ではＣＭＯＳ型の固体撮像素子を用いた例を挙げているが、ＣＣＤ型等の他の固体撮像素子を用いるようにしてもよい。
【００１８】
本実施の形態では、図２（ａ）に示すように、水平方向７５２画素×垂直方向４８０ラインが有効画素領域となっている。また、有効画素領域とは別に、レンズを介して入射した光を受光しないように遮光された、ＯＰＢ領域を有する。
【００１９】
本実施の形態による撮像装置１は、垂直方向のＯＰＢ領域ではなく、有効画素領域内の画素から出力された有効画素信号を用いて縦線量の検出を行う。このため、縦線量の検出は、工場出荷時の調整時や、ユーザによってキャリブレーションの指示がされた時、または電源投入時等に、レンズを閉じていわゆる全黒状態にして行う。本実施の形態では、縦線量の検出を行う領域を、有効画素領域の水平方向７５２画素×水平方向２５６ラインとしている。縦線量のサンプリングを行う水平方向のライン数は、サンプリングに十分であると考えられるライン数であり、かつ２のべき乗であればよく、２５６ラインに限定されるものではない。
【００２０】
有効画素領域内に配置された各画素から読み出された電荷は、有効画素信号として出力される。また、図示は省略しているが、有効画素領域の各垂直方向ラインにはアナログアンプとＡ／Ｄコンバータが設けられており、有効画素信号は、アナログアンプによって信号レベルが増幅され、Ａ／Ｄコンバータによってデジタルの画素信号に変換される。本実施の形態では、可変範囲が１倍〜４倍であり段数が２５ステップのアナログアンプを使用している。そして、このアナログアンプのポジションによって、縦線状のノイズの発生位置や発生量（縦線量）が変化する。換言すれば、アナログアンプのポジションによって、縦線状のノイズの発生位置や発生量を特定することができる。なお、本実施の形態では、縦線状のノイズの発生位置や発生量が、温度変化によって変化しないイメージセンサ１０を使用している。
【００２１】
図１に戻って説明を続ける。信号処理部２０は、ＤＳＰ（Digital Signal Processor）等で構成され、クランプ処理部２１と、縦線検出／補正部２２と、記憶部２３と、乗算器２４と、ペデスタル処理部２５と、欠陥補正部２６と、欠陥／シェーディング検出部２７を備える。また、メモリ制御部２８と、制御部２９とを備える。さらに、撮像装置１は、揮発性メモリ３０と、不揮発性メモリ４０も備える。
【００２２】
クランプ処理部２１は、後段の乗算器２４でデジタルゲインをかける際のゲインをかける対象を、画素信号の光量変化分のみとするための、クランプ処理を行う。すなわち、イメージセンサ１０から出力された画素信号の黒レベルを０にするため、入力画素信号の画素値からクランプ値を減算する処理を行う。クランプ値は、イメージセンサ１０のＯＰＢ領域から出力されたＯＰＢ信号のレベルに基づいて決定される。クランプ処理部２１は、クランプ処理した画素信号を縦線検出／補正部２２に出力する。
【００２３】
縦線検出／補正部２２は、クランプ処理部２１から出力された画素信号を用いて縦線量の検出を行って補正値を生成するとともに、生成した補正値を用いて縦線状のノイズの補正を行う。縦線検出機能及び縦線補正の機能は、それぞれオン・オフができるようにしてあり、工場出荷時等の縦線量検出時には縦線検出機能がオンとなり、縦線補正機能はオフとなる。反対に、撮像開始後の実際の補正時には縦線補正機能がオンとなり、縦線検出機能はオフとなる。縦線量の検出処理の詳細については、図２〜図６を参照して後述する。
【００２４】
記憶部２３は、ＲＡＭ等で構成され、縦線検出／補正部２２で検出された縦線量を格納する。また、縦線量に基づいて生成された補正値も一時的に格納する。乗算器２４は、縦線検出／補正部２２で縦線状ノイズの補正が行われた画素信号に、ユーザによって設定されたデジタルゲイン及び／又は、後段の欠陥／シェーディング検出部２７で生成されたシェーディング補正用ゲインを乗算する。デジタルゲインの可変範囲１倍〜４倍であり、シェーディング補正用ゲインの補正範囲は最大２倍であるものとする。図１では、デジタルゲインを“ｄ_ｇａｉｎ”、シェーディング補正用ゲインを“ｓ_ｇａｉｎ”と表記している。シェーディング補正用ゲインについては後述するが、シェーディング補正用ゲインとしてマイナス方向のゲインをかけることもあるため、ｄ_ｇａｉｎ“±”ｓ_ｇａｉｎと記載している。
【００２５】
ペデスタル処理部２５は、乗算器２４でゲインがかけられた画素信号の黒レベルを実際の黒レベルに戻すため、入力された画素信号にクランプ値を加算する処理を行う。ペデスタル処理によって黒レベルが復元された画素信号は、欠陥補正部２６に出力する。欠陥補正部２６は、後段の欠陥／シェーディング検出部２７で検出された欠陥画素を、補正画素で補間する処理を行う。補正画素は、欠陥画素の周辺に配置された複数の画素を用いて生成する。欠陥補正部２６もオン・オフができるようにしてあり、オフに設定された場合には、入力された画素信号をそのまま欠陥／シェーディング検出部２７に出力する。
【００２６】
欠陥／シェーディング検出部２７は、ペデスタル処理部２５で黒レベルが復元された画素信号を入力信号として、入力された画素信号が欠陥点であるか否かの検出と、画素信号に含まれるシェーディング量を検出する。欠陥点とは、周囲の画素にくらべて信号レベルが高すぎる画素を指す。欠陥点の検出は、入力された画素信号の画素値とクランプ値とを比較することにより行う。欠陥画素であると判定した場合には、その画素が欠陥画素であることを示す欠陥フラグをオン（“１”）にし、正常な画素であると判断した場合には、欠陥フラグをオフ（“０”）とする。欠陥フラグの値は、メモリ制御部２８による制御によって揮発性メモリ３０に書き込まれる。欠陥／シェーディング検出部２７の動作の詳細については、図７〜図１１を参照して後述する。
【００２７】
シェーディング量とは、一様なグレーな被写体などを、一様な光源下で撮像している場合に、１フレームを構成する全画素を対象として算出した画素値の最大値または平均値と、入力された各画素信号の画素値との差分を指す。そして、求めた差分を用いてシェーディング補正用ゲインを算出し、算出したシェーディング補正用ゲインを揮発性メモリ３０内の所定の領域に書き込む。このシェーディング補正用ゲインが、乗算器２４によって画素信号に乗算されることにより、センサ性の白（変調）シェーディングの補正と、レンズ周辺光量落ちによる輝度ムラの補正とを同時に行うことができる。つまり、１フレームを構成する全画素の画素値を、算出された最大値または平均値で置き換えることで、画面内の位置における輝度のムラがない画像が生成されるようになる。ゴミの混入や欠陥点がない場合には、最大値を使用した補正が最も正確な補正となる。一方、平均値を使用した補正は、マイナス方向のデジタルゲインをかけるため、ダイナミックレンジが狭くなってしまうが、ゴミが混入していたり欠陥点が若干ある場合にも、これらによる影響をある程度除外することができる。補正値の算出に、画素値の最大値を用いるか平均値を用いるかの選択は、ユーザが行えるようにしてある。
【００２８】
欠陥／シェーディング検出部２７もオン・オフできるようになっており、欠陥点とシェーディング量の検出時には欠陥／シェーディング検出部２７がオンとなり、乗算器２４と欠陥補正部２６がオフになる。欠陥点とシェーディング量の検出終了後に実際の補正を開始させるときには、欠陥／シェーディング検出部２７がオフとなり、乗算器２４と欠陥補正部２６がオンになる。
【００２９】
メモリ制御部２８は、揮発性メモリ３０へのデータの読み書きを制御する。例えば、縦線検出／補正部２２で生成された補正値と、欠陥／シェーディング検出部２７で生成された欠陥フラグやシェーディング補正用ゲインの値を、揮発性メモリ３０に書き込む。また、これらの各部で補正値を計算する途中で発生する数値データを、揮発性メモリ３０に読み書きする。また、揮発性メモリ３０に記憶された補正値等を読み出して、実際の補正を行う各部に供給する。
【００３０】
制御部２９は、例えばＭＰＵ（Micro-Processing Unit）等より成り、撮像装置１を構成する各部の動作を制御する。例えば、揮発性メモリ３０に書き込まれた補正値等をメモリ制御部２８に読み出させて不揮発性メモリ４０に書き込む制御や、不揮発性メモリ４０に書き込まれた補正値等を電源投入時等に読み出して揮発性メモリ３０に展開する処理を行う。
【００３１】
揮発性メモリ３０は、ＲＡＭ等よりなり、各部で補正値を計算する途中で発生する数値データと、縦線検出／補正部２２で生成された補正値と、欠陥／シェーディング検出部２７で生成された欠陥フラグやシェーディング補正用ゲインの値が書き込まれる。不揮発性メモリ４０は、フラッシュメモリ等で構成され、縦線検出／補正部２２で生成された補正値と、欠陥／シェーディング検出部２７で生成された欠陥フラグやシェーディング補正用ゲインの値が書き込まれる。揮発性メモリ３０や不揮発性メモリ４０におけるデータの格納例については、図１２および図１３を参照して後述する。
【００３２】
［縦線量検出処理の例］
次に、図２〜図６を参照して、縦線検出／補正部２２における縦線量検出処理の例について説明する。縦線量の検出は、図２（ａ）に示すように、イメージセンサ１０の有効画素領域の水平方向７５２画素×水平方向２５６ライン内の画素を対象として行う。まず、この領域内の水平方向の７５２箇所において、垂直方向の２５６画素の画素値をすべて加算して平均値（相加平均値）を算出する。なお、水平方向７５２画素×水平方向２５６ライン内の画素値のサンプリングは、ランダムノイズ成分を除去するために４フレーム分行うようにしている。なお、縦線量サンプリング対象とするフレーム数は、少なくとも４フレームであればよく、それ以上としてもよい。ただし、サンプリング対象のフレーム数を増加させると、補正値計算の途中に発生するデータの量も増大する。したがって、不揮発性メモリ４０の途中計算保持用の領域も、それに合わせて拡大する必要がある。
【００３３】
縦線量は、図２（ｂ）に示すように、黒レベル（＝クランプ値）と画素値との差分として現れる。図２（ｂ）の縦軸は画素値を示し、横軸は画素の水平方向の位置を示す。図２（ａ）の有効画素領域に縦の実線で示してあるように、縦線状のノイズが発生している箇所においては、図２（ｂ）に示すように、画素値がプラス方向またはマイナス方向に大きくなっている。このため、クランプ処理後の黒基準（０）から水平有効画素領域の各画素配置位置における垂直方向２５６画素の画素値の平均値を減算することによって、縦線量を検出することができる。
【００３４】
水平有効画素領域の各画素配置位置における垂直方向２５６画素の画素値の平均値や、これに基づいて生成された補正値は、図２（ｃ）に示すように、水平方向の画素数（７５２）と対応する格納領域を有する記憶部２３に都度格納される。
【００３５】
本実施の形態では、水平方向７５２画素×水平方向２５６ライン内の画素値を４フレーム分サンプリングするため、縦線量の検出精度が高くなり、よって縦線検出／補正部２２で実施される縦線補正の効果も高くなる。このため、縦線補正後の画素信号に後段の乗算器２４でデジタルゲインがかけられても、縦線状ノイズが強調されてしまうことがなくなる。図３は、画素値（縦線量）および縦線状ノイズ補正用の補正値（以下、縦線補正値と称する）の変化を示したものである。図３の縦軸は画素値のレベルを示し、画素値は実線で示してあり、縦線補正値は破線で示してある。図３（ａ）に示した、全黒状態での撮像により得られた入力画像の画素信号をクランプし、図３（ｂ）に示すように、クランプ処理後の画素信号に基づいて縦線補正値を生成する。そして、縦線量と対応する量を有する縦線補正値を、縦線状ノイズが発生している方向とは逆の方向に足し込む処理を行うことで、図３（ｃ）に示すように、縦線成分を含まない画素信号が生成される。この縦線成分を含まない画素信号にデジタルゲインがかかるため、図３（ｄ）に示すデジタルゲインのかかった画素信号および、図３（ｅ）にペデスタル処理後の画素信号においても、縦線は発生していない。
【００３６】
図４は、縦線量のサンプリングが少なく、縦線成分が残った状態で、デジタルゲインがかけられた場合の画素信号の変化を示す。図４の縦軸は画素値のレベルを示し、画素値は実線で示してあり、縦線補正値は破線で示してある。図４（ａ）に示した、全黒状態での撮像により得られた入力画像の画素信号をクランプし、図４（ｂ）に示すように、クランプ処理後の画素信号に基づいて縦線補正値を生成する。しかし、この縦線補正値は、十分なサンプリングに基づいて生成されたものではない。このため、縦線補正値を縦線状ノイズが発生している方向とは逆の方向に足し込む縦線補正を行っても、図４（ｃ）に示すように、除去しきれなかった縦線成分が残ってしまう。このように、縦線成分が残った状態で乗算器２４によってデジタルゲインがかけられることで、図４（ｄ）に示すように、縦線がより強調されてしまう。（第２の実施の形態では、この強調された縦線成分を使用し補正をする。）
【００３７】
縦線量および縦線状ノイズの発生する位置は、イメージセンサ１０内でかけられるアナログゲインの値によっても変化する。このため、縦線補正値の算出は、アナログゲインのすべての段数において行っている。つまり、アナログゲインを最小値から最大値まで変化させ、そのすべてのステップにおいて、縦線補正値の算出を行う。図５は、イメージセンサ１０のアナログゲインの各ステップと、揮発性メモリ３０（不揮発性メモリ４０）に記憶される縦線補正値との対応例を示したものである。図５には、イメージセンサ１０のアナログゲインが１倍から４倍であり、ステップ数が０．１２５倍刻みの２５個である場合の例が示されている。
【００３８】
このような場合、縦線検出／補正部２２では、まずアナログゲイン１．０００倍でデジタルゲインも１倍時の縦線補正値が１ラインを構成する画素個数（７５２個）分算出される。次はアナログゲインを１．１２５倍に変化させて同様の計算が行われ、アナログゲイン４．０００倍になるまで計算が繰り返される。そして、このようにして算出された各縦線補正値は、揮発性メモリ３０の所定の領域に記憶される。
【００３９】
図６は、ここまで説明した縦線検出／補正部２２での縦線補正値算出処理のうちの、縦線量までの処理を、フローチャートで示したものである。まず、レンズを閉じて全黒状態とした上で撮像を行い、縦線量の検出を開始する（ステップＳ１）。そして、フレーム数をカウントするフレームカウンタの値をクリアする（ステップＳ２）。次に、有効画素領域の垂直方向の中央２５６ライン×４フレーム分の縦線量検出（サンプリング）が終了したか否かを判定する（ステップＳ３）。終了していない場合は、水平方向７５２画素の縦のライン毎に、クランプ処理部２１でクランプ処理が行われた画素値を次々と記憶部２３に加算していく（ステップＳ４）。ここまでの処理が完了したら、フレームカウンタの値を１つインクリメントし（ステップＳ５）、ステップＳ３に戻る。
【００４０】
ステップＳ３で、有効画素領域の垂直方向の中央２５６ライン×４フレーム分の縦線量検出が終了したと判断した場合には、次に、２５６ライン×４フレーム分の縦線量平均値を算出する処理を行う（ステップＳ６）。具体的には、ステップＳ４で記憶部２３に加算された画素値を、２５６ライン×４フレーム＝１０２４で除算することにより、画素値の平均値を算出する。続いて、ステップＳ６で算出した縦ラインの各画素平均値を、クランプ処理後の黒基準（０）から減算することにより、縦線量を検出する（ステップＳ７）。続いて、アナログゲインのすべてのステップでの縦線量検出が終了したか否かを判断し（ステップＳ８）、終了していない場合には、アナログゲインのステップを変更して（ステップＳ９）、ステップＳ２に戻る。終了した場合には、縦線量検出処理は終了となる。
【００４１】
このように、アナログゲインのすべてのステップに対応して生成され、揮発性メモリ３０に記憶された縦線補正値は、撮像装置１による撮像が開始されたときに縦線検出／補正部２２に読みだされ、実際の補正処理に使用される。つまり、アナログゲインが変更される都度、変更されたアナログゲインのステップに対応する縦線補正値が読み込まれて補正が行われる。したがって、撮像開始後は、予め生成された補正値を用いてリアルタイムに補正が行われるようになる。
【００４２】
［欠陥点／シェーディング量検出処理の例］
次に、図７〜図１０を参照して、欠陥／シェーディング検出部２７による欠陥点／シェーディング量検出処理の例について説明する。まず、図７および図８を参照して、欠陥点検出処理について説明する。図７は、欠陥画素検出の処理イメージを示す図である。欠陥／シェーディング検出部２７は、予め欠陥点検出用の閾値（以下、欠陥点閾値と称する）を決定しておき、入力される１フレーム分のすべての画素を対象として、画素値とクランプ値との差分が欠陥点閾値を超えていないかを判断する。図７に示した例では、黒丸で示した２つの画素において、画素値とクランプ値との差分が欠陥点閾値を超えているため、これらの画素を欠陥点であると判定する。つまり、欠陥画素フラグを“１”にする。画素値とクランプ値との差分が欠陥点閾値を超えていない他の８個の画素においては、欠陥フラグは“０”となる。検出処理を、１フレームを構成するすべての画素に対して行い、検出結果に基づいて、１フレーム分の欠陥点補正用のデータを生成する。本実施の形態では、欠陥点検出の精度を向上させるために、４フレーム分のすべての画素に対して欠陥点の検出を行う。
【００４３】
次に、図８のフローチャートを参照して、欠陥点検出処理の手順について説明する。まず、レンズを閉じて全黒状態とした上で撮像を行い、欠陥点の検出を開始する（ステップＳ１１）。そして、フレームカウンタの値をクリアする（ステップＳ１２）。次に、有効画素領域の７５２画素×４８０ラインの全画素を４フレーム分のサンプリングをしたかを判定する（ステップＳ１３）。終了していない場合は、次に、１フレーム分のサンプリングが終了したか否かを判断する（ステップＳ１４）。１フレーム分のサンプリングが終了していない間は、ステップＳ１４の判断が繰り返し行われる。１フレーム分のサンプリングが終了した場合には、フレームカウンタの値を１つインクリメントして、ステップＳ１３に戻る。
【００４４】
ステップＳ１３で、有効画素領域の７５２画素×４８０ラインの全画素を４フレーム分サンプリングしたと判断した場合には、サンプリングした各画素を４フレーム分加算する（ステップＳ１６）。そして、加算した値を４で除算することにより各画素の平均値を作成する（ステップＳ１７）。次に、各画素の平均値とクランプ値との差分が欠陥点閾値を超えたか否かを判断し（ステップＳ１８）、超えていない場合には欠陥フラグを“０”とし、その画素を正常画素の扱いとする（ステップＳ１９）。各画素の平均値とクランプ値との差分が欠陥点閾値を超えている場合には、欠陥フラグを“１”とし、その画素を欠陥画素の扱いとする（ステップＳ２０）。そして、ここまでの処理で得られた情報に基づいて、１フレーム分の欠陥画素点判別データを作成し（ステップＳ２１）、欠陥点検出処理は終了となる。
【００４５】
このようにして設定された欠陥フラグの値は、前述したように、メモリ制御部２８の制御に基づいて揮発性メモリ３０内の所定の領域に書き込まれる。そして、揮発性メモリ３０に書き込まれた欠陥フラグは、欠陥補正部２６によって毎画素参照される。参照された欠陥フラグが“１”であった場合には、その画素の画素値が周辺画素の画素値で補間され、欠陥フラグが“０”であった場合には、何の処理も行われない。
【００４６】
次に、図９および図１０を参照して、シェーディング量検出処理について説明する。図９は、シェーディング量検出の処理イメージを示す図である。まず、１フレームを構成するすべての画素の画素値の最大値と平均値を算出して、それらの画素を目標画素と設定する。図９（ａ）は、最大値を目標画素とした場合の処理の例を示し、図９（ｂ）は平均値を目標画素とした場合の処理の例を示す。図９（ａ）に示すように最大値が目標画素に設定された場合は、入力される各画素の画素値が最大値と同値になるように、最大値との差分値に応じたシェーディング補正用ゲインを算出する。また、図９（ｂ）に示すように平均値が目標画素に設定された場合は、入力される各画素の画素値が平均値と同値になるように、目標画素との差分値に応じたシェーディング補正用ゲインを算出する。平均値が目標画素に設定されている場合は、平均値よりも画素値が大きい画素に対してはマイナス（−）のゲインが設定され、平均値よりも画素値が小さい画素に対してはプラス（＋）のゲインが設定される。目標画素を最大値とするか平均値とするかは、前述したようにユーザが設定できるようにしている。
【００４７】
次に、図１０のフローチャートを参照して、シェーディング量検出処理の手順について説明する。まず、全体が一様なグレー状態である画像を撮像し、シェーディング量の検出を開始する（ステップＳ３１）。そして、フレームカウンタの値をクリアする（ステップＳ３２）。次に、有効画素領域の７５２画素×４８０ラインの全画素を４フレーム分のサンプリングをしたかを判定する（ステップＳ３３）。終了していない場合は、次に、１フレーム分のサンプリングが終了したか否かを判断する（ステップＳ３４）。１フレーム分のサンプリングが終了していない間は、ステップＳ３４の判断が繰り返し行われる。１フレーム分のサンプリングが終了した場合には、フレームカウンタの値を１つインクリメントして（ステップＳ３５）、ステップＳ３３に戻る。
【００４８】
ステップＳ３３で、有効画素領域の７５２画素×４８０ラインの全画素を４フレーム分サンプリングしたと判断した場合には、サンプリングした各画素を４フレーム分加算する（ステップＳ３６）。そして、加算した値を４で除算することにより各画素の平均値を作成する（ステップＳ３７）。次に、ステップＳ３７で求めた各画素の平均値から、１フレーム分の全画素中の最大値と平均値を求め、最大値または平均値を目標画素に設定する（ステップＳ３８）。続いて、目標画素と各画素の平均値との間に差があるか否かを判断し（ステップＳ３９）、差がない場合にはシェーディング補正用ゲインの値を０に設定する（ステップＳ４０）。目標画素と各画素の平均値との間に差がある場合には、差分に応じたシェーディング補正用ゲインの値を算出する（ステップＳ４１）。そして、この処理を１フレーム分のすべての画素に対して行うことで、１フレーム分の補正データが生成され（ステップＳ４２）、シェーディング量検出処理は終了となる。
【００４９】
シェーディング補正用ゲインの値は、前述したように、メモリ制御部２８の制御に基づいて揮発性メモリ３０内の所定の領域に記憶される。そして、揮発性メモリ３０に記憶されたシェーディング補正用ゲインは、乗算器２４に画素信号が入力される都度読み出されて、画素信号に乗算される。
【００５０】
そして、シェーディング補正用ゲインが乗算器２４で乗算されることにより、縦線状ノイズの補正と同時に、センサ性の白（変調）シェーディングも補正できるようになる。図１１は、本実施の形態の撮像装置１により調整可能なゲインの可変範囲を示した図である。イメージセンサ１０で調整できるアナログゲインの可変範囲が１〜４倍と狭いが、後段で１倍〜４倍のデジタルゲインが掛けられることにより、全体として１倍〜１６倍のゲインの可変範囲を実現している。デジタルゲインの可変範囲うち、倍率の高い部分はシェーディング補正用ゲイン（最大２倍）により調整される。つまり、カメラゲインとしては、アナログゲイン４倍＋デジタルゲイン４倍＝８倍の調整範囲が実現されている。
【００５１】
［不揮発性メモリおよび揮発性メモリにおけるデータの格納例］
次に、図１２および図１３を参照して、不揮発性メモリ４０と揮発性メモリ３０におけるデータの格納例について説明する。図１２は、揮発性メモリ３０におけるデータ格納例を示す図である。揮発性メモリ３０には、各部が補正値を算出する際に発生する途中計算用データを格納する領域が、１フレームを構成する画素個分設けてある。また、欠陥フラグの値とシェーディング補正用ゲインの値を格納する領域も、１フレームを構成する画素個分設けてある。さらに、縦線補正値を格納する領域を、アナログアンプのステップ数に対応する２５個分設けてある。２５個の各領域には、有効画素領域の水平方向１ライン７５２画素分の縦線補正値が格納される。
【００５２】
そして、図１３に示すように、そのうちの欠陥フラグ値およびシェーディング補正用ゲイン値と、縦線補正値とを、不揮発性メモリ４０に退避するようにしている。不揮発性メモリ４０に記憶されたこれらのデータは、制御部２９の制御によって電源投入時等に読み出され、揮発性メモリ３０に展開される。
【００５３】
上述のように、本実施の形態の撮像装置１では、アナログゲインのすべてのステップに対応した縦線補正値が予め記憶され、それに基づいて実際の補正が行われるため、毎フレームのゲイン変化に対応した補正を行うことができる。また、撮像開始後は、予め記憶された縦線補正値を読み出して補正を行うのみなので、例えばマシンビジョン等のリアルタイム性が要求される用途においても、その要求を十分に満たすことができる。
【００５４】
また、本実施の形態では、縦線量の検出を、垂直方向のＯＰＢ領域ではなく有効画素領域の複数（２５６）ラインを対象として行っているため、縦線量検出の精度が向上し、縦線補正効果も向上する。これにより、アナログゲインの可変範囲が狭く、デジタルゲインが併用される撮像装置においても、縦線状ノイズの補正を行えるようになる。さらに、複数フレーム（４フレーム）分の画素値をサンプリングすることで、ランダムノイズ成分も除去することができる。このとき、サンプリングに使用するフレーム数を４フレームとすることで、有効画素信号が多画素化した場合にも、補正値計算時に発生する途中計算データの格納領域（揮発性メモリ３０）を、圧迫することがなくなる。
【００５５】
また、本実施の形態では、縦線検出／補正部２２と、デジタルゲインおよびシェーディング補正用ゲイン乗算用の乗算器２４とを、クランプ処理部２１とペデスタル処理部２５の間に配置している。これにより、黒レベルの固定および復元に関する処理を行う回路を、シェーディング補正を行うブロックや欠陥補正を行うブロック等の他のブロックに追加する必要が無くなる。すなわち、黒レベルに関する処理を簡素化できるとともに、撮像装置１全体における回路規模も小さくすることができるようになる。さらに、デジタルゲインの乗算とシェーディング補正用ゲインの乗算とを一つの乗算器２４で行えるように構成したため、これらの処理回路を別々に構成した場合と比べて、乗算器の数を削減することができる。
【００５６】
＜２．第２の実施の形態＞
［システムの全体構成例］
次に、図１４を参照して、本発明の第２の実施の形態による撮像装置について説明する。なお、図１４において図１と対応する箇所には同一の符号を付してあり、詳細な説明は省略する。この第２の実施の形態では、デジタルゲイン用の乗算器とシェーディング補正用ゲイン用の乗算器を併合せず、乗算器ではデジタルゲインの乗算のみを行う。第１の実施の形態とは、縦線検出／補正部２２での縦線量検出方法と、乗算器２４の位置とが異なる。アナログゲインのすべてのステップにおいて縦線量の検出を行う点は第１の実施の形態と同様だが、第２の実施の形態では、デジタルゲインを最大値とした上で縦線量の検出を行う。つまり、デジタルゲインの最大値が４倍である場合には、デジタルゲインを４倍にして縦線量をサンプリングする。
【００５７】
デジタルゲインを４倍に設定して縦線量の検出を行うため、縦線量に基づき生成される縦線補正値も、それに応じた大きな値となる。このため、縦線補正値を画素信号に乗算する乗算器２４では、画素信号にかけるゲインをデジタルゲインの逆数倍とする。例えば、デジタルゲインが４倍であった場合には１倍（４倍×１／４）の縦線補正値を乗算し、２倍であった場合には０．５倍（２倍×１／４）した縦線補正値を乗算する。すなわち、デジタルゲインに応じた値に縦線補正値を正規化して乗算している。図３および図４に示したように、デジタルゲインが乗算される前後の縦線補正値の値はデジタルゲインの倍率と完全に比例するため、このような処理を行うことにより縦線状ノイズの補正を行うことができる。
【００５８】
このような、「過補正」といえる補正を行う場合は、検出した縦線量に対して正確に逆数倍された縦線補正値を乗算しないと、縦線補正効果が低くなってしまう。したがって、縦線状ノイズの除去を効率的に行う本実施の形態では、画素信号にデジタルゲインを乗算する乗算器２４と、画素信号にシェーディング補正用ゲインを乗算する乗算器とを分けている。そして、デジタルゲイン乗算用の乗算器２４を、縦線検出／補正部２２の前段に配置している。このように構成することにより、信号処理部２０ａにおける画像処理が第１の実施の形態のそれに比べて単純化されるため、画素を表現するビット長も、第１の実施の形態の撮像装置１で扱われるビット長よりも短くすることができる。
【００５９】
上述した第２の実施の形態による撮像装置１ａによれば、第１の実施の形態で得られる効果に加えて、画素を表現するビット長を短くでき、画像処理の回路規模を小さくできるという効果が得られる。
【符号の説明】
【００６０】
１…撮像装置、１ａ…撮像装置、１０…イメージセンサ、２０，２０ａ…信号処理部、２１…クランプ処理部、２２…縦線検出／補正部、２３…記憶部、２４…乗算器、２５…ペデスタル処理部、２６…欠陥補正部、２７…欠陥／シェーディング検出部、２８…メモリ制御部、２９…制御部、３０…揮発性メモリ、４０…不揮発性メモリ
【特許請求の範囲】
【請求項１】
光学的黒信号出力用に遮光された光学的黒領域及び、遮光されていない有効画素領域に、水平方向及び垂直方向にマトリクス状に配置され、レンズを介して得た被写体光を光電変換して電荷として蓄積する複数の画素と、
前記有効画素領域内の各画素から有効画素信号として読み出した前記電荷に、所定のゲインをかけて出力するアナログアンプと、
前記レンズを閉じた状態で、前記アナログアンプのゲインの倍率を最小値から最大値までの間ですべて変化させて、前記有効画素領域内の垂直方向の各列における水平方向の所定行数内に配置された画素から画素値を読み出し、前記読み出した画素値の相加平均値を算出し、前記算出した相加平均値をクランプ処理後の黒基準から減算することにより検出した縦線量に基づいて、縦線状の固定パターンノイズ除去用の補正値を算出する縦線検出部と、
前記縦線検出部で算出された前記補正値を、前記有効画素信号に加算することにより、前記縦線状の固定パターンノイズを除去する縦線補正部と、
前記有効画素信号または、前記縦線補正部で前記縦線状の固定パターンノイズが除去された縦線補正後の画素信号に、前記デジタルゲインを乗算する乗算器とを備えた
撮像装置。
【請求項２】
前記縦線検出部での前記相加平均値の算出は、少なくとも４フレーム分の各画素を対象として行われる
請求項１記載の撮像装置。
【請求項３】
前記縦線検出部と、前記縦線補正部と、前記乗算器は、前記有効画素領域内の画素から読み出した有効画素信号の画素値から所定のクランプ値を減算して前記黒レベルを固定するクランプ処理部の後段に配置され、かつ、入力された画素信号に前記クランプ値を加算して前記黒レベルを復元するペデスタル処理部の前段に配置される
請求項２記載の撮像装置。
【請求項４】
前記有効画素領域内に配置されたすべての前記有効画素信号の画素値の、少なくとも４フレーム分の相加平均値を算出し、前記有効画素領域内における前記相加平均値の最大値および／または平均値を算出し、前記相加平均値の最大値および／または平均値と前記有効画素信号の画素値との差分の大きさに応じて、シェーディング補正用の補正値を生成するシェーディング検出部をさらに備え、
前記シェーディング検出部で生成された前記シェーディング補正用の補正値は、前記乗算器によって、前記縦線補正後の画素信号に乗算される
請求項３記載の撮像装置。
【請求項５】
前記縦線検出部は、前記有効画素領域内の垂直方向の各列における、水平方向の所定行数内に配置された画素の画素値を、前記アナログアンプのすべての段数において、前記デジタルゲインを最大とした状態で取得してその相加平均値を算出し、
前記縦線補正部は、前記縦線検出部で生成された補正値を、前記デジタルゲインの逆数倍する
請求項３記載の撮像装置。
【請求項６】
レンズを介して得た被写体光を光電変換して電荷として蓄積する複数の画素のうち、遮光されていない有効画素領域に配置された各画素から有効画素信号として読み出した前記電荷に、所定のゲインをかけて出力するステップと、
前記レンズを閉じた状態で、前記アナログアンプのゲインの倍率を最小値から最大値までの間ですべて変化させて、前記有効画素領域内の垂直方向の各列における水平方向の所定行数内に配置された画素から画素値を読み出すステップと、前記読み出した画素値の相加平均値を算出し、前記算出した相加平均値をクランプ処理後の黒基準から減算することにより縦線量を検出するステップと、
前記縦線量に基づいて、縦線状の固定パターンノイズ除去用の補正値を算出するステップと、
前記算出された前記補正値を、前記有効画素信号に加算することにより、前記縦線状の固定パターンノイズを除去するステップと、
前記有効画素信号または、前記縦線状の固定パターンノイズが除去された縦線補正後の画素信号に、前記デジタルゲインを乗算するステップとを有する
撮像方法。
【請求項１】
光学的黒信号出力用に遮光された光学的黒領域及び、遮光されていない有効画素領域に、水平方向及び垂直方向にマトリクス状に配置され、レンズを介して得た被写体光を光電変換して電荷として蓄積する複数の画素と、
前記有効画素領域内の各画素から有効画素信号として読み出した前記電荷に、所定のゲインをかけて出力するアナログアンプと、
前記レンズを閉じた状態で、前記アナログアンプのゲインの倍率を最小値から最大値までの間ですべて変化させて、前記有効画素領域内の垂直方向の各列における水平方向の所定行数内に配置された画素から画素値を読み出し、前記読み出した画素値の相加平均値を算出し、前記算出した相加平均値をクランプ処理後の黒基準から減算することにより検出した縦線量に基づいて、縦線状の固定パターンノイズ除去用の補正値を算出する縦線検出部と、
前記縦線検出部で算出された前記補正値を、前記有効画素信号に加算することにより、前記縦線状の固定パターンノイズを除去する縦線補正部と、
前記有効画素信号または、前記縦線補正部で前記縦線状の固定パターンノイズが除去された縦線補正後の画素信号に、前記デジタルゲインを乗算する乗算器とを備えた
撮像装置。
【請求項２】
前記縦線検出部での前記相加平均値の算出は、少なくとも４フレーム分の各画素を対象として行われる
請求項１記載の撮像装置。
【請求項３】
前記縦線検出部と、前記縦線補正部と、前記乗算器は、前記有効画素領域内の画素から読み出した有効画素信号の画素値から所定のクランプ値を減算して前記黒レベルを固定するクランプ処理部の後段に配置され、かつ、入力された画素信号に前記クランプ値を加算して前記黒レベルを復元するペデスタル処理部の前段に配置される
請求項２記載の撮像装置。
【請求項４】
前記有効画素領域内に配置されたすべての前記有効画素信号の画素値の、少なくとも４フレーム分の相加平均値を算出し、前記有効画素領域内における前記相加平均値の最大値および／または平均値を算出し、前記相加平均値の最大値および／または平均値と前記有効画素信号の画素値との差分の大きさに応じて、シェーディング補正用の補正値を生成するシェーディング検出部をさらに備え、
前記シェーディング検出部で生成された前記シェーディング補正用の補正値は、前記乗算器によって、前記縦線補正後の画素信号に乗算される
請求項３記載の撮像装置。
【請求項５】
前記縦線検出部は、前記有効画素領域内の垂直方向の各列における、水平方向の所定行数内に配置された画素の画素値を、前記アナログアンプのすべての段数において、前記デジタルゲインを最大とした状態で取得してその相加平均値を算出し、
前記縦線補正部は、前記縦線検出部で生成された補正値を、前記デジタルゲインの逆数倍する
請求項３記載の撮像装置。
【請求項６】
レンズを介して得た被写体光を光電変換して電荷として蓄積する複数の画素のうち、遮光されていない有効画素領域に配置された各画素から有効画素信号として読み出した前記電荷に、所定のゲインをかけて出力するステップと、
前記レンズを閉じた状態で、前記アナログアンプのゲインの倍率を最小値から最大値までの間ですべて変化させて、前記有効画素領域内の垂直方向の各列における水平方向の所定行数内に配置された画素から画素値を読み出すステップと、前記読み出した画素値の相加平均値を算出し、前記算出した相加平均値をクランプ処理後の黒基準から減算することにより縦線量を検出するステップと、
前記縦線量に基づいて、縦線状の固定パターンノイズ除去用の補正値を算出するステップと、
前記算出された前記補正値を、前記有効画素信号に加算することにより、前記縦線状の固定パターンノイズを除去するステップと、
前記有効画素信号または、前記縦線状の固定パターンノイズが除去された縦線補正後の画素信号に、前記デジタルゲインを乗算するステップとを有する
撮像方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図８】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図７】
【図９】
【図２】
【図３】
【図４】
【図５】
【図６】
【図８】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図７】
【図９】
【公開番号】特開２０１２−９００５１（Ｐ２０１２−９００５１Ａ）
【公開日】平成２４年５月１０日（２０１２．５．１０）
【国際特許分類】
【出願番号】特願２０１０−２３４６５２（Ｐ２０１０−２３４６５２）
【出願日】平成２２年１０月１９日（２０１０．１０．１９）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
【公開日】平成２４年５月１０日（２０１２．５．１０）
【国際特許分類】
【出願日】平成２２年１０月１９日（２０１０．１０．１９）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
[ Back to top ]