ＣＣＤ信号処理装置および撮像装置
【課題】ＣＣＤ固体撮像素子の撮像データについて、たとえ高輝度被写体が動いた場合であっても、スミア補正を適切に実行可能にする。
【解決手段】ＣＣＤ固体撮像素子１１は、Ｎ（Ｎは２以上の整数）ラインの画像信号と、このＮラインの画像信号を補正するための１ラインのスミア信号とを、出力ラインを変えながら１画素分ずつ順次出力する。ＡＤ変換部１２は固体撮像素子１１の出力信号をＡＤ変換する。スミアデータ分離部２０はＡＤ変換部１２から出力されたセンサー出力データからスミアデータを分離し、各画像データに対応する補正用スミアデータに変換する。減算回路１７は各画像データから、対応する補正用スミアデータを減算してスミア補正を行う。
【解決手段】ＣＣＤ固体撮像素子１１は、Ｎ（Ｎは２以上の整数）ラインの画像信号と、このＮラインの画像信号を補正するための１ラインのスミア信号とを、出力ラインを変えながら１画素分ずつ順次出力する。ＡＤ変換部１２は固体撮像素子１１の出力信号をＡＤ変換する。スミアデータ分離部２０はＡＤ変換部１２から出力されたセンサー出力データからスミアデータを分離し、各画像データに対応する補正用スミアデータに変換する。減算回路１７は各画像データから、対応する補正用スミアデータを減算してスミア補正を行う。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ＣＣＤ（Charge Coupled Device）を用いた固体撮像素子の信号を処理する技術に関するものであり、特に、高輝度被写体を撮像したときに発生するスミアによる画質の劣化を補正する技術に関する。
【背景技術】
【０００２】
ＣＣＤイメージ・センサにおいて、高輝度被写体を撮像したとき、スミアと呼ばれるノイズが発生する場合がある。これは、輝度が高い部分に余分に発生する電荷が、すでに光電変換が終わって垂直ＣＣＤで転送している信号電荷に混入するために生じる。スミアが発生すると、輝度の高い部分の上下に筋や帯状の白っぽいノイズが見える。
【０００３】
このスミアを補正するために、従来では例えば、スミアは同一列において発生することを利用して、撮像部の上下端に遮光されたスミア補正用の光電変換素子を設け、これらの光電変換素子によって撮像されたＯＢ（Optical Black）データの平均値を用いて、同一列の撮像データを減算補正している（特許文献１参照）。
【特許文献１】特開２００７−１１０３７５号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
ところが、従来技術では次のような問題がある。
【０００５】
例えば１フレーム分のデータの読み出し中に高輝度被写体が動いたとき、高輝度被写体の動きに合わせてスミアの発生箇所も動いてしまう。このとき、スミアは列が揃った直線状にはならずに、斜めにうねった線として現れる。ここで、上述のように、撮像部の上下端に設けたスミア補正用光電変換素子のＯＢデータを用いて減算補正を行うと、スミアのうち補正できない部分が残ってしまう。また、スミアが現れていない部分について不要な補正がなされることになり、画像データが欠落し画質が悪化してしまう。
【０００６】
本発明は、かかる点に鑑みてなされたものであり、ＣＣＤ固体撮像素子の撮像データについて、たとえ高輝度被写体が動いた場合であっても、スミア補正を適切に実行可能にすることを目的とする。
【課題を解決するための手段】
【０００７】
本発明では、ＣＣＤ固体撮像素子として、Ｎ（Ｎは２以上の整数）ラインの画像信号と、このＮラインの画像信号を補正するための１ラインのスミア信号とを、出力ラインを変えながら１画素分ずつ、順次出力する構成を有するものを前提とする。このような出力を可能にするためには、例えば、ＣＣＤの駆動手法によって、画像信号をＮラインおきに間引いて読み出すようにすればよい。間引かれたラインでは、垂直転送ＣＣＤにあるスミア信号のみが出力されることになり、この結果、Ｎラインの画像信号と１ラインのスミア信号とが順次出力される。
【０００８】
そして本発明は、前記ＣＣＤ固体撮像素子から出力された信号を処理するＣＣＤ信号処理装置として、前記ＣＣＤ固体撮像素子の出力信号をＡＤ変換し、画像データおよびスミアデータを含むセンサー出力データとしてするＡＤ変換部と、前記ＡＤ変換部から出力されたセンサー出力データからスミアデータを分離し、各画像データに対応する補正用スミアデータに変換して出力するスミアデータ分離部と、前記ＡＤ変換部から出力されたセンサー出力データのうちの画像データから、前記スミアデータ分離部から出力された、対応する補正用スミアデータを減算してスミア補正を行う減算回路とを備えている。
【０００９】
この発明によって、Ｎラインの各画像データに対応する補正用スミアデータが、スミアデータ分離部から出力され、減算回路によって、各画像データから、対応する補正用スミアデータが減算されてスミア補正が実現される。したがって、たとえ高輝度被写体が動いた場合であっても、スミア補正を適切に実行することができる。
【発明の効果】
【００１０】
本発明によると、たとえ高輝度被写体が動いた場合であっても、スミア補正を適切に実行することができるので、良好な画質の画像データを出力することができる。
【発明を実施するための最良の形態】
【００１１】
以下、本発明の実施形態について、図面を参照して詳細に説明する。
【００１２】
（第１の実施形態）
図１は本発明の第１の実施形態に係る、ＣＣＤ信号処理装置を含む撮像装置を示すブロック図である。図１において、１１はＣＣＤを用いた固体撮像素子、１２は固体撮像素子１１の出力信号をＡＤ変換するＡＤ変換部、１３はＯＢ（Optical Black）レベル補正部、１４はＡＤ変換およびＯＢレベル補正後のセンサー出力データからスミアデータを抽出するスミアサンプリング部、１５は抽出されたスミアデータのレベル調整を行うレベル調整部、１６は過補正すなわち減算によるスミア補正が過剰になることを抑制するために抽出されたスミアデータを補正する過補正抑制部１６、１７はセンサー出力データからスミアデータを減算してスミア補正を行う減算回路である。
【００１３】
Ａ／Ｄ変換部１２以降の構成によって、ＣＣＤ信号処理装置が構成されている。また、スミアサンプリング部１４、レベル調整部１５および過補正抑制部１６によって、センサー出力データからスミアデータを分離し、各画像データに対応する補正用スミアデータに変換して出力するスミアデータ分離部２０が構成されている。
【００１４】
固体撮像素子１１は、効果的なスミア補正が実現可能となるように、次のように構成されている。すなわち、Ｎ（Ｎは２以上の整数）ラインの画像信号と、これらＮラインの画像信号に対応する１ラインのスミア信号とを、併せて出力可能となっている。そして、Ｎラインの画像信号と１ラインのスミア信号とを、出力ラインを変えながら１画素分ずつ、順次出力する。
【００１５】
本実施形態では、Ｎ＝２、すなわち、固体撮像素子１１は、２ラインの画像信号と１ラインのスミア信号とを併せて出力するものとする。図２は固体撮像素子１１の出力における、画素の空間配列位置と出力順との関係の一例を示す図である。各数字は出力順を表している。１ライン目が画像ライン０、２ライン目がスミアライン、３ライン目が画像ライン１となっている。図３は図２の場合における実際のデータ出力例である。
【００１６】
また本実施形態では、固体撮像素子１１の仕様として、次のことを前提とする。
１）出力される３ラインのうち、スミアラインがどのラインであるかは不定
すなわち、図２の例では２ライン目がスミアラインになっているが、１ライン目や３ライン目がスミアラインになる場合もあり得る。ただし、ＣＣＤ信号処理時には、スミアラインがどのラインであるかは既知であるものとする。
２）各ラインの水平位置ずれ量は不定
すなわち、図２の例では１ライン目に対して、２ライン目が左に１画素分ずれており、３ライン目が左に３画素分ずれているが、このずれ量は不定である。例えば、３ライン目が１ライン目に対して右に１画素分ずれる場合もある。ただし、ＣＣＤ信号処理時には、このずれ量がどの程度であるかは既知であるものとする。
３）同一列における、画像データとスミアデータとの出力順のずれ量は不定
すなわち、図２の例では、画像ライン０とスミアラインとの出力順のずれ量は−４であり、画像ライン１とスミアラインとの出力順のずれ量は＋７である（図４参照）が、このずれ量は不定である。ただし、ＣＣＤ信号処理時には、このずれ量がどの程度であるかは既知であるものとする。また本実施形態では、このずれ量は±８までであるものとしている。ただし、このずれ量の許容範囲は±８に限定されるものではない。
【００１７】
ＯＢレベル補正部１３は、Ａ／Ｄ変換部１２から出力されたデータについて、ＯＢレベルを補正する。具体的には例えば、予め、ＯＢ領域の画像データを積算しておき、その平均値からＯＢレベル補正値を求めておく。そして、出力データから、そのＯＢレベル補正値を減算する。なお、同一フレームにおけるＯＢ領域の画像データを用いることが好ましいが、例えば前フレームのＯＢ領域の画像データを用いてもかまわない。あるいは、ＯＢレベル補正値を任意に設定してもかまわない。
【００１８】
図５はスミアサンプリング部１４およびレベル調整部１５の具体的な構成例を示す図である。図５において、スミアサンプリング部１４は、ライン判別カウンタ１０１，判別ゲート１０２，１０６，１０７、スミアデータ記憶部１０３、セレクタ１０４，１０５，１１０、および遅延部１０８，１０９，１１１を備えている。レベル調整部１５は、乗算値選択部１２０および乗算部１２１を備えている。
【００１９】
ライン判別カウンタ１０１はセンサー出力データに同期した３進カウンタであり、データ出力タイミングに合わせて値「０」「１」「２」を繰り返し出力する。このライン判別カウンタ１０１の出力を用いることによって、センサー出力データからスミアデータのみを抽出することができる。いま図６に示すとおり、ライン判別カウンタ１０１の出力のうち、「１」が画像ライン０に対応し、「２」がスミアラインに対応し、「０」が画像ライン１に対応するものとする。
【００２０】
判別ゲート１０２は、ライン判別カウンタ１０１の出力がスミアライン判別値すなわち「２」に一致したとき、出力をアサートする。スミアデータ記憶部１０３は、直列接続された所定数（図５では６個）の記憶素子１０３ａ〜１０３ｆを有しており、判別ゲート１０２の出力がアサートされたとき、センサー出力データを取り込む。また同時に、すでに記憶しているデータをシフトする。この動作によって、スミアデータ記憶部１０３は、過去６個のスミアデータを常に記憶している。
【００２１】
セレクタ１０４，１０５は、選択信号ＳＥＬ０，ＳＥＬ１に応じて、記憶素子１０３ａ〜１０３ｆに記憶されたスミアデータのうちのいずれかを選択出力する。セレクタ１０４の出力は画像ライン０のデータに対応するスミアデータであり、セレクタ１０５の出力は画像ライン１のデータに対応するスミアデータである。選択信号ＳＥＬ０，ＳＥＬ１は、同一列における画像データとスミアデータとの出力順のずれ量に応じて、設定する。
【００２２】
判別ゲート１０６は、ライン判別カウンタ１０１の出力が画像ライン０判別値すなわち「１」に一致したとき、出力をアサートする。判別ゲート１０７は、ライン判別カウンタ１０１の出力が画像ライン１判別値すなわち「０」に一致したとき、出力をアサートする。判別ゲート１０６，１０７の出力は、セレクタ１０４，１０５の出力とタイミングを合わせるために遅延部１０８，１０９によって遅延された後、セレクタ１１０に選択信号として与えられる。
【００２３】
セレクタ１１０は、選択信号に従って、セレクタ１０４，１０５の出力のいずれかをスミアデータとして出力する。すなわち、判別ゲート１０６の出力がアサートされているときは、セレクタ１０４の出力を選択出力する一方、判別ゲート１０７の出力がアサートされているときは、セレクタ１０５の出力を選択出力する。判別ゲート１０６，１０７の出力がいずれもアサートされていないときは、セレクタ１１０の出力は不定となる。
【００２４】
また、センサー出力データは、セレクタ１１０から出力されるスミアデータとタイミングを合わせるために遅延部１１１によって遅延されて出力される。以上のような動作によって、スミアサンプリング部１４からスミアデータとセンサー出力データとが出力される。ライン判別カウンタ１０１、判別ゲート１０２およびスミアデータ記憶部１０３によって、センサー出力データからスミアデータを抽出し、所定数蓄積する第１手段が構成されている。遅延部１１１によって、センサー出力データを遅延させる第２手段が構成されている。セレクタ１０４，１０５，１１０、ライン判別カウンタ１０１、判別ゲート１０６，１０７、遅延部１０８，１０９によって、第２手段による遅延後のセンサー出力データにおける各画像データに対応するように、第１手段からスミアデータを選択出力する第３手段が構成されている。
【００２５】
また、いま図６に示すように、画像ライン０のスミア補正のためのスミアレベル調整には乗算値Ｇ０を用い、画像ライン１のスミア補正のためのスミアレベル調整には乗算値Ｇ１を用いるものとする。乗算値選択部１２０は、判別ゲート１０６，１０７の出力を選択信号として受け、スミアデータに乗算するための乗算値を選択出力する。判別ゲート１０６の出力がアサートされているときは、画像ライン０向けの乗算値Ｇ０を選択する一方、判別ゲート１０７の出力がアサートされているときは、画像ライン１向けの乗算値Ｇ１を選択する。乗算部１２１はセレクタ１１０から出力されたスミアデータに、乗算値選択部１２０から選択出力された乗算値を乗算し、出力する。以上のような動作によって、レベル調整部１５において、スミアデータのレベル調整がなされる。
【００２６】
図７は図５の構成における各データの時間変化の一例を示す図であり、図６に対応している。図７に示すように、ライン判別カウンタ１０１の出力が「２」のときのセンサー出力データ（「１１」「１４」「１７」」…）がスミアデータ記憶部１０３に順次蓄積されていき、蓄積されたデータの中から、画像ライン０，１の各データに対応するスミアデータがセレクタ１１０から出力される。例えば、画像ライン１のデータ「１５」に対応してスミアデータ「８」が出力され、画像ライン０のデータ「１６」に対応してスミアデータ「２０」が出力される。また、スミアデータが画像ライン０向けか画像ライン１向けかに応じて、乗算値が選択されている。図７の例では、画像ライン０向けの乗算値Ｇ０を３、画像ライン１向けの乗算値Ｇ１を２としている。
【００２７】
このような動作によって、上述した仕様の固体撮像素子の出力信号から、スミアデータを分離し、レベル調整した上で、画像データとタイミングを合わせて出力することができる。
【００２８】
なお、図５の構成では、出力される３ラインのうちスミアラインがどのラインになっても、スミアライン判別値の設定によって、対応可能である。また、画像データとスミアデータとの出力順のずれ量が変わっても、セレクタ１０４，１０５の選択信号ＳＥＬ１，２の設定によって、対応可能である。また、出力順のずれ量が±８よりも大きくなる可能性がある場合は、スミアデータ記憶部１０３の記憶素子の個数を増やして、選択対象となるスミアデータを増やすようにすればよい。
【００２９】
また、画像ラインの数が２よりも多い場合は、ライン判別カウンタ１０１のカウント上限値を増やすとともに、スミアデータを選択するセレクタ１０４，１０５、および画像ライン用の判別ゲート１０６，１０７の個数を増やして対応すればよい。
【００３０】
図８は過補正抑制部１６の構成例を示すブロック図である。図８の過補正抑制部１６は、スミアデータのレベルが低すぎるときにスミアデータを補正する低スミアレベル補正部１３１と、スミアデータのレベルが高すぎるときにスミアデータを補正する高スミアレベル補正部１３２と、画像データのレベルが低すぎるか高すぎるときにスミアデータを補正する低・高照度レベル補正部１３３とを備えている。
【００３１】
低スミアレベル補正部１３１は、スミアデータのレベルが低すぎるとき、スミアデータの減算によるＳ／Ｎの悪化を回避するために、スミアデータを補正する。具体的には例えば、図９（ａ）に示すような補正を行う。すなわち、入力されたスミアデータが所定のしきい値ＴＨ１を下回っているときは、スミアデータを０にする。図９（ａ）のような補正処理は、例えば図９（ｂ）の下に示すような入出力関係を有する演算部を設けて、この演算部の出力を入力されたスミアデータから減算することによって、実現される。なお、しきい値ＴＨ１を下回っているときにスミアデータを０にする必要は必ずしもなく、そのレベルを下げれば、Ｓ／Ｎ悪化回避の効果は得られる。
【００３２】
高スミアレベル補正部１３２は、スミアデータのレベルが高すぎるとき、スミアデータの過度の減算によるデータ欠落を回避するために、スミアデータを補正する。図１０に示すように、スミア成分が大きすぎるためにスミア成分と信号成分との和が画像撮像素子のダイナミックレンジを大きく上回った場合、画像データからその大きなスミアデータを減算した場合には、データ欠落が生じる可能性がある。そこで、スミアデータのレベルが高すぎるときには、高スミアレベル補正部１３２によってスミアデータを補正する。具体的には例えば、図１１に示すような補正を行う。すなわち、入力されたスミアデータが所定のしきい値ＴＨ２を超えたときは、１より小さい補正値ＳＬ１をスミアデータにかけて、そのレベルを下げる。なお、このような補正処理は、デジタル回路技術によって容易に実現可能である。
【００３３】
低・高照度レベル補正部１３３は、画像データのレベルが低すぎるとき、あるいは、高すぎるとき、この画像データに対応するスミアデータを補正する。画像データのレベルが低すぎるときにスミアデータを補正する目的は、スミアデータの減算によるＳ／Ｎの悪化を回避するためである。画像データのレベルが高すぎるときにスミアデータを補正する目的は、スミアデータの過度の減算によるデータ欠落を回避するためである。具体的には例えば、図１２に示すような補正を行う。すなわち、入力された画像データが所定の第１しきい値ＴＨ３を下回っているときは、スミアデータの補正ゲインを１より小さい値に設定し、そのレベルを下げる。補正ゲインを下げる際の傾きＳＬ２も設定可能とする。また、入力された画像データが所定の第２しきい値ＴＨ４を超えているときも、スミアデータの補正ゲインを１より小さい値に設定し、そのレベルを下げる。補正ゲインを下げる際の傾きＳＬ３も設定可能とする。
【００３４】
なお、過補正抑制部１６における処理は、上述したものに限られるものではない。例えば、低スミアレベル補正部１３１および高スミアレベル補正部１３２におけるスミアデータを用いた補正は、図９および図１１に示した手法に限られず、例えば図１２のような手法を用いてもかまわない。また、低スミアレベル補正部１３１、高スミアレベル補正部１３２および低・高照度レベル補正部１３３のうちのいずれか１つまたは２つを省いてもよい。あるいは、仕様によっては、過補正抑制部１６を省くことも可能である。
【００３５】
減算回路１７は、過補正抑制回路１６から出力された補正用スミアデータを、スミアサンプリング部１４から受けた画像データから減算する。これによって、スミア補正が実現される。
【００３６】
なお、ＯＢレベル補正部１３は、各ライン毎に、個別にＯＢレベル補正を行うようにしてもよい。これにより、ライン毎にＯＢレベルがばらついている場合であっても、このばらつきを補正することが可能になる。具体的には例えば、図２に示す画像ライン０，１およびスミアライン毎にＯＢレベル補正値をそれぞれ設定しておき、上述したライン判別カウンタ１０１の出力を用いて、それぞれのラインから対応するＯＢレベル補正値を減算するようにすればよい。
【００３７】
以上のように本実施形態によると、Ｎラインの画像信号とこのＮラインの画像信号を補正するための１ラインのスミア信号とを、出力ラインを変えながら１画素分ずつ順次出力する構成を有するＣＣＤ固体撮像素子に対して、ＣＣＤ信号処理装置は、Ｎラインの各画像データに対応する補正用スミアデータを分離して、各画像データから、対応する補正用スミアデータを減算してスミア補正を実行することができる。したがって、たとえ高輝度被写体が動いた場合であっても、スミア補正を適切に実行することができる。
【００３８】
（第２の実施形態）
本発明の第２の実施形態は、スミアデータに存在するランダムノイズ等の影響によって、画像データからスミアデータを減算したときにＳ／Ｎが悪化してしまう、という問題を回避することを目的としたものである。
【００３９】
図１３は本実施形態に係る、ＣＣＤ信号処理装置を含む撮像装置を示すブロック図である。図１３の構成は図１の構成とほぼ同様であり、共通の構成要素には同一の符号を付けており、ここではその詳細な説明を省略する。
【００４０】
図１３の構成では、スミアデータ分離部２０Ａは、スミアサンプリング部１４、レベル調整部１５および過補正抑制部１６に加えて、スミアデータ平均化回路３０と、１ライン分のスミアデータを蓄積するためのラインメモリー３１とを備えている。スミアデータ平均化回路３０は、スミアサンプリング部１４によって抽出されたスミアデータについて、ラインメモリー３１に蓄積されたスミアデータの同一列のデータを用いて、平均化処理を行う。平均化処理後のスミアデータは、ラインメモリー３１に再度蓄積されるとともに、レベル調整部１５に出力される。
【００４１】
スミアデータ平均化回路３０における平均化処理は、例えば、ＦＩＲ（Finite Inpulse Response）処理、ＩＩＲ（Infinite Inpulse Response）処理等のフィルタ演算処理であればよい。あるいは、抽出されたスミアデータとラインメモリー３１に蓄積されたスミアデータとの大小関係を比較し、大きい方または小さい方を用いる等の方法もある。
【００４２】
また、この平均化処理を行うことによって、補正用スミアデータの出力タイミングが第１の実施形態よりも遅くなるが、例えば、図５の構成における遅延部１１での遅延時間を調整することによって、センサー出力データとのタイミングを合わせることができる。
【００４３】
これにより、減算回路１７においてセンサー出力から減算される補正用スミアデータは、平均化処理後のスミアデータとなる。したがって、スミアデータに存在するランダムノイズ等の影響による画像データのＳ／Ｎの悪化を、回避することが可能になる。
【００４４】
（第３の実施形態）
本発明の第３の実施形態は、スミアの原因となる高輝度被写体が点光源である場合に、固体撮像素子１１における画素の配列やその駆動方法の影響によって撮影画像上でスミアが着色したり、あるいは、スミアデータの過補正により画像データの欠落が発生したりする、といった問題を回避することを目的としたものである。
【００４５】
図１４は本実施形態に係る、ＣＣＤ信号処理装置を含む撮像装置を示すブロック図である。図１４の構成は図１の構成とほぼ同様であり、共通の構成要素には同一の符号を付けており、ここではその詳細な説明を省略する。
【００４６】
図１４の構成では、スミアデータ分離部２０Ｂは、スミアサンプリング部１４、レベル調整部１５および過補正抑制部１６に加えて、レベル調整部１５から出力されたスミアデータについて、所定のスミアレベルしきい値を超えたレベルが、所定の連続画素数しきい値を超えた画素数分、連続しているか否かを判定するスミア連続検出回路３２を備えている。そして、過補正抑制部１６は、スミア連続検出回路３２において連続していないと判定されたとき、レベル調整部１５から出力されたスミアデータのレベルを下げる補正を行う。
【００４７】
図１５はスミア連続検出回路３２の具体的な構成例を示す図である。また図１６はスミア連続検出回路３２における判定動作を示すイメージ図である。図１５において、スミア連続検出回路３２は、所定数の画素分のスミアデータを順次記憶するスミアデータ記憶部３２１と、スミアデータ記憶部３２１に記憶された所定数の画素分のスミアデータを入力として、比較判定動作を行うスミアレベル比較部３２２とを備えている。スミアレベル比較部３２２は、第１のしきい値としてのスミアレベルしきい値と、第２のしきい値としての連続画素数しきい値とが与えられる。そして図１６に示すように、入力されたスミアデータについて、スミアレベルしきい値を超えたレベルが連続画素数しきい値を超えた画素数分、連続しているか否かを、判定する。図１６（ａ）はスミアレベルしきい値を超えたレベルが連続画素数しきい値を超えた画素数分連続している場合、図１６（ｂ）は連続していない場合である。
【００４８】
スミア連続検出回路３２は、この判定結果を過補正抑制部１６に出力する。この際、判定結果が「連続していない」であるときには、スミアレベルしきい値を超えたレベルが連続している画素数の値（スミア連続画素数）を、併せて出力するのが好ましい。
【００４９】
図１７は本実施形態における過補正抑制部１６での補正処理の例を示す図である。図１７に示すように、過補正抑制部１６は、スミア連続検出回路３２の判定結果が「連続している」であるとき（すなわちスミア連続画素数が連続画素数しきい値を超えているとき）は、補正ゲインを「１」に保つ。一方、スミア連続検出回路３２の判定結果が「連続していない」であるときは、補正ゲインを「１」よりも小さくする。このとき、スミア連続検出回路３２から出力されたスミア連続画素数が小さくなるにつれて、補正ゲインをより小さくするようにしてもよい。補正ゲインを下げる際の傾きも設定可能とする。
【００５０】
これにより、減算回路１７においてセンサー出力から減算される補正用スミアデータは、スミアが連続して生じていない場合には、小さく抑制される。したがって、スミアの原因が点光源である場合に、画像上でスミアが着色したり、画像データの欠落が発生したりするといった問題を回避することができる。
【００５１】
（第４の実施形態）
本発明の第４の実施形態は、高輝度被写体が動くことによって、画像データに含まれるスミア成分と補正用スミアデータとの相関が低くなることに起因する、スミア抑圧効果の低下を回避することを目的とする。
【００５２】
図１８は本実施形態に係る、ＣＣＤ信号処理装置を含む撮像装置を示すブロック図である。図１８の構成は図１の構成とほぼ同様であり、共通の構成要素には同一の符号を付けており、ここではその詳細な説明を省略する。
【００５３】
図１８の構成では、スミアデータ分離部２０Ｃは、スミアサンプリング部１４、レベル調整部１５および過補正抑制部１６に加えて、レベル調整部１５から出力されたスミアデータについて、スミアが生じている範囲の位置が複数のラインにおいて変化しているか否かを判定するスミア位置変化検出回路３５を備えている。そして、過補正抑制部１６は、スミア位置変化検出回路３５において変化していると判定されたとき、レベル調整部１５から出力されたスミアデータの補正を行う。
【００５４】
図１９はスミア位置変化検出回路３５の具体的な構成例を示す図である。また図２０はスミア位置変化検出回路３５における判定動作を示すイメージ図である。図１９において、スミア位置変化検出回路３５は、所定数のライン分のスミアデータを順次記憶するスミアデータ記憶部３５１と、スミアデータ記憶部３５１に記憶された各ラインのスミアデータを入力として、スミア位置の検出動作を行うスミア位置検出部３５２とを備えている。スミア位置検出部３５２は、所定のしきい値としてのスミアレベルしきい値と、スミア傾きしきい値とが与えられる。そして図２０に示すように、入力されたスミアデータについて、スミアレベルしきい値を超えたレベルの範囲（図中、ハッチを付した部分）の位置が、複数のラインにおいて、スミア傾きしきい値が示す所定限度を超えて変化しているか否かを判定する。すなわち、ｎラインにおいて、スミアレベルしきい値を超えたレベルの範囲が、ｍ画素分移動したとき、
スミアの傾き ＝ ｎ／ｍ
（ｍ＝０のとき、傾きは最大とする）
を算出し、この値がスミア傾きしきい値を下回っているかを判定する。下回っているとき、スミア位置の変化が所定限度を超えている、と判定する。
【００５５】
スミア位置変化検出回路３５は、この判定結果を過補正抑制部１６に出力する。この際、判定結果が「所定限度を超えて変化している」であるときには、スミアの傾きを、併せて出力するのが好ましい。この判定結果は、スミアの原因となる高輝度被写体が移動したか否か、またその移動速度がどの程度であるか、を表している。
【００５６】
図２１は本実施形態における過補正抑制部１６での補正処理の例を示す図である。図２１に示すように、過補正抑制部１６は、スミア位置変化検出回路３５の判定結果が「所定限度を超えて変化していない」であるとき（すなわちスミアの傾きがスミア傾きしきい値を超えているとき）は、補正ゲインを「１」に保つ。一方、スミア位置変化検出回路３５の判定結果が「所定限度を超えて変化している」であるときは、補正ゲインを変える。このとき、補正ゲインを変える際の傾きも設定可能とする。
【００５７】
これにより、減算回路１７においてセンサー出力から減算される補正用スミアデータは、スミア発生位置が複数ラインにおいて変化しているときは、それに応じて補正される。したがって、高輝度被写体の移動に起因するスミア抑圧効果の低下を回避することができる。
【産業上の利用可能性】
【００５８】
本発明では、たとえ高輝度被写体が動いた場合であっても、スミア補正を適切に実行することができるので、例えば、良好な画質の画像データを出力可能な撮像装置に有効である。
【図面の簡単な説明】
【００５９】
【図１】本発明の第１の実施形態に係る、ＣＣＤ信号処理装置を含む撮像装置を示すブロック図である。
【図２】固体撮像素子出力における、画素の空間配列位置と出力順との関係の一例である。
【図３】図２の場合における実際のデータ出力例である。
【図４】画像ラインとスミアラインとの出力順のずれ量を示す図である。
【図５】スミアサンプリング部およびレベル調整部の具体的な構成例を示す図である。
【図６】固体撮像素子出力と、ライン判別カウンタ値およびレベル調整のための乗算値との関係を示す図である。
【図７】図５の構成における各データの時間変化の一例である。
【図８】過補正抑制部の構成例を示すブロック図である。
【図９】低スミアレベル補正部における補正処理の例を示す図である。
【図１０】データ欠落が生じるメカニズムを説明するための図である。
【図１１】高スミアレベル補正部における補正処理の例を示す図である。
【図１２】低・高照度レベル補正部における補正処理の例を示す図である。
【図１３】本発明の第２の実施形態に係る、ＣＣＤ信号処理装置を含む撮像装置を示すブロック図である。
【図１４】本発明の第３の実施形態に係る、ＣＣＤ信号処理装置を含む撮像装置を示すブロック図である。
【図１５】スミア連続検出回路の具体的な構成例を示す図である。
【図１６】スミア連続検出回路の判定動作を示すイメージ図である。
【図１７】過補正抑制部での補正処理の例を示す図である。
【図１８】本発明の第４の実施形態に係る、ＣＣＤ信号処理装置を含む撮像装置を示すブロック図である。
【図１９】スミア位置変化検出回路の具体的な構成例を示す図である。
【図２０】スミア位置変化検出回路の判定動作を示すイメージ図である。
【図２１】過補正抑制部での補正処理の例を示す図である。
【符号の説明】
【００６０】
１１ 固体撮像素子
１２ ＡＤ変換部
１３ ＯＢレベル補正部
１４ スミアサンプリング部
１５ レベル調整部
１６ 過補正抑制部
１７ 減算回路
２０，２０Ａ，２０Ｂ，２０Ｃ スミアデータ分離部
３０ スミアデータ平均化回路
３１ ラインメモリー
３２ スミア連続検出回路
３５ スミア位置変化検出回路
１０１ ライン判別部
１０２，１０６，１０７ 判別ゲート
１０３ スミアデータ記憶部
１０３ａ〜１０３ｆ 記憶素子
１０４，１０５，１１０ セレクタ
１０８，１０９，１１１ 遅延部
１３１ 低スミアレベル補正部
１３２ 高スミアレベル補正部
１３３ 低・高照度レベル補正部
【技術分野】
【０００１】
本発明は、ＣＣＤ（Charge Coupled Device）を用いた固体撮像素子の信号を処理する技術に関するものであり、特に、高輝度被写体を撮像したときに発生するスミアによる画質の劣化を補正する技術に関する。
【背景技術】
【０００２】
ＣＣＤイメージ・センサにおいて、高輝度被写体を撮像したとき、スミアと呼ばれるノイズが発生する場合がある。これは、輝度が高い部分に余分に発生する電荷が、すでに光電変換が終わって垂直ＣＣＤで転送している信号電荷に混入するために生じる。スミアが発生すると、輝度の高い部分の上下に筋や帯状の白っぽいノイズが見える。
【０００３】
このスミアを補正するために、従来では例えば、スミアは同一列において発生することを利用して、撮像部の上下端に遮光されたスミア補正用の光電変換素子を設け、これらの光電変換素子によって撮像されたＯＢ（Optical Black）データの平均値を用いて、同一列の撮像データを減算補正している（特許文献１参照）。
【特許文献１】特開２００７−１１０３７５号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
ところが、従来技術では次のような問題がある。
【０００５】
例えば１フレーム分のデータの読み出し中に高輝度被写体が動いたとき、高輝度被写体の動きに合わせてスミアの発生箇所も動いてしまう。このとき、スミアは列が揃った直線状にはならずに、斜めにうねった線として現れる。ここで、上述のように、撮像部の上下端に設けたスミア補正用光電変換素子のＯＢデータを用いて減算補正を行うと、スミアのうち補正できない部分が残ってしまう。また、スミアが現れていない部分について不要な補正がなされることになり、画像データが欠落し画質が悪化してしまう。
【０００６】
本発明は、かかる点に鑑みてなされたものであり、ＣＣＤ固体撮像素子の撮像データについて、たとえ高輝度被写体が動いた場合であっても、スミア補正を適切に実行可能にすることを目的とする。
【課題を解決するための手段】
【０００７】
本発明では、ＣＣＤ固体撮像素子として、Ｎ（Ｎは２以上の整数）ラインの画像信号と、このＮラインの画像信号を補正するための１ラインのスミア信号とを、出力ラインを変えながら１画素分ずつ、順次出力する構成を有するものを前提とする。このような出力を可能にするためには、例えば、ＣＣＤの駆動手法によって、画像信号をＮラインおきに間引いて読み出すようにすればよい。間引かれたラインでは、垂直転送ＣＣＤにあるスミア信号のみが出力されることになり、この結果、Ｎラインの画像信号と１ラインのスミア信号とが順次出力される。
【０００８】
そして本発明は、前記ＣＣＤ固体撮像素子から出力された信号を処理するＣＣＤ信号処理装置として、前記ＣＣＤ固体撮像素子の出力信号をＡＤ変換し、画像データおよびスミアデータを含むセンサー出力データとしてするＡＤ変換部と、前記ＡＤ変換部から出力されたセンサー出力データからスミアデータを分離し、各画像データに対応する補正用スミアデータに変換して出力するスミアデータ分離部と、前記ＡＤ変換部から出力されたセンサー出力データのうちの画像データから、前記スミアデータ分離部から出力された、対応する補正用スミアデータを減算してスミア補正を行う減算回路とを備えている。
【０００９】
この発明によって、Ｎラインの各画像データに対応する補正用スミアデータが、スミアデータ分離部から出力され、減算回路によって、各画像データから、対応する補正用スミアデータが減算されてスミア補正が実現される。したがって、たとえ高輝度被写体が動いた場合であっても、スミア補正を適切に実行することができる。
【発明の効果】
【００１０】
本発明によると、たとえ高輝度被写体が動いた場合であっても、スミア補正を適切に実行することができるので、良好な画質の画像データを出力することができる。
【発明を実施するための最良の形態】
【００１１】
以下、本発明の実施形態について、図面を参照して詳細に説明する。
【００１２】
（第１の実施形態）
図１は本発明の第１の実施形態に係る、ＣＣＤ信号処理装置を含む撮像装置を示すブロック図である。図１において、１１はＣＣＤを用いた固体撮像素子、１２は固体撮像素子１１の出力信号をＡＤ変換するＡＤ変換部、１３はＯＢ（Optical Black）レベル補正部、１４はＡＤ変換およびＯＢレベル補正後のセンサー出力データからスミアデータを抽出するスミアサンプリング部、１５は抽出されたスミアデータのレベル調整を行うレベル調整部、１６は過補正すなわち減算によるスミア補正が過剰になることを抑制するために抽出されたスミアデータを補正する過補正抑制部１６、１７はセンサー出力データからスミアデータを減算してスミア補正を行う減算回路である。
【００１３】
Ａ／Ｄ変換部１２以降の構成によって、ＣＣＤ信号処理装置が構成されている。また、スミアサンプリング部１４、レベル調整部１５および過補正抑制部１６によって、センサー出力データからスミアデータを分離し、各画像データに対応する補正用スミアデータに変換して出力するスミアデータ分離部２０が構成されている。
【００１４】
固体撮像素子１１は、効果的なスミア補正が実現可能となるように、次のように構成されている。すなわち、Ｎ（Ｎは２以上の整数）ラインの画像信号と、これらＮラインの画像信号に対応する１ラインのスミア信号とを、併せて出力可能となっている。そして、Ｎラインの画像信号と１ラインのスミア信号とを、出力ラインを変えながら１画素分ずつ、順次出力する。
【００１５】
本実施形態では、Ｎ＝２、すなわち、固体撮像素子１１は、２ラインの画像信号と１ラインのスミア信号とを併せて出力するものとする。図２は固体撮像素子１１の出力における、画素の空間配列位置と出力順との関係の一例を示す図である。各数字は出力順を表している。１ライン目が画像ライン０、２ライン目がスミアライン、３ライン目が画像ライン１となっている。図３は図２の場合における実際のデータ出力例である。
【００１６】
また本実施形態では、固体撮像素子１１の仕様として、次のことを前提とする。
１）出力される３ラインのうち、スミアラインがどのラインであるかは不定
すなわち、図２の例では２ライン目がスミアラインになっているが、１ライン目や３ライン目がスミアラインになる場合もあり得る。ただし、ＣＣＤ信号処理時には、スミアラインがどのラインであるかは既知であるものとする。
２）各ラインの水平位置ずれ量は不定
すなわち、図２の例では１ライン目に対して、２ライン目が左に１画素分ずれており、３ライン目が左に３画素分ずれているが、このずれ量は不定である。例えば、３ライン目が１ライン目に対して右に１画素分ずれる場合もある。ただし、ＣＣＤ信号処理時には、このずれ量がどの程度であるかは既知であるものとする。
３）同一列における、画像データとスミアデータとの出力順のずれ量は不定
すなわち、図２の例では、画像ライン０とスミアラインとの出力順のずれ量は−４であり、画像ライン１とスミアラインとの出力順のずれ量は＋７である（図４参照）が、このずれ量は不定である。ただし、ＣＣＤ信号処理時には、このずれ量がどの程度であるかは既知であるものとする。また本実施形態では、このずれ量は±８までであるものとしている。ただし、このずれ量の許容範囲は±８に限定されるものではない。
【００１７】
ＯＢレベル補正部１３は、Ａ／Ｄ変換部１２から出力されたデータについて、ＯＢレベルを補正する。具体的には例えば、予め、ＯＢ領域の画像データを積算しておき、その平均値からＯＢレベル補正値を求めておく。そして、出力データから、そのＯＢレベル補正値を減算する。なお、同一フレームにおけるＯＢ領域の画像データを用いることが好ましいが、例えば前フレームのＯＢ領域の画像データを用いてもかまわない。あるいは、ＯＢレベル補正値を任意に設定してもかまわない。
【００１８】
図５はスミアサンプリング部１４およびレベル調整部１５の具体的な構成例を示す図である。図５において、スミアサンプリング部１４は、ライン判別カウンタ１０１，判別ゲート１０２，１０６，１０７、スミアデータ記憶部１０３、セレクタ１０４，１０５，１１０、および遅延部１０８，１０９，１１１を備えている。レベル調整部１５は、乗算値選択部１２０および乗算部１２１を備えている。
【００１９】
ライン判別カウンタ１０１はセンサー出力データに同期した３進カウンタであり、データ出力タイミングに合わせて値「０」「１」「２」を繰り返し出力する。このライン判別カウンタ１０１の出力を用いることによって、センサー出力データからスミアデータのみを抽出することができる。いま図６に示すとおり、ライン判別カウンタ１０１の出力のうち、「１」が画像ライン０に対応し、「２」がスミアラインに対応し、「０」が画像ライン１に対応するものとする。
【００２０】
判別ゲート１０２は、ライン判別カウンタ１０１の出力がスミアライン判別値すなわち「２」に一致したとき、出力をアサートする。スミアデータ記憶部１０３は、直列接続された所定数（図５では６個）の記憶素子１０３ａ〜１０３ｆを有しており、判別ゲート１０２の出力がアサートされたとき、センサー出力データを取り込む。また同時に、すでに記憶しているデータをシフトする。この動作によって、スミアデータ記憶部１０３は、過去６個のスミアデータを常に記憶している。
【００２１】
セレクタ１０４，１０５は、選択信号ＳＥＬ０，ＳＥＬ１に応じて、記憶素子１０３ａ〜１０３ｆに記憶されたスミアデータのうちのいずれかを選択出力する。セレクタ１０４の出力は画像ライン０のデータに対応するスミアデータであり、セレクタ１０５の出力は画像ライン１のデータに対応するスミアデータである。選択信号ＳＥＬ０，ＳＥＬ１は、同一列における画像データとスミアデータとの出力順のずれ量に応じて、設定する。
【００２２】
判別ゲート１０６は、ライン判別カウンタ１０１の出力が画像ライン０判別値すなわち「１」に一致したとき、出力をアサートする。判別ゲート１０７は、ライン判別カウンタ１０１の出力が画像ライン１判別値すなわち「０」に一致したとき、出力をアサートする。判別ゲート１０６，１０７の出力は、セレクタ１０４，１０５の出力とタイミングを合わせるために遅延部１０８，１０９によって遅延された後、セレクタ１１０に選択信号として与えられる。
【００２３】
セレクタ１１０は、選択信号に従って、セレクタ１０４，１０５の出力のいずれかをスミアデータとして出力する。すなわち、判別ゲート１０６の出力がアサートされているときは、セレクタ１０４の出力を選択出力する一方、判別ゲート１０７の出力がアサートされているときは、セレクタ１０５の出力を選択出力する。判別ゲート１０６，１０７の出力がいずれもアサートされていないときは、セレクタ１１０の出力は不定となる。
【００２４】
また、センサー出力データは、セレクタ１１０から出力されるスミアデータとタイミングを合わせるために遅延部１１１によって遅延されて出力される。以上のような動作によって、スミアサンプリング部１４からスミアデータとセンサー出力データとが出力される。ライン判別カウンタ１０１、判別ゲート１０２およびスミアデータ記憶部１０３によって、センサー出力データからスミアデータを抽出し、所定数蓄積する第１手段が構成されている。遅延部１１１によって、センサー出力データを遅延させる第２手段が構成されている。セレクタ１０４，１０５，１１０、ライン判別カウンタ１０１、判別ゲート１０６，１０７、遅延部１０８，１０９によって、第２手段による遅延後のセンサー出力データにおける各画像データに対応するように、第１手段からスミアデータを選択出力する第３手段が構成されている。
【００２５】
また、いま図６に示すように、画像ライン０のスミア補正のためのスミアレベル調整には乗算値Ｇ０を用い、画像ライン１のスミア補正のためのスミアレベル調整には乗算値Ｇ１を用いるものとする。乗算値選択部１２０は、判別ゲート１０６，１０７の出力を選択信号として受け、スミアデータに乗算するための乗算値を選択出力する。判別ゲート１０６の出力がアサートされているときは、画像ライン０向けの乗算値Ｇ０を選択する一方、判別ゲート１０７の出力がアサートされているときは、画像ライン１向けの乗算値Ｇ１を選択する。乗算部１２１はセレクタ１１０から出力されたスミアデータに、乗算値選択部１２０から選択出力された乗算値を乗算し、出力する。以上のような動作によって、レベル調整部１５において、スミアデータのレベル調整がなされる。
【００２６】
図７は図５の構成における各データの時間変化の一例を示す図であり、図６に対応している。図７に示すように、ライン判別カウンタ１０１の出力が「２」のときのセンサー出力データ（「１１」「１４」「１７」」…）がスミアデータ記憶部１０３に順次蓄積されていき、蓄積されたデータの中から、画像ライン０，１の各データに対応するスミアデータがセレクタ１１０から出力される。例えば、画像ライン１のデータ「１５」に対応してスミアデータ「８」が出力され、画像ライン０のデータ「１６」に対応してスミアデータ「２０」が出力される。また、スミアデータが画像ライン０向けか画像ライン１向けかに応じて、乗算値が選択されている。図７の例では、画像ライン０向けの乗算値Ｇ０を３、画像ライン１向けの乗算値Ｇ１を２としている。
【００２７】
このような動作によって、上述した仕様の固体撮像素子の出力信号から、スミアデータを分離し、レベル調整した上で、画像データとタイミングを合わせて出力することができる。
【００２８】
なお、図５の構成では、出力される３ラインのうちスミアラインがどのラインになっても、スミアライン判別値の設定によって、対応可能である。また、画像データとスミアデータとの出力順のずれ量が変わっても、セレクタ１０４，１０５の選択信号ＳＥＬ１，２の設定によって、対応可能である。また、出力順のずれ量が±８よりも大きくなる可能性がある場合は、スミアデータ記憶部１０３の記憶素子の個数を増やして、選択対象となるスミアデータを増やすようにすればよい。
【００２９】
また、画像ラインの数が２よりも多い場合は、ライン判別カウンタ１０１のカウント上限値を増やすとともに、スミアデータを選択するセレクタ１０４，１０５、および画像ライン用の判別ゲート１０６，１０７の個数を増やして対応すればよい。
【００３０】
図８は過補正抑制部１６の構成例を示すブロック図である。図８の過補正抑制部１６は、スミアデータのレベルが低すぎるときにスミアデータを補正する低スミアレベル補正部１３１と、スミアデータのレベルが高すぎるときにスミアデータを補正する高スミアレベル補正部１３２と、画像データのレベルが低すぎるか高すぎるときにスミアデータを補正する低・高照度レベル補正部１３３とを備えている。
【００３１】
低スミアレベル補正部１３１は、スミアデータのレベルが低すぎるとき、スミアデータの減算によるＳ／Ｎの悪化を回避するために、スミアデータを補正する。具体的には例えば、図９（ａ）に示すような補正を行う。すなわち、入力されたスミアデータが所定のしきい値ＴＨ１を下回っているときは、スミアデータを０にする。図９（ａ）のような補正処理は、例えば図９（ｂ）の下に示すような入出力関係を有する演算部を設けて、この演算部の出力を入力されたスミアデータから減算することによって、実現される。なお、しきい値ＴＨ１を下回っているときにスミアデータを０にする必要は必ずしもなく、そのレベルを下げれば、Ｓ／Ｎ悪化回避の効果は得られる。
【００３２】
高スミアレベル補正部１３２は、スミアデータのレベルが高すぎるとき、スミアデータの過度の減算によるデータ欠落を回避するために、スミアデータを補正する。図１０に示すように、スミア成分が大きすぎるためにスミア成分と信号成分との和が画像撮像素子のダイナミックレンジを大きく上回った場合、画像データからその大きなスミアデータを減算した場合には、データ欠落が生じる可能性がある。そこで、スミアデータのレベルが高すぎるときには、高スミアレベル補正部１３２によってスミアデータを補正する。具体的には例えば、図１１に示すような補正を行う。すなわち、入力されたスミアデータが所定のしきい値ＴＨ２を超えたときは、１より小さい補正値ＳＬ１をスミアデータにかけて、そのレベルを下げる。なお、このような補正処理は、デジタル回路技術によって容易に実現可能である。
【００３３】
低・高照度レベル補正部１３３は、画像データのレベルが低すぎるとき、あるいは、高すぎるとき、この画像データに対応するスミアデータを補正する。画像データのレベルが低すぎるときにスミアデータを補正する目的は、スミアデータの減算によるＳ／Ｎの悪化を回避するためである。画像データのレベルが高すぎるときにスミアデータを補正する目的は、スミアデータの過度の減算によるデータ欠落を回避するためである。具体的には例えば、図１２に示すような補正を行う。すなわち、入力された画像データが所定の第１しきい値ＴＨ３を下回っているときは、スミアデータの補正ゲインを１より小さい値に設定し、そのレベルを下げる。補正ゲインを下げる際の傾きＳＬ２も設定可能とする。また、入力された画像データが所定の第２しきい値ＴＨ４を超えているときも、スミアデータの補正ゲインを１より小さい値に設定し、そのレベルを下げる。補正ゲインを下げる際の傾きＳＬ３も設定可能とする。
【００３４】
なお、過補正抑制部１６における処理は、上述したものに限られるものではない。例えば、低スミアレベル補正部１３１および高スミアレベル補正部１３２におけるスミアデータを用いた補正は、図９および図１１に示した手法に限られず、例えば図１２のような手法を用いてもかまわない。また、低スミアレベル補正部１３１、高スミアレベル補正部１３２および低・高照度レベル補正部１３３のうちのいずれか１つまたは２つを省いてもよい。あるいは、仕様によっては、過補正抑制部１６を省くことも可能である。
【００３５】
減算回路１７は、過補正抑制回路１６から出力された補正用スミアデータを、スミアサンプリング部１４から受けた画像データから減算する。これによって、スミア補正が実現される。
【００３６】
なお、ＯＢレベル補正部１３は、各ライン毎に、個別にＯＢレベル補正を行うようにしてもよい。これにより、ライン毎にＯＢレベルがばらついている場合であっても、このばらつきを補正することが可能になる。具体的には例えば、図２に示す画像ライン０，１およびスミアライン毎にＯＢレベル補正値をそれぞれ設定しておき、上述したライン判別カウンタ１０１の出力を用いて、それぞれのラインから対応するＯＢレベル補正値を減算するようにすればよい。
【００３７】
以上のように本実施形態によると、Ｎラインの画像信号とこのＮラインの画像信号を補正するための１ラインのスミア信号とを、出力ラインを変えながら１画素分ずつ順次出力する構成を有するＣＣＤ固体撮像素子に対して、ＣＣＤ信号処理装置は、Ｎラインの各画像データに対応する補正用スミアデータを分離して、各画像データから、対応する補正用スミアデータを減算してスミア補正を実行することができる。したがって、たとえ高輝度被写体が動いた場合であっても、スミア補正を適切に実行することができる。
【００３８】
（第２の実施形態）
本発明の第２の実施形態は、スミアデータに存在するランダムノイズ等の影響によって、画像データからスミアデータを減算したときにＳ／Ｎが悪化してしまう、という問題を回避することを目的としたものである。
【００３９】
図１３は本実施形態に係る、ＣＣＤ信号処理装置を含む撮像装置を示すブロック図である。図１３の構成は図１の構成とほぼ同様であり、共通の構成要素には同一の符号を付けており、ここではその詳細な説明を省略する。
【００４０】
図１３の構成では、スミアデータ分離部２０Ａは、スミアサンプリング部１４、レベル調整部１５および過補正抑制部１６に加えて、スミアデータ平均化回路３０と、１ライン分のスミアデータを蓄積するためのラインメモリー３１とを備えている。スミアデータ平均化回路３０は、スミアサンプリング部１４によって抽出されたスミアデータについて、ラインメモリー３１に蓄積されたスミアデータの同一列のデータを用いて、平均化処理を行う。平均化処理後のスミアデータは、ラインメモリー３１に再度蓄積されるとともに、レベル調整部１５に出力される。
【００４１】
スミアデータ平均化回路３０における平均化処理は、例えば、ＦＩＲ（Finite Inpulse Response）処理、ＩＩＲ（Infinite Inpulse Response）処理等のフィルタ演算処理であればよい。あるいは、抽出されたスミアデータとラインメモリー３１に蓄積されたスミアデータとの大小関係を比較し、大きい方または小さい方を用いる等の方法もある。
【００４２】
また、この平均化処理を行うことによって、補正用スミアデータの出力タイミングが第１の実施形態よりも遅くなるが、例えば、図５の構成における遅延部１１での遅延時間を調整することによって、センサー出力データとのタイミングを合わせることができる。
【００４３】
これにより、減算回路１７においてセンサー出力から減算される補正用スミアデータは、平均化処理後のスミアデータとなる。したがって、スミアデータに存在するランダムノイズ等の影響による画像データのＳ／Ｎの悪化を、回避することが可能になる。
【００４４】
（第３の実施形態）
本発明の第３の実施形態は、スミアの原因となる高輝度被写体が点光源である場合に、固体撮像素子１１における画素の配列やその駆動方法の影響によって撮影画像上でスミアが着色したり、あるいは、スミアデータの過補正により画像データの欠落が発生したりする、といった問題を回避することを目的としたものである。
【００４５】
図１４は本実施形態に係る、ＣＣＤ信号処理装置を含む撮像装置を示すブロック図である。図１４の構成は図１の構成とほぼ同様であり、共通の構成要素には同一の符号を付けており、ここではその詳細な説明を省略する。
【００４６】
図１４の構成では、スミアデータ分離部２０Ｂは、スミアサンプリング部１４、レベル調整部１５および過補正抑制部１６に加えて、レベル調整部１５から出力されたスミアデータについて、所定のスミアレベルしきい値を超えたレベルが、所定の連続画素数しきい値を超えた画素数分、連続しているか否かを判定するスミア連続検出回路３２を備えている。そして、過補正抑制部１６は、スミア連続検出回路３２において連続していないと判定されたとき、レベル調整部１５から出力されたスミアデータのレベルを下げる補正を行う。
【００４７】
図１５はスミア連続検出回路３２の具体的な構成例を示す図である。また図１６はスミア連続検出回路３２における判定動作を示すイメージ図である。図１５において、スミア連続検出回路３２は、所定数の画素分のスミアデータを順次記憶するスミアデータ記憶部３２１と、スミアデータ記憶部３２１に記憶された所定数の画素分のスミアデータを入力として、比較判定動作を行うスミアレベル比較部３２２とを備えている。スミアレベル比較部３２２は、第１のしきい値としてのスミアレベルしきい値と、第２のしきい値としての連続画素数しきい値とが与えられる。そして図１６に示すように、入力されたスミアデータについて、スミアレベルしきい値を超えたレベルが連続画素数しきい値を超えた画素数分、連続しているか否かを、判定する。図１６（ａ）はスミアレベルしきい値を超えたレベルが連続画素数しきい値を超えた画素数分連続している場合、図１６（ｂ）は連続していない場合である。
【００４８】
スミア連続検出回路３２は、この判定結果を過補正抑制部１６に出力する。この際、判定結果が「連続していない」であるときには、スミアレベルしきい値を超えたレベルが連続している画素数の値（スミア連続画素数）を、併せて出力するのが好ましい。
【００４９】
図１７は本実施形態における過補正抑制部１６での補正処理の例を示す図である。図１７に示すように、過補正抑制部１６は、スミア連続検出回路３２の判定結果が「連続している」であるとき（すなわちスミア連続画素数が連続画素数しきい値を超えているとき）は、補正ゲインを「１」に保つ。一方、スミア連続検出回路３２の判定結果が「連続していない」であるときは、補正ゲインを「１」よりも小さくする。このとき、スミア連続検出回路３２から出力されたスミア連続画素数が小さくなるにつれて、補正ゲインをより小さくするようにしてもよい。補正ゲインを下げる際の傾きも設定可能とする。
【００５０】
これにより、減算回路１７においてセンサー出力から減算される補正用スミアデータは、スミアが連続して生じていない場合には、小さく抑制される。したがって、スミアの原因が点光源である場合に、画像上でスミアが着色したり、画像データの欠落が発生したりするといった問題を回避することができる。
【００５１】
（第４の実施形態）
本発明の第４の実施形態は、高輝度被写体が動くことによって、画像データに含まれるスミア成分と補正用スミアデータとの相関が低くなることに起因する、スミア抑圧効果の低下を回避することを目的とする。
【００５２】
図１８は本実施形態に係る、ＣＣＤ信号処理装置を含む撮像装置を示すブロック図である。図１８の構成は図１の構成とほぼ同様であり、共通の構成要素には同一の符号を付けており、ここではその詳細な説明を省略する。
【００５３】
図１８の構成では、スミアデータ分離部２０Ｃは、スミアサンプリング部１４、レベル調整部１５および過補正抑制部１６に加えて、レベル調整部１５から出力されたスミアデータについて、スミアが生じている範囲の位置が複数のラインにおいて変化しているか否かを判定するスミア位置変化検出回路３５を備えている。そして、過補正抑制部１６は、スミア位置変化検出回路３５において変化していると判定されたとき、レベル調整部１５から出力されたスミアデータの補正を行う。
【００５４】
図１９はスミア位置変化検出回路３５の具体的な構成例を示す図である。また図２０はスミア位置変化検出回路３５における判定動作を示すイメージ図である。図１９において、スミア位置変化検出回路３５は、所定数のライン分のスミアデータを順次記憶するスミアデータ記憶部３５１と、スミアデータ記憶部３５１に記憶された各ラインのスミアデータを入力として、スミア位置の検出動作を行うスミア位置検出部３５２とを備えている。スミア位置検出部３５２は、所定のしきい値としてのスミアレベルしきい値と、スミア傾きしきい値とが与えられる。そして図２０に示すように、入力されたスミアデータについて、スミアレベルしきい値を超えたレベルの範囲（図中、ハッチを付した部分）の位置が、複数のラインにおいて、スミア傾きしきい値が示す所定限度を超えて変化しているか否かを判定する。すなわち、ｎラインにおいて、スミアレベルしきい値を超えたレベルの範囲が、ｍ画素分移動したとき、
スミアの傾き ＝ ｎ／ｍ
（ｍ＝０のとき、傾きは最大とする）
を算出し、この値がスミア傾きしきい値を下回っているかを判定する。下回っているとき、スミア位置の変化が所定限度を超えている、と判定する。
【００５５】
スミア位置変化検出回路３５は、この判定結果を過補正抑制部１６に出力する。この際、判定結果が「所定限度を超えて変化している」であるときには、スミアの傾きを、併せて出力するのが好ましい。この判定結果は、スミアの原因となる高輝度被写体が移動したか否か、またその移動速度がどの程度であるか、を表している。
【００５６】
図２１は本実施形態における過補正抑制部１６での補正処理の例を示す図である。図２１に示すように、過補正抑制部１６は、スミア位置変化検出回路３５の判定結果が「所定限度を超えて変化していない」であるとき（すなわちスミアの傾きがスミア傾きしきい値を超えているとき）は、補正ゲインを「１」に保つ。一方、スミア位置変化検出回路３５の判定結果が「所定限度を超えて変化している」であるときは、補正ゲインを変える。このとき、補正ゲインを変える際の傾きも設定可能とする。
【００５７】
これにより、減算回路１７においてセンサー出力から減算される補正用スミアデータは、スミア発生位置が複数ラインにおいて変化しているときは、それに応じて補正される。したがって、高輝度被写体の移動に起因するスミア抑圧効果の低下を回避することができる。
【産業上の利用可能性】
【００５８】
本発明では、たとえ高輝度被写体が動いた場合であっても、スミア補正を適切に実行することができるので、例えば、良好な画質の画像データを出力可能な撮像装置に有効である。
【図面の簡単な説明】
【００５９】
【図１】本発明の第１の実施形態に係る、ＣＣＤ信号処理装置を含む撮像装置を示すブロック図である。
【図２】固体撮像素子出力における、画素の空間配列位置と出力順との関係の一例である。
【図３】図２の場合における実際のデータ出力例である。
【図４】画像ラインとスミアラインとの出力順のずれ量を示す図である。
【図５】スミアサンプリング部およびレベル調整部の具体的な構成例を示す図である。
【図６】固体撮像素子出力と、ライン判別カウンタ値およびレベル調整のための乗算値との関係を示す図である。
【図７】図５の構成における各データの時間変化の一例である。
【図８】過補正抑制部の構成例を示すブロック図である。
【図９】低スミアレベル補正部における補正処理の例を示す図である。
【図１０】データ欠落が生じるメカニズムを説明するための図である。
【図１１】高スミアレベル補正部における補正処理の例を示す図である。
【図１２】低・高照度レベル補正部における補正処理の例を示す図である。
【図１３】本発明の第２の実施形態に係る、ＣＣＤ信号処理装置を含む撮像装置を示すブロック図である。
【図１４】本発明の第３の実施形態に係る、ＣＣＤ信号処理装置を含む撮像装置を示すブロック図である。
【図１５】スミア連続検出回路の具体的な構成例を示す図である。
【図１６】スミア連続検出回路の判定動作を示すイメージ図である。
【図１７】過補正抑制部での補正処理の例を示す図である。
【図１８】本発明の第４の実施形態に係る、ＣＣＤ信号処理装置を含む撮像装置を示すブロック図である。
【図１９】スミア位置変化検出回路の具体的な構成例を示す図である。
【図２０】スミア位置変化検出回路の判定動作を示すイメージ図である。
【図２１】過補正抑制部での補正処理の例を示す図である。
【符号の説明】
【００６０】
１１ 固体撮像素子
１２ ＡＤ変換部
１３ ＯＢレベル補正部
１４ スミアサンプリング部
１５ レベル調整部
１６ 過補正抑制部
１７ 減算回路
２０，２０Ａ，２０Ｂ，２０Ｃ スミアデータ分離部
３０ スミアデータ平均化回路
３１ ラインメモリー
３２ スミア連続検出回路
３５ スミア位置変化検出回路
１０１ ライン判別部
１０２，１０６，１０７ 判別ゲート
１０３ スミアデータ記憶部
１０３ａ〜１０３ｆ 記憶素子
１０４，１０５，１１０ セレクタ
１０８，１０９，１１１ 遅延部
１３１ 低スミアレベル補正部
１３２ 高スミアレベル補正部
１３３ 低・高照度レベル補正部
【特許請求の範囲】
【請求項１】
ＣＣＤ固体撮像素子から出力された信号を処理するＣＣＤ信号処理装置であって、
前記ＣＣＤ固体撮像素子は、Ｎ（Ｎは２以上の整数）ラインの画像信号と、このＮラインの画像信号を補正するための１ラインのスミア信号とを、出力ラインを変えながら１画素分ずつ、順次出力するものであり、
前記ＣＣＤ信号処理装置は、
前記ＣＣＤ固体撮像素子の出力信号をＡＤ変換し、画像データおよびスミアデータを含むセンサー出力データとして出力するＡＤ変換部と、
前記ＡＤ変換部から出力されたセンサー出力データからスミアデータを分離し、各画像データに対応する補正用スミアデータに変換して出力するスミアデータ分離部と、
前記ＡＤ変換部から出力されたセンサー出力データのうちの画像データから、前記スミアデータ分離部から出力された、対応する補正用スミアデータを減算してスミア補正を行う減算回路とを備えている
ことを特徴とするＣＣＤ信号処理装置。
【請求項２】
請求項１において、
前記スミアデータ分離部は、
前記センサー出力データから、各画像データに対応するスミアデータを抽出するスミアサンプリング部と、
前記スミアサンプリング部によって抽出された各スミアデータについて、対応する画像データに応じて、レベル調整を行うレベル調整部とを備えている
ことを特徴とするＣＣＤ信号処理装置。
【請求項３】
請求項２において、
前記スミアサンプリング部は、
前記センサー出力データからスミアデータを抽出し、所定数、蓄積する第１手段と、
前記センサー出力データを遅延させる第２手段と、
前記第２手段による遅延後の前記センサー出力データにおける各画像データに対応するように、前記第１手段から、スミアデータを選択出力する第３手段とを備えている
ことを特徴とするＣＣＤ信号処理装置。
【請求項４】
請求項２において、
前記スミアデータ分離部は、
１ライン分のスミアデータを蓄積するためのラインメモリーと
前記スミアサンプリング部によって抽出されたスミアデータについて、前記ラインメモリーに蓄積されたスミアデータの同一列のデータを用いて、平均化処理を行うスミアデータ平均化回路とを備え、
平均化処理後のスミアデータを、前記ラインメモリーに再度蓄積するとともに、前記レベル調整部に出力するものである
ことを特徴とするＣＣＤ信号処理装置。
【請求項５】
請求項２において、
前記スミアデータ分離部は、
前記レベル調整部から出力されたスミアデータについて、減算によるスミア補正が過剰になることを抑制するために、補正を行う過補正抑制部をさらに備えている
ことを特徴とするＣＣＤ信号処理装置。
【請求項６】
請求項５において、
前記過補正抑制部は、
スミアデータのレベルが所定のしきい値を下回るとき、このスミアデータのレベルを下げる低スミアレベル補正部を備えている
ことを特徴とするＣＣＤ信号処理装置。
【請求項７】
請求項５において、
前記過補正抑制部は、
スミアデータのレベルが所定のしきい値を超えるとき、このスミアデータのレベルを下げる高スミアレベル補正部を備えている
ことを特徴とするＣＣＤ信号処理装置。
【請求項８】
請求項５において、
前記過補正抑制部は、
スミアデータに対応する画像データのレベルが、所定の第１しきい値を下回るとき、および、所定の第２しきい値を超えるとき、このスミアデータのレベルを下げる低・高照度レベル補正部を備えている
ことを特徴とするＣＣＤ信号処理装置。
【請求項９】
請求項５において、
前記スミアデータ分離部は、
前記レベル調整部から出力されたスミアデータについて、所定の第１のしきい値を超えたレベルが、所定の第２のしきい値を超えた画素数分、連続しているか否かを判定するスミア連続検出回路を備え、
前記過補正抑制部は、前記スミア連続検出回路において、連続していないと判定されたとき、前記スミアデータのレベルを下げる補正を行う
ことを特徴とするＣＣＤ信号処理装置。
【請求項１０】
請求項５において、
前記スミアデータ分離部は、
前記レベル調整部から出力されたスミアデータについて、所定のしきい値を超えたレベルの範囲の位置が、複数のラインにおいて、所定限度を超えて変化しているか否かを判定するスミア位置変化検出回路を備え、
前記過補正抑制部は、前記スミア位置変化検出回路において、所定限度を超えて変化していると判定されたとき、前記スミアデータのレベルを補正する
ことを特徴とするＣＣＤ信号処理装置。
【請求項１１】
請求項１において、
前記Ａ／Ｄ変換部から出力されたセンサー出力データについて、各ライン毎に独立した補正値を用いて、ＯＢレベルを補正するＯＢレベル補正部を備えている
ことを特徴とするＣＣＤ信号処理装置。
【請求項１２】
Ｎ（Ｎは２以上の整数）ラインの画像信号と、このＮラインの画像信号を補正するための１ラインのスミア信号とを、出力ラインを変えながら１画素分ずつ、順次出力するＣＣＤ固体撮像素子と、
前記ＣＣＤ固体撮像素子から出力された信号を処理する、請求項１記載のＣＣＤ信号処理装置とを備えた
撮像装置。
【請求項１】
ＣＣＤ固体撮像素子から出力された信号を処理するＣＣＤ信号処理装置であって、
前記ＣＣＤ固体撮像素子は、Ｎ（Ｎは２以上の整数）ラインの画像信号と、このＮラインの画像信号を補正するための１ラインのスミア信号とを、出力ラインを変えながら１画素分ずつ、順次出力するものであり、
前記ＣＣＤ信号処理装置は、
前記ＣＣＤ固体撮像素子の出力信号をＡＤ変換し、画像データおよびスミアデータを含むセンサー出力データとして出力するＡＤ変換部と、
前記ＡＤ変換部から出力されたセンサー出力データからスミアデータを分離し、各画像データに対応する補正用スミアデータに変換して出力するスミアデータ分離部と、
前記ＡＤ変換部から出力されたセンサー出力データのうちの画像データから、前記スミアデータ分離部から出力された、対応する補正用スミアデータを減算してスミア補正を行う減算回路とを備えている
ことを特徴とするＣＣＤ信号処理装置。
【請求項２】
請求項１において、
前記スミアデータ分離部は、
前記センサー出力データから、各画像データに対応するスミアデータを抽出するスミアサンプリング部と、
前記スミアサンプリング部によって抽出された各スミアデータについて、対応する画像データに応じて、レベル調整を行うレベル調整部とを備えている
ことを特徴とするＣＣＤ信号処理装置。
【請求項３】
請求項２において、
前記スミアサンプリング部は、
前記センサー出力データからスミアデータを抽出し、所定数、蓄積する第１手段と、
前記センサー出力データを遅延させる第２手段と、
前記第２手段による遅延後の前記センサー出力データにおける各画像データに対応するように、前記第１手段から、スミアデータを選択出力する第３手段とを備えている
ことを特徴とするＣＣＤ信号処理装置。
【請求項４】
請求項２において、
前記スミアデータ分離部は、
１ライン分のスミアデータを蓄積するためのラインメモリーと
前記スミアサンプリング部によって抽出されたスミアデータについて、前記ラインメモリーに蓄積されたスミアデータの同一列のデータを用いて、平均化処理を行うスミアデータ平均化回路とを備え、
平均化処理後のスミアデータを、前記ラインメモリーに再度蓄積するとともに、前記レベル調整部に出力するものである
ことを特徴とするＣＣＤ信号処理装置。
【請求項５】
請求項２において、
前記スミアデータ分離部は、
前記レベル調整部から出力されたスミアデータについて、減算によるスミア補正が過剰になることを抑制するために、補正を行う過補正抑制部をさらに備えている
ことを特徴とするＣＣＤ信号処理装置。
【請求項６】
請求項５において、
前記過補正抑制部は、
スミアデータのレベルが所定のしきい値を下回るとき、このスミアデータのレベルを下げる低スミアレベル補正部を備えている
ことを特徴とするＣＣＤ信号処理装置。
【請求項７】
請求項５において、
前記過補正抑制部は、
スミアデータのレベルが所定のしきい値を超えるとき、このスミアデータのレベルを下げる高スミアレベル補正部を備えている
ことを特徴とするＣＣＤ信号処理装置。
【請求項８】
請求項５において、
前記過補正抑制部は、
スミアデータに対応する画像データのレベルが、所定の第１しきい値を下回るとき、および、所定の第２しきい値を超えるとき、このスミアデータのレベルを下げる低・高照度レベル補正部を備えている
ことを特徴とするＣＣＤ信号処理装置。
【請求項９】
請求項５において、
前記スミアデータ分離部は、
前記レベル調整部から出力されたスミアデータについて、所定の第１のしきい値を超えたレベルが、所定の第２のしきい値を超えた画素数分、連続しているか否かを判定するスミア連続検出回路を備え、
前記過補正抑制部は、前記スミア連続検出回路において、連続していないと判定されたとき、前記スミアデータのレベルを下げる補正を行う
ことを特徴とするＣＣＤ信号処理装置。
【請求項１０】
請求項５において、
前記スミアデータ分離部は、
前記レベル調整部から出力されたスミアデータについて、所定のしきい値を超えたレベルの範囲の位置が、複数のラインにおいて、所定限度を超えて変化しているか否かを判定するスミア位置変化検出回路を備え、
前記過補正抑制部は、前記スミア位置変化検出回路において、所定限度を超えて変化していると判定されたとき、前記スミアデータのレベルを補正する
ことを特徴とするＣＣＤ信号処理装置。
【請求項１１】
請求項１において、
前記Ａ／Ｄ変換部から出力されたセンサー出力データについて、各ライン毎に独立した補正値を用いて、ＯＢレベルを補正するＯＢレベル補正部を備えている
ことを特徴とするＣＣＤ信号処理装置。
【請求項１２】
Ｎ（Ｎは２以上の整数）ラインの画像信号と、このＮラインの画像信号を補正するための１ラインのスミア信号とを、出力ラインを変えながら１画素分ずつ、順次出力するＣＣＤ固体撮像素子と、
前記ＣＣＤ固体撮像素子から出力された信号を処理する、請求項１記載のＣＣＤ信号処理装置とを備えた
撮像装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【公開番号】特開２００９−１５９５９６（Ｐ２００９−１５９５９６Ａ）
【公開日】平成２１年７月１６日（２００９．７．１６）
【国際特許分類】
【出願番号】特願２００８−２８４４８７（Ｐ２００８−２８４４８７）
【出願日】平成２０年１１月５日（２００８．１１．５）
【出願人】（０００００５８２１）パナソニック株式会社 (73,050)
【Ｆターム（参考）】
【公開日】平成２１年７月１６日（２００９．７．１６）
【国際特許分類】
【出願日】平成２０年１１月５日（２００８．１１．５）
【出願人】（０００００５８２１）パナソニック株式会社 (73,050)
【Ｆターム（参考）】
[ Back to top ]