撮像装置
【課題】ＣＣＤ撮像素子を用いた撮像装置において、垂直スミアや転送路過飽和等の映像異常を目立たなくする。
【解決手段】ＣＣＤ撮像素子を用いた撮像装置において、Ｖ−ＯＢに達しないまたは変動する垂直スミアのある垂直ラインの映像信号を、映像に垂直ラインマーカー重畳または白伸長した垂直ラインの映像信号の最大値検出により左右の画素の加重平均に置き換えるか本線映像信号に補正を加える。あるいはスミアのある画面の映像信号とスミアのない画面の映像信号の差分をとり本線映像信号に補正を加える。Ｖ−ＯＢの垂直ラインの信号の最小値を検出し垂直スミア成分とみなし、垂直スミア成分または垂直ラインの映像信号の最大値が所定以上になったら、レンズアイリスを絞り、ＡＧＣまたはＣＭＧ電圧を高くし、感度を一定に保つ。
【解決手段】ＣＣＤ撮像素子を用いた撮像装置において、Ｖ−ＯＢに達しないまたは変動する垂直スミアのある垂直ラインの映像信号を、映像に垂直ラインマーカー重畳または白伸長した垂直ラインの映像信号の最大値検出により左右の画素の加重平均に置き換えるか本線映像信号に補正を加える。あるいはスミアのある画面の映像信号とスミアのない画面の映像信号の差分をとり本線映像信号に補正を加える。Ｖ−ＯＢの垂直ラインの信号の最小値を検出し垂直スミア成分とみなし、垂直スミア成分または垂直ラインの映像信号の最大値が所定以上になったら、レンズアイリスを絞り、ＡＧＣまたはＣＭＧ電圧を高くし、感度を一定に保つ。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は撮像装置に関わり、特に、撮像素子としてＥＭ−ＣＣＤ（ Electron Multiplying - Charge Coupled Device ）等の電荷増倍型デバイスを用いた撮像装置に関するものである。
【背景技術】
【０００２】
ＣＣＤ（ Charge Coupled Device ）等の電荷転送型デバイスを用いた撮像素子（以下、代表してＣＣＤ撮像素子と称する）は、スポット光のような輝度が高い被写体（高輝度被写体）を撮像した場合に、スポット光を撮像した画素のフォトダイオードから垂直転送路に過剰電荷が漏れ込む。この時、撮像装置には、高輝度被写体を撮像した画素と同じ列の垂直方向の画素すべてにスポット光の照度に比例した映像信号が重畳されて、スミアとよばれる白い縦線が現れる。そこで、従来の撮像装置では、垂直方向の光学的黒画素（ Vertical-Optical Black 、以下、Ｖ−ＯＢと称する）部分の出力の各垂直画素信号を平均し、１ライン分の信号として記憶し、ＣＣＤ撮像素子の有効画素部分の出力信号より、記憶したＶ−ＯＢ画素信号を減算してスミア補正していた（特許文献１参照。）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００８−１０９６３９号公報
【特許文献２】特開２００３−１８９３１８号公報
【非特許文献】
【０００４】
【非特許文献１】ソニーＣＸＰＡＬ Ｖｏｌ．７７ ＩＣＸ６４８ＡＫＡ ２００８年７月
【非特許文献２】三洋電機 SANYO TECHNICAL REVIEW VOL.37 NO.2 MAR.2006
【非特許文献３】ＴＩ製 TC246RGB-B0 680 x 500 PIXEL IMPACTRONTM PRIMARY COLOR CCD IMAGE SENSOR SOCS087 - DECEMBER 2004 - REVISED MARCH 2005
【非特許文献４】Desert Star Systems 製 Night and Low-Light Imaging withFrogEye and SharkEye Digital Cameras Application Note 2nd Edition 28OCT05
【発明の概要】
【発明が解決しようとする課題】
【０００５】
撮像装置と非同期で、短い周期で点滅を繰返す照明装置（例えば、ＬＥＤ（ Light Emitting Diode ）照明、等）の下では、ＣＣＤ撮像素子を用いた撮像装置では、Ｖ−ＯＢに達しない垂直スミアや変動する垂直スミア等の異常垂直スミアが現れる。このような異常垂直スミアに対しては、特許文献１のような従来のＶ−ＯＢ画素信号の減算では、スミア補正が十分有効であるとはいえなかった。
また、ＩＴ（ Inter Line ）方式のＣＣＤ撮像素子（以下、ＩＴ−ＣＣＤ撮像素子と称する）は、対角４．５［ｍｍ］と撮像面積が小さい。しかし、入射光が７０６［ｃｄ／ｍ２］、絞りＦ５．６で、出力信号は１０５０［ｍＶ］と感度が高くなり、出力信号飽和レベルも１０００［ｍＶ］と高い。しかし一方、垂直スミアが約−１０５［ｄＢ］と多い（非特許文献１参照。）。
【０００６】
さらに、ＦＴ（ Frame Transfer ）方式のＣＣＤ撮像素子（以下、ＦＴ−ＣＣＤ撮像素子と称する）を用いた撮像装置におけるＦＴ−ＣＣＤ撮像素子は、ＩＴ−ＣＣＤ撮像素子より、感度が高く、また出力信号飽和レベルも高い。そして、ＦＴ−ＣＣＤ撮像素子は、画素寸法を小さく高画素化し易いが、垂直スミアが非常に多い（非特許文献２参照）。
【０００７】
さらに、ＥＭ−ＣＣＤ（ Electron Multiplying - Charge Coupled Device ）等の電子増倍型ＣＣＤ撮像素子（以下、ＥＭ−ＣＣＤ撮像素子と称する）を用いた撮像装置におけるＥＭ−ＣＣＤ撮像素子は、フォトダイオードで光電変換された信号電荷を電圧振幅が高い水平転送ＣＣＤの内部（ＣＭＧ：Charge Multiplying Gate ）で電子増倍させることにより、電子冷却部と組み合わせて感度を高くできる。この結果、超微弱光で撮影できるため、夜間の照明なしでの準動画監視が可能となった。しかし、ＥＭ−ＣＣＤ撮像素子は、垂直スミアが約−８０ｄＢと多い（非特許文献３参照）。
【０００８】
また、ＥＭ−ＣＣＤ撮像素子を用いた撮像装置におけるＥＭ−ＣＣＤ撮像素子において、ＣＭＧ電圧振幅が比較的低い低電子増倍時には、垂直転送後に信号が増倍される。このため、フォトダイオードや垂直転送路の転送容量不足が補われ、暗電流を低減する電子冷却と組み合わせればダイナミックレンジが拡大する。
さらに、フォトダイオードの蓄積容量のばらつきのために、１画面内で不均一だったダイナミックレンジが、画面内で均一になる。
しかし、ＣＭＧ電圧振幅が中程度の中電子増倍時には、暗電流も電子増倍され、暗電流レベルが高くなる。このため、映像信号成分が飽和して、ダイナミックレンジが低下する。
電子冷却を行い暗電流を低減するようにすると多少良くなる。例えば、ＥＭ−ＣＣＤ撮像素子の温度を約６［℃］下げると、暗電流が半分に改善される。しかし、それでも、暗電流のレベルは高く、映像信号成分が飽和して、ダイナミックレンジが低下する。
さらに、ＣＭＧ電圧振幅が高い高電子増倍時には、水平変調度も低下し、高輝度信号が圧縮される。従って、ＥＭ−ＣＣＤ撮像素子を特に強く電子冷却して暗電流を最小限にし、さらにＣＭＧ電圧振幅を最小限にした場合でも、暗電流のレベルが高く、映像信号成分が飽和して、ダイナミックレンジが低下する（特許文献２と非特許文献３と非特許文献４参照）。
【０００９】
また、ＥＭ−ＣＣＤ撮像素子において、垂直スミアが飽和する輝度の入射光よりさらに高輝度の入射光があった場合には、フォトダイオードで発生し垂直転送路に溢れた過剰な電荷で垂直転送路が過飽和状態となる。これにより、高輝度の入射光の映像の画面下端が垂直スミアより高い過飽和レベルの白状態になる。
さらに過飽和し、異常に高輝度の過飽和入射光では、入射光の輝度が高くなるに従い、制限レベルに達したＣＣＤ出力映像信号となる高輝度の過飽和入射光の映像の画面下方から順々に、垂直スミアより高輝度の過飽和レベルの白状態になる。この結果、逆に画面上部の垂直スミアは沈み、水平方向にも白いすじ状の水平スミアが確認されるようにな異常スミアが現れる。そしてさらに過飽和入射光の強度がさらに高くなると、過飽和入射光による偽信号で白が画面全体に広がる。
ＩＴ−ＣＣＤ撮像素子やＦＴ−ＣＣＤ撮像素子は、基盤電圧を可変するか、電荷掃き捨てタイミングを可変するかして、過飽和入射光による偽信号を低減する。しかし、ＥＭ−ＣＣＤ撮像素子は、過飽和入射光による偽信号の低減が困難だった。ＩＴ−ＣＣＤ撮像素子やＦＴ−ＣＣＤ撮像素子は、出力信号飽和レベルも高いので、過飽和入射光による偽信号の検出も容易であったが、ＥＭ−ＣＣＤ撮像素子は、出力信号飽和レベルが実効的に低い状態が多いので、過飽和入射光による偽信号の検出も困難であった。
【００１０】
本発明は、上記のような問題に鑑み、ＥＭ−ＣＣＤ撮像素子等の電子増倍型撮像素子を用いた撮像装置において、高輝度被写体を撮像した場合に発生する映像の異常を低減することにある。
【課題を解決するための手段】
【００１１】
上記課題を解決するため、本発明の撮像装置は、光学系と、該光学系を通って入射する光を信号電荷に変換する固体撮像素子と、該固体撮像素子の受光面の有効画素から出力される映像信号を取得する映像信号取得部と、外部機器から入力されスミアの光源を特定する左右のカーソル位置情報に基づいてカーソル位置制御部に出力するＣＰＵと、前記カーソル位置情報に基づいて、前記スミアの光源とする画素のアドレスを出力する前記カーソル位置制御部と、前記スミアの光源とする画素のアドレスについて、水平ラインごとに、前記カーソルの位置に対応する画素の上下の輝度レベルについて、前記カーソル位置に対応する画素で画素重み付けした輝度レベルの補正値を算出する演算部と、該算出された輝度レベルの補正値で前記左右のカーソルに挟まれた画素の輝度レベルを置換するスミア補正部とを備えたものである。
また好ましくは、上記発明の撮像装置において、前記演算部は、前記左右のカーソル位置で挟まれた画素を除く、他の水平ラインについて実行するものである。
さらに好ましくは、上記発明の撮像装置において、前記左右のカーソルの位置の遠近に基づいて重み付けして補正値を算出するものである。またさらに好ましくは、当該左カーソル位置または右カーソル位置に対応する画素に近いほど重み付け係数を大きくし、遠いほど重み付け係数を小さくするものである。
【００１２】
また上記課題を解決するため、本発明の撮像装置は、光学系と、該光学系を通って入射する光を信号電荷に変換する固体撮像素子と、該固体撮像素子の受光面の有効画素から出力される映像信号を取得する映像信号取得部と、前記映像取得部から奇数フィールドの映像信号を記憶する第１のフィールドメモリと、前記映像取得部から偶数フィールドの映像信号を記憶する第２のフィールドメモリと、前記第１のフィールドメモリと前記第２のフィールドメモリから出力される映像信号の差分を検出し、前記検出された差分の演算し、算出された差分について、所定の輝度レベル以上であって、一番差分値が大きい値の画素のかたまりを、スミアの光源として特定し、該特定されたスミアの光源のアドレス位置の垂直方向の画素の該スミアの光源に特定された画素を除いた水平ライン上の画素についての差分値を出力する検出部と、該差分値を入力し、前記映像信号取得部から入力された前記映像信号から前記差分値を減算して出力するスミア補正部とを備えたものである。
好ましくは、上記発明の撮像装置において、前記演算部は、水平ラインごとに水平ラインごとに前記差分値を出力し、前記スミア補正部は、前記水平ラインごとに前記差分値を減算するものである。
【００１３】
また上記課題を解決するため、本発明の撮像装置は、光学系と、該光学系を通って入射する光を信号電荷に変換する固体撮像素子と、該固体撮像素子の受光面の有効画素から出力される映像信号を取得する映像信号取得部と、前記映像信号を白伸長する白伸長部と、外部機器から入力されスミアの光源を特定する位置情報に基づいて制御信号をスミア補正部に出力するＣＰＵと、前記位置情報に基づいて、前記スミアの光源とする画素のアドレスを出力する前記カーソル位置制御部と、前記スミアの光源とする画素のアドレス上下方向の画素について、水平ラインごとに代表値を算出し、スミア補正するスミア補正部とを備えたものである。
好ましくは、上記本発明の撮像装置は、前記白伸長部で伸長した画素から出力される複数ラインの各垂直画素信号の最小値からＮ（Ｎは自然数）番目の値、最大値からＭ（Ｍは自然数）番目の値以下の値の平均値、または他の最大値からＭ番目の値以下の値から算出される代表値信号の少なくとも１つを算出する手段と、前記第１の取得部で取得した有効画素から出力される映像信号から前記代表値信号を減算する手段とを有し、有効画素から出力される映像信号の各垂直画素信号の最大値（スミア源）から（約８０ｄＢ低く）想定される垂直スミア値に比べ、上記代表値信号が低い垂直画素は、（Ｖ−ＯＢに達しない垂直スミアとして、）垂直スミアのある垂直ラインの外側の左右の画素の補間で置換するする手段と、上記代表値信号が画面間で変動する垂直画素は（変動する垂直スミアとして、）垂直スミアのある垂直ラインの外側の左右の画素の補間で置換するする手段と、の少なくとも一方のる手段を有するものである。
また好ましくは、上記撮像装置において、前記撮像素子はＣＣＤ撮像素子であり、該ＣＣＤ撮像素子のＣＣＤ出力の飽和を伸長する伸長手段と、該ＣＣＤ出力を１２［ｂｉｔ］以上でＡ／Ｄ変換する手段とを有し、前記ＣＣＤ出力を１２［ｂｉｔ］以上でＡ／Ｄ変換し、飽和を伸長して１４［ｂｉｔ］以上相当としてから、前記ＣＣＤ撮像素子の有効画素からの信号から、前記ＣＣＤ撮像素子のＶ−ＯＢからの代表値信号を減算するか、前記ＣＣＤ撮像素子の有効画素から出力される映像信号の各垂直画素信号の最大値（スミア源）を算出するかの少なくとも一方を行うものである。
【００１４】
また、上記撮像装置において、固体撮像素子と該固体撮像素子の受光面の有効画素から出力される映像信号を取得する第１の取得部と前記固体撮像素子の受光面の上部または下部の遮光した画素から出力される信号を取得する第２の取得部とを有する固体撮像装置において、モニタ映像に垂直ラインのカーソルを２本重畳する手段と、Ｖ−ＯＢに達しない垂直スミアのある垂直ラインの水平端に垂直ラインのカーソルの位置を選択する手段と、垂直ラインのカーソルの内側の画素を垂直ラインの外側の左右画素の加重平均に置き換える手段とを有するものである。
【００１５】
さらに、上記撮像装置において、固体撮像素子と該固体撮像素子の受光面の有効画素から出力される映像信号を取得する第１の取得部と前記固体撮像素子の受光面の上部または下部の遮光した画素から出力される信号を取得する第２の取得部とを有する固体撮像装置において、有効画素の最大値をスミア源とみなし検出する手段と、長い垂直スミア発生時の高輝度点周辺の垂直ラインの映像信号を記憶する手段と、短い垂直スミア発生時の高輝度点周辺の垂直ラインの映像信号を記憶する手段と、記憶した高輝度点周辺の垂直ラインの映像信号の差分を取る手段と、有効画素の信号から前記映像信号の差分を減算する手段とを有するものである。
【００１６】
また、上記撮像装置において、光学系と電子増倍型ＣＣＤ撮像素子と該撮像素子の受光面の有効画素から出力される映像信号を取得する第１の取得部と前記撮像素子の受光面の上部または下部の遮光した画素から出力される信号を取得する第２の取得部とを有する撮像装置において、前記第２の取得部で取得した遮光した画素から出力される信号の複数ラインの各垂直画素信号の高レベル飽和を伸長してから、最小値からＮ（Ｎは自然数）番目の値、最大値からＭ（Ｍは自然数）番目の値以下の値の平均値、または他の最大値からＭ番目の値以下の値から算出される代表値信号の少なくとも１つを算出し、該代表値信号が所定以上のレベルになったら前記光学系に備えた（光学絞りや可変ＮＤフィルタ等の）光学減衰手段で入射光を光学減衰することと、前記第１の取得部で取得した有効画素から出力される映像信号の高レベル飽和を伸長してから前記代表値信号を減算することと、有効画素から出力される映像信号の各垂直画素信号の高レベル飽和を伸長してからの最大値（スミア源）から（約８０ｄＢ低く）想定される垂直スミア値に比べ、上記代表値信号が低い垂直画素は、（Ｖ−ＯＢに達しない垂直スミアとして、）垂直スミアのある垂直ラインの外側の左右の画素の補間で置換することと、上記代表値信号が画面間で変動する垂直画素は（変動する垂直スミアとして、）垂直スミアのある垂直ラインの外側の左右の画素の補間で置換することと、の少なくとも一方を行うものである。
【発明の効果】
【００１７】
本発明によれば、高輝度被写体を固体撮像素子で撮像した場合に発生する、撮像した映像の異常を目立たなくすることができる。
【図面の簡単な説明】
【００１８】
【図１Ａ】本発明の撮像装置の一実施例の全体構成を示すブロック図である。
【図１Ｂ】本発明の一実施例の全体構成の撮像装置を示すブロック図。
【図１Ｃ】本発明の一実施例の全体構成の撮像装置を示すブロック図。
【図２Ａ】本発明の一実施例のＶ−ＯＢに達しないスミア、若しくはＶ−ＯＢに達しない変動スミアを補正する画面のを模式的に示した図である。
【図２Ｂ】本発明の撮像装置の重み付けによるスミア補正の一実施例を模式的に説明するための図である。
【図３】本発明の撮像装置の一実施例のスミア補正を説明するための模式図である。
【図４Ａ】本発明の撮像装置のスミア補正部の一実施例の構成を示すブロック図である。
【図４Ｂ】本発明の撮像装置のスミア補正部の一実施例の構成を示すブロック図である。
【図４Ｃ】本発明の撮像装置のスミア補正部の一実施例の構成を示すブロック図である。
【図４Ｄ】本発明の撮像装置のスミア補正部の一実施例の構成を示すブロック図である。
【図４Ｅ】本発明の撮像装置のスミア補正部の一実施例の構成を示すブロック図である。
【図４Ｆ】本発明の撮像装置のスミア補正部の一実施例の構成を示すブロック図である。
【図５】本発明の一実施例の水平輪郭強調部の構成を示すブロック図である。
【図６Ａ】本発明の一実施例のスミア補正を示す映像信号の模式図である。
【図６Ｂ】本発明の一実施例のスミア補正を示す映像信号の模式図である。
【図７Ａ】本発明の１実施例での有効画素の光源レベルと白キズのないＶ−ＯＢスミアレベル比例の補正を示す入射光とＣＣＤ出力レベルの模式図。
【図７Ｂ】本発明の１実施例での有効画素の光源レベルと白キズのあるＶ−ＯＢスミアレベル比例の破綻を示す入射光とＣＣＤ出力レベルの模式図。
【図７Ｃ】本発明の１実施例での有効画素のブルーミング光源レベルと白キズのないＶ−ＯＢスミアレベルからの推定を示す入射光とＣＣＤ出力レベルの模式図。
【発明を実施するための形態】
【００１９】
本発明の撮像装置は、ＣＣＤ撮像素子のＶ−ＯＢの垂直ラインの信号の最小値を検出し、検出された最小値を垂直スミア成分とみなし、高輝度圧縮を伸長した有効画素信号から減算して一定の垂直スミア成分を減算する。なお白キズの信号は除外して最小値を検出する。
また、本発明の撮像装置は、高輝度圧縮を伸長した有効画素の垂直ラインの信号の所定以上の最大値としてスミア源信号を検出し、検出されたスミア源信号のある垂直ラインの有効画素信号を、スミア源の外側の左右の画素の信号の補間値で置換し、Ｖ−ＯＢに達しない垂直スミアを補正する。この結果、垂直スミアが目立たなくなる。また、この垂直スミアの垂直方向の長さが、一定の長さの場合であっても、画面ごとに長さが変動している場合であっても、垂直スミアが目立たなくすることができる。
また、本発明の撮像装置は、白伸長したＶ−ＯＢ信号の垂直画素の最小値から過飽和直前レベルの垂直スミアを検出し、検出した場合にはレンズ等の光学系の光学絞りを絞って、入射光の輝度を抑え、過飽和入射光にならないようにする。この結果、過飽和レベルの白状態、画面上部の沈みこみ、及び水平スミアを防止する。
【００２０】
以下に本発明の一実施形態を図面等を用いて説明する。なお、以下の説明は、本発明の一実施形態を説明するためのものであり、本願発明の範囲を制限するものではない。従って、当業者であればこれらの各要素若しくは全要素をこれと均等なものに置換した実施形態を採用することが可能であり、これらの実施形態も本願発明の範囲に含まれる。
また、以降の各図の説明において、共通な機能を有する構成要素には同一の参照番号を付し、できるだけ説明を省略する。
【実施例１】
【００２１】
まず、本発明の撮像装置の一実施例の概要を図３によって説明する。図３は、本発明の撮像装置の一実施例のスミア補正を説明するための模式図である。３０１はスミアの光源とスミアのある画面、３０２はスミアの無い画面、３０３はスミアのある画面からスミアの無い画面を差し引いた画面、３０４はスミアの光源だけの画面、３０５〜３０７はスミアの光源、３０８と３０９はスミアである。
【００２２】
図３のスミアの光源とスミアのある画面３０１において、撮像装置が視野範囲内を撮像した画面には、スミアの光源３０５とスミア３０８とが出力される。
この画面３０１から、スミアの光源３０５だけを選択し、スミアの光源３０６として出力されたのがスミアの無い画面３０２である。画面３０１から画面３０２の差分を取ると、スミア３０９だけの画面３０３が出力される。
そして、最終的には、画面３０１から画面３０３の差分を取ることによって、スミアの無い画面３０４が、撮像装置から出力される。
好ましくは、上記２つの差分は、１または複数の画素ごとに実行する。
上述したように、図３は、例えば、Ｖ−ＯＢに達しないスミア、若しくはＶ−ＯＢに達しない変動スミアをフィールドメモリ部を用いて補正する画面を模式的に示した図である。高輝度被写体（例えば、スポットライトや車両のヘッドライト等の光源であり、スミアの光源と称する）を撮像した画素と同じ列の垂直方向の画素（垂直線画素）にスポット光の照度に比例した映像信号が重畳されて、スミアとよばれる白い縦線が現れる（発生する）。
【００２３】
次に図２Ａと図２Ｂによって、本発明の撮像装置の一実施例をさらに説明する。図２Ａは、本発明の撮像装置のスミア補正の一実施例を説明するための模式図である。図２Ａは、Ｖ−ＯＢに達しないスミア、若しくはＶ−ＯＢに達しない変動スミアを補正する画面の本発明の一実施例を模式的に示した図である。２０１はスミアのある画面、２１１はスミアを補正した画面、２０３と２１３はスミアの光源、２０５はスミアの光源２０３の上下の垂直線に現れるスミア、２０７は左のカーソル（マーカー）、２０８は右のカーソル（マーカー）、２１５はスミアを補正した領域である。図２Ａ及び図２Ｂは、図示しない表示装置にモニタ映像を表示して、カーソルをＧＵＩ（ Graphical User Interface ）操作可能である。即ち、オペレータのＧＵＩ操作によって、撮像された画面に、スミアの光源と特定した画素を左右に挟むように、カーソル２０７、２０８を重畳して表示することができる。
図２（１）は、スミアのある画面２０１を示す図、図２（２）はスミアを補正した後の画面２１１を示す図である。
【００２４】
図２Ａにおいて、スミアのある画面２０１に、ＣＣＤ撮像素子によって撮像されたスミアの光源２０３が存在し、その出力の映像信号にはスミアの光源２０３と共に、スミアの光源２０３の上下垂直線方向に、Ｖ−ＯＢに達しないスミア２０５が現れる。
このスミアの光源２０３の左右の画素に、手動で、カーソル２０７と２０８を表示させる。例えば、カーソルの手動による表示手段としては、図１Ａ図示しないＣＰＵへの外部機器からの入力信号、若しくは、図１Ｃの外部機器１２０ｃからの外部操作等による。このカーソル２０７と２０８で左右を挟まれた１または複数の画素が、スミアの光源２０３と特定される
次に、上記指定された左のカーソル２０７と右のカーソル２０８に囲まれた画素の上下の垂直線方向の画素について、各水平ラインごとに、画素の輝度レベルを書き込み、光源２１３以外の画素を算出された輝度レベルについて、それらの左右カーソル位置に相当する画素に重みづけを行って、それぞれの画素ごとに補正する輝度レベルを算出する。そして、算出された輝度レベルにそれぞれの画素の輝度レベルを置換する。その結果、図２Ａ（２）の領域２１５に示すように、スミアが補正される。
図２Ａの実施例の場合、スミアがＶ−ＯＢに達していなくても、また、スミアが変動しても、カーソルで指定することによって、スミアを補正できる。また、スミアがＶ−ＯＢに達していても、補正可能である。
【００２５】
さらに図２Ｂによって、各画素に対して重み付けして算出する一実施例について説明する。図２Ｂは、本発明の撮像装置の重み付けによるスミア補正の一実施例を模式的に説明するための図である。図２Ｂ（１）は、カーソルで指定されたスミアの光源が３画素に渡って存在する場合のスミア補正を説明する図である。また、図２Ｂ（２）は、カーソルで指定されたスミアの光源が４画素に渡って存在する場合のスミア補正を説明する図である。２３７は左カーソル位置、２３８は右カーソル位置、２３１は左カーソル位置２３７に対応する画素ｋ−２、２３５は右カーソル位置２３８に対応する画素ｋ＋２、２３２〜２３４は左カーソル位置２３７と右カーソル位置２３８に挟まれた画素で、画素２３２は画素２３１の右に隣接し、画素２３４は画素２３５の左に隣接する画素、画素２３３は画素２３２の右に隣接し画素２３４の左に隣接する画素である。また、２５７は左カーソル位置、２５８は右カーソル位置、２５１は左カーソル位置２５７に対応する画素ｊ−３、２５６は右カーソル位置２５８に対応する画素ｊ＋３、２５２〜２５６は左カーソル位置２５７と右カーソル位置２５８に挟まれた画素で、画素２５２は画素２５１の右に隣接し、画素２５３は画素２５２の右に隣接する画素、画素２５５は画素２３５の左に隣接する画素、画素２５４は画素２５５の右に隣接し画素２５３の左に隣接する画素である。
【００２６】
図２Ｂ（１）は、１水平ライン分の画素の補正について説明するが、垂直線方向の他のスミア部分についても、同様に、１水平ラインずつ実行する。
図２Ｂにおいて、それぞれの画素２３１〜２３５の枠内の文字は、それぞれの水平ライン上の画素アドレスを示す。また、画素２３１の輝度レベルをＢｋ−２、画素２３２の輝度レベルをＢｋ−１、画素２３３の輝度レベルをＢｋ、画素２３４の輝度レベルをＢｋ＋１、画素２３５の輝度レベルをＢｋ＋２とする。
この時、スミアが現れた画素２３２〜２３４に対して置換するための輝度レベルを、式（１）〜式（３）のように算出する。ＳＢｋ−１は画素２３２の輝度レベルＢｋ−１を置換するための補正値、ＳＢｋは画素２３３の輝度レベルＢｋを置換するための補正値、ＳＢｋ＋１は画素２３４の輝度レベルＢｋ＋１を置換するための補正値である。
ＳＢｋ−１＝０．７Ｂｋ−２＋０．３Ｂｋ＋２ ・・・式（１）
ＳＢｋ＝０．５Ｂｋ−２＋０．５Ｂｋ＋２ ・・・式（２）
ＳＢｋ＋１＝０．３Ｂｋ−２＋０．７Ｂｋ＋２ ・・・式（３）
このように、左カーソル位置に近い方の画素には、左カーソル位置に対応する画素の輝度レベルに大きな重み付けをし、遠い方の画素（即ち、右カーソル位置に対応する画素）の輝度レベルに小さな重み付けをして、置換するための補正値を算出する。
なお、左右のカーソルに囲まれた画素の数（即ち、スミアが現れた水平方向の画素数）が１画素の場合には、重み付けは左右等しくなる。従って、補正値として、平均値が算出される。
【００２７】
なお、上記実施例では、重み付け係数を、当該カーソルに対応する画素に近いほど大きく、遠いほど小さい値にし、その値は、“０．７”、“０．５”、“０．３”とした。しかし、他の値、例えば、“０．６”、“０．５”、“０．４”や、“０．８”、“０．５”、“０．２”、等としても良く、また例えば、“０．８”、“０．５”、“０．３”としても良い。
さらに、上記実施例では、カーソルに挟まれた画素数が、３であったが、５である場合等、“０．９”、“０．７”、“０．５”、“０．３”、“０．１”、等、カーソルに挟まれた画素数が増えても、随時設定可能である。
【００２８】
次に、図２Ｂ（２）においても、１水平ラインの画素について補正するが、垂直スミア部分の他の水平ラインについても同様である。
図２Ｂにおいて、それぞれの画素２５１〜２３６の枠内の文字は、それぞれの水平ライン上の画素アドレスを示す。また、画素２５１の輝度レベルをＢｊ−３、画素２５２の輝度レベルをＢｊ−２、画素２５３の輝度レベルをＢｊ＋１、画素２５４の輝度レベルをＢｊ＋１、画素２５５の輝度レベルをＢｊ＋２、画素２３６の輝度レベルをＢｊ＋３とする。
この時、スミアが現れた画素２５２〜２５５に対して置換するための輝度レベルを、式（４）〜式（７）のように算出する。ＳＢｊ−２は画素２５２の輝度レベルＢｊ−２を置換するための補正値、ＳＢｊ−１は画素２５３の輝度レベルＢｊ−１を置換するための補正値、ＳＢｊ＋１は画素２５４の輝度レベルＢｊ＋１を置換するための補正値、ＳＢｊ＋２は画素２５５の輝度レベルＢｊ＋２を置換するための補正値である。
ＳＢｊ−２＝０．８Ｂｊ−３＋０．２Ｂｊ＋３ ・・・式（４）
ＳＢｊ−１＝０．６Ｂｊ−３＋０．４Ｂｊ＋３ ・・・式（５）
ＳＢｊ＋１＝０．４Ｂｊ−３＋０．６Ｂｊ＋３ ・・・式（６）
ＳＢｊ＋２＝０．２Ｂｊ−３＋０．８Ｂｊ＋３ ・・・式（７）
このように、左カーソル位置に近い方の画素には、左カーソル位置に対応する画素の輝度レベルに大きな重み付けをし、遠い方の画素（即ち、右カーソル位置に対応する画素）の輝度レベルに小さな重み付けをして、置換するための補正値を算出する。
なお、左右のカーソルに囲まれた画素の数（即ち、スミアが現れた水平方向の画素数）が１画素の場合には、重み付けは左右等しくなる。従って、補正値として、平均値が算出される。
【００２９】
また、上記算出式は、式（４）〜（７）を、例えば、式（４）’〜（７）’のように重み付けの係数を、適度に替えて算出しても良い。
ＳＢｊ−２＝０．７Ｂｊ−３＋０．３Ｂｊ＋３ ・・・式（４）’
ＳＢｊ−１＝０．６Ｂｊ−３＋０．４Ｂｊ＋３ ・・・式（５）’
ＳＢｊ＋１＝０．４Ｂｊ−３＋０．６Ｂｊ＋３ ・・・式（６）’
ＳＢｊ＋２＝０．３Ｂｊ−３＋０．７Ｂｊ＋３ ・・・式（７）’
【００３０】
本発明の撮像装置の一実施例の概要を図１Ａによって説明する。図１Ａは、本発明の撮像装置の一実施例の全体構成を示すブロック図である。
図１Ａでは、Ｖ−ＯＢに達する変動スミアを補正する場合である。１０１は入射光を結像するレンズ等の光学系、１０２は光学系１０１から入射した光を電気信号に変換するＣＣＤ撮像素子、１０３はＡＦＥ（ Analog Front End ）部、１０４はスミア補正部、１０５は映像信号処理部、１０６はＣＰＵ（ Central Processor Unit ），１０７ａは演算部、１０８ａはカーソル位置制御部、１０９ａはラインメモリ部、１１０はＣＣＤ撮像素子１０２を駆動する駆動パルスを生成する駆動パルス発生器（ＴＧ：Timing Generator ）である。また、ＡＦＥ部１０３において、３１はＣＣＤ撮像素子１０２から出力された信号から雑音を除去するＣＤＳ（ Correlated Double Sampling ）部、３２は入力された映像信号をデジタル映像信号Ｖｉに変換するＡ／Ｄ（ Analog Digital ）変換部である。ＣＣＤ撮像素子１０２は、例えば、ＥＭ−ＣＣＤ撮像素子等の電子増倍型撮像素子である。また、ＣＰＵ１０６には、図３や図２Ａで説明したように、図示しない外部機器から、スミアが発生する（現れる）原因である光源を水平走査ライン上において挟む左右の位置を、カーソル位置として指定する信号が入力される。
【００３１】
図１Ａの撮像装置１００ａにおいて、図１Ａにおいて、ＣＰＵ１０６は、ＴＧ１１０、ＡＦＥ部１０３、演算部１０７ａ、及びカーソル位置制御部１０８ａ、並びに撮像装置１００ａの他の機器（スミア補正部１０４、映像信号処理部１０５、ラインメモリ部１０９ａ、等）を、所定の処理プログラム若しくは図示しない外部からの制御信号に基づいて制御する。
ＴＧ１１０は、ＣＣＤ撮像素子１０２を駆動する垂直駆動パルスと水平駆動パルスを生成し、ＣＣＤ撮像素子１０２に出力し、ＣＣＤ撮像素子１０２を駆動する。
また、ＣＰＵ１０６は、外部からの入力信号に応じて、スミアの光源が現れている画素の左右のカーソル位置をカーソル位置制御部１０８ａに出力する。
ＣＣＤ撮像素子１０２は、光学系１０１で受光面に結像された入射光を光電変換して信号電荷を生成し、垂直転送した後水平転送し、さらにこの信号電荷を電子増倍して、ＡＦＥ部１０３に出力する。
ＡＦＥ部１０３は、入力された信号電荷から雑音を除去し、暗電流成分を補正し、デジタル映像信号Ｖｉに変換して、スミア補正部１０４と演算部１０７ａに出力する。
【００３２】
カーソル位置制御部１０８ａは、ＣＰＵ１０６から入力された左右のカーソル位置に基づいて、スミアの光源とする画素のアドレスを演算部１０７ａに出力する。
演算部１０７ａは、カーソル位置制御部１０８ａから入力されたスミアの光源となる画素のアドレスに基づいて、当該画素の垂直方向（上下）のアドレスの画素それぞれについて、水平走査ラインごとに左右のカーソルの位置の遠近に基づいて重み付けをして補正値を算出し、ラインメモリ部１０９ａに水平ラインごとに出力する。
即ち、演算部１０７ａは、カーソル位置制御部１０８ａから入力されたアドレスの垂直方向について、各水平ラインごとに左のカーソルに対応する画素の輝度レベルと、右のカーソルに対応する画素の輝度レベルから補正値を算出し、算出した補正値値で、それぞれの水平ラインごとに、左右のカーソルに挟まれた輝度レベルを置換し、ラインメモリ部１０９ａに出力する。左右のカーソル間の画素数が複数であっても同様に置換する。なお、左右のカーソルに囲まれた画素の数（即ち、スミアが現れた水平方向の画素数）が１の場合には、重み付けは左右等しくなるので、補正値として、平均値が算出される。
【００３３】
ラインメモリ部１０９ａは、各水平ラインごとに入力された映像信号をスミア補正部１０４に出力する。
スミア補正部１０４は、ＡＦＥ部１０３から入力されるデジタル映像信号について、ラインメモリ部１０９ａから入力される映像信号レベルを減算して、映像信号Ｖｍとして映像信号処理部１０５に出力する。
映像信号処理部１０５は、スミア補正部１０４から入力された信号に種々の画像処理を施して、所定方式の映像信号に変換して撮像装置１００ａから出力する。撮像装置１００ａ（または、後述する撮像装置１００ｂ若しくは撮像装置１００ｃ）から出力される映像信号は、例えば、複合映像信号（ Video Burst Sync 、以下、ＶＢＳと称する）、ＳＤＩ（ Serial Digital Interface ）であり、映像信号の所定方式は、例えば、ＮＴＳＣ（ National Television System Committee ）方式、ＰＡＬ（ Phase Alternating by Line ）方式、等である。また、例えば、撮像装置１００ａから出力される映像信号は、ＨＤＴＶ（ High Definition Tele-Vision ）方式のＳＤＩ、ＨＤ−ＳＤＩである。
なお、撮像装置の外部からスミアの光源が現れている位置またはその左右の位置を入力される場合には、スミアがＶ−ＯＢに達しない変動スミアであっても良い。
【００３４】
次に、本発明の撮像装置の他の実施例の概要を図１Ｂによって説明する。図１Ｂは、本発明の撮像装置の一実施例の全体構成を示すブロック図である。
図１Ｂでは、Ｖ−ＯＢに達しないスミア、若しくはＶ−ＯＢに達しない変動スミアをフィールドメモリ部を用いて補正する場合である。図１Ｂは、図１Ａとほぼ同様の構成で、演算部１０７ａ、カーソル位置制御部１０８ａ及びラインメモリ部１０９ａの替りに、フィールドメモリ部１０７ｂ、フィールドメモリ部１０８ｂ、及び差分検出部１０９ｂを設けたものである。
【００３５】
図１Ｂの撮像装置１００ｂにおいて、ＡＦＥ部１０３は、入力された信号電荷から雑音を除去し、暗電流成分を補正し、デジタル映像信号Ｖｉに変換して、スミア補正部１０４とフィールドメモリ部１０７ｂ、及びフィールドメモリ部１０８ｂに出力する（画面３０１）。この時、フィールドメモリ部１０７ａには奇数フィールドの映像信号が入力され、フィールドメモリ部１０７ｂには偶数フィールドの映像信号が入力される。
フィールドメモリ部１０７ｂ及びフィールドメモリ部１０８ｂは、それぞれ奇数フィールドまたは偶数フィールドの１フィールド分の映像信号を記憶し、記憶された１フィールド分の有効画素それぞれについて、検出部１０９ｂに出力する。
検出部１０９ｂは、入力された２つのフィールドの映像信号の差分を演算し、差分値が大きい（差分が目立つ）垂直線を算出する。そして、算出された垂直線について、所定の輝度レベル以上であって、一番差分値が大きい値の画素のかたまりを、スミアの光源として特定し、その特定されたスミアの光源のアドレス位置の垂直方向の画素のスミアの光源に特定された画素を除いた水平ライン上の画素についての差分値を逆極性にして、スミア補正部１０４に出力する。
スミア補正部１０４は、ＦＥＰ１０３から入力された映像信号Ｖｉに、差分検出部１０９ｂから入力された差分値を加算し、映像信号Ｖｍとして映像信号処理部１０５に出力する。映像信号処理部１０５は、スミア補正部１０４から入力された信号に種々の画像処理を施して、所定方式の映像信号に変換して撮像装置１００ｂから出力する。
【００３６】
なお、図１Ａと同様に、ＣＰＵ１０６は、ＴＧ１１０、ＡＦＥ部１０３、演算部１０７、及びカーソル位置制御部１０８、並びに撮像装置１００ａの他の機器（スミア補正部１０４、映像信号処理部１０５、ラインメモリ部１０９、等）を、所定の処理プログラム若しくは図示しない外部からの制御信号に基づいて制御する。
また、図１Ａと図１Ｂのスミア補正部１０４は、スミア補正後、映像信号処理部１０５に出力する直前にデジタルＡＧＣ（ Automatic Gain Control ）を実行するように構成される。
また、撮像装置の外部からスミアの光源が現れている位置またはその左右の位置が入力される場合には、スミアがＶ−ＯＢに達する変動スミアであっても良い。
【００３７】
また次に、本発明の撮像装置の別の一実施例を、図１Ｃによって説明する。図１Ｃは、本発明の撮像装置の一実施例の全体構成を示すブロック図である。
図１Ｃでは、Ｖ−ＯＢに達しないスミア、変動スミア、及び、過飽和スミアとを検出して補正する場合を説明する。
図１Ｃは、図１Ａや図１Ｂと同様に、光学系１０１、ＣＣＤ撮像装置１０２、映像信号処理部１０５、及びＴＧ１１０は、同一の機能を有する。また、ＣＰＵ１０６は、所定の実行プログラムに従って、さらに、光学系１０１の絞り制御を行い、外部機器１２０ｃともアクセスして、撮像装置１００ｃの各機器を制御する。
また、ＡＦＥ部はＦＥＰ（ Front End Processor ）と呼ばれることもある。ＦＥＰ部１０３ｃは、ＣＤＳ部３１とＡ／Ｄ変換部３２との間に、ＶＧＡ（ Variable Gain Amplifier ）部３３を具備する。ＶＧＡ部３３は、ＣＤＳ３１から入力された信号のレベルを調整して、Ａ／Ｄ変換部３２に出力する。なお、ＶＧＡはＡＧＣを実施する手段の１つであり、ＶＧＡ部を省略し、映像信号処理部１０５でデジタルゲイン制御しても良い。
【００３８】
また図１Ｃは、ＦＥＰ部１０３ｃと映像信号処理部１０５との間に、白伸長部１１２ｃ、スミア補正部１０４ｃ、及び検出部１１１ｃを有する。
また撮像装置１００ｃは、外部機器１２０ｃとＣＰＵ１０６を介して相互にアクセスし、外部からのオペレータの操作に応答する。外部機器は、例えば、図１Ａで説明したカーソル位置操作や、後述するカーソル位置操作機能を付加された操作器である。当該操作器は、外部機器であっても良いが、撮像装置に付加される機能（例えば、ＯＳＤ：On Screen Display ）であっても良い。また、外部機器１２０ｃは、モニタと操作器間でＧＵＩ操作することができる機器であっても良い。また例えば、ＰＣ（ Personal Computer ）であっても良い。
【００３９】
図１Ｃの撮像装置１００ｃにおいて、ＣＣＤ撮像素子１０２は、光学系１０１で受光面に結像された入射光をフォトダイオードで光電変換して信号電荷を生成し、垂直転送したのち水平転送しながら信号電荷を電子増倍してＦＥＰ１０３に出力する。
ＦＥＰ１０３のＣＤＳ部３１は、ＣＣＤ撮像素子１０２から入力された信号から、雑音を除去し、暗電流成分を補正し、補正した信号をＶＧＡ部３３に出力する。ＶＧＡ部３３は、入力された信号を増幅して、Ａ／Ｄ変換部３２に出力する。Ａ／Ｄ変換部３２は、入力された信号をデジタル映像信号Ｖｉ’に変換して、白伸長部１１２ｃに出力する。
白伸長部１１２ｃは、入力されたデジタル映像信号Ｖｉ’を、所定の映像レベルに伸長し、デジタル映像信号Ｖｉとしてスミア補正部１０４ｃに出力する。スミア補正部１０４ｃは、入力された信号デジタル映像信号Ｖｉについて、スミア補正を行い、補正した映像信号Ｖｍ及び検出信号Ｓ１を検出部１１１ｃに出力し、過剰スミアの検出信号を最大スミア信号Ｓ２としてＣＰＵ１０６に出力する。なお、白伸長部１１２ｃの詳細については、後述する。
ＣＰＵ１０６は、最大スミア信号Ｓ２が入力された場合には、絞り制御信号Ｃ１を光学系１０１に出力し、光学系１０１に備えた光学絞り若しくは可変ＮＤ（ Neutral Density ）フィルタの少なくともいずれかの光学減衰手段で入射光を光学的に減衰する。
【００４０】
検出部１１１ｃは、入力された映像信号Ｖｍと検出信号Ｓ１から、スミア成分としてＶ−ＯＢ代表値信号の検出を行い、有効画素の映像信号から減算し、減算された映像信号を映像信号処理部１０５に出力する。映像信号処理部１０５は、上述した図１Ａ若しくは図１Ｂと同様の動作を行う。
【００４１】
次に、図４Ａによって、本発明の撮像装置の別の実施例を説明する。図４Ａは、Ｖ−ＯＢが３ライン以上のＣＣＤ撮像素子を用いた撮像装置のスミア補正部の一実施例の構成を示すブロック図である。
まず、１ラインの入力信号を説明する。１ラインの入力信号は有効画素期間と有効画素期間以外の期間であるＨブランキング期間がある。Ｈブランキング期間には、ＣＣＤ垂直転送期間とＯＢ（オプティカルブラック）期間とダミー期間がある。
図４Ａの実施例は、Ｖ−ＯＢに達しないスミアについてスミア補正を行うもので、有効画素の最大値をスミア源とみなし、Ｖ−ＯＢ最小値から２番目の値でスミア補正するものである。従って、例えば、Ｖ−ＯＢが３ラインの時には、中央値がスミアとみなす。４００ａはスミア補正部、１０はデジタルＡＧＣ部、１１と７９は減算部、２１、２２、２４、及び２６は比較部、７２、７３、及び７５〜７７はラインメモリ部、７８は乗算部である。
【００４２】
図４Ａにおいて、デジタル映像信号Ｖｉが、スミア補正部４００ａに入力される。
デジタル映像信号Ｖｉは、スミア補正部４００ａの減算部１１の被減算入力端と比較部２１及び２４に入力される。ラインメモリ部７２には、最小の輝度レベルが記憶され、ラインメモリ部７３には最小値から２番目の値の輝度レベル（２番目に小さい輝度レベル）が記憶される。ラインメモリ部７３は、記憶された２番目に小さい輝度レベルをデジタルＡＧＣ部１０とラインメモリ部７５に出力する。
即ち、比較部２１及び２２は、入力されたデジタル映像信号ＶｉをＶ−ＯＢラインの垂直画素信号毎に比較し、輝度レベルの小さい順にラインメモリ部７２及び７３に記憶する。ラインメモリ部７３は、記憶された２番目に小さい輝度レベルをラインメモリ部７５に出力する。ラインメモリ部７５は、１ライン分の輝度レベルの２番目に小さい輝度レベルを比較部２６と減算部７９の被減算入力端に出力する。
比較部２４は、入力されたデジタル映像信号ＶｉをＶ−ＯＢラインの垂直画素信号毎に比較し、より大きい輝度レベルをラインメモリ部７７に記憶する。ラインメモリ部７７には、最大の輝度レベルが記憶され、記憶された輝度レベルがラインメモリ部７６に出力される。ラインメモリ部７６は、１ライン分の輝度レベルの最大の輝度レベルを乗算部７８を介して、減算部７９の減算入力端に出力する。
【００４３】
デジタルＡＧＣ部１０は、入力された２番目に小さい輝度レベルをゲイン調整し、減算部１１の減算入力端に出力する。即ち、デジタルＡＧＣ部１０は、ＯＢ代表値信号をＦＥＰ部のＡＧＣの増幅度に合わせて、自身の増幅度を調節する。
減算部１１は、被減算入力端に入力されたデジタル映像信号Ｖｉから、減算入力端に入力された輝度レベルを減算して、１４［ｂｉｔ］のスミア補正されたデジタル映像信号Ｖｍを出力する。
比較部２６は、ラインメモリ部７５から入力された１ライン分の輝度レベルの２番目に小さなレベルを最大スミア信号Ｓ２としてＣＰＵ１０６に出力する。
減算部７９は、ラインメモリ部７５から入力された輝度レベルから、ラインメモリ部７６から乗算部７８を介して入力された輝度レベルを減算して、減算された輝度レベル信号を検出信号Ｓ１として検出部１１１ｃに出力する。
なお、メモリ部７２の最小値の輝度レベルの上限値、及びメモリ部７７の最大値の輝度レベルの下限値は予め設定し記録しておく。
【００４４】
上述のように、図４Ａの実施例は、有効画素の最大値をスミアの光源とみなし、Ｖ−ＯＢの最小値から２番目の値をＶ−ＯＢに達したスミアとみなす。
【００４５】
次に、図４Ｂによって、本発明の撮像装置の別の実施例を説明する。図４Ｂは、Ｖ−ＯＢが５ライン以上のＣＣＤ撮像素子を用いた撮像装置のスミア補正部の一実施例の構成を示すブロック図である。
図４Ａと同様に、１ラインの入力信号は有効画素期間と有効画素期間以外の期間であるＨブランキング期間がある。Ｈブランキング期間には、ＣＣＤ垂直転送期間とＯＢ期間とダミー期間がある。
図４Ｂの実施例は、Ｖ−ＯＢに達しないスミアについてスミア補正を行うもので、有効画素の最大値をスミア源とみなし、Ｖ−ＯＢ最小値から３番目の値でスミア補正するものである。従って、例えば、Ｖ−ＯＢが５ラインの時には、中央値がスミアとみなす。４００ｂはスミア補正部、２３は比較部、７４はラインメモリ部、他は、図４Ａと同様である。
【００４６】
図４Ｂにおいて、デジタル映像信号Ｖｉが、スミア補正部４００ｂに入力される。
デジタル映像信号Ｖｉは、スミア補正部４００ｂの減算部１１の被減算入力端と比較部２１及び２４に入力される。ラインメモリ部７２には、最小の輝度レベルが記憶され、ラインメモリ部７３には最小値から２番目の値の輝度レベル（２番目に小さい輝度レベル）が記憶され、ラインメモリ部７４には最小値から３番目の値の輝度レベル（３番目に小さい輝度レベル）が記憶される。ラインメモリ部７４は、記憶された３番目に小さい輝度レベルをデジタルＡＧＣ部１０とラインメモリ部７５に出力する。ラインメモリ部７５は、１ライン分の輝度レベルの３番目に小さい輝度レベルを比較部２６と減算部７９の被減算入力端に出力する。
即ち、比較部２１〜２３は、入力されたデジタル映像信号ＶｉをＶ−ＯＢラインの垂直画素信号毎に比較し、輝度レベルの小さい順にラインメモリ部７２〜７４に記憶する。ラインメモリ部７４は、記憶された３番目に小さい輝度レベルを比較部２６と減算部７９の被減算入力端に出力する。
比較部２４は、入力されたデジタル映像信号ＶｉをＶ−ＯＢラインの垂直画素信号毎に比較し、より大きい輝度レベルをラインメモリ部７７に記憶する。ラインメモリ部７７には、最大の輝度レベルが記憶され、記憶された輝度レベルがラインメモリ部７６に出力される。ラインメモリ部７６は、１ライン分の輝度レベルの最大の輝度レベルを乗算部７８を介して、減算部７９の減算入力端に出力する。
【００４７】
デジタルＡＧＣ部１０は、入力された２番目に小さい輝度レベルをゲイン調整し、減算部１１の減算入力端に出力する。減算部１１は、被減算入力端に入力されたデジタル映像信号Ｖｉから、減算入力端に入力された輝度レベルを減算して、１０［ｂｉｔ］のスミア補正されたデジタル映像信号Ｖｍを出力する。
比較部２６は、ラインメモリ部７５から入力された輝度レベルの最大値を最大スミア信号Ｓ２として出力する。
減算部７９は、ラインメモリ部７５から入力された輝度レベルから、ラインメモリ部７６から乗算部７８を介して入力された輝度レベルを減算して、減算された輝度レベル信号を検出信号Ｓ１として検出部１１１ｃに出力する。
なお、メモリ部７２の最小値の輝度レベルの上限値、及びメモリ部７７の最大値の輝度レベルの下限値は予め設定し記録しておく。
【００４８】
上述のように、図４Ｂの実施例は、有効画素の最大値をスミアの光源とみなし、Ｖ−ＯＢの最小値から３番目の値をＶ−ＯＢに達したスミアとみなす。
例えば、図１Ｃの撮像装置１００ｃに、この図４Ｂの構成のスミア補正部４００ｂを用いると、白キズの影響がないだけでなく、暗電流が極端に少ない画素欠陥である黒キズの影響がほとんどなくなり、厳しく選別した高価なＣＣＤ撮像素子を使用し難い監視用途特にＥＭ−ＣＣＤ撮像素子に適している。また、白キズと黒キズの影響がほとんどないため、垂直スミア発生の有無を検出する回路を省略できる。また、垂直スミア誤検出による黒い縦筋を防止する少レベル垂直スミア補正信号の切り捨て処理する回路も省略できる。
さらに図１Ｃと図４Ｂの実施例では、信号ＶｉからＯＢ代表値信号を減算してから映像信号処理部１０５に入力する信号Ｖｍを１０ｂｉｔにして、監視用途に多く使用される低価格の映像信号処理部１０５の入力ビット数に合わせている。但し、垂直スミア補正の精度を維持するため、ＦＥＰ部１０３ｃの出力ビット数は１４ビットとしている。
【００４９】
次に、図４Ｃによって、本発明の撮像装置の別の実施例を説明する。図４Ｃは、Ｖ−ＯＢが２ライン以上のＣＣＤ撮像素子を用いた撮像装置のスミア補正部の一実施例の構成を示すブロック図である。
図４Ａと同様に、１ラインの入力信号は有効画素期間と有効画素期間以外の期間であるＨブランキング期間がある。Ｈブランキング期間には、ＣＣＤ垂直転送期間とＯＢ期間とダミー期間がある。
図４Ｃの実施例は、Ｖ−ＯＢに達しないスミアについてスミア補正を行うもので、有効画素の最大値をスミア源とみなし、Ｖ−ＯＢ最小値でスミア補正するものである。４００ｃはスミア補正部、他は、図４Ａと同様である。
【００５０】
図４Ｃにおいて、デジタル映像信号Ｖｉが、スミア補正部４００ｃに入力される。
デジタル映像信号Ｖｉは、スミア補正部４００ｃの減算部１１の被減算入力端と比較部２１及び２４に入力される。ラインメモリ部７２には、最小の輝度レベルが記憶される。ラインメモリ部７２は、記憶された最小の輝度レベルを減算部１１とラインメモリ部７５に出力する。ラインメモリ部７５は、１ライン分の輝度レベルの最小輝度レベルを比較部２６と減算部７９の被減算入力端に出力する。
即ち、比較部２１と２４は、入力されたデジタル映像信号ＶｉをＶ−ＯＢラインの垂直画素信号毎に比較し、輝度レベルの小さいレベルをラインメモリ部７２に記憶する。ラインメモリ部７２は、記憶された最小輝度レベルをラインメモリ部７５に出力する。
比較部２４は、入力されたデジタル映像信号ＶｉをＶ−ＯＢラインの垂直画素信号毎に比較し、より大きい輝度レベルをラインメモリ部７７に記憶する。ラインメモリ部７７には、最大の輝度レベルが記憶され、記憶された輝度レベルがラインメモリ部７６に出力される。ラインメモリ部７６は、１ライン分の輝度レベルの最大の輝度レベルを乗算部７８を介して、減算部７９の減算入力端に出力する。
【００５１】
減算部１１は、被減算入力端に入力されたデジタル映像信号Ｖｉから、減算入力端に入力された輝度レベルを減算して、デジタルＡＧＣ部１０に出力する。デジタルＡＧＣ部１０は、入力された輝度レベルをゲイン調整し、１２［ｂｉｔ］のスミア補正されたデジタル映像信号Ｖｍを出力する。
比較部２６は、ラインメモリ部７５から入力された輝度レベルの最大値を最大スミア信号Ｓ２として出力する。
減算部７９は、ラインメモリ部７５から入力された輝度レベルから、ラインメモリ部７６から乗算部７８を介して入力された輝度レベルを減算して、減算された輝度レベル信号を検出信号Ｓ１として検出部１１１ｃに出力する。
なお、メモリ部７２の最小値の輝度レベルの上限値、及びメモリ部７７の最大値の輝度レベルの下限値は予め設定し記録しておく。
【００５２】
上述のように、図４Ｃの実施例では、有効画素の最大値をスミアの光源とみなし、Ｖ−ＯＢの最小値をＶ−ＯＢに達したスミアとみなす。
【００５３】
また図４Ｄ〜図４Ｆによって、本発明の撮像装置の別の実施例を説明する。図４Ｄ〜図４Ｆは、本発明の撮像装置のスミア補正部の一実施例の構成を示すブロック図である。図４Ａ〜図４Ｃとの相違は、ラインメモリ７５に、一画面前のスミアを記憶してお、現画面のスミアと比較して、変動スミアを算出することである。図４Ａ〜図４Ｃと同一部分の説明は省略する。
【００５４】
図４Ｄは、比較部２４と比較部２６とラインメモリ７６とラインメモリフ７とがないことと、ラインメモり７５の動作が異なること以外は、図４Ａと同等であり、Ｖ−ＯＢに最小値から２番目をスミア信号として検出しラインメモリ７３に保持してＤ．ＡＧＣ１０経由で映像信号から減算する。さらに、ラインメモり７５に、一画面前のスミア信号を記憶しておき、ラインメモリ７３に保持してある現面面のスミア信号と比較して変動スミアを検出し出力する。
同様に、図４Ｅは、比較部２４と比較部２６とラインメモり７６とラインメモリ７７とがないことと、ラインメモリ７５の動作が異なること以外は、図４Ｂと同等であり、Ｖ−ＯＢに最小値から３番目をスミア信号として検出しラインメモリ７４に保持してＤ．ＡＧＣ１０経由で映像信号から減算する。さらに、ラインメモリ７５に、一画面前のスミア信号を記憶しておき、ラインメモリ７４に保持してある現画面のスミア信号と比較して変動スミアを検出し出力する。
同様に、図４Ｆは、比較部２４と比較部２６とラインメモリ７６とラインメモリ７
７とがないことと、ラインメモリ７５の動作が異なること以外は、図４Ｃと同等であり、Ｖ−ＯＢに最小値をスミア信号として検出しラインメモリ７２に保持してＤ．ＡＧＣ１０経由で映像信号から減算する。さらに、ラインメモリ７５に、一画面前のスミア信号を記憶しておき、ラインメモリ７２に保持してある現画面のスミア信号と比較して変動スミアを検出し出力する。
【００５５】
また、図４Ａ〜図４Ｆで示す実施例において、ＦＥＰ内にＡＧＣが含まれていない実施例や、スメア補正邦のＤ．ＡＧＣの配置場所が異なる実施例や、デジタル信号ＶｉやＶｍのビット数やＯＢ代表値信号のピット数が異なる実施例や、比較部やラインメモリ部の構成が異なる実施例等があるが、これらは一実施例にすぎず種々の構成が適用されても良い。
本発明の図４Ａ〜図４Ｃの実施例の特徴は、比較部とラインメモリ部とにより、最大値または２番目に大きい値を除きＣＣＤ撮像素子の白キズの影響を削除していること、有効画素の各垂直同素の最大値をスミア源とみなしていることである。本発明の図４Ｄ〜図４Ｆの実施例の特徴は、ラインメモリ７５に、一画面前のスミアを記憶しておき、現画面のスミアと比較して、変動スミアを算出することである。
【００５６】
なお、図ＩＣと図４Ｃと図４Ｆの実施例では、本発明の他の一実施例であり、Ｖ−ＯＢ代表値として各垂直画素信号の最小値を算出する方法を示しており、垂直スミア補正信号の記憶が１ライン分で済み集積規模が従来例よりも小型になる。また、図１Ｃと図４Ｃと図４Ｆの実施例では、Ｖ−ＯＢライン数が少なく、黒キズも少ないＨＤＴＶのＣＣＤ撮像素子に適している。さらに、ＡＧＣは具備しないが、１６ｂｉｔのＦＥＰを用い、垂直スミア補正が高精度となっている。ここで、図４Ａまたは図４Ｂにおいて、比較差２２、２３とラインメモリ差７２、７３とを省略し、図４Ｃの動作をすれば、Ｖ−ＯＢライン数が少なく、黒キズも少ないＨＤＴＶのＣＣＤ撮像素子を用いた高感度用途になる。
上記スミア補正の基本的な処理技術については、例えば、特許文献１（特開２００８−１０９６０６３９号公報）に記載ように周知の技術であり、また例えば、本願出願人が平成２１年３月１８日に出願した特願２００９−０６６２２３号等に記載の技術を適用することによって容易に実現することができる、
【００５７】
次に、図５、図６Ａ、及び図６Ｂによって、本発明の撮像装置の垂直輪郭補正によってスミア部分を補正する実施例について説明する。図５は、本発明のスミア補正に使用する水平画素補間を含む多走査線（Ｈ）垂直輪郭補正回路の構成を示すブロック図である。図６Ａと図６Ｂは、本発明の一実施例のスミア補正を示す映像信号の模式図である。図６Ａ及び図６Ｂの（１）及び（２）において、横軸は共通で、水平ラインの位置を示す。また縦軸の点は各画素ごとの映像信号の輝度レベルを示す。
５２０〜５２６は加算器で、Ｍ１〜Ｍ７はラインメモリ部であり、ＮＰ１〜ＮＰ３とＮＰ５〜ＮＰ７は負の掛け算器、Ｐ４は正の掛け算器である。
【００５８】
図６Ａにおいて、補正前の映像信号（１）が、横軸方向になだらかな波形で推移している。通常時に、水平ラインについて、図６Ａ（１）の画素６０２ａを中心に、画素６０２ａ、６０３ａで輪郭強調を行ったとすると、図６Ａ（２）に示すように、画素６０２ｂを中心として、左の画素６０１ｂが他の映像信号波形に比べてさらに輝度レベルが低くなり、右の画素６０３ｂが他の映像信号波形に比べてさらに輝度レベルが高くなる。
この場合、図６Ｂ（１）の補正前映像信号に示すように、スミア信号がきた場合には、水平ライン上の映像信号の波形が乱れ、かつ他の画素より高い輝度レベル６１１ａ、６１２ａ、及び６１３ａが検出される。この乱れた輝度レベル６１１ａ、６１２ａ、及び６１３ａで一番高い輝度レベル６１２ａをスミアの光源とみなして検出し、その他の輝度レベル６１１ａ及び６１３ａを上述の図１Ａ〜図１Ｃ、図２Ａ、図２Ｂ、図３、及び、図４Ａ〜図４Ｄの実施例のようにスミア補正する。この結果、図６Ｂ（２）の補正後映像信号の輝度レベル６１１ｂ、６１２ｂ、及び６１３ｂに示すように、補正された映像信号波形、即ち、スミア補正が可能となる。
即ち、水平画素補間を含む水平輪郭強調部（図１Ｃ参照）に対して、図６Ａ、図６Ｂに示すように、通常時は水平輪郭強調を行い、一定でも変動していてもＶ−ＯＢに達しないスミアと変動スミアの検出信号がきた場合は、水平画素補間を行うことができる。
【００５９】
特許文献２や非特許文献２に記載されるように、ＥＭ−ＣＣＤ撮像素子では、ＣＭＧ電圧振幅が比較的低い低電子増倍時は、垂直転送後に信号が増倍される。このため、フォトダイオードの蓄積容量のばらつきによって画面内で不均一だったダイナミックレンジが、画面内で均一になり、フォトダイオードや垂直転送路の転送容量不足が補われ、暗電流を低減する電子冷却と組み合わせればダイナミックレンジが拡大するが、垂直スミアが約−８０ｄＢと多い。
また、非特許文献３に記載のように、対角４．５［ｍｍ］のＩＴ−ＣＣＤ撮像素子も感度が高くなり、出力信号飽和レベルも高くなった。しかし、垂直スミアが約−１０５ｄＢと多い。さらに、非特許文献４に記載のように、ＦＴ−ＣＣＤ撮像素子では、ＩＴ−ＣＣＤ撮像素子より感度が高く出力信号飽和レベルも高いが、垂直スミアが非常に多い。
【００６０】
しかし、ＥＭ−ＣＣＤ撮像素子を用いて低電子増倍時の場合、及び、ＩＴ−ＣＣＤ撮像素子やＦＴ−ＣＣＤ撮像素子を用いた場合には、ＣＣＤ撮像素子の出力の飽和レベルが高いので、そのまま１４［ｂｉｔ］以上でデジタル信号に変換（Ａ／Ｄ変換）し信号処理する。
そこで、ＥＭ−ＣＣＤ撮像素子を用いて、高電子増倍時のＣＣＤ撮像素子の出力の飽和レベルが低い場合、及び、出力信号飽和レベルの低いＣＣＤ撮像素子を用いる場合には、ＣＣＤ撮像素子の出力を１２［ｂｉｔ］以上でＡ／Ｄ変換し、画面内で不均一の飽和を伸長して１４［ｂｉｔ］以上相当としておく。
この結果、一定照度の点光源による一定の垂直スミアについては、Ｖ−ＯＢの垂直ラインの最小値で白キズの影響を受けずに一定の垂直スミアを検出し、有効画素から減算することができる。
【００６１】
さて、上述したように、垂直スミアは、ＬＥＤ等の映像非同期のパルス点灯の点光源により変動する。このような変動垂直スミアは、有効画素の垂直ラインの最大値で所定以上の値をスミア源とみなし、スミア源のある垂直ラインの有効画素は、スミア源の外側の左右の画素の補間で置換する。
その結果、６０［Ｈｚ］商用交流電源のサイリスタ駆動による短時間パルス点灯の点光源で、一定でも変動していても、Ｖ−ＯＢに達しない垂直スミアは、有効画素の垂直ラインの最大値で所定以上の値をスミア源とみなし、スミア源のある垂直ラインの有効画素は、スミア源のある垂直ラインの外側の左右の画素の補間で置換することで除去することができる。
【００６２】
さらに、ＣＣＤ撮像素子の出力を、１２［ｂｉｔ］以下でＡ／Ｄ変換し、ＣＣＤ撮像素子の出力の飽和を伸長しない場合でも、Ｖ−ＯＢの垂直ラインの最小値で白キズの影響を受けずに垂直スミアを検出して画面間で比較し、画面間で変動する垂直スミアを検出する。また、画面間で変動する垂直スミアのある垂直画素の場合には、画面間で変動する垂直スミアの外側の左右画素の加重平均を補正値として置き換えることができる。
即ち、モニタ映像に、垂直ラインのカーソル２本を重畳する。Ｖ−ＯＢに達しない垂直スミアと画面間で変動する垂直スミアのある垂直ラインの、スミアの光源の左右の境界に垂直ラインのカーソル２本を合わせ、カーソルの外側の左右画素に、カーソル位置からの遠近差に応じて重み付けして算出した輝度レベルを補正値としてカーソルの内側の画素の輝度レベルと置き換えることができる。
【００６３】
また、画面間の垂直スミアの差分を検出して補正するには、上述した実施例のように、有効画素の最大値をスミア源とみなし、長い垂直スミア発生時の高輝度点周辺の垂直ラインの映像信号メモリと、短い垂直スミア発生時の高輝度点周辺の垂直ラインの映像信号メモリとの差分を取り垂直スミア変動の補正値とする。
つまり、本発明による撮像装置の一実施例では、Ｖ−ＯＢの垂直ラインの信号の最小値を検出し垂直スミア成分とみなし、高輝度圧縮を伸長した有効画素信号から減算して一定照度の点光源による一定の垂直スミア成分を白キズの影響を受けずに減算する。
その結果、ＬＥＤ等の映像非同期のパルス点灯の点光源による変動する垂直スミアと６０Ｈｚ商用交流電源のサイリスタ駆動による短時間パルス点灯の点光源で、一定でも変動していてもＶ−ＯＢに達しない垂直スミアとは、高輝度圧縮を伸長した有効画素の垂直ラインの信号の所定以上の最大値としてスミア源信号を検出する。スミア源のある垂直ラインの有効画素信号は、スミア源の外側の左右の画素の信号に基づいた補正値で置換することができる。
その結果、一定でも変動していてもＶ−ＯＢに達しない垂直スミアでもスミア源の外側の左右の画素の信号にもとづいた補正値で置換され、垂直スミアは目立たなくなる。
【００６４】
従って、感度が高く垂直スミアが多いＣＣＤ撮像素子を用いた撮像装置において、変動する垂直スミアとＶ−ＯＢに達しない垂直スミアを目立たなくなる。即ち、ＥＭ−ＣＣＤ撮像素子を用いた撮像装置による映像監視、及び、対角４．５［ｍｍ］のＩＴ−ＣＣＤ撮像素子を用いた撮像装置による映像監視において、垂直スミアを目立たなくなり、侵入者検知等の画像処理が容易になる。また、対角４．５［ｍｍ］のＦＴ−ＣＣＤ撮像素子を用いた携帯電話の垂直スミアが目立たなくなり、暗部撮影の画質が向上する。
【００６５】
上述した本発明による実施例については、さらに、以下のような問題が残っているかもしれない。
例えば、異常に強い過飽和入射光の強度がさらに高くなると、さらに強い飽和入射光でフォトダイオードで過剰な電荷が発生する。発生した電荷は、垂直転送路にあふれる。このため、過剰な電荷で垂直転送路が過飽和状態となり、強い入射光の映像の画面の下端が、垂直スミアより高い過飽和レベルの、白状態になる。
さらに過飽和し、制限レベルに達し、異常に強い過飽和入射光では、入射光の強度が高くなるに従い、強い過飽和入射光の映像の画面の下方から、順々に、垂直スミアより高い過飽和レベルの白状態になる。かつ、逆に画面上部の垂直スミアは沈み（暗くなり）、水平方向にも白いすじ状の水平スミアが明瞭に見えてくる。またさらに異常に強い過飽和入射光の強度が高くなると、白が画面全体に広がり、それ以上に異常に強い過飽和入射光の強度がに高くなると、画面全体が黒に暗転する。
【００６６】
そこで、本発明の別の実施形態では、図１Ｃの撮像装置の構成において、白伸長部１１２ｃは、入力されたデジタル映像信号Ｖｉ’を、所定の映像レベルに伸長し、デジタル映像信号Ｖｉとしてスミア補正部１０４ｃに出力する。そして、スミア補正部１０４ｃは、白伸長されたＶ−ＯＢ信号の垂直画素について、過飽和直前レベルの垂直スミアを最小値から検出して、過飽和が発生するとみなす。
ここで、ＣＰＵ１０６は、各機器と常に相互にアクセスしている。このため、ＣＰＵ１０６は、前記のように過飽和が発生しようとした時、レンズ等の光学系１０１を制御しての光学系絞りを絞る。かつ、ＣＰＵ１０６は、ＦＥＰ部１０３ｃのＶＧＡ（若しくは、ＡＧＣ）３３を制御してゲインを調整し、ＡＧＣ出力ゲインを高くするか、ＥＭ−ＣＣＤ撮像素子のＣＭＧ電圧を高くして電子増倍率を高くし、感度を一定に保つ。
【００６７】
上述のように、ＡＧＣを高くするか電子増倍率を高くすると、雑音は増加する。しかし、過飽和入射光の映像の画面の過飽和レベルの白状態化、画面上部の沈みこみ、及び、水平方向の白いすじ状の水平スミアが明瞭化すること、を防止できる。従って、異常に強い過飽和入射光の強度がさらに高くなる（さらに高輝度になる）こと、及び、白が画面全体に広がること、及び、画面全体が黒に暗転することとを確実に防止できる。
即ち、過飽和直前の輝度レベルでの垂直スミアを、白伸長した後のＶ−ＯＢ信号の垂直画素の最小値から検出し、レンズ等の光学系の光学絞りを絞れば、過飽和入射光の映像の画面の過飽和レベルの白状態、画面上部の沈みこみ、及び、水平スミアが防止できる。
また、白伸長した後のＶ−ＯＢ信号から検出する値は、垂直画素の最小値でなくても良く、例えば、各垂直画素信号の最小値からｉ（ｉは自然数）番目の値、最大値からｍ（ｍは自然数）番目の値以下の値の平均値、または他の最大値からｍ番目の値以下の値から算出される代表値信号の少なくとも１つを算出しても良い。
【実施例２】
【００６８】
上記本発明の別の実施形態について、図１Ｃ、図７Ａ、図７Ｂ、及び図７Ｃを参照して説明する。図７Ａ〜図７Ｃは、本発明の撮像装置における、ＣＣＤ撮像素子の入射光と出力との関係を示す図である。図７Ａは、有効画素の光源レベルと、白キズの無いＶ−ＯＢスミアレベルの比例部分の補正を模式的に示す図である。また図７Ｂは、有効画素の光源レベルと白キズのあるＶ−ＯＢスミアレベルの比例部分の破綻を模式的に示す図である。またさらに図７Ｃは、有効画素のブルーミング光源レベルと白キズのないＶ−ＯＢスミアレベルからの推定部分を模式的に示す図である。
図７Ａ〜図７Ｃにおいて、（１）は非増倍時のＥＭ−ＣＣＤ撮像素子の場合の入射光と出力との関係式、（２）は低増倍時のＥＭ−ＣＣＤ撮像素子、ＩＴ−ＣＣＤ撮像素子、及び、ＦＴ−ＣＣＤ撮像素子の場合の入射光と出力との関係式、（３）は高増倍時のＥＭ−ＣＣＤ撮像素子の場合の入射光と出力との関係式である。
【００６９】
図７Ａでは、Ｖ−ＯＢ最小値（Ｖ−ＯＢmin ）で白キズ除去し、スミア源点光源レベルＡmax から、垂直スミアのレベルを実線矢印のように想定することが可能である。
図７Ｂでは、白キズの影響で、スミア源点光源レベルＡmax から垂直スミアのレベルを点線矢印の様に想定することが困難である。
また図７Ｃでは、Ｖ−ＯＢ最小値（Ｖ−ＯＢmin ）で白キズ除去し、ブルーミング発生直前のスミア源点光源レベルを一点鎖線矢印の様にの想定することが可能である。
【００７０】
図１Ｃにおいて、スミア補正部１０４ｃは、ＣＰＵ１０６に最大スミア信号Ｓ２を供給している。この最大スミア信号Ｓ２は、ＡＧＣと電子増倍率とで値が定ま。ＣＰＵ１０６は、最大スミア信号Ｓ２が所定値以上になると、過飽和が発生するとみなし、光学系１０１の光学絞りを絞るか光学ＮＤフィルタの減衰率を強くする。これによって、入射光量を少なくして、ＦＥＰ１０３ｃのＡＧＣを高くするかＥＭ−ＣＣＤ撮像素子１０２のＣＭＧ電圧を高くして電子増倍率を高くして感度を一定に保つ。
次に、図４Ａと、図４Ｂと、図４Ｃとを用いて説明する。
図４Ａ〜図４Ｃにおいて、白伸長したＶ−ＯＢ信号の最小値からＮ番目の値をＶ−ＯＢに達したスミアとみなし、ラインメモリ部７５に記憶されている。Ｖ−ＯＢに達したスミアを比較器２４で比較し、最大値を最大スミア信号として出力する。
【００７１】
この結果、感度は高いが、垂直スミアも水平スミアも多く、異常に強い過飽和入射光により転送路が過飽和状態になり撮像した映像に異常が発生し易いＥＭ−ＣＣＤ撮像素子を用いた撮像装置において、異常に強い過飽和入射光により転送路が過飽和状態になり撮像した映像に発生する異常が目立たなくなる。従って、ＥＭ−ＣＣＤ撮像素子を用いた撮像装置による映像による監視において、照明が画面に直接入射する状態でも、暗部撮影の画質が向上し、侵入者検知等の画像処理が容易になる。
【符号の説明】
【００７２】
１０：デジタルＡＧＣ部、 １１：減算部、 １２：除算部、 １３：加算部、 ２１〜２４：比較部、 ３１：ＣＤＳ部、 ３２：Ａ／Ｄ変換部、 ３３：ＶＧＡ部、 ７２〜７７：ラインメモリ部、 ７８：乗算部、 ７９は減算部、 １００ａ、１００ｂ、１００ｃ：撮像装置、 １０１：光学系、 １０２：ＣＣＤ撮像素子、 １０３：ＡＦＥ部、 １０３ｃ：ＦＥＰ部、 １０４：スミア補正部、 １０４ｃ：スミア補正部、 １０５：映像信号処理部、 １０６：ＣＰＵ、 １０７ａ：演算部、 １０８ａ：カーソル位置制御部、 １０９ａ：ラインメモリ部、 １１０：ＴＧ、 １０７ｂ、１０８ｂ：フィールドメモリ部、 １０９ｂ：差分検出部、 １１１ｃ：検出部、 １１２ｃ：白伸長部、 ２０１：スミアのある画面、 ２１１：スミアを補正した画面、 ２０３、２１３：スミアの光源、 ２０５：スミア領域、 ２０７：左のカーソル、 ２０８：右のカーソル、 ２１５：スミアを補正した領域、 ２３１：画素ｋ−２、 ２３２：画素ｋ−１、 ２３３：画素ｋ、 ２３４：画素ｋ＋１、 ２３５：画素ｋ＋２、 ２３７：左カーソル位置、 ２３８：右カーソル位置、 ２５１：画素ｊ−３、 ２５２：画素ｊ−２、 ２５３：画素ｊ−１、 ２５４：画素ｊ＋１、 ２５５：画素ｊ＋２、 ２５６：画素ｊ＋３、 ２５７：左カーソル位置、 ２５８：右カーソル位置、 ３０１〜３０４：画面、 ３０５〜３０７：スミアの光源、 ３０８、３０９：スミア、 ４００ａ：スミア補正部。
【技術分野】
【０００１】
本発明は撮像装置に関わり、特に、撮像素子としてＥＭ−ＣＣＤ（ Electron Multiplying - Charge Coupled Device ）等の電荷増倍型デバイスを用いた撮像装置に関するものである。
【背景技術】
【０００２】
ＣＣＤ（ Charge Coupled Device ）等の電荷転送型デバイスを用いた撮像素子（以下、代表してＣＣＤ撮像素子と称する）は、スポット光のような輝度が高い被写体（高輝度被写体）を撮像した場合に、スポット光を撮像した画素のフォトダイオードから垂直転送路に過剰電荷が漏れ込む。この時、撮像装置には、高輝度被写体を撮像した画素と同じ列の垂直方向の画素すべてにスポット光の照度に比例した映像信号が重畳されて、スミアとよばれる白い縦線が現れる。そこで、従来の撮像装置では、垂直方向の光学的黒画素（ Vertical-Optical Black 、以下、Ｖ−ＯＢと称する）部分の出力の各垂直画素信号を平均し、１ライン分の信号として記憶し、ＣＣＤ撮像素子の有効画素部分の出力信号より、記憶したＶ−ＯＢ画素信号を減算してスミア補正していた（特許文献１参照。）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００８−１０９６３９号公報
【特許文献２】特開２００３−１８９３１８号公報
【非特許文献】
【０００４】
【非特許文献１】ソニーＣＸＰＡＬ Ｖｏｌ．７７ ＩＣＸ６４８ＡＫＡ ２００８年７月
【非特許文献２】三洋電機 SANYO TECHNICAL REVIEW VOL.37 NO.2 MAR.2006
【非特許文献３】ＴＩ製 TC246RGB-B0 680 x 500 PIXEL IMPACTRONTM PRIMARY COLOR CCD IMAGE SENSOR SOCS087 - DECEMBER 2004 - REVISED MARCH 2005
【非特許文献４】Desert Star Systems 製 Night and Low-Light Imaging withFrogEye and SharkEye Digital Cameras Application Note 2nd Edition 28OCT05
【発明の概要】
【発明が解決しようとする課題】
【０００５】
撮像装置と非同期で、短い周期で点滅を繰返す照明装置（例えば、ＬＥＤ（ Light Emitting Diode ）照明、等）の下では、ＣＣＤ撮像素子を用いた撮像装置では、Ｖ−ＯＢに達しない垂直スミアや変動する垂直スミア等の異常垂直スミアが現れる。このような異常垂直スミアに対しては、特許文献１のような従来のＶ−ＯＢ画素信号の減算では、スミア補正が十分有効であるとはいえなかった。
また、ＩＴ（ Inter Line ）方式のＣＣＤ撮像素子（以下、ＩＴ−ＣＣＤ撮像素子と称する）は、対角４．５［ｍｍ］と撮像面積が小さい。しかし、入射光が７０６［ｃｄ／ｍ２］、絞りＦ５．６で、出力信号は１０５０［ｍＶ］と感度が高くなり、出力信号飽和レベルも１０００［ｍＶ］と高い。しかし一方、垂直スミアが約−１０５［ｄＢ］と多い（非特許文献１参照。）。
【０００６】
さらに、ＦＴ（ Frame Transfer ）方式のＣＣＤ撮像素子（以下、ＦＴ−ＣＣＤ撮像素子と称する）を用いた撮像装置におけるＦＴ−ＣＣＤ撮像素子は、ＩＴ−ＣＣＤ撮像素子より、感度が高く、また出力信号飽和レベルも高い。そして、ＦＴ−ＣＣＤ撮像素子は、画素寸法を小さく高画素化し易いが、垂直スミアが非常に多い（非特許文献２参照）。
【０００７】
さらに、ＥＭ−ＣＣＤ（ Electron Multiplying - Charge Coupled Device ）等の電子増倍型ＣＣＤ撮像素子（以下、ＥＭ−ＣＣＤ撮像素子と称する）を用いた撮像装置におけるＥＭ−ＣＣＤ撮像素子は、フォトダイオードで光電変換された信号電荷を電圧振幅が高い水平転送ＣＣＤの内部（ＣＭＧ：Charge Multiplying Gate ）で電子増倍させることにより、電子冷却部と組み合わせて感度を高くできる。この結果、超微弱光で撮影できるため、夜間の照明なしでの準動画監視が可能となった。しかし、ＥＭ−ＣＣＤ撮像素子は、垂直スミアが約−８０ｄＢと多い（非特許文献３参照）。
【０００８】
また、ＥＭ−ＣＣＤ撮像素子を用いた撮像装置におけるＥＭ−ＣＣＤ撮像素子において、ＣＭＧ電圧振幅が比較的低い低電子増倍時には、垂直転送後に信号が増倍される。このため、フォトダイオードや垂直転送路の転送容量不足が補われ、暗電流を低減する電子冷却と組み合わせればダイナミックレンジが拡大する。
さらに、フォトダイオードの蓄積容量のばらつきのために、１画面内で不均一だったダイナミックレンジが、画面内で均一になる。
しかし、ＣＭＧ電圧振幅が中程度の中電子増倍時には、暗電流も電子増倍され、暗電流レベルが高くなる。このため、映像信号成分が飽和して、ダイナミックレンジが低下する。
電子冷却を行い暗電流を低減するようにすると多少良くなる。例えば、ＥＭ−ＣＣＤ撮像素子の温度を約６［℃］下げると、暗電流が半分に改善される。しかし、それでも、暗電流のレベルは高く、映像信号成分が飽和して、ダイナミックレンジが低下する。
さらに、ＣＭＧ電圧振幅が高い高電子増倍時には、水平変調度も低下し、高輝度信号が圧縮される。従って、ＥＭ−ＣＣＤ撮像素子を特に強く電子冷却して暗電流を最小限にし、さらにＣＭＧ電圧振幅を最小限にした場合でも、暗電流のレベルが高く、映像信号成分が飽和して、ダイナミックレンジが低下する（特許文献２と非特許文献３と非特許文献４参照）。
【０００９】
また、ＥＭ−ＣＣＤ撮像素子において、垂直スミアが飽和する輝度の入射光よりさらに高輝度の入射光があった場合には、フォトダイオードで発生し垂直転送路に溢れた過剰な電荷で垂直転送路が過飽和状態となる。これにより、高輝度の入射光の映像の画面下端が垂直スミアより高い過飽和レベルの白状態になる。
さらに過飽和し、異常に高輝度の過飽和入射光では、入射光の輝度が高くなるに従い、制限レベルに達したＣＣＤ出力映像信号となる高輝度の過飽和入射光の映像の画面下方から順々に、垂直スミアより高輝度の過飽和レベルの白状態になる。この結果、逆に画面上部の垂直スミアは沈み、水平方向にも白いすじ状の水平スミアが確認されるようにな異常スミアが現れる。そしてさらに過飽和入射光の強度がさらに高くなると、過飽和入射光による偽信号で白が画面全体に広がる。
ＩＴ−ＣＣＤ撮像素子やＦＴ−ＣＣＤ撮像素子は、基盤電圧を可変するか、電荷掃き捨てタイミングを可変するかして、過飽和入射光による偽信号を低減する。しかし、ＥＭ−ＣＣＤ撮像素子は、過飽和入射光による偽信号の低減が困難だった。ＩＴ−ＣＣＤ撮像素子やＦＴ−ＣＣＤ撮像素子は、出力信号飽和レベルも高いので、過飽和入射光による偽信号の検出も容易であったが、ＥＭ−ＣＣＤ撮像素子は、出力信号飽和レベルが実効的に低い状態が多いので、過飽和入射光による偽信号の検出も困難であった。
【００１０】
本発明は、上記のような問題に鑑み、ＥＭ−ＣＣＤ撮像素子等の電子増倍型撮像素子を用いた撮像装置において、高輝度被写体を撮像した場合に発生する映像の異常を低減することにある。
【課題を解決するための手段】
【００１１】
上記課題を解決するため、本発明の撮像装置は、光学系と、該光学系を通って入射する光を信号電荷に変換する固体撮像素子と、該固体撮像素子の受光面の有効画素から出力される映像信号を取得する映像信号取得部と、外部機器から入力されスミアの光源を特定する左右のカーソル位置情報に基づいてカーソル位置制御部に出力するＣＰＵと、前記カーソル位置情報に基づいて、前記スミアの光源とする画素のアドレスを出力する前記カーソル位置制御部と、前記スミアの光源とする画素のアドレスについて、水平ラインごとに、前記カーソルの位置に対応する画素の上下の輝度レベルについて、前記カーソル位置に対応する画素で画素重み付けした輝度レベルの補正値を算出する演算部と、該算出された輝度レベルの補正値で前記左右のカーソルに挟まれた画素の輝度レベルを置換するスミア補正部とを備えたものである。
また好ましくは、上記発明の撮像装置において、前記演算部は、前記左右のカーソル位置で挟まれた画素を除く、他の水平ラインについて実行するものである。
さらに好ましくは、上記発明の撮像装置において、前記左右のカーソルの位置の遠近に基づいて重み付けして補正値を算出するものである。またさらに好ましくは、当該左カーソル位置または右カーソル位置に対応する画素に近いほど重み付け係数を大きくし、遠いほど重み付け係数を小さくするものである。
【００１２】
また上記課題を解決するため、本発明の撮像装置は、光学系と、該光学系を通って入射する光を信号電荷に変換する固体撮像素子と、該固体撮像素子の受光面の有効画素から出力される映像信号を取得する映像信号取得部と、前記映像取得部から奇数フィールドの映像信号を記憶する第１のフィールドメモリと、前記映像取得部から偶数フィールドの映像信号を記憶する第２のフィールドメモリと、前記第１のフィールドメモリと前記第２のフィールドメモリから出力される映像信号の差分を検出し、前記検出された差分の演算し、算出された差分について、所定の輝度レベル以上であって、一番差分値が大きい値の画素のかたまりを、スミアの光源として特定し、該特定されたスミアの光源のアドレス位置の垂直方向の画素の該スミアの光源に特定された画素を除いた水平ライン上の画素についての差分値を出力する検出部と、該差分値を入力し、前記映像信号取得部から入力された前記映像信号から前記差分値を減算して出力するスミア補正部とを備えたものである。
好ましくは、上記発明の撮像装置において、前記演算部は、水平ラインごとに水平ラインごとに前記差分値を出力し、前記スミア補正部は、前記水平ラインごとに前記差分値を減算するものである。
【００１３】
また上記課題を解決するため、本発明の撮像装置は、光学系と、該光学系を通って入射する光を信号電荷に変換する固体撮像素子と、該固体撮像素子の受光面の有効画素から出力される映像信号を取得する映像信号取得部と、前記映像信号を白伸長する白伸長部と、外部機器から入力されスミアの光源を特定する位置情報に基づいて制御信号をスミア補正部に出力するＣＰＵと、前記位置情報に基づいて、前記スミアの光源とする画素のアドレスを出力する前記カーソル位置制御部と、前記スミアの光源とする画素のアドレス上下方向の画素について、水平ラインごとに代表値を算出し、スミア補正するスミア補正部とを備えたものである。
好ましくは、上記本発明の撮像装置は、前記白伸長部で伸長した画素から出力される複数ラインの各垂直画素信号の最小値からＮ（Ｎは自然数）番目の値、最大値からＭ（Ｍは自然数）番目の値以下の値の平均値、または他の最大値からＭ番目の値以下の値から算出される代表値信号の少なくとも１つを算出する手段と、前記第１の取得部で取得した有効画素から出力される映像信号から前記代表値信号を減算する手段とを有し、有効画素から出力される映像信号の各垂直画素信号の最大値（スミア源）から（約８０ｄＢ低く）想定される垂直スミア値に比べ、上記代表値信号が低い垂直画素は、（Ｖ−ＯＢに達しない垂直スミアとして、）垂直スミアのある垂直ラインの外側の左右の画素の補間で置換するする手段と、上記代表値信号が画面間で変動する垂直画素は（変動する垂直スミアとして、）垂直スミアのある垂直ラインの外側の左右の画素の補間で置換するする手段と、の少なくとも一方のる手段を有するものである。
また好ましくは、上記撮像装置において、前記撮像素子はＣＣＤ撮像素子であり、該ＣＣＤ撮像素子のＣＣＤ出力の飽和を伸長する伸長手段と、該ＣＣＤ出力を１２［ｂｉｔ］以上でＡ／Ｄ変換する手段とを有し、前記ＣＣＤ出力を１２［ｂｉｔ］以上でＡ／Ｄ変換し、飽和を伸長して１４［ｂｉｔ］以上相当としてから、前記ＣＣＤ撮像素子の有効画素からの信号から、前記ＣＣＤ撮像素子のＶ−ＯＢからの代表値信号を減算するか、前記ＣＣＤ撮像素子の有効画素から出力される映像信号の各垂直画素信号の最大値（スミア源）を算出するかの少なくとも一方を行うものである。
【００１４】
また、上記撮像装置において、固体撮像素子と該固体撮像素子の受光面の有効画素から出力される映像信号を取得する第１の取得部と前記固体撮像素子の受光面の上部または下部の遮光した画素から出力される信号を取得する第２の取得部とを有する固体撮像装置において、モニタ映像に垂直ラインのカーソルを２本重畳する手段と、Ｖ−ＯＢに達しない垂直スミアのある垂直ラインの水平端に垂直ラインのカーソルの位置を選択する手段と、垂直ラインのカーソルの内側の画素を垂直ラインの外側の左右画素の加重平均に置き換える手段とを有するものである。
【００１５】
さらに、上記撮像装置において、固体撮像素子と該固体撮像素子の受光面の有効画素から出力される映像信号を取得する第１の取得部と前記固体撮像素子の受光面の上部または下部の遮光した画素から出力される信号を取得する第２の取得部とを有する固体撮像装置において、有効画素の最大値をスミア源とみなし検出する手段と、長い垂直スミア発生時の高輝度点周辺の垂直ラインの映像信号を記憶する手段と、短い垂直スミア発生時の高輝度点周辺の垂直ラインの映像信号を記憶する手段と、記憶した高輝度点周辺の垂直ラインの映像信号の差分を取る手段と、有効画素の信号から前記映像信号の差分を減算する手段とを有するものである。
【００１６】
また、上記撮像装置において、光学系と電子増倍型ＣＣＤ撮像素子と該撮像素子の受光面の有効画素から出力される映像信号を取得する第１の取得部と前記撮像素子の受光面の上部または下部の遮光した画素から出力される信号を取得する第２の取得部とを有する撮像装置において、前記第２の取得部で取得した遮光した画素から出力される信号の複数ラインの各垂直画素信号の高レベル飽和を伸長してから、最小値からＮ（Ｎは自然数）番目の値、最大値からＭ（Ｍは自然数）番目の値以下の値の平均値、または他の最大値からＭ番目の値以下の値から算出される代表値信号の少なくとも１つを算出し、該代表値信号が所定以上のレベルになったら前記光学系に備えた（光学絞りや可変ＮＤフィルタ等の）光学減衰手段で入射光を光学減衰することと、前記第１の取得部で取得した有効画素から出力される映像信号の高レベル飽和を伸長してから前記代表値信号を減算することと、有効画素から出力される映像信号の各垂直画素信号の高レベル飽和を伸長してからの最大値（スミア源）から（約８０ｄＢ低く）想定される垂直スミア値に比べ、上記代表値信号が低い垂直画素は、（Ｖ−ＯＢに達しない垂直スミアとして、）垂直スミアのある垂直ラインの外側の左右の画素の補間で置換することと、上記代表値信号が画面間で変動する垂直画素は（変動する垂直スミアとして、）垂直スミアのある垂直ラインの外側の左右の画素の補間で置換することと、の少なくとも一方を行うものである。
【発明の効果】
【００１７】
本発明によれば、高輝度被写体を固体撮像素子で撮像した場合に発生する、撮像した映像の異常を目立たなくすることができる。
【図面の簡単な説明】
【００１８】
【図１Ａ】本発明の撮像装置の一実施例の全体構成を示すブロック図である。
【図１Ｂ】本発明の一実施例の全体構成の撮像装置を示すブロック図。
【図１Ｃ】本発明の一実施例の全体構成の撮像装置を示すブロック図。
【図２Ａ】本発明の一実施例のＶ−ＯＢに達しないスミア、若しくはＶ−ＯＢに達しない変動スミアを補正する画面のを模式的に示した図である。
【図２Ｂ】本発明の撮像装置の重み付けによるスミア補正の一実施例を模式的に説明するための図である。
【図３】本発明の撮像装置の一実施例のスミア補正を説明するための模式図である。
【図４Ａ】本発明の撮像装置のスミア補正部の一実施例の構成を示すブロック図である。
【図４Ｂ】本発明の撮像装置のスミア補正部の一実施例の構成を示すブロック図である。
【図４Ｃ】本発明の撮像装置のスミア補正部の一実施例の構成を示すブロック図である。
【図４Ｄ】本発明の撮像装置のスミア補正部の一実施例の構成を示すブロック図である。
【図４Ｅ】本発明の撮像装置のスミア補正部の一実施例の構成を示すブロック図である。
【図４Ｆ】本発明の撮像装置のスミア補正部の一実施例の構成を示すブロック図である。
【図５】本発明の一実施例の水平輪郭強調部の構成を示すブロック図である。
【図６Ａ】本発明の一実施例のスミア補正を示す映像信号の模式図である。
【図６Ｂ】本発明の一実施例のスミア補正を示す映像信号の模式図である。
【図７Ａ】本発明の１実施例での有効画素の光源レベルと白キズのないＶ−ＯＢスミアレベル比例の補正を示す入射光とＣＣＤ出力レベルの模式図。
【図７Ｂ】本発明の１実施例での有効画素の光源レベルと白キズのあるＶ−ＯＢスミアレベル比例の破綻を示す入射光とＣＣＤ出力レベルの模式図。
【図７Ｃ】本発明の１実施例での有効画素のブルーミング光源レベルと白キズのないＶ−ＯＢスミアレベルからの推定を示す入射光とＣＣＤ出力レベルの模式図。
【発明を実施するための形態】
【００１９】
本発明の撮像装置は、ＣＣＤ撮像素子のＶ−ＯＢの垂直ラインの信号の最小値を検出し、検出された最小値を垂直スミア成分とみなし、高輝度圧縮を伸長した有効画素信号から減算して一定の垂直スミア成分を減算する。なお白キズの信号は除外して最小値を検出する。
また、本発明の撮像装置は、高輝度圧縮を伸長した有効画素の垂直ラインの信号の所定以上の最大値としてスミア源信号を検出し、検出されたスミア源信号のある垂直ラインの有効画素信号を、スミア源の外側の左右の画素の信号の補間値で置換し、Ｖ−ＯＢに達しない垂直スミアを補正する。この結果、垂直スミアが目立たなくなる。また、この垂直スミアの垂直方向の長さが、一定の長さの場合であっても、画面ごとに長さが変動している場合であっても、垂直スミアが目立たなくすることができる。
また、本発明の撮像装置は、白伸長したＶ−ＯＢ信号の垂直画素の最小値から過飽和直前レベルの垂直スミアを検出し、検出した場合にはレンズ等の光学系の光学絞りを絞って、入射光の輝度を抑え、過飽和入射光にならないようにする。この結果、過飽和レベルの白状態、画面上部の沈みこみ、及び水平スミアを防止する。
【００２０】
以下に本発明の一実施形態を図面等を用いて説明する。なお、以下の説明は、本発明の一実施形態を説明するためのものであり、本願発明の範囲を制限するものではない。従って、当業者であればこれらの各要素若しくは全要素をこれと均等なものに置換した実施形態を採用することが可能であり、これらの実施形態も本願発明の範囲に含まれる。
また、以降の各図の説明において、共通な機能を有する構成要素には同一の参照番号を付し、できるだけ説明を省略する。
【実施例１】
【００２１】
まず、本発明の撮像装置の一実施例の概要を図３によって説明する。図３は、本発明の撮像装置の一実施例のスミア補正を説明するための模式図である。３０１はスミアの光源とスミアのある画面、３０２はスミアの無い画面、３０３はスミアのある画面からスミアの無い画面を差し引いた画面、３０４はスミアの光源だけの画面、３０５〜３０７はスミアの光源、３０８と３０９はスミアである。
【００２２】
図３のスミアの光源とスミアのある画面３０１において、撮像装置が視野範囲内を撮像した画面には、スミアの光源３０５とスミア３０８とが出力される。
この画面３０１から、スミアの光源３０５だけを選択し、スミアの光源３０６として出力されたのがスミアの無い画面３０２である。画面３０１から画面３０２の差分を取ると、スミア３０９だけの画面３０３が出力される。
そして、最終的には、画面３０１から画面３０３の差分を取ることによって、スミアの無い画面３０４が、撮像装置から出力される。
好ましくは、上記２つの差分は、１または複数の画素ごとに実行する。
上述したように、図３は、例えば、Ｖ−ＯＢに達しないスミア、若しくはＶ−ＯＢに達しない変動スミアをフィールドメモリ部を用いて補正する画面を模式的に示した図である。高輝度被写体（例えば、スポットライトや車両のヘッドライト等の光源であり、スミアの光源と称する）を撮像した画素と同じ列の垂直方向の画素（垂直線画素）にスポット光の照度に比例した映像信号が重畳されて、スミアとよばれる白い縦線が現れる（発生する）。
【００２３】
次に図２Ａと図２Ｂによって、本発明の撮像装置の一実施例をさらに説明する。図２Ａは、本発明の撮像装置のスミア補正の一実施例を説明するための模式図である。図２Ａは、Ｖ−ＯＢに達しないスミア、若しくはＶ−ＯＢに達しない変動スミアを補正する画面の本発明の一実施例を模式的に示した図である。２０１はスミアのある画面、２１１はスミアを補正した画面、２０３と２１３はスミアの光源、２０５はスミアの光源２０３の上下の垂直線に現れるスミア、２０７は左のカーソル（マーカー）、２０８は右のカーソル（マーカー）、２１５はスミアを補正した領域である。図２Ａ及び図２Ｂは、図示しない表示装置にモニタ映像を表示して、カーソルをＧＵＩ（ Graphical User Interface ）操作可能である。即ち、オペレータのＧＵＩ操作によって、撮像された画面に、スミアの光源と特定した画素を左右に挟むように、カーソル２０７、２０８を重畳して表示することができる。
図２（１）は、スミアのある画面２０１を示す図、図２（２）はスミアを補正した後の画面２１１を示す図である。
【００２４】
図２Ａにおいて、スミアのある画面２０１に、ＣＣＤ撮像素子によって撮像されたスミアの光源２０３が存在し、その出力の映像信号にはスミアの光源２０３と共に、スミアの光源２０３の上下垂直線方向に、Ｖ−ＯＢに達しないスミア２０５が現れる。
このスミアの光源２０３の左右の画素に、手動で、カーソル２０７と２０８を表示させる。例えば、カーソルの手動による表示手段としては、図１Ａ図示しないＣＰＵへの外部機器からの入力信号、若しくは、図１Ｃの外部機器１２０ｃからの外部操作等による。このカーソル２０７と２０８で左右を挟まれた１または複数の画素が、スミアの光源２０３と特定される
次に、上記指定された左のカーソル２０７と右のカーソル２０８に囲まれた画素の上下の垂直線方向の画素について、各水平ラインごとに、画素の輝度レベルを書き込み、光源２１３以外の画素を算出された輝度レベルについて、それらの左右カーソル位置に相当する画素に重みづけを行って、それぞれの画素ごとに補正する輝度レベルを算出する。そして、算出された輝度レベルにそれぞれの画素の輝度レベルを置換する。その結果、図２Ａ（２）の領域２１５に示すように、スミアが補正される。
図２Ａの実施例の場合、スミアがＶ−ＯＢに達していなくても、また、スミアが変動しても、カーソルで指定することによって、スミアを補正できる。また、スミアがＶ−ＯＢに達していても、補正可能である。
【００２５】
さらに図２Ｂによって、各画素に対して重み付けして算出する一実施例について説明する。図２Ｂは、本発明の撮像装置の重み付けによるスミア補正の一実施例を模式的に説明するための図である。図２Ｂ（１）は、カーソルで指定されたスミアの光源が３画素に渡って存在する場合のスミア補正を説明する図である。また、図２Ｂ（２）は、カーソルで指定されたスミアの光源が４画素に渡って存在する場合のスミア補正を説明する図である。２３７は左カーソル位置、２３８は右カーソル位置、２３１は左カーソル位置２３７に対応する画素ｋ−２、２３５は右カーソル位置２３８に対応する画素ｋ＋２、２３２〜２３４は左カーソル位置２３７と右カーソル位置２３８に挟まれた画素で、画素２３２は画素２３１の右に隣接し、画素２３４は画素２３５の左に隣接する画素、画素２３３は画素２３２の右に隣接し画素２３４の左に隣接する画素である。また、２５７は左カーソル位置、２５８は右カーソル位置、２５１は左カーソル位置２５７に対応する画素ｊ−３、２５６は右カーソル位置２５８に対応する画素ｊ＋３、２５２〜２５６は左カーソル位置２５７と右カーソル位置２５８に挟まれた画素で、画素２５２は画素２５１の右に隣接し、画素２５３は画素２５２の右に隣接する画素、画素２５５は画素２３５の左に隣接する画素、画素２５４は画素２５５の右に隣接し画素２５３の左に隣接する画素である。
【００２６】
図２Ｂ（１）は、１水平ライン分の画素の補正について説明するが、垂直線方向の他のスミア部分についても、同様に、１水平ラインずつ実行する。
図２Ｂにおいて、それぞれの画素２３１〜２３５の枠内の文字は、それぞれの水平ライン上の画素アドレスを示す。また、画素２３１の輝度レベルをＢｋ−２、画素２３２の輝度レベルをＢｋ−１、画素２３３の輝度レベルをＢｋ、画素２３４の輝度レベルをＢｋ＋１、画素２３５の輝度レベルをＢｋ＋２とする。
この時、スミアが現れた画素２３２〜２３４に対して置換するための輝度レベルを、式（１）〜式（３）のように算出する。ＳＢｋ−１は画素２３２の輝度レベルＢｋ−１を置換するための補正値、ＳＢｋは画素２３３の輝度レベルＢｋを置換するための補正値、ＳＢｋ＋１は画素２３４の輝度レベルＢｋ＋１を置換するための補正値である。
ＳＢｋ−１＝０．７Ｂｋ−２＋０．３Ｂｋ＋２ ・・・式（１）
ＳＢｋ＝０．５Ｂｋ−２＋０．５Ｂｋ＋２ ・・・式（２）
ＳＢｋ＋１＝０．３Ｂｋ−２＋０．７Ｂｋ＋２ ・・・式（３）
このように、左カーソル位置に近い方の画素には、左カーソル位置に対応する画素の輝度レベルに大きな重み付けをし、遠い方の画素（即ち、右カーソル位置に対応する画素）の輝度レベルに小さな重み付けをして、置換するための補正値を算出する。
なお、左右のカーソルに囲まれた画素の数（即ち、スミアが現れた水平方向の画素数）が１画素の場合には、重み付けは左右等しくなる。従って、補正値として、平均値が算出される。
【００２７】
なお、上記実施例では、重み付け係数を、当該カーソルに対応する画素に近いほど大きく、遠いほど小さい値にし、その値は、“０．７”、“０．５”、“０．３”とした。しかし、他の値、例えば、“０．６”、“０．５”、“０．４”や、“０．８”、“０．５”、“０．２”、等としても良く、また例えば、“０．８”、“０．５”、“０．３”としても良い。
さらに、上記実施例では、カーソルに挟まれた画素数が、３であったが、５である場合等、“０．９”、“０．７”、“０．５”、“０．３”、“０．１”、等、カーソルに挟まれた画素数が増えても、随時設定可能である。
【００２８】
次に、図２Ｂ（２）においても、１水平ラインの画素について補正するが、垂直スミア部分の他の水平ラインについても同様である。
図２Ｂにおいて、それぞれの画素２５１〜２３６の枠内の文字は、それぞれの水平ライン上の画素アドレスを示す。また、画素２５１の輝度レベルをＢｊ−３、画素２５２の輝度レベルをＢｊ−２、画素２５３の輝度レベルをＢｊ＋１、画素２５４の輝度レベルをＢｊ＋１、画素２５５の輝度レベルをＢｊ＋２、画素２３６の輝度レベルをＢｊ＋３とする。
この時、スミアが現れた画素２５２〜２５５に対して置換するための輝度レベルを、式（４）〜式（７）のように算出する。ＳＢｊ−２は画素２５２の輝度レベルＢｊ−２を置換するための補正値、ＳＢｊ−１は画素２５３の輝度レベルＢｊ−１を置換するための補正値、ＳＢｊ＋１は画素２５４の輝度レベルＢｊ＋１を置換するための補正値、ＳＢｊ＋２は画素２５５の輝度レベルＢｊ＋２を置換するための補正値である。
ＳＢｊ−２＝０．８Ｂｊ−３＋０．２Ｂｊ＋３ ・・・式（４）
ＳＢｊ−１＝０．６Ｂｊ−３＋０．４Ｂｊ＋３ ・・・式（５）
ＳＢｊ＋１＝０．４Ｂｊ−３＋０．６Ｂｊ＋３ ・・・式（６）
ＳＢｊ＋２＝０．２Ｂｊ−３＋０．８Ｂｊ＋３ ・・・式（７）
このように、左カーソル位置に近い方の画素には、左カーソル位置に対応する画素の輝度レベルに大きな重み付けをし、遠い方の画素（即ち、右カーソル位置に対応する画素）の輝度レベルに小さな重み付けをして、置換するための補正値を算出する。
なお、左右のカーソルに囲まれた画素の数（即ち、スミアが現れた水平方向の画素数）が１画素の場合には、重み付けは左右等しくなる。従って、補正値として、平均値が算出される。
【００２９】
また、上記算出式は、式（４）〜（７）を、例えば、式（４）’〜（７）’のように重み付けの係数を、適度に替えて算出しても良い。
ＳＢｊ−２＝０．７Ｂｊ−３＋０．３Ｂｊ＋３ ・・・式（４）’
ＳＢｊ−１＝０．６Ｂｊ−３＋０．４Ｂｊ＋３ ・・・式（５）’
ＳＢｊ＋１＝０．４Ｂｊ−３＋０．６Ｂｊ＋３ ・・・式（６）’
ＳＢｊ＋２＝０．３Ｂｊ−３＋０．７Ｂｊ＋３ ・・・式（７）’
【００３０】
本発明の撮像装置の一実施例の概要を図１Ａによって説明する。図１Ａは、本発明の撮像装置の一実施例の全体構成を示すブロック図である。
図１Ａでは、Ｖ−ＯＢに達する変動スミアを補正する場合である。１０１は入射光を結像するレンズ等の光学系、１０２は光学系１０１から入射した光を電気信号に変換するＣＣＤ撮像素子、１０３はＡＦＥ（ Analog Front End ）部、１０４はスミア補正部、１０５は映像信号処理部、１０６はＣＰＵ（ Central Processor Unit ），１０７ａは演算部、１０８ａはカーソル位置制御部、１０９ａはラインメモリ部、１１０はＣＣＤ撮像素子１０２を駆動する駆動パルスを生成する駆動パルス発生器（ＴＧ：Timing Generator ）である。また、ＡＦＥ部１０３において、３１はＣＣＤ撮像素子１０２から出力された信号から雑音を除去するＣＤＳ（ Correlated Double Sampling ）部、３２は入力された映像信号をデジタル映像信号Ｖｉに変換するＡ／Ｄ（ Analog Digital ）変換部である。ＣＣＤ撮像素子１０２は、例えば、ＥＭ−ＣＣＤ撮像素子等の電子増倍型撮像素子である。また、ＣＰＵ１０６には、図３や図２Ａで説明したように、図示しない外部機器から、スミアが発生する（現れる）原因である光源を水平走査ライン上において挟む左右の位置を、カーソル位置として指定する信号が入力される。
【００３１】
図１Ａの撮像装置１００ａにおいて、図１Ａにおいて、ＣＰＵ１０６は、ＴＧ１１０、ＡＦＥ部１０３、演算部１０７ａ、及びカーソル位置制御部１０８ａ、並びに撮像装置１００ａの他の機器（スミア補正部１０４、映像信号処理部１０５、ラインメモリ部１０９ａ、等）を、所定の処理プログラム若しくは図示しない外部からの制御信号に基づいて制御する。
ＴＧ１１０は、ＣＣＤ撮像素子１０２を駆動する垂直駆動パルスと水平駆動パルスを生成し、ＣＣＤ撮像素子１０２に出力し、ＣＣＤ撮像素子１０２を駆動する。
また、ＣＰＵ１０６は、外部からの入力信号に応じて、スミアの光源が現れている画素の左右のカーソル位置をカーソル位置制御部１０８ａに出力する。
ＣＣＤ撮像素子１０２は、光学系１０１で受光面に結像された入射光を光電変換して信号電荷を生成し、垂直転送した後水平転送し、さらにこの信号電荷を電子増倍して、ＡＦＥ部１０３に出力する。
ＡＦＥ部１０３は、入力された信号電荷から雑音を除去し、暗電流成分を補正し、デジタル映像信号Ｖｉに変換して、スミア補正部１０４と演算部１０７ａに出力する。
【００３２】
カーソル位置制御部１０８ａは、ＣＰＵ１０６から入力された左右のカーソル位置に基づいて、スミアの光源とする画素のアドレスを演算部１０７ａに出力する。
演算部１０７ａは、カーソル位置制御部１０８ａから入力されたスミアの光源となる画素のアドレスに基づいて、当該画素の垂直方向（上下）のアドレスの画素それぞれについて、水平走査ラインごとに左右のカーソルの位置の遠近に基づいて重み付けをして補正値を算出し、ラインメモリ部１０９ａに水平ラインごとに出力する。
即ち、演算部１０７ａは、カーソル位置制御部１０８ａから入力されたアドレスの垂直方向について、各水平ラインごとに左のカーソルに対応する画素の輝度レベルと、右のカーソルに対応する画素の輝度レベルから補正値を算出し、算出した補正値値で、それぞれの水平ラインごとに、左右のカーソルに挟まれた輝度レベルを置換し、ラインメモリ部１０９ａに出力する。左右のカーソル間の画素数が複数であっても同様に置換する。なお、左右のカーソルに囲まれた画素の数（即ち、スミアが現れた水平方向の画素数）が１の場合には、重み付けは左右等しくなるので、補正値として、平均値が算出される。
【００３３】
ラインメモリ部１０９ａは、各水平ラインごとに入力された映像信号をスミア補正部１０４に出力する。
スミア補正部１０４は、ＡＦＥ部１０３から入力されるデジタル映像信号について、ラインメモリ部１０９ａから入力される映像信号レベルを減算して、映像信号Ｖｍとして映像信号処理部１０５に出力する。
映像信号処理部１０５は、スミア補正部１０４から入力された信号に種々の画像処理を施して、所定方式の映像信号に変換して撮像装置１００ａから出力する。撮像装置１００ａ（または、後述する撮像装置１００ｂ若しくは撮像装置１００ｃ）から出力される映像信号は、例えば、複合映像信号（ Video Burst Sync 、以下、ＶＢＳと称する）、ＳＤＩ（ Serial Digital Interface ）であり、映像信号の所定方式は、例えば、ＮＴＳＣ（ National Television System Committee ）方式、ＰＡＬ（ Phase Alternating by Line ）方式、等である。また、例えば、撮像装置１００ａから出力される映像信号は、ＨＤＴＶ（ High Definition Tele-Vision ）方式のＳＤＩ、ＨＤ−ＳＤＩである。
なお、撮像装置の外部からスミアの光源が現れている位置またはその左右の位置を入力される場合には、スミアがＶ−ＯＢに達しない変動スミアであっても良い。
【００３４】
次に、本発明の撮像装置の他の実施例の概要を図１Ｂによって説明する。図１Ｂは、本発明の撮像装置の一実施例の全体構成を示すブロック図である。
図１Ｂでは、Ｖ−ＯＢに達しないスミア、若しくはＶ−ＯＢに達しない変動スミアをフィールドメモリ部を用いて補正する場合である。図１Ｂは、図１Ａとほぼ同様の構成で、演算部１０７ａ、カーソル位置制御部１０８ａ及びラインメモリ部１０９ａの替りに、フィールドメモリ部１０７ｂ、フィールドメモリ部１０８ｂ、及び差分検出部１０９ｂを設けたものである。
【００３５】
図１Ｂの撮像装置１００ｂにおいて、ＡＦＥ部１０３は、入力された信号電荷から雑音を除去し、暗電流成分を補正し、デジタル映像信号Ｖｉに変換して、スミア補正部１０４とフィールドメモリ部１０７ｂ、及びフィールドメモリ部１０８ｂに出力する（画面３０１）。この時、フィールドメモリ部１０７ａには奇数フィールドの映像信号が入力され、フィールドメモリ部１０７ｂには偶数フィールドの映像信号が入力される。
フィールドメモリ部１０７ｂ及びフィールドメモリ部１０８ｂは、それぞれ奇数フィールドまたは偶数フィールドの１フィールド分の映像信号を記憶し、記憶された１フィールド分の有効画素それぞれについて、検出部１０９ｂに出力する。
検出部１０９ｂは、入力された２つのフィールドの映像信号の差分を演算し、差分値が大きい（差分が目立つ）垂直線を算出する。そして、算出された垂直線について、所定の輝度レベル以上であって、一番差分値が大きい値の画素のかたまりを、スミアの光源として特定し、その特定されたスミアの光源のアドレス位置の垂直方向の画素のスミアの光源に特定された画素を除いた水平ライン上の画素についての差分値を逆極性にして、スミア補正部１０４に出力する。
スミア補正部１０４は、ＦＥＰ１０３から入力された映像信号Ｖｉに、差分検出部１０９ｂから入力された差分値を加算し、映像信号Ｖｍとして映像信号処理部１０５に出力する。映像信号処理部１０５は、スミア補正部１０４から入力された信号に種々の画像処理を施して、所定方式の映像信号に変換して撮像装置１００ｂから出力する。
【００３６】
なお、図１Ａと同様に、ＣＰＵ１０６は、ＴＧ１１０、ＡＦＥ部１０３、演算部１０７、及びカーソル位置制御部１０８、並びに撮像装置１００ａの他の機器（スミア補正部１０４、映像信号処理部１０５、ラインメモリ部１０９、等）を、所定の処理プログラム若しくは図示しない外部からの制御信号に基づいて制御する。
また、図１Ａと図１Ｂのスミア補正部１０４は、スミア補正後、映像信号処理部１０５に出力する直前にデジタルＡＧＣ（ Automatic Gain Control ）を実行するように構成される。
また、撮像装置の外部からスミアの光源が現れている位置またはその左右の位置が入力される場合には、スミアがＶ−ＯＢに達する変動スミアであっても良い。
【００３７】
また次に、本発明の撮像装置の別の一実施例を、図１Ｃによって説明する。図１Ｃは、本発明の撮像装置の一実施例の全体構成を示すブロック図である。
図１Ｃでは、Ｖ−ＯＢに達しないスミア、変動スミア、及び、過飽和スミアとを検出して補正する場合を説明する。
図１Ｃは、図１Ａや図１Ｂと同様に、光学系１０１、ＣＣＤ撮像装置１０２、映像信号処理部１０５、及びＴＧ１１０は、同一の機能を有する。また、ＣＰＵ１０６は、所定の実行プログラムに従って、さらに、光学系１０１の絞り制御を行い、外部機器１２０ｃともアクセスして、撮像装置１００ｃの各機器を制御する。
また、ＡＦＥ部はＦＥＰ（ Front End Processor ）と呼ばれることもある。ＦＥＰ部１０３ｃは、ＣＤＳ部３１とＡ／Ｄ変換部３２との間に、ＶＧＡ（ Variable Gain Amplifier ）部３３を具備する。ＶＧＡ部３３は、ＣＤＳ３１から入力された信号のレベルを調整して、Ａ／Ｄ変換部３２に出力する。なお、ＶＧＡはＡＧＣを実施する手段の１つであり、ＶＧＡ部を省略し、映像信号処理部１０５でデジタルゲイン制御しても良い。
【００３８】
また図１Ｃは、ＦＥＰ部１０３ｃと映像信号処理部１０５との間に、白伸長部１１２ｃ、スミア補正部１０４ｃ、及び検出部１１１ｃを有する。
また撮像装置１００ｃは、外部機器１２０ｃとＣＰＵ１０６を介して相互にアクセスし、外部からのオペレータの操作に応答する。外部機器は、例えば、図１Ａで説明したカーソル位置操作や、後述するカーソル位置操作機能を付加された操作器である。当該操作器は、外部機器であっても良いが、撮像装置に付加される機能（例えば、ＯＳＤ：On Screen Display ）であっても良い。また、外部機器１２０ｃは、モニタと操作器間でＧＵＩ操作することができる機器であっても良い。また例えば、ＰＣ（ Personal Computer ）であっても良い。
【００３９】
図１Ｃの撮像装置１００ｃにおいて、ＣＣＤ撮像素子１０２は、光学系１０１で受光面に結像された入射光をフォトダイオードで光電変換して信号電荷を生成し、垂直転送したのち水平転送しながら信号電荷を電子増倍してＦＥＰ１０３に出力する。
ＦＥＰ１０３のＣＤＳ部３１は、ＣＣＤ撮像素子１０２から入力された信号から、雑音を除去し、暗電流成分を補正し、補正した信号をＶＧＡ部３３に出力する。ＶＧＡ部３３は、入力された信号を増幅して、Ａ／Ｄ変換部３２に出力する。Ａ／Ｄ変換部３２は、入力された信号をデジタル映像信号Ｖｉ’に変換して、白伸長部１１２ｃに出力する。
白伸長部１１２ｃは、入力されたデジタル映像信号Ｖｉ’を、所定の映像レベルに伸長し、デジタル映像信号Ｖｉとしてスミア補正部１０４ｃに出力する。スミア補正部１０４ｃは、入力された信号デジタル映像信号Ｖｉについて、スミア補正を行い、補正した映像信号Ｖｍ及び検出信号Ｓ１を検出部１１１ｃに出力し、過剰スミアの検出信号を最大スミア信号Ｓ２としてＣＰＵ１０６に出力する。なお、白伸長部１１２ｃの詳細については、後述する。
ＣＰＵ１０６は、最大スミア信号Ｓ２が入力された場合には、絞り制御信号Ｃ１を光学系１０１に出力し、光学系１０１に備えた光学絞り若しくは可変ＮＤ（ Neutral Density ）フィルタの少なくともいずれかの光学減衰手段で入射光を光学的に減衰する。
【００４０】
検出部１１１ｃは、入力された映像信号Ｖｍと検出信号Ｓ１から、スミア成分としてＶ−ＯＢ代表値信号の検出を行い、有効画素の映像信号から減算し、減算された映像信号を映像信号処理部１０５に出力する。映像信号処理部１０５は、上述した図１Ａ若しくは図１Ｂと同様の動作を行う。
【００４１】
次に、図４Ａによって、本発明の撮像装置の別の実施例を説明する。図４Ａは、Ｖ−ＯＢが３ライン以上のＣＣＤ撮像素子を用いた撮像装置のスミア補正部の一実施例の構成を示すブロック図である。
まず、１ラインの入力信号を説明する。１ラインの入力信号は有効画素期間と有効画素期間以外の期間であるＨブランキング期間がある。Ｈブランキング期間には、ＣＣＤ垂直転送期間とＯＢ（オプティカルブラック）期間とダミー期間がある。
図４Ａの実施例は、Ｖ−ＯＢに達しないスミアについてスミア補正を行うもので、有効画素の最大値をスミア源とみなし、Ｖ−ＯＢ最小値から２番目の値でスミア補正するものである。従って、例えば、Ｖ−ＯＢが３ラインの時には、中央値がスミアとみなす。４００ａはスミア補正部、１０はデジタルＡＧＣ部、１１と７９は減算部、２１、２２、２４、及び２６は比較部、７２、７３、及び７５〜７７はラインメモリ部、７８は乗算部である。
【００４２】
図４Ａにおいて、デジタル映像信号Ｖｉが、スミア補正部４００ａに入力される。
デジタル映像信号Ｖｉは、スミア補正部４００ａの減算部１１の被減算入力端と比較部２１及び２４に入力される。ラインメモリ部７２には、最小の輝度レベルが記憶され、ラインメモリ部７３には最小値から２番目の値の輝度レベル（２番目に小さい輝度レベル）が記憶される。ラインメモリ部７３は、記憶された２番目に小さい輝度レベルをデジタルＡＧＣ部１０とラインメモリ部７５に出力する。
即ち、比較部２１及び２２は、入力されたデジタル映像信号ＶｉをＶ−ＯＢラインの垂直画素信号毎に比較し、輝度レベルの小さい順にラインメモリ部７２及び７３に記憶する。ラインメモリ部７３は、記憶された２番目に小さい輝度レベルをラインメモリ部７５に出力する。ラインメモリ部７５は、１ライン分の輝度レベルの２番目に小さい輝度レベルを比較部２６と減算部７９の被減算入力端に出力する。
比較部２４は、入力されたデジタル映像信号ＶｉをＶ−ＯＢラインの垂直画素信号毎に比較し、より大きい輝度レベルをラインメモリ部７７に記憶する。ラインメモリ部７７には、最大の輝度レベルが記憶され、記憶された輝度レベルがラインメモリ部７６に出力される。ラインメモリ部７６は、１ライン分の輝度レベルの最大の輝度レベルを乗算部７８を介して、減算部７９の減算入力端に出力する。
【００４３】
デジタルＡＧＣ部１０は、入力された２番目に小さい輝度レベルをゲイン調整し、減算部１１の減算入力端に出力する。即ち、デジタルＡＧＣ部１０は、ＯＢ代表値信号をＦＥＰ部のＡＧＣの増幅度に合わせて、自身の増幅度を調節する。
減算部１１は、被減算入力端に入力されたデジタル映像信号Ｖｉから、減算入力端に入力された輝度レベルを減算して、１４［ｂｉｔ］のスミア補正されたデジタル映像信号Ｖｍを出力する。
比較部２６は、ラインメモリ部７５から入力された１ライン分の輝度レベルの２番目に小さなレベルを最大スミア信号Ｓ２としてＣＰＵ１０６に出力する。
減算部７９は、ラインメモリ部７５から入力された輝度レベルから、ラインメモリ部７６から乗算部７８を介して入力された輝度レベルを減算して、減算された輝度レベル信号を検出信号Ｓ１として検出部１１１ｃに出力する。
なお、メモリ部７２の最小値の輝度レベルの上限値、及びメモリ部７７の最大値の輝度レベルの下限値は予め設定し記録しておく。
【００４４】
上述のように、図４Ａの実施例は、有効画素の最大値をスミアの光源とみなし、Ｖ−ＯＢの最小値から２番目の値をＶ−ＯＢに達したスミアとみなす。
【００４５】
次に、図４Ｂによって、本発明の撮像装置の別の実施例を説明する。図４Ｂは、Ｖ−ＯＢが５ライン以上のＣＣＤ撮像素子を用いた撮像装置のスミア補正部の一実施例の構成を示すブロック図である。
図４Ａと同様に、１ラインの入力信号は有効画素期間と有効画素期間以外の期間であるＨブランキング期間がある。Ｈブランキング期間には、ＣＣＤ垂直転送期間とＯＢ期間とダミー期間がある。
図４Ｂの実施例は、Ｖ−ＯＢに達しないスミアについてスミア補正を行うもので、有効画素の最大値をスミア源とみなし、Ｖ−ＯＢ最小値から３番目の値でスミア補正するものである。従って、例えば、Ｖ−ＯＢが５ラインの時には、中央値がスミアとみなす。４００ｂはスミア補正部、２３は比較部、７４はラインメモリ部、他は、図４Ａと同様である。
【００４６】
図４Ｂにおいて、デジタル映像信号Ｖｉが、スミア補正部４００ｂに入力される。
デジタル映像信号Ｖｉは、スミア補正部４００ｂの減算部１１の被減算入力端と比較部２１及び２４に入力される。ラインメモリ部７２には、最小の輝度レベルが記憶され、ラインメモリ部７３には最小値から２番目の値の輝度レベル（２番目に小さい輝度レベル）が記憶され、ラインメモリ部７４には最小値から３番目の値の輝度レベル（３番目に小さい輝度レベル）が記憶される。ラインメモリ部７４は、記憶された３番目に小さい輝度レベルをデジタルＡＧＣ部１０とラインメモリ部７５に出力する。ラインメモリ部７５は、１ライン分の輝度レベルの３番目に小さい輝度レベルを比較部２６と減算部７９の被減算入力端に出力する。
即ち、比較部２１〜２３は、入力されたデジタル映像信号ＶｉをＶ−ＯＢラインの垂直画素信号毎に比較し、輝度レベルの小さい順にラインメモリ部７２〜７４に記憶する。ラインメモリ部７４は、記憶された３番目に小さい輝度レベルを比較部２６と減算部７９の被減算入力端に出力する。
比較部２４は、入力されたデジタル映像信号ＶｉをＶ−ＯＢラインの垂直画素信号毎に比較し、より大きい輝度レベルをラインメモリ部７７に記憶する。ラインメモリ部７７には、最大の輝度レベルが記憶され、記憶された輝度レベルがラインメモリ部７６に出力される。ラインメモリ部７６は、１ライン分の輝度レベルの最大の輝度レベルを乗算部７８を介して、減算部７９の減算入力端に出力する。
【００４７】
デジタルＡＧＣ部１０は、入力された２番目に小さい輝度レベルをゲイン調整し、減算部１１の減算入力端に出力する。減算部１１は、被減算入力端に入力されたデジタル映像信号Ｖｉから、減算入力端に入力された輝度レベルを減算して、１０［ｂｉｔ］のスミア補正されたデジタル映像信号Ｖｍを出力する。
比較部２６は、ラインメモリ部７５から入力された輝度レベルの最大値を最大スミア信号Ｓ２として出力する。
減算部７９は、ラインメモリ部７５から入力された輝度レベルから、ラインメモリ部７６から乗算部７８を介して入力された輝度レベルを減算して、減算された輝度レベル信号を検出信号Ｓ１として検出部１１１ｃに出力する。
なお、メモリ部７２の最小値の輝度レベルの上限値、及びメモリ部７７の最大値の輝度レベルの下限値は予め設定し記録しておく。
【００４８】
上述のように、図４Ｂの実施例は、有効画素の最大値をスミアの光源とみなし、Ｖ−ＯＢの最小値から３番目の値をＶ−ＯＢに達したスミアとみなす。
例えば、図１Ｃの撮像装置１００ｃに、この図４Ｂの構成のスミア補正部４００ｂを用いると、白キズの影響がないだけでなく、暗電流が極端に少ない画素欠陥である黒キズの影響がほとんどなくなり、厳しく選別した高価なＣＣＤ撮像素子を使用し難い監視用途特にＥＭ−ＣＣＤ撮像素子に適している。また、白キズと黒キズの影響がほとんどないため、垂直スミア発生の有無を検出する回路を省略できる。また、垂直スミア誤検出による黒い縦筋を防止する少レベル垂直スミア補正信号の切り捨て処理する回路も省略できる。
さらに図１Ｃと図４Ｂの実施例では、信号ＶｉからＯＢ代表値信号を減算してから映像信号処理部１０５に入力する信号Ｖｍを１０ｂｉｔにして、監視用途に多く使用される低価格の映像信号処理部１０５の入力ビット数に合わせている。但し、垂直スミア補正の精度を維持するため、ＦＥＰ部１０３ｃの出力ビット数は１４ビットとしている。
【００４９】
次に、図４Ｃによって、本発明の撮像装置の別の実施例を説明する。図４Ｃは、Ｖ−ＯＢが２ライン以上のＣＣＤ撮像素子を用いた撮像装置のスミア補正部の一実施例の構成を示すブロック図である。
図４Ａと同様に、１ラインの入力信号は有効画素期間と有効画素期間以外の期間であるＨブランキング期間がある。Ｈブランキング期間には、ＣＣＤ垂直転送期間とＯＢ期間とダミー期間がある。
図４Ｃの実施例は、Ｖ−ＯＢに達しないスミアについてスミア補正を行うもので、有効画素の最大値をスミア源とみなし、Ｖ−ＯＢ最小値でスミア補正するものである。４００ｃはスミア補正部、他は、図４Ａと同様である。
【００５０】
図４Ｃにおいて、デジタル映像信号Ｖｉが、スミア補正部４００ｃに入力される。
デジタル映像信号Ｖｉは、スミア補正部４００ｃの減算部１１の被減算入力端と比較部２１及び２４に入力される。ラインメモリ部７２には、最小の輝度レベルが記憶される。ラインメモリ部７２は、記憶された最小の輝度レベルを減算部１１とラインメモリ部７５に出力する。ラインメモリ部７５は、１ライン分の輝度レベルの最小輝度レベルを比較部２６と減算部７９の被減算入力端に出力する。
即ち、比較部２１と２４は、入力されたデジタル映像信号ＶｉをＶ−ＯＢラインの垂直画素信号毎に比較し、輝度レベルの小さいレベルをラインメモリ部７２に記憶する。ラインメモリ部７２は、記憶された最小輝度レベルをラインメモリ部７５に出力する。
比較部２４は、入力されたデジタル映像信号ＶｉをＶ−ＯＢラインの垂直画素信号毎に比較し、より大きい輝度レベルをラインメモリ部７７に記憶する。ラインメモリ部７７には、最大の輝度レベルが記憶され、記憶された輝度レベルがラインメモリ部７６に出力される。ラインメモリ部７６は、１ライン分の輝度レベルの最大の輝度レベルを乗算部７８を介して、減算部７９の減算入力端に出力する。
【００５１】
減算部１１は、被減算入力端に入力されたデジタル映像信号Ｖｉから、減算入力端に入力された輝度レベルを減算して、デジタルＡＧＣ部１０に出力する。デジタルＡＧＣ部１０は、入力された輝度レベルをゲイン調整し、１２［ｂｉｔ］のスミア補正されたデジタル映像信号Ｖｍを出力する。
比較部２６は、ラインメモリ部７５から入力された輝度レベルの最大値を最大スミア信号Ｓ２として出力する。
減算部７９は、ラインメモリ部７５から入力された輝度レベルから、ラインメモリ部７６から乗算部７８を介して入力された輝度レベルを減算して、減算された輝度レベル信号を検出信号Ｓ１として検出部１１１ｃに出力する。
なお、メモリ部７２の最小値の輝度レベルの上限値、及びメモリ部７７の最大値の輝度レベルの下限値は予め設定し記録しておく。
【００５２】
上述のように、図４Ｃの実施例では、有効画素の最大値をスミアの光源とみなし、Ｖ−ＯＢの最小値をＶ−ＯＢに達したスミアとみなす。
【００５３】
また図４Ｄ〜図４Ｆによって、本発明の撮像装置の別の実施例を説明する。図４Ｄ〜図４Ｆは、本発明の撮像装置のスミア補正部の一実施例の構成を示すブロック図である。図４Ａ〜図４Ｃとの相違は、ラインメモリ７５に、一画面前のスミアを記憶してお、現画面のスミアと比較して、変動スミアを算出することである。図４Ａ〜図４Ｃと同一部分の説明は省略する。
【００５４】
図４Ｄは、比較部２４と比較部２６とラインメモリ７６とラインメモリフ７とがないことと、ラインメモり７５の動作が異なること以外は、図４Ａと同等であり、Ｖ−ＯＢに最小値から２番目をスミア信号として検出しラインメモリ７３に保持してＤ．ＡＧＣ１０経由で映像信号から減算する。さらに、ラインメモり７５に、一画面前のスミア信号を記憶しておき、ラインメモリ７３に保持してある現面面のスミア信号と比較して変動スミアを検出し出力する。
同様に、図４Ｅは、比較部２４と比較部２６とラインメモり７６とラインメモリ７７とがないことと、ラインメモリ７５の動作が異なること以外は、図４Ｂと同等であり、Ｖ−ＯＢに最小値から３番目をスミア信号として検出しラインメモリ７４に保持してＤ．ＡＧＣ１０経由で映像信号から減算する。さらに、ラインメモリ７５に、一画面前のスミア信号を記憶しておき、ラインメモリ７４に保持してある現画面のスミア信号と比較して変動スミアを検出し出力する。
同様に、図４Ｆは、比較部２４と比較部２６とラインメモリ７６とラインメモリ７
７とがないことと、ラインメモリ７５の動作が異なること以外は、図４Ｃと同等であり、Ｖ−ＯＢに最小値をスミア信号として検出しラインメモリ７２に保持してＤ．ＡＧＣ１０経由で映像信号から減算する。さらに、ラインメモリ７５に、一画面前のスミア信号を記憶しておき、ラインメモリ７２に保持してある現画面のスミア信号と比較して変動スミアを検出し出力する。
【００５５】
また、図４Ａ〜図４Ｆで示す実施例において、ＦＥＰ内にＡＧＣが含まれていない実施例や、スメア補正邦のＤ．ＡＧＣの配置場所が異なる実施例や、デジタル信号ＶｉやＶｍのビット数やＯＢ代表値信号のピット数が異なる実施例や、比較部やラインメモリ部の構成が異なる実施例等があるが、これらは一実施例にすぎず種々の構成が適用されても良い。
本発明の図４Ａ〜図４Ｃの実施例の特徴は、比較部とラインメモリ部とにより、最大値または２番目に大きい値を除きＣＣＤ撮像素子の白キズの影響を削除していること、有効画素の各垂直同素の最大値をスミア源とみなしていることである。本発明の図４Ｄ〜図４Ｆの実施例の特徴は、ラインメモリ７５に、一画面前のスミアを記憶しておき、現画面のスミアと比較して、変動スミアを算出することである。
【００５６】
なお、図ＩＣと図４Ｃと図４Ｆの実施例では、本発明の他の一実施例であり、Ｖ−ＯＢ代表値として各垂直画素信号の最小値を算出する方法を示しており、垂直スミア補正信号の記憶が１ライン分で済み集積規模が従来例よりも小型になる。また、図１Ｃと図４Ｃと図４Ｆの実施例では、Ｖ−ＯＢライン数が少なく、黒キズも少ないＨＤＴＶのＣＣＤ撮像素子に適している。さらに、ＡＧＣは具備しないが、１６ｂｉｔのＦＥＰを用い、垂直スミア補正が高精度となっている。ここで、図４Ａまたは図４Ｂにおいて、比較差２２、２３とラインメモリ差７２、７３とを省略し、図４Ｃの動作をすれば、Ｖ−ＯＢライン数が少なく、黒キズも少ないＨＤＴＶのＣＣＤ撮像素子を用いた高感度用途になる。
上記スミア補正の基本的な処理技術については、例えば、特許文献１（特開２００８−１０９６０６３９号公報）に記載ように周知の技術であり、また例えば、本願出願人が平成２１年３月１８日に出願した特願２００９−０６６２２３号等に記載の技術を適用することによって容易に実現することができる、
【００５７】
次に、図５、図６Ａ、及び図６Ｂによって、本発明の撮像装置の垂直輪郭補正によってスミア部分を補正する実施例について説明する。図５は、本発明のスミア補正に使用する水平画素補間を含む多走査線（Ｈ）垂直輪郭補正回路の構成を示すブロック図である。図６Ａと図６Ｂは、本発明の一実施例のスミア補正を示す映像信号の模式図である。図６Ａ及び図６Ｂの（１）及び（２）において、横軸は共通で、水平ラインの位置を示す。また縦軸の点は各画素ごとの映像信号の輝度レベルを示す。
５２０〜５２６は加算器で、Ｍ１〜Ｍ７はラインメモリ部であり、ＮＰ１〜ＮＰ３とＮＰ５〜ＮＰ７は負の掛け算器、Ｐ４は正の掛け算器である。
【００５８】
図６Ａにおいて、補正前の映像信号（１）が、横軸方向になだらかな波形で推移している。通常時に、水平ラインについて、図６Ａ（１）の画素６０２ａを中心に、画素６０２ａ、６０３ａで輪郭強調を行ったとすると、図６Ａ（２）に示すように、画素６０２ｂを中心として、左の画素６０１ｂが他の映像信号波形に比べてさらに輝度レベルが低くなり、右の画素６０３ｂが他の映像信号波形に比べてさらに輝度レベルが高くなる。
この場合、図６Ｂ（１）の補正前映像信号に示すように、スミア信号がきた場合には、水平ライン上の映像信号の波形が乱れ、かつ他の画素より高い輝度レベル６１１ａ、６１２ａ、及び６１３ａが検出される。この乱れた輝度レベル６１１ａ、６１２ａ、及び６１３ａで一番高い輝度レベル６１２ａをスミアの光源とみなして検出し、その他の輝度レベル６１１ａ及び６１３ａを上述の図１Ａ〜図１Ｃ、図２Ａ、図２Ｂ、図３、及び、図４Ａ〜図４Ｄの実施例のようにスミア補正する。この結果、図６Ｂ（２）の補正後映像信号の輝度レベル６１１ｂ、６１２ｂ、及び６１３ｂに示すように、補正された映像信号波形、即ち、スミア補正が可能となる。
即ち、水平画素補間を含む水平輪郭強調部（図１Ｃ参照）に対して、図６Ａ、図６Ｂに示すように、通常時は水平輪郭強調を行い、一定でも変動していてもＶ−ＯＢに達しないスミアと変動スミアの検出信号がきた場合は、水平画素補間を行うことができる。
【００５９】
特許文献２や非特許文献２に記載されるように、ＥＭ−ＣＣＤ撮像素子では、ＣＭＧ電圧振幅が比較的低い低電子増倍時は、垂直転送後に信号が増倍される。このため、フォトダイオードの蓄積容量のばらつきによって画面内で不均一だったダイナミックレンジが、画面内で均一になり、フォトダイオードや垂直転送路の転送容量不足が補われ、暗電流を低減する電子冷却と組み合わせればダイナミックレンジが拡大するが、垂直スミアが約−８０ｄＢと多い。
また、非特許文献３に記載のように、対角４．５［ｍｍ］のＩＴ−ＣＣＤ撮像素子も感度が高くなり、出力信号飽和レベルも高くなった。しかし、垂直スミアが約−１０５ｄＢと多い。さらに、非特許文献４に記載のように、ＦＴ−ＣＣＤ撮像素子では、ＩＴ−ＣＣＤ撮像素子より感度が高く出力信号飽和レベルも高いが、垂直スミアが非常に多い。
【００６０】
しかし、ＥＭ−ＣＣＤ撮像素子を用いて低電子増倍時の場合、及び、ＩＴ−ＣＣＤ撮像素子やＦＴ−ＣＣＤ撮像素子を用いた場合には、ＣＣＤ撮像素子の出力の飽和レベルが高いので、そのまま１４［ｂｉｔ］以上でデジタル信号に変換（Ａ／Ｄ変換）し信号処理する。
そこで、ＥＭ−ＣＣＤ撮像素子を用いて、高電子増倍時のＣＣＤ撮像素子の出力の飽和レベルが低い場合、及び、出力信号飽和レベルの低いＣＣＤ撮像素子を用いる場合には、ＣＣＤ撮像素子の出力を１２［ｂｉｔ］以上でＡ／Ｄ変換し、画面内で不均一の飽和を伸長して１４［ｂｉｔ］以上相当としておく。
この結果、一定照度の点光源による一定の垂直スミアについては、Ｖ−ＯＢの垂直ラインの最小値で白キズの影響を受けずに一定の垂直スミアを検出し、有効画素から減算することができる。
【００６１】
さて、上述したように、垂直スミアは、ＬＥＤ等の映像非同期のパルス点灯の点光源により変動する。このような変動垂直スミアは、有効画素の垂直ラインの最大値で所定以上の値をスミア源とみなし、スミア源のある垂直ラインの有効画素は、スミア源の外側の左右の画素の補間で置換する。
その結果、６０［Ｈｚ］商用交流電源のサイリスタ駆動による短時間パルス点灯の点光源で、一定でも変動していても、Ｖ−ＯＢに達しない垂直スミアは、有効画素の垂直ラインの最大値で所定以上の値をスミア源とみなし、スミア源のある垂直ラインの有効画素は、スミア源のある垂直ラインの外側の左右の画素の補間で置換することで除去することができる。
【００６２】
さらに、ＣＣＤ撮像素子の出力を、１２［ｂｉｔ］以下でＡ／Ｄ変換し、ＣＣＤ撮像素子の出力の飽和を伸長しない場合でも、Ｖ−ＯＢの垂直ラインの最小値で白キズの影響を受けずに垂直スミアを検出して画面間で比較し、画面間で変動する垂直スミアを検出する。また、画面間で変動する垂直スミアのある垂直画素の場合には、画面間で変動する垂直スミアの外側の左右画素の加重平均を補正値として置き換えることができる。
即ち、モニタ映像に、垂直ラインのカーソル２本を重畳する。Ｖ−ＯＢに達しない垂直スミアと画面間で変動する垂直スミアのある垂直ラインの、スミアの光源の左右の境界に垂直ラインのカーソル２本を合わせ、カーソルの外側の左右画素に、カーソル位置からの遠近差に応じて重み付けして算出した輝度レベルを補正値としてカーソルの内側の画素の輝度レベルと置き換えることができる。
【００６３】
また、画面間の垂直スミアの差分を検出して補正するには、上述した実施例のように、有効画素の最大値をスミア源とみなし、長い垂直スミア発生時の高輝度点周辺の垂直ラインの映像信号メモリと、短い垂直スミア発生時の高輝度点周辺の垂直ラインの映像信号メモリとの差分を取り垂直スミア変動の補正値とする。
つまり、本発明による撮像装置の一実施例では、Ｖ−ＯＢの垂直ラインの信号の最小値を検出し垂直スミア成分とみなし、高輝度圧縮を伸長した有効画素信号から減算して一定照度の点光源による一定の垂直スミア成分を白キズの影響を受けずに減算する。
その結果、ＬＥＤ等の映像非同期のパルス点灯の点光源による変動する垂直スミアと６０Ｈｚ商用交流電源のサイリスタ駆動による短時間パルス点灯の点光源で、一定でも変動していてもＶ−ＯＢに達しない垂直スミアとは、高輝度圧縮を伸長した有効画素の垂直ラインの信号の所定以上の最大値としてスミア源信号を検出する。スミア源のある垂直ラインの有効画素信号は、スミア源の外側の左右の画素の信号に基づいた補正値で置換することができる。
その結果、一定でも変動していてもＶ−ＯＢに達しない垂直スミアでもスミア源の外側の左右の画素の信号にもとづいた補正値で置換され、垂直スミアは目立たなくなる。
【００６４】
従って、感度が高く垂直スミアが多いＣＣＤ撮像素子を用いた撮像装置において、変動する垂直スミアとＶ−ＯＢに達しない垂直スミアを目立たなくなる。即ち、ＥＭ−ＣＣＤ撮像素子を用いた撮像装置による映像監視、及び、対角４．５［ｍｍ］のＩＴ−ＣＣＤ撮像素子を用いた撮像装置による映像監視において、垂直スミアを目立たなくなり、侵入者検知等の画像処理が容易になる。また、対角４．５［ｍｍ］のＦＴ−ＣＣＤ撮像素子を用いた携帯電話の垂直スミアが目立たなくなり、暗部撮影の画質が向上する。
【００６５】
上述した本発明による実施例については、さらに、以下のような問題が残っているかもしれない。
例えば、異常に強い過飽和入射光の強度がさらに高くなると、さらに強い飽和入射光でフォトダイオードで過剰な電荷が発生する。発生した電荷は、垂直転送路にあふれる。このため、過剰な電荷で垂直転送路が過飽和状態となり、強い入射光の映像の画面の下端が、垂直スミアより高い過飽和レベルの、白状態になる。
さらに過飽和し、制限レベルに達し、異常に強い過飽和入射光では、入射光の強度が高くなるに従い、強い過飽和入射光の映像の画面の下方から、順々に、垂直スミアより高い過飽和レベルの白状態になる。かつ、逆に画面上部の垂直スミアは沈み（暗くなり）、水平方向にも白いすじ状の水平スミアが明瞭に見えてくる。またさらに異常に強い過飽和入射光の強度が高くなると、白が画面全体に広がり、それ以上に異常に強い過飽和入射光の強度がに高くなると、画面全体が黒に暗転する。
【００６６】
そこで、本発明の別の実施形態では、図１Ｃの撮像装置の構成において、白伸長部１１２ｃは、入力されたデジタル映像信号Ｖｉ’を、所定の映像レベルに伸長し、デジタル映像信号Ｖｉとしてスミア補正部１０４ｃに出力する。そして、スミア補正部１０４ｃは、白伸長されたＶ−ＯＢ信号の垂直画素について、過飽和直前レベルの垂直スミアを最小値から検出して、過飽和が発生するとみなす。
ここで、ＣＰＵ１０６は、各機器と常に相互にアクセスしている。このため、ＣＰＵ１０６は、前記のように過飽和が発生しようとした時、レンズ等の光学系１０１を制御しての光学系絞りを絞る。かつ、ＣＰＵ１０６は、ＦＥＰ部１０３ｃのＶＧＡ（若しくは、ＡＧＣ）３３を制御してゲインを調整し、ＡＧＣ出力ゲインを高くするか、ＥＭ−ＣＣＤ撮像素子のＣＭＧ電圧を高くして電子増倍率を高くし、感度を一定に保つ。
【００６７】
上述のように、ＡＧＣを高くするか電子増倍率を高くすると、雑音は増加する。しかし、過飽和入射光の映像の画面の過飽和レベルの白状態化、画面上部の沈みこみ、及び、水平方向の白いすじ状の水平スミアが明瞭化すること、を防止できる。従って、異常に強い過飽和入射光の強度がさらに高くなる（さらに高輝度になる）こと、及び、白が画面全体に広がること、及び、画面全体が黒に暗転することとを確実に防止できる。
即ち、過飽和直前の輝度レベルでの垂直スミアを、白伸長した後のＶ−ＯＢ信号の垂直画素の最小値から検出し、レンズ等の光学系の光学絞りを絞れば、過飽和入射光の映像の画面の過飽和レベルの白状態、画面上部の沈みこみ、及び、水平スミアが防止できる。
また、白伸長した後のＶ−ＯＢ信号から検出する値は、垂直画素の最小値でなくても良く、例えば、各垂直画素信号の最小値からｉ（ｉは自然数）番目の値、最大値からｍ（ｍは自然数）番目の値以下の値の平均値、または他の最大値からｍ番目の値以下の値から算出される代表値信号の少なくとも１つを算出しても良い。
【実施例２】
【００６８】
上記本発明の別の実施形態について、図１Ｃ、図７Ａ、図７Ｂ、及び図７Ｃを参照して説明する。図７Ａ〜図７Ｃは、本発明の撮像装置における、ＣＣＤ撮像素子の入射光と出力との関係を示す図である。図７Ａは、有効画素の光源レベルと、白キズの無いＶ−ＯＢスミアレベルの比例部分の補正を模式的に示す図である。また図７Ｂは、有効画素の光源レベルと白キズのあるＶ−ＯＢスミアレベルの比例部分の破綻を模式的に示す図である。またさらに図７Ｃは、有効画素のブルーミング光源レベルと白キズのないＶ−ＯＢスミアレベルからの推定部分を模式的に示す図である。
図７Ａ〜図７Ｃにおいて、（１）は非増倍時のＥＭ−ＣＣＤ撮像素子の場合の入射光と出力との関係式、（２）は低増倍時のＥＭ−ＣＣＤ撮像素子、ＩＴ−ＣＣＤ撮像素子、及び、ＦＴ−ＣＣＤ撮像素子の場合の入射光と出力との関係式、（３）は高増倍時のＥＭ−ＣＣＤ撮像素子の場合の入射光と出力との関係式である。
【００６９】
図７Ａでは、Ｖ−ＯＢ最小値（Ｖ−ＯＢmin ）で白キズ除去し、スミア源点光源レベルＡmax から、垂直スミアのレベルを実線矢印のように想定することが可能である。
図７Ｂでは、白キズの影響で、スミア源点光源レベルＡmax から垂直スミアのレベルを点線矢印の様に想定することが困難である。
また図７Ｃでは、Ｖ−ＯＢ最小値（Ｖ−ＯＢmin ）で白キズ除去し、ブルーミング発生直前のスミア源点光源レベルを一点鎖線矢印の様にの想定することが可能である。
【００７０】
図１Ｃにおいて、スミア補正部１０４ｃは、ＣＰＵ１０６に最大スミア信号Ｓ２を供給している。この最大スミア信号Ｓ２は、ＡＧＣと電子増倍率とで値が定ま。ＣＰＵ１０６は、最大スミア信号Ｓ２が所定値以上になると、過飽和が発生するとみなし、光学系１０１の光学絞りを絞るか光学ＮＤフィルタの減衰率を強くする。これによって、入射光量を少なくして、ＦＥＰ１０３ｃのＡＧＣを高くするかＥＭ−ＣＣＤ撮像素子１０２のＣＭＧ電圧を高くして電子増倍率を高くして感度を一定に保つ。
次に、図４Ａと、図４Ｂと、図４Ｃとを用いて説明する。
図４Ａ〜図４Ｃにおいて、白伸長したＶ−ＯＢ信号の最小値からＮ番目の値をＶ−ＯＢに達したスミアとみなし、ラインメモリ部７５に記憶されている。Ｖ−ＯＢに達したスミアを比較器２４で比較し、最大値を最大スミア信号として出力する。
【００７１】
この結果、感度は高いが、垂直スミアも水平スミアも多く、異常に強い過飽和入射光により転送路が過飽和状態になり撮像した映像に異常が発生し易いＥＭ−ＣＣＤ撮像素子を用いた撮像装置において、異常に強い過飽和入射光により転送路が過飽和状態になり撮像した映像に発生する異常が目立たなくなる。従って、ＥＭ−ＣＣＤ撮像素子を用いた撮像装置による映像による監視において、照明が画面に直接入射する状態でも、暗部撮影の画質が向上し、侵入者検知等の画像処理が容易になる。
【符号の説明】
【００７２】
１０：デジタルＡＧＣ部、 １１：減算部、 １２：除算部、 １３：加算部、 ２１〜２４：比較部、 ３１：ＣＤＳ部、 ３２：Ａ／Ｄ変換部、 ３３：ＶＧＡ部、 ７２〜７７：ラインメモリ部、 ７８：乗算部、 ７９は減算部、 １００ａ、１００ｂ、１００ｃ：撮像装置、 １０１：光学系、 １０２：ＣＣＤ撮像素子、 １０３：ＡＦＥ部、 １０３ｃ：ＦＥＰ部、 １０４：スミア補正部、 １０４ｃ：スミア補正部、 １０５：映像信号処理部、 １０６：ＣＰＵ、 １０７ａ：演算部、 １０８ａ：カーソル位置制御部、 １０９ａ：ラインメモリ部、 １１０：ＴＧ、 １０７ｂ、１０８ｂ：フィールドメモリ部、 １０９ｂ：差分検出部、 １１１ｃ：検出部、 １１２ｃ：白伸長部、 ２０１：スミアのある画面、 ２１１：スミアを補正した画面、 ２０３、２１３：スミアの光源、 ２０５：スミア領域、 ２０７：左のカーソル、 ２０８：右のカーソル、 ２１５：スミアを補正した領域、 ２３１：画素ｋ−２、 ２３２：画素ｋ−１、 ２３３：画素ｋ、 ２３４：画素ｋ＋１、 ２３５：画素ｋ＋２、 ２３７：左カーソル位置、 ２３８：右カーソル位置、 ２５１：画素ｊ−３、 ２５２：画素ｊ−２、 ２５３：画素ｊ−１、 ２５４：画素ｊ＋１、 ２５５：画素ｊ＋２、 ２５６：画素ｊ＋３、 ２５７：左カーソル位置、 ２５８：右カーソル位置、 ３０１〜３０４：画面、 ３０５〜３０７：スミアの光源、 ３０８、３０９：スミア、 ４００ａ：スミア補正部。
【特許請求の範囲】
【請求項１】
光学系と、該光学系を通って入射する光を信号電荷に変換する固体撮像素子と、該固体撮像素子の受光面の有効画素から出力される映像信号を取得する映像信号取得部と、外部機器から入力されスミアの光源を特定する左右のカーソル位置情報に基づいてカーソル位置制御部に出力するＣＰＵと、前記カーソル位置情報に基づいて、前記スミアの光源とする画素のアドレスを出力する前記カーソル位置制御部と、前記スミアの光源とする画素のアドレスについて、前記カーソルの位置に対応する画素の輝度レベルについて、重み付けした輝度レベルを算出する演算部と、該算出された輝度レベルに前記左右のカーソルに挟まれた画素の輝度レベルを置換するスミア補正部とを備えたことを特徴とする撮像装置。
【請求項２】
光学系と、該光学系を通って入射する光を信号電荷に変換する固体撮像素子と、該固体撮像素子の受光面の有効画素から出力される映像信号を取得する映像信号取得部と、前記映像取得部から奇数フィールドの映像信号を記憶する第１のフィールドメモリと、前記映像取得部から偶数フィールドの映像信号を記憶する第２のフィールドメモリと、前記第１のフィールドメモリと前記第２のフィールドメモリから出力される映像信号の差分を検出し、前記検出された差分の演算し、算出された差分について、所定の輝度レベル以上であって、一番差分値が大きい値の画素のかたまりを、スミアの光源として特定し、該特定されたスミアの光源のアドレス位置の垂直方向の画素の該スミアの光源に特定された画素を除いた水平ライン上の画素についての差分値出力する検出部と、該差分値を入力し、前記映像信号取得部から入力された前記映像信号から前記差分値を減算して出力するスミア補正部とを備えたことを特徴とする撮像装置。
【請求項３】
光学系と、該光学系を通って入射する光を信号電荷に変換する固体撮像素子と、該固体撮像素子の受光面の有効画素から出力される映像信号を取得する映像信号取得部と、前記映像信号を白伸長する白伸長部と、外部機器から入力されスミアの光源を特定する位置情報に基づいて制御信号をスミア補正部に出力するＣＰＵと、前記位置情報に基づいて、前記スミアの光源とする画素のアドレスを出力する前記カーソル位置制御部と、前記スミアの光源とする画素のアドレス上下方向の画素について、水平ラインごとに代表値を算出し、スミア補正するスミア補正部とを備えたことを特徴とする撮像装置。
【請求項４】
光学系と、電子増倍型ＣＣＤ撮像素子と、該電子増倍型ＣＣＤ撮像素子の受光面の有効画素から出力される映像信号を取得する第１の取得部と、前記電子増倍型ＣＣＤ撮像素子の受光面の上部または下部の遮光した画素から出力される信号を取得する第２の取得部とを有する撮像装置において、
前記第２の取得部で取得した遮光した画素から出力される信号の複数ラインの各垂直画素信号の高レベル飽和を伸長してから、最小値からＮ（Ｎは自然数）番目の値、最大値からＭ（Ｍは自然数）番目の値以下の値の平均値、または他の最大値からＭ番目の値以下の値から算出される代表値信号の少なくとも１つを算出し、該代表値信号が所定以上のレベルになったら前記光学系に備えた光学絞り若しくは可変ＮＤフィルタ等の光学減衰手段で入射光を光学減衰することを特徴とする撮像装置。
【請求項１】
光学系と、該光学系を通って入射する光を信号電荷に変換する固体撮像素子と、該固体撮像素子の受光面の有効画素から出力される映像信号を取得する映像信号取得部と、外部機器から入力されスミアの光源を特定する左右のカーソル位置情報に基づいてカーソル位置制御部に出力するＣＰＵと、前記カーソル位置情報に基づいて、前記スミアの光源とする画素のアドレスを出力する前記カーソル位置制御部と、前記スミアの光源とする画素のアドレスについて、前記カーソルの位置に対応する画素の輝度レベルについて、重み付けした輝度レベルを算出する演算部と、該算出された輝度レベルに前記左右のカーソルに挟まれた画素の輝度レベルを置換するスミア補正部とを備えたことを特徴とする撮像装置。
【請求項２】
光学系と、該光学系を通って入射する光を信号電荷に変換する固体撮像素子と、該固体撮像素子の受光面の有効画素から出力される映像信号を取得する映像信号取得部と、前記映像取得部から奇数フィールドの映像信号を記憶する第１のフィールドメモリと、前記映像取得部から偶数フィールドの映像信号を記憶する第２のフィールドメモリと、前記第１のフィールドメモリと前記第２のフィールドメモリから出力される映像信号の差分を検出し、前記検出された差分の演算し、算出された差分について、所定の輝度レベル以上であって、一番差分値が大きい値の画素のかたまりを、スミアの光源として特定し、該特定されたスミアの光源のアドレス位置の垂直方向の画素の該スミアの光源に特定された画素を除いた水平ライン上の画素についての差分値出力する検出部と、該差分値を入力し、前記映像信号取得部から入力された前記映像信号から前記差分値を減算して出力するスミア補正部とを備えたことを特徴とする撮像装置。
【請求項３】
光学系と、該光学系を通って入射する光を信号電荷に変換する固体撮像素子と、該固体撮像素子の受光面の有効画素から出力される映像信号を取得する映像信号取得部と、前記映像信号を白伸長する白伸長部と、外部機器から入力されスミアの光源を特定する位置情報に基づいて制御信号をスミア補正部に出力するＣＰＵと、前記位置情報に基づいて、前記スミアの光源とする画素のアドレスを出力する前記カーソル位置制御部と、前記スミアの光源とする画素のアドレス上下方向の画素について、水平ラインごとに代表値を算出し、スミア補正するスミア補正部とを備えたことを特徴とする撮像装置。
【請求項４】
光学系と、電子増倍型ＣＣＤ撮像素子と、該電子増倍型ＣＣＤ撮像素子の受光面の有効画素から出力される映像信号を取得する第１の取得部と、前記電子増倍型ＣＣＤ撮像素子の受光面の上部または下部の遮光した画素から出力される信号を取得する第２の取得部とを有する撮像装置において、
前記第２の取得部で取得した遮光した画素から出力される信号の複数ラインの各垂直画素信号の高レベル飽和を伸長してから、最小値からＮ（Ｎは自然数）番目の値、最大値からＭ（Ｍは自然数）番目の値以下の値の平均値、または他の最大値からＭ番目の値以下の値から算出される代表値信号の少なくとも１つを算出し、該代表値信号が所定以上のレベルになったら前記光学系に備えた光学絞り若しくは可変ＮＤフィルタ等の光学減衰手段で入射光を光学減衰することを特徴とする撮像装置。
【図１Ａ】
【図１Ｂ】
【図１Ｃ】
【図２Ａ】
【図２Ｂ】
【図３】
【図４Ａ】
【図４Ｂ】
【図４Ｃ】
【図４Ｄ】
【図４Ｅ】
【図４Ｆ】
【図５】
【図６Ａ】
【図６Ｂ】
【図７Ａ】
【図７Ｂ】
【図７Ｃ】
【図１Ｂ】
【図１Ｃ】
【図２Ａ】
【図２Ｂ】
【図３】
【図４Ａ】
【図４Ｂ】
【図４Ｃ】
【図４Ｄ】
【図４Ｅ】
【図４Ｆ】
【図５】
【図６Ａ】
【図６Ｂ】
【図７Ａ】
【図７Ｂ】
【図７Ｃ】
【公開番号】特開２０１１−１９３１０７（Ｐ２０１１−１９３１０７Ａ）
【公開日】平成２３年９月２９日（２０１１．９．２９）
【国際特許分類】
【出願番号】特願２０１０−５５９６４（Ｐ２０１０−５５９６４）
【出願日】平成２２年３月１２日（２０１０．３．１２）
【出願人】（０００００１１２２）株式会社日立国際電気 (5,007)
【Ｆターム（参考）】
【公開日】平成２３年９月２９日（２０１１．９．２９）
【国際特許分類】
【出願日】平成２２年３月１２日（２０１０．３．１２）
【出願人】（０００００１１２２）株式会社日立国際電気 (5,007)
【Ｆターム（参考）】
[ Back to top ]