固体撮像装置
【課題】本発明の目的は、ジッタのない走査線変換した映像を出力することにある。
【解決手段】有効走査線数１０８０本の飛越走査用ＩＴ−ＣＣＤのフォトダイオード信号電荷を垂直画素加算して映像信号として読み出す撮像装置において、垂直画素加算する垂直画素の対を固定として、画素読み出しの最後の水平周期の垂直転送または半周期の水平転送の少なくとも一方を停止させて、有効走査線数５４０本の順次走査の映像信号として前記ＣＣＤから読み出し、読み出した有効走査線数５４０本の映像信号を３対４に走査線変換して有効走査線数７２０本の順次走査の映像信号に変換して、７２０本の順次走査の映像信号を出力する。
【解決手段】有効走査線数１０８０本の飛越走査用ＩＴ−ＣＣＤのフォトダイオード信号電荷を垂直画素加算して映像信号として読み出す撮像装置において、垂直画素加算する垂直画素の対を固定として、画素読み出しの最後の水平周期の垂直転送または半周期の水平転送の少なくとも一方を停止させて、有効走査線数５４０本の順次走査の映像信号として前記ＣＣＤから読み出し、読み出した有効走査線数５４０本の映像信号を３対４に走査線変換して有効走査線数７２０本の順次走査の映像信号に変換して、７２０本の順次走査の映像信号を出力する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、固体撮像素子を有する撮像装置に関するものである。
【背景技術】
【０００２】
シリコン製撮像素子は、基板（Substrate以下Sub）電圧（以下V-sub）等の電極電圧を可変することで、フォトダイオード（Photo-Diode以下ＰＤ）の飽和特性が可変する。Sub等のオーバーフロードレイン（Over-flow Drain以下ＯＤ）に正のパルス電圧を印可する事によりＰＤ電荷を掃き捨てる。電荷転送型撮像素子（Charge Coupled Device以下ＣＣＤと略す）の中でもＦＩＴ(Frame Interline Transfer)−ＣＣＤやＩＴ(Interline Transfer)−ＣＣＤでは、基盤（Sub）がＯＤとなり、縦型ＯＤと呼ばれる。（非特許文献１参照）
【０００３】
図５Ｂは、従来の撮像装置５０１の構成を示すブロック図である。図５Ｂの撮像部５０３は、ＩＴ−ＣＣＤと、タイミング発生（Timing Generator：以下ＴＧ）とＯＤ掃き捨てと読み出しとを内蔵の垂直転送駆動部と、雑音を除去するＣＤＳ（Correlated Double Sampling）と、暗電流補正と利得可変増幅回路（Automatic Gain Control以下ＡＧＣ）と、デジタル映像信号Ｖｉに変換するＡＤＣ（Analog Digital Converter）と、水平転送のＴＧと、電圧変換のリセットのＴＧと、ＣＤＳのＴＧと、暗電流補正のＴＧと、ＡＧＣのＴＧと、ＡＤＣのＴＧと、オンチップカラーフィルタ付きＣＣＤが一つまたは色分解光学系とＣＣＤを３つからなる。
前出の複数のＴＧは各機能に分散している場合や統合された１つのＴＧの場合など様々な形態が考えられるが、タイミング制御する対象は示す通りの機能であり、水平周期で繰り返すパルスと垂直周期で繰り返すパルスに大別される。
前出の各機能の一部または全てを統合してＡＦＥ（Analog Front End）と呼ばれるＩＣが用いられる場合もあるが、実現する機能に差異はない。
レンズ５０２で焦点を結んだ入射光は撮像部５０３で映像信号となり、走査線数変換や色倍率収差補正機能内蔵の映像信号処理部５０５で信号処理され、映像信号となる。撮像部５０３と映像信号処理部５０５とはＣＰＵ（Central Processing Unit）５０４で制御される（特許文献１参照）。
【０００４】
撮像部５０３にはＴＧ５０６が含まれる。図８Ｂに従来の撮像装置の撮像部に含まれるＴＧのブロック図の一例を示す。
クロックカウンタ８０１は水平入力サンプルを行うクロックをカウントしており水平カウンタ値を出力する。比較器８０２は水平入力サンプルの最大値と水平カウンタ値を比較して一致した場合に水平リセット・垂直カウントアップ信号を出力する。クロックカウンタ８０１は比較器８０２の水平リセット・垂直カウントアップ信号でリセットされることで水平周期のカウントを繰り返す。
ラインカウンタ８０３は水平リセット・垂直カウントアップ信号の有るクロックでカウントアップしており垂直カウンタ値を出力する。比較器８０４は垂直ラインの最大値と垂直カウンタ値を比較して一致した場合に垂直最大ラインフラグ信号を出力する。ＡＮＤ回路８０５は垂直最大ラインフラグ信号と水平リセット・垂直カウントアップ信号のＡＮＤをとり垂直リセット信号を出力する。ラインカウンタ８０３はＡＮＤ回路８０５の垂直リセット信号でリセットされることで垂直周期のカウントを繰り返す。
水平パルス生成回路８０６は水平カウンタ値に応じてＣＣＤが必要な各種の水平パルスを生成する。水平パルスには水平転送パルス、電圧変換のリセットパルス、ＣＤＳパルス、暗電流補正クランプパルス、ＡＧＣ部クランプパルス、ＡＤＣ水平同期パルスなど、水平周期で繰り返すパルスが該当する。
垂直パルス生成回路８０７は垂直カウンタ値と水平カウンタ値に応じて、ＣＣＤが必要な垂直パルスを生成する。垂直パルスにはＯＤ掃き捨てパルス、読み出しパルス、垂直転送パルスなど、垂直周期で繰り返し水平のパルス変化位相を持つパルスが該当する。
映像信号処理部５０５には走査線数変換などを処理するための変換フィルタ５０７を含んでいる。変換フィルタには水平方向と垂直方向にサンプリング点を変換するための変換係数を入力と出力の相対位相関係に応じて繰り返す必要が有り、複数の変換係数を持つ。図９Ｂに従来の撮像装置の映像信号処理部に含まれる０度位相を基準にした変換係数の概念を示す。
【０００５】
水平サンプル変換フィルタ９０１はクロック毎に変換係数を変更できるＦＩＲフィルタであり、一定範囲にある複数の入力画素に対して、座標に対応する変換係数の値を乗算し、合算することで、出力サンプルの位相中心に相当する画素情報を生成する。
水平変換係数の位相９０２は水平サンプル変換フィルタ９０１にフィルタ計算に用いる変換係数を与えている。内部には変換係数の組を複数持ち、ＣＰＵ５０４によって設定されたレジ補正の値に応じた位相用の変換係数の組を水平サンプル変換フィルタ９０１に与える。変換係数の数値内容例は別項として、ここでは方式の着眼点に関わる変換係数の組として持つ位相の種類について説明する。
水平変換係数の位相９０２の内部に有る複数の変換係数の組を、入力画素の座標９０３と出力サンプルの位相中心９０４と入力画素単位での白黒に対する相対応答９０５の組合せで模式的に示した。まず水平変換係数の位相９０２は入力画素の座標９０３と出力サンプルの位相中心９０４が合致する０度位相の変換係数の組９１０を持つ。他にレジ補正とサンプリング（垂直では走査線）変換に用いる入力画素の座標９０３と出力サンプルの位相中心９０４が異なる変換係数の組が用意されているが、それらの変換係数の組はサンプリング（垂直では走査線）変換で入出力の位相が変化する時に０度位相から順次現れる位相として用意される。ここでは960画素を1280画素に変換する場合や、1440画素を1920画素に変換する場合など、利用頻度が高く説明しやすい入出力３対４の変換を例にしている。０度位相から９０度毎に４種類の位相が必要で、９０度位相の変換係数の組９１１、１８０度位相の変換係数の組９１２、２７０度位相の変換係数の組９１３が用意されている。
水平サンプル変換フィルタ９０１における入出力３：４変換の相関図９０６に、水平変換係数の位相９０２の持つ変換係数の組を出力クロック毎に４種類繰り返して変換できることを示す。この繰り返しに、白黒に対する相対応答の振幅が最大となる０度位相と、振幅が全く無く平滑化されてしまう１８０度位相が共に存在するため、モアレ（垂直でフリッカ・ジッタ）などを引き起こし易く映像品質を落とし、これらの不具合改善にフィルタの変換特性を近似させるには、最も振幅の無い１８０度位相に近付ける必要が有り、振幅が最大となる０度位相の利点も活かせず、解像度の低下を招く。
【０００６】
垂直走査線変換フィルタ９２１は走査線毎に変換係数を変更できるＦＩＲフィルタであり、一定範囲にある複数の入力画素に対して座標に対応する変換係数の値を乗算したのち合算することで出力走査線の位相中心に相当する画素情報を生成する。
垂直変換係数の位相９２２は垂直走査線変換フィルタ９２１にフィルタ計算に用いる変換係数を与えている。内部には変換係数の組を複数持ち、ＣＰＵ５０４に設定されたレジ補正の値に応じた位相用の変換係数の組を垂直走査線変換フィルタ９２１に与える。水平と垂直の方向性の違いのみで、係数の切り替えがクロック毎か、走査線毎かの違いなので詳しい説明は割愛する。
尚、インターレースでフィールド毎のフィルタ係数が逆転し、同じ空間座標に０度位相と１８０度位相が交互に表れる事が、モアレをフリッカやエッジのジッタにしている。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２００８−２０６０３０
【非特許文献】
【０００８】
【非特許文献１】MW39781AEパナソニック(株)CCDエリアイメージセンサ
【発明の概要】
【発明が解決しようとする課題】
【０００９】
本発明の目的は、従来よりジッタが低減された走査線変換した映像を出力することにある。
【課題を解決するための手段】
【００１０】
本発明は、上記課題を解決するため、飛越走査用ＩＴ−ＣＣＤまたは飛越走査用ＦＩＴ−ＣＣＤの信号電荷を垂直画素加算して映像信号として読み出す撮像装置において、垂直画素加算する垂直画素の対を固定として、フィールド最終の水平周期の半周期の転送を停止させて、第一の順次走査の映像信号として前記ＣＣＤから読み出し、読み出した第一の順次走査の映像信号の複数の走査線の加算平均により走査線変換して第二の順次走査の映像信号に変換して、第二の順次走査の映像信号を出力することと、垂直画素加算して、第三の順次走査の映像信号として前記ＣＣＤから読み出し、読み出した第三の順次走査の映像信号を３以上の自然数の走査線の加算平均により走査線変換して第二の順次走査の映像信号に変換して、第二の順次走査の映像信号を出力することと、垂直画素加算する垂直画素の対を奇数フィールドと偶数フィールドと切り替えて飛越走査の映像信号として前記ＣＣＤから読み出し、該飛越走査の映像信号の走査線の配置位相と第二の順次走査の映像信号の走査線の配置位相の相関に合わせて特異点を減らし垂直周波数特性が近似する数種類の係数の走査線の加算平均により走査線変換して第二の順次走査の映像信号に変換して、第二の順次走査の映像信号を出力すること 、との少なくともいずれかを行うことを特徴とする固体撮像装置である。
【００１１】
また、有効走査線数１０８０本の飛越走査用ＩＴ−ＣＣＤの信号電荷を垂直画素加算して映像信号として読み出す撮像装置において、垂直画素加算する垂直画素の対を固定として、フィールド最終の水平周期の半周期の転送を停止させて、有効走査線数５４０本の順次走査の映像信号として前記ＣＣＤから読み出し、読み出した有効走査線数５４０本の映像信号を３対４に走査線変換して有効走査線数７２０本の順次走査の映像信号に変換して、７２０本の順次走査の映像信号を出力することと、フィールド最終の水平周期の半周期の垂直転送と、フィールド最終の水平周期の半周期の水平転送と、すくなくとも1回の水平遮光画素のクランプとの、すくなくともいずれかを停止させること、を特徴とする固体撮像装置である。
【００１２】
また、開口画素の走査線数１０８４本以上の飛越走査用ＩＴ−ＣＣＤの信号電荷を垂直画素加算して映像信号として読み出す撮像装置において、垂直画素加算する垂直画素の対を奇数フィールドと偶数フィールドと切り替えて、奇数フィールド有効走査線数５４２本と偶数フィールド有効走査線数５４３本の順次走査の映像信号として前記ＣＣＤから読み出し、読み出した奇数フィールド有効走査線数５４２本の映像信号を２走査線の加算平均により走査線変換して有効走査線数７２０本の順次走査の映像信号に変換して、読み出した偶数フィールド有効走査線数５４３本の映像信号を３走査線の加算平均により走査線変換して有効走査線数７２０本の順次走査の映像信号に変換して、７２０本の順次走査の映像信号を出力することと、垂直画素加算する垂直画素の対を奇数フィールドと偶数フィールドと切り替えて、飛越走査の映像信号として前記ＣＣＤから読み出し、読み出した飛越走査の映像信号を、飛越走査の映像信号の１０８４本以上の走査線の配置位相と順次走査の７２０本の走査線の配置位相の相関に合わせて特異点を減らし垂直周波数特性が近似する４走査線の加算平均と３走査線の加算平均との組み合わせにより走査線変換して有効走査線数７２０本の順次走査の映像信号に変換して、７２０本の順次走査の映像信号を出力することと、との少なくとも一方を行うことを特徴とする固体撮像装置である。
【発明の効果】
【００１３】
本発明によれば、従来よりジッタが低減された走査線変換した映像を出力することができる。
【図面の簡単な説明】
【００１４】
【図１Ａ】本発明の１実施例の撮像装置の動作を示すタイミングチャート
【図１Ｂ】本発明の１実施例の撮像装置の動作を示すタイミングチャート
【図２】本発明の１実施例の撮像装置の垂直画素加算動作を示す模式図
【図３】本発明の他の１実施例の撮像装置の動作を示すタイミングチャート
【図４】本発明の他の１実施例の撮像装置の走査線加算動作を示す模式図
【図５Ａ】本発明の撮像装置の構成を示すブロック図
【図５Ｂ】従来の撮像装置の構成を示すブロック図
【図６Ａ】本発明の他の１実施例の撮像装置の奇数フィールドの走査線加算動作を示す模式図
【図６Ｂ】本発明の他の１実施例の撮像装置の偶数フィールドの走査線加算動作を示す模式図
【図７Ａ】本発明の他の１実施例の撮像装置の奇数フィールドの走査線加算動作を示す模式図
【図７Ｂ】本発明の他の１実施例の撮像装置の偶数フィールドの走査線加算動作を示す模式図
【図８Ａ】本発明の撮像装置の撮像部に含まれるＴＧのブロック図
【図８Ｂ】従来の撮像装置の撮像部に含まれるＴＧのブロック図
【図９Ａ】本発明における撮像装置の映像信号処理部に含まれるより多くの対象位相を持つ変換係数の概念
【図９Ｂ】従来の撮像装置の映像信号処理部に含まれる０度位相を基準にした変換係数の概念
【発明を実施するための形態】
【００１５】
図５Ａは本発明における撮像装置のブロック図である。図５Ａの撮像部５０３ａは、ＩＴ−ＣＣＤと、タイミング発生（Timing Generator：以下ＴＧ）とＯＤ掃き捨てと読み出しとを内蔵の垂直転送駆動部と、雑音を除去するＣＤＳ（Correlated Double Sampling）と、暗電流補正と利得可変増幅回路（Automatic Gain Control以下ＡＧＣ）と、デジタル映像信号Ｖｉに変換するＡＤＣ（Analog Digital Converter）と、水平転送のＴＧと、電圧変換のリセットのＴＧと、ＣＤＳのＴＧと、暗電流補正のＴＧと、ＡＧＣのＴＧと、ＡＤＣのＴＧと、オンチップカラーフィルタ付きＣＣＤが一つまたは色分解光学系とＣＣＤを３つからなる。
前出の複数のＴＧは各機能に分散している場合や統合された１つのＴＧの場合など様々な形態が考えられるが、タイミング制御する対象は示す通りの機能であり、水平周期で繰り返すパルスと垂直周期で繰り返すパルスに大別される。
前出の各機能の一部または全てを統合してＡＦＥ（Analog Front End）と呼ばれるＩＣが用いられる場合もあるが、実現する機能に差異はない。
レンズ５０２で焦点を結んだ入射光は撮像部５０３ａで映像信号となり、走査線数変換や色倍率収差補正機能内蔵の映像信号処理部５０５ａで信号処理され、映像信号となる。撮像部５０３ａと映像信号処理部５０５ａとはＣＰＵ（Central Processing Unit）５０４で制御される（特許文献１参照）。
【００１６】
撮像部５０３ａにはＴＧ５０６ａが含まれる。図８Ａに本発明の撮像装置の撮像部に含まれるＴＧのブロック図の一例を示す。
クロックカウンタ８０１は水平入力サンプルを行うクロックをカウントしており水平カウンタ値を出力する。比較器８０２は水平入力サンプルの最大値と水平カウンタ値を比較して一致した場合に水平リセット・垂直カウントアップ信号を出力する。
ＣＰＵ５０４で切り上げ動作制御信号８１０ａを有効に設定すると、比較器８１２ａと比較器８１４ａの比較判定機能が有効になる。比較器８１２ａは水平切り上げ位相と水平カウンタ値を比較一致した場合に水平切り上げ用のリセットを出力するが、通常はＡＮＤ回路８１５ａによって消去される。比較器８１４ａからハーフ切り上げ用動作切り替え信号が出力されている時のみＡＮＤ回路８１５ａは比較器８１２ａの出力を通過させ、ハーフ切り上げ用リセットを出力する。
クロックカウンタ８０１は、比較器８０２の水平リセット・垂直カウントアップ信号か、ＡＮＤ回路８１５ａのハーフ切り上げ用リセットが有るとき、ＯＲ回路８１６ａの出力でリセットされ、水平周期のカウントを繰り返す。ＡＮＤ回路８１５ａのハーフ切り上げ用リセットによるリセットの時のみ水平半周期となり、それ以外は水平周期である。
ラインカウンタ８０３は水平リセット・垂直カウントアップ信号の有るクロックでＯＲ回路８１６ａの出力をもってカウントアップしており垂直カウンタ値を出力する。比較器８０４は垂直ラインの最大値と垂直カウンタ値を比較して一致した場合に垂直最大ラインフラグ信号を出力する。ＡＮＤ回路８０５は垂直最大ラインフラグ信号と水平リセット・垂直カウントアップ信号のＡＮＤをとり垂直リセット信号を出力する。ＯＲ回路８１７ａはＡＮＤ回路８０５の垂直リセット信号を有効に通過させる。ラインカウンタ８０３はＡＮＤ回路８０５の垂直リセット信号でリセットされることで垂直周期のカウントを繰り返す。
【００１７】
比較器８１４ａは切り上げ動作制御信号８１０ａが有効のとき、垂直切り上げラインと垂直カウンタ値を比較し、一致している時はハーフ切り上げ用動作切り替え信号を出している。前出の比較器８１２ａから水平切り上げ用のリセットが出力されるクロック位相で、前出のＡＮＤ回路８１５ａからハーフ切り上げ用リセットを出力できる条件を与える。ＡＮＤ回路８１５ａからハーフ切り上げ用リセットが出力された場合は、ＯＲ回路８１７ａを有効に通過して、ラインカウンタ８０３はハーフ切り上げでリセットされ、垂直半周期のカウントを繰り返す。切り上げ動作制御信号８１０ａが有効のときには比較器８０４の垂直最大ラインフラグ信号が出力されることは無い。
【００１８】
水平パルス生成回路８０６ａは水平カウンタ値に応じてＣＣＤが必要な各種の水平パルスを生成する。水平パルスには水平転送パルス、電圧変換のリセットパルス、ＣＤＳパルス、暗電流補正クランプパルス、ＡＧＣ部クランプパルス、ＡＤＣ水平同期パルスなど、水平周期で繰り返すパルスが該当する。
ハーフ切り上げのために変化させる必要が有るパルスは、比較器８１４ａからハーフ切り上げ用動作切り替え信号によって、生成するパルスを切り替えるよう水平パルス生成回路８０６ａに位相比較とゲート回路を持っている。
垂直パルス生成回路８０７ａは垂直カウンタ値と水平カウンタ値に応じて、ＣＣＤが必要な垂直パルスを生成する。垂直パルスにはＯＤ掃き捨てパルス、読み出しパルス、垂直転送パルスなど、垂直周期で繰り返し水平のパルス変化位相を持つパルスが該当する。
ハーフ切り上げのために変化させる必要が有るパルスは、比較器８１４ａからハーフ切り上げ用動作切り替え信号によって、生成するパルスを切り替えるよう水平パルス生成回路８０７ａに位相比較とゲート回路を持っている。
本発明の撮像装置の撮像部に含まれるＴＧには、クロックカウンタ８０１とラインカウンタ８０３に対して、所定の切り上げ位置でリセットを追加できるハーフ切り上げ用リセットを接続していることと、切り上げ動作制御信号８１０ａによる切り上げ動作機能の有効・無効制御を行うことと、比較器８１４ａが出力するハーフ切り上げ用動作切り替え信号をゲート信号として、水平パルス生成回路８０６ａと垂直パルス生成回路８０７ａがハーフ切り上げ用のパルス出力に動作を切り替えることに特徴が有る。
【００１９】
映像信号処理部５０５ａには走査線数変換などを処理するための変換フィルタ５０７ａを含んでいる。変換フィルタには水平方向と垂直方向にサンプリング点を変換するための変換係数を入力と出力の相対位相関係に応じて繰り返す必要が有り、複数の変換係数を持つ。図９Ａに本発明における撮像装置の映像信号処理部に含まれるより多くの対称位相を持つ変換係数の概念を示す。
水平サンプル変換フィルタ９０１はクロック毎に変換係数を変更できるＦＩＲフィルタであり、一定範囲にある複数の入力画素に対して座標に対応する変換係数の値を乗算したのち合算することで出力サンプルの位相中心に相当する画素情報を生成する。
水平変換係数の位相９０２ａは水平サンプル変換フィルタ９０１にフィルタ計算に用いる変換係数を与えている。内部には変換係数の組を複数持ち、ＣＰＵ５０４によって設定されたレジ補正の値に応じた位相用の変換係数の組を水平サンプル変換フィルタ９０１に与える。変換係数の数値内容例は別項として、ここでは方式の着眼点に関わる変換係数の組として持つ位相の種類について説明する。
水平変換係数の位相９０２ａの内部に有る複数の変換係数の組を、入力画素の座標９０３と出力サンプルの位相中心９０４と入力画素単位での白黒に対する相対応答９０５の組合せで模式的に示した。
水平変換係数の位相９０２ａが複数持つ変換係数の組は、入力画素の座標９０３と出力サンプルの位相中心９０４が合致する０度位相に対して、出来る限り多くの変換係数の組が左右対称（垂直では上下対象）になるよう、レジ補正とサンプリング（垂直では走査線）変換に用いる入力画素の座標９０３と出力サンプルの位相中心９０４が異なる変換係数の組が用意されている。ここでは540有効走査線を720有効走査線に変換する場合など、利用頻度が高く説明しやすい入出力３対４の変換を例にしている。変換係数の組はサンプリング（垂直では走査線）変換で入出力の位相が変化する時に順次現れる位相として４５度位相から９０度毎に４種類の位相が必要である。
【００２０】
−４５度位相の変換係数の組９１１ａと４５度位相の変換係数の組９１２ａ、−１３５度位相の変換係数の組９１０ａと１３５度位相の変換係数の組９１３ａがそれぞれ左右対称になっている。前述の従来例図９Ｂでは９０位相の変換係数の組９１１と２７０度位相の変換係数の組９１３が左右対称であるが、０度位相の変換係数の組９１０と１８０度位相の変換係数の組９１２は異なることを確認できる。
複数持つ変換係数の組が偶数の場合、出来る限り多くの変換係数の組が左右対称（垂直では上下対象）になるよう用意すれば、０度位相と１８０度位相が自ずと除外されるので、最もモアレを起こす変換係数の組を避ける事ができる。
複数持つ変換係数の組が奇数の場合、出来る限り多くの変換係数の組が左右対称（垂直では上下対象）になるよう用意し、対称の無い特異点に０度位相を含むこととすれば、１８０度位相が自ずと除外されるので、白黒に対する相対応答に振幅が全く無く平滑化されてしまう変換係数の組を避ける事ができる。
【００２１】
水平サンプル変換フィルタ９０１における入出力３：４変換の相関図９０６ａに、水平変換係数の位相９０２の持つ変換係数の組を出力クロック毎に４種類繰り返して変換できることを示す。この繰り返しで左右対称の相似形となる組が多数存在するので、白黒に対する相対応答の振幅を近似させやすく、モアレを最も抑えた構成にできる。
垂直走査線変換フィルタ９２１は走査線毎に変換係数を変更できるＦＩＲフィルタであり、一定範囲にある複数の入力画素に対して座標に対応する変換係数の値を乗算したのち合算することで出力走査線の位相中心に相当する画素情報を生成する。
垂直変換係数の位相９２２ａは垂直走査線変換フィルタ９２１にフィルタ計算に用いる変換係数を与えている。内部には変換係数の組を複数持ち、ＣＰＵ５０４によって設定されたレジ補正の値に応じた位相用の変換係数の組を垂直走査線変換フィルタ９２１に与える。水平と垂直の方向性の違いのみで、係数の切り替えがクロック毎か、走査線毎かの違いなので詳しい説明は割愛する。
尚、インターレースでフィールド毎のフィルタ係数が逆転しフリッカやエッジのジッタの発生することに関しても、元となるモアレを低減できているので最も抑えた構成にできる。
【実施例１】
【００２２】
以下、本発明の１実施例の撮像装置の動作を示すタイミングチャートの図１Ａと、本発明の１実施例の撮像装置の垂直画素加算動作を示す模式図の図２とを用いて、本発明の１実施例を説明する。
合わせて本発明の別の実施例の撮像装置の動作を示すタイミングチャート図１Ｂで、図１Ａとは別の手段について相違点を説明する。
【００２３】
本発明の一実施例の撮像装置の動作を示すタイミングチャートの図１Ａにおいて、Ｖ１−Ｖ４は、ＩＴ−ＣＣＤにおける垂直転送路Ｖ１−Ｖ４の読み出し垂直転送との動作を表したものである。具体的には、ＰＤからＶ１とＶ３への電荷の読み出しと、Ｖ２を用いた垂直画素加算と、Ｖ１−Ｖ４を一組とした垂直転送動作を示している。ここでは奇数フィールド映像の垂直画素加算を例に取って説明しているので、図１Ａには奇数フィールド映像の垂直画素加算しか存在していない。あるいは全てが同じ型の垂直画素加算であればＶ２の代わりにＶ４で垂直画素加算を行う偶数フィールド映像の垂直画素加算で構成することも出来て、タイミング上に奇数フィールド映像の垂直画素加算が存在しないことになる。奇数か偶数のどちらかに統一されて、毎回同じ垂直画素加算が行われるものである。
【００２４】
０．５Ｈは水平半周期期間であり、図１Ａにおいてフィールド毎に１回存在する。
同様に図１Ｂにも０．５Ｈは水平半周期期間であり、フィールド毎に１回存在する。
【００２５】
図１Ａにおいて、Ｈ２は、ＩＴ−ＣＣＤにおける水平転送路Ｈ１−Ｈ２の動作を表したもので、図１ＡのＨ２と逆極性のＨ１と、図１ＡのＨ２とを対とした水平転送動作を行うタイミングを示している。
図１Ａにおいて、０．５Ｈは水平半周期転送停止期間でもあり、図１において、フィールド毎に１回存在する。
図１Ｂでは、０．５Ｈは水平半周期転送切り上げ期間としている。
【００２６】
図１Ａにおいて、Ｈ Ｃｌｕｍｐは、ＩＴ−ＣＣＤの水平遮光画素（Ｈ−ＯＢ）の暗電流による映像信号をクランプして黒の基準とするパルスである。
図１Ａにおいて、ＣＬ−ＢＬは、Ｈ−ＯＢの暗電流による映像信号をクランプしない期間である。
図１Ｂにおいて、Ｖ Ｃｌｕｍｐは、ＩＴ−ＣＣＤの垂直遮光画素（Ｖ−ＯＢ）の暗電流による映像信号をクランプして黒の基準とするパルスである。フィールド毎の垂直遮光画素で黒基準を保持できるシステムの場合は、図１のＣＬ−ＢＬを用いる代わりに図１ＢのＶ Ｃｌｕｍｐを用いる方法を取っても良い。
このＶ Ｃｌｕｍｐは０．５Ｈとは異なる水平周期に設定するため、
図１のＣＬ−ＢＬに相当する映像信号をクランプしない期間とすることは同様である。
【００２７】
図１Ａにおいて、０．５Ｈの水平半周期転送停止期間に転送を停止しているため、水平周期に合わせてクランプしてしまうと、オプティカルブラックでは無い部分を後段で黒として処理してしまい映像レベルの異常を引き起こすことになり、この防止のために０．５Ｈと同等のＣＬ−ＢＬのクランプ停止期間を用意する。
【００２８】
撮像素子の特性によっては、０．５Ｈの水平半周期転送停止期間の次のタイミングのＨ−ＯＢは、他のＨ−ＯＢと異なる出力レベルになる可能性が有り、撮像素子の特性によっては、ＣＬ−ＢＬのクランプ停止期間は水平半周期ではなく、水平１．５周期とする場合も有る。
０．５Ｈの水平半周期転送停止期間の次のタイミングのＨ−ＯＢの出力レベル他のＨ−ＯＢとが異なる可能性として考えられる要因は、０．５Ｈの水平半周期期間と次のタイミングの通常水平周期で垂直転送を２度行ったことにより、ＣＣＤ水平転送路でオプティカルブラックの加算が行われレベル変動する可能性が有る。
【００２９】
本発明の方式では、従来と同様な映像信号処理を行うためには、ＣＬ−ＢＬのクランプ停止期間という概念を用いて、映像の黒レベルが変動しない条件で駆動する事が重要であり、その幅が水平半周期か、水平１．５周期かは、撮像素子を利用して撮像装置などを設計する段階で決めることとなる。出力から削除される部分の映像の黒レベル変動を無視できる映像信号処理ならＣＬ−ＢＬのクランプ停止期間は不要になる。
【００３０】
Ｈ−Ｃｏｕｎｔｅｒは水平走査線カウンタを表し、駆動パルスを生成するＴＧの内部で動作しているものである。本発明の方式の動作中は、カウンタ値０からカウンタ値５６２までの範囲で動作しており、カウンタ値５６２をもって水平半周期を生成した後にカウンタ値０に戻している。カウンタ値４の時に、Ｖ１−Ｖ４に読み出しと奇数フィールド映像の垂直画素加算のタイミングを出力させる。毎フレームにおいてカウンタ値４で奇数フィールド映像の垂直画素加算のタイミングを用意するため、露光時間はフレーム周期の５６２．５ラインと等しく均一となる。この例で奇数フィールド映像の垂直画素加算のタイミングとＨ−Ｃｏｕｎｔｅｒの関係は、通常の飛び越し走査で奇数フィールド映像の垂直画素加算のタイミングを与える水平走査線より２ライン早くしている。
【００３１】
図５の撮像装置のブロック図で５の映像信号処理部に存在する走査線変換部には垂直方向に変換フィルタを持つことが多いが、背景技術の特許文献１に示されるように別の用途で有効に機能するので、図１の走査線変換無映像では走査線変換を行う前の映像出力タイミングを別の用途で垂直方向に変換フィルタを通した場合に出力となるフィルタ中心の、映像出力タイミングを示している。フィールド１回はフレーム１回に等価であり、上部ブランキング１８ラインと映像有効走査線５４０ラインと下部ブランキング４．５ラインの５６２．５ラインでフレーム１回を構成している。通常の跳び越し動作での奇数型フィールドの５６３ライン構成、上部ブランキング２０ラインと映像有効走査線５４０ラインと下部ブランキング３ラインより２ライン早く、偶数型フィールドの５６２ライン構成、上部ブランキング２０ラインと映像有効走査線５４０ラインと下部ブランキング２ラインより２．５ライン早い位置に映像出力している。
図１Ａにおける映像Ａ２の走査線変換後の映像出力タイミングと、図３における映像Ｂ２の走査線変換後の映像出力タイミングは、同じ映像出力タイミングである。そして、図３における映像Ｂ１が通常の跳び越し動作に相当する。そのため、図１Ａと図３の両図を比べる事で、映像Ａ１と通常の跳び越し動作のタイミングの差を確認できる。
【００３２】
図１Ａの走査線変換後映像は、走査線変換を行った後の映像出力タイミングである。フィールド１回はフレーム１回に等価であり、上部ブランキング２５ラインと映像有効走査線７２０ラインと下部ブランキング５ラインの７５０ラインでフレーム１回を構成している。図１Ａの走査線変換無映像のタイミングとは、映像有効走査線の位置が走査線変換無の０．７５ライン、走査線変換後の１ライン分のタイミング差であり、フレームメモリなどを用いず最短のタイミングで、毎フレーム同じ位置で走査線変換を行えている。
【００３３】
図２は本発明の１実施例の撮像装置の垂直画素加算動作を示す模式図である。
図２の（ａ）はＨＤＴＶ撮像素子の開口画素の１０８８の水平走査線の画素配列の光学位置を表している。図２の（ａ）にはａ−１からａ１０８２までの１０８４ラインの垂直画素範囲を示しており、ここから１０８４ラインに相当する垂直画素範囲が、垂直画素加算で有効走査線５４２本の順次走査映像になり、図２の（ｃ）の走査線変換で図２の（ｄ）の走査線変換後の有効走査線７２０本の順次走査映像になる。
図２の（ｂ）は本発明の垂直画素加算で有効走査線５４２本の順次走査映像を表している。図１の本発明の一実施例の撮像装置の動作を示すタイミングチャートにおいて奇数フィールド映像の垂直画素加算タイミングを用いているので、奇数のラインをｎとしてｎ＋１ラインと垂直画素加算し、例えば、ａ３＋ａ４と垂直画素加算した有効走査線５４０本の順次走査映像となっている。
【００３４】
図２の（ｃ）は走査線変換を表している。図５の撮像装置のブロック図で５の映像信号処理部に存在する走査線変換部に相当し垂直方向に変換フィルタを持つ。ここでは説明のために簡略化しており、変換フィルタ係数の４／５、３／５、２／５、１／５を走査線変換座標に合わせて切り替えている。
図２の（ｄ）は走査線変換後の有効走査線７２０本の順次走査映像であり、（３／５）＊（ａ３＋ａ４）＋（２／５）＊（ａ５＋ａ６）の係数の加算でｄ３を算出している。ｄ３は常に同一に算出され、毎フレーム同じ撮像素子の水平走査線の画素配列の光学位置が出力され、フレーム毎の合成の差異によるジッタが発生しないことを表している。
【実施例２】
【００３５】
以下、本発明の他の１実施例の撮像装置の動作を示すタイミングチャートの図３と、本発明の他の１実施例の撮像装置の垂直画素加算動作を示す模式図の図４とを用いて、本発明の他の１実施例を説明する。
本発明の一実施例の撮像装置の動作を示すタイミングチャートの図３において、Ｖ１−Ｖ４は、ＩＴ−ＣＣＤにおける垂直転送路Ｖ１−Ｖ４の読み出し垂直転送との動作を表したものである。具体的には、ＰＤからＶ１とＶ３への電荷の読み出しと、Ｖ２を用いた奇数フィールド映像の垂直画素加算と、Ｖ４を用いた偶数フィールド映像の垂直画素加算と、Ｖ１−Ｖ４を一組とした垂直転送動作を示している。
図３において、奇数フィールドと偶数フィールドとでは期間が１Ｈ異なる。
【００３６】
図３において、Ｈ２は、ＩＴ−ＣＣＤにおける水平転送路Ｈ１−Ｈ２の動作を表したもので、図３のＨ２と逆極性のＨ１と、図３のＨ２とを対とした水平転送動作を行うタイミングを示している。
図３において、Ｈ Ｃｌｕｍｐは、ＩＴ−ＣＣＤの水平遮光画素（Ｈ−ＯＢ）の暗電流による映像信号をクランプして黒の基準とするパルスである。
【００３７】
Ｈ−Ｃｏｕｎｔｅｒは水平走査線カウンタを表し、駆動パルスを生成するＴＧの内部で動作しているものである。本発明の方式の動作中は、カウンタ値０からカウンタ値１１２４までの範囲で動作しており、カウンタ値１１２４の後にカウンタ値０に戻している。カウンタ値６と５６８の時に、Ｖ１−Ｖ４に読み出しと垂直画素加算のタイミングを出力させる。カウンタ値６と５６８の時に読み出しと垂直画素加算のタイミングを用意するため、撮像素子の水平走査線の画素配列の光学位置が水平走査線分ずれる。
この例で垂直画素加算のタイミングとＨ−Ｃｏｕｎｔｅｒの関係は、通常の飛び越し走査で動作している。尚、次に述べる変換フィルタを利用できるよう考慮したタイミングであり、撮像素子の持つタイミングチャートとは異なっている。
【００３８】
図５の撮像装置のブロック図で５の映像信号処理部に存在する走査線変換部には垂直方向に変換フィルタを持つことが多いが、背景技術の特許文献１に示されるように別の用途で有効に機能するので、図３の走査線変換無映像では走査線変換を行う前の映像出力タイミングを別の用途で垂直方向に変換フィルタを通した場合に出力となるフィルタ中心の、映像出力タイミングを示している。奇数型フィールドは上部ブランキング２０ラインと映像有効走査線５４０ラインと下部ブランキング３ラインの５６３ライン構成、偶数型フィールドは上部ブランキング２０ラインと映像有効走査線５４０ラインと下部ブランキング２ラインの５６２ライン構成で、フレーム１回は奇数型フィールドと偶数型フィールドのフィールド２回で構成された通常の飛び越し走査の出力となっている。
【００３９】
図３の走査線変換後映像は、は走査線変換を行った後の映像出力タイミングである。図３の走査線変換無映像のタイミングとは、映像有効走査線の位置が、奇数型フィールドの場合は走査線変換無の１．２５ライン、走査線変換後の１．６６ライン分の早く、偶数型フィールドの場合は走査線変換無の１．７５ライン、走査線変換後の２．３３ライン分の早いタイミング差であり、フレームメモリを用いずに走査線変換無映像と走査線変換後映像の共用を行うには、走査線変換後映像で変換フィルタに利用するライン数を減らす必要が有る。
【００４０】
図４は本発明の他の１実施例の撮像装置の垂直画素加算動作を示す模式図である。
図４の（ａ）はＨＤＴＶ撮像素子の開口画素の１０８８の水平走査線の画素配列の光学位置を表している。図４の（ａ）にはａ−２（ｋ１）からａ１０８５（ｋ３）までの１０８８ラインの開口画素の垂直画素範囲を示しており、ここから、図４の（ｂ）の奇数フィールド映像の垂直画素加算で有効走査線５４２本の走査映像になり、図４の（ｃ）の偶数フィールド映像の垂直画素加算で有効走査線５４３本の走査映像になり、図４の（ｄ）の走査線変換で図２の（ｅ）と（ｇ）と（ｈ）との走査線変換後の有効走査線７２０本の順次走査映像になる。
図４の（ｂ）は奇数フィールド映像の垂直画素加算タイミングを用いているので、奇数のラインをｎとしてｎ＋１ラインと垂直画素加算し、例えば、ａ３＋ａ４と垂直画素加算した有効走査線５４２本の順次走査映像となっている。
それに対し、図４の（ｃ）は偶数フィールド映像との垂直画素加算タイミングを用いているので、偶数のラインをｎとしてｎ＋１ラインと垂直画素加算し、例えば、ａ２＋ａ３と垂直画素加算した有効走査線５４３本の順次走査映像となっている。
【００４１】
図４の（ｄ）は走査線変換を表している。図５の撮像装置のブロック図で５の映像信号処理部に存在する走査線変換部に相当し垂直方向に変換フィルタを持つ。ここでは説明のために簡略化しており、変換フィルタ係数の４／５、３／５、２／５、１／５を走査線変換座標に合わせて切り替えている。
図４の（ｅ）と（ｇ）と（ｈ）とは走査線変換後の有効走査線７２０本の順次走査映像である。（３／５）＊（ａ３＋ａ４）＋（２／５）＊（ａ５＋ａ６）の係数の加算平均でｅ３を算出し、（４／５）＊（ａ４＋ａ５）＋（１／５）＊（ａ２＋ａ３）の係数の加算平均でｇ３を算出し、(5/20)*(a2+a3)+(3/5)*(a4+a5)+(3/20)*(a6+a7)の係数の加算平均でｈ３を算出している。
【００４２】
図４の（ｇ）は、奇数フィールドと偶数フィールドと異なる撮像素子の水平走査線の画素配列の光学位置が出力され、奇数フィールドと偶数フィールドとの差異によるジッタが発生することを表している。
それに対し、図４の（ｈ）は、偶数フィールド映像との垂直画素加算の順次走査映像の３走査線からの加算平均により、奇数フィールドに近似する撮像素子の水平走査線の画素配列の光学位置が出力され、奇数フィールドと偶数フィールドとの差異によるジッタが発生しないことを表している。
【００４３】
図４の（ｈ）を生成する方法には、撮像素子の水平走査線の画素配列の光学位置を近似したことで上下のジッタを軽減することができるが、偶数フィールド映像のために専用の変換フィルタが追加され、利用ライン幅も１ライン広くする必要が有った。走査線変換の前後におけるライン配置位相の相関に相似関係が見出せる場合は、奇数フィールドに用いる走査線変換用のフィルタを、ライン配置位相の相関に合わせて順序を変えて偶数フィールド用に用いることで、図４の（ｈ）と同等以上の効果を得ることができる。図６を用いて相似関係を活かした走査線変換と、図７を用いてフィールドの相似関係のみを活かした走査線変換を説明する。
【００４４】
図６は本発明の他の１実施例の撮像装置の垂直画素加算動作における垂直位相関係を表した模式図である。図６の（ａ）は撮像素子の画素配置を示しており、図４の（ａ）に相当する。
【００４５】
図６の（ｂ）は飛越走査における奇数フィールドの走査線を示しており、図４Ａの（ｂ）に相当し、奇数のｎライン目にｎ＋１ライン目を加算合成するため、例えばｂ３はａ３とａ４を合成したものであり、垂直位相関係を同一にして記している。
【００４６】
図６の（ｃ）は飛越走査における偶数フィールドの走査線を示しており、図４の（ｃ）に相当し、偶数のｎライン目にｎ＋１ライン目を加算合成するため、例えばｃ４はａ４とａ５を合成したものであり、垂直位相関係を同一にして記している。
【００４７】
図６の（ｅ）は奇数フィールドの飛越走査から変換された順次走査映像の走査線を示し、図６の（ｇ）は偶数フィールドの飛越走査から変換された順次走査映像の走査線を示しており、それぞれ図４の（ｅ）と図４の（ｇ）に相当する。この順次走査画像は図６の（ｅ）と図６の（ｇ）が、走査線変換前の飛越走査画像のフィールド毎に、繰り返し交互に現れるものとなるため、垂直位相関係を同一にして記している。
【００４８】
図６の（ｋ）は奇数フィールドからの走査線変換の垂直位相を示している。走査線変換の位相として４点の位相を用いる例を示しており、ｂ１の重心であるｂ１＋０／８の位相から、上下等間隔に１／８位相ずつ位相を用意すると８点の位相が考えられるが、分子が奇数になる−３／８、−１／８、＋１／８、＋３／８の４点の位相に対して変換フィルタが用意され、他の４点の位相である−２／８、＋０／８、＋２／８、＋４／８は利用しない。
変換位相４点を重心の＋０／８をあえて外して用意するのは、同時に利用する位相の中に＋４／８すなわち２つのライン重心から中点となる１／２位相が含まれないようにする工夫と、準備する変換フィルタに最大限の対照性を持たせて種類を減らし各変換フィルタの周波数特性を合わせやすくするためである。１／２位相が含まれないようにする理由については図７に別の一実施例を示して後述する。
図６の（ｋ）’は順次走査の重心となる奇数フィールドからの走査線変換の垂直位相を示している。順次走査の重心となる垂直位相には、−１／８、−３／８、＋３／８、＋１／８が繰り返し現れ、この４点しか存在していないことが図示されている。
【００４９】
図６の（ｐ）は奇数フィールドから２ラインを用いた走査線変換フィルタと対応画素の影響比率を示している。ｅ３は図６の（ｋ）’で走査線変換前から＋３／８の垂直位相に相当し、ｂ３＊（３／５）＋ｂ５＊（２／５）の変換フィルタを用いて、画素配置のａ３とａ４が３／５、ａ５とａ６が２／５の比率で影響することになる。図６の（ｐ）の走査線変換フィルタの計算式を見ると、走査線変換前から＋３／８の垂直位相にあたるｅ３に用いる変換フィルタと、走査線変換前から−３／８の垂直位相にあたるｅ６に用いる変換フィルタは係数の（３／５）と（２／５）が上下対照になっており、同じ周波数特性のフィルタとなる。同様に走査線変換前から＋１／８の垂直位相にあたるｅ４に用いる変換フィルタと、走査線変換前から−１／８の垂直位相にあたるｅ５に用いる変換フィルタは係数の（４／５）と（１／５）が上下対照になっており、同じ周波数特性のフィルタとなる。つまり４つの垂直位相に対して２種類の周波数特性のフィルタのみで構成できる。図６の（ｅ）では異なる特性のフィルタが走査線のライン毎に切り替わるので、フィルタの周波数特性を最大限合わせておかなければ映像出力にモアレを引き起こす。本方式では変換フィルタの種類を減らすために垂直位相の対照性に着目し、変換フィルタの種類で異なる周波数特性を最大限近似させることでライン毎のモアレを低減する。周波数特性の近似に関しては、偶数フィールドの説明に合わせｅ３とｇ３の関係で後述する。
【００５０】
図６の（ｐ）’は奇数フィールドから４〜３ラインを用いた走査線変換フィルタと対応画素の影響比率を示している。走査線変換フィルタの周波数特性を向上するには、計算に用いる変換前の走査線のライン数と係数の分解能を増やす。ライン数を増やすことで、変換フィルタの係数の中には０になって実質使われないラインやマイナスの値となるものが有る。図６の（ｐ）’の走査線変換フィルタでは、走査線変換前から＋１／８の垂直位相にあたるｅ４に用いる変換フィルタと、走査線変換前から−１／８の垂直位相にあたるｅ５に用いる変換フィルタに係数が０／１６で０になって実質使われないラインが存在している。＋１／８の垂直位相と−１／８の垂直位相は走査線変換前の重心＋０／８の垂直位相に近く、重心に来るラインと上下の３ライン、＋３／８の垂直位相と−３／８の垂直位相は上下に２ラインずつで４ラインを用いて走査線変換している。図６の（ｐ）の走査線変換フィルタと図６の（ｐ）’の走査線変換フィルタは説明用に簡略化したもので、実際には係数の分解能を増やした上で、フラットな周波数特性を持たせるために６〜５ライン程度や、周波数高域を維持するには１０ライン程度を用いて走査線変換を行うことがある。垂直位相に対する変換フィルタの対象性は図６の（ｐ）を用いての説明と変わらない。
図６の（ｍ）は偶数フィールドからの走査線変換の垂直位相を示している。走査線変換の位相として４点の位相を用いる例を示しており、ｃ２の重心であるｃ２＋０／８の位相から、上下等間隔に１／８位相ずつ位相を用意すると８点の位相が考えられるが、分子が奇数になる−３／８、−１／８、＋１／８、＋３／８の４点の位相に対して変換フィルタが用意され、他の４点の位相である−２／８、＋０／８、＋２／８、＋４／８は利用しない。
図６の（ｍ）’は順次走査の重心となる偶数フィールドからの走査線変換の垂直位相を示している。順次走査の重心となる垂直位相には、＋３／８、＋１／８、−１／８、−３／８が繰り返し現れ、この４点しか存在していないことが図示されている。
【００５１】
図６の（ｑ）は偶数フィールドから２ラインを用いた走査線変換フィルタと対応画素の影響比率を示している。ｇ３は図６の（ｍ）’で走査線変換前から−１／８の垂直位相に相当し、ｃ２＊（１／５）＋ｃ４＊（４／５）の変換フィルタを用いて、画素配置のａ２とａ３が１／５、ａ４とａ５が４／５の比率で影響することになる。図６の（ｑ）の偶数フィールドからの走査線変換フィルタの計算式を、図６の（ｐ）の奇数フィールドからの走査線変換フィルタの計算式と比べると、利用する順序が異なるが、走査線変換前の垂直位相の−１／８、−３／８、＋３／８、＋１／８に対する変換フィルタは全く同じ構成になっており、奇数フィールドでの２種類４位相のフィルタと共用できることが示されている。
【００５２】
図６の（ｑ）’は偶数フィールドから４〜３ラインを用いた走査線変換フィルタと対応画素の影響比率を示している。図６の（ｑ）’の偶数フィールドからの走査線変換フィルタの計算式を、図６の（ｐ）’の奇数フィールドからの走査線変換フィルタの計算式と比べると、利用する順序が異なるが、走査線変換前の垂直位相の−１／８、−３／８、＋３／８、＋１／８に対する変換フィルタは全く同じ構成になっており、奇数フィールドでの２種類４位相のフィルタと共用できることが示されている。
図６の（ｅ）の奇数フィールドの飛越走査から変換された順次走査映像の走査線におけるｅ３は、図６の（ｇ）は偶数フィールドの飛越走査から変換された順次走査映像の走査線のｇ３と同じ走査線にあたり、飛越走査側のフィールド毎に順次走査側にｅ３とｇ３が交互に現れる。
【００５３】
図６の（ｐ）の奇数フィールドからの走査線変換フィルタの対応画素はｅ３に対してａ４とａ５を中心にａ３からａ６(まで)を用いているが、図６の（ｑ）の偶数フィールドからの走査線変換フィルタの対応画素はｇ３に対してａ４とａ５の比率が大きいものの上側のａ２とａ３を用いて下側に広がりは無い。このため図６の（ｐ）の奇数フィールドからの走査線変換フィルタと図６の（ｑ）の偶数フィールドからの走査線変換フィルタには上下のジッタが存在し順次走査映像にフリッカが残る。
図６の（ｐ）’の奇数フィールドからの走査線変換フィルタの対応画素はｅ３に対してａ４とａ５を中心にａ１からａ８を用いており、図６の（ｑ）’の偶数フィールドからの走査線変換フィルタの対応画素はｇ３に対してａ４とａ５を中心にａ２からａ７を用いており、上下に広がる裾野に差異は有るものの、利用範囲の形状がより近似している。このため図６の（ｐ）’の奇数フィールドからの走査線変換フィルタと図６の（ｑ）’の偶数フィールドからの走査線変換フィルタでは順次走査映像のフリッカが軽減される。複数有る走査線変換フィルタで利用する画素配置と合成比率の形状を近似させることは周波数特性を近似させると言い換えることができる。
【００５４】
本方式では垂直位相の対照性と、フィールド毎に利用できる変換フィルタの共通性に着目し、変換フィルタの種類を減らし、変換フィルタの種類で異なる周波数特性を最大限近似させることでライン毎のモアレを低減するとともに、飛越走査のフィールド毎の順次走査映像のフリッカを軽減する。
尚、同時に利用する変換フィルタが４点だとしても、別の理由で変換位相を８点準備する場合、本方式では対照性と周波数特性の近似を重視するため、８点の周波数特性を合わせるには１６分割の位相を想定して分子が奇数となる位相を用いる。これは周波数特性が悪く最も避けるべき＋８／１６垂直位相と、他の位相と同時に使うには周波数特性が良いため出来れば避ける＋０／１６垂直位相を外すためである。
更に走査線変換の整数比によっては同時に利用する変換フィルタの位相が奇数になる場合が想定されるが、本方式では対照性と周波数特性の近似を重視するため、＋０垂直位相を含む奇数の点を用い、＋０垂直位相の上下に対照性を持たせるとともに、周波数特性が悪く最も避けるべき＋１／２垂直位相を外す。
【００５５】
図７は本発明の他の１実施例の撮像装置の垂直画素加算動作における垂直位相関係を表した模式図である。図７の（ａ）は撮像素子の画素配置を示しており、図６の（ａ）や図４の（ａ）に相当する。
図７の（ｂ）は飛越走査における奇数フィールドの走査線を示しており、図６Ａや図４Ａに相当し、奇数のｎライン目にｎ＋１ライン目を加算合成するため、例えばｂ３はａ３とａ４を合成したものであり、垂直位相関係を同一にして記している。
図７の（ｃ）は飛越走査における偶数フィールドの走査線を示しており、図６Ｂや図４Ａに相当し、偶数のｎライン目にｎ＋１ライン目を加算合成するため、例えばｃ４はａ４とａ５を合成したものであり、垂直位相関係を同一にして記している。
【００５６】
図７の（ｅ）’は奇数フィールドの飛越走査から変換された順次走査映像の走査線を示し、ｂ１の垂直位相の重心とｅ１の垂直位相の重心が等しくなる垂直位相関係になることを示し、図７の（ｇ）’は偶数フィールドの飛越走査から変換された順次走査映像の走査線を示しており、それぞれ図４Ｂの（ｅ）と図４Ｃの（ｇ）に相当する。この順次走査画像は図７の（ｅ）’と図７の（ｇ）’が、走査線変換前の飛越走査画像のフィールド毎に、繰り返し交互に現れるものとなるため、垂直位相関係を同一にして記している。
【００５７】
図７の（ｋ）”は奇数フィールドからの走査線変換の垂直位相を示している。走査線変換の位相として４点の位相を用いる例を示しており、ｂ１の重心であるｂ１＋０／４の位相から、上下等間隔に１／４位相ずつの位相である−１／４、＋０／４、＋１／４、＋２／４に対して変換フィルタが用意されている。
利用する位相の中に＋２／４すなわち２つのライン重心から中点となる１／２位相が含まれている。
図７の（ｋ）”’は順次走査の重心となる奇数フィールドからの走査線変換の垂直位相を示している。順次走査の重心となる垂直位相には、＋０／４、−１／４、＋２／４、＋１／４が繰り返し現れ、この４点しか存在していないことが図示されている。
【００５８】
図７の（ｐ）”は奇数フィールドから２ラインを用いた良好でない走査線変換フィルタと対応画素の影響比率を示している。ｅ３は図７の（ｋ）”’で走査線変換前から＋２／４の垂直位相に相当し、ｂ３＊（１／２）＋ｂ５＊（１／２）の変換フィルタを用いて、画素配置のａ３とａ４とａ５とａ６が平均した比率で影響することになり、ｂ３とｂ５が白と黒でも平均した灰色としてしか扱えない周波数特性が最悪となる垂直位相である。ｅ５は走査線変換前から＋０／４の垂直位相すなわち走査線変換前後で重心が等しい位相に相当し、２ラインのみを用いて変換フィルタを構成した場合はｂ７が比率の全てを占めて影響することになり、ｂ７が白なら白、黒なら黒となる周波数特性が最良となる垂直位相だが、他の３点との違いが大きくなる。図７の（ｐ）”の走査線変換フィルタの計算式を見ると、走査線変換前から＋２／４の垂直位相すなわち２つのライン重心から中点となる１／２位相にあたるｅ３に用いる変換フィルタと対照となるものは存在せず、唯一の特異点である。同様に走査線変換前から＋０／４の垂直位相すなわち走査線変換前後で重心が等しい位相にあたるｅ５に用いる変換フィルタと対照となるものは存在せず、唯一の特異点である。走査線変換前から＋１／４の垂直位相にあたるｅ４に用いる変換フィルタと、走査線変換前から−１／４の垂直位相にあたるｅ６に用いる変換フィルタは係数の（３／４）と（１／４）が上下対照になっており、同じ周波数特性のフィルタとなる。４つの垂直位相に対して３種類の周波数特性のフィルタで構成しており、図６の場合より共通性や対照性に欠ける。
図７の（ｅ）’では異なる特性のフィルタが走査線のライン毎に切り替わるので、フィルタの周波数特性を最大限合わせておかなければ映像出力にモアレを引き起こす。この実施例では変換フィルタの種類で異なる周波数特性を最大限近似させることでライン毎のモアレを低減する。そのため図７の（ｐ）”は良好ではない変換フィルタとして採用すべきではない。周波数特性の近似に関しては、偶数フィールドの説明に合わせｅ３とｇ３の関係で後述する。
【００５９】
図７の（ｐ）”’は奇数フィールドから４〜３ラインを用いた走査線変換フィルタと対応画素の影響比率を示している。走査線変換フィルタの周波数特性を向上するには、計算に用いる変換前の走査線のライン数と係数の分解能を増やす。ライン数を増やすことで、変換フィルタの係数の中には０になって実質使われないラインやマイナスの値となるものが有る。図７の（ｐ）”’の走査線変換フィルタでは、走査線変換前と重心が等しい＋０／４の垂直位相にあたるｅ５に用いる変換フィルタに係数が０／１６で０になって実質使われないラインが存在している。走査線変換前の重心＋０／４の垂直位相のみ、重心に来るラインと上下の３ライン、他の３つの垂直位相は上下に２ラインずつで４ラインを用いて走査線変換している。
＋２／４の垂直位相と＋０／４の垂直位相がそれぞれ唯一の特異点であることと、−１／４の垂直位相と＋１／４の垂直位相が上下対照で３種類の変換フィルタになる点は図７の（ｐ）”と同様である。
周波数特性を近似させるためには、最悪の＋２／４の垂直位相が存在するため、＋０／４の垂直位相は元々有る最良の周波数特性を殺して３ラインを平均するような変換フィルタとする必要が有り、位相の特性は活かせない。
図７の（ｐ）”の走査線変換フィルタと図７の（ｐ）”’の走査線変換フィルタは説明用に簡略化したものである。
【００６０】
図７の（ｍ）”は偶数フィールドからの走査線変換の垂直位相を示している。走査線変換の位相として４点の位相を用いる例を示しており、ｃ２の重心であるｃ２＋０／４の位相から、上下等間隔に１／４位相ずつの位相である−１／４、＋０／４、＋１／４、＋２／４に対して変換フィルタが用意されている。
図７の（ｍ）”’は順次走査の重心となる偶数フィールドからの走査線変換の垂直位相を示している。順次走査の重心となる垂直位相には、＋２／４、＋１／４、＋０／４、−１／４が繰り返し現れ、この４点しか存在していないことが図示されている。
【００６１】
図７の（ｑ）”は偶数フィールドから２ラインを用いた良好でない走査線変換フィルタと対応画素の影響比率を示している。ｇ３は図７の（ｍ）”’で走査線変換前から＋０／４の垂直位相すなわち走査線変換前後で重心が等しい位相に相当し、２ラインのみを用いて変換フィルタを構成した場合はｃ４が比率の全てを占めて影響することになり、ｃ４が白なら白、黒なら黒となる周波数特性が最良となる垂直位相だが、他の３点との違いが大きくなる。ｇ５は図７の（ｍ）”’で走査線変換前から＋２／４の垂直位相に相当し、ｃ６＊（１／２）＋ｃ８＊（１／２）の変換フィルタを用いて、画素配置のａ６とａ７とａ８とａ９が平均した比率で影響することになり、ｃ６とｃ８が白と黒でも平均した灰色としてしか扱えない周波数特性が最悪となる垂直位相である。
図７の（ｑ）”の偶数フィールドからの走査線変換フィルタの計算式を、図７の（ｐ）”の奇数フィールドからの走査線変換フィルタの計算式と比べると、利用する順序が異なるが、走査線変換前の垂直位相の＋０／４、−１／４、＋２／４、＋１／４に対する変換フィルタは全く同じ構成になっており、奇数フィールドでの３種類４位相のフィルタと共用できることが示されている。
【００６２】
図７の（ｑ）”’は偶数フィールドから４〜３ラインを用いた走査線変換フィルタと対応画素の影響比率を示している。図７の（ｑ）”’の偶数フィールドからの走査線変換フィルタの計算式を、図７の（ｐ）”’の奇数フィールドからの走査線変換フィルタの計算式と比べると、利用する順序が異なるが、走査線変換前の垂直位相の＋０／４、−１／４、＋２／４、＋１／４に対する変換フィルタは全く同じ構成になっており、奇数フィールドでの３種類４位相のフィルタと共用できることが示されている。
【００６３】
図７の（ｅ）’の奇数フィールドの飛越走査から変換された順次走査映像の走査線におけるｅ３は、図６の（ｇ）’は偶数フィールドの飛越走査から変換された順次走査映像の走査線のｇ３と同じ走査線にあたり、飛越走査側のフィールド毎に順次走査側にｅ３とｇ３が交互に現れる。図７の（ｐ）”の良好でない走査線変換フィルタと図７の（ｑ）”の良好でない走査線変換フィルタでは、ｅ３は変換前走査線２ラインの平均値で最悪の周波数特性となり、対してｇ３は変換前走査線と等しくなり最良の周波数特性である。このｅ３とｇ３が交互に現れ順次走査映像に強烈なフリッカが起こる。ｅ５とｇ５にも同様にも強烈なフリッカが起こり、ｅ３とｅ５およびｇ３とｇ５にはそれぞれ強烈なモアレが起こる。この実施例でも複数の種類で構成される走査線変換フィルタの周波数特性を合わせることでモアレとフリッカを軽減できる。走査線変換フィルタは変換前走査線から＋０／４の垂直位相の変換フィルタと、−１／４の垂直位相と＋１／４の垂直位相で共用する対照の変換フィルタと、＋２／４の垂直位相の変換フィルタの３種類で構成されている。フリッカを低減するためには例えば図７の（ｐ）”’の４〜３ラインの走査線変換フィルタと図７の（ｑ）”’の４〜３ラインの走査線変換フィルタを用いる。３種類の変換フィルタの周波数特性を合わせるには、最悪の１／２位相の特性に他の変換フィルタの合成比率を近似させるしかなく、重心が等しい最良の垂直位相は２ライン平均に近似されてしまい特性を活かせない。図７の（ｐ）”’でｅ３は＋２／４の垂直位相の変換フィルタで２ライン平均を上下に裾野を広げて、ａ３からａ６を中心にａ１からａ８までとなり、図７の（ｑ）”’でｇ３は＋０／４の垂直位相の変換フィルタで、これを３ライン平均に近いａ２からａ７までとすることで、フィルタの形状を近似させている。
【００６４】
何らかの理由で図６の方式を用いることが出来ない場合でも、この実施例のように変換フィルタの種類で異なる周波数特性を最大限近似させることでライン毎のモアレを低減するとともに、飛越走査のフィールド毎の順次走査映像のフリッカを軽減することは可能である。
【００６５】
以上４相のＩＴ−ＣＣＤを３ヶと色分解光学系を用いる撮像装置について詳細に動作を説明した。
しかし、ＩＴ−ＣＣＤのＶ１−Ｖ４とＦＩＴ−ＣＣＤのＶ１Ａ−Ｖ４Ａとの垂直転送加算動作と、ＩＴ−ＣＣＤのＶ１−Ｖ４とＦＩＴ−ＣＣＤのＶ１Ｂ−Ｖ４Ｂとの水平周期で一組ごとの垂直転送動作と、ＩＴ−ＣＣＤのＨ１−Ｈ２とＦＩＴ−ＣＣＤのＨ１−Ｈ２との水平転送動作とは同様である。ＦＩＴ−ＣＣＤのＶ１Ａ−Ｖ４ＡとＶ１Ｂ−Ｖ４Ｂとの垂直帰線期間での高速転送が異なる。つまり、本発明の動作は、ＩＴ−ＣＣＤだけではなく、ＦＩＴ−ＣＣＤのも適用できる。
【００６６】
また、垂直転送４相のＣＣＤにかぎらず、垂直転送６相のＣＣＤでも垂直転送８相のＣＣＤでも適用できる。さらに単一のオンチップカラーフィルタ付きＣＣＤでも白黒撮影の単一のＣＣＤでも、本発明を適用できる。
【符号の説明】
【００６７】
１：撮像装置、２：レンズ部、３：撮像部、４：ＣＰＵ、
５：映像信号処理部、
【技術分野】
【０００１】
本発明は、固体撮像素子を有する撮像装置に関するものである。
【背景技術】
【０００２】
シリコン製撮像素子は、基板（Substrate以下Sub）電圧（以下V-sub）等の電極電圧を可変することで、フォトダイオード（Photo-Diode以下ＰＤ）の飽和特性が可変する。Sub等のオーバーフロードレイン（Over-flow Drain以下ＯＤ）に正のパルス電圧を印可する事によりＰＤ電荷を掃き捨てる。電荷転送型撮像素子（Charge Coupled Device以下ＣＣＤと略す）の中でもＦＩＴ(Frame Interline Transfer)−ＣＣＤやＩＴ(Interline Transfer)−ＣＣＤでは、基盤（Sub）がＯＤとなり、縦型ＯＤと呼ばれる。（非特許文献１参照）
【０００３】
図５Ｂは、従来の撮像装置５０１の構成を示すブロック図である。図５Ｂの撮像部５０３は、ＩＴ−ＣＣＤと、タイミング発生（Timing Generator：以下ＴＧ）とＯＤ掃き捨てと読み出しとを内蔵の垂直転送駆動部と、雑音を除去するＣＤＳ（Correlated Double Sampling）と、暗電流補正と利得可変増幅回路（Automatic Gain Control以下ＡＧＣ）と、デジタル映像信号Ｖｉに変換するＡＤＣ（Analog Digital Converter）と、水平転送のＴＧと、電圧変換のリセットのＴＧと、ＣＤＳのＴＧと、暗電流補正のＴＧと、ＡＧＣのＴＧと、ＡＤＣのＴＧと、オンチップカラーフィルタ付きＣＣＤが一つまたは色分解光学系とＣＣＤを３つからなる。
前出の複数のＴＧは各機能に分散している場合や統合された１つのＴＧの場合など様々な形態が考えられるが、タイミング制御する対象は示す通りの機能であり、水平周期で繰り返すパルスと垂直周期で繰り返すパルスに大別される。
前出の各機能の一部または全てを統合してＡＦＥ（Analog Front End）と呼ばれるＩＣが用いられる場合もあるが、実現する機能に差異はない。
レンズ５０２で焦点を結んだ入射光は撮像部５０３で映像信号となり、走査線数変換や色倍率収差補正機能内蔵の映像信号処理部５０５で信号処理され、映像信号となる。撮像部５０３と映像信号処理部５０５とはＣＰＵ（Central Processing Unit）５０４で制御される（特許文献１参照）。
【０００４】
撮像部５０３にはＴＧ５０６が含まれる。図８Ｂに従来の撮像装置の撮像部に含まれるＴＧのブロック図の一例を示す。
クロックカウンタ８０１は水平入力サンプルを行うクロックをカウントしており水平カウンタ値を出力する。比較器８０２は水平入力サンプルの最大値と水平カウンタ値を比較して一致した場合に水平リセット・垂直カウントアップ信号を出力する。クロックカウンタ８０１は比較器８０２の水平リセット・垂直カウントアップ信号でリセットされることで水平周期のカウントを繰り返す。
ラインカウンタ８０３は水平リセット・垂直カウントアップ信号の有るクロックでカウントアップしており垂直カウンタ値を出力する。比較器８０４は垂直ラインの最大値と垂直カウンタ値を比較して一致した場合に垂直最大ラインフラグ信号を出力する。ＡＮＤ回路８０５は垂直最大ラインフラグ信号と水平リセット・垂直カウントアップ信号のＡＮＤをとり垂直リセット信号を出力する。ラインカウンタ８０３はＡＮＤ回路８０５の垂直リセット信号でリセットされることで垂直周期のカウントを繰り返す。
水平パルス生成回路８０６は水平カウンタ値に応じてＣＣＤが必要な各種の水平パルスを生成する。水平パルスには水平転送パルス、電圧変換のリセットパルス、ＣＤＳパルス、暗電流補正クランプパルス、ＡＧＣ部クランプパルス、ＡＤＣ水平同期パルスなど、水平周期で繰り返すパルスが該当する。
垂直パルス生成回路８０７は垂直カウンタ値と水平カウンタ値に応じて、ＣＣＤが必要な垂直パルスを生成する。垂直パルスにはＯＤ掃き捨てパルス、読み出しパルス、垂直転送パルスなど、垂直周期で繰り返し水平のパルス変化位相を持つパルスが該当する。
映像信号処理部５０５には走査線数変換などを処理するための変換フィルタ５０７を含んでいる。変換フィルタには水平方向と垂直方向にサンプリング点を変換するための変換係数を入力と出力の相対位相関係に応じて繰り返す必要が有り、複数の変換係数を持つ。図９Ｂに従来の撮像装置の映像信号処理部に含まれる０度位相を基準にした変換係数の概念を示す。
【０００５】
水平サンプル変換フィルタ９０１はクロック毎に変換係数を変更できるＦＩＲフィルタであり、一定範囲にある複数の入力画素に対して、座標に対応する変換係数の値を乗算し、合算することで、出力サンプルの位相中心に相当する画素情報を生成する。
水平変換係数の位相９０２は水平サンプル変換フィルタ９０１にフィルタ計算に用いる変換係数を与えている。内部には変換係数の組を複数持ち、ＣＰＵ５０４によって設定されたレジ補正の値に応じた位相用の変換係数の組を水平サンプル変換フィルタ９０１に与える。変換係数の数値内容例は別項として、ここでは方式の着眼点に関わる変換係数の組として持つ位相の種類について説明する。
水平変換係数の位相９０２の内部に有る複数の変換係数の組を、入力画素の座標９０３と出力サンプルの位相中心９０４と入力画素単位での白黒に対する相対応答９０５の組合せで模式的に示した。まず水平変換係数の位相９０２は入力画素の座標９０３と出力サンプルの位相中心９０４が合致する０度位相の変換係数の組９１０を持つ。他にレジ補正とサンプリング（垂直では走査線）変換に用いる入力画素の座標９０３と出力サンプルの位相中心９０４が異なる変換係数の組が用意されているが、それらの変換係数の組はサンプリング（垂直では走査線）変換で入出力の位相が変化する時に０度位相から順次現れる位相として用意される。ここでは960画素を1280画素に変換する場合や、1440画素を1920画素に変換する場合など、利用頻度が高く説明しやすい入出力３対４の変換を例にしている。０度位相から９０度毎に４種類の位相が必要で、９０度位相の変換係数の組９１１、１８０度位相の変換係数の組９１２、２７０度位相の変換係数の組９１３が用意されている。
水平サンプル変換フィルタ９０１における入出力３：４変換の相関図９０６に、水平変換係数の位相９０２の持つ変換係数の組を出力クロック毎に４種類繰り返して変換できることを示す。この繰り返しに、白黒に対する相対応答の振幅が最大となる０度位相と、振幅が全く無く平滑化されてしまう１８０度位相が共に存在するため、モアレ（垂直でフリッカ・ジッタ）などを引き起こし易く映像品質を落とし、これらの不具合改善にフィルタの変換特性を近似させるには、最も振幅の無い１８０度位相に近付ける必要が有り、振幅が最大となる０度位相の利点も活かせず、解像度の低下を招く。
【０００６】
垂直走査線変換フィルタ９２１は走査線毎に変換係数を変更できるＦＩＲフィルタであり、一定範囲にある複数の入力画素に対して座標に対応する変換係数の値を乗算したのち合算することで出力走査線の位相中心に相当する画素情報を生成する。
垂直変換係数の位相９２２は垂直走査線変換フィルタ９２１にフィルタ計算に用いる変換係数を与えている。内部には変換係数の組を複数持ち、ＣＰＵ５０４に設定されたレジ補正の値に応じた位相用の変換係数の組を垂直走査線変換フィルタ９２１に与える。水平と垂直の方向性の違いのみで、係数の切り替えがクロック毎か、走査線毎かの違いなので詳しい説明は割愛する。
尚、インターレースでフィールド毎のフィルタ係数が逆転し、同じ空間座標に０度位相と１８０度位相が交互に表れる事が、モアレをフリッカやエッジのジッタにしている。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２００８−２０６０３０
【非特許文献】
【０００８】
【非特許文献１】MW39781AEパナソニック(株)CCDエリアイメージセンサ
【発明の概要】
【発明が解決しようとする課題】
【０００９】
本発明の目的は、従来よりジッタが低減された走査線変換した映像を出力することにある。
【課題を解決するための手段】
【００１０】
本発明は、上記課題を解決するため、飛越走査用ＩＴ−ＣＣＤまたは飛越走査用ＦＩＴ−ＣＣＤの信号電荷を垂直画素加算して映像信号として読み出す撮像装置において、垂直画素加算する垂直画素の対を固定として、フィールド最終の水平周期の半周期の転送を停止させて、第一の順次走査の映像信号として前記ＣＣＤから読み出し、読み出した第一の順次走査の映像信号の複数の走査線の加算平均により走査線変換して第二の順次走査の映像信号に変換して、第二の順次走査の映像信号を出力することと、垂直画素加算して、第三の順次走査の映像信号として前記ＣＣＤから読み出し、読み出した第三の順次走査の映像信号を３以上の自然数の走査線の加算平均により走査線変換して第二の順次走査の映像信号に変換して、第二の順次走査の映像信号を出力することと、垂直画素加算する垂直画素の対を奇数フィールドと偶数フィールドと切り替えて飛越走査の映像信号として前記ＣＣＤから読み出し、該飛越走査の映像信号の走査線の配置位相と第二の順次走査の映像信号の走査線の配置位相の相関に合わせて特異点を減らし垂直周波数特性が近似する数種類の係数の走査線の加算平均により走査線変換して第二の順次走査の映像信号に変換して、第二の順次走査の映像信号を出力すること 、との少なくともいずれかを行うことを特徴とする固体撮像装置である。
【００１１】
また、有効走査線数１０８０本の飛越走査用ＩＴ−ＣＣＤの信号電荷を垂直画素加算して映像信号として読み出す撮像装置において、垂直画素加算する垂直画素の対を固定として、フィールド最終の水平周期の半周期の転送を停止させて、有効走査線数５４０本の順次走査の映像信号として前記ＣＣＤから読み出し、読み出した有効走査線数５４０本の映像信号を３対４に走査線変換して有効走査線数７２０本の順次走査の映像信号に変換して、７２０本の順次走査の映像信号を出力することと、フィールド最終の水平周期の半周期の垂直転送と、フィールド最終の水平周期の半周期の水平転送と、すくなくとも1回の水平遮光画素のクランプとの、すくなくともいずれかを停止させること、を特徴とする固体撮像装置である。
【００１２】
また、開口画素の走査線数１０８４本以上の飛越走査用ＩＴ−ＣＣＤの信号電荷を垂直画素加算して映像信号として読み出す撮像装置において、垂直画素加算する垂直画素の対を奇数フィールドと偶数フィールドと切り替えて、奇数フィールド有効走査線数５４２本と偶数フィールド有効走査線数５４３本の順次走査の映像信号として前記ＣＣＤから読み出し、読み出した奇数フィールド有効走査線数５４２本の映像信号を２走査線の加算平均により走査線変換して有効走査線数７２０本の順次走査の映像信号に変換して、読み出した偶数フィールド有効走査線数５４３本の映像信号を３走査線の加算平均により走査線変換して有効走査線数７２０本の順次走査の映像信号に変換して、７２０本の順次走査の映像信号を出力することと、垂直画素加算する垂直画素の対を奇数フィールドと偶数フィールドと切り替えて、飛越走査の映像信号として前記ＣＣＤから読み出し、読み出した飛越走査の映像信号を、飛越走査の映像信号の１０８４本以上の走査線の配置位相と順次走査の７２０本の走査線の配置位相の相関に合わせて特異点を減らし垂直周波数特性が近似する４走査線の加算平均と３走査線の加算平均との組み合わせにより走査線変換して有効走査線数７２０本の順次走査の映像信号に変換して、７２０本の順次走査の映像信号を出力することと、との少なくとも一方を行うことを特徴とする固体撮像装置である。
【発明の効果】
【００１３】
本発明によれば、従来よりジッタが低減された走査線変換した映像を出力することができる。
【図面の簡単な説明】
【００１４】
【図１Ａ】本発明の１実施例の撮像装置の動作を示すタイミングチャート
【図１Ｂ】本発明の１実施例の撮像装置の動作を示すタイミングチャート
【図２】本発明の１実施例の撮像装置の垂直画素加算動作を示す模式図
【図３】本発明の他の１実施例の撮像装置の動作を示すタイミングチャート
【図４】本発明の他の１実施例の撮像装置の走査線加算動作を示す模式図
【図５Ａ】本発明の撮像装置の構成を示すブロック図
【図５Ｂ】従来の撮像装置の構成を示すブロック図
【図６Ａ】本発明の他の１実施例の撮像装置の奇数フィールドの走査線加算動作を示す模式図
【図６Ｂ】本発明の他の１実施例の撮像装置の偶数フィールドの走査線加算動作を示す模式図
【図７Ａ】本発明の他の１実施例の撮像装置の奇数フィールドの走査線加算動作を示す模式図
【図７Ｂ】本発明の他の１実施例の撮像装置の偶数フィールドの走査線加算動作を示す模式図
【図８Ａ】本発明の撮像装置の撮像部に含まれるＴＧのブロック図
【図８Ｂ】従来の撮像装置の撮像部に含まれるＴＧのブロック図
【図９Ａ】本発明における撮像装置の映像信号処理部に含まれるより多くの対象位相を持つ変換係数の概念
【図９Ｂ】従来の撮像装置の映像信号処理部に含まれる０度位相を基準にした変換係数の概念
【発明を実施するための形態】
【００１５】
図５Ａは本発明における撮像装置のブロック図である。図５Ａの撮像部５０３ａは、ＩＴ−ＣＣＤと、タイミング発生（Timing Generator：以下ＴＧ）とＯＤ掃き捨てと読み出しとを内蔵の垂直転送駆動部と、雑音を除去するＣＤＳ（Correlated Double Sampling）と、暗電流補正と利得可変増幅回路（Automatic Gain Control以下ＡＧＣ）と、デジタル映像信号Ｖｉに変換するＡＤＣ（Analog Digital Converter）と、水平転送のＴＧと、電圧変換のリセットのＴＧと、ＣＤＳのＴＧと、暗電流補正のＴＧと、ＡＧＣのＴＧと、ＡＤＣのＴＧと、オンチップカラーフィルタ付きＣＣＤが一つまたは色分解光学系とＣＣＤを３つからなる。
前出の複数のＴＧは各機能に分散している場合や統合された１つのＴＧの場合など様々な形態が考えられるが、タイミング制御する対象は示す通りの機能であり、水平周期で繰り返すパルスと垂直周期で繰り返すパルスに大別される。
前出の各機能の一部または全てを統合してＡＦＥ（Analog Front End）と呼ばれるＩＣが用いられる場合もあるが、実現する機能に差異はない。
レンズ５０２で焦点を結んだ入射光は撮像部５０３ａで映像信号となり、走査線数変換や色倍率収差補正機能内蔵の映像信号処理部５０５ａで信号処理され、映像信号となる。撮像部５０３ａと映像信号処理部５０５ａとはＣＰＵ（Central Processing Unit）５０４で制御される（特許文献１参照）。
【００１６】
撮像部５０３ａにはＴＧ５０６ａが含まれる。図８Ａに本発明の撮像装置の撮像部に含まれるＴＧのブロック図の一例を示す。
クロックカウンタ８０１は水平入力サンプルを行うクロックをカウントしており水平カウンタ値を出力する。比較器８０２は水平入力サンプルの最大値と水平カウンタ値を比較して一致した場合に水平リセット・垂直カウントアップ信号を出力する。
ＣＰＵ５０４で切り上げ動作制御信号８１０ａを有効に設定すると、比較器８１２ａと比較器８１４ａの比較判定機能が有効になる。比較器８１２ａは水平切り上げ位相と水平カウンタ値を比較一致した場合に水平切り上げ用のリセットを出力するが、通常はＡＮＤ回路８１５ａによって消去される。比較器８１４ａからハーフ切り上げ用動作切り替え信号が出力されている時のみＡＮＤ回路８１５ａは比較器８１２ａの出力を通過させ、ハーフ切り上げ用リセットを出力する。
クロックカウンタ８０１は、比較器８０２の水平リセット・垂直カウントアップ信号か、ＡＮＤ回路８１５ａのハーフ切り上げ用リセットが有るとき、ＯＲ回路８１６ａの出力でリセットされ、水平周期のカウントを繰り返す。ＡＮＤ回路８１５ａのハーフ切り上げ用リセットによるリセットの時のみ水平半周期となり、それ以外は水平周期である。
ラインカウンタ８０３は水平リセット・垂直カウントアップ信号の有るクロックでＯＲ回路８１６ａの出力をもってカウントアップしており垂直カウンタ値を出力する。比較器８０４は垂直ラインの最大値と垂直カウンタ値を比較して一致した場合に垂直最大ラインフラグ信号を出力する。ＡＮＤ回路８０５は垂直最大ラインフラグ信号と水平リセット・垂直カウントアップ信号のＡＮＤをとり垂直リセット信号を出力する。ＯＲ回路８１７ａはＡＮＤ回路８０５の垂直リセット信号を有効に通過させる。ラインカウンタ８０３はＡＮＤ回路８０５の垂直リセット信号でリセットされることで垂直周期のカウントを繰り返す。
【００１７】
比較器８１４ａは切り上げ動作制御信号８１０ａが有効のとき、垂直切り上げラインと垂直カウンタ値を比較し、一致している時はハーフ切り上げ用動作切り替え信号を出している。前出の比較器８１２ａから水平切り上げ用のリセットが出力されるクロック位相で、前出のＡＮＤ回路８１５ａからハーフ切り上げ用リセットを出力できる条件を与える。ＡＮＤ回路８１５ａからハーフ切り上げ用リセットが出力された場合は、ＯＲ回路８１７ａを有効に通過して、ラインカウンタ８０３はハーフ切り上げでリセットされ、垂直半周期のカウントを繰り返す。切り上げ動作制御信号８１０ａが有効のときには比較器８０４の垂直最大ラインフラグ信号が出力されることは無い。
【００１８】
水平パルス生成回路８０６ａは水平カウンタ値に応じてＣＣＤが必要な各種の水平パルスを生成する。水平パルスには水平転送パルス、電圧変換のリセットパルス、ＣＤＳパルス、暗電流補正クランプパルス、ＡＧＣ部クランプパルス、ＡＤＣ水平同期パルスなど、水平周期で繰り返すパルスが該当する。
ハーフ切り上げのために変化させる必要が有るパルスは、比較器８１４ａからハーフ切り上げ用動作切り替え信号によって、生成するパルスを切り替えるよう水平パルス生成回路８０６ａに位相比較とゲート回路を持っている。
垂直パルス生成回路８０７ａは垂直カウンタ値と水平カウンタ値に応じて、ＣＣＤが必要な垂直パルスを生成する。垂直パルスにはＯＤ掃き捨てパルス、読み出しパルス、垂直転送パルスなど、垂直周期で繰り返し水平のパルス変化位相を持つパルスが該当する。
ハーフ切り上げのために変化させる必要が有るパルスは、比較器８１４ａからハーフ切り上げ用動作切り替え信号によって、生成するパルスを切り替えるよう水平パルス生成回路８０７ａに位相比較とゲート回路を持っている。
本発明の撮像装置の撮像部に含まれるＴＧには、クロックカウンタ８０１とラインカウンタ８０３に対して、所定の切り上げ位置でリセットを追加できるハーフ切り上げ用リセットを接続していることと、切り上げ動作制御信号８１０ａによる切り上げ動作機能の有効・無効制御を行うことと、比較器８１４ａが出力するハーフ切り上げ用動作切り替え信号をゲート信号として、水平パルス生成回路８０６ａと垂直パルス生成回路８０７ａがハーフ切り上げ用のパルス出力に動作を切り替えることに特徴が有る。
【００１９】
映像信号処理部５０５ａには走査線数変換などを処理するための変換フィルタ５０７ａを含んでいる。変換フィルタには水平方向と垂直方向にサンプリング点を変換するための変換係数を入力と出力の相対位相関係に応じて繰り返す必要が有り、複数の変換係数を持つ。図９Ａに本発明における撮像装置の映像信号処理部に含まれるより多くの対称位相を持つ変換係数の概念を示す。
水平サンプル変換フィルタ９０１はクロック毎に変換係数を変更できるＦＩＲフィルタであり、一定範囲にある複数の入力画素に対して座標に対応する変換係数の値を乗算したのち合算することで出力サンプルの位相中心に相当する画素情報を生成する。
水平変換係数の位相９０２ａは水平サンプル変換フィルタ９０１にフィルタ計算に用いる変換係数を与えている。内部には変換係数の組を複数持ち、ＣＰＵ５０４によって設定されたレジ補正の値に応じた位相用の変換係数の組を水平サンプル変換フィルタ９０１に与える。変換係数の数値内容例は別項として、ここでは方式の着眼点に関わる変換係数の組として持つ位相の種類について説明する。
水平変換係数の位相９０２ａの内部に有る複数の変換係数の組を、入力画素の座標９０３と出力サンプルの位相中心９０４と入力画素単位での白黒に対する相対応答９０５の組合せで模式的に示した。
水平変換係数の位相９０２ａが複数持つ変換係数の組は、入力画素の座標９０３と出力サンプルの位相中心９０４が合致する０度位相に対して、出来る限り多くの変換係数の組が左右対称（垂直では上下対象）になるよう、レジ補正とサンプリング（垂直では走査線）変換に用いる入力画素の座標９０３と出力サンプルの位相中心９０４が異なる変換係数の組が用意されている。ここでは540有効走査線を720有効走査線に変換する場合など、利用頻度が高く説明しやすい入出力３対４の変換を例にしている。変換係数の組はサンプリング（垂直では走査線）変換で入出力の位相が変化する時に順次現れる位相として４５度位相から９０度毎に４種類の位相が必要である。
【００２０】
−４５度位相の変換係数の組９１１ａと４５度位相の変換係数の組９１２ａ、−１３５度位相の変換係数の組９１０ａと１３５度位相の変換係数の組９１３ａがそれぞれ左右対称になっている。前述の従来例図９Ｂでは９０位相の変換係数の組９１１と２７０度位相の変換係数の組９１３が左右対称であるが、０度位相の変換係数の組９１０と１８０度位相の変換係数の組９１２は異なることを確認できる。
複数持つ変換係数の組が偶数の場合、出来る限り多くの変換係数の組が左右対称（垂直では上下対象）になるよう用意すれば、０度位相と１８０度位相が自ずと除外されるので、最もモアレを起こす変換係数の組を避ける事ができる。
複数持つ変換係数の組が奇数の場合、出来る限り多くの変換係数の組が左右対称（垂直では上下対象）になるよう用意し、対称の無い特異点に０度位相を含むこととすれば、１８０度位相が自ずと除外されるので、白黒に対する相対応答に振幅が全く無く平滑化されてしまう変換係数の組を避ける事ができる。
【００２１】
水平サンプル変換フィルタ９０１における入出力３：４変換の相関図９０６ａに、水平変換係数の位相９０２の持つ変換係数の組を出力クロック毎に４種類繰り返して変換できることを示す。この繰り返しで左右対称の相似形となる組が多数存在するので、白黒に対する相対応答の振幅を近似させやすく、モアレを最も抑えた構成にできる。
垂直走査線変換フィルタ９２１は走査線毎に変換係数を変更できるＦＩＲフィルタであり、一定範囲にある複数の入力画素に対して座標に対応する変換係数の値を乗算したのち合算することで出力走査線の位相中心に相当する画素情報を生成する。
垂直変換係数の位相９２２ａは垂直走査線変換フィルタ９２１にフィルタ計算に用いる変換係数を与えている。内部には変換係数の組を複数持ち、ＣＰＵ５０４によって設定されたレジ補正の値に応じた位相用の変換係数の組を垂直走査線変換フィルタ９２１に与える。水平と垂直の方向性の違いのみで、係数の切り替えがクロック毎か、走査線毎かの違いなので詳しい説明は割愛する。
尚、インターレースでフィールド毎のフィルタ係数が逆転しフリッカやエッジのジッタの発生することに関しても、元となるモアレを低減できているので最も抑えた構成にできる。
【実施例１】
【００２２】
以下、本発明の１実施例の撮像装置の動作を示すタイミングチャートの図１Ａと、本発明の１実施例の撮像装置の垂直画素加算動作を示す模式図の図２とを用いて、本発明の１実施例を説明する。
合わせて本発明の別の実施例の撮像装置の動作を示すタイミングチャート図１Ｂで、図１Ａとは別の手段について相違点を説明する。
【００２３】
本発明の一実施例の撮像装置の動作を示すタイミングチャートの図１Ａにおいて、Ｖ１−Ｖ４は、ＩＴ−ＣＣＤにおける垂直転送路Ｖ１−Ｖ４の読み出し垂直転送との動作を表したものである。具体的には、ＰＤからＶ１とＶ３への電荷の読み出しと、Ｖ２を用いた垂直画素加算と、Ｖ１−Ｖ４を一組とした垂直転送動作を示している。ここでは奇数フィールド映像の垂直画素加算を例に取って説明しているので、図１Ａには奇数フィールド映像の垂直画素加算しか存在していない。あるいは全てが同じ型の垂直画素加算であればＶ２の代わりにＶ４で垂直画素加算を行う偶数フィールド映像の垂直画素加算で構成することも出来て、タイミング上に奇数フィールド映像の垂直画素加算が存在しないことになる。奇数か偶数のどちらかに統一されて、毎回同じ垂直画素加算が行われるものである。
【００２４】
０．５Ｈは水平半周期期間であり、図１Ａにおいてフィールド毎に１回存在する。
同様に図１Ｂにも０．５Ｈは水平半周期期間であり、フィールド毎に１回存在する。
【００２５】
図１Ａにおいて、Ｈ２は、ＩＴ−ＣＣＤにおける水平転送路Ｈ１−Ｈ２の動作を表したもので、図１ＡのＨ２と逆極性のＨ１と、図１ＡのＨ２とを対とした水平転送動作を行うタイミングを示している。
図１Ａにおいて、０．５Ｈは水平半周期転送停止期間でもあり、図１において、フィールド毎に１回存在する。
図１Ｂでは、０．５Ｈは水平半周期転送切り上げ期間としている。
【００２６】
図１Ａにおいて、Ｈ Ｃｌｕｍｐは、ＩＴ−ＣＣＤの水平遮光画素（Ｈ−ＯＢ）の暗電流による映像信号をクランプして黒の基準とするパルスである。
図１Ａにおいて、ＣＬ−ＢＬは、Ｈ−ＯＢの暗電流による映像信号をクランプしない期間である。
図１Ｂにおいて、Ｖ Ｃｌｕｍｐは、ＩＴ−ＣＣＤの垂直遮光画素（Ｖ−ＯＢ）の暗電流による映像信号をクランプして黒の基準とするパルスである。フィールド毎の垂直遮光画素で黒基準を保持できるシステムの場合は、図１のＣＬ−ＢＬを用いる代わりに図１ＢのＶ Ｃｌｕｍｐを用いる方法を取っても良い。
このＶ Ｃｌｕｍｐは０．５Ｈとは異なる水平周期に設定するため、
図１のＣＬ−ＢＬに相当する映像信号をクランプしない期間とすることは同様である。
【００２７】
図１Ａにおいて、０．５Ｈの水平半周期転送停止期間に転送を停止しているため、水平周期に合わせてクランプしてしまうと、オプティカルブラックでは無い部分を後段で黒として処理してしまい映像レベルの異常を引き起こすことになり、この防止のために０．５Ｈと同等のＣＬ−ＢＬのクランプ停止期間を用意する。
【００２８】
撮像素子の特性によっては、０．５Ｈの水平半周期転送停止期間の次のタイミングのＨ−ＯＢは、他のＨ−ＯＢと異なる出力レベルになる可能性が有り、撮像素子の特性によっては、ＣＬ−ＢＬのクランプ停止期間は水平半周期ではなく、水平１．５周期とする場合も有る。
０．５Ｈの水平半周期転送停止期間の次のタイミングのＨ−ＯＢの出力レベル他のＨ−ＯＢとが異なる可能性として考えられる要因は、０．５Ｈの水平半周期期間と次のタイミングの通常水平周期で垂直転送を２度行ったことにより、ＣＣＤ水平転送路でオプティカルブラックの加算が行われレベル変動する可能性が有る。
【００２９】
本発明の方式では、従来と同様な映像信号処理を行うためには、ＣＬ−ＢＬのクランプ停止期間という概念を用いて、映像の黒レベルが変動しない条件で駆動する事が重要であり、その幅が水平半周期か、水平１．５周期かは、撮像素子を利用して撮像装置などを設計する段階で決めることとなる。出力から削除される部分の映像の黒レベル変動を無視できる映像信号処理ならＣＬ−ＢＬのクランプ停止期間は不要になる。
【００３０】
Ｈ−Ｃｏｕｎｔｅｒは水平走査線カウンタを表し、駆動パルスを生成するＴＧの内部で動作しているものである。本発明の方式の動作中は、カウンタ値０からカウンタ値５６２までの範囲で動作しており、カウンタ値５６２をもって水平半周期を生成した後にカウンタ値０に戻している。カウンタ値４の時に、Ｖ１−Ｖ４に読み出しと奇数フィールド映像の垂直画素加算のタイミングを出力させる。毎フレームにおいてカウンタ値４で奇数フィールド映像の垂直画素加算のタイミングを用意するため、露光時間はフレーム周期の５６２．５ラインと等しく均一となる。この例で奇数フィールド映像の垂直画素加算のタイミングとＨ−Ｃｏｕｎｔｅｒの関係は、通常の飛び越し走査で奇数フィールド映像の垂直画素加算のタイミングを与える水平走査線より２ライン早くしている。
【００３１】
図５の撮像装置のブロック図で５の映像信号処理部に存在する走査線変換部には垂直方向に変換フィルタを持つことが多いが、背景技術の特許文献１に示されるように別の用途で有効に機能するので、図１の走査線変換無映像では走査線変換を行う前の映像出力タイミングを別の用途で垂直方向に変換フィルタを通した場合に出力となるフィルタ中心の、映像出力タイミングを示している。フィールド１回はフレーム１回に等価であり、上部ブランキング１８ラインと映像有効走査線５４０ラインと下部ブランキング４．５ラインの５６２．５ラインでフレーム１回を構成している。通常の跳び越し動作での奇数型フィールドの５６３ライン構成、上部ブランキング２０ラインと映像有効走査線５４０ラインと下部ブランキング３ラインより２ライン早く、偶数型フィールドの５６２ライン構成、上部ブランキング２０ラインと映像有効走査線５４０ラインと下部ブランキング２ラインより２．５ライン早い位置に映像出力している。
図１Ａにおける映像Ａ２の走査線変換後の映像出力タイミングと、図３における映像Ｂ２の走査線変換後の映像出力タイミングは、同じ映像出力タイミングである。そして、図３における映像Ｂ１が通常の跳び越し動作に相当する。そのため、図１Ａと図３の両図を比べる事で、映像Ａ１と通常の跳び越し動作のタイミングの差を確認できる。
【００３２】
図１Ａの走査線変換後映像は、走査線変換を行った後の映像出力タイミングである。フィールド１回はフレーム１回に等価であり、上部ブランキング２５ラインと映像有効走査線７２０ラインと下部ブランキング５ラインの７５０ラインでフレーム１回を構成している。図１Ａの走査線変換無映像のタイミングとは、映像有効走査線の位置が走査線変換無の０．７５ライン、走査線変換後の１ライン分のタイミング差であり、フレームメモリなどを用いず最短のタイミングで、毎フレーム同じ位置で走査線変換を行えている。
【００３３】
図２は本発明の１実施例の撮像装置の垂直画素加算動作を示す模式図である。
図２の（ａ）はＨＤＴＶ撮像素子の開口画素の１０８８の水平走査線の画素配列の光学位置を表している。図２の（ａ）にはａ−１からａ１０８２までの１０８４ラインの垂直画素範囲を示しており、ここから１０８４ラインに相当する垂直画素範囲が、垂直画素加算で有効走査線５４２本の順次走査映像になり、図２の（ｃ）の走査線変換で図２の（ｄ）の走査線変換後の有効走査線７２０本の順次走査映像になる。
図２の（ｂ）は本発明の垂直画素加算で有効走査線５４２本の順次走査映像を表している。図１の本発明の一実施例の撮像装置の動作を示すタイミングチャートにおいて奇数フィールド映像の垂直画素加算タイミングを用いているので、奇数のラインをｎとしてｎ＋１ラインと垂直画素加算し、例えば、ａ３＋ａ４と垂直画素加算した有効走査線５４０本の順次走査映像となっている。
【００３４】
図２の（ｃ）は走査線変換を表している。図５の撮像装置のブロック図で５の映像信号処理部に存在する走査線変換部に相当し垂直方向に変換フィルタを持つ。ここでは説明のために簡略化しており、変換フィルタ係数の４／５、３／５、２／５、１／５を走査線変換座標に合わせて切り替えている。
図２の（ｄ）は走査線変換後の有効走査線７２０本の順次走査映像であり、（３／５）＊（ａ３＋ａ４）＋（２／５）＊（ａ５＋ａ６）の係数の加算でｄ３を算出している。ｄ３は常に同一に算出され、毎フレーム同じ撮像素子の水平走査線の画素配列の光学位置が出力され、フレーム毎の合成の差異によるジッタが発生しないことを表している。
【実施例２】
【００３５】
以下、本発明の他の１実施例の撮像装置の動作を示すタイミングチャートの図３と、本発明の他の１実施例の撮像装置の垂直画素加算動作を示す模式図の図４とを用いて、本発明の他の１実施例を説明する。
本発明の一実施例の撮像装置の動作を示すタイミングチャートの図３において、Ｖ１−Ｖ４は、ＩＴ−ＣＣＤにおける垂直転送路Ｖ１−Ｖ４の読み出し垂直転送との動作を表したものである。具体的には、ＰＤからＶ１とＶ３への電荷の読み出しと、Ｖ２を用いた奇数フィールド映像の垂直画素加算と、Ｖ４を用いた偶数フィールド映像の垂直画素加算と、Ｖ１−Ｖ４を一組とした垂直転送動作を示している。
図３において、奇数フィールドと偶数フィールドとでは期間が１Ｈ異なる。
【００３６】
図３において、Ｈ２は、ＩＴ−ＣＣＤにおける水平転送路Ｈ１−Ｈ２の動作を表したもので、図３のＨ２と逆極性のＨ１と、図３のＨ２とを対とした水平転送動作を行うタイミングを示している。
図３において、Ｈ Ｃｌｕｍｐは、ＩＴ−ＣＣＤの水平遮光画素（Ｈ−ＯＢ）の暗電流による映像信号をクランプして黒の基準とするパルスである。
【００３７】
Ｈ−Ｃｏｕｎｔｅｒは水平走査線カウンタを表し、駆動パルスを生成するＴＧの内部で動作しているものである。本発明の方式の動作中は、カウンタ値０からカウンタ値１１２４までの範囲で動作しており、カウンタ値１１２４の後にカウンタ値０に戻している。カウンタ値６と５６８の時に、Ｖ１−Ｖ４に読み出しと垂直画素加算のタイミングを出力させる。カウンタ値６と５６８の時に読み出しと垂直画素加算のタイミングを用意するため、撮像素子の水平走査線の画素配列の光学位置が水平走査線分ずれる。
この例で垂直画素加算のタイミングとＨ−Ｃｏｕｎｔｅｒの関係は、通常の飛び越し走査で動作している。尚、次に述べる変換フィルタを利用できるよう考慮したタイミングであり、撮像素子の持つタイミングチャートとは異なっている。
【００３８】
図５の撮像装置のブロック図で５の映像信号処理部に存在する走査線変換部には垂直方向に変換フィルタを持つことが多いが、背景技術の特許文献１に示されるように別の用途で有効に機能するので、図３の走査線変換無映像では走査線変換を行う前の映像出力タイミングを別の用途で垂直方向に変換フィルタを通した場合に出力となるフィルタ中心の、映像出力タイミングを示している。奇数型フィールドは上部ブランキング２０ラインと映像有効走査線５４０ラインと下部ブランキング３ラインの５６３ライン構成、偶数型フィールドは上部ブランキング２０ラインと映像有効走査線５４０ラインと下部ブランキング２ラインの５６２ライン構成で、フレーム１回は奇数型フィールドと偶数型フィールドのフィールド２回で構成された通常の飛び越し走査の出力となっている。
【００３９】
図３の走査線変換後映像は、は走査線変換を行った後の映像出力タイミングである。図３の走査線変換無映像のタイミングとは、映像有効走査線の位置が、奇数型フィールドの場合は走査線変換無の１．２５ライン、走査線変換後の１．６６ライン分の早く、偶数型フィールドの場合は走査線変換無の１．７５ライン、走査線変換後の２．３３ライン分の早いタイミング差であり、フレームメモリを用いずに走査線変換無映像と走査線変換後映像の共用を行うには、走査線変換後映像で変換フィルタに利用するライン数を減らす必要が有る。
【００４０】
図４は本発明の他の１実施例の撮像装置の垂直画素加算動作を示す模式図である。
図４の（ａ）はＨＤＴＶ撮像素子の開口画素の１０８８の水平走査線の画素配列の光学位置を表している。図４の（ａ）にはａ−２（ｋ１）からａ１０８５（ｋ３）までの１０８８ラインの開口画素の垂直画素範囲を示しており、ここから、図４の（ｂ）の奇数フィールド映像の垂直画素加算で有効走査線５４２本の走査映像になり、図４の（ｃ）の偶数フィールド映像の垂直画素加算で有効走査線５４３本の走査映像になり、図４の（ｄ）の走査線変換で図２の（ｅ）と（ｇ）と（ｈ）との走査線変換後の有効走査線７２０本の順次走査映像になる。
図４の（ｂ）は奇数フィールド映像の垂直画素加算タイミングを用いているので、奇数のラインをｎとしてｎ＋１ラインと垂直画素加算し、例えば、ａ３＋ａ４と垂直画素加算した有効走査線５４２本の順次走査映像となっている。
それに対し、図４の（ｃ）は偶数フィールド映像との垂直画素加算タイミングを用いているので、偶数のラインをｎとしてｎ＋１ラインと垂直画素加算し、例えば、ａ２＋ａ３と垂直画素加算した有効走査線５４３本の順次走査映像となっている。
【００４１】
図４の（ｄ）は走査線変換を表している。図５の撮像装置のブロック図で５の映像信号処理部に存在する走査線変換部に相当し垂直方向に変換フィルタを持つ。ここでは説明のために簡略化しており、変換フィルタ係数の４／５、３／５、２／５、１／５を走査線変換座標に合わせて切り替えている。
図４の（ｅ）と（ｇ）と（ｈ）とは走査線変換後の有効走査線７２０本の順次走査映像である。（３／５）＊（ａ３＋ａ４）＋（２／５）＊（ａ５＋ａ６）の係数の加算平均でｅ３を算出し、（４／５）＊（ａ４＋ａ５）＋（１／５）＊（ａ２＋ａ３）の係数の加算平均でｇ３を算出し、(5/20)*(a2+a3)+(3/5)*(a4+a5)+(3/20)*(a6+a7)の係数の加算平均でｈ３を算出している。
【００４２】
図４の（ｇ）は、奇数フィールドと偶数フィールドと異なる撮像素子の水平走査線の画素配列の光学位置が出力され、奇数フィールドと偶数フィールドとの差異によるジッタが発生することを表している。
それに対し、図４の（ｈ）は、偶数フィールド映像との垂直画素加算の順次走査映像の３走査線からの加算平均により、奇数フィールドに近似する撮像素子の水平走査線の画素配列の光学位置が出力され、奇数フィールドと偶数フィールドとの差異によるジッタが発生しないことを表している。
【００４３】
図４の（ｈ）を生成する方法には、撮像素子の水平走査線の画素配列の光学位置を近似したことで上下のジッタを軽減することができるが、偶数フィールド映像のために専用の変換フィルタが追加され、利用ライン幅も１ライン広くする必要が有った。走査線変換の前後におけるライン配置位相の相関に相似関係が見出せる場合は、奇数フィールドに用いる走査線変換用のフィルタを、ライン配置位相の相関に合わせて順序を変えて偶数フィールド用に用いることで、図４の（ｈ）と同等以上の効果を得ることができる。図６を用いて相似関係を活かした走査線変換と、図７を用いてフィールドの相似関係のみを活かした走査線変換を説明する。
【００４４】
図６は本発明の他の１実施例の撮像装置の垂直画素加算動作における垂直位相関係を表した模式図である。図６の（ａ）は撮像素子の画素配置を示しており、図４の（ａ）に相当する。
【００４５】
図６の（ｂ）は飛越走査における奇数フィールドの走査線を示しており、図４Ａの（ｂ）に相当し、奇数のｎライン目にｎ＋１ライン目を加算合成するため、例えばｂ３はａ３とａ４を合成したものであり、垂直位相関係を同一にして記している。
【００４６】
図６の（ｃ）は飛越走査における偶数フィールドの走査線を示しており、図４の（ｃ）に相当し、偶数のｎライン目にｎ＋１ライン目を加算合成するため、例えばｃ４はａ４とａ５を合成したものであり、垂直位相関係を同一にして記している。
【００４７】
図６の（ｅ）は奇数フィールドの飛越走査から変換された順次走査映像の走査線を示し、図６の（ｇ）は偶数フィールドの飛越走査から変換された順次走査映像の走査線を示しており、それぞれ図４の（ｅ）と図４の（ｇ）に相当する。この順次走査画像は図６の（ｅ）と図６の（ｇ）が、走査線変換前の飛越走査画像のフィールド毎に、繰り返し交互に現れるものとなるため、垂直位相関係を同一にして記している。
【００４８】
図６の（ｋ）は奇数フィールドからの走査線変換の垂直位相を示している。走査線変換の位相として４点の位相を用いる例を示しており、ｂ１の重心であるｂ１＋０／８の位相から、上下等間隔に１／８位相ずつ位相を用意すると８点の位相が考えられるが、分子が奇数になる−３／８、−１／８、＋１／８、＋３／８の４点の位相に対して変換フィルタが用意され、他の４点の位相である−２／８、＋０／８、＋２／８、＋４／８は利用しない。
変換位相４点を重心の＋０／８をあえて外して用意するのは、同時に利用する位相の中に＋４／８すなわち２つのライン重心から中点となる１／２位相が含まれないようにする工夫と、準備する変換フィルタに最大限の対照性を持たせて種類を減らし各変換フィルタの周波数特性を合わせやすくするためである。１／２位相が含まれないようにする理由については図７に別の一実施例を示して後述する。
図６の（ｋ）’は順次走査の重心となる奇数フィールドからの走査線変換の垂直位相を示している。順次走査の重心となる垂直位相には、−１／８、−３／８、＋３／８、＋１／８が繰り返し現れ、この４点しか存在していないことが図示されている。
【００４９】
図６の（ｐ）は奇数フィールドから２ラインを用いた走査線変換フィルタと対応画素の影響比率を示している。ｅ３は図６の（ｋ）’で走査線変換前から＋３／８の垂直位相に相当し、ｂ３＊（３／５）＋ｂ５＊（２／５）の変換フィルタを用いて、画素配置のａ３とａ４が３／５、ａ５とａ６が２／５の比率で影響することになる。図６の（ｐ）の走査線変換フィルタの計算式を見ると、走査線変換前から＋３／８の垂直位相にあたるｅ３に用いる変換フィルタと、走査線変換前から−３／８の垂直位相にあたるｅ６に用いる変換フィルタは係数の（３／５）と（２／５）が上下対照になっており、同じ周波数特性のフィルタとなる。同様に走査線変換前から＋１／８の垂直位相にあたるｅ４に用いる変換フィルタと、走査線変換前から−１／８の垂直位相にあたるｅ５に用いる変換フィルタは係数の（４／５）と（１／５）が上下対照になっており、同じ周波数特性のフィルタとなる。つまり４つの垂直位相に対して２種類の周波数特性のフィルタのみで構成できる。図６の（ｅ）では異なる特性のフィルタが走査線のライン毎に切り替わるので、フィルタの周波数特性を最大限合わせておかなければ映像出力にモアレを引き起こす。本方式では変換フィルタの種類を減らすために垂直位相の対照性に着目し、変換フィルタの種類で異なる周波数特性を最大限近似させることでライン毎のモアレを低減する。周波数特性の近似に関しては、偶数フィールドの説明に合わせｅ３とｇ３の関係で後述する。
【００５０】
図６の（ｐ）’は奇数フィールドから４〜３ラインを用いた走査線変換フィルタと対応画素の影響比率を示している。走査線変換フィルタの周波数特性を向上するには、計算に用いる変換前の走査線のライン数と係数の分解能を増やす。ライン数を増やすことで、変換フィルタの係数の中には０になって実質使われないラインやマイナスの値となるものが有る。図６の（ｐ）’の走査線変換フィルタでは、走査線変換前から＋１／８の垂直位相にあたるｅ４に用いる変換フィルタと、走査線変換前から−１／８の垂直位相にあたるｅ５に用いる変換フィルタに係数が０／１６で０になって実質使われないラインが存在している。＋１／８の垂直位相と−１／８の垂直位相は走査線変換前の重心＋０／８の垂直位相に近く、重心に来るラインと上下の３ライン、＋３／８の垂直位相と−３／８の垂直位相は上下に２ラインずつで４ラインを用いて走査線変換している。図６の（ｐ）の走査線変換フィルタと図６の（ｐ）’の走査線変換フィルタは説明用に簡略化したもので、実際には係数の分解能を増やした上で、フラットな周波数特性を持たせるために６〜５ライン程度や、周波数高域を維持するには１０ライン程度を用いて走査線変換を行うことがある。垂直位相に対する変換フィルタの対象性は図６の（ｐ）を用いての説明と変わらない。
図６の（ｍ）は偶数フィールドからの走査線変換の垂直位相を示している。走査線変換の位相として４点の位相を用いる例を示しており、ｃ２の重心であるｃ２＋０／８の位相から、上下等間隔に１／８位相ずつ位相を用意すると８点の位相が考えられるが、分子が奇数になる−３／８、−１／８、＋１／８、＋３／８の４点の位相に対して変換フィルタが用意され、他の４点の位相である−２／８、＋０／８、＋２／８、＋４／８は利用しない。
図６の（ｍ）’は順次走査の重心となる偶数フィールドからの走査線変換の垂直位相を示している。順次走査の重心となる垂直位相には、＋３／８、＋１／８、−１／８、−３／８が繰り返し現れ、この４点しか存在していないことが図示されている。
【００５１】
図６の（ｑ）は偶数フィールドから２ラインを用いた走査線変換フィルタと対応画素の影響比率を示している。ｇ３は図６の（ｍ）’で走査線変換前から−１／８の垂直位相に相当し、ｃ２＊（１／５）＋ｃ４＊（４／５）の変換フィルタを用いて、画素配置のａ２とａ３が１／５、ａ４とａ５が４／５の比率で影響することになる。図６の（ｑ）の偶数フィールドからの走査線変換フィルタの計算式を、図６の（ｐ）の奇数フィールドからの走査線変換フィルタの計算式と比べると、利用する順序が異なるが、走査線変換前の垂直位相の−１／８、−３／８、＋３／８、＋１／８に対する変換フィルタは全く同じ構成になっており、奇数フィールドでの２種類４位相のフィルタと共用できることが示されている。
【００５２】
図６の（ｑ）’は偶数フィールドから４〜３ラインを用いた走査線変換フィルタと対応画素の影響比率を示している。図６の（ｑ）’の偶数フィールドからの走査線変換フィルタの計算式を、図６の（ｐ）’の奇数フィールドからの走査線変換フィルタの計算式と比べると、利用する順序が異なるが、走査線変換前の垂直位相の−１／８、−３／８、＋３／８、＋１／８に対する変換フィルタは全く同じ構成になっており、奇数フィールドでの２種類４位相のフィルタと共用できることが示されている。
図６の（ｅ）の奇数フィールドの飛越走査から変換された順次走査映像の走査線におけるｅ３は、図６の（ｇ）は偶数フィールドの飛越走査から変換された順次走査映像の走査線のｇ３と同じ走査線にあたり、飛越走査側のフィールド毎に順次走査側にｅ３とｇ３が交互に現れる。
【００５３】
図６の（ｐ）の奇数フィールドからの走査線変換フィルタの対応画素はｅ３に対してａ４とａ５を中心にａ３からａ６(まで)を用いているが、図６の（ｑ）の偶数フィールドからの走査線変換フィルタの対応画素はｇ３に対してａ４とａ５の比率が大きいものの上側のａ２とａ３を用いて下側に広がりは無い。このため図６の（ｐ）の奇数フィールドからの走査線変換フィルタと図６の（ｑ）の偶数フィールドからの走査線変換フィルタには上下のジッタが存在し順次走査映像にフリッカが残る。
図６の（ｐ）’の奇数フィールドからの走査線変換フィルタの対応画素はｅ３に対してａ４とａ５を中心にａ１からａ８を用いており、図６の（ｑ）’の偶数フィールドからの走査線変換フィルタの対応画素はｇ３に対してａ４とａ５を中心にａ２からａ７を用いており、上下に広がる裾野に差異は有るものの、利用範囲の形状がより近似している。このため図６の（ｐ）’の奇数フィールドからの走査線変換フィルタと図６の（ｑ）’の偶数フィールドからの走査線変換フィルタでは順次走査映像のフリッカが軽減される。複数有る走査線変換フィルタで利用する画素配置と合成比率の形状を近似させることは周波数特性を近似させると言い換えることができる。
【００５４】
本方式では垂直位相の対照性と、フィールド毎に利用できる変換フィルタの共通性に着目し、変換フィルタの種類を減らし、変換フィルタの種類で異なる周波数特性を最大限近似させることでライン毎のモアレを低減するとともに、飛越走査のフィールド毎の順次走査映像のフリッカを軽減する。
尚、同時に利用する変換フィルタが４点だとしても、別の理由で変換位相を８点準備する場合、本方式では対照性と周波数特性の近似を重視するため、８点の周波数特性を合わせるには１６分割の位相を想定して分子が奇数となる位相を用いる。これは周波数特性が悪く最も避けるべき＋８／１６垂直位相と、他の位相と同時に使うには周波数特性が良いため出来れば避ける＋０／１６垂直位相を外すためである。
更に走査線変換の整数比によっては同時に利用する変換フィルタの位相が奇数になる場合が想定されるが、本方式では対照性と周波数特性の近似を重視するため、＋０垂直位相を含む奇数の点を用い、＋０垂直位相の上下に対照性を持たせるとともに、周波数特性が悪く最も避けるべき＋１／２垂直位相を外す。
【００５５】
図７は本発明の他の１実施例の撮像装置の垂直画素加算動作における垂直位相関係を表した模式図である。図７の（ａ）は撮像素子の画素配置を示しており、図６の（ａ）や図４の（ａ）に相当する。
図７の（ｂ）は飛越走査における奇数フィールドの走査線を示しており、図６Ａや図４Ａに相当し、奇数のｎライン目にｎ＋１ライン目を加算合成するため、例えばｂ３はａ３とａ４を合成したものであり、垂直位相関係を同一にして記している。
図７の（ｃ）は飛越走査における偶数フィールドの走査線を示しており、図６Ｂや図４Ａに相当し、偶数のｎライン目にｎ＋１ライン目を加算合成するため、例えばｃ４はａ４とａ５を合成したものであり、垂直位相関係を同一にして記している。
【００５６】
図７の（ｅ）’は奇数フィールドの飛越走査から変換された順次走査映像の走査線を示し、ｂ１の垂直位相の重心とｅ１の垂直位相の重心が等しくなる垂直位相関係になることを示し、図７の（ｇ）’は偶数フィールドの飛越走査から変換された順次走査映像の走査線を示しており、それぞれ図４Ｂの（ｅ）と図４Ｃの（ｇ）に相当する。この順次走査画像は図７の（ｅ）’と図７の（ｇ）’が、走査線変換前の飛越走査画像のフィールド毎に、繰り返し交互に現れるものとなるため、垂直位相関係を同一にして記している。
【００５７】
図７の（ｋ）”は奇数フィールドからの走査線変換の垂直位相を示している。走査線変換の位相として４点の位相を用いる例を示しており、ｂ１の重心であるｂ１＋０／４の位相から、上下等間隔に１／４位相ずつの位相である−１／４、＋０／４、＋１／４、＋２／４に対して変換フィルタが用意されている。
利用する位相の中に＋２／４すなわち２つのライン重心から中点となる１／２位相が含まれている。
図７の（ｋ）”’は順次走査の重心となる奇数フィールドからの走査線変換の垂直位相を示している。順次走査の重心となる垂直位相には、＋０／４、−１／４、＋２／４、＋１／４が繰り返し現れ、この４点しか存在していないことが図示されている。
【００５８】
図７の（ｐ）”は奇数フィールドから２ラインを用いた良好でない走査線変換フィルタと対応画素の影響比率を示している。ｅ３は図７の（ｋ）”’で走査線変換前から＋２／４の垂直位相に相当し、ｂ３＊（１／２）＋ｂ５＊（１／２）の変換フィルタを用いて、画素配置のａ３とａ４とａ５とａ６が平均した比率で影響することになり、ｂ３とｂ５が白と黒でも平均した灰色としてしか扱えない周波数特性が最悪となる垂直位相である。ｅ５は走査線変換前から＋０／４の垂直位相すなわち走査線変換前後で重心が等しい位相に相当し、２ラインのみを用いて変換フィルタを構成した場合はｂ７が比率の全てを占めて影響することになり、ｂ７が白なら白、黒なら黒となる周波数特性が最良となる垂直位相だが、他の３点との違いが大きくなる。図７の（ｐ）”の走査線変換フィルタの計算式を見ると、走査線変換前から＋２／４の垂直位相すなわち２つのライン重心から中点となる１／２位相にあたるｅ３に用いる変換フィルタと対照となるものは存在せず、唯一の特異点である。同様に走査線変換前から＋０／４の垂直位相すなわち走査線変換前後で重心が等しい位相にあたるｅ５に用いる変換フィルタと対照となるものは存在せず、唯一の特異点である。走査線変換前から＋１／４の垂直位相にあたるｅ４に用いる変換フィルタと、走査線変換前から−１／４の垂直位相にあたるｅ６に用いる変換フィルタは係数の（３／４）と（１／４）が上下対照になっており、同じ周波数特性のフィルタとなる。４つの垂直位相に対して３種類の周波数特性のフィルタで構成しており、図６の場合より共通性や対照性に欠ける。
図７の（ｅ）’では異なる特性のフィルタが走査線のライン毎に切り替わるので、フィルタの周波数特性を最大限合わせておかなければ映像出力にモアレを引き起こす。この実施例では変換フィルタの種類で異なる周波数特性を最大限近似させることでライン毎のモアレを低減する。そのため図７の（ｐ）”は良好ではない変換フィルタとして採用すべきではない。周波数特性の近似に関しては、偶数フィールドの説明に合わせｅ３とｇ３の関係で後述する。
【００５９】
図７の（ｐ）”’は奇数フィールドから４〜３ラインを用いた走査線変換フィルタと対応画素の影響比率を示している。走査線変換フィルタの周波数特性を向上するには、計算に用いる変換前の走査線のライン数と係数の分解能を増やす。ライン数を増やすことで、変換フィルタの係数の中には０になって実質使われないラインやマイナスの値となるものが有る。図７の（ｐ）”’の走査線変換フィルタでは、走査線変換前と重心が等しい＋０／４の垂直位相にあたるｅ５に用いる変換フィルタに係数が０／１６で０になって実質使われないラインが存在している。走査線変換前の重心＋０／４の垂直位相のみ、重心に来るラインと上下の３ライン、他の３つの垂直位相は上下に２ラインずつで４ラインを用いて走査線変換している。
＋２／４の垂直位相と＋０／４の垂直位相がそれぞれ唯一の特異点であることと、−１／４の垂直位相と＋１／４の垂直位相が上下対照で３種類の変換フィルタになる点は図７の（ｐ）”と同様である。
周波数特性を近似させるためには、最悪の＋２／４の垂直位相が存在するため、＋０／４の垂直位相は元々有る最良の周波数特性を殺して３ラインを平均するような変換フィルタとする必要が有り、位相の特性は活かせない。
図７の（ｐ）”の走査線変換フィルタと図７の（ｐ）”’の走査線変換フィルタは説明用に簡略化したものである。
【００６０】
図７の（ｍ）”は偶数フィールドからの走査線変換の垂直位相を示している。走査線変換の位相として４点の位相を用いる例を示しており、ｃ２の重心であるｃ２＋０／４の位相から、上下等間隔に１／４位相ずつの位相である−１／４、＋０／４、＋１／４、＋２／４に対して変換フィルタが用意されている。
図７の（ｍ）”’は順次走査の重心となる偶数フィールドからの走査線変換の垂直位相を示している。順次走査の重心となる垂直位相には、＋２／４、＋１／４、＋０／４、−１／４が繰り返し現れ、この４点しか存在していないことが図示されている。
【００６１】
図７の（ｑ）”は偶数フィールドから２ラインを用いた良好でない走査線変換フィルタと対応画素の影響比率を示している。ｇ３は図７の（ｍ）”’で走査線変換前から＋０／４の垂直位相すなわち走査線変換前後で重心が等しい位相に相当し、２ラインのみを用いて変換フィルタを構成した場合はｃ４が比率の全てを占めて影響することになり、ｃ４が白なら白、黒なら黒となる周波数特性が最良となる垂直位相だが、他の３点との違いが大きくなる。ｇ５は図７の（ｍ）”’で走査線変換前から＋２／４の垂直位相に相当し、ｃ６＊（１／２）＋ｃ８＊（１／２）の変換フィルタを用いて、画素配置のａ６とａ７とａ８とａ９が平均した比率で影響することになり、ｃ６とｃ８が白と黒でも平均した灰色としてしか扱えない周波数特性が最悪となる垂直位相である。
図７の（ｑ）”の偶数フィールドからの走査線変換フィルタの計算式を、図７の（ｐ）”の奇数フィールドからの走査線変換フィルタの計算式と比べると、利用する順序が異なるが、走査線変換前の垂直位相の＋０／４、−１／４、＋２／４、＋１／４に対する変換フィルタは全く同じ構成になっており、奇数フィールドでの３種類４位相のフィルタと共用できることが示されている。
【００６２】
図７の（ｑ）”’は偶数フィールドから４〜３ラインを用いた走査線変換フィルタと対応画素の影響比率を示している。図７の（ｑ）”’の偶数フィールドからの走査線変換フィルタの計算式を、図７の（ｐ）”’の奇数フィールドからの走査線変換フィルタの計算式と比べると、利用する順序が異なるが、走査線変換前の垂直位相の＋０／４、−１／４、＋２／４、＋１／４に対する変換フィルタは全く同じ構成になっており、奇数フィールドでの３種類４位相のフィルタと共用できることが示されている。
【００６３】
図７の（ｅ）’の奇数フィールドの飛越走査から変換された順次走査映像の走査線におけるｅ３は、図６の（ｇ）’は偶数フィールドの飛越走査から変換された順次走査映像の走査線のｇ３と同じ走査線にあたり、飛越走査側のフィールド毎に順次走査側にｅ３とｇ３が交互に現れる。図７の（ｐ）”の良好でない走査線変換フィルタと図７の（ｑ）”の良好でない走査線変換フィルタでは、ｅ３は変換前走査線２ラインの平均値で最悪の周波数特性となり、対してｇ３は変換前走査線と等しくなり最良の周波数特性である。このｅ３とｇ３が交互に現れ順次走査映像に強烈なフリッカが起こる。ｅ５とｇ５にも同様にも強烈なフリッカが起こり、ｅ３とｅ５およびｇ３とｇ５にはそれぞれ強烈なモアレが起こる。この実施例でも複数の種類で構成される走査線変換フィルタの周波数特性を合わせることでモアレとフリッカを軽減できる。走査線変換フィルタは変換前走査線から＋０／４の垂直位相の変換フィルタと、−１／４の垂直位相と＋１／４の垂直位相で共用する対照の変換フィルタと、＋２／４の垂直位相の変換フィルタの３種類で構成されている。フリッカを低減するためには例えば図７の（ｐ）”’の４〜３ラインの走査線変換フィルタと図７の（ｑ）”’の４〜３ラインの走査線変換フィルタを用いる。３種類の変換フィルタの周波数特性を合わせるには、最悪の１／２位相の特性に他の変換フィルタの合成比率を近似させるしかなく、重心が等しい最良の垂直位相は２ライン平均に近似されてしまい特性を活かせない。図７の（ｐ）”’でｅ３は＋２／４の垂直位相の変換フィルタで２ライン平均を上下に裾野を広げて、ａ３からａ６を中心にａ１からａ８までとなり、図７の（ｑ）”’でｇ３は＋０／４の垂直位相の変換フィルタで、これを３ライン平均に近いａ２からａ７までとすることで、フィルタの形状を近似させている。
【００６４】
何らかの理由で図６の方式を用いることが出来ない場合でも、この実施例のように変換フィルタの種類で異なる周波数特性を最大限近似させることでライン毎のモアレを低減するとともに、飛越走査のフィールド毎の順次走査映像のフリッカを軽減することは可能である。
【００６５】
以上４相のＩＴ−ＣＣＤを３ヶと色分解光学系を用いる撮像装置について詳細に動作を説明した。
しかし、ＩＴ−ＣＣＤのＶ１−Ｖ４とＦＩＴ−ＣＣＤのＶ１Ａ−Ｖ４Ａとの垂直転送加算動作と、ＩＴ−ＣＣＤのＶ１−Ｖ４とＦＩＴ−ＣＣＤのＶ１Ｂ−Ｖ４Ｂとの水平周期で一組ごとの垂直転送動作と、ＩＴ−ＣＣＤのＨ１−Ｈ２とＦＩＴ−ＣＣＤのＨ１−Ｈ２との水平転送動作とは同様である。ＦＩＴ−ＣＣＤのＶ１Ａ−Ｖ４ＡとＶ１Ｂ−Ｖ４Ｂとの垂直帰線期間での高速転送が異なる。つまり、本発明の動作は、ＩＴ−ＣＣＤだけではなく、ＦＩＴ−ＣＣＤのも適用できる。
【００６６】
また、垂直転送４相のＣＣＤにかぎらず、垂直転送６相のＣＣＤでも垂直転送８相のＣＣＤでも適用できる。さらに単一のオンチップカラーフィルタ付きＣＣＤでも白黒撮影の単一のＣＣＤでも、本発明を適用できる。
【符号の説明】
【００６７】
１：撮像装置、２：レンズ部、３：撮像部、４：ＣＰＵ、
５：映像信号処理部、
【特許請求の範囲】
【請求項１】
飛越走査用ＩＴ−ＣＣＤまたは飛越走査用ＦＩＴ−ＣＣＤの信号電荷を垂直画素加算して映像信号として読み出す撮像装置において、
垂直画素加算する垂直画素の対を固定として、フィールド最終の水平周期の半周期の転送を停止させて、第一の順次走査の映像信号として前記ＣＣＤから読み出し、読み出した第一の順次走査の映像信号の複数の走査線の加算平均により走査線変換して第二の順次走査の映像信号に変換して、第二の順次走査の映像信号を出力することと、
垂直画素加算して、第三の順次走査の映像信号として前記ＣＣＤから読み出し、読み出した第三の順次走査の映像信号を３以上の自然数の走査線の加算平均により走査線変換して第二の順次走査の映像信号に変換して、第二の順次走査の映像信号を出力することと、
垂直画素加算する垂直画素の対を奇数フィールドと偶数フィールドと切り替えて飛越走査の映像信号として前記ＣＣＤから読み出し、該飛越走査の映像信号の走査線の配置位相と第二の順次走査の映像信号の走査線の配置位相の相関に合わせて特異点を減らし垂直周波数特性が近似する数種類の係数の走査線の加算平均により走査線変換して第二の順次走査の映像信号に変換して、第二の順次走査の映像信号を出力すること 、
との少なくともいずれかを行うことを特徴とする固体撮像装置。
【請求項２】
有効走査線数１０８０本の飛越走査用ＩＴ−ＣＣＤの信号電荷を垂直画素加算して映像信号として読み出す撮像装置において、垂直画素加算する垂直画素の対を固定として、フィールド最終の水平周期の半周期の転送を停止させて、有効走査線数５４０本の順次走査の映像信号として前記ＣＣＤから読み出し、読み出した有効走査線数５４０本の映像信号を３対４に走査線変換して有効走査線数７２０本の順次走査の映像信号に変換して、７２０本の順次走査の映像信号を出力することと、フィールド最終の水平周期の半周期の垂直転送と、フィールド最終の水平周期の半周期の水平転送と、すくなくとも1回の水平遮光画素のクランプとの、すくなくともいずれかを停止させるか、フィールド最終の水平周期の半周期以外において垂直遮光画素に対してのみクランプを行うこと、を特徴とする固体撮像装置。
【請求項３】
開口画素の走査線数１０８４本以上の飛越走査用ＩＴ−ＣＣＤの信号電荷を垂直画素加算して映像信号として読み出す撮像装置において、
垂直画素加算する垂直画素の対を奇数フィールドと偶数フィールドと切り替えて、奇数フィールド有効走査線数５４２本と偶数フィールド有効走査線数５４３本の順次走査の映像信号として前記ＣＣＤから読み出し、読み出した奇数フィールド有効走査線数５４２本の映像信号を２走査線の加算平均により走査線変換して有効走査線数７２０本の順次走査の映像信号に変換して、読み出した偶数フィールド有効走査線数５４３本の映像信号を３走査線の加算平均により走査線変換して有効走査線数７２０本の順次走査の映像信号に変換して、７２０本の順次走査の映像信号を出力することと、
垂直画素加算する垂直画素の対を奇数フィールドと偶数フィールドと切り替えて、飛越走査の映像信号として前記ＣＣＤから読み出し、読み出した飛越走査の映像信号を、飛越走査の映像信号の１０８４本以上の走査線の配置位相と順次走査の７２０本の走査線の配置位相の相関に合わせて特異点を減らし垂直周波数特性が近似する４走査線の加算平均と３走査線の加算平均との組み合わせにより走査線変換して有効走査線数７２０本の順次走査の映像信号に変換して、７２０本の順次走査の映像信号を出力することと、
との少なくとも一方を行うことを特徴とする固体撮像装置。
【請求項１】
飛越走査用ＩＴ−ＣＣＤまたは飛越走査用ＦＩＴ−ＣＣＤの信号電荷を垂直画素加算して映像信号として読み出す撮像装置において、
垂直画素加算する垂直画素の対を固定として、フィールド最終の水平周期の半周期の転送を停止させて、第一の順次走査の映像信号として前記ＣＣＤから読み出し、読み出した第一の順次走査の映像信号の複数の走査線の加算平均により走査線変換して第二の順次走査の映像信号に変換して、第二の順次走査の映像信号を出力することと、
垂直画素加算して、第三の順次走査の映像信号として前記ＣＣＤから読み出し、読み出した第三の順次走査の映像信号を３以上の自然数の走査線の加算平均により走査線変換して第二の順次走査の映像信号に変換して、第二の順次走査の映像信号を出力することと、
垂直画素加算する垂直画素の対を奇数フィールドと偶数フィールドと切り替えて飛越走査の映像信号として前記ＣＣＤから読み出し、該飛越走査の映像信号の走査線の配置位相と第二の順次走査の映像信号の走査線の配置位相の相関に合わせて特異点を減らし垂直周波数特性が近似する数種類の係数の走査線の加算平均により走査線変換して第二の順次走査の映像信号に変換して、第二の順次走査の映像信号を出力すること 、
との少なくともいずれかを行うことを特徴とする固体撮像装置。
【請求項２】
有効走査線数１０８０本の飛越走査用ＩＴ−ＣＣＤの信号電荷を垂直画素加算して映像信号として読み出す撮像装置において、垂直画素加算する垂直画素の対を固定として、フィールド最終の水平周期の半周期の転送を停止させて、有効走査線数５４０本の順次走査の映像信号として前記ＣＣＤから読み出し、読み出した有効走査線数５４０本の映像信号を３対４に走査線変換して有効走査線数７２０本の順次走査の映像信号に変換して、７２０本の順次走査の映像信号を出力することと、フィールド最終の水平周期の半周期の垂直転送と、フィールド最終の水平周期の半周期の水平転送と、すくなくとも1回の水平遮光画素のクランプとの、すくなくともいずれかを停止させるか、フィールド最終の水平周期の半周期以外において垂直遮光画素に対してのみクランプを行うこと、を特徴とする固体撮像装置。
【請求項３】
開口画素の走査線数１０８４本以上の飛越走査用ＩＴ−ＣＣＤの信号電荷を垂直画素加算して映像信号として読み出す撮像装置において、
垂直画素加算する垂直画素の対を奇数フィールドと偶数フィールドと切り替えて、奇数フィールド有効走査線数５４２本と偶数フィールド有効走査線数５４３本の順次走査の映像信号として前記ＣＣＤから読み出し、読み出した奇数フィールド有効走査線数５４２本の映像信号を２走査線の加算平均により走査線変換して有効走査線数７２０本の順次走査の映像信号に変換して、読み出した偶数フィールド有効走査線数５４３本の映像信号を３走査線の加算平均により走査線変換して有効走査線数７２０本の順次走査の映像信号に変換して、７２０本の順次走査の映像信号を出力することと、
垂直画素加算する垂直画素の対を奇数フィールドと偶数フィールドと切り替えて、飛越走査の映像信号として前記ＣＣＤから読み出し、読み出した飛越走査の映像信号を、飛越走査の映像信号の１０８４本以上の走査線の配置位相と順次走査の７２０本の走査線の配置位相の相関に合わせて特異点を減らし垂直周波数特性が近似する４走査線の加算平均と３走査線の加算平均との組み合わせにより走査線変換して有効走査線数７２０本の順次走査の映像信号に変換して、７２０本の順次走査の映像信号を出力することと、
との少なくとも一方を行うことを特徴とする固体撮像装置。
【図１Ａ】
【図１Ｂ】
【図２】
【図３】
【図４】
【図５Ａ】
【図５Ｂ】
【図６Ａ】
【図６Ｂ】
【図７Ａ】
【図７Ｂ】
【図８Ａ】
【図８Ｂ】
【図９Ａ】
【図９Ｂ】
【図１Ｂ】
【図２】
【図３】
【図４】
【図５Ａ】
【図５Ｂ】
【図６Ａ】
【図６Ｂ】
【図７Ａ】
【図７Ｂ】
【図８Ａ】
【図８Ｂ】
【図９Ａ】
【図９Ｂ】
【公開番号】特開２０１１−２５０３９８（Ｐ２０１１−２５０３９８Ａ）
【公開日】平成２３年１２月８日（２０１１．１２．８）
【国際特許分類】
【出願番号】特願２０１１−９５０３８（Ｐ２０１１−９５０３８）
【出願日】平成２３年４月２１日（２０１１．４．２１）
【出願人】（０００００１１２２）株式会社日立国際電気 (5,007)
【Ｆターム（参考）】
【公開日】平成２３年１２月８日（２０１１．１２．８）
【国際特許分類】
【出願日】平成２３年４月２１日（２０１１．４．２１）
【出願人】（０００００１１２２）株式会社日立国際電気 (5,007)
【Ｆターム（参考）】
[ Back to top ]