撮像装置および信号処理方法
【課題】ＣＭＯＳ撮像装置などのＸＹアドレス走査型の撮像装置で、蛍光灯フリッカを正確かつ高精度に検出でき、蛍光灯フリッカ成分を確実かつ十分に低減できるようにする。
【解決手段】撮像素子から得られたＲＧＢ原色信号をＡ／Ｄ変換した後のＲＧＢ原色信号をクランプし、さらに、クランプ後のＲＧＢ原色信号につき、読み出しチャネル間のゲインを補正し、固定パターンノイズを低減し、欠陥画素のデータを補正し、ノイズを低減し、レンズシェーディングを補正し、露光調整用にゲインを調整した後、フリッカ検出低減部６０において、フリッカ成分を検出し低減する。さらに、フリッカ低減後のＲＧＢ原色信号につきホワイトバランスを調整し、ホワイトバランス調整後のＲＧＢ原色信号から撮像素子の欠陥画素を検出する。
【解決手段】撮像素子から得られたＲＧＢ原色信号をＡ／Ｄ変換した後のＲＧＢ原色信号をクランプし、さらに、クランプ後のＲＧＢ原色信号につき、読み出しチャネル間のゲインを補正し、固定パターンノイズを低減し、欠陥画素のデータを補正し、ノイズを低減し、レンズシェーディングを補正し、露光調整用にゲインを調整した後、フリッカ検出低減部６０において、フリッカ成分を検出し低減する。さらに、フリッカ低減後のＲＧＢ原色信号につきホワイトバランスを調整し、ホワイトバランス調整後のＲＧＢ原色信号から撮像素子の欠陥画素を検出する。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、ＣＭＯＳ（相補型金属酸化物半導体）撮像素子などのＸＹアドレス走査型の撮像素子（イメージャ、イメージセンサ）を用いたビデオカメラやデジタルスチルカメラなどの撮像装置、および、その撮像装置によって被写体を撮影した場合に撮像素子から得られる映像信号を処理する方法に関する。
【背景技術】
【０００２】
商用交流電源（家庭用電源）によって点灯される蛍光灯の照明下で、ビデオカメラによって被写体を撮影すると、蛍光灯の輝度変化（光量変化）の周波数（電源周波数の２倍）とカメラの垂直同期周波数（撮像周波数）との違いによって、撮影出力の映像信号に時間的な明暗の変化、いわゆる蛍光灯フリッカを生じる。
【０００３】
例えば、商用交流電源周波数が５０Ｈｚの地域において、非インバータ方式の蛍光灯の照明下で（インバータ方式の蛍光灯の場合にも、整流が十分でない場合にはフリッカを生じるので、非インバータ方式の蛍光灯の場合に限らないが）、ＮＴＳＣ方式（垂直同期周波数（この場合はフィールド周波数）は６０Ｈｚ）のＣＣＤカメラによって被写体を撮影する場合、図１０に示すように、１フィールドが１／６０秒であるのに対して、蛍光灯の輝度変化の周期が１／１００秒となるので、蛍光灯の輝度変化に対して各フィールドの露光タイミングがずれ、各画素の露光量がフィールドごとに変化する。
【０００４】
そのため、例えば、露光時間が１／６０秒であるときには、期間ａ１，ａ２，ａ３では、同じ露光時間でも露光量が異なり、露光時間が１／６０秒より短いとき（ただし、後述のように１／１００秒ではないとき）には、期間ｂ１，ｂ２，ｂ３では、同じ露光時間でも露光量が異なる。
【０００５】
蛍光灯の輝度変化に対する露光タイミングは、３フィールドごとに元のタイミングに戻るため、フリッカによる明暗変化は、３フィールドごとの繰り返しとなる。すなわち、各フィールドの輝度比（フリッカの見え方）は、露光期間によって変わるが、フリッカの周期は変わらない。
【０００６】
ただし、デジタルスチルカメラなど、プログレッシブ方式のカメラで、垂直同期周波数（この場合はフレーム周波数）が３０Ｈｚの場合には、３フレームごとに明暗変化が繰り返される。
【０００７】
さらに、蛍光灯は、白色光を発光するために、通常、複数の蛍光体、例えば、赤、緑、青の蛍光体が用いられている。しかし、これら蛍光体は、それぞれが固有の残光特性を有し、輝度変化の周期中に存在する放電停止から次の放電開始までの期間は、それぞれの残光特性で減衰発光する。そのため、この期間では、始めは白色であった光が、次第に色相を変えながら減衰することになるので、上記のように露光タイミングがずれると、明暗変化だけでなく、色相変化を生じる。また、蛍光灯は、特定の波長に強いピークが存在するという特有の分光特性を持っているため、色によって信号の変動成分が異なる。
【０００８】
そして、このような色相変化、および色ごとの変動成分の差によって、いわゆる色フリッカが発生する。
【０００９】
これに対して、図１０のように電源周波数が５０Ｈｚ、撮像装置の垂直同期周波数が６０Ｈｚの場合、同図の最下段に示すように、露光時間を蛍光灯の輝度変化の周期である１／１００秒に設定すれば、露光タイミングにかかわらず露光量が一定となって、フリッカを生じない。
【００１０】
実際、ユーザの操作によって、またはカメラでの信号処理により蛍光灯照明下であることを検出することによって、蛍光灯照明下である場合には露光時間を１／１００秒に設定する方式が考えられている。この方式によれば、単純な方法で、フリッカの発生を完全に防止することができる。
【００１１】
しかし、この方式では、任意の露光時間に設定することができないため、適切な露出を得るための露光量調整手段の自由度が減ってしまう。
【００１２】
そこで、このようにシャッタ速度を規定することなく、蛍光灯フリッカを低減する方法も考えられている。ＣＣＤ撮像装置のように１画面内の全ての画素が同一の露光タイミングで露光される撮像装置の場合には、フリッカによる明暗変化および色変化がフィールド間でのみ現れるため、フリッカを低減することは比較的容易に実現することができる。
【００１３】
例えば、図１０の場合、露光時間が１／１００秒でなければ、フリッカは３フィールドの繰り返し周期となるので、各フィールドの映像信号の平均値が一定となるように３フィールド前の映像信号から現在の輝度および色の変化を予測し、その予測結果に応じて各フィールドの映像信号のゲインを調整することによって、フリッカを実用上問題のないレベルまで抑圧することができる。
【００１４】
しかしながら、ＣＭＯＳ撮像素子などのＸＹアドレス走査型の撮像素子では、画素ごとの露光タイミングが画面水平方向において読み出しクロック（画素クロック）の１周期分ずつ順次ずれ、全ての画素で露光タイミングが異なるため、上記の方法ではフリッカを十分抑圧することはできない。
【００１５】
図１１に、その様子を示す。上記のように画面水平方向でも各画素の露光タイミングが順次ずれるが、蛍光灯の輝度変化の周期に比べて１水平周期は十分短いので、同一ライン上の画素は露光タイミングが同時であると仮定し、画面垂直方向における各ラインの露光タイミングを示す。実際上、このように仮定しても問題はない。
【００１６】
図１１に示すように、ＸＹアドレス走査型の撮像装置、例えばＣＭＯＳ撮像装置では、ラインごとに露光タイミングが異なり（Ｆ０は、あるフィールドでの、その様子を示す）、各ラインで露光量に差を生じるため、フリッカによる明暗変化および色変化が、フィールド間だけでなくフィールド内でも生じ、画面上では縞模様（縞自体の方向は水平方向、縞の変化の方向は垂直方向）として現れる。
【００１７】
図１２に、被写体が均一なパターンの場合の、この面内（画面内）フリッカの様子を示す。縞模様の１周期（１波長）が１／１００秒であるので、１画面中には１．６６６周期分の縞模様が発生することになり、１フィールド当たりの読み出しライン数をＭとすると、縞模様の１周期は読み出しライン数ではＬ＝Ｍ＊６０／１００に相当する。なお、明細書および図面では、アスタリスク（＊）を乗算の記号として用いる。
【００１８】
図１３に示すように、この縞模様は、３フィールド（３画面）で５周期（５波長）分となり、連続的に見ると垂直方向に流れるように見える。
【００１９】
図１２および図１３には、フリッカによる明暗変化のみを示すが、実際には上述した色変化も加わり、画質が著しく劣化する。特に色フリッカは、シャッタ速度が速くなる（露光時間が短くなる）と顕著になるとともに、ＸＹアドレス走査型の撮像装置では、その影響が画面内に現れるため、画質劣化がより目立つようになる。
【００２０】
このようなＸＹアドレス走査型の撮像装置の場合にも、例えば、図１１のように電源周波数が５０Ｈｚ、撮像装置の垂直同期周波数が６０Ｈｚの場合、露光時間を蛍光灯の輝度変化の周期である１／１００秒に設定すれば、露光タイミングにかかわらず露光量が一定となって、面内フリッカを含む蛍光灯フリッカを生じない。
【００２１】
しかしながら、フリッカ防止のために露光時間を１／１００秒にしか設定できないとすると、適切な露出を得るための露光量調整手段の自由度が減ってしまう。
【００２２】
そこで、このようにシャッタ速度を規定することなく、ＣＭＯＳ撮像装置などのＸＹアドレス走査型の撮像装置に固有の蛍光灯フリッカを低減する方法が提案されている。
【００２３】
具体的に、特許文献１（特開２０００−３５０１０２号公報）または特許文献２（特開２０００−２３０４０号公報）には、受光素子や測光素子により蛍光灯の光量を測定することによってフリッカ成分を推定し、その推定結果に応じて撮像素子からの映像信号の利得を制御する方法が示されている。しかし、この方法は、撮像装置に受光素子や測光素子を付加するので、撮像装置システムのサイズやコストが増大する。
【００２４】
これに対して、特許文献３（特開２００１−１６５０８号公報）には、現在の外光条件に適した第１の電子シャッタ値と蛍光灯の明滅周期に対して所定の関係を有する第２の電子シャッタ値との２条件で２種の画像を撮影し、両者の信号を比較することによってフリッカ成分を推定し、その推定結果に応じて撮像素子からの映像信号の利得を制御する方法が示されている。ただし、この方法は、動画の撮影には適さない。
【００２５】
また、特許文献４（特開２０００−１６５７５２号公報）には、フリッカの位相がちょうど１８０度反転するような時間差をもって露光された２つの映像信号から補正係数を算出し、その算出した補正係数によって映像信号を補正する方法が示されている。ただし、この方法も、動画の撮影には適さない。
【００２６】
さらに、特許文献５（特開平１１−１６４１９２号公報）には、あらかじめ蛍光灯照明下での明暗変化の様子を補正係数としてメモリ内に記録しておく一方で、映像信号成分とフリッカ成分の周波数の違いを利用して撮像素子からの映像信号からフリッカ成分の位相を検出し、その検出結果に応じてメモリ内の補正係数によって映像信号を補正する方法が示されている。
【００２７】
上に挙げた先行技術文献は、以下のとおりである。
【特許文献１】特開２０００−３５０１０２号公報
【特許文献２】特開２０００−２３０４０号公報
【特許文献３】特開２００１−１６５０８号公報
【特許文献４】特開２０００−１６５７５２号公報
【特許文献５】特開平１１−１６４１９２号公報
【発明の開示】
【発明が解決しようとする課題】
【００２８】
しかしながら、ＣＭＯＳ撮像装置などのＸＹアドレス走査型の撮像装置において、撮像素子から得られた映像信号から、蛍光灯フリッカを検出（推定）し、その検出結果に応じて映像信号のレベルまたはゲインを補正してフリッカ成分を低減する場合、そのフリッカ検出低減処理を、撮像素子から得られた映像信号の処理の過程の、どの段階で行うかが問題となる。
【００２９】
撮像素子からの映像信号に対しては各種の処理が必要であり、特にＣＭＯＳ撮像装置などのＸＹアドレス走査型の撮像装置では、ＣＣＤ撮像装置では不要な、ＸＹアドレス走査型の撮像装置に特有の処理が必要とされる。そのため、フリッカ検出低減処理を、これら他の処理との関係で、どの段階で行うかは、フリッカ検出精度、したがってフリッカ低減効果に大きく影響し、フリッカ検出低減処理の、他の処理との関係によっては、フリッカ検出精度が低下し、誤検出による誤補正によって、フリッカ成分を低減できないだけでなく、逆に増大させてしまうおそれがある。
【００３０】
そこで、この発明は、ＣＭＯＳ撮像装置などのＸＹアドレス走査型の撮像装置で、蛍光灯フリッカを正確かつ高精度に検出することができ、蛍光灯フリッカ成分を確実かつ十分に低減することができるようにしたものである。
【課題を解決するための手段】
【００３１】
この発明の信号処理方法は、
ＸＹアドレス走査型の撮像素子により被写体を撮影することによって得られた映像信号を処理する方法であって、
前記映像信号をアナログ／デジタル変換した後の映像信号のレベルまたはゲインを補正する補正工程と、
この補正工程後において、その補正後の映像信号から、蛍光灯フリッカ成分を検出し、低減するフリッカ検出低減工程と、
を備えることを特徴とする。
【００３２】
上記の構成の、この発明の信号処理方法では、撮像素子から複数の読み出しチャネルによって映像信号を読み出す場合における、それぞれの読み出しチャネルの信号ゲインを均一にする処理、撮像素子の固定パターンノイズを低減する処理、またはレンズシェーディングを補正する処理など、映像信号のレベルまたはゲインを補正する処理を実行した後、フリッカ検出低減処理を実行するので、蛍光灯フリッカを正確かつ高精度に検出することができ、蛍光灯フリッカ成分を確実かつ十分に低減することができる。
【発明の効果】
【００３３】
以上のように、この発明によれば、蛍光灯フリッカを正確かつ高精度に検出することができ、蛍光灯フリッカ成分を確実かつ十分に低減することができる。
【発明を実施するための最良の形態】
【００３４】
〔撮像装置および信号処理方法の実施形態：図１〜図３〕
（撮像装置のシステム構成：図１）
図１は、この発明の撮像装置の一例のシステム構成を示し、ＸＹアドレス走査型の撮像素子としてＣＭＯＳ撮像素子を用いた、例えば、ＮＴＳＣ方式（垂直同期周波数が６０Ｈｚ）またはＰＡＬ方式（垂直同期周波数が５０Ｈｚ）のビデオカメラである。
【００３５】
この例の撮像装置では、被写体からの光が、撮像光学系１０を介してＣＭＯＳ撮像素子２０に入射して、ＣＭＯＳ撮像素子２０で光電変換され、ＣＭＯＳ撮像素子２０からアナログ映像信号が得られる。
【００３６】
ＣＭＯＳ撮像素子２０は、ＣＭＯＳ基板上に、フォトダイオード（フォトゲート）、転送ゲート（シャッタトランジスタ）、スイッチングトランジスタ（アドレストランジスタ）、増幅トランジスタ、リセットトランジスタ（リセットゲート）などを有する画素が複数、２次元状に配列されて形成されるとともに、垂直走査回路、水平走査回路および映像信号出力回路が形成されたものである。
【００３７】
ＣＭＯＳ撮像素子２０は、後述のように原色系と補色系のいずれでもよく、ＣＭＯＳ撮像素子２０から得られるアナログ映像信号は、ＲＧＢ各色の原色信号または補色系の色信号である。
【００３８】
このＣＭＯＳ撮像素子２０から得られたアナログ映像信号は、ＩＣ（集積回路）として構成されたアナログ信号処理部３０において、色信号ごとに、サンプルホールドされ、ＡＧＣ（自動利得制御）によってゲインが制御され、Ａ／Ｄ変換によってデジタル映像信号に変換される。
【００３９】
アナログ信号処理部３０からのデジタル映像信号は、ＩＣとして構成されたデジタル信号処理部４０内の前段処理部５０において、後述のように処理され、デジタル信号処理部４０内のフリッカ検出低減部６０において、後述のように信号成分ごとに蛍光灯フリッカ成分が検出され、低減されるとともに、デジタル信号処理部４０内の後段処理部７０において、後述のように処理され、最終的に輝度信号Ｙと赤、青の色差信号Ｒ−Ｙ，Ｂ−Ｙに変換されて、デジタル信号処理部４０から出力される。
【００４０】
システムコントローラ８０は、マイクロコンピュータなどによって構成され、カメラ各部を制御する。
【００４１】
具体的に、システムコントローラ８０から、ＩＣによって構成されたレンズ駆動用ドライバ９１に、レンズ駆動制御信号が供給され、レンズ駆動用ドライバ９１によって、撮像光学系１０のレンズやアイリスが駆動される。
【００４２】
また、システムコントローラ８０からタイミングジェネレータ９２に、タイミング制御信号が供給され、タイミングジェネレータ９２からＣＭＯＳ撮像素子２０に、各種タイミング信号が供給されて、ＣＭＯＳ撮像素子２０が駆動される。このとき、ＣＭＯＳ撮像素子２０のシャッタ速度も、システムコントローラ８０からのタイミング制御信号によって自在に制御される。
【００４３】
さらに、デジタル信号処理部４０からシステムコントローラ８０に、各信号成分の検波信号が取り込まれ、システムコントローラ８０からのＡＧＣ信号によって、アナログ信号処理部３０において上記のように各色信号のゲインが制御されるとともに、システムコントローラ８０によって、デジタル信号処理部４０における信号処理が制御される。
【００４４】
また、システムコントローラ８０には、手ぶれセンサ９３が接続され、これから得られる手ぶれ情報が、手ぶれ補正制御に利用されるとともに、撮影者の動作によって被写体が短時間で大きく変化する場合には、そのことが、手ぶれセンサ９３の出力から、システムコントローラ８０によって検出され、フリッカ検出低減部６０が制御される。
【００４５】
また、システムコントローラ８０には、マイクロコンピュータなどによって構成されたインタフェース９８を介して、ユーザインタフェース９５を構成する操作部９６および表示部９７が接続され、操作部９６での設定操作や選択操作などが、システムコントローラ８０によって検出されるとともに、カメラの設定状態や制御状態などが、システムコントローラ８０によって表示部９７に表示される。
【００４６】
撮影者が操作部９６でズーム操作などのカメラ操作を行うことによって被写体が短時間で大きく変化する場合には、そのことがシステムコントローラ８０によって検出され、フリッカ検出低減部６０が制御される。
【００４７】
また、屋外での撮影や、静止画撮影モードでの撮影など、そもそもフリッカ検出低減処理が不要な場合には、そのことがシステムコントローラ８０によって検出され、フリッカ検出低減部６０が制御される。
【００４８】
（読み出しチャネルと固定パターンノイズ：図２）
ＣＭＯＳ撮像素子などのＸＹアドレス走査型の撮像素子は、ＣＣＤ撮像素子と異なり、画素の読み出し方法が柔軟で、複数の読み出しチャネルによって、任意の場所（アドレス）の画素を任意の読み方で読み出すことができる。図１の例のＣＭＯＳ撮像素子２０も、同様である。
【００４９】
これを、図２に示す。ＣＭＯＳ撮像素子２０は、例えば、原色系の３板式のシステムとして、ＲＧＢ各色用のＣＭＯＳ撮像素子からなるもので、その各色用のＣＭＯＳ撮像素子の画素２１は、カラムアーキテクチャ方式として、カラムごとに、ＣＤＳ（Ｃｏｒｒｅｌａｔｅｄ Ｄｏｕｂｌｅ Ｓａｍｐｌｉｎｇ）回路３１および電荷蓄積容量３２を有する読み出しラインＣ１，Ｃ２，Ｃ３，Ｃ４‥‥に接続され、例えば、読み出しチャネルが２チャネルとされる場合、一つおきの読み出しラインＣ１，Ｃ３‥‥に読み出された画素信号が、ＱＶアンプ３３−１で電荷から電圧に変換され、サンプルホールド回路３４−１でサンプルホールドされ、バッファ３５−１を通じてＡ／Ｄコンバータ３６−１に供給されて、チャネル１のデジタル画素データに変換されるとともに、他の一つおきの読み出しラインＣ２，Ｃ４‥‥に読み出された画素信号が、ＱＶアンプ３３−２で電荷から電圧に変換され、サンプルホールド回路３４−２でサンプルホールドされ、バッファ３５−２を通じてＡ／Ｄコンバータ３６−２に供給されて、チャネル２のデジタル画素データに変換される。
【００５０】
ＣＭＯＳ撮像素子２０が原色系の１板式のシステムである場合や、補色系のシステムである場合にも、同様に複数の読み出しチャネルによって画素を読み出すことができる。
【００５１】
そして、このようにＣＭＯＳ撮像素子２０から複数の読み出しチャネルによって信号を読み出す場合、チャネルごとに信号経路が異なるため、信号ゲインがチャネルごとに相違し、そのバラツキを無視したまま、その後の信号処理を行うと、その信号ゲインのバラツキの影響が、そのまま出力画像に現れ、画質が著しく劣化する。
【００５２】
そのため、このようにＣＭＯＳ撮像素子２０から複数の読み出しチャネルによって信号を読み出す場合には、後述のように、読み出しチャネルごとの信号ゲインのバラツキを無くすように、それぞれの読み出しチャネルの信号ゲインを補正する必要がある。
【００５３】
また、ＣＭＯＳ撮像素子などのＸＹアドレス走査型の撮像素子では、固定パターンノイズ（Ｆｉｘｅｄ Ｐａｔｔｅｒｎ Ｎｏｉｓｅ）が発生し、図２のようなカラムアーキテクチャ方式によってＣＭＯＳ撮像素子２０から信号を読み出す場合には、図２に出力画像１として示すように、その固定パターンノイズが、カラムごとに縦スジ状ノイズ２として現れる。
【００５４】
この固定パターンノイズは、明るいシーンでは問題にならないが、暗いシーンで信号ゲインを高くした場合には、無視できないものとなることがある。そのため、このようなカラムアーキテクチャ方式によってＣＭＯＳ撮像素子２０から信号を読み出す場合には、後述のように、その縦スジ状ノイズ２を低減するように信号レベルを補正する。
【００５５】
（デジタル信号処理の方法：図３）
図１の例のデジタル信号処理部４０は、前段処理部５０、フリッカ検出低減部６０および後段処理部７０に分けられるが、さらに、この例では、図３に示すように、前段処理部５０は、デジタルクランプ回路５１、読み出しチャネル間ゲイン補正回路５２、固定パターンノイズ低減回路５３、欠陥画素データ補正回路５４、ノイズ低減回路５５、レンズシェーディング補正回路５６、およびデジタルゲイン調整回路５７が、この順序で配置され、後段処理部７０は、ホワイトバランス調整回路７１、ガンマ補正回路７２、および合成マトリクス回路７３が、この順序で配置され、欠陥画素検出回路７４で、ホワイトバランス調整回路７１の出力の信号から、ＣＭＯＳ撮像素子２０の欠陥画素が検出される。
【００５６】
上述したように、アナログ信号処理部３０の出力、すなわちデジタル信号処理部４０の入力が、ＲＧＢ原色信号である場合、前段処理部５０の最前段のデジタルクランプ回路５１では、その入力ＲＧＢ原色信号の黒レベルが所定レベルにクランプされる。
【００５７】
次段の読み出しチャネル間ゲイン補正回路５２では、その黒レベルがクランプされたＲＧＢ原色信号につき、上述したようにＣＭＯＳ撮像素子２０から複数の読み出しチャネルによって信号を読み出す場合における、読み出しチャネルごとの信号ゲインのバラツキが無くなるように、それぞれの読み出しチャネルの信号ゲインが補正される。
【００５８】
具体的には、あらかじめＣＭＯＳ撮像素子２０内に画素として配置されている黒信号領域（オプティカルブラック）の信号から、それぞれの読み出しチャネルのゲイン差を検出し、そのゲイン差の分だけ、それぞれの読み出しチャネルのゲインを補正する。
【００５９】
次段の固定パターンノイズ低減回路５３では、この読み出しチャネル間ゲイン補正後のＲＧＢ原色信号につき、上述した縦スジ状の固定パターンノイズが低減される。具体的には、あらかじめＣＭＯＳ撮像素子２０内に画素として配置されている黒信号領域（オプティカルブラック）の信号から、カラムごとの信号レベルのバラツキを検出し、そのバラツキを無くすように各カラムの信号レベルをオフセットする。
【００６０】
次段の欠陥画素データ補正回路５４では、この固定パターンノイズ低減後のＲＧＢ原色信号中の、後述の後段処理部７０内の欠陥画素検出回路７４で検出された欠陥画素のデータ（画素値）が補正される。具体的には、欠陥画素の周辺画素のデータから、補間演算によって欠陥画素のデータが算出生成され、元のデータが、その算出生成されたデータに置き換えられる。
【００６１】
次段のノイズ低減回路５５では、この欠陥画素データ補正後のＲＧＢ原色信号につき、ノイズが低減される。この場合のノイズは、上記の固定パターンノイズとは異なる一般的な高周波ノイズで、具体的に、ＲＧＢ原色信号に対して、それぞれ低周波数成分のみを抽出するフィルタリング処理が実行されて、そのノイズが低減される。
【００６２】
次段のレンズシェーディング補正回路５６では、このノイズ低減後のＲＧＢ原色信号につき、レンズシェーディング（結像位置によって信号量が異なる現象で、一般に、レンズの光軸中心から離れるほど、画像が暗くなり、信号量が減少する）が補正される。
【００６３】
具体的には、あらかじめシステムコントローラ８０またはデジタル信号処理部４０に用意されているＲＯＭテーブルに記述された、撮像光学系１０として採用されているレンズのシェーディング情報、あるいはシステムコントローラ８０またはデジタル信号処理部４０に設定されているシェーディング量に応じて、全画面が均一な明るさとなるように、ＲＧＢ原色信号の各画素データのゲインが調整される。
【００６４】
前段処理部５０の最終段のデジタルゲイン調整回路５７では、システムコントローラ８０でのゲイン設定によって、露光調整用に、レンズシェーディング補正後のＲＧＢ原色信号のゲインが調整される。この例の撮像装置では、露光量は、アイリス設定、電子シャッタ速度の設定、およびデジタルゲイン調整回路５７でのゲイン調整によって、調整することができ、アイリス設定および電子シャッタ速度の設定と連動して、デジタルゲイン調整回路５７でゲインが調整されることによって、所望の露光量が得られ、自動露光調整機能も実現される。
【００６５】
そして、この前段処理部５０の最終段のデジタルゲイン調整回路５７の出力のＲＧＢ原色信号につき、フリッカ検出低減部６０において、後述のように蛍光灯フリッカが検出され、フリッカ成分が低減される。
【００６６】
フリッカ検出低減部６０においてフリッカ成分が低減された後のＲＧＢ原色信号については、まず、後段処理部７０の最前段のホワイトバランス調整回路７１で、ホワイトバランスのために各信号のゲインが調整される。
【００６７】
さらに、後段処理部７０では、ホワイトバランス調整回路７１の出力側で、欠陥画素検出回路７４において、ＣＭＯＳ撮像素子２０の欠陥画素が検出される。
【００６８】
一般に、欠陥画素の検出は入射光ゼロの条件下で行われる。そのため、例えば、カメラの電源の立ち上げ時、一瞬、アイリスを閉じて入射光ゼロの状態を作り出し、その際の信号レベルから欠陥画素を特定して、そのアドレスをシステムコントローラ８０内またはデジタル信号処理部４０内の記憶装置部に記憶させる。欠陥画素の位置（アドレス）は、撮影中も変わらないので、一度検出すれば、以後、欠陥画素をリアルタイムで検出する必要はない。したがって、通常の撮影時は、欠陥画素検出回路７４の検出動作は実行されず、ホワイトバランス調整回路７１の出力のＲＧＢ原色信号は、そのままガンマ補正回路７２に入力される。
【００６９】
ガンマ補正回路７２では、ホワイトバランス調整後のＲＧＢ原色信号の階調が変換される。
【００７０】
合成マトリクス回路７３では、ガンマ補正後のＲＧＢ原色信号から、デジタル信号処理部４０の出力の輝度信号Ｙおよび色差信号Ｒ−Ｙ，Ｂ−Ｙが生成される。
【００７１】
以上は原色系システムの場合であるが、補色系システムでデジタル信号処理部４０に補色系の各色信号が入力される場合も、同様である。
【００７２】
デジタル信号処理部４０で以上のような順序で各処理を行うことによって、以下のような効果が得られる。
【００７３】
＜デジタルクランプとの関係＞
まず、デジタルクランプとフリッカ検出低減処理との関係については、フリッカ成分の検出に当たって映像信号の黒レベルが定まっていないと、フリッカ成分を正確かつ高精度に検出することができず、したがってフリッカ成分を確実かつ十分に低減することができない。
【００７４】
例えば、ＣＭＯＳ撮像素子２０から得られる映像信号の黒レベルは温度などによって変化するが、デジタルクランプによって映像信号の黒レベルが正しく定められれば、以後の信号処理については、黒レベルが常に一定にされるため、確実かつ安定な処理が実行される。
【００７５】
しかし、デジタルクランプ前にフリッカ検出低減処理を行う場合には、フリッカ検出低減処理については、黒レベルが一定に定まらないため、フリッカ成分を正確かつ高精度に検出することができず、したがってフリッカ成分を確実かつ十分に低減することができない。また、デジタルクランプ前にフリッカ検出処理を行い、デジタルクランプ後にフリッカ低減処理を行う場合には、上記のようにフリッカ成分を正確かつ高精度に検出することができないだけでなく、フリッカ検出のタイミングと、その検出結果による信号レベルまたは信号ゲインの補正によるフリッカ低減のタイミングとが時間的にずれてしまうことによって、フリッカ成分を確実かつ十分に低減することができなくなる。
【００７６】
これに対して、図３の例のようにフリッカ検出低減処理の前にデジタルクランプを行うことによって、すなわちデジタルクランプ後にフリッカ検出低減処理を行うことによって、フリッカ成分を正確かつ高精度に検出することができ、フリッカ成分を確実かつ十分に低減することができる。
【００７７】
＜読み出しチャネル間ゲイン補正との関係＞
読み出しチャネル間ゲイン補正とフリッカ検出低減処理との関係については、フリッカ成分の検出に当たって読み出しチャネル間のゲインのバラツキが解消されていないと、フリッカ成分を正確かつ高精度に検出することができず、したがってフリッカ成分を確実かつ十分に低減することができない。
【００７８】
すなわち、図２のように同じ色信号を複数チャネルによって読み出す場合に、図３のように各色の色信号ごとにフリッカ検出低減処理を行う場合、その処理前に読み出しチャネル間のゲインのバラツキが解消されていないと、フリッカ検出のサンプリングポイントごとにフリッカ成分の検出レベルが異なってしまって、フリッカ成分を正確かつ高精度に検出することができず、したがってフリッカ成分を確実かつ十分に低減することができない。一つの色信号または輝度信号からフリッカ成分を検出する場合にも、その信号が複数チャネルによって読み出される場合には、同じである。
【００７９】
これに対して、図３の例のようにフリッカ検出低減処理の前に読み出しチャネル間ゲイン補正を行うことによって、すなわち読み出しチャネル間ゲイン補正の後にフリッカ検出低減処理を行うことによって、フリッカ成分を正確かつ高精度に検出することができ、フリッカ成分を確実かつ十分に低減することができる。
【００８０】
＜固定パターンノイズ低減処理との関係＞
固定パターンノイズ低減処理とフリッカ検出低減処理との関係については、フリッカ成分の検出に当たって固定パターンノイズ（ＦＰＮ）が低減されていないと、フリッカ成分を正確かつ高精度に検出することができず、したがってフリッカ成分を確実かつ十分に低減することができない。
【００８１】
すなわち、明るいシーンでは、図２に縦スジ状ノイズ２として示した固定パターンノイズの映像信号成分に対する割合が小さいので、ほとんど問題はないが、蛍光灯フリッカが発生する蛍光灯照明下のような暗いシーンでは、この固定パターンノイズの映像信号成分に対する割合が急速に増大するため、固定パターンノイズの存在がフリッカ検出に悪影響を及ぼし、フリッカ成分を正確かつ高精度に検出することができなくなる。
【００８２】
これに対して、図３の例のようにフリッカ検出低減処理の前に固定パターンノイズ低減処理を行うことによって、すなわち固定パターンノイズ低減処理の後にフリッカ検出低減処理を行うことによって、フリッカ成分を正確かつ高精度に検出することができ、フリッカ成分を確実かつ十分に低減することができる。
【００８３】
＜ノイズ低減処理との関係＞
ノイズ低減処理とフリッカ検出低減処理との関係については、この場合のノイズは蛍光灯フリッカ成分に比べて十分に高い周波数のものであるので、ノイズ低減処理を実行しなくても、フリッカ検出低減に直接、悪影響を及ぼすことはないと言える。
【００８４】
しかし、図３の例のようにフリッカ検出低減処理の前にノイズ低減処理を実行することによって、フリッカ検出対象の信号中のノイズ成分を、より低減することができるので、フリッカ検出も、より正確かつ高精度に行うことができ、フリッカ低減を、より確実かつ十分に行うことができる。
【００８５】
＜レンズシェーディング補正との関係＞
レンズシェーディング補正とフリッカ検出低減処理との関係については、フリッカ成分の検出に当たってレンズシェーディングが補正されていないと、フリッカ成分を正確かつ高精度に検出することができず、したがってフリッカ成分を確実かつ十分に低減することができない。
【００８６】
すなわち、上述したようにレンズシェーディングは光軸中心から離れるほど大きくなるので、光軸中心から離れるに従って映像信号レベルが低くなる。すなわち、入射光の変動が被写体の上下左右で均等に生じた場合、フリッカ自体としては、被写体の上下左右で均等になるにもかかわらず、映像信号としては、レンズシェーディングによってフリッカレベルが変わることになる。そのため、フリッカ検出低減処理の前にレンズシェーディングが補正されていないと、フリッカレベルを正確に検出することができず、フリッカ成分を確実に低減することができない。特に、後述の例のように、フリッカ成分を正弦波として、または低次の正弦波の重ね合わせとして検出する場合、画面の上下方向で映像信号レベルが異なると、フリッカレベルの検出に不具合を来たす。
【００８７】
これに対して、図３の例のようにフリッカ検出低減処理の前にレンズシェーディングを補正することによって、すなわちレンズシェーディング補正後にフリッカ検出低減処理を行うことによって、フリッカ成分を正確かつ高精度に検出することができ、フリッカ成分を確実かつ十分に低減することができる。
【００８８】
＜デジタルゲイン調整との関係＞
デジタルゲイン調整は、上述したように自動露光調整を実現するものであるため、調整後の映像信号は露光量が一定になっていることになる。そして、アイリス設定や電子シャッタ速度の設定だけで露光量を一定に保持できる状況下では、露光量の調整との関係でフリッカ検出低減処理の段階は問題とならないが、デジタルゲイン調整によって露光量を調整する場合には、デジタルゲイン調整の前にフリッカ検出低減処理を行うと、フリッカ検出低減部に入力される映像信号のレベルが被写体に応じて大きく変動することになり、フリッカ成分を正確かつ高精度に検出することができなくなる。
【００８９】
これに対して、図３の例のようにフリッカ検出低減処理の前にデジタルゲイン調整を行うことによって、すなわちデジタルゲイン調整の後にフリッカ検出低減処理を行うことによって、フリッカ成分を正確かつ高精度に検出することができ、フリッカ成分を確実かつ十分に低減することができる。
【００９０】
＜ホワイトバランス調整との関係＞
ホワイトバランス調整とフリッカ検出低減処理との関係については、各色の色信号ごとに別個にフリッカ成分が重畳されている場合、ホワイトバランス調整の後にフリッカ検出低減処理を行うと、ホワイトバランス調整にとっては、入力映像信号が色ごとに別個に変動していることになるため、白色領域の抽出に不具合を来たし、その結果、適切なホワイトバランスが得られないことになる。
【００９１】
これに対して、図３の例のようにホワイトバランス調整の前にフリッカ検出低減処理を行うことによって、すなわちフリッカ検出低減処理の後にホワイトバランス調整を行うことによって、白色領域を正確に抽出することができ、適切なホワイトバランスを確実に得ることができる。
【００９２】
＜欠陥画素検出との関係＞
上述したように撮影時には欠陥画素の検出を行わなければ、欠陥画素の検出とフリッカ検出低減処理との関係は特に問題にならない。しかし、一般に欠陥画素の検出は入射光をゼロにした状態で行われるものの、入射光がゼロでなくても、非常に暗いシーンであれば、欠陥画素を特定することは比較的容易である。そして、一般に欠陥画素が目立つシーンは暗いシーンであるので、入射光をゼロにして欠陥画素を検出する方法だけでなく、暗いシーンを撮影しながら欠陥画素をリアルタイムで検出する方法も、採用し得る。しかし、その後者の方法では、欠陥画素の検出に当たって入力映像信号にフリッカ成分が含まれていると、欠陥画素の検出に悪影響を及ぼし、欠陥画素を正確に検出することができなくなる。
【００９３】
これに対して、図３の例のように欠陥画素の検出前にフリッカ検出低減処理を行うことによって、すなわちフリッカ検出低減処理の後に欠陥画素を検出することによって、欠陥画素検出回路７４での欠陥画素検出方法として、暗いシーンを撮影しながら欠陥画素をリアルタイムで検出する方法を採る場合でも、欠陥画素を正確に検出することができ、欠陥画素データ補正回路５４において、欠陥画素のデータを高精度で補正することができる。
【００９４】
〔フリッカ検出低減方法：図４〜図９〕
フリッカ検出低減部６０におけるフリッカ検出低減の方法自体は、特に限定されない。
【００９５】
上記の特許文献１（特開２０００−３５０１０２号公報）または特許文献２（特開２０００−２３０４０号公報）に示されているような、受光素子や測光素子により蛍光灯の光量を測定することによってフリッカ成分を推定（検出）する方法は、採り得ないが、撮像素子から得られた映像信号をＡ／Ｄ変換した後の映像信号から、蛍光灯フリッカの連続性を利用してフリッカ成分を検出（推定）し、その検出結果に応じて映像信号のレベルまたはゲインを補正してフリッカ成分を低減する方法であれば、いかなる方法でもよい。
【００９６】
ただし、この発明の上述した例では、デジタル信号処理部４０の、デジタルクランプ回路５１、読み出しチャネル間ゲイン補正回路５２、固定パターンノイズ低減回路５３、欠陥画素データ補正回路５４、ノイズ低減回路５５、レンズシェーディング補正回路５６およびデジタルゲイン調整回路５７からなる前段処理部５０と、ホワイトバランス調整回路７１、ガンマ補正回路７２、合成マトリクス回路７３および欠陥画素検出回路７４からなる後段処理部７０との間に、フリッカ検出低減部６０を配置して、フリッカ成分を検出し低減する。
【００９７】
フリッカ検出低減方法自体は、特に限定されないが、発明者の発明に係る先願（特願２００３−１７３６４２）の発明の方法によれば、簡単な信号処理によって、ＣＭＯＳ撮像素子などのＸＹアドレス走査型の撮像素子に固有の蛍光灯フリッカ成分を、被写体や映像信号レベルおよび蛍光灯の種類などにかかわらず、正確かつ高精度に検出し、確実かつ十分に低減することができる。
【００９８】
この先願の発明のフリッカ検出低減方法は、（ａ）撮像素子からの映像信号（各色の色信号または輝度信号）を入力画像信号として、その入力画像信号を１水平周期以上の時間に渡って積分する工程と、（ｂ）その積分値、または隣接するフィールドまたはフレームにおける積分値の差分値を、正規化する工程と、（ｃ）その正規化後の積分値または差分値のスペクトルを抽出する工程と、（ｄ）その抽出したスペクトルからフリッカ成分を推定する工程と、（ｅ）その推定したフリッカ成分を打ち消すように、推定したフリッカ成分と上記の入力画像信号を演算する工程とを備えるものである。
【００９９】
この場合、（ｂ）の正規化工程では、後述のように、（ｂ１）差分値を連続する複数フィールドまたは複数フレームにおける積分値の平均値で除算し、または（ｂ２）積分値を連続する複数フィールドまたは複数フレームにおける積分値の平均値で除算し、その除算結果から所定値を減算し、または（ｂ３）差分値を積分値で除算する。また、（ｃ）のスペクトル抽出工程では、正規化後の積分値または差分値をフーリエ変換するなどの方法を用いる。
【０１００】
（フリッカ検出低減部の構成例：図４〜図９）
先願の発明のフリッカ検出低減方法では、図３の例のようにフリッカ検出低減部６０の入力映像信号がＲＧＢ原色信号である場合、フリッカ検出低減部６０として、ＲＧＢ原色信号のそれぞれに対して、図４に示すようなフリッカ検出低減部６０Ａが設けられる。ただし、上述したようにフリッカ検出低減部６０の入力映像信号は補色系の各色信号でもよい。
【０１０１】
図４の例は、ＮＴＳＣ方式（垂直同期周波数が６０Ｈｚ）のＣＭＯＳビデオカメラの場合（上述したように、蛍光灯照明下では、電源周波数が５０Ｈｚのときには、３フィールドを繰り返し周期とする時間軸上で連続性を持ったフリッカを生じ、電源周波数が６０Ｈｚのときには、そもそもフリッカが発生しない）であり、ＰＡＬ方式（垂直同期周波数が５０Ｈｚ）のＣＭＯＳビデオカメラの場合、ＮＴＳＣ方式とＰＡＬ方式のいずれかに選択的に設定されるＣＭＯＳビデオカメラの場合、またはプログレッシブ方式のＣＭＯＳカメラの場合については、後述する。
【０１０２】
図４の例では、以下の「入力画像信号」とは、それぞれフリッカ検出低減部６０Ａに入力されるフリッカ検出低減処理前のＲＧＢ原色信号であり、「出力画像信号」とは、それぞれフリッカ検出低減部６０Ａから出力されるフリッカ検出低減処理後のＲＧＢ原色信号である。
【０１０３】
図１２および図１３は、被写体が一様な場合であるが、一般にフリッカ成分は被写体の信号強度に比例する。
【０１０４】
そこで、一般の被写体についての任意のフィールドｎおよび任意の画素（ｘ，ｙ）における入力画像信号をＩｎ’（ｘ，ｙ）とすると、Ｉｎ’（ｘ，ｙ）は、フリッカ成分を含まない信号成分と、これに比例したフリッカ成分との和として、図５の式（１）で表される。
【０１０５】
Ｉｎ（ｘ，ｙ）は、信号成分であり、Γｎ（ｙ）＊Ｉｎ（ｘ，ｙ）は、フリッカ成分であり、Γｎ（ｙ）は、フリッカ係数である。蛍光灯の発光周期（電源周波数が５０Ｈｚのときには１／１００秒、電源周波数が６０Ｈｚのときには１／１２０秒）に比べて１水平周期は十分短く、同一フィールドの同一ラインではフリッカ係数は一定と見なすことができるので、フリッカ係数はΓｎ（ｙ）で表す。
【０１０６】
Γｎ（ｙ）を一般化するために、図５の式（２）に示すように、フーリエ級数に展開した形式で記述する。これによって、蛍光灯の種類によって異なる発光特性および残光特性を全て網羅した形式でフリッカ係数を表現することができる。
【０１０７】
式（２）中のλｏは、図１３に示したような面内フリッカの波長であり、１フィールド当たりの読み出しライン数をＭとすると、電源周波数が５０Ｈｚの場合には、Ｌ（＝Ｍ＊６０／１００）ラインに相当する。ωｏは、λｏで正規化された規格化角周波数である。
【０１０８】
γｍは、各次（ｍ＝１，２，３‥）のフリッカ成分の振幅である。Φｍｎは、各次のフリッカ成分の初期位相を示し、蛍光灯の発光周期と露光タイミングによって決まる。ただし、垂直同期周波数が６０Ｈｚの場合には、Φｍｎは３フィールドごとに同じ値になるので、直前のフィールドとの間のΦｍｎの差は、図５の式（３）で表される。
【０１０９】
図４の例では、まず、入力画像信号Ｉｎ’（ｘ，ｙ）が、フリッカ検出用に絵柄の影響を少なくするために、積分ブロック６２で、図５の式（４）に示すように、画面水平方向に１ライン分に渡って積分され、積分値Ｆｎ（ｙ）が算出される。式（４）中のαｎ（ｙ）は、図５の式（５）で表されるように、信号成分Ｉｎ（ｘ，ｙ）の１ライン分に渡る積分値である。
【０１１０】
算出された積分値Ｆｎ（ｙ）は、以後のフィールドでのフリッカ検出用に、積分値保持ブロック６３に記憶保持される。垂直同期周波数が６０Ｈｚの場合には、積分値保持ブロック６３は、少なくとも２フィールド分の積分値を保持できる構成とされる。
【０１１１】
被写体が一様であれば、信号成分Ｉｎ（ｘ，ｙ）の積分値αｎ（ｙ）が一定値となるので、入力画像信号Ｉｎ’（ｘ，ｙ）の積分値Ｆｎ（ｙ）からフリッカ成分αｎ（ｙ）＊Γｎ（ｙ）を抽出することは容易である。
【０１１２】
しかし、一般的な被写体では、αｎ（ｙ）にもｍ＊ωｏ成分が含まれるため、フリッカ成分としての輝度成分および色成分と、被写体自身の信号成分としての輝度成分および色成分とを分離することができず、純粋にフリッカ成分のみを抽出することはできない。さらに、式（４）の第１項の信号成分に対して第２項のフリッカ成分は非常に小さいので、フリッカ成分は信号成分中にほとんど埋もれてしまい、積分値Ｆｎ（ｙ）から直接、フリッカ成分を抽出するのは不可能と言える。
【０１１３】
そこで、図４の例では、積分値Ｆｎ（ｙ）からαｎ（ｙ）の影響を取り除くために、連続する３フィールドにおける積分値を用いる。
【０１１４】
すなわち、この例では、積分値Ｆｎ（ｙ）の算出時、積分値保持ブロック６３から、１フィールド前の同じラインの積分値Ｆｎ＿１（ｙ）、および２フィールド前の同じラインの積分値Ｆｎ＿２（ｙ）が読み出され、平均値計算ブロック６４で、３つの積分値Ｆｎ（ｙ），Ｆｎ＿１（ｙ），Ｆｎ＿２（ｙ）の平均値ＡＶＥ［Ｆｎ（ｙ）］が算出される。
【０１１５】
連続する３フィールドの期間中の被写体をほぼ同一と見なすことができれば、αｎ（ｙ）は同じ値と見なすことができる。被写体の動きが３フィールドの間で十分小さければ、実用上、この仮定は問題ない。さらに、連続する３フィールドにおける積分値の平均値を演算することは、式（３）の関係から、フリッカ成分の位相が（−２π／３）＊ｍずつ順次ずれた信号を加え合わせることになるので、結果的にフリッカ成分が打ち消されることになる。したがって、平均値ＡＶＥ［Ｆｎ（ｙ）］は、図６の式（６）で表される。
【０１１６】
ただし、以上は、図６の式（７）の近似が成り立つものとして、連続する３フィールドにおける積分値の平均値を算出する場合であるが、被写体の動きが大きい場合には、式（７）の近似が成り立たなくなる。
【０１１７】
そのため、被写体の動きが大きい場合を想定したフリッカ検出低減部６０Ａとしては、積分値保持ブロック６３に３フィールド以上に渡る積分値を保持し、当該のフィールドの積分値Ｆｎ（ｙ）を合わせて４フィールド以上に渡る積分値の平均値を算出すればよい。これによって、時間軸方向のローパスフィルタ作用により、被写体が動いたことによる影響が小さくなる。
【０１１８】
ただし、フリッカは３フィールドごとの繰り返しとなるので、フリッカ成分を打ち消すには、連続するｊ（３の、２倍以上の整数倍、すなわち、６，９‥）フィールドにおける積分値の平均値を算出する必要があり、積分値保持ブロック６３は、少なくとも（ｊ−１）フィールド分の積分値を保持できる構成とする。
【０１１９】
図４の例は、図６の式（７）の近似が成り立つものとした場合である。この場合には、さらに、差分計算ブロック６５で、積分ブロック６２からの当該フィールドの積分値Ｆｎ（ｙ）と、積分値保持ブロック６３からの１フィールド前の積分値Ｆｎ＿１（ｙ）との差分が計算され、図６の式（８）で表される差分値Ｆｎ（ｙ）−Ｆｎ＿１（ｙ）が算出される。式（８）も、式（７）の近似が成り立つことを前提としている。
【０１２０】
差分値Ｆｎ（ｙ）−Ｆｎ＿１（ｙ）では、被写体の影響が十分除去されるため、積分値Ｆｎ（ｙ）に比べてフリッカ成分（フリッカ係数）の様子が明確に現れる。
【０１２１】
図４の例では、さらに、正規化ブロック６６で、差分計算ブロック６５からの差分値Ｆｎ（ｙ）−Ｆｎ＿１（ｙ）が、平均値計算ブロック６４からの平均値ＡＶＥ［Ｆｎ（ｙ）］で除算されることによって正規化され、正規化後の差分値ｇｎ（ｙ）が算出される。
【０１２２】
正規化後の差分値ｇｎ（ｙ）は、図６の式（６）（８）および三角関数の和積公式によって、図７の式（９）のように展開され、さらに図５の式（３）の関係から、図７の式（１０）で表される。式（１０）中の｜Ａｍ｜，θｍは、式（１１ａ）（１１ｂ）で表される。
【０１２３】
差分値Ｆｎ（ｙ）−Ｆｎ＿１（ｙ）は、被写体の信号強度の影響が残るため、領域によってフリッカによる輝度変化および色変化のレベルが異なってしまうが、上記のように正規化することによって、全領域に渡ってフリッカによる輝度変化および色変化を同一レベルに合わせることができる。
【０１２４】
図７の式（１１ａ）（１１ｂ）で表される｜Ａｍ｜，θｍは、正規化後の差分値ｇｎ（ｙ）の、各次のスペクトルの振幅および初期位相であり、正規化後の差分値ｇｎ（ｙ）をフーリエ変換して、各次のスペクトルの振幅｜Ａｍ｜および初期位相θｍを検出すれば、図８の式（１２ａ）（１２ｂ）によって、図５の式（２）に示した各次のフリッカ成分の振幅γｍおよび初期位相Φｍｎを求めることができる。
【０１２５】
そこで、図４の例では、ＤＦＴ（離散フーリエ変換）ブロック６７において、正規化ブロック６６からの正規化後の差分値ｇｎ（ｙ）の、フリッカの１波長分（Ｌライン分）に相当するデータを、離散フーリエ変換する。
【０１２６】
ＤＦＴ演算をＤＦＴ［ｇｎ（ｙ）］とし、次数ｍのＤＦＴ結果をＧｎ（ｍ）とすれば、ＤＦＴ演算は、図８の式（１３）で表される。式（１３）中のＷは、式（１４）で表される。また、ＤＦＴの定義によって、式（１１ａ）（１１ｂ）と式（１３）との関係は、図８の式（１５ａ）（１５ｂ）で表される。
【０１２７】
したがって、式（１２ａ）（１２ｂ）（１５ａ）（１５ｂ）から、図８の式（１６ａ）（１６ｂ）によって、各次のフリッカ成分の振幅γｍおよび初期位相Φｍｎを求めることができる。
【０１２８】
ＤＦＴ演算のデータ長を、フリッカの１波長分（Ｌライン分）とするのは、これによって、ちょうどωｏの整数倍の離散スペクトル群を直接、得ることができるからである。
【０１２９】
一般に、デジタル信号処理のフーリエ変換としては、ＦＦＴ（高速フーリエ変換）が用いられるが、この例では、あえてＤＦＴを用いる。その理由は、フーリエ変換のデータ長が２のべき乗になっていないので、ＦＦＴよりＤＦＴの方が都合よいためである。ただし、入出力データを加工してＦＦＴを用いることもできる。
【０１３０】
実際の蛍光灯照明下では、次数ｍを数次までに限定しても、フリッカ成分を十分近似できるので、ＤＦＴ演算もデータを全て出力する必要はなく、ＦＦＴに比べて演算効率の点でデメリットはない。
【０１３１】
ＤＦＴブロック６７では、まず、式（１３）で定義されるＤＦＴ演算によって、スペクトルが抽出され、その後、式（１６ａ）（１６ｂ）の演算によって、各次のフリッカ成分の振幅γｍおよび初期位相Φｍｎが推定される。
【０１３２】
図４の例では、さらに、フリッカ生成ブロック６８で、ＤＦＴブロック６７からのγｍ，Φｍｎの推定値から、図５の式（２）で表されるフリッカ係数Γｎ（ｙ）が算出される。
【０１３３】
ただし、上述したように、実際の蛍光灯照明下では、次数ｍを数次までに限定しても、フリッカ成分を十分近似できるので、式（２）によるフリッカ係数Γｎ（ｙ）の算出に当たっては、総和次数を無限大ではなく、あらかじめ定められた次数、例えば２次までに限定することができる。
【０１３４】
上述した方法によれば、積分値Ｆｎ（ｙ）ではフリッカ成分が信号成分中に完全に埋もれてしまう、フリッカ成分が微小な黒の背景部分や低照度の部分などの領域でも、差分値Ｆｎ（ｙ）−Ｆｎ＿１（ｙ）を算出し、これを平均値ＡＶＥ［Ｆｎ（ｙ）］で正規化することによって、フリッカ成分を高精度で検出することができる。
【０１３５】
また、適当な次数までのスペクトルからフリッカ成分を推定することは、正規化後の差分値ｇｎ（ｙ）を完全に再現しないで近似することになるが、これによって、かえって、被写体の状態によって正規化後の差分値ｇｎ（ｙ）に不連続な部分を生じても、その部分のフリッカ成分を精度良く推定できることになる。
【０１３６】
図５の式（１）から、フリッカ成分を含まない信号成分Ｉｎ（ｘ，ｙ）は、図８の式（１７）で表される。
【０１３７】
そこで、図４の例では、演算ブロック６９で、フリッカ生成ブロック６８からのフリッカ係数Γｎ（ｙ）に１が加えられ、その和［１＋Γｎ（ｙ）］で入力画像信号Ｉｎ’（ｘ，ｙ）が除算される。
【０１３８】
これによって、入力画像信号Ｉｎ’（ｘ，ｙ）に含まれるフリッカ成分がほぼ完全に除去され、演算ブロック６９からは、出力画像信号として、実質的にフリッカ成分を含まない信号成分Ｉｎ（ｘ，ｙ）が得られる。
【０１３９】
なお、システムが有する演算能力の制約から、上記の全ての処理を１フィールドの時間内で完結できない場合には、フリッカが３フィールドごとの繰り返しとなることを利用して、演算ブロック６９内にフリッカ係数Γｎ（ｙ）を３フィールドに渡って保持する機能を設け、３フィールド後の入力画像信号Ｉｎ’（ｘ，ｙ）に対して、その保持したフリッカ係数Γｎ（ｙ）を演算する構成とすればよい。
【０１４０】
なお、図４の例は、後述する他の構成例のように積分値Ｆｎ（ｙ）ではなく、差分値Ｆｎ（ｙ）−Ｆｎ＿１（ｙ）を、平均値ＡＶＥ［Ｆｎ（ｙ）］で正規化する場合であるが、便宜上、フリッカ検出低減部６０Ａ中のＤＦＴブロック６７の前段部分を正規化積分値算出ブロック６１と称する。
【０１４１】
（フリッカ検出低減部の他の構成例）
図４の例のように、差分値Ｆｎ（ｙ）−Ｆｎ＿１（ｙ）を平均値ＡＶＥ［Ｆｎ（ｙ）］で正規化すれば、有限の計算精度を効果的に確保することができる。しかし、要求される計算精度を満足できる場合には、積分ブロック６２からの積分値Ｆｎ（ｙ）を直接、平均値ＡＶＥ［Ｆｎ（ｙ）］で正規化してもよい。
【０１４２】
ただし、この場合の正規化後の差分値ｇｎ（ｙ）は、図９の式（１８）で表されるものとなるので、後段の処理を図４の例と同様にするため、図９の式（１９）に示すように、式（１８）で表される正規化後の差分値ｇｎ（ｙ）から１を減算し、その結果をＤＦＴブロック６７に送出する。
【０１４３】
この場合、｜Ａｍ｜＝γｍ，θｍ＝Φｍｎであるので、図８の式（１５ａ）（１５ｂ）から、γｍ，Φｍｎは、図９の式（２０ａ）（２０ｂ）によって求めることができる。
【０１４４】
したがって、ＤＦＴブロック６７では、図４の例では、図８の式（１３）で定義されるＤＦＴ演算によってスペクトルを抽出した後、式（１６ａ）（１６ｂ）の演算によって各次のフリッカ成分の振幅γｍおよび初期位相Φｍｎを推定するのに対して、この場合には、式（１３）で定義されるＤＦＴ演算によってスペクトルを抽出した後、式（２０ａ）（２０ｂ）の演算によって各次のフリッカ成分の振幅γｍおよび初期位相Φｍｎを推定する。以後の処理は、図４の例と同じである。
【０１４５】
この場合には、差分計算ブロック６５が不要となるので、その分、フリッカ検出低減部６０Ａを簡略化することができる。
【０１４６】
図４の例で、差分値Ｆｎ（ｙ）−Ｆｎ＿１（ｙ）の正規化に用いる平均値ＡＶＥ［Ｆｎ（ｙ）］は、図６の式（７）の近似が成り立つ場合には、式（６）で表されるようにαｎ（ｙ）に等しいとともに、図５の式（４）の第２項［αｎ（ｙ）＊Γｎ（ｙ）］は、第１項のαｎ（ｙ）に比べて十分小さいので、正規化に及ぼす第２項の影響は非常に小さい。
【０１４７】
したがって、差分値Ｆｎ（ｙ）−Ｆｎ＿１（ｙ）の正規化については、平均値ＡＶＥ［Ｆｎ（ｙ）］の代わりに積分ブロック６２からの積分値Ｆｎ（ｙ）を用いても、ほとんど問題がなく、平均値ＡＶＥ［Ｆｎ（ｙ）］を用いる場合と同様に、効果的にフリッカ成分を検出することができる。
【０１４８】
この場合には、積分値保持ブロック６３は１フィールド分の積分値を保持できればよいとともに、平均値計算ブロック６４を必要としないので、フリッカ検出低減部６０Ａを簡略化することができる。
【０１４９】
上述した各例は、入力画像信号Ｉｎ’（ｘ，ｙ）を１ライン分に渡って積分する場合であるが、入力画像信号Ｉｎ’（ｘ，ｙ）の積分は、絵柄の影響を少なくしてフリッカ成分のサンプリング値を得るためであるので、１ラインに限らず、複数ラインの時間に渡って行ってもよい。
【０１５０】
垂直同期周波数が６０Ｈｚ，電源周波数が５０Ｈｚの場合、上述したように画面上では縞模様として現れる蛍光灯フリッカの１周期はＬ（＝Ｍ＊６０／１００）ラインに相当するので、その１周期、すなわちＬラインで、少なくとも２つのサンプリング値を得るようにすれば、いわゆるサンプリングの定理から、フリッカ成分を検出することができる。
【０１５１】
実際上は、フリッカの１周期で数個以上ないし１０個以上のサンプリング値を得ることが望ましいが、その場合でも、入力画像信号Ｉｎ’（ｘ，ｙ）を水平周期の数倍以上ないし１０倍以上の時間に渡って積分することができる。また、積分時間は、２．５水平周期などというように、水平周期のちょうど整数倍でなくてもよい。
【０１５２】
そして、このように積分時間を長くし、単位時間当たりのサンプリング数を減らす場合には、ＤＦＴブロック６７におけるＤＦＴ演算の負担を軽くすることができるとともに、被写体が画面垂直方向に動いた場合に、その影響を少なくすることができる。
【０１５３】
上述した各例で、入力画像信号Ｉｎ’（ｘ，ｙ）のレベルが飽和領域にある場合、演算ブロック６９で図８の式（１７）の演算を行うと、逆に信号成分（上記の例では原色信号成分）が変化してしまう。
【０１５４】
そこで、演算ブロック６９は、入力画像信号Ｉｎ’（ｘ，ｙ）のレベルが飽和領域の閾値レベル以上であるか否かを画素ごとに判断し、入力画像信号Ｉｎ’（ｘ，ｙ）のレベルが飽和領域の閾値レベルに満たない画素では、上述したように図８の式（１７）の演算結果を出力画像信号Ｉｎ（ｘ，ｙ）として出力し、入力画像信号Ｉｎ’（ｘ，ｙ）のレベルが飽和領域の閾値レベル以上である画素では、入力画像信号Ｉｎ’（ｘ，ｙ）をそのまま出力画像信号Ｉｎ（ｘ，ｙ）として出力するように構成することが望ましい。
【０１５５】
これによれば、入力画像信号Ｉｎ’（ｘ，ｙ）のレベルが飽和領域にある場合に、信号成分が変化してしまうことがなく、高画質の出力画像信号が得られる。
【０１５６】
（屋外や非蛍光灯照明下などでの撮影の場合）
屋外での撮影や、非蛍光灯照明下での撮影では、そもそもフリッカ検出低減処理は不要である。
【０１５７】
また、動画と静止画の両方を撮影できるビデオカメラで静止画を撮影する場合には、ＣＭＯＳ撮像装置でも、１画面内の全ての画素の露光タイミング（露光開始および露光終了のタイミング）を同一にすることができ、蛍光灯フリッカの発生を回避することができるので、フリッカ検出低減処理は不要となる。この場合、ＣＭＯＳ撮像素子からの映像信号の読み出しは、動画を撮影する場合のような電子シャッタ速度の制約がないので、機械的なシャッタを閉じて遮光した状態で、ゆっくり行うことができる。
【０１５８】
これらの場合のようにフリッカ検出低減処理が不要な場合には、フリッカ検出低減部６０（６０Ａ）ではフリッカ検出低減処理が実行されず、入力画像信号Ｉｎ’（ｘ，ｙ）がそのまま出力画像信号Ｉｎ（ｘ，ｙ）として出力されるように、システムコントローラ８０によってフリッカ検出低減部６０（６０Ａ）を制御する。
【０１５９】
（ＰＡＬ方式またはプログレッシブ方式の場合）
以上の例は、ＮＴＳＣ方式（垂直同期周波数が６０Ｈｚ）のＣＭＯＳビデオカメラの場合であるが、ＰＡＬ方式（垂直同期周波数が５０Ｈｚ）のＣＭＯＳビデオカメラの場合には、蛍光灯照明下で、電源周波数が６０Ｈｚのとき、５フィールド（５画面）を繰り返し周期とする時間軸上で連続性を持ったフリッカを生じるので、フリッカ検出低減部６０（６０Ａ）としては、それに対応した構成（ＮＴＳＣ方式の場合の「３フィールド」を「５フィールド」に置き換えた構成）とすればよい。
【０１６０】
また、ＮＴＳＣ方式とＰＡＬ方式のいずれかに選択的に設定されるＣＭＯＳビデオカメラの場合には、カメラがＮＴＳＣ方式に設定されたときには、フリッカ検出低減部６０もＮＴＳＣ方式用に切り替えられ、カメラがＰＡＬ方式に設定されたときには、フリッカ検出低減部６０もＰＡＬ方式用に切り替えられるように、フリッカ検出低減部６０を構成すればよい。
【０１６１】
さらに、例えば垂直同期周波数が３０Ｈｚ（フレーム周波数が３０Ｈｚ）のプログレッシブ方式のＣＭＯＳカメラの場合には、蛍光灯照明下で、電源周波数が５０Ｈｚのとき、３フレーム（３画面）を繰り返し周期とする時間軸上で連続性を持ったフリッカを生じるので、フリッカ検出低減部６０としては、それに対応した構成（ＮＴＳＣ方式の場合の「フィールド」を「フレーム」に置き換え、「３フィールド」を「３フレーム」に置き換えた構成）とすればよい。
【０１６２】
〔他の実施形態〕
上述した例は、フリッカ検出低減部６０を含むデジタル信号処理部４０をハードウェアによって構成する場合であるが、フリッカ検出低減部６０またはデジタル信号処理部４０の一部または全部をソフトウェアによって構成してもよい。
【０１６３】
さらに、この発明は、ＣＭＯＳ撮像素子以外のＸＹアドレス走査型の撮像素子を用いた撮像装置にも適用することができる。
【図面の簡単な説明】
【０１６４】
【図１】この発明の撮像装置の一例のシステム構成を示す図である。
【図２】複数の読み出しチャネルによって映像信号を読み出す場合の一例を示す図である。
【図３】図１の撮像装置のデジタル信号処理部の一例を示す図である。
【図４】フリッカ検出低減部の一例を示す図である。
【図５】具体例のフリッカ検出低減方法の説明に供する式を示す図である。
【図６】具体例のフリッカ検出低減方法の説明に供する式を示す図である。
【図７】具体例のフリッカ検出低減方法の説明に供する式を示す図である。
【図８】具体例のフリッカ検出低減方法の説明に供する式を示す図である。
【図９】具体例のフリッカ検出低減方法の説明に供する式を示す図である。
【図１０】ＣＣＤ撮像装置における蛍光灯フリッカの説明に供する図である。
【図１１】ＣＭＯＳ撮像装置における蛍光灯フリッカの説明に供する図である。
【図１２】ＣＭＯＳ撮像装置における蛍光灯フリッカの１画面内の縞模様を示す図である。
【図１３】ＣＭＯＳ撮像装置における蛍光灯フリッカの連続する３画面に渡る縞模様を示す図である。
【符号の説明】
【０１６５】
主要部については図中に全て記述したので、ここでは省略する。
【技術分野】
【０００１】
この発明は、ＣＭＯＳ（相補型金属酸化物半導体）撮像素子などのＸＹアドレス走査型の撮像素子（イメージャ、イメージセンサ）を用いたビデオカメラやデジタルスチルカメラなどの撮像装置、および、その撮像装置によって被写体を撮影した場合に撮像素子から得られる映像信号を処理する方法に関する。
【背景技術】
【０００２】
商用交流電源（家庭用電源）によって点灯される蛍光灯の照明下で、ビデオカメラによって被写体を撮影すると、蛍光灯の輝度変化（光量変化）の周波数（電源周波数の２倍）とカメラの垂直同期周波数（撮像周波数）との違いによって、撮影出力の映像信号に時間的な明暗の変化、いわゆる蛍光灯フリッカを生じる。
【０００３】
例えば、商用交流電源周波数が５０Ｈｚの地域において、非インバータ方式の蛍光灯の照明下で（インバータ方式の蛍光灯の場合にも、整流が十分でない場合にはフリッカを生じるので、非インバータ方式の蛍光灯の場合に限らないが）、ＮＴＳＣ方式（垂直同期周波数（この場合はフィールド周波数）は６０Ｈｚ）のＣＣＤカメラによって被写体を撮影する場合、図１０に示すように、１フィールドが１／６０秒であるのに対して、蛍光灯の輝度変化の周期が１／１００秒となるので、蛍光灯の輝度変化に対して各フィールドの露光タイミングがずれ、各画素の露光量がフィールドごとに変化する。
【０００４】
そのため、例えば、露光時間が１／６０秒であるときには、期間ａ１，ａ２，ａ３では、同じ露光時間でも露光量が異なり、露光時間が１／６０秒より短いとき（ただし、後述のように１／１００秒ではないとき）には、期間ｂ１，ｂ２，ｂ３では、同じ露光時間でも露光量が異なる。
【０００５】
蛍光灯の輝度変化に対する露光タイミングは、３フィールドごとに元のタイミングに戻るため、フリッカによる明暗変化は、３フィールドごとの繰り返しとなる。すなわち、各フィールドの輝度比（フリッカの見え方）は、露光期間によって変わるが、フリッカの周期は変わらない。
【０００６】
ただし、デジタルスチルカメラなど、プログレッシブ方式のカメラで、垂直同期周波数（この場合はフレーム周波数）が３０Ｈｚの場合には、３フレームごとに明暗変化が繰り返される。
【０００７】
さらに、蛍光灯は、白色光を発光するために、通常、複数の蛍光体、例えば、赤、緑、青の蛍光体が用いられている。しかし、これら蛍光体は、それぞれが固有の残光特性を有し、輝度変化の周期中に存在する放電停止から次の放電開始までの期間は、それぞれの残光特性で減衰発光する。そのため、この期間では、始めは白色であった光が、次第に色相を変えながら減衰することになるので、上記のように露光タイミングがずれると、明暗変化だけでなく、色相変化を生じる。また、蛍光灯は、特定の波長に強いピークが存在するという特有の分光特性を持っているため、色によって信号の変動成分が異なる。
【０００８】
そして、このような色相変化、および色ごとの変動成分の差によって、いわゆる色フリッカが発生する。
【０００９】
これに対して、図１０のように電源周波数が５０Ｈｚ、撮像装置の垂直同期周波数が６０Ｈｚの場合、同図の最下段に示すように、露光時間を蛍光灯の輝度変化の周期である１／１００秒に設定すれば、露光タイミングにかかわらず露光量が一定となって、フリッカを生じない。
【００１０】
実際、ユーザの操作によって、またはカメラでの信号処理により蛍光灯照明下であることを検出することによって、蛍光灯照明下である場合には露光時間を１／１００秒に設定する方式が考えられている。この方式によれば、単純な方法で、フリッカの発生を完全に防止することができる。
【００１１】
しかし、この方式では、任意の露光時間に設定することができないため、適切な露出を得るための露光量調整手段の自由度が減ってしまう。
【００１２】
そこで、このようにシャッタ速度を規定することなく、蛍光灯フリッカを低減する方法も考えられている。ＣＣＤ撮像装置のように１画面内の全ての画素が同一の露光タイミングで露光される撮像装置の場合には、フリッカによる明暗変化および色変化がフィールド間でのみ現れるため、フリッカを低減することは比較的容易に実現することができる。
【００１３】
例えば、図１０の場合、露光時間が１／１００秒でなければ、フリッカは３フィールドの繰り返し周期となるので、各フィールドの映像信号の平均値が一定となるように３フィールド前の映像信号から現在の輝度および色の変化を予測し、その予測結果に応じて各フィールドの映像信号のゲインを調整することによって、フリッカを実用上問題のないレベルまで抑圧することができる。
【００１４】
しかしながら、ＣＭＯＳ撮像素子などのＸＹアドレス走査型の撮像素子では、画素ごとの露光タイミングが画面水平方向において読み出しクロック（画素クロック）の１周期分ずつ順次ずれ、全ての画素で露光タイミングが異なるため、上記の方法ではフリッカを十分抑圧することはできない。
【００１５】
図１１に、その様子を示す。上記のように画面水平方向でも各画素の露光タイミングが順次ずれるが、蛍光灯の輝度変化の周期に比べて１水平周期は十分短いので、同一ライン上の画素は露光タイミングが同時であると仮定し、画面垂直方向における各ラインの露光タイミングを示す。実際上、このように仮定しても問題はない。
【００１６】
図１１に示すように、ＸＹアドレス走査型の撮像装置、例えばＣＭＯＳ撮像装置では、ラインごとに露光タイミングが異なり（Ｆ０は、あるフィールドでの、その様子を示す）、各ラインで露光量に差を生じるため、フリッカによる明暗変化および色変化が、フィールド間だけでなくフィールド内でも生じ、画面上では縞模様（縞自体の方向は水平方向、縞の変化の方向は垂直方向）として現れる。
【００１７】
図１２に、被写体が均一なパターンの場合の、この面内（画面内）フリッカの様子を示す。縞模様の１周期（１波長）が１／１００秒であるので、１画面中には１．６６６周期分の縞模様が発生することになり、１フィールド当たりの読み出しライン数をＭとすると、縞模様の１周期は読み出しライン数ではＬ＝Ｍ＊６０／１００に相当する。なお、明細書および図面では、アスタリスク（＊）を乗算の記号として用いる。
【００１８】
図１３に示すように、この縞模様は、３フィールド（３画面）で５周期（５波長）分となり、連続的に見ると垂直方向に流れるように見える。
【００１９】
図１２および図１３には、フリッカによる明暗変化のみを示すが、実際には上述した色変化も加わり、画質が著しく劣化する。特に色フリッカは、シャッタ速度が速くなる（露光時間が短くなる）と顕著になるとともに、ＸＹアドレス走査型の撮像装置では、その影響が画面内に現れるため、画質劣化がより目立つようになる。
【００２０】
このようなＸＹアドレス走査型の撮像装置の場合にも、例えば、図１１のように電源周波数が５０Ｈｚ、撮像装置の垂直同期周波数が６０Ｈｚの場合、露光時間を蛍光灯の輝度変化の周期である１／１００秒に設定すれば、露光タイミングにかかわらず露光量が一定となって、面内フリッカを含む蛍光灯フリッカを生じない。
【００２１】
しかしながら、フリッカ防止のために露光時間を１／１００秒にしか設定できないとすると、適切な露出を得るための露光量調整手段の自由度が減ってしまう。
【００２２】
そこで、このようにシャッタ速度を規定することなく、ＣＭＯＳ撮像装置などのＸＹアドレス走査型の撮像装置に固有の蛍光灯フリッカを低減する方法が提案されている。
【００２３】
具体的に、特許文献１（特開２０００−３５０１０２号公報）または特許文献２（特開２０００−２３０４０号公報）には、受光素子や測光素子により蛍光灯の光量を測定することによってフリッカ成分を推定し、その推定結果に応じて撮像素子からの映像信号の利得を制御する方法が示されている。しかし、この方法は、撮像装置に受光素子や測光素子を付加するので、撮像装置システムのサイズやコストが増大する。
【００２４】
これに対して、特許文献３（特開２００１−１６５０８号公報）には、現在の外光条件に適した第１の電子シャッタ値と蛍光灯の明滅周期に対して所定の関係を有する第２の電子シャッタ値との２条件で２種の画像を撮影し、両者の信号を比較することによってフリッカ成分を推定し、その推定結果に応じて撮像素子からの映像信号の利得を制御する方法が示されている。ただし、この方法は、動画の撮影には適さない。
【００２５】
また、特許文献４（特開２０００−１６５７５２号公報）には、フリッカの位相がちょうど１８０度反転するような時間差をもって露光された２つの映像信号から補正係数を算出し、その算出した補正係数によって映像信号を補正する方法が示されている。ただし、この方法も、動画の撮影には適さない。
【００２６】
さらに、特許文献５（特開平１１−１６４１９２号公報）には、あらかじめ蛍光灯照明下での明暗変化の様子を補正係数としてメモリ内に記録しておく一方で、映像信号成分とフリッカ成分の周波数の違いを利用して撮像素子からの映像信号からフリッカ成分の位相を検出し、その検出結果に応じてメモリ内の補正係数によって映像信号を補正する方法が示されている。
【００２７】
上に挙げた先行技術文献は、以下のとおりである。
【特許文献１】特開２０００−３５０１０２号公報
【特許文献２】特開２０００−２３０４０号公報
【特許文献３】特開２００１−１６５０８号公報
【特許文献４】特開２０００−１６５７５２号公報
【特許文献５】特開平１１−１６４１９２号公報
【発明の開示】
【発明が解決しようとする課題】
【００２８】
しかしながら、ＣＭＯＳ撮像装置などのＸＹアドレス走査型の撮像装置において、撮像素子から得られた映像信号から、蛍光灯フリッカを検出（推定）し、その検出結果に応じて映像信号のレベルまたはゲインを補正してフリッカ成分を低減する場合、そのフリッカ検出低減処理を、撮像素子から得られた映像信号の処理の過程の、どの段階で行うかが問題となる。
【００２９】
撮像素子からの映像信号に対しては各種の処理が必要であり、特にＣＭＯＳ撮像装置などのＸＹアドレス走査型の撮像装置では、ＣＣＤ撮像装置では不要な、ＸＹアドレス走査型の撮像装置に特有の処理が必要とされる。そのため、フリッカ検出低減処理を、これら他の処理との関係で、どの段階で行うかは、フリッカ検出精度、したがってフリッカ低減効果に大きく影響し、フリッカ検出低減処理の、他の処理との関係によっては、フリッカ検出精度が低下し、誤検出による誤補正によって、フリッカ成分を低減できないだけでなく、逆に増大させてしまうおそれがある。
【００３０】
そこで、この発明は、ＣＭＯＳ撮像装置などのＸＹアドレス走査型の撮像装置で、蛍光灯フリッカを正確かつ高精度に検出することができ、蛍光灯フリッカ成分を確実かつ十分に低減することができるようにしたものである。
【課題を解決するための手段】
【００３１】
この発明の信号処理方法は、
ＸＹアドレス走査型の撮像素子により被写体を撮影することによって得られた映像信号を処理する方法であって、
前記映像信号をアナログ／デジタル変換した後の映像信号のレベルまたはゲインを補正する補正工程と、
この補正工程後において、その補正後の映像信号から、蛍光灯フリッカ成分を検出し、低減するフリッカ検出低減工程と、
を備えることを特徴とする。
【００３２】
上記の構成の、この発明の信号処理方法では、撮像素子から複数の読み出しチャネルによって映像信号を読み出す場合における、それぞれの読み出しチャネルの信号ゲインを均一にする処理、撮像素子の固定パターンノイズを低減する処理、またはレンズシェーディングを補正する処理など、映像信号のレベルまたはゲインを補正する処理を実行した後、フリッカ検出低減処理を実行するので、蛍光灯フリッカを正確かつ高精度に検出することができ、蛍光灯フリッカ成分を確実かつ十分に低減することができる。
【発明の効果】
【００３３】
以上のように、この発明によれば、蛍光灯フリッカを正確かつ高精度に検出することができ、蛍光灯フリッカ成分を確実かつ十分に低減することができる。
【発明を実施するための最良の形態】
【００３４】
〔撮像装置および信号処理方法の実施形態：図１〜図３〕
（撮像装置のシステム構成：図１）
図１は、この発明の撮像装置の一例のシステム構成を示し、ＸＹアドレス走査型の撮像素子としてＣＭＯＳ撮像素子を用いた、例えば、ＮＴＳＣ方式（垂直同期周波数が６０Ｈｚ）またはＰＡＬ方式（垂直同期周波数が５０Ｈｚ）のビデオカメラである。
【００３５】
この例の撮像装置では、被写体からの光が、撮像光学系１０を介してＣＭＯＳ撮像素子２０に入射して、ＣＭＯＳ撮像素子２０で光電変換され、ＣＭＯＳ撮像素子２０からアナログ映像信号が得られる。
【００３６】
ＣＭＯＳ撮像素子２０は、ＣＭＯＳ基板上に、フォトダイオード（フォトゲート）、転送ゲート（シャッタトランジスタ）、スイッチングトランジスタ（アドレストランジスタ）、増幅トランジスタ、リセットトランジスタ（リセットゲート）などを有する画素が複数、２次元状に配列されて形成されるとともに、垂直走査回路、水平走査回路および映像信号出力回路が形成されたものである。
【００３７】
ＣＭＯＳ撮像素子２０は、後述のように原色系と補色系のいずれでもよく、ＣＭＯＳ撮像素子２０から得られるアナログ映像信号は、ＲＧＢ各色の原色信号または補色系の色信号である。
【００３８】
このＣＭＯＳ撮像素子２０から得られたアナログ映像信号は、ＩＣ（集積回路）として構成されたアナログ信号処理部３０において、色信号ごとに、サンプルホールドされ、ＡＧＣ（自動利得制御）によってゲインが制御され、Ａ／Ｄ変換によってデジタル映像信号に変換される。
【００３９】
アナログ信号処理部３０からのデジタル映像信号は、ＩＣとして構成されたデジタル信号処理部４０内の前段処理部５０において、後述のように処理され、デジタル信号処理部４０内のフリッカ検出低減部６０において、後述のように信号成分ごとに蛍光灯フリッカ成分が検出され、低減されるとともに、デジタル信号処理部４０内の後段処理部７０において、後述のように処理され、最終的に輝度信号Ｙと赤、青の色差信号Ｒ−Ｙ，Ｂ−Ｙに変換されて、デジタル信号処理部４０から出力される。
【００４０】
システムコントローラ８０は、マイクロコンピュータなどによって構成され、カメラ各部を制御する。
【００４１】
具体的に、システムコントローラ８０から、ＩＣによって構成されたレンズ駆動用ドライバ９１に、レンズ駆動制御信号が供給され、レンズ駆動用ドライバ９１によって、撮像光学系１０のレンズやアイリスが駆動される。
【００４２】
また、システムコントローラ８０からタイミングジェネレータ９２に、タイミング制御信号が供給され、タイミングジェネレータ９２からＣＭＯＳ撮像素子２０に、各種タイミング信号が供給されて、ＣＭＯＳ撮像素子２０が駆動される。このとき、ＣＭＯＳ撮像素子２０のシャッタ速度も、システムコントローラ８０からのタイミング制御信号によって自在に制御される。
【００４３】
さらに、デジタル信号処理部４０からシステムコントローラ８０に、各信号成分の検波信号が取り込まれ、システムコントローラ８０からのＡＧＣ信号によって、アナログ信号処理部３０において上記のように各色信号のゲインが制御されるとともに、システムコントローラ８０によって、デジタル信号処理部４０における信号処理が制御される。
【００４４】
また、システムコントローラ８０には、手ぶれセンサ９３が接続され、これから得られる手ぶれ情報が、手ぶれ補正制御に利用されるとともに、撮影者の動作によって被写体が短時間で大きく変化する場合には、そのことが、手ぶれセンサ９３の出力から、システムコントローラ８０によって検出され、フリッカ検出低減部６０が制御される。
【００４５】
また、システムコントローラ８０には、マイクロコンピュータなどによって構成されたインタフェース９８を介して、ユーザインタフェース９５を構成する操作部９６および表示部９７が接続され、操作部９６での設定操作や選択操作などが、システムコントローラ８０によって検出されるとともに、カメラの設定状態や制御状態などが、システムコントローラ８０によって表示部９７に表示される。
【００４６】
撮影者が操作部９６でズーム操作などのカメラ操作を行うことによって被写体が短時間で大きく変化する場合には、そのことがシステムコントローラ８０によって検出され、フリッカ検出低減部６０が制御される。
【００４７】
また、屋外での撮影や、静止画撮影モードでの撮影など、そもそもフリッカ検出低減処理が不要な場合には、そのことがシステムコントローラ８０によって検出され、フリッカ検出低減部６０が制御される。
【００４８】
（読み出しチャネルと固定パターンノイズ：図２）
ＣＭＯＳ撮像素子などのＸＹアドレス走査型の撮像素子は、ＣＣＤ撮像素子と異なり、画素の読み出し方法が柔軟で、複数の読み出しチャネルによって、任意の場所（アドレス）の画素を任意の読み方で読み出すことができる。図１の例のＣＭＯＳ撮像素子２０も、同様である。
【００４９】
これを、図２に示す。ＣＭＯＳ撮像素子２０は、例えば、原色系の３板式のシステムとして、ＲＧＢ各色用のＣＭＯＳ撮像素子からなるもので、その各色用のＣＭＯＳ撮像素子の画素２１は、カラムアーキテクチャ方式として、カラムごとに、ＣＤＳ（Ｃｏｒｒｅｌａｔｅｄ Ｄｏｕｂｌｅ Ｓａｍｐｌｉｎｇ）回路３１および電荷蓄積容量３２を有する読み出しラインＣ１，Ｃ２，Ｃ３，Ｃ４‥‥に接続され、例えば、読み出しチャネルが２チャネルとされる場合、一つおきの読み出しラインＣ１，Ｃ３‥‥に読み出された画素信号が、ＱＶアンプ３３−１で電荷から電圧に変換され、サンプルホールド回路３４−１でサンプルホールドされ、バッファ３５−１を通じてＡ／Ｄコンバータ３６−１に供給されて、チャネル１のデジタル画素データに変換されるとともに、他の一つおきの読み出しラインＣ２，Ｃ４‥‥に読み出された画素信号が、ＱＶアンプ３３−２で電荷から電圧に変換され、サンプルホールド回路３４−２でサンプルホールドされ、バッファ３５−２を通じてＡ／Ｄコンバータ３６−２に供給されて、チャネル２のデジタル画素データに変換される。
【００５０】
ＣＭＯＳ撮像素子２０が原色系の１板式のシステムである場合や、補色系のシステムである場合にも、同様に複数の読み出しチャネルによって画素を読み出すことができる。
【００５１】
そして、このようにＣＭＯＳ撮像素子２０から複数の読み出しチャネルによって信号を読み出す場合、チャネルごとに信号経路が異なるため、信号ゲインがチャネルごとに相違し、そのバラツキを無視したまま、その後の信号処理を行うと、その信号ゲインのバラツキの影響が、そのまま出力画像に現れ、画質が著しく劣化する。
【００５２】
そのため、このようにＣＭＯＳ撮像素子２０から複数の読み出しチャネルによって信号を読み出す場合には、後述のように、読み出しチャネルごとの信号ゲインのバラツキを無くすように、それぞれの読み出しチャネルの信号ゲインを補正する必要がある。
【００５３】
また、ＣＭＯＳ撮像素子などのＸＹアドレス走査型の撮像素子では、固定パターンノイズ（Ｆｉｘｅｄ Ｐａｔｔｅｒｎ Ｎｏｉｓｅ）が発生し、図２のようなカラムアーキテクチャ方式によってＣＭＯＳ撮像素子２０から信号を読み出す場合には、図２に出力画像１として示すように、その固定パターンノイズが、カラムごとに縦スジ状ノイズ２として現れる。
【００５４】
この固定パターンノイズは、明るいシーンでは問題にならないが、暗いシーンで信号ゲインを高くした場合には、無視できないものとなることがある。そのため、このようなカラムアーキテクチャ方式によってＣＭＯＳ撮像素子２０から信号を読み出す場合には、後述のように、その縦スジ状ノイズ２を低減するように信号レベルを補正する。
【００５５】
（デジタル信号処理の方法：図３）
図１の例のデジタル信号処理部４０は、前段処理部５０、フリッカ検出低減部６０および後段処理部７０に分けられるが、さらに、この例では、図３に示すように、前段処理部５０は、デジタルクランプ回路５１、読み出しチャネル間ゲイン補正回路５２、固定パターンノイズ低減回路５３、欠陥画素データ補正回路５４、ノイズ低減回路５５、レンズシェーディング補正回路５６、およびデジタルゲイン調整回路５７が、この順序で配置され、後段処理部７０は、ホワイトバランス調整回路７１、ガンマ補正回路７２、および合成マトリクス回路７３が、この順序で配置され、欠陥画素検出回路７４で、ホワイトバランス調整回路７１の出力の信号から、ＣＭＯＳ撮像素子２０の欠陥画素が検出される。
【００５６】
上述したように、アナログ信号処理部３０の出力、すなわちデジタル信号処理部４０の入力が、ＲＧＢ原色信号である場合、前段処理部５０の最前段のデジタルクランプ回路５１では、その入力ＲＧＢ原色信号の黒レベルが所定レベルにクランプされる。
【００５７】
次段の読み出しチャネル間ゲイン補正回路５２では、その黒レベルがクランプされたＲＧＢ原色信号につき、上述したようにＣＭＯＳ撮像素子２０から複数の読み出しチャネルによって信号を読み出す場合における、読み出しチャネルごとの信号ゲインのバラツキが無くなるように、それぞれの読み出しチャネルの信号ゲインが補正される。
【００５８】
具体的には、あらかじめＣＭＯＳ撮像素子２０内に画素として配置されている黒信号領域（オプティカルブラック）の信号から、それぞれの読み出しチャネルのゲイン差を検出し、そのゲイン差の分だけ、それぞれの読み出しチャネルのゲインを補正する。
【００５９】
次段の固定パターンノイズ低減回路５３では、この読み出しチャネル間ゲイン補正後のＲＧＢ原色信号につき、上述した縦スジ状の固定パターンノイズが低減される。具体的には、あらかじめＣＭＯＳ撮像素子２０内に画素として配置されている黒信号領域（オプティカルブラック）の信号から、カラムごとの信号レベルのバラツキを検出し、そのバラツキを無くすように各カラムの信号レベルをオフセットする。
【００６０】
次段の欠陥画素データ補正回路５４では、この固定パターンノイズ低減後のＲＧＢ原色信号中の、後述の後段処理部７０内の欠陥画素検出回路７４で検出された欠陥画素のデータ（画素値）が補正される。具体的には、欠陥画素の周辺画素のデータから、補間演算によって欠陥画素のデータが算出生成され、元のデータが、その算出生成されたデータに置き換えられる。
【００６１】
次段のノイズ低減回路５５では、この欠陥画素データ補正後のＲＧＢ原色信号につき、ノイズが低減される。この場合のノイズは、上記の固定パターンノイズとは異なる一般的な高周波ノイズで、具体的に、ＲＧＢ原色信号に対して、それぞれ低周波数成分のみを抽出するフィルタリング処理が実行されて、そのノイズが低減される。
【００６２】
次段のレンズシェーディング補正回路５６では、このノイズ低減後のＲＧＢ原色信号につき、レンズシェーディング（結像位置によって信号量が異なる現象で、一般に、レンズの光軸中心から離れるほど、画像が暗くなり、信号量が減少する）が補正される。
【００６３】
具体的には、あらかじめシステムコントローラ８０またはデジタル信号処理部４０に用意されているＲＯＭテーブルに記述された、撮像光学系１０として採用されているレンズのシェーディング情報、あるいはシステムコントローラ８０またはデジタル信号処理部４０に設定されているシェーディング量に応じて、全画面が均一な明るさとなるように、ＲＧＢ原色信号の各画素データのゲインが調整される。
【００６４】
前段処理部５０の最終段のデジタルゲイン調整回路５７では、システムコントローラ８０でのゲイン設定によって、露光調整用に、レンズシェーディング補正後のＲＧＢ原色信号のゲインが調整される。この例の撮像装置では、露光量は、アイリス設定、電子シャッタ速度の設定、およびデジタルゲイン調整回路５７でのゲイン調整によって、調整することができ、アイリス設定および電子シャッタ速度の設定と連動して、デジタルゲイン調整回路５７でゲインが調整されることによって、所望の露光量が得られ、自動露光調整機能も実現される。
【００６５】
そして、この前段処理部５０の最終段のデジタルゲイン調整回路５７の出力のＲＧＢ原色信号につき、フリッカ検出低減部６０において、後述のように蛍光灯フリッカが検出され、フリッカ成分が低減される。
【００６６】
フリッカ検出低減部６０においてフリッカ成分が低減された後のＲＧＢ原色信号については、まず、後段処理部７０の最前段のホワイトバランス調整回路７１で、ホワイトバランスのために各信号のゲインが調整される。
【００６７】
さらに、後段処理部７０では、ホワイトバランス調整回路７１の出力側で、欠陥画素検出回路７４において、ＣＭＯＳ撮像素子２０の欠陥画素が検出される。
【００６８】
一般に、欠陥画素の検出は入射光ゼロの条件下で行われる。そのため、例えば、カメラの電源の立ち上げ時、一瞬、アイリスを閉じて入射光ゼロの状態を作り出し、その際の信号レベルから欠陥画素を特定して、そのアドレスをシステムコントローラ８０内またはデジタル信号処理部４０内の記憶装置部に記憶させる。欠陥画素の位置（アドレス）は、撮影中も変わらないので、一度検出すれば、以後、欠陥画素をリアルタイムで検出する必要はない。したがって、通常の撮影時は、欠陥画素検出回路７４の検出動作は実行されず、ホワイトバランス調整回路７１の出力のＲＧＢ原色信号は、そのままガンマ補正回路７２に入力される。
【００６９】
ガンマ補正回路７２では、ホワイトバランス調整後のＲＧＢ原色信号の階調が変換される。
【００７０】
合成マトリクス回路７３では、ガンマ補正後のＲＧＢ原色信号から、デジタル信号処理部４０の出力の輝度信号Ｙおよび色差信号Ｒ−Ｙ，Ｂ−Ｙが生成される。
【００７１】
以上は原色系システムの場合であるが、補色系システムでデジタル信号処理部４０に補色系の各色信号が入力される場合も、同様である。
【００７２】
デジタル信号処理部４０で以上のような順序で各処理を行うことによって、以下のような効果が得られる。
【００７３】
＜デジタルクランプとの関係＞
まず、デジタルクランプとフリッカ検出低減処理との関係については、フリッカ成分の検出に当たって映像信号の黒レベルが定まっていないと、フリッカ成分を正確かつ高精度に検出することができず、したがってフリッカ成分を確実かつ十分に低減することができない。
【００７４】
例えば、ＣＭＯＳ撮像素子２０から得られる映像信号の黒レベルは温度などによって変化するが、デジタルクランプによって映像信号の黒レベルが正しく定められれば、以後の信号処理については、黒レベルが常に一定にされるため、確実かつ安定な処理が実行される。
【００７５】
しかし、デジタルクランプ前にフリッカ検出低減処理を行う場合には、フリッカ検出低減処理については、黒レベルが一定に定まらないため、フリッカ成分を正確かつ高精度に検出することができず、したがってフリッカ成分を確実かつ十分に低減することができない。また、デジタルクランプ前にフリッカ検出処理を行い、デジタルクランプ後にフリッカ低減処理を行う場合には、上記のようにフリッカ成分を正確かつ高精度に検出することができないだけでなく、フリッカ検出のタイミングと、その検出結果による信号レベルまたは信号ゲインの補正によるフリッカ低減のタイミングとが時間的にずれてしまうことによって、フリッカ成分を確実かつ十分に低減することができなくなる。
【００７６】
これに対して、図３の例のようにフリッカ検出低減処理の前にデジタルクランプを行うことによって、すなわちデジタルクランプ後にフリッカ検出低減処理を行うことによって、フリッカ成分を正確かつ高精度に検出することができ、フリッカ成分を確実かつ十分に低減することができる。
【００７７】
＜読み出しチャネル間ゲイン補正との関係＞
読み出しチャネル間ゲイン補正とフリッカ検出低減処理との関係については、フリッカ成分の検出に当たって読み出しチャネル間のゲインのバラツキが解消されていないと、フリッカ成分を正確かつ高精度に検出することができず、したがってフリッカ成分を確実かつ十分に低減することができない。
【００７８】
すなわち、図２のように同じ色信号を複数チャネルによって読み出す場合に、図３のように各色の色信号ごとにフリッカ検出低減処理を行う場合、その処理前に読み出しチャネル間のゲインのバラツキが解消されていないと、フリッカ検出のサンプリングポイントごとにフリッカ成分の検出レベルが異なってしまって、フリッカ成分を正確かつ高精度に検出することができず、したがってフリッカ成分を確実かつ十分に低減することができない。一つの色信号または輝度信号からフリッカ成分を検出する場合にも、その信号が複数チャネルによって読み出される場合には、同じである。
【００７９】
これに対して、図３の例のようにフリッカ検出低減処理の前に読み出しチャネル間ゲイン補正を行うことによって、すなわち読み出しチャネル間ゲイン補正の後にフリッカ検出低減処理を行うことによって、フリッカ成分を正確かつ高精度に検出することができ、フリッカ成分を確実かつ十分に低減することができる。
【００８０】
＜固定パターンノイズ低減処理との関係＞
固定パターンノイズ低減処理とフリッカ検出低減処理との関係については、フリッカ成分の検出に当たって固定パターンノイズ（ＦＰＮ）が低減されていないと、フリッカ成分を正確かつ高精度に検出することができず、したがってフリッカ成分を確実かつ十分に低減することができない。
【００８１】
すなわち、明るいシーンでは、図２に縦スジ状ノイズ２として示した固定パターンノイズの映像信号成分に対する割合が小さいので、ほとんど問題はないが、蛍光灯フリッカが発生する蛍光灯照明下のような暗いシーンでは、この固定パターンノイズの映像信号成分に対する割合が急速に増大するため、固定パターンノイズの存在がフリッカ検出に悪影響を及ぼし、フリッカ成分を正確かつ高精度に検出することができなくなる。
【００８２】
これに対して、図３の例のようにフリッカ検出低減処理の前に固定パターンノイズ低減処理を行うことによって、すなわち固定パターンノイズ低減処理の後にフリッカ検出低減処理を行うことによって、フリッカ成分を正確かつ高精度に検出することができ、フリッカ成分を確実かつ十分に低減することができる。
【００８３】
＜ノイズ低減処理との関係＞
ノイズ低減処理とフリッカ検出低減処理との関係については、この場合のノイズは蛍光灯フリッカ成分に比べて十分に高い周波数のものであるので、ノイズ低減処理を実行しなくても、フリッカ検出低減に直接、悪影響を及ぼすことはないと言える。
【００８４】
しかし、図３の例のようにフリッカ検出低減処理の前にノイズ低減処理を実行することによって、フリッカ検出対象の信号中のノイズ成分を、より低減することができるので、フリッカ検出も、より正確かつ高精度に行うことができ、フリッカ低減を、より確実かつ十分に行うことができる。
【００８５】
＜レンズシェーディング補正との関係＞
レンズシェーディング補正とフリッカ検出低減処理との関係については、フリッカ成分の検出に当たってレンズシェーディングが補正されていないと、フリッカ成分を正確かつ高精度に検出することができず、したがってフリッカ成分を確実かつ十分に低減することができない。
【００８６】
すなわち、上述したようにレンズシェーディングは光軸中心から離れるほど大きくなるので、光軸中心から離れるに従って映像信号レベルが低くなる。すなわち、入射光の変動が被写体の上下左右で均等に生じた場合、フリッカ自体としては、被写体の上下左右で均等になるにもかかわらず、映像信号としては、レンズシェーディングによってフリッカレベルが変わることになる。そのため、フリッカ検出低減処理の前にレンズシェーディングが補正されていないと、フリッカレベルを正確に検出することができず、フリッカ成分を確実に低減することができない。特に、後述の例のように、フリッカ成分を正弦波として、または低次の正弦波の重ね合わせとして検出する場合、画面の上下方向で映像信号レベルが異なると、フリッカレベルの検出に不具合を来たす。
【００８７】
これに対して、図３の例のようにフリッカ検出低減処理の前にレンズシェーディングを補正することによって、すなわちレンズシェーディング補正後にフリッカ検出低減処理を行うことによって、フリッカ成分を正確かつ高精度に検出することができ、フリッカ成分を確実かつ十分に低減することができる。
【００８８】
＜デジタルゲイン調整との関係＞
デジタルゲイン調整は、上述したように自動露光調整を実現するものであるため、調整後の映像信号は露光量が一定になっていることになる。そして、アイリス設定や電子シャッタ速度の設定だけで露光量を一定に保持できる状況下では、露光量の調整との関係でフリッカ検出低減処理の段階は問題とならないが、デジタルゲイン調整によって露光量を調整する場合には、デジタルゲイン調整の前にフリッカ検出低減処理を行うと、フリッカ検出低減部に入力される映像信号のレベルが被写体に応じて大きく変動することになり、フリッカ成分を正確かつ高精度に検出することができなくなる。
【００８９】
これに対して、図３の例のようにフリッカ検出低減処理の前にデジタルゲイン調整を行うことによって、すなわちデジタルゲイン調整の後にフリッカ検出低減処理を行うことによって、フリッカ成分を正確かつ高精度に検出することができ、フリッカ成分を確実かつ十分に低減することができる。
【００９０】
＜ホワイトバランス調整との関係＞
ホワイトバランス調整とフリッカ検出低減処理との関係については、各色の色信号ごとに別個にフリッカ成分が重畳されている場合、ホワイトバランス調整の後にフリッカ検出低減処理を行うと、ホワイトバランス調整にとっては、入力映像信号が色ごとに別個に変動していることになるため、白色領域の抽出に不具合を来たし、その結果、適切なホワイトバランスが得られないことになる。
【００９１】
これに対して、図３の例のようにホワイトバランス調整の前にフリッカ検出低減処理を行うことによって、すなわちフリッカ検出低減処理の後にホワイトバランス調整を行うことによって、白色領域を正確に抽出することができ、適切なホワイトバランスを確実に得ることができる。
【００９２】
＜欠陥画素検出との関係＞
上述したように撮影時には欠陥画素の検出を行わなければ、欠陥画素の検出とフリッカ検出低減処理との関係は特に問題にならない。しかし、一般に欠陥画素の検出は入射光をゼロにした状態で行われるものの、入射光がゼロでなくても、非常に暗いシーンであれば、欠陥画素を特定することは比較的容易である。そして、一般に欠陥画素が目立つシーンは暗いシーンであるので、入射光をゼロにして欠陥画素を検出する方法だけでなく、暗いシーンを撮影しながら欠陥画素をリアルタイムで検出する方法も、採用し得る。しかし、その後者の方法では、欠陥画素の検出に当たって入力映像信号にフリッカ成分が含まれていると、欠陥画素の検出に悪影響を及ぼし、欠陥画素を正確に検出することができなくなる。
【００９３】
これに対して、図３の例のように欠陥画素の検出前にフリッカ検出低減処理を行うことによって、すなわちフリッカ検出低減処理の後に欠陥画素を検出することによって、欠陥画素検出回路７４での欠陥画素検出方法として、暗いシーンを撮影しながら欠陥画素をリアルタイムで検出する方法を採る場合でも、欠陥画素を正確に検出することができ、欠陥画素データ補正回路５４において、欠陥画素のデータを高精度で補正することができる。
【００９４】
〔フリッカ検出低減方法：図４〜図９〕
フリッカ検出低減部６０におけるフリッカ検出低減の方法自体は、特に限定されない。
【００９５】
上記の特許文献１（特開２０００−３５０１０２号公報）または特許文献２（特開２０００−２３０４０号公報）に示されているような、受光素子や測光素子により蛍光灯の光量を測定することによってフリッカ成分を推定（検出）する方法は、採り得ないが、撮像素子から得られた映像信号をＡ／Ｄ変換した後の映像信号から、蛍光灯フリッカの連続性を利用してフリッカ成分を検出（推定）し、その検出結果に応じて映像信号のレベルまたはゲインを補正してフリッカ成分を低減する方法であれば、いかなる方法でもよい。
【００９６】
ただし、この発明の上述した例では、デジタル信号処理部４０の、デジタルクランプ回路５１、読み出しチャネル間ゲイン補正回路５２、固定パターンノイズ低減回路５３、欠陥画素データ補正回路５４、ノイズ低減回路５５、レンズシェーディング補正回路５６およびデジタルゲイン調整回路５７からなる前段処理部５０と、ホワイトバランス調整回路７１、ガンマ補正回路７２、合成マトリクス回路７３および欠陥画素検出回路７４からなる後段処理部７０との間に、フリッカ検出低減部６０を配置して、フリッカ成分を検出し低減する。
【００９７】
フリッカ検出低減方法自体は、特に限定されないが、発明者の発明に係る先願（特願２００３−１７３６４２）の発明の方法によれば、簡単な信号処理によって、ＣＭＯＳ撮像素子などのＸＹアドレス走査型の撮像素子に固有の蛍光灯フリッカ成分を、被写体や映像信号レベルおよび蛍光灯の種類などにかかわらず、正確かつ高精度に検出し、確実かつ十分に低減することができる。
【００９８】
この先願の発明のフリッカ検出低減方法は、（ａ）撮像素子からの映像信号（各色の色信号または輝度信号）を入力画像信号として、その入力画像信号を１水平周期以上の時間に渡って積分する工程と、（ｂ）その積分値、または隣接するフィールドまたはフレームにおける積分値の差分値を、正規化する工程と、（ｃ）その正規化後の積分値または差分値のスペクトルを抽出する工程と、（ｄ）その抽出したスペクトルからフリッカ成分を推定する工程と、（ｅ）その推定したフリッカ成分を打ち消すように、推定したフリッカ成分と上記の入力画像信号を演算する工程とを備えるものである。
【００９９】
この場合、（ｂ）の正規化工程では、後述のように、（ｂ１）差分値を連続する複数フィールドまたは複数フレームにおける積分値の平均値で除算し、または（ｂ２）積分値を連続する複数フィールドまたは複数フレームにおける積分値の平均値で除算し、その除算結果から所定値を減算し、または（ｂ３）差分値を積分値で除算する。また、（ｃ）のスペクトル抽出工程では、正規化後の積分値または差分値をフーリエ変換するなどの方法を用いる。
【０１００】
（フリッカ検出低減部の構成例：図４〜図９）
先願の発明のフリッカ検出低減方法では、図３の例のようにフリッカ検出低減部６０の入力映像信号がＲＧＢ原色信号である場合、フリッカ検出低減部６０として、ＲＧＢ原色信号のそれぞれに対して、図４に示すようなフリッカ検出低減部６０Ａが設けられる。ただし、上述したようにフリッカ検出低減部６０の入力映像信号は補色系の各色信号でもよい。
【０１０１】
図４の例は、ＮＴＳＣ方式（垂直同期周波数が６０Ｈｚ）のＣＭＯＳビデオカメラの場合（上述したように、蛍光灯照明下では、電源周波数が５０Ｈｚのときには、３フィールドを繰り返し周期とする時間軸上で連続性を持ったフリッカを生じ、電源周波数が６０Ｈｚのときには、そもそもフリッカが発生しない）であり、ＰＡＬ方式（垂直同期周波数が５０Ｈｚ）のＣＭＯＳビデオカメラの場合、ＮＴＳＣ方式とＰＡＬ方式のいずれかに選択的に設定されるＣＭＯＳビデオカメラの場合、またはプログレッシブ方式のＣＭＯＳカメラの場合については、後述する。
【０１０２】
図４の例では、以下の「入力画像信号」とは、それぞれフリッカ検出低減部６０Ａに入力されるフリッカ検出低減処理前のＲＧＢ原色信号であり、「出力画像信号」とは、それぞれフリッカ検出低減部６０Ａから出力されるフリッカ検出低減処理後のＲＧＢ原色信号である。
【０１０３】
図１２および図１３は、被写体が一様な場合であるが、一般にフリッカ成分は被写体の信号強度に比例する。
【０１０４】
そこで、一般の被写体についての任意のフィールドｎおよび任意の画素（ｘ，ｙ）における入力画像信号をＩｎ’（ｘ，ｙ）とすると、Ｉｎ’（ｘ，ｙ）は、フリッカ成分を含まない信号成分と、これに比例したフリッカ成分との和として、図５の式（１）で表される。
【０１０５】
Ｉｎ（ｘ，ｙ）は、信号成分であり、Γｎ（ｙ）＊Ｉｎ（ｘ，ｙ）は、フリッカ成分であり、Γｎ（ｙ）は、フリッカ係数である。蛍光灯の発光周期（電源周波数が５０Ｈｚのときには１／１００秒、電源周波数が６０Ｈｚのときには１／１２０秒）に比べて１水平周期は十分短く、同一フィールドの同一ラインではフリッカ係数は一定と見なすことができるので、フリッカ係数はΓｎ（ｙ）で表す。
【０１０６】
Γｎ（ｙ）を一般化するために、図５の式（２）に示すように、フーリエ級数に展開した形式で記述する。これによって、蛍光灯の種類によって異なる発光特性および残光特性を全て網羅した形式でフリッカ係数を表現することができる。
【０１０７】
式（２）中のλｏは、図１３に示したような面内フリッカの波長であり、１フィールド当たりの読み出しライン数をＭとすると、電源周波数が５０Ｈｚの場合には、Ｌ（＝Ｍ＊６０／１００）ラインに相当する。ωｏは、λｏで正規化された規格化角周波数である。
【０１０８】
γｍは、各次（ｍ＝１，２，３‥）のフリッカ成分の振幅である。Φｍｎは、各次のフリッカ成分の初期位相を示し、蛍光灯の発光周期と露光タイミングによって決まる。ただし、垂直同期周波数が６０Ｈｚの場合には、Φｍｎは３フィールドごとに同じ値になるので、直前のフィールドとの間のΦｍｎの差は、図５の式（３）で表される。
【０１０９】
図４の例では、まず、入力画像信号Ｉｎ’（ｘ，ｙ）が、フリッカ検出用に絵柄の影響を少なくするために、積分ブロック６２で、図５の式（４）に示すように、画面水平方向に１ライン分に渡って積分され、積分値Ｆｎ（ｙ）が算出される。式（４）中のαｎ（ｙ）は、図５の式（５）で表されるように、信号成分Ｉｎ（ｘ，ｙ）の１ライン分に渡る積分値である。
【０１１０】
算出された積分値Ｆｎ（ｙ）は、以後のフィールドでのフリッカ検出用に、積分値保持ブロック６３に記憶保持される。垂直同期周波数が６０Ｈｚの場合には、積分値保持ブロック６３は、少なくとも２フィールド分の積分値を保持できる構成とされる。
【０１１１】
被写体が一様であれば、信号成分Ｉｎ（ｘ，ｙ）の積分値αｎ（ｙ）が一定値となるので、入力画像信号Ｉｎ’（ｘ，ｙ）の積分値Ｆｎ（ｙ）からフリッカ成分αｎ（ｙ）＊Γｎ（ｙ）を抽出することは容易である。
【０１１２】
しかし、一般的な被写体では、αｎ（ｙ）にもｍ＊ωｏ成分が含まれるため、フリッカ成分としての輝度成分および色成分と、被写体自身の信号成分としての輝度成分および色成分とを分離することができず、純粋にフリッカ成分のみを抽出することはできない。さらに、式（４）の第１項の信号成分に対して第２項のフリッカ成分は非常に小さいので、フリッカ成分は信号成分中にほとんど埋もれてしまい、積分値Ｆｎ（ｙ）から直接、フリッカ成分を抽出するのは不可能と言える。
【０１１３】
そこで、図４の例では、積分値Ｆｎ（ｙ）からαｎ（ｙ）の影響を取り除くために、連続する３フィールドにおける積分値を用いる。
【０１１４】
すなわち、この例では、積分値Ｆｎ（ｙ）の算出時、積分値保持ブロック６３から、１フィールド前の同じラインの積分値Ｆｎ＿１（ｙ）、および２フィールド前の同じラインの積分値Ｆｎ＿２（ｙ）が読み出され、平均値計算ブロック６４で、３つの積分値Ｆｎ（ｙ），Ｆｎ＿１（ｙ），Ｆｎ＿２（ｙ）の平均値ＡＶＥ［Ｆｎ（ｙ）］が算出される。
【０１１５】
連続する３フィールドの期間中の被写体をほぼ同一と見なすことができれば、αｎ（ｙ）は同じ値と見なすことができる。被写体の動きが３フィールドの間で十分小さければ、実用上、この仮定は問題ない。さらに、連続する３フィールドにおける積分値の平均値を演算することは、式（３）の関係から、フリッカ成分の位相が（−２π／３）＊ｍずつ順次ずれた信号を加え合わせることになるので、結果的にフリッカ成分が打ち消されることになる。したがって、平均値ＡＶＥ［Ｆｎ（ｙ）］は、図６の式（６）で表される。
【０１１６】
ただし、以上は、図６の式（７）の近似が成り立つものとして、連続する３フィールドにおける積分値の平均値を算出する場合であるが、被写体の動きが大きい場合には、式（７）の近似が成り立たなくなる。
【０１１７】
そのため、被写体の動きが大きい場合を想定したフリッカ検出低減部６０Ａとしては、積分値保持ブロック６３に３フィールド以上に渡る積分値を保持し、当該のフィールドの積分値Ｆｎ（ｙ）を合わせて４フィールド以上に渡る積分値の平均値を算出すればよい。これによって、時間軸方向のローパスフィルタ作用により、被写体が動いたことによる影響が小さくなる。
【０１１８】
ただし、フリッカは３フィールドごとの繰り返しとなるので、フリッカ成分を打ち消すには、連続するｊ（３の、２倍以上の整数倍、すなわち、６，９‥）フィールドにおける積分値の平均値を算出する必要があり、積分値保持ブロック６３は、少なくとも（ｊ−１）フィールド分の積分値を保持できる構成とする。
【０１１９】
図４の例は、図６の式（７）の近似が成り立つものとした場合である。この場合には、さらに、差分計算ブロック６５で、積分ブロック６２からの当該フィールドの積分値Ｆｎ（ｙ）と、積分値保持ブロック６３からの１フィールド前の積分値Ｆｎ＿１（ｙ）との差分が計算され、図６の式（８）で表される差分値Ｆｎ（ｙ）−Ｆｎ＿１（ｙ）が算出される。式（８）も、式（７）の近似が成り立つことを前提としている。
【０１２０】
差分値Ｆｎ（ｙ）−Ｆｎ＿１（ｙ）では、被写体の影響が十分除去されるため、積分値Ｆｎ（ｙ）に比べてフリッカ成分（フリッカ係数）の様子が明確に現れる。
【０１２１】
図４の例では、さらに、正規化ブロック６６で、差分計算ブロック６５からの差分値Ｆｎ（ｙ）−Ｆｎ＿１（ｙ）が、平均値計算ブロック６４からの平均値ＡＶＥ［Ｆｎ（ｙ）］で除算されることによって正規化され、正規化後の差分値ｇｎ（ｙ）が算出される。
【０１２２】
正規化後の差分値ｇｎ（ｙ）は、図６の式（６）（８）および三角関数の和積公式によって、図７の式（９）のように展開され、さらに図５の式（３）の関係から、図７の式（１０）で表される。式（１０）中の｜Ａｍ｜，θｍは、式（１１ａ）（１１ｂ）で表される。
【０１２３】
差分値Ｆｎ（ｙ）−Ｆｎ＿１（ｙ）は、被写体の信号強度の影響が残るため、領域によってフリッカによる輝度変化および色変化のレベルが異なってしまうが、上記のように正規化することによって、全領域に渡ってフリッカによる輝度変化および色変化を同一レベルに合わせることができる。
【０１２４】
図７の式（１１ａ）（１１ｂ）で表される｜Ａｍ｜，θｍは、正規化後の差分値ｇｎ（ｙ）の、各次のスペクトルの振幅および初期位相であり、正規化後の差分値ｇｎ（ｙ）をフーリエ変換して、各次のスペクトルの振幅｜Ａｍ｜および初期位相θｍを検出すれば、図８の式（１２ａ）（１２ｂ）によって、図５の式（２）に示した各次のフリッカ成分の振幅γｍおよび初期位相Φｍｎを求めることができる。
【０１２５】
そこで、図４の例では、ＤＦＴ（離散フーリエ変換）ブロック６７において、正規化ブロック６６からの正規化後の差分値ｇｎ（ｙ）の、フリッカの１波長分（Ｌライン分）に相当するデータを、離散フーリエ変換する。
【０１２６】
ＤＦＴ演算をＤＦＴ［ｇｎ（ｙ）］とし、次数ｍのＤＦＴ結果をＧｎ（ｍ）とすれば、ＤＦＴ演算は、図８の式（１３）で表される。式（１３）中のＷは、式（１４）で表される。また、ＤＦＴの定義によって、式（１１ａ）（１１ｂ）と式（１３）との関係は、図８の式（１５ａ）（１５ｂ）で表される。
【０１２７】
したがって、式（１２ａ）（１２ｂ）（１５ａ）（１５ｂ）から、図８の式（１６ａ）（１６ｂ）によって、各次のフリッカ成分の振幅γｍおよび初期位相Φｍｎを求めることができる。
【０１２８】
ＤＦＴ演算のデータ長を、フリッカの１波長分（Ｌライン分）とするのは、これによって、ちょうどωｏの整数倍の離散スペクトル群を直接、得ることができるからである。
【０１２９】
一般に、デジタル信号処理のフーリエ変換としては、ＦＦＴ（高速フーリエ変換）が用いられるが、この例では、あえてＤＦＴを用いる。その理由は、フーリエ変換のデータ長が２のべき乗になっていないので、ＦＦＴよりＤＦＴの方が都合よいためである。ただし、入出力データを加工してＦＦＴを用いることもできる。
【０１３０】
実際の蛍光灯照明下では、次数ｍを数次までに限定しても、フリッカ成分を十分近似できるので、ＤＦＴ演算もデータを全て出力する必要はなく、ＦＦＴに比べて演算効率の点でデメリットはない。
【０１３１】
ＤＦＴブロック６７では、まず、式（１３）で定義されるＤＦＴ演算によって、スペクトルが抽出され、その後、式（１６ａ）（１６ｂ）の演算によって、各次のフリッカ成分の振幅γｍおよび初期位相Φｍｎが推定される。
【０１３２】
図４の例では、さらに、フリッカ生成ブロック６８で、ＤＦＴブロック６７からのγｍ，Φｍｎの推定値から、図５の式（２）で表されるフリッカ係数Γｎ（ｙ）が算出される。
【０１３３】
ただし、上述したように、実際の蛍光灯照明下では、次数ｍを数次までに限定しても、フリッカ成分を十分近似できるので、式（２）によるフリッカ係数Γｎ（ｙ）の算出に当たっては、総和次数を無限大ではなく、あらかじめ定められた次数、例えば２次までに限定することができる。
【０１３４】
上述した方法によれば、積分値Ｆｎ（ｙ）ではフリッカ成分が信号成分中に完全に埋もれてしまう、フリッカ成分が微小な黒の背景部分や低照度の部分などの領域でも、差分値Ｆｎ（ｙ）−Ｆｎ＿１（ｙ）を算出し、これを平均値ＡＶＥ［Ｆｎ（ｙ）］で正規化することによって、フリッカ成分を高精度で検出することができる。
【０１３５】
また、適当な次数までのスペクトルからフリッカ成分を推定することは、正規化後の差分値ｇｎ（ｙ）を完全に再現しないで近似することになるが、これによって、かえって、被写体の状態によって正規化後の差分値ｇｎ（ｙ）に不連続な部分を生じても、その部分のフリッカ成分を精度良く推定できることになる。
【０１３６】
図５の式（１）から、フリッカ成分を含まない信号成分Ｉｎ（ｘ，ｙ）は、図８の式（１７）で表される。
【０１３７】
そこで、図４の例では、演算ブロック６９で、フリッカ生成ブロック６８からのフリッカ係数Γｎ（ｙ）に１が加えられ、その和［１＋Γｎ（ｙ）］で入力画像信号Ｉｎ’（ｘ，ｙ）が除算される。
【０１３８】
これによって、入力画像信号Ｉｎ’（ｘ，ｙ）に含まれるフリッカ成分がほぼ完全に除去され、演算ブロック６９からは、出力画像信号として、実質的にフリッカ成分を含まない信号成分Ｉｎ（ｘ，ｙ）が得られる。
【０１３９】
なお、システムが有する演算能力の制約から、上記の全ての処理を１フィールドの時間内で完結できない場合には、フリッカが３フィールドごとの繰り返しとなることを利用して、演算ブロック６９内にフリッカ係数Γｎ（ｙ）を３フィールドに渡って保持する機能を設け、３フィールド後の入力画像信号Ｉｎ’（ｘ，ｙ）に対して、その保持したフリッカ係数Γｎ（ｙ）を演算する構成とすればよい。
【０１４０】
なお、図４の例は、後述する他の構成例のように積分値Ｆｎ（ｙ）ではなく、差分値Ｆｎ（ｙ）−Ｆｎ＿１（ｙ）を、平均値ＡＶＥ［Ｆｎ（ｙ）］で正規化する場合であるが、便宜上、フリッカ検出低減部６０Ａ中のＤＦＴブロック６７の前段部分を正規化積分値算出ブロック６１と称する。
【０１４１】
（フリッカ検出低減部の他の構成例）
図４の例のように、差分値Ｆｎ（ｙ）−Ｆｎ＿１（ｙ）を平均値ＡＶＥ［Ｆｎ（ｙ）］で正規化すれば、有限の計算精度を効果的に確保することができる。しかし、要求される計算精度を満足できる場合には、積分ブロック６２からの積分値Ｆｎ（ｙ）を直接、平均値ＡＶＥ［Ｆｎ（ｙ）］で正規化してもよい。
【０１４２】
ただし、この場合の正規化後の差分値ｇｎ（ｙ）は、図９の式（１８）で表されるものとなるので、後段の処理を図４の例と同様にするため、図９の式（１９）に示すように、式（１８）で表される正規化後の差分値ｇｎ（ｙ）から１を減算し、その結果をＤＦＴブロック６７に送出する。
【０１４３】
この場合、｜Ａｍ｜＝γｍ，θｍ＝Φｍｎであるので、図８の式（１５ａ）（１５ｂ）から、γｍ，Φｍｎは、図９の式（２０ａ）（２０ｂ）によって求めることができる。
【０１４４】
したがって、ＤＦＴブロック６７では、図４の例では、図８の式（１３）で定義されるＤＦＴ演算によってスペクトルを抽出した後、式（１６ａ）（１６ｂ）の演算によって各次のフリッカ成分の振幅γｍおよび初期位相Φｍｎを推定するのに対して、この場合には、式（１３）で定義されるＤＦＴ演算によってスペクトルを抽出した後、式（２０ａ）（２０ｂ）の演算によって各次のフリッカ成分の振幅γｍおよび初期位相Φｍｎを推定する。以後の処理は、図４の例と同じである。
【０１４５】
この場合には、差分計算ブロック６５が不要となるので、その分、フリッカ検出低減部６０Ａを簡略化することができる。
【０１４６】
図４の例で、差分値Ｆｎ（ｙ）−Ｆｎ＿１（ｙ）の正規化に用いる平均値ＡＶＥ［Ｆｎ（ｙ）］は、図６の式（７）の近似が成り立つ場合には、式（６）で表されるようにαｎ（ｙ）に等しいとともに、図５の式（４）の第２項［αｎ（ｙ）＊Γｎ（ｙ）］は、第１項のαｎ（ｙ）に比べて十分小さいので、正規化に及ぼす第２項の影響は非常に小さい。
【０１４７】
したがって、差分値Ｆｎ（ｙ）−Ｆｎ＿１（ｙ）の正規化については、平均値ＡＶＥ［Ｆｎ（ｙ）］の代わりに積分ブロック６２からの積分値Ｆｎ（ｙ）を用いても、ほとんど問題がなく、平均値ＡＶＥ［Ｆｎ（ｙ）］を用いる場合と同様に、効果的にフリッカ成分を検出することができる。
【０１４８】
この場合には、積分値保持ブロック６３は１フィールド分の積分値を保持できればよいとともに、平均値計算ブロック６４を必要としないので、フリッカ検出低減部６０Ａを簡略化することができる。
【０１４９】
上述した各例は、入力画像信号Ｉｎ’（ｘ，ｙ）を１ライン分に渡って積分する場合であるが、入力画像信号Ｉｎ’（ｘ，ｙ）の積分は、絵柄の影響を少なくしてフリッカ成分のサンプリング値を得るためであるので、１ラインに限らず、複数ラインの時間に渡って行ってもよい。
【０１５０】
垂直同期周波数が６０Ｈｚ，電源周波数が５０Ｈｚの場合、上述したように画面上では縞模様として現れる蛍光灯フリッカの１周期はＬ（＝Ｍ＊６０／１００）ラインに相当するので、その１周期、すなわちＬラインで、少なくとも２つのサンプリング値を得るようにすれば、いわゆるサンプリングの定理から、フリッカ成分を検出することができる。
【０１５１】
実際上は、フリッカの１周期で数個以上ないし１０個以上のサンプリング値を得ることが望ましいが、その場合でも、入力画像信号Ｉｎ’（ｘ，ｙ）を水平周期の数倍以上ないし１０倍以上の時間に渡って積分することができる。また、積分時間は、２．５水平周期などというように、水平周期のちょうど整数倍でなくてもよい。
【０１５２】
そして、このように積分時間を長くし、単位時間当たりのサンプリング数を減らす場合には、ＤＦＴブロック６７におけるＤＦＴ演算の負担を軽くすることができるとともに、被写体が画面垂直方向に動いた場合に、その影響を少なくすることができる。
【０１５３】
上述した各例で、入力画像信号Ｉｎ’（ｘ，ｙ）のレベルが飽和領域にある場合、演算ブロック６９で図８の式（１７）の演算を行うと、逆に信号成分（上記の例では原色信号成分）が変化してしまう。
【０１５４】
そこで、演算ブロック６９は、入力画像信号Ｉｎ’（ｘ，ｙ）のレベルが飽和領域の閾値レベル以上であるか否かを画素ごとに判断し、入力画像信号Ｉｎ’（ｘ，ｙ）のレベルが飽和領域の閾値レベルに満たない画素では、上述したように図８の式（１７）の演算結果を出力画像信号Ｉｎ（ｘ，ｙ）として出力し、入力画像信号Ｉｎ’（ｘ，ｙ）のレベルが飽和領域の閾値レベル以上である画素では、入力画像信号Ｉｎ’（ｘ，ｙ）をそのまま出力画像信号Ｉｎ（ｘ，ｙ）として出力するように構成することが望ましい。
【０１５５】
これによれば、入力画像信号Ｉｎ’（ｘ，ｙ）のレベルが飽和領域にある場合に、信号成分が変化してしまうことがなく、高画質の出力画像信号が得られる。
【０１５６】
（屋外や非蛍光灯照明下などでの撮影の場合）
屋外での撮影や、非蛍光灯照明下での撮影では、そもそもフリッカ検出低減処理は不要である。
【０１５７】
また、動画と静止画の両方を撮影できるビデオカメラで静止画を撮影する場合には、ＣＭＯＳ撮像装置でも、１画面内の全ての画素の露光タイミング（露光開始および露光終了のタイミング）を同一にすることができ、蛍光灯フリッカの発生を回避することができるので、フリッカ検出低減処理は不要となる。この場合、ＣＭＯＳ撮像素子からの映像信号の読み出しは、動画を撮影する場合のような電子シャッタ速度の制約がないので、機械的なシャッタを閉じて遮光した状態で、ゆっくり行うことができる。
【０１５８】
これらの場合のようにフリッカ検出低減処理が不要な場合には、フリッカ検出低減部６０（６０Ａ）ではフリッカ検出低減処理が実行されず、入力画像信号Ｉｎ’（ｘ，ｙ）がそのまま出力画像信号Ｉｎ（ｘ，ｙ）として出力されるように、システムコントローラ８０によってフリッカ検出低減部６０（６０Ａ）を制御する。
【０１５９】
（ＰＡＬ方式またはプログレッシブ方式の場合）
以上の例は、ＮＴＳＣ方式（垂直同期周波数が６０Ｈｚ）のＣＭＯＳビデオカメラの場合であるが、ＰＡＬ方式（垂直同期周波数が５０Ｈｚ）のＣＭＯＳビデオカメラの場合には、蛍光灯照明下で、電源周波数が６０Ｈｚのとき、５フィールド（５画面）を繰り返し周期とする時間軸上で連続性を持ったフリッカを生じるので、フリッカ検出低減部６０（６０Ａ）としては、それに対応した構成（ＮＴＳＣ方式の場合の「３フィールド」を「５フィールド」に置き換えた構成）とすればよい。
【０１６０】
また、ＮＴＳＣ方式とＰＡＬ方式のいずれかに選択的に設定されるＣＭＯＳビデオカメラの場合には、カメラがＮＴＳＣ方式に設定されたときには、フリッカ検出低減部６０もＮＴＳＣ方式用に切り替えられ、カメラがＰＡＬ方式に設定されたときには、フリッカ検出低減部６０もＰＡＬ方式用に切り替えられるように、フリッカ検出低減部６０を構成すればよい。
【０１６１】
さらに、例えば垂直同期周波数が３０Ｈｚ（フレーム周波数が３０Ｈｚ）のプログレッシブ方式のＣＭＯＳカメラの場合には、蛍光灯照明下で、電源周波数が５０Ｈｚのとき、３フレーム（３画面）を繰り返し周期とする時間軸上で連続性を持ったフリッカを生じるので、フリッカ検出低減部６０としては、それに対応した構成（ＮＴＳＣ方式の場合の「フィールド」を「フレーム」に置き換え、「３フィールド」を「３フレーム」に置き換えた構成）とすればよい。
【０１６２】
〔他の実施形態〕
上述した例は、フリッカ検出低減部６０を含むデジタル信号処理部４０をハードウェアによって構成する場合であるが、フリッカ検出低減部６０またはデジタル信号処理部４０の一部または全部をソフトウェアによって構成してもよい。
【０１６３】
さらに、この発明は、ＣＭＯＳ撮像素子以外のＸＹアドレス走査型の撮像素子を用いた撮像装置にも適用することができる。
【図面の簡単な説明】
【０１６４】
【図１】この発明の撮像装置の一例のシステム構成を示す図である。
【図２】複数の読み出しチャネルによって映像信号を読み出す場合の一例を示す図である。
【図３】図１の撮像装置のデジタル信号処理部の一例を示す図である。
【図４】フリッカ検出低減部の一例を示す図である。
【図５】具体例のフリッカ検出低減方法の説明に供する式を示す図である。
【図６】具体例のフリッカ検出低減方法の説明に供する式を示す図である。
【図７】具体例のフリッカ検出低減方法の説明に供する式を示す図である。
【図８】具体例のフリッカ検出低減方法の説明に供する式を示す図である。
【図９】具体例のフリッカ検出低減方法の説明に供する式を示す図である。
【図１０】ＣＣＤ撮像装置における蛍光灯フリッカの説明に供する図である。
【図１１】ＣＭＯＳ撮像装置における蛍光灯フリッカの説明に供する図である。
【図１２】ＣＭＯＳ撮像装置における蛍光灯フリッカの１画面内の縞模様を示す図である。
【図１３】ＣＭＯＳ撮像装置における蛍光灯フリッカの連続する３画面に渡る縞模様を示す図である。
【符号の説明】
【０１６５】
主要部については図中に全て記述したので、ここでは省略する。
【特許請求の範囲】
【請求項１】
ＸＹアドレス走査型の撮像素子により被写体を撮影することによって得られた映像信号を処理する方法であって、
前記映像信号をアナログ／デジタル変換した後の映像信号のレベルまたはゲインを補正する補正工程と、
この補正工程後において、その補正後の映像信号から、蛍光灯フリッカ成分を検出し、低減するフリッカ検出低減工程と、
を備えることを特徴とする信号処理方法。
【請求項２】
請求項１の信号処理方法において、
前記補正工程では、前記撮像素子から複数の読み出しチャネルによって映像信号を読み出す場合における、それぞれの読み出しチャネルの信号ゲインを均一にする処理を実行することを特徴とする信号処理方法。
【請求項３】
請求項１の信号処理方法において、
前記補正工程では、前記撮像素子の固定パターンノイズを低減する処理を実行することを特徴とする信号処理方法。
【請求項４】
請求項１の信号処理方法において、
前記補正工程では、前記撮像素子の欠陥画素のデータを補正する処理を実行することを特徴とする信号処理方法。
【請求項５】
請求項１の信号処理方法において、
前記補正工程では、ノイズ低減処理を実行することを特徴とする信号処理方法。
【請求項６】
請求項１の信号処理方法において、
前記補正工程では、レンズシェーディングを補正する処理を実行することを特徴とする信号処理方法。
【請求項７】
請求項１〜６のいずれかの信号処理方法において、
前記フリッカ検出低減工程後において、フリッカ低減後の映像信号につき、ホワイトバランス調整を実行することを特徴とする信号処理方法。
【請求項８】
請求項１〜６のいずれかの信号処理方法において、
前記フリッカ検出低減工程後において、フリッカ低減後の映像信号から、前記撮像素子の欠陥画素を検出することを特徴とする信号処理方法。
【請求項９】
ＸＹアドレス走査型の撮像素子を備える撮像装置であって、
前記撮像素子により被写体を撮影することによって得られた映像信号をアナログ／デジタル変換する手段と、
その変換後の映像信号のレベルまたはゲインを補正する補正手段と、
その補正後の映像信号から、蛍光灯フリッカ成分を検出し、低減するフリッカ検出低減手段と、
を備えることを特徴とする撮像装置。
【請求項１０】
請求項９の撮像装置において、
前記補正手段は、前記撮像素子から複数の読み出しチャネルによって映像信号を読み出す場合における、それぞれの読み出しチャネルの信号ゲインを均一にする処理を実行することを特徴とする撮像装置。
【請求項１１】
請求項９の撮像装置において、
前記補正手段は、前記撮像素子の固定パターンノイズを低減する処理を実行することを特徴とする撮像装置。
【請求項１２】
請求項９の撮像装置において、
前記補正手段は、前記撮像素子の欠陥画素のデータを補正する処理を実行することを特徴とする撮像装置。
【請求項１３】
請求項９の撮像装置において、
前記補正手段は、ノイズ低減処理を実行することを特徴とする撮像装置。
【請求項１４】
請求項９の撮像装置において、
前記補正手段は、レンズシェーディングを補正する処理を実行することを特徴とする撮像装置。
【請求項１５】
請求項９〜１４のいずれかの撮像装置において、
前記フリッカ検出低減手段によるフリッカ低減後の映像信号につき、ホワイトバランス調整を実行する手段を備えることを特徴とする撮像装置。
【請求項１６】
請求項９〜１４のいずれかの撮像装置において、
前記フリッカ検出低減手段によるフリッカ低減後の映像信号から、前記撮像素子の欠陥画素を検出する手段を備えることを特徴とする撮像装置。
【請求項１】
ＸＹアドレス走査型の撮像素子により被写体を撮影することによって得られた映像信号を処理する方法であって、
前記映像信号をアナログ／デジタル変換した後の映像信号のレベルまたはゲインを補正する補正工程と、
この補正工程後において、その補正後の映像信号から、蛍光灯フリッカ成分を検出し、低減するフリッカ検出低減工程と、
を備えることを特徴とする信号処理方法。
【請求項２】
請求項１の信号処理方法において、
前記補正工程では、前記撮像素子から複数の読み出しチャネルによって映像信号を読み出す場合における、それぞれの読み出しチャネルの信号ゲインを均一にする処理を実行することを特徴とする信号処理方法。
【請求項３】
請求項１の信号処理方法において、
前記補正工程では、前記撮像素子の固定パターンノイズを低減する処理を実行することを特徴とする信号処理方法。
【請求項４】
請求項１の信号処理方法において、
前記補正工程では、前記撮像素子の欠陥画素のデータを補正する処理を実行することを特徴とする信号処理方法。
【請求項５】
請求項１の信号処理方法において、
前記補正工程では、ノイズ低減処理を実行することを特徴とする信号処理方法。
【請求項６】
請求項１の信号処理方法において、
前記補正工程では、レンズシェーディングを補正する処理を実行することを特徴とする信号処理方法。
【請求項７】
請求項１〜６のいずれかの信号処理方法において、
前記フリッカ検出低減工程後において、フリッカ低減後の映像信号につき、ホワイトバランス調整を実行することを特徴とする信号処理方法。
【請求項８】
請求項１〜６のいずれかの信号処理方法において、
前記フリッカ検出低減工程後において、フリッカ低減後の映像信号から、前記撮像素子の欠陥画素を検出することを特徴とする信号処理方法。
【請求項９】
ＸＹアドレス走査型の撮像素子を備える撮像装置であって、
前記撮像素子により被写体を撮影することによって得られた映像信号をアナログ／デジタル変換する手段と、
その変換後の映像信号のレベルまたはゲインを補正する補正手段と、
その補正後の映像信号から、蛍光灯フリッカ成分を検出し、低減するフリッカ検出低減手段と、
を備えることを特徴とする撮像装置。
【請求項１０】
請求項９の撮像装置において、
前記補正手段は、前記撮像素子から複数の読み出しチャネルによって映像信号を読み出す場合における、それぞれの読み出しチャネルの信号ゲインを均一にする処理を実行することを特徴とする撮像装置。
【請求項１１】
請求項９の撮像装置において、
前記補正手段は、前記撮像素子の固定パターンノイズを低減する処理を実行することを特徴とする撮像装置。
【請求項１２】
請求項９の撮像装置において、
前記補正手段は、前記撮像素子の欠陥画素のデータを補正する処理を実行することを特徴とする撮像装置。
【請求項１３】
請求項９の撮像装置において、
前記補正手段は、ノイズ低減処理を実行することを特徴とする撮像装置。
【請求項１４】
請求項９の撮像装置において、
前記補正手段は、レンズシェーディングを補正する処理を実行することを特徴とする撮像装置。
【請求項１５】
請求項９〜１４のいずれかの撮像装置において、
前記フリッカ検出低減手段によるフリッカ低減後の映像信号につき、ホワイトバランス調整を実行する手段を備えることを特徴とする撮像装置。
【請求項１６】
請求項９〜１４のいずれかの撮像装置において、
前記フリッカ検出低減手段によるフリッカ低減後の映像信号から、前記撮像素子の欠陥画素を検出する手段を備えることを特徴とする撮像装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【公開番号】特開２００５−３４７９３９（Ｐ２００５−３４７９３９Ａ）
【公開日】平成１７年１２月１５日（２００５．１２．１５）
【国際特許分類】
【出願番号】特願２００４−１６３２９５（Ｐ２００４−１６３２９５）
【出願日】平成１６年６月１日（２００４．６．１）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
【公開日】平成１７年１２月１５日（２００５．１２．１５）
【国際特許分類】
【出願日】平成１６年６月１日（２００４．６．１）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
[ Back to top ]