フリッカ補正装置、フリッカ補正方法、およびフリッカ補正プログラム
【課題】被写体が動いた場合およびフィールド周期とフリッカ周期の位相のズレが少ない場合でもフリッカの周波数を高速に検出し補正する技術の提供。
【解決手段】動き検出器１１０の動き検出結果をもとに、露光時刻が点順次または線順次である撮像素子を用いて撮像した画像信号のｎフィールド前ライン平均値記憶部１０３におけるフィールド数ｎ、抽出されたフリッカ成分の周波数領域用の第一の巡回型ＬＰＦ１０８、および第二の巡回型LPF１０９における巡回係数、フェードゲイン乗算部１１８におけるフェードゲインの制御を行い、フリッカ補正を行う。
【解決手段】動き検出器１１０の動き検出結果をもとに、露光時刻が点順次または線順次である撮像素子を用いて撮像した画像信号のｎフィールド前ライン平均値記憶部１０３におけるフィールド数ｎ、抽出されたフリッカ成分の周波数領域用の第一の巡回型ＬＰＦ１０８、および第二の巡回型LPF１０９における巡回係数、フェードゲイン乗算部１１８におけるフェードゲインの制御を行い、フリッカ補正を行う。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、主に交流電源による照明等に起因する撮像素子の出力信号における周期的変化（以下、フリッカと記す）を補正するフリッカ補正技術に関するものである。
【背景技術】
【０００２】
一般に、交流電源で点灯されている照明（電球、蛍光灯、水銀灯など）は電源周波数の２倍の周波数で輝度変化を伴い明暗を繰り返している。このような照明下で露光時刻が点順次または線順次である撮像素子を用いて被写体を撮像すると、撮像素子出力の画像信号に周期的な横縞、いわゆるフリッカを生じる。この周期的な横縞の周期は撮像素子の駆動周波数と電源周波数から求まる。
【０００３】
例えば５０Ｈｚの交流電源で点灯する一般的な蛍光灯は１００Ｈｚで発光を繰り返すため、ＮＴＳＣ方式では、水平走査（以下、ラインと記す）周波数が１５．７５ｋＨｚであるので１／１００ｓｅｃ＝１５７．５ライン毎に明暗を繰り返す。また、フィールドの周期（１／５９．９４ｓｅｃ）と照明の点滅周期（１／１００ｓｅｃ）との公倍数は１／２０ｓｅｃであるため、１／２０ｓｅｃ即ちほぼ３フィールド毎に同じ明暗のパターンとなる。
【０００４】
また、６０Ｈｚの交流電源で点灯する蛍光灯は１２０Ｈｚで発光を繰り返すため、１／１２０ｓｅｃ＝１３１．３ライン毎に明暗を繰り返す。また、フィールドの周期（１／５９．９４ｓｅｃ）と照明の点滅周期（１／１２０ｓｅｃ）とのズレは１６．６７μｓｅｃであるため、フィールド周期とフリッカ周期とが再度合致するまでの周期は５００フィールド毎となり、非常にゆっくり動く横縞となって画面上に現れる。このようにフリッカによる画質劣化は非常に目障りなものとなる。
【０００５】
このような問題に対して、特許文献１に開示されている技術では、フィールド周期とフリッカ周期の位相が再度合致する周期の１／３位相毎にライン平均値をメモリに記憶しておき、それら平均値を平均することでフリッカの影響を排除した基準値を作成し、フリッカ補正を行っている。特にＮＴＳＣ方式で６０Ｈｚのフリッカを受ける場合は、被写体が静止している時にはフリッカ補正をするが、被写体が動いている時にはフリッカ補正を行わないように処理することで、被写体の動きに影響され難いフリッカ低減装置を実現している。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００９−８１６８４号公報
【発明の開示】
【発明が解決しようとする課題】
【０００７】
しかしながら、従来手法においては、フィールド周期とフリッカ周期の位相が再度合致する周期の１／３位相毎にライン平均値を記憶しておくメモリを更新するようにしており、特にＮＴＳＣ方式で６０Ｈｚのフリッカを受ける場合は、１６７フィールド期間遅延した平均値と３３４フィールド期間遅延した平均値と５００フィールド期間遅延した平均値の３つの平均値を求めてフリッカの影響を排除した基準値を作成している。このため、５００フィールド期間に動きがあった場合、正しい基準値が求められないので、フリッカ検出が出来ないという問題や、静止した被写体であっても初回のフリッカの有無を判定するまでに最低でも５００フィールド期間以上の時間を要するという問題があった。
【０００８】
本発明は、上述したような従来手法の問題を解決するためになされたもので、その目的とするところは、被写体が動いた場合でもフリッカ補正を行うこと、さらに、フィールド周期とフリッカ周期の位相のズレが少ない場合であっても動き状態から静止状態に変わった時に高速にフリッカ補正を開始することが可能なフリッカ補正技術を提供することにある。
【課題を解決するための手段】
【０００９】
本発明に係る第１の態様のフリッカ補正装置は、露光時刻が点順次または線順次である撮像素子を用いて撮像した画像のフリッカを低減させるフリッカ補正装置であって、入力画像信号の有効期間のライン毎の平均値を算出するライン平均値算出部と、前記ライン平均値算出部で得られた平均値を１フィールド期間単位で記憶する記憶部と、前記ライン平均値算出部で得られた平均値と前記記憶部に格納されている１フィールド前の平均値の出力変化から動きを検出する動き検出部と、前記動き検出部から出力される動き検出結果に基づいて静止が続いたフィールド数である静止フィールド数を計測する静止フィールド数計測部と、前記動き検出部から出力される動き検出結果に基づいて動きが続いたフィールド数である動きフィールド数を計測する動きフィールド数計測部と、前記ライン平均値算出部で得られた平均値と前記記憶部に格納されているｎフィールド（ｎは整数値）だけ前の平均値との差分値を算出する差分値算出部と、前記静止フィールド数計測部から出力される前記静止フィールド数の結果に基づいて前記フィールド数ｎを算出するフィールド数ｎ算出部と、前記ライン平均値算出部で得られた平均値と前記差分値算出部で得られた差分値からフリッカ周波数を抽出するフリッカ成分抽出部と、前記フリッカ成分抽出部で抽出されたフリッカ成分と前記動き検出部の結果からフリッカの有無やフリッカ周波数を判定するフリッカ判定部と、前記フリッカ判定部の結果から、フリッカ周波数に同期したフリッカ補正ゲインを算出するフリッカ補正ゲイン算出部と、前記フリッカ補正ゲイン算出部からの補正ゲインを前記入力画像信号に乗ずるフリッカ補正ゲイン乗算部と、を備え、前記フィールド数ｎ算出部は、前記静止フィールド数および前記動きフィールド数に応じて前記フィールド数ｎの制御を行い、前記静止フィールド数がゼロでない静止時においては、静止フィールド数が小さいうちは前記フィールド数ｎを小さくする一方、静止フィールド数が大きくなるにつれて前記フィールド数ｎを所定の数まで徐々に増加させていき、前記動きフィールド数がゼロでない動き時においては前記フィールド数ｎをゼロにする、ことを特徴とする。
【００１０】
この構成により、被写体の動き／静止の状態に応じてフリッカ成分抽出の速度を適切に変えることが可能となり、動きから静止状態に切り替わった時にフリッカ成分算出結果を早く得ることができ、また、静止状態が長く続くときはフリッカ成分算出を高精度で得ることができる。
【００１１】
本発明に係る第２の態様のフリッカ補正装置は、露光時刻が点順次または線順次である撮像素子を用いて撮像した画像のフリッカを低減させるフリッカ補正装置であって、入力画像信号の有効期間のライン毎の平均値を算出するライン平均値算出部と、前記ライン平均値算出部で得られた平均値を１フィールド期間単位で記憶する記憶部と、前記ライン平均値算出部で得られた平均値と前記記憶部に格納されている１フィールド前の平均値の出力変化から動きを検出する動き検出部と、前記動き検出部から出力される動き検出結果に基づいて静止が続いたフィールド数である静止フィールド数を計測する静止フィールド数計測部と、前記動き検出部から出力される動き検出結果に基づいて動きが続いたフィールド数である動きフィールド数を計測する動きフィールド数計測部と、前記ライン平均値算出部で得られた平均値と前記記憶部に格納されているｎフィールド（ｎは整数値）だけ前の平均値との差分値を算出する差分値算出部と、前記ライン平均値算出部で得られた平均値と前記差分値算出部で得られた差分値からフリッカ周波数を抽出するフリッカ成分抽出部と、前記フリッカ成分抽出部で抽出されたフリッカ成分と前記動き検出部の結果からフリッカの有無やフリッカ周波数を判定するフリッカ判定部と、前記フリッカ判定部の結果から、フリッカ周波数に同期したフリッカ補正ゲインを算出するフリッカ補正ゲイン算出部と、前記静止フィールド数計測部と前記動きフィールド数計測部の計測結果からフェードゲインを算出するフェードゲイン算出部と、前記フェードゲイン算出部で算出されたフェードゲインを前記フリッカ補正ゲインに乗ずるフェードゲイン乗算部と、前記フェードゲイン乗算部から入力された補正ゲインを前記入力画像信号に乗ずるフリッカ補正ゲイン乗算部と、を備え、前記フェードゲイン算出部は、前記静止フィールド数および前記動きフィールド数に応じて前記フェードゲインの制御を行い、静止フィールド数がゼロでない静止時においては、静止フィールド数が小さいうちは前記フェードゲインを小さくする一方、静止フィールド数が大きくなるにつれて前記フェードゲインを徐々に大きくして１倍まで増加させていき、動きフィールド数がゼロでない動き時においては、動きフィールド数が小さいうちは前記フェードゲインを大きくする一方、動きフィールド数が大きくなるにつれて前記フェードゲインを徐々に小さくして０倍まで減少させる、ことを特徴とする。
【００１２】
この構成により、被写体の動き／静止の状態に応じてフェードゲインの大きさを適切に変えることが可能となり、静止状態が長く続いていて、フリッカ補正精度が信頼できるときは正規の補正ゲインを出力し、フリッカを完全に補正するが、動きが長く続いている状態や、動きから静止になった直後等、フリッカ補正精度があまり信頼できない状況のときは補正ゲインを小さくし補正誤差による悪影響を目立たないようにできる。
【００１３】
本発明に係る第３の態様のフリッカ補正装置は、露光時刻が点順次または線順次である撮像素子を用いて撮像した画像のフリッカを低減させるフリッカ補正装置であって、入力画像信号の有効期間のライン毎の平均値を算出するライン平均値算出部と、前記ライン平均値算出部で得られた平均値を１フィールド期間単位で記憶する記憶部と、前記ライン平均値算出部で得られた平均値と前記記憶部に格納されている１フィールド前の平均値の出力変化から動きを検出する動き検出部と、前記ライン平均値算出部で得られた平均値と前記記憶部に格納されているｎフィールド（ｎは整数値）だけ前の平均値との差分値を算出する差分値算出部と、前記ライン平均値算出部で得られた平均値と前記差分値算出部で得られた差分値からフリッカ周波数を抽出するフリッカ成分抽出部と、前記動き検出部から出力される動き検出結果に基づいて巡回係数を算出する巡回係数算出部と、前記フリッカ成分抽出部で抽出されたフリッカ成分に前記巡回係数算出部で算出された巡回係数に基づきローパスフィルターをかける巡回型ローパスフィルター部と、前記巡回型ローパスフィルター部からの出力と前記動き検出部の検出結果に基づいてフリッカの有無およびフリッカ周波数を判定するフリッカ判定部と、前記フリッカ判定部の判定結果に基づいて、フリッカ周波数に同期したフリッカ補正ゲインを算出するフリッカ補正ゲイン算出部と、前記フリッカ補正ゲイン算出部で算出された補正ゲインを前記入力画像信号に乗ずるフリッカ補正ゲイン乗算部と、を備え、前記巡回係数算出部は、動き状態から静止状態になった直後の１フィールドは巡回係数を一旦ゼロとし、静止状態が継続した場合には巡回係数を所定の値とする一方、動き状態となったときは巡回係数を１にする、ことを特徴とする。
【００１４】
この構成により、被写体の動き／静止の状態に応じて巡回型ローパスフィルターの巡回係数の大きさを適切に変えることが可能となり、動きから静止状態になった時に一度計算結果を初期化することで高速に巡回型ローパスフィルター出力を収束させ所望のフリッカ補正ゲインを得ることができ、また、動き状態がしばらく続いた時にも巡回型ローパスフィルター出力を保持するので、フリッカ補正ゲインが変動してしまう事がなくフリッカ補正を安定して行うことが可能になる。
【００１５】
本発明に係る第１の態様のフリッカ補正方法は、露光時刻が点順次または線順次である撮像素子を用いて撮像した画像のフリッカを低減させるフリッカ補正方法であって、入力画像信号の有効期間のライン毎の平均値を算出するライン平均値算出ステップと、前記ライン平均値算出ステップで得られた平均値を１フィールド期間単位で記憶する記憶ステップと、前記ライン平均値算出ステップで得られた平均値と前記記憶ステップで記憶された１フィールド前の平均値の出力変化から動きを検出する動き検出ステップと、前記動き検出ステップでの動き検出結果に基づいて静止が続いたフィールド数である静止フィールド数を計測する静止フィールド数計測ステップと、前記動き検出ステップでの動き検出結果に基づいて動きが続いたフィールド数である動きフィールド数を計測する動きフィールド数計測ステップと、前記ライン平均値算出ステップで得られた平均値と前記記憶ステップで記憶されたｎフィールド（ｎは整数値）だけ前の平均値との差分値を算出する差分値算出ステップと、前記静止フィールド数計測ステップで計測された前記静止フィールド数の結果に基づいて前記フィールド数ｎを算出するフィールド数ｎ算出ステップと、前記ライン平均値算出ステップで得られた平均値と前記差分値算出ステップで得られた差分値からフリッカ周波数を抽出するフリッカ成分抽出ステップと、前記フリッカ成分抽出ステップで抽出されたフリッカ成分と前記動き検出ステップでの動き検出結果に基づいてフリッカの有無やフリッカ周波数を判定するフリッカ判定ステップと、前記フリッカ判定ステップでの判定結果から、フリッカ周波数に同期したフリッカ補正ゲインを算出するフリッカ補正ゲイン算出ステップと、前記フリッカ補正ゲイン算出ステップで算出された補正ゲインを前記入力画像信号に乗ずるフリッカ補正ゲイン乗算ステップと、を備え、前記フィールド数ｎ算出ステップでは、前記静止フィールド数および前記動きフィールド数に応じて前記フィールド数ｎの制御を行い、前記静止フィールド数がゼロでない静止時においては、静止フィールド数が小さいうちは前記フィールド数ｎを小さくする一方、静止フィールド数が大きくなるにつれて前記フィールド数ｎを所定の数まで徐々に増加させていき、前記動きフィールド数がゼロでない動き時においては前記フィールド数ｎをゼロにする、ことを特徴とする。
【００１６】
この構成により、被写体の動き／静止の状態に応じてフリッカ成分抽出の速度を適切に変えることが可能となり、動きから静止状態に切り替わった時にフリッカ成分算出結果を早く得ることができ、また、静止状態が長く続くときはフリッカ成分算出を高精度で得ることができる。
【００１７】
本発明に係る第２の態様のフリッカ補正方法は、露光時刻が点順次または線順次である撮像素子を用いて撮像した画像のフリッカを低減させるフリッカ補正方法であって、入力画像信号の有効期間のライン毎の平均値を算出するライン平均値算出ステップと、前記ライン平均値算出ステップで得られた平均値を１フィールド期間単位で記憶する記憶ステップと、前記ライン平均値算出ステップで得られた平均値と前記記憶ステップで記憶された１フィールド前の平均値の出力変化から動きを検出する動き検出ステップと、前記動き検出ステップでの動き検出結果に基づいて静止が続いたフィールド数である静止フィールド数を計測する静止フィールド数計測ステップと、前記動き検出ステップでの動き検出結果に基づいて動きが続いたフィールド数である動きフィールド数を計測する動きフィールド数計測ステップと、前記ライン平均値算出ステップで得られた平均値と前記記憶ステップで記憶されたｎフィールド（ｎは整数値）だけ前の平均値との差分値を算出する差分値算出ステップと、前記ライン平均値算出ステップで得られた平均値と前記差分値算出ステップで得られた差分値からフリッカ周波数を抽出するフリッカ成分抽出ステップと、前記フリッカ成分抽出ステップで抽出されたフリッカ成分と前記動き検出ステップでの動き検出結果に基づいてフリッカの有無やフリッカ周波数を判定するフリッカ判定ステップと、前記フリッカ判定ステップでの判定結果に基づいて、フリッカ周波数に同期したフリッカ補正ゲインを算出するフリッカ補正ゲイン算出ステップと、前記静止フィールド数計測ステップと前記動きフィールド数計測ステップの計測結果からフェードゲインを算出するフェードゲイン算出ステップと、前記フェードゲイン算出ステップで算出されたフェードゲインを前記フリッカ補正ゲインに乗ずるフェードゲイン乗算ステップと、前記フェードゲイン乗算ステップからの補正ゲインを前記入力画像信号に乗ずるフリッカ補正ゲイン乗算ステップと、を備え、前記フェードゲイン算出ステップでは、前記静止フィールド数および前記動きフィールド数に応じて前記フェードゲインの制御を行い、静止フィールド数がゼロでない静止時においては、静止フィールド数が小さいうちは前記フェードゲインを小さくする一方、静止フィールド数が大きくなるにつれて前記フェードゲインを徐々に大きくして１倍まで増加させていき、動きフィールド数がゼロでない動き時においては、動きフィールド数が小さいうちは前記フェードゲインを大きくする一方、動きフィールド数が大きくなるにつれて前記フェードゲインを徐々に小さくして０倍まで減少させる、ことを特徴とする。
【００１８】
この構成により、被写体の動き／静止の状態に応じてフェードゲインの大きさを適切に変えることが可能となり、静止状態が長く続いていて、フリッカ補正精度が信頼できるときは正規の補正ゲインを出力し、フリッカを完全に補正するが、動きが長く続いている状態や、動きから静止になった直後等、フリッカ補正精度があまり信頼できない状況のときは補正ゲインを小さくし補正誤差による悪影響を目立たないようにできる。
【００１９】
本発明に係る第３の態様のフリッカ補正方法は、露光時刻が点順次または線順次である撮像素子を用いて撮像した画像のフリッカを低減させるフリッカ補正方法であって、入力画像信号の有効期間のライン毎の平均値を算出するライン平均値算出ステップと、前記ライン平均値算出ステップで得られた平均値を１フィールド期間単位で記憶する記憶ステップと、前記ライン平均値算出ステップで得られた平均値と前記記憶ステップで記憶された１フィールド前の平均値の出力変化から動きを検出する動き検出ステップと、前記ライン平均値算出ステップで得られた平均値と前記記憶ステップで記憶されたｎフィールド（ｎは整数値）だけ前の平均値との差分値を算出する差分値算出ステップと、前記ライン平均値算出ステップで得られた平均値と前記差分値算出ステップで得られた差分値からフリッカ周波数を抽出するフリッカ成分抽出ステップと、前記動き検出ステップでの動き検出結果に基づいて巡回係数を算出する巡回係数算出ステップと、前記フリッカ成分抽出ステップで抽出されたフリッカ成分に前記巡回係数算出ステップで算出された巡回係数に基づきローパスフィルターをかける巡回型ローパスフィルターステップと、前記巡回型ローパスフィルターステップからの出力と前記動き検出ステップでの検出結果に基づいてフリッカの有無およびフリッカ周波数を判定するフリッカ判定ステップと、前記フリッカ判定ステップでの判定結果に基づいて、フリッカ周波数に同期したフリッカ補正ゲインを算出するフリッカ補正ゲイン算出ステップと、前記フリッカ補正ゲイン算出ステップで算出された補正ゲインを前記入力画像信号に乗ずるフリッカ補正ゲイン乗算ステップと、を備え、前記巡回係数算出ステップでは、動き状態から静止状態になった直後の１フィールドは巡回係数を一旦ゼロとし、静止状態が継続した場合には巡回係数を所定の値とする一方、動き状態となったときは巡回係数を１にする、ことを特徴とする。
【００２０】
この構成により、被写体の動き／静止の状態に応じて巡回型ローパスフィルターの巡回係数の大きさを適切に変えることが可能となり、動きから静止状態になった時に一度計算結果を初期化することで高速に巡回型ローパスフィルター出力を収束させ所望のフリッカ補正ゲインを得ることができ、また、動き状態がしばらく続いた時にも巡回型ローパスフィルター出力を保持するので、フリッカ補正ゲインが変動してしまう事がなくフリッカ補正を安定して行うことが可能になる。
【００２１】
本発明に係る第１の態様のフリッカ補正プログラムは、露光時刻が点順次または線順次である撮像素子を用いて撮像した画像のフリッカを低減させるフリッカ補正プログラムであって、コンピュータに下記のステップを実行させるためのフリッカ補正プログラムである。
入力画像信号の有効期間のライン毎の平均値を算出するライン平均値算出ステップ：
前記ライン平均値算出ステップで得られた平均値を１フィールド期間単位で記憶する記憶ステップ：
前記ライン平均値算出ステップで得られた平均値と前記記憶ステップで記憶された１フィールド前の平均値の出力変化から動きを検出する動き検出ステップ：
前記動き検出ステップでの動き検出結果に基づいて静止が続いたフィールド数である静止フィールド数を計測する静止フィールド数計測ステップ：
前記動き検出ステップでの動き検出結果に基づいて動きが続いたフィールド数である動きフィールド数を計測する動きフィールド数計測ステップ：
前記ライン平均値算出ステップで得られた平均値と前記記憶ステップで記憶されたｎフィールド（ｎは整数値）だけ前の平均値との差分値を算出する差分値算出ステップ：
前記静止フィールド数計測ステップで計測された前記静止フィールド数の結果に基づいて前記フィールド数ｎを算出するステップであって、前記静止フィールド数および前記動きフィールド数に応じて前記フィールド数ｎの制御を行い、前記静止フィールド数がゼロでない静止時においては、静止フィールド数が小さいうちは前記フィールド数ｎを小さくする一方、静止フィールド数が大きくなるにつれて前記フィールド数ｎを所定の数まで徐々に増加させていき、前記動きフィールド数がゼロでない動き時においては前記フィールド数ｎをゼロにする、フィールド数ｎ算出ステップ：
前記ライン平均値算出ステップで得られた平均値と前記差分値算出ステップで得られた差分値からフリッカ周波数を抽出するフリッカ成分抽出ステップ：
前記フリッカ成分抽出ステップで抽出されたフリッカ成分と前記動き検出ステップでの動き検出結果に基づいてフリッカの有無やフリッカ周波数を判定するフリッカ判定ステップ：
前記フリッカ判定ステップでの判定結果から、フリッカ周波数に同期したフリッカ補正ゲインを算出するフリッカ補正ゲイン算出ステップ：
前記フリッカ補正ゲイン算出ステップで算出された補正ゲインを前記入力画像信号に乗ずるフリッカ補正ゲイン乗算ステップ：
【００２２】
この構成により、被写体の動き／静止の状態に応じてフリッカ成分抽出の速度を適切に変えることが可能となり、動きから静止状態に切り替わった時にフリッカ成分算出結果を早く得ることができ、また、静止状態が長く続くときはフリッカ成分算出を高精度で得ることができる。
【００２３】
本発明に係る第２の態様のフリッカ補正プログラムは、露光時刻が点順次または線順次である撮像素子を用いて撮像した画像のフリッカを低減させるフリッカ補正プログラムであって、コンピュータに下記のステップを実行させるためのフリッカ補正プログラムである。
入力画像信号の有効期間のライン毎の平均値を算出するライン平均値算出ステップ：
前記ライン平均値算出ステップで得られた平均値を１フィールド期間単位で記憶する記憶ステップ：
前記ライン平均値算出ステップで得られた平均値と前記記憶ステップで記憶された１フィールド前の平均値の出力変化から動きを検出する動き検出ステップ：
前記動き検出ステップでの動き検出結果に基づいて静止が続いたフィールド数である静止フィールド数を計測する静止フィールド数計測ステップ：
前記動き検出ステップでの動き検出結果に基づいて動きが続いたフィールド数である動きフィールド数を計測する動きフィールド数計測ステップ：
前記ライン平均値算出ステップで得られた平均値と前記記憶ステップで記憶されたｎフィールド（ｎは整数値）だけ前の平均値との差分値を算出する差分値算出ステップ：
前記ライン平均値算出ステップで得られた平均値と前記差分値算出ステップで得られた差分値からフリッカ周波数を抽出するフリッカ成分抽出ステップ：
前記フリッカ成分抽出ステップで抽出されたフリッカ成分と前記動き検出ステップでの動き検出結果に基づいてフリッカの有無やフリッカ周波数を判定するフリッカ判定ステップ：
前記フリッカ判定ステップでの判定結果に基づいて、フリッカ周波数に同期したフリッカ補正ゲインを算出するフリッカ補正ゲイン算出ステップ：
前記静止フィールド数計測ステップと前記動きフィールド数計測ステップの計測結果からフェードゲインを算出するステップであって、前記静止フィールド数および前記動きフィールド数に応じて前記フェードゲインの制御を行い、静止フィールド数がゼロでない静止時においては、静止フィールド数が小さいうちは前記フェードゲインを小さくする一方、静止フィールド数が大きくなるにつれて前記フェードゲインを徐々に大きくして１倍まで増加させていき、動きフィールド数がゼロでない動き時においては、動きフィールド数が小さいうちは前記フェードゲインを大きくする一方、動きフィールド数が大きくなるにつれて前記フェードゲインを徐々に小さくして０倍まで減少させる、フェードゲイン算出ステップ：
前記フェードゲイン算出ステップで算出されたフェードゲインを前記フリッカ補正ゲインに乗ずるフェードゲイン乗算ステップ：
前記フェードゲイン乗算ステップからの補正ゲインを前記入力画像信号に乗ずるフリッカ補正ゲイン乗算ステップ：
【００２４】
この構成により、被写体の動き／静止の状態に応じてフェードゲインの大きさを適切に変えることが可能となり、静止状態が長く続いていて、フリッカ補正精度が信頼できるときは正規の補正ゲインを出力し、フリッカを完全に補正するが、動きが長く続いている状態や、動きから静止になった直後等、フリッカ補正精度があまり信頼できない状況のときは補正ゲインを小さくし補正誤差による悪影響を目立たないようにできる。
【００２５】
本発明に係る第３の態様のフリッカ補正プログラムは、露光時刻が点順次または線順次である撮像素子を用いて撮像した画像のフリッカを低減させるフリッカ補正プログラムであって、コンピュータに下記のステップを実行させるためのフリッカ補正プログラムである。
入力画像信号の有効期間のライン毎の平均値を算出するライン平均値算出ステップ：
前記ライン平均値算出ステップで得られた平均値を１フィールド期間単位で記憶する記憶ステップ：
前記ライン平均値算出ステップで得られた平均値と前記記憶ステップで記憶された１フィールド前の平均値の出力変化から動きを検出する動き検出ステップ：
前記ライン平均値算出ステップで得られた平均値と前記記憶ステップで記憶されたｎフィールド（ｎは整数値）だけ前の平均値との差分値を算出する差分値算出ステップ：
前記ライン平均値算出ステップで得られた平均値と前記差分値算出ステップで得られた差分値からフリッカ周波数を抽出するフリッカ成分抽出ステップ：
前記動き検出ステップでの動き検出結果に基づいて巡回係数を算出するステップであって、動き状態から静止状態になった直後の１フィールドは巡回係数を一旦ゼロとし、静止状態が継続した場合には巡回係数を所定の値とする一方、動き状態となったときは巡回係数を１にする、巡回係数算出ステップ：
前記フリッカ成分抽出ステップで抽出されたフリッカ成分に前記巡回係数算出ステップで算出された巡回係数に基づきローパスフィルターをかける巡回型ローパスフィルターステップ：
前記巡回型ローパスフィルターステップからの出力と前記動き検出ステップでの検出結果に基づいてフリッカの有無およびフリッカ周波数を判定するフリッカ判定ステップ：
前記フリッカ判定ステップでの判定結果に基づいて、フリッカ周波数に同期したフリッカ補正ゲインを算出するフリッカ補正ゲイン算出ステップ：
前記フリッカ補正ゲイン算出ステップで算出された補正ゲインを前記入力画像信号に乗ずるフリッカ補正ゲイン乗算ステップ：
【００２６】
この構成により、被写体の動き／静止の状態に応じて巡回型ローパスフィルタの巡回係数の大きさを適切に変えることが可能となり、動きから静止状態になった時に一度計算結果を初期化することで高速に巡回型ローパスフィルタ出力を収束させ所望のフリッカ補正ゲインを得ることができ、また、動き状態がしばらく続いた時にも巡回型ローパスフィルタ出力を保持するので、フリッカ補正ゲインが変動してしまう事がなくフリッカ補正を安定して行うことが可能になる。
【発明の効果】
【００２７】
本発明によれば、被写体が動いた場合でもフリッカ補正を行うことができ、さらに、フィールド周期とフリッカ周期の位相のズレが少ない場合であっても動き状態から静止状態に変わった時に高速にフリッカ補正を開始することが可能となるという優れた効果が得られる。
【図面の簡単な説明】
【００２８】
【図１】本発明の一実施例におけるフリッカ補正装置の構成を示すブロック図
【図２】フリッカが発生している画像の一例を示す図
【図３】図２の画像のライン平均値を示す図
【図４】３フィールドのライン平均値を示す図
【図５】現在のフィールドのライン平均値を３フィールド分の平均値で除算した結果を示す図
【図６】現在のフィールドとｎフィールド前のライン平均値の差分値を示す図
【図７】差分値を現在のフィールドのライン平均値で除算した結果を示す図
【図８】動き判定結果例による状態制御を示す図（Ａ）静止フィールド数の計測結果を示す図（Ｂ）動きフィールド数の計測結果を示す図（Ｃ）フィールド数ｎ算出結果を示す図（Ｄ）巡回係数算出結果を示す図（Ｅ）フェードゲイン算出結果を示す図
【発明を実施するための最良の形態】
【００２９】
以下に、本発明の一実施例である露光時刻が点順次または線順次である撮像素子を用いて撮像した画像のフリッカを低減させるフリッカ補正装置について、図面を参照しながら説明する。
【００３０】
図１は、本発明におけるフリッカ補正装置の一実施例を示す図である。図１において１００はライン平均値算出部であり、符号１０１は１フィールド前ライン平均値記憶部、１０２は２フィールド前ライン平均値記憶部、１０３はｎフィールド前ライン平均値記憶部である。１フィールド前ライン平均値記憶部１０１、２フィールド前ライン平均値記憶部１０２、および、ｎフィールド前ライン平均値記憶部１０３は、ライン平均値算出部１００で得られた平均値を１フィールド期間単位で記憶する記憶部を構成している。
【００３１】
また、符号１０４は３フィールド平均値算出部、１０５は差分値算出部、１０６は５０Ｈｚフリッカ成分抽出部、１０７は６０Ｈｚフリッカ成分抽出部、１０８は第１の巡回型ＬＰＦ部、１０９は第２の巡回型ＬＰＦ部、１１０は動き検出部、１１１は動きフィールド数計測部、１１２は静止フィールド数計測部、１１３はフィールド数ｎ算出部、１１４は巡回係数算出部、１１５はフリッカ判定部、１１６はフリッカ補正ゲイン算出部、１１７はフェードゲイン算出部、１１８はフェードゲイン乗算部、１１９はフリッカ補正ゲイン乗算部、１２０は遅延部、そして、１２１はマイクロコンピュータである。
【００３２】
ライン平均値算出部１００は、入力画像信号の有効期間のライン毎の平均値を算出する。
【００３３】
１フィールド前ライン平均値記憶部１０１及び２フィールド前ライン平均値記憶部１０２は１フィールド分のライン平均値を保持可能で、それぞれ１フィールド期間遅延して出力する。同様にｎフィールド前ライン平均値記憶部１０３は１フィールド分のライン平均値を保持可能で、任意のｎフィールド期間遅延して出力する。
【００３４】
３フィールド平均値算出部１０４ではライン平均値算出部１００の出力ｙ０、１フィールド前ライン平均値記憶部１０１の出力ｙ−１、２フィールド前ライン平均値記憶部１０２の出力ｙ−２の平均値を演算する。すなわち、３フィールド毎の同ライン位置のライン平均値の平均を算出し、フリッカの影響を排除した基準値を作成する。
【００３５】
差分値算出部１０５は、ライン平均値算出部１００から出力されるライン平均値からｎフィールド前ライン平均値記憶部１０３から出力されるｎフィールド前ライン平均値を減算する。
【００３６】
５０Ｈｚフリッカ成分抽出部１０６は、ライン平均値算出部１００から出力されるライン平均値を３フィールド平均値算出部１０４から出力される平均値で除算することにより、被写体の濃淡が排除されたフリッカ信号を求めた後、周波数変換し、５０Hzのフリッカの成分の周波数領域だけを抽出する。
【００３７】
６０Ｈｚフリッカ成分抽出部１０７は、差分値算出部１０５から出力される差分値をライン平均値算出部１００から出力される平均値で除算することにより、被写体の濃淡が排除されたフリッカ信号を求めた後、周波数変換し、６０Hzのフリッカの成分の周波数領域だけを抽出する。
【００３８】
第１の巡回型ＬＰＦ部１０８は、５０Ｈｚフリッカ成分抽出部１０６から出力される５０Ｈｚフリッカ成分と１フィールド前のフリッカ成分巡回ＬＰＦ結果に対して、巡回係数算出部１１４から出力される巡回係数でローパスフィルタをかける。
【００３９】
第２の巡回型ＬＰＦ部１０９は、６０Ｈｚフリッカ成分抽出部１０７から出力される６０Ｈｚフリッカ成分とｎフィールド前のフリッカ成分巡回ＬＰＦ結果に対して、巡回係数算出部１１４から出力される巡回係数でローパスフィルタをかける。
【００４０】
動き検出部１１０は、ライン平均値算出部１００から出力されるライン平均値と１フィールド前ライン平均値記憶部１０１から出力される平均値の差分を、あるスレッシュ値（閾値）と比較して被写体の動きを検出する。
【００４１】
動きフィールド数計測部１１１は、動き検出部１１０から出力される動き検出結果に基づいて、動きが続いたフィールド数（動きフィールド数）を計測する。
【００４２】
静止フィールド数計測部１１２は、動き検出部１１０から出力される動き検出結果に基づいて、静止が続いたフィールド数（静止フィールド数）を計測する。
【００４３】
フィールド数ｎ算出部１１３は、静止フィールド数計測部１１２から出力される静止フィールド数の結果に基づいて、フィールド数ｎを算出（決定）する。
【００４４】
巡回係数算出部１１４は、動き検出部１１０から出力される動き検出結果に基づいて、巡回係数を決定する。
【００４５】
フリッカ判定部１１５は、動き検出部１１０の検出結果と第１の巡回型ＬＰＦ部１０８および第２の巡回型ＬＰＦ部１０９からの出力に基づいて、動きの有無によるフリッカ成分の調整やフリッカの有無の判定および周波数の判定（５０Ｈｚか６０Ｈｚ）を行う。
【００４６】
フリッカ補正ゲイン算出部１１６は、フリッカ判定部１１５の判定結果に基づいて、三角関数の重畳によりフリッカ周波数に同期した正弦波を算出（生成）する。
【００４７】
フェードゲイン算出部１１７は、動きフィールド数計測部１１１と静止フィールド数計測部１１２の計測結果に基づいて、フェードゲインを算出する。
【００４８】
フェードゲイン乗算部１１８は、フリッカ補正ゲイン算出部１１６から出力されるフリッカ補正ゲインに、フェードゲイン算出部１１７から出力されるフェードゲインを乗算する。
【００４９】
フリッカ補正乗算部１１９は、遅延部１２０で遅延調整された画像信号に対して、フェードゲイン乗算部１１８から出力される、フェードゲインが乗算されたフリッカ補正ゲインを乗算することで、入力画像のフリッカを低減させる。
【００５０】
遅延部１２０は、入力される画像信号に対して、補正ゲインを生成するまでに相当する遅延分を調整するものである。
【００５１】
以上のように構成された本実施例のフリッカ補正装置について、以下にその動作について説明する。なお、当該動作の内容は、露光時刻が点順次または線順次である撮像素子を用いて撮像した画像のフリッカを低減させるフリッカ補正方法であり、その各動作（ステップ）をコンピュータを用いて実行することができることは明らかである。また、かかるプログラムは、露光時刻が点順次または線順次である撮像素子を用いて撮像した画像のフリッカを低減させるフリッカ補正プログラムであって、コンピュータに下記の各動作（ステップ）を実行させるためのフリッカ補正プログラムである。
【００５２】
図１に示すとおり、露光時刻が点順次または線順次である撮像素子を用いて撮像した画像信号は、フリッカ補正装置のライン平均値算出部１００と遅延部１２０に入力される。
【００５３】
ライン平均値算出部１００では、入力画像信号の有効期間のライン毎の平均値ｙ０を算出する。
【００５４】
算出された平均値ｙ０は、１フィールド前ライン平均値記憶部１０１、ｎフィールド前ライン平均値記憶部１０３、３フィールド平均値算出部１０４、差分値算出部１０５、５０Ｈｚフリッカ成分抽出部１０６、６０Ｈｚフリッカ成分抽出部１０７、および、動き検出部１１０に入力される。
【００５５】
１フィールド前ライン平均値記憶部１０１は、入力されたライン平均値ｙ０を記憶し、１フィールド期間遅延した平均値ｙ−１を出力する。
【００５６】
１フィールド前ライン平均値記憶部１０１から出力される平均値ｙ−１は、２フィールド前ライン平均値記憶部１０２、３フィールド平均値算出部１０４、動き検出部１１０に入力される。
【００５７】
２フィールド前ライン平均値記憶部１０２は、入力されたライン平均値ｙ−１を記憶し、１フィールド遅延した平均値ｙ−２を、３フィールド平均値算出部１０４へと出力する。
【００５８】
その結果、３フィールド平均値算出部１０４には、ｙ０、ｙ−１、ｙ−２が入力されることになる。
【００５９】
３フィールド平均値算出部１０４では、入力されるｙ０、ｙ−１、ｙ−２に基づいて、これらの３つのライン平均値の平均を求めることで３フィールド平均値を算出し、フリッカの影響を排除した基準値を作成する。
【００６０】
３フィールド平均値算出部１０４で算出された平均値（３フィールド平均値）は、５０Ｈｚフリッカ成分抽出部１０６に入力される。
【００６１】
５０Ｈｚフリッカ成分抽出部１０６は、ライン平均値算出部１００から出力されるライン平均値を３フィールド平均値算出部１０４から出力される平均値で除算することで、被写体の濃淡が排除されたフリッカ信号を算出する。そして、そのフリッカ信号を周波数変換して、５０Ｈｚのフリッカの成分の周波数領域だけを抽出する。
【００６２】
差分値算出部１０５は、ライン平均値算出部１００から出力されるライン平均値からｎフィールド前ライン平均値記憶部１０３から出力されるｎフィールド前ライン平均値を減算し、６０Ｈｚフリッカ成分抽出部１０７に入力する。
【００６３】
６０Ｈｚフリッカ成分抽出部１０７は、差分値算出部１０５から出力される差分値をライン平均値算出部１００から出力される平均値で除算することで、被写体の濃淡が排除されたフリッカ信号を算出する。そして、のフリッカ信号を周波数変換して、６０Ｈｚのフリッカの成分の周波数領域だけを抽出する。
【００６４】
以下に、これまで説明してきた動作を図面を参照しながら説明する。
【００６５】
図２は、垂直走査周波数（フィールド周波数）が５９．９４Ｈｚ、水平走査周波数が１５．７５ｋＨｚであるＮＴＳＣ方式で駆動している撮像装置で、ｆｐ＝５０Ｈｚの交流電源で点灯する一般的な蛍光灯の照明下で白色チャートを撮影した場合の画像例を示す図である。
【００６６】
また、図３は、その画像のライン平均値をプロットしたものである。この図に示すように、ライン平均値は被写体の濃淡でフリッカ成分が変調されたような信号となる。
【００６７】
電源周波数と撮像素子の駆動周波数の関係から、ｎフレームにおけるｙラインの平均値Ｙｓ（Ｙ，ｎ）は以下の式で表される。
【００６８】
【数１】
【００６９】
ここで、
Ｉｓ（ｙ）：ｙラインの直流成分（被写体の濃淡に相当）
Ａ：フリッカの大きさ
ｆｈ：水平走査周波数
ｆｖ：垂直走査周波数
ｆｐ：電源周波数
である。
【００７０】
これよりｙラインについてｆｈ／（２×ｆｐ）ライン周期で横縞が現れ、ｎフレームについて（２π×２×ｆｐ）／ｆｖで位相がシフトする。
【００７１】
つまり、ｆｐ＝５０Ｈｚ時のフリッカは、
ｆｈ／（２×ｆｐ）＝１５．７５ｋＨｚ／１００＝１５７．５ライン周期
で横縞が現れ、１フィールドあたり
（２π×２×ｆｐ）／ｆｖ＝２π×１００／５９．９４Ｈｚ≒２π×（１＋２／３）
だけ位相がシフトすることから、三角関数の性質より３フィールドで一巡するものであることがわかる。
【００７２】
同様に、ｆｐ＝６０Ｈｚの時フリッカは、
ｆｈ／（２×ｆｐ）＝１５．７５ｋＨｚ／１２０＝１３１．２５ライン周期
で横縞が現れ、１フィールドあたり、
（２π×２×ｆｐ）／ｆｖ＝２π×１２０／５９．９４Ｈｚ≒２π×（２＋１／５００）
だけ位相がシフトすることから、三角関数の性質より５００フィールドで一巡するものであることがわかる。
【００７３】
図４は、ｆｐ＝５０Ｈｚ時の現在のフィールドのライン平均値と、１フィールド前のライン平均値と、２フィールド前のライン平均値と、それら３フィールド分の平均値をプロットしたものである。先に示したように、ライン平均値は３フィールドで一巡するので、３フィールド分の平均値を計算することで、フリッカの影響を排除した被写体の濃淡が抽出できる。
【００７４】
図５は、現在のフィールドのライン平均値を、先に求めた３フィールド分の平均値で除算した結果であり、被写体の濃淡を排除したフリッカ信号が抽出される。
【００７５】
図６は、ｆｐ＝６０Ｈｚ時の現在のフィールドのライン平均値と、ｎフィールド前のライン平均値と、それら２フィールドの差分値をプロットしたものである。
【００７６】
図７は、先に求めた２フィールドの差分値を現在のフィールドのライン平均値で除算した結果であり、被写体の濃淡を排除したフリッカ信号が抽出される。
【００７７】
被写体の濃淡を排除したフリッカ信号が抽出されることにつき、数式を用いて説明する。
【００７８】
ｎ１，ｎ２フレームにおけるライン平均値は，以下の式で表される。
【００７９】
【数２】
【００８０】
上式を簡略化すると下記［１］および［２］となり、これら［１］および［２］から求められる（［２］−［１］）／［２］は下式のとおりとなる。
【００８１】
【数３】
【００８２】
一般的な蛍光灯によるフリッカは、Ａ＜＜１であるので、上記（［２］−［１］）／［２］は下式で近似することができ、被写体の濃淡に影響されないフリッカ信号が抽出できる。
【００８３】
【数４】
【００８４】
５０Ｈｚフリッカ成分抽出部１０６で抽出されたフリッカ成分の周波数領域は、第１の巡回型ＬＰＦ１０８で、１フィールド前のフリッカ成分の巡回ローパスフィルタ結果と、巡回係数算出部１１４から出力される巡回係数に基づき、ローパスフィルタをかける。巡回ローパスフィルタ後のフリッカ成分の周波数領域は、フリッカ判定部１１５に入力される。
【００８５】
同様に、６０Ｈｚフリッカ成分抽出部１０６で抽出されたフリッカ成分の周波数領域は、第２の巡回型ＬＰＦ１０９で、ｎフィールド前のフリッカ成分の巡回ローパスフィルタ結果と、巡回係数算出部１１４から出力される巡回係数に基づき、ローパスフィルタをかける。巡回ローパスフィルタ後のフリッカ成分の周波数領域は、フリッカ判定部１１５に入力される。
【００８６】
動き検出部１１０は、ライン平均値算出部１００から出力されるライン平均値と１フィールド前ライン平均値記憶部１０１から出力される平均値の差分をあるスレッシュ値と比較して被写体の動きの有無を判断する。この動きの有無の判断結果は、動きフィールド数計測部１１１、静止フィールド数計測部１１２、巡回係数算出部１１４、および、フリッカ判定部１１５に入力される。
【００８７】
動きフィールド数計測部１１１は、動き検出部１１０から出力される動き検出結果に基づき、動きが続いたフィールド数（動きフィールド数）を計測する。その結果は、フェードゲイン算出部１１７に入力される（図８（Ａ）を参照）。
【００８８】
静止フィールド数計測部１１２は、動き検出部１１０から出力される動き検出結果に基づき、静止が続いたフィールド数（静止フィールド数）を計測する。その結果は、フィールド数ｎ算出部１１３、および、フェードゲイン算出部１１７に入力される（図８（Ｂ）を参照）。
【００８９】
フィールド数ｎ算出部１１３は、静止フィールド数計測部１１２から出力される静止フィールド数の結果に基づいて、フィールド数ｎを算出（決定）する。静止フィールド数がゼロでない時（静止時）には、５０Ｈｚのフリッカの影響を避けるべく、フィールド数ｎとして３の倍数を選択するが、静止フィールド数が小さいうちはフィールド数ｎを小さくする一方、静止フィールド数が大きくなるにつれてフィールド数ｎを所定の数まで徐々に増加させていく。
【００９０】
具体的には、静止フィールド数が小さい時は３、６等、フィールド数ｎを小さくする。このようにすることで、最短４フィールド程度でフリッカ信号を抽出可能となる。また、静止フィールド数が大きくなるにつれて、所定の数まで徐々にフィールド数ｎを大きくしていく。このようにすることで、フィールド差分信号の値が大きくなり、結果としてフリッカ信号の抽出精度を高めることができる（図８（Ｃ）を参照）。
【００９１】
一方、静止フィールド数がゼロの時（動き時）には、フィールド数ｎをゼロとする。
【００９２】
このようにして算出されたフィールド数ｎは、ｎフィールド前ライン平均値記憶部１０３に入力される。
【００９３】
巡回係数算出部１１４は、動き検出部１１０から出力される動き検出結果に基づき巡回係数を決定する。具体的には、巡回係数算出部１１４は、動き状態から静止状態になった直後の１フィールドは巡回係数を一旦ゼロとし、静止状態が継続した場合には巡回係数を所定の値とする一方、動き状態となったときは巡回係数を１にする。つまり、静止状態には適度に巡回をかけ（例えば０．７５）、動きの時は巡回係数を大きくして計算結果を保持する（例えば０．９５）。動き状態から静止状態になった時は巡回係数を一旦ゼロにして計算結果を初期化する、というような動作を行う（図８（Ｄ）を参照）。
【００９４】
算出された巡回係数は、第１の巡回型ＬＰＦ部１０８、および、第２の巡回型ＬＰＦ部１０９に入力される。
【００９５】
フリッカ判定部１１５は、動き検出部１１０の検出結果と第１の巡回型ＬＰＦ部１０８および第２の巡回型ＬＰＦ部１０９からの出力に基づいて、動きの有無によるフリッカ成分の調整やフリッカの有無の判定および周波数の判定（５０Ｈｚか６０Ｈｚ）を行う。判定結果に基づいて調整されたフリッカ成分は、フリッカ補正ゲイン生成部１１６に入力される。
【００９６】
フリッカ補正ゲイン算出部１１６は、フリッカ判定部１１５の判定結果に基づいて、三角関数の重畳によりフリッカ周波数に同期した正弦波を生成し、フェードゲイン乗算部１１８へと出力する。
【００９７】
フェードゲイン算出部１１７は、動きフィールド数計測部１１１と静止フィールド数計測部１１２の計測結果に基づいて、すなわち静止フィールド数と動きフィールド数に応じて、フェードゲインを算出（制御）する。具体的には、静止フィールド数がゼロでない静止時においては、静止フィールド数が小さいうちはフェードゲインを小さくする一方、静止フィールド数が大きくなるにつれてフェードゲインを徐々に大きくして１倍まで増加させていく。逆に、動きフィールド数がゼロでない動き時においては、動きフィールド数が小さいうちはフェードゲインを大きくする一方、動きフィールド数が大きくなるにつれてフェードゲインを徐々に小さくして０倍まで減少させる。つまり、静止の場合は静止状態の長さに応じてフェードゲインを徐々に大きくしていき、１まで増加させる。逆に、動きの場合は、静止から動きへの移行直後は所定期間フェードゲインを１のままで保持しておき、所定時間以降も動きが続いたら、フェードゲインを徐々に小さくしていき、ゼロまで減少させる（図８（Ｅ）を参照）。算出されたフェードゲインはフェードゲイン乗算部１１８に入力される。
【００９８】
フェードゲイン乗算部１１８は、フリッカ補正ゲイン算出部１１６から出力されるフリッカ補正ゲインに、フェードゲイン算出部１１７から出力されるフェードゲインを乗算する。
【００９９】
フリッカ補正乗算部１１９は、遅延部１２０で遅延調整された画像信号に対してフリッカ補正ゲインを乗算する。フリッカ補正乗算部１１９からは、フリッカが補正された信号が出力される。
【０１００】
以上説明したとおり、本発明によれば、被写体が動いた場合でもフリッカ補正を行うことができ、さらに、フィールド周期とフリッカ周期の位相のズレが少ない場合であっても動き状態から静止状態に変わった時に高速にフリッカ補正を開始することが可能となるという優れた効果が得られる。
【産業上の利用可能性】
【０１０１】
本発明は、ムービーカメラ、車載カメラ、携帯カメラなどの撮影場所が固定されず異なる周波数のフリッカ補正が必要とされるカメラシステムの分野において有用である。
【符号の説明】
【０１０２】
１００ ライン平均値算出部
１０１ １フィールド前ライン平均値記憶部
１０２ ２フィールド前ライン平均値記憶部
１０３ ｎフィールド前ライン平均値記憶部
１０４ ３フィールド平均値算出部
１０５ 差分値算出部
１０６ ５０Ｈｚフリッカ成分抽出部
１０７ ６０Ｈｚフリッカ成分抽出部
１０８ 第１の巡回型LPF
１０９ 第２の巡回型LPF
１１０ 動き検出部
１１１ 動きフィールド数計測部
１１２ 静止フィールド数計測部
１１３ フィールド数ｎ算出部
１１４ 巡回係数算出部
１１５ フリッカ判定部
１１６ フリッカ補正ゲイン算出部
１１７ フェードゲイン算出部
１１８ フェードゲイン乗算部
１１９ フリッカ補正ゲイン乗算部
１２０ 遅延部
１２１ マイクロコンピュータ
【技術分野】
【０００１】
本発明は、主に交流電源による照明等に起因する撮像素子の出力信号における周期的変化（以下、フリッカと記す）を補正するフリッカ補正技術に関するものである。
【背景技術】
【０００２】
一般に、交流電源で点灯されている照明（電球、蛍光灯、水銀灯など）は電源周波数の２倍の周波数で輝度変化を伴い明暗を繰り返している。このような照明下で露光時刻が点順次または線順次である撮像素子を用いて被写体を撮像すると、撮像素子出力の画像信号に周期的な横縞、いわゆるフリッカを生じる。この周期的な横縞の周期は撮像素子の駆動周波数と電源周波数から求まる。
【０００３】
例えば５０Ｈｚの交流電源で点灯する一般的な蛍光灯は１００Ｈｚで発光を繰り返すため、ＮＴＳＣ方式では、水平走査（以下、ラインと記す）周波数が１５．７５ｋＨｚであるので１／１００ｓｅｃ＝１５７．５ライン毎に明暗を繰り返す。また、フィールドの周期（１／５９．９４ｓｅｃ）と照明の点滅周期（１／１００ｓｅｃ）との公倍数は１／２０ｓｅｃであるため、１／２０ｓｅｃ即ちほぼ３フィールド毎に同じ明暗のパターンとなる。
【０００４】
また、６０Ｈｚの交流電源で点灯する蛍光灯は１２０Ｈｚで発光を繰り返すため、１／１２０ｓｅｃ＝１３１．３ライン毎に明暗を繰り返す。また、フィールドの周期（１／５９．９４ｓｅｃ）と照明の点滅周期（１／１２０ｓｅｃ）とのズレは１６．６７μｓｅｃであるため、フィールド周期とフリッカ周期とが再度合致するまでの周期は５００フィールド毎となり、非常にゆっくり動く横縞となって画面上に現れる。このようにフリッカによる画質劣化は非常に目障りなものとなる。
【０００５】
このような問題に対して、特許文献１に開示されている技術では、フィールド周期とフリッカ周期の位相が再度合致する周期の１／３位相毎にライン平均値をメモリに記憶しておき、それら平均値を平均することでフリッカの影響を排除した基準値を作成し、フリッカ補正を行っている。特にＮＴＳＣ方式で６０Ｈｚのフリッカを受ける場合は、被写体が静止している時にはフリッカ補正をするが、被写体が動いている時にはフリッカ補正を行わないように処理することで、被写体の動きに影響され難いフリッカ低減装置を実現している。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００９−８１６８４号公報
【発明の開示】
【発明が解決しようとする課題】
【０００７】
しかしながら、従来手法においては、フィールド周期とフリッカ周期の位相が再度合致する周期の１／３位相毎にライン平均値を記憶しておくメモリを更新するようにしており、特にＮＴＳＣ方式で６０Ｈｚのフリッカを受ける場合は、１６７フィールド期間遅延した平均値と３３４フィールド期間遅延した平均値と５００フィールド期間遅延した平均値の３つの平均値を求めてフリッカの影響を排除した基準値を作成している。このため、５００フィールド期間に動きがあった場合、正しい基準値が求められないので、フリッカ検出が出来ないという問題や、静止した被写体であっても初回のフリッカの有無を判定するまでに最低でも５００フィールド期間以上の時間を要するという問題があった。
【０００８】
本発明は、上述したような従来手法の問題を解決するためになされたもので、その目的とするところは、被写体が動いた場合でもフリッカ補正を行うこと、さらに、フィールド周期とフリッカ周期の位相のズレが少ない場合であっても動き状態から静止状態に変わった時に高速にフリッカ補正を開始することが可能なフリッカ補正技術を提供することにある。
【課題を解決するための手段】
【０００９】
本発明に係る第１の態様のフリッカ補正装置は、露光時刻が点順次または線順次である撮像素子を用いて撮像した画像のフリッカを低減させるフリッカ補正装置であって、入力画像信号の有効期間のライン毎の平均値を算出するライン平均値算出部と、前記ライン平均値算出部で得られた平均値を１フィールド期間単位で記憶する記憶部と、前記ライン平均値算出部で得られた平均値と前記記憶部に格納されている１フィールド前の平均値の出力変化から動きを検出する動き検出部と、前記動き検出部から出力される動き検出結果に基づいて静止が続いたフィールド数である静止フィールド数を計測する静止フィールド数計測部と、前記動き検出部から出力される動き検出結果に基づいて動きが続いたフィールド数である動きフィールド数を計測する動きフィールド数計測部と、前記ライン平均値算出部で得られた平均値と前記記憶部に格納されているｎフィールド（ｎは整数値）だけ前の平均値との差分値を算出する差分値算出部と、前記静止フィールド数計測部から出力される前記静止フィールド数の結果に基づいて前記フィールド数ｎを算出するフィールド数ｎ算出部と、前記ライン平均値算出部で得られた平均値と前記差分値算出部で得られた差分値からフリッカ周波数を抽出するフリッカ成分抽出部と、前記フリッカ成分抽出部で抽出されたフリッカ成分と前記動き検出部の結果からフリッカの有無やフリッカ周波数を判定するフリッカ判定部と、前記フリッカ判定部の結果から、フリッカ周波数に同期したフリッカ補正ゲインを算出するフリッカ補正ゲイン算出部と、前記フリッカ補正ゲイン算出部からの補正ゲインを前記入力画像信号に乗ずるフリッカ補正ゲイン乗算部と、を備え、前記フィールド数ｎ算出部は、前記静止フィールド数および前記動きフィールド数に応じて前記フィールド数ｎの制御を行い、前記静止フィールド数がゼロでない静止時においては、静止フィールド数が小さいうちは前記フィールド数ｎを小さくする一方、静止フィールド数が大きくなるにつれて前記フィールド数ｎを所定の数まで徐々に増加させていき、前記動きフィールド数がゼロでない動き時においては前記フィールド数ｎをゼロにする、ことを特徴とする。
【００１０】
この構成により、被写体の動き／静止の状態に応じてフリッカ成分抽出の速度を適切に変えることが可能となり、動きから静止状態に切り替わった時にフリッカ成分算出結果を早く得ることができ、また、静止状態が長く続くときはフリッカ成分算出を高精度で得ることができる。
【００１１】
本発明に係る第２の態様のフリッカ補正装置は、露光時刻が点順次または線順次である撮像素子を用いて撮像した画像のフリッカを低減させるフリッカ補正装置であって、入力画像信号の有効期間のライン毎の平均値を算出するライン平均値算出部と、前記ライン平均値算出部で得られた平均値を１フィールド期間単位で記憶する記憶部と、前記ライン平均値算出部で得られた平均値と前記記憶部に格納されている１フィールド前の平均値の出力変化から動きを検出する動き検出部と、前記動き検出部から出力される動き検出結果に基づいて静止が続いたフィールド数である静止フィールド数を計測する静止フィールド数計測部と、前記動き検出部から出力される動き検出結果に基づいて動きが続いたフィールド数である動きフィールド数を計測する動きフィールド数計測部と、前記ライン平均値算出部で得られた平均値と前記記憶部に格納されているｎフィールド（ｎは整数値）だけ前の平均値との差分値を算出する差分値算出部と、前記ライン平均値算出部で得られた平均値と前記差分値算出部で得られた差分値からフリッカ周波数を抽出するフリッカ成分抽出部と、前記フリッカ成分抽出部で抽出されたフリッカ成分と前記動き検出部の結果からフリッカの有無やフリッカ周波数を判定するフリッカ判定部と、前記フリッカ判定部の結果から、フリッカ周波数に同期したフリッカ補正ゲインを算出するフリッカ補正ゲイン算出部と、前記静止フィールド数計測部と前記動きフィールド数計測部の計測結果からフェードゲインを算出するフェードゲイン算出部と、前記フェードゲイン算出部で算出されたフェードゲインを前記フリッカ補正ゲインに乗ずるフェードゲイン乗算部と、前記フェードゲイン乗算部から入力された補正ゲインを前記入力画像信号に乗ずるフリッカ補正ゲイン乗算部と、を備え、前記フェードゲイン算出部は、前記静止フィールド数および前記動きフィールド数に応じて前記フェードゲインの制御を行い、静止フィールド数がゼロでない静止時においては、静止フィールド数が小さいうちは前記フェードゲインを小さくする一方、静止フィールド数が大きくなるにつれて前記フェードゲインを徐々に大きくして１倍まで増加させていき、動きフィールド数がゼロでない動き時においては、動きフィールド数が小さいうちは前記フェードゲインを大きくする一方、動きフィールド数が大きくなるにつれて前記フェードゲインを徐々に小さくして０倍まで減少させる、ことを特徴とする。
【００１２】
この構成により、被写体の動き／静止の状態に応じてフェードゲインの大きさを適切に変えることが可能となり、静止状態が長く続いていて、フリッカ補正精度が信頼できるときは正規の補正ゲインを出力し、フリッカを完全に補正するが、動きが長く続いている状態や、動きから静止になった直後等、フリッカ補正精度があまり信頼できない状況のときは補正ゲインを小さくし補正誤差による悪影響を目立たないようにできる。
【００１３】
本発明に係る第３の態様のフリッカ補正装置は、露光時刻が点順次または線順次である撮像素子を用いて撮像した画像のフリッカを低減させるフリッカ補正装置であって、入力画像信号の有効期間のライン毎の平均値を算出するライン平均値算出部と、前記ライン平均値算出部で得られた平均値を１フィールド期間単位で記憶する記憶部と、前記ライン平均値算出部で得られた平均値と前記記憶部に格納されている１フィールド前の平均値の出力変化から動きを検出する動き検出部と、前記ライン平均値算出部で得られた平均値と前記記憶部に格納されているｎフィールド（ｎは整数値）だけ前の平均値との差分値を算出する差分値算出部と、前記ライン平均値算出部で得られた平均値と前記差分値算出部で得られた差分値からフリッカ周波数を抽出するフリッカ成分抽出部と、前記動き検出部から出力される動き検出結果に基づいて巡回係数を算出する巡回係数算出部と、前記フリッカ成分抽出部で抽出されたフリッカ成分に前記巡回係数算出部で算出された巡回係数に基づきローパスフィルターをかける巡回型ローパスフィルター部と、前記巡回型ローパスフィルター部からの出力と前記動き検出部の検出結果に基づいてフリッカの有無およびフリッカ周波数を判定するフリッカ判定部と、前記フリッカ判定部の判定結果に基づいて、フリッカ周波数に同期したフリッカ補正ゲインを算出するフリッカ補正ゲイン算出部と、前記フリッカ補正ゲイン算出部で算出された補正ゲインを前記入力画像信号に乗ずるフリッカ補正ゲイン乗算部と、を備え、前記巡回係数算出部は、動き状態から静止状態になった直後の１フィールドは巡回係数を一旦ゼロとし、静止状態が継続した場合には巡回係数を所定の値とする一方、動き状態となったときは巡回係数を１にする、ことを特徴とする。
【００１４】
この構成により、被写体の動き／静止の状態に応じて巡回型ローパスフィルターの巡回係数の大きさを適切に変えることが可能となり、動きから静止状態になった時に一度計算結果を初期化することで高速に巡回型ローパスフィルター出力を収束させ所望のフリッカ補正ゲインを得ることができ、また、動き状態がしばらく続いた時にも巡回型ローパスフィルター出力を保持するので、フリッカ補正ゲインが変動してしまう事がなくフリッカ補正を安定して行うことが可能になる。
【００１５】
本発明に係る第１の態様のフリッカ補正方法は、露光時刻が点順次または線順次である撮像素子を用いて撮像した画像のフリッカを低減させるフリッカ補正方法であって、入力画像信号の有効期間のライン毎の平均値を算出するライン平均値算出ステップと、前記ライン平均値算出ステップで得られた平均値を１フィールド期間単位で記憶する記憶ステップと、前記ライン平均値算出ステップで得られた平均値と前記記憶ステップで記憶された１フィールド前の平均値の出力変化から動きを検出する動き検出ステップと、前記動き検出ステップでの動き検出結果に基づいて静止が続いたフィールド数である静止フィールド数を計測する静止フィールド数計測ステップと、前記動き検出ステップでの動き検出結果に基づいて動きが続いたフィールド数である動きフィールド数を計測する動きフィールド数計測ステップと、前記ライン平均値算出ステップで得られた平均値と前記記憶ステップで記憶されたｎフィールド（ｎは整数値）だけ前の平均値との差分値を算出する差分値算出ステップと、前記静止フィールド数計測ステップで計測された前記静止フィールド数の結果に基づいて前記フィールド数ｎを算出するフィールド数ｎ算出ステップと、前記ライン平均値算出ステップで得られた平均値と前記差分値算出ステップで得られた差分値からフリッカ周波数を抽出するフリッカ成分抽出ステップと、前記フリッカ成分抽出ステップで抽出されたフリッカ成分と前記動き検出ステップでの動き検出結果に基づいてフリッカの有無やフリッカ周波数を判定するフリッカ判定ステップと、前記フリッカ判定ステップでの判定結果から、フリッカ周波数に同期したフリッカ補正ゲインを算出するフリッカ補正ゲイン算出ステップと、前記フリッカ補正ゲイン算出ステップで算出された補正ゲインを前記入力画像信号に乗ずるフリッカ補正ゲイン乗算ステップと、を備え、前記フィールド数ｎ算出ステップでは、前記静止フィールド数および前記動きフィールド数に応じて前記フィールド数ｎの制御を行い、前記静止フィールド数がゼロでない静止時においては、静止フィールド数が小さいうちは前記フィールド数ｎを小さくする一方、静止フィールド数が大きくなるにつれて前記フィールド数ｎを所定の数まで徐々に増加させていき、前記動きフィールド数がゼロでない動き時においては前記フィールド数ｎをゼロにする、ことを特徴とする。
【００１６】
この構成により、被写体の動き／静止の状態に応じてフリッカ成分抽出の速度を適切に変えることが可能となり、動きから静止状態に切り替わった時にフリッカ成分算出結果を早く得ることができ、また、静止状態が長く続くときはフリッカ成分算出を高精度で得ることができる。
【００１７】
本発明に係る第２の態様のフリッカ補正方法は、露光時刻が点順次または線順次である撮像素子を用いて撮像した画像のフリッカを低減させるフリッカ補正方法であって、入力画像信号の有効期間のライン毎の平均値を算出するライン平均値算出ステップと、前記ライン平均値算出ステップで得られた平均値を１フィールド期間単位で記憶する記憶ステップと、前記ライン平均値算出ステップで得られた平均値と前記記憶ステップで記憶された１フィールド前の平均値の出力変化から動きを検出する動き検出ステップと、前記動き検出ステップでの動き検出結果に基づいて静止が続いたフィールド数である静止フィールド数を計測する静止フィールド数計測ステップと、前記動き検出ステップでの動き検出結果に基づいて動きが続いたフィールド数である動きフィールド数を計測する動きフィールド数計測ステップと、前記ライン平均値算出ステップで得られた平均値と前記記憶ステップで記憶されたｎフィールド（ｎは整数値）だけ前の平均値との差分値を算出する差分値算出ステップと、前記ライン平均値算出ステップで得られた平均値と前記差分値算出ステップで得られた差分値からフリッカ周波数を抽出するフリッカ成分抽出ステップと、前記フリッカ成分抽出ステップで抽出されたフリッカ成分と前記動き検出ステップでの動き検出結果に基づいてフリッカの有無やフリッカ周波数を判定するフリッカ判定ステップと、前記フリッカ判定ステップでの判定結果に基づいて、フリッカ周波数に同期したフリッカ補正ゲインを算出するフリッカ補正ゲイン算出ステップと、前記静止フィールド数計測ステップと前記動きフィールド数計測ステップの計測結果からフェードゲインを算出するフェードゲイン算出ステップと、前記フェードゲイン算出ステップで算出されたフェードゲインを前記フリッカ補正ゲインに乗ずるフェードゲイン乗算ステップと、前記フェードゲイン乗算ステップからの補正ゲインを前記入力画像信号に乗ずるフリッカ補正ゲイン乗算ステップと、を備え、前記フェードゲイン算出ステップでは、前記静止フィールド数および前記動きフィールド数に応じて前記フェードゲインの制御を行い、静止フィールド数がゼロでない静止時においては、静止フィールド数が小さいうちは前記フェードゲインを小さくする一方、静止フィールド数が大きくなるにつれて前記フェードゲインを徐々に大きくして１倍まで増加させていき、動きフィールド数がゼロでない動き時においては、動きフィールド数が小さいうちは前記フェードゲインを大きくする一方、動きフィールド数が大きくなるにつれて前記フェードゲインを徐々に小さくして０倍まで減少させる、ことを特徴とする。
【００１８】
この構成により、被写体の動き／静止の状態に応じてフェードゲインの大きさを適切に変えることが可能となり、静止状態が長く続いていて、フリッカ補正精度が信頼できるときは正規の補正ゲインを出力し、フリッカを完全に補正するが、動きが長く続いている状態や、動きから静止になった直後等、フリッカ補正精度があまり信頼できない状況のときは補正ゲインを小さくし補正誤差による悪影響を目立たないようにできる。
【００１９】
本発明に係る第３の態様のフリッカ補正方法は、露光時刻が点順次または線順次である撮像素子を用いて撮像した画像のフリッカを低減させるフリッカ補正方法であって、入力画像信号の有効期間のライン毎の平均値を算出するライン平均値算出ステップと、前記ライン平均値算出ステップで得られた平均値を１フィールド期間単位で記憶する記憶ステップと、前記ライン平均値算出ステップで得られた平均値と前記記憶ステップで記憶された１フィールド前の平均値の出力変化から動きを検出する動き検出ステップと、前記ライン平均値算出ステップで得られた平均値と前記記憶ステップで記憶されたｎフィールド（ｎは整数値）だけ前の平均値との差分値を算出する差分値算出ステップと、前記ライン平均値算出ステップで得られた平均値と前記差分値算出ステップで得られた差分値からフリッカ周波数を抽出するフリッカ成分抽出ステップと、前記動き検出ステップでの動き検出結果に基づいて巡回係数を算出する巡回係数算出ステップと、前記フリッカ成分抽出ステップで抽出されたフリッカ成分に前記巡回係数算出ステップで算出された巡回係数に基づきローパスフィルターをかける巡回型ローパスフィルターステップと、前記巡回型ローパスフィルターステップからの出力と前記動き検出ステップでの検出結果に基づいてフリッカの有無およびフリッカ周波数を判定するフリッカ判定ステップと、前記フリッカ判定ステップでの判定結果に基づいて、フリッカ周波数に同期したフリッカ補正ゲインを算出するフリッカ補正ゲイン算出ステップと、前記フリッカ補正ゲイン算出ステップで算出された補正ゲインを前記入力画像信号に乗ずるフリッカ補正ゲイン乗算ステップと、を備え、前記巡回係数算出ステップでは、動き状態から静止状態になった直後の１フィールドは巡回係数を一旦ゼロとし、静止状態が継続した場合には巡回係数を所定の値とする一方、動き状態となったときは巡回係数を１にする、ことを特徴とする。
【００２０】
この構成により、被写体の動き／静止の状態に応じて巡回型ローパスフィルターの巡回係数の大きさを適切に変えることが可能となり、動きから静止状態になった時に一度計算結果を初期化することで高速に巡回型ローパスフィルター出力を収束させ所望のフリッカ補正ゲインを得ることができ、また、動き状態がしばらく続いた時にも巡回型ローパスフィルター出力を保持するので、フリッカ補正ゲインが変動してしまう事がなくフリッカ補正を安定して行うことが可能になる。
【００２１】
本発明に係る第１の態様のフリッカ補正プログラムは、露光時刻が点順次または線順次である撮像素子を用いて撮像した画像のフリッカを低減させるフリッカ補正プログラムであって、コンピュータに下記のステップを実行させるためのフリッカ補正プログラムである。
入力画像信号の有効期間のライン毎の平均値を算出するライン平均値算出ステップ：
前記ライン平均値算出ステップで得られた平均値を１フィールド期間単位で記憶する記憶ステップ：
前記ライン平均値算出ステップで得られた平均値と前記記憶ステップで記憶された１フィールド前の平均値の出力変化から動きを検出する動き検出ステップ：
前記動き検出ステップでの動き検出結果に基づいて静止が続いたフィールド数である静止フィールド数を計測する静止フィールド数計測ステップ：
前記動き検出ステップでの動き検出結果に基づいて動きが続いたフィールド数である動きフィールド数を計測する動きフィールド数計測ステップ：
前記ライン平均値算出ステップで得られた平均値と前記記憶ステップで記憶されたｎフィールド（ｎは整数値）だけ前の平均値との差分値を算出する差分値算出ステップ：
前記静止フィールド数計測ステップで計測された前記静止フィールド数の結果に基づいて前記フィールド数ｎを算出するステップであって、前記静止フィールド数および前記動きフィールド数に応じて前記フィールド数ｎの制御を行い、前記静止フィールド数がゼロでない静止時においては、静止フィールド数が小さいうちは前記フィールド数ｎを小さくする一方、静止フィールド数が大きくなるにつれて前記フィールド数ｎを所定の数まで徐々に増加させていき、前記動きフィールド数がゼロでない動き時においては前記フィールド数ｎをゼロにする、フィールド数ｎ算出ステップ：
前記ライン平均値算出ステップで得られた平均値と前記差分値算出ステップで得られた差分値からフリッカ周波数を抽出するフリッカ成分抽出ステップ：
前記フリッカ成分抽出ステップで抽出されたフリッカ成分と前記動き検出ステップでの動き検出結果に基づいてフリッカの有無やフリッカ周波数を判定するフリッカ判定ステップ：
前記フリッカ判定ステップでの判定結果から、フリッカ周波数に同期したフリッカ補正ゲインを算出するフリッカ補正ゲイン算出ステップ：
前記フリッカ補正ゲイン算出ステップで算出された補正ゲインを前記入力画像信号に乗ずるフリッカ補正ゲイン乗算ステップ：
【００２２】
この構成により、被写体の動き／静止の状態に応じてフリッカ成分抽出の速度を適切に変えることが可能となり、動きから静止状態に切り替わった時にフリッカ成分算出結果を早く得ることができ、また、静止状態が長く続くときはフリッカ成分算出を高精度で得ることができる。
【００２３】
本発明に係る第２の態様のフリッカ補正プログラムは、露光時刻が点順次または線順次である撮像素子を用いて撮像した画像のフリッカを低減させるフリッカ補正プログラムであって、コンピュータに下記のステップを実行させるためのフリッカ補正プログラムである。
入力画像信号の有効期間のライン毎の平均値を算出するライン平均値算出ステップ：
前記ライン平均値算出ステップで得られた平均値を１フィールド期間単位で記憶する記憶ステップ：
前記ライン平均値算出ステップで得られた平均値と前記記憶ステップで記憶された１フィールド前の平均値の出力変化から動きを検出する動き検出ステップ：
前記動き検出ステップでの動き検出結果に基づいて静止が続いたフィールド数である静止フィールド数を計測する静止フィールド数計測ステップ：
前記動き検出ステップでの動き検出結果に基づいて動きが続いたフィールド数である動きフィールド数を計測する動きフィールド数計測ステップ：
前記ライン平均値算出ステップで得られた平均値と前記記憶ステップで記憶されたｎフィールド（ｎは整数値）だけ前の平均値との差分値を算出する差分値算出ステップ：
前記ライン平均値算出ステップで得られた平均値と前記差分値算出ステップで得られた差分値からフリッカ周波数を抽出するフリッカ成分抽出ステップ：
前記フリッカ成分抽出ステップで抽出されたフリッカ成分と前記動き検出ステップでの動き検出結果に基づいてフリッカの有無やフリッカ周波数を判定するフリッカ判定ステップ：
前記フリッカ判定ステップでの判定結果に基づいて、フリッカ周波数に同期したフリッカ補正ゲインを算出するフリッカ補正ゲイン算出ステップ：
前記静止フィールド数計測ステップと前記動きフィールド数計測ステップの計測結果からフェードゲインを算出するステップであって、前記静止フィールド数および前記動きフィールド数に応じて前記フェードゲインの制御を行い、静止フィールド数がゼロでない静止時においては、静止フィールド数が小さいうちは前記フェードゲインを小さくする一方、静止フィールド数が大きくなるにつれて前記フェードゲインを徐々に大きくして１倍まで増加させていき、動きフィールド数がゼロでない動き時においては、動きフィールド数が小さいうちは前記フェードゲインを大きくする一方、動きフィールド数が大きくなるにつれて前記フェードゲインを徐々に小さくして０倍まで減少させる、フェードゲイン算出ステップ：
前記フェードゲイン算出ステップで算出されたフェードゲインを前記フリッカ補正ゲインに乗ずるフェードゲイン乗算ステップ：
前記フェードゲイン乗算ステップからの補正ゲインを前記入力画像信号に乗ずるフリッカ補正ゲイン乗算ステップ：
【００２４】
この構成により、被写体の動き／静止の状態に応じてフェードゲインの大きさを適切に変えることが可能となり、静止状態が長く続いていて、フリッカ補正精度が信頼できるときは正規の補正ゲインを出力し、フリッカを完全に補正するが、動きが長く続いている状態や、動きから静止になった直後等、フリッカ補正精度があまり信頼できない状況のときは補正ゲインを小さくし補正誤差による悪影響を目立たないようにできる。
【００２５】
本発明に係る第３の態様のフリッカ補正プログラムは、露光時刻が点順次または線順次である撮像素子を用いて撮像した画像のフリッカを低減させるフリッカ補正プログラムであって、コンピュータに下記のステップを実行させるためのフリッカ補正プログラムである。
入力画像信号の有効期間のライン毎の平均値を算出するライン平均値算出ステップ：
前記ライン平均値算出ステップで得られた平均値を１フィールド期間単位で記憶する記憶ステップ：
前記ライン平均値算出ステップで得られた平均値と前記記憶ステップで記憶された１フィールド前の平均値の出力変化から動きを検出する動き検出ステップ：
前記ライン平均値算出ステップで得られた平均値と前記記憶ステップで記憶されたｎフィールド（ｎは整数値）だけ前の平均値との差分値を算出する差分値算出ステップ：
前記ライン平均値算出ステップで得られた平均値と前記差分値算出ステップで得られた差分値からフリッカ周波数を抽出するフリッカ成分抽出ステップ：
前記動き検出ステップでの動き検出結果に基づいて巡回係数を算出するステップであって、動き状態から静止状態になった直後の１フィールドは巡回係数を一旦ゼロとし、静止状態が継続した場合には巡回係数を所定の値とする一方、動き状態となったときは巡回係数を１にする、巡回係数算出ステップ：
前記フリッカ成分抽出ステップで抽出されたフリッカ成分に前記巡回係数算出ステップで算出された巡回係数に基づきローパスフィルターをかける巡回型ローパスフィルターステップ：
前記巡回型ローパスフィルターステップからの出力と前記動き検出ステップでの検出結果に基づいてフリッカの有無およびフリッカ周波数を判定するフリッカ判定ステップ：
前記フリッカ判定ステップでの判定結果に基づいて、フリッカ周波数に同期したフリッカ補正ゲインを算出するフリッカ補正ゲイン算出ステップ：
前記フリッカ補正ゲイン算出ステップで算出された補正ゲインを前記入力画像信号に乗ずるフリッカ補正ゲイン乗算ステップ：
【００２６】
この構成により、被写体の動き／静止の状態に応じて巡回型ローパスフィルタの巡回係数の大きさを適切に変えることが可能となり、動きから静止状態になった時に一度計算結果を初期化することで高速に巡回型ローパスフィルタ出力を収束させ所望のフリッカ補正ゲインを得ることができ、また、動き状態がしばらく続いた時にも巡回型ローパスフィルタ出力を保持するので、フリッカ補正ゲインが変動してしまう事がなくフリッカ補正を安定して行うことが可能になる。
【発明の効果】
【００２７】
本発明によれば、被写体が動いた場合でもフリッカ補正を行うことができ、さらに、フィールド周期とフリッカ周期の位相のズレが少ない場合であっても動き状態から静止状態に変わった時に高速にフリッカ補正を開始することが可能となるという優れた効果が得られる。
【図面の簡単な説明】
【００２８】
【図１】本発明の一実施例におけるフリッカ補正装置の構成を示すブロック図
【図２】フリッカが発生している画像の一例を示す図
【図３】図２の画像のライン平均値を示す図
【図４】３フィールドのライン平均値を示す図
【図５】現在のフィールドのライン平均値を３フィールド分の平均値で除算した結果を示す図
【図６】現在のフィールドとｎフィールド前のライン平均値の差分値を示す図
【図７】差分値を現在のフィールドのライン平均値で除算した結果を示す図
【図８】動き判定結果例による状態制御を示す図（Ａ）静止フィールド数の計測結果を示す図（Ｂ）動きフィールド数の計測結果を示す図（Ｃ）フィールド数ｎ算出結果を示す図（Ｄ）巡回係数算出結果を示す図（Ｅ）フェードゲイン算出結果を示す図
【発明を実施するための最良の形態】
【００２９】
以下に、本発明の一実施例である露光時刻が点順次または線順次である撮像素子を用いて撮像した画像のフリッカを低減させるフリッカ補正装置について、図面を参照しながら説明する。
【００３０】
図１は、本発明におけるフリッカ補正装置の一実施例を示す図である。図１において１００はライン平均値算出部であり、符号１０１は１フィールド前ライン平均値記憶部、１０２は２フィールド前ライン平均値記憶部、１０３はｎフィールド前ライン平均値記憶部である。１フィールド前ライン平均値記憶部１０１、２フィールド前ライン平均値記憶部１０２、および、ｎフィールド前ライン平均値記憶部１０３は、ライン平均値算出部１００で得られた平均値を１フィールド期間単位で記憶する記憶部を構成している。
【００３１】
また、符号１０４は３フィールド平均値算出部、１０５は差分値算出部、１０６は５０Ｈｚフリッカ成分抽出部、１０７は６０Ｈｚフリッカ成分抽出部、１０８は第１の巡回型ＬＰＦ部、１０９は第２の巡回型ＬＰＦ部、１１０は動き検出部、１１１は動きフィールド数計測部、１１２は静止フィールド数計測部、１１３はフィールド数ｎ算出部、１１４は巡回係数算出部、１１５はフリッカ判定部、１１６はフリッカ補正ゲイン算出部、１１７はフェードゲイン算出部、１１８はフェードゲイン乗算部、１１９はフリッカ補正ゲイン乗算部、１２０は遅延部、そして、１２１はマイクロコンピュータである。
【００３２】
ライン平均値算出部１００は、入力画像信号の有効期間のライン毎の平均値を算出する。
【００３３】
１フィールド前ライン平均値記憶部１０１及び２フィールド前ライン平均値記憶部１０２は１フィールド分のライン平均値を保持可能で、それぞれ１フィールド期間遅延して出力する。同様にｎフィールド前ライン平均値記憶部１０３は１フィールド分のライン平均値を保持可能で、任意のｎフィールド期間遅延して出力する。
【００３４】
３フィールド平均値算出部１０４ではライン平均値算出部１００の出力ｙ０、１フィールド前ライン平均値記憶部１０１の出力ｙ−１、２フィールド前ライン平均値記憶部１０２の出力ｙ−２の平均値を演算する。すなわち、３フィールド毎の同ライン位置のライン平均値の平均を算出し、フリッカの影響を排除した基準値を作成する。
【００３５】
差分値算出部１０５は、ライン平均値算出部１００から出力されるライン平均値からｎフィールド前ライン平均値記憶部１０３から出力されるｎフィールド前ライン平均値を減算する。
【００３６】
５０Ｈｚフリッカ成分抽出部１０６は、ライン平均値算出部１００から出力されるライン平均値を３フィールド平均値算出部１０４から出力される平均値で除算することにより、被写体の濃淡が排除されたフリッカ信号を求めた後、周波数変換し、５０Hzのフリッカの成分の周波数領域だけを抽出する。
【００３７】
６０Ｈｚフリッカ成分抽出部１０７は、差分値算出部１０５から出力される差分値をライン平均値算出部１００から出力される平均値で除算することにより、被写体の濃淡が排除されたフリッカ信号を求めた後、周波数変換し、６０Hzのフリッカの成分の周波数領域だけを抽出する。
【００３８】
第１の巡回型ＬＰＦ部１０８は、５０Ｈｚフリッカ成分抽出部１０６から出力される５０Ｈｚフリッカ成分と１フィールド前のフリッカ成分巡回ＬＰＦ結果に対して、巡回係数算出部１１４から出力される巡回係数でローパスフィルタをかける。
【００３９】
第２の巡回型ＬＰＦ部１０９は、６０Ｈｚフリッカ成分抽出部１０７から出力される６０Ｈｚフリッカ成分とｎフィールド前のフリッカ成分巡回ＬＰＦ結果に対して、巡回係数算出部１１４から出力される巡回係数でローパスフィルタをかける。
【００４０】
動き検出部１１０は、ライン平均値算出部１００から出力されるライン平均値と１フィールド前ライン平均値記憶部１０１から出力される平均値の差分を、あるスレッシュ値（閾値）と比較して被写体の動きを検出する。
【００４１】
動きフィールド数計測部１１１は、動き検出部１１０から出力される動き検出結果に基づいて、動きが続いたフィールド数（動きフィールド数）を計測する。
【００４２】
静止フィールド数計測部１１２は、動き検出部１１０から出力される動き検出結果に基づいて、静止が続いたフィールド数（静止フィールド数）を計測する。
【００４３】
フィールド数ｎ算出部１１３は、静止フィールド数計測部１１２から出力される静止フィールド数の結果に基づいて、フィールド数ｎを算出（決定）する。
【００４４】
巡回係数算出部１１４は、動き検出部１１０から出力される動き検出結果に基づいて、巡回係数を決定する。
【００４５】
フリッカ判定部１１５は、動き検出部１１０の検出結果と第１の巡回型ＬＰＦ部１０８および第２の巡回型ＬＰＦ部１０９からの出力に基づいて、動きの有無によるフリッカ成分の調整やフリッカの有無の判定および周波数の判定（５０Ｈｚか６０Ｈｚ）を行う。
【００４６】
フリッカ補正ゲイン算出部１１６は、フリッカ判定部１１５の判定結果に基づいて、三角関数の重畳によりフリッカ周波数に同期した正弦波を算出（生成）する。
【００４７】
フェードゲイン算出部１１７は、動きフィールド数計測部１１１と静止フィールド数計測部１１２の計測結果に基づいて、フェードゲインを算出する。
【００４８】
フェードゲイン乗算部１１８は、フリッカ補正ゲイン算出部１１６から出力されるフリッカ補正ゲインに、フェードゲイン算出部１１７から出力されるフェードゲインを乗算する。
【００４９】
フリッカ補正乗算部１１９は、遅延部１２０で遅延調整された画像信号に対して、フェードゲイン乗算部１１８から出力される、フェードゲインが乗算されたフリッカ補正ゲインを乗算することで、入力画像のフリッカを低減させる。
【００５０】
遅延部１２０は、入力される画像信号に対して、補正ゲインを生成するまでに相当する遅延分を調整するものである。
【００５１】
以上のように構成された本実施例のフリッカ補正装置について、以下にその動作について説明する。なお、当該動作の内容は、露光時刻が点順次または線順次である撮像素子を用いて撮像した画像のフリッカを低減させるフリッカ補正方法であり、その各動作（ステップ）をコンピュータを用いて実行することができることは明らかである。また、かかるプログラムは、露光時刻が点順次または線順次である撮像素子を用いて撮像した画像のフリッカを低減させるフリッカ補正プログラムであって、コンピュータに下記の各動作（ステップ）を実行させるためのフリッカ補正プログラムである。
【００５２】
図１に示すとおり、露光時刻が点順次または線順次である撮像素子を用いて撮像した画像信号は、フリッカ補正装置のライン平均値算出部１００と遅延部１２０に入力される。
【００５３】
ライン平均値算出部１００では、入力画像信号の有効期間のライン毎の平均値ｙ０を算出する。
【００５４】
算出された平均値ｙ０は、１フィールド前ライン平均値記憶部１０１、ｎフィールド前ライン平均値記憶部１０３、３フィールド平均値算出部１０４、差分値算出部１０５、５０Ｈｚフリッカ成分抽出部１０６、６０Ｈｚフリッカ成分抽出部１０７、および、動き検出部１１０に入力される。
【００５５】
１フィールド前ライン平均値記憶部１０１は、入力されたライン平均値ｙ０を記憶し、１フィールド期間遅延した平均値ｙ−１を出力する。
【００５６】
１フィールド前ライン平均値記憶部１０１から出力される平均値ｙ−１は、２フィールド前ライン平均値記憶部１０２、３フィールド平均値算出部１０４、動き検出部１１０に入力される。
【００５７】
２フィールド前ライン平均値記憶部１０２は、入力されたライン平均値ｙ−１を記憶し、１フィールド遅延した平均値ｙ−２を、３フィールド平均値算出部１０４へと出力する。
【００５８】
その結果、３フィールド平均値算出部１０４には、ｙ０、ｙ−１、ｙ−２が入力されることになる。
【００５９】
３フィールド平均値算出部１０４では、入力されるｙ０、ｙ−１、ｙ−２に基づいて、これらの３つのライン平均値の平均を求めることで３フィールド平均値を算出し、フリッカの影響を排除した基準値を作成する。
【００６０】
３フィールド平均値算出部１０４で算出された平均値（３フィールド平均値）は、５０Ｈｚフリッカ成分抽出部１０６に入力される。
【００６１】
５０Ｈｚフリッカ成分抽出部１０６は、ライン平均値算出部１００から出力されるライン平均値を３フィールド平均値算出部１０４から出力される平均値で除算することで、被写体の濃淡が排除されたフリッカ信号を算出する。そして、そのフリッカ信号を周波数変換して、５０Ｈｚのフリッカの成分の周波数領域だけを抽出する。
【００６２】
差分値算出部１０５は、ライン平均値算出部１００から出力されるライン平均値からｎフィールド前ライン平均値記憶部１０３から出力されるｎフィールド前ライン平均値を減算し、６０Ｈｚフリッカ成分抽出部１０７に入力する。
【００６３】
６０Ｈｚフリッカ成分抽出部１０７は、差分値算出部１０５から出力される差分値をライン平均値算出部１００から出力される平均値で除算することで、被写体の濃淡が排除されたフリッカ信号を算出する。そして、のフリッカ信号を周波数変換して、６０Ｈｚのフリッカの成分の周波数領域だけを抽出する。
【００６４】
以下に、これまで説明してきた動作を図面を参照しながら説明する。
【００６５】
図２は、垂直走査周波数（フィールド周波数）が５９．９４Ｈｚ、水平走査周波数が１５．７５ｋＨｚであるＮＴＳＣ方式で駆動している撮像装置で、ｆｐ＝５０Ｈｚの交流電源で点灯する一般的な蛍光灯の照明下で白色チャートを撮影した場合の画像例を示す図である。
【００６６】
また、図３は、その画像のライン平均値をプロットしたものである。この図に示すように、ライン平均値は被写体の濃淡でフリッカ成分が変調されたような信号となる。
【００６７】
電源周波数と撮像素子の駆動周波数の関係から、ｎフレームにおけるｙラインの平均値Ｙｓ（Ｙ，ｎ）は以下の式で表される。
【００６８】
【数１】
【００６９】
ここで、
Ｉｓ（ｙ）：ｙラインの直流成分（被写体の濃淡に相当）
Ａ：フリッカの大きさ
ｆｈ：水平走査周波数
ｆｖ：垂直走査周波数
ｆｐ：電源周波数
である。
【００７０】
これよりｙラインについてｆｈ／（２×ｆｐ）ライン周期で横縞が現れ、ｎフレームについて（２π×２×ｆｐ）／ｆｖで位相がシフトする。
【００７１】
つまり、ｆｐ＝５０Ｈｚ時のフリッカは、
ｆｈ／（２×ｆｐ）＝１５．７５ｋＨｚ／１００＝１５７．５ライン周期
で横縞が現れ、１フィールドあたり
（２π×２×ｆｐ）／ｆｖ＝２π×１００／５９．９４Ｈｚ≒２π×（１＋２／３）
だけ位相がシフトすることから、三角関数の性質より３フィールドで一巡するものであることがわかる。
【００７２】
同様に、ｆｐ＝６０Ｈｚの時フリッカは、
ｆｈ／（２×ｆｐ）＝１５．７５ｋＨｚ／１２０＝１３１．２５ライン周期
で横縞が現れ、１フィールドあたり、
（２π×２×ｆｐ）／ｆｖ＝２π×１２０／５９．９４Ｈｚ≒２π×（２＋１／５００）
だけ位相がシフトすることから、三角関数の性質より５００フィールドで一巡するものであることがわかる。
【００７３】
図４は、ｆｐ＝５０Ｈｚ時の現在のフィールドのライン平均値と、１フィールド前のライン平均値と、２フィールド前のライン平均値と、それら３フィールド分の平均値をプロットしたものである。先に示したように、ライン平均値は３フィールドで一巡するので、３フィールド分の平均値を計算することで、フリッカの影響を排除した被写体の濃淡が抽出できる。
【００７４】
図５は、現在のフィールドのライン平均値を、先に求めた３フィールド分の平均値で除算した結果であり、被写体の濃淡を排除したフリッカ信号が抽出される。
【００７５】
図６は、ｆｐ＝６０Ｈｚ時の現在のフィールドのライン平均値と、ｎフィールド前のライン平均値と、それら２フィールドの差分値をプロットしたものである。
【００７６】
図７は、先に求めた２フィールドの差分値を現在のフィールドのライン平均値で除算した結果であり、被写体の濃淡を排除したフリッカ信号が抽出される。
【００７７】
被写体の濃淡を排除したフリッカ信号が抽出されることにつき、数式を用いて説明する。
【００７８】
ｎ１，ｎ２フレームにおけるライン平均値は，以下の式で表される。
【００７９】
【数２】
【００８０】
上式を簡略化すると下記［１］および［２］となり、これら［１］および［２］から求められる（［２］−［１］）／［２］は下式のとおりとなる。
【００８１】
【数３】
【００８２】
一般的な蛍光灯によるフリッカは、Ａ＜＜１であるので、上記（［２］−［１］）／［２］は下式で近似することができ、被写体の濃淡に影響されないフリッカ信号が抽出できる。
【００８３】
【数４】
【００８４】
５０Ｈｚフリッカ成分抽出部１０６で抽出されたフリッカ成分の周波数領域は、第１の巡回型ＬＰＦ１０８で、１フィールド前のフリッカ成分の巡回ローパスフィルタ結果と、巡回係数算出部１１４から出力される巡回係数に基づき、ローパスフィルタをかける。巡回ローパスフィルタ後のフリッカ成分の周波数領域は、フリッカ判定部１１５に入力される。
【００８５】
同様に、６０Ｈｚフリッカ成分抽出部１０６で抽出されたフリッカ成分の周波数領域は、第２の巡回型ＬＰＦ１０９で、ｎフィールド前のフリッカ成分の巡回ローパスフィルタ結果と、巡回係数算出部１１４から出力される巡回係数に基づき、ローパスフィルタをかける。巡回ローパスフィルタ後のフリッカ成分の周波数領域は、フリッカ判定部１１５に入力される。
【００８６】
動き検出部１１０は、ライン平均値算出部１００から出力されるライン平均値と１フィールド前ライン平均値記憶部１０１から出力される平均値の差分をあるスレッシュ値と比較して被写体の動きの有無を判断する。この動きの有無の判断結果は、動きフィールド数計測部１１１、静止フィールド数計測部１１２、巡回係数算出部１１４、および、フリッカ判定部１１５に入力される。
【００８７】
動きフィールド数計測部１１１は、動き検出部１１０から出力される動き検出結果に基づき、動きが続いたフィールド数（動きフィールド数）を計測する。その結果は、フェードゲイン算出部１１７に入力される（図８（Ａ）を参照）。
【００８８】
静止フィールド数計測部１１２は、動き検出部１１０から出力される動き検出結果に基づき、静止が続いたフィールド数（静止フィールド数）を計測する。その結果は、フィールド数ｎ算出部１１３、および、フェードゲイン算出部１１７に入力される（図８（Ｂ）を参照）。
【００８９】
フィールド数ｎ算出部１１３は、静止フィールド数計測部１１２から出力される静止フィールド数の結果に基づいて、フィールド数ｎを算出（決定）する。静止フィールド数がゼロでない時（静止時）には、５０Ｈｚのフリッカの影響を避けるべく、フィールド数ｎとして３の倍数を選択するが、静止フィールド数が小さいうちはフィールド数ｎを小さくする一方、静止フィールド数が大きくなるにつれてフィールド数ｎを所定の数まで徐々に増加させていく。
【００９０】
具体的には、静止フィールド数が小さい時は３、６等、フィールド数ｎを小さくする。このようにすることで、最短４フィールド程度でフリッカ信号を抽出可能となる。また、静止フィールド数が大きくなるにつれて、所定の数まで徐々にフィールド数ｎを大きくしていく。このようにすることで、フィールド差分信号の値が大きくなり、結果としてフリッカ信号の抽出精度を高めることができる（図８（Ｃ）を参照）。
【００９１】
一方、静止フィールド数がゼロの時（動き時）には、フィールド数ｎをゼロとする。
【００９２】
このようにして算出されたフィールド数ｎは、ｎフィールド前ライン平均値記憶部１０３に入力される。
【００９３】
巡回係数算出部１１４は、動き検出部１１０から出力される動き検出結果に基づき巡回係数を決定する。具体的には、巡回係数算出部１１４は、動き状態から静止状態になった直後の１フィールドは巡回係数を一旦ゼロとし、静止状態が継続した場合には巡回係数を所定の値とする一方、動き状態となったときは巡回係数を１にする。つまり、静止状態には適度に巡回をかけ（例えば０．７５）、動きの時は巡回係数を大きくして計算結果を保持する（例えば０．９５）。動き状態から静止状態になった時は巡回係数を一旦ゼロにして計算結果を初期化する、というような動作を行う（図８（Ｄ）を参照）。
【００９４】
算出された巡回係数は、第１の巡回型ＬＰＦ部１０８、および、第２の巡回型ＬＰＦ部１０９に入力される。
【００９５】
フリッカ判定部１１５は、動き検出部１１０の検出結果と第１の巡回型ＬＰＦ部１０８および第２の巡回型ＬＰＦ部１０９からの出力に基づいて、動きの有無によるフリッカ成分の調整やフリッカの有無の判定および周波数の判定（５０Ｈｚか６０Ｈｚ）を行う。判定結果に基づいて調整されたフリッカ成分は、フリッカ補正ゲイン生成部１１６に入力される。
【００９６】
フリッカ補正ゲイン算出部１１６は、フリッカ判定部１１５の判定結果に基づいて、三角関数の重畳によりフリッカ周波数に同期した正弦波を生成し、フェードゲイン乗算部１１８へと出力する。
【００９７】
フェードゲイン算出部１１７は、動きフィールド数計測部１１１と静止フィールド数計測部１１２の計測結果に基づいて、すなわち静止フィールド数と動きフィールド数に応じて、フェードゲインを算出（制御）する。具体的には、静止フィールド数がゼロでない静止時においては、静止フィールド数が小さいうちはフェードゲインを小さくする一方、静止フィールド数が大きくなるにつれてフェードゲインを徐々に大きくして１倍まで増加させていく。逆に、動きフィールド数がゼロでない動き時においては、動きフィールド数が小さいうちはフェードゲインを大きくする一方、動きフィールド数が大きくなるにつれてフェードゲインを徐々に小さくして０倍まで減少させる。つまり、静止の場合は静止状態の長さに応じてフェードゲインを徐々に大きくしていき、１まで増加させる。逆に、動きの場合は、静止から動きへの移行直後は所定期間フェードゲインを１のままで保持しておき、所定時間以降も動きが続いたら、フェードゲインを徐々に小さくしていき、ゼロまで減少させる（図８（Ｅ）を参照）。算出されたフェードゲインはフェードゲイン乗算部１１８に入力される。
【００９８】
フェードゲイン乗算部１１８は、フリッカ補正ゲイン算出部１１６から出力されるフリッカ補正ゲインに、フェードゲイン算出部１１７から出力されるフェードゲインを乗算する。
【００９９】
フリッカ補正乗算部１１９は、遅延部１２０で遅延調整された画像信号に対してフリッカ補正ゲインを乗算する。フリッカ補正乗算部１１９からは、フリッカが補正された信号が出力される。
【０１００】
以上説明したとおり、本発明によれば、被写体が動いた場合でもフリッカ補正を行うことができ、さらに、フィールド周期とフリッカ周期の位相のズレが少ない場合であっても動き状態から静止状態に変わった時に高速にフリッカ補正を開始することが可能となるという優れた効果が得られる。
【産業上の利用可能性】
【０１０１】
本発明は、ムービーカメラ、車載カメラ、携帯カメラなどの撮影場所が固定されず異なる周波数のフリッカ補正が必要とされるカメラシステムの分野において有用である。
【符号の説明】
【０１０２】
１００ ライン平均値算出部
１０１ １フィールド前ライン平均値記憶部
１０２ ２フィールド前ライン平均値記憶部
１０３ ｎフィールド前ライン平均値記憶部
１０４ ３フィールド平均値算出部
１０５ 差分値算出部
１０６ ５０Ｈｚフリッカ成分抽出部
１０７ ６０Ｈｚフリッカ成分抽出部
１０８ 第１の巡回型LPF
１０９ 第２の巡回型LPF
１１０ 動き検出部
１１１ 動きフィールド数計測部
１１２ 静止フィールド数計測部
１１３ フィールド数ｎ算出部
１１４ 巡回係数算出部
１１５ フリッカ判定部
１１６ フリッカ補正ゲイン算出部
１１７ フェードゲイン算出部
１１８ フェードゲイン乗算部
１１９ フリッカ補正ゲイン乗算部
１２０ 遅延部
１２１ マイクロコンピュータ
【特許請求の範囲】
【請求項１】
露光時刻が点順次または線順次である撮像素子を用いて撮像した画像のフリッカを低減させるフリッカ補正装置であって、
入力画像信号の有効期間のライン毎の平均値を算出するライン平均値算出部と、
前記ライン平均値算出部で得られた平均値を１フィールド期間単位で記憶する記憶部と、
前記ライン平均値算出部で得られた平均値と前記記憶部に格納されている１フィールド前の平均値の出力変化から動きを検出する動き検出部と、
前記動き検出部から出力される動き検出結果に基づいて静止が続いたフィールド数である静止フィールド数を計測する静止フィールド数計測部と、
前記動き検出部から出力される動き検出結果に基づいて動きが続いたフィールド数である動きフィールド数を計測する動きフィールド数計測部と、
前記ライン平均値算出部で得られた平均値と前記記憶部に格納されているｎフィールド（ｎは整数値）だけ前の平均値との差分値を算出する差分値算出部と、
前記静止フィールド数計測部から出力される前記静止フィールド数の結果に基づいて前記フィールド数ｎを算出するフィールド数ｎ算出部と、
前記ライン平均値算出部で得られた平均値と前記差分値算出部で得られた差分値からフリッカ周波数を抽出するフリッカ成分抽出部と、
前記フリッカ成分抽出部で抽出されたフリッカ成分と前記動き検出部の結果からフリッカの有無やフリッカ周波数を判定するフリッカ判定部と、
前記フリッカ判定部の結果から、フリッカ周波数に同期したフリッカ補正ゲインを算出するフリッカ補正ゲイン算出部と、
前記フリッカ補正ゲイン算出部からの補正ゲインを前記入力画像信号に乗ずるフリッカ補正ゲイン乗算部と、を備え、
前記フィールド数ｎ算出部は、
前記静止フィールド数および前記動きフィールド数に応じて前記フィールド数ｎの制御を行い、
前記静止フィールド数がゼロでない静止時においては、静止フィールド数が小さいうちは前記フィールド数ｎを小さくする一方、静止フィールド数が大きくなるにつれて前記フィールド数ｎを所定の数まで徐々に増加させていき、
前記動きフィールド数がゼロでない動き時においては前記フィールド数ｎをゼロにする、
ことを特徴とするフリッカ補正装置。
【請求項２】
露光時刻が点順次または線順次である撮像素子を用いて撮像した画像のフリッカを低減させるフリッカ補正装置であって、
入力画像信号の有効期間のライン毎の平均値を算出するライン平均値算出部と、
前記ライン平均値算出部で得られた平均値を１フィールド期間単位で記憶する記憶部と、
前記ライン平均値算出部で得られた平均値と前記記憶部に格納されている１フィールド前の平均値の出力変化から動きを検出する動き検出部と、
前記動き検出部から出力される動き検出結果に基づいて静止が続いたフィールド数である静止フィールド数を計測する静止フィールド数計測部と、
前記動き検出部から出力される動き検出結果に基づいて動きが続いたフィールド数である動きフィールド数を計測する動きフィールド数計測部と、
前記ライン平均値算出部で得られた平均値と前記記憶部に格納されているｎフィールド（ｎは整数値）だけ前の平均値との差分値を算出する差分値算出部と、
前記ライン平均値算出部で得られた平均値と前記差分値算出部で得られた差分値からフリッカ周波数を抽出するフリッカ成分抽出部と、
前記フリッカ成分抽出部で抽出されたフリッカ成分と前記動き検出部の結果からフリッカの有無やフリッカ周波数を判定するフリッカ判定部と、
前記フリッカ判定部の結果から、フリッカ周波数に同期したフリッカ補正ゲインを算出するフリッカ補正ゲイン算出部と、
前記静止フィールド数計測部と前記動きフィールド数計測部の計測結果からフェードゲインを算出するフェードゲイン算出部と、
前記フェードゲイン算出部で算出されたフェードゲインを前記フリッカ補正ゲインに乗ずるフェードゲイン乗算部と、
前記フェードゲイン乗算部から入力された補正ゲインを前記入力画像信号に乗ずるフリッカ補正ゲイン乗算部と、を備え、
前記フェードゲイン算出部は、前記静止フィールド数および前記動きフィールド数に応じて前記フェードゲインの制御を行い、
静止フィールド数がゼロでない静止時においては、静止フィールド数が小さいうちは前記フェードゲインを小さくする一方、静止フィールド数が大きくなるにつれて前記フェードゲインを徐々に大きくして１倍まで増加させていき、
動きフィールド数がゼロでない動き時においては、動きフィールド数が小さいうちは前記フェードゲインを大きくする一方、動きフィールド数が大きくなるにつれて前記フェードゲインを徐々に小さくして０倍まで減少させる、
ことを特徴とするフリッカ補正装置。
【請求項３】
露光時刻が点順次または線順次である撮像素子を用いて撮像した画像のフリッカを低減させるフリッカ補正装置であって、
入力画像信号の有効期間のライン毎の平均値を算出するライン平均値算出部と、
前記ライン平均値算出部で得られた平均値を１フィールド期間単位で記憶する記憶部と、
前記ライン平均値算出部で得られた平均値と前記記憶部に格納されている１フィールド前の平均値の出力変化から動きを検出する動き検出部と、
前記ライン平均値算出部で得られた平均値と前記記憶部に格納されているｎフィールド（ｎは整数値）だけ前の平均値との差分値を算出する差分値算出部と、
前記ライン平均値算出部で得られた平均値と前記差分値算出部で得られた差分値からフリッカ周波数を抽出するフリッカ成分抽出部と、
前記動き検出部から出力される動き検出結果に基づいて巡回係数を算出する巡回係数算出部と、
前記フリッカ成分抽出部で抽出されたフリッカ成分に前記巡回係数算出部で算出された巡回係数に基づきローパスフィルターをかける巡回型ローパスフィルター部と、
前記巡回型ローパスフィルター部からの出力と前記動き検出部の検出結果に基づいてフリッカの有無およびフリッカ周波数を判定するフリッカ判定部と、
前記フリッカ判定部の判定結果に基づいて、フリッカ周波数に同期したフリッカ補正ゲインを算出するフリッカ補正ゲイン算出部と、
前記フリッカ補正ゲイン算出部で算出された補正ゲインを前記入力画像信号に乗ずるフリッカ補正ゲイン乗算部と、を備え、
前記巡回係数算出部は、動き状態から静止状態になった直後の１フィールドは巡回係数を一旦ゼロとし、静止状態が継続した場合には巡回係数を所定の値とする一方、動き状態となったときは巡回係数を１にする、
ことを特徴とするフリッカ補正装置。
【請求項４】
露光時刻が点順次または線順次である撮像素子を用いて撮像した画像のフリッカを低減させるフリッカ補正方法であって、
入力画像信号の有効期間のライン毎の平均値を算出するライン平均値算出ステップと、
前記ライン平均値算出ステップで得られた平均値を１フィールド期間単位で記憶する記憶ステップと、
前記ライン平均値算出ステップで得られた平均値と前記記憶ステップで記憶された１フィールド前の平均値の出力変化から動きを検出する動き検出ステップと、
前記動き検出ステップでの動き検出結果に基づいて静止が続いたフィールド数である静止フィールド数を計測する静止フィールド数計測ステップと、
前記動き検出ステップでの動き検出結果に基づいて動きが続いたフィールド数である動きフィールド数を計測する動きフィールド数計測ステップと、
前記ライン平均値算出ステップで得られた平均値と前記記憶ステップで記憶されたｎフィールド（ｎは整数値）だけ前の平均値との差分値を算出する差分値算出ステップと、
前記静止フィールド数計測ステップで計測された前記静止フィールド数の結果に基づいて前記フィールド数ｎを算出するフィールド数ｎ算出ステップと、
前記ライン平均値算出ステップで得られた平均値と前記差分値算出ステップで得られた差分値からフリッカ周波数を抽出するフリッカ成分抽出ステップと、
前記フリッカ成分抽出ステップで抽出されたフリッカ成分と前記動き検出ステップでの動き検出結果に基づいてフリッカの有無やフリッカ周波数を判定するフリッカ判定ステップと、
前記フリッカ判定ステップでの判定結果から、フリッカ周波数に同期したフリッカ補正ゲインを算出するフリッカ補正ゲイン算出ステップと、
前記フリッカ補正ゲイン算出ステップで算出された補正ゲインを前記入力画像信号に乗ずるフリッカ補正ゲイン乗算ステップと、を備え、
前記フィールド数ｎ算出ステップでは、
前記静止フィールド数および前記動きフィールド数に応じて前記フィールド数ｎの制御を行い、
前記静止フィールド数がゼロでない静止時においては、静止フィールド数が小さいうちは前記フィールド数ｎを小さくする一方、静止フィールド数が大きくなるにつれて前記フィールド数ｎを所定の数まで徐々に増加させていき、
前記動きフィールド数がゼロでない動き時においては前記フィールド数ｎをゼロにする、
ことを特徴とするフリッカ補正方法。
【請求項５】
露光時刻が点順次または線順次である撮像素子を用いて撮像した画像のフリッカを低減させるフリッカ補正方法であって、
入力画像信号の有効期間のライン毎の平均値を算出するライン平均値算出ステップと、
前記ライン平均値算出ステップで得られた平均値を１フィールド期間単位で記憶する記憶ステップと、
前記ライン平均値算出ステップで得られた平均値と前記記憶ステップで記憶された１フィールド前の平均値の出力変化から動きを検出する動き検出ステップと、
前記動き検出ステップでの動き検出結果に基づいて静止が続いたフィールド数である静止フィールド数を計測する静止フィールド数計測ステップと、
前記動き検出ステップでの動き検出結果に基づいて動きが続いたフィールド数である動きフィールド数を計測する動きフィールド数計測ステップと、
前記ライン平均値算出ステップで得られた平均値と前記記憶ステップで記憶されたｎフィールド（ｎは整数値）だけ前の平均値との差分値を算出する差分値算出ステップと、
前記ライン平均値算出ステップで得られた平均値と前記差分値算出ステップで得られた差分値からフリッカ周波数を抽出するフリッカ成分抽出ステップと、
前記フリッカ成分抽出ステップで抽出されたフリッカ成分と前記動き検出ステップでの動き検出結果に基づいてフリッカの有無やフリッカ周波数を判定するフリッカ判定ステップと、
前記フリッカ判定ステップでの判定結果に基づいて、フリッカ周波数に同期したフリッカ補正ゲインを算出するフリッカ補正ゲイン算出ステップと、
前記静止フィールド数計測ステップと前記動きフィールド数計測ステップの計測結果からフェードゲインを算出するフェードゲイン算出ステップと、
前記フェードゲイン算出ステップで算出されたフェードゲインを前記フリッカ補正ゲインに乗ずるフェードゲイン乗算ステップと、
前記フェードゲイン乗算ステップからの補正ゲインを前記入力画像信号に乗ずるフリッカ補正ゲイン乗算ステップと、を備え、
前記フェードゲイン算出ステップでは、前記静止フィールド数および前記動きフィールド数に応じて前記フェードゲインの制御を行い、
静止フィールド数がゼロでない静止時においては、静止フィールド数が小さいうちは前記フェードゲインを小さくする一方、静止フィールド数が大きくなるにつれて前記フェードゲインを徐々に大きくして１倍まで増加させていき、
動きフィールド数がゼロでない動き時においては、動きフィールド数が小さいうちは前記フェードゲインを大きくする一方、動きフィールド数が大きくなるにつれて前記フェードゲインを徐々に小さくして０倍まで減少させる、
ことを特徴とするフリッカ補正装方法。
【請求項６】
露光時刻が点順次または線順次である撮像素子を用いて撮像した画像のフリッカを低減させるフリッカ補正方法であって、
入力画像信号の有効期間のライン毎の平均値を算出するライン平均値算出ステップと、
前記ライン平均値算出ステップで得られた平均値を１フィールド期間単位で記憶する記憶ステップと、
前記ライン平均値算出ステップで得られた平均値と前記記憶ステップで記憶された１フィールド前の平均値の出力変化から動きを検出する動き検出ステップと、
前記ライン平均値算出ステップで得られた平均値と前記記憶ステップで記憶されたｎフィールド（ｎは整数値）だけ前の平均値との差分値を算出する差分値算出ステップと、
前記ライン平均値算出ステップで得られた平均値と前記差分値算出ステップで得られた差分値からフリッカ周波数を抽出するフリッカ成分抽出ステップと、
前記動き検出ステップでの動き検出結果に基づいて巡回係数を算出する巡回係数算出ステップと、
前記フリッカ成分抽出ステップで抽出されたフリッカ成分に前記巡回係数算出ステップで算出された巡回係数に基づきローパスフィルターをかける巡回型ローパスフィルターステップと、
前記巡回型ローパスフィルターステップからの出力と前記動き検出ステップでの検出結果に基づいてフリッカの有無およびフリッカ周波数を判定するフリッカ判定ステップと、
前記フリッカ判定ステップでの判定結果に基づいて、フリッカ周波数に同期したフリッカ補正ゲインを算出するフリッカ補正ゲイン算出ステップと、
前記フリッカ補正ゲイン算出ステップで算出された補正ゲインを前記入力画像信号に乗ずるフリッカ補正ゲイン乗算ステップと、を備え、
前記巡回係数算出ステップでは、動き状態から静止状態になった直後の１フィールドは巡回係数を一旦ゼロとし、静止状態が継続した場合には巡回係数を所定の値とする一方、動き状態となったときは巡回係数を１にする、
ことを特徴とするフリッカ補正方法。
【請求項７】
露光時刻が点順次または線順次である撮像素子を用いて撮像した画像のフリッカを低減させるフリッカ補正プログラムであって、コンピュータに下記のステップを実行させるためのフリッカ補正プログラム。
入力画像信号の有効期間のライン毎の平均値を算出するライン平均値算出ステップ：
前記ライン平均値算出ステップで得られた平均値を１フィールド期間単位で記憶する記憶ステップ：
前記ライン平均値算出ステップで得られた平均値と前記記憶ステップで記憶された１フィールド前の平均値の出力変化から動きを検出する動き検出ステップ：
前記動き検出ステップでの動き検出結果に基づいて静止が続いたフィールド数である静止フィールド数を計測する静止フィールド数計測ステップ：
前記動き検出ステップでの動き検出結果に基づいて動きが続いたフィールド数である動きフィールド数を計測する動きフィールド数計測ステップ：
前記ライン平均値算出ステップで得られた平均値と前記記憶ステップで記憶されたｎフィールド（ｎは整数値）だけ前の平均値との差分値を算出する差分値算出ステップ：
前記静止フィールド数計測ステップで計測された前記静止フィールド数の結果に基づいて前記フィールド数ｎを算出するステップであって、前記静止フィールド数および前記動きフィールド数に応じて前記フィールド数ｎの制御を行い、前記静止フィールド数がゼロでない静止時においては、静止フィールド数が小さいうちは前記フィールド数ｎを小さくする一方、静止フィールド数が大きくなるにつれて前記フィールド数ｎを所定の数まで徐々に増加させていき、前記動きフィールド数がゼロでない動き時においては前記フィールド数ｎをゼロにする、フィールド数ｎ算出ステップ：
前記ライン平均値算出ステップで得られた平均値と前記差分値算出ステップで得られた差分値からフリッカ周波数を抽出するフリッカ成分抽出ステップ：
前記フリッカ成分抽出ステップで抽出されたフリッカ成分と前記動き検出ステップでの動き検出結果に基づいてフリッカの有無やフリッカ周波数を判定するフリッカ判定ステップ：
前記フリッカ判定ステップでの判定結果から、フリッカ周波数に同期したフリッカ補正ゲインを算出するフリッカ補正ゲイン算出ステップ：
前記フリッカ補正ゲイン算出ステップで算出された補正ゲインを前記入力画像信号に乗ずるフリッカ補正ゲイン乗算ステップ：
【請求項８】
露光時刻が点順次または線順次である撮像素子を用いて撮像した画像のフリッカを低減させるフリッカ補正プログラムであって、コンピュータに下記のステップを実行させるためのフリッカ補正プログラム。
入力画像信号の有効期間のライン毎の平均値を算出するライン平均値算出ステップ：
前記ライン平均値算出ステップで得られた平均値を１フィールド期間単位で記憶する記憶ステップ：
前記ライン平均値算出ステップで得られた平均値と前記記憶ステップで記憶された１フィールド前の平均値の出力変化から動きを検出する動き検出ステップ：
前記動き検出ステップでの動き検出結果に基づいて静止が続いたフィールド数である静止フィールド数を計測する静止フィールド数計測ステップ：
前記動き検出ステップでの動き検出結果に基づいて動きが続いたフィールド数である動きフィールド数を計測する動きフィールド数計測ステップ：
前記ライン平均値算出ステップで得られた平均値と前記記憶ステップで記憶されたｎフィールド（ｎは整数値）だけ前の平均値との差分値を算出する差分値算出ステップ：
前記ライン平均値算出ステップで得られた平均値と前記差分値算出ステップで得られた差分値からフリッカ周波数を抽出するフリッカ成分抽出ステップ：
前記フリッカ成分抽出ステップで抽出されたフリッカ成分と前記動き検出ステップでの動き検出結果に基づいてフリッカの有無やフリッカ周波数を判定するフリッカ判定ステップ：
前記フリッカ判定ステップでの判定結果に基づいて、フリッカ周波数に同期したフリッカ補正ゲインを算出するフリッカ補正ゲイン算出ステップ：
前記静止フィールド数計測ステップと前記動きフィールド数計測ステップの計測結果からフェードゲインを算出するステップであって、前記静止フィールド数および前記動きフィールド数に応じて前記フェードゲインの制御を行い、静止フィールド数がゼロでない静止時においては、静止フィールド数が小さいうちは前記フェードゲインを小さくする一方、静止フィールド数が大きくなるにつれて前記フェードゲインを徐々に大きくして１倍まで増加させていき、動きフィールド数がゼロでない動き時においては、動きフィールド数が小さいうちは前記フェードゲインを大きくする一方、動きフィールド数が大きくなるにつれて前記フェードゲインを徐々に小さくして０倍まで減少させる、フェードゲイン算出ステップ：
前記フェードゲイン算出ステップで算出されたフェードゲインを前記フリッカ補正ゲインに乗ずるフェードゲイン乗算ステップ：
前記フェードゲイン乗算ステップからの補正ゲインを前記入力画像信号に乗ずるフリッカ補正ゲイン乗算ステップ：
【請求項９】
露光時刻が点順次または線順次である撮像素子を用いて撮像した画像のフリッカを低減させるフリッカ補正プログラムであって、コンピュータに下記のステップを実行させるためのフリッカ補正プログラム。
入力画像信号の有効期間のライン毎の平均値を算出するライン平均値算出ステップ：
前記ライン平均値算出ステップで得られた平均値を１フィールド期間単位で記憶する記憶ステップ：
前記ライン平均値算出ステップで得られた平均値と前記記憶ステップで記憶された１フィールド前の平均値の出力変化から動きを検出する動き検出ステップ：
前記ライン平均値算出ステップで得られた平均値と前記記憶ステップで記憶されたｎフィールド（ｎは整数値）だけ前の平均値との差分値を算出する差分値算出ステップ：
前記ライン平均値算出ステップで得られた平均値と前記差分値算出ステップで得られた差分値からフリッカ周波数を抽出するフリッカ成分抽出ステップ：
前記動き検出ステップでの動き検出結果に基づいて巡回係数を算出するステップであって、動き状態から静止状態になった直後の１フィールドは巡回係数を一旦ゼロとし、静止状態が継続した場合には巡回係数を所定の値とする一方、動き状態となったときは巡回係数を１にする、巡回係数算出ステップ：
前記フリッカ成分抽出ステップで抽出されたフリッカ成分に前記巡回係数算出ステップで算出された巡回係数に基づきローパスフィルターをかける巡回型ローパスフィルターステップ：
前記巡回型ローパスフィルターステップからの出力と前記動き検出ステップでの検出結果に基づいてフリッカの有無およびフリッカ周波数を判定するフリッカ判定ステップ：
前記フリッカ判定ステップでの判定結果に基づいて、フリッカ周波数に同期したフリッカ補正ゲインを算出するフリッカ補正ゲイン算出ステップ：
前記フリッカ補正ゲイン算出ステップで算出された補正ゲインを前記入力画像信号に乗ずるフリッカ補正ゲイン乗算ステップ：
【請求項１】
露光時刻が点順次または線順次である撮像素子を用いて撮像した画像のフリッカを低減させるフリッカ補正装置であって、
入力画像信号の有効期間のライン毎の平均値を算出するライン平均値算出部と、
前記ライン平均値算出部で得られた平均値を１フィールド期間単位で記憶する記憶部と、
前記ライン平均値算出部で得られた平均値と前記記憶部に格納されている１フィールド前の平均値の出力変化から動きを検出する動き検出部と、
前記動き検出部から出力される動き検出結果に基づいて静止が続いたフィールド数である静止フィールド数を計測する静止フィールド数計測部と、
前記動き検出部から出力される動き検出結果に基づいて動きが続いたフィールド数である動きフィールド数を計測する動きフィールド数計測部と、
前記ライン平均値算出部で得られた平均値と前記記憶部に格納されているｎフィールド（ｎは整数値）だけ前の平均値との差分値を算出する差分値算出部と、
前記静止フィールド数計測部から出力される前記静止フィールド数の結果に基づいて前記フィールド数ｎを算出するフィールド数ｎ算出部と、
前記ライン平均値算出部で得られた平均値と前記差分値算出部で得られた差分値からフリッカ周波数を抽出するフリッカ成分抽出部と、
前記フリッカ成分抽出部で抽出されたフリッカ成分と前記動き検出部の結果からフリッカの有無やフリッカ周波数を判定するフリッカ判定部と、
前記フリッカ判定部の結果から、フリッカ周波数に同期したフリッカ補正ゲインを算出するフリッカ補正ゲイン算出部と、
前記フリッカ補正ゲイン算出部からの補正ゲインを前記入力画像信号に乗ずるフリッカ補正ゲイン乗算部と、を備え、
前記フィールド数ｎ算出部は、
前記静止フィールド数および前記動きフィールド数に応じて前記フィールド数ｎの制御を行い、
前記静止フィールド数がゼロでない静止時においては、静止フィールド数が小さいうちは前記フィールド数ｎを小さくする一方、静止フィールド数が大きくなるにつれて前記フィールド数ｎを所定の数まで徐々に増加させていき、
前記動きフィールド数がゼロでない動き時においては前記フィールド数ｎをゼロにする、
ことを特徴とするフリッカ補正装置。
【請求項２】
露光時刻が点順次または線順次である撮像素子を用いて撮像した画像のフリッカを低減させるフリッカ補正装置であって、
入力画像信号の有効期間のライン毎の平均値を算出するライン平均値算出部と、
前記ライン平均値算出部で得られた平均値を１フィールド期間単位で記憶する記憶部と、
前記ライン平均値算出部で得られた平均値と前記記憶部に格納されている１フィールド前の平均値の出力変化から動きを検出する動き検出部と、
前記動き検出部から出力される動き検出結果に基づいて静止が続いたフィールド数である静止フィールド数を計測する静止フィールド数計測部と、
前記動き検出部から出力される動き検出結果に基づいて動きが続いたフィールド数である動きフィールド数を計測する動きフィールド数計測部と、
前記ライン平均値算出部で得られた平均値と前記記憶部に格納されているｎフィールド（ｎは整数値）だけ前の平均値との差分値を算出する差分値算出部と、
前記ライン平均値算出部で得られた平均値と前記差分値算出部で得られた差分値からフリッカ周波数を抽出するフリッカ成分抽出部と、
前記フリッカ成分抽出部で抽出されたフリッカ成分と前記動き検出部の結果からフリッカの有無やフリッカ周波数を判定するフリッカ判定部と、
前記フリッカ判定部の結果から、フリッカ周波数に同期したフリッカ補正ゲインを算出するフリッカ補正ゲイン算出部と、
前記静止フィールド数計測部と前記動きフィールド数計測部の計測結果からフェードゲインを算出するフェードゲイン算出部と、
前記フェードゲイン算出部で算出されたフェードゲインを前記フリッカ補正ゲインに乗ずるフェードゲイン乗算部と、
前記フェードゲイン乗算部から入力された補正ゲインを前記入力画像信号に乗ずるフリッカ補正ゲイン乗算部と、を備え、
前記フェードゲイン算出部は、前記静止フィールド数および前記動きフィールド数に応じて前記フェードゲインの制御を行い、
静止フィールド数がゼロでない静止時においては、静止フィールド数が小さいうちは前記フェードゲインを小さくする一方、静止フィールド数が大きくなるにつれて前記フェードゲインを徐々に大きくして１倍まで増加させていき、
動きフィールド数がゼロでない動き時においては、動きフィールド数が小さいうちは前記フェードゲインを大きくする一方、動きフィールド数が大きくなるにつれて前記フェードゲインを徐々に小さくして０倍まで減少させる、
ことを特徴とするフリッカ補正装置。
【請求項３】
露光時刻が点順次または線順次である撮像素子を用いて撮像した画像のフリッカを低減させるフリッカ補正装置であって、
入力画像信号の有効期間のライン毎の平均値を算出するライン平均値算出部と、
前記ライン平均値算出部で得られた平均値を１フィールド期間単位で記憶する記憶部と、
前記ライン平均値算出部で得られた平均値と前記記憶部に格納されている１フィールド前の平均値の出力変化から動きを検出する動き検出部と、
前記ライン平均値算出部で得られた平均値と前記記憶部に格納されているｎフィールド（ｎは整数値）だけ前の平均値との差分値を算出する差分値算出部と、
前記ライン平均値算出部で得られた平均値と前記差分値算出部で得られた差分値からフリッカ周波数を抽出するフリッカ成分抽出部と、
前記動き検出部から出力される動き検出結果に基づいて巡回係数を算出する巡回係数算出部と、
前記フリッカ成分抽出部で抽出されたフリッカ成分に前記巡回係数算出部で算出された巡回係数に基づきローパスフィルターをかける巡回型ローパスフィルター部と、
前記巡回型ローパスフィルター部からの出力と前記動き検出部の検出結果に基づいてフリッカの有無およびフリッカ周波数を判定するフリッカ判定部と、
前記フリッカ判定部の判定結果に基づいて、フリッカ周波数に同期したフリッカ補正ゲインを算出するフリッカ補正ゲイン算出部と、
前記フリッカ補正ゲイン算出部で算出された補正ゲインを前記入力画像信号に乗ずるフリッカ補正ゲイン乗算部と、を備え、
前記巡回係数算出部は、動き状態から静止状態になった直後の１フィールドは巡回係数を一旦ゼロとし、静止状態が継続した場合には巡回係数を所定の値とする一方、動き状態となったときは巡回係数を１にする、
ことを特徴とするフリッカ補正装置。
【請求項４】
露光時刻が点順次または線順次である撮像素子を用いて撮像した画像のフリッカを低減させるフリッカ補正方法であって、
入力画像信号の有効期間のライン毎の平均値を算出するライン平均値算出ステップと、
前記ライン平均値算出ステップで得られた平均値を１フィールド期間単位で記憶する記憶ステップと、
前記ライン平均値算出ステップで得られた平均値と前記記憶ステップで記憶された１フィールド前の平均値の出力変化から動きを検出する動き検出ステップと、
前記動き検出ステップでの動き検出結果に基づいて静止が続いたフィールド数である静止フィールド数を計測する静止フィールド数計測ステップと、
前記動き検出ステップでの動き検出結果に基づいて動きが続いたフィールド数である動きフィールド数を計測する動きフィールド数計測ステップと、
前記ライン平均値算出ステップで得られた平均値と前記記憶ステップで記憶されたｎフィールド（ｎは整数値）だけ前の平均値との差分値を算出する差分値算出ステップと、
前記静止フィールド数計測ステップで計測された前記静止フィールド数の結果に基づいて前記フィールド数ｎを算出するフィールド数ｎ算出ステップと、
前記ライン平均値算出ステップで得られた平均値と前記差分値算出ステップで得られた差分値からフリッカ周波数を抽出するフリッカ成分抽出ステップと、
前記フリッカ成分抽出ステップで抽出されたフリッカ成分と前記動き検出ステップでの動き検出結果に基づいてフリッカの有無やフリッカ周波数を判定するフリッカ判定ステップと、
前記フリッカ判定ステップでの判定結果から、フリッカ周波数に同期したフリッカ補正ゲインを算出するフリッカ補正ゲイン算出ステップと、
前記フリッカ補正ゲイン算出ステップで算出された補正ゲインを前記入力画像信号に乗ずるフリッカ補正ゲイン乗算ステップと、を備え、
前記フィールド数ｎ算出ステップでは、
前記静止フィールド数および前記動きフィールド数に応じて前記フィールド数ｎの制御を行い、
前記静止フィールド数がゼロでない静止時においては、静止フィールド数が小さいうちは前記フィールド数ｎを小さくする一方、静止フィールド数が大きくなるにつれて前記フィールド数ｎを所定の数まで徐々に増加させていき、
前記動きフィールド数がゼロでない動き時においては前記フィールド数ｎをゼロにする、
ことを特徴とするフリッカ補正方法。
【請求項５】
露光時刻が点順次または線順次である撮像素子を用いて撮像した画像のフリッカを低減させるフリッカ補正方法であって、
入力画像信号の有効期間のライン毎の平均値を算出するライン平均値算出ステップと、
前記ライン平均値算出ステップで得られた平均値を１フィールド期間単位で記憶する記憶ステップと、
前記ライン平均値算出ステップで得られた平均値と前記記憶ステップで記憶された１フィールド前の平均値の出力変化から動きを検出する動き検出ステップと、
前記動き検出ステップでの動き検出結果に基づいて静止が続いたフィールド数である静止フィールド数を計測する静止フィールド数計測ステップと、
前記動き検出ステップでの動き検出結果に基づいて動きが続いたフィールド数である動きフィールド数を計測する動きフィールド数計測ステップと、
前記ライン平均値算出ステップで得られた平均値と前記記憶ステップで記憶されたｎフィールド（ｎは整数値）だけ前の平均値との差分値を算出する差分値算出ステップと、
前記ライン平均値算出ステップで得られた平均値と前記差分値算出ステップで得られた差分値からフリッカ周波数を抽出するフリッカ成分抽出ステップと、
前記フリッカ成分抽出ステップで抽出されたフリッカ成分と前記動き検出ステップでの動き検出結果に基づいてフリッカの有無やフリッカ周波数を判定するフリッカ判定ステップと、
前記フリッカ判定ステップでの判定結果に基づいて、フリッカ周波数に同期したフリッカ補正ゲインを算出するフリッカ補正ゲイン算出ステップと、
前記静止フィールド数計測ステップと前記動きフィールド数計測ステップの計測結果からフェードゲインを算出するフェードゲイン算出ステップと、
前記フェードゲイン算出ステップで算出されたフェードゲインを前記フリッカ補正ゲインに乗ずるフェードゲイン乗算ステップと、
前記フェードゲイン乗算ステップからの補正ゲインを前記入力画像信号に乗ずるフリッカ補正ゲイン乗算ステップと、を備え、
前記フェードゲイン算出ステップでは、前記静止フィールド数および前記動きフィールド数に応じて前記フェードゲインの制御を行い、
静止フィールド数がゼロでない静止時においては、静止フィールド数が小さいうちは前記フェードゲインを小さくする一方、静止フィールド数が大きくなるにつれて前記フェードゲインを徐々に大きくして１倍まで増加させていき、
動きフィールド数がゼロでない動き時においては、動きフィールド数が小さいうちは前記フェードゲインを大きくする一方、動きフィールド数が大きくなるにつれて前記フェードゲインを徐々に小さくして０倍まで減少させる、
ことを特徴とするフリッカ補正装方法。
【請求項６】
露光時刻が点順次または線順次である撮像素子を用いて撮像した画像のフリッカを低減させるフリッカ補正方法であって、
入力画像信号の有効期間のライン毎の平均値を算出するライン平均値算出ステップと、
前記ライン平均値算出ステップで得られた平均値を１フィールド期間単位で記憶する記憶ステップと、
前記ライン平均値算出ステップで得られた平均値と前記記憶ステップで記憶された１フィールド前の平均値の出力変化から動きを検出する動き検出ステップと、
前記ライン平均値算出ステップで得られた平均値と前記記憶ステップで記憶されたｎフィールド（ｎは整数値）だけ前の平均値との差分値を算出する差分値算出ステップと、
前記ライン平均値算出ステップで得られた平均値と前記差分値算出ステップで得られた差分値からフリッカ周波数を抽出するフリッカ成分抽出ステップと、
前記動き検出ステップでの動き検出結果に基づいて巡回係数を算出する巡回係数算出ステップと、
前記フリッカ成分抽出ステップで抽出されたフリッカ成分に前記巡回係数算出ステップで算出された巡回係数に基づきローパスフィルターをかける巡回型ローパスフィルターステップと、
前記巡回型ローパスフィルターステップからの出力と前記動き検出ステップでの検出結果に基づいてフリッカの有無およびフリッカ周波数を判定するフリッカ判定ステップと、
前記フリッカ判定ステップでの判定結果に基づいて、フリッカ周波数に同期したフリッカ補正ゲインを算出するフリッカ補正ゲイン算出ステップと、
前記フリッカ補正ゲイン算出ステップで算出された補正ゲインを前記入力画像信号に乗ずるフリッカ補正ゲイン乗算ステップと、を備え、
前記巡回係数算出ステップでは、動き状態から静止状態になった直後の１フィールドは巡回係数を一旦ゼロとし、静止状態が継続した場合には巡回係数を所定の値とする一方、動き状態となったときは巡回係数を１にする、
ことを特徴とするフリッカ補正方法。
【請求項７】
露光時刻が点順次または線順次である撮像素子を用いて撮像した画像のフリッカを低減させるフリッカ補正プログラムであって、コンピュータに下記のステップを実行させるためのフリッカ補正プログラム。
入力画像信号の有効期間のライン毎の平均値を算出するライン平均値算出ステップ：
前記ライン平均値算出ステップで得られた平均値を１フィールド期間単位で記憶する記憶ステップ：
前記ライン平均値算出ステップで得られた平均値と前記記憶ステップで記憶された１フィールド前の平均値の出力変化から動きを検出する動き検出ステップ：
前記動き検出ステップでの動き検出結果に基づいて静止が続いたフィールド数である静止フィールド数を計測する静止フィールド数計測ステップ：
前記動き検出ステップでの動き検出結果に基づいて動きが続いたフィールド数である動きフィールド数を計測する動きフィールド数計測ステップ：
前記ライン平均値算出ステップで得られた平均値と前記記憶ステップで記憶されたｎフィールド（ｎは整数値）だけ前の平均値との差分値を算出する差分値算出ステップ：
前記静止フィールド数計測ステップで計測された前記静止フィールド数の結果に基づいて前記フィールド数ｎを算出するステップであって、前記静止フィールド数および前記動きフィールド数に応じて前記フィールド数ｎの制御を行い、前記静止フィールド数がゼロでない静止時においては、静止フィールド数が小さいうちは前記フィールド数ｎを小さくする一方、静止フィールド数が大きくなるにつれて前記フィールド数ｎを所定の数まで徐々に増加させていき、前記動きフィールド数がゼロでない動き時においては前記フィールド数ｎをゼロにする、フィールド数ｎ算出ステップ：
前記ライン平均値算出ステップで得られた平均値と前記差分値算出ステップで得られた差分値からフリッカ周波数を抽出するフリッカ成分抽出ステップ：
前記フリッカ成分抽出ステップで抽出されたフリッカ成分と前記動き検出ステップでの動き検出結果に基づいてフリッカの有無やフリッカ周波数を判定するフリッカ判定ステップ：
前記フリッカ判定ステップでの判定結果から、フリッカ周波数に同期したフリッカ補正ゲインを算出するフリッカ補正ゲイン算出ステップ：
前記フリッカ補正ゲイン算出ステップで算出された補正ゲインを前記入力画像信号に乗ずるフリッカ補正ゲイン乗算ステップ：
【請求項８】
露光時刻が点順次または線順次である撮像素子を用いて撮像した画像のフリッカを低減させるフリッカ補正プログラムであって、コンピュータに下記のステップを実行させるためのフリッカ補正プログラム。
入力画像信号の有効期間のライン毎の平均値を算出するライン平均値算出ステップ：
前記ライン平均値算出ステップで得られた平均値を１フィールド期間単位で記憶する記憶ステップ：
前記ライン平均値算出ステップで得られた平均値と前記記憶ステップで記憶された１フィールド前の平均値の出力変化から動きを検出する動き検出ステップ：
前記動き検出ステップでの動き検出結果に基づいて静止が続いたフィールド数である静止フィールド数を計測する静止フィールド数計測ステップ：
前記動き検出ステップでの動き検出結果に基づいて動きが続いたフィールド数である動きフィールド数を計測する動きフィールド数計測ステップ：
前記ライン平均値算出ステップで得られた平均値と前記記憶ステップで記憶されたｎフィールド（ｎは整数値）だけ前の平均値との差分値を算出する差分値算出ステップ：
前記ライン平均値算出ステップで得られた平均値と前記差分値算出ステップで得られた差分値からフリッカ周波数を抽出するフリッカ成分抽出ステップ：
前記フリッカ成分抽出ステップで抽出されたフリッカ成分と前記動き検出ステップでの動き検出結果に基づいてフリッカの有無やフリッカ周波数を判定するフリッカ判定ステップ：
前記フリッカ判定ステップでの判定結果に基づいて、フリッカ周波数に同期したフリッカ補正ゲインを算出するフリッカ補正ゲイン算出ステップ：
前記静止フィールド数計測ステップと前記動きフィールド数計測ステップの計測結果からフェードゲインを算出するステップであって、前記静止フィールド数および前記動きフィールド数に応じて前記フェードゲインの制御を行い、静止フィールド数がゼロでない静止時においては、静止フィールド数が小さいうちは前記フェードゲインを小さくする一方、静止フィールド数が大きくなるにつれて前記フェードゲインを徐々に大きくして１倍まで増加させていき、動きフィールド数がゼロでない動き時においては、動きフィールド数が小さいうちは前記フェードゲインを大きくする一方、動きフィールド数が大きくなるにつれて前記フェードゲインを徐々に小さくして０倍まで減少させる、フェードゲイン算出ステップ：
前記フェードゲイン算出ステップで算出されたフェードゲインを前記フリッカ補正ゲインに乗ずるフェードゲイン乗算ステップ：
前記フェードゲイン乗算ステップからの補正ゲインを前記入力画像信号に乗ずるフリッカ補正ゲイン乗算ステップ：
【請求項９】
露光時刻が点順次または線順次である撮像素子を用いて撮像した画像のフリッカを低減させるフリッカ補正プログラムであって、コンピュータに下記のステップを実行させるためのフリッカ補正プログラム。
入力画像信号の有効期間のライン毎の平均値を算出するライン平均値算出ステップ：
前記ライン平均値算出ステップで得られた平均値を１フィールド期間単位で記憶する記憶ステップ：
前記ライン平均値算出ステップで得られた平均値と前記記憶ステップで記憶された１フィールド前の平均値の出力変化から動きを検出する動き検出ステップ：
前記ライン平均値算出ステップで得られた平均値と前記記憶ステップで記憶されたｎフィールド（ｎは整数値）だけ前の平均値との差分値を算出する差分値算出ステップ：
前記ライン平均値算出ステップで得られた平均値と前記差分値算出ステップで得られた差分値からフリッカ周波数を抽出するフリッカ成分抽出ステップ：
前記動き検出ステップでの動き検出結果に基づいて巡回係数を算出するステップであって、動き状態から静止状態になった直後の１フィールドは巡回係数を一旦ゼロとし、静止状態が継続した場合には巡回係数を所定の値とする一方、動き状態となったときは巡回係数を１にする、巡回係数算出ステップ：
前記フリッカ成分抽出ステップで抽出されたフリッカ成分に前記巡回係数算出ステップで算出された巡回係数に基づきローパスフィルターをかける巡回型ローパスフィルターステップ：
前記巡回型ローパスフィルターステップからの出力と前記動き検出ステップでの検出結果に基づいてフリッカの有無およびフリッカ周波数を判定するフリッカ判定ステップ：
前記フリッカ判定ステップでの判定結果に基づいて、フリッカ周波数に同期したフリッカ補正ゲインを算出するフリッカ補正ゲイン算出ステップ：
前記フリッカ補正ゲイン算出ステップで算出された補正ゲインを前記入力画像信号に乗ずるフリッカ補正ゲイン乗算ステップ：
【図１】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図２】
【公開番号】特開２０１２−２２２７３９（Ｐ２０１２−２２２７３９Ａ）
【公開日】平成２４年１１月１２日（２０１２．１１．１２）
【国際特許分類】
【出願番号】特願２０１１−８９３４０（Ｐ２０１１−８９３４０）
【出願日】平成２３年４月１３日（２０１１．４．１３）
【出願人】（０００００５８２１）パナソニック株式会社 (73,050)
【Ｆターム（参考）】
【公開日】平成２４年１１月１２日（２０１２．１１．１２）
【国際特許分類】
【出願日】平成２３年４月１３日（２０１１．４．１３）
【出願人】（０００００５８２１）パナソニック株式会社 (73,050)
【Ｆターム（参考）】
[ Back to top ]