フリッカ検出装置、フリッカ検出方法、制御プログラム、可読記録媒体、固体撮像装置、多眼撮像装置および電子情報機器
【課題】フレームメモリなど部品点数やチップサイズの増大を抑え、かつ被写体画像の影響を軽減してフリッカノイズを効果的に検出できてフリッカ判定を精度よく行う。
【解決手段】複数の撮像素子の各画像信号からフリッカの発生を検出するフリッカ検出装置１において、同時に撮影された二つの画像信号を画像処理してフリッカ成分以外の画像情報を排除する画像処理手段３と、フリッカ成分以外の画像情報排除処理後の画像信号からフリッカ情報を抽出するフリッカ検出手段４とを有している。
【解決手段】複数の撮像素子の各画像信号からフリッカの発生を検出するフリッカ検出装置１において、同時に撮影された二つの画像信号を画像処理してフリッカ成分以外の画像情報を排除する画像処理手段３と、フリッカ成分以外の画像情報排除処理後の画像信号からフリッカ情報を抽出するフリッカ検出手段４とを有している。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、複数の視点に対応する複数のセンサからの画像からフリッカの発生を検出するフリッカ検出装置およびこれを用いたフリッカ検出方法、このフリッカ検出装置で検出したフリッカを補正可能とする固体撮像装置、被写体からの画像光を光電変換して撮像するＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）に代表される二つ以上の固体撮像素子から取得される各画像信号を撮像可能とする多眼撮像装置、このフリッカ検出方法をコンピュータに実行させるための制御プログラム、この制御プログラムが記録されたコンピュータ読み取り可能な可読記録媒体、この固体撮像装置または多眼撮像装置を撮像部に用いた例えばデジタルビデオカメラおよびデジタルスチルカメラなどのデジタルカメラや、車載用カメラなどの画像入力カメラ、スキャナ、ファクシミリ、カメラ付き携帯電話装置などの電子情報機器に関する。
【背景技術】
【０００２】
従来の固体撮像装置において、例えば蛍光灯であれば商用周波数６０Ｈｚに対して１２０Ｈｚで点滅しており、人間の目にはその点滅は伝わらないが、固体撮像装置では、１秒間に例えば３０フレーム、１フレームに数百ラインがあり、１ライン毎に露光が行われる。このことから、その露光タイミングが順次、ライン毎に時系列にずれて行くので、画像としてあるタイミングでは明るく、あるタイミングでは暗いという事態が発生する。これによって、波打ったようなもやもやした画像になってしまう。このため、点滅によるフリッカを検出してフリッカによる画像への影響を防止する信号処理技術が必要になる。
【０００３】
関西圏では商用周波数６０Ｈｚであり、関東圏では商用周波数５０Ｈｚであるため、シャッタスピードを１／１２０ｓｅｃの整数倍にするかまたは、１／１００ｓｅｃの整数倍にするかが分からなければ、このフリッカを除去することができない。例えば関西圏では、シャッタスピードを１／１２０ｓｅｃの整数倍にすれば、蛍光灯の点滅の周期であるから、明るさと暗さを共に含み、どのタイミングであっても、各画素での露光時間が一定になる。これを実現するために、点滅の周期が１／１２０ｓｅｃか１／１００ｓｅｃかを検出し、補正するフリッカ検出方法が特許文献１に開示されている。
【０００４】
図１１は、特許文献１に開示されている従来のフリッカ補正装置の概略構成例を説明するためのブロック図である。
【０００５】
図１１に示すように、従来のフリッカ補正装置１００は、入力端子１０１を有しており、画像信号Ｓｉｇ１が入力端子１０１から入力される。この画像信号Ｓｉｇ１は、電子カメラやスキャナなどのような固体撮像素子を用いたカメラによって被写体を撮像して得られ、例えば交流電源周期と同期して点滅する蛍光灯照明下において、ＣＭＯＳ型イメージセンサのようなＸ−Ｙアドレス走査型の固体撮像素子を用いたカメラで被写体を撮像した場合には、フリッカ成分を含む画像信号Ｓｉｇ１が、入力端子１０１から入力されることになる。
【０００６】
入力端子１から入力された画像信号Ｓｉｇ１は、画像メモリ１０２に供給され、１フレームまたは１フィールド分の画像信号Ｓｉｇ１が、画像データとして画像メモリ１０２内に格納される。また、画像信号Ｓｉｇ１は、画像平均値算出手段１０３にも供給される。
【０００７】
画像平均値算出手段１０３では、入力された画像信号Ｓｉｇ１から、１水平ライン毎に画像信号Ｓｉｇ１の平均値を算出して、フリッカデータ抽出手段１０４および１０５に対して、それぞれ画像平均値Ｓｉｇ２を出力する。この画像平均値算出手段１０３では、複数ライン毎に画像信号の平均値を算出することも可能であり、また、垂直方向に画像信号Ｓｉｇ１から画像平均値Ｓｉｇ２を算出することも可能である。
【０００８】
また、フリッカ周波数算出手段１０６では、交流電源周波数と、撮像素子のフレーム周波数またはフィールド周波数とを用いて、フリッカ周波数を算出する。フリッカ周波数算出手段１０６は、交流電源周波数が５０Ｈｚである場合のフリッカ周波数Ｓｉｇ３をフリッカデータ抽出手段１０４に出力すると共に、交流電源周波数が６０Ｈｚである場合のフリッカ周波数Ｓｉｇ４を算出してフリッカデータ抽出手段１０５に出力する。
【０００９】
フリッカデータ抽出手段１０４は、画像平均値算出手段１０３から入力された画像平均値Ｓｉｇ２を離散フーリエ変換（周波数変換）することによって、フリッカ周波数算出手段１０６から入力されたフリッカ周波数Ｓｉｇ３のスペクトル量Ｓｉｇ５と、フリッカ周波数Ｓｉｇ３の近傍の周波数のスペクトル量Ｓｉｇ５’およびＳ５”とを、それぞれ算出して、フリッカ判定手段１０７に出力する。
【００１０】
また同様に、フリッカデータ抽出手段１０５は、画像平均値算出手段１０３から入力された画像平均値Ｓｉｇ２を離散フーリエ変換（周波数変換）することによって、フリッカ周波数算出手段１０６から入力されたフリッカ周波数Ｓｉｇ４のスペクトル量Ｓｉｇ６と、フリッカ周波数Ｓｉｇ４の近傍の周波数のスペクトル量Ｓｉｇ６’およびＳｉｇ６”とを、それぞれ算出して、フリッカ判定手段１０７に出力する。
【００１１】
フリッカ判定手段１０７は、スペクトル量Ｓｉｇ５、Ｓｉｇ５’およびＳｉｇ５”を用いてフリッカ現象の有無を判定すると共に、スペクトル量Ｓｉｇ６、Ｓｉｇ６’およびＳｉｇ６”を用いてフリッカ現象の有無を判定し、その判定結果をフリッカ情報Ｓｉｇ８としてフリッカ補正手段１０８に出力する。
【００１２】
フリッカ現象があると判定された場合には、交流電源周波数が５０Ｈｚおよび６０Ｈｚの場合毎に、フリッカ現象の有無を判定することによっていずれの交流電源周波数であるかを判定し、その結果をフリッカ情報Ｓｉｇ７としてスイッチＳＷ１０９に出力する。スイッチＳＷ１０９は、フリッカ情報Ｓｉｇ７に従って切り替えられ、フリッカ現象が生じていると判定された交流電源周波数（５０Ｈｚまたは６０Ｈｚ）に応じたスペクトル量Ｓｉｇ５、Ｓｉｇ５’およびＳｉｇ５”、またはスペクトル量Ｓｉｇ６、Ｓｉｇ６’およびＳｉｇ６”が、フリッカ補正量算出手段１１０に出力される。また、フリッカ現象がないと判定された場合には、フリッカ現象がないというフリッカ情報Ｓｉｇ８がフリッカ補正手段１０８に入力されて補正は行われない。
【００１３】
フリッカ補正量算出手段１１０は、スイッチＳＷ１０９から入力されたスペクトルＳｉｇ５またはＳｉｇ６を逆離散フーリエ変換することによって、補正量Ｓｉｇ９を算出し、算出した補正量Ｓｉｇ９をフリッカ補正手段１０８に出力する。
【００１４】
フリッカ補正手段１０８は、フリッカ補正量算出手段１１０から入力されたフリッカ補正量Ｓｉｇ９を、画像メモリ１０２に格納されている、フリッカ成分を含む画像データに加算することによって、フリッカ成分を相殺した後に出力端子１１１から出力画像信号Ｓｉｇ１０を出力する。
【００１５】
次に、時間の異なる複数の画像を取り込んで比較することにより、フリッカ部分を検出・除去して画像合成することにより、フリッカのない画像を得る従来の画像処理装置が特許文献２に開示されている。
【００１６】
図１２は、特許文献２に開示されている従来の画像処理装置においてフリッカを除去した画像信号を得る信号処理方法を説明するためのフローチャートである。
【００１７】
図１２に示すように、まず、ステップＳ２０１において、時間の異なる２枚の画像を各画像信号として取り込む。
【００１８】
次に、ステップＳ２０２において、その取り込んだ２枚の画像について各画素毎に、値の差の絶対値を算出し、その値が予め決めておいた一定値以上である画素の部分を「無効部分」としてマーキングした中間画像を作る。無効部分として判定されなかった部分は有効画像であり、中間画像に「有効部分」として残される。この後、有効画面が画像全体に満たされるまで次のステップＳ２０３〜Ｓ２０６の処理をを繰り返す。
【００１９】
ステップＳ２０３の処理では、中間画像内に「無効部分」があるかどうかを判定し、「無効部分」がなければ（ＮＯ）、ステップＳ２０７で最終的な取得画像として出力される。「無効部分」があれば（ＹＥＳ）、次のステップＳ２０４の処理に進む。
【００２０】
ステップＳ２０４では、再び１枚の画像を取り込む。
【００２１】
次に、ステップＳ２０５の処理において、この画像とその１枚前の画像とをステップＳ２０２の処理と同様に比較し、新たな画像の方の「無効部分」を判定する。
【００２２】
続いて、ステップＳ２０６の処理において、先にステップＳ２０３で「無効部分」があるかどうかを判定した中間画像の「無効部分」にこの新たな画像の有効部分がかかっていれば、その有効部分を中間画像に埋め込み、新たな中間画像とする。
【００２３】
以下、ステップＳ２０３〜Ｓ２０６の処理をを繰り返すことによって、最終的に中間画像から無効部分がなくなったら、ステップＳ２０７でこの「無効部分」のない中間画像を最終取り込み画像として出力して終わる。
【先行技術文献】
【特許文献】
【００２４】
【特許文献１】特開２００３−１９８９３２号公報
【特許文献２】特開平１１−３２２３８号公報
【発明の概要】
【発明が解決しようとする課題】
【００２５】
しかしながら、上記特許文献１に開示されている従来のフリッカ補正装置１００では、一つの入力端子１０１から入力した画像信号Ｓｉｇ１だけを使用するため、フリッカノイズに類似した画像が入力された場合や、フリッカノイズが非常に小さい場合などに、フリッカの発生を検出するのが困難であるという問題があった。
【００２６】
要するに、図１３１１に示すように、従来のフリッカ補正装置１００のフリッカデータ抽出手段１０４、１０５で、画像平均値算出手段１０３から入力された画像平均値Ｓｉｇ２を離散フーリエ変換（周波数変換）してフリッカ成分を抽出することによりフリッカ判定手段１０７にてフリッカ判定を行っているため、被写体および背景画像の影響を受けてフリッカの検出精度が低く誤認識することが多い。固体撮像素子がＣＭＯＳセンサの場合、フリッカは画像中に横縞となって現れるので、画面縦方向の周波数成分を検出し、蛍光灯点灯周波数付近にピークがあることにより、フリッカの発生の有無が検出可能である。ただし、通常の画像に重畳されたままで周波数の検出を行うため、被写体および背景画像の影響を強く受けてしまう。特に、横縞の画像など、縦方向に強弱の変化が強い画像の場合、特に誤認識が起こりやすくなってしまう。
【００２７】
上記特許文献２に開示されているフリッカ検出、フリッカ除去の構成では、時間の異なる複数画像を重ね合わせてフリッカを検出、除去して画像合成するため、フレームメモリが別途必要になり、コストが高くなると共に、フレームメモリなど部品点数やチップサイズが増大し、また、動画に対しては、フレーム間の画像の相関関係が小さいために、正しい画像を構成することができないという問題があった。
【００２８】
本発明は、上記従来の問題を解決するもので、フレームメモリなど部品点数やチップサイズの増大を抑え、かつフリッカノイズを効果的に検出できてフリッカ判定を精度よく行うことができるフリッカ検出装置およびこれを用いたフリッカ検出方法、このフリッカ検出方法をコンピュータに実行させるための制御プログラム、この制御プログラムが記録されたコンピュータ読み取り可能な可読記録媒体、このフリッカ検出装置を用いた固体撮像装置、このフリッカ検出装置を用いて立体視を含む動画や静止画の映像・画像を生成可能とする多眼撮像装置、この固体撮像装置または多眼撮像装置を画像入力デバイスとして撮像部に用いたカメラ付き携帯電話装置などの電子情報機器を提供することを目的とする。
【課題を解決するための手段】
【００２９】
本発明のフリッカ検出装置は、複数の撮像素子の各画像信号からフリッカの発生を検出するフリッカ検出装置であって、同時に撮影された二つの画像信号を画像処理してフリッカ成分以外の画像情報を排除することおよびフリッカ周波数成分を強調することのうち少なくともいずれかを行う画像処理手段と、該フリッカ成分以外の画像情報排除処理後の画像信号からフリッカ情報を抽出するフリッカ検出手段とを有するものであり、そのことにより上記目的が達成される。
【００３０】
また、好ましくは、本発明のフリッカ検出装置における画像処理手段は、前記複数の撮像素子のうちの第１撮像素子および第２撮像素子からの二画面の画像情報を差分処理する差分処理手段を有する。
【００３１】
さらに、好ましくは、本発明のフリッカ検出装置における画像処理手段は、前記第１撮像素子からの垂直同期信号に対して前記第２撮像素子からの垂直同期信号をフリッカ周波数の半周期分だけずらす垂直同期信号シフト手段を有する。
【００３２】
さらに、好ましくは、本発明のフリッカ検出装置における画像処理手段は、前記第１撮像素子からの垂直同期信号に対して前記第２撮像素子からの垂直同期信号をフリッカ周波数の半周期分だけずらす垂直同期信号シフト手段と、互いに該垂直同期信号をフリッカ周波数の半周期分だけずらした該第１撮像素子および該第２撮像素子からの二画面の画像情報を差分処理する差分処理手段とを有する。
【００３３】
さらに、好ましくは、本発明のフリッカ検出装置におけるフリッカ検出手段は、前記差分処理後の画像信号を１フィールドの１水平ライン毎または複数水平ライン毎に画像平均値情報を算出する画像平均値算出手段を有する。
【００３４】
さらに、好ましくは、本発明のフリッカ検出装置におけるフリッカ検出手段は、前記算出した画像平均値情報を周波数変換してフリッカ周波数を抽出する周波数変換手段を更に有し、該フリッカ周波数を前記フリッカ情報として抽出する。
【００３５】
さらに、好ましくは、本発明のフリッカ検出装置における周波数変換手段は、前記算出した画像平均値情報を離散フーリエ変換してフリッカ周波数のフリッカ情報を検出する。
【００３６】
本発明の固体撮像装置は、本発明の上記フリッカ検出装置と、該フリッカ検出装置から出力されるフリッカ情報を元に、前記複数の撮像素子の各画像信号に対してそれぞれ補正を行って、該各画像信号中のフリッカ周波数成分を除去した各画像信号を出力するフリッカ補正手段とを有するものであり、そのことにより上記目的が達成される。
【００３７】
本発明の固体撮像装置は、本発明の上記フリッカ検出装置と、該フリッカ検出装置から出力されるフリッカ情報を元に、フリッカが発生しない露光時間を前記複数の撮像素子にそれぞれ設定するセンサ駆動制御手段とを有するものであり、そのことにより上記目的が達成される。
【００３８】
本発明の多眼撮像装置は、本発明の上記固体撮像装置の二つ以上の撮像素子から取得される各画像信号を撮像可能とするものであり、そのことにより上記目的が達成される。
【００３９】
本発明の電子情報機器は、本発明の上記固体撮像装置または本発明の上記多眼撮像装置を画像入力デバイスとして撮像部に用いたものであり、そのことにより上記目的が達成される。
【００４０】
本発明のフリッカ検出方法は、複数の撮像素子の各画像信号からフリッカの発生を検出するフリッカ検出方法であって、画像処理手段が、同時に撮影された二つの画像信号を画像処理してフリッカ成分以外の画像情報を排除することおよびフリッカ周波数成分を強調することのうち少なくともいずれかを行う画像処理工程と、フリッカ検出手段が、該フリッカ成分以外の画像情報排除処理後の画像信号からフリッカ情報を抽出するフリッカ検出工程とを有するものであり、そのことにより上記目的が達成される。
【００４１】
また、好ましくは、本発明のフリッカ検出方法における画像処理工程は、差分処理手段が、前記複数の撮像素子のうちの第１撮像素子および第２撮像素子からの二画面の画像情報を差分処理する差分処理工程を有する。
【００４２】
さらに、好ましくは、本発明のフリッカ検出方法における画像処理工程は、垂直同期信号シフト手段が、前記第１撮像素子からの垂直同期信号に対して前記第２撮像素子からの垂直同期信号をフリッカ周波数の半周期分だけずらす垂直同期信号シフト工程を有する。
【００４３】
さらに、好ましくは、本発明のフリッカ検出方法における画像処理工程は、垂直同期信号シフト手段が、前記第１撮像素子からの垂直同期信号に対して前記第２撮像素子からの垂直同期信号をフリッカ周波数の半周期分だけずらす垂直同期信号シフト工程と、差分処理手段が、互いに該垂直同期信号をフリッカ周波数の半周期分だけずらした第１撮像素子および第２撮像素子からの二画面の画像情報を差分処理する差分処理工程とを有する。
【００４４】
さらに、好ましくは、本発明のフリッカ検出方法におけるフリッカ検出工程は、画像平均値算出手段が、前記差分処理後の画像信号を１フィールドの１水平ラインまたは複数水平ライン毎に画像平均値情報を算出する画像平均値算出工程を有し、該画像平均値情報に基づいてフリッカ情報を抽出する。
【００４５】
さらに、好ましくは、本発明のフリッカ検出方法におけるフリッカ検出工程は、周波数算出手段が、前記算出した画像平均値情報を周波数変換して前記フリッカ情報を抽出する周波数算出工程を更に有する。
【００４６】
さらに、好ましくは、本発明のフリッカ検出方法における周波数算出工程は、前記算出した画像平均値情報を離散フーリエ変換してフリッカ周波数のフリッカ情報を検出する。
【００４７】
本発明の制御プログラムは、本発明の上記フリッカ検出方法の各工程をコンピュータに実行させるためのものであり、そのことにより上記目的が達成される。
【００４８】
本発明の可読記録媒体は、本発明の上記制御プログラムが記録されたコンピュータ読み出し可能なものであり、そのことにより上記目的が達成される。
【００４９】
上記構成により、以下、本発明の作用を説明する。
【００５０】
本発明においては、複数の撮像素子の各画像信号からフリッカの発生を検出するフリッカ検出装置において、同時に撮影された二つの画像信号を画像処理してフリッカ成分以外の画像情報を排除することおよびフリッカ周波数成分を強調することのうち少なくともいずれかを行う画像処理手段と、フリッカ成分以外の画像情報排除後の画像信号からフリッカ情報を抽出するフリッカ検出手段とを有する。
【００５１】
これによって、同時に撮影された二つの画像信号を画像処理してフリッカ成分以外の画像情報を排除することおよびフリッカ周波数成分を強調することのうち少なくともいずれかを行うので、被写体や背景画像の影響が軽減したりフリッカ周波数成分を強調して、従来のようにフレームメモリなど部品点数やチップサイズの増大を抑え、かつフリッカノイズを効果的に検出できてフリッカ判定を精度よく行うことが可能となる。
【発明の効果】
【００５２】
以上により、本発明によれば、同時に撮影された二つの画像信号を画像処理してフリッカ成分以外の画像情報を排除することおよびフリッカ周波数成分を強調することのうち少なくともいずれかを行うため、被写体および背景画像の影響を軽減したりフリッカ周波数成分を強調して、フレームメモリなど部品点数やチップサイズの増大を抑え、かつフリッカノイズを効果的に検出できてフリッカ判定を精度よく行うことができる。
【図面の簡単な説明】
【００５３】
【図１】本発明の実施形態１のフリッカ検出装置の要部構成例を示すブロック図である。
【図２】図１のフリッカ検出手段の要部構成例を示すブロック図である。
【図３】図１のフリッカ検出手段を説明するための図である。
【図４】図１の画像処理手段の要部構成例を示すブロック図である。
【図５】図１の画像処理手段の垂直同期信号シフト手段を説明するための図である。
【図６】図１の画像処理手段の差分処理手段を説明するための図である。
【図７】本発明の実施形態１のフリッカ検出装置を用いた固体撮像装置の要部構成例を示すブロック図である。
【図８】本発明の実施形態１のフリッカ検出装置を用いた固体撮像装置の要部構成例の他の事例を示すブロック図である。
【図９】本発明の実施形態２のフリッカ検出装置の要部構成例を示すブロック図である。
【図１０】本発明の実施形態３として、本発明の実施形態１または２のフリッカ検出装置を用いた固体撮像装置または多眼撮像装置を撮像部に用いた電子情報機器の概略構成例を示すブロック図である。
【図１１】特許文献１に開示されている従来のフリッカ補正装置の概略構成例を説明するためのブロック図である。
【図１２】特許文献２に開示されている従来の画像処理装置においてフリッカを除去した画像を得るための処理方法を説明するためのフローチャートである。
【図１３】図１２の従来の画像処理装置における課題を説明するための図である。
【発明を実施するための形態】
【００５４】
以下に、本発明のフリッカ検出装置およびフリッカ検出方法、これらを用いた固体撮像装置の実施形態１および、このソフトウェア構成のフリッカ検出装置およびフリッカ検出方法、これらを用いた固体撮像装置の実施形態２を説明し、これらの実施形態１、２の固体撮像装置または他眼撮像装置を画像入力デバイスとして撮像部に用いた例えばカメラ付き携帯電話装置などの電子情報機器の実施形態３について図面を参照しながら詳細に説明する。
【００５５】
（実施形態１）
図１は、本発明の実施形態１のフリッカ検出装置の要部構成例を示すブロック図である。
【００５６】
図１に示すように、本実施形態１のフリッカ検出装置１は、少なくとも二つの撮像素子で同時に撮影された二つの各画像信号を画像処理してフリッカ成分以外の画像情報を排除する画像処理手段３と、画像情報の悪影響を排除した後の画像信号からフリッカ情報を抽出するフリッカ検出手段４とを備え、複数の撮像素子からの各画像信号からフリッカの発生を検出する。
【００５７】
即ち、本実施形態１のフリッカ検出装置１は、複数の入力端子２を有しており、複数の画像信号Ｓｉｇ１１が各入力端子２からそれぞれ入力される。入力された各画像信号Ｓｉｇ１１は、電子カメラ、スキャナなどのような複数の撮像素子を用いたカメラによって被写体および背景画像を撮像して得られ、例えば交流電源周期と同期して点滅する蛍光灯照明下において、ＣＭＯＳ型イメージセンサのようなＸ−Ｙアドレス走査型の固体撮像素子を用いたカメラで被写体および背景画像を撮像した場合には、フリッカ成分を含む画像情報の各画像信号Ｓｉｇ１１が、各入力端子２からそれぞれ入力される。
【００５８】
各入力端子２から入力された複数の画像信号Ｓｉｇ１１は、画像処理手段３においてフリッカ検出が容易となるように複数の画像信号Ｓｉｇ１１のうちの同時撮影の二つの画像信号Ｓｉｇ１１から画像情報を排除する信号処理が為され、この画像情報が排除されてフリッカ検出が容易になる画像信号Ｓｉｇ１２がフリッカ検出手段４に出力される。
【００５９】
その画像信号Ｓｉｇ１２はフリッカ検出手段４に入力され、フリッカ検出手段４において、その画像信号Ｓｉｇ１２に基づいてフリッカ情報を抽出し、フリッカ情報Ｓｉｇ１３を出力する。このフリッカ情報Ｓｉｇ１３を用いて複数の画像信号Ｓｉｇ１１からそれぞれフリッカを取り除くことができる。
【００６０】
図２は、図１のフリッカ検出手段４の要部構成例を示すブロック図であり、図３は、図１のフリッカ検出手段４を説明するための図である。
【００６１】
図２に示すように、フリッカ検出手段４は、画像情報が排除されてフリッカ検出が容易になった画像信号Ｓｉｇ１２を１フィールドの１水平ラインまたは複数ライン毎に画像平均値情報を算出する画像平均値算出手段４１と、算出した画像平均値情報を周波数変換してフリッカ周波数情報を抽出する周波数算出手段４２とを有する。
【００６２】
図３示すように、フリッカ検出手段４の画像平均値算出手段４１において、画像情報を排除した画像信号Ｓｉｇ１２を１画面（１フィールド）の１水平ラインまたは複数ライン毎に画像平均値を算出し、周波数算出手段４２において、算出した画像平均値情報を離散フーリエ変換してフリッカ周波数をフリッカ情報として検出する。このように、垂直方向の時間軸における１水平ライン毎または複数ライン毎の画像平均値情報の変化（信号強度の変化）を元にフリッカ現象の判定結果としてのフリッカ周波数のフリッカ情報Ｓｉｇ１３を検出する。
【００６３】
フリッカ周波数のフリッカ情報Ｓｉｇ１３を正しく判断するためには、画像平均値Ｓｉｇ１２の中に含まれるフリッカ成分が大きく、フリッカ成分以外の画像成分が小さくなっているのが好ましい。ここでは、フリッカ成分以外の画像成分を小さくするために、前述したように、画像処理手段３において、同時に撮影された二つの各画像信号Ｓｉｇ１１を画像処理してフリッカ成分以外の画像情報を排除している。
【００６４】
つまり、従来のように単眼撮像装置で撮影された一枚の画像信号では、フリッカ成分とそれ以外の画像成分の区別がつかないため、画像信号Ｓｉｇ１１そのままで判断するしかなかったが、複数の撮像素子を持つ多眼撮像装置や固体撮像装置では、同時に撮影（同一の画像）された複数の画像信号Ｓｉｇ１１が入力されるので、これら複数の画像信号Ｓｉｇ１１を画像処理してフリッカ成分以外の画像情報を排除することにより、フリッカ成分以外の画像成分を小さく抑えることが可能となっている。
【００６５】
図４は、図１の画像処理手段３の要部構成例を示すブロック図である。
【００６６】
図４において、画像処理手段３は、複数の撮像素子のうちの第１固体撮像素子からの垂直同期信号に対して第２固体撮像素子からの垂直同期信号を商用周波数の半周期分（フリッカ周波数の半周期分）だけずらす垂直同期信号シフト手段３１と、第１固体撮像素子および第２固体撮像素子からの二つの各画像信号を差分処理する差分処理手段３２とを有している。
【００６７】
同時に撮影された二つの各画像信号からフリッカ成分以外の画像情報を排除するを画像処理として、ここでは、この差分処理手段３２によって二つの各画像信号を差分処理している。
【００６８】
差分処理手段３２によってフリッカ成分以外の画像成分を小さくすることで、フリッカ判定を精度よく行うことができる。また、垂直同期信号シフト手段３１により差分処理手段３２のフリッカ成分が大きくなるように制御することで、フリッカ判定を精度よく行うことができる。以下、図５および図６を用いて詳細に説明する。
【００６９】
図５は、図１の画像処理手段３の垂直同期信号シフト手段３１を説明するための図である。
【００７０】
図５において、例えば５０Ｈｚ蛍光灯下では、１／１００秒毎に蛍光灯フリッカの明暗が繰り返されるので、第１固体撮像素子からの垂直同期信号Ｓｉｇ２１と第２固体撮像素子からの垂直同期意信号Ｓｉｇ２２を１／２００秒ずらすことにより、第１固体撮像素子からの画像信号Ｓｉｇ１１と、第２固体撮像素子からの画像信号Ｓｉｇ１１のフリッカ成分の位相を１８０度（周波数１００Ｈｚの半周期）ずらすことができる。または、例えば６０Ｈｚ蛍光灯下では、１／１２０秒毎に蛍光灯フリッカの明暗が繰り返されるので、第１固体撮像素子からの垂直同期信号Ｓｉｇ２１と第２固体撮像素子からの垂直同期意信号Ｓｉｇ２２を１／２４０秒ずらすことにより、第１固体撮像素子からの画像信号Ｓｉｇ１１と、第２固体撮像素子からの画像信号Ｓｉｇ１１のフリッカ成分の位相を１８０度（周波数１２０Ｈｚの半周期）ずらすことができる。このように、垂直同期信号シフト手段３１により、第１固体撮像素子からの垂直同期信号Ｓｉｇ２１に対して第２固体撮像素子からの垂直同期信号Ｓｉｇ２２を商用周波数の半周期分だけずらすことにより、この後の差分処理後にフリッカ成分を強調させることができる。
【００７１】
なお、垂直同期信号シフト手段３１において、当初は商標周波数が５０Ｈｚまたは６０Ｈｚのずれ量に設定しておき、フリッカ検出手段４からのフリッカ情報Ｓｉｇ１３に応じて、即ち、商標周波数が５０Ｈｚなのかまたは６０Ｈｚなのかに応じて、一方の第１固体撮像素子１１の垂直同期意信号Ｓｉｇ２１に対して第２固体撮像素子１２の垂直同期意信号Ｓｉｇ２２を１／２００秒ずらすかまたは１／２４０秒ずらすかを切り替えるようにしてもよい。
【００７２】
図６は、図１の画像処理手段３の差分処理手段３２を説明するための図である。
【００７３】
図６において、画像処理手段３の差分検出手段３２は、第１固体撮像素子からの画像信号Ｓｉｇ１１ａと、第２固体撮像素子からの画像信号Ｓｉｇ１１ｂとの差分を取ることにより、被写体および背景画像（画像情報）の悪影響を低減することができる。この差分処理後の画像信号Ｓｉｇ１２において、前述したように、差分処理前に、互いの垂直同期信号を商用周波数の半周期ずらすことによりフリッカ成分を強調し、しかもフリッカ以外の画像成分を互いに差し引いて小さくしている。これによって、フリッカ判定を精度よく行うことができる。なお、この場合、画像の影響を更に抑えるために、画像信号Ｓｉｇ１１ａと画像信号Ｓｉｇ１１ｂとの各被写体の位置を一致させて差分処理を施すこともできる。
【００７４】
フリッカ検出手段４において、フリッカ成分を強調しかつ被写体および背景画像の影響を取り除いた差分処理後の画像信号Ｓｉｇ１２を用いて、画像平均値算出手段４１と周波数算出手段４２でフリッカ成分を抽出することにより、従来のように単眼の画像信号Ｓｉｇ１１だけを用いて求めるのに比べてフリッカ発生の検出精度が大幅に高くなる。
【００７５】
このように、横縞の位置をずらした２つの画像の差をとることにより、被写体の影響を弱め、フリッカの横縞を強調することができる。特に、３Ｄカメラ（多眼撮像装置）の場合、二つのカメラＡ、Ｂの画像は、垂直方向にはほとんどずれがないため、差をとることにより、垂直方向の被写体の影響を大幅に低減することができる。
【００７６】
図７は、本発明の実施形態１のフリッカ検出装置１を用いた固体撮像装置の要部構成例を示すブロック図である。
【００７７】
図７に示すように、本実施形態１の固体撮像装置１０Ａは、図１の画像処理手段３およびフリッカ検出手段４を有するフリッカ検出装置１と、フリッカ検出装置１から出力されるフリッカ周波数情報のフリッカ情報Ｓｉｇ１３を元に、複数の画像信号Ｓｉｇ１１にそれぞれ対して補正を行って、各画像信号Ｓｉｇ１１中のフリッカ周波数成分を除去した各画像信号Ｓｉｇ１４をそれぞれ各出力端子６に出力する複数のフリッカ補正手段５とを有している。
【００７８】
フリッカ補正手段５は、フリッカ情報Ｓｉｇ１３からのフリッカ周波数とフレーム周波数とに基づいて算出されたフリッカ補正量を、複数の画像信号Ｓｉｇ１１にそれぞれ対して乗算してフリッカ成分の除去をそれぞれ行う。このように、フリッカ成分と逆の位相の波形を画像信号Ｓｉｇ１１にそれぞれ乗算することにより、フリッカ成分を取り除く補正を行うことができる。
【００７９】
図８は、本発明の実施形態１のフリッカ検出装置１を用いた固体撮像装置の要部構成例の他の事例を示すブロック図である。
【００８０】
図８に示すように、本実施形態１の固体撮像装置１０Ｂは、図１の画像処理手段３およびフリッカ検出手段４を有するフリッカ検出装置１と、フリッカ検出装置１によって出力されたフリッカ情報Ｓｉｇ１３を元に、フリッカが発生しない露光時間を固体撮像素子１１〜１３にそれぞれ設定することにより、画像信号Ｓｉｇ１１中にフリッカ成分が発生しないようにするセンサ駆動制御手段１４とを備えている。
【００８１】
以上により、本実施形態１によれば、複数の撮像素子の各画像信号からフリッカの発生を検出するフリッカ検出装置１において、同時に撮影された二つの画像信号を画像処理（差分処理）してフリッカ成分以外の画像情報を排除する画像処理手段３と、フリッカ成分以外の画像情報排除処理後の画像信号からフリッカ情報を抽出するフリッカ検出手段４とを有している。
【００８２】
これによって、動作タイミングをフリッカ周波数の半周期分だけずらした２眼撮像装置（複眼カメラ）の各画像信号の差分を取ることにより、同時に撮影された二つの画像信号を画像処理してフリッカ成分以外の画像情報を排除するため、被写体および背景画像の影響を低減し、フリッカ成分を強調した状態で、フリッカ成分を抽出することにより誤認識を大幅に低減することができる。これによって、フリッカ周波数の半周期分ずらすことによりフリッカ成分を強調し、しかもフリッカ以外の画像成分を互いに差し引いて小さくしているため、フレームメモリなど部品点数やチップサイズの増大を抑え、かつ被写体画像の影響を軽減してフリッカノイズを効果的に検出できてフリッカ判定を精度よく行うことができる。
【００８３】
なお、本実施形態１では、複数の撮像素子の各画像信号からフリッカの発生を検出するフリッカ検出装置１について説明してきたが、これを用いたフリッカ検出方法についても同様である。
【００８４】
即ち、フリッカ検出装置１を用いたフリッカ検出方法において、画像処理手段３が、同時に撮影された二つの画像信号Ｓｉｇ１１を画像処理してフリッカ成分以外の画像情報を排除する画像処理工程と、フリッカ検出手段４が、フリッカ成分以外の画像情報排除後の画像信号Ｓｉｇ１２からフリッカ情報（フリッカ周波数成分）を抽出するフリッカ検出工程とを有していてもよい。
【００８５】
画像処理工程は、垂直同期信号シフト手段３１が、第１撮像素子からの垂直同期信号に対して第２撮像素子からの垂直同期信号をフリッカ周波数の半周期分だけずらす垂直同期信号シフト工程と、差分処理手段３２が、複数の撮像素子のうちの第１撮像素子および第２撮像素子からの二つの画像信号を差分処理する差分処理工程とを有している。
【００８６】
フリッカ検出工程は、画像平均値算出手段４１が、差分処理後の画像信号を１フィールドの１水平ライン毎または複数水平ライン毎に画像平均値情報を算出する画像平均値算出工程と、周波数変換手段４２が、算出した画像平均値情報を周波数変換してフリッカ情報を抽出する周波数算出工程とを有している。
【００８７】
本実施形態１では、これらの垂直同期信号シフト工程および差分処理工程のうちの少なくとも差分処理工程を行う場合について説明したが、これに限らず、垂直同期信号シフト工程だけを行う場合についても、フリッカノイズを効果的に検出できてフリッカ判定を精度よく行うことができる本発明の目的を達成することができる。この場合、画像処理工程において、画像処理手段３が、フリッカ周波数成分を強調する画像処理を行えばよい。
【００８８】
なお、本実施形態１では、画像処理手段３は、第１固体撮像素子からの垂直同期信号Ｓｉｇ２１に対して第２固体撮像素子からの垂直同期信号Ｓｉｇ２２をフリッカ周波数の半周期分だけずらす垂直同期信号シフト手段３１と、互いに垂直同期信号Ｓｉｇ２１、Ｓｉｇ２２をフリッカ周波数の半周期分だけずらした第１固体撮像素子および第２固体撮像素子からの二つの画像信号Ｓｉｇ１１ａ，Ｓｉｇ１１ｂを差分処理する差分処理手段３２とのうちの少なくとも差分処理手段３２による差分処理について説明したが、これに限らず、画像処理手段３は、第１固体撮像素子からの垂直同期信号Ｓｉｇ２１に対して第２固体撮像素子からの垂直同期信号Ｓｉｇ２２をフリッカ周波数の半周期分だけずらす垂直同期信号シフト手段３１だけを有していてもよい。前述したが、画像処理手段３は、複数の固体撮像素子のうちの第１固体撮像素子および第２固体撮像素子からの二つの画像信号Ｓｉｇ１１ａ，Ｓｉｇ１１ｂを差分処理する差分処理手段３２だけを有していてもよい。
【００８９】
この場合のフリッカ検出方法の画像処理工程は、差分処理手段３２が、複数の固体撮像素子のうちの第１固体撮像素子および第２固体撮像素子からの二つの画像信号Ｓｉｇ１１ａ，Ｓｉｇ１１ｂを差分処理する差分処理工程を有する。また、画像処理工程は、垂直同期信号シフト手段３１が、第１固体撮像素子からの垂直同期信号Ｓｉｇ２１に対して第２固体撮像素子からの垂直同期信号Ｓｉｇ２２をフリッカ周波数の半周期分だけずらす垂直同期信号シフト工程を有する。
【００９０】
（実施形態２）
上記実施形態１では、フリッカ検出装置１をハードウェア構成について説明したが、本実施形態２では、フリッカ検出装置のソフトウェア構成について説明する。
【００９１】
図９は、本発明の実施形態２のフリッカ検出装置の要部構成例を示すブロック図である。
【００９２】
図９において、本実施形態２のフリッカ検出装置１Ａは、コンピュータシステムで構成されており、フリッカ検出制御を行う制御手段としてのＣＰＵ２１（中央演算処理装置）と、ＣＰＵ２１の起動時にワークメモリとして働く一時記憶手段としてのＲＡＭ２２と、ＣＰＵ２１を動作させるためのフリッカ検出の制御プログラムおよびこれに用いる各種データなどが記録されたコンピュータ読み取り可能な可読記録媒体（記憶手段）としてのＲＯＭ２３とを有している。
【００９３】
ＣＰＵ２１は、ＲＯＭ２３内からＲＡＭ２２内に読み出されたフリッカ検出の制御プログラムおよびこれに用いる各種データに基づいて、複数の撮像素子から入力される各画像信号Ｓｉｇ１１からフリッカの発生を検出するフリッカ検出装置１Ａにおいて、同時に撮影された二つの画像信号Ｓｉｇ１１を画像処理してフリッカ成分以外の情報を排除する画像処理手段３Ａと、フリッカ成分以外の情報排除処理後の画像信号Ｓｉｇ１２からフリッカ情報（フリッカ周波数成分）を抽出するフリッカ検出手段４Ａの機能を実行するようになっている。
【００９４】
画像処理手段３Ａは、第１撮像素子からの垂直同期信号に対して第２撮像素子からの垂直同期信号をフリッカ周波数の半周期分だけずらす垂直同期信号シフト手段３１Ａと、複数の撮像素子のうちの第１撮像素子および第２撮像素子からの同時に設営された二つの画像信号Ｓｉｇ１１を差分処理する差分処理手段３２Ａとを有している。
【００９５】
フリッカ検出手段４Ａは、差分処理後の画像信号を１フィールドの１水平ライン毎または複数水平ライン毎に画像平均値情報を算出する画像平均値算出手段４１Ａと、算出した画像平均値情報を周波数変換してフリッカ情報を抽出する周波数算出手段４２Ａとを有している。
【００９６】
可読記録媒体としてのＲＯＭ２３としては、ハードディスクの他、形態自在な光ディスク、光磁気ディスク、磁気ディスクおよびＩＣメモリなどで構成されていてもよい。この制御プログラムおよびそのデータなどがＲＯＭに記憶されるが、この制御プログラムおよびそのデータは、他の可読記録媒体から、または、無線、有線またはインターネットなどを介してＲＯＭ２３にダウンロードされてもよい。
【００９７】
以上により、本実施形態２によれば、フレームメモリなど部品点数やチップサイズの増大を抑え、かつ被写体画像の影響を軽減してフリッカノイズを効果的に検出できてフリッカ判定を精度よく行うことができる。
【００９８】
なお、本実施形態２のフリッカ検出装置１Ａは、上記実施形態１のフリッカ検出装置１の場合と同様に、固体撮像装置１０Ａ、１０Ｂに適用することもできる。また、これらの固体撮像装置１０Ａまたは１０Ｂを、二つ以上の固体撮像素子から取得される各画像信号を撮像可能とする後述の多眼撮像装置１０Ｃに適用することもできる。
【００９９】
なお、本実施形態２では、複数の撮像素子の各画像信号からフリッカの発生を検出するフリッカ検出装置１Ａについて説明してきたが、これを用いたフリッカ検出方法についても同様である。
【０１００】
即ち、フリッカ検出装置１Ａを用いたフリッカ検出方法において、画像処理手段３Ａが、同時に撮影された二つの画像信号Ｓｉｇ１１を画像処理してフリッカ成分以外の画像情報を排除する画像処理工程と、フリッカ検出手段４Ａが、フリッカ成分以外の画像情報排除後の画像信号Ｓｉｇ１２からフリッカ情報（フリッカ周波数成分）を抽出するフリッカ検出工程とを有していてもよい。
【０１０１】
画像処理工程は、垂直同期信号シフト手段３１Ａが、第１撮像素子からの垂直同期信号に対して第２撮像素子からの垂直同期信号をフリッカ周波数の半周期分だけずらす垂直同期信号シフト工程と、差分処理手段３２Ａが、複数の撮像素子のうちの第１撮像素子および第２撮像素子からの二つの画像信号を差分処理する差分処理工程とを有している。
【０１０２】
フリッカ検出工程は、画像平均値算出手段４１Ａが、差分処理後の画像信号を１フィールドの１水平ライン毎または複数水平ライン毎に画像平均値情報を算出する画像平均値算出工程と、周波数変換手段４２Ａが、算出した画像平均値情報を周波数変換してフリッカ情報を抽出する周波数算出工程とを有している。
【０１０３】
本実施形態２では、これらの垂直同期信号シフト工程および差分処理工程を行う場合について説明したが、これに限らず、垂直同期信号シフト工程だけを行う場合、または差分処理工程だけを行う場合についても、フリッカノイズを効果的に検出できてフリッカ判定を精度よく行うことができる本発明の目的を達成することができる。この場合、画像処理工程において、画像処理手段３Ａが、フリッカ周波数成分を強調する画像処理を行えばよい。
【０１０４】
（実施形態３）
図１０は、本発明の実施形態３として、本発明の実施形態１、２のフリッカ検出装置１または１Ａを用いた固体撮像装置１０Ａまたは１０Ｂ、または多眼撮像装置１０Ｃを撮像部に用いた電子情報機器の概略構成例を示すブロック図である。
【０１０５】
図１０において、本実施形態３の電子情報機器９０は、画像信号を信号処理してカラー画像信号を得る、上記実施形態１、２のフリッカ検出装置１または１Ａを用いた固体撮像装置１０Ａまたは１０Ｂ、または多眼撮像装置１０Ｃと、この１０Ａまたは１０Ｂ、または多眼撮像装置からのカラー画像信号を記録用に所定の信号処理した後にデータ記録可能とする記録メディアなどのメモリ部９１と、この固体撮像装置１０Ａまたは１０Ｂ、または多眼撮像装置からのカラー画像信号を表示用に所定の信号処理した後に液晶表示画面などの表示画面上に表示可能とする液晶表示装置などの表示部９２と、この固体撮像装置１０Ａまたは１０Ｂ、または多眼撮像装置からのカラー画像信号を通信用に所定の信号処理をした後に通信処理可能とする送受信装置などの通信部９３と、この固体撮像装置１０Ａまたは１０Ｂ、または多眼撮像装置からのカラー画像信号を印刷用に所定の印刷信号処理をした後に印刷処理可能とするプリンタなどの画像出力部９４とを有している。なお、この電子情報機器９０として、これに限らず、固体撮像装置１０Ａまたは１０Ｂ、または多眼撮像装置の他に、メモリ部９１と、表示部９２と、通信部９３と、プリンタなどの画像出力部９４とのうちの少なくともいずれかを有していてもよい。
【０１０６】
この電子情報機器９０としては、前述したように例えばデジタルビデオカメラ、デジタルスチルカメラなどのデジタルカメラや、監視カメラ、ドアホンカメラ、車載用後方監視カメラなどの車載用カメラおよびテレビジョン電話用カメラなどの画像入力カメラ、スキャナ装置、ファクシミリ装置、カメラ付き携帯電話装置および携帯端末装置（ＰＤＡ）などの画像入力デバイスを有した電子機器が考えられる。
【０１０７】
したがって、本実施形態３によれば、この固体撮像装置１０Ａまたは１０Ｂ、または多眼撮像装置からのカラー画像信号に基づいて、これを表示画面上に良好に表示したり、これを紙面にて画像出力部９４により良好にプリントアウト（印刷）したり、これを通信データとして有線または無線にて良好に通信したり、これをメモリ部９１に所定のデータ圧縮処理を行って良好に記憶したり、各種データ処理を良好に行うことができる。
【０１０８】
なお、本実施形態１、２では、フリッカ検出装置１または１Ａは、同時に撮影された二つの画像信号を画像処理してフリッカ成分以外の画像情報を排除する画像処理手段３または３Ａと、フリッカ成分以外の情報排除処理後の画像信号からフリッカ情報を抽出するフリッカ検出手段４または４Ａとを有する。画像処理手段３または３Ａは、前記第１撮像素子からの垂直同期信号に対して前記第２撮像素子からの垂直同期信号をフリッカ周波数の半周期分だけずらす垂直同期信号シフト手段３１または３１Ａと、複数の撮像素子のうちの第１撮像素子および第２撮像素子からの二つの画像信号を差分処理する差分処理手段３２または３２Ａとのうちの少なくとも差分処理手段３２または３２Ａを有する場合について説明したが、これに限らず、本発明のフリッカ検出装置は、複数の固体撮像素子の画像信号からフリッカ検出が容易なように画像処理を行う画像処理手段と、画像信号からフリッカ周波数成分を検出するフリッカ検出手段とを有していてもよい。この場合、本発明の固体撮像装置は、上記本発明のフリッカ検出装置と、複数の固体撮像素子と、発生したフリッカを信号処理で除去するフリッカ補正手段を有していてもよい。また、本発明の固体撮像装置は、上記本発明のフリッカ検出装置と、複数の固体撮像素子と、フリッカ検出装置で判定したフリッカ情報に基づいて固体撮像素子の動作を制御するセンサ駆動制御手段とを有していてもよい。さらに、固体撮像素子に対して、フリッカの検出に適したタイミングで動作するように制御するセンサ制御装置で構成されていてもよい。さらに、固体撮像素子に対して、フリッカの検出に適した画像出力位置を制御するセンサ制御装置で構成されていてもよい。固体撮像素子からの画像信号に対して、フリッカの検出に適した範囲の画像を切りだす画像切り出し手段を有してもよい。
【０１０９】
以上のように、本発明の好ましい実施形態１〜３を用いて本発明を例示してきたが、本発明は、この実施形態１〜３に限定して解釈されるべきものではない。本発明は、特許請求の範囲によってのみその範囲が解釈されるべきであることが理解される。当業者は、本発明の具体的な好ましい実施形態１〜３の記載から、本発明の記載および技術常識に基づいて等価な範囲を実施することができることが理解される。本明細書において引用した特許、特許出願および文献は、その内容自体が具体的に本明細書に記載されているのと同様にその内容が本明細書に対する参考として援用されるべきであることが理解される。
【産業上の利用可能性】
【０１１０】
本発明は、複数の視点に対応する複数のセンサからの画像からフリッカの発生を検出するフリッカ検出装置およびこれを用いたフリッカ検出方法、このフリッカ検出装置で検出したフリッカを補正可能とする固体撮像装置、被写体からの画像光を光電変換して撮像するＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）に代表される二つ以上の固体撮像素子から取得される各画像信号を撮像可能とする多眼撮像装置、このフリッカ検出方法をコンピュータに実行させるための制御プログラム、この制御プログラムが記録されたコンピュータ読み取り可能な可読記録媒体、この固体撮像装置または多眼撮像装置を撮像部に用いた例えばデジタルビデオカメラおよびデジタルスチルカメラなどのデジタルカメラや、車載用カメラなどの画像入力カメラ、スキャナ、ファクシミリ、カメラ付き携帯電話装置などの電子情報機器の分野において、同時に撮影された二つの画像信号を画像処理してフリッカ成分以外の情報を排除することおよびフリッカ周波数成分を強調することのうち少なくともいずれかを行うため、被写体および背景画像の影響を軽減したりフリッカ周波数成分を強調して、フレームメモリなど部品点数やチップサイズの増大を抑え、かつフリッカノイズを効果的に検出できてフリッカ判定を精度よく行うことができる。
【符号の説明】
【０１１１】
１、１Ａ フリッカ検出装置
２ 入力端子
３、３Ａ 画像処理手段
３１、３１Ａ 垂直同期信号シフト手段
３２、３２Ａ 差分処理手段
４、４Ａ フリッカ検出手段
４１、４１Ａ 画像平均値算出手段
４２、４２Ａ 周波数算出手段
５ フリッカ補正手段
６ 出力端子
１０Ａ、１０Ｂ 固体撮像装置
１０Ｃ 多眼撮像装置
１４ センサ駆動制御手段
２１ ＣＰＵ２１（制御手段）
２２ ＲＡＭ
２３ ＲＯＭ
Ｓｉｇ１１ 入力画像信号
Ｓｉｇ１１ａ 第１固体撮像素子からの画像信号
Ｓｉｇ１１ｂ 第２固体撮像素子からの画像信号
Ｓｉｇ１２ 差分処理後の画像信号
Ｓｉｇ１３ フリッカ情報
Ｓｉｇ１４ フリッカ成分を除去した各画像信号
Ｓｉｇ２１、２２ 垂直同期信号
９０ 電子情報機器
９１ メモリ部
９２ 表示部
９３ 通信部
９４ 画像出力部
【技術分野】
【０００１】
本発明は、複数の視点に対応する複数のセンサからの画像からフリッカの発生を検出するフリッカ検出装置およびこれを用いたフリッカ検出方法、このフリッカ検出装置で検出したフリッカを補正可能とする固体撮像装置、被写体からの画像光を光電変換して撮像するＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）に代表される二つ以上の固体撮像素子から取得される各画像信号を撮像可能とする多眼撮像装置、このフリッカ検出方法をコンピュータに実行させるための制御プログラム、この制御プログラムが記録されたコンピュータ読み取り可能な可読記録媒体、この固体撮像装置または多眼撮像装置を撮像部に用いた例えばデジタルビデオカメラおよびデジタルスチルカメラなどのデジタルカメラや、車載用カメラなどの画像入力カメラ、スキャナ、ファクシミリ、カメラ付き携帯電話装置などの電子情報機器に関する。
【背景技術】
【０００２】
従来の固体撮像装置において、例えば蛍光灯であれば商用周波数６０Ｈｚに対して１２０Ｈｚで点滅しており、人間の目にはその点滅は伝わらないが、固体撮像装置では、１秒間に例えば３０フレーム、１フレームに数百ラインがあり、１ライン毎に露光が行われる。このことから、その露光タイミングが順次、ライン毎に時系列にずれて行くので、画像としてあるタイミングでは明るく、あるタイミングでは暗いという事態が発生する。これによって、波打ったようなもやもやした画像になってしまう。このため、点滅によるフリッカを検出してフリッカによる画像への影響を防止する信号処理技術が必要になる。
【０００３】
関西圏では商用周波数６０Ｈｚであり、関東圏では商用周波数５０Ｈｚであるため、シャッタスピードを１／１２０ｓｅｃの整数倍にするかまたは、１／１００ｓｅｃの整数倍にするかが分からなければ、このフリッカを除去することができない。例えば関西圏では、シャッタスピードを１／１２０ｓｅｃの整数倍にすれば、蛍光灯の点滅の周期であるから、明るさと暗さを共に含み、どのタイミングであっても、各画素での露光時間が一定になる。これを実現するために、点滅の周期が１／１２０ｓｅｃか１／１００ｓｅｃかを検出し、補正するフリッカ検出方法が特許文献１に開示されている。
【０００４】
図１１は、特許文献１に開示されている従来のフリッカ補正装置の概略構成例を説明するためのブロック図である。
【０００５】
図１１に示すように、従来のフリッカ補正装置１００は、入力端子１０１を有しており、画像信号Ｓｉｇ１が入力端子１０１から入力される。この画像信号Ｓｉｇ１は、電子カメラやスキャナなどのような固体撮像素子を用いたカメラによって被写体を撮像して得られ、例えば交流電源周期と同期して点滅する蛍光灯照明下において、ＣＭＯＳ型イメージセンサのようなＸ−Ｙアドレス走査型の固体撮像素子を用いたカメラで被写体を撮像した場合には、フリッカ成分を含む画像信号Ｓｉｇ１が、入力端子１０１から入力されることになる。
【０００６】
入力端子１から入力された画像信号Ｓｉｇ１は、画像メモリ１０２に供給され、１フレームまたは１フィールド分の画像信号Ｓｉｇ１が、画像データとして画像メモリ１０２内に格納される。また、画像信号Ｓｉｇ１は、画像平均値算出手段１０３にも供給される。
【０００７】
画像平均値算出手段１０３では、入力された画像信号Ｓｉｇ１から、１水平ライン毎に画像信号Ｓｉｇ１の平均値を算出して、フリッカデータ抽出手段１０４および１０５に対して、それぞれ画像平均値Ｓｉｇ２を出力する。この画像平均値算出手段１０３では、複数ライン毎に画像信号の平均値を算出することも可能であり、また、垂直方向に画像信号Ｓｉｇ１から画像平均値Ｓｉｇ２を算出することも可能である。
【０００８】
また、フリッカ周波数算出手段１０６では、交流電源周波数と、撮像素子のフレーム周波数またはフィールド周波数とを用いて、フリッカ周波数を算出する。フリッカ周波数算出手段１０６は、交流電源周波数が５０Ｈｚである場合のフリッカ周波数Ｓｉｇ３をフリッカデータ抽出手段１０４に出力すると共に、交流電源周波数が６０Ｈｚである場合のフリッカ周波数Ｓｉｇ４を算出してフリッカデータ抽出手段１０５に出力する。
【０００９】
フリッカデータ抽出手段１０４は、画像平均値算出手段１０３から入力された画像平均値Ｓｉｇ２を離散フーリエ変換（周波数変換）することによって、フリッカ周波数算出手段１０６から入力されたフリッカ周波数Ｓｉｇ３のスペクトル量Ｓｉｇ５と、フリッカ周波数Ｓｉｇ３の近傍の周波数のスペクトル量Ｓｉｇ５’およびＳ５”とを、それぞれ算出して、フリッカ判定手段１０７に出力する。
【００１０】
また同様に、フリッカデータ抽出手段１０５は、画像平均値算出手段１０３から入力された画像平均値Ｓｉｇ２を離散フーリエ変換（周波数変換）することによって、フリッカ周波数算出手段１０６から入力されたフリッカ周波数Ｓｉｇ４のスペクトル量Ｓｉｇ６と、フリッカ周波数Ｓｉｇ４の近傍の周波数のスペクトル量Ｓｉｇ６’およびＳｉｇ６”とを、それぞれ算出して、フリッカ判定手段１０７に出力する。
【００１１】
フリッカ判定手段１０７は、スペクトル量Ｓｉｇ５、Ｓｉｇ５’およびＳｉｇ５”を用いてフリッカ現象の有無を判定すると共に、スペクトル量Ｓｉｇ６、Ｓｉｇ６’およびＳｉｇ６”を用いてフリッカ現象の有無を判定し、その判定結果をフリッカ情報Ｓｉｇ８としてフリッカ補正手段１０８に出力する。
【００１２】
フリッカ現象があると判定された場合には、交流電源周波数が５０Ｈｚおよび６０Ｈｚの場合毎に、フリッカ現象の有無を判定することによっていずれの交流電源周波数であるかを判定し、その結果をフリッカ情報Ｓｉｇ７としてスイッチＳＷ１０９に出力する。スイッチＳＷ１０９は、フリッカ情報Ｓｉｇ７に従って切り替えられ、フリッカ現象が生じていると判定された交流電源周波数（５０Ｈｚまたは６０Ｈｚ）に応じたスペクトル量Ｓｉｇ５、Ｓｉｇ５’およびＳｉｇ５”、またはスペクトル量Ｓｉｇ６、Ｓｉｇ６’およびＳｉｇ６”が、フリッカ補正量算出手段１１０に出力される。また、フリッカ現象がないと判定された場合には、フリッカ現象がないというフリッカ情報Ｓｉｇ８がフリッカ補正手段１０８に入力されて補正は行われない。
【００１３】
フリッカ補正量算出手段１１０は、スイッチＳＷ１０９から入力されたスペクトルＳｉｇ５またはＳｉｇ６を逆離散フーリエ変換することによって、補正量Ｓｉｇ９を算出し、算出した補正量Ｓｉｇ９をフリッカ補正手段１０８に出力する。
【００１４】
フリッカ補正手段１０８は、フリッカ補正量算出手段１１０から入力されたフリッカ補正量Ｓｉｇ９を、画像メモリ１０２に格納されている、フリッカ成分を含む画像データに加算することによって、フリッカ成分を相殺した後に出力端子１１１から出力画像信号Ｓｉｇ１０を出力する。
【００１５】
次に、時間の異なる複数の画像を取り込んで比較することにより、フリッカ部分を検出・除去して画像合成することにより、フリッカのない画像を得る従来の画像処理装置が特許文献２に開示されている。
【００１６】
図１２は、特許文献２に開示されている従来の画像処理装置においてフリッカを除去した画像信号を得る信号処理方法を説明するためのフローチャートである。
【００１７】
図１２に示すように、まず、ステップＳ２０１において、時間の異なる２枚の画像を各画像信号として取り込む。
【００１８】
次に、ステップＳ２０２において、その取り込んだ２枚の画像について各画素毎に、値の差の絶対値を算出し、その値が予め決めておいた一定値以上である画素の部分を「無効部分」としてマーキングした中間画像を作る。無効部分として判定されなかった部分は有効画像であり、中間画像に「有効部分」として残される。この後、有効画面が画像全体に満たされるまで次のステップＳ２０３〜Ｓ２０６の処理をを繰り返す。
【００１９】
ステップＳ２０３の処理では、中間画像内に「無効部分」があるかどうかを判定し、「無効部分」がなければ（ＮＯ）、ステップＳ２０７で最終的な取得画像として出力される。「無効部分」があれば（ＹＥＳ）、次のステップＳ２０４の処理に進む。
【００２０】
ステップＳ２０４では、再び１枚の画像を取り込む。
【００２１】
次に、ステップＳ２０５の処理において、この画像とその１枚前の画像とをステップＳ２０２の処理と同様に比較し、新たな画像の方の「無効部分」を判定する。
【００２２】
続いて、ステップＳ２０６の処理において、先にステップＳ２０３で「無効部分」があるかどうかを判定した中間画像の「無効部分」にこの新たな画像の有効部分がかかっていれば、その有効部分を中間画像に埋め込み、新たな中間画像とする。
【００２３】
以下、ステップＳ２０３〜Ｓ２０６の処理をを繰り返すことによって、最終的に中間画像から無効部分がなくなったら、ステップＳ２０７でこの「無効部分」のない中間画像を最終取り込み画像として出力して終わる。
【先行技術文献】
【特許文献】
【００２４】
【特許文献１】特開２００３−１９８９３２号公報
【特許文献２】特開平１１−３２２３８号公報
【発明の概要】
【発明が解決しようとする課題】
【００２５】
しかしながら、上記特許文献１に開示されている従来のフリッカ補正装置１００では、一つの入力端子１０１から入力した画像信号Ｓｉｇ１だけを使用するため、フリッカノイズに類似した画像が入力された場合や、フリッカノイズが非常に小さい場合などに、フリッカの発生を検出するのが困難であるという問題があった。
【００２６】
要するに、図１３１１に示すように、従来のフリッカ補正装置１００のフリッカデータ抽出手段１０４、１０５で、画像平均値算出手段１０３から入力された画像平均値Ｓｉｇ２を離散フーリエ変換（周波数変換）してフリッカ成分を抽出することによりフリッカ判定手段１０７にてフリッカ判定を行っているため、被写体および背景画像の影響を受けてフリッカの検出精度が低く誤認識することが多い。固体撮像素子がＣＭＯＳセンサの場合、フリッカは画像中に横縞となって現れるので、画面縦方向の周波数成分を検出し、蛍光灯点灯周波数付近にピークがあることにより、フリッカの発生の有無が検出可能である。ただし、通常の画像に重畳されたままで周波数の検出を行うため、被写体および背景画像の影響を強く受けてしまう。特に、横縞の画像など、縦方向に強弱の変化が強い画像の場合、特に誤認識が起こりやすくなってしまう。
【００２７】
上記特許文献２に開示されているフリッカ検出、フリッカ除去の構成では、時間の異なる複数画像を重ね合わせてフリッカを検出、除去して画像合成するため、フレームメモリが別途必要になり、コストが高くなると共に、フレームメモリなど部品点数やチップサイズが増大し、また、動画に対しては、フレーム間の画像の相関関係が小さいために、正しい画像を構成することができないという問題があった。
【００２８】
本発明は、上記従来の問題を解決するもので、フレームメモリなど部品点数やチップサイズの増大を抑え、かつフリッカノイズを効果的に検出できてフリッカ判定を精度よく行うことができるフリッカ検出装置およびこれを用いたフリッカ検出方法、このフリッカ検出方法をコンピュータに実行させるための制御プログラム、この制御プログラムが記録されたコンピュータ読み取り可能な可読記録媒体、このフリッカ検出装置を用いた固体撮像装置、このフリッカ検出装置を用いて立体視を含む動画や静止画の映像・画像を生成可能とする多眼撮像装置、この固体撮像装置または多眼撮像装置を画像入力デバイスとして撮像部に用いたカメラ付き携帯電話装置などの電子情報機器を提供することを目的とする。
【課題を解決するための手段】
【００２９】
本発明のフリッカ検出装置は、複数の撮像素子の各画像信号からフリッカの発生を検出するフリッカ検出装置であって、同時に撮影された二つの画像信号を画像処理してフリッカ成分以外の画像情報を排除することおよびフリッカ周波数成分を強調することのうち少なくともいずれかを行う画像処理手段と、該フリッカ成分以外の画像情報排除処理後の画像信号からフリッカ情報を抽出するフリッカ検出手段とを有するものであり、そのことにより上記目的が達成される。
【００３０】
また、好ましくは、本発明のフリッカ検出装置における画像処理手段は、前記複数の撮像素子のうちの第１撮像素子および第２撮像素子からの二画面の画像情報を差分処理する差分処理手段を有する。
【００３１】
さらに、好ましくは、本発明のフリッカ検出装置における画像処理手段は、前記第１撮像素子からの垂直同期信号に対して前記第２撮像素子からの垂直同期信号をフリッカ周波数の半周期分だけずらす垂直同期信号シフト手段を有する。
【００３２】
さらに、好ましくは、本発明のフリッカ検出装置における画像処理手段は、前記第１撮像素子からの垂直同期信号に対して前記第２撮像素子からの垂直同期信号をフリッカ周波数の半周期分だけずらす垂直同期信号シフト手段と、互いに該垂直同期信号をフリッカ周波数の半周期分だけずらした該第１撮像素子および該第２撮像素子からの二画面の画像情報を差分処理する差分処理手段とを有する。
【００３３】
さらに、好ましくは、本発明のフリッカ検出装置におけるフリッカ検出手段は、前記差分処理後の画像信号を１フィールドの１水平ライン毎または複数水平ライン毎に画像平均値情報を算出する画像平均値算出手段を有する。
【００３４】
さらに、好ましくは、本発明のフリッカ検出装置におけるフリッカ検出手段は、前記算出した画像平均値情報を周波数変換してフリッカ周波数を抽出する周波数変換手段を更に有し、該フリッカ周波数を前記フリッカ情報として抽出する。
【００３５】
さらに、好ましくは、本発明のフリッカ検出装置における周波数変換手段は、前記算出した画像平均値情報を離散フーリエ変換してフリッカ周波数のフリッカ情報を検出する。
【００３６】
本発明の固体撮像装置は、本発明の上記フリッカ検出装置と、該フリッカ検出装置から出力されるフリッカ情報を元に、前記複数の撮像素子の各画像信号に対してそれぞれ補正を行って、該各画像信号中のフリッカ周波数成分を除去した各画像信号を出力するフリッカ補正手段とを有するものであり、そのことにより上記目的が達成される。
【００３７】
本発明の固体撮像装置は、本発明の上記フリッカ検出装置と、該フリッカ検出装置から出力されるフリッカ情報を元に、フリッカが発生しない露光時間を前記複数の撮像素子にそれぞれ設定するセンサ駆動制御手段とを有するものであり、そのことにより上記目的が達成される。
【００３８】
本発明の多眼撮像装置は、本発明の上記固体撮像装置の二つ以上の撮像素子から取得される各画像信号を撮像可能とするものであり、そのことにより上記目的が達成される。
【００３９】
本発明の電子情報機器は、本発明の上記固体撮像装置または本発明の上記多眼撮像装置を画像入力デバイスとして撮像部に用いたものであり、そのことにより上記目的が達成される。
【００４０】
本発明のフリッカ検出方法は、複数の撮像素子の各画像信号からフリッカの発生を検出するフリッカ検出方法であって、画像処理手段が、同時に撮影された二つの画像信号を画像処理してフリッカ成分以外の画像情報を排除することおよびフリッカ周波数成分を強調することのうち少なくともいずれかを行う画像処理工程と、フリッカ検出手段が、該フリッカ成分以外の画像情報排除処理後の画像信号からフリッカ情報を抽出するフリッカ検出工程とを有するものであり、そのことにより上記目的が達成される。
【００４１】
また、好ましくは、本発明のフリッカ検出方法における画像処理工程は、差分処理手段が、前記複数の撮像素子のうちの第１撮像素子および第２撮像素子からの二画面の画像情報を差分処理する差分処理工程を有する。
【００４２】
さらに、好ましくは、本発明のフリッカ検出方法における画像処理工程は、垂直同期信号シフト手段が、前記第１撮像素子からの垂直同期信号に対して前記第２撮像素子からの垂直同期信号をフリッカ周波数の半周期分だけずらす垂直同期信号シフト工程を有する。
【００４３】
さらに、好ましくは、本発明のフリッカ検出方法における画像処理工程は、垂直同期信号シフト手段が、前記第１撮像素子からの垂直同期信号に対して前記第２撮像素子からの垂直同期信号をフリッカ周波数の半周期分だけずらす垂直同期信号シフト工程と、差分処理手段が、互いに該垂直同期信号をフリッカ周波数の半周期分だけずらした第１撮像素子および第２撮像素子からの二画面の画像情報を差分処理する差分処理工程とを有する。
【００４４】
さらに、好ましくは、本発明のフリッカ検出方法におけるフリッカ検出工程は、画像平均値算出手段が、前記差分処理後の画像信号を１フィールドの１水平ラインまたは複数水平ライン毎に画像平均値情報を算出する画像平均値算出工程を有し、該画像平均値情報に基づいてフリッカ情報を抽出する。
【００４５】
さらに、好ましくは、本発明のフリッカ検出方法におけるフリッカ検出工程は、周波数算出手段が、前記算出した画像平均値情報を周波数変換して前記フリッカ情報を抽出する周波数算出工程を更に有する。
【００４６】
さらに、好ましくは、本発明のフリッカ検出方法における周波数算出工程は、前記算出した画像平均値情報を離散フーリエ変換してフリッカ周波数のフリッカ情報を検出する。
【００４７】
本発明の制御プログラムは、本発明の上記フリッカ検出方法の各工程をコンピュータに実行させるためのものであり、そのことにより上記目的が達成される。
【００４８】
本発明の可読記録媒体は、本発明の上記制御プログラムが記録されたコンピュータ読み出し可能なものであり、そのことにより上記目的が達成される。
【００４９】
上記構成により、以下、本発明の作用を説明する。
【００５０】
本発明においては、複数の撮像素子の各画像信号からフリッカの発生を検出するフリッカ検出装置において、同時に撮影された二つの画像信号を画像処理してフリッカ成分以外の画像情報を排除することおよびフリッカ周波数成分を強調することのうち少なくともいずれかを行う画像処理手段と、フリッカ成分以外の画像情報排除後の画像信号からフリッカ情報を抽出するフリッカ検出手段とを有する。
【００５１】
これによって、同時に撮影された二つの画像信号を画像処理してフリッカ成分以外の画像情報を排除することおよびフリッカ周波数成分を強調することのうち少なくともいずれかを行うので、被写体や背景画像の影響が軽減したりフリッカ周波数成分を強調して、従来のようにフレームメモリなど部品点数やチップサイズの増大を抑え、かつフリッカノイズを効果的に検出できてフリッカ判定を精度よく行うことが可能となる。
【発明の効果】
【００５２】
以上により、本発明によれば、同時に撮影された二つの画像信号を画像処理してフリッカ成分以外の画像情報を排除することおよびフリッカ周波数成分を強調することのうち少なくともいずれかを行うため、被写体および背景画像の影響を軽減したりフリッカ周波数成分を強調して、フレームメモリなど部品点数やチップサイズの増大を抑え、かつフリッカノイズを効果的に検出できてフリッカ判定を精度よく行うことができる。
【図面の簡単な説明】
【００５３】
【図１】本発明の実施形態１のフリッカ検出装置の要部構成例を示すブロック図である。
【図２】図１のフリッカ検出手段の要部構成例を示すブロック図である。
【図３】図１のフリッカ検出手段を説明するための図である。
【図４】図１の画像処理手段の要部構成例を示すブロック図である。
【図５】図１の画像処理手段の垂直同期信号シフト手段を説明するための図である。
【図６】図１の画像処理手段の差分処理手段を説明するための図である。
【図７】本発明の実施形態１のフリッカ検出装置を用いた固体撮像装置の要部構成例を示すブロック図である。
【図８】本発明の実施形態１のフリッカ検出装置を用いた固体撮像装置の要部構成例の他の事例を示すブロック図である。
【図９】本発明の実施形態２のフリッカ検出装置の要部構成例を示すブロック図である。
【図１０】本発明の実施形態３として、本発明の実施形態１または２のフリッカ検出装置を用いた固体撮像装置または多眼撮像装置を撮像部に用いた電子情報機器の概略構成例を示すブロック図である。
【図１１】特許文献１に開示されている従来のフリッカ補正装置の概略構成例を説明するためのブロック図である。
【図１２】特許文献２に開示されている従来の画像処理装置においてフリッカを除去した画像を得るための処理方法を説明するためのフローチャートである。
【図１３】図１２の従来の画像処理装置における課題を説明するための図である。
【発明を実施するための形態】
【００５４】
以下に、本発明のフリッカ検出装置およびフリッカ検出方法、これらを用いた固体撮像装置の実施形態１および、このソフトウェア構成のフリッカ検出装置およびフリッカ検出方法、これらを用いた固体撮像装置の実施形態２を説明し、これらの実施形態１、２の固体撮像装置または他眼撮像装置を画像入力デバイスとして撮像部に用いた例えばカメラ付き携帯電話装置などの電子情報機器の実施形態３について図面を参照しながら詳細に説明する。
【００５５】
（実施形態１）
図１は、本発明の実施形態１のフリッカ検出装置の要部構成例を示すブロック図である。
【００５６】
図１に示すように、本実施形態１のフリッカ検出装置１は、少なくとも二つの撮像素子で同時に撮影された二つの各画像信号を画像処理してフリッカ成分以外の画像情報を排除する画像処理手段３と、画像情報の悪影響を排除した後の画像信号からフリッカ情報を抽出するフリッカ検出手段４とを備え、複数の撮像素子からの各画像信号からフリッカの発生を検出する。
【００５７】
即ち、本実施形態１のフリッカ検出装置１は、複数の入力端子２を有しており、複数の画像信号Ｓｉｇ１１が各入力端子２からそれぞれ入力される。入力された各画像信号Ｓｉｇ１１は、電子カメラ、スキャナなどのような複数の撮像素子を用いたカメラによって被写体および背景画像を撮像して得られ、例えば交流電源周期と同期して点滅する蛍光灯照明下において、ＣＭＯＳ型イメージセンサのようなＸ−Ｙアドレス走査型の固体撮像素子を用いたカメラで被写体および背景画像を撮像した場合には、フリッカ成分を含む画像情報の各画像信号Ｓｉｇ１１が、各入力端子２からそれぞれ入力される。
【００５８】
各入力端子２から入力された複数の画像信号Ｓｉｇ１１は、画像処理手段３においてフリッカ検出が容易となるように複数の画像信号Ｓｉｇ１１のうちの同時撮影の二つの画像信号Ｓｉｇ１１から画像情報を排除する信号処理が為され、この画像情報が排除されてフリッカ検出が容易になる画像信号Ｓｉｇ１２がフリッカ検出手段４に出力される。
【００５９】
その画像信号Ｓｉｇ１２はフリッカ検出手段４に入力され、フリッカ検出手段４において、その画像信号Ｓｉｇ１２に基づいてフリッカ情報を抽出し、フリッカ情報Ｓｉｇ１３を出力する。このフリッカ情報Ｓｉｇ１３を用いて複数の画像信号Ｓｉｇ１１からそれぞれフリッカを取り除くことができる。
【００６０】
図２は、図１のフリッカ検出手段４の要部構成例を示すブロック図であり、図３は、図１のフリッカ検出手段４を説明するための図である。
【００６１】
図２に示すように、フリッカ検出手段４は、画像情報が排除されてフリッカ検出が容易になった画像信号Ｓｉｇ１２を１フィールドの１水平ラインまたは複数ライン毎に画像平均値情報を算出する画像平均値算出手段４１と、算出した画像平均値情報を周波数変換してフリッカ周波数情報を抽出する周波数算出手段４２とを有する。
【００６２】
図３示すように、フリッカ検出手段４の画像平均値算出手段４１において、画像情報を排除した画像信号Ｓｉｇ１２を１画面（１フィールド）の１水平ラインまたは複数ライン毎に画像平均値を算出し、周波数算出手段４２において、算出した画像平均値情報を離散フーリエ変換してフリッカ周波数をフリッカ情報として検出する。このように、垂直方向の時間軸における１水平ライン毎または複数ライン毎の画像平均値情報の変化（信号強度の変化）を元にフリッカ現象の判定結果としてのフリッカ周波数のフリッカ情報Ｓｉｇ１３を検出する。
【００６３】
フリッカ周波数のフリッカ情報Ｓｉｇ１３を正しく判断するためには、画像平均値Ｓｉｇ１２の中に含まれるフリッカ成分が大きく、フリッカ成分以外の画像成分が小さくなっているのが好ましい。ここでは、フリッカ成分以外の画像成分を小さくするために、前述したように、画像処理手段３において、同時に撮影された二つの各画像信号Ｓｉｇ１１を画像処理してフリッカ成分以外の画像情報を排除している。
【００６４】
つまり、従来のように単眼撮像装置で撮影された一枚の画像信号では、フリッカ成分とそれ以外の画像成分の区別がつかないため、画像信号Ｓｉｇ１１そのままで判断するしかなかったが、複数の撮像素子を持つ多眼撮像装置や固体撮像装置では、同時に撮影（同一の画像）された複数の画像信号Ｓｉｇ１１が入力されるので、これら複数の画像信号Ｓｉｇ１１を画像処理してフリッカ成分以外の画像情報を排除することにより、フリッカ成分以外の画像成分を小さく抑えることが可能となっている。
【００６５】
図４は、図１の画像処理手段３の要部構成例を示すブロック図である。
【００６６】
図４において、画像処理手段３は、複数の撮像素子のうちの第１固体撮像素子からの垂直同期信号に対して第２固体撮像素子からの垂直同期信号を商用周波数の半周期分（フリッカ周波数の半周期分）だけずらす垂直同期信号シフト手段３１と、第１固体撮像素子および第２固体撮像素子からの二つの各画像信号を差分処理する差分処理手段３２とを有している。
【００６７】
同時に撮影された二つの各画像信号からフリッカ成分以外の画像情報を排除するを画像処理として、ここでは、この差分処理手段３２によって二つの各画像信号を差分処理している。
【００６８】
差分処理手段３２によってフリッカ成分以外の画像成分を小さくすることで、フリッカ判定を精度よく行うことができる。また、垂直同期信号シフト手段３１により差分処理手段３２のフリッカ成分が大きくなるように制御することで、フリッカ判定を精度よく行うことができる。以下、図５および図６を用いて詳細に説明する。
【００６９】
図５は、図１の画像処理手段３の垂直同期信号シフト手段３１を説明するための図である。
【００７０】
図５において、例えば５０Ｈｚ蛍光灯下では、１／１００秒毎に蛍光灯フリッカの明暗が繰り返されるので、第１固体撮像素子からの垂直同期信号Ｓｉｇ２１と第２固体撮像素子からの垂直同期意信号Ｓｉｇ２２を１／２００秒ずらすことにより、第１固体撮像素子からの画像信号Ｓｉｇ１１と、第２固体撮像素子からの画像信号Ｓｉｇ１１のフリッカ成分の位相を１８０度（周波数１００Ｈｚの半周期）ずらすことができる。または、例えば６０Ｈｚ蛍光灯下では、１／１２０秒毎に蛍光灯フリッカの明暗が繰り返されるので、第１固体撮像素子からの垂直同期信号Ｓｉｇ２１と第２固体撮像素子からの垂直同期意信号Ｓｉｇ２２を１／２４０秒ずらすことにより、第１固体撮像素子からの画像信号Ｓｉｇ１１と、第２固体撮像素子からの画像信号Ｓｉｇ１１のフリッカ成分の位相を１８０度（周波数１２０Ｈｚの半周期）ずらすことができる。このように、垂直同期信号シフト手段３１により、第１固体撮像素子からの垂直同期信号Ｓｉｇ２１に対して第２固体撮像素子からの垂直同期信号Ｓｉｇ２２を商用周波数の半周期分だけずらすことにより、この後の差分処理後にフリッカ成分を強調させることができる。
【００７１】
なお、垂直同期信号シフト手段３１において、当初は商標周波数が５０Ｈｚまたは６０Ｈｚのずれ量に設定しておき、フリッカ検出手段４からのフリッカ情報Ｓｉｇ１３に応じて、即ち、商標周波数が５０Ｈｚなのかまたは６０Ｈｚなのかに応じて、一方の第１固体撮像素子１１の垂直同期意信号Ｓｉｇ２１に対して第２固体撮像素子１２の垂直同期意信号Ｓｉｇ２２を１／２００秒ずらすかまたは１／２４０秒ずらすかを切り替えるようにしてもよい。
【００７２】
図６は、図１の画像処理手段３の差分処理手段３２を説明するための図である。
【００７３】
図６において、画像処理手段３の差分検出手段３２は、第１固体撮像素子からの画像信号Ｓｉｇ１１ａと、第２固体撮像素子からの画像信号Ｓｉｇ１１ｂとの差分を取ることにより、被写体および背景画像（画像情報）の悪影響を低減することができる。この差分処理後の画像信号Ｓｉｇ１２において、前述したように、差分処理前に、互いの垂直同期信号を商用周波数の半周期ずらすことによりフリッカ成分を強調し、しかもフリッカ以外の画像成分を互いに差し引いて小さくしている。これによって、フリッカ判定を精度よく行うことができる。なお、この場合、画像の影響を更に抑えるために、画像信号Ｓｉｇ１１ａと画像信号Ｓｉｇ１１ｂとの各被写体の位置を一致させて差分処理を施すこともできる。
【００７４】
フリッカ検出手段４において、フリッカ成分を強調しかつ被写体および背景画像の影響を取り除いた差分処理後の画像信号Ｓｉｇ１２を用いて、画像平均値算出手段４１と周波数算出手段４２でフリッカ成分を抽出することにより、従来のように単眼の画像信号Ｓｉｇ１１だけを用いて求めるのに比べてフリッカ発生の検出精度が大幅に高くなる。
【００７５】
このように、横縞の位置をずらした２つの画像の差をとることにより、被写体の影響を弱め、フリッカの横縞を強調することができる。特に、３Ｄカメラ（多眼撮像装置）の場合、二つのカメラＡ、Ｂの画像は、垂直方向にはほとんどずれがないため、差をとることにより、垂直方向の被写体の影響を大幅に低減することができる。
【００７６】
図７は、本発明の実施形態１のフリッカ検出装置１を用いた固体撮像装置の要部構成例を示すブロック図である。
【００７７】
図７に示すように、本実施形態１の固体撮像装置１０Ａは、図１の画像処理手段３およびフリッカ検出手段４を有するフリッカ検出装置１と、フリッカ検出装置１から出力されるフリッカ周波数情報のフリッカ情報Ｓｉｇ１３を元に、複数の画像信号Ｓｉｇ１１にそれぞれ対して補正を行って、各画像信号Ｓｉｇ１１中のフリッカ周波数成分を除去した各画像信号Ｓｉｇ１４をそれぞれ各出力端子６に出力する複数のフリッカ補正手段５とを有している。
【００７８】
フリッカ補正手段５は、フリッカ情報Ｓｉｇ１３からのフリッカ周波数とフレーム周波数とに基づいて算出されたフリッカ補正量を、複数の画像信号Ｓｉｇ１１にそれぞれ対して乗算してフリッカ成分の除去をそれぞれ行う。このように、フリッカ成分と逆の位相の波形を画像信号Ｓｉｇ１１にそれぞれ乗算することにより、フリッカ成分を取り除く補正を行うことができる。
【００７９】
図８は、本発明の実施形態１のフリッカ検出装置１を用いた固体撮像装置の要部構成例の他の事例を示すブロック図である。
【００８０】
図８に示すように、本実施形態１の固体撮像装置１０Ｂは、図１の画像処理手段３およびフリッカ検出手段４を有するフリッカ検出装置１と、フリッカ検出装置１によって出力されたフリッカ情報Ｓｉｇ１３を元に、フリッカが発生しない露光時間を固体撮像素子１１〜１３にそれぞれ設定することにより、画像信号Ｓｉｇ１１中にフリッカ成分が発生しないようにするセンサ駆動制御手段１４とを備えている。
【００８１】
以上により、本実施形態１によれば、複数の撮像素子の各画像信号からフリッカの発生を検出するフリッカ検出装置１において、同時に撮影された二つの画像信号を画像処理（差分処理）してフリッカ成分以外の画像情報を排除する画像処理手段３と、フリッカ成分以外の画像情報排除処理後の画像信号からフリッカ情報を抽出するフリッカ検出手段４とを有している。
【００８２】
これによって、動作タイミングをフリッカ周波数の半周期分だけずらした２眼撮像装置（複眼カメラ）の各画像信号の差分を取ることにより、同時に撮影された二つの画像信号を画像処理してフリッカ成分以外の画像情報を排除するため、被写体および背景画像の影響を低減し、フリッカ成分を強調した状態で、フリッカ成分を抽出することにより誤認識を大幅に低減することができる。これによって、フリッカ周波数の半周期分ずらすことによりフリッカ成分を強調し、しかもフリッカ以外の画像成分を互いに差し引いて小さくしているため、フレームメモリなど部品点数やチップサイズの増大を抑え、かつ被写体画像の影響を軽減してフリッカノイズを効果的に検出できてフリッカ判定を精度よく行うことができる。
【００８３】
なお、本実施形態１では、複数の撮像素子の各画像信号からフリッカの発生を検出するフリッカ検出装置１について説明してきたが、これを用いたフリッカ検出方法についても同様である。
【００８４】
即ち、フリッカ検出装置１を用いたフリッカ検出方法において、画像処理手段３が、同時に撮影された二つの画像信号Ｓｉｇ１１を画像処理してフリッカ成分以外の画像情報を排除する画像処理工程と、フリッカ検出手段４が、フリッカ成分以外の画像情報排除後の画像信号Ｓｉｇ１２からフリッカ情報（フリッカ周波数成分）を抽出するフリッカ検出工程とを有していてもよい。
【００８５】
画像処理工程は、垂直同期信号シフト手段３１が、第１撮像素子からの垂直同期信号に対して第２撮像素子からの垂直同期信号をフリッカ周波数の半周期分だけずらす垂直同期信号シフト工程と、差分処理手段３２が、複数の撮像素子のうちの第１撮像素子および第２撮像素子からの二つの画像信号を差分処理する差分処理工程とを有している。
【００８６】
フリッカ検出工程は、画像平均値算出手段４１が、差分処理後の画像信号を１フィールドの１水平ライン毎または複数水平ライン毎に画像平均値情報を算出する画像平均値算出工程と、周波数変換手段４２が、算出した画像平均値情報を周波数変換してフリッカ情報を抽出する周波数算出工程とを有している。
【００８７】
本実施形態１では、これらの垂直同期信号シフト工程および差分処理工程のうちの少なくとも差分処理工程を行う場合について説明したが、これに限らず、垂直同期信号シフト工程だけを行う場合についても、フリッカノイズを効果的に検出できてフリッカ判定を精度よく行うことができる本発明の目的を達成することができる。この場合、画像処理工程において、画像処理手段３が、フリッカ周波数成分を強調する画像処理を行えばよい。
【００８８】
なお、本実施形態１では、画像処理手段３は、第１固体撮像素子からの垂直同期信号Ｓｉｇ２１に対して第２固体撮像素子からの垂直同期信号Ｓｉｇ２２をフリッカ周波数の半周期分だけずらす垂直同期信号シフト手段３１と、互いに垂直同期信号Ｓｉｇ２１、Ｓｉｇ２２をフリッカ周波数の半周期分だけずらした第１固体撮像素子および第２固体撮像素子からの二つの画像信号Ｓｉｇ１１ａ，Ｓｉｇ１１ｂを差分処理する差分処理手段３２とのうちの少なくとも差分処理手段３２による差分処理について説明したが、これに限らず、画像処理手段３は、第１固体撮像素子からの垂直同期信号Ｓｉｇ２１に対して第２固体撮像素子からの垂直同期信号Ｓｉｇ２２をフリッカ周波数の半周期分だけずらす垂直同期信号シフト手段３１だけを有していてもよい。前述したが、画像処理手段３は、複数の固体撮像素子のうちの第１固体撮像素子および第２固体撮像素子からの二つの画像信号Ｓｉｇ１１ａ，Ｓｉｇ１１ｂを差分処理する差分処理手段３２だけを有していてもよい。
【００８９】
この場合のフリッカ検出方法の画像処理工程は、差分処理手段３２が、複数の固体撮像素子のうちの第１固体撮像素子および第２固体撮像素子からの二つの画像信号Ｓｉｇ１１ａ，Ｓｉｇ１１ｂを差分処理する差分処理工程を有する。また、画像処理工程は、垂直同期信号シフト手段３１が、第１固体撮像素子からの垂直同期信号Ｓｉｇ２１に対して第２固体撮像素子からの垂直同期信号Ｓｉｇ２２をフリッカ周波数の半周期分だけずらす垂直同期信号シフト工程を有する。
【００９０】
（実施形態２）
上記実施形態１では、フリッカ検出装置１をハードウェア構成について説明したが、本実施形態２では、フリッカ検出装置のソフトウェア構成について説明する。
【００９１】
図９は、本発明の実施形態２のフリッカ検出装置の要部構成例を示すブロック図である。
【００９２】
図９において、本実施形態２のフリッカ検出装置１Ａは、コンピュータシステムで構成されており、フリッカ検出制御を行う制御手段としてのＣＰＵ２１（中央演算処理装置）と、ＣＰＵ２１の起動時にワークメモリとして働く一時記憶手段としてのＲＡＭ２２と、ＣＰＵ２１を動作させるためのフリッカ検出の制御プログラムおよびこれに用いる各種データなどが記録されたコンピュータ読み取り可能な可読記録媒体（記憶手段）としてのＲＯＭ２３とを有している。
【００９３】
ＣＰＵ２１は、ＲＯＭ２３内からＲＡＭ２２内に読み出されたフリッカ検出の制御プログラムおよびこれに用いる各種データに基づいて、複数の撮像素子から入力される各画像信号Ｓｉｇ１１からフリッカの発生を検出するフリッカ検出装置１Ａにおいて、同時に撮影された二つの画像信号Ｓｉｇ１１を画像処理してフリッカ成分以外の情報を排除する画像処理手段３Ａと、フリッカ成分以外の情報排除処理後の画像信号Ｓｉｇ１２からフリッカ情報（フリッカ周波数成分）を抽出するフリッカ検出手段４Ａの機能を実行するようになっている。
【００９４】
画像処理手段３Ａは、第１撮像素子からの垂直同期信号に対して第２撮像素子からの垂直同期信号をフリッカ周波数の半周期分だけずらす垂直同期信号シフト手段３１Ａと、複数の撮像素子のうちの第１撮像素子および第２撮像素子からの同時に設営された二つの画像信号Ｓｉｇ１１を差分処理する差分処理手段３２Ａとを有している。
【００９５】
フリッカ検出手段４Ａは、差分処理後の画像信号を１フィールドの１水平ライン毎または複数水平ライン毎に画像平均値情報を算出する画像平均値算出手段４１Ａと、算出した画像平均値情報を周波数変換してフリッカ情報を抽出する周波数算出手段４２Ａとを有している。
【００９６】
可読記録媒体としてのＲＯＭ２３としては、ハードディスクの他、形態自在な光ディスク、光磁気ディスク、磁気ディスクおよびＩＣメモリなどで構成されていてもよい。この制御プログラムおよびそのデータなどがＲＯＭに記憶されるが、この制御プログラムおよびそのデータは、他の可読記録媒体から、または、無線、有線またはインターネットなどを介してＲＯＭ２３にダウンロードされてもよい。
【００９７】
以上により、本実施形態２によれば、フレームメモリなど部品点数やチップサイズの増大を抑え、かつ被写体画像の影響を軽減してフリッカノイズを効果的に検出できてフリッカ判定を精度よく行うことができる。
【００９８】
なお、本実施形態２のフリッカ検出装置１Ａは、上記実施形態１のフリッカ検出装置１の場合と同様に、固体撮像装置１０Ａ、１０Ｂに適用することもできる。また、これらの固体撮像装置１０Ａまたは１０Ｂを、二つ以上の固体撮像素子から取得される各画像信号を撮像可能とする後述の多眼撮像装置１０Ｃに適用することもできる。
【００９９】
なお、本実施形態２では、複数の撮像素子の各画像信号からフリッカの発生を検出するフリッカ検出装置１Ａについて説明してきたが、これを用いたフリッカ検出方法についても同様である。
【０１００】
即ち、フリッカ検出装置１Ａを用いたフリッカ検出方法において、画像処理手段３Ａが、同時に撮影された二つの画像信号Ｓｉｇ１１を画像処理してフリッカ成分以外の画像情報を排除する画像処理工程と、フリッカ検出手段４Ａが、フリッカ成分以外の画像情報排除後の画像信号Ｓｉｇ１２からフリッカ情報（フリッカ周波数成分）を抽出するフリッカ検出工程とを有していてもよい。
【０１０１】
画像処理工程は、垂直同期信号シフト手段３１Ａが、第１撮像素子からの垂直同期信号に対して第２撮像素子からの垂直同期信号をフリッカ周波数の半周期分だけずらす垂直同期信号シフト工程と、差分処理手段３２Ａが、複数の撮像素子のうちの第１撮像素子および第２撮像素子からの二つの画像信号を差分処理する差分処理工程とを有している。
【０１０２】
フリッカ検出工程は、画像平均値算出手段４１Ａが、差分処理後の画像信号を１フィールドの１水平ライン毎または複数水平ライン毎に画像平均値情報を算出する画像平均値算出工程と、周波数変換手段４２Ａが、算出した画像平均値情報を周波数変換してフリッカ情報を抽出する周波数算出工程とを有している。
【０１０３】
本実施形態２では、これらの垂直同期信号シフト工程および差分処理工程を行う場合について説明したが、これに限らず、垂直同期信号シフト工程だけを行う場合、または差分処理工程だけを行う場合についても、フリッカノイズを効果的に検出できてフリッカ判定を精度よく行うことができる本発明の目的を達成することができる。この場合、画像処理工程において、画像処理手段３Ａが、フリッカ周波数成分を強調する画像処理を行えばよい。
【０１０４】
（実施形態３）
図１０は、本発明の実施形態３として、本発明の実施形態１、２のフリッカ検出装置１または１Ａを用いた固体撮像装置１０Ａまたは１０Ｂ、または多眼撮像装置１０Ｃを撮像部に用いた電子情報機器の概略構成例を示すブロック図である。
【０１０５】
図１０において、本実施形態３の電子情報機器９０は、画像信号を信号処理してカラー画像信号を得る、上記実施形態１、２のフリッカ検出装置１または１Ａを用いた固体撮像装置１０Ａまたは１０Ｂ、または多眼撮像装置１０Ｃと、この１０Ａまたは１０Ｂ、または多眼撮像装置からのカラー画像信号を記録用に所定の信号処理した後にデータ記録可能とする記録メディアなどのメモリ部９１と、この固体撮像装置１０Ａまたは１０Ｂ、または多眼撮像装置からのカラー画像信号を表示用に所定の信号処理した後に液晶表示画面などの表示画面上に表示可能とする液晶表示装置などの表示部９２と、この固体撮像装置１０Ａまたは１０Ｂ、または多眼撮像装置からのカラー画像信号を通信用に所定の信号処理をした後に通信処理可能とする送受信装置などの通信部９３と、この固体撮像装置１０Ａまたは１０Ｂ、または多眼撮像装置からのカラー画像信号を印刷用に所定の印刷信号処理をした後に印刷処理可能とするプリンタなどの画像出力部９４とを有している。なお、この電子情報機器９０として、これに限らず、固体撮像装置１０Ａまたは１０Ｂ、または多眼撮像装置の他に、メモリ部９１と、表示部９２と、通信部９３と、プリンタなどの画像出力部９４とのうちの少なくともいずれかを有していてもよい。
【０１０６】
この電子情報機器９０としては、前述したように例えばデジタルビデオカメラ、デジタルスチルカメラなどのデジタルカメラや、監視カメラ、ドアホンカメラ、車載用後方監視カメラなどの車載用カメラおよびテレビジョン電話用カメラなどの画像入力カメラ、スキャナ装置、ファクシミリ装置、カメラ付き携帯電話装置および携帯端末装置（ＰＤＡ）などの画像入力デバイスを有した電子機器が考えられる。
【０１０７】
したがって、本実施形態３によれば、この固体撮像装置１０Ａまたは１０Ｂ、または多眼撮像装置からのカラー画像信号に基づいて、これを表示画面上に良好に表示したり、これを紙面にて画像出力部９４により良好にプリントアウト（印刷）したり、これを通信データとして有線または無線にて良好に通信したり、これをメモリ部９１に所定のデータ圧縮処理を行って良好に記憶したり、各種データ処理を良好に行うことができる。
【０１０８】
なお、本実施形態１、２では、フリッカ検出装置１または１Ａは、同時に撮影された二つの画像信号を画像処理してフリッカ成分以外の画像情報を排除する画像処理手段３または３Ａと、フリッカ成分以外の情報排除処理後の画像信号からフリッカ情報を抽出するフリッカ検出手段４または４Ａとを有する。画像処理手段３または３Ａは、前記第１撮像素子からの垂直同期信号に対して前記第２撮像素子からの垂直同期信号をフリッカ周波数の半周期分だけずらす垂直同期信号シフト手段３１または３１Ａと、複数の撮像素子のうちの第１撮像素子および第２撮像素子からの二つの画像信号を差分処理する差分処理手段３２または３２Ａとのうちの少なくとも差分処理手段３２または３２Ａを有する場合について説明したが、これに限らず、本発明のフリッカ検出装置は、複数の固体撮像素子の画像信号からフリッカ検出が容易なように画像処理を行う画像処理手段と、画像信号からフリッカ周波数成分を検出するフリッカ検出手段とを有していてもよい。この場合、本発明の固体撮像装置は、上記本発明のフリッカ検出装置と、複数の固体撮像素子と、発生したフリッカを信号処理で除去するフリッカ補正手段を有していてもよい。また、本発明の固体撮像装置は、上記本発明のフリッカ検出装置と、複数の固体撮像素子と、フリッカ検出装置で判定したフリッカ情報に基づいて固体撮像素子の動作を制御するセンサ駆動制御手段とを有していてもよい。さらに、固体撮像素子に対して、フリッカの検出に適したタイミングで動作するように制御するセンサ制御装置で構成されていてもよい。さらに、固体撮像素子に対して、フリッカの検出に適した画像出力位置を制御するセンサ制御装置で構成されていてもよい。固体撮像素子からの画像信号に対して、フリッカの検出に適した範囲の画像を切りだす画像切り出し手段を有してもよい。
【０１０９】
以上のように、本発明の好ましい実施形態１〜３を用いて本発明を例示してきたが、本発明は、この実施形態１〜３に限定して解釈されるべきものではない。本発明は、特許請求の範囲によってのみその範囲が解釈されるべきであることが理解される。当業者は、本発明の具体的な好ましい実施形態１〜３の記載から、本発明の記載および技術常識に基づいて等価な範囲を実施することができることが理解される。本明細書において引用した特許、特許出願および文献は、その内容自体が具体的に本明細書に記載されているのと同様にその内容が本明細書に対する参考として援用されるべきであることが理解される。
【産業上の利用可能性】
【０１１０】
本発明は、複数の視点に対応する複数のセンサからの画像からフリッカの発生を検出するフリッカ検出装置およびこれを用いたフリッカ検出方法、このフリッカ検出装置で検出したフリッカを補正可能とする固体撮像装置、被写体からの画像光を光電変換して撮像するＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）に代表される二つ以上の固体撮像素子から取得される各画像信号を撮像可能とする多眼撮像装置、このフリッカ検出方法をコンピュータに実行させるための制御プログラム、この制御プログラムが記録されたコンピュータ読み取り可能な可読記録媒体、この固体撮像装置または多眼撮像装置を撮像部に用いた例えばデジタルビデオカメラおよびデジタルスチルカメラなどのデジタルカメラや、車載用カメラなどの画像入力カメラ、スキャナ、ファクシミリ、カメラ付き携帯電話装置などの電子情報機器の分野において、同時に撮影された二つの画像信号を画像処理してフリッカ成分以外の情報を排除することおよびフリッカ周波数成分を強調することのうち少なくともいずれかを行うため、被写体および背景画像の影響を軽減したりフリッカ周波数成分を強調して、フレームメモリなど部品点数やチップサイズの増大を抑え、かつフリッカノイズを効果的に検出できてフリッカ判定を精度よく行うことができる。
【符号の説明】
【０１１１】
１、１Ａ フリッカ検出装置
２ 入力端子
３、３Ａ 画像処理手段
３１、３１Ａ 垂直同期信号シフト手段
３２、３２Ａ 差分処理手段
４、４Ａ フリッカ検出手段
４１、４１Ａ 画像平均値算出手段
４２、４２Ａ 周波数算出手段
５ フリッカ補正手段
６ 出力端子
１０Ａ、１０Ｂ 固体撮像装置
１０Ｃ 多眼撮像装置
１４ センサ駆動制御手段
２１ ＣＰＵ２１（制御手段）
２２ ＲＡＭ
２３ ＲＯＭ
Ｓｉｇ１１ 入力画像信号
Ｓｉｇ１１ａ 第１固体撮像素子からの画像信号
Ｓｉｇ１１ｂ 第２固体撮像素子からの画像信号
Ｓｉｇ１２ 差分処理後の画像信号
Ｓｉｇ１３ フリッカ情報
Ｓｉｇ１４ フリッカ成分を除去した各画像信号
Ｓｉｇ２１、２２ 垂直同期信号
９０ 電子情報機器
９１ メモリ部
９２ 表示部
９３ 通信部
９４ 画像出力部
【特許請求の範囲】
【請求項１】
複数の撮像素子の各画像信号からフリッカの発生を検出するフリッカ検出装置であって、
同時に撮影された二つの画像信号を画像処理してフリッカ成分以外の画像情報を排除することおよびフリッカ周波数成分を強調することのうち少なくともいずれかを行う画像処理手段と、
該フリッカ成分以外の画像情報排除処理後の画像信号からフリッカ情報を抽出するフリッカ検出手段とを有するフリッカ検出装置。
【請求項２】
前記画像処理手段は、前記複数の撮像素子のうちの第１撮像素子および第２撮像素子からの二画面の画像情報を差分処理する差分処理手段を有する請求項１に記載のフリッカ検出装置。
【請求項３】
前記画像処理手段は、前記第１撮像素子からの垂直同期信号に対して前記第２撮像素子からの垂直同期信号をフリッカ周波数の半周期分だけずらす垂直同期信号シフト手段を有する請求項１に記載のフリッカ検出装置。
【請求項４】
前記画像処理手段は、前記第１撮像素子からの垂直同期信号に対して前記第２撮像素子からの垂直同期信号をフリッカ周波数の半周期分だけずらす垂直同期信号シフト手段と、互いに該垂直同期信号をフリッカ周波数の半周期分だけずらした該第１撮像素子および該第２撮像素子からの二画面の画像情報を差分処理する差分処理手段とを有する請求項１に記載のフリッカ検出装置。
【請求項５】
前記フリッカ検出手段は、
前記差分処理後の画像信号を１フィールドの１水平ライン毎または複数水平ライン毎に画像平均値情報を算出する画像平均値算出手段を有する請求項１に記載のフリッカ検出装置。
【請求項６】
前記フリッカ検出手段は、
前記算出した画像平均値情報を周波数変換してフリッカ周波数を抽出する周波数変換手段を更に有し、該フリッカ周波数を前記フリッカ情報として抽出する請求項５に記載のフリッカ検出装置。
【請求項７】
前記周波数変換手段は、前記算出した画像平均値情報を離散フーリエ変換してフリッカ周波数のフリッカ情報を検出する請求項６に記載のフリッカ検出装置。
【請求項８】
請求項１〜７のいずれかに記載のフリッカ検出装置と、該フリッカ検出装置から出力されるフリッカ情報を元に、前記複数の撮像素子の各画像信号に対してそれぞれ補正を行って、該各画像信号中のフリッカ周波数成分を除去した各画像信号を出力するフリッカ補正手段とを有する固体撮像装置。
【請求項９】
請求項１〜７のいずれかに記載のフリッカ検出装置と、該フリッカ検出装置から出力されるフリッカ情報を元に、フリッカが発生しない露光時間を前記複数の撮像素子にそれぞれ設定するセンサ駆動制御手段とを有する固体撮像装置。
【請求項１０】
請求項８または９に記載の固体撮像装置の二つ以上の撮像素子から取得される各画像信号を撮像可能とする多眼撮像装置。
【請求項１１】
請求項８または９に記載の固体撮像装置または請求項１０に記載の多眼撮像装置を画像入力デバイスとして撮像部に用いた電子情報機器。
【請求項１２】
複数の撮像素子の各画像信号からフリッカの発生を検出するフリッカ検出方法であって、
画像処理手段が、同時に撮影された二つの画像信号を画像処理してフリッカ成分以外の画像情報を排除することおよびフリッカ周波数成分を強調することのうち少なくともいずれかを行う画像処理工程と、
フリッカ検出手段が、該フリッカ成分以外の画像情報排除処理後の画像信号からフリッカ情報を抽出するフリッカ検出工程とを有するフリッカ検出方法。
【請求項１３】
前記画像処理工程は、差分処理手段が、前記複数の撮像素子のうちの第１撮像素子および第２撮像素子からの二画面の画像情報を差分処理する差分処理工程を有する請求項１２に記載のフリッカ検出方法。
【請求項１４】
前記画像処理工程は、垂直同期信号シフト手段が、前記第１撮像素子からの垂直同期信号に対して前記第２撮像素子からの垂直同期信号をフリッカ周波数の半周期分だけずらす垂直同期信号シフト工程を有する請求項１２に記載のフリッカ検出方法。
【請求項１５】
前記画像処理工程は、垂直同期信号シフト手段が、前記第１撮像素子からの垂直同期信号に対して前記第２撮像素子からの垂直同期信号をフリッカ周波数の半周期分だけずらす垂直同期信号シフト工程と、差分処理手段が、互いに該垂直同期信号をフリッカ周波数の半周期分だけずらした第１撮像素子および第２撮像素子からの二画面の画像情報を差分処理する差分処理工程とを有する請求項１２に記載のフリッカ検出方法。
【請求項１６】
前記フリッカ検出工程は、
画像平均値算出手段が、前記差分処理後の画像信号を１フィールドの１水平ラインまたは複数水平ライン毎に画像平均値情報を算出する画像平均値算出工程を有し、該画像平均値情報に基づいてフリッカ情報を抽出する請求項１２に記載のフリッカ検出方法。
【請求項１７】
前記フリッカ検出工程は、
周波数算出手段が、前記算出した画像平均値情報を周波数変換して前記フリッカ情報を抽出する周波数算出工程を更に有する請求項１６に記載のフリッカ検出方法。
【請求項１８】
前記周波数算出工程は、前記算出した画像平均値情報を離散フーリエ変換してフリッカ周波数のフリッカ情報を検出する請求項１７に記載のフリッカ検出方法。
【請求項１９】
請求項１２〜１８のいずれかに記載のフリッカ検出方法の各工程をコンピュータに実行させるための制御プログラム。
【請求項２０】
請求項１９に記載の制御プログラムが記録されたコンピュータ読み出し可能な可読記録媒体。
【請求項１】
複数の撮像素子の各画像信号からフリッカの発生を検出するフリッカ検出装置であって、
同時に撮影された二つの画像信号を画像処理してフリッカ成分以外の画像情報を排除することおよびフリッカ周波数成分を強調することのうち少なくともいずれかを行う画像処理手段と、
該フリッカ成分以外の画像情報排除処理後の画像信号からフリッカ情報を抽出するフリッカ検出手段とを有するフリッカ検出装置。
【請求項２】
前記画像処理手段は、前記複数の撮像素子のうちの第１撮像素子および第２撮像素子からの二画面の画像情報を差分処理する差分処理手段を有する請求項１に記載のフリッカ検出装置。
【請求項３】
前記画像処理手段は、前記第１撮像素子からの垂直同期信号に対して前記第２撮像素子からの垂直同期信号をフリッカ周波数の半周期分だけずらす垂直同期信号シフト手段を有する請求項１に記載のフリッカ検出装置。
【請求項４】
前記画像処理手段は、前記第１撮像素子からの垂直同期信号に対して前記第２撮像素子からの垂直同期信号をフリッカ周波数の半周期分だけずらす垂直同期信号シフト手段と、互いに該垂直同期信号をフリッカ周波数の半周期分だけずらした該第１撮像素子および該第２撮像素子からの二画面の画像情報を差分処理する差分処理手段とを有する請求項１に記載のフリッカ検出装置。
【請求項５】
前記フリッカ検出手段は、
前記差分処理後の画像信号を１フィールドの１水平ライン毎または複数水平ライン毎に画像平均値情報を算出する画像平均値算出手段を有する請求項１に記載のフリッカ検出装置。
【請求項６】
前記フリッカ検出手段は、
前記算出した画像平均値情報を周波数変換してフリッカ周波数を抽出する周波数変換手段を更に有し、該フリッカ周波数を前記フリッカ情報として抽出する請求項５に記載のフリッカ検出装置。
【請求項７】
前記周波数変換手段は、前記算出した画像平均値情報を離散フーリエ変換してフリッカ周波数のフリッカ情報を検出する請求項６に記載のフリッカ検出装置。
【請求項８】
請求項１〜７のいずれかに記載のフリッカ検出装置と、該フリッカ検出装置から出力されるフリッカ情報を元に、前記複数の撮像素子の各画像信号に対してそれぞれ補正を行って、該各画像信号中のフリッカ周波数成分を除去した各画像信号を出力するフリッカ補正手段とを有する固体撮像装置。
【請求項９】
請求項１〜７のいずれかに記載のフリッカ検出装置と、該フリッカ検出装置から出力されるフリッカ情報を元に、フリッカが発生しない露光時間を前記複数の撮像素子にそれぞれ設定するセンサ駆動制御手段とを有する固体撮像装置。
【請求項１０】
請求項８または９に記載の固体撮像装置の二つ以上の撮像素子から取得される各画像信号を撮像可能とする多眼撮像装置。
【請求項１１】
請求項８または９に記載の固体撮像装置または請求項１０に記載の多眼撮像装置を画像入力デバイスとして撮像部に用いた電子情報機器。
【請求項１２】
複数の撮像素子の各画像信号からフリッカの発生を検出するフリッカ検出方法であって、
画像処理手段が、同時に撮影された二つの画像信号を画像処理してフリッカ成分以外の画像情報を排除することおよびフリッカ周波数成分を強調することのうち少なくともいずれかを行う画像処理工程と、
フリッカ検出手段が、該フリッカ成分以外の画像情報排除処理後の画像信号からフリッカ情報を抽出するフリッカ検出工程とを有するフリッカ検出方法。
【請求項１３】
前記画像処理工程は、差分処理手段が、前記複数の撮像素子のうちの第１撮像素子および第２撮像素子からの二画面の画像情報を差分処理する差分処理工程を有する請求項１２に記載のフリッカ検出方法。
【請求項１４】
前記画像処理工程は、垂直同期信号シフト手段が、前記第１撮像素子からの垂直同期信号に対して前記第２撮像素子からの垂直同期信号をフリッカ周波数の半周期分だけずらす垂直同期信号シフト工程を有する請求項１２に記載のフリッカ検出方法。
【請求項１５】
前記画像処理工程は、垂直同期信号シフト手段が、前記第１撮像素子からの垂直同期信号に対して前記第２撮像素子からの垂直同期信号をフリッカ周波数の半周期分だけずらす垂直同期信号シフト工程と、差分処理手段が、互いに該垂直同期信号をフリッカ周波数の半周期分だけずらした第１撮像素子および第２撮像素子からの二画面の画像情報を差分処理する差分処理工程とを有する請求項１２に記載のフリッカ検出方法。
【請求項１６】
前記フリッカ検出工程は、
画像平均値算出手段が、前記差分処理後の画像信号を１フィールドの１水平ラインまたは複数水平ライン毎に画像平均値情報を算出する画像平均値算出工程を有し、該画像平均値情報に基づいてフリッカ情報を抽出する請求項１２に記載のフリッカ検出方法。
【請求項１７】
前記フリッカ検出工程は、
周波数算出手段が、前記算出した画像平均値情報を周波数変換して前記フリッカ情報を抽出する周波数算出工程を更に有する請求項１６に記載のフリッカ検出方法。
【請求項１８】
前記周波数算出工程は、前記算出した画像平均値情報を離散フーリエ変換してフリッカ周波数のフリッカ情報を検出する請求項１７に記載のフリッカ検出方法。
【請求項１９】
請求項１２〜１８のいずれかに記載のフリッカ検出方法の各工程をコンピュータに実行させるための制御プログラム。
【請求項２０】
請求項１９に記載の制御プログラムが記録されたコンピュータ読み出し可能な可読記録媒体。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【公開番号】特開２０１３−５１５２３（Ｐ２０１３−５１５２３Ａ）
【公開日】平成２５年３月１４日（２０１３．３．１４）
【国際特許分類】
【出願番号】特願２０１１−１８７８３９（Ｐ２０１１−１８７８３９）
【出願日】平成２３年８月３０日（２０１１．８．３０）
【出願人】（０００００５０４９）シャープ株式会社 (33,933)
【Ｆターム（参考）】
【公開日】平成２５年３月１４日（２０１３．３．１４）
【国際特許分類】
【出願日】平成２３年８月３０日（２０１１．８．３０）
【出願人】（０００００５０４９）シャープ株式会社 (33,933)
【Ｆターム（参考）】
[ Back to top ]