撮像装置および画像処理制御プログラム
【課題】フリッカが生じる撮影環境下で撮影した場合に生じる、画像における輝度ムラおよび色被りを低減すること。
【解決手段】撮像装置は、順次に露光される複数の画素ラインを有する撮像素子と、撮像素子で複数回露光して生成された複数の画像を重ね合わせて、重ね合わせ画像を生成する画像処理部とを備え、画像処理部は、複数の画素ラインに平行な複数の帯状の画像領域毎にホワイトバランス補正を施した重ね合わせ画像を生成する。
【解決手段】撮像装置は、順次に露光される複数の画素ラインを有する撮像素子と、撮像素子で複数回露光して生成された複数の画像を重ね合わせて、重ね合わせ画像を生成する画像処理部とを備え、画像処理部は、複数の画素ラインに平行な複数の帯状の画像領域毎にホワイトバランス補正を施した重ね合わせ画像を生成する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置および画像処理制御プログラムに関する。
【背景技術】
【０００２】
撮像素子の予め設定された領域から読み出した電気信号を用いてフリッカ周波数を判定する撮像装置が知られている（例えば特許文献１）。また、固体撮像素子の各画素における露光時間を照明のフリッカ周期の半分だけずれたタイミングで別々に読み出して、得られた２系統の信号を同時化して足し合わせる固体撮像素子が知られている（例えば特許文献２）。
［先行技術文献］
［特許文献］
［特許文献１］特開２００９−７７０６５号公報
［特許文献２］特開２００３−３２５５１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００３】
照明光の光強度が周期的に変化するだけでなく照明光の色温度も時間的に変化する場合、輝度ムラが生じるだけでなく色被りが画像領域毎に変わってしまうという課題があった。
【課題を解決するための手段】
【０００４】
上記課題を解決するために、本発明の第１の態様における撮像装置は、順次に露光される複数の画素ラインを有する撮像素子と、撮像素子で複数回露光して生成された複数の画像を重ね合わせて、重ね合わせ画像を生成する画像処理部とを備え、画像処理部は、複数の画素ラインに平行な複数の帯状の画像領域毎にホワイトバランス補正を施した重ね合わせ画像を生成する。
【０００５】
なお、上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではない。また、これらの特徴群のサブコンビネーションもまた、発明となりうる。
【図面の簡単な説明】
【０００６】
【図１】実施形態によるカメラ１００のシステム構成図である。
【図２】静止画撮影モードでの処理の一例を模式的に示す図である。
【図３】画像データ２１０の色成分を説明する図である。
【図４】ホワイトバランス補正された重ね合わせ画像４００の一例である。
【図５】ホワイトバランス補正を部分領域で行う処理例を模式的に示す図である。
【図６】静止画撮影モードでの処理フロー図である。
【図７】動画撮影モードでの処理の一例を模式的に示す図である。
【図８】動画撮影モードでの処理フロー図を示す図である。
【図９】撮影およびフレーム生成の処理を実行するフロー図である。
【発明を実施するための形態】
【０００７】
以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は特許請求の範囲にかかる発明を限定するものではない。また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。
【０００８】
図１は、本実施形態に係るカメラ１００のシステム構成図を示す。カメラ１００は光学系１０１を備える。光学系１０１は、ズームレンズ、フォーカスレンズ等により構成される。被写体光は光軸に沿って光学系１０１に入射し、撮像素子１０３の前面に配置されたフォーカルプレーンシャッタ１０２を通過して撮像素子１０３の受光面に被写体像として結像する。
【０００９】
撮像素子１０３は、被写体像である光学像を光電変換する素子であり、例えば、ＣＣＤ、ＣＭＯＳセンサが用いられる。撮像素子１０３で光電変換された被写体像は、電荷として読み出されてアンプ部１０４でゲイン調整等がなされる。アンプ部１０４で増幅された信号は、アナログ信号としてＡ／Ｄ変換器１０５へ転送され、Ａ／Ｄ変換器１０５でデジタル信号に変換される。撮像素子１０３の電荷読み出し、フォーカルプレーンシャッタ１０２の駆動等の制御は、システム制御部１１４の同期制御を受けたタイミング発生部１１２が供給するクロック信号により制御される。
【００１０】
デジタル信号に変換された被写体像は、画像データとして順次処理される。Ａ／Ｄ変換器１０５によりデジタル信号に変換された画像データは、画像処理部１０７へ引き渡されて処理される。具体的には、Ａ／Ｄ変換器１０５によりデジタル信号に変換された画像データは、メモリ制御部１０６の制御により、内部メモリ１０８に一旦記憶される。内部メモリ１０８は、高速で読み書きのできるランダムアクセスメモリであり、例えばＤＲＡＭ、ＳＲＡＭなどが用いられる。内部メモリ１０８は、連写撮影、動画撮影において高速に連続して画像データが生成される場合に、画像処理の順番を待つバッファメモリとしての役割を担う。また、画像処理部１０７が行う画像処理、圧縮処理において、ワークメモリとしての役割も担う。したがって、内部メモリ１０８は、これらの役割を担うに相当する十分なメモリ容量を備える。メモリ制御部１０６は、いかなる作業にどれくらいのメモリ容量を割り当てるかを制御する。
【００１１】
画像処理部１０７は、設定されている撮影モード、ユーザからの指示に従って、画像データを規格化された画像フォーマットの画像データに変換する。例えば、カメラ１００の撮影モードの一部として静止画撮影モードおよび動画撮影モードを有しており、静止画撮影モードで静止画像としてＪＰＥＧファイルを生成する場合、画像処理部１０７は、色変換処理、ガンマ処理、ホワイトバランス補正等の画像処理を行った後に適応離散コサイン変換等を施して圧縮処理を行う。また、例えば動画撮影モードで動画像としてのＭＰＥＧファイルを生成する場合、画像処理部１０７は、生成された連続する静止画としてのフレーム画像に対して、フレーム内符号化、フレーム間符号化、量子化、エントロピー符号化等を施して圧縮処理を行う。
【００１２】
変換された画像データは再び内部メモリ１０８に保管される。画像処理部１０７によって処理された静止画像データ、動画像データは、システム制御部１１４の制御により、内部メモリ１０８から記録媒体ＩＦ１１１を介して、不揮発性メモリである記録媒体１２２に記録される。記録媒体１２２は、フラッシュメモリ等により構成される。記録媒体１２２は、カメラ１００の本体に対して着脱可能な不揮発性メモリであってよい。
【００１３】
画像処理部１０７は、記録用に処理される画像データに並行して、表示用の画像データを生成する。生成された表示用の画像データは、表示制御部１０９の制御に従って、液晶パネル等で構成される表示部１１０に表示される。また、表示制御部１０９は、画像の表示と共に、もしくは画像を表示することなく、カメラ１００の各種設定に関する様々なメニュー項目を、表示部１１０に表示することができる。
【００１４】
カメラ１００は、上記の画像処理における各々の要素も含めて、システム制御部１１４により直接的または間接的に制御される。システム制御部１１４は、電気的に消去・記録可能な不揮発性メモリであるシステムメモリを有する。システムメモリは、ＥＥＰＲＯＭ（登録商標）等により構成される。システム制御部１１４が有するシステムメモリは、カメラ１００の動作時に必要な定数、変数、プログラム等を、カメラ１００の非動作時にも失われないよう記録している。システム制御部１１４は、定数、変数、プログラム等を適宜内部メモリ１０８に展開して、カメラ１００の制御に利用する。カメラ１００の動作時に必要な変数として、後述する照明光の明滅周波数を示す変数を含んでよい。
【００１５】
カメラ１００は、ユーザからの操作を受け付ける操作部材１２０を備えている。システム制御部１１４は、操作部材１２０が操作されたことを検知する。システム制御部１１４は、検出された操作に応じた動作を実行する。例えば、操作部材１２０としてのレリーズスイッチが操作されたことを検知したときには、システム制御部１１４は、被写体像を光電変換して画像データを生成する一連の撮影動作を実行する。また、カメラ１００の撮影モードの一部として、後述するように、少なくとも色被りを低減する撮影モードであるフリッカ低減モードを含むことができる。本実施形態において、フリッカ低減モードは、輝度ムラおよび色被りを低減する撮影モードとする。システム制御部１１４は、フリッカ低減モードのＯＮ／ＯＦＦを指示する操作を、操作部材１２０を通じてユーザから受け付けることができる。
【００１６】
また、システム制御部１１４は、照明光の明滅周波数に関する情報を、操作部材１２０を通じてユーザから受け付けてよい。例えば、システム制御部１１４は、カメラ１００の使用地域を指示する操作を、照明光の明滅周波数に関する情報として操作部材１２０を通じて受け付ける。システム制御部１１４は、指示された使用地域で用いられる交流電源の周波数に基づいて、照明光の明滅周波数を決定してよい。例えば、システム制御部１１４は、５０Ｈｚの交流電源が用いられる使用地域が指示された場合、照明光の明滅周波数を示す変数に１００Ｈｚを示す値を設定する。一方、システム制御部１１４は、６０Ｈｚの交流電源が用いられる使用地域が指示された場合、照明光の明滅周波数を示す変数に１２０Ｈｚを示す値を設定する。明滅周期は、明滅周波数の逆数によって算出され得る。なお、ユーザからの操作の他、システム制御部１１４は、ＧＰＳ情報に基づきカメラ１００の現在位置を検出して、現在位置に基づき照明光の明滅周波数を特定してよい。この場合、カメラ１００は、ＧＰＳ衛星からの信号を受信するＧＰＳモジュールを備えてもよい。
【００１７】
光学系１０１は、レンズ制御部１１３によって制御される。レンズ制御部１１３は、例えば、ユーザの指示に応じてズームレンズを駆動し、被写体像の画角を変更する。また、レンズ制御部１１３は、ＡＦ情報に基づいてフォーカスレンズを駆動し、被写体像を撮像素子１０３の受光面上で合焦させる。レンズ制御部１１３は、操作部材１２０等を通じてユーザによって指定された被写体に対して、オートフォーカスの制御を実行してよい。また、レンズ制御部１１３は、画像処理部１０７が処理した画像データまたは測光センサの出力を解析して露出値を算出する。レンズ制御部１１３は、算出した露出値に従って、光学系１０１が有する絞りの制御信号を出力する。
【００１８】
図２は、カメラ１００における静止画撮影モード時の処理の一例を、照明光の明滅パターンとともに模式的に示す。ここでは、照明光の明滅パターンとして、交流電源で駆動される蛍光灯の点滅により生じる明滅パターン２００を例示する。蛍光灯は、電源周波数の倍の周波数で点滅を繰り返す。例えば、５０Ｈｚの交流電源で駆動される蛍光灯は、１００Ｈｚで点滅を繰り返す。
【００１９】
システム制御部１１４は、レリーズスイッチが操作されて静止画撮影が指示されると、露光時間Ｔ１の露光を２度実行するよう、カメラ１００の各部を制御する。具体的には、カメラ１００のフォーカルプレーンシャッタ１０２は、撮像素子１０３の前面を、時間長さＴ１をかけてシャッタ幕を２度走行させることにより、撮像素子１０３で２度露光する。本例では、フォーカルプレーンシャッタ１０２は、時刻ｔ１から時刻ｔ２にかけて撮像素子１０３の前面を走行して１回目の露光をした後に、時刻ｔ３から時刻ｔ４にかけて撮像素子１０３の前面を走行して２回目の露光を行う。第１回目の露光後に撮像素子１０３から読み出された画像データ２１０は、内部メモリ１０８に記憶される。また、２回目の露光後に撮像素子１０３から読み出された画像データ２２０も内部メモリ１０８に記憶される。
【００２０】
静止画撮影時には、撮像素子１０３が有する複数の画素ラインは、フォーカルプレーンシャッタ１０２によって順次に露光されるので、画像データ２１０および画像データ２２０には、照明光の明滅によって生じた輝度ムラが現れる。本図の画像データ２１０および画像データ２２０では、輝度ムラを分かり易く説明するために、照明光による輝度成分のみを示している。輝度ムラは、フォーカルプレーンシャッタ１０２の走行方向に生じる。本例では、フォーカルプレーンシャッタ１０２の走行方向は画像上のＹ方向に対応し、Ｘ方向に延びる画素ラインの個々は略同時に露光されるとする。したがって、画像データ２１０および画像データ２２０には、Ｘ方向に延びる複数の帯の間で、輝度ムラが現れる。
【００２１】
本例のように、露光時間Ｔ１が明滅周期よりも短く、明滅周期の半周期よりも長い場合、画像データ２１０上には帯状の明部および帯状の暗部の少なくとも一方が１つ現れる。本例のように照明光の輝度が極小となる時刻ｔ１から露光を開始した場合、暗部の帯は、画像データ２１０のＹ方向の最上部に現れる。そして、照明光の輝度が極大となる時刻に対応するＹ方向の位置に、明部の帯が現れる。
【００２２】
本例において、１回目の露光と２回目の露光とは、明滅周期の２．５周期分ずれて行われる。すなわち、２回目の露光は、時刻ｔ１から、明滅周期の２．５周期分だけ後の時刻ｔ３から開始される。２回目の露光は、照明光の輝度が極大となる時刻ｔ３から開始されるので、画像データ２２０のＹ方向の輝度分布は、画像データ２１０のＹ方向の輝度分布と位相が逆転する。具体的には、画像データ２２０において暗部の帯が現れる位置は、画像データ２１０において明部が現れる位置と一致する。そして、画像データ２２０において明部の帯が現れる位置は、画像データ２１０において暗部が現れる位置と一致する。
【００２３】
画像処理部１０７は、画像データ２１０と画像データ２２０とを重ね合わせて平均化することにより、重ね合わせ画像データ２３０を生成する。輝度変化が互いに逆相となる画像データを重ね合わせることで重ね合わせ画像データ２３０が生成されるので、画像データ２３０に現れる輝度ムラは、画像データ２１０および画像データ２２０に現れる輝度ムラと比較して、著しく低減される。
【００２４】
図３は、画像データ２１０を色成分毎に模式的に示す。白色照明用の蛍光灯には、白色に近い照明光を発光するために、発光スペクトルが異なる複数の蛍光物質が用いられる。これらの蛍光体が互いに異なる発光特性を有する場合、照明光のスペクトルも時間的に変化する。例えば、蛍光灯に通常用いられる蛍光体によれば、Ｒ成分およびＧ成分と比較して、Ｂ成分の輝度が早く減衰する。また、Ｒ成分の輝度は、Ｇ成分と比較してゆっくりと減衰する場合がある。このため、画像データ２１０および画像データ２２０には、それぞれ色被りが生じる。
【００２５】
蛍光灯照明下ではＢ成分の輝度が比較的に早く減衰するので、図示されるように、Ｂ成分の画像データ２１０ｃには、Ｒ成分の画像データ２１０ａおよびＧ成分の画像データ２１０ｂと比較して、幅広な暗部が現れる。また、Ｒ成分の画像データ２１０ａには、Ｇ成分の画像データ２１０ｂと比較して、狭幅の暗部が現れる。したがって、画像データ２１０上の暗部領域は、Ｂ成分の輝度の強い落ち込みに対応して、黄色成分が強い帯状の領域となる。
【００２６】
画像データ２２０も、各色成分のＹ方向の輝度分布が逆相となる点を除いて、画像データ２１０と同様である。このような画像データ２１０と画像データ２２０とを重ね合わせた場合に、画像データ２３０上では色被りが残ってしまう場合がある。例えば、画像データ２１０の略白色な明部と、画像データ２２０の黄色の暗部を重ね合わせることで、画像データ２３０には黄色寄りの色を持つ帯が現れる。
【００２７】
一方で、例えば時刻ｔ１から明滅周期の１／４周期分ずれた時刻では、照明光のＢ成分は他の色成分と比較して大きくは落ち込んでいないとすると、対応する画像データ２１０の帯は略白色となる。時刻ｔ３から１／４周期分ずれた時刻に対応する画像データ２２０上の帯も同様に、略白色となる。したがって、重ね合わせ画像データ２３０上の対応する帯は略白色となる。この場合、重ね合わせ画像データ２３０には、黄色寄りの色を持つ帯と、略白色な帯とが少なくとも含まれる。このように、画像データ２３０には、照明光の色温度の変化に応じて、色温度が異なる帯状の領域が複数現れる。
【００２８】
図４は、ホワイトバランス補正された重ね合わせ画像４００の一例を示す。画像処理部１０７は、画像データ２１０と画像データ２２０とを重ね合わせた画像データに、Ｙ方向の位置が異なる複数の帯領域４１０−１〜６を設定する。そして、画像処理部１０７は、帯領域４１０−１〜６毎に、ホワイトバランス補正を施す。具体的には、画像処理部１０７は、帯領域４１０のそれぞれにおける色差信号（Ｒ−Ｙ、Ｂ−Ｙ）に基づいてホワイトバランスのゲインを帯領域４１０のそれぞれについて決定して、帯領域４１０のそれぞれについて決定したゲインに基づいて色信号の処理をする。また、画像処理部１０７は、帯領域４１０−１〜６毎に、輝度補正を施してもよい。画像処理部１０７が帯領域４１０−１〜６毎にホワイトバランス補正を施すことで、画像データ２３０の全領域に対してホワイトバランス補正をした場合と比較して、画像データ２３０に含まれる色被りを著しく低減することができる。
【００２９】
ここで、帯領域４１０のそれぞれのＹ方向の幅は、予め定められた固定値であってよい。また、分割する帯領域４１０の数も、予め定められた固定値であってよい。一方、画像処理部１０７は、帯領域４１０の幅および分割する帯領域４１０の数の少なくとも一方を、可変制御してもよい。
【００３０】
例えば、画像処理部１０７は、画像領域毎に異なる幅の帯領域４１０を設定してよい。上述したように、照明光の点滅が滅状態になるタイミングでＢ成分が強く落ち込む。したがって、画像データ２３０における当該暗部に対応する領域において、色温度が大きく変化する。このため、画像処理部１０７は、画像データ２３０における暗部に対応する領域において、他の領域よりも帯領域４１０の幅を小さく設定してよい。
【００３１】
ここで、画像処理部１０７は、画像データ２１０および画像データ２２０の少なくとも一方に基づいて、帯領域４１０の幅を小さくすべき領域を設定してよい。具体的には、画像処理部１０７は、画像データ２１０および画像データ２２０の少なくとも一方のＹ方向の輝度分布に基づいて暗部となる帯領域を特定して、特定した暗部となる領域を、帯領域４１０の幅を小さくすべき領域として設定してよい。
【００３２】
その他にも、画像処理部１０７は、画像データ２１０と画像データ２２０との比較結果に基づいて、帯領域４１０の幅を小さくすべき領域を特定してよい。例えば、画像処理部１０７は、画像データ２１０と画像データ２２０との間で輝度値の差が予め定められた値よりも大きい領域を、帯領域４１０の幅を小さくすべき領域として設定してよい。図２で例示したように露光タイミングが明滅周期の半周期分ずれている場合、画像間の輝度値の差が最大となる領域が、暗部の領域に対応する。このため、画像データ間の輝度値の差に基づいて、色温度が大きく変化する領域を適切に特定できる場合がある。露光タイミングのずれが明滅周期の半周期分に一致していない場合や、照明光の照度分布が不均一である場合は、輝度値の差が最大となる領域と暗部領域とが完全に一致しない場合がある。しかしながら、輝度値の差が大きい領域は、照明光の明滅の影響を大きく受けている領域であるといえるので、当該領域で色温度が大きく変化している蓋然性が高い。したがって、当該領域で帯領域４１０の幅を小さくすることで、色温度が大きく変化する蓋然性が高い領域について、色温度をきめ細やかに補正することができる。
【００３３】
また、画像処理部１０７は、フォーカルプレーンシャッタ１０２のシャッタ幕速が遅いほど、より多くの帯領域４１０に分割してホワイトバランス補正をしてよい。図２で説明したように、露光期間Ｔ１で露光すると、画像データ２１０および画像データ２２０には、明部および暗部の少なくとも一方を１つ含まれる。シャッタ幕速を低くして、露光期間を点滅周期よりも長くすると、明部または暗部の少なくとも一方が複数現れる。つまり、シャッタ幕速を低くするほど、画像データ上での輝度の変化率が大きくなる。したがって、照明光の色温度の変化率も大きくなる。帯領域４１０の幅を固定値とすると、１つの帯領域４１０内における色温度の変化率が大きくなるので、ホワイトバランス補正によって正しく色温度を補正することができない場合がある。画像処理部１０７が、シャッタ幕速が遅いほどより多くの帯領域４１０に分割してホワイトバランス補正を施すことで、照明光の色温度をきめ細やかに補正することができる。
【００３４】
図５は、重ね合わせおよびホワイトバランス補正を特定の部分領域で行う場合の処理例を模式的に示す。画像データ５１０および画像データ５２０は、それぞれ画像データ２１０および画像データ５２０に対応する、被写体像を含む画像データである。
【００３５】
蛍光灯の点滅による影響は、蛍光灯の近くの被写体に対して大きく現れる。また、環境光よりも蛍光灯の光が強く当たる被写体ほど、照明光のフリッカの影響をより大きく受ける。例示した画像データ５１０および画像データ５２０では、フリッカの影響は、部分領域５１５および部分領域５２５に大きく現れる。一方、他の画像領域には、環境光が主として当たる被写体が写り込んでいるので、フリッカの影響は比較的に小さい。
【００３６】
画像処理部１０７は、画像データ５１０の部分領域５１５に、画像データ５２０の部分領域５２５の画像を重ね合わせる。このとき、画像処理部１０７は、画像データ５１０と画像データ５２０との間のブレを補正して、重ね合わせ処理を行うことが好ましい。例えば、画像処理部１０７は、画像データ５１０と画像データ５２０との間の移動ベクトルを算出して、算出した移動ベクトルに基づいて部分領域５２５をずらして重ね合わせる。
【００３７】
画像処理部１０７は、得られた画像データ５３０内の部分領域５１５に対応する領域に対して、１以上の帯領域５４０を設定する。本例では、複数の帯領域５４０−１および帯領域５４０−２を設定する。そして、画像処理部１０７は、各帯領域５４０に対してホワイトバランス補正を施す。このため、照明光のフリッカによる色被りを低減することができる。また、画像処理部１０７は、画像データ５３０における部分領域５１５以外の領域に対して、ホワイトバランス補正を施す。
【００３８】
画像データ５３０において部分領域５１５以外の領域は、フリッカの影響を大きく受けていないので、色被りは実質的に環境光によるものだけである。このため、部分領域５１５以外の領域全体でホワイトバランス補正を施すことで、環境光の色温度をきちんと補正することができる。また、本例の画像処理によれば、部分領域５１５以外の領域では画像データ５２０を重ね合わせないので、その領域でブレのない画像を提供することができる。
【００３９】
画像処理部１０７は、画像データ２１０に基づいて、部分領域５１５を特定してよい。例えば、画像処理部１０７は、輝度が帯状に変化している部分領域を、フリッカの影響が生じている部分領域として特定してよい。例えば、画像処理部１０７は、帯状の領域毎に算出された輝度の平均値に基づいて、輝度が帯状に変化している部分領域を特定してよい。また、画像処理部１０７は、例えば帯状の領域毎に算出された輝度の平均値に基づき、予め定められた値より大きい輝度の変化成分が検出された部分領域を、フリッカの影響が生じている部分領域として特定してよい。また、画像処理部１０７は、画像データ２１０と画像データ２２０との比較結果に基づいて、部分領域５１５を特定してよい。例えば、画像処理部１０７は、画像データ２１０と画像データ２２０との間で輝度値の差が予め定められた値よりも大きい部分領域を、フリッカの影響が生じている部分領域として特定してよい。
【００４０】
図６は、静止画撮影時の処理フロー図を示す。処理フローは、静止画撮影のレリーズスイッチが操作されたことを検知したときに、開始される。また、本フロー図においては、特に断わらない限りシステム制御部１１４が主体となって動作する。
【００４１】
処理フローが開始されると、ステップＳ６０２で、１枚目の静止画である第１静止画が撮影される。具体的には、フォーカルプレーンシャッタ１０２を走行させて露光することで、第１静止画が撮影される。メモリ制御部１０６は、第１静止画の画像データを、内部メモリ１０８に記憶する。また、タイミング発生部１１２は、２枚目の静止画を撮影すべき撮影タイミングでフォーカルプレーンシャッタ１０２を駆動するクロックを発生するよう、設定される。具体的には、タイミング発生部１１２は、１枚目の静止画を撮影したときのフォーカルプレーンシャッタ１０２の先幕の走行開始タイミングから、照明光の明滅周期の（Ｎ＋１／２）倍だけ後のタイミングで当該クロックを発生するよう、設定される。ここでＮは０以上の整数とする。
【００４２】
ステップＳ６０４で、フリッカ低減モードがＯＮに設定されているか否かを判断する。フリッカ低減モードがＯＮに設定されている場合、画像処理部１０７は、第１静止画の画像データに基づいて、フリッカの影響が生じているか否かを判断する（ステップＳ６０６）。フリッカの影響が生じている場合、画像処理部１０７は、第１静止画内でフリッカの影響が生じている領域であるフリッカ領域を検出する（ステップＳ６０８）。フリッカの影響が生じている領域は、図５に関連して説明した方法で特定することができる。
【００４３】
ステップＳ６１０で、明滅周期の半周期分ずれた位相で、２枚目の静止画である第２静止画を撮影する。このとき、フォーカルプレーンシャッタ１０２の先幕は、タイミング発生部１１２から供給されたクロックに同期して走行を開始する。メモリ制御部１０６は、第２静止画の画像データを、内部メモリ１０８に記憶する。ステップＳ６１２で、画像処理部１０７は、第１静止画の画像データと第２静止画の画像データとを比較して、ブレ量を検出する。
【００４４】
ステップＳ６１４で、画像処理部１０７は、第１静止画のフリッカ領域に、第２静止画のフリッカ領域の画像を加算する。このとき、画像処理部１０７は、ステップＳ６１２で検出したブレ量に基づいて、第２静止画のフリッカ領域の画像に対してブレ補正を施して、ブレ補正された画像を、第１静止画のフリッカ領域に加算する。
【００４５】
ステップＳ６１６で、画像処理部１０７は、フリッカ領域内で帯状の画像領域を設定して、帯状の画像領域毎にホワイトバランス補正を施す。このとき、画像領域毎の色温度のバラツキが低減するよう、帯状の画像領域毎にホワイトバランス補正を施すことが望ましい。例えば、複数の画像領域のうち最大輝度に対応する領域をホワイトバランスの基準として、帯状の画像領域毎にホワイトバランス補正を施すことが望ましい。ステップＳ６１８で、画像処理部１０７は、フリッカ領域以外の画像領域に対してホワイトバランス補正を施す。画像処理部１０７によってホワイトバランス補正が施された出力用の静止画データは、内部メモリ１０８内に保管される。内部メモリ１０８内に保管された出力用の静止画データは、表示制御部１０９の制御により表示部１１０に表示されてよい。出力用の静止画データを記録媒体１２２に記録する場合、後述するステップＳ６２０に進む。
【００４６】
ステップＳ６０４で、フリッカ低減モードがＯＮに設定されていなければ、ステップＳ６３０へ進む。また、ステップＳ６０６で、フリッカの影響が生じていなければ、ステップＳ６３０へ進む。ステップＳ６３０では、画像処理部１０７は、第１静止画の画像データ全体に対して、ホワイトバランス補正を施す。画像処理部１０７によりホワイトバランス補正が施された出力用の静止画データは、内部メモリ１０８内に保管される。内部メモリ１０８内に保管された出力用の静止画データは、表示制御部１０９の制御により表示部１１０に表示されてよい。出力用の静止画データを記録媒体１２２に記録する場合、ステップＳ６２０に進む。
【００４７】
ステップＳ６２０で、画像処理部１０７は出力用の静止画データを符号化する。そして、符号化された出力用の静止画データが記録媒体ＩＦ１１１を通じて記録媒体１２２に記録される。ステップＳ６２０における記録媒体１２２への記録が完了すると、一連の静止画撮影動作を終了する。
【００４８】
図７は、カメラ１００における動画撮影モードでの処理の一例を、照明光の明滅パターン７００とともに模式的に示す。
【００４９】
システム制御部１１４は、操作部材１２０が操作されて動画撮影が指示されると、ＣＭＯＳセンサとしての撮像素子１０３をローリング読み出しするよう、カメラ１００の各部を制御する。具体的には、システム制御部１１４がフォーカルプレーンシャッタ１０２を開放状態として、撮像素子１０３が有する画素ラインに対するリセット動作、光電荷の蓄積動作および読み出し動作等の駆動動作を、複数の画素ラインに対して一定の時間差で順次に行わせる。具体的には、タイミング発生部１１２は、垂直同期信号を時間間隔Ｔ２で発生して撮像素子１０３に供給する。したがって、時間間隔Ｔ２毎に撮影が行われる。ここで、時間間隔Ｔ２は、照明光の明滅周期の１／２に設定されているとする。
【００５０】
図２等に関連して説明した静止画撮影と同様に、本例のローリング読み出しによっても複数の画素ラインが順次に露光されるので、複数の画素ラインで電荷蓄積の同時性がない。このため、各画像データには、静止画撮影で説明した輝度ムラと同様の輝度ムラが生じる。本図においても、輝度ムラを分かり易く説明するために、画像データ７１０および画像データ７２０として照明光による輝度成分のみを示している。輝度ムラは、略同時に露光される画素ラインに垂直な方向に生じる。１つの画素ラインが行方向に形成されている場合、輝度ムラは列方向に生じる。
【００５１】
本例のように照明光の輝度が極小となる時刻ｔ１０で垂直同期信号が発生している場合、暗部の帯は、画像データ７１０のＹ方向の最上部に現れる。そして、照明光の輝度が極大となる時刻ｔ１１に対応して、明部の帯がＹ方向の最下部に現れる。また、時刻ｔ１１で生成された垂直同期信号に同期して撮影された画像データ７２０では、明部の帯がＹ方向の最上部に現れ、照明光の輝度が極小となる時刻ｔ１２に対応して、暗部の帯がＹ方向の最下部に現れる。
【００５２】
画像データ７２０のＹ方向の輝度分布は、画像データ７１０のＹ方向の輝度分布と位相が逆転する。画像処理部１０７は、画像データ７１０と画像データ７２０とを重ね合わせて平均化することにより、動画を構成するフレームとしての重ね合わせ画像データ７３０を生成する。輝度変化が互いに逆相となる画像データを重ね合わせることで重ね合わせ画像データ７３０が生成されるので、画像データ７３０に現れる輝度ムラは、画像データ７１０および画像データ７２０に現れる輝度ムラと比較して、著しく低減される。
【００５３】
照明光の明滅の次の周期であるｔ１２〜ｔ１４についても同様に、２つの画像データを重ね合わせることで、１つのフレームを生成する。システム制御部１１４は、本動作が繰り返されるようカメラ１００の各部を制御することで、動画を構成する複数のフレームを生成する。
【００５４】
本例では、動画撮影時の処理を分かり易く説明することを目的として、輝度ムラについて説明して、色被りについては特に言及しなかった。しかし、静止画撮影と同様に、重ね合わせて得られた画像データに色被りが残る場合がある。画像処理部１０７は、静止画撮影に関連して上述したように、動画フレームとしての各重ね合わせ画像に対して、複数の帯領域毎にホワイトバランス補正をする。これにより、各動画フレームの色被りを低減することができる。
【００５５】
図８は、動画撮影時の処理フロー図を示す。処理フローは、操作部材１２０に対して動画撮影指示操作がなされたことを検知したときに、開始される。また、本フロー図においては、特に断わらない限りシステム制御部１１４が主体となって動作する。
【００５６】
処理フローが開始されると、ステップＳ８０２で、フリッカ低減モードがＯＮに設定されているか否かを判断する。フリッカ低減モードがＯＮに設定されている場合、フレームレートをフリッカに合わせて設定する（ステップＳ８０４）。例えば、内部メモリ１０８に展開された照明光の明滅周波数を示す変数に基づき、タイミング発生部１１２は、照明光の明滅周期の（Ｎ＋１／２）倍の時間間隔で、垂直同期信号を発生するよう設定される。ここでＮは０以上の整数とする。また、タイミング発生部１１２は、各画素ラインを駆動するタイミングを示すクロックを発生するよう設定される。
【００５７】
ステップＳ８０６で、撮像素子１０３に対するローリング読み出しを開始する。ステップＳ８０８で、撮影およびフレーム生成の処理を実行する。具体的なシーケンスについては後述する。撮影およびフレーム生成の処理が完了すると、ステップＳ８１０で、ローリング読み出しを停止する。生成された複数のフレームを記録媒体１２２に記録する場合、ステップＳ８０８で生成された複数のフレームが画像処理部１０７によって動画として符号化処理され、記録媒体ＩＦ１１１を通じて記録媒体１２２に動画として記録される（ステップＳ８１２）。ステップＳ８１２における記録媒体１２２への記録が完了すると、一連の動画撮影動作を終了する。
【００５８】
本フローのステップＳ８０４において、フレームレートをフリッカに合わせて設定するとして説明した。例えば、１００Ｈｚの明滅に対応すべく図７に例示したフレームレートで撮影する場合、出力用の動画として１００ｆｐｓの動画が得られる。一方、３０ｆｐｓの動画を生成するよう要求されている場合、１００ｆｐｓの動画を３０ｆｐｓの動画に変換する必要がある。例えば、ステップＳ８１２において、画像処理部１０７は、１００ｆｐｓの動画を３０ｆｐｓの動画に変換して、記録媒体に記録してよい。フレームレートを変換する処理が介在するが、低フレームレートの動画への変換処理であるので、画質は実質的に劣化しない。
【００５９】
ところで、図７に例示したフレームレートは、ステップＳ８０４に関連して説明したＮ＝０の場合に該当する。Ｎ＝１とすると、出力用の動画のフレームレートは３３．３ｆｐｓとなり、要求された３０ｆｐｓよりも高い。したがって、当該動画のフレームレートを要求された３０ｆｐｓに変換しても、画質が著しく劣化することはない。しかし、Ｎ＝２の場合、出力用の動画のフレームレートは２０ｆｐｓとなり、要求された３０ｆｐｓよりも低くなる。このため、この動画を要求された３０ｆｐｓに変換したとすると、Ｎ＝０またはＮ＝１の場合と比較して、画質の劣化は大きくなる。そこで、ステップＳ８０４では、明滅の周期および要求されたフレームレートに基づき、要求されたフレームレートよりも出力用の動画のフレームレートが高くなるよう、撮影のフレームレートを設定することが望ましい。
【００６０】
具体的には、明滅周期をＴとした場合に、ステップＳ８０４において、要求されたフレームレートの逆数よりも２×（Ｎ＋１／２）×Ｔが小さくなるという条件を満たすＮを算出する。そして、算出したＮを用いて、撮影のフレームレート（Ｎ＋１／２）×Ｔを設定することが望ましい。このとき、当該条件を満たす最も大きいＮを用いて、撮影のフレームレートを設定してよい。
【００６１】
図９は、撮影およびフレーム生成の処理を実行するフロー図である。すなわち、図８のステップＳ８０８の詳細フロー図である。
【００６２】
ステップＳ９０２で第１フレームの読み出しが完了すると、ステップＳ９０４でメモリ制御部１０６が第１フレームの画像データを、内部メモリ１０８に記憶する。ステップＳ９０６で第２フレームの読み出しが完了すると、ステップＳ９０６でメモリ制御部１０６が第２フレームの画像データを、内部メモリ１０８に記憶する。
【００６３】
ステップＳ９１０で、フリッカ低減モードがＯＮに設定されているか否かを判断する。フリッカ低減モードがＯＮに設定されている場合、画像処理部１０７は、第１フレームおよび第１フレームの少なくとも一方に基づいて、フリッカの影響が生じているか否かを判断する（ステップＳ９１２）。フリッカの影響が生じている場合、画像処理部１０７は、第１フレーム内でフリッカの影響が生じている領域であるフリッカ領域を検出する（ステップＳ９１４）。フリッカの影響が生じている領域は、図５に関連して説明した方法と同様の方法を適用して検出することができる。ステップＳ９１６で、画像処理部１０７は、第１フレームと第２フレームとを比較して、ブレ量を検出する。
【００６４】
ステップＳ９１８で、画像処理部１０７は、第１フレームのフリッカ領域に、第２フレームのフリッカ領域の画像を加算する。このとき、画像処理部１０７は、ステップＳ９１６で検出したブレ量に基づいて、第２フレームのフリッカ領域の画像に対してブレ補正を施して、ブレ補正された画像を、第１フレームのフリッカ領域に加算する。
【００６５】
ステップＳ９２０で、画像処理部１０７は、フリッカ領域内で帯状の画像領域を設定して、帯状の画像領域毎にホワイトバランス補正を施す。ステップＳ９２２で、フリッカ領域以外の画像領域に対してホワイトバランス補正を施す。画像処理部１０７によってホワイトバランス補正が施された出力用のフレームは、内部メモリ１０８内に保管される。内部メモリ１０８内に保管された出力用のフレームは、表示制御部１０９の制御により表示部１１０に表示されてよい。本ステップの後、ステップＳ９２４に進む。
【００６６】
ステップＳ９１０で、フリッカ低減モードがＯＮに設定されていなければ、ステップＳ９３０へ進む。また、ステップＳ９１２で、フリッカの影響が生じていなければ、ステップＳ９３０へ進む。ステップＳ９３０では、画像処理部１０７は、第１フレームの画像データ全体に対してホワイトバランス補正を施す。また、画像処理部１０７は、第２フレームの画像データ全体に対してホワイトバランス補正を施す。画像処理部１０７がホワイトバランス補正を施すことにより生成された２つのフレームは、出力用のフレームとして内部メモリ１０８内に保管される。内部メモリ１０８内に保管された出力用のフレームは、表示制御部１０９の制御により表示部１１０に表示されてよい。本ステップの後、ステップＳ９２４に進む。
【００６７】
ステップＳ９２４で、動画撮影の終了が、操作部材１２０を通じて指示されたか否かを判断する。動画撮影の終了が指示されていない場合、ステップＳ９０２に進み、動画撮影の終了が指示されるまで、出力用のフレームが生成され続ける。動画撮影の終了が指示されている場合、撮影およびフレーム生成の処理に関する一連の処理を終了して、図８のフローに戻る。
【００６８】
本実施形態で説明したとおり、静止撮影モードにおいてフォーカルプレーンシャッタ１０２を駆動することで、撮像素子１０３が有する複数の画素ラインが順次に露光される。また、動画撮影モードにおいてＣＭＯＳセンサとしての撮像素子１０３をローリング読み出しすることで、撮像素子１０３が有する複数の画素ラインが順次に露光される。
【００６９】
上記においては、２つの画像を重ね合わせて重ね合わせ画像を生成するとして説明した。しかし、画像処理部１０７は、３以上の複数の画像を重ね合わせて重ね合わせ画像を生成してもよい。すなわち、画像処理部１０７は、撮像素子１０３で複数回露光して生成された複数の画像を重ね合わせて、重ね合わせ画像を生成する。そして、画像処理部１０７は、重ね合わせ画像に対して、複数の画素ラインに平行な複数の帯状の画像領域毎にホワイトバランス補正を施す。複数の画像の重ね合わせにより、輝度ムラを低減した静止画、動画フレームを生成することができる。また、帯状の画像領域毎にホワイトバランス補正を施すことにより、色被りを低減した静止画、動画フレームを生成することができる。すなわち、カメラ１００によれば、照明光のフリッカの影響を低減した静止画、動画フレームを生成することができる。
【００７０】
上記においては、複数の画像を重ね合わせた後にホワイトバランス補正を施すとして説明した。しかし、画像処理部１０７は、複数の画像のそれぞれに対して、帯状の画像領域毎にホワイトバランス補正を施してから重ね合わせることにより、ホワイトバランス補正が施された重ね合わせ画像を生成してもよい。すなわち、重ね合わせ処理とホワイトバランス処理を適用する順番にかかわらず、画像処理部１０７は、複数の画素ラインに平行な複数の帯状の画像領域毎にホワイトバランス補正を施した重ね合わせ画像を生成することができる。また、画像処理部１０７は、複数の画像を重ね合わせるとき、少なくとも一部の領域で重ね合わせ処理をしてよい。また、画像処理部１０７は、少なくとも一部の領域でホワイトバランス補正を施してよい。上述したように、画像処理部１０７は、撮像素子１０３が生成する画像内のフリッカの影響が生じる部分領域に対して、複数の帯状の画像領域毎にホワイトバランス補正を施してよい。このように、画像処理部１０７は、フリッカの影響が生じる部分領域に対して、複数の画像を重ね合わせて、複数の帯状の画像領域毎にホワイトバランス補正を施してよい。
【００７１】
上記においては主として、静止画撮影モードでは、照明光の明滅周期よりも短く、明滅周期の半周期よりも長い露光時間Ｔ１で露光するとして説明した。また、動画撮影モードにおいて、明滅周期の半分の時間間隔Ｔ２でフレームを撮影するとして説明した。すなわち、画像処理部１０７が、フリッカの周期に対して半周期ずれた位相で撮像素子１０３で露光して生成された２つの画像を重ね合わせるとして説明した。しかし、静止画撮影における露光時間、動画撮影におけるフレーム間隔は、上記に限られない。上記の重ね合わせおよびホワイトバランス補正処理は、フリッカの影響を受ける露光時間およびフレーム間隔であれば、どのような場合でも適用することができる。フリッカの影響を受ける露光時間およびフレーム間隔としては、露光時間やフレーム間隔が明滅周期の同程度である場合を例示することができる。一方、１の画素ラインが露光される時間長さが明滅周期と同程度以上である場合、フリッカの影響を受けないとみなすことができる。また、静止画撮影において、シャッタ幕速が極めて高速な場合、例えば、露光時間が明滅周期と比較して十分に短い場合も、フリッカの影響を受けないとみなすことができる。
【００７２】
したがって、フリッカの影響を受ける露光時間またはフレーム間隔である場合、上記の重ね合わせおよびホワイトバランス補正処理を適用し、フリッカの影響を受けない露光時間またはフレーム間隔である場合、上記の重ね合わせおよびホワイトバランス補正処理を適用しないようにしてよい。上記においては、フリッカ低減モードのＯＮ／ＯＦＦを判断して処理を切り替えるとして説明した。しかし、フリッカ低減モードのＯＮ／ＯＦＦの判断を、フリッカの影響を受ける露光時間またはフレーム間隔であるか否かの判断に替えることができる。
【００７３】
上記においては主として、照明光の明滅に対して、明滅周期の半周期分ずれた位相で次の露光が開始されるとして説明した。しかし、次の露光が明滅周期に対してきっちり半周期分ずれている必要はない。次の露光が明滅周期の半周期分ずれた位相で開始されることが最も好ましいが、次の露光開始までの時間長さが明滅周期の整数倍と一致していなければ、次の露光開始までの時間長さはどのような値であってもよい。次の露光開始までの時間長さが明滅周期の整数倍と一致している場合を除き、フリッカの影響を低減する一定の効果を期待することができる。
【００７４】
上記において、照明光として蛍光灯による照明光を例示した。しかし、照明光として、水銀灯等の、色温度が時間的に変化する他の光源による照明光を例示することができる。商用の交流電源で駆動され、電源周波数に応じて明滅する光源が、照明光の光源として用いられている環境下で撮影する場合に、上記の処理、例えば上記の重ね合わせおよびホワイトバランス補正処理を適用することができる。例えば５０Ｈｚの系統電源で駆動される光源であれば、例えば１００Ｈｚで明滅することが期待される。６０Ｈｚの系統電源で駆動される光源であれば、例えば１２０Ｈｚで明滅することが期待される。したがって、系統電源に応じた周波数、例えば１００Ｈｚ〜１２０Ｈｚの明滅周期に基づいて、上記のフリッカの影響を受けるか否かを判断してもよい。また、上記のように、次の露光を開始するまでの時間長さは、例えば１００Ｈｚ〜１２０Ｈｚの明滅周波数に基づいて設定されてよい。例えば、次の露光を開始するまでの時間長さを、１／１００の整数倍でなく、かつ、１／１２０の整数倍でもない値に設定してよい。また、明滅周期の半周期分ずれた位相で次の露光が開始されるべく、次の露光を開始するまでの時間長さを、当該明滅周波数に基づいて設定してよい。例えば、次の露光を開始するまでの時間長さを、カメラ１００が現在位置する地域で使用される系統電源の周波数に基づいて設定してよい。カメラ１００の現在位置は、ＧＰＳ情報等に基づいて特定してよい。
【００７５】
上記において説明したように、画像処理部１０７は、撮像素子１０３が生成する画像にフリッカの影響が生じる場合に、複数の帯状の画像領域毎にホワイトバランス補正を施す。フリッカの影響が生じない場合は、画像処理部１０７は、画像全体でホワイトバランス補正をすればよい。また、上記のように、画像処理部１０７は、帯状の輝度分布が生じている場合に、フリッカの影響が生じた旨を判断することができる。具体的には、画像処理部１０７は、撮像素子１０３が生成した画像が、複数の画素ラインに垂直な方向に輝度の周期性を有する場合に、フリッカの影響が生じた旨を判断する。その他にも、カメラ１００に周囲光を検出するセンサを設けて、当該センサ出力に基づいて、撮像素子１０３が生成する画像にフリッカの影響が生じるか否かを判断してよい。センサ出力としては、明るさの時間変化情報、周囲光のスペクトル情報等を例示することができる。例えば、明るさが周期的に変化している場合、フリッカの影響が生じるとして判断してよい。また、周囲光のスペクトルが、蛍光灯からの発光スペクトル、水銀灯からの発光スペクトル等の、予め定められたスペクトルと、予め定められた値を超える一致度で一致する場合に、フリッカの影響が生じるとして判断してよい。その他にも、上記のように、フリッカの影響を受ける露光時間またはフレーム間隔である場合に、撮像素子１０３が生成する画像にフリッカの影響が生じると判断してよい。このように、フリッカの影響が実際に生じているか否かの判断を要することなく、フリッカの影響を受ける可能性のある撮影条件で撮影する場合に、撮像素子１０３が生成する画像にフリッカの影響が生じると判断してよい。
【００７６】
上記においては、例えば図５に関連して説明したように、画像処理部１０７は、部分領域を重ね合わせる場合に、ブレを補正して部分領域を重ね合わせるとして説明した。しかし、画像処理部１０７は、画像の全体を重ね合わせる場合にも、ブレを補正して重ね合わせてよい。すなわち、画像処理部１０７は、部分領域を重ね合わせるか画像全体を重ね合わせるかにかかわらず、複数の画像間のブレを補正して重ね合わせてよい。本処理によれば、手ぶれ等の影響も低減された画像を提供することができる。また、以上に説明したカメラ１００によれば、内部メモリ１０８に画像データとして記憶してから画像処理を施すので、画像データに基づいて、フリッカに関する情報や手ぶれ量等の、種々の情報を得ることができる。
【００７７】
上記においては、カメラ１００がフォーカルプレーンシャッタ１０２を備え、静止画撮影モードではフォーカルプレーンシャッタ１０２を用いて撮影し、動画画撮影モードではローリング読み出しにより撮影するとした。カメラ１００は、フォーカルプレーンシャッタ１０２を備えずともよく、静止画撮影モードにおいてもローリング読み出しをしてよい。また、動画撮影モードにおいても、フォーカルプレーンシャッタ１０２を駆動して動画を撮影してもよい。また、カメラ１００のシャッタ機能は、電子先幕シャッタと、メカ後幕シャッタとの組み合わで実装されてよく、撮像素子１０３は、電子先幕シャッタとメカ後幕シャッタとによって画素ラインが順次に露光されてよい。
【００７８】
上記実施形態で説明したカメラ１００は、レンズ交換式一眼レフカメラ、コンパクトデジタルカメラ、ミラーレス一眼カメラおよびビデオカメラはもちろん、カメラ機能付きの携帯電話等として適用できる。上記の画像処理部１０７における画像処理を、パーソナルコンピュータなどの電子情報処理装置が実行することができる。電子情報処理装置は、当該画像処理の実行を制御する制御プログラムをロードして、読み込んだ制御プログラムに従って動作することにより、当該画像処理を実行してよい。電子情報処理装置は、制御プログラムを記憶しているコンピュータ読取可能な記録媒体を読み込むことによって、制御プログラムをロードすることができる。
【００７９】
以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更または改良を加えることが可能であることが当業者に明らかである。その様な変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。
【００８０】
特許請求の範囲、明細書、および図面中において示した装置、システム、プログラム、および方法における動作、手順、ステップ、および段階等の各処理の実行順序は、特段「より前に」、「先立って」等と明示しておらず、また、前の処理の出力を後の処理で用いるのでない限り、任意の順序で実現しうることに留意すべきである。特許請求の範囲、明細書、および図面中の動作フローに関して、便宜上「まず、」、「次に、」等を用いて説明したとしても、この順で実施することが必須であることを意味するものではない。
【符号の説明】
【００８１】
１００ カメラ、１０１ 光学系、１０２ フォーカルプレーンシャッタ、１０３ 撮像素子、１０４ アンプ部、１０５ Ａ／Ｄ変換器、１０６ メモリ制御部、１０７ 画像処理部、１０８ 内部メモリ、１０９ 表示制御部、１１０ 表示部、１１１ 記録媒体ＩＦ、１１２ タイミング発生部、１１３ レンズ制御部、１１４ システム制御部、１２０ 操作部材、１２２ 記録媒体、２００ 明滅パターン、２１０、２２０、２３０、５１０、５２０、５３０、７１０、７２０、７３０ 画像データ、４００ 重ね合わせ画像、４１０、５４０、５４０ 帯領域、５１５、５２５ 部分領域
【技術分野】
【０００１】
本発明は、撮像装置および画像処理制御プログラムに関する。
【背景技術】
【０００２】
撮像素子の予め設定された領域から読み出した電気信号を用いてフリッカ周波数を判定する撮像装置が知られている（例えば特許文献１）。また、固体撮像素子の各画素における露光時間を照明のフリッカ周期の半分だけずれたタイミングで別々に読み出して、得られた２系統の信号を同時化して足し合わせる固体撮像素子が知られている（例えば特許文献２）。
［先行技術文献］
［特許文献］
［特許文献１］特開２００９−７７０６５号公報
［特許文献２］特開２００３−３２５５１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００３】
照明光の光強度が周期的に変化するだけでなく照明光の色温度も時間的に変化する場合、輝度ムラが生じるだけでなく色被りが画像領域毎に変わってしまうという課題があった。
【課題を解決するための手段】
【０００４】
上記課題を解決するために、本発明の第１の態様における撮像装置は、順次に露光される複数の画素ラインを有する撮像素子と、撮像素子で複数回露光して生成された複数の画像を重ね合わせて、重ね合わせ画像を生成する画像処理部とを備え、画像処理部は、複数の画素ラインに平行な複数の帯状の画像領域毎にホワイトバランス補正を施した重ね合わせ画像を生成する。
【０００５】
なお、上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではない。また、これらの特徴群のサブコンビネーションもまた、発明となりうる。
【図面の簡単な説明】
【０００６】
【図１】実施形態によるカメラ１００のシステム構成図である。
【図２】静止画撮影モードでの処理の一例を模式的に示す図である。
【図３】画像データ２１０の色成分を説明する図である。
【図４】ホワイトバランス補正された重ね合わせ画像４００の一例である。
【図５】ホワイトバランス補正を部分領域で行う処理例を模式的に示す図である。
【図６】静止画撮影モードでの処理フロー図である。
【図７】動画撮影モードでの処理の一例を模式的に示す図である。
【図８】動画撮影モードでの処理フロー図を示す図である。
【図９】撮影およびフレーム生成の処理を実行するフロー図である。
【発明を実施するための形態】
【０００７】
以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は特許請求の範囲にかかる発明を限定するものではない。また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。
【０００８】
図１は、本実施形態に係るカメラ１００のシステム構成図を示す。カメラ１００は光学系１０１を備える。光学系１０１は、ズームレンズ、フォーカスレンズ等により構成される。被写体光は光軸に沿って光学系１０１に入射し、撮像素子１０３の前面に配置されたフォーカルプレーンシャッタ１０２を通過して撮像素子１０３の受光面に被写体像として結像する。
【０００９】
撮像素子１０３は、被写体像である光学像を光電変換する素子であり、例えば、ＣＣＤ、ＣＭＯＳセンサが用いられる。撮像素子１０３で光電変換された被写体像は、電荷として読み出されてアンプ部１０４でゲイン調整等がなされる。アンプ部１０４で増幅された信号は、アナログ信号としてＡ／Ｄ変換器１０５へ転送され、Ａ／Ｄ変換器１０５でデジタル信号に変換される。撮像素子１０３の電荷読み出し、フォーカルプレーンシャッタ１０２の駆動等の制御は、システム制御部１１４の同期制御を受けたタイミング発生部１１２が供給するクロック信号により制御される。
【００１０】
デジタル信号に変換された被写体像は、画像データとして順次処理される。Ａ／Ｄ変換器１０５によりデジタル信号に変換された画像データは、画像処理部１０７へ引き渡されて処理される。具体的には、Ａ／Ｄ変換器１０５によりデジタル信号に変換された画像データは、メモリ制御部１０６の制御により、内部メモリ１０８に一旦記憶される。内部メモリ１０８は、高速で読み書きのできるランダムアクセスメモリであり、例えばＤＲＡＭ、ＳＲＡＭなどが用いられる。内部メモリ１０８は、連写撮影、動画撮影において高速に連続して画像データが生成される場合に、画像処理の順番を待つバッファメモリとしての役割を担う。また、画像処理部１０７が行う画像処理、圧縮処理において、ワークメモリとしての役割も担う。したがって、内部メモリ１０８は、これらの役割を担うに相当する十分なメモリ容量を備える。メモリ制御部１０６は、いかなる作業にどれくらいのメモリ容量を割り当てるかを制御する。
【００１１】
画像処理部１０７は、設定されている撮影モード、ユーザからの指示に従って、画像データを規格化された画像フォーマットの画像データに変換する。例えば、カメラ１００の撮影モードの一部として静止画撮影モードおよび動画撮影モードを有しており、静止画撮影モードで静止画像としてＪＰＥＧファイルを生成する場合、画像処理部１０７は、色変換処理、ガンマ処理、ホワイトバランス補正等の画像処理を行った後に適応離散コサイン変換等を施して圧縮処理を行う。また、例えば動画撮影モードで動画像としてのＭＰＥＧファイルを生成する場合、画像処理部１０７は、生成された連続する静止画としてのフレーム画像に対して、フレーム内符号化、フレーム間符号化、量子化、エントロピー符号化等を施して圧縮処理を行う。
【００１２】
変換された画像データは再び内部メモリ１０８に保管される。画像処理部１０７によって処理された静止画像データ、動画像データは、システム制御部１１４の制御により、内部メモリ１０８から記録媒体ＩＦ１１１を介して、不揮発性メモリである記録媒体１２２に記録される。記録媒体１２２は、フラッシュメモリ等により構成される。記録媒体１２２は、カメラ１００の本体に対して着脱可能な不揮発性メモリであってよい。
【００１３】
画像処理部１０７は、記録用に処理される画像データに並行して、表示用の画像データを生成する。生成された表示用の画像データは、表示制御部１０９の制御に従って、液晶パネル等で構成される表示部１１０に表示される。また、表示制御部１０９は、画像の表示と共に、もしくは画像を表示することなく、カメラ１００の各種設定に関する様々なメニュー項目を、表示部１１０に表示することができる。
【００１４】
カメラ１００は、上記の画像処理における各々の要素も含めて、システム制御部１１４により直接的または間接的に制御される。システム制御部１１４は、電気的に消去・記録可能な不揮発性メモリであるシステムメモリを有する。システムメモリは、ＥＥＰＲＯＭ（登録商標）等により構成される。システム制御部１１４が有するシステムメモリは、カメラ１００の動作時に必要な定数、変数、プログラム等を、カメラ１００の非動作時にも失われないよう記録している。システム制御部１１４は、定数、変数、プログラム等を適宜内部メモリ１０８に展開して、カメラ１００の制御に利用する。カメラ１００の動作時に必要な変数として、後述する照明光の明滅周波数を示す変数を含んでよい。
【００１５】
カメラ１００は、ユーザからの操作を受け付ける操作部材１２０を備えている。システム制御部１１４は、操作部材１２０が操作されたことを検知する。システム制御部１１４は、検出された操作に応じた動作を実行する。例えば、操作部材１２０としてのレリーズスイッチが操作されたことを検知したときには、システム制御部１１４は、被写体像を光電変換して画像データを生成する一連の撮影動作を実行する。また、カメラ１００の撮影モードの一部として、後述するように、少なくとも色被りを低減する撮影モードであるフリッカ低減モードを含むことができる。本実施形態において、フリッカ低減モードは、輝度ムラおよび色被りを低減する撮影モードとする。システム制御部１１４は、フリッカ低減モードのＯＮ／ＯＦＦを指示する操作を、操作部材１２０を通じてユーザから受け付けることができる。
【００１６】
また、システム制御部１１４は、照明光の明滅周波数に関する情報を、操作部材１２０を通じてユーザから受け付けてよい。例えば、システム制御部１１４は、カメラ１００の使用地域を指示する操作を、照明光の明滅周波数に関する情報として操作部材１２０を通じて受け付ける。システム制御部１１４は、指示された使用地域で用いられる交流電源の周波数に基づいて、照明光の明滅周波数を決定してよい。例えば、システム制御部１１４は、５０Ｈｚの交流電源が用いられる使用地域が指示された場合、照明光の明滅周波数を示す変数に１００Ｈｚを示す値を設定する。一方、システム制御部１１４は、６０Ｈｚの交流電源が用いられる使用地域が指示された場合、照明光の明滅周波数を示す変数に１２０Ｈｚを示す値を設定する。明滅周期は、明滅周波数の逆数によって算出され得る。なお、ユーザからの操作の他、システム制御部１１４は、ＧＰＳ情報に基づきカメラ１００の現在位置を検出して、現在位置に基づき照明光の明滅周波数を特定してよい。この場合、カメラ１００は、ＧＰＳ衛星からの信号を受信するＧＰＳモジュールを備えてもよい。
【００１７】
光学系１０１は、レンズ制御部１１３によって制御される。レンズ制御部１１３は、例えば、ユーザの指示に応じてズームレンズを駆動し、被写体像の画角を変更する。また、レンズ制御部１１３は、ＡＦ情報に基づいてフォーカスレンズを駆動し、被写体像を撮像素子１０３の受光面上で合焦させる。レンズ制御部１１３は、操作部材１２０等を通じてユーザによって指定された被写体に対して、オートフォーカスの制御を実行してよい。また、レンズ制御部１１３は、画像処理部１０７が処理した画像データまたは測光センサの出力を解析して露出値を算出する。レンズ制御部１１３は、算出した露出値に従って、光学系１０１が有する絞りの制御信号を出力する。
【００１８】
図２は、カメラ１００における静止画撮影モード時の処理の一例を、照明光の明滅パターンとともに模式的に示す。ここでは、照明光の明滅パターンとして、交流電源で駆動される蛍光灯の点滅により生じる明滅パターン２００を例示する。蛍光灯は、電源周波数の倍の周波数で点滅を繰り返す。例えば、５０Ｈｚの交流電源で駆動される蛍光灯は、１００Ｈｚで点滅を繰り返す。
【００１９】
システム制御部１１４は、レリーズスイッチが操作されて静止画撮影が指示されると、露光時間Ｔ１の露光を２度実行するよう、カメラ１００の各部を制御する。具体的には、カメラ１００のフォーカルプレーンシャッタ１０２は、撮像素子１０３の前面を、時間長さＴ１をかけてシャッタ幕を２度走行させることにより、撮像素子１０３で２度露光する。本例では、フォーカルプレーンシャッタ１０２は、時刻ｔ１から時刻ｔ２にかけて撮像素子１０３の前面を走行して１回目の露光をした後に、時刻ｔ３から時刻ｔ４にかけて撮像素子１０３の前面を走行して２回目の露光を行う。第１回目の露光後に撮像素子１０３から読み出された画像データ２１０は、内部メモリ１０８に記憶される。また、２回目の露光後に撮像素子１０３から読み出された画像データ２２０も内部メモリ１０８に記憶される。
【００２０】
静止画撮影時には、撮像素子１０３が有する複数の画素ラインは、フォーカルプレーンシャッタ１０２によって順次に露光されるので、画像データ２１０および画像データ２２０には、照明光の明滅によって生じた輝度ムラが現れる。本図の画像データ２１０および画像データ２２０では、輝度ムラを分かり易く説明するために、照明光による輝度成分のみを示している。輝度ムラは、フォーカルプレーンシャッタ１０２の走行方向に生じる。本例では、フォーカルプレーンシャッタ１０２の走行方向は画像上のＹ方向に対応し、Ｘ方向に延びる画素ラインの個々は略同時に露光されるとする。したがって、画像データ２１０および画像データ２２０には、Ｘ方向に延びる複数の帯の間で、輝度ムラが現れる。
【００２１】
本例のように、露光時間Ｔ１が明滅周期よりも短く、明滅周期の半周期よりも長い場合、画像データ２１０上には帯状の明部および帯状の暗部の少なくとも一方が１つ現れる。本例のように照明光の輝度が極小となる時刻ｔ１から露光を開始した場合、暗部の帯は、画像データ２１０のＹ方向の最上部に現れる。そして、照明光の輝度が極大となる時刻に対応するＹ方向の位置に、明部の帯が現れる。
【００２２】
本例において、１回目の露光と２回目の露光とは、明滅周期の２．５周期分ずれて行われる。すなわち、２回目の露光は、時刻ｔ１から、明滅周期の２．５周期分だけ後の時刻ｔ３から開始される。２回目の露光は、照明光の輝度が極大となる時刻ｔ３から開始されるので、画像データ２２０のＹ方向の輝度分布は、画像データ２１０のＹ方向の輝度分布と位相が逆転する。具体的には、画像データ２２０において暗部の帯が現れる位置は、画像データ２１０において明部が現れる位置と一致する。そして、画像データ２２０において明部の帯が現れる位置は、画像データ２１０において暗部が現れる位置と一致する。
【００２３】
画像処理部１０７は、画像データ２１０と画像データ２２０とを重ね合わせて平均化することにより、重ね合わせ画像データ２３０を生成する。輝度変化が互いに逆相となる画像データを重ね合わせることで重ね合わせ画像データ２３０が生成されるので、画像データ２３０に現れる輝度ムラは、画像データ２１０および画像データ２２０に現れる輝度ムラと比較して、著しく低減される。
【００２４】
図３は、画像データ２１０を色成分毎に模式的に示す。白色照明用の蛍光灯には、白色に近い照明光を発光するために、発光スペクトルが異なる複数の蛍光物質が用いられる。これらの蛍光体が互いに異なる発光特性を有する場合、照明光のスペクトルも時間的に変化する。例えば、蛍光灯に通常用いられる蛍光体によれば、Ｒ成分およびＧ成分と比較して、Ｂ成分の輝度が早く減衰する。また、Ｒ成分の輝度は、Ｇ成分と比較してゆっくりと減衰する場合がある。このため、画像データ２１０および画像データ２２０には、それぞれ色被りが生じる。
【００２５】
蛍光灯照明下ではＢ成分の輝度が比較的に早く減衰するので、図示されるように、Ｂ成分の画像データ２１０ｃには、Ｒ成分の画像データ２１０ａおよびＧ成分の画像データ２１０ｂと比較して、幅広な暗部が現れる。また、Ｒ成分の画像データ２１０ａには、Ｇ成分の画像データ２１０ｂと比較して、狭幅の暗部が現れる。したがって、画像データ２１０上の暗部領域は、Ｂ成分の輝度の強い落ち込みに対応して、黄色成分が強い帯状の領域となる。
【００２６】
画像データ２２０も、各色成分のＹ方向の輝度分布が逆相となる点を除いて、画像データ２１０と同様である。このような画像データ２１０と画像データ２２０とを重ね合わせた場合に、画像データ２３０上では色被りが残ってしまう場合がある。例えば、画像データ２１０の略白色な明部と、画像データ２２０の黄色の暗部を重ね合わせることで、画像データ２３０には黄色寄りの色を持つ帯が現れる。
【００２７】
一方で、例えば時刻ｔ１から明滅周期の１／４周期分ずれた時刻では、照明光のＢ成分は他の色成分と比較して大きくは落ち込んでいないとすると、対応する画像データ２１０の帯は略白色となる。時刻ｔ３から１／４周期分ずれた時刻に対応する画像データ２２０上の帯も同様に、略白色となる。したがって、重ね合わせ画像データ２３０上の対応する帯は略白色となる。この場合、重ね合わせ画像データ２３０には、黄色寄りの色を持つ帯と、略白色な帯とが少なくとも含まれる。このように、画像データ２３０には、照明光の色温度の変化に応じて、色温度が異なる帯状の領域が複数現れる。
【００２８】
図４は、ホワイトバランス補正された重ね合わせ画像４００の一例を示す。画像処理部１０７は、画像データ２１０と画像データ２２０とを重ね合わせた画像データに、Ｙ方向の位置が異なる複数の帯領域４１０−１〜６を設定する。そして、画像処理部１０７は、帯領域４１０−１〜６毎に、ホワイトバランス補正を施す。具体的には、画像処理部１０７は、帯領域４１０のそれぞれにおける色差信号（Ｒ−Ｙ、Ｂ−Ｙ）に基づいてホワイトバランスのゲインを帯領域４１０のそれぞれについて決定して、帯領域４１０のそれぞれについて決定したゲインに基づいて色信号の処理をする。また、画像処理部１０７は、帯領域４１０−１〜６毎に、輝度補正を施してもよい。画像処理部１０７が帯領域４１０−１〜６毎にホワイトバランス補正を施すことで、画像データ２３０の全領域に対してホワイトバランス補正をした場合と比較して、画像データ２３０に含まれる色被りを著しく低減することができる。
【００２９】
ここで、帯領域４１０のそれぞれのＹ方向の幅は、予め定められた固定値であってよい。また、分割する帯領域４１０の数も、予め定められた固定値であってよい。一方、画像処理部１０７は、帯領域４１０の幅および分割する帯領域４１０の数の少なくとも一方を、可変制御してもよい。
【００３０】
例えば、画像処理部１０７は、画像領域毎に異なる幅の帯領域４１０を設定してよい。上述したように、照明光の点滅が滅状態になるタイミングでＢ成分が強く落ち込む。したがって、画像データ２３０における当該暗部に対応する領域において、色温度が大きく変化する。このため、画像処理部１０７は、画像データ２３０における暗部に対応する領域において、他の領域よりも帯領域４１０の幅を小さく設定してよい。
【００３１】
ここで、画像処理部１０７は、画像データ２１０および画像データ２２０の少なくとも一方に基づいて、帯領域４１０の幅を小さくすべき領域を設定してよい。具体的には、画像処理部１０７は、画像データ２１０および画像データ２２０の少なくとも一方のＹ方向の輝度分布に基づいて暗部となる帯領域を特定して、特定した暗部となる領域を、帯領域４１０の幅を小さくすべき領域として設定してよい。
【００３２】
その他にも、画像処理部１０７は、画像データ２１０と画像データ２２０との比較結果に基づいて、帯領域４１０の幅を小さくすべき領域を特定してよい。例えば、画像処理部１０７は、画像データ２１０と画像データ２２０との間で輝度値の差が予め定められた値よりも大きい領域を、帯領域４１０の幅を小さくすべき領域として設定してよい。図２で例示したように露光タイミングが明滅周期の半周期分ずれている場合、画像間の輝度値の差が最大となる領域が、暗部の領域に対応する。このため、画像データ間の輝度値の差に基づいて、色温度が大きく変化する領域を適切に特定できる場合がある。露光タイミングのずれが明滅周期の半周期分に一致していない場合や、照明光の照度分布が不均一である場合は、輝度値の差が最大となる領域と暗部領域とが完全に一致しない場合がある。しかしながら、輝度値の差が大きい領域は、照明光の明滅の影響を大きく受けている領域であるといえるので、当該領域で色温度が大きく変化している蓋然性が高い。したがって、当該領域で帯領域４１０の幅を小さくすることで、色温度が大きく変化する蓋然性が高い領域について、色温度をきめ細やかに補正することができる。
【００３３】
また、画像処理部１０７は、フォーカルプレーンシャッタ１０２のシャッタ幕速が遅いほど、より多くの帯領域４１０に分割してホワイトバランス補正をしてよい。図２で説明したように、露光期間Ｔ１で露光すると、画像データ２１０および画像データ２２０には、明部および暗部の少なくとも一方を１つ含まれる。シャッタ幕速を低くして、露光期間を点滅周期よりも長くすると、明部または暗部の少なくとも一方が複数現れる。つまり、シャッタ幕速を低くするほど、画像データ上での輝度の変化率が大きくなる。したがって、照明光の色温度の変化率も大きくなる。帯領域４１０の幅を固定値とすると、１つの帯領域４１０内における色温度の変化率が大きくなるので、ホワイトバランス補正によって正しく色温度を補正することができない場合がある。画像処理部１０７が、シャッタ幕速が遅いほどより多くの帯領域４１０に分割してホワイトバランス補正を施すことで、照明光の色温度をきめ細やかに補正することができる。
【００３４】
図５は、重ね合わせおよびホワイトバランス補正を特定の部分領域で行う場合の処理例を模式的に示す。画像データ５１０および画像データ５２０は、それぞれ画像データ２１０および画像データ５２０に対応する、被写体像を含む画像データである。
【００３５】
蛍光灯の点滅による影響は、蛍光灯の近くの被写体に対して大きく現れる。また、環境光よりも蛍光灯の光が強く当たる被写体ほど、照明光のフリッカの影響をより大きく受ける。例示した画像データ５１０および画像データ５２０では、フリッカの影響は、部分領域５１５および部分領域５２５に大きく現れる。一方、他の画像領域には、環境光が主として当たる被写体が写り込んでいるので、フリッカの影響は比較的に小さい。
【００３６】
画像処理部１０７は、画像データ５１０の部分領域５１５に、画像データ５２０の部分領域５２５の画像を重ね合わせる。このとき、画像処理部１０７は、画像データ５１０と画像データ５２０との間のブレを補正して、重ね合わせ処理を行うことが好ましい。例えば、画像処理部１０７は、画像データ５１０と画像データ５２０との間の移動ベクトルを算出して、算出した移動ベクトルに基づいて部分領域５２５をずらして重ね合わせる。
【００３７】
画像処理部１０７は、得られた画像データ５３０内の部分領域５１５に対応する領域に対して、１以上の帯領域５４０を設定する。本例では、複数の帯領域５４０−１および帯領域５４０−２を設定する。そして、画像処理部１０７は、各帯領域５４０に対してホワイトバランス補正を施す。このため、照明光のフリッカによる色被りを低減することができる。また、画像処理部１０７は、画像データ５３０における部分領域５１５以外の領域に対して、ホワイトバランス補正を施す。
【００３８】
画像データ５３０において部分領域５１５以外の領域は、フリッカの影響を大きく受けていないので、色被りは実質的に環境光によるものだけである。このため、部分領域５１５以外の領域全体でホワイトバランス補正を施すことで、環境光の色温度をきちんと補正することができる。また、本例の画像処理によれば、部分領域５１５以外の領域では画像データ５２０を重ね合わせないので、その領域でブレのない画像を提供することができる。
【００３９】
画像処理部１０７は、画像データ２１０に基づいて、部分領域５１５を特定してよい。例えば、画像処理部１０７は、輝度が帯状に変化している部分領域を、フリッカの影響が生じている部分領域として特定してよい。例えば、画像処理部１０７は、帯状の領域毎に算出された輝度の平均値に基づいて、輝度が帯状に変化している部分領域を特定してよい。また、画像処理部１０７は、例えば帯状の領域毎に算出された輝度の平均値に基づき、予め定められた値より大きい輝度の変化成分が検出された部分領域を、フリッカの影響が生じている部分領域として特定してよい。また、画像処理部１０７は、画像データ２１０と画像データ２２０との比較結果に基づいて、部分領域５１５を特定してよい。例えば、画像処理部１０７は、画像データ２１０と画像データ２２０との間で輝度値の差が予め定められた値よりも大きい部分領域を、フリッカの影響が生じている部分領域として特定してよい。
【００４０】
図６は、静止画撮影時の処理フロー図を示す。処理フローは、静止画撮影のレリーズスイッチが操作されたことを検知したときに、開始される。また、本フロー図においては、特に断わらない限りシステム制御部１１４が主体となって動作する。
【００４１】
処理フローが開始されると、ステップＳ６０２で、１枚目の静止画である第１静止画が撮影される。具体的には、フォーカルプレーンシャッタ１０２を走行させて露光することで、第１静止画が撮影される。メモリ制御部１０６は、第１静止画の画像データを、内部メモリ１０８に記憶する。また、タイミング発生部１１２は、２枚目の静止画を撮影すべき撮影タイミングでフォーカルプレーンシャッタ１０２を駆動するクロックを発生するよう、設定される。具体的には、タイミング発生部１１２は、１枚目の静止画を撮影したときのフォーカルプレーンシャッタ１０２の先幕の走行開始タイミングから、照明光の明滅周期の（Ｎ＋１／２）倍だけ後のタイミングで当該クロックを発生するよう、設定される。ここでＮは０以上の整数とする。
【００４２】
ステップＳ６０４で、フリッカ低減モードがＯＮに設定されているか否かを判断する。フリッカ低減モードがＯＮに設定されている場合、画像処理部１０７は、第１静止画の画像データに基づいて、フリッカの影響が生じているか否かを判断する（ステップＳ６０６）。フリッカの影響が生じている場合、画像処理部１０７は、第１静止画内でフリッカの影響が生じている領域であるフリッカ領域を検出する（ステップＳ６０８）。フリッカの影響が生じている領域は、図５に関連して説明した方法で特定することができる。
【００４３】
ステップＳ６１０で、明滅周期の半周期分ずれた位相で、２枚目の静止画である第２静止画を撮影する。このとき、フォーカルプレーンシャッタ１０２の先幕は、タイミング発生部１１２から供給されたクロックに同期して走行を開始する。メモリ制御部１０６は、第２静止画の画像データを、内部メモリ１０８に記憶する。ステップＳ６１２で、画像処理部１０７は、第１静止画の画像データと第２静止画の画像データとを比較して、ブレ量を検出する。
【００４４】
ステップＳ６１４で、画像処理部１０７は、第１静止画のフリッカ領域に、第２静止画のフリッカ領域の画像を加算する。このとき、画像処理部１０７は、ステップＳ６１２で検出したブレ量に基づいて、第２静止画のフリッカ領域の画像に対してブレ補正を施して、ブレ補正された画像を、第１静止画のフリッカ領域に加算する。
【００４５】
ステップＳ６１６で、画像処理部１０７は、フリッカ領域内で帯状の画像領域を設定して、帯状の画像領域毎にホワイトバランス補正を施す。このとき、画像領域毎の色温度のバラツキが低減するよう、帯状の画像領域毎にホワイトバランス補正を施すことが望ましい。例えば、複数の画像領域のうち最大輝度に対応する領域をホワイトバランスの基準として、帯状の画像領域毎にホワイトバランス補正を施すことが望ましい。ステップＳ６１８で、画像処理部１０７は、フリッカ領域以外の画像領域に対してホワイトバランス補正を施す。画像処理部１０７によってホワイトバランス補正が施された出力用の静止画データは、内部メモリ１０８内に保管される。内部メモリ１０８内に保管された出力用の静止画データは、表示制御部１０９の制御により表示部１１０に表示されてよい。出力用の静止画データを記録媒体１２２に記録する場合、後述するステップＳ６２０に進む。
【００４６】
ステップＳ６０４で、フリッカ低減モードがＯＮに設定されていなければ、ステップＳ６３０へ進む。また、ステップＳ６０６で、フリッカの影響が生じていなければ、ステップＳ６３０へ進む。ステップＳ６３０では、画像処理部１０７は、第１静止画の画像データ全体に対して、ホワイトバランス補正を施す。画像処理部１０７によりホワイトバランス補正が施された出力用の静止画データは、内部メモリ１０８内に保管される。内部メモリ１０８内に保管された出力用の静止画データは、表示制御部１０９の制御により表示部１１０に表示されてよい。出力用の静止画データを記録媒体１２２に記録する場合、ステップＳ６２０に進む。
【００４７】
ステップＳ６２０で、画像処理部１０７は出力用の静止画データを符号化する。そして、符号化された出力用の静止画データが記録媒体ＩＦ１１１を通じて記録媒体１２２に記録される。ステップＳ６２０における記録媒体１２２への記録が完了すると、一連の静止画撮影動作を終了する。
【００４８】
図７は、カメラ１００における動画撮影モードでの処理の一例を、照明光の明滅パターン７００とともに模式的に示す。
【００４９】
システム制御部１１４は、操作部材１２０が操作されて動画撮影が指示されると、ＣＭＯＳセンサとしての撮像素子１０３をローリング読み出しするよう、カメラ１００の各部を制御する。具体的には、システム制御部１１４がフォーカルプレーンシャッタ１０２を開放状態として、撮像素子１０３が有する画素ラインに対するリセット動作、光電荷の蓄積動作および読み出し動作等の駆動動作を、複数の画素ラインに対して一定の時間差で順次に行わせる。具体的には、タイミング発生部１１２は、垂直同期信号を時間間隔Ｔ２で発生して撮像素子１０３に供給する。したがって、時間間隔Ｔ２毎に撮影が行われる。ここで、時間間隔Ｔ２は、照明光の明滅周期の１／２に設定されているとする。
【００５０】
図２等に関連して説明した静止画撮影と同様に、本例のローリング読み出しによっても複数の画素ラインが順次に露光されるので、複数の画素ラインで電荷蓄積の同時性がない。このため、各画像データには、静止画撮影で説明した輝度ムラと同様の輝度ムラが生じる。本図においても、輝度ムラを分かり易く説明するために、画像データ７１０および画像データ７２０として照明光による輝度成分のみを示している。輝度ムラは、略同時に露光される画素ラインに垂直な方向に生じる。１つの画素ラインが行方向に形成されている場合、輝度ムラは列方向に生じる。
【００５１】
本例のように照明光の輝度が極小となる時刻ｔ１０で垂直同期信号が発生している場合、暗部の帯は、画像データ７１０のＹ方向の最上部に現れる。そして、照明光の輝度が極大となる時刻ｔ１１に対応して、明部の帯がＹ方向の最下部に現れる。また、時刻ｔ１１で生成された垂直同期信号に同期して撮影された画像データ７２０では、明部の帯がＹ方向の最上部に現れ、照明光の輝度が極小となる時刻ｔ１２に対応して、暗部の帯がＹ方向の最下部に現れる。
【００５２】
画像データ７２０のＹ方向の輝度分布は、画像データ７１０のＹ方向の輝度分布と位相が逆転する。画像処理部１０７は、画像データ７１０と画像データ７２０とを重ね合わせて平均化することにより、動画を構成するフレームとしての重ね合わせ画像データ７３０を生成する。輝度変化が互いに逆相となる画像データを重ね合わせることで重ね合わせ画像データ７３０が生成されるので、画像データ７３０に現れる輝度ムラは、画像データ７１０および画像データ７２０に現れる輝度ムラと比較して、著しく低減される。
【００５３】
照明光の明滅の次の周期であるｔ１２〜ｔ１４についても同様に、２つの画像データを重ね合わせることで、１つのフレームを生成する。システム制御部１１４は、本動作が繰り返されるようカメラ１００の各部を制御することで、動画を構成する複数のフレームを生成する。
【００５４】
本例では、動画撮影時の処理を分かり易く説明することを目的として、輝度ムラについて説明して、色被りについては特に言及しなかった。しかし、静止画撮影と同様に、重ね合わせて得られた画像データに色被りが残る場合がある。画像処理部１０７は、静止画撮影に関連して上述したように、動画フレームとしての各重ね合わせ画像に対して、複数の帯領域毎にホワイトバランス補正をする。これにより、各動画フレームの色被りを低減することができる。
【００５５】
図８は、動画撮影時の処理フロー図を示す。処理フローは、操作部材１２０に対して動画撮影指示操作がなされたことを検知したときに、開始される。また、本フロー図においては、特に断わらない限りシステム制御部１１４が主体となって動作する。
【００５６】
処理フローが開始されると、ステップＳ８０２で、フリッカ低減モードがＯＮに設定されているか否かを判断する。フリッカ低減モードがＯＮに設定されている場合、フレームレートをフリッカに合わせて設定する（ステップＳ８０４）。例えば、内部メモリ１０８に展開された照明光の明滅周波数を示す変数に基づき、タイミング発生部１１２は、照明光の明滅周期の（Ｎ＋１／２）倍の時間間隔で、垂直同期信号を発生するよう設定される。ここでＮは０以上の整数とする。また、タイミング発生部１１２は、各画素ラインを駆動するタイミングを示すクロックを発生するよう設定される。
【００５７】
ステップＳ８０６で、撮像素子１０３に対するローリング読み出しを開始する。ステップＳ８０８で、撮影およびフレーム生成の処理を実行する。具体的なシーケンスについては後述する。撮影およびフレーム生成の処理が完了すると、ステップＳ８１０で、ローリング読み出しを停止する。生成された複数のフレームを記録媒体１２２に記録する場合、ステップＳ８０８で生成された複数のフレームが画像処理部１０７によって動画として符号化処理され、記録媒体ＩＦ１１１を通じて記録媒体１２２に動画として記録される（ステップＳ８１２）。ステップＳ８１２における記録媒体１２２への記録が完了すると、一連の動画撮影動作を終了する。
【００５８】
本フローのステップＳ８０４において、フレームレートをフリッカに合わせて設定するとして説明した。例えば、１００Ｈｚの明滅に対応すべく図７に例示したフレームレートで撮影する場合、出力用の動画として１００ｆｐｓの動画が得られる。一方、３０ｆｐｓの動画を生成するよう要求されている場合、１００ｆｐｓの動画を３０ｆｐｓの動画に変換する必要がある。例えば、ステップＳ８１２において、画像処理部１０７は、１００ｆｐｓの動画を３０ｆｐｓの動画に変換して、記録媒体に記録してよい。フレームレートを変換する処理が介在するが、低フレームレートの動画への変換処理であるので、画質は実質的に劣化しない。
【００５９】
ところで、図７に例示したフレームレートは、ステップＳ８０４に関連して説明したＮ＝０の場合に該当する。Ｎ＝１とすると、出力用の動画のフレームレートは３３．３ｆｐｓとなり、要求された３０ｆｐｓよりも高い。したがって、当該動画のフレームレートを要求された３０ｆｐｓに変換しても、画質が著しく劣化することはない。しかし、Ｎ＝２の場合、出力用の動画のフレームレートは２０ｆｐｓとなり、要求された３０ｆｐｓよりも低くなる。このため、この動画を要求された３０ｆｐｓに変換したとすると、Ｎ＝０またはＮ＝１の場合と比較して、画質の劣化は大きくなる。そこで、ステップＳ８０４では、明滅の周期および要求されたフレームレートに基づき、要求されたフレームレートよりも出力用の動画のフレームレートが高くなるよう、撮影のフレームレートを設定することが望ましい。
【００６０】
具体的には、明滅周期をＴとした場合に、ステップＳ８０４において、要求されたフレームレートの逆数よりも２×（Ｎ＋１／２）×Ｔが小さくなるという条件を満たすＮを算出する。そして、算出したＮを用いて、撮影のフレームレート（Ｎ＋１／２）×Ｔを設定することが望ましい。このとき、当該条件を満たす最も大きいＮを用いて、撮影のフレームレートを設定してよい。
【００６１】
図９は、撮影およびフレーム生成の処理を実行するフロー図である。すなわち、図８のステップＳ８０８の詳細フロー図である。
【００６２】
ステップＳ９０２で第１フレームの読み出しが完了すると、ステップＳ９０４でメモリ制御部１０６が第１フレームの画像データを、内部メモリ１０８に記憶する。ステップＳ９０６で第２フレームの読み出しが完了すると、ステップＳ９０６でメモリ制御部１０６が第２フレームの画像データを、内部メモリ１０８に記憶する。
【００６３】
ステップＳ９１０で、フリッカ低減モードがＯＮに設定されているか否かを判断する。フリッカ低減モードがＯＮに設定されている場合、画像処理部１０７は、第１フレームおよび第１フレームの少なくとも一方に基づいて、フリッカの影響が生じているか否かを判断する（ステップＳ９１２）。フリッカの影響が生じている場合、画像処理部１０７は、第１フレーム内でフリッカの影響が生じている領域であるフリッカ領域を検出する（ステップＳ９１４）。フリッカの影響が生じている領域は、図５に関連して説明した方法と同様の方法を適用して検出することができる。ステップＳ９１６で、画像処理部１０７は、第１フレームと第２フレームとを比較して、ブレ量を検出する。
【００６４】
ステップＳ９１８で、画像処理部１０７は、第１フレームのフリッカ領域に、第２フレームのフリッカ領域の画像を加算する。このとき、画像処理部１０７は、ステップＳ９１６で検出したブレ量に基づいて、第２フレームのフリッカ領域の画像に対してブレ補正を施して、ブレ補正された画像を、第１フレームのフリッカ領域に加算する。
【００６５】
ステップＳ９２０で、画像処理部１０７は、フリッカ領域内で帯状の画像領域を設定して、帯状の画像領域毎にホワイトバランス補正を施す。ステップＳ９２２で、フリッカ領域以外の画像領域に対してホワイトバランス補正を施す。画像処理部１０７によってホワイトバランス補正が施された出力用のフレームは、内部メモリ１０８内に保管される。内部メモリ１０８内に保管された出力用のフレームは、表示制御部１０９の制御により表示部１１０に表示されてよい。本ステップの後、ステップＳ９２４に進む。
【００６６】
ステップＳ９１０で、フリッカ低減モードがＯＮに設定されていなければ、ステップＳ９３０へ進む。また、ステップＳ９１２で、フリッカの影響が生じていなければ、ステップＳ９３０へ進む。ステップＳ９３０では、画像処理部１０７は、第１フレームの画像データ全体に対してホワイトバランス補正を施す。また、画像処理部１０７は、第２フレームの画像データ全体に対してホワイトバランス補正を施す。画像処理部１０７がホワイトバランス補正を施すことにより生成された２つのフレームは、出力用のフレームとして内部メモリ１０８内に保管される。内部メモリ１０８内に保管された出力用のフレームは、表示制御部１０９の制御により表示部１１０に表示されてよい。本ステップの後、ステップＳ９２４に進む。
【００６７】
ステップＳ９２４で、動画撮影の終了が、操作部材１２０を通じて指示されたか否かを判断する。動画撮影の終了が指示されていない場合、ステップＳ９０２に進み、動画撮影の終了が指示されるまで、出力用のフレームが生成され続ける。動画撮影の終了が指示されている場合、撮影およびフレーム生成の処理に関する一連の処理を終了して、図８のフローに戻る。
【００６８】
本実施形態で説明したとおり、静止撮影モードにおいてフォーカルプレーンシャッタ１０２を駆動することで、撮像素子１０３が有する複数の画素ラインが順次に露光される。また、動画撮影モードにおいてＣＭＯＳセンサとしての撮像素子１０３をローリング読み出しすることで、撮像素子１０３が有する複数の画素ラインが順次に露光される。
【００６９】
上記においては、２つの画像を重ね合わせて重ね合わせ画像を生成するとして説明した。しかし、画像処理部１０７は、３以上の複数の画像を重ね合わせて重ね合わせ画像を生成してもよい。すなわち、画像処理部１０７は、撮像素子１０３で複数回露光して生成された複数の画像を重ね合わせて、重ね合わせ画像を生成する。そして、画像処理部１０７は、重ね合わせ画像に対して、複数の画素ラインに平行な複数の帯状の画像領域毎にホワイトバランス補正を施す。複数の画像の重ね合わせにより、輝度ムラを低減した静止画、動画フレームを生成することができる。また、帯状の画像領域毎にホワイトバランス補正を施すことにより、色被りを低減した静止画、動画フレームを生成することができる。すなわち、カメラ１００によれば、照明光のフリッカの影響を低減した静止画、動画フレームを生成することができる。
【００７０】
上記においては、複数の画像を重ね合わせた後にホワイトバランス補正を施すとして説明した。しかし、画像処理部１０７は、複数の画像のそれぞれに対して、帯状の画像領域毎にホワイトバランス補正を施してから重ね合わせることにより、ホワイトバランス補正が施された重ね合わせ画像を生成してもよい。すなわち、重ね合わせ処理とホワイトバランス処理を適用する順番にかかわらず、画像処理部１０７は、複数の画素ラインに平行な複数の帯状の画像領域毎にホワイトバランス補正を施した重ね合わせ画像を生成することができる。また、画像処理部１０７は、複数の画像を重ね合わせるとき、少なくとも一部の領域で重ね合わせ処理をしてよい。また、画像処理部１０７は、少なくとも一部の領域でホワイトバランス補正を施してよい。上述したように、画像処理部１０７は、撮像素子１０３が生成する画像内のフリッカの影響が生じる部分領域に対して、複数の帯状の画像領域毎にホワイトバランス補正を施してよい。このように、画像処理部１０７は、フリッカの影響が生じる部分領域に対して、複数の画像を重ね合わせて、複数の帯状の画像領域毎にホワイトバランス補正を施してよい。
【００７１】
上記においては主として、静止画撮影モードでは、照明光の明滅周期よりも短く、明滅周期の半周期よりも長い露光時間Ｔ１で露光するとして説明した。また、動画撮影モードにおいて、明滅周期の半分の時間間隔Ｔ２でフレームを撮影するとして説明した。すなわち、画像処理部１０７が、フリッカの周期に対して半周期ずれた位相で撮像素子１０３で露光して生成された２つの画像を重ね合わせるとして説明した。しかし、静止画撮影における露光時間、動画撮影におけるフレーム間隔は、上記に限られない。上記の重ね合わせおよびホワイトバランス補正処理は、フリッカの影響を受ける露光時間およびフレーム間隔であれば、どのような場合でも適用することができる。フリッカの影響を受ける露光時間およびフレーム間隔としては、露光時間やフレーム間隔が明滅周期の同程度である場合を例示することができる。一方、１の画素ラインが露光される時間長さが明滅周期と同程度以上である場合、フリッカの影響を受けないとみなすことができる。また、静止画撮影において、シャッタ幕速が極めて高速な場合、例えば、露光時間が明滅周期と比較して十分に短い場合も、フリッカの影響を受けないとみなすことができる。
【００７２】
したがって、フリッカの影響を受ける露光時間またはフレーム間隔である場合、上記の重ね合わせおよびホワイトバランス補正処理を適用し、フリッカの影響を受けない露光時間またはフレーム間隔である場合、上記の重ね合わせおよびホワイトバランス補正処理を適用しないようにしてよい。上記においては、フリッカ低減モードのＯＮ／ＯＦＦを判断して処理を切り替えるとして説明した。しかし、フリッカ低減モードのＯＮ／ＯＦＦの判断を、フリッカの影響を受ける露光時間またはフレーム間隔であるか否かの判断に替えることができる。
【００７３】
上記においては主として、照明光の明滅に対して、明滅周期の半周期分ずれた位相で次の露光が開始されるとして説明した。しかし、次の露光が明滅周期に対してきっちり半周期分ずれている必要はない。次の露光が明滅周期の半周期分ずれた位相で開始されることが最も好ましいが、次の露光開始までの時間長さが明滅周期の整数倍と一致していなければ、次の露光開始までの時間長さはどのような値であってもよい。次の露光開始までの時間長さが明滅周期の整数倍と一致している場合を除き、フリッカの影響を低減する一定の効果を期待することができる。
【００７４】
上記において、照明光として蛍光灯による照明光を例示した。しかし、照明光として、水銀灯等の、色温度が時間的に変化する他の光源による照明光を例示することができる。商用の交流電源で駆動され、電源周波数に応じて明滅する光源が、照明光の光源として用いられている環境下で撮影する場合に、上記の処理、例えば上記の重ね合わせおよびホワイトバランス補正処理を適用することができる。例えば５０Ｈｚの系統電源で駆動される光源であれば、例えば１００Ｈｚで明滅することが期待される。６０Ｈｚの系統電源で駆動される光源であれば、例えば１２０Ｈｚで明滅することが期待される。したがって、系統電源に応じた周波数、例えば１００Ｈｚ〜１２０Ｈｚの明滅周期に基づいて、上記のフリッカの影響を受けるか否かを判断してもよい。また、上記のように、次の露光を開始するまでの時間長さは、例えば１００Ｈｚ〜１２０Ｈｚの明滅周波数に基づいて設定されてよい。例えば、次の露光を開始するまでの時間長さを、１／１００の整数倍でなく、かつ、１／１２０の整数倍でもない値に設定してよい。また、明滅周期の半周期分ずれた位相で次の露光が開始されるべく、次の露光を開始するまでの時間長さを、当該明滅周波数に基づいて設定してよい。例えば、次の露光を開始するまでの時間長さを、カメラ１００が現在位置する地域で使用される系統電源の周波数に基づいて設定してよい。カメラ１００の現在位置は、ＧＰＳ情報等に基づいて特定してよい。
【００７５】
上記において説明したように、画像処理部１０７は、撮像素子１０３が生成する画像にフリッカの影響が生じる場合に、複数の帯状の画像領域毎にホワイトバランス補正を施す。フリッカの影響が生じない場合は、画像処理部１０７は、画像全体でホワイトバランス補正をすればよい。また、上記のように、画像処理部１０７は、帯状の輝度分布が生じている場合に、フリッカの影響が生じた旨を判断することができる。具体的には、画像処理部１０７は、撮像素子１０３が生成した画像が、複数の画素ラインに垂直な方向に輝度の周期性を有する場合に、フリッカの影響が生じた旨を判断する。その他にも、カメラ１００に周囲光を検出するセンサを設けて、当該センサ出力に基づいて、撮像素子１０３が生成する画像にフリッカの影響が生じるか否かを判断してよい。センサ出力としては、明るさの時間変化情報、周囲光のスペクトル情報等を例示することができる。例えば、明るさが周期的に変化している場合、フリッカの影響が生じるとして判断してよい。また、周囲光のスペクトルが、蛍光灯からの発光スペクトル、水銀灯からの発光スペクトル等の、予め定められたスペクトルと、予め定められた値を超える一致度で一致する場合に、フリッカの影響が生じるとして判断してよい。その他にも、上記のように、フリッカの影響を受ける露光時間またはフレーム間隔である場合に、撮像素子１０３が生成する画像にフリッカの影響が生じると判断してよい。このように、フリッカの影響が実際に生じているか否かの判断を要することなく、フリッカの影響を受ける可能性のある撮影条件で撮影する場合に、撮像素子１０３が生成する画像にフリッカの影響が生じると判断してよい。
【００７６】
上記においては、例えば図５に関連して説明したように、画像処理部１０７は、部分領域を重ね合わせる場合に、ブレを補正して部分領域を重ね合わせるとして説明した。しかし、画像処理部１０７は、画像の全体を重ね合わせる場合にも、ブレを補正して重ね合わせてよい。すなわち、画像処理部１０７は、部分領域を重ね合わせるか画像全体を重ね合わせるかにかかわらず、複数の画像間のブレを補正して重ね合わせてよい。本処理によれば、手ぶれ等の影響も低減された画像を提供することができる。また、以上に説明したカメラ１００によれば、内部メモリ１０８に画像データとして記憶してから画像処理を施すので、画像データに基づいて、フリッカに関する情報や手ぶれ量等の、種々の情報を得ることができる。
【００７７】
上記においては、カメラ１００がフォーカルプレーンシャッタ１０２を備え、静止画撮影モードではフォーカルプレーンシャッタ１０２を用いて撮影し、動画画撮影モードではローリング読み出しにより撮影するとした。カメラ１００は、フォーカルプレーンシャッタ１０２を備えずともよく、静止画撮影モードにおいてもローリング読み出しをしてよい。また、動画撮影モードにおいても、フォーカルプレーンシャッタ１０２を駆動して動画を撮影してもよい。また、カメラ１００のシャッタ機能は、電子先幕シャッタと、メカ後幕シャッタとの組み合わで実装されてよく、撮像素子１０３は、電子先幕シャッタとメカ後幕シャッタとによって画素ラインが順次に露光されてよい。
【００７８】
上記実施形態で説明したカメラ１００は、レンズ交換式一眼レフカメラ、コンパクトデジタルカメラ、ミラーレス一眼カメラおよびビデオカメラはもちろん、カメラ機能付きの携帯電話等として適用できる。上記の画像処理部１０７における画像処理を、パーソナルコンピュータなどの電子情報処理装置が実行することができる。電子情報処理装置は、当該画像処理の実行を制御する制御プログラムをロードして、読み込んだ制御プログラムに従って動作することにより、当該画像処理を実行してよい。電子情報処理装置は、制御プログラムを記憶しているコンピュータ読取可能な記録媒体を読み込むことによって、制御プログラムをロードすることができる。
【００７９】
以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更または改良を加えることが可能であることが当業者に明らかである。その様な変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。
【００８０】
特許請求の範囲、明細書、および図面中において示した装置、システム、プログラム、および方法における動作、手順、ステップ、および段階等の各処理の実行順序は、特段「より前に」、「先立って」等と明示しておらず、また、前の処理の出力を後の処理で用いるのでない限り、任意の順序で実現しうることに留意すべきである。特許請求の範囲、明細書、および図面中の動作フローに関して、便宜上「まず、」、「次に、」等を用いて説明したとしても、この順で実施することが必須であることを意味するものではない。
【符号の説明】
【００８１】
１００ カメラ、１０１ 光学系、１０２ フォーカルプレーンシャッタ、１０３ 撮像素子、１０４ アンプ部、１０５ Ａ／Ｄ変換器、１０６ メモリ制御部、１０７ 画像処理部、１０８ 内部メモリ、１０９ 表示制御部、１１０ 表示部、１１１ 記録媒体ＩＦ、１１２ タイミング発生部、１１３ レンズ制御部、１１４ システム制御部、１２０ 操作部材、１２２ 記録媒体、２００ 明滅パターン、２１０、２２０、２３０、５１０、５２０、５３０、７１０、７２０、７３０ 画像データ、４００ 重ね合わせ画像、４１０、５４０、５４０ 帯領域、５１５、５２５ 部分領域
【特許請求の範囲】
【請求項１】
順次に露光される複数の画素ラインを有する撮像素子と、
前記撮像素子で複数回露光して生成された複数の画像を重ね合わせて、重ね合わせ画像を生成する画像処理部と
を備え、
前記画像処理部は、前記複数の画素ラインに平行な複数の帯状の画像領域毎にホワイトバランス補正を施した前記重ね合わせ画像を生成する
撮像装置。
【請求項２】
前記画像処理部は、前記撮像素子が生成する画像にフリッカの影響が生じる場合に、前記複数の帯状の画像領域毎にホワイトバランス補正を施す
請求項１に記載の撮像装置。
【請求項３】
前記画像処理部は、前記撮像素子が生成する画像内の前記フリッカの影響が生じる部分領域に対して、前記複数の帯状の画像領域毎にホワイトバランス補正を施す
請求項２に記載の撮像装置。
【請求項４】
前記画像処理部は、前記フリッカの影響が生じる部分領域に対して、前記複数の画像を重ね合わせて、前記複数の帯状の画像領域毎にホワイトバランス補正を施す
請求項３に記載の撮像装置。
【請求項５】
前記画像処理部は、前記フリッカの周期に対して半周期ずれた位相で前記撮像素子で露光して生成された２つの画像を重ね合わせる
請求項２から４のいずれか一項に記載の撮像装置。
【請求項６】
前記画像処理部は、前記撮像素子が生成した画像が、前記複数の画素ラインに垂直な方向に輝度の周期性を有する場合に、前記フリッカの影響が生じた旨を判断する
請求項２から５のいずれか一項に記載の撮像装置。
【請求項７】
前記画像処理部は、前記複数の画像間のブレを補正して重ね合わせる
請求項１から６のいずれか一項に記載の撮像装置。
【請求項８】
前記撮像素子に対してローリング読み出しをする読み出し部
をさらに備える請求項１から７のいずれか一項に記載の撮像装置。
【請求項９】
前記複数の画素ラインを順次に露光するフォーカルプレーンシャッタ
をさらに備える請求項１から７のいずれか一項に記載の撮像装置。
【請求項１０】
画像処理制御プログラムであって、コンピュータに、
順次に露光される複数の画素ラインを有する撮像素子で複数回露光して生成された複数の画像を重ね合わせて、重ね合わせ画像を生成する画像処理ステップ
を実行させ、
前記画像処理ステップは、前記複数の画素ラインに平行な複数の帯状の画像領域毎にホワイトバランス補正を施した前記重ね合わせ画像を生成する
画像処理制御プログラム。
【請求項１】
順次に露光される複数の画素ラインを有する撮像素子と、
前記撮像素子で複数回露光して生成された複数の画像を重ね合わせて、重ね合わせ画像を生成する画像処理部と
を備え、
前記画像処理部は、前記複数の画素ラインに平行な複数の帯状の画像領域毎にホワイトバランス補正を施した前記重ね合わせ画像を生成する
撮像装置。
【請求項２】
前記画像処理部は、前記撮像素子が生成する画像にフリッカの影響が生じる場合に、前記複数の帯状の画像領域毎にホワイトバランス補正を施す
請求項１に記載の撮像装置。
【請求項３】
前記画像処理部は、前記撮像素子が生成する画像内の前記フリッカの影響が生じる部分領域に対して、前記複数の帯状の画像領域毎にホワイトバランス補正を施す
請求項２に記載の撮像装置。
【請求項４】
前記画像処理部は、前記フリッカの影響が生じる部分領域に対して、前記複数の画像を重ね合わせて、前記複数の帯状の画像領域毎にホワイトバランス補正を施す
請求項３に記載の撮像装置。
【請求項５】
前記画像処理部は、前記フリッカの周期に対して半周期ずれた位相で前記撮像素子で露光して生成された２つの画像を重ね合わせる
請求項２から４のいずれか一項に記載の撮像装置。
【請求項６】
前記画像処理部は、前記撮像素子が生成した画像が、前記複数の画素ラインに垂直な方向に輝度の周期性を有する場合に、前記フリッカの影響が生じた旨を判断する
請求項２から５のいずれか一項に記載の撮像装置。
【請求項７】
前記画像処理部は、前記複数の画像間のブレを補正して重ね合わせる
請求項１から６のいずれか一項に記載の撮像装置。
【請求項８】
前記撮像素子に対してローリング読み出しをする読み出し部
をさらに備える請求項１から７のいずれか一項に記載の撮像装置。
【請求項９】
前記複数の画素ラインを順次に露光するフォーカルプレーンシャッタ
をさらに備える請求項１から７のいずれか一項に記載の撮像装置。
【請求項１０】
画像処理制御プログラムであって、コンピュータに、
順次に露光される複数の画素ラインを有する撮像素子で複数回露光して生成された複数の画像を重ね合わせて、重ね合わせ画像を生成する画像処理ステップ
を実行させ、
前記画像処理ステップは、前記複数の画素ラインに平行な複数の帯状の画像領域毎にホワイトバランス補正を施した前記重ね合わせ画像を生成する
画像処理制御プログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【公開番号】特開２０１２−１４２８５３（Ｐ２０１２−１４２８５３Ａ）
【公開日】平成２４年７月２６日（２０１２．７．２６）
【国際特許分類】
【出願番号】特願２０１１−６６４（Ｐ２０１１−６６４）
【出願日】平成２３年１月５日（２０１１．１．５）
【出願人】（０００００４１１２）株式会社ニコン (12,601)
【Ｆターム（参考）】
【公開日】平成２４年７月２６日（２０１２．７．２６）
【国際特許分類】
【出願日】平成２３年１月５日（２０１１．１．５）
【出願人】（０００００４１１２）株式会社ニコン (12,601)
【Ｆターム（参考）】
[ Back to top ]