説明

撮像装置

【課題】フレームレートとフリッカ光源の周波数が同期する場合でも、ライブビューの表示画質を低下させることなく、フリッカの検出を高精度に行う。
【解決手段】ライブビュー表示中に、周期的に行われるフリッカ検出において、同じ積分時間の撮像出力の変動量と異なる積分時間の撮像出力の変動量を求め、同じ積分時間の撮像出力の変動量に基づいて異なる積分時間の撮像出力の変動量を判定してフリッカの検出を行う。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、撮像装置に関する。
【背景技術】
【0002】
一般にフリッカ光源と呼ばれる、明滅を繰り返す照明に照らされた被写体を撮像素子で撮像した場合、撮像素子によって得られる像は、露光タイミングによって輝度差が生じるという技術的課題がある。
【0003】
この明滅成分を検出する方法として、以下の特許文献1、特許文献2、特許文献3、等に開示される技術が知られている。これらの特許文献1〜特許文献3の従来技術は、フリッカ周期よりも短い積分時間で撮影したとき、連続する所定数の複数フレームの撮像出力を平均化することでフリッカ成分の影響を弱めた画像データを得ようとする技術である。
【0004】
また、特許文献4には、複数の異なる積分時間でフリッカを検出してホワイトバランスを補正し、測色センサの制御を行う技術が開示されている。
【0005】
また、特許文献5には、フリッカ成分の発生しない、フリッカ周期と同じ積分時間で取得した画像と、半分のシャッタ速で取得した画像を比較することでフリッカ成分を抽出する技術が開示されている。
【先行技術文献】
【特許文献】
【0006】
【特許文献1】特開2008−011226号公報
【特許文献2】特開2007−060585号公報
【特許文献3】特公平03−074551号公報
【特許文献4】特許第03150988号公報
【特許文献5】特許第4337353号公報
【発明の概要】
【発明が解決しようとする課題】
【0007】
図1Aは、ローリングシャッタ方式の撮像素子を使ったカメラにおけるフリッカの影響と、特許文献1〜特許文献3のような連続フレームを平均して表示する場合の効果を示す概念図である。この図1Aには、フリッカ成分の輝度と経過時間の関係を示す曲線(図中の上段)と、積分タイミング(図中の中段)と、撮影画像(図中の下段)とが対応して時系列に示されている。
【0008】
蛍光灯を代表とするフリッカ光源は、商用電源周波数の半分の周期で輝度変動が発生する。図1Aの中段のように、撮像のVD同期信号と同期したタイミングで撮像の上のラインが積分を開始し、上から順次下のラインへ時間差をもって積分を開始する例である。
【0009】
1フレーム取得中に被写体の輝度が変化すれば、積分するタイミングにより得られる撮像出力は異なる。フリッカ成分の輝度が一番低いタイミングで積分した場合、そのラインは他のラインに比べ撮像出力が小さく、その結果、図1Aの下段の撮影画像のように、中央に暗い縞模様が入ることになる。
【0010】
フリッカ周期とフレームレートが同期していない場合、次の駒(フレーム)では、輝度の一番暗いタイミングで積分するラインが前のフレームと異なり、暗い縞の位置が変化した撮像データが得られる。
【0011】
フリッカ周期と、画像取得周期(図では垂直同期信号VDで表される信号の周期)の最小公倍数となるフレーム数の撮像出力の平均値は、上下ライン間の撮像出力差が無くなり、結果としてフリッカ成分の影響がほとんど無い撮像データを得られる。よって、ある1フレームの撮像データと、前記複数フレーム分を平均した撮像データの差分をとることで、フリッカ成分を得るものである。
【0012】
ところが、この図1Aのように連続フレームを平均して表示する技術では、フリッカ周波数とフレームレートが同期した場合、複数画像を平均化してもフリッカの影響は検出できない、という技術的課題がある。
【0013】
図1Bは、この技術的課題を説明する概念図である。この図1Bの表示態様は、上述の図1Aと同様である。すなわち、フリッカ周波数とフレームレートが同期した場合は、フリッカの輝度とラインの積分タイミングが複数のフレームで同一となるため、複数の撮影画像の平均を取得してもフリッカの影響を取り除いた撮像データを取得できず、フリッカ成分を検出できないという技術的課題がある。
【0014】
ここで、積分時間を利用してフリッカ検出する方法も考えられる。積分時間が長いほどフリッカの輝度変動は平均化される。逆に積分時間が短いほど、フリッカの輝度変動分、撮像出力も変動しやすくなる。
【0015】
図2Aは、積分時間を利用してフリッカ検出する方法の概念図である。暗いタイミングで積分したときのデータと、明るいタイミングで積分したときの撮像出力の差は、積分時間が短いほど差が大きくなる関係を示している。
【0016】
この現象について、図2Bおよび図2Cを参照して説明する。図2Bおよび図2Cは、輝度値を示す棒グラフに実際に輝度の数値を入れて表現した概念図である。
【0017】
図2Bに示されるように、フリッカ成分の輝度が時間の経過と共に変化するところを、数値に置き換えている。説明の簡略化のため単位系は無く、一番明るいタイミングでの撮像素子に入射する光量を10とおいて、相対的に時間による変化を表したものである。1周期を6等分している。
【0018】
積分時間tsがフリッカ周期の4/6の場合、一番上のラインは1+6+9+10=26と計算される。同様に他のラインも計算して図示している。
【0019】
比較のために、短い時間の例を図2Cに図示する。フリッカ周期の2/6で積分した場合で、比較のために撮像に入射する光量を2倍にしている。これは図2Bに比べてシャッタ速を1段速めた分、レンズの絞りを1段開いて露光量が同一になるようにした制御の例である。
【0020】
露光時間の長い図2Bの例では、最小19に対し最大でも1.7倍の33にあるのに対し、露光時間の短い図2Cの例では最大と最小の比が38/10=3.8と、明暗差が大きくフリッカの影響を強く受けたことを示している。
【0021】
このように積分時間tsの長短でフリッカによる輝度変動の影響の大小を利用して、積分時間tsの異なる撮像出力の差分をとることで、フリッカ成分を抜き出す方法がある。このような方法が、上述の特許文献4の技術であり、撮像素子でも異なる積分時間tsで撮影すればフリッカの影響は異なるので検出することができる。
【0022】
また、上述の特許文献5のように、フリッカ成分の発生しないフリッカ周期と同じ積分時間で取得した画像と、半分のシャッタ速(積分時間)で取得した画像を比較することで輝度変動を求めフリッカ成分を抽出する方法も同様である。
【0023】
しかしながら、被写体の移動や手ブレによって発生する輝度変動が撮像出力に重畳するので、フリッカ成分が小さい場合にフリッカの影響ありと誤判定してしまうことや、フリッカ成分が大きい場合にフリッカに影響が小さいと誤判定してしまう技術的課題がある。
【0024】
本発明の目的は、フレームレートとフリッカ光源の周波数(周期)が同期する場合でも、高精度なフリッカ検出を行うことが可能であり、ライブビューの表示画質や動画像の画質を低下させることのない技術を提供することにある。
【課題を解決するための手段】
【0025】
本発明の第1の観点は、ローリングシャッタ方式の電子シャッタ機能を有する撮像素子と、
被写体からの光を前記撮像素子に導く光学手段と、
前記撮像素子に所定の周期で撮像動作を行なわせ、前記撮像素子の積分時間を制御する撮像制御手段と、
前記撮像素子の撮像出力に基づいてフリッカ成分を検出するフリッカ検出手段と
を有し、
前記フリッカ検出手段は、互いに異なる積分時間で取得した複数の撮像出力の変化から、被写体からの光が前記撮像素子の撮像出力の周期の1/整数倍の周期で明滅するフリッカ成分が含まれる光であることを判断する際に、同一の積分時間で取得した複数の撮像出力に応じて、フリッカ成分が存在するかどうかの判断基準を変更する
ことを特徴とする撮像装置を提供する。
【0026】
本発明の第2の観点は、ローリングシャッタ方式の電子シャッタ機能を有する撮像素子と、
被写体からの光を前記撮像素子に導く光学手段と、
前記撮像素子に所定の周期で撮像動作を行なわせ、前記撮像素子の積分時間を制御する撮像制御手段と、
前記撮像素子の撮像出力に基づいてフリッカ成分を検出するフリッカ検出手段と
を有し、
前記フリッカ検出手段は、第1の積分時間で取得した撮像出力と前記第1の積分時間と異なる第2の積分時間で取得した撮像出力の差から、被写体からの光が前記撮像素子の撮像出力の周期の1/整数倍の周期で明滅するフリッカ成分が含まれる光であることを所定の判断基準に基づいて判断する際に、前記第1の積分時間、第2の積分時間と異なる第3の積分時間で取得した撮像出力と第1の積分時間で取得した撮像出力との差に応じて、前記判断基準を変更する
ことを特徴とする撮像装置を提供する。
【発明の効果】
【0027】
本発明によれば、フレームレートとフリッカ光源の周波数が同期する場合であっても、ライブビューの表示画質を低下させることなく、フリッカ検出を行うことが可能な技術を提供することができる。
【図面の簡単な説明】
【0028】
【図1A】ローリングシャッタ方式の撮像素子を使ったカメラにおけるフリッカの影響と、連続フレームを平均化して表示する場合の効果を示す概念図である。
【図1B】連続フレーム平均化出力の技術的課題を説明する概念図である。
【図2A】積分時間を利用してフリッカ検出する方法の概念図である。
【図2B】輝度値を示す棒グラフに実際に輝度の数値を入れて表現した概念図である。
【図2C】輝度値を示す棒グラフに実際に輝度の数値を入れて表現した概念図である。
【図3】本発明の一実施の形態である撮像装置の構成例を示すブロック図である。
【図4】本発明の一実施の形態である撮像装置の基本的な動作の一例を示すフローチャートである。
【図5】本発明の一実施の形態である撮像装置のフリッカ検出処理の一例を示すフローチャートである。
【図6】本発明の一実施の形態である撮像装置の撮像領域における測光領域の配置の一例を示す図である。
【図7】本発明の一実施の形態である撮像装置の撮像素子のローリングシャッタ動作の一例を示す図である。
【図8】本発明の一実施の形態である撮像装置のライブビュー表示に現れるフリッカ縞の一例を示す図である。
【図9】フリッカ光源下で移動しない被写体の一例を示す図である。
【図10】本発明の一実施の形態である撮像装置のフリッカ光源下での積分時間と輝度値の関係の一例を示す図である。
【図11】フリッカレス光源下で移動する被写体の一例を示す図である。
【図12】本発明の一実施の形態である撮像装置のフリッカレス光源下にて移動する被写体に対する積分時間と輝度値の関係の一例を示す図である。
【図13】フリッカ光源下で移動する被写体の一例を示す図である。
【図14】本発明の一実施の形態である撮像装置のフリッカ光源下にて移動する被写体に対する積分時間と輝度値の関係の一例を示す図である。
【図15】本発明の一実施の形態である撮像装置のフリッカ光源下にて移動する被写体に対する同じ積分時間と異なる積分時間の輝度値の差の時間変化の一例を示す図である。
【図16】本発明の一実施の形態である撮像装置のフリッカ光源下で積分時間を変化させた時の輝度値の違いの一例を示す図である。
【図17】本発明の一実施の形態である撮像装置の移動する被写体について積分時間を変化させた時の輝度値の違いの一例を示す図である。
【図18】本発明の一実施の形態である撮像装置の異なる積分時間の輝度値の差の時間変化の一例を示す図である。
【図19】本発明の一実施の形態である撮像装置の撮像領域において測光領域の配置を示す図である。
【図20】本発明の一実施の形態である撮像装置の切り替わりポイントとなる測光領域を示す図である。
【図21】本発明の一実施の形態である撮像装置のフリッカ判定処理の一例を示すフローチャートである。
【図22】本発明の一実施の形態である撮像装置にてフレームを間引いて1駒おきの撮像出力に基づく輝度値によりフリッカを検出する例を示す図である。
【図23】本発明の一実施の形態である撮像装置にて1回目と3回目の積分時間を同一とし、2回目の積分時間を異ならせてフリッカを検出する例を示す図である。
【図24】撮影画面内の被写体の移動の一例を示す図である。
【図25】撮影画面内の被写体の移動の際の移動の前後の対応点の一例を示す図である
【図26】本発明の一実施の形態である撮像装置の撮影画面内の被写体の移動に関する動きベクトルの一例を示す図である。
【図27】本発明の一実施の形態である撮像装置の撮影画面内の被写体の移動とフリッカ縞の移動に関する動きベクトルの一例を示す図である。
【図28】本発明の一実施の形態である撮像装置の積分時間が長い場合の表示画面のフリッカ縞の一例を示す図である。
【図29】本発明の一実施の形態である撮像装置の積分時間が短い場合の表示画面のフリッカ縞の一例を示す図である。
【発明を実施するための形態】
【0029】
以下、図面を参照しながら、本発明の実施の形態について詳細に説明する。
【0030】
図3は、本発明の一実施の形態である撮像装置を実現するカメラの構成例を示すブロック図である。本実施の形態では、カメラの一例として、デジタル一眼レフカメラに適用した例を説明する。
【0031】
図3に示されているように、このデジタル一眼カメラ(以下、単に「カメラ」と称する)は、ボディユニット100と、例えば交換可能なレンズユニット(すなわちレンズ鏡筒)200と、撮影した画像データを記録しておく記録メディア131で構成されている。
【0032】
ここで、記録メディア131は、通信コネクタ130を介してボディユニット100に接続される。
【0033】
レンズユニット200は、ボディユニット100の前面に設けられた、不図示のレンズマウントを介して着脱自在であり、レンズユニット200はボディユニット100に対して交換可能である。
【0034】
このレンズユニット200は、撮影レンズ210aおよび撮影レンズ210b(光学手段)と、絞り203と、レンズ駆動機構204と、絞り駆動機構202と、レンズ制御用マイクロコンピュータ(以下、「Lμcom」と称する)201とから構成されている。
【0035】
撮影レンズ210aおよび撮影レンズ210bは、レンズ駆動機構204内に備えられている不図示のステッピングモータによって、光軸方向に駆動される。
【0036】
絞り203は、絞り駆動機構202内に備えられている不図示のステッピングモータによって駆動される。
【0037】
また、Lμcom201は、レンズ駆動機構204や絞り駆動機構202などの、レンズユニット200内の各部を駆動制御する。
【0038】
このLμcom201は、後述するボディ制御用マイクロコンピュータであるBμcom101(制御手段)(撮像制御手段)(フリッカ検出手段)と、通信コネクタ160を介して電気的に接続されており、Bμcom101と各種のデータの授受が可能であり、Bμcom101により制御される。
【0039】
一方、ボディユニット100は、以下のように構成されている。
【0040】
レンズユニット200内の撮影レンズ210aおよび撮影レンズ210b、絞り203を介して入射される不図示の被写体からの光束の光軸上には、フォーカルプレーン式のシャッタユニット120と、光学系を通過した被写体像を光電変換するための撮像素子111が配置されている。撮影レンズ210aおよび撮影レンズ210bを通った光束は、撮像素子111に結像される。
【0041】
撮像素子111は、撮像素子駆動IC110(撮像制御手段)により光電変換動作を制御される。撮像素子111は、このカメラの結像光学系によりこのようにして結像された被写体像を光電変換して、アナログ電気信号に変換する。
【0042】
撮像素子111から出力される前記電気信号は、撮像素子駆動IC110により、画像処理IC102(フリッカ検出手段)が処理するためのデジタル電気信号に変換され、画像処理IC102により、画像信号に変換される。
【0043】
また、本実施の形態のボディユニット100においては、撮像素子111、撮像素子駆動IC110と、記憶領域として設けられたSDRAM(Synchronous Dynamic Random Access Memory)等の半導体メモリ104と、液晶モニタ140(表示手段)と、画像処理を行うための画像処理IC102に接続されている。また、通信コネクタ130を介して記録メディア131が画像処理IC102に接続されている。
【0044】
このように、ボディユニット100は、本実施の形態のカメラが、電子撮像機能と共に電子記録表示機能を提供できるように構成されている。
【0045】
記録メディア131は、各種の半導体メモリカードや外付けのハードディスクドライブ(HDD)等の外部記録媒体であり、通信コネクタ130を介してボディユニット100と通信可能、且つ交換可能に装着される。
【0046】
また、画像処理IC102は、このボディユニット100内の各部を制御するためのボディ制御用マイクロコンピュータ(以下、Bμcomと略記する)101に接続されている。このBμcom101は、カメラの全体の動作を制御する制御手段の他、計数手段、モード設定手段、検出手段、判定手段、演算手段等の機能を有している。
【0047】
これらの各手段は、例えば、Bμcom101にファームウェアあるいはソフトウェアとして実装された制御プログラム103を、当該Bμcom101が実行することによって実現される。あるいは、これらの各手段は、例えば、Bμcom101を構成するハードウェアの論理回路によって実現されるようにしてもよい。
【0048】
なお、Bμcom101は、通信コネクタ160と、シャッタ制御駆動回路121等と接続されており、更に、カメラの動作状態を表示出力によって撮影者へ告知するための液晶モニタ140と、カメラ操作スイッチ(SW)150と、図示されていない電源が接続されている。
【0049】
なお、Bμcom101とLμcom201とは、レンズユニット200をボディユニット100へ装着することにより、通信コネクタ160を介して通信可能に電気的接続がなされる。そして、Lμcom201がBμcom101に対して従属的に協働しながら、デジタルカメラとして稼動するようになっている。
【0050】
シャッタ制御駆動回路121は、シャッタユニット120における不図示の先幕と後幕との動きを制御すると共に、Bμcom101との間で、シャッタの開閉動作を制御する信号と先幕が走行完了時の信号の授受を行う。
【0051】
液晶モニタ140は、カメラの動作状態を表示出力によってユーザ(撮影者)へ告知するためのものである。
【0052】
カメラ操作スイッチ150は、例えば撮影動作の実行を指示するレリーズスイッチ、撮影モードを連写モードや通常撮影モードなどに切り替えるモード変更スイッチ、電源のオン・オフを切り替えるパワースイッチなど、ユーザがカメラを操作するために必要な操作ボタン(操作手段)を含むスイッチ群で構成される。
【0053】
本実施の形態のボディユニット100は、図示されない電源回路を備え、この電源回路は、電源としての図示されない電池の電圧を、カメラの各回路ユニットが必要とする電圧に変換して当該各回路ユニットに供給する。
【0054】
次に、このカメラによる撮影動作について説明する。
【0055】
まず、Bμcom101により画像処理IC102が制御されて、撮像素子111と撮像素子駆動IC110から画像データが画像処理IC102に入力されると、画像処理IC102は、この画像データを、一時保存用メモリである半導体メモリ104に保存する。なお、半導体メモリ104は、画像処理IC102が画像処理のためにワークエリアとしても使用される。例えば、本実施の形態の場合には、半導体メモリ104にはフレーム500が格納される。
【0056】
また、画像処理IC102は、この画像データをJPEGデータに変換する画像処理を行って、記録メディア131で保存させることができる。
【0057】
シャッタ制御駆動回路121は、Bμcom101からシャッタを駆動制御するための信号を受け取るとシャッタユニット120を制御してシャッタの開閉動作を行わせる。
【0058】
このときに撮像素子111より撮像素子駆動IC110を介して出力された撮像データに対して所定の画像処理を行って画像データを生成し、記録メディア131に記録することで撮影動作が完了する。
【0059】
次に、このカメラによるライブビュー動作について説明する。
【0060】
撮影レンズ210aおよび撮影レンズ210bからの光束は撮像素子111へと導かれ、撮像素子111の出力信号が撮像素子駆動IC110で処理され撮像データが生成される。
【0061】
例えば1秒当たり30枚程度の割合で連続的に露光を行い、このときに撮像素子111から撮像素子駆動IC110を介して出力される撮像データを、画像処理IC102によりビデオ信号に変換して液晶モニタ140に与えることで、被写体の動画像を液晶モニタ140に実時間で表示させることができる。
【0062】
このような表示は「ライブビュー」と呼ばれており、周知である。なお、液晶モニタ140での画像データのライブビュー表示をこのカメラで行わせるには、ユーザが上述したカメラ操作スイッチ150の中のモード変更スイッチを操作して、ライブビューモードを選択すればよい。以降の説明では、ライブビューを「LV」と略すこともある。
【0063】
なお、LV動作時には、撮影レンズ210aおよび撮影レンズ210bからの光束は常に撮像素子111へと導かれているので、被写体の明るさの測光処理や、被写体に対する周知の測距処理を、撮像素子111と撮像素子駆動IC110から出力される画像データに基づいて画像処理IC102に行わせることができる。
【0064】
図4は、本実施の形態のカメラのBμcom101による基本的な動作の一例を示すフローチャートである。
【0065】
ステップS101では、ボディユニット100の電源がオフからオンになったことで行う制御を行う。一般的にイニシャライズ処理と呼ばれているもので、Bμcom101や撮像素子駆動IC110、画像処理IC102などの回路の起動、ボディユニット100に接続されているレンズユニット200へ電源供給と通信、などを行う。
【0066】
ステップS102では、前述のライブビュー動作を開始する準備として、レンズユニット200へ通信コネクタ160を介して所定の絞り駆動指示、撮像素子駆動IC110へ電子シャッタ速(積分時間)と感度の設定、シャッタ制御駆動回路121によりシャッタユニット120を開いて撮像素子111が受光するようにする、という制御を行う。
【0067】
ステップS103では、前述のライブビュー動作を開始する。撮像素子111は設定された電子シャッタ速で積分動作を行い、撮像素子駆動IC110を介して画像処理IC102へ撮像出力データが送られる。
【0068】
画像処理IC102は、図6に例示されるように、撮像出力を画像データに変換して液晶モニタ140に表示し、同時に画像処理IC102は、Bμcom101に被写体の輝度算出用のデータを送信する。
【0069】
この被写体輝度算出用のデータは、例えば、撮像素子111に結像した像を所定の領域に分割して平均化したデータなどを含み、Bμcom101で被写体の輝度を計算できるような数値データとして当該Bμcom101に送信される。
【0070】
このステップS104では、Bμcom101は被写体を領域分割したデータから、それぞれの分割に応じた輝度値を算出する。
【0071】
輝度値は撮像素子111と、設定した感度、レンズユニット200に制御させた絞り値、電子シャッタ速(撮像素子111の積分時間と同値)によって、撮像素子111の各領域にどのくらいの光が照射したかが計算される。

ここで、輝度を測定するエリア(測光領域)を、図6に示す9個の領域とする。図7に示す、画面上(または下)から逐次積分を開始するローリングシャッタ方式の撮像素子において、フリッカ光源下で撮影を行うと、図2A、図2Bを使って説明したとおりフリッカ成分が図8に示されるように縞模様で現れる。よって、図6のように縦方向に分割して輝度を測定することで、後述する縞の周期を調べることができる。なお、輝度を測定するエリア(測光領域)の数は9個に限るものではない。
【0072】
ステップS105では、後述するステップS113にてフリッカが検出されたか否かをチェックし、フリッカが検出されていた場合にはステップS114に移行する。一方、フリッカが検出されていない場合はステップS106へ移行する。
【0073】
ステップS101の電源オンの処理を開始してから最初にステップS105の処理を行う場合には、フリッカが検出されていないと判定されるのでステップS106に進む。
【0074】
ステップS106では、電源投入直後からの経過時間、または、過去に当該ステップS106を経過してからフリッカ検出周期td(例えば、td=500ms)が経過したかの判断を行う。このフリッカ検出周期tdはフリッカ検出を行うタイミングを制御するものである。
【0075】
フリッカ検出周期td以上経過していればステップS108へ、経過していなければステップS107へ移行する。
【0076】
ステップS107では、ステップS104で取得した輝度値に基づき露出レベルが適正となるような絞り値、シャッタ速、感度を算出する。これらの算出された値を交換レンズ200の絞り203、撮像素子111の電子シャッタ速、感度として設定することにより、適正な露出レベルの撮像出力を得ることができる。
【0077】
ステップS107はフリッカが発生していない場合に実行される処理であるので、後述するステップS114とは異なり、シャッタ速に関する制約はない。この処理を実行した後にステップS115に進む。
【0078】
ステップS108にてフリッカ判定処理を行う。詳細については後述する。
【0079】
ステップS109ではステップS108にてフリッカが検出された場合はステップS111に進む。一方、フリッカが検出されなかった場合にはステップS110に進む。
【0080】
ステップS110は、ステップS108でフリッカ光源と判定されない場合に行われる処理であって、500ms以上の周期にて何回連続でフリッカ光源と判断されたかをカウントするカウンタをクリアしてステップS115へ進む
ステップS111では、500ms以上の周期にて何回連続でフリッカ光源と判断されたかをカウントするカウンタを+1だけカウントして、ステップS112へ進む。
【0081】
ステップS112では、500ms以上の周期にて何回連続でフリッカ光源と判断されたかをカウントするカウンタが、「3」であるか否かを確認する。3回連続でフリッカが検出された場合は、ステップS113に進む。検出されない場合は、ステップS115へ進む。
【0082】
ステップS113では、被写体はフリッカ光源下であると判定する。
【0083】
ステップS106、108、109、111、112、113の一連の処理によって、500m以上の間隔でフリッカ検出動作を行い、連続して3回フリッカを検出したら、被写体はフリッカ光源下であると判定する処理を行う。一般的に、被写体がフリッカ光源環境下になったり、ならなかったり、ということを数秒レベルで変化することは無いので、1.5秒程度の時間でフリッカの判断を行い、1.5秒間全てフリッカを検出したら、フリッカと判断する。
【0084】
被写体が一瞬だけフリッカ光源を横切るような場合は、ステップS114で後述するフリッカ対策した露出制御を行うことはなく、安定してフリッカ光源環境下に被写体があるときにフリッカ対策の露出制御を行う。
【0085】
ステップS114では、被写体がフリッカ光源下にある場合に、フリッカの影響を低減したフリッカ対策の露出制御が実行される。フリッカ対策の露出制御は、積分時間がフリッカ周期よりも短くならないようにし、かつ、フリッカ周期の倍数となる積分時間に電子シャッタ速を設定する。
【0086】
電子シャッタ速をより低速と設定することに対して、交換レンズ200の絞り203を制御することで、撮像素子に到達する光量を制限し、積分時間をフリッカ周期の倍数にしても露出がオーバーにならないようにする。
【0087】
しかしながら、絞り値を変更するための絞り駆動は、メカニカルな機構を駆動して行われるので、電子シャッタ速変更や感度変更の制御と比較して追従性が遅く、ライブビュー動作中の絞り制御は好ましいものではない。
【0088】
また、被写体の輝度変化に対応するために、フレーム周期よりも短いシャッタ速を使わず絞りで対応することは、輝度変化の追従のレスポンスを遅らせることになり、一瞬を切り取る静止画撮影の構図確認用としてつかわれるライブビュー表示としては好ましくない。
【0089】
さらに絞りを絞ることで被写界深度が深くなり、ユーザがピントの合焦状態を確認しにくくなる、オートフォーカス時、合焦精度を確保するべく被写界深度を浅くする必要があるので、オートフォーカスを行うたびに絞りを開放にする必要がありレリーズタイムラグが長くなるというような多くの課題がある。
【0090】
このような理由により、ライブビュー動作中においては、絞りは開放とし、輝度追従は撮像素子の電子シャッタや感度で行うのが望ましい。よって、本実施例では、上述のフリッカ対策の露出制御は、被写体がフリッカ光源下であると判定されたときに行われる制御としている。
【0091】
ステップS115では、カメラ操作スイッチ150にあるレリーズがオンされた場合は、ステップS116のスチル撮影動作を行う。
【0092】
ステップS116では、ライブビュー動作を一旦停止し、ステップS104で得られた輝度値から、静止画撮影として最適な絞り値、電子シャッタ速、感度を算出する。算出された値から、前述の撮影動作を行う。
【0093】
ステップS117では、カメラ操作スイッチ150にある電源SWがオフされていないか判別する。そして、電源SWがオフされていない場合は、次のフレームの露出動作を行うため、ステップS104に戻り、輝度値を取得する処理を行う。
【0094】
電源SWがオフされないかぎり、ステップS104からステップS116の処理を繰り返し行う。また、さらにレリーズSWがオフの場合は、ステップS104からステップS114の処理を繰り返し行う。この処理を繰り返している間、液晶モニタ140には連続した画像が表示されるライブビュー動作となる。電源SWがオフされていたら、カメラの電源のオフ制御を行う。
【0095】
図5は、本実施の形態のカメラにおけるBμcom101によるフリッカ検出処理の一例を示すフローチャートである。次に、この図5を参照して、上述のステップS108のフリッカ検出処理の一例を詳細に説明する。
【0096】
図4のフローチャートに例示されるように、このステップS108のフリッカ検出処理は基本的には周期tdの時間間隔で処理される。

図5の制御の概要としては、ステップS104で得られた輝度値を元に、所定の周期で繰り返される撮像出力のうち、3駒連続した駒の輝度値を取得する制御で、1駒目と2駒目は同じシャッタ速で行う。3駒目は1,2駒目で制御されたシャッタ速を1段分速くし、感度を1段上げて露出レベルを維持してシャッタ速を変更する制御を行う。この3駒の輝度値を用いてフリッカ判定を行う。
【0097】
ステップS201では、上述の図4のステップS104で得られた輝度値に基づいて、露出レベルが適正になるような絞り値、シャッタ速、感度を算出し、算出した各値をレンズの絞り、撮像素子の電子シャッタ、感度に設定して撮像動作を行い、撮像出力を取得する。ステップS202では、ステップS104と同様にして、撮像出力に基づいて図6に示される各領域の輝度値を算出する。
【0098】
ステップS203では、ステップS201と同じ絞り値、シャッタ速、感度にて撮像動作を行い、2駒目の撮像出力を取得し、ステップS204では、2駒目の撮像出力に基づいて、図6に示される各領域の輝度値を算出する。
【0099】
ステップS205では、ステップS202で制御した絞り値、シャッタ速、感度のうち、シャッタ速を1段分速くする。シャッタ速を高速にした分により露出がアンダーにならないように感度を1段増加させる。そして3駒目の撮像動作を行い、撮像出力を取得する。ステップS206では、3駒目の撮像出力に基づいて、図6に示される各領域の輝度値を算出する。
【0100】
ステップS207では、1駒目と2駒目で得られた各領域の輝度値について対応する領域毎に輝度値の差分を算出する。領域Nについて2個の駒の輝度値の差分を算出するためには、N=1〜9の場合について、それぞれ以下の(1)式の計算を行う。
【0101】
領域N差分=2駒目の領域Nの輝度値−1駒目の領域Nの輝度値・・・(1)
ここまでの処理によって、フリッカ判定のために必要な撮像出力である、積分時間が同じ2つの駒の撮像出力と、積分時間が異なる2つの駒の撮像出力が得られた。さらに、この撮像出力から、図6に示す領域の輝度を算出し、式(1)の計算により領域ごとに積分時間が同じ2つの駒の輝度変化と積分時間が異なる2つの駒の輝度変化を取得した。
【0102】
ステップS209以降で行う、フリッカの判定を行う処理の説明をする前に、ステップS201からS208までに得られたデータと、フリッカ光源との関係を、図9〜15を用いて説明する。
【0103】
図9は、フリッカを有する照明が、被写体を均一に照射しているケースである。被写体とフリッカ光源の位置関係は固定としている。このような設定における輝度と積分時間の関係を図10に示す。ここでは、商用電源周波数は60Hzで、フリッカ明滅周波数が120Hz、また撮像出力のフレームレートは120fpsで、フリッカ明滅周波数と撮像出力のフレームレートが同期している場合を例に説明する。
【0104】
図10の一番上のグラフ「A:照射面輝度変動」は被写体の輝度変動を示す。横軸はグラフA、B、C共通の時間軸である経過時間、縦軸は輝度を示す。120Hzのフリッカは、8.33msの周期で明滅を繰り返し、特に消灯するタイミングでは輝度の単位時間当たりの変化が大きくなる特徴がある。
【0105】
次に、ある積分時間「T」で、積分した場合の、図6で示された9個の領域の積分時間とタイミングについて、図10の上から2番目のグラフ「B:積分時間Tによる逐次積分」に基づいて説明する。
【0106】
図7のように、上から逐次積分を開始する撮像素子では、画素ごとに上から逐次積分が開始される。図6で示される領域の中には複数の画素が存在しており、その画素の積分タイミングは領域内部でも画素ごとに異なるが、領域内の画素の出力を平均して「領域の輝度値」とし、領域1から領域9へ逐次積分を開始しているとみなして図示したのが図10のグラフBである。
【0107】
120fpsで領域1から積分開始し、領域9まで逐次積分動作を行い、これを積分1回目とする。グラフBでは3回繰り返して120fpsで積分動作が行われている様子を示している。
【0108】
まず、積分1回目に着目すると、グラフAに示される照射面の輝度が一番高いタイミングに、積分時間の中心が来ている領域は「領域2」である。よって、領域2から算出される輝度値は、他の領域に比べ高くなる。一方、グラフAで照射面の輝度が一番低くなるのが「領域7」であり、領域7から算出される輝度値は、9つの領域の中で一番低い輝度となる。
【0109】
フリッカ周期と撮像の周期は同期しているので、明るい領域と暗い領域の関係は、積分2回目、積分3回目でも保たれる。このように、積分時間が同じ場合、すなわち積分1回目、2回目、3回目で得られる各領域の輝度値を比較すると、同じ輝度値が得られることがわかる。
【0110】
図10のグラフ「C:積分時間「t」による逐次積分」は、積分時間をTとは異なる時間「t」で積分した場合を示す。
【0111】
積分開始タイミングは、グラフBと同じだが、積分時間が短いために、積分時間の中心が変わり、結果として積分時間「t」で一番明るい領域は「領域4」、一番暗い領域は「領域9」となる。図11のグラフA,B,Cより、フリッカ照明下では積分時間を変えると、領域ごとに出てくる輝度値が異なるということになる。
【0112】
そして、積分時間Tで取得したグラフBの領域7と、積分時間tで取得したグラフCの領域9を比較すると、最も暗くなる時刻を積分時間の中心とするものの、積分時間Tは比較的明るい時刻も含めて積分しており、一方、積分時間の短い方は、輝度が暗い時間に限って積分しているので、グラフBの積分時間Tの領域7よりも、グラフCの積分時間tの領域9から算出される輝度値の方が、輝度が暗いことが示されている。
【0113】
図10のグラフ「D:積分により得られた輝度値(測光値)」は、横軸の時間軸に9つの領域の積分時間の中心時刻を記載し、縦軸に各領域から得られた輝度値を示す。積分時間Tは実線、積分時間tは破線で示し、積分時間を変更すると得られる輝度値が変化する関係になる。
【0114】
図9、図10に示すように、蛍光灯のフリッカによる明滅以外に照射面の輝度変動要因が無いケースでは、フリッカ成分のみが輝度値として現れるので、積分時間が異なる撮像出力を比較することによりフリッカ光源か否かの判定が可能である。
【0115】
しかし、実際の撮影シーンでは図11に示すように、被写体が動く状況があり、光源がフリッカ明滅のないフリッカレス光源であっても取得する輝度値が変化する。
【0116】
図12は、図11の状況における輝度変化等を、図10と同様の形態で表示したものである。図12のグラフAはランダムな輝度変化を繰り返す。このような被写体状況では、シャッタ速の変更に関わらず輝度値の変動は生じる。
【0117】
図12では、積分時間が同じ積分1回目、2回目、3回目でも各領域とも輝度変動は発生する。また、積分時間「T」と積分時間「t」による違いも発生する。
【0118】
従って、図12に示すように、フリッカ光源下かつ被写体が動いているという一般的な被写体の照射面輝度は、フリッカ明滅による変動成分と被写体の動きによる変動成分が重畳したものとなる。
【0119】
そのため、フリッカ成分と被写体の変動成分が重畳した被写体の照射面輝度から、被写体がフリッカ光源か否かを判断することは、積分時間が異なる撮像出力の比較のみで行うのは困難である。
【0120】
本実施例では、図5のフリッカ検出処理によりこのような問題を解決する。また、本実施例の動作を、図10、12と同様の形態にて図14に示す。
【0121】
図14のグラフ「A:照射面輝度変動」は、フリッカ明滅による8.33ms周期で輝度変化する成分と、ランダムな被写体の移動により変化する輝度成分が重畳している状態を示す。積分1回目と2回目は同じ積分時間とし、積分3回目について積分時間を短くして取得している。これは図5のステップS201からS206までで説明した状態であり、図5の1駒目が積分1回目、2駒目が積分2回目、3駒目が積分3回目に対応するものである。
【0122】
図15は、ステップS207で得られた1、2駒目の変動量と、S208で得られた2、3駒目で得られた変動量の時間変化を示すものである。1、2駒目の変動量である「2駒目−1駒目」は、同じ積分時間で撮像動作を行った2駒目と1駒目の輝度値の差分である。また、2、3駒目の変動量である「3駒目−2駒目」は、異なる積分時間で撮像動作を行った3駒目と2駒目の輝度値の差分である。
【0123】
さらに、ステップS208にて、図15に示す「3駒目−2駒目」の最大値と最小値の差である「3駒目−2駒目の振幅」を算出する。またステップS207では、同様に「2駒目−1駒目の振幅」を算出する。
【0124】
後述するステップS209では、ステップS208で得られた「3駒目−2駒目の振幅」が、ステップS207で得られた「2駒目−1駒目の振幅」よりも十分大きいかどうかを比較し、十分大きいと判断された場合にフリッカ判定のうちの一つの条件に該当したと判定するものである。具体的には以下の式(2)を満たす場合にフリッカ判定のうちの一つの条件に該当すると判定する。
【0125】
(3駒目−2駒目の振幅)/(2駒目−1駒目の振幅)> 閾値D・・・(2)
閾値Dは、後述するように1例として2としてもよいし、さまざまな条件に応じて適宜変更してもよい。このように輝度値の差分の振幅を比較することにより、フリッカ光源下か否かの判定を行う原理について説明する。
【0126】
人の目では視認できないほど早いフリッカ明滅に比べ、視認できるような被写体の移動による輝度変動は比較的緩やかで単位時間当たりの輝度変動は少ない。
【0127】
図16に示す1例のように、積分時間を4ms、感度をISO200で取得した撮像出力と、積分時間を1段分減らした2ms、その分だけ感度を1段増やしてISO400とした場合を比較すると、輝度変化がなければ同じ輝度値が得られるが、例えば8.33msの周期でフリッカ明滅するような輝度が早く変化する状況に対しては、積分時間の違いによる輝度値の違いは大きくなる。
【0128】
なお、輝度値は、図16にて積分時間2ms(ISO400)の場合はL(2ms)(右上がり斜線部の面積)、積分時間4ms(ISO200)の場合はL(4ms)(右下がり斜線部の面積)にそれぞれ相当し、輝度値に換算して比較する場合は、感度の差を考慮して2×L(2ms)とL(4ms)とを比較する。
【0129】
一方、被写体の移動のようにゆるやかな変化をするものに対しては、図16と同様な表記により図17に示す。図17に示されるように、積分時間を2ms(ISO400)と4ms(ISO200)変化させた場合の輝度値の差は、フリッカ明滅の状況における測光値の差よりも小さくなる。
【0130】
また、フリッカ明滅に匹敵するほどの被写体の変化が激しい場合は、上記判定方法ではフリッカと見分けがつきにくい。しかし、フリッカ成分と被写体の動きが同じ程度で変動しているような被写体においては、フリッカによる縞模様が、被写体の激しい変化にまぎれて目立たないので、フリッカ光源下かどうかを判定する必要性は小さい。
【0131】
以上に述べた原理に基づき、積分時間が異なる撮像出力の変動と、積分時間が同じ撮像出力の変動との比が所定値(例えば2)よりも大きい場合、フリッカ有りと判定する。
【0132】
一方、積分時間が異なる撮像出力の変動と積分時間が同じ撮像出力の変動との比が所定値(例えば2)より小さい場合、フリッカ成分があったとしてもフリッカの影響はライブビュー表示で目立つレベルではないと考えられ、フリッカの影響は十分に小さいと判断しフリッカなしと判定する。上記所定値は、さまざまな条件により変更してもよい。
【0133】
次に、図5に戻って説明する。
【0134】
ステップS209にて、ステップS208で得られた変動量が、ステップS207で得られた変動量に比べて2倍以上ある場合、被写体はフリッカ光源下であると判断し、ステップS210へ進む。一方、2倍より小さい場合は、被写体はフリッカ光源下ではない、もしくはフリッカ光源の影響は十分に小さいと判断し、フリッカ判定処理を終了する。
【0135】
ステップS210にて、輝度変動の周期を調べ、フリッカ周期に同期したものかどうか調べ、周期性がフリッカ周期に該当するかを判断する。
【0136】
図18に示すように、3駒目と2駒目の差分について、正から負に切り替わる切り替わりポイントを調べる。「領域N」と「領域N+1」を比較し、「領域N」が正、「領域N+1」が負または0、となるNを探す。
【0137】
被写体がフリッカ光源下の場合、このような複数の切り替わりポイントの間隔である図18に示す間隔1がフリッカ1周期分の時間に相当しているか判定する。
【0138】
図10、12、14には示していないが、領域1から領域9の間に1周期分以上かけて画面全体を積分する撮像素子の場合は、フリッカ1周期分、8.33ms積分開始時間がずれる領域数分、切り替わりポイントが離れているか否かで判断できる。
【0139】
同様に、「領域N」と「領域N+1」の比較により、負から正に切り替わる切り替わりポイントも求めると、図18に示す例では3個の切り替わりポイントが得られ、例えば間隔2がフリッカ周期の概略半分かどうか、という方法で調べることもできる。
【0140】
1画面分の撮像出力を取得する時間が、フリッカ周期よりも数倍長くライブビュー上に縞が多く発生するような場合では、領域数を9個より多く増やしてフーリエ変換など周波数成分を調べる方法も有効である。
【0141】
このように、輝度値の変動周期が、フリッカ周期と略一致し、周期性評価としてフリッカ周期に該当すると判定した場合に、ステップS211へ進む。そして、ステップS211にてフリッカを検出したという判定をする。
【0142】
以上で、図5のフリッカ判定処理の動作について説明を終了する。
【0143】
なお、本実施例における同じ積分時間とは、両方の積分時間の比率が0.75より大きく、1.25より小さい範囲内を同じ積分時間とする。また、異なる積分時間とは、両方の積分時間の比率が0.75以下または1.25以上を異なる積分時間とする。
【0144】
次に、第1実施例の変形例を以下に説明する。フリッカが横の縞としてライブビュー表示に影響を与えることを利用して、図19に示すように測光領域を撮影画面の横方向にもさらに隣接して配置し、ステップS210にて周期性評価の判定を行う。即ち、図19にて撮像領域400の測光領域401の横方向に測光領域402、403を配置する。測光領域402、403は測光領域401と同様にそれぞれ領域1から領域9を有する。
【0145】
そして、上記ステップS210で求めた領域1から領域9の中での切り替わりポイントが、図20に示すように測光領域401とその横方向に隣接する測光領域402、および測光領域403とで一致するかどうかを判別し、これらが一致した場合にステップS211に進むようにする。
【0146】
このようにして、周期性評価の確実性をより向上させることが可能である。
【0147】
なお、撮像のフレームレートが60fpsのケースでは、フリッカ2周期分と同期することとなり、30fpsはフリッカ4周期分と同期することとなるので、本実施例の120fpsの場合と同じ現象が発生し、撮像のフレームレートが60fps、30fpsであっても本実施例によるフリッカ判定処理は有効である。
【0148】
以上説明したように、第1実施例においては、同じ積分時間による撮像出力の変動量に基づいて、異なる積分時間による撮像出力の変動量を、フリッカ成分として判定するかどうかを判断することで、被写体の動きによる誤判定を取り除くことが可能となる。
【0149】
また、被写体がフラットで動きが少ない場合は、微弱なフリッカ縞でもライブビュー表示上で目立つが、同じ積分時間による撮像出力の変化量が小さいので、異なる積分時間による撮像出力の変動量が小さくてもフリッカ成分として判断することができ、フリッカ検出能力を向上させることが可能である。また、被写体の動きによる影響だけでなく、カメラの手ブレの影響についても同様の方法で、フリッカ検出の誤判定を取り除くことが可能となる。
【0150】
次に、第2実施例について説明する。第2実施例の構成は、第1実施例の構成を示す図1と同様であり、図4のカメラの基本動作の処理も同様である。以下、第1実施例と異なる部分についてのみ説明する。
【0151】
図5に示す第1実施例のフリッカ判定処理では、積分1回目と積分2回目を、同じ積分時間で撮像出力を取得し、積分3回目を前の2回とは異なる短い積分時間で積分する例を示した。
【0152】
第2実施例では、積分1回目、積分2回目、積分3回目を同じ時間とし、積分4回目を前の3回とは異なる積分時間とすることで、商用電源周波数60Hzと50Hzの両方のフリッカについて判別する能力を有するものである。
【0153】
撮像出力のフレームレートが30fpsの場合、商用電源周波数60Hz地域でのフリッカ照明は120Hzのフリッカ周期であり、図2Bで説明したように撮像出力のフレームレートと同期する。一方、商用電源周波数50Hz地域でのフリッカ照明では、図2Aで記載したように、フレーム間で縞模様が変化する。この変化は、フリッカ周期10msと、撮像出力周期33.3ms(1/30fps)の最小公倍数である100msで同期する。積分時間が同じである3回分の積分値を平均すると、フリッカ成分の影響を弱めたデータが得られることは、前述した先行技術のように公知である。従って、撮像出力と同期しないフリッカ成分を検出する場合は3駒比較の方が、積分時間変更による検出よりも良好に検出できることから、撮像出力のフレームレートと同期しないフリッカである100Hzのフリッカと、同期する120Hzのフリッカを別々の判断方法で検出するものである。
【0154】
図21に、第2実施例のフリッカ判定処理のフローチャートを示す。
【0155】
ステップS301にて、図4のステップS104で得られた輝度値に基づいて、露出レベルが適正になるような絞り値、積分時間、感度を算出して、この算出された値をレンズの絞り、撮像素子の電子シャッタ、感度に設定して撮像動作を実行し撮像出力を得る。
【0156】
ステップS302からS304では、ステップS104と同様にして、撮像出力に基づいて図6に示す測光領域ごとに輝度値を算出する。
【0157】
ステップS302では1駒目の、ステップS303では2駒目の、ステップS304では3駒目の輝度値を取得し、ステップS302、S303、S304では全て同じ積分時間で撮像動作を行う。
【0158】
ステップS305では、ステップS302、S303、S304で制御した絞り値、積分時間、感度のうち、積分時間を1段分速く設定する。そして、シャッタ速を速くした分だけ露出がアンダーにならないように感度を1段増加する。
【0159】
そして、ステップS306にて4駒目の撮像動作を行い、撮像出力を取得して、図6で示される領域の輝度値を得る。
【0160】
ステップS307にて、同じ積分時間で撮像動作を行った1、2、3駒目の輝度値に基づいて、50Hzフリッカを検出する。フリッカ検出方法は、すでに公知であり前述した先行技術にも記載しているため簡単に以下に記載する。
【0161】
上記1〜3駒について算出された各領域の輝度値の平均値を算出する。例えば領域1について下記の式により求める。
[(1駒目の領域1の輝度値)+(2駒目の領域1の輝度値)+(3駒目の領域1の輝度値)]/3 ・・・ (3)
式(3)の計算を9個の領域について行う。
【0162】
この9個の領域の輝度値は、フリッカ成分がかなり軽減されたものとなる。1駒目の領域1〜9について、各領域に輝度値から3駒分の輝度値の平均値を引き算すると、フリッカ環境下の場合、フリッカ成分のみが抽出される。
【0163】
他の2駒についても同様にして、各領域の輝度値から3駒分の輝度値の平均値の差分をとり、得られた差分はフリッカ成分に相当するので、フリッカ成分の特徴量、例えば周波数成分などを調べることで、50Hzフリッカと判断するものである。
【0164】
このように撮像のフレームレートと同期しないフリッカ成分を、1、2、3駒目の撮像出力から判断し、フリッカ成分と判断された場合は、ステップS313へ進む。一方、フリッカ成分と判断されない場合はステップS308へ進む。
【0165】
ステップS308では、ステップS208と同様にして、以下の計算を行う。
「領域N差分」=「3駒目・領域Nの輝度」−「2駒目・領域Nの輝度」 ・・・(4)
上記(4)式により、3駒目と2駒目の各領域の輝度値の変動量を算出する。
【0166】
ステップS309にて、ステップS308と同様にして、以下の計算を行う。
「領域N差分」=「4駒目・領域Nの輝度」−「3駒目・領域Nの輝度」 ・・・(5)
上記(5)式により、4駒目と3駒目の各領域の輝度値の変動量を算出する。
【0167】
ステップS310、S311にて、ステップS209、S210と同様のチェックを行う。ステップS310にて4駒目と3駒目の変動量が所定の閾値を超える場合、かつステップS311にて周期性評価により60Hzフリッカ周期に該当すると判定された場合にステップS312に進み、60Hzのフリッカが有ると判定する。
【0168】
ただし、50Hzのフリッカの環境下にある場合は、ステップS307の分岐によりステップS311に進むことはないので、ステップS312にて判定するのは同期している60Hzのフリッカである。
【0169】
ステップS313にて、50Hzフリッカと判定する。このように、撮像フレームレートに同期していないフリッカは、同期しているフリッカと比べて縞の挙動が大きく異なるので、50Hzと60Hzのフリッカを別々に検出する方が良好な検出が可能である。
【0170】
また、図21に示すフリッカ判定処理は、撮像フレームレートが30fpsに限定されるものではない。撮像フレームレートが60fps(周期16.6ms)の場合は、50Hzフリッカの周期100msとの最小公倍数は6駒分なので、6駒平均のデータを用いてもよい。
【0171】
また、変形例として図22に示すように、フレームを間引いて1駒おきの撮像出力に基づく輝度値を用いてもよい。撮像フレームレートが120fpsの場合は、4駒おきの撮像出力も基づく輝度値を用いてもよい。このように撮像フレームレートが増加した場合は、適切に間引いた撮像出力を用いることで、図21と同様の方法でフリッカ判定が可能である。
【0172】
さらに他の変形例を図23に示す。図23においては、3回の積分動作のうちの1回目と3回目の積分時間をTとし、2回目の積分時間をtとする。この場合、積分1回目と積分3回目を同じ積分時間の撮像出力として輝度値を比較し、積分1回目と2回目の撮像出力を、積分時間の異なる撮像出力として輝度値を比較することにより、同様の効果を得ることができる。このように、同じ積分時間と、異なる積分時間の順序は特に限定されるものではない。
【0173】
次に、第3実施例について説明する。
【0174】
第1、2実施例では、図6に示す測光領域401の撮像出力より求められる輝度値の差に基づきフリッカ判定処理を行っているのに対して、第3実施例では複数の撮像出力に基づいて動きベクトルを求め、さらに動きベクトルに基づいてフリッカ判定処理を行う点が異なる。
【0175】
画像処理IC102の内部には、不図示の動きベクトル算出部が設けられている。動きベクトル算出部は、撮像素子111より撮像素子駆動IC110を介して出力される複数の駒(フレーム)の撮像出力に基づいて動きベクトルを算出する。
【0176】
図24で示されるように、撮影画面400に対して被写体Aの移動が2つの駒で発生した場合、図25に示すように、移動前の駒の撮像出力に位置する被写体上の特定の点が、移動後の駒の撮像出力のどこに位置するかを、2つの駒の撮像出力に関するパターンマッチング等の手法を用いて動いた方向を検出する技術が知られている。
【0177】
第3実施例は、上記公知の技術を利用するとともに、積分時間を変更して撮像動作を行うことにより、ライブビュー表示に発生する縞の濃さや太さが変わることを利用してフリッカを検出するものである。
【0178】
(フリッカ周期×整数倍)の撮像出力周期である場合、同じ積分時間の場合は前述のように、ライブビュー表示に現れるフリッカによる縞は、複数の駒にわたって移動することなく、一定の位置を保持して表示される。この時の動きベクトル算出部により算出される動きベクトルの例を図26に示す。図26に示すように被写体に関する動きベクトル410のみが発生し、フリッカによる縞の動きベクトルは発生しない。
【0179】
一方、同じ条件下で異なる積分時間の場合にはフリッカによる縞が変化するので、図27に示すように、縞の変化に応じた撮影画面400の横方向に並んで発生する動きベクトル411も動きベクトル算出部により算出される。Bμcom101は、画像処理IC102の動きベクトル算出部より、フレームごとに算出された動きベクトル情報を受信し、図26と図27の動きベクトルの違いを検出することにより、フリッカの有無を判定することができる。
【0180】
次に変形例について説明する。
【0181】
撮像出力は、RGBの色情報を持っていることから、RGBの割合の変化を見ても良い。蛍光灯の明滅時、色の変動が発生するので、ライブビューに表示される縞は、蛍光灯によっては赤色が目立つ縞となることがある。そのため積分時間が長い場合の撮像出力により図28に示す撮影画面上にフリッカの縞405Aが存在した場合、積分時間をより短くした場合の撮像出力により図29に示す撮影画面上のフリッカの縞405Bとなり、より赤さが強くなるという変化が生じる。
【0182】
例えば、図6に示す領域が、輝度情報ではなく、RGBそれぞれの積分値を分けてデータとして持たせることで、9個の領域ごとに、積分時間が同じ2つの駒の色の変動量と、積分時間が異なる駒の色の変動量を比較する、というように比較する変動量を置き換えてもよい。いずれも積分時間が同じ撮像出力の比較と積分時間が異なる撮像出力の比較の両方用いて判断するものであり同様な効果が得られる。
【0183】
以上説明したように、本実施の形態によれば、フリッカ周期とフレームレートが同期する場合、もしくは完全には同期していないが、フレームレートがフリッカ周期と同期する周波数に近い場合に、電子シャッタ速を変更した撮像出力を比較する手法を用いたフリッカ検出を用いても、ユーザの構図確認用として液晶モニタ140に表示するライブビューの動画の画質を落とすことなく、適切にフリッカ検出することが可能となる。
【0184】
すなわち、本実施の形態によれば、フレームレートとフリッカ光源の周波数が同期する場合でも、ライブビューの表示画質を低下させることなく、フリッカ検出を行うことができる。
【0185】
なお、本発明は、上述の実施の形態に例示した構成に限らず、その趣旨を逸脱しない範囲で種々変更可能であることは言うまでもない。
【符号の説明】
【0186】
100 ボディユニット
101 Bμcom
101a 制御プログラム
102 画像処理IC
104 半導体メモリ
104a 制御テーブル
110 撮像素子駆動IC
111 撮像素子
120 シャッタユニット
121 シャッタ制御駆動回路
130 通信コネクタ
131 記録メディア
140 液晶モニタ
150 カメラ操作スイッチ(SW)
160 通信コネクタ
200 レンズユニット
201 Lμcom
202 絞り駆動機構
203 絞り
204 レンズ駆動機構
210a 撮影レンズ
210b 撮影レンズ
400 フレーム(撮影画面)
401 測光領域
VD 垂直同期信号
td フリッカ検出周期

【特許請求の範囲】
【請求項1】
ローリングシャッタ方式の電子シャッタ機能を有する撮像素子と、
被写体からの光を前記撮像素子に導く光学手段と、
前記撮像素子に所定の周期で撮像動作を行なわせ、前記撮像素子の積分時間を制御する撮像制御手段と、
前記撮像素子の撮像出力に基づいてフリッカ成分を検出するフリッカ検出手段と
を有し、
前記フリッカ検出手段は、互いに異なる積分時間で取得した複数の撮像出力の変化から、被写体からの光が前記撮像素子の撮像出力の周期の1/整数倍の周期で明滅するフリッカ成分が含まれる光であることを判断する際に、同一の積分時間で取得した複数の撮像出力に応じて、フリッカ成分が存在するかどうかの判断基準を変更する
ことを特徴とする撮像装置。
【請求項2】
ローリングシャッタ方式の電子シャッタ機能を有する撮像素子と、
被写体からの光を前記撮像素子に導く光学手段と、
前記撮像素子に所定の周期で撮像動作を行なわせ、前記撮像素子の積分時間を制御する撮像制御手段と、
前記撮像素子の撮像出力に基づいてフリッカ成分を検出するフリッカ検出手段と
を有し、
前記フリッカ検出手段は、第1の積分時間で取得した撮像出力と前記第1の積分時間と異なる第2の積分時間で取得した撮像出力の差から、被写体からの光が前記撮像素子の撮像出力の周期の1/整数倍の周期で明滅するフリッカ成分が含まれる光であることを所定の判断基準に基づいて判断する際に、前記第1の積分時間、第2の積分時間と異なる第3の積分時間で取得した撮像出力と第1の積分時間で取得した撮像出力との差に応じて、前記判断基準を変更する
ことを特徴とする撮像装置。
【請求項3】
前記第2の積分時間は、前記第1の積分時間に対して0.75以下または1.25以上の比を有する
ことを特徴とする請求項2に記載の撮像装置。
【請求項4】
前記第3の積分時間は、前記第1の積分時間に対して0.75から1.25の間の比を有する
ことを特徴とする請求項2に記載の撮像装置。

【図1A】
image rotate

【図1B】
image rotate

【図2A】
image rotate

【図2B】
image rotate

【図2C】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate

【図9】
image rotate

【図10】
image rotate

【図11】
image rotate

【図12】
image rotate

【図13】
image rotate

【図14】
image rotate

【図15】
image rotate

【図16】
image rotate

【図17】
image rotate

【図18】
image rotate

【図19】
image rotate

【図20】
image rotate

【図21】
image rotate

【図22】
image rotate

【図23】
image rotate

【図24】
image rotate

【図25】
image rotate

【図26】
image rotate

【図27】
image rotate

【図28】
image rotate

【図29】
image rotate


【公開番号】特開2013−89991(P2013−89991A)
【公開日】平成25年5月13日(2013.5.13)
【国際特許分類】
【出願番号】特願2011−225672(P2011−225672)
【出願日】平成23年10月13日(2011.10.13)
【出願人】(504371974)オリンパスイメージング株式会社 (2,647)
【Fターム(参考)】