撮像装置及び撮像方法
【課題】動画像撮影に適したクロックを有しない撮像装置にて、動画像撮影時のフレームレートの調整の有無に応じたフリッカ補正を行えるようにする。
【解決手段】動画像撮影時に目標フレームレートに対する誤差を基にフレームレートの調整を実施するか否かを判定し、判定結果に応じてフレーム周期を制御しフレームレートを調整するとともに、フレームレートの調整実施時のフレーム周期に対応した補正ゲイン値、及び調整不実施時のフレーム周期に対応した補正ゲイン値の両方を算出し、判定結果に応じて補正ゲイン値を選択して撮像データに対するフリッカ補正を行うようにして、フレームレートの調整の有無に応じた適切なフリッカ補正を行えるようにする。
【解決手段】動画像撮影時に目標フレームレートに対する誤差を基にフレームレートの調整を実施するか否かを判定し、判定結果に応じてフレーム周期を制御しフレームレートを調整するとともに、フレームレートの調整実施時のフレーム周期に対応した補正ゲイン値、及び調整不実施時のフレーム周期に対応した補正ゲイン値の両方を算出し、判定結果に応じて補正ゲイン値を選択して撮像データに対するフリッカ補正を行うようにして、フレームレートの調整の有無に応じた適切なフリッカ補正を行えるようにする。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動画像を撮影可能な撮像装置及び撮像方法に関し、詳しくはフリッカの補正技術に関する。
【背景技術】
【０００２】
光学情報を電気信号に変換する撮像部を有するデジタルカメラでは、撮像部で光電変換された電気信号をデジタル化して画像処理を施し、メディア等の記録媒体に記憶するのが一般的である。近年、撮像部にＣＭＯＳセンサを用いたデジタルカメラが市場に流通し、一眼レフデジタルカメラ等の高記録画素の分野では主流を占めようとしている。ＣＭＯＳセンサは、１ライン毎に画素を順次リセットし、その後、１ライン毎に画素から順次信号を読み出すＸ−Ｙアドレス方式を採る。Ｘ−Ｙアドレス方式を採るＣＭＯＳセンサは、１画面に対して１ライン毎に画素を読み出すローリング電子シャッターという制御を採る。
【０００３】
デジタルカメラを用いて、商用電源で直接点灯する蛍光灯等の点滅光源下で撮影を行うと、撮像素子の蓄積時間及び撮影フレーム周期（フレーム周波数）と光源の発光周波数との関係からフリッカが発生する。例えば、ローリング電子シャッター方式を採るＣＭＯＳセンサを用いて、電源周期に同期して交流点灯をする蛍光灯の照明下で動画像撮影を行うと、撮影で得られた画像内に横縞状のラインフリッカ（面内フリッカ）が発生し得る（例えば、特許文献１参照。）。特に、動画中においては、この横縞が移動するように見えるために、鑑賞時に不快感を与え問題である。
【０００４】
図８は、チョークコイルを用いた蛍光灯の発光特性を説明するための図である。図８（ａ）には商用電源の単相正弦波を示しており、図８（ｂ）には、図８（ａ）に示す商用電源で蛍光灯に印可される電圧を示している。図８（ｃ）には蛍光灯から発生する光量を示している。図８に示すように、電源周期の１周期あたり２回発光するので、蛍光灯の発光周波数は電源周波数の２倍になる。すなわち、電源周波数が５０Ｈｚの地域では発光周波数は１００Ｈｚとなり、電源周波数が６０Ｈｚの地域では発光周波数は１２０Ｈｚとなる。
【０００５】
こうした点滅光源下でＣＭＯＳセンサを駆動すると、蓄積時間が点滅光源の発光周期の整数倍になっていないときには、発光周期Ｔ毎に図９に示すようなラインフリッカ（面内フリッカ）が発生する。しかも、フレーム周期が点滅光源の発光周期の整数倍でないときには、ラインフリッカ（面内フリッカ）は垂直方向に流れるので画像（映像）の劣化は特に目立ってしまう。動画像撮影時において、前述のような横縞状のラインフリッカ（面内フリッカ）の移動を抑えるには、各ラインの蓄積時間を点滅光源の発光周期の整数倍にすれば良いが、光学系の絞りの制御に精度が必要になる。
【０００６】
ラインフリッカ（面内フリッカ）の補正技術として、以下の方法が特許文献２に提案されている。画像を垂直走査方向に分割して複数のフリッカ検波枠を設定し、フリッカ検波回路によってフリッカ検波枠毎に輝度データの検波を行う。そして、マイクロコンピュータ及びフリッカ周波数判別プログラムによってフリッカ検波枠毎に前後の２つのフレームの輝度データの差分をとり、フリッカ成分を抽出してフリッカの周波数を算出する。この後、抽出したフリッカ成分の山又は谷が、どの程度のフリッカ検波枠の間隔で発生しているかを測定し、それを周波数に置き換える。前後のフレームの差分をとった場合にフリッカ成分が消えないように、撮像信号のフレームレートとフリッカ周波数とを同期させないように調整する。そして、前述のようにして検出したフリッカの周波数を基に、電子シャッター機能とＡＧＣ（自動利得制御）回路を用いてフリッカの除去を行う。
【０００７】
近年、デジタルスチルカメラでも動画像撮影が可能になり、デジタルカメラの撮影制御に係る設定の変更や更新は多岐に渡る。前述の点滅光源下の撮影でのラインフリッカ（面内フリッカ）の出現は、発光周期（電源周期）や点滅光源の発光特性によって変化する。また、それ以外にも、デジタルカメラが有する撮像素子における蓄積時間やフレームレート、画素の加算方式や間引き方式による読み出し時間の変化といった駆動状態によっても変化する。つまり、撮影制御に係る設定の変更等によってフリッカ成分は変化する。
【０００８】
撮像素子の駆動状態の変更等によって生じた急激なフリッカ成分の変化に対し、精度良くフリッカ成分を補正可能な画像処理技術の提供を目的として、下記構成が特許文献３に提案されている。特許文献３には、フリッカ補正ステップと変更ステップとを有する画像処理技術が記載されている。フリッカ補正ステップでは、撮像素子により得られる画像信号からフリッカ成分を検出し、検出されたフリッカ成分に基づいて画像信号を補正する。また、変更ステップでは、撮像素子の駆動状態が第１の状態に維持されている期間と、駆動状態の変更が生じて撮像素子の駆動状態が第２の状態に維持されるまでの移行の期間では、フリッカ補正ステップにおける画像信号の補正を変更する。
【先行技術文献】
【特許文献】
【０００９】
【特許文献１】特開２００７−０３７１０３号公報
【特許文献２】特開２００３−１８９１２９号公報
【特許文献３】特開２００９−１６４７７４号公報
【発明の概要】
【発明が解決しようとする課題】
【００１０】
前述のように、近年デジタルスチルカメラは、動画像撮影が可能になっているが、静止画撮影と動画像撮影とでは撮影に係るパラメータの定義が全く異なり、デジタルスチルカメラによる静止画撮影では従来起きなかった問題が発生している。その一つが、動画像撮影に適したクロックがデジタルスチルカメラで使用するクロックとして用意されていないという問題である。
【００１１】
静止画撮影が主であるデジタルスチルカメラのフレームレート管理は、動画像撮影専用のビデオカメラのように合せ込んだものではない。例えば、３０ｆｐｓ（frame per sec）の動画像撮影を行うとき、実際には３０．０４ｆｐｓでの駆動になったとすると、フレーム毎に０．０４の分の誤差が蓄積されることになる。このような場合には、撮像処理において複数フレームに一度、時間調整のためのフレームレート制御を入れて対応する。例えば、ＣＭＯＳセンサでは撮像フレームの１Ｈ（以降、ある１ラインの水平走査を１Ｈと記す。）に対する読み出しクロック数の変更が可能であるので、時間調整のフレームでは、１Ｈの期間を数クロック少なく設定することで走査時間を調整する。例えば、時間調整時のフレームレートが２９．９３ｆｐｓになったとすると、３０ｆｐｓに対して０．０７の分の蓄積誤差を減少させたことになる。このようにして、時間調整のフレームを用い長期間の（複数フレームにおける）平均として３０ｆｐｓを実現する。
【００１２】
図１０を参照して、前述したフレームレート制御の一例を説明する。
図１０において、１００１は、撮像部から撮像データを読み出すためのタイミングパルス（図中、負論理）としての垂直同期信号（ＶＤ）である。１００２は、垂直同期信号毎に読み出されるフレーム単位の撮像データであり、説明の便宜上、図中にフレーム単位で連番を添え字として付している。１００３は、撮像データにおいて画像（映像）として補正処理や画像処理等の対象となる処理対象期間を示す信号である。処理対象期間は、垂直走査方向の有効画像（映像）範囲を示し、ラインフリッカ（面内フリッカ）の処理対象範囲となる。なお、処理対象期間中には、図示しない水平同期信号（ＨＤ）に起因した非画像データの期間も存在するが、本図では垂直走査方向に注視した説明としている。
【００１３】
１００４は、目標フレームレートと実際のフレームレートとが異なることによって蓄積される蓄積誤差の値である。１００５は、蓄積誤差値を基にフレームレートの調整の実施有無を判定するタイミングを示す判定タイミング信号（パルス信号）であり、パルス状にハイレベル（“Ｈ”）になったときに判定が行われる。また、１００６は、判定結果に応じてフレームレートの調整の実行を要求するための微調整実行ステータスを示す調整実行信号（パルス信号）であり、パルス状に“Ｈ”となったときにフレームレートの調整が実施される。
【００１４】
図１０においては、ハードウエア処理により実現することを鑑みて信号（パルス等）の発行タイミングを描画している。例えば、判定処理の実行自体をファームウエアを介在して実施する場合には、判定タイミング１００５は、垂直同期信号１００１のアサートの近傍よりも以前に発行しても構わない。また、調整実行信号１００６は、ハードウエアに制御切り替えを伝えるためのパルス信号として描画しており、そのパルスは垂直同期信号１００１のアサートの近傍にあり、フレームデータ取り込み前の撮像データの無効期間に制御切り替えを実施する。これは、有効な画像データを取得している時のフレームレート変更は画像（映像）品質の劣化を招いてしまうためである。
【００１５】
デジタルスチルカメラは、判定タイミング信号１００５がパルス状に“Ｈ”になったときに蓄積誤差値１００４と閾値１００７とを比較する。その結果、蓄積誤差値１００４が閾値１００７を超えていた場合には、フレームレートの調整を実施すると判断して調整実行信号１００６がパルス状に“Ｈ”にされる。調整実行信号１００６がパルス状に“Ｈ”にされることによって、デジタルスチルカメラは、撮像部における次フレームの蓄積時間を微調整するような制御を行う。例えば、デジタルスチルカメラは、１Ｈのクロック数を数クロック単位で調整したり、最終的にディスプレイ表示される画像（映像）の有効画素数には影響しないようにしたりして制御を行う。このような１Ｈ単位の調整の結果、通常フレーム周期Ｔ１での撮像データの取り込みが、時間調整時にはフレーム周期Ｔ２での撮像データの取り込みに調整されて、時間平均すると目標のフレーム周期での撮像データの取り込みを実現する。
【００１６】
図１０に示した例では、フレームレートの調整を実施するか否かの判定を３フレーム毎に一度実施するように判定タイミング信号１００５が生成されている。そして、通常フレーム周期Ｔ１で撮像部等を駆動し、判定の結果、フレームレートの調整を実施すると判定した場合に調整フレーム周期Ｔ２で撮像部等を駆動するよう切り替え制御する。これら駆動に係るタイミングのパラメータの切り替えは、例えば、調整実行信号１００６がパルス状に“Ｈ”になったことによって実施する。
【００１７】
ここで、静止画撮影が主であるデジタルスチルカメラは、シャッター秒時の制御にバリエーション（例えば、静止画撮影時の秒時は高速〜低速までレンジが広い）が必要である。しかしながら、デジタルスチルカメラでは、幾つかの決まったフレームレート設定を選択する動画像撮影用にクロック精度を合わせ込むことは一般に行われていない。特に、いわゆるコンパクトデジカメと呼ばれる廉価なコンパクトカメラでも近年動画像撮影が可能になっているが、動画像撮影用にクロック精度を合わせ込むことはコストを増大させる。そのため、前述のようなフレームレートの調整での対応は、デジタルスチルカメラにおける動画像撮影においては大変有効な手法の一つである。
【００１８】
しかしながら、前述のように動画像撮影において平均フレームレートを一定の目標値にするために時間調整のフレームを挿入することは、撮像素子の蓄積時間及び撮影フレーム周期（フレーム周波数）と点滅光源の発光周波数との関係が変化することを意味する。すなわち、電源周期に同期して点灯する点滅光源下での動画像撮影で発生するフリッカの状態が逐次変化することを意味する。そのため、ＣＭＯＳセンサを有するデジタルカメラは、その（位相）関係の変化に追従したラインフリッカ（面内フリッカ）の検出・補正を行わないと、誤補正となってフリッカが余計に目立ち、画像劣化を起こすことにつながる。
【００１９】
デジタルスチルカメラでの動画像撮影におけるフレームレートの調整は、例えば、以下の手順で行われる。まず、１又は複数のフレーム毎の処理期間のマシンサイクルを計数して、理想とするフレームレート（例えば、３０ｆｐｓ）に対する差異を誤差として求める。次に、この誤差が許容範囲内にあるか否かを判定する。誤差が許容範囲内にない場合には、１Ｈ期間のクロック数を調整して次の撮影フレームのフレームレートを調整する。この処理を継続することで、長期間の平均値として目標とするフレームレートにする。誤差が許容範囲内にあるか否かの判定は、誤差の修正を目的としているので、例えば、フレームの垂直同期信号のタイミング（又は、その近傍）で行い、次のフレームにおいて反映するといった制御を行うのが理想である。
【００２０】
ここで、ラインフリッカ（面内フリッカ）の補正ゲインは、補正対象となる撮影フレームのデータが入力されるときには取得されていなければ、その後の処理を停滞させることになる。撮像処理における処理の停滞は、データの取りこぼしにつながり、それはすなわちシステムとしての不成立を意味する。その他、撮影フレームのデータを取得してからフリッカの補正ゲインを取得するならば、撮影フレームのデータを遅延させる必要があり、一旦フレームバッファ等の一時記憶手段に記憶する必要が生ずる。フリッカ補正を行うために一時記憶手段を配置することは、コストの増加やスループットの低下につながる。前述のように垂直同期信号のタイミングでの判定や次のフレームでのフレームレートの調整となると、それによって変更された撮影フレーム周期を基にした補正ゲインの取得を判定以降に行ったのでは、撮像処理を停滞させるか一時記憶手段の配置が必要となる。
【００２１】
また、前記特許文献３に記載の技術は、蓄積時間等の撮像素子（撮像部）の駆動状態に追従したフリッカ補正処理装置・プログラム等の提案である。しかし、補正処理に撮像部の駆動状態を反映する構成上、その実現には、事前に撮像部の駆動状態の変化をステータスとして得ているか、あるいは入力データに対する遅延の発生（ラインバッファとして用いられる一時記憶手段の配置）が必要になる。
【００２２】
本発明は、このような事情に鑑みてなされたものであり、動画像撮影に適したクロックを有しない撮像装置にて、構成や動作に不都合を生じさせることなく、動画像撮影時のフレームレートの調整の有無に応じたフリッカ補正を行えるようにすることを目的とする。
【課題を解決するための手段】
【００２３】
本発明に係る撮像装置は、動画像撮影時にフレームレートの調整が実施される撮像装置であって、動画像撮影時に動画像撮影の目標フレームレートに対する誤差を検出する検出手段と、前記検出手段により検出された誤差と閾値とを所定のタイミングで比較し、前記誤差が前記閾値を超えているときには前記フレームレートの調整を実施すると判定する判定手段と、前記判定手段にて前記フレームレートの調整を実施すると判定された場合に、フレーム周期を通常のフレーム周期とは異なる調整フレーム周期に制御する制御手段と、前記動画像撮影で得られる撮像データに対しフリッカ補正を施す補正手段と、前記フリッカ補正に係る補正ゲイン値を算出する補正ゲイン算出手段とを備え、前記補正ゲイン算出手段は、前記通常のフレーム周期に対応した第１の補正ゲイン値を算出するとともに前記調整フレーム周期に対応した第２の補正ゲイン値を算出し、前記補正手段は、前記判定手段での判定結果に応じて、前記第１の補正ゲイン値及び前記第２の補正ゲイン値のうちの一つを用いて前記フリッカ補正を行うことを特徴とする。
【発明の効果】
【００２４】
本発明によれば、フレームレートの調整を実施する場合の補正ゲイン値、及び調整を実施しない場合の補正ゲイン値の両方を算出し、フレームレートの調整を実施するか否かの判定結果に応じて補正ゲイン値を選択し、撮像データに対してフリッカ補正を行う。これにより、動画像撮影に適したクロックを有していなくとも、フレームレートの調整の有無に応じたフリッカの検出及び補正を行うことができる。
【図面の簡単な説明】
【００２５】
【図１】第１の実施形態における撮像装置の構成例を示す図である。
【図２】第１の実施形態における撮像装置の動作例を示すタイミングチャートである。
【図３】フリッカ成分検出処理の例を示すフローチャートである。
【図４】フリッカ補正用の補正ゲイン算出処理の例を示すフローチャートである。
【図５】フリッカ補正処理の例を示すフローチャートである。
【図６】第２の実施形態における撮像装置の動作例を示すタイミングチャートである。
【図７】第２の実施形態における撮像装置の構成例を示す図である。
【図８】チョークコイルを用いた蛍光灯の発光特性を説明するための図である。
【図９】ラインフリッカの一例を示す図である。
【図１０】撮像装置でのフレームレートの調整動作を説明するための図である。
【発明を実施するための形態】
【００２６】
以下、本発明の実施形態を図面に基づいて説明する。
【００２７】
（第１の実施形態）
本発明の第１の実施形態について説明する。
第１の実施形態における撮像装置は、動画像撮影時に、任意のフレームにおいて目標フレームレートと現状の（現在の）フレームレートの乖離を比較し、比較結果に応じて、その後のフレームにてフレームレートの調整を実施するよう制御するデジタルカメラである。そのデジタルカメラには、動画像撮影が可能であるが、静止画撮影を主とするデジタルスチルカメラを含む。以下では、フレームレートの調整を実施するか否かの判定を３フレーム毎に行う場合を一例として説明する。
【００２８】
図１は、第１の実施形態における撮像装置の構成例を示す図である。図１には、撮像装置の構成のうち、ラインフリッカ（面内フリッカ）の補正を実施するための要部を示している。
【００２９】
図１において、同期信号生成部１０１は、撮像データを取り込むための同期信号を生成する。同期信号生成部１０１は、例えばタイミング生成部（ＴＧ：Timing Generator）１０２に対して撮像系へのタイミング発行を行うための基準タイミングを与える。同期信号生成部１０１は、例えばフレームのタイミング（垂直同期信号（ＶＤ）や水平同期信号（ＨＤ））を管理する。タイミング生成部１０２は、同期信号生成部１０１から垂直同期信号や水平同期信号を受け取り、撮像部１０３、ＣＤＳ／ＡＧＣ回路部１０４、及びＡ／Ｄ変換部１０５等に対して撮像データ取得のためのタイミング（駆動パルス等）を与える。タイミング生成部１０２は、例えば、撮像部１０３におけるリセット動作・蓄積動作・転送動作・読み出し動作を制御せしめるタイミングパルス等を撮像部１０３に出力する。
【００３０】
撮像部１０３は、被写体像等に係る光学情報を光電変換して電気信号として取り出すための画素が二次元状（例えばマトリクス状）に配列されている。ＣＤＳ／ＡＧＣ回路部１０４は、相関二重サンプリング回路や自動利得制御回路等を含み、撮像部１０３より得られた電気信号のＳ／Ｎを改善するための処理等を行う。Ａ／Ｄ変換部１０５は、アナログ電気信号をデジタル信号に変換する。すなわち、Ａ／Ｄ変換部１０５は、撮像部１０３で得られ、ＣＤＳ／ＡＧＣ回路部１０４を介して入力された電気信号にアナログ−デジタル変換処理（Ａ／Ｄ変換処理）を施してデジタルの撮像データに変換し出力する。Ａ／Ｄ変換部１０５から出力された撮像データは、センサやアンプ等のアナログ回路部の特性を除去するための補正処理、及び偽色抑圧や解像度改善のための画像処理を施し、必要に応じて画像情報圧縮処理を施して、画像データファイルとして記録される。ラインフリッカ（面内フリッカ）を除去するためのフリッカ補正は、センサやアンプ等のアナログ回路部の特性を除去した後に行えば良い。なお、図１においては、センサやアンプ等のアナログ回路部の特性を除去するための補正処理に係る構成については省略している。
【００３１】
フリッカ成分は、画像信号に対する変調成分である。フリッカ補正は、加算器（減算器）１１５、乗算器１１６、及び加算器１１７による演算処理によって実行される。Ａ／Ｄ変換部１０５の出力からオフセット値が加算器（減算器）１１５によって減算され、加算器（減算器）１１５の出力とフリッカ補正用の補正ゲイン値とが乗算器１１６によって乗算される。乗算器１１６の出力に対して適宜セットアップ値が加算器１１７によって加算される。このようにして撮影で得られた撮像データに対するフリッカ補正（振幅補正）を行うには、フリッカ成分の検出を行う手段と、検出したフリッカ成分からフリッカ補正用（振幅補正用）の補正ゲイン値を算出する手段が必要である。
【００３２】
積分処理部１０６は、Ａ／Ｄ変換部１０５の出力である撮影データの信号レベルを積分する。ラインフリッカ（面内フリッカ）は、前述のように画像の垂直方向に明暗の縞のように現れる現象である。したがって、積分処理部１０６は、撮影データの信号レベルを水平方向（ライン毎）に積分した値を求めれば良い。しかしながら、光源や被写体の状態によっては画像における中央部及び端部（右端部・左端部）でのフリッカの影響を考慮しないと過補正や誤補正となり画像を劣化させることもあるので、水平方向について幾つか領域に分割して積分を実施するようにしても良い。
【００３３】
サンプル点抽出部１０７は、サンプル点における積分処理部１０６の出力をサンプリング（抽出）する。ここで、点滅光源に供給する商用電源の周波数が５０Ｈｚである場合、フリッカ周波数は１００Ｈｚとなる。各ラインをサンプル点とする程の精度は不要であり、またシステムリソースの確保の点からもサンプル点を減らす必要がある。そこで、サンプル点抽出部１０７を用いて、フリッカ周期（例えば、１００Ｈｚ）をサンプリング可能なサンプル点（代表点）にして積分処理部１０６の出力をサンプリングする。一時記憶部（バッファ）１０８は、サンプル点抽出部１０７によってサンプリングされたサンプル値を一時記憶する。
【００３４】
検波部１０９は、点滅光源の発光周期で変調された撮影画像から、発光周期の成分を検波する。検波部１０９は、例えば商用電源の周波数が５０Ｈｚである場合には、１００Ｈｚの検波を行う。画像信号のように一定期間でサンプリングされたデータに対しては、離散フーリエ変換を用いた周波数領域への変換が一般的である。サンプリングする母数をＮ、サンプリングしたデータをｘ（ｎ）（ｎ＝０，１，・・・，Ｎ−１）とすると、離散的なフーリエ係数Ｘ（ｋ）としての周波数領域成分は（式１）で表される。
【００３５】
【数１】
【００３６】
時間Ｔ［sec］をＮ点で（等間隔に）サンプリングしたときのサンプリング間隔（周期）をｔ［sec］とすると、離散フーリエ変換後のフーリエ係数Ｘ（ｋ）は（式２）で表される離散的な周波数ｆkの範囲で求められる。
【００３７】
【数２】
【００３８】
前記（式２）において、ｆsは、時間領域におけるサンプリング周波数である。サンプル点抽出部１０７によるサンプリングは、前記（式２）を満たすことで周波数成分ｆkを得ることができる。例えば、フリッカ周波数を１００Ｈｚとするとｆk＝１００Ｈｚであり、フレームレートの調整の有無によっては変化しない。フレームレートの調整の有無による調整の対象は、時間Ｔ［sec］がそれに当たり、結果としてサンプリング周期ｔ［sec］が調整される。しかし、フレームレートの調整を実施するか否かにかかわらず、画素数としては同一になるように、例えば水平走査方向における有効画素以外のクロックカウントで調整され、垂直走査方向の写像であるサンプル点の時間間隔としては調整がなされる。
【００３９】
画像信号から得られたサンプルデータのそれぞれは、実時間信号である。前記（式１）は、（式３）のように実部Ｒｅ（）及び虚部Ｉｍ（）に分離できる。それぞれの成分は、（式４−１）、（式４−２）のように表すことができる。
【００４０】
【数３】
【００４１】
前記（式４−１）、（式４−２）より、周波数ｆkにおける振幅スペクトルＡkは（式５）のように求めることができ、位相成分Ωkは（式６）のように求めることができる。
【００４２】
【数４】
【００４３】
一時記憶部（バッファ）１１０は、検波部１０９の結果出力を保持する。一時記憶部１１０が保持する検波部１０９の結果出力には、前記（式４−１）、（式４−２）、式（５）、（式６）に示されるようなフリッカの成分を含む。
【００４４】
本実施形態において、フレームレートの調整は、複数フレームの平均として目標フレームレートを達成する範疇で実施する。しかも、動画像として違和感なく通常の動画像と同じような動画像を得るために、撮像素子の駆動を大きく変更するものではない。つまり、本実施形態におけるフレームレートの調整の範疇では、その実施の有無による検波部１０９に得られるフリッカ成分の変動は無視できるものである。ただし、成分の抽出においてはｆk＝１００Ｈｚを正確に検波する必要がある。そのような制御状態を実現するために、例えば後述するセレクタ１２１及び１２７を設けて、適宜パラメータも切り替え選択できるようにしている。
【００４５】
本実施形態では、フレーム毎にフリッカの振幅成分の変動が無視できる範囲でフレームレートの調整を実施するようにし、フレームレートの調整を実施するか否かによらずフリッカの振幅成分の変動を無視できるものとする。この条件では、検波対象フレームと補正対象フレームとが（時間的に）異なる場合に、それぞれの位相成分の条件を合わせて（フレーム間の位相量を調整して）逆フーリエ変換を実施することで、補正対象フレームのフリッカ成分を時間軸の成分で取り出せる。
【００４６】
補正ゲイン算出部１１１ａ、１１１ｂは、フリッカ補正用の補正ゲイン値を算出する。なお、補正ゲイン算出部１１１ａ、１１１ｂによる補正ゲイン値の算出に係る演算処理は、並行して実行可能になっている。前述のように、検波部１０９の検波結果に対して位相成分を予測適用（以下、位相調整）して逆フーリエ変換を実施することで、補正対象フレームの時間領域でのフリッカ成分の値が算出できる。フレームレート（蓄積時間）が固定であるとすると、フリッカ成分のフレーム間位相量は、撮影時のフレームレートと点滅光源の発光周期との関係から一意に決まる。そのときの位相量をθkとして、前述した実部及び虚部を用いた逆フーリエ変換の式は、（式７）のようになる。なお、フレームレートが３０ｆｐｓや６０ｆｐｓなどで誤差がない場合には、発光周波数が１００Ｈｚの点滅光源に対しては３フレーム周期でフレーム間位相は元に戻る。フレームレートに誤差がある場合には、位相量にも誤差の影響が含まれるので、フレーム間位相の遷移をトレースして、その値を例えば位相保持部１２４のような保持部に保持しておく必要がある。
【００４７】
【数５】
【００４８】
検波部１０９で１００Ｈｚの検波を行ったとき、フリッカ成分の近似として正弦波のみを取り出すのであれば、補正ゲイン算出部１１１ａ、１１１ｂは、ｆk＝１００Ｈｚとなるｋについてのみ前記（式７）を用いた演算を行えば良い。このようにした場合には、演算量やフリッカ成分を保持するバッファ量を削減できる。ここで、逆フーリエ変換では、時間領域のフリッカ成分はゼロ中心として得られる。対象フレーム内に発生するフリッカ成分は被写体の信号強度に比例する（変調された状態である）ので、補正ゲイン算出部１１１ａ、１１１ｂは、逆フーリエ変換で得られたフリッカ成分値を１中心にして、その逆数を求めフリッカ補正用の補正ゲイン値とする。
【００４９】
一時記憶部（バッファ）１１２ａ、１１２ｂは、補正ゲイン算出部１１１ａ、１１１ｂのそれぞれに対して配置され、補正ゲイン算出部１１１ａ、１１１ｂのそれぞれが算出した補正ゲイン値を保持する。一時記憶部１１２ａ、１１２ｂの出力（保持された補正ゲイン値）を乗算器１１６に供給することで、フリッカ補正（振幅補正）が実施される。
【００５０】
本実施形態では、タイマー１１８、誤差検出部１１９、及び調整判定部１２０によって、フレームレートの調整を実施するか否かの判定を３フレームに１回の頻度で行う。タイマー１１８は、所定のフレーム数毎（ここでは３フレーム毎）の処理期間のマシンサイクルを計数する。マシンサイクルとは、タイマー１１８に入力されるクロック等の周期性を持つ信号・ステータスの繰り返し周期を指す。本実施形態においては、タイマー１１８は、垂直同期信号のイベント（パルス状にハイレベル（“Ｈ”）になる）間隔を３フレーム分計時し、計時結果を誤差検出部１１９に対して出力する。誤差検出部１１９は、タイマー１１８の計時結果を入力とし、その計時結果と目標数値との差異を求める加算器（減算器）を有する。誤差検出部１１９は、タイマー１１８の出力である計時結果と、目標フレームレート（例えば、３０ｆｐｓ）に係る設定値との差異を誤差量として求めて出力する。
【００５１】
調整判定部１２０は、フレームレートの調整を実施する否かの判定を行う。調整判定部１２０は、誤差検出部１１９の出力結果を受けて、次のフレームでの撮像データの取り込みにおいて撮像部１０３の駆動に調整を入れるか、入れないかを判定する。調整判定部１２０は、誤差許容範囲を示す閾値と計時結果を基に算出された誤差とを比較する比較器を有し、誤差が閾値を超えていた場合には誤差の是正が必要であると判断し、フレームレートの調整を実施すると判定する。フレームレートの調整に係る判定は、次のフレームの取り込みに対して画像（映像）に影響がないようにその結果を反映する。そのため、調整を実施するか否かの判定結果ステータスは、同期信号生成部１０１及びフリッカ検出系の制御部には直ちに伝達されるが、それらからの制御を受ける各機能部において直ちに反映されるわけではない。各機能部への実際の反映は、それぞれの機能部が有効データを処理していない適当な時期に適宜行われて、各機能部の制御状態が切り替えられる。
【００５２】
セレクタ１２１及び１２７は、フレームレートの調整の有無に応じて、サンプル点抽出部１０７及び検波部１０９に供給される検出用パラメータを切り替える。離散フーリエ変換を用いて検波を実施するとき、調整によって変更されたフレームレートに対して画像上のサンプリング間隔に係る時間軸／周波数軸上の定義（又は解釈）が変更されると、検波での誤検出につながる。そこで、セレクタ１２１及び１２７は、サンプル点の間隔を調整して時間軸／周波数軸上におけるサンプリング間隔が異ならないよう、調整の有無に応じてそれぞれ適当なパラメータをサンプル点抽出部１０７及び検波部１０９に対して出力する。遅延部１２６は、セレクタ切り替え指示を行うためのステータス信号ＦＳＴを１フレーム処理分遅延させる。これは、検波処理自体が、対象フレームを積分した後の次のフレーム到達期間に処理するためである。
【００５３】
なお、図１において、Ｔ１の表記は、フレームレートの調整を実施しないときの通常フレーム周期Ｔ１に関するパラメータであることを示すものとする。また、Ｔ２の表記は、フレームレートの調整を実施するときの調整フレーム周期Ｔ２に関するパラメータであることを示すものとする。また、図１においては、Ｔ１、Ｔ２で表記する２つのパラメータのみを示しているが、それぞれに別途複数のパラメータを設定しても良い。それら（周期を推定できる）パラメータとしては、例えばフレーム周期に係る数値（例えば、３０．０４ｆｐｓ，２９．９３ｆｐｓ等の具体的な数値）を挙げることができる。その他、前のフレームの有効ラインの終了点から後のフレームの有効ラインの開始点までの期間にフリッカ成分が進捗する位相量の数値を挙げることができる。また、それらを正規化した数値（１周期を２π［rad］として、２πを２５６等分して８ｂｉｔで示した数値）等を挙げることができる。
【００５４】
また、供給対象の機能部（例えば、サンプル点抽出部１０７や検波部１０９等）に対してそれぞれ適宜扱いやすいパラメータであれば良く、共通の値を供給することには拘らない。また、経路不図示であるが、積分処理部１０６に必要なパラメータを供給しても良い。この場合の必要なパラメータとは、積分開始・終了位置の調整による変更等が挙げられる。
【００５５】
セレクタ（第１の選択部）１２２は、補正ゲイン算出部１１１ａ、１１１ｂによりそれぞれ算出されたフレームレートの調整を実施しない場合に使用される補正ゲイン値又はフレームレートの調整を実施する場合に使用される補正ゲイン値を選択的に出力する。本実施形態では、補正ゲイン算出部１１１ａ及び一時記憶部１１２ａからなる一方の側をフレームレートの調整を実施しない側とし、補正ゲイン算出部１１１ｂ及び一時記憶部１１２ｂからなる他方の側をフレームレートの調整を実施する側として、以下説明を行う。すなわち、補正ゲイン算出部１１１ａが通常のフレーム周期Ｔ１に対応した第１の補正ゲイン値を算出し、補正ゲイン算出部１１１ｂが調整フレーム周期Ｔ２に対応した第２の補正ゲイン値を算出するものとする。
【００５６】
また、補正ゲイン算出部１１１ａ、１１１ｂは、フレーム処理毎の任意のタイミングで更新するパラメータ（第１のパラメータ）をセレクタ（第２の選択部）１２３に対して出力する。セレクタ（第２の選択部）１２３は、補正ゲイン算出部１１１ａ、１１１ｂでのフレーム処理の進捗にあわせて推移した位相量のフィードバックを行うためのループの際に、実際に補正に用いた側からのパラメータ（第１のパラメータ）を選択し出力する。なお、このパラメータ（第１のパラメータ）は、例えば撮像部１０３における蓄積時間と動画像撮影時のフレームレートと点滅光源の発光周期との何れか又はすべての関係が反映された数値である。
【００５７】
動画像撮影において、例えば各フレームにおいてずれがなく３０ｆｐｓのフレームレート制御が実施されるのであれば、フリッカ成分のフレーム間位相は３フレームで一巡するように（３フレーム毎に）決まった値をとる。しかし、１フレームの処理が誤差なく１／３０秒にならないようなフレームレート制御状態では、補正対象フレームの先頭におけるフリッカ成分の位相状態をトレースしていく必要がある。この位相状態をトレースしていくために、本実施形態では、位相保持部（一時記憶部）１２４においてセレクタ（第２の選択部）１２３の出力を積算していくことによって、位相状態を位相保持部（一時記憶部）１２４に保持する。
【００５８】
ここで、図１において、φ1、φ2のそれぞれは、フレーム間の位相量φ1、φ2に関する調整を行うためのパラメータであることを示すものとする。フレーム間の位相量としてのφ1、φ2は、フリッカの時間成分算出のための逆フーリエ変換を計算するときの、基本波（例えば１００Ｈｚ）の三角波（ｓｉｎ，ｃｏｓ）成分に対するフレーム先頭の位相量とする。フレーム先頭の位相量は、前のフレームの補正対象画像の終了位置からその後のフレーム（注目フレーム）の補正対象画像の開始位置までの位相量である（図２参照）。なお、φ1、φ2は、位相成分として角度で保持しても良いし、１周期を２πとしてそれを２５６で正規化した８ｂｉｔの数値で保持しても良い。また、φ1、φ2を前のフレームの有効画像の終了ラインから注目フレームの有効画像の開始ラインまでの走査時間相当のライン数として保持し、補正ゲイン算出部中でフリッカ成分に対するフレーム間の位相量に換算しても良い。また、補正ゲイン算出部１１１ａ、１１１ｂのそれぞれに設定するφ1、φ2等の調整パラメータは、前述したφ1、φ2のみに限定するものではない。
【００５９】
セレクタ（第３の選択部）１２５は、フレームレートの調整を実施するか否かに応じて、補正ゲイン算出部１１１ａの入力パラメータ（第２のパラメータ）を選択して出力する。セレクタ（第３の選択部）１２５は、フレームレートの調整を実施しない場合には、フレーム間の位相量φ1に関する調整を行うためのパラメータを選択して、補正ゲイン算出部１１１ａに対し入力パラメータ（第２のパラメータ）として出力する。また、セレクタ（第３の選択部）１２５は、フレームレートの調整を実施する場合には、フレーム間の位相量φ3に関する調整を行うためのパラメータを選択して、補正ゲイン算出部１１１ａに対し入力パラメータ（第２のパラメータ）として出力する。ここで、フレーム間の位相量φ1、φ3に関する調整を行うための各パラメータは、例えば撮像部１０３における蓄積時間と動画像撮影時のフレームレートと点滅光源の発光周期との何れか又はすべての関係が反映された数値である。セレクタ１２５によって補正ゲイン算出部１１１ａへの入力パラメータを切り替えることで、フレームレートの調整を実施した際に、次のフレームの補正ゲイン値を算出するためのフレーム間の位相量の予想に調整フレームの挿入の影響を反映させることができる。
【００６０】
図２は、横軸を時間の推移として、第１の実施形態における撮像装置の動作例を示すタイミングチャートである。図２において、１００１は、撮像部１０３から撮像データを読み出すためのタイミングパルス（本例では負論理）としての垂直同期信号（ＶＤ）である。１００２は、垂直同期信号毎に読み出されるフレーム単位の撮像データであり、説明の便宜上、図中にフレーム単位で連番を添え字として付している。１００３は、撮像データにおいて画像（映像）として補正処理や画像処理等の対象となる処理対象期間を示す信号である。なお、処理対象期間中には、図示しない水平同期信号（ＨＤ）に起因した非画像データの期間も存在するが、ここでは無視する。
【００６１】
１００４は、目標フレームレートと現状の（実際の）フレームレートとが異なることによって蓄積される蓄積誤差の値である。１００５は、蓄積誤差値を基にフレームレートの調整を実施するか否かを判定するタイミングを示す判定タイミング信号（パルス信号）であり、パルス状に“Ｈ”になったときに判定が行われる。また、１００６は、判定結果に応じてフレームレートの調整の実行を要求するための調整実行ステータスを示す調整実行信号（パルス信号）であり、パルス状に“Ｈ”となったときにフレームレートの調整が実施される。１００７は、フレームレートの調整を実施するか否かを判定するための調整有無判定閾値である。
【００６２】
また、２０１は、フレームレートの調整を実施する調整フレーム期間であるか否かを示すステータス信号（以下、調整フレーム信号とも称す。）である。調整フレーム信号２０１は、調整実行信号１００６を受けて、次の１フレームを調整フレームとするか通常フレームとするかを状態（レベル）で示している。図２に示す例では、調整フレーム信号２０１がハイレベル（“Ｈ”）の場合には調整フレームとする、すなわち１フレームの周期を調整フレーム周期Ｔ２とすることを示すものとする。また、調整フレーム信号２０１がローレベル（“Ｌ”）の場合には通常フレームとする、すなわち１フレームの周期を通常のフレーム周期Ｔ１とすることを示すものとする。なお、調整フレーム信号２０１がハイレベルになった場合には、次の１フレームが終了した後に（そのフレーム終了後において垂直同期信号が次にアサートされるまでに）調整フレーム信号２０１はローレベルにされる。なお、例えば、調整フレーム信号２０１を、図１に示した調整判定部１２０の出力として、セレクタ１２１、１２２、１２３、及び１２５に分配するとともに、遅延部１２６を介してセレクタ１２７に分配し、各セレクタの切り替えを行うようにしても良い。
【００６３】
２０２は、基本正弦波（例えば１００Ｈｚ）であり、その振幅及び位相は任意である。周期Ｔ１、Ｔ２と点滅光源の発光周期との比較を容易にし、フリッカ成分のフレーム間位相の推移との関係を想像しやすくするよう図示している。
【００６４】
２０３は、フリッカ成分（本例では１００Ｈｚ）の検波の処理期間（検波期間）である。長方形で表した検波期間２０３において、長方形中の数字はフリッカ成分検出対象となる撮影データ１００２の添字に対応している。２０４は補正ゲイン算出の処理期間（補正ゲイン算出期間）であり、２０５は補正ゲイン値を一時記憶部１１２ａ、１１２ｂから読み出して、撮影データ１００２に適用しフリッカ補正を行う処理期間（フリッカ補正ゲイン読み出し期間）である。長方形で表した補正ゲイン算出期間２０４及びフリッカ補正ゲイン読み出し期間２０５において、長方形中の数字はフリッカ補正（振幅補正）の対象となる撮影データ１００２の添字に対応している。
【００６５】
本実施形態では、３フレーム毎に１回の頻度でフレームレートの調整を実施するか否かの判定を行う。その判定において、蓄積誤差値１００４が判定閾値１００７を超えているときには、誤差の是正が必要であると判断し、次の１フレームにおいてフレームレートの調整を実施する。なお、本実施形態では３フレーム毎に１回の頻度でフレームレートの調整を実施するか否かの判定を行うようにしているが、これに限定されず、所定のタイミング毎に判定を行えば良い。フレームレートの調整は、例えば通常フレーム（調整が入らないときのフレーム）に代えて、撮像部１０３（ＣＭＯＳセンサ等）の１水平走査期間を通常フレームよりも数クロック分短い調整フレームを挿入することで調整する。つまり、本例では、常態で正側に誤差を蓄積し、調整時に誤差が負側（又は０）になるようにフレームレートを調整する。なお、誤差蓄積（増減）の方向は、前述の例に限らず、常態で負側に誤差を蓄積し、調整時に誤差が正側（又は０）になるようにフレームレートを調整しても良い。
【００６６】
ここで、図２に示した位相量φ1、φ2、φ3、及びθ1、θ2について説明する。位相量φ1は、通常フレームが連続しているときの、前のフレームにおける処理対象期間の終了からその次のフレームにおける処理対象期間の開始までの間の位相量である。位相量φ2は、通常フレームから調整フレームに切り替わるときの、前のフレームにおける処理対象期間の終了からその次のフレームにおける処理対象期間の開始までの間の位相量である。位相量φ3は、調整フレームから通常フレームへ遷移するときの、前のフレームにおける処理対象期間の終了からその次のフレームにおける処理対象期間の開始までの間の位相量である。
【００６７】
また、本実施形態における撮像装置のように位相関係の推移をトレースする必要がある場合には、処理対象期間１００３における有効期間の間もトレースの対象になる。位相量θ1は通常フレーム処理における位相量であり、位相量θ2は調整フレーム処理における位相量である。位相量θ1、θ2のそれぞれは、例えば補正ゲイン算出部１１１ａ、１１１ｂで積算し、積算結果をセレクタ（第２の選択部）１２３を介して位相保持部１２４に送出すれば良い。また、位相量θ1、θ2は、補正ゲイン算出部１１１ａ、１１１ｂの出力をセレクタ（第２の選択部）１２３を介して位相保持部１２４に送出し、位相保持部１２４にて積算するようにしても良い。また、位相量φ3の出現は通常フレーム側に限られるので、セレクタ（第３の選択部）１２５は補正ゲイン算出部１１１ａ側にのみ設ければ良い。
【００６８】
図２に示すように、添字ｉのフレームに係る撮像データ１００２が取り込まれると、添字ｉの検波期間２０３にて、その撮像データ１００２のフリッカ成分（周波数成分）の検出が行われる。添字ｉの検波期間２０３において検出されたフリッカ成分（周波数成分）は、添字（ｉ＋２）の補正ゲイン算出期間２０４にて、フレーム間の位相量が予測されて時間信号の成分に戻され、それを用いた補正ゲイン値の算出が行われる。添字（ｉ＋２）の補正ゲイン算出期間２０４において算出された補正ゲイン値は、添字（ｉ＋２）のフリッカ補正ゲイン読み出し期間２０５にて、乗算器１１６に出力され、それを用いた添字（ｉ＋２）のフレームに係る撮像データ１００２のフリッカ補正が行われる。このように本実施形態における撮像装置では、添字（ｉ＋２）のフレームに係る撮像データ１００２のフリッカ補正は、添字ｉのフレームに係る撮像データ１００２のフリッカ成分から予測して算出した補正ゲイン値を用いて行われる。
【００６９】
例えば、図２に示した例では、撮像データ１００２の添字４のフレーム取り込み時にフレームレートの調整を実施している。添字４のフレームに係る撮像データ１００２は、Ａ／Ｄ変換部１０５でデジタル化されたデータとして乗算器１１６でフリッカ補正（振幅補正）される。このとき、前述のように添字２のフレーム取り込み期間に取り込まれた撮像データ１００２のフリッカ成分から予測して算出した補正ゲイン値が、添字４のフレームに係る撮像データ１００２のフリッカ補正に用いられる。添字２のフレーム取り込み期間に取り込まれた撮像データ１００２は、次（撮像データ１００２の添字３）のフレーム取り込み期間中に、フリッカ成分の検波が行われる。具体的には、検波期間２０３における期間２０３−２に、添字２のフレーム取り込み期間に取り込まれた撮像データ１００２のフリッカ成分（周波数成分）が検波部１０９を用いて検出され、検出したフリッカ成分が一時記憶部１１０に格納される。そして、補正ゲイン算出期間２０４における期間２０４−４に、一時記憶部１１０に格納されているフリッカ成分（周波数成分）をフレーム間の位相量を予測して時間信号の成分に戻し、それを基に補正ゲイン値が算出される。算出した補正ゲイン値は、フリッカ補正ゲイン読み出し期間２０５における期間２０５−４に、乗算器１１６に対して出力される。
【００７０】
ここで、補正ゲイン算出期間２０４における期間２０４−４では、次のフレーム（撮像データ１００２の添字４のフレーム）がフレームレートの調整されたデータとして受信されるか否かは未定である。そのため、期間２０４−４では、補正ゲイン算出部１１１ａ、１１１ｂのそれぞれが、位相量φ1、φ2に係る調整パラメータを用いて補正ゲイン算出処理を行い、補正ゲイン値を結果として得る。なお、本実施形態では、３フレームに１回の実行頻度でフレームレートの調整を実施するか否かの判定が行われるので、フレームレートの調整は判定結果後の１フレームに対してのみ実施され得る。よって、フレームレートの調整を実施するか否かの判定を行うフレームを把握して制御するのであれば、補正ゲイン算出部１１１ｂでの補正ゲイン算出処理は、判定タイミング信号１００５が発行される直前のフレームでのみ行うようにしても良い。
【００７１】
フリッカ補正ゲイン読み出し期間２０５における期間２０５−４では、ステータス信号（調整フレーム信号）２０１によって現行フレームが調整フレームであることがわかる。このとき、補正ゲイン算出部１１１ｂによって算出され一時記憶部１１２ｂに格納されている補正ゲイン値（第２の補正ゲイン値）が、セレクタ（第１の選択部）１２２を介して乗算器１１６に出力される。また、このとき（添字４のフレーム）の撮像データ１００２は、フレームレートの調整が実施されているので、調整フレーム周期Ｔ２を鑑みて積分処理部１０６での積分処理及びサンプル点抽出部１０７でのサンプリング処理を行う。そして、検波期間２０３における期間２０３−４において、同様に調整フレーム周期Ｔ２を鑑みて検波部１０９での検波処理が行われる。また、補正ゲイン算出期間２０４における期間２０４−５の前に、補正ゲイン算出部１１１ａにはセレクタ１２５により位相量φ3の調整パラメータが入力される。
【００７２】
以上のようにして、本実施形態における撮像装置は、フレームレートの調整を鑑みたラインフリッカ（面内フリッカ）の検出及び補正を実施する。
【００７３】
本実施形態では、補正ゲイン算出部１１１ａ、１１１ｂに供給する調整パラメータは、フレーム間位相の位相量φ1、φ2、φ3に係るパラメータとしているが、これに限定されない。調整パラメータを、ｆk＝１００Ｈｚ一定の点滅周期に対するフレーム処理の時間量ｔ1、ｔ2、ｔ3に係るパラメータとしても良い。例えば、φ1＝２πｆk・ｔ1とすると、セレクタ１２５へ入力するパラメータ設定値としては時間量ｔ1に係る数値で設定しておくことも可能である（φ2、φ3についても同様）。その場合、１フレーム経過時の位相保持部１２４への位相量更新値（例えば、（φ1＋θ1）分の位相量）も、同様に時間量に係る数値とすることが好ましい。
【００７４】
次に、本実施形態における撮像装置でのフリッカ成分検出処理、フリッカ補正用の補正ゲイン算出処理、及びフリッカ補正処理についてそれぞれ説明する。なお、フリッカ成分検出処理、フリッカ補正用の補正ゲイン算出処理、及びフリッカ補正処理の流れをそれぞれ示す図３〜図５には、動画像撮影時における任意のフレーム単位の処理として図示している。また、以下の説明では、次のフレームの撮像部１０３による撮像データの取り込みに対してフレームレートの調整を実施するか否かの判定が調整判定部１２０により実施され、その判定結果がステータス信号ＦＳＴ（２０１）として送出されているものとする。
【００７５】
図３は、フリッカ成分検出処理の一例を示すフローチャートである。図３（ａ）には積分処理からサンプル点抽出処理までを示しており、図３（ｂ）には検波処理を示している。例えば、図２に示した添字２のフレームの撮像データ１００２の取り込み時にその撮像データ１００２に係る積分処理及びサンプル点抽出処理（図３（ａ）に示す処理）が行われる。そして、その検波処理（図３（ｂ）に示す処理）が検波期間２０３における期間２０３−２に行われる。このとき、フレームレートの調整を実施するか否か、すなわち処理対象のフレームが調整フレームであるか否かを示すステータス信号ＦＳＴ（２０１）は、遅延部１２６により１フレーム処理分遅延されてセレクタ１２７に供給されている。
【００７６】
まず、図３（ａ）に示す積分処理及びサンプル点抽出処理について説明する。
セレクタ１２１は、ステータス信号ＦＳＴ（２０１）を参照して（Ｓ３０１）、処理対象フレームが通常フレームであれば図１に示したＴ１側のパラメータを選択し（Ｓ３０２）、調整フレームであれば図１に示したＴ２側のパラメータを選択する（Ｓ３０３）。セレクタ１２１における選択するパラメータの切り替えは、例えば処理対象期間１００３により示される有効期間外で行う。続いて、積分処理部１０６が、Ａ／Ｄ変換部１０５によりデジタル化された撮像データ１００２をライン単位に積分する（Ｓ３０４）。次に、サンプル点抽出部１０７が、積分処理部１０６により得られた積分値（又は、それを平均化（正規化）した値でも良い）を、セレクタ１２１により選択されたパラメータを用いて所望のサンプル点に写像し一時記憶部１０８に一時保持させる（Ｓ３０５）。
【００７７】
図３（ａ）に示した処理で得られた結果（一時記憶部１０８に格納されているデータ（サンプル値））を用いて、図３（ｂ）に示す検波処理が行われる。本実施形態では、１フレーム分の撮像データよりすべてのサンプル点データを抽出した後、すなわち１フレーム分の撮像データの取り込み完了後に、検波処理を実施するため、検波処理に用いるパラメータの選択は、遅延部１２６の出力を参照して行われる。まず、セレクタ１２７は、遅延部１２６の出力（１フレーム分遅延されたステータス信号ＦＳＴ（２０１））を参照し（Ｓ３１１）、サンプル点データを抽出した処理対象フレームが通常フレームであれば図１に示したＴ１側のパラメータを選択する（Ｓ３１２）。一方、そうでなければ（調整フレームであれば）、セレクタ１２７は、図１に示したＴ２側のパラメータを選択する（Ｓ３１３）。続いて、検波部１０９が、セレクタ１２７により選択されたパラメータを用いて、一時記憶部１０８に格納されているデータを基にフリッカ成分を検波して一時記憶部１１０に保持させ（Ｓ３１４）、フリッカ成分検出処理を終了する。
【００７８】
図４は、フリッカ補正用の補正ゲイン算出処理の一例を示すフローチャートである。
セレクタ（第２の選択部）１２３は、ステータス信号ＦＳＴ（２０１）を参照して（Ｓ４０１）、処理対象フレームが通常フレームであれば補正ゲイン算出部１１１ａで積算した位相量を選択する（Ｓ４０２）。一方、そうでなければ（処理対象フレームが調整フレームであれば）、セレクタ（第２の選択部）１２３は、補正ゲイン算出部１１１ｂで積算した位相量を選択する（Ｓ４０４）。同様に、セレクタ（第３の選択部）１２５は、ステータス信号ＦＳＴ（２０１）を参照して（Ｓ４０１）、処理対象フレームが通常フレームであれば位相量φ1に係るパラメータを選択する（Ｓ４０３）。一方、そうでなければ（処理対象フレームが調整フレームであれば）、セレクタ（第３の選択部）１２５は、位相量φ3に係るパラメータを選択する（Ｓ４０５）。なお、前述したセレクタ１２３及びセレクタ１２５における選択については、時間的な優先順位はなく同時であっても良い。
【００７９】
次に、位相保持部１２４は、セレクタ１２３の出力値を保持し、フリッカ成分の位相進捗が更新される（Ｓ４０６）。ここで、本実施形態では、取り込んだ撮像データを積分して検波実行するまでに１フレーム処理に対応する期間を要するので、位相保持部１２４は、初期値として（φ1＋θ1）分の位相進捗が図示しない初期値設定ステップで設定される。また、補正ゲイン算出部１１１ａ、１１１ｂからのセレクタ１２３へのフィードバック値にも、同様に１フレーム分の位相進捗を反映した初期値が設定される。したがって、位相保持部１２４は、検波対象フレーム及び補正対象フレームの位相遅延量（２フレーム分）を保持する。
【００８０】
前述した処理を完遂してから、補正ゲイン算出期間２０４として示される期間中において、補正ゲイン算出部１１１ａによる補正ゲイン演算（Ｓ４０７）及び補正ゲイン算出部１１１ｂによる補正ゲイン演算（Ｓ４０８）がそれぞれ実行される。補正ゲイン算出部１１１ａは、セレクタ１２５により選択された位相量φ1に係るパラメータ又は位相量φ3に係るパラメータを用いて、補正ゲイン演算を行い、補正ゲイン算出部１１１ｂは、位相量φ2に係るパラメータを用いて補正ゲイン演算を行う。そして、ステップＳ４０７及びＳ４０８での演算結果、すなわち算出した補正ゲイン値が、それぞれ一時記憶部１１２ａ、１１２ｂに一時格納され、補正ゲイン算出処理が終了する。なお、ステップＳ４０７及びＳ４０８における処理について、時間的な優先順位はなく、ステップＳ４０８に示す処理を実行した後にステップＳ４０７に示す処理を実行しても良いし、ハードウエア等で同時に実行しても良い。また、フレームレートの調整が実施され得る、すなわち調整フレームにされ得るフレーム位置が予め定まっている場合には、補正ゲイン算出部１１１ｂによる補正ゲイン演算は、調整フレームにされ得るフレーム位置の前のフレームにおいてのみ行うようにしても良い。
【００８１】
また、図２に例示したタイミングチャートにも示されるように、一時記憶部１１２ａ、１１２ｂに対して、現在のフレームに係る補正ゲイン値の読み出しを行う期間と次のフレームに係る補正ゲイン値の書き込みを行う期間とが重複し得ることが考えられる。そのようなタイミングに対応するために、一時記憶部１１２ａ、１１２ｂはＦＩＦＯ構成とするようにしても良い。また、ファームウエアであれば、一時記憶部１１２ａ、１１２ｂのそれぞれに対して複数のメモリ領域を確保するようにしても良い。また、一時記憶部１１２ａ、１１２ｂが同一の記憶手段として存在し、その中に記憶領域がそれぞれ独立に確保されていても良い（例えば、アドレスで管理されていても良い）。その場合には、セレクタ１２２はアドレスデコーダとして機能する他、アドレス管理部を別途設ける。
【００８２】
図５は、フリッカ補正処理の一例を示すフローチャートである。
セレクタ（第１の選択部）１２２は、ステータス信号ＦＳＴ（２０１）を参照して（Ｓ５０１）、通常フレームに対する補正であれば一時記憶部１１２ａの出力を選択する（Ｓ５０２）。一方、そうでなければ（調整フレームに対する補正であれば）、セレクタ（第１の選択部）１２２は、一時記憶部１１２ｂの出力を選択する（Ｓ５０３）。そして、撮像装置は、処理対象期間を示す信号１００３にあわせて、選択された一時記憶部１１２ａ、１１２ｂからフリッカ補正用（振幅補正用）の補正ゲイン値を呼び出して乗算器１１６に入力する（Ｓ５０４）。すなわち、通常フレームに対する補正であれば、補正ゲイン算出部１１１ａによって算出された補正ゲイン値が乗算器１１６に出力され、加算器（減算器）１１５、乗算器１１６、及び加算器１１７での演算処理によって撮像データに係るフリッカ補正が行われる。また、調整フレームに対する補正であれば、補正ゲイン算出部１１１ｂによって算出された補正ゲイン値が乗算器１１６に出力され、加算器（減算器）１１５、乗算器１１６、及び加算器１１７での演算処理によって撮像データに係るフリッカ補正が行われる。
【００８３】
第１の実施形態によれば、動画像撮影時にフレームレートの調整が実施される撮像装置において、調整を実施したとき及び調整を実施しないときのフリッカ補正用の補正ゲイン値を算出し、調整の実施の有無に応じて適宜選択してフリッカ補正を行う。これにより、動画像撮影に適したクロックを有していなくとも、撮像データの取りこぼし（システム不成立）やフリッカ補正のための遅延を発生させることなく、フレームレートの調整に応じたラインフリッカ（面内フリッカ）の検出及び補正を行うことができる。
【００８４】
（第２の実施形態）
次に、本発明の第２の実施形態について説明する。
前述した第１の実施形態において例示の撮像装置は、動画像撮影時に３フレーム毎に目標フレームレートと現状の（現在の）フレームレートの乖離を比較することでフレームレートの調整を実施するか否かを判定し、その結果に応じてフレームレートの調整を行う。以下に説明する第２の実施形態における撮像装置は、動画像撮影時にフレーム毎にフレームレートの調整を実施するか否かを判定し、その結果に応じてフレームレートの調整を行うよう制御する。第２の実施形態における撮像装置には、動画像撮影が可能であるが、静止画撮影を主とするデジタルスチルカメラが含まれる。
【００８５】
図６は、第２の実施形態における撮像装置の動作例を示すタイミングチャートであり、図７は、第２の実施形態における撮像装置の構成例を示す図である。なお、図６において、図２に示した要素と同一の要素には同一の符号を付して重複する説明は省略する。また、図７において、図１に示した要素と同一の要素には同一の符号を付して重複する説明は省略する。図６に示すように、第２の実施形態においては、フレーム毎（フレームデータ取り込み毎）に判定タイミング信号１００５がパルス状に“Ｈ”になる。このようにフレームレートの調整を実施するか否かの判定周期が短くなったため、目標フレームレートと現状の（実際の）フレームレートとの誤差の蓄積期間も短縮される。そこで、図６においては、調整有無判定閾値１００７を第１の実施形態よりも低く設定し、誤差回復の分解能を上げる方向に設定した場合を一例として示している。
【００８６】
図６において、６０１は、現在の処理フレームがフレームレートの調整の対象であることを示す、すなわち現在の処理フレームが調整フレームであるか通常フレームであるかを示すステータス信号（調整フレーム信号）である。図６に示す例では、調整フレーム信号６０１は、ローレベル（“０”）で通常フレームであることを示し、ハイレベル（“１”）で調整フレームであることを示すものとする。第１の実施形態では、フレームレートの調整を実施するか否かの判定は３フレーム毎に１回行うので調整フレームが連続することはなく、ステータス信号（調整フレーム信号）が連続する２フレームにおいてハイレベルになることはない。それに対して、第２の実施形態では、フレームレートの調整を実施するか否かの判定の結果に応じて、調整フレームが連続することもあるので、連続する２フレーム以上の期間においてステータス信号（調整フレーム信号）６０１がハイレベルとなることがある。
【００８７】
６０２は、基本正弦波（例えば１００Ｈｚ）であり、その振幅及び位相は任意である。６０３は、フリッカ成分の検波の処理期間（検波期間）である。長方形で表した検波期間６０３において、長方形中の数字はフリッカ成分検出対象となる撮影データ１００２の添字に対応している。６０４は補正ゲイン算出の処理期間（補正ゲイン算出期間）であり、６０５は補正ゲイン値を一時記憶部１１２ａ、１１２ｂから読み出して、撮影データ１００２に適用しフリッカ補正を行う処理期間（フリッカ補正ゲイン読み出し期間）である。長方形で表した補正ゲイン算出期間６０４及びフリッカ補正ゲイン読み出し期間６０５において、長方形中の数字はフリッカ補正（振幅補正）の対象となる撮影データ１００２の添字に対応している。
【００８８】
図６に示した位相量φ1、φ2、φ3、φ4及びθ1、θ2について説明する。位相量φ1は、通常フレームが連続しているときの、前のフレームにおける処理対象期間の終了からその次のフレームにおける処理対象期間の開始までの間の位相量である。位相量φ2は、通常フレームから調整フレームに切り替わるときの、前のフレームにおける処理対象期間の終了からその次のフレームにおける処理対象期間の開始までの間の位相量である。位相量φ3は、調整フレームから通常フレームへ遷移するときの、前のフレームにおける処理対象期間の終了からその次のフレームにおける処理対象期間の開始までの間の位相量である。位相量φ4は、調整フレームが連続しているときの、前のフレームにおける処理対象期間の終了からその次のフレームにおける処理対象期間の開始までの間の位相量である。
【００８９】
また、本実施形態における撮像装置のように位相関係の推移をトレースする必要がある場合には、処理対象期間１００３における有効期間の間も位相量のトレース対象になる。位相量θ1は通常フレーム処理における位相量であり、位相量θ2は調整フレーム処理における位相量である。位相量θ1、θ2のそれぞれは、例えば図７に示す補正ゲイン算出部１１１ａ、１１１ｂで積算し、積算結果をセレクタ１２３を介して位相保持部１２４に送出すれば良い。また、位相量θ1、θ2は、補正ゲイン算出部１１１ａ、１１１ｂの出力をセレクタ１２３を介して位相保持部１２４に送出し、位相保持部１２４にて積算するようにしても良い。
【００９０】
図７に示すように、第２の実施形態における撮像装置は、補正ゲイン算出部１１１ａに対してセレクタ（第３の選択部）１２５を有するとともに、補正ゲイン算出部１１１ｂに対してセレクタ（第３の選択部）７０１を有する。セレクタ（第３の選択部）１２５、７０１は、フレームレートの調整を実施するか否かに応じて、フレーム間の位相量に関する調整を行うためのパラメータの選択を行い、選択されたパラメータを補正ゲイン算出部１１１ａ、１１１ｂに出力する。セレクタ１２５は、ステータス信号（調整フレーム信号）ＦＳＴがハイレベルであれば（調整フレーム時）、位相量φ3に関する調整パラメータを選択し、そうでなければ（通常フレーム時）、位相量φ1に関する調整パラメータを選択する。同様に、セレクタ７０１は、ステータス信号（調整フレーム信号）ＦＳＴがハイレベルであれば（調整フレーム時）、位相量φ4に関する調整パラメータを選択し、そうでなければ（通常フレーム時）、位相量φ2に関する調整パラメータを選択する。
【００９１】
なお、第２の実施形態における撮像装置でのフレームレートの調整、及びフリッカ検出・補正に係る動作は、第１の実施形態における撮像装置での動作と基本的には同じである。ただし、フレームレートの調整を実施するか否かの判定をフレーム毎に行うこと、及びその結果、任意のフレームが調整フレームにされ得ることが、第１の実施形態とは異なる。また、調整フレームが連続する場合には、その先頭フレームを除き、位相量φ4に関する調整パラメータを用いた補正ゲイン算出部１１１ｂによる補正ゲイン演算により算出された補正ゲイン値を用いてフリッカ補正を行うことが、第１の実施形態とは異なる。
【００９２】
なお、フレーム間位相の位相量φ1、φ2、φ3、φ4に係る調整パラメータを、ｆk＝１００Ｈｚ一定の点滅光源の周期に対するフレーム処理の時間量ｔ1、ｔ2、ｔ3、ｔ4に係る調整パラメータとしても良い。例えば、φ1＝２πｆk・ｔ1とすると、セレクタ１２５に入力するパラメータ設定値としては時間量ｔ1に係る数値で設定しておくことも可能である（φ2、φ3、φ4についても同様）。その場合、１フレーム経過時の位相保持部１２４への位相量更新値（例えば、（φ1＋θ1）分の位相量）も、同様に時間量に係る数値とすることが好ましい。
【００９３】
例えば、図６に示した例では、撮像データ１００２の添字４のフレーム取り込み時及び添字５のフレーム取り込み時にフレームレートの調整を実施している。各撮像データ１００２は、Ａ／Ｄ変換部１０５でデジタル化されたデータとして乗算器１１６でフリッカ補正（振幅補正）される。ここで、添字４のフレームに係る撮像データ１００２のフリッカ補正に用いられる補正ゲイン値は、添字２のフレーム取り込み期間に取り込まれた撮像データ１００２のフリッカ成分を基に算出されたものである。すなわち、検波期間６０３−２に検出したフリッカ成分（周波数成分）を、補正ゲイン算出期間６０４−４にフレーム間の位相量を予測し時間信号成分に戻した値から得たものであり、フリッカ補正ゲイン読み出し期間６０５−４に乗算器１１６に出力される。同様に、添字５のフレームに係る撮像データ１００２のフリッカ補正に用いられる補正ゲイン値は、添字３のフレーム取り込み期間に取り込まれた撮像データ１００２のフリッカ成分を基に算出されたものである。すなわち、検波期間６０３−３に検出したフリッカ成分（周波数成分）を、補正ゲイン算出期間６０４−５にフレーム間の位相量を予測し時間信号成分に戻した値から得たものであり、フリッカ補正ゲイン読み出し期間６０５−５に乗算器１１６に出力される。このようにして、撮像データ１００２の有効画像データに対してラインフリッカ（面内フリッカ）補正を実施していく。
【００９４】
なお、補正ゲイン算出期間６０４−４での処理前における位相調整量は、撮像データ１００２の添字４の期間に合わせるために位相量φ2を選択する必要がある。補正ゲイン算出期間６０４−４の前において、セレクタ７０１は、ステータス信号ＦＳＴ（６０１）を参照して位相量φ2に係るパラメータを選択しており、補正ゲイン算出部１１１ｂには位相量φ2に係るパラメータが入力される。なお、セレクタ１２５は、位相量φ1に係るパラメータを選択しており、補正ゲイン算出部１１１ａには位相量φ1に係るパラメータが入力される。そして、補正ゲイン算出期間６０４−４に、補正ゲイン算出部１１１ａ、１１１ｂがそれぞれ補正ゲイン値を算出して、一時記憶部１１２ａ、１１２ｂに格納する。続いて、フリッカ補正ゲイン読み出し期間６０５−４に、セレクタ１２２を介して一時記憶部１１２ｂに格納されている、すなわち補正ゲイン算出部１１１ｂが算出した補正ゲイン値が読み出され、乗算器１１６に出力される。また、このとき位相保持部１２４に入力される位相進捗は、（φ2＋θ2）となるようセレクタ１２３により補正ゲイン算出部１１１ｂでの積算結果が選択される。
【００９５】
同様に、補正ゲイン算出期間６０４−５の処理前における位相調整量は、撮像データ１００２の添字５の期間に合わせるために位相量φ4を選択する必要がある。補正ゲイン算出期間６０４−５の前において、セレクタ７０１は、ステータス信号ＦＳＴ（６０１）を参照して位相量φ4に係るパラメータを選択しており、補正ゲイン算出部１１１ｂには位相量φ4に係るパラメータが入力される。なお、セレクタ１２５は、位相量φ3に係るパラメータを選択しており、補正ゲイン算出部１１１ａには位相量φ3に係るパラメータが入力される。そして、補正ゲイン算出期間６０４−５に、補正ゲイン算出部１１１ａ、１１１ｂがそれぞれ補正ゲイン値を算出して、一時記憶部１１２ａ、１１２ｂに格納する。続いて、フリッカ補正ゲイン読み出し期間６０５−５に、セレクタ１２２を介して一時記憶部１１２ｂに格納されている（補正ゲイン算出部１１１ｂが算出した）補正ゲイン値が読み出され、乗算器１１６に出力される。また、このとき位相保持部１２４に入力される位相進捗は、（φ4＋θ2）となるようセレクタ１２３により補正ゲイン算出部１１１ｂでの積算結果が選択される。
【００９６】
第２の実施形態によれば、動画像撮影時にフレームレートの調整が実施される撮像装置において、調整を実施したとき及び調整を実施しないときのフリッカ補正用の補正ゲイン値を算出し、調整の実施の有無に応じて適宜選択してフリッカ補正を行う。これにより、動画像撮影に適したクロックを有していなくとも、撮像データの取りこぼしやフリッカ補正のための遅延を発生させることなく、フレームレートの調整に応じたラインフリッカ（面内フリッカ）の検出及び補正を行うことができる。また、フレーム毎にフレームレートの調整を実施するか否かの判定を行うので、フレームレートの誤差の蓄積期間が短縮され、調整を実施するか否かの判定に用いる閾値を低く設定することができ、誤差回復の分解能を向上させることができる。
【００９７】
なお、前記実施形態は、何れも本発明を実施するにあたっての具体化のほんの一例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。
【符号の説明】
【００９８】
１０１：同期信号生成部、１０２：タイミング生成部、１０３：撮像部、１１１ａ・１１１ｂ：補正ゲイン算出部、１１２ａ・１１２ｂ：一時記憶部、１１５：加算器、１１６：乗算器、１１７：加算器、１１８：タイマー、１１９：誤差検出部、１２０：調整判定部、１２２：セレクタ（第１の選択部）、１２３：セレクタ（第２の選択部）、１２４：位相保持部、１２５・７０１：セレクタ（第３の選択部）
【技術分野】
【０００１】
本発明は、動画像を撮影可能な撮像装置及び撮像方法に関し、詳しくはフリッカの補正技術に関する。
【背景技術】
【０００２】
光学情報を電気信号に変換する撮像部を有するデジタルカメラでは、撮像部で光電変換された電気信号をデジタル化して画像処理を施し、メディア等の記録媒体に記憶するのが一般的である。近年、撮像部にＣＭＯＳセンサを用いたデジタルカメラが市場に流通し、一眼レフデジタルカメラ等の高記録画素の分野では主流を占めようとしている。ＣＭＯＳセンサは、１ライン毎に画素を順次リセットし、その後、１ライン毎に画素から順次信号を読み出すＸ−Ｙアドレス方式を採る。Ｘ−Ｙアドレス方式を採るＣＭＯＳセンサは、１画面に対して１ライン毎に画素を読み出すローリング電子シャッターという制御を採る。
【０００３】
デジタルカメラを用いて、商用電源で直接点灯する蛍光灯等の点滅光源下で撮影を行うと、撮像素子の蓄積時間及び撮影フレーム周期（フレーム周波数）と光源の発光周波数との関係からフリッカが発生する。例えば、ローリング電子シャッター方式を採るＣＭＯＳセンサを用いて、電源周期に同期して交流点灯をする蛍光灯の照明下で動画像撮影を行うと、撮影で得られた画像内に横縞状のラインフリッカ（面内フリッカ）が発生し得る（例えば、特許文献１参照。）。特に、動画中においては、この横縞が移動するように見えるために、鑑賞時に不快感を与え問題である。
【０００４】
図８は、チョークコイルを用いた蛍光灯の発光特性を説明するための図である。図８（ａ）には商用電源の単相正弦波を示しており、図８（ｂ）には、図８（ａ）に示す商用電源で蛍光灯に印可される電圧を示している。図８（ｃ）には蛍光灯から発生する光量を示している。図８に示すように、電源周期の１周期あたり２回発光するので、蛍光灯の発光周波数は電源周波数の２倍になる。すなわち、電源周波数が５０Ｈｚの地域では発光周波数は１００Ｈｚとなり、電源周波数が６０Ｈｚの地域では発光周波数は１２０Ｈｚとなる。
【０００５】
こうした点滅光源下でＣＭＯＳセンサを駆動すると、蓄積時間が点滅光源の発光周期の整数倍になっていないときには、発光周期Ｔ毎に図９に示すようなラインフリッカ（面内フリッカ）が発生する。しかも、フレーム周期が点滅光源の発光周期の整数倍でないときには、ラインフリッカ（面内フリッカ）は垂直方向に流れるので画像（映像）の劣化は特に目立ってしまう。動画像撮影時において、前述のような横縞状のラインフリッカ（面内フリッカ）の移動を抑えるには、各ラインの蓄積時間を点滅光源の発光周期の整数倍にすれば良いが、光学系の絞りの制御に精度が必要になる。
【０００６】
ラインフリッカ（面内フリッカ）の補正技術として、以下の方法が特許文献２に提案されている。画像を垂直走査方向に分割して複数のフリッカ検波枠を設定し、フリッカ検波回路によってフリッカ検波枠毎に輝度データの検波を行う。そして、マイクロコンピュータ及びフリッカ周波数判別プログラムによってフリッカ検波枠毎に前後の２つのフレームの輝度データの差分をとり、フリッカ成分を抽出してフリッカの周波数を算出する。この後、抽出したフリッカ成分の山又は谷が、どの程度のフリッカ検波枠の間隔で発生しているかを測定し、それを周波数に置き換える。前後のフレームの差分をとった場合にフリッカ成分が消えないように、撮像信号のフレームレートとフリッカ周波数とを同期させないように調整する。そして、前述のようにして検出したフリッカの周波数を基に、電子シャッター機能とＡＧＣ（自動利得制御）回路を用いてフリッカの除去を行う。
【０００７】
近年、デジタルスチルカメラでも動画像撮影が可能になり、デジタルカメラの撮影制御に係る設定の変更や更新は多岐に渡る。前述の点滅光源下の撮影でのラインフリッカ（面内フリッカ）の出現は、発光周期（電源周期）や点滅光源の発光特性によって変化する。また、それ以外にも、デジタルカメラが有する撮像素子における蓄積時間やフレームレート、画素の加算方式や間引き方式による読み出し時間の変化といった駆動状態によっても変化する。つまり、撮影制御に係る設定の変更等によってフリッカ成分は変化する。
【０００８】
撮像素子の駆動状態の変更等によって生じた急激なフリッカ成分の変化に対し、精度良くフリッカ成分を補正可能な画像処理技術の提供を目的として、下記構成が特許文献３に提案されている。特許文献３には、フリッカ補正ステップと変更ステップとを有する画像処理技術が記載されている。フリッカ補正ステップでは、撮像素子により得られる画像信号からフリッカ成分を検出し、検出されたフリッカ成分に基づいて画像信号を補正する。また、変更ステップでは、撮像素子の駆動状態が第１の状態に維持されている期間と、駆動状態の変更が生じて撮像素子の駆動状態が第２の状態に維持されるまでの移行の期間では、フリッカ補正ステップにおける画像信号の補正を変更する。
【先行技術文献】
【特許文献】
【０００９】
【特許文献１】特開２００７−０３７１０３号公報
【特許文献２】特開２００３−１８９１２９号公報
【特許文献３】特開２００９−１６４７７４号公報
【発明の概要】
【発明が解決しようとする課題】
【００１０】
前述のように、近年デジタルスチルカメラは、動画像撮影が可能になっているが、静止画撮影と動画像撮影とでは撮影に係るパラメータの定義が全く異なり、デジタルスチルカメラによる静止画撮影では従来起きなかった問題が発生している。その一つが、動画像撮影に適したクロックがデジタルスチルカメラで使用するクロックとして用意されていないという問題である。
【００１１】
静止画撮影が主であるデジタルスチルカメラのフレームレート管理は、動画像撮影専用のビデオカメラのように合せ込んだものではない。例えば、３０ｆｐｓ（frame per sec）の動画像撮影を行うとき、実際には３０．０４ｆｐｓでの駆動になったとすると、フレーム毎に０．０４の分の誤差が蓄積されることになる。このような場合には、撮像処理において複数フレームに一度、時間調整のためのフレームレート制御を入れて対応する。例えば、ＣＭＯＳセンサでは撮像フレームの１Ｈ（以降、ある１ラインの水平走査を１Ｈと記す。）に対する読み出しクロック数の変更が可能であるので、時間調整のフレームでは、１Ｈの期間を数クロック少なく設定することで走査時間を調整する。例えば、時間調整時のフレームレートが２９．９３ｆｐｓになったとすると、３０ｆｐｓに対して０．０７の分の蓄積誤差を減少させたことになる。このようにして、時間調整のフレームを用い長期間の（複数フレームにおける）平均として３０ｆｐｓを実現する。
【００１２】
図１０を参照して、前述したフレームレート制御の一例を説明する。
図１０において、１００１は、撮像部から撮像データを読み出すためのタイミングパルス（図中、負論理）としての垂直同期信号（ＶＤ）である。１００２は、垂直同期信号毎に読み出されるフレーム単位の撮像データであり、説明の便宜上、図中にフレーム単位で連番を添え字として付している。１００３は、撮像データにおいて画像（映像）として補正処理や画像処理等の対象となる処理対象期間を示す信号である。処理対象期間は、垂直走査方向の有効画像（映像）範囲を示し、ラインフリッカ（面内フリッカ）の処理対象範囲となる。なお、処理対象期間中には、図示しない水平同期信号（ＨＤ）に起因した非画像データの期間も存在するが、本図では垂直走査方向に注視した説明としている。
【００１３】
１００４は、目標フレームレートと実際のフレームレートとが異なることによって蓄積される蓄積誤差の値である。１００５は、蓄積誤差値を基にフレームレートの調整の実施有無を判定するタイミングを示す判定タイミング信号（パルス信号）であり、パルス状にハイレベル（“Ｈ”）になったときに判定が行われる。また、１００６は、判定結果に応じてフレームレートの調整の実行を要求するための微調整実行ステータスを示す調整実行信号（パルス信号）であり、パルス状に“Ｈ”となったときにフレームレートの調整が実施される。
【００１４】
図１０においては、ハードウエア処理により実現することを鑑みて信号（パルス等）の発行タイミングを描画している。例えば、判定処理の実行自体をファームウエアを介在して実施する場合には、判定タイミング１００５は、垂直同期信号１００１のアサートの近傍よりも以前に発行しても構わない。また、調整実行信号１００６は、ハードウエアに制御切り替えを伝えるためのパルス信号として描画しており、そのパルスは垂直同期信号１００１のアサートの近傍にあり、フレームデータ取り込み前の撮像データの無効期間に制御切り替えを実施する。これは、有効な画像データを取得している時のフレームレート変更は画像（映像）品質の劣化を招いてしまうためである。
【００１５】
デジタルスチルカメラは、判定タイミング信号１００５がパルス状に“Ｈ”になったときに蓄積誤差値１００４と閾値１００７とを比較する。その結果、蓄積誤差値１００４が閾値１００７を超えていた場合には、フレームレートの調整を実施すると判断して調整実行信号１００６がパルス状に“Ｈ”にされる。調整実行信号１００６がパルス状に“Ｈ”にされることによって、デジタルスチルカメラは、撮像部における次フレームの蓄積時間を微調整するような制御を行う。例えば、デジタルスチルカメラは、１Ｈのクロック数を数クロック単位で調整したり、最終的にディスプレイ表示される画像（映像）の有効画素数には影響しないようにしたりして制御を行う。このような１Ｈ単位の調整の結果、通常フレーム周期Ｔ１での撮像データの取り込みが、時間調整時にはフレーム周期Ｔ２での撮像データの取り込みに調整されて、時間平均すると目標のフレーム周期での撮像データの取り込みを実現する。
【００１６】
図１０に示した例では、フレームレートの調整を実施するか否かの判定を３フレーム毎に一度実施するように判定タイミング信号１００５が生成されている。そして、通常フレーム周期Ｔ１で撮像部等を駆動し、判定の結果、フレームレートの調整を実施すると判定した場合に調整フレーム周期Ｔ２で撮像部等を駆動するよう切り替え制御する。これら駆動に係るタイミングのパラメータの切り替えは、例えば、調整実行信号１００６がパルス状に“Ｈ”になったことによって実施する。
【００１７】
ここで、静止画撮影が主であるデジタルスチルカメラは、シャッター秒時の制御にバリエーション（例えば、静止画撮影時の秒時は高速〜低速までレンジが広い）が必要である。しかしながら、デジタルスチルカメラでは、幾つかの決まったフレームレート設定を選択する動画像撮影用にクロック精度を合わせ込むことは一般に行われていない。特に、いわゆるコンパクトデジカメと呼ばれる廉価なコンパクトカメラでも近年動画像撮影が可能になっているが、動画像撮影用にクロック精度を合わせ込むことはコストを増大させる。そのため、前述のようなフレームレートの調整での対応は、デジタルスチルカメラにおける動画像撮影においては大変有効な手法の一つである。
【００１８】
しかしながら、前述のように動画像撮影において平均フレームレートを一定の目標値にするために時間調整のフレームを挿入することは、撮像素子の蓄積時間及び撮影フレーム周期（フレーム周波数）と点滅光源の発光周波数との関係が変化することを意味する。すなわち、電源周期に同期して点灯する点滅光源下での動画像撮影で発生するフリッカの状態が逐次変化することを意味する。そのため、ＣＭＯＳセンサを有するデジタルカメラは、その（位相）関係の変化に追従したラインフリッカ（面内フリッカ）の検出・補正を行わないと、誤補正となってフリッカが余計に目立ち、画像劣化を起こすことにつながる。
【００１９】
デジタルスチルカメラでの動画像撮影におけるフレームレートの調整は、例えば、以下の手順で行われる。まず、１又は複数のフレーム毎の処理期間のマシンサイクルを計数して、理想とするフレームレート（例えば、３０ｆｐｓ）に対する差異を誤差として求める。次に、この誤差が許容範囲内にあるか否かを判定する。誤差が許容範囲内にない場合には、１Ｈ期間のクロック数を調整して次の撮影フレームのフレームレートを調整する。この処理を継続することで、長期間の平均値として目標とするフレームレートにする。誤差が許容範囲内にあるか否かの判定は、誤差の修正を目的としているので、例えば、フレームの垂直同期信号のタイミング（又は、その近傍）で行い、次のフレームにおいて反映するといった制御を行うのが理想である。
【００２０】
ここで、ラインフリッカ（面内フリッカ）の補正ゲインは、補正対象となる撮影フレームのデータが入力されるときには取得されていなければ、その後の処理を停滞させることになる。撮像処理における処理の停滞は、データの取りこぼしにつながり、それはすなわちシステムとしての不成立を意味する。その他、撮影フレームのデータを取得してからフリッカの補正ゲインを取得するならば、撮影フレームのデータを遅延させる必要があり、一旦フレームバッファ等の一時記憶手段に記憶する必要が生ずる。フリッカ補正を行うために一時記憶手段を配置することは、コストの増加やスループットの低下につながる。前述のように垂直同期信号のタイミングでの判定や次のフレームでのフレームレートの調整となると、それによって変更された撮影フレーム周期を基にした補正ゲインの取得を判定以降に行ったのでは、撮像処理を停滞させるか一時記憶手段の配置が必要となる。
【００２１】
また、前記特許文献３に記載の技術は、蓄積時間等の撮像素子（撮像部）の駆動状態に追従したフリッカ補正処理装置・プログラム等の提案である。しかし、補正処理に撮像部の駆動状態を反映する構成上、その実現には、事前に撮像部の駆動状態の変化をステータスとして得ているか、あるいは入力データに対する遅延の発生（ラインバッファとして用いられる一時記憶手段の配置）が必要になる。
【００２２】
本発明は、このような事情に鑑みてなされたものであり、動画像撮影に適したクロックを有しない撮像装置にて、構成や動作に不都合を生じさせることなく、動画像撮影時のフレームレートの調整の有無に応じたフリッカ補正を行えるようにすることを目的とする。
【課題を解決するための手段】
【００２３】
本発明に係る撮像装置は、動画像撮影時にフレームレートの調整が実施される撮像装置であって、動画像撮影時に動画像撮影の目標フレームレートに対する誤差を検出する検出手段と、前記検出手段により検出された誤差と閾値とを所定のタイミングで比較し、前記誤差が前記閾値を超えているときには前記フレームレートの調整を実施すると判定する判定手段と、前記判定手段にて前記フレームレートの調整を実施すると判定された場合に、フレーム周期を通常のフレーム周期とは異なる調整フレーム周期に制御する制御手段と、前記動画像撮影で得られる撮像データに対しフリッカ補正を施す補正手段と、前記フリッカ補正に係る補正ゲイン値を算出する補正ゲイン算出手段とを備え、前記補正ゲイン算出手段は、前記通常のフレーム周期に対応した第１の補正ゲイン値を算出するとともに前記調整フレーム周期に対応した第２の補正ゲイン値を算出し、前記補正手段は、前記判定手段での判定結果に応じて、前記第１の補正ゲイン値及び前記第２の補正ゲイン値のうちの一つを用いて前記フリッカ補正を行うことを特徴とする。
【発明の効果】
【００２４】
本発明によれば、フレームレートの調整を実施する場合の補正ゲイン値、及び調整を実施しない場合の補正ゲイン値の両方を算出し、フレームレートの調整を実施するか否かの判定結果に応じて補正ゲイン値を選択し、撮像データに対してフリッカ補正を行う。これにより、動画像撮影に適したクロックを有していなくとも、フレームレートの調整の有無に応じたフリッカの検出及び補正を行うことができる。
【図面の簡単な説明】
【００２５】
【図１】第１の実施形態における撮像装置の構成例を示す図である。
【図２】第１の実施形態における撮像装置の動作例を示すタイミングチャートである。
【図３】フリッカ成分検出処理の例を示すフローチャートである。
【図４】フリッカ補正用の補正ゲイン算出処理の例を示すフローチャートである。
【図５】フリッカ補正処理の例を示すフローチャートである。
【図６】第２の実施形態における撮像装置の動作例を示すタイミングチャートである。
【図７】第２の実施形態における撮像装置の構成例を示す図である。
【図８】チョークコイルを用いた蛍光灯の発光特性を説明するための図である。
【図９】ラインフリッカの一例を示す図である。
【図１０】撮像装置でのフレームレートの調整動作を説明するための図である。
【発明を実施するための形態】
【００２６】
以下、本発明の実施形態を図面に基づいて説明する。
【００２７】
（第１の実施形態）
本発明の第１の実施形態について説明する。
第１の実施形態における撮像装置は、動画像撮影時に、任意のフレームにおいて目標フレームレートと現状の（現在の）フレームレートの乖離を比較し、比較結果に応じて、その後のフレームにてフレームレートの調整を実施するよう制御するデジタルカメラである。そのデジタルカメラには、動画像撮影が可能であるが、静止画撮影を主とするデジタルスチルカメラを含む。以下では、フレームレートの調整を実施するか否かの判定を３フレーム毎に行う場合を一例として説明する。
【００２８】
図１は、第１の実施形態における撮像装置の構成例を示す図である。図１には、撮像装置の構成のうち、ラインフリッカ（面内フリッカ）の補正を実施するための要部を示している。
【００２９】
図１において、同期信号生成部１０１は、撮像データを取り込むための同期信号を生成する。同期信号生成部１０１は、例えばタイミング生成部（ＴＧ：Timing Generator）１０２に対して撮像系へのタイミング発行を行うための基準タイミングを与える。同期信号生成部１０１は、例えばフレームのタイミング（垂直同期信号（ＶＤ）や水平同期信号（ＨＤ））を管理する。タイミング生成部１０２は、同期信号生成部１０１から垂直同期信号や水平同期信号を受け取り、撮像部１０３、ＣＤＳ／ＡＧＣ回路部１０４、及びＡ／Ｄ変換部１０５等に対して撮像データ取得のためのタイミング（駆動パルス等）を与える。タイミング生成部１０２は、例えば、撮像部１０３におけるリセット動作・蓄積動作・転送動作・読み出し動作を制御せしめるタイミングパルス等を撮像部１０３に出力する。
【００３０】
撮像部１０３は、被写体像等に係る光学情報を光電変換して電気信号として取り出すための画素が二次元状（例えばマトリクス状）に配列されている。ＣＤＳ／ＡＧＣ回路部１０４は、相関二重サンプリング回路や自動利得制御回路等を含み、撮像部１０３より得られた電気信号のＳ／Ｎを改善するための処理等を行う。Ａ／Ｄ変換部１０５は、アナログ電気信号をデジタル信号に変換する。すなわち、Ａ／Ｄ変換部１０５は、撮像部１０３で得られ、ＣＤＳ／ＡＧＣ回路部１０４を介して入力された電気信号にアナログ−デジタル変換処理（Ａ／Ｄ変換処理）を施してデジタルの撮像データに変換し出力する。Ａ／Ｄ変換部１０５から出力された撮像データは、センサやアンプ等のアナログ回路部の特性を除去するための補正処理、及び偽色抑圧や解像度改善のための画像処理を施し、必要に応じて画像情報圧縮処理を施して、画像データファイルとして記録される。ラインフリッカ（面内フリッカ）を除去するためのフリッカ補正は、センサやアンプ等のアナログ回路部の特性を除去した後に行えば良い。なお、図１においては、センサやアンプ等のアナログ回路部の特性を除去するための補正処理に係る構成については省略している。
【００３１】
フリッカ成分は、画像信号に対する変調成分である。フリッカ補正は、加算器（減算器）１１５、乗算器１１６、及び加算器１１７による演算処理によって実行される。Ａ／Ｄ変換部１０５の出力からオフセット値が加算器（減算器）１１５によって減算され、加算器（減算器）１１５の出力とフリッカ補正用の補正ゲイン値とが乗算器１１６によって乗算される。乗算器１１６の出力に対して適宜セットアップ値が加算器１１７によって加算される。このようにして撮影で得られた撮像データに対するフリッカ補正（振幅補正）を行うには、フリッカ成分の検出を行う手段と、検出したフリッカ成分からフリッカ補正用（振幅補正用）の補正ゲイン値を算出する手段が必要である。
【００３２】
積分処理部１０６は、Ａ／Ｄ変換部１０５の出力である撮影データの信号レベルを積分する。ラインフリッカ（面内フリッカ）は、前述のように画像の垂直方向に明暗の縞のように現れる現象である。したがって、積分処理部１０６は、撮影データの信号レベルを水平方向（ライン毎）に積分した値を求めれば良い。しかしながら、光源や被写体の状態によっては画像における中央部及び端部（右端部・左端部）でのフリッカの影響を考慮しないと過補正や誤補正となり画像を劣化させることもあるので、水平方向について幾つか領域に分割して積分を実施するようにしても良い。
【００３３】
サンプル点抽出部１０７は、サンプル点における積分処理部１０６の出力をサンプリング（抽出）する。ここで、点滅光源に供給する商用電源の周波数が５０Ｈｚである場合、フリッカ周波数は１００Ｈｚとなる。各ラインをサンプル点とする程の精度は不要であり、またシステムリソースの確保の点からもサンプル点を減らす必要がある。そこで、サンプル点抽出部１０７を用いて、フリッカ周期（例えば、１００Ｈｚ）をサンプリング可能なサンプル点（代表点）にして積分処理部１０６の出力をサンプリングする。一時記憶部（バッファ）１０８は、サンプル点抽出部１０７によってサンプリングされたサンプル値を一時記憶する。
【００３４】
検波部１０９は、点滅光源の発光周期で変調された撮影画像から、発光周期の成分を検波する。検波部１０９は、例えば商用電源の周波数が５０Ｈｚである場合には、１００Ｈｚの検波を行う。画像信号のように一定期間でサンプリングされたデータに対しては、離散フーリエ変換を用いた周波数領域への変換が一般的である。サンプリングする母数をＮ、サンプリングしたデータをｘ（ｎ）（ｎ＝０，１，・・・，Ｎ−１）とすると、離散的なフーリエ係数Ｘ（ｋ）としての周波数領域成分は（式１）で表される。
【００３５】
【数１】
【００３６】
時間Ｔ［sec］をＮ点で（等間隔に）サンプリングしたときのサンプリング間隔（周期）をｔ［sec］とすると、離散フーリエ変換後のフーリエ係数Ｘ（ｋ）は（式２）で表される離散的な周波数ｆkの範囲で求められる。
【００３７】
【数２】
【００３８】
前記（式２）において、ｆsは、時間領域におけるサンプリング周波数である。サンプル点抽出部１０７によるサンプリングは、前記（式２）を満たすことで周波数成分ｆkを得ることができる。例えば、フリッカ周波数を１００Ｈｚとするとｆk＝１００Ｈｚであり、フレームレートの調整の有無によっては変化しない。フレームレートの調整の有無による調整の対象は、時間Ｔ［sec］がそれに当たり、結果としてサンプリング周期ｔ［sec］が調整される。しかし、フレームレートの調整を実施するか否かにかかわらず、画素数としては同一になるように、例えば水平走査方向における有効画素以外のクロックカウントで調整され、垂直走査方向の写像であるサンプル点の時間間隔としては調整がなされる。
【００３９】
画像信号から得られたサンプルデータのそれぞれは、実時間信号である。前記（式１）は、（式３）のように実部Ｒｅ（）及び虚部Ｉｍ（）に分離できる。それぞれの成分は、（式４−１）、（式４−２）のように表すことができる。
【００４０】
【数３】
【００４１】
前記（式４−１）、（式４−２）より、周波数ｆkにおける振幅スペクトルＡkは（式５）のように求めることができ、位相成分Ωkは（式６）のように求めることができる。
【００４２】
【数４】
【００４３】
一時記憶部（バッファ）１１０は、検波部１０９の結果出力を保持する。一時記憶部１１０が保持する検波部１０９の結果出力には、前記（式４−１）、（式４−２）、式（５）、（式６）に示されるようなフリッカの成分を含む。
【００４４】
本実施形態において、フレームレートの調整は、複数フレームの平均として目標フレームレートを達成する範疇で実施する。しかも、動画像として違和感なく通常の動画像と同じような動画像を得るために、撮像素子の駆動を大きく変更するものではない。つまり、本実施形態におけるフレームレートの調整の範疇では、その実施の有無による検波部１０９に得られるフリッカ成分の変動は無視できるものである。ただし、成分の抽出においてはｆk＝１００Ｈｚを正確に検波する必要がある。そのような制御状態を実現するために、例えば後述するセレクタ１２１及び１２７を設けて、適宜パラメータも切り替え選択できるようにしている。
【００４５】
本実施形態では、フレーム毎にフリッカの振幅成分の変動が無視できる範囲でフレームレートの調整を実施するようにし、フレームレートの調整を実施するか否かによらずフリッカの振幅成分の変動を無視できるものとする。この条件では、検波対象フレームと補正対象フレームとが（時間的に）異なる場合に、それぞれの位相成分の条件を合わせて（フレーム間の位相量を調整して）逆フーリエ変換を実施することで、補正対象フレームのフリッカ成分を時間軸の成分で取り出せる。
【００４６】
補正ゲイン算出部１１１ａ、１１１ｂは、フリッカ補正用の補正ゲイン値を算出する。なお、補正ゲイン算出部１１１ａ、１１１ｂによる補正ゲイン値の算出に係る演算処理は、並行して実行可能になっている。前述のように、検波部１０９の検波結果に対して位相成分を予測適用（以下、位相調整）して逆フーリエ変換を実施することで、補正対象フレームの時間領域でのフリッカ成分の値が算出できる。フレームレート（蓄積時間）が固定であるとすると、フリッカ成分のフレーム間位相量は、撮影時のフレームレートと点滅光源の発光周期との関係から一意に決まる。そのときの位相量をθkとして、前述した実部及び虚部を用いた逆フーリエ変換の式は、（式７）のようになる。なお、フレームレートが３０ｆｐｓや６０ｆｐｓなどで誤差がない場合には、発光周波数が１００Ｈｚの点滅光源に対しては３フレーム周期でフレーム間位相は元に戻る。フレームレートに誤差がある場合には、位相量にも誤差の影響が含まれるので、フレーム間位相の遷移をトレースして、その値を例えば位相保持部１２４のような保持部に保持しておく必要がある。
【００４７】
【数５】
【００４８】
検波部１０９で１００Ｈｚの検波を行ったとき、フリッカ成分の近似として正弦波のみを取り出すのであれば、補正ゲイン算出部１１１ａ、１１１ｂは、ｆk＝１００Ｈｚとなるｋについてのみ前記（式７）を用いた演算を行えば良い。このようにした場合には、演算量やフリッカ成分を保持するバッファ量を削減できる。ここで、逆フーリエ変換では、時間領域のフリッカ成分はゼロ中心として得られる。対象フレーム内に発生するフリッカ成分は被写体の信号強度に比例する（変調された状態である）ので、補正ゲイン算出部１１１ａ、１１１ｂは、逆フーリエ変換で得られたフリッカ成分値を１中心にして、その逆数を求めフリッカ補正用の補正ゲイン値とする。
【００４９】
一時記憶部（バッファ）１１２ａ、１１２ｂは、補正ゲイン算出部１１１ａ、１１１ｂのそれぞれに対して配置され、補正ゲイン算出部１１１ａ、１１１ｂのそれぞれが算出した補正ゲイン値を保持する。一時記憶部１１２ａ、１１２ｂの出力（保持された補正ゲイン値）を乗算器１１６に供給することで、フリッカ補正（振幅補正）が実施される。
【００５０】
本実施形態では、タイマー１１８、誤差検出部１１９、及び調整判定部１２０によって、フレームレートの調整を実施するか否かの判定を３フレームに１回の頻度で行う。タイマー１１８は、所定のフレーム数毎（ここでは３フレーム毎）の処理期間のマシンサイクルを計数する。マシンサイクルとは、タイマー１１８に入力されるクロック等の周期性を持つ信号・ステータスの繰り返し周期を指す。本実施形態においては、タイマー１１８は、垂直同期信号のイベント（パルス状にハイレベル（“Ｈ”）になる）間隔を３フレーム分計時し、計時結果を誤差検出部１１９に対して出力する。誤差検出部１１９は、タイマー１１８の計時結果を入力とし、その計時結果と目標数値との差異を求める加算器（減算器）を有する。誤差検出部１１９は、タイマー１１８の出力である計時結果と、目標フレームレート（例えば、３０ｆｐｓ）に係る設定値との差異を誤差量として求めて出力する。
【００５１】
調整判定部１２０は、フレームレートの調整を実施する否かの判定を行う。調整判定部１２０は、誤差検出部１１９の出力結果を受けて、次のフレームでの撮像データの取り込みにおいて撮像部１０３の駆動に調整を入れるか、入れないかを判定する。調整判定部１２０は、誤差許容範囲を示す閾値と計時結果を基に算出された誤差とを比較する比較器を有し、誤差が閾値を超えていた場合には誤差の是正が必要であると判断し、フレームレートの調整を実施すると判定する。フレームレートの調整に係る判定は、次のフレームの取り込みに対して画像（映像）に影響がないようにその結果を反映する。そのため、調整を実施するか否かの判定結果ステータスは、同期信号生成部１０１及びフリッカ検出系の制御部には直ちに伝達されるが、それらからの制御を受ける各機能部において直ちに反映されるわけではない。各機能部への実際の反映は、それぞれの機能部が有効データを処理していない適当な時期に適宜行われて、各機能部の制御状態が切り替えられる。
【００５２】
セレクタ１２１及び１２７は、フレームレートの調整の有無に応じて、サンプル点抽出部１０７及び検波部１０９に供給される検出用パラメータを切り替える。離散フーリエ変換を用いて検波を実施するとき、調整によって変更されたフレームレートに対して画像上のサンプリング間隔に係る時間軸／周波数軸上の定義（又は解釈）が変更されると、検波での誤検出につながる。そこで、セレクタ１２１及び１２７は、サンプル点の間隔を調整して時間軸／周波数軸上におけるサンプリング間隔が異ならないよう、調整の有無に応じてそれぞれ適当なパラメータをサンプル点抽出部１０７及び検波部１０９に対して出力する。遅延部１２６は、セレクタ切り替え指示を行うためのステータス信号ＦＳＴを１フレーム処理分遅延させる。これは、検波処理自体が、対象フレームを積分した後の次のフレーム到達期間に処理するためである。
【００５３】
なお、図１において、Ｔ１の表記は、フレームレートの調整を実施しないときの通常フレーム周期Ｔ１に関するパラメータであることを示すものとする。また、Ｔ２の表記は、フレームレートの調整を実施するときの調整フレーム周期Ｔ２に関するパラメータであることを示すものとする。また、図１においては、Ｔ１、Ｔ２で表記する２つのパラメータのみを示しているが、それぞれに別途複数のパラメータを設定しても良い。それら（周期を推定できる）パラメータとしては、例えばフレーム周期に係る数値（例えば、３０．０４ｆｐｓ，２９．９３ｆｐｓ等の具体的な数値）を挙げることができる。その他、前のフレームの有効ラインの終了点から後のフレームの有効ラインの開始点までの期間にフリッカ成分が進捗する位相量の数値を挙げることができる。また、それらを正規化した数値（１周期を２π［rad］として、２πを２５６等分して８ｂｉｔで示した数値）等を挙げることができる。
【００５４】
また、供給対象の機能部（例えば、サンプル点抽出部１０７や検波部１０９等）に対してそれぞれ適宜扱いやすいパラメータであれば良く、共通の値を供給することには拘らない。また、経路不図示であるが、積分処理部１０６に必要なパラメータを供給しても良い。この場合の必要なパラメータとは、積分開始・終了位置の調整による変更等が挙げられる。
【００５５】
セレクタ（第１の選択部）１２２は、補正ゲイン算出部１１１ａ、１１１ｂによりそれぞれ算出されたフレームレートの調整を実施しない場合に使用される補正ゲイン値又はフレームレートの調整を実施する場合に使用される補正ゲイン値を選択的に出力する。本実施形態では、補正ゲイン算出部１１１ａ及び一時記憶部１１２ａからなる一方の側をフレームレートの調整を実施しない側とし、補正ゲイン算出部１１１ｂ及び一時記憶部１１２ｂからなる他方の側をフレームレートの調整を実施する側として、以下説明を行う。すなわち、補正ゲイン算出部１１１ａが通常のフレーム周期Ｔ１に対応した第１の補正ゲイン値を算出し、補正ゲイン算出部１１１ｂが調整フレーム周期Ｔ２に対応した第２の補正ゲイン値を算出するものとする。
【００５６】
また、補正ゲイン算出部１１１ａ、１１１ｂは、フレーム処理毎の任意のタイミングで更新するパラメータ（第１のパラメータ）をセレクタ（第２の選択部）１２３に対して出力する。セレクタ（第２の選択部）１２３は、補正ゲイン算出部１１１ａ、１１１ｂでのフレーム処理の進捗にあわせて推移した位相量のフィードバックを行うためのループの際に、実際に補正に用いた側からのパラメータ（第１のパラメータ）を選択し出力する。なお、このパラメータ（第１のパラメータ）は、例えば撮像部１０３における蓄積時間と動画像撮影時のフレームレートと点滅光源の発光周期との何れか又はすべての関係が反映された数値である。
【００５７】
動画像撮影において、例えば各フレームにおいてずれがなく３０ｆｐｓのフレームレート制御が実施されるのであれば、フリッカ成分のフレーム間位相は３フレームで一巡するように（３フレーム毎に）決まった値をとる。しかし、１フレームの処理が誤差なく１／３０秒にならないようなフレームレート制御状態では、補正対象フレームの先頭におけるフリッカ成分の位相状態をトレースしていく必要がある。この位相状態をトレースしていくために、本実施形態では、位相保持部（一時記憶部）１２４においてセレクタ（第２の選択部）１２３の出力を積算していくことによって、位相状態を位相保持部（一時記憶部）１２４に保持する。
【００５８】
ここで、図１において、φ1、φ2のそれぞれは、フレーム間の位相量φ1、φ2に関する調整を行うためのパラメータであることを示すものとする。フレーム間の位相量としてのφ1、φ2は、フリッカの時間成分算出のための逆フーリエ変換を計算するときの、基本波（例えば１００Ｈｚ）の三角波（ｓｉｎ，ｃｏｓ）成分に対するフレーム先頭の位相量とする。フレーム先頭の位相量は、前のフレームの補正対象画像の終了位置からその後のフレーム（注目フレーム）の補正対象画像の開始位置までの位相量である（図２参照）。なお、φ1、φ2は、位相成分として角度で保持しても良いし、１周期を２πとしてそれを２５６で正規化した８ｂｉｔの数値で保持しても良い。また、φ1、φ2を前のフレームの有効画像の終了ラインから注目フレームの有効画像の開始ラインまでの走査時間相当のライン数として保持し、補正ゲイン算出部中でフリッカ成分に対するフレーム間の位相量に換算しても良い。また、補正ゲイン算出部１１１ａ、１１１ｂのそれぞれに設定するφ1、φ2等の調整パラメータは、前述したφ1、φ2のみに限定するものではない。
【００５９】
セレクタ（第３の選択部）１２５は、フレームレートの調整を実施するか否かに応じて、補正ゲイン算出部１１１ａの入力パラメータ（第２のパラメータ）を選択して出力する。セレクタ（第３の選択部）１２５は、フレームレートの調整を実施しない場合には、フレーム間の位相量φ1に関する調整を行うためのパラメータを選択して、補正ゲイン算出部１１１ａに対し入力パラメータ（第２のパラメータ）として出力する。また、セレクタ（第３の選択部）１２５は、フレームレートの調整を実施する場合には、フレーム間の位相量φ3に関する調整を行うためのパラメータを選択して、補正ゲイン算出部１１１ａに対し入力パラメータ（第２のパラメータ）として出力する。ここで、フレーム間の位相量φ1、φ3に関する調整を行うための各パラメータは、例えば撮像部１０３における蓄積時間と動画像撮影時のフレームレートと点滅光源の発光周期との何れか又はすべての関係が反映された数値である。セレクタ１２５によって補正ゲイン算出部１１１ａへの入力パラメータを切り替えることで、フレームレートの調整を実施した際に、次のフレームの補正ゲイン値を算出するためのフレーム間の位相量の予想に調整フレームの挿入の影響を反映させることができる。
【００６０】
図２は、横軸を時間の推移として、第１の実施形態における撮像装置の動作例を示すタイミングチャートである。図２において、１００１は、撮像部１０３から撮像データを読み出すためのタイミングパルス（本例では負論理）としての垂直同期信号（ＶＤ）である。１００２は、垂直同期信号毎に読み出されるフレーム単位の撮像データであり、説明の便宜上、図中にフレーム単位で連番を添え字として付している。１００３は、撮像データにおいて画像（映像）として補正処理や画像処理等の対象となる処理対象期間を示す信号である。なお、処理対象期間中には、図示しない水平同期信号（ＨＤ）に起因した非画像データの期間も存在するが、ここでは無視する。
【００６１】
１００４は、目標フレームレートと現状の（実際の）フレームレートとが異なることによって蓄積される蓄積誤差の値である。１００５は、蓄積誤差値を基にフレームレートの調整を実施するか否かを判定するタイミングを示す判定タイミング信号（パルス信号）であり、パルス状に“Ｈ”になったときに判定が行われる。また、１００６は、判定結果に応じてフレームレートの調整の実行を要求するための調整実行ステータスを示す調整実行信号（パルス信号）であり、パルス状に“Ｈ”となったときにフレームレートの調整が実施される。１００７は、フレームレートの調整を実施するか否かを判定するための調整有無判定閾値である。
【００６２】
また、２０１は、フレームレートの調整を実施する調整フレーム期間であるか否かを示すステータス信号（以下、調整フレーム信号とも称す。）である。調整フレーム信号２０１は、調整実行信号１００６を受けて、次の１フレームを調整フレームとするか通常フレームとするかを状態（レベル）で示している。図２に示す例では、調整フレーム信号２０１がハイレベル（“Ｈ”）の場合には調整フレームとする、すなわち１フレームの周期を調整フレーム周期Ｔ２とすることを示すものとする。また、調整フレーム信号２０１がローレベル（“Ｌ”）の場合には通常フレームとする、すなわち１フレームの周期を通常のフレーム周期Ｔ１とすることを示すものとする。なお、調整フレーム信号２０１がハイレベルになった場合には、次の１フレームが終了した後に（そのフレーム終了後において垂直同期信号が次にアサートされるまでに）調整フレーム信号２０１はローレベルにされる。なお、例えば、調整フレーム信号２０１を、図１に示した調整判定部１２０の出力として、セレクタ１２１、１２２、１２３、及び１２５に分配するとともに、遅延部１２６を介してセレクタ１２７に分配し、各セレクタの切り替えを行うようにしても良い。
【００６３】
２０２は、基本正弦波（例えば１００Ｈｚ）であり、その振幅及び位相は任意である。周期Ｔ１、Ｔ２と点滅光源の発光周期との比較を容易にし、フリッカ成分のフレーム間位相の推移との関係を想像しやすくするよう図示している。
【００６４】
２０３は、フリッカ成分（本例では１００Ｈｚ）の検波の処理期間（検波期間）である。長方形で表した検波期間２０３において、長方形中の数字はフリッカ成分検出対象となる撮影データ１００２の添字に対応している。２０４は補正ゲイン算出の処理期間（補正ゲイン算出期間）であり、２０５は補正ゲイン値を一時記憶部１１２ａ、１１２ｂから読み出して、撮影データ１００２に適用しフリッカ補正を行う処理期間（フリッカ補正ゲイン読み出し期間）である。長方形で表した補正ゲイン算出期間２０４及びフリッカ補正ゲイン読み出し期間２０５において、長方形中の数字はフリッカ補正（振幅補正）の対象となる撮影データ１００２の添字に対応している。
【００６５】
本実施形態では、３フレーム毎に１回の頻度でフレームレートの調整を実施するか否かの判定を行う。その判定において、蓄積誤差値１００４が判定閾値１００７を超えているときには、誤差の是正が必要であると判断し、次の１フレームにおいてフレームレートの調整を実施する。なお、本実施形態では３フレーム毎に１回の頻度でフレームレートの調整を実施するか否かの判定を行うようにしているが、これに限定されず、所定のタイミング毎に判定を行えば良い。フレームレートの調整は、例えば通常フレーム（調整が入らないときのフレーム）に代えて、撮像部１０３（ＣＭＯＳセンサ等）の１水平走査期間を通常フレームよりも数クロック分短い調整フレームを挿入することで調整する。つまり、本例では、常態で正側に誤差を蓄積し、調整時に誤差が負側（又は０）になるようにフレームレートを調整する。なお、誤差蓄積（増減）の方向は、前述の例に限らず、常態で負側に誤差を蓄積し、調整時に誤差が正側（又は０）になるようにフレームレートを調整しても良い。
【００６６】
ここで、図２に示した位相量φ1、φ2、φ3、及びθ1、θ2について説明する。位相量φ1は、通常フレームが連続しているときの、前のフレームにおける処理対象期間の終了からその次のフレームにおける処理対象期間の開始までの間の位相量である。位相量φ2は、通常フレームから調整フレームに切り替わるときの、前のフレームにおける処理対象期間の終了からその次のフレームにおける処理対象期間の開始までの間の位相量である。位相量φ3は、調整フレームから通常フレームへ遷移するときの、前のフレームにおける処理対象期間の終了からその次のフレームにおける処理対象期間の開始までの間の位相量である。
【００６７】
また、本実施形態における撮像装置のように位相関係の推移をトレースする必要がある場合には、処理対象期間１００３における有効期間の間もトレースの対象になる。位相量θ1は通常フレーム処理における位相量であり、位相量θ2は調整フレーム処理における位相量である。位相量θ1、θ2のそれぞれは、例えば補正ゲイン算出部１１１ａ、１１１ｂで積算し、積算結果をセレクタ（第２の選択部）１２３を介して位相保持部１２４に送出すれば良い。また、位相量θ1、θ2は、補正ゲイン算出部１１１ａ、１１１ｂの出力をセレクタ（第２の選択部）１２３を介して位相保持部１２４に送出し、位相保持部１２４にて積算するようにしても良い。また、位相量φ3の出現は通常フレーム側に限られるので、セレクタ（第３の選択部）１２５は補正ゲイン算出部１１１ａ側にのみ設ければ良い。
【００６８】
図２に示すように、添字ｉのフレームに係る撮像データ１００２が取り込まれると、添字ｉの検波期間２０３にて、その撮像データ１００２のフリッカ成分（周波数成分）の検出が行われる。添字ｉの検波期間２０３において検出されたフリッカ成分（周波数成分）は、添字（ｉ＋２）の補正ゲイン算出期間２０４にて、フレーム間の位相量が予測されて時間信号の成分に戻され、それを用いた補正ゲイン値の算出が行われる。添字（ｉ＋２）の補正ゲイン算出期間２０４において算出された補正ゲイン値は、添字（ｉ＋２）のフリッカ補正ゲイン読み出し期間２０５にて、乗算器１１６に出力され、それを用いた添字（ｉ＋２）のフレームに係る撮像データ１００２のフリッカ補正が行われる。このように本実施形態における撮像装置では、添字（ｉ＋２）のフレームに係る撮像データ１００２のフリッカ補正は、添字ｉのフレームに係る撮像データ１００２のフリッカ成分から予測して算出した補正ゲイン値を用いて行われる。
【００６９】
例えば、図２に示した例では、撮像データ１００２の添字４のフレーム取り込み時にフレームレートの調整を実施している。添字４のフレームに係る撮像データ１００２は、Ａ／Ｄ変換部１０５でデジタル化されたデータとして乗算器１１６でフリッカ補正（振幅補正）される。このとき、前述のように添字２のフレーム取り込み期間に取り込まれた撮像データ１００２のフリッカ成分から予測して算出した補正ゲイン値が、添字４のフレームに係る撮像データ１００２のフリッカ補正に用いられる。添字２のフレーム取り込み期間に取り込まれた撮像データ１００２は、次（撮像データ１００２の添字３）のフレーム取り込み期間中に、フリッカ成分の検波が行われる。具体的には、検波期間２０３における期間２０３−２に、添字２のフレーム取り込み期間に取り込まれた撮像データ１００２のフリッカ成分（周波数成分）が検波部１０９を用いて検出され、検出したフリッカ成分が一時記憶部１１０に格納される。そして、補正ゲイン算出期間２０４における期間２０４−４に、一時記憶部１１０に格納されているフリッカ成分（周波数成分）をフレーム間の位相量を予測して時間信号の成分に戻し、それを基に補正ゲイン値が算出される。算出した補正ゲイン値は、フリッカ補正ゲイン読み出し期間２０５における期間２０５−４に、乗算器１１６に対して出力される。
【００７０】
ここで、補正ゲイン算出期間２０４における期間２０４−４では、次のフレーム（撮像データ１００２の添字４のフレーム）がフレームレートの調整されたデータとして受信されるか否かは未定である。そのため、期間２０４−４では、補正ゲイン算出部１１１ａ、１１１ｂのそれぞれが、位相量φ1、φ2に係る調整パラメータを用いて補正ゲイン算出処理を行い、補正ゲイン値を結果として得る。なお、本実施形態では、３フレームに１回の実行頻度でフレームレートの調整を実施するか否かの判定が行われるので、フレームレートの調整は判定結果後の１フレームに対してのみ実施され得る。よって、フレームレートの調整を実施するか否かの判定を行うフレームを把握して制御するのであれば、補正ゲイン算出部１１１ｂでの補正ゲイン算出処理は、判定タイミング信号１００５が発行される直前のフレームでのみ行うようにしても良い。
【００７１】
フリッカ補正ゲイン読み出し期間２０５における期間２０５−４では、ステータス信号（調整フレーム信号）２０１によって現行フレームが調整フレームであることがわかる。このとき、補正ゲイン算出部１１１ｂによって算出され一時記憶部１１２ｂに格納されている補正ゲイン値（第２の補正ゲイン値）が、セレクタ（第１の選択部）１２２を介して乗算器１１６に出力される。また、このとき（添字４のフレーム）の撮像データ１００２は、フレームレートの調整が実施されているので、調整フレーム周期Ｔ２を鑑みて積分処理部１０６での積分処理及びサンプル点抽出部１０７でのサンプリング処理を行う。そして、検波期間２０３における期間２０３−４において、同様に調整フレーム周期Ｔ２を鑑みて検波部１０９での検波処理が行われる。また、補正ゲイン算出期間２０４における期間２０４−５の前に、補正ゲイン算出部１１１ａにはセレクタ１２５により位相量φ3の調整パラメータが入力される。
【００７２】
以上のようにして、本実施形態における撮像装置は、フレームレートの調整を鑑みたラインフリッカ（面内フリッカ）の検出及び補正を実施する。
【００７３】
本実施形態では、補正ゲイン算出部１１１ａ、１１１ｂに供給する調整パラメータは、フレーム間位相の位相量φ1、φ2、φ3に係るパラメータとしているが、これに限定されない。調整パラメータを、ｆk＝１００Ｈｚ一定の点滅周期に対するフレーム処理の時間量ｔ1、ｔ2、ｔ3に係るパラメータとしても良い。例えば、φ1＝２πｆk・ｔ1とすると、セレクタ１２５へ入力するパラメータ設定値としては時間量ｔ1に係る数値で設定しておくことも可能である（φ2、φ3についても同様）。その場合、１フレーム経過時の位相保持部１２４への位相量更新値（例えば、（φ1＋θ1）分の位相量）も、同様に時間量に係る数値とすることが好ましい。
【００７４】
次に、本実施形態における撮像装置でのフリッカ成分検出処理、フリッカ補正用の補正ゲイン算出処理、及びフリッカ補正処理についてそれぞれ説明する。なお、フリッカ成分検出処理、フリッカ補正用の補正ゲイン算出処理、及びフリッカ補正処理の流れをそれぞれ示す図３〜図５には、動画像撮影時における任意のフレーム単位の処理として図示している。また、以下の説明では、次のフレームの撮像部１０３による撮像データの取り込みに対してフレームレートの調整を実施するか否かの判定が調整判定部１２０により実施され、その判定結果がステータス信号ＦＳＴ（２０１）として送出されているものとする。
【００７５】
図３は、フリッカ成分検出処理の一例を示すフローチャートである。図３（ａ）には積分処理からサンプル点抽出処理までを示しており、図３（ｂ）には検波処理を示している。例えば、図２に示した添字２のフレームの撮像データ１００２の取り込み時にその撮像データ１００２に係る積分処理及びサンプル点抽出処理（図３（ａ）に示す処理）が行われる。そして、その検波処理（図３（ｂ）に示す処理）が検波期間２０３における期間２０３−２に行われる。このとき、フレームレートの調整を実施するか否か、すなわち処理対象のフレームが調整フレームであるか否かを示すステータス信号ＦＳＴ（２０１）は、遅延部１２６により１フレーム処理分遅延されてセレクタ１２７に供給されている。
【００７６】
まず、図３（ａ）に示す積分処理及びサンプル点抽出処理について説明する。
セレクタ１２１は、ステータス信号ＦＳＴ（２０１）を参照して（Ｓ３０１）、処理対象フレームが通常フレームであれば図１に示したＴ１側のパラメータを選択し（Ｓ３０２）、調整フレームであれば図１に示したＴ２側のパラメータを選択する（Ｓ３０３）。セレクタ１２１における選択するパラメータの切り替えは、例えば処理対象期間１００３により示される有効期間外で行う。続いて、積分処理部１０６が、Ａ／Ｄ変換部１０５によりデジタル化された撮像データ１００２をライン単位に積分する（Ｓ３０４）。次に、サンプル点抽出部１０７が、積分処理部１０６により得られた積分値（又は、それを平均化（正規化）した値でも良い）を、セレクタ１２１により選択されたパラメータを用いて所望のサンプル点に写像し一時記憶部１０８に一時保持させる（Ｓ３０５）。
【００７７】
図３（ａ）に示した処理で得られた結果（一時記憶部１０８に格納されているデータ（サンプル値））を用いて、図３（ｂ）に示す検波処理が行われる。本実施形態では、１フレーム分の撮像データよりすべてのサンプル点データを抽出した後、すなわち１フレーム分の撮像データの取り込み完了後に、検波処理を実施するため、検波処理に用いるパラメータの選択は、遅延部１２６の出力を参照して行われる。まず、セレクタ１２７は、遅延部１２６の出力（１フレーム分遅延されたステータス信号ＦＳＴ（２０１））を参照し（Ｓ３１１）、サンプル点データを抽出した処理対象フレームが通常フレームであれば図１に示したＴ１側のパラメータを選択する（Ｓ３１２）。一方、そうでなければ（調整フレームであれば）、セレクタ１２７は、図１に示したＴ２側のパラメータを選択する（Ｓ３１３）。続いて、検波部１０９が、セレクタ１２７により選択されたパラメータを用いて、一時記憶部１０８に格納されているデータを基にフリッカ成分を検波して一時記憶部１１０に保持させ（Ｓ３１４）、フリッカ成分検出処理を終了する。
【００７８】
図４は、フリッカ補正用の補正ゲイン算出処理の一例を示すフローチャートである。
セレクタ（第２の選択部）１２３は、ステータス信号ＦＳＴ（２０１）を参照して（Ｓ４０１）、処理対象フレームが通常フレームであれば補正ゲイン算出部１１１ａで積算した位相量を選択する（Ｓ４０２）。一方、そうでなければ（処理対象フレームが調整フレームであれば）、セレクタ（第２の選択部）１２３は、補正ゲイン算出部１１１ｂで積算した位相量を選択する（Ｓ４０４）。同様に、セレクタ（第３の選択部）１２５は、ステータス信号ＦＳＴ（２０１）を参照して（Ｓ４０１）、処理対象フレームが通常フレームであれば位相量φ1に係るパラメータを選択する（Ｓ４０３）。一方、そうでなければ（処理対象フレームが調整フレームであれば）、セレクタ（第３の選択部）１２５は、位相量φ3に係るパラメータを選択する（Ｓ４０５）。なお、前述したセレクタ１２３及びセレクタ１２５における選択については、時間的な優先順位はなく同時であっても良い。
【００７９】
次に、位相保持部１２４は、セレクタ１２３の出力値を保持し、フリッカ成分の位相進捗が更新される（Ｓ４０６）。ここで、本実施形態では、取り込んだ撮像データを積分して検波実行するまでに１フレーム処理に対応する期間を要するので、位相保持部１２４は、初期値として（φ1＋θ1）分の位相進捗が図示しない初期値設定ステップで設定される。また、補正ゲイン算出部１１１ａ、１１１ｂからのセレクタ１２３へのフィードバック値にも、同様に１フレーム分の位相進捗を反映した初期値が設定される。したがって、位相保持部１２４は、検波対象フレーム及び補正対象フレームの位相遅延量（２フレーム分）を保持する。
【００８０】
前述した処理を完遂してから、補正ゲイン算出期間２０４として示される期間中において、補正ゲイン算出部１１１ａによる補正ゲイン演算（Ｓ４０７）及び補正ゲイン算出部１１１ｂによる補正ゲイン演算（Ｓ４０８）がそれぞれ実行される。補正ゲイン算出部１１１ａは、セレクタ１２５により選択された位相量φ1に係るパラメータ又は位相量φ3に係るパラメータを用いて、補正ゲイン演算を行い、補正ゲイン算出部１１１ｂは、位相量φ2に係るパラメータを用いて補正ゲイン演算を行う。そして、ステップＳ４０７及びＳ４０８での演算結果、すなわち算出した補正ゲイン値が、それぞれ一時記憶部１１２ａ、１１２ｂに一時格納され、補正ゲイン算出処理が終了する。なお、ステップＳ４０７及びＳ４０８における処理について、時間的な優先順位はなく、ステップＳ４０８に示す処理を実行した後にステップＳ４０７に示す処理を実行しても良いし、ハードウエア等で同時に実行しても良い。また、フレームレートの調整が実施され得る、すなわち調整フレームにされ得るフレーム位置が予め定まっている場合には、補正ゲイン算出部１１１ｂによる補正ゲイン演算は、調整フレームにされ得るフレーム位置の前のフレームにおいてのみ行うようにしても良い。
【００８１】
また、図２に例示したタイミングチャートにも示されるように、一時記憶部１１２ａ、１１２ｂに対して、現在のフレームに係る補正ゲイン値の読み出しを行う期間と次のフレームに係る補正ゲイン値の書き込みを行う期間とが重複し得ることが考えられる。そのようなタイミングに対応するために、一時記憶部１１２ａ、１１２ｂはＦＩＦＯ構成とするようにしても良い。また、ファームウエアであれば、一時記憶部１１２ａ、１１２ｂのそれぞれに対して複数のメモリ領域を確保するようにしても良い。また、一時記憶部１１２ａ、１１２ｂが同一の記憶手段として存在し、その中に記憶領域がそれぞれ独立に確保されていても良い（例えば、アドレスで管理されていても良い）。その場合には、セレクタ１２２はアドレスデコーダとして機能する他、アドレス管理部を別途設ける。
【００８２】
図５は、フリッカ補正処理の一例を示すフローチャートである。
セレクタ（第１の選択部）１２２は、ステータス信号ＦＳＴ（２０１）を参照して（Ｓ５０１）、通常フレームに対する補正であれば一時記憶部１１２ａの出力を選択する（Ｓ５０２）。一方、そうでなければ（調整フレームに対する補正であれば）、セレクタ（第１の選択部）１２２は、一時記憶部１１２ｂの出力を選択する（Ｓ５０３）。そして、撮像装置は、処理対象期間を示す信号１００３にあわせて、選択された一時記憶部１１２ａ、１１２ｂからフリッカ補正用（振幅補正用）の補正ゲイン値を呼び出して乗算器１１６に入力する（Ｓ５０４）。すなわち、通常フレームに対する補正であれば、補正ゲイン算出部１１１ａによって算出された補正ゲイン値が乗算器１１６に出力され、加算器（減算器）１１５、乗算器１１６、及び加算器１１７での演算処理によって撮像データに係るフリッカ補正が行われる。また、調整フレームに対する補正であれば、補正ゲイン算出部１１１ｂによって算出された補正ゲイン値が乗算器１１６に出力され、加算器（減算器）１１５、乗算器１１６、及び加算器１１７での演算処理によって撮像データに係るフリッカ補正が行われる。
【００８３】
第１の実施形態によれば、動画像撮影時にフレームレートの調整が実施される撮像装置において、調整を実施したとき及び調整を実施しないときのフリッカ補正用の補正ゲイン値を算出し、調整の実施の有無に応じて適宜選択してフリッカ補正を行う。これにより、動画像撮影に適したクロックを有していなくとも、撮像データの取りこぼし（システム不成立）やフリッカ補正のための遅延を発生させることなく、フレームレートの調整に応じたラインフリッカ（面内フリッカ）の検出及び補正を行うことができる。
【００８４】
（第２の実施形態）
次に、本発明の第２の実施形態について説明する。
前述した第１の実施形態において例示の撮像装置は、動画像撮影時に３フレーム毎に目標フレームレートと現状の（現在の）フレームレートの乖離を比較することでフレームレートの調整を実施するか否かを判定し、その結果に応じてフレームレートの調整を行う。以下に説明する第２の実施形態における撮像装置は、動画像撮影時にフレーム毎にフレームレートの調整を実施するか否かを判定し、その結果に応じてフレームレートの調整を行うよう制御する。第２の実施形態における撮像装置には、動画像撮影が可能であるが、静止画撮影を主とするデジタルスチルカメラが含まれる。
【００８５】
図６は、第２の実施形態における撮像装置の動作例を示すタイミングチャートであり、図７は、第２の実施形態における撮像装置の構成例を示す図である。なお、図６において、図２に示した要素と同一の要素には同一の符号を付して重複する説明は省略する。また、図７において、図１に示した要素と同一の要素には同一の符号を付して重複する説明は省略する。図６に示すように、第２の実施形態においては、フレーム毎（フレームデータ取り込み毎）に判定タイミング信号１００５がパルス状に“Ｈ”になる。このようにフレームレートの調整を実施するか否かの判定周期が短くなったため、目標フレームレートと現状の（実際の）フレームレートとの誤差の蓄積期間も短縮される。そこで、図６においては、調整有無判定閾値１００７を第１の実施形態よりも低く設定し、誤差回復の分解能を上げる方向に設定した場合を一例として示している。
【００８６】
図６において、６０１は、現在の処理フレームがフレームレートの調整の対象であることを示す、すなわち現在の処理フレームが調整フレームであるか通常フレームであるかを示すステータス信号（調整フレーム信号）である。図６に示す例では、調整フレーム信号６０１は、ローレベル（“０”）で通常フレームであることを示し、ハイレベル（“１”）で調整フレームであることを示すものとする。第１の実施形態では、フレームレートの調整を実施するか否かの判定は３フレーム毎に１回行うので調整フレームが連続することはなく、ステータス信号（調整フレーム信号）が連続する２フレームにおいてハイレベルになることはない。それに対して、第２の実施形態では、フレームレートの調整を実施するか否かの判定の結果に応じて、調整フレームが連続することもあるので、連続する２フレーム以上の期間においてステータス信号（調整フレーム信号）６０１がハイレベルとなることがある。
【００８７】
６０２は、基本正弦波（例えば１００Ｈｚ）であり、その振幅及び位相は任意である。６０３は、フリッカ成分の検波の処理期間（検波期間）である。長方形で表した検波期間６０３において、長方形中の数字はフリッカ成分検出対象となる撮影データ１００２の添字に対応している。６０４は補正ゲイン算出の処理期間（補正ゲイン算出期間）であり、６０５は補正ゲイン値を一時記憶部１１２ａ、１１２ｂから読み出して、撮影データ１００２に適用しフリッカ補正を行う処理期間（フリッカ補正ゲイン読み出し期間）である。長方形で表した補正ゲイン算出期間６０４及びフリッカ補正ゲイン読み出し期間６０５において、長方形中の数字はフリッカ補正（振幅補正）の対象となる撮影データ１００２の添字に対応している。
【００８８】
図６に示した位相量φ1、φ2、φ3、φ4及びθ1、θ2について説明する。位相量φ1は、通常フレームが連続しているときの、前のフレームにおける処理対象期間の終了からその次のフレームにおける処理対象期間の開始までの間の位相量である。位相量φ2は、通常フレームから調整フレームに切り替わるときの、前のフレームにおける処理対象期間の終了からその次のフレームにおける処理対象期間の開始までの間の位相量である。位相量φ3は、調整フレームから通常フレームへ遷移するときの、前のフレームにおける処理対象期間の終了からその次のフレームにおける処理対象期間の開始までの間の位相量である。位相量φ4は、調整フレームが連続しているときの、前のフレームにおける処理対象期間の終了からその次のフレームにおける処理対象期間の開始までの間の位相量である。
【００８９】
また、本実施形態における撮像装置のように位相関係の推移をトレースする必要がある場合には、処理対象期間１００３における有効期間の間も位相量のトレース対象になる。位相量θ1は通常フレーム処理における位相量であり、位相量θ2は調整フレーム処理における位相量である。位相量θ1、θ2のそれぞれは、例えば図７に示す補正ゲイン算出部１１１ａ、１１１ｂで積算し、積算結果をセレクタ１２３を介して位相保持部１２４に送出すれば良い。また、位相量θ1、θ2は、補正ゲイン算出部１１１ａ、１１１ｂの出力をセレクタ１２３を介して位相保持部１２４に送出し、位相保持部１２４にて積算するようにしても良い。
【００９０】
図７に示すように、第２の実施形態における撮像装置は、補正ゲイン算出部１１１ａに対してセレクタ（第３の選択部）１２５を有するとともに、補正ゲイン算出部１１１ｂに対してセレクタ（第３の選択部）７０１を有する。セレクタ（第３の選択部）１２５、７０１は、フレームレートの調整を実施するか否かに応じて、フレーム間の位相量に関する調整を行うためのパラメータの選択を行い、選択されたパラメータを補正ゲイン算出部１１１ａ、１１１ｂに出力する。セレクタ１２５は、ステータス信号（調整フレーム信号）ＦＳＴがハイレベルであれば（調整フレーム時）、位相量φ3に関する調整パラメータを選択し、そうでなければ（通常フレーム時）、位相量φ1に関する調整パラメータを選択する。同様に、セレクタ７０１は、ステータス信号（調整フレーム信号）ＦＳＴがハイレベルであれば（調整フレーム時）、位相量φ4に関する調整パラメータを選択し、そうでなければ（通常フレーム時）、位相量φ2に関する調整パラメータを選択する。
【００９１】
なお、第２の実施形態における撮像装置でのフレームレートの調整、及びフリッカ検出・補正に係る動作は、第１の実施形態における撮像装置での動作と基本的には同じである。ただし、フレームレートの調整を実施するか否かの判定をフレーム毎に行うこと、及びその結果、任意のフレームが調整フレームにされ得ることが、第１の実施形態とは異なる。また、調整フレームが連続する場合には、その先頭フレームを除き、位相量φ4に関する調整パラメータを用いた補正ゲイン算出部１１１ｂによる補正ゲイン演算により算出された補正ゲイン値を用いてフリッカ補正を行うことが、第１の実施形態とは異なる。
【００９２】
なお、フレーム間位相の位相量φ1、φ2、φ3、φ4に係る調整パラメータを、ｆk＝１００Ｈｚ一定の点滅光源の周期に対するフレーム処理の時間量ｔ1、ｔ2、ｔ3、ｔ4に係る調整パラメータとしても良い。例えば、φ1＝２πｆk・ｔ1とすると、セレクタ１２５に入力するパラメータ設定値としては時間量ｔ1に係る数値で設定しておくことも可能である（φ2、φ3、φ4についても同様）。その場合、１フレーム経過時の位相保持部１２４への位相量更新値（例えば、（φ1＋θ1）分の位相量）も、同様に時間量に係る数値とすることが好ましい。
【００９３】
例えば、図６に示した例では、撮像データ１００２の添字４のフレーム取り込み時及び添字５のフレーム取り込み時にフレームレートの調整を実施している。各撮像データ１００２は、Ａ／Ｄ変換部１０５でデジタル化されたデータとして乗算器１１６でフリッカ補正（振幅補正）される。ここで、添字４のフレームに係る撮像データ１００２のフリッカ補正に用いられる補正ゲイン値は、添字２のフレーム取り込み期間に取り込まれた撮像データ１００２のフリッカ成分を基に算出されたものである。すなわち、検波期間６０３−２に検出したフリッカ成分（周波数成分）を、補正ゲイン算出期間６０４−４にフレーム間の位相量を予測し時間信号成分に戻した値から得たものであり、フリッカ補正ゲイン読み出し期間６０５−４に乗算器１１６に出力される。同様に、添字５のフレームに係る撮像データ１００２のフリッカ補正に用いられる補正ゲイン値は、添字３のフレーム取り込み期間に取り込まれた撮像データ１００２のフリッカ成分を基に算出されたものである。すなわち、検波期間６０３−３に検出したフリッカ成分（周波数成分）を、補正ゲイン算出期間６０４−５にフレーム間の位相量を予測し時間信号成分に戻した値から得たものであり、フリッカ補正ゲイン読み出し期間６０５−５に乗算器１１６に出力される。このようにして、撮像データ１００２の有効画像データに対してラインフリッカ（面内フリッカ）補正を実施していく。
【００９４】
なお、補正ゲイン算出期間６０４−４での処理前における位相調整量は、撮像データ１００２の添字４の期間に合わせるために位相量φ2を選択する必要がある。補正ゲイン算出期間６０４−４の前において、セレクタ７０１は、ステータス信号ＦＳＴ（６０１）を参照して位相量φ2に係るパラメータを選択しており、補正ゲイン算出部１１１ｂには位相量φ2に係るパラメータが入力される。なお、セレクタ１２５は、位相量φ1に係るパラメータを選択しており、補正ゲイン算出部１１１ａには位相量φ1に係るパラメータが入力される。そして、補正ゲイン算出期間６０４−４に、補正ゲイン算出部１１１ａ、１１１ｂがそれぞれ補正ゲイン値を算出して、一時記憶部１１２ａ、１１２ｂに格納する。続いて、フリッカ補正ゲイン読み出し期間６０５−４に、セレクタ１２２を介して一時記憶部１１２ｂに格納されている、すなわち補正ゲイン算出部１１１ｂが算出した補正ゲイン値が読み出され、乗算器１１６に出力される。また、このとき位相保持部１２４に入力される位相進捗は、（φ2＋θ2）となるようセレクタ１２３により補正ゲイン算出部１１１ｂでの積算結果が選択される。
【００９５】
同様に、補正ゲイン算出期間６０４−５の処理前における位相調整量は、撮像データ１００２の添字５の期間に合わせるために位相量φ4を選択する必要がある。補正ゲイン算出期間６０４−５の前において、セレクタ７０１は、ステータス信号ＦＳＴ（６０１）を参照して位相量φ4に係るパラメータを選択しており、補正ゲイン算出部１１１ｂには位相量φ4に係るパラメータが入力される。なお、セレクタ１２５は、位相量φ3に係るパラメータを選択しており、補正ゲイン算出部１１１ａには位相量φ3に係るパラメータが入力される。そして、補正ゲイン算出期間６０４−５に、補正ゲイン算出部１１１ａ、１１１ｂがそれぞれ補正ゲイン値を算出して、一時記憶部１１２ａ、１１２ｂに格納する。続いて、フリッカ補正ゲイン読み出し期間６０５−５に、セレクタ１２２を介して一時記憶部１１２ｂに格納されている（補正ゲイン算出部１１１ｂが算出した）補正ゲイン値が読み出され、乗算器１１６に出力される。また、このとき位相保持部１２４に入力される位相進捗は、（φ4＋θ2）となるようセレクタ１２３により補正ゲイン算出部１１１ｂでの積算結果が選択される。
【００９６】
第２の実施形態によれば、動画像撮影時にフレームレートの調整が実施される撮像装置において、調整を実施したとき及び調整を実施しないときのフリッカ補正用の補正ゲイン値を算出し、調整の実施の有無に応じて適宜選択してフリッカ補正を行う。これにより、動画像撮影に適したクロックを有していなくとも、撮像データの取りこぼしやフリッカ補正のための遅延を発生させることなく、フレームレートの調整に応じたラインフリッカ（面内フリッカ）の検出及び補正を行うことができる。また、フレーム毎にフレームレートの調整を実施するか否かの判定を行うので、フレームレートの誤差の蓄積期間が短縮され、調整を実施するか否かの判定に用いる閾値を低く設定することができ、誤差回復の分解能を向上させることができる。
【００９７】
なお、前記実施形態は、何れも本発明を実施するにあたっての具体化のほんの一例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。
【符号の説明】
【００９８】
１０１：同期信号生成部、１０２：タイミング生成部、１０３：撮像部、１１１ａ・１１１ｂ：補正ゲイン算出部、１１２ａ・１１２ｂ：一時記憶部、１１５：加算器、１１６：乗算器、１１７：加算器、１１８：タイマー、１１９：誤差検出部、１２０：調整判定部、１２２：セレクタ（第１の選択部）、１２３：セレクタ（第２の選択部）、１２４：位相保持部、１２５・７０１：セレクタ（第３の選択部）
【特許請求の範囲】
【請求項１】
動画像撮影時にフレームレートの調整が実施される撮像装置であって、
動画像撮影時に動画像撮影の目標フレームレートに対する誤差を検出する検出手段と、
前記検出手段により検出された誤差と閾値とを所定のタイミングで比較し、前記誤差が前記閾値を超えているときには前記フレームレートの調整を実施すると判定する判定手段と、
前記判定手段にて前記フレームレートの調整を実施すると判定された場合に、フレーム周期を通常のフレーム周期とは異なる調整フレーム周期に制御する制御手段と、
前記動画像撮影で得られる撮像データに対しフリッカ補正を施す補正手段と、
前記フリッカ補正に係る補正ゲイン値を算出する補正ゲイン算出手段とを備え、
前記補正ゲイン算出手段は、前記通常のフレーム周期に対応した第１の補正ゲイン値を算出するとともに前記調整フレーム周期に対応した第２の補正ゲイン値を算出し、
前記補正手段は、前記判定手段での判定結果に応じて、前記第１の補正ゲイン値及び前記第２の補正ゲイン値のうちの一つを用いて前記フリッカ補正を行うことを特徴とする撮像装置。
【請求項２】
前記判定手段での判定結果を受けて、前記補正ゲイン算出手段により算出された前記第１の補正ゲイン値及び前記第２の補正ゲイン値のうちの一つを選択して前記補正手段に出力する第１の選択手段を備えることを特徴とする請求項１記載の撮像装置。
【請求項３】
前記補正ゲイン算出手段は、前記補正ゲイン値の算出に係る演算をそれぞれ行う複数の補正ゲイン演算手段を有し、
前記補正ゲイン演算手段の出力のそれぞれが、前記第１の選択手段の入力に反映されることを特徴とする請求項２記載の撮像装置。
【請求項４】
複数の前記補正ゲイン演算手段のそれぞれに対して、前記補正ゲイン演算手段の出力を保持する一時記憶手段を配置し、
前記第１の選択手段は、前記判定手段での判定結果を受けて、前記一時記憶手段に保持されている値のうちから前記補正手段に出力する補正ゲイン値を選択することを特徴とする請求項３記載の撮像装置。
【請求項５】
前記補正ゲイン演算手段は、フレーム処理毎の任意のタイミングで更新する第１のパラメータを出力し、
前記判定手段での判定結果を受けて、複数の前記補正ゲイン演算手段がそれぞれ出力する前記第１のパラメータのうちの一つを選択する第２の選択手段と、
フレーム処理毎の任意のタイミングで前記第２の選択手段の出力を積算していく保持手段とを備えることを特徴とする請求項３記載の撮像装置。
【請求項６】
前記第１のパラメータは、撮像手段の蓄積時間と撮影時のフレームレートと点滅光源の発光周期との何れか又はすべての関係が反映された数値であることを特徴とする請求項５記載の撮像装置。
【請求項７】
前記保持手段の出力値が、複数の前記補正ゲイン演算手段の入力パラメータとして供給されることを特徴とする請求項５記載の撮像装置。
【請求項８】
前記判定手段での判定結果を受けて、任意の補正ゲイン演算手段の入力パラメータである第２のパラメータとしての複数のパラメータ設定値のうちの一つを選択する第３の選択手段を備え、
少なくとも１つ以上の前記補正ゲイン演算手段は、フレーム処理毎の任意のタイミングで前記第３の選択手段の出力を入力パラメータとすることを特徴とする請求項３記載の撮像装置。
【請求項９】
前記第２のパラメータは、撮像手段の蓄積時間と撮影時のフレームレートと点滅光源の発光周期との何れか又はすべての関係が反映された数値であることを特徴とする請求項８記載の撮像装置。
【請求項１０】
前記第２のパラメータは、撮影で得られる動画像における各フレームの垂直方向での画像の開始位置及び終了位置と、フリッカ補正の開始位置及び終了位置との少なくとも１つを反映した数値であることを特徴とする請求項８記載の撮像装置。
【請求項１１】
複数の前記補正ゲイン演算手段のそれぞれは並行して処理を実行可能であることを特徴とする請求項３記載の撮像装置。
【請求項１２】
動画像撮影時にフレームレートの調整が実施される撮像装置であって、
動画像撮影時に動画像撮影の目標フレームレートに対する誤差を検出する検出手段と、
前記検出手段により検出された誤差と閾値とを所定のタイミングで比較し、前記誤差が前記閾値を超えているときには前記フレームレートの調整を実施すると判定する判定手段と、
前記判定手段にて前記フレームレートの調整を実施すると判定された場合に、フレーム周期を通常のフレーム周期とは異なる調整フレーム周期に制御する制御手段と、
前記動画像撮影で得られる撮像データに対しフリッカ補正を施す補正手段と、
前記フリッカ補正に係る補正ゲイン値を算出する補正ゲイン算出手段と、
前記フリッカ補正に係る補正ゲイン値を算出する複数の補正ゲイン演算手段と、
複数の前記補正ゲイン演算手段のそれぞれにより算出された前記補正ゲイン値を保持する一時記憶手段と、
前記判定手段での判定結果を受けて、前記一時記憶手段に保持されている補正ゲイン値を選択し前記補正手段に出力する第１の選択手段とを備えることを特徴とする撮像装置。
【請求項１３】
複数の前記補正ゲイン演算手段のうちの１つ以上の前記補正ゲイン演算手段には、前記判定手段での判定結果を受けて選択される複数のパラメータが設定されていることを特徴とする請求項１２記載の撮像装置。
【請求項１４】
前記補正ゲイン演算手段は、フレーム処理毎の任意のタイミングで更新するパラメータを出力し、
複数の前記補正ゲイン演算手段からそれぞれ出力される前記パラメータを選択する第２の選択手段と、
前記第２の選択手段の出力を一時記憶する保持手段とを備え、
前記第２の選択手段は、前記判定手段での判定結果を受けて前記パラメータを切り替えて出力し、
前記補正ゲイン演算手段のそれぞれは、前記保持手段の出力を入力パラメータとして受信することを特徴とする請求項１２記載の撮像装置。
【請求項１５】
動画像撮影に係る目標フレームレートと現状のフレームレートとの間にクロックの精度に係る誤差が存在し、前記目標フレームレートと現状のフレームレートとの誤差を調整する制御が実施される動画像撮影が可能な撮像装置であって、
前記目標フレームレートと現状のフレームレートとの誤差を調整する制御の実施の有無に従い、撮影で得られる撮像データに対する振幅補正用の補正ゲイン値を変更する手段を備えることを特徴とする撮像装置。
【請求項１６】
動画像撮影時に前記現状のフレームレートに係る時間を計時する計時手段と、
前記計時手段の出力値と動画像撮影における前記目標フレームレートに係る設定値との誤差を検出する検出手段と、
前記検出手段により検出された誤差が閾値を超えたときに誤差の是正が必要であると判定する判定手段とを備え、
前記判定手段での判定結果を受けて、前記目標フレームレートと現状のフレームレートとの誤差量を調整する制御を行い、
前記判定手段での判定結果を受けて、撮影で得られる撮像データに対する振幅補正用の補正ゲイン値を変更することを特徴とする請求項１５記載の撮像装置。
【請求項１７】
前記撮像データに対する振幅補正は、撮像手段の蓄積時間と撮影時のフレームレートと点滅光源の発光周期との関係によって発生するラインフリッカの補正であることを特徴とする請求項１５又は１６記載の撮像装置。
【請求項１８】
動画像撮影時にフレームレートの調整が実施される撮像装置での撮像方法であって、
動画像撮影時に動画像撮影の目標フレームレートに対する誤差を検出する検出工程と、
前記検出工程にて検出された誤差と閾値とを所定のタイミングで比較し、前記誤差が前記閾値を超えているときには前記フレームレートの調整を実施すると判定する判定工程と、
前記判定工程にて前記フレームレートの調整を実施すると判定された場合に、フレーム周期を通常のフレーム周期とは異なる調整フレーム周期に制御する制御工程と、
前記動画像撮影で得られる撮像データに対しフリッカ補正を施す補正工程と、
前記フリッカ補正に係る補正ゲイン値を算出する補正ゲイン算出工程とを有し、
前記補正ゲイン算出工程では、前記通常のフレーム周期に対応した第１の補正ゲイン値を算出するとともに前記調整フレーム周期に対応した第２の補正ゲイン値を算出し、
前記補正工程では、前記判定工程での判定結果に応じて、前記第１の補正ゲイン値及び前記第２の補正ゲイン値のうちの一つを用いて前記フリッカ補正を行うことを特徴とする撮像方法。
【請求項１】
動画像撮影時にフレームレートの調整が実施される撮像装置であって、
動画像撮影時に動画像撮影の目標フレームレートに対する誤差を検出する検出手段と、
前記検出手段により検出された誤差と閾値とを所定のタイミングで比較し、前記誤差が前記閾値を超えているときには前記フレームレートの調整を実施すると判定する判定手段と、
前記判定手段にて前記フレームレートの調整を実施すると判定された場合に、フレーム周期を通常のフレーム周期とは異なる調整フレーム周期に制御する制御手段と、
前記動画像撮影で得られる撮像データに対しフリッカ補正を施す補正手段と、
前記フリッカ補正に係る補正ゲイン値を算出する補正ゲイン算出手段とを備え、
前記補正ゲイン算出手段は、前記通常のフレーム周期に対応した第１の補正ゲイン値を算出するとともに前記調整フレーム周期に対応した第２の補正ゲイン値を算出し、
前記補正手段は、前記判定手段での判定結果に応じて、前記第１の補正ゲイン値及び前記第２の補正ゲイン値のうちの一つを用いて前記フリッカ補正を行うことを特徴とする撮像装置。
【請求項２】
前記判定手段での判定結果を受けて、前記補正ゲイン算出手段により算出された前記第１の補正ゲイン値及び前記第２の補正ゲイン値のうちの一つを選択して前記補正手段に出力する第１の選択手段を備えることを特徴とする請求項１記載の撮像装置。
【請求項３】
前記補正ゲイン算出手段は、前記補正ゲイン値の算出に係る演算をそれぞれ行う複数の補正ゲイン演算手段を有し、
前記補正ゲイン演算手段の出力のそれぞれが、前記第１の選択手段の入力に反映されることを特徴とする請求項２記載の撮像装置。
【請求項４】
複数の前記補正ゲイン演算手段のそれぞれに対して、前記補正ゲイン演算手段の出力を保持する一時記憶手段を配置し、
前記第１の選択手段は、前記判定手段での判定結果を受けて、前記一時記憶手段に保持されている値のうちから前記補正手段に出力する補正ゲイン値を選択することを特徴とする請求項３記載の撮像装置。
【請求項５】
前記補正ゲイン演算手段は、フレーム処理毎の任意のタイミングで更新する第１のパラメータを出力し、
前記判定手段での判定結果を受けて、複数の前記補正ゲイン演算手段がそれぞれ出力する前記第１のパラメータのうちの一つを選択する第２の選択手段と、
フレーム処理毎の任意のタイミングで前記第２の選択手段の出力を積算していく保持手段とを備えることを特徴とする請求項３記載の撮像装置。
【請求項６】
前記第１のパラメータは、撮像手段の蓄積時間と撮影時のフレームレートと点滅光源の発光周期との何れか又はすべての関係が反映された数値であることを特徴とする請求項５記載の撮像装置。
【請求項７】
前記保持手段の出力値が、複数の前記補正ゲイン演算手段の入力パラメータとして供給されることを特徴とする請求項５記載の撮像装置。
【請求項８】
前記判定手段での判定結果を受けて、任意の補正ゲイン演算手段の入力パラメータである第２のパラメータとしての複数のパラメータ設定値のうちの一つを選択する第３の選択手段を備え、
少なくとも１つ以上の前記補正ゲイン演算手段は、フレーム処理毎の任意のタイミングで前記第３の選択手段の出力を入力パラメータとすることを特徴とする請求項３記載の撮像装置。
【請求項９】
前記第２のパラメータは、撮像手段の蓄積時間と撮影時のフレームレートと点滅光源の発光周期との何れか又はすべての関係が反映された数値であることを特徴とする請求項８記載の撮像装置。
【請求項１０】
前記第２のパラメータは、撮影で得られる動画像における各フレームの垂直方向での画像の開始位置及び終了位置と、フリッカ補正の開始位置及び終了位置との少なくとも１つを反映した数値であることを特徴とする請求項８記載の撮像装置。
【請求項１１】
複数の前記補正ゲイン演算手段のそれぞれは並行して処理を実行可能であることを特徴とする請求項３記載の撮像装置。
【請求項１２】
動画像撮影時にフレームレートの調整が実施される撮像装置であって、
動画像撮影時に動画像撮影の目標フレームレートに対する誤差を検出する検出手段と、
前記検出手段により検出された誤差と閾値とを所定のタイミングで比較し、前記誤差が前記閾値を超えているときには前記フレームレートの調整を実施すると判定する判定手段と、
前記判定手段にて前記フレームレートの調整を実施すると判定された場合に、フレーム周期を通常のフレーム周期とは異なる調整フレーム周期に制御する制御手段と、
前記動画像撮影で得られる撮像データに対しフリッカ補正を施す補正手段と、
前記フリッカ補正に係る補正ゲイン値を算出する補正ゲイン算出手段と、
前記フリッカ補正に係る補正ゲイン値を算出する複数の補正ゲイン演算手段と、
複数の前記補正ゲイン演算手段のそれぞれにより算出された前記補正ゲイン値を保持する一時記憶手段と、
前記判定手段での判定結果を受けて、前記一時記憶手段に保持されている補正ゲイン値を選択し前記補正手段に出力する第１の選択手段とを備えることを特徴とする撮像装置。
【請求項１３】
複数の前記補正ゲイン演算手段のうちの１つ以上の前記補正ゲイン演算手段には、前記判定手段での判定結果を受けて選択される複数のパラメータが設定されていることを特徴とする請求項１２記載の撮像装置。
【請求項１４】
前記補正ゲイン演算手段は、フレーム処理毎の任意のタイミングで更新するパラメータを出力し、
複数の前記補正ゲイン演算手段からそれぞれ出力される前記パラメータを選択する第２の選択手段と、
前記第２の選択手段の出力を一時記憶する保持手段とを備え、
前記第２の選択手段は、前記判定手段での判定結果を受けて前記パラメータを切り替えて出力し、
前記補正ゲイン演算手段のそれぞれは、前記保持手段の出力を入力パラメータとして受信することを特徴とする請求項１２記載の撮像装置。
【請求項１５】
動画像撮影に係る目標フレームレートと現状のフレームレートとの間にクロックの精度に係る誤差が存在し、前記目標フレームレートと現状のフレームレートとの誤差を調整する制御が実施される動画像撮影が可能な撮像装置であって、
前記目標フレームレートと現状のフレームレートとの誤差を調整する制御の実施の有無に従い、撮影で得られる撮像データに対する振幅補正用の補正ゲイン値を変更する手段を備えることを特徴とする撮像装置。
【請求項１６】
動画像撮影時に前記現状のフレームレートに係る時間を計時する計時手段と、
前記計時手段の出力値と動画像撮影における前記目標フレームレートに係る設定値との誤差を検出する検出手段と、
前記検出手段により検出された誤差が閾値を超えたときに誤差の是正が必要であると判定する判定手段とを備え、
前記判定手段での判定結果を受けて、前記目標フレームレートと現状のフレームレートとの誤差量を調整する制御を行い、
前記判定手段での判定結果を受けて、撮影で得られる撮像データに対する振幅補正用の補正ゲイン値を変更することを特徴とする請求項１５記載の撮像装置。
【請求項１７】
前記撮像データに対する振幅補正は、撮像手段の蓄積時間と撮影時のフレームレートと点滅光源の発光周期との関係によって発生するラインフリッカの補正であることを特徴とする請求項１５又は１６記載の撮像装置。
【請求項１８】
動画像撮影時にフレームレートの調整が実施される撮像装置での撮像方法であって、
動画像撮影時に動画像撮影の目標フレームレートに対する誤差を検出する検出工程と、
前記検出工程にて検出された誤差と閾値とを所定のタイミングで比較し、前記誤差が前記閾値を超えているときには前記フレームレートの調整を実施すると判定する判定工程と、
前記判定工程にて前記フレームレートの調整を実施すると判定された場合に、フレーム周期を通常のフレーム周期とは異なる調整フレーム周期に制御する制御工程と、
前記動画像撮影で得られる撮像データに対しフリッカ補正を施す補正工程と、
前記フリッカ補正に係る補正ゲイン値を算出する補正ゲイン算出工程とを有し、
前記補正ゲイン算出工程では、前記通常のフレーム周期に対応した第１の補正ゲイン値を算出するとともに前記調整フレーム周期に対応した第２の補正ゲイン値を算出し、
前記補正工程では、前記判定工程での判定結果に応じて、前記第１の補正ゲイン値及び前記第２の補正ゲイン値のうちの一つを用いて前記フリッカ補正を行うことを特徴とする撮像方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【公開番号】特開２０１２−２０４８７２（Ｐ２０１２−２０４８７２Ａ）
【公開日】平成２４年１０月２２日（２０１２．１０．２２）
【国際特許分類】
【出願番号】特願２０１１−６４８６８（Ｐ２０１１−６４８６８）
【出願日】平成２３年３月２３日（２０１１．３．２３）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
【公開日】平成２４年１０月２２日（２０１２．１０．２２）
【国際特許分類】
【出願日】平成２３年３月２３日（２０１１．３．２３）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
[ Back to top ]