撮像装置及び撮像装置の制御方法
【課題】 動画像を記録する際の画質を向上させる。
【解決手段】 全てのフレームで画像信号（本撮影画像）を得る駆動モードＡと、本撮影画像を得た後の１又は複数フレームでは信号を空転送してダミー信号を得る駆動モードＢを、撮像素子３０６での動画像の撮像時の駆動モードとして設定する。そして、撮像素子３０６における動画記録駆動を行うに際し、撮像素子３０６の温度に依存して発生するノイズ成分に対して、当該ノイズ成分が目立つ温度では駆動モードＢで撮像素子３０６を駆動してダークノイズ補正処理を行う。一方、ノイズ成分が目立たない温度では駆動モードＡで撮像素子３０６を駆動してダークノイズ補正を行わない。
【解決手段】 全てのフレームで画像信号（本撮影画像）を得る駆動モードＡと、本撮影画像を得た後の１又は複数フレームでは信号を空転送してダミー信号を得る駆動モードＢを、撮像素子３０６での動画像の撮像時の駆動モードとして設定する。そして、撮像素子３０６における動画記録駆動を行うに際し、撮像素子３０６の温度に依存して発生するノイズ成分に対して、当該ノイズ成分が目立つ温度では駆動モードＢで撮像素子３０６を駆動してダークノイズ補正処理を行う。一方、ノイズ成分が目立たない温度では駆動モードＡで撮像素子３０６を駆動してダークノイズ補正を行わない。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置及び撮像装置の制御方法に関し、特に、動画像を撮像するために用いて好適なものである。
【背景技術】
【０００２】
デジタルカメラにおいて画像を撮影する際、暗電流ノイズ（ランダムノイズ）やキズ以外にも様々なダークノイズが画質を劣化させる要因として問題となる。例えば、キズ以外のダークノイズとして、図１３（ａ）〜（ｃ）に挙げるような現象がある。
【０００３】
図１３（ａ）は、ダーク画像に縦線キズが発生している様子を示す図である。ＣＣＤ撮像素子においては、ＶＣＣＤ上にキズが存在し、そこから暗電流が漏れ出すことで縦線キズが発生する。
図１３（ｂ）は、ダーク画像に高温縦スジが発生している様子を示す図である。ＣＣＤ撮像素子においては、ＶＣＣＤ毎に発生する暗電流量が異なることで高温縦スジが発生する。
【０００４】
図１３（ｃ）は、水平シェーディングの水平方向での出力レベルを表す図である。図１３（ｃ）の縦軸が出力レベルを表し、横軸が画像の水平方向の位置を表している。ＣＣＤ撮像素子においては、ＶＣＣＤ毎に発生する暗電流量が異なることで水平シェーディングが発生する。
図１３（ａ）〜（ｃ）に示すダークノイズは、いずれも温度依存性（温度が高いほど目立つ）、フレームレート（駆動周波数）依存性（フレームレートが低いほど目立つ）があり、高ゲイン時に目立つ傾向にある。
【０００５】
従来、静止画像を記録する際には、露光した状態で電荷蓄積を行った撮像素子から本撮影画像を得た後に、撮像素子を露光しない状態で電荷蓄積を行った撮像素子からダーク画像を得て、これらに基づく演算処理を行うことで、ダークノイズの補正処理を行っている。更に、特許文献１に記載の発明では、連続撮影する際に、露光時間が以前の撮影条件よりも長くならない場合には、以前に撮影したダーク画像を用いてダークノイズ補正処理を行っている。これによりダーク画像を撮影することによるレリーズタイムラグの延長を防ぎ、撮像装置の消費電力の増大を低減させ、且つ、撮影のコマ間隔のバラツキを防ぐことができる。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特許第３３３２８９７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
一方で、動画像を記録する際にも、前述したダークノイズが発生するものの、従来、静止画像に比べ動画像には高い画質が求められなかった。このため、動画像を記録する際には、静止画像を記録するときに行われるダークノイズの補正処理を行う必要がなかった。
ところが、近年、ハイビジョン画質等で動画像を記録することが行われており、動画記録モードにおいても、高画質が求められる様になってきている。また、撮像素子の画素素子サイズの縮小化により、ダークノイズ特性が悪化する傾向にあり、ダークノイズ補正の必要性が高まっている。
しかしながら、動画像を記録する際には、撮像素子は常に露光している状態である。よって、前述したようなダークノイズの補正処理を行うことはできない。
本発明は、このような問題点に鑑みてなされたものであり、動画像を記録する際の画質を向上させることを目的とする。
【課題を解決するための手段】
【０００８】
本発明の撮像装置は、２次元に配列された複数の画素と、前記画素にて露光された電荷に基づく信号を含む信号を転送する転送部と、を含む撮像素子を用いて少なくとも動画像を撮像する撮像装置であって、前記画素に露光された電荷を読み出して前記転送部から転送することで撮像信号を得る第１の撮像動作と、前記画素に露光された電荷を読み出さずに前記転送部を空転送することでダミー信号を得る第２の撮像動作とが交互に行われるように、前記撮像素子を駆動する制御手段と、前記第１の撮像動作により得られた撮像信号に含まれるノイズ成分を、前記第２の撮像動作により得られた、前記撮像信号に対応するダミー信号を用いて除去することによりダークノイズ補正を行う撮像信号処理手段と、を有することを特徴とする。
【発明の効果】
【０００９】
本発明によれば、画素に露光された電荷から撮像信号を得る第１の撮像動作と、転送部を空転送することでダミー信号を得る第２の撮像動作とを交互に行う。そして、第１の撮像動作により得られた撮像信号に含まれるノイズ成分を、当該撮像信号に対応するダミー信号を用いて除去する。よって、動画像に含まれるダークノイズを補正して動画像を記録する際の画質を向上させることができる。
【図面の簡単な説明】
【００１０】
【図１】固体撮像素子の構成の概略を示す図である。
【図２】色フィルタアレイの一部を示す図である。
【図３】撮像装置のシステムの概要を示す図である。
【図４】撮像シーケンスの第１の例を説明するフローチャートである。
【図５】本撮影画像の領域を示す図である。
【図６】駆動モードＡにおける撮像素子の垂直転送駆動タイミングを示す図である。
【図７】駆動モードＢにおける撮像素子の垂直転送駆動タイミングを示す図である。
【図８】ダークノイズ補正処理を説明するフローチャートである。
【図９】本撮影フレーム及びダミー信号フレームを示す図である。
【図１０】撮像シーケンスの第２の例を説明するフローチャートである。
【図１１】ガンマカーブ（ガンマ特性）の一例を示す図である。
【図１２】撮像シーケンスの第３の例を説明するフローチャートである。
【図１３】ダークノイズを示す図である。
【発明を実施するための形態】
【００１１】
（第１の実施形態）
以下、本発明の第１の実施形態について、図１〜図８を用いて説明する。
図１は、本実施形態の固体撮像素子の構成の概略を示す図である。図１において、１０１はフォトダイオードであり、１０２は垂直電荷転送路であり、１０３は水平電荷転送路である。１０４は出力部であり、１０５はバッファストレージセルであり、１０６はトランスファゲートである。
【００１２】
垂直電荷転送路１０２は、それぞれ、駆動パルスφＶ１、φＶ２、φＶ３、φＶ４が加わる転送電極Ｖ１、Ｖ２、Ｖ３、Ｖ４にて構成される転送部である。垂直電荷転送路１０２の最終段のバッファストレージセル１０５及びトランスファゲート１０６は、それぞれ、駆動パルスφＢＳ、φＴＳが加わる転送電極ＢＳ、ＴＳにて構成されている。水平電荷転送路１０３は、それぞれ、２相駆動パルスφＨ１及びφＨ２が加わる転送電極である電極Ｈ１及びＨ２にて構成される転送部である。
【００１３】
２次元に配列された複数の画素となるフォトダイオード１０１で露光されて光電変換された信号電荷は、読み出しパルスにより垂直電荷転送路１０２に送られる。垂直電荷転送路１０２に送られた信号電荷は、駆動パルスφＶ１、φＶ２、φＶ３、φＶ４、φＢＳ、φＴＳにより水平電荷転送路１０３の方向へ順に転送される。水平電荷転送路１０３は、垂直電荷転送路１０２から転送されて来た１行分の信号電荷を２相駆動パルスφＨ１及びφＨ２により出力部１０４に転送する。出力部１０４は、水平電荷転送路１０３から転送された信号電荷を電圧に変換して出力する。
【００１４】
図２は、図１に示す固体撮像素子で使用される色フィルタアレイの一部を示す図である。
図２では、第１の色フィルタを赤（Ｒ）、第２の色フィルタを緑（Ｇ）、第３の色フィルタを緑（Ｇ）、第４の色フィルタを青（Ｂ）とした場合を例に挙げて示している。この色フィルタアレイの配列は、原色の色フィルタ配列のうち、ベイヤ配列と呼ばれるものである。ベイヤ配列は、高い解像度と優れた色再現性とを備えた色フィルタ配列である。
【００１５】
図３は、撮像素子を用いた撮像装置のシステムの概要の一例を示す図である。
図３において、３０１はレンズ部（レンズと表記）である。３０２はレンズ駆動部である。３０３はメカニカルシャッタ（メカシャッタと表記）である。３０４はメカニカルシャッタ・絞り駆動部（シャッタ・絞り駆動部と表記）である。３０５は絞りである。３０６は、図１に示す構成を有する撮像素子である。３０７は、相関２重サンプリング、ゲイン調整、及びＡ／Ｄ変換を行う回路（ＣＤＳ・Ａ／Ｄと表記）である。３０８は撮像信号処理回路である。３０９はタイミング発生部である。３１０はメモリ部（メモリ部Ｉと表記）である。３１１は全体制御演算部である。３１２は記録媒体制御インターフェース部（記録媒体制御Ｉ／Ｆ部と表記）である。３１３は表示部である。３１４は記録媒体である。３１５は外部インターフェース部（外部Ｉ／Ｆ部と表記）である。３１６はメモリ（メモリ部IIと表記）である。３１７は操作部である。３１８は温度センサである。
【００１６】
レンズ部３０１を通った被写体像は、絞り３０５にて適切な光量に調整され、撮像素子３０６に結像される。ＣＤＳ・Ａ／Ｄ３０７は、撮像素子３０６に結合した被写体像に対して、相関２重サンプリングと、ゲイン調整と、アナログ信号からデジタル信号への変換を行うＡ／Ｄ変換とが行い、Ｒ、Ｇ１、Ｇ２、Ｂの信号として、撮像信号処理回路３０８に送る。撮像信号処理回路３０８は、各種の画像信号処理、さらに各種の補正、画像データの圧縮等を行う。
【００１７】
レンズ駆動部３０２は、ズーム、フォーカス等の駆動制御をレンズ部３０１に対して行う。メカシャッタ３０３は、一眼レフカメラに使用されるフォーカルプレーン型のシャッタの後幕に相当する幕のみを有するシャッタ機構である。これらのメカシャッタ３０３、絞り３０５の駆動は、シャッタ・絞り駆動部３０４によって制御される。タイミング発生部３０９は、撮像素子３０６、撮像信号処理回路３０８に、各種タイミング信号を出力する。
【００１８】
全体制御演算部３１１は、撮像装置全体の制御と各種演算を行う。メモリ部３１０は、画像データを一時的に記憶する。記録媒体制御インターフェース部３１２は、記録媒体３１４との間で、画像データ等のデータの記録及び読み出しを行う。表示部３１３は、画像データ等のデータの表示を行う。記録媒体３１４は、半導体メモリ等の着脱可能な記録媒体であり、画像データ等のデータの記録を行う。外部インターフェース部３１５は、外部コンピュータ等と通信を行うために為のインターフェースである。
【００１９】
メモリ部３１６は、全体制御演算部３１１で行われた演算の結果等を記憶する。操作部３１７にてユーザが設定した撮像装置の駆動条件に関する情報は、全体制御演算部３１１に送られ、これらの情報に基づいて撮像装置全体の制御が行われる。温度センサ３１８は撮像素子３０６の近くに取り付けられ、撮像素子３０６の表面温度を検出する。
尚、フォーカス、絞り値、露出時間を決める露出制御は、撮像装置に搭載された、シャッタスイッチ（図示せず）のＯＮをトリガーとして行われる。シャッタスイッチは、２段階にＯＮ、ＯＦＦを行うことができ、１段目のシャッタスイッチをＳＷ１、２段目のシャッタスイッチをＳＷ２とする。
【００２０】
次に、図４のフローチャートを参照しながら、本実施形態の撮像装置の撮像シーケンスの一例を説明する。ここでは、動画記録モードでの撮像装置の動作の一例を示す。
まず、ステップＳ４０１において、全体制御演算部３１１は、フラグや制御変数等を初期化し、撮像信号処理回路３０８の各部において必要な所定の初期設定を行う。このときの駆動モード（動画記録モード）は、駆動モードＡ（第１の動画記録モード）である。
次に、ステップＳ４０２において、全体制御演算部３１１は、シャッタスイッチＳＷ１がＯＮ及びＯＦＦの何れであるかを判定する。この判定の結果、シャッタスイッチＳＷ１がＯＦＦであるならば、再びステップＳ４０２に戻る。一方、シャッタスイッチＳＷ１がＯＮであるならば、ステップＳ４０３に進む。
【００２１】
ステップＳ４０３に進むと、全体制御演算部３１１は、測距処理を行うことにより、レンズ駆動部３０２を制御して、レンズ部３０１のレンズの焦点を被写体に合わせる。また、全体制御演算部３１１は、絞り値及びシャッタ時間を決定するために測光処理を行い、全体制御演算部３１１の内部メモリであるメモリ部３１６に、測光データ或いは設定パラメータを記憶する。
次に、ステップＳ４０４において、全体制御演算部３１１は、メモリ部３１６に記憶した測光データ或いは設定パラメータと、撮像装置に設定されている撮影モードとに基づいて、絞り値（Ａｖ値）及びシャッタ速度（Ｔｖ値）を決定する。そして、全体制御演算部３１１は、そのシャッタ速度に応じて、電荷の蓄積時間を決定し、決定した蓄積時間を、全体制御演算部３１１の内部メモリであるメモリ部３１６に記憶する。
【００２２】
次に、ステップＳ４０５において、全体制御演算部３１１は、シャッタスイッチＳＷ２がＯＮ及びＯＦＦの何れであるかを判定する。この判定の結果、シャッタスイッチＳＷ２がＯＦＦであるならば、再びステップＳ４０２に戻る。一方、シャッタスイッチＳＷ２がＯＮであるならば、ステップＳ４０７に進む。
ステップＳ４０７に進むと、全体制御演算部３１１は、タイミング発生部３０９に対して、撮像素子３０６に蓄積した信号電荷の読み出しを指示する。撮影に対応する所定時間蓄積した信号電荷（撮像信号）は、撮像素子３０６から読み出され、ＣＤＳ・Ａ／Ｄ３０７を経て、撮像信号処理回路３０８に送られる。
【００２３】
次に、ステップＳ４０８において、撮像信号処理回路３０８及び全体制御演算部３１１は、本撮影画像に対して、信号処理を行う。信号処理には、ダークノイズ補正処理、シェーディング補正処理、点キズ補正処理、ホワイトバランス積分演算処理、オプティカルブラック積分演算処理、及びスミア補正処理が含まれる。スミア補正は、駆動モードＡ（第１の動画記録モード）にて撮像素子３０６を駆動しているときに行われる。一方、駆動モードＢ（第２の動画記録モード）にて撮像素子３０６を駆動しているときにはスミア補正は行われない。
【００２４】
ここで、スミア補正の方法の一例を、図５を用いて説明する。図５は、本撮影画像の領域の一例を示す図である。
図５において、５０１は画像信号領域である。５０２はＯＢ（オプティカルブラック）信号領域である。５０３はスミア量検出領域である。基本的に、撮像素子３０６の駆動方法から、画像信号領域５０１上であろうとＯＢ信号領域５０２上であろうと、スミアの発生量は、垂直方向の位置によらず同じになる。そこで、図５に示すように、画面下部のＯＢ信号領域５０２に、例えば１０ライン（１０行）のスミア量検出領域５０３を設ける。上からＮ番目のスミア検出ラインの水平方向のｊ番目データ出力をｌNjとすると、水平方向のｊ列目のスミア量ｓMｊは以下の（１）式のように表される。
【００２５】
ｓMｊ＝1/10・（Σj=1〜10ｌNj） ・・・（１）
このとき、スミア補正された信号ｓ（i,j）は元の信号ｓ0（i,j）から以下の（２）式ように求められる。
ｓ（i,j）＝ｓ0（i,j）−ｓMｊ ・・・（２）
【００２６】
全体制御演算部３１１は、以上のような演算の結果を、全体制御演算部３１１の内部メモリであるメモリ部３１６に格納する。各種処理が行われた画像データは、メモリ部３１０に書き込まれる。ステップＳ４０８で行われるダークノイズ補正処理については後ほど詳述する。
【００２７】
さらに、ステップＳ４０９において、全体制御演算部３１１は、メモリ部３１０に書き込まれた画像信号を読み出して、圧縮・伸張処理を行いメモリ部３１０に格納する。
次に、ステップＳ４１０において、全体制御演算部３１１は、メモリ部３１０に書き込まれた画像信号を読み出して、記録媒体３１４への書き込みを行う記録処理を開始する。 そして、ステップＳ４１１において、全体制御演算部３１１は、記録処理を終了するか否かを判定する。この判定の結果、記録処理を終了する場合には、図４のフローチャートによる処理を終了する。
【００２８】
一方、記録処理を終了しない場合には、ステップＳ４１２に進む。ステップＳ４１２に進むと、全体制御演算部３１１は、温度センサ３１８から、撮像素子３０６の温度情報を入手する。
次に、ステップＳ４１３において、全体制御演算部３１１は、ステップＳ４１２で入手した撮像素子３０６の温度Ｔが、全体制御演算部３１１の内部メモリであるメモリ部３１６から読み出した閾値ＴThを超えているか否かを判定する。この判定の結果、撮像素子３０６の温度Ｔが、閾値ＴThを超えていれば、ステップＳ４１４へ進む。一方、撮像素子３０６の温度Ｔが、閾値ＴThを超えていなければ、ステップＳ４１５に進む。
【００２９】
ステップＳ４１４に進むと、全体制御演算部３１１は、現状の駆動モードが駆動モードＢであればそのままの駆動モードとし、現状の駆動モードが駆動モードＡであれば駆動モードＢへと駆動モードを切り替える。一方、ステップＳ４１５に進むと、全体制御演算部３１１は、現状の駆動モードが駆動モードＡであればそのままの駆動モードとし、現状の駆動モードが駆動モードＢであれば駆動モードＡへと駆動モードを切り替える。以上のようにステップＳ４１４、４１５にて駆動モードを切り換えた後、ステップＳ４０６へ進む。
ステップＳ４０６に進むと、全体制御演算部３１１は、絞り値（Ａｖ値）、シャッタ速度（Ｔｖ値）を決定する。これらは、直前のステップＳ４０６〜Ｓ４１５の処理中に、操作部３１７のユーザによる操作により変更された撮像システムの設定パラメータや撮影モードと、直前のステップＳ４０７で撮影された本撮影画像とを元に決定される。そして、全体制御演算部３１１は、そのシャッタ速度に応じて、電荷の蓄積時間を決定し、決定した蓄積時間を、全体制御演算部３１１の内部メモリであるメモリ部３１６に記憶する。そして、前述したステップＳ４０７へ進む。
【００３０】
図６は、駆動モードＡにおける撮像素子３０６の垂直転送駆動タイミングの一例を示すタイミングチャートである。また、図７は、駆動モードＢにおける撮像素子３０６の垂直転送駆動タイミングの一例を示すタイミングチャートである。
図６及び図７では、上からＶＤ、ＨＤ、Ｖ系駆動パルス、出力信号を示している。６０１、７０１は読み出しパルスである。６０２、７０２はＯＢ信号出力である、６０３、７０３は信号出力である。６０４、７０４はダミー信号出力である。
図６に示すように、駆動モードＡでは、全てのフレームで読み出しパルス６０１を印加して、常に垂直電荷転送路１０２に、ＯＢ信号出力６０２や信号出力６０３を送り出す第１の撮像動作を行い、本撮影画像を得る。
【００３１】
一方、図７に示す駆動モードＢでは、まず、読み出しパルス７０１により、垂直電荷転送路１０２に、ＯＢ信号出力７０２や信号出力７０３を１フレーム分送り出す第１の撮像動作を行う。その後、フォトダイオード１０１から信号出力を読み出さずに、１フレーム分又は複数フレーム分、垂直電荷転送路１０２を空転送してダミー信号７０４のみを送り出す第２の撮像動作を行う。つまり、駆動モードＢでは、本撮影画像の後に常にダミー画像を読み出している。
【００３２】
図８のフローチャートを参照しながら、図４のステップＳ４０８で行われるダークノイズ補正処理の一例について説明する。
まず、ステップＳ８０１において、全体制御演算部３１１は、現在の駆動モードに関する情報を、全体制御演算部３１１の内部メモリであるメモリ部３１６から読み出す。そして、全体制御演算部３１１は、現在の駆動モードが駆動モードＡ、Ｂの何れであるかを判定する。
【００３３】
この判定の結果、現在の駆動モードが駆動モードＡであれば、図８のフローチャートによる処理を終了する。一方、現在の駆動モードが駆動モードＢであれば、ステップＳ８０２に進む。ステップＳ８０２に進むと、全体制御演算部３１１は、１フレーム分又は複数フレーム分のダミー信号を読み出す。そして、全体制御演算部３１１は、読み出したダミー信号が１フレーム分のダミー信号である場合には、そのフレームからダミー画像を生成する。一方、読み出したダミー信号が複数フレームにわたるダミー信号である場合には、全体制御演算部３１１は、それら複数のフレーム（の出力レベル）を加算平均したダミー画像を生成する。さらに、全体制御演算部３１１は、メモリ部３１０から、その前のフレームで生成された黒引き画像を読み出し、この黒引き画像とダミー画像とを一定の割合で加算し、黒引き画像を生成する。そして、ステップＳ８０３において、撮像信号処理回路３０８は、この黒引き画像を用いて、本撮影画像のノイズ成分を除去するダークノイズ補正処理を行う。
【００３４】
図９は、駆動モードＢで撮像素子３０６を駆動させる際に、撮像素子３０６から読み出される本撮影フレーム、ダミー信号フレームを、それらが読み出される順に時系列的に並べて示す図である。図９（ａ）は、本撮影フレームと、ダミー信号フレームとを１フレームずつ交互に読み出す場合を示す。図９（ｂ）は、本撮影フレームの１フレームに対し、ダミー信号フレームを複数フレーム読み出す場合を示す。
【００３５】
図９に示すように、交互に出力される「本撮影画像、ダミー画像」のｎ番目の画像（の出力レベル）をそれぞれ「Ｓn、Ｄn」とする。本撮影フレームの１フレームに対しダミー信号フレームを複数フレーム読み出す場合には、それら複数読み出されたダミー信号フレーム（の出力レベル）を加算したものをダミー画像Ｄnとする。図９（ｂ）に示す例では、Ｄn＝ｄnA＋ｄnB＋ｄnCとなる。このとき、メモリ部３１０に格納されている黒引き画像をＢn-1とすると、本撮影画像Ｓnのダークノイズ補正処理に用いられる黒引き画像Ｂnは以下の（３）式で表される。
【００３６】
Ｂn＝Ｋ・Ｄn＋（１−Ｋ）・Ｂn-1 （０．５＜Ｋ＜１） ・・・（３）
（３）式において、Ｋは重み係数である。（３）式に示すように、全体制御演算部３１１は、以前のフレームで使用された黒引き画像Ｂn-1よりも、直前に複数のダミー画素Ｄnから算出されたダミー画像Ｄnの重みが大きくなるように、黒引き画像Ｂnを算出する。
本撮影画像Ｓnに対してダークノイズ補正処理が施された後の画像をＳn'とすると、以下の（４）式が成立する。
Ｓn'＝Ｓn−Ｂn＋α （αは、オフセット成分） ・・・（４）
【００３７】
尚、本実施形態では、スミア補正処理を本撮影画像に対してのみ行っているが、ダミー画像にもスミア補正処理を行うことも可能である。このようにする場合、ダークノイズ補正処理を行う前にスミア補正処理を行う必要がある。
【００３８】
以上のように本実施形態では、全てのフレームで画像信号（本撮影画像）を得る駆動モードＡと、本撮影画像を得た後の１又は複数フレームでは信号を空転送してダミー信号を得る駆動モードＢを、撮像素子３０６での動画像の撮像時の駆動モードとして選択する。そして、撮像素子３０６における動画記録駆動を行うに際し、撮像素子３０６の温度に依存して発生するノイズ成分に対して、当該ノイズ成分が目立つ温度では駆動モードＢで撮像素子３０６を駆動してダークノイズ補正処理を行う。一方、ノイズ成分が目立たない温度では駆動モードＡで撮像素子３０６を駆動してダークノイズ補正を行わない。したがって、撮像装置の動作環境に応じて発生するノイズを補正することができ、優れた画質の動画像を得ることができる。
【００３９】
（第２の実施形態）
以下、本発明の第２の実施形態について説明する。第１の実施形態では、撮像素子３０６の温度Ｔが閾値ＴThを超えている場合に駆動モードＢで撮像素子３０６を駆動し、そうでない場合に駆動モードＡで撮像素子３０６を駆動するようにした。これに対し、本実施形態では、ＩＳＯ感度としてのゲイン設定値が閾値を超えている場合に駆動モードＢで撮像素子３０６を駆動し、そうでない場合に駆動モードＡで撮像素子３０６を駆動する。このように本実施形態と第１の実施形態とでは、駆動モードを切り替える判断基準が主として異なる。よって、本実施形態の説明において、第１の実施形態と同一の部分については図１〜図１０に付した符号と同一の符号を付す等して詳細な説明を省略する。例えば、本実施形態における固体撮像素子の構成、撮像素子を用いた撮像装置のシステムの概要は、図１〜図３に示したものと同じである。また、使用する駆動モード、ダークノイズ補正処理についても、図６〜図９に示したものと同じである。更に、スミア補正処理についても第１の実施形態で説明したものと同じである。よって、これらの詳細な説明を省略する。
【００４０】
図１０のフローチャートを参照しながら、本実施形態の撮像装置の撮像シーケンスの一例を説明する。ここでは、動画記録モードでの撮像装置の動作の一例を示す。
図１０のステップＳ１００１〜Ｓ１００５、Ｓ１００７〜Ｓ１０１１は、図４のステップＳ４０１〜Ｓ４０５、Ｓ４０７〜Ｓ４１１と同じである。
すなわち、ステップＳ１００１において、全体制御演算部３１１は、初期設定を行う。このときの駆動モードは駆動モードＡである。次に、全体制御演算部３１１は、ステップＳ１００２において、シャッタスイッチＳＷ１がＯＮであると判定すると、ステップＳ１００３において、測距処理と測光処理を行い、ステップＳ１００４において、電荷の蓄積時間を決定する。
【００４１】
次に、全体制御演算部３１１は、ステップＳ１００５において、シャッタスイッチＳＷ２がＯＮであると判定すると、ステップＳ１００７において、撮像素子３０６に蓄積した信号電荷の読み出しを指示する。これにより、撮像素子３０６に所定時間蓄積した信号電荷（撮像信号）が撮像信号処理回路３０８に送られる。次に、ステップＳ１００８において、撮像信号処理回路３０８及び全体制御演算部３１１は、本撮影画像に対して、信号処理を行う。第１の実施形態と同様に、信号処理には、ダークノイズ補正処理、シェーディング補正処理、点キズ補正処理、ホワイトバランス積分演算処理、オプティカルブラック積分演算処理、及びスミア補正処理が含まれる。スミア補正の方法は第１の実施形態で説明したのと同じである。
【００４２】
次に、全体制御演算部３１１は、ステップＳ１００９において、信号処理が行われた画像信号に対して圧縮・伸張処理を行い、ステップＳ１０１０において、圧縮・伸張処理を行った画像信号の記録媒体３１４への書き込みを行う記録処理を開始する。
そして、ステップＳ１０１１において、全体制御演算部３１１は、記録処理を終了するか否かを判定する。この判定の結果、記録処理を終了する場合には、図１０のフローチャートによる処理を終了する。
【００４３】
一方、記録処理を終了しない場合には、ステップＳ１０１２に進む。ステップＳ１０１２に進むと、全体制御演算部３１１は、全体制御演算部３１１の内部メモリであるメモリ部３１６に格納されているゲイン設定値Ｇが、同じくメモリ部３１６に格納されている閾値ＧThを超えているか否かを判定する。この判定の結果、ゲイン設定値Ｇが閾値ＧThを超えていれば、ステップＳ１０１３へ進む。一方、ゲイン設定値Ｇが閾値ＧThを超えていなければ、ステップＳ１０１４に進む。
【００４４】
ステップＳ１０１３に進むと、全体制御演算部３１１は、現状の駆動モードが駆動モードＢであればそのままの駆動モードとし、現状の駆動モードが駆動モードＡであれば駆動モードＢへと駆動モードを切り替える。一方、ステップＳ１０１４に進むと、全体制御演算部３１１は、現状の駆動モードが駆動モードＡであればそのままの駆動モードとし、現状の駆動モードが駆動モードＢであれば駆動モードＡへと駆動モードを切り替える。以上のようにステップＳ１０１３、１０１４にて駆動モードを切り換えた後、ステップＳ１００６へ進む。
ステップＳ１００６に進むと、全体制御演算部３１１は、図４のステップＳ４０６と同様にして、絞り値（Ａｖ値）、シャッタ速度（Ｔｖ値）を決定する。そして、全体制御演算部３１１は、そのシャッタ速度に応じて、電荷の蓄積時間を決定し、決定した蓄積時間を、全体制御演算部３１１の内部メモリであるメモリ部３１６に記憶する。そして、前述したステップＳ１００７へ進む。
【００４５】
以上のように本実施形態では、撮像素子３０６における動画記録駆動を行うに際し、特にノイズ成分の目立つ高ゲイン設定時に、駆動モードＢで撮像素子３０６を駆動してダークノイズ補正処理を行う。一方、低ゲイン設定時には駆動モードＡで撮像素子３０６を駆動してダークノイズ補正を行わない。したがって、撮像装置の動作条件（動作設定）に応じて発生するノイズを補正することができ、高ゲイン設定時においても高い画質の動画像を得ることができる。また、撮像装置の消費電力の削減を実現することができる。
【００４６】
本実施形態では、カメラのＩＳＯ感度としてのゲイン設定値Ｇに応じて、駆動モードを切り換える場合を例に挙げて説明した。ゲイン設定値の代わりに、ガンマ設定に応じて駆動モードを切り換えるようにしてもよい。
図１１は、ガンマカーブ（ガンマ特性）の一例を示す図である。
図１１において、１１０１は、通常の明るさの被写体を撮影するモードにおいて画像処理の際に使用するガンマカーブである。一方、１１０２は、通常よりも暗い被写体を撮影するモードにおいて画像処理の際に使用するガンマカーブである。ガンマカーブ１１０２を使用する場合には、ガンマカーブ１１０１を使用する場合に比べ、画像処理時に付加されるゲインが大きくなるためノイズ特性が悪化する。そこでガンマカーブ１１０１を使用する場合には、駆動モードを駆動モードＡとし、ガンマカーブ１１０２を使用する場合には駆動モードを駆動モードＢとする。以上のように、ガンマ設定に応じて駆動モードを切り換えることで、相対的にノイズ特性が悪化するガンマカーブ１１０２を使用するような場合であっても、その後のダークノイズ補正処理を行うことで高い画質の動画像を実現することができる。このように、ガンマ値γが閾値を超えている場合には、駆動モードを駆動モードＢとし、そうでない場合には駆動モードを駆動モードＡとすることができる。
【００４７】
（第３の実施形態）
以下、本発明の第３の実施形態について説明する。本実施形態では、撮像素子３０６の駆動周波数設定値ｆが閾値ｆThを超えている場合に駆動モードＡで撮像素子３０６を駆動し、そうでない場合に駆動モードＢで撮像素子３０６を駆動する。このように本実施形態と、第１、第２の実施形態とでは、駆動モードを切り替える判断基準が主として異なる。よって、本実施形態の説明において、第１、第２の実施形態と同一の部分については図１〜図１２に付した符号と同一の符号を付す等して詳細な説明を省略する。
【００４８】
図１２のフローチャートを参照しながら、本実施形態の撮像装置の撮像シーケンスの一例を説明する。ここでは、動画記録モードでの撮像装置の動作の一例を示す。
図１２のステップＳ１２０１〜Ｓ１２０５、Ｓ１２０９〜Ｓ１２１３は、図４のステップＳ４０１〜Ｓ４０５、Ｓ４０７〜Ｓ４１１及び図１０のステップＳ１００１〜Ｓ１００５、Ｓ１００７〜Ｓ１０１１と同じである。
すなわち、ステップＳ１２０１において、全体制御演算部３１１は、初期設定を行う。このときの駆動モードは駆動モードＡである。次に、全体制御演算部３１１は、ステップＳ１２０２において、シャッタスイッチＳＷ１がＯＮであると判定すると、ステップＳ１２０３において、測距処理と測光処理を行い、ステップＳ１２０４において、電荷の蓄積時間を決定する。
【００４９】
次に、全体制御演算部３１１は、ステップＳ１２０５において、シャッタスイッチＳＷ２がＯＮであると判定すると、ステップＳ１２０９において、撮像素子３０６に蓄積した信号電荷の読み出しを指示する。これにより、撮像素子３０６に所定時間蓄積した信号電荷（撮像信号）が撮像信号処理回路３０８に送られる。次に、ステップＳ１２１０において、撮像信号処理回路３０８及び全体制御演算部３１１は、本撮影画像に対して、信号処理を行う。第１の実施形態と同様に、信号処理には、ダークノイズ補正処理、シェーディング補正処理、点キズ補正処理、ホワイトバランス積分演算処理、オプティカルブラック積分演算処理、及びスミア補正処理が含まれる。スミア補正の方法は第１の実施形態で説明したのと同じである。
【００５０】
次に、全体制御演算部３１１は、ステップＳ１２１１において、信号処理が行われた画像信号に対して圧縮・伸張処理を行い、ステップＳ１２１２において、圧縮・伸張処理を行った画像信号の記録媒体３１４への書き込みを行う記録処理を開始する。
そして、ステップＳ１２１３において、全体制御演算部３１１は、記録処理を終了するか否かを判定する。この判定の結果、記録処理を終了する場合には、図１２のフローチャートによる処理を終了する。
【００５１】
一方、記録処理を終了しない場合には、ステップＳ１２１４に進む。ステップＳ１２１４に進むと、全体制御演算部３１１は、全体制御演算部３１１の内部メモリであるメモリ部３１６に格納されている駆動周波数設定値ｆ（撮像素子３０６の駆動周波数の設定値）が閾値ｆThを下回っているか否かを判定する。この判定の結果、駆動周波数設定値ｆが閾値ｆThを下回っていれば、ステップＳ１２１５に進む。一方、駆動周波数設定値ｆが閾値ｆThを下回っていなければ、ステップＳ１２１６に進む。
【００５２】
ステップＳ１２１５に進むと、全体制御演算部３１１は、現状の駆動モードが駆動モードＢであればそのままの駆動モードとし、現状の駆動モードが駆動モードＡであれば駆動モードＢへと駆動モードを切り替える。一方、ステップＳ１２１６に進むと、全体制御演算部３１１は、現状の駆動モードが駆動モードＡであればそのままの駆動モードとし、現状の駆動モードが駆動モードＢであれば駆動モードＡへと駆動モードを切り替える。以上のようにステップＳ１２１５、Ｓ１２１６にて駆動モードを切り換えた後、ステップＳ１２０６へ進む。
【００５３】
ステップＳ１２０６に進むと、全体制御演算部３１１は、図４のステップＳ４０６と同様にして、絞り値（Ａｖ値）、シャッタ速度（Ｔｖ値）を決定する。そして、全体制御演算部３１１は、そのシャッタ速度に応じて、電荷の蓄積時間を決定し、決定した蓄積時間を、全体制御演算部３１１の内部メモリであるメモリ部３１６に記憶する。
【００５４】
次に、ステップＳ１２０７において、全体制御演算部３１１は、過去の複数フレームの画像と、直前に撮影された画像とを比較して動き検出を行う。すなわち、全体制御演算部３１１は、直前に撮影された画像の出力レベルの、過去の複数フレームの画像の出力レベルとの差分ΔＨを計算する。この差分ΔＨは、例えば、過去の４フレームの画像の出力レベルと、直前に撮影された画像の出力レベルのそれぞれとの差分の二乗の和として以下の（５）式により計算される。
【００５５】
ΔＨ＝Σ（ＩN（x,y）−ＩN-1（x,y））2＋Σ（ＩN（x,y）−ＩN-2（x,y））2＋Σ（ＩN（x,y）−ＩN-3（x,y））2＋Σ（IN（x,y）−ＩN-4（x,y））2 ・・・（５）
【００５６】
次に、ステップＳ１２０８において、全体制御演算部３１１は、ステップＳ１２０７で計算した値（差分ΔＨ）が所定の閾値ＨH以上であれば、被写体に大きな動きが有ると認識し、駆動周波数設定値ｆをｆH（ｆ＝ｆH）とする。また、差分ΔＨが、所定の閾値ＨH未満であり、且つ所定の閾値ＨL以上であれば、全体制御演算部３１１は、被写体に僅かに動きがあると認識し、駆動周波数設定値ｆをｆM（ｆ＝ｆM）とする。また、差分ΔＨが、所定の閾値ＨL未満であれば、全体制御演算部３１１は、被写体にほとんど動きがないと判断し、駆動周波数設定値ｆをｆL（ｆ＝ｆL）とする。ただし、ＨH＞ＨL、ｆH＞ｆM＞ｆLとする。以上のようにして駆動周波数設定値ｆを設定し直した後、前述したステップＳ１２０９へ進む。
【００５７】
以上のように本実施形態では、撮像素子３０６における動画記録駆動を行うに際し、特にノイズ成分の目立つ撮像素子３０６の駆動周波数が低い（フレームレートの低い）ときに、駆動モードＢで撮像素子３０６を駆動してダークノイズ補正処理を行う。一方、撮像素子３０６の駆動周波数が高い（フレームレートの高い）ときには駆動モードＡで撮像素子３０６を駆動してダークノイズ補正を行わない。したがって、撮像装置の動作条件（動作設定）に応じて発生するノイズを補正することができ、撮像素子３０６の駆動周波数によらずに、高い画質の動画像を得ることができる。
【００５８】
尚、前述した実施形態は、何れも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。
【００５９】
（その他の実施例）
本発明は、以下の処理を実行することによっても実現される。即ち、まず、以上の実施形態の機能を実現するソフトウェア（コンピュータプログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給する。そして、そのシステム或いは装置のコンピュータ（又はＣＰＵやＭＰＵ等）が当該コンピュータプログラムを読み出して実行する。
【符号の説明】
【００６０】
３０６ 撮像素子、３０８ 撮像信号処理回路、３１１ 全体制御演算部
【技術分野】
【０００１】
本発明は、撮像装置及び撮像装置の制御方法に関し、特に、動画像を撮像するために用いて好適なものである。
【背景技術】
【０００２】
デジタルカメラにおいて画像を撮影する際、暗電流ノイズ（ランダムノイズ）やキズ以外にも様々なダークノイズが画質を劣化させる要因として問題となる。例えば、キズ以外のダークノイズとして、図１３（ａ）〜（ｃ）に挙げるような現象がある。
【０００３】
図１３（ａ）は、ダーク画像に縦線キズが発生している様子を示す図である。ＣＣＤ撮像素子においては、ＶＣＣＤ上にキズが存在し、そこから暗電流が漏れ出すことで縦線キズが発生する。
図１３（ｂ）は、ダーク画像に高温縦スジが発生している様子を示す図である。ＣＣＤ撮像素子においては、ＶＣＣＤ毎に発生する暗電流量が異なることで高温縦スジが発生する。
【０００４】
図１３（ｃ）は、水平シェーディングの水平方向での出力レベルを表す図である。図１３（ｃ）の縦軸が出力レベルを表し、横軸が画像の水平方向の位置を表している。ＣＣＤ撮像素子においては、ＶＣＣＤ毎に発生する暗電流量が異なることで水平シェーディングが発生する。
図１３（ａ）〜（ｃ）に示すダークノイズは、いずれも温度依存性（温度が高いほど目立つ）、フレームレート（駆動周波数）依存性（フレームレートが低いほど目立つ）があり、高ゲイン時に目立つ傾向にある。
【０００５】
従来、静止画像を記録する際には、露光した状態で電荷蓄積を行った撮像素子から本撮影画像を得た後に、撮像素子を露光しない状態で電荷蓄積を行った撮像素子からダーク画像を得て、これらに基づく演算処理を行うことで、ダークノイズの補正処理を行っている。更に、特許文献１に記載の発明では、連続撮影する際に、露光時間が以前の撮影条件よりも長くならない場合には、以前に撮影したダーク画像を用いてダークノイズ補正処理を行っている。これによりダーク画像を撮影することによるレリーズタイムラグの延長を防ぎ、撮像装置の消費電力の増大を低減させ、且つ、撮影のコマ間隔のバラツキを防ぐことができる。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特許第３３３２８９７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
一方で、動画像を記録する際にも、前述したダークノイズが発生するものの、従来、静止画像に比べ動画像には高い画質が求められなかった。このため、動画像を記録する際には、静止画像を記録するときに行われるダークノイズの補正処理を行う必要がなかった。
ところが、近年、ハイビジョン画質等で動画像を記録することが行われており、動画記録モードにおいても、高画質が求められる様になってきている。また、撮像素子の画素素子サイズの縮小化により、ダークノイズ特性が悪化する傾向にあり、ダークノイズ補正の必要性が高まっている。
しかしながら、動画像を記録する際には、撮像素子は常に露光している状態である。よって、前述したようなダークノイズの補正処理を行うことはできない。
本発明は、このような問題点に鑑みてなされたものであり、動画像を記録する際の画質を向上させることを目的とする。
【課題を解決するための手段】
【０００８】
本発明の撮像装置は、２次元に配列された複数の画素と、前記画素にて露光された電荷に基づく信号を含む信号を転送する転送部と、を含む撮像素子を用いて少なくとも動画像を撮像する撮像装置であって、前記画素に露光された電荷を読み出して前記転送部から転送することで撮像信号を得る第１の撮像動作と、前記画素に露光された電荷を読み出さずに前記転送部を空転送することでダミー信号を得る第２の撮像動作とが交互に行われるように、前記撮像素子を駆動する制御手段と、前記第１の撮像動作により得られた撮像信号に含まれるノイズ成分を、前記第２の撮像動作により得られた、前記撮像信号に対応するダミー信号を用いて除去することによりダークノイズ補正を行う撮像信号処理手段と、を有することを特徴とする。
【発明の効果】
【０００９】
本発明によれば、画素に露光された電荷から撮像信号を得る第１の撮像動作と、転送部を空転送することでダミー信号を得る第２の撮像動作とを交互に行う。そして、第１の撮像動作により得られた撮像信号に含まれるノイズ成分を、当該撮像信号に対応するダミー信号を用いて除去する。よって、動画像に含まれるダークノイズを補正して動画像を記録する際の画質を向上させることができる。
【図面の簡単な説明】
【００１０】
【図１】固体撮像素子の構成の概略を示す図である。
【図２】色フィルタアレイの一部を示す図である。
【図３】撮像装置のシステムの概要を示す図である。
【図４】撮像シーケンスの第１の例を説明するフローチャートである。
【図５】本撮影画像の領域を示す図である。
【図６】駆動モードＡにおける撮像素子の垂直転送駆動タイミングを示す図である。
【図７】駆動モードＢにおける撮像素子の垂直転送駆動タイミングを示す図である。
【図８】ダークノイズ補正処理を説明するフローチャートである。
【図９】本撮影フレーム及びダミー信号フレームを示す図である。
【図１０】撮像シーケンスの第２の例を説明するフローチャートである。
【図１１】ガンマカーブ（ガンマ特性）の一例を示す図である。
【図１２】撮像シーケンスの第３の例を説明するフローチャートである。
【図１３】ダークノイズを示す図である。
【発明を実施するための形態】
【００１１】
（第１の実施形態）
以下、本発明の第１の実施形態について、図１〜図８を用いて説明する。
図１は、本実施形態の固体撮像素子の構成の概略を示す図である。図１において、１０１はフォトダイオードであり、１０２は垂直電荷転送路であり、１０３は水平電荷転送路である。１０４は出力部であり、１０５はバッファストレージセルであり、１０６はトランスファゲートである。
【００１２】
垂直電荷転送路１０２は、それぞれ、駆動パルスφＶ１、φＶ２、φＶ３、φＶ４が加わる転送電極Ｖ１、Ｖ２、Ｖ３、Ｖ４にて構成される転送部である。垂直電荷転送路１０２の最終段のバッファストレージセル１０５及びトランスファゲート１０６は、それぞれ、駆動パルスφＢＳ、φＴＳが加わる転送電極ＢＳ、ＴＳにて構成されている。水平電荷転送路１０３は、それぞれ、２相駆動パルスφＨ１及びφＨ２が加わる転送電極である電極Ｈ１及びＨ２にて構成される転送部である。
【００１３】
２次元に配列された複数の画素となるフォトダイオード１０１で露光されて光電変換された信号電荷は、読み出しパルスにより垂直電荷転送路１０２に送られる。垂直電荷転送路１０２に送られた信号電荷は、駆動パルスφＶ１、φＶ２、φＶ３、φＶ４、φＢＳ、φＴＳにより水平電荷転送路１０３の方向へ順に転送される。水平電荷転送路１０３は、垂直電荷転送路１０２から転送されて来た１行分の信号電荷を２相駆動パルスφＨ１及びφＨ２により出力部１０４に転送する。出力部１０４は、水平電荷転送路１０３から転送された信号電荷を電圧に変換して出力する。
【００１４】
図２は、図１に示す固体撮像素子で使用される色フィルタアレイの一部を示す図である。
図２では、第１の色フィルタを赤（Ｒ）、第２の色フィルタを緑（Ｇ）、第３の色フィルタを緑（Ｇ）、第４の色フィルタを青（Ｂ）とした場合を例に挙げて示している。この色フィルタアレイの配列は、原色の色フィルタ配列のうち、ベイヤ配列と呼ばれるものである。ベイヤ配列は、高い解像度と優れた色再現性とを備えた色フィルタ配列である。
【００１５】
図３は、撮像素子を用いた撮像装置のシステムの概要の一例を示す図である。
図３において、３０１はレンズ部（レンズと表記）である。３０２はレンズ駆動部である。３０３はメカニカルシャッタ（メカシャッタと表記）である。３０４はメカニカルシャッタ・絞り駆動部（シャッタ・絞り駆動部と表記）である。３０５は絞りである。３０６は、図１に示す構成を有する撮像素子である。３０７は、相関２重サンプリング、ゲイン調整、及びＡ／Ｄ変換を行う回路（ＣＤＳ・Ａ／Ｄと表記）である。３０８は撮像信号処理回路である。３０９はタイミング発生部である。３１０はメモリ部（メモリ部Ｉと表記）である。３１１は全体制御演算部である。３１２は記録媒体制御インターフェース部（記録媒体制御Ｉ／Ｆ部と表記）である。３１３は表示部である。３１４は記録媒体である。３１５は外部インターフェース部（外部Ｉ／Ｆ部と表記）である。３１６はメモリ（メモリ部IIと表記）である。３１７は操作部である。３１８は温度センサである。
【００１６】
レンズ部３０１を通った被写体像は、絞り３０５にて適切な光量に調整され、撮像素子３０６に結像される。ＣＤＳ・Ａ／Ｄ３０７は、撮像素子３０６に結合した被写体像に対して、相関２重サンプリングと、ゲイン調整と、アナログ信号からデジタル信号への変換を行うＡ／Ｄ変換とが行い、Ｒ、Ｇ１、Ｇ２、Ｂの信号として、撮像信号処理回路３０８に送る。撮像信号処理回路３０８は、各種の画像信号処理、さらに各種の補正、画像データの圧縮等を行う。
【００１７】
レンズ駆動部３０２は、ズーム、フォーカス等の駆動制御をレンズ部３０１に対して行う。メカシャッタ３０３は、一眼レフカメラに使用されるフォーカルプレーン型のシャッタの後幕に相当する幕のみを有するシャッタ機構である。これらのメカシャッタ３０３、絞り３０５の駆動は、シャッタ・絞り駆動部３０４によって制御される。タイミング発生部３０９は、撮像素子３０６、撮像信号処理回路３０８に、各種タイミング信号を出力する。
【００１８】
全体制御演算部３１１は、撮像装置全体の制御と各種演算を行う。メモリ部３１０は、画像データを一時的に記憶する。記録媒体制御インターフェース部３１２は、記録媒体３１４との間で、画像データ等のデータの記録及び読み出しを行う。表示部３１３は、画像データ等のデータの表示を行う。記録媒体３１４は、半導体メモリ等の着脱可能な記録媒体であり、画像データ等のデータの記録を行う。外部インターフェース部３１５は、外部コンピュータ等と通信を行うために為のインターフェースである。
【００１９】
メモリ部３１６は、全体制御演算部３１１で行われた演算の結果等を記憶する。操作部３１７にてユーザが設定した撮像装置の駆動条件に関する情報は、全体制御演算部３１１に送られ、これらの情報に基づいて撮像装置全体の制御が行われる。温度センサ３１８は撮像素子３０６の近くに取り付けられ、撮像素子３０６の表面温度を検出する。
尚、フォーカス、絞り値、露出時間を決める露出制御は、撮像装置に搭載された、シャッタスイッチ（図示せず）のＯＮをトリガーとして行われる。シャッタスイッチは、２段階にＯＮ、ＯＦＦを行うことができ、１段目のシャッタスイッチをＳＷ１、２段目のシャッタスイッチをＳＷ２とする。
【００２０】
次に、図４のフローチャートを参照しながら、本実施形態の撮像装置の撮像シーケンスの一例を説明する。ここでは、動画記録モードでの撮像装置の動作の一例を示す。
まず、ステップＳ４０１において、全体制御演算部３１１は、フラグや制御変数等を初期化し、撮像信号処理回路３０８の各部において必要な所定の初期設定を行う。このときの駆動モード（動画記録モード）は、駆動モードＡ（第１の動画記録モード）である。
次に、ステップＳ４０２において、全体制御演算部３１１は、シャッタスイッチＳＷ１がＯＮ及びＯＦＦの何れであるかを判定する。この判定の結果、シャッタスイッチＳＷ１がＯＦＦであるならば、再びステップＳ４０２に戻る。一方、シャッタスイッチＳＷ１がＯＮであるならば、ステップＳ４０３に進む。
【００２１】
ステップＳ４０３に進むと、全体制御演算部３１１は、測距処理を行うことにより、レンズ駆動部３０２を制御して、レンズ部３０１のレンズの焦点を被写体に合わせる。また、全体制御演算部３１１は、絞り値及びシャッタ時間を決定するために測光処理を行い、全体制御演算部３１１の内部メモリであるメモリ部３１６に、測光データ或いは設定パラメータを記憶する。
次に、ステップＳ４０４において、全体制御演算部３１１は、メモリ部３１６に記憶した測光データ或いは設定パラメータと、撮像装置に設定されている撮影モードとに基づいて、絞り値（Ａｖ値）及びシャッタ速度（Ｔｖ値）を決定する。そして、全体制御演算部３１１は、そのシャッタ速度に応じて、電荷の蓄積時間を決定し、決定した蓄積時間を、全体制御演算部３１１の内部メモリであるメモリ部３１６に記憶する。
【００２２】
次に、ステップＳ４０５において、全体制御演算部３１１は、シャッタスイッチＳＷ２がＯＮ及びＯＦＦの何れであるかを判定する。この判定の結果、シャッタスイッチＳＷ２がＯＦＦであるならば、再びステップＳ４０２に戻る。一方、シャッタスイッチＳＷ２がＯＮであるならば、ステップＳ４０７に進む。
ステップＳ４０７に進むと、全体制御演算部３１１は、タイミング発生部３０９に対して、撮像素子３０６に蓄積した信号電荷の読み出しを指示する。撮影に対応する所定時間蓄積した信号電荷（撮像信号）は、撮像素子３０６から読み出され、ＣＤＳ・Ａ／Ｄ３０７を経て、撮像信号処理回路３０８に送られる。
【００２３】
次に、ステップＳ４０８において、撮像信号処理回路３０８及び全体制御演算部３１１は、本撮影画像に対して、信号処理を行う。信号処理には、ダークノイズ補正処理、シェーディング補正処理、点キズ補正処理、ホワイトバランス積分演算処理、オプティカルブラック積分演算処理、及びスミア補正処理が含まれる。スミア補正は、駆動モードＡ（第１の動画記録モード）にて撮像素子３０６を駆動しているときに行われる。一方、駆動モードＢ（第２の動画記録モード）にて撮像素子３０６を駆動しているときにはスミア補正は行われない。
【００２４】
ここで、スミア補正の方法の一例を、図５を用いて説明する。図５は、本撮影画像の領域の一例を示す図である。
図５において、５０１は画像信号領域である。５０２はＯＢ（オプティカルブラック）信号領域である。５０３はスミア量検出領域である。基本的に、撮像素子３０６の駆動方法から、画像信号領域５０１上であろうとＯＢ信号領域５０２上であろうと、スミアの発生量は、垂直方向の位置によらず同じになる。そこで、図５に示すように、画面下部のＯＢ信号領域５０２に、例えば１０ライン（１０行）のスミア量検出領域５０３を設ける。上からＮ番目のスミア検出ラインの水平方向のｊ番目データ出力をｌNjとすると、水平方向のｊ列目のスミア量ｓMｊは以下の（１）式のように表される。
【００２５】
ｓMｊ＝1/10・（Σj=1〜10ｌNj） ・・・（１）
このとき、スミア補正された信号ｓ（i,j）は元の信号ｓ0（i,j）から以下の（２）式ように求められる。
ｓ（i,j）＝ｓ0（i,j）−ｓMｊ ・・・（２）
【００２６】
全体制御演算部３１１は、以上のような演算の結果を、全体制御演算部３１１の内部メモリであるメモリ部３１６に格納する。各種処理が行われた画像データは、メモリ部３１０に書き込まれる。ステップＳ４０８で行われるダークノイズ補正処理については後ほど詳述する。
【００２７】
さらに、ステップＳ４０９において、全体制御演算部３１１は、メモリ部３１０に書き込まれた画像信号を読み出して、圧縮・伸張処理を行いメモリ部３１０に格納する。
次に、ステップＳ４１０において、全体制御演算部３１１は、メモリ部３１０に書き込まれた画像信号を読み出して、記録媒体３１４への書き込みを行う記録処理を開始する。 そして、ステップＳ４１１において、全体制御演算部３１１は、記録処理を終了するか否かを判定する。この判定の結果、記録処理を終了する場合には、図４のフローチャートによる処理を終了する。
【００２８】
一方、記録処理を終了しない場合には、ステップＳ４１２に進む。ステップＳ４１２に進むと、全体制御演算部３１１は、温度センサ３１８から、撮像素子３０６の温度情報を入手する。
次に、ステップＳ４１３において、全体制御演算部３１１は、ステップＳ４１２で入手した撮像素子３０６の温度Ｔが、全体制御演算部３１１の内部メモリであるメモリ部３１６から読み出した閾値ＴThを超えているか否かを判定する。この判定の結果、撮像素子３０６の温度Ｔが、閾値ＴThを超えていれば、ステップＳ４１４へ進む。一方、撮像素子３０６の温度Ｔが、閾値ＴThを超えていなければ、ステップＳ４１５に進む。
【００２９】
ステップＳ４１４に進むと、全体制御演算部３１１は、現状の駆動モードが駆動モードＢであればそのままの駆動モードとし、現状の駆動モードが駆動モードＡであれば駆動モードＢへと駆動モードを切り替える。一方、ステップＳ４１５に進むと、全体制御演算部３１１は、現状の駆動モードが駆動モードＡであればそのままの駆動モードとし、現状の駆動モードが駆動モードＢであれば駆動モードＡへと駆動モードを切り替える。以上のようにステップＳ４１４、４１５にて駆動モードを切り換えた後、ステップＳ４０６へ進む。
ステップＳ４０６に進むと、全体制御演算部３１１は、絞り値（Ａｖ値）、シャッタ速度（Ｔｖ値）を決定する。これらは、直前のステップＳ４０６〜Ｓ４１５の処理中に、操作部３１７のユーザによる操作により変更された撮像システムの設定パラメータや撮影モードと、直前のステップＳ４０７で撮影された本撮影画像とを元に決定される。そして、全体制御演算部３１１は、そのシャッタ速度に応じて、電荷の蓄積時間を決定し、決定した蓄積時間を、全体制御演算部３１１の内部メモリであるメモリ部３１６に記憶する。そして、前述したステップＳ４０７へ進む。
【００３０】
図６は、駆動モードＡにおける撮像素子３０６の垂直転送駆動タイミングの一例を示すタイミングチャートである。また、図７は、駆動モードＢにおける撮像素子３０６の垂直転送駆動タイミングの一例を示すタイミングチャートである。
図６及び図７では、上からＶＤ、ＨＤ、Ｖ系駆動パルス、出力信号を示している。６０１、７０１は読み出しパルスである。６０２、７０２はＯＢ信号出力である、６０３、７０３は信号出力である。６０４、７０４はダミー信号出力である。
図６に示すように、駆動モードＡでは、全てのフレームで読み出しパルス６０１を印加して、常に垂直電荷転送路１０２に、ＯＢ信号出力６０２や信号出力６０３を送り出す第１の撮像動作を行い、本撮影画像を得る。
【００３１】
一方、図７に示す駆動モードＢでは、まず、読み出しパルス７０１により、垂直電荷転送路１０２に、ＯＢ信号出力７０２や信号出力７０３を１フレーム分送り出す第１の撮像動作を行う。その後、フォトダイオード１０１から信号出力を読み出さずに、１フレーム分又は複数フレーム分、垂直電荷転送路１０２を空転送してダミー信号７０４のみを送り出す第２の撮像動作を行う。つまり、駆動モードＢでは、本撮影画像の後に常にダミー画像を読み出している。
【００３２】
図８のフローチャートを参照しながら、図４のステップＳ４０８で行われるダークノイズ補正処理の一例について説明する。
まず、ステップＳ８０１において、全体制御演算部３１１は、現在の駆動モードに関する情報を、全体制御演算部３１１の内部メモリであるメモリ部３１６から読み出す。そして、全体制御演算部３１１は、現在の駆動モードが駆動モードＡ、Ｂの何れであるかを判定する。
【００３３】
この判定の結果、現在の駆動モードが駆動モードＡであれば、図８のフローチャートによる処理を終了する。一方、現在の駆動モードが駆動モードＢであれば、ステップＳ８０２に進む。ステップＳ８０２に進むと、全体制御演算部３１１は、１フレーム分又は複数フレーム分のダミー信号を読み出す。そして、全体制御演算部３１１は、読み出したダミー信号が１フレーム分のダミー信号である場合には、そのフレームからダミー画像を生成する。一方、読み出したダミー信号が複数フレームにわたるダミー信号である場合には、全体制御演算部３１１は、それら複数のフレーム（の出力レベル）を加算平均したダミー画像を生成する。さらに、全体制御演算部３１１は、メモリ部３１０から、その前のフレームで生成された黒引き画像を読み出し、この黒引き画像とダミー画像とを一定の割合で加算し、黒引き画像を生成する。そして、ステップＳ８０３において、撮像信号処理回路３０８は、この黒引き画像を用いて、本撮影画像のノイズ成分を除去するダークノイズ補正処理を行う。
【００３４】
図９は、駆動モードＢで撮像素子３０６を駆動させる際に、撮像素子３０６から読み出される本撮影フレーム、ダミー信号フレームを、それらが読み出される順に時系列的に並べて示す図である。図９（ａ）は、本撮影フレームと、ダミー信号フレームとを１フレームずつ交互に読み出す場合を示す。図９（ｂ）は、本撮影フレームの１フレームに対し、ダミー信号フレームを複数フレーム読み出す場合を示す。
【００３５】
図９に示すように、交互に出力される「本撮影画像、ダミー画像」のｎ番目の画像（の出力レベル）をそれぞれ「Ｓn、Ｄn」とする。本撮影フレームの１フレームに対しダミー信号フレームを複数フレーム読み出す場合には、それら複数読み出されたダミー信号フレーム（の出力レベル）を加算したものをダミー画像Ｄnとする。図９（ｂ）に示す例では、Ｄn＝ｄnA＋ｄnB＋ｄnCとなる。このとき、メモリ部３１０に格納されている黒引き画像をＢn-1とすると、本撮影画像Ｓnのダークノイズ補正処理に用いられる黒引き画像Ｂnは以下の（３）式で表される。
【００３６】
Ｂn＝Ｋ・Ｄn＋（１−Ｋ）・Ｂn-1 （０．５＜Ｋ＜１） ・・・（３）
（３）式において、Ｋは重み係数である。（３）式に示すように、全体制御演算部３１１は、以前のフレームで使用された黒引き画像Ｂn-1よりも、直前に複数のダミー画素Ｄnから算出されたダミー画像Ｄnの重みが大きくなるように、黒引き画像Ｂnを算出する。
本撮影画像Ｓnに対してダークノイズ補正処理が施された後の画像をＳn'とすると、以下の（４）式が成立する。
Ｓn'＝Ｓn−Ｂn＋α （αは、オフセット成分） ・・・（４）
【００３７】
尚、本実施形態では、スミア補正処理を本撮影画像に対してのみ行っているが、ダミー画像にもスミア補正処理を行うことも可能である。このようにする場合、ダークノイズ補正処理を行う前にスミア補正処理を行う必要がある。
【００３８】
以上のように本実施形態では、全てのフレームで画像信号（本撮影画像）を得る駆動モードＡと、本撮影画像を得た後の１又は複数フレームでは信号を空転送してダミー信号を得る駆動モードＢを、撮像素子３０６での動画像の撮像時の駆動モードとして選択する。そして、撮像素子３０６における動画記録駆動を行うに際し、撮像素子３０６の温度に依存して発生するノイズ成分に対して、当該ノイズ成分が目立つ温度では駆動モードＢで撮像素子３０６を駆動してダークノイズ補正処理を行う。一方、ノイズ成分が目立たない温度では駆動モードＡで撮像素子３０６を駆動してダークノイズ補正を行わない。したがって、撮像装置の動作環境に応じて発生するノイズを補正することができ、優れた画質の動画像を得ることができる。
【００３９】
（第２の実施形態）
以下、本発明の第２の実施形態について説明する。第１の実施形態では、撮像素子３０６の温度Ｔが閾値ＴThを超えている場合に駆動モードＢで撮像素子３０６を駆動し、そうでない場合に駆動モードＡで撮像素子３０６を駆動するようにした。これに対し、本実施形態では、ＩＳＯ感度としてのゲイン設定値が閾値を超えている場合に駆動モードＢで撮像素子３０６を駆動し、そうでない場合に駆動モードＡで撮像素子３０６を駆動する。このように本実施形態と第１の実施形態とでは、駆動モードを切り替える判断基準が主として異なる。よって、本実施形態の説明において、第１の実施形態と同一の部分については図１〜図１０に付した符号と同一の符号を付す等して詳細な説明を省略する。例えば、本実施形態における固体撮像素子の構成、撮像素子を用いた撮像装置のシステムの概要は、図１〜図３に示したものと同じである。また、使用する駆動モード、ダークノイズ補正処理についても、図６〜図９に示したものと同じである。更に、スミア補正処理についても第１の実施形態で説明したものと同じである。よって、これらの詳細な説明を省略する。
【００４０】
図１０のフローチャートを参照しながら、本実施形態の撮像装置の撮像シーケンスの一例を説明する。ここでは、動画記録モードでの撮像装置の動作の一例を示す。
図１０のステップＳ１００１〜Ｓ１００５、Ｓ１００７〜Ｓ１０１１は、図４のステップＳ４０１〜Ｓ４０５、Ｓ４０７〜Ｓ４１１と同じである。
すなわち、ステップＳ１００１において、全体制御演算部３１１は、初期設定を行う。このときの駆動モードは駆動モードＡである。次に、全体制御演算部３１１は、ステップＳ１００２において、シャッタスイッチＳＷ１がＯＮであると判定すると、ステップＳ１００３において、測距処理と測光処理を行い、ステップＳ１００４において、電荷の蓄積時間を決定する。
【００４１】
次に、全体制御演算部３１１は、ステップＳ１００５において、シャッタスイッチＳＷ２がＯＮであると判定すると、ステップＳ１００７において、撮像素子３０６に蓄積した信号電荷の読み出しを指示する。これにより、撮像素子３０６に所定時間蓄積した信号電荷（撮像信号）が撮像信号処理回路３０８に送られる。次に、ステップＳ１００８において、撮像信号処理回路３０８及び全体制御演算部３１１は、本撮影画像に対して、信号処理を行う。第１の実施形態と同様に、信号処理には、ダークノイズ補正処理、シェーディング補正処理、点キズ補正処理、ホワイトバランス積分演算処理、オプティカルブラック積分演算処理、及びスミア補正処理が含まれる。スミア補正の方法は第１の実施形態で説明したのと同じである。
【００４２】
次に、全体制御演算部３１１は、ステップＳ１００９において、信号処理が行われた画像信号に対して圧縮・伸張処理を行い、ステップＳ１０１０において、圧縮・伸張処理を行った画像信号の記録媒体３１４への書き込みを行う記録処理を開始する。
そして、ステップＳ１０１１において、全体制御演算部３１１は、記録処理を終了するか否かを判定する。この判定の結果、記録処理を終了する場合には、図１０のフローチャートによる処理を終了する。
【００４３】
一方、記録処理を終了しない場合には、ステップＳ１０１２に進む。ステップＳ１０１２に進むと、全体制御演算部３１１は、全体制御演算部３１１の内部メモリであるメモリ部３１６に格納されているゲイン設定値Ｇが、同じくメモリ部３１６に格納されている閾値ＧThを超えているか否かを判定する。この判定の結果、ゲイン設定値Ｇが閾値ＧThを超えていれば、ステップＳ１０１３へ進む。一方、ゲイン設定値Ｇが閾値ＧThを超えていなければ、ステップＳ１０１４に進む。
【００４４】
ステップＳ１０１３に進むと、全体制御演算部３１１は、現状の駆動モードが駆動モードＢであればそのままの駆動モードとし、現状の駆動モードが駆動モードＡであれば駆動モードＢへと駆動モードを切り替える。一方、ステップＳ１０１４に進むと、全体制御演算部３１１は、現状の駆動モードが駆動モードＡであればそのままの駆動モードとし、現状の駆動モードが駆動モードＢであれば駆動モードＡへと駆動モードを切り替える。以上のようにステップＳ１０１３、１０１４にて駆動モードを切り換えた後、ステップＳ１００６へ進む。
ステップＳ１００６に進むと、全体制御演算部３１１は、図４のステップＳ４０６と同様にして、絞り値（Ａｖ値）、シャッタ速度（Ｔｖ値）を決定する。そして、全体制御演算部３１１は、そのシャッタ速度に応じて、電荷の蓄積時間を決定し、決定した蓄積時間を、全体制御演算部３１１の内部メモリであるメモリ部３１６に記憶する。そして、前述したステップＳ１００７へ進む。
【００４５】
以上のように本実施形態では、撮像素子３０６における動画記録駆動を行うに際し、特にノイズ成分の目立つ高ゲイン設定時に、駆動モードＢで撮像素子３０６を駆動してダークノイズ補正処理を行う。一方、低ゲイン設定時には駆動モードＡで撮像素子３０６を駆動してダークノイズ補正を行わない。したがって、撮像装置の動作条件（動作設定）に応じて発生するノイズを補正することができ、高ゲイン設定時においても高い画質の動画像を得ることができる。また、撮像装置の消費電力の削減を実現することができる。
【００４６】
本実施形態では、カメラのＩＳＯ感度としてのゲイン設定値Ｇに応じて、駆動モードを切り換える場合を例に挙げて説明した。ゲイン設定値の代わりに、ガンマ設定に応じて駆動モードを切り換えるようにしてもよい。
図１１は、ガンマカーブ（ガンマ特性）の一例を示す図である。
図１１において、１１０１は、通常の明るさの被写体を撮影するモードにおいて画像処理の際に使用するガンマカーブである。一方、１１０２は、通常よりも暗い被写体を撮影するモードにおいて画像処理の際に使用するガンマカーブである。ガンマカーブ１１０２を使用する場合には、ガンマカーブ１１０１を使用する場合に比べ、画像処理時に付加されるゲインが大きくなるためノイズ特性が悪化する。そこでガンマカーブ１１０１を使用する場合には、駆動モードを駆動モードＡとし、ガンマカーブ１１０２を使用する場合には駆動モードを駆動モードＢとする。以上のように、ガンマ設定に応じて駆動モードを切り換えることで、相対的にノイズ特性が悪化するガンマカーブ１１０２を使用するような場合であっても、その後のダークノイズ補正処理を行うことで高い画質の動画像を実現することができる。このように、ガンマ値γが閾値を超えている場合には、駆動モードを駆動モードＢとし、そうでない場合には駆動モードを駆動モードＡとすることができる。
【００４７】
（第３の実施形態）
以下、本発明の第３の実施形態について説明する。本実施形態では、撮像素子３０６の駆動周波数設定値ｆが閾値ｆThを超えている場合に駆動モードＡで撮像素子３０６を駆動し、そうでない場合に駆動モードＢで撮像素子３０６を駆動する。このように本実施形態と、第１、第２の実施形態とでは、駆動モードを切り替える判断基準が主として異なる。よって、本実施形態の説明において、第１、第２の実施形態と同一の部分については図１〜図１２に付した符号と同一の符号を付す等して詳細な説明を省略する。
【００４８】
図１２のフローチャートを参照しながら、本実施形態の撮像装置の撮像シーケンスの一例を説明する。ここでは、動画記録モードでの撮像装置の動作の一例を示す。
図１２のステップＳ１２０１〜Ｓ１２０５、Ｓ１２０９〜Ｓ１２１３は、図４のステップＳ４０１〜Ｓ４０５、Ｓ４０７〜Ｓ４１１及び図１０のステップＳ１００１〜Ｓ１００５、Ｓ１００７〜Ｓ１０１１と同じである。
すなわち、ステップＳ１２０１において、全体制御演算部３１１は、初期設定を行う。このときの駆動モードは駆動モードＡである。次に、全体制御演算部３１１は、ステップＳ１２０２において、シャッタスイッチＳＷ１がＯＮであると判定すると、ステップＳ１２０３において、測距処理と測光処理を行い、ステップＳ１２０４において、電荷の蓄積時間を決定する。
【００４９】
次に、全体制御演算部３１１は、ステップＳ１２０５において、シャッタスイッチＳＷ２がＯＮであると判定すると、ステップＳ１２０９において、撮像素子３０６に蓄積した信号電荷の読み出しを指示する。これにより、撮像素子３０６に所定時間蓄積した信号電荷（撮像信号）が撮像信号処理回路３０８に送られる。次に、ステップＳ１２１０において、撮像信号処理回路３０８及び全体制御演算部３１１は、本撮影画像に対して、信号処理を行う。第１の実施形態と同様に、信号処理には、ダークノイズ補正処理、シェーディング補正処理、点キズ補正処理、ホワイトバランス積分演算処理、オプティカルブラック積分演算処理、及びスミア補正処理が含まれる。スミア補正の方法は第１の実施形態で説明したのと同じである。
【００５０】
次に、全体制御演算部３１１は、ステップＳ１２１１において、信号処理が行われた画像信号に対して圧縮・伸張処理を行い、ステップＳ１２１２において、圧縮・伸張処理を行った画像信号の記録媒体３１４への書き込みを行う記録処理を開始する。
そして、ステップＳ１２１３において、全体制御演算部３１１は、記録処理を終了するか否かを判定する。この判定の結果、記録処理を終了する場合には、図１２のフローチャートによる処理を終了する。
【００５１】
一方、記録処理を終了しない場合には、ステップＳ１２１４に進む。ステップＳ１２１４に進むと、全体制御演算部３１１は、全体制御演算部３１１の内部メモリであるメモリ部３１６に格納されている駆動周波数設定値ｆ（撮像素子３０６の駆動周波数の設定値）が閾値ｆThを下回っているか否かを判定する。この判定の結果、駆動周波数設定値ｆが閾値ｆThを下回っていれば、ステップＳ１２１５に進む。一方、駆動周波数設定値ｆが閾値ｆThを下回っていなければ、ステップＳ１２１６に進む。
【００５２】
ステップＳ１２１５に進むと、全体制御演算部３１１は、現状の駆動モードが駆動モードＢであればそのままの駆動モードとし、現状の駆動モードが駆動モードＡであれば駆動モードＢへと駆動モードを切り替える。一方、ステップＳ１２１６に進むと、全体制御演算部３１１は、現状の駆動モードが駆動モードＡであればそのままの駆動モードとし、現状の駆動モードが駆動モードＢであれば駆動モードＡへと駆動モードを切り替える。以上のようにステップＳ１２１５、Ｓ１２１６にて駆動モードを切り換えた後、ステップＳ１２０６へ進む。
【００５３】
ステップＳ１２０６に進むと、全体制御演算部３１１は、図４のステップＳ４０６と同様にして、絞り値（Ａｖ値）、シャッタ速度（Ｔｖ値）を決定する。そして、全体制御演算部３１１は、そのシャッタ速度に応じて、電荷の蓄積時間を決定し、決定した蓄積時間を、全体制御演算部３１１の内部メモリであるメモリ部３１６に記憶する。
【００５４】
次に、ステップＳ１２０７において、全体制御演算部３１１は、過去の複数フレームの画像と、直前に撮影された画像とを比較して動き検出を行う。すなわち、全体制御演算部３１１は、直前に撮影された画像の出力レベルの、過去の複数フレームの画像の出力レベルとの差分ΔＨを計算する。この差分ΔＨは、例えば、過去の４フレームの画像の出力レベルと、直前に撮影された画像の出力レベルのそれぞれとの差分の二乗の和として以下の（５）式により計算される。
【００５５】
ΔＨ＝Σ（ＩN（x,y）−ＩN-1（x,y））2＋Σ（ＩN（x,y）−ＩN-2（x,y））2＋Σ（ＩN（x,y）−ＩN-3（x,y））2＋Σ（IN（x,y）−ＩN-4（x,y））2 ・・・（５）
【００５６】
次に、ステップＳ１２０８において、全体制御演算部３１１は、ステップＳ１２０７で計算した値（差分ΔＨ）が所定の閾値ＨH以上であれば、被写体に大きな動きが有ると認識し、駆動周波数設定値ｆをｆH（ｆ＝ｆH）とする。また、差分ΔＨが、所定の閾値ＨH未満であり、且つ所定の閾値ＨL以上であれば、全体制御演算部３１１は、被写体に僅かに動きがあると認識し、駆動周波数設定値ｆをｆM（ｆ＝ｆM）とする。また、差分ΔＨが、所定の閾値ＨL未満であれば、全体制御演算部３１１は、被写体にほとんど動きがないと判断し、駆動周波数設定値ｆをｆL（ｆ＝ｆL）とする。ただし、ＨH＞ＨL、ｆH＞ｆM＞ｆLとする。以上のようにして駆動周波数設定値ｆを設定し直した後、前述したステップＳ１２０９へ進む。
【００５７】
以上のように本実施形態では、撮像素子３０６における動画記録駆動を行うに際し、特にノイズ成分の目立つ撮像素子３０６の駆動周波数が低い（フレームレートの低い）ときに、駆動モードＢで撮像素子３０６を駆動してダークノイズ補正処理を行う。一方、撮像素子３０６の駆動周波数が高い（フレームレートの高い）ときには駆動モードＡで撮像素子３０６を駆動してダークノイズ補正を行わない。したがって、撮像装置の動作条件（動作設定）に応じて発生するノイズを補正することができ、撮像素子３０６の駆動周波数によらずに、高い画質の動画像を得ることができる。
【００５８】
尚、前述した実施形態は、何れも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。
【００５９】
（その他の実施例）
本発明は、以下の処理を実行することによっても実現される。即ち、まず、以上の実施形態の機能を実現するソフトウェア（コンピュータプログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給する。そして、そのシステム或いは装置のコンピュータ（又はＣＰＵやＭＰＵ等）が当該コンピュータプログラムを読み出して実行する。
【符号の説明】
【００６０】
３０６ 撮像素子、３０８ 撮像信号処理回路、３１１ 全体制御演算部
【特許請求の範囲】
【請求項１】
２次元に配列された複数の画素と、前記画素にて露光された電荷に基づく信号を含む信号を転送する転送部と、を含む撮像素子を用いて少なくとも動画像を撮像する撮像装置であって、
前記画素に露光された電荷を読み出して前記転送部から転送することで撮像信号を得る第１の撮像動作と、前記画素に露光された電荷を読み出さずに前記転送部を空転送することでダミー信号を得る第２の撮像動作とが交互に行われるように、前記撮像素子を駆動する制御手段と、
前記第１の撮像動作により得られた撮像信号に含まれるノイズ成分を、前記第２の撮像動作により得られた、前記撮像信号に対応するダミー信号を用いて除去することによりダークノイズ補正を行う撮像信号処理手段と、を有することを特徴とする撮像装置。
【請求項２】
前記制御手段は、前記第１の撮像動作を繰り返し行って動画像の撮像を行う第１の動画記録モードと、前記第１の撮像動作と第２の撮像動作とを交互に行う第２の動画記録モードとの何れかを、前記撮像素子の動作条件または動作環境に応じて選択し、選択した動画記録モードで前記撮像素子を駆動し、
前記撮像信号処理手段は、前記第２の動画記録モードで前記撮像素子が駆動されると、前記第１の撮像動作により得られた撮像信号に含まれるノイズ成分を、前記第２の撮像動作により得られた、前記撮像信号に対応するダミー信号を用いて除去することによりダークノイズ補正を行うことを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記制御手段は、前記第１の動画記録モードと前記第２の動画記録モードとの何れかを、前記撮像素子の温度、前記撮像素子の駆動周波数、フレームレート、前記撮像素子のゲイン設定、又はガンマ値に応じて選択することを特徴とする請求項２に記載の撮像装置。
【請求項４】
前記撮像信号処理手段は、前記第２の動画記録モードで前記撮像素子が駆動されるときには、前記撮像信号に対しスミア補正を行わず、前記第１の動画記録モードで前記撮像素子が駆動されるときに、前記撮像信号に対しスミア補正を行うことを特徴とする請求項２又は３に記載の撮像装置。
【請求項５】
前記撮像信号処理手段は、前記第１の撮像動作により得られた撮像信号と、前記第２の撮像動作により得られたダミー信号とのそれぞれに対しスミア補正を行った後、当該スミア補正を行ったダミー信号を用いて、当該スミア補正を行った撮像信号からノイズ成分を除去することを特徴とする請求項２又は３に記載の撮像装置。
【請求項６】
前記撮像信号処理手段は、前記第１の撮像動作により得られた撮像信号に含まれるノイズ成分を、前記第２の撮像動作により得られた複数のダミー信号であって、当該撮像信号に対応するダミー信号と、当該ダミー信号よりも前に得られたダミー信号とを含む複数のダミー信号を加算したものを用いて除去することを特徴とする請求項１〜５の何れか１項に記載の撮像装置。
【請求項７】
前記撮像信号処理手段は、前記第１の撮像動作により得られた撮像信号に含まれるノイズ成分を、前記第２の撮像動作により得られた複数のダミー信号であって、当該撮像信号に対応するダミー信号と、当該ダミー信号よりも前に得られたダミー信号とを含む複数のダミー信号を、新しく得られたものほど重み付けを重くして加算したものを用いて除去することを特徴とする請求項１〜６の何れか１項に記載の撮像装置。
【請求項８】
前記撮像信号処理手段は、前記撮像信号の１フレームに対して、複数フレームの前記ダミー信号を用いる場合、当該撮像信号に対応するダミー信号を、当該複数フレームのダミー信号を加算する処理を行うことにより生成して、前記第１の撮像動作により得られた撮像信号に含まれるノイズ成分を除去することを特徴とする請求項１〜７の何れか１項に記載の撮像装置。
【請求項９】
２次元に配列された複数の画素と、前記画素にて露光された電荷に基づく信号を含む信号を転送する転送部と、を含む撮像素子を用いて少なくとも動画像を撮像する撮像装置の制御方法であって、
前記画素に露光された電荷を読み出して前記転送部から転送することで撮像信号を得る第１の撮像動作と、前記画素に露光された電荷を読み出さずに前記転送部を空転送することでダミー信号を得る第２の撮像動作とが交互に行われるように、前記撮像素子を駆動する制御工程と、
前記第１の撮像動作により得られた撮像信号に含まれるノイズ成分を、前記第２の撮像動作により得られた、前記撮像信号に対応するダミー信号を用いて除去することによりダークノイズ補正を行う撮像信号処理工程と、を有することを特徴とする撮像装置の制御方法。
【請求項１０】
前記制御工程は、前記第１の撮像動作を繰り返し行って動画像の撮像を行う第１の動画記録モードと、前記第１の撮像動作と第２の撮像動作とを交互に行う第２の動画記録モードとの何れかを、前記撮像素子の動作条件または動作環境に応じて選択し、選択した動画記録モードで前記撮像素子を駆動し、
前記撮像信号処理工程は、前記第２の動画記録モードで前記撮像素子が駆動されると、前記第１の撮像動作により得られた撮像信号に含まれるノイズ成分を、前記第２の撮像動作により得られた、前記撮像信号に対応するダミー信号を用いて除去することによりダークノイズ補正を行うことを特徴とする請求項９に記載の撮像装置の制御方法。
【請求項１１】
前記制御工程は、前記第１の動画記録モードと前記第２の動画記録モードとの何れかを、前記撮像素子の温度、前記撮像素子の駆動周波数、フレームレート、前記撮像素子のゲイン設定、又はガンマ値に応じて選択することを特徴とする請求項１０に記載の撮像装置の制御方法。
【請求項１２】
前記撮像信号処理工程は、前記第２の動画記録モードで前記撮像素子が駆動されるときには、前記撮像信号に対しスミア補正を行わず、前記第１の動画記録モードで前記撮像素子が駆動されるときに、前記撮像信号に対しスミア補正を行うことを特徴とする請求項１０又は１１に記載の撮像装置の制御方法。
【請求項１３】
前記撮像信号処理工程は、前記第１の撮像動作により得られた撮像信号と、前記第２の撮像動作により得られたダミー信号とのそれぞれに対しスミア補正を行った後、当該スミア補正を行ったダミー信号を用いて、当該スミア補正を行った撮像信号からノイズ成分を除去することを特徴とする請求項１０又は１１に記載の撮像装置の制御方法。
【請求項１４】
前記撮像信号処理工程は、前記第１の撮像動作により得られた撮像信号に含まれるノイズ成分を、前記第２の撮像動作により得られた複数のダミー信号であって、当該撮像信号に対応するダミー信号と、当該ダミー信号よりも前に得られたダミー信号とを含む複数のダミー信号を加算したものを用いて除去することを特徴とする請求項９〜１３の何れか１項に記載の撮像装置の制御方法。
【請求項１５】
前記撮像信号処理工程は、前記第１の撮像動作により得られた撮像信号に含まれるノイズ成分を、前記第２の撮像動作により得られた複数のダミー信号であって、当該撮像信号に対応するダミー信号と、当該ダミー信号よりも前に得られたダミー信号とを含む複数のダミー信号を、新しく得られたものほど重み付けを重くして加算したものを用いて除去することを特徴とする請求項９〜１４の何れか１項に記載の撮像装置の制御方法。
【請求項１６】
前記撮像信号処理工程は、前記撮像信号の１フレームに対して、複数フレームの前記ダミー信号を用いる場合、当該撮像信号に対応するダミー信号を、当該複数フレームのダミー信号を加算する処理を行うことにより生成して、前記第１の撮像動作により得られた撮像信号に含まれるノイズ成分を除去することを特徴とする請求項９〜１５の何れか１項に記載の撮像装置の制御方法。
【請求項１】
２次元に配列された複数の画素と、前記画素にて露光された電荷に基づく信号を含む信号を転送する転送部と、を含む撮像素子を用いて少なくとも動画像を撮像する撮像装置であって、
前記画素に露光された電荷を読み出して前記転送部から転送することで撮像信号を得る第１の撮像動作と、前記画素に露光された電荷を読み出さずに前記転送部を空転送することでダミー信号を得る第２の撮像動作とが交互に行われるように、前記撮像素子を駆動する制御手段と、
前記第１の撮像動作により得られた撮像信号に含まれるノイズ成分を、前記第２の撮像動作により得られた、前記撮像信号に対応するダミー信号を用いて除去することによりダークノイズ補正を行う撮像信号処理手段と、を有することを特徴とする撮像装置。
【請求項２】
前記制御手段は、前記第１の撮像動作を繰り返し行って動画像の撮像を行う第１の動画記録モードと、前記第１の撮像動作と第２の撮像動作とを交互に行う第２の動画記録モードとの何れかを、前記撮像素子の動作条件または動作環境に応じて選択し、選択した動画記録モードで前記撮像素子を駆動し、
前記撮像信号処理手段は、前記第２の動画記録モードで前記撮像素子が駆動されると、前記第１の撮像動作により得られた撮像信号に含まれるノイズ成分を、前記第２の撮像動作により得られた、前記撮像信号に対応するダミー信号を用いて除去することによりダークノイズ補正を行うことを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記制御手段は、前記第１の動画記録モードと前記第２の動画記録モードとの何れかを、前記撮像素子の温度、前記撮像素子の駆動周波数、フレームレート、前記撮像素子のゲイン設定、又はガンマ値に応じて選択することを特徴とする請求項２に記載の撮像装置。
【請求項４】
前記撮像信号処理手段は、前記第２の動画記録モードで前記撮像素子が駆動されるときには、前記撮像信号に対しスミア補正を行わず、前記第１の動画記録モードで前記撮像素子が駆動されるときに、前記撮像信号に対しスミア補正を行うことを特徴とする請求項２又は３に記載の撮像装置。
【請求項５】
前記撮像信号処理手段は、前記第１の撮像動作により得られた撮像信号と、前記第２の撮像動作により得られたダミー信号とのそれぞれに対しスミア補正を行った後、当該スミア補正を行ったダミー信号を用いて、当該スミア補正を行った撮像信号からノイズ成分を除去することを特徴とする請求項２又は３に記載の撮像装置。
【請求項６】
前記撮像信号処理手段は、前記第１の撮像動作により得られた撮像信号に含まれるノイズ成分を、前記第２の撮像動作により得られた複数のダミー信号であって、当該撮像信号に対応するダミー信号と、当該ダミー信号よりも前に得られたダミー信号とを含む複数のダミー信号を加算したものを用いて除去することを特徴とする請求項１〜５の何れか１項に記載の撮像装置。
【請求項７】
前記撮像信号処理手段は、前記第１の撮像動作により得られた撮像信号に含まれるノイズ成分を、前記第２の撮像動作により得られた複数のダミー信号であって、当該撮像信号に対応するダミー信号と、当該ダミー信号よりも前に得られたダミー信号とを含む複数のダミー信号を、新しく得られたものほど重み付けを重くして加算したものを用いて除去することを特徴とする請求項１〜６の何れか１項に記載の撮像装置。
【請求項８】
前記撮像信号処理手段は、前記撮像信号の１フレームに対して、複数フレームの前記ダミー信号を用いる場合、当該撮像信号に対応するダミー信号を、当該複数フレームのダミー信号を加算する処理を行うことにより生成して、前記第１の撮像動作により得られた撮像信号に含まれるノイズ成分を除去することを特徴とする請求項１〜７の何れか１項に記載の撮像装置。
【請求項９】
２次元に配列された複数の画素と、前記画素にて露光された電荷に基づく信号を含む信号を転送する転送部と、を含む撮像素子を用いて少なくとも動画像を撮像する撮像装置の制御方法であって、
前記画素に露光された電荷を読み出して前記転送部から転送することで撮像信号を得る第１の撮像動作と、前記画素に露光された電荷を読み出さずに前記転送部を空転送することでダミー信号を得る第２の撮像動作とが交互に行われるように、前記撮像素子を駆動する制御工程と、
前記第１の撮像動作により得られた撮像信号に含まれるノイズ成分を、前記第２の撮像動作により得られた、前記撮像信号に対応するダミー信号を用いて除去することによりダークノイズ補正を行う撮像信号処理工程と、を有することを特徴とする撮像装置の制御方法。
【請求項１０】
前記制御工程は、前記第１の撮像動作を繰り返し行って動画像の撮像を行う第１の動画記録モードと、前記第１の撮像動作と第２の撮像動作とを交互に行う第２の動画記録モードとの何れかを、前記撮像素子の動作条件または動作環境に応じて選択し、選択した動画記録モードで前記撮像素子を駆動し、
前記撮像信号処理工程は、前記第２の動画記録モードで前記撮像素子が駆動されると、前記第１の撮像動作により得られた撮像信号に含まれるノイズ成分を、前記第２の撮像動作により得られた、前記撮像信号に対応するダミー信号を用いて除去することによりダークノイズ補正を行うことを特徴とする請求項９に記載の撮像装置の制御方法。
【請求項１１】
前記制御工程は、前記第１の動画記録モードと前記第２の動画記録モードとの何れかを、前記撮像素子の温度、前記撮像素子の駆動周波数、フレームレート、前記撮像素子のゲイン設定、又はガンマ値に応じて選択することを特徴とする請求項１０に記載の撮像装置の制御方法。
【請求項１２】
前記撮像信号処理工程は、前記第２の動画記録モードで前記撮像素子が駆動されるときには、前記撮像信号に対しスミア補正を行わず、前記第１の動画記録モードで前記撮像素子が駆動されるときに、前記撮像信号に対しスミア補正を行うことを特徴とする請求項１０又は１１に記載の撮像装置の制御方法。
【請求項１３】
前記撮像信号処理工程は、前記第１の撮像動作により得られた撮像信号と、前記第２の撮像動作により得られたダミー信号とのそれぞれに対しスミア補正を行った後、当該スミア補正を行ったダミー信号を用いて、当該スミア補正を行った撮像信号からノイズ成分を除去することを特徴とする請求項１０又は１１に記載の撮像装置の制御方法。
【請求項１４】
前記撮像信号処理工程は、前記第１の撮像動作により得られた撮像信号に含まれるノイズ成分を、前記第２の撮像動作により得られた複数のダミー信号であって、当該撮像信号に対応するダミー信号と、当該ダミー信号よりも前に得られたダミー信号とを含む複数のダミー信号を加算したものを用いて除去することを特徴とする請求項９〜１３の何れか１項に記載の撮像装置の制御方法。
【請求項１５】
前記撮像信号処理工程は、前記第１の撮像動作により得られた撮像信号に含まれるノイズ成分を、前記第２の撮像動作により得られた複数のダミー信号であって、当該撮像信号に対応するダミー信号と、当該ダミー信号よりも前に得られたダミー信号とを含む複数のダミー信号を、新しく得られたものほど重み付けを重くして加算したものを用いて除去することを特徴とする請求項９〜１４の何れか１項に記載の撮像装置の制御方法。
【請求項１６】
前記撮像信号処理工程は、前記撮像信号の１フレームに対して、複数フレームの前記ダミー信号を用いる場合、当該撮像信号に対応するダミー信号を、当該複数フレームのダミー信号を加算する処理を行うことにより生成して、前記第１の撮像動作により得られた撮像信号に含まれるノイズ成分を除去することを特徴とする請求項９〜１５の何れか１項に記載の撮像装置の制御方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【公開番号】特開２０１３−９０１０６（Ｐ２０１３−９０１０６Ａ）
【公開日】平成２５年５月１３日（２０１３．５．１３）
【国際特許分類】
【出願番号】特願２０１１−２２８１２５（Ｐ２０１１−２２８１２５）
【出願日】平成２３年１０月１７日（２０１１．１０．１７）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
【公開日】平成２５年５月１３日（２０１３．５．１３）
【国際特許分類】
【出願日】平成２３年１０月１７日（２０１１．１０．１７）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
[ Back to top ]