撮像装置、撮像装置の制御方法、及びコンピュータプログラム
【課題】 撮像される画像の画質の劣化を正確に検出する。
【解決手段】 １フレーム内において、通常のライブビュー表示用の画像を得る為の出力動作とは別に、当該画像の画素信号の読み出しを行っていないフレーム調整期間に、画質劣化検出用データを取得する。そして、この画質劣化検出用データを用いて、次に撮像される静止画像の画質の劣化を検出する。
【解決手段】 １フレーム内において、通常のライブビュー表示用の画像を得る為の出力動作とは別に、当該画像の画素信号の読み出しを行っていないフレーム調整期間に、画質劣化検出用データを取得する。そして、この画質劣化検出用データを用いて、次に撮像される静止画像の画質の劣化を検出する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置、撮像装置の制御方法、及びコンピュータプログラムに関し、特に、撮像された画像の画質の劣化を検出するために用いて好適なものである。
【背景技術】
【０００２】
近年、ＣＣＤやＣＭＯＳセンサ等の撮像素子を使用したディジタルカメラやビデオカメラ等の撮像装置が普及している。
このような撮像装置として、静止画像を記録する静止画撮影モードと、撮像動作を繰り返して表示又は記録する撮影モード（いわゆる動画撮影モード）とを切り替えて、各撮影モードを併用できるものも増えてきている。
【０００３】
近年は、撮像装置の操作性の向上のため、ライブビュー機能を備えた撮像装置も一般化してきている。ライブビュー機能は、動画撮影モードを使用して、得られた画像を繰り返し表示し、被写体を確認することができるようにする機能である。
動画像の撮影の動作時間が長くなったり、ライブビューの動作時間が長くなったりすると、撮像素子等のカメラ内部のデバイスが発熱し、カメラの内部温度が上昇する。カメラの内部温度の上昇により撮像素子においては、暗電流ノイズ等のノイズ量が増大し、このノイズにより画質の低下を招くという課題がある。
【０００４】
この課題に対して、特許文献１では、温度センサを用いて撮像素子の温度を検出し、検出した温度情報に基づいて画質の劣化を予測し、ライブビュー動作の制限又は警告を行う撮像装置が提案されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００９−０３３５０８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、特許文献１に記載の技術のように、温度センサを用いて画質の劣化の予測を行う場合、撮像素子に近接させて温度センサを配置する必要がある。また、温度センサの検出バラツキを考慮して、画質の劣化を予測する必要がある。このため、実際の画質の劣化よりも早いタイミングで、ライブビューの動作の制限又は警告を行う必要がある。
【０００７】
また、デジタル一眼レフカメラに搭載されているような、大型の撮像素子においては、撮像素子の内部の回路レイアウト等により、撮像素子の温度分布が一様とならない場合が多い。したがって、撮像素子の温度の検出結果に基づいて画質の劣化を正確に検出するためには、撮像素子全体の温度分布を正確に把握する必要がある。
したがって、特許文献１に記載の技術のように温度センサを用いて撮像素子の温度分布を正確に検出するためには、複数の温度センサを撮像素子に近接させて配置する必要がある。このため、部品点数の増加や、温度センサを配置するスペースの確保という課題があった。また、複数の温度センサを用いて、撮像素子の近傍の温度分布を測定した場合であっても、その温度分布は撮像素子自体の温度分布ではない。よって、その温度分布を用いて画質の劣化を予測したとしても、画質の劣化の正確な予測が困難であるという課題がある。
【０００８】
また、このような課題に対しては、撮像した画像に基づいて画質の劣化を検出することが考えられる。被写体が撮像されている画像では、精度の高い画質の劣化の予測をすることは困難であるため、暗出力を取得する必要がある。しかしながら、動画像等の連続動作の状態で暗出力を出す為にメカニカルなシャッターを閉じることは困難である。よって、撮像素子内で光学的に遮光されているオプティカルブラック部等の一部の領域のみの暗出力しか得ることができず、撮像素子全体の画質の劣化を予測することは困難であった。
【０００９】
本発明は、以上の問題点に鑑みてなされたものであり、撮像される画像の画質の劣化を正確に検出することを目的とする。
具体的には、例えば、動画像又はライブビュー画像の撮影中に、その直後に撮像される静止画像の画質の劣化を正確に検出することを目的とする。
また、例えば、動画像の撮影の際に、撮像素子全体において動画像の画質の劣化を正確に検出することを目的とする。
【課題を解決するための手段】
【００１０】
本発明の撮像装置は、光電変換素子を有する画素であって、二次元に配置された複数の画素と、前記光電変換素子で光電変換された電荷を読み出し、読み出した電荷に基づく動画像またはライブビュー画像を出力する出力手段と、前記光電変換素子で光電変換された電荷とは異なる電荷を、前記複数の画素の少なくとも一部から読み出し、読み出した電荷に基づく画質劣化検出用データを取得する取得手段と、前記取得手段により取得された画質劣化検出用データを用いて、画質の劣化を検出する検出手段と、を有し、前記取得手段は、前記出力手段により出力される動画像またはライブビュー画像の１フレーム期間のうち、少なくとも、前記動画像またはライブビュー画像を得るための電荷の読み出しを行っていないフレーム調整期間に、前記光電変換素子で光電変換された電荷とは異なる電荷を、前記複数の画素の少なくとも一部から読み出すことを特徴とする。
【発明の効果】
【００１１】
本発明によれば、撮像される画像の画質の劣化を正確に検出することができる。
【図面の簡単な説明】
【００１２】
【図１】撮像装置の全体構成を示す図である。
【図２】撮像素子の概略構成を示す図である。
【図３】撮像素子の単位画素の回路を示す図である。
【図４】撮像素子の全体レイアウトを示す図である。
【図５】ライブビュー動作時の撮像素子の動作を示すタイミングチャートである。
【図６】ライブビュー動作時の撮像素子の１行の動作を示すタイミングチャートである。
【図７】画質劣化検出用データの取得を行う際の撮像素子の動作の第１の例を示すタイミングチャートである。
【図８】画質劣化検出用データの取得を行う際の撮像素子の動作の第２の例を示すタイミングチャートである。
【図９】各出力モードにおける撮像素子の動作を示すタイミングチャートである。
【図１０】画質劣化検出用データの取得を行う際の撮像素子の動作の第３の例を示すタイミングチャートである。
【図１１】画質劣化検出用データの取得単位である画素領域を示す図である。
【図１２】動画撮影時の電子ズーム領域と、画質劣化検出用データを取得する画素領域を示す図である。
【発明を実施するための形態】
【００１３】
以下に、図面を参照しながら、本発明の実施形態を説明する。
（第１の実施形態）
まず、本発明の第１の実施形態を説明する。
図１は、撮像装置の全体構成の一例を示す図である。
図１において、撮影用レンズ１１０には不図示のモータが備えられている。後述するＡＦ１４２の処理結果に応じて、当該モータを駆動して、撮影用レンズ１１０の焦点を合わせる機構が撮像装置に備えられている。
【００１４】
レンズ制御部１１１は、撮影用レンズ１１０からの情報をシステム制御回路１５０に伝達すると共に、撮影用レンズ１１０の動作の制御を行う。
レンズ制御部１１１は、制御信号発生手段を含んでいる。撮影用レンズ１１０の焦点を調整する動作等のモータ駆動は、当該制御信号発生手段で得られるパルス信号によって行われる。
シャッター１１２は、撮像素子１１４の露光量を制御する。シャッター１１２は、周知のメカニカルなシャッターでも、電気的に遮光することの出来る液晶シャッター等でもよい。
【００１５】
撮像素子１１４は、光学像を電気信号に変換する。本実施形態では、撮像素子１１４として、例えばＣＭＯＳ撮像素子を使用している。撮像素子１１４の内部構成は、図３を参照しながら後述する。
ＬＰＦ１１５は、撮影用レンズ１１０を透過してきた光の余分な波長（色再現に影響する不要となる波長）をカットするためのローパスフィルタである。ＬＰＦ１１５は、撮影用レンズ１１０と撮像素子１１４との間に配設されている。
【００１６】
ＡＦＥ１１６は、撮像素子１１４から出力されるアナログ信号をデジタル信号に変換するＡ／Ｄ変換器と、クランプ回路（オフセット調整回路）と、Ｄ／Ａ変換器と、を含むアナログ・フロント・エンド回路である。
ＤＦＥ１１７は、各画素からＡＦＥ１１６を介して出力されたデジタル信号を入力し、当該デジタル信号に対して、補正や並び替え等のデジタル処理を行うデジタル・フロント・エンド回路である。ＤＦＥ１１７は、必要に応じて、後述するメモリ１５２や不揮発性メモリ１５６に格納されている補正データを取得し、当該補正データを、デジタル信号の補正処理に使用する。
【００１７】
ＴＧ１１８は、撮像素子１１４、ＡＦＥ１１６、及びＤＦＥ１１７にクロック信号や制御信号を供給するタイミング発生回路である。ＴＧ１１８は、システム制御回路１５０によって制御される。ＴＧ１１８は、細かくは、複数の系統の基準信号ＴＧsig1、ＴＧsig2を発生できるＴＧ（１）１１８ａ、ＴＧ（２）１１８ｂを備えている。ライブビュー画像の出力時には、撮影画像の表示領域には、ＴＧ（１）１１８ａにて生成される基準信号ＴＧsig1より駆動信号が供給される。ライブビュー画像の出力中の画質劣化検出用データの取得時には、ＴＧ（２）１１８ｂにて生成される基準信号ＴＧsig2より駆動信号が供給される。すなわち、本実施形態の撮像装置では、ＴＧ１１８の動作によって、ライブビュー画像を得る第１の出力モードと、画質劣化検出用データを取得する第２の出力モードとを切り替えることが可能である。
【００１８】
画像処理回路１２０は、ＤＦＥ１１７からのデータ、或いはメモリ制御回路１２２からのデータに対して、所定の画素補間処理や色変換処理を行う。画像処理回路１２０は、必要に応じて、撮像した画像データを用いて所定の演算処理を行う。
メモリ制御回路１２２は、ＡＦＥ１１６、ＤＦＥ１１７、ＴＧ１１８、画像処理回路１２０、画像表示メモリ１２４、及びメモリ１３０を制御する。
ＤＦＥ１１７からのデータは、画像処理回路１２０及びメモリ制御回路１２２を介して、或いは、メモリ制御回路１２２を介して、画像表示メモリ１２４或いはメモリ１３０に書き込まれる。
【００１９】
画像処理回路１２０は、撮像素子１１４から出力される電荷信号に対し、後述するメモリ１５２に格納された補正データ等を元に補正をかけると共に、各出力信号に対してカラー変換等の現像処理を行って画像化するものである。
また、本実施形態における画像処理回路１２０は、データ演算部１２０ａを備え、画像から、焦点の検出と明るさの検出とを行うことができる。さらに、画像処理回路１２０は、データ演算部１２０ａで検出したデータに基づいて、システム制御回路１５０を介して、レンズ制御部１１１へ制御信号を送ることができる。この制御信号により撮影用レンズ１１０の焦点を調節する動作を行うことができる。
【００２０】
画像表示部１２８は、例えば、ＴＦＴ方式の液晶表示部を備える。ライブビュー画像の出力時及び動画像の撮影時には、画像表示部１２８の画面に連続的に画像が表示される。ユーザは、この画像を見ることにより、被写体の動きを確認することができる。
メモリ１３０は、撮影された静止画像や動画像を格納する。メモリ１３０は、所定枚数の静止画像や所定時間の動画像を格納するのに十分な記憶容量を有している。
シャッター制御部１４０は、シャッター１１２の動作を制御する。
【００２１】
ＡＦ１４２は、ＡＦ（オートフォーカス）処理を行うための測距手段であるところの測距制御部である。
ＡＥ１４６は、ＡＥ（自動露出）処理を行うための測光手段であるところの測光制御部である。フラッシュ部１４８は、暗時の撮影に使用され、閃光を発生させる。ＡＥ１４６は、フラッシュ部１４８と連携することにより、フラッシュ撮影機能も有する。
システム制御回路１５０は、画像処理装置全体を制御する。システム制御回路１５０は、ＣＰＵ等を内蔵する。
【００２２】
メモリ１５２は、システム制御回路１５０の動作用の変数や、プログラム等を記憶する。
不揮発性メモリ１５６には、後述するプログラム等が格納される。不揮発性メモリ１５６は、例えば、電気的に消去・記録が可能なフラッシュメモリ等により実現される。不揮発性メモリ１５６には、各種パラメータやＩＳＯ感度等の設定値、設定モード、及び各種補正データ等が格納される。
操作部１６０は、システム制御回路１５０への各種動作指示を入力するための各種のユーザインタフェースを備える。例えば、操作部１６０は、メインスイッチ（起動スイッチ）、シャッタースイッチ、及び撮影モード等の切り替えを行うためのモード設定ダイアル等を含む。操作部１６０に含まれるレリーズスイッチを押し込むことで２つのスイッチ（ＳＷ１、ＳＷ２）が段階的にＯＮされる。
【００２３】
レリーズスイッチの第一段階の操作（ＳＷ１ ＯＮ）で、ＡＦ（オートフォーカス）処理、ＡＥ（自動露出）処理、ＡＷＢ（オートホワイトバランス）処理、及びＥＦ（フラッシュ調光）処理等の動作が実施される。そして、第二段階の操作（ＳＷ２ ＯＮ）で、シャッター制御部１４０等の制御により、撮像素子１１４からの信号が、ＡＦＥ１１６、ＤＦＥ１１７、及びメモリ制御回路１２２を介して、メモリ１３０に画像データとして書き込まれ、露光処理が行われる。そして、画像処理回路１２０やメモリ制御回路１２２での演算に基づく現像処理と、メモリ１３０の画像データを圧縮して記録媒体１９０へ書き込む記録処理とが、一連の処理として開始する。
【００２４】
さらに、操作部１６０は、画像表示部１２８に被写体を連続的に表示するためのライブビュー動作スイッチと、各種撮影モードの切り替えを行うためのモード設定ダイアルと、単写／連写を切り替える単写／連写スイッチと、を含む。この他、操作部１６０は、連続的にＡＦ処理・レンズの焦点合わせ処理を繰り返し行うための連続測距動作設定スイッチ、撮影感度を設定するためのＩＳＯ感度設定スイッチ、及び各種システムに電源を供給するための電源スイッチ等を含む。
【００２５】
電源制御部１８２は、電源部１８６を制御するものであり、電池検出回路やＤＣ−ＤＣコンバータ等から構成されている。電源部１８６は、アルカリ電池やリチウム電池等の一次電池、ＮｉＣｄ電池・ＮｉＭＨ電池・Ｌｉ電池等の二次電池、又はＡＣアダプタ等からなる電源部である。
記録媒体１９０は、メモリカードやハードディスク等の着脱可能な記録媒体である。
【００２６】
次に、撮像素子１１４（ＣＭＯＳ撮像素子）の構成の一例について、図２〜図４を用いて説明する。
図２は、撮像素子１１４の概略構成の一例を示す図である。撮像素子１１４は、画素が遮光されているＨＯＢ領域（水平オプティカルブラック領域）５１と、ＨＯＢ領域５１と同様に画素が遮光されているＶＯＢ領域（垂直オプティカルブラック領域）５２と、通常の遮光されていない画素エリアである有効部５３とを有する。本実施形態では、画質の劣化の検出にあたっては、ＶＯＢ領域５２の出力を用いる。
【００２７】
図３は、撮像素子１１４の単位画素６０（１画素分）の回路の一例を示す図である。
フォトダイオード６１は、光電変換素子の一例である。フォトダイオード６１は、撮影用レンズ１１０によって結像された光画像を受けて電荷を発生し（光電変換し）蓄積する。以下の説明では、フォトダイオード６１を必要に応じてＰＤ６１と称する。転送スイッチ６２は、ＭＯＳトランジスタで構成されている。以下の説明では、転送スイッチ６２を必要に応じてＴＸ６２と称する。フローティングディフージョン６４は、コンデンサになっている。以下の説明では、フローティングディフージョン６４を必要に応じてＦＤ６４と称する。ＰＤ６１で蓄積された電荷は、ＴＸ６２の動作によりＦＤ６４に転送されて電圧に変換され、アンプ６５からソースフォロワで画素信号として出力される。行選択スイッチ６６は、垂直出力線６７に画素信号が出力される際に動作する。リセットスイッチ６３は、ＦＤ６４やＰＤ６１の電位をリセットする。リセットスイッチ６３、アンプ６５、及び行選択スイッチ６６は、ＭＯＳトランジスタで構成されている。
【００２８】
図４は、撮像素子１１４の全体レイアウトの一例を示す図である。
図４に示す例では、図３に示した単位画素６０が、二次元のマトリックス状に配置（画素６０（１,１）〜６０（ｎ,ｍ））される構成となっている。
各単位画素６０の蓄積制御は、垂直選択手段であるところの垂直走査回路７７ａ又は７７ｂからの信号により行われる。本実施形態では、垂直走査回路７７ａ、７７ｂはシフトレジスタで構成されている。
【００２９】
垂直走査回路７７ａ、７７ｂの基準となる信号は、ＴＧ１１８より送られてくる基準信号ＴＧsig1、ＴＧsig2である。
画素の水平１ライン毎に、垂直走査回路７７ａ、７７ｂの何れの信号を制御信号として使用するかを設定するのが各水平ラインの制御線である。制御線は、ＴＸ６２を制御する電荷転送制御線ＴＸ、リセット制御線ＲＥＳ、及び行選択制御線ＳＥＬを含む。電荷転送制御線ＴＸには、スイッチ群ＳＷｔ＿x＿１、ＳＷｔ＿x＿２が接続されている。リセット制御線ＲＥＳには、スイッチ群ＳＷｒ＿x＿１、ＳＷｒ＿x＿２が接続されている。行選択制御線ＳＥＬには、スイッチ群ＳＷｓ＿x＿１又は、ＳＷｓ＿x＿２が接続されている。ここで、ｘは、１〜ｎである（ｎは２以上の整数であり二次元マトリックスの行数である）。
【００３０】
スイッチ群ＳＷｔ＿x＿１、ＳＷｒ＿x＿１、ＳＷｓ＿x＿１がＯＮしている（閉じている）場合には、スイッチ群ＳＷｔ＿x＿２、ＳＷｒ＿x＿２、ＳＷｓ＿x＿２がＯＦＦのとなり、垂直走査回路７７ａの制御信号（基準信号ＴＧsig1）で動作する。また、スイッチ群ＳＷｔ＿x＿２、ＳＷｒ＿x＿２、ＳＷｓ＿x＿２がＯＮしている場合には、スイッチ群ＳＷｔ＿x＿1、ＳＷｒ＿x＿1、ＳＷｓ＿x＿１がＯＦＦとなり、垂直走査回路７７ｂの制御信号（基準信号ＴＧsig2）で動作する。
【００３１】
尚、スイッチ群ＳＷｔ＿x＿１、ＳＷｒ＿x＿１、ＳＷｓ＿x＿１と、スイッチ群ＳＷｔ＿x＿２、ＳＷｒ＿x＿２、ＳＷｓ＿x＿２のＯＮ／ＯＦＦの設定は、システム制御回路１５０からの信号によってなされる。スイッチ群ＳＷｔ＿x＿1、ＳＷｒ＿x＿1、ＳＷｓ＿x＿１とスイッチ群ＳＷｔ＿x＿２、ＳＷｒ＿x＿２、ＳＷｓ＿x＿２のうち、何れかのスイッチ群しかＯＮしない構成となっている。
【００３２】
垂直走査回路７７ａからの信号は、転送スイッチ６２の制御信号φＴＸａと、リセットスイッチ６３の制御信号φＲＥＳａと、及び行選択スイッチ６６の制御信号φＳＥＬａとを含む。転送スイッチ６２の制御信号φＴＸａは、スイッチ群ＳＷｔ＿x＿１を介して各画素６０に出力される。リセットスイッチ６３の制御信号φＲＥＳａは、スイッチ群ＳＷｒ＿x＿１を介して各画素６０に出力される。行選択スイッチ６６の制御信号φＳＥＬａは、スイッチ群ＳＷｓ＿x＿１を介して各画素６０に出力される。
【００３３】
一方、垂直走査回路７７ｂからの信号は、転送スイッチ６２の制御信号φＴＸｂと、リセットスイッチ６３の制御信号φＲＥＳｂと、行選択スイッチ６６の制御信号φＳＥＬｂとを含む。転送スイッチ６２の制御信号φＴＸｂは、スイッチ群ＳＷｔ＿x＿２を介して各画素に出力される。リセットスイッチ６３の制御信号φＲＥＳｂは、スイッチ群ＳＷｒ＿x＿２を介して各画素に出力される。行選択スイッチ６６の制御信号φＳＥＬｂは、スイッチ群ＳＷｓ＿x＿２を介して各画素６０に出力される。
【００３４】
また、垂直出力線６７（ｙ）は、垂直方向に配置されている画素に接続されている。ここで、ｙは、１〜ｍである（ｍは２以上の整数であり二次元マトリックスの列数である）。
垂直出力線６７（ｙ）は、１ライン毎に、Ｓ−Ｎ回路７５ａ又は７５ｂに接続されている。Ｓ−Ｎ回路７５ａ、７５ｂ（７５（１）〜７５（ｍ））の出力の選択等の制御は水平走査回路７６ａ、７６ｂにより行われる。Ｓ−Ｎ回路７５ａ、７５ｂには、不図示の読み出し信号ΦＰＴＮ、ΦＰＴＳが供給される。Ｓ−Ｎ回路７５ａ、７５ｂは、この読み出し信号ΦＰＴＮ、ΦＰＴＳに基づいて、各々の画素６０の信号成分とノイズ成分とを読み出して、差動動作を行い出力アンプ７４ａ、７４ｂへ出力する。出力アンプ７４ａ、７４ｂは、不図示の電流切り替え回路を用いて、駆動能力を変更することが可能である。
【００３５】
水平選択手段であるところの水平走査回路７６ａ、７６ｂには、ＴＧ（１）１１８ａで生成された基準信号ＴＧsig1、又はＴＧ（２）１１８ｂで生成された基準信号ＴＧsig2に伴う信号が送られる。水平走査回路７６ａ、７６ｂは、各々の出力に対応した駆動信号を個別に送ることが出来る。
本実施形態では、水平走査回路７６ａ、７６ｂは、垂直走査回路７７ａ、７７ｂと同様にシフトレジスタで構成されている。
【００３６】
また、画質劣化検出用データの出力時には、垂直走査回路７７ａ、７７ｂ及び水平走査回路７６ａ、７６ｂにより、全ての画素領域ではなく、画質の劣化の検出に用いる所望の一部の画素領域のみから画素のデータ（画素値）の読み出しが行われる。すなわち、所望の画素領域のみに、垂直走査回路７７ａ、７７ｂ及び水平走査回路７６ａ、７６ｂが接続されるように駆動信号の制御が行われる。
【００３７】
本実施形態では、画質の劣化の検出時に使用される画素領域は、ＶＯＢ領域５２であり、例えば１、２行目の画素のデータが、画質劣化検出用データとして使用される。すなわち、ＶＯＢ領域５２である１、２行目の画素の選択時に、Ｓ−Ｎ回路７５（１）、７５（ｍ）等に送られる駆動信号は、基準信号ＴＧsig2を基準の信号として出力される。Ｓ−Ｎ回路７５からの出力は、出力アンプ７４ａ１、７４ａ２、７４ｂ１、７４ｂ２を介して後段の処理回路（ＡＦＥ１１６等）へ出力される。
出力アンプ７４は、４個の出力アンプ７４ａ１、７４ａ２、７４ｂ１、７４ｂ２を備え、出力経路に応じて、信号が振り分けられて出力される。
【００３８】
次に、図５を用いて、ライブビュー動作時における、撮像素子１１４のローリング蓄積動作の一例を説明する。図５は、ライブビュー動作時における撮像素子１１４の動作の概略の一例を説明するタイミングチャートである。
ライブビュー動作時には、１行毎の第１の出力（表示用画像出力）を得るための「リセット−蓄積−転送−読み出し」が行われる。これにより、垂直走査回路７７ａ、Ｓ−Ｎ回路７５、及び水平走査回路７６を用いて、ライブビュー動作時の表示用データであるライブビュー表示用データの１フレーム分の読み出しが行われる。その後、次のフレームのデータの取得開始までの時間として、撮像装置のシステムとして安定した連続動作をするために事前に定められた「フレームレート（例えば３０ｆｐｓ等）で動作するための調整期間」であるフレーム調整期間を設ける。このようにすることによって、所定のフレームレートにてライブビュー動作が行われる。
【００３９】
図６は、ライブビュー動作時の撮像素子１１４の１行の詳細な駆動の一例を説明するタイミングチャートである。図６を用いて、図５に示したライブビュー動作中の１行の駆動に対する詳細な動作タイミングの一例を説明する。
最初に、時間Ｔ０のタイミングで画素部のリセットが開始する。時間Ｔ０において、垂直走査回路７７ａは、リセットスイッチ６３を制御するリセット信号ΦＲＥＳａ（ｎ）と転送スイッチ６２を制御する転送信号ΦＴＸａ（ｎ）とをアクティブにする。これにより、ＰＤ６１及びＦＤ６４はリセットされた状態となる。
【００４０】
続いて、時間Ｔ１において、垂直走査回路７７ａは、転送信号ΦＴＸａ（ｎ）とリセット信号ΦＲＥＳａ（ｎ）とをオフする。この段階で、ＰＤ６１への電荷蓄積動作が開始する。
次に、電荷の読み出し直前の時間Ｔ２において、垂直走査回路７７ａは、リセット信号ΦＲＥＳａ（ｎ）をアクティブにし、時間Ｔ３において、リセット信号ΦＲＥＳａ（ｎ）をオフする。すなわち、時間Ｔ２〜Ｔ３の期間において、蓄積動作中にＦＤ６４に蓄積された暗電流（電荷）をリセットした状態とする。
続いて、時間Ｔ４において、垂直走査回路７７ａは、行選択スイッチ６６を制御する行選択信号ΦＳＥＬａ（ｎ）をアクティブにして、ＦＤ６４に蓄積された電荷を垂直出力線６７へ転送させる。
【００４１】
次に、時間Ｔ５〜Ｔ６の期間において、水平走査回路７６は、読み出し信号ΦＰＴＮ（ｎ）をアクティブにして、ＦＤ６４の電位をＳ−Ｎ回路７５へ出力し、ノイズ成分を読み出す。すなわち、光信号のないリセット状態での読み込みが行われる。
次に、時間Ｔ７〜Ｔ８の期間において、垂直走査回路７７ａは、転送信号ΦＴＸａ（ｎ）をアクティブにし、ＰＤ６１に蓄積された電荷をＦＤ６４へ転送させる。すなわち、時間Ｔ１〜Ｔ８の期間が撮像装置としての露光期間（電荷蓄積期間）となる。
【００４２】
続いて、時間Ｔ８〜Ｔ９の期間において、水平走査回路７６は、読み出し信号ΦＰＴＳ（ｎ）をアクティブにし、ＦＤ６４の電位をＳ−Ｎ回路７５へ出力し、信号成分を読み出す。すなわち、ＰＤ６１に蓄積され、ＦＤ６４に転送された光信号の読み込みが行われる。
次に、時間Ｔ１０において、垂直走査回路７７ａは、行選択信号ΦＳＥＬａ（ｎ）をオフすると同時に、水平走査回路７６は、Ｓ−Ｎ回路７５に対して制御信号を送信する。Ｓ−Ｎ回路７５は、光の蓄積電荷から、ＦＤ６４のリセット状態のノイズ分の出力を差し引いた信号を、出力アンプ７４へ出力する読み出す動作を順次開始する。
【００４３】
以上が動画像撮影モードにおける水平方向の一行分の蓄積−読み出し動作の一例である。以下同様に、次の対象の行について、リセット信号ΦＲＥＳａ（ｎ＋１）、転送信号ΦＴＸａ（ｎ＋１）、行選択信号ΦＳＥＬａ（ｎ＋１）、読み出し信号ΦＰＴＮ（ｎ＋１）、及び読み出し信号ΦＰＴＳ（ｎ＋１）を用いて前述した動作が行われる。
ここで、ライブビュー表示用の画像出力の取得時の駆動信号は、基準信号ＴＧsig1を基準の信号として出力される。
【００４４】
以上がライブビュー動作の基本動作となる。本実施形態では、ライブビュー動作中のフレーム調整期間を利用して、このフレーム調整期間内に収まる様に画質劣化検出用データの出力を得ることで、ライブビュー動作の直後に撮影される静止画像の画質の劣化を予測する。
【００４５】
次に、図７を用いて、画質劣化検出用データの取得動作の一例を説明する。図７は、画質劣化検出用データの取得を行う際の撮像素子１１４の動作の概略の一例を説明するタイミングチャートである。
まず、図５を用いて説明した様に、基準信号ＴＧsig1を基準の信号として用いてライブビュー表示用の画像の出力を得るための「リセット−蓄積−転送−読み出し」が行われる。すなわち、垂直走査回路７７ａ、Ｓ−Ｎ回路７５、及び水平走査回路７６を用いて、ライブビュー表示用の画像データの１フレーム分の読み出しが行われる。
【００４６】
次に、フレームレート調整期間内に、画質劣化検出用データを得る動作を行う。ここで、画質劣化検出用データのフレームの取得に際しては、基準信号ＴＧsig2が基準の信号として用いられる。画質劣化検出用データのデータ領域として、ＶＯＢ領域５２の一部、例えば１、２行目の画素領域が用いられる。すなわち、ＴＧ１１８から出力される基準信号ＴＧSig2を基に、まずは、１行目が選択される。そして、リセット−蓄積−転送−読み出しが行われる。すなわち、垂直走査回路７７ａ、Ｓ−Ｎ回路７５、及び水平走査回路７６を用いて、１行目の画質劣化検出用データが読み出される。
２行目についても１行目と同様の動作により、リセット−蓄積−転送−読み出しが行われる。以上により、画質劣化検出用データとして、ＶＯＢ領域５２の２行分のデータが取得される。
【００４７】
次に、基準信号ＴＧsig1を基準の信号として用いて、ライブビュー表示用の次のフレームの画像出力を得るための「リセット−蓄積−転送−読み出し」が行われる。すなわち、垂直走査回路７７ａ、Ｓ−Ｎ回路７５、及び水平走査回路７６を用いて、ライブビュー動作用のデータの１フレーム分の読み出しを行う。以上の動作は、所定のフレームレートにて繰り返され、ライブビュー表示用の画像データの出力と、画質劣化検出用データの出力とが行われる。
【００４８】
そして、取得した画質劣化検出用データを用いて、画質の劣化の度合いが判定される。例えば、画像処理回路１２０は、画質劣化検出用データの値の標準偏差の算出を行う。そして、画像処理回路１２０は、算出した標準偏差の値が所定値以上であるか否かを判定する。この判定の結果、標準偏差の値が所定値以上の場合は、画質が劣化していると判定する。画質が劣化していると判定された場合、画像処理回路１２０は、ライブビュー画像が表示されている画像表示部１２８の画面に、画質が劣化していることをユーザに知らせる為の警告表示を行う。また、このような警告表示を行う代わりに、画像処理回路１２０は、ライブビュー動作を終了させてもよい。
以上が、画質劣化検出用データの取得動作の一例である。
【００４９】
ここで、画質劣化検出用データとしては、直後に撮影される静止画像の画質の劣化を高精度に推測する必要がある。撮像装置の内部の温度上昇によって静止画像の画質の劣化が生じるのは、暗電流によるノイズ等のノイズ量が増大すること等に起因する。このとき、電荷の蓄積時間が増大するほど、暗電流によるノイズによって静止画像の画質の劣化が顕著となる。したがって、電荷の蓄積時間をできるだけ延ばした状態で画質劣化検出用データを取得することで、画質の劣化の検出精度を向上させる事が可能となる。
【００５０】
以上のように、本実施形態では、１フレーム内において、通常のライブビュー表示用の画像を得る為の出力動作とは別に、当該画像の画素信号の読み出しを行っていないフレーム調整期間に、画質劣化検出用データを取得する。そして、この画質劣化検出用データを用いて、直後に撮像される静止画像の画質の劣化を検出する。このとき、ＶＯＢ領域５２から画質劣化検出用データを取得する。このため、画像の露出条件とは独立で、フレーム調整期間内に収まる範囲で、電荷の蓄積時間を延ばす事ができる。よって、ライブビューの動作中に、その直後に撮像される静止画像の、撮像装置の内部温度の上昇等に伴う画質の劣化を正確に検出することができる。
ここで、画質の劣化の検出精度を向上させるために、電荷の蓄積時間以外の他の動作条件も通常のライブビュー表示用の画像を得る為の出力動作時の条件と異ならせても良い。例えば、画質の劣化が顕著となる高いＩＳＯ感度に設定して画質劣化検出用データを取得してもよい。また、画質の劣化は、電荷の蓄積期間中の撮像装置の内部の発熱量に影響される為、出力アンプ７４の駆動電流の大きさを、通常のライブビュー表示用の画像を得る為の出力動作時よりも大きな値に変更して、画質劣化検出用データを取得しても良い。
【００５１】
以上のように、本実施形態では、画質劣化検出用データの取得時の条件を、ライブビュー表示用のデータの取得時の条件と独立して変更することが可能である。よって、画質の劣化を検出するのに適した撮像装置の駆動条件を設定し、その駆動条件で撮像装置を駆動して画質劣化検出用データをすることで、画質の劣化の検出を、より高精度に行うことが可能となる。
【００５２】
本実施形態は、ライブビュー画像表示モードから静止画撮影モードに出力モードを切り替える場合に限られるものではない。記録メディアへ動画像を記録する動画撮影モードから静止画撮影モードに出力モードを切り替える場合においても同様に適用することができる。
また、不図示の温度センサからの出力を用いて、撮像素子１１４等の温度情報を取得し、取得した温度が所定温度以上になった場合に前述の画質の劣化の検出を行うようにしても良い。
また、本実施形態では、１フレーム毎に画質劣化検出用データを取得したが、複数フレームに１回、画質劣化検出用データを取得する構成としても良い。
【００５３】
（第２の実施形態）
次に、本発明の第２の実施形態について説明する。第１の実施形態では、フレーム調整期間に画質劣化検出用データを取得するようにした。これに対し、本実施形態では、撮像素子１１４の一部の領域を、ライブビューの表示用に用いずに、画質の劣化の検出用に用いるようにし、ライビュー表示用のデータの取得期間とフレーム調整期間との双方の期間で画質劣化検出用データを取得する。このようにすることにより、ライブビュー画像のフレームレートにはよらずに、画質劣化検出用データを得るための電荷の蓄積期間をより延ばすことが可能となる。このように本実施形態と第１の実施形態とは、画質劣化検出用データを取得する際の撮像装置の動作の一部が主として異なる。したがって、本実施形態の説明において第１の実施形態と同一の部分については図１〜図７に付した符号を付す等して詳細な説明を省略する。
【００５４】
本実施形態では、例えば、ＶＯＢ領域５２の１、２行目の画素領域は、画質の劣化の検出用のみに使用され、ライブビューの表示用には使用されないようにする。
図８を用いて、画質劣化検出用データの取得動作の一例を説明する。図８は、画質劣化検出用データの取得を行う際の撮像素子１１４の動作の概略の一例を示すタイミングチャートである。
まず、図５を用いて説明した様に、基準信号ＴＧsig1を基準の信号として用いてライブビュー表示用の画像の出力を得るためのリセット−蓄積−転送−読み出しが行われる。すなわち、垂直走査回路７７ａ、Ｓ−Ｎ回路７５、及び水平走査回路７６を用いて、ライブビュー表示用の画像データの１フレーム分の読み出しが行われる。
【００５５】
ここで、本実施形態では、ライブビュー表示用の画像データとして使用される画素領域は、ＶＯＢ領域５２の１、２行目を除いた画素領域である。すなわち、基準信号ＴＧsig1を基準の信号として用いて、水平走査回路７６ａ、７６ｂ、垂直走査回路７７ａ、７７ｂを駆動して、ＶＯＢ領域５２の１、２行目を除く画素領域が選択される。
【００５６】
次に、画質劣化検出用データを得る動作の一例について説明する。画質劣化検出用データの取得に際しては、基準信号ＴＧsig2が基準の信号として用いられる。画質の劣化の検出用に使用されるデータ領域として、ＶＯＢ領域５２の一部（本実施形態の例では、１、２行目）の画素領域が用いられる。すなわち、ＴＧ１１８から出力される基準信号ＴＧSig2を基に、まずは、１行目が選択される。そして、１行目について、リセット−蓄積−転送−読み出しが行われる。すなわち、垂直走査回路７７ａ、Ｓ−Ｎ回路７５、及び水平走査回路７６を用いて、１行目の画質劣化検出用データが読み出される。
２行目についても１行目と同様の動作により、リセット−蓄積−転送−読み出しが行われる。以上により、画質劣化検出用データとして、ＶＯＢ領域５２の２行分のデータが取得される。
【００５７】
ここで、ＶＯＢ領域５２の１、２行目の２行分の画素領域は、ライブビュー表示用のデータの取得時には使用されない画素領域として設定されている。したがって、図８に示すように、ＶＯＢ領域５２の１、２行目の２行分の画素領域については、ライブビュー表示用の画像データの取得に用いられる画素領域とは独立して、電荷の蓄積時間を設定する事が可能である。すなわち、ライブビュー表示用の画像データの画素領域を読み出しているタイミングでも、ＶＯＢ領域５２の１、２行目の２行分の画素領域については、電荷の蓄積を継続する。そして、所望の蓄積時間が経過した後に、基準信号ＴＧsig2を用いて、フレーム調整期間内で画質劣化検出用データの取得を継続して行うことができる。
【００５８】
そして、取得した画質劣化検出用データから、画質の劣化の度合いが判定される。例えば、画像処理回路１２０は、画質劣化検出用データの標準偏差の算出を行う。そして、画像処理回路１２０は、算出した標準偏差の値が所定値以上であるか否かを判定する。この判定の結果、標準偏差の値が所定値以上の場合には、画質が劣化していることになる。画質が劣化していると判定された場合、画像処理回路１２０は、ライブビュー画像（動画像）が表示されている画像表示部１２８の画面に、画質が劣化していることをユーザに知らせる為の警告表示を行う。また、このような警告表示を行う代わりに、画像処理回路１２０は、ライブビュー動作を終了させてもよい。
以上が、画質劣化検出用データの取得動作の一例である。
【００５９】
ここで、本実施形態では、画質の劣化の検出用の画素領域を、ライブビュー画像の表示用の画素領域とは別の独立した領域として設定している。したがって、画質劣化検出用データを得るための電荷の蓄積時間として、ライブビュー画像の１フレーム期間以上の蓄積時間を設定する事ができる。すなわち、１秒、２秒といった長秒での電荷の蓄積も可能である。よって、直後に撮影される静止画像の画質の劣化をより高精度に検出する事が可能となる。
【００６０】
本実施形態は、ライブビュー画像表示モードから静止画撮影モードに出力モードを切り替える場合に限られるものではない。記録メディアへ動画像を記録する動画撮影モードから静止画撮影モードに出力モードを切り替える場合においても同様に適用することができる。
また、不図示の温度センサ出力を用いて、撮像素子１１４等の温度情報を取得し、取得した温度が所定温度以上になった場合に前述の画質の劣化の検出を行うようにしても良い。
また、本実施形態では、１フレーム毎に画質劣化検出用データを取得したが、複数フレームに１回、画質劣化検出用データを取得する構成としても良い。
【００６１】
（第３の実施形態）
次に、本発明の第３の実施形態について説明する。第１及び第２の実施形態では、ライブビュー画像の表示、又は動画像の撮影を行っているときに、静止画像の撮影を行う場合の当該静止画像の画質の劣化を検出する場合を例に挙げて説明した。これに対し、本実施形態では、動画像の撮影を行っているときに、当該動画像の画質の劣化を検出する。このように、本実施形態と第１及び第２の実施形態とは、画質の劣化を検出する対象が異なることによる処理が主として異なる。したがって、本実施形態の説明において第１及び第２の実施形態と同一の部分については図１〜図８に付した符号を付す等して詳細な説明を省略する。
【００６２】
まず、撮像装置の全体構成の一例は、図１に示したものと同じである。ただし、第１及び第２の実施形態では、ＴＧ１１８により、ライブビュー画像を得る第１の出力モードと、画質劣化検出用データを取得するための第２の出力モードとを切り替えるようにした。これに対し、すなわち、本実施形態では、ＴＧ１１８により、動画像を撮影して記録メディアへ記録する第１の出力モード（動画撮影モード）と、画質の劣化を検出する（画質劣化検出用データを取得する）第２の出力モード（画質劣化検出モード）とを切り替える。動画撮影モードでは、ＴＧ（１）１１８ａにて生成される基準信号ＴＧsig1より駆動信号が供給される。一方、画質劣化検出モードでは、ＴＧ（２）１１８ｂにて生成される基準信号ＴＧsig2より駆動信号が供給される。
【００６３】
また、動画撮影モードにおいて動画像を出力する際には、基準信号ＴＧsig1により生成された不図示の読み出し信号ΦＰＴＮａ、ΦＰＴＳａがＳ−Ｎ回路７５ａ、７５ｂに出力される。一方、画質劣化検出モードにおいて画質劣化検出データを出力する際には、基準信号ＴＧsig2により生成された不図示の読み出し信号ΦＰＴＮｂ、ΦＰＴＳｂがＳ−Ｎ回路７５ａ、７５ｂに出力される。
【００６４】
また、本実施形態では、動画像撮影モードにおける動画像の出力に使用される画素領域は、画面全体の領域である。すなわち、動画像撮影モードで動画像を出力する際にＳ−Ｎ回路７５（１）、７５（ｍ）等に送られる駆動信号は、基準信号ＴＧsig1を基準の信号として、後述する光出力用のＳ−Ｎ駆動が行われる。一方、画質劣化検出モードで画質劣化検出用データを取得する際にＳ−Ｎ回路７５（１）、７５（ｍ）等に送られる駆動信号は、基準信号ＴＧsig2を基準の信号として、画面全体のうち、必要な領域のみ、後述のＮ−Ｎ駆動が行われる。
【００６５】
次に、図９を用いて、各出力モード（動画像撮影モード及び画質劣化検出モード）における撮像素子１１４の動作の一例を説明するタイミングチャートである。具体的に図９（ａ）は、動画像撮影モードにおける撮像素子１１４の動作の一例を説明するタイミングチャートであり、図９（ｂ）は、画質劣化検出モードにおける撮像素子１１４の動作の一例を説明するタイミングチャートである。
まず、図９（ａ）について説明する。
最初に、時間Ｔ０のタイミングで画素部のリセットを開始する。時間Ｔ０において、垂直走査回路７７ａは、リセット信号ΦＲＥＳａ（ｎ）と転送信号ΦＴＸａ（ｎ）とをアクティブにする。これにより、ＰＤ６１及びＦＤ６４はリセットされた状態となる。
【００６６】
続いて、時間Ｔ１において、垂直走査回路７７ａは、転送信号ΦＴＸａ（ｎ）とリセット信号ΦＲＥＳａ（ｎ）とをオフする。この段階で、ＰＤ６１への電荷蓄積動作が開始する。
次に、電荷の読み出し直前の時間Ｔ２において、垂直走査回路７７ａは、リセット信号ΦＲＥＳａ（ｎ）をアクティブにし、時間Ｔ３において、リセット信号ΦＲＥＳａ（ｎ）をオフする。すなわち、時間Ｔ２〜Ｔ３の期間において、蓄積動作中にＦＤ６４に蓄積された暗電流（電荷）をリセットした状態とする。
続いて、時間Ｔ４において、垂直走査回路７７ａは、行選択信号ΦＳＥＬａ（ｎ）をアクティブにして、ＦＤ６４に蓄積された電荷を垂直出力線６７へ転送させる。
【００６７】
次に、時間Ｔ５〜Ｔ６の期間において、水平走査回路７６は、読み出し信号ΦＰＴＮ（ｎ）をアクティブにして、ＦＤ６４の電位をＳ−Ｎ回路７５へ出力し、ノイズ成分を読み出す。すなわち、光信号のないリセット状態での読み込みが行われる。
次に、時間Ｔ７〜Ｔ８の期間において、垂直走査回路７７ａは、転送信号ΦＴＸａ（ｎ）をアクティブにし、ＰＤ６１に蓄積された電荷をＦＤ６４へ転送させる。すなわち、時間Ｔ１〜Ｔ８の期間が撮像装置としての露光期間（電荷蓄積期間）となる。
【００６８】
続いて、時間Ｔ８〜Ｔ９の期間において、水平走査回路７６は、読み出し信号ΦＰＴＳ（ｎ）をアクティブにし、ＦＤ６４の電位をＳ−Ｎ回路７５へ出力し、信号成分を読み出す。すなわち、ＰＤ６１に蓄積され、ＦＤ６４に転送された光信号の読み込みが行われる。
次に、時間Ｔ１０において、垂直走査回路７７ａは、行選択信号ΦＳＥＬａ（ｎ）をオフすると同時に、水平走査回路７６は、Ｓ−Ｎ回路７５に対して制御信号を送信する。Ｓ−Ｎ回路７５は、光の蓄積電荷から、ＦＤ６４のリセット状態のノイズ分の出力を差し引いた信号を、出力アンプ７４へ出力する読み出す動作を順次開始する。
以上が水平方向の一行分の蓄積−読み出し動作の一例である。以下同様に、次の対象の行について、リセット信号ΦＲＥＳａ（ｎ＋１）、転送信号ΦＴＸａ（ｎ＋１）、行選択信号ΦＳＥＬａ（ｎ＋１）、読み出し信号ΦＰＴＮａ（ｎ＋１）、及び読み出し信号ΦＰＴＳａ（ｎ＋１）を用いて前述した動作が行われる。
【００６９】
続いて、図９（ｂ）について説明する。
基本的に、転送信号ΦＴＸｂ（ｎ）の動作以外は、図９（ａ）に示したものと同様となる（ΦＲＥＳａ（ｎ）＝ΦＲＥＳｂ（ｎ）、ΦＳＥＬａ（ｎ）＝ΦＳＥＬｂ（ｎ））。図９（ａ）と異なる部分は、時間Ｔ７〜Ｔ８の期間で、垂直走査回路７７ｂが、転送信号ΦＴＸｂ（ｎ）をアクティブにしない点である。よって、この期間に、ＰＤ６１に蓄積された電荷はＦＤ６４へ転送されない。
【００７０】
その為、時間Ｔ８〜Ｔ９の期間で、水平走査回路７６が、読み出し信号ΦＰＴＳｂ（ｎ）をアクティブにすると、Ｓ−Ｎ回路７５へ読み出される信号は、光信号（ＰＤ６１に蓄積された電荷）ではなく、リセット電位にあるＦＤ６４の電荷となる。
すなわち、図９（ｂ）の動作は、ＰＤ６１の光出力はなされず、回路系のノイズ成分のみが出力される暗出力モードでの動作ある。
以上が画質劣化検出用モードにおける水平方向の一行分の読み出し動作の一例である。以下同様に、次の対象の行について、リセット信号ΦＲＥＳｂ（ｎ＋１）、転送信号ΦＴＸｂ（ｎ＋１）、行選択信号ΦＳＥＬｂ（ｎ＋１）、読み出し信号ΦＰＴＮｂ（ｎ＋１）、及び読み出し信号ΦＰＴＳｂ（ｎ＋１）を用いて前述した動作が行われる。本実施形態では、撮像装置の内部の温度上昇によって生じる回路系のノイズを含む暗出力データを用いて画質の劣化を検出する。
【００７１】
次に、図１０を用いて、動画撮影時の画質劣化検出用データの取得動作の一例を説明する。図１０は、画質劣化検出用データの取得を行う際の撮像素子１１４の動作の概略の一例を説明するタイミングチャートである。
動画像撮影時には、１行毎の第１の出力（表示用画像出力）を得るための「リセット−蓄積−転送−読み出し」が行われる。これにより、垂直走査回路７７ａ、Ｓ−Ｎ回路７５、及び水平走査回路７６を用いて、動画撮影用の画像データの１フレーム分の読み出しが行われる。その後、次のフレームのデータの取得開始までの時間として、撮像装置のシステムとして安定した連続動作をするために事前に定められたフレームレート（例えば３０ｆｐｓ等）で動作するための調整期間であるフレーム調整期間を設ける。このようにすることによって、所定のフレームレートにて動画像の撮影動作が行われる。
本実施形態では、このフレーム調整期間を利用して、このフレーム期間内に収まる様に、画質劣化検出用データ（暗出力データ）を得、この画質劣化検出用データを用いて、画質の劣化を予測する。
まず、基準信号ＴＧsig1を基準の信号として用いて、動画撮影用の画像の出力を得るためのリセット−蓄積−転送−読み出しが行われる。すなわち、垂直走査回路７７ａ、Ｓ−Ｎ回路７５、水平走査回路７６を用いて、動画撮影用の画像データの１フレーム分の読み出しが行われる。ここで、基準信号ＴＧsig1を用いて、Ｓ−Ｎ駆動モードにより、動画撮影用の画像データ（光出力画像）の出力を得る。
【００７２】
次に、フレームレート調整期間内に、画質劣化検出用データを得る動作を行う。ここでは、基準信号ＴＧsig2を基準の信号として用いて、Ｎ−Ｎ駆動モードにより、画質劣化検出用データの出力（暗出力）を得る。
撮像素子１１４全体の画質の劣化を正確に検出する為に、画質劣化検出用データのデータ領域を、撮像素子１１４の全画素領域とする必要がある。しかしながら、事前に定められたフレームレートを満足する為には、フレームレート調整期間内に撮像素子１１４の全画素領域の出力を取得することができない。そこで、本実施形態では、撮像素子１１４の全画素領域のうち、フレームレート調整期間内に収まる画素領域のデータを取得する。すなわち、１フレーム期間内では、撮像素子１１４の一部分の画素領域を指定して当該指定した画素領域から画像劣化検出用データを取得する。そして、フレーム毎に、画素領域の変更を行い、複数フレームの期間を掛けて、撮像素子１１４の全画素領域から画質劣化検出用データを取得する（図１０の「Ｒ１領域データ Ｎ−Ｎ読出」、「Ｒ２領域データ Ｎ−Ｎ読出」を参照）。
【００７３】
図１１は、画質劣化検出用データの取得単位である画素領域の一例を示す図である。図１１に示す例では、撮像素子１１４の全画素領域を水平方向に６分割、垂直方向に５分割し、３０の画素領域に分割している。
本実施形態では、最初の１フレーム目のフレーム調整期間には、画素領域Ｒ１の画質劣化検出用データが取得される。次のフレームのフレーム調整期間には、画素領域Ｒ２のデータを取得する。この様に、画質劣化検出用データを取得する画素領域を順次切り替えることにより、３０フレームを１周期として、撮像素子１１４の全画素領域の暗出力データを画質劣化検出用データとして取得することができる。したがって、撮像素子１１４の温度分布が不均一であり、撮像素子１１４の場所により画質の劣化の程度が異なる場合においても、正確に画質の劣化を検出することが可能となる。
【００７４】
そして、取得した各画素領域Ｒｉ（ｉ＝１〜３０）の画質劣化検出用データを用いて、画質の劣化の度合いが判定される。例えば、画像処理回路１２０は、画質劣化検出用データの標準偏差の算出を行う。そして、画像処理回路１２０は、算出した標準偏差の値が所定値以上であるか否かを判定する。この判定の結果、標準偏差の値が所定値以上の場合は、画質が劣化していると判定する。画質が劣化していると判定された場合、画像処理回路１２０は、動画像が表示されている画像表示部１２８の画面に、画質が劣化していることをユーザに知らせる為の警告表示を行う。また、このような警告表示を行う代わりに、画像処理回路１２０は、動画像の撮影動作を終了させてもよい。
以上が、画質劣化検出用データの取得動作の一例である。
【００７５】
以上のように、本実施形態では、１フレーム内において、動画像を得る為の出力動作とは別に、当該画像の画素信号の読み出しを行っていないフレーム調整期間に、画質劣化検出用データを取得する。このとき、１フレーム調整期間で取得できる画質劣化検出用データを複数の画素領域から取得することを、複数のフレーム期間において順次行って、撮像素子１１４の全ての画素領域から画質劣化検出用データを取得する。したがって、動画像の撮影の際に、撮像装置の操作感を損なうことなく、撮像素子１１４全体の画質の劣化を正確に検出することができる。
【００７６】
ここで、本実施形態では、撮像素子１１４の画素領域を順次切り替えて、撮像素子１１４の全画素領域の画質劣化検出用データを取得する例を説明した。しかしながら、例えば、撮像素子１１４の温度分布の特徴を抽出するのに適した画素領域の画質劣化検出用データのみを取得する構成としても良い。例えば、撮像素子１１４の四隅と中央部に相当する領域（図１１に示す例では、画素領域Ｒ１、Ｒ５、Ｒ１３、Ｒ１８、Ｒ２６、Ｒ３０）を順次取得する様にしても良い。
また、不図示の温度センサ出力を用いて、撮像素子１１４等の温度情報を取得し、取得した温度が所定温度以上になった場合に前述の画質の劣化の検出を行うようにしても良い。
【００７７】
（第４の実施形態）
次に、本発明の第４の実施形態について説明する。本実施形態では、動画像を電子ズームにより拡大して撮影しているときに、当該動画像の画質の劣化を検出する。このように、第３の実施形態では、拡大されていない動画像の画質の劣化を検出するのに対し、本実施形態では、電子ズームにより拡大された動画像の画質の劣化を検出する点が主として異なる。したがって、本実施形態の説明において第１〜第３の実施形態と同一の部分については図１〜図１１に付した符号を付す等して詳細な説明を省略する。
【００７８】
本実施形態では、電子ズームによる動画撮影時に、電子ズーム領域に連動して、画質劣化検出用データを取得する画素領域を変更する点が第３の実施形態と異なる。
図１２は、動画撮影時の電子ズーム領域と（図１２（ａ））、画質劣化検出用データを取得する画素領域（図１２（ｂ））の一例を示す図である。
図１２（ａ）に示すように、動画撮影時の電子ズームの操作により、図１２（ａ）の斜線で示す画素領域（画素領域Ｒ７〜Ｒ１０、Ｒ１２〜Ｒ１５、Ｒ１７〜Ｒ２０、Ｒ２２〜Ｒ２５）のみを電子ズーム領域として使用して、動画撮影時の画像データが読み出される。このとき、フレームレート調整期間内に取得する画質劣化検出用データの画素領域を、電子ズーム領域に連動して変更する。すなわち、図１２（ｂ）に示すように、図１２（ｂ）のグレーで塗りつぶした画素領域（画素領域Ｒ７〜Ｒ１０、Ｒ１２〜Ｒ１５、Ｒ１７〜Ｒ２０、Ｒ２２〜Ｒ２５）に相当する箇所のみ画質劣化検出用データを取得する。すなわち、最初のフレームでは、画素領域Ｒ７の画質劣化検出用データを取得し、次のフレームでは、画素領域Ｒ８の画質劣化検出用データを取得する。そして、順次、図１２（ｂ）の灰色で塗りつぶした画素領域に相当する箇所の全てから画質劣化検出用データの取得を行う。これにより、撮像素子１１４の全画素領域の画質劣化検出用データを取得する場合と比較して、より少ないフレーム期間で、動画撮影時に使用している画像データに対応する画素領域の画質の劣化を検出することが可能となる。よって、より短い時間で、画質の劣化を正確に検出することが可能となる。
【００７９】
尚、前述した実施形態は、何れも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。
【００８０】
（その他の実施例）
本発明は、以下の処理を実行することによっても実現される。即ち、まず、以上の実施形態の機能を実現するソフトウェア（コンピュータプログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給する。そして、そのシステム或いは装置のコンピュータ（又はＣＰＵやＭＰＵ等）が当該コンピュータプログラムを読み出して実行する。
【符号の説明】
【００８１】
１１４ 撮像素子、１２０ 画像処理回路、１２８ 画像表示部
【技術分野】
【０００１】
本発明は、撮像装置、撮像装置の制御方法、及びコンピュータプログラムに関し、特に、撮像された画像の画質の劣化を検出するために用いて好適なものである。
【背景技術】
【０００２】
近年、ＣＣＤやＣＭＯＳセンサ等の撮像素子を使用したディジタルカメラやビデオカメラ等の撮像装置が普及している。
このような撮像装置として、静止画像を記録する静止画撮影モードと、撮像動作を繰り返して表示又は記録する撮影モード（いわゆる動画撮影モード）とを切り替えて、各撮影モードを併用できるものも増えてきている。
【０００３】
近年は、撮像装置の操作性の向上のため、ライブビュー機能を備えた撮像装置も一般化してきている。ライブビュー機能は、動画撮影モードを使用して、得られた画像を繰り返し表示し、被写体を確認することができるようにする機能である。
動画像の撮影の動作時間が長くなったり、ライブビューの動作時間が長くなったりすると、撮像素子等のカメラ内部のデバイスが発熱し、カメラの内部温度が上昇する。カメラの内部温度の上昇により撮像素子においては、暗電流ノイズ等のノイズ量が増大し、このノイズにより画質の低下を招くという課題がある。
【０００４】
この課題に対して、特許文献１では、温度センサを用いて撮像素子の温度を検出し、検出した温度情報に基づいて画質の劣化を予測し、ライブビュー動作の制限又は警告を行う撮像装置が提案されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００９−０３３５０８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、特許文献１に記載の技術のように、温度センサを用いて画質の劣化の予測を行う場合、撮像素子に近接させて温度センサを配置する必要がある。また、温度センサの検出バラツキを考慮して、画質の劣化を予測する必要がある。このため、実際の画質の劣化よりも早いタイミングで、ライブビューの動作の制限又は警告を行う必要がある。
【０００７】
また、デジタル一眼レフカメラに搭載されているような、大型の撮像素子においては、撮像素子の内部の回路レイアウト等により、撮像素子の温度分布が一様とならない場合が多い。したがって、撮像素子の温度の検出結果に基づいて画質の劣化を正確に検出するためには、撮像素子全体の温度分布を正確に把握する必要がある。
したがって、特許文献１に記載の技術のように温度センサを用いて撮像素子の温度分布を正確に検出するためには、複数の温度センサを撮像素子に近接させて配置する必要がある。このため、部品点数の増加や、温度センサを配置するスペースの確保という課題があった。また、複数の温度センサを用いて、撮像素子の近傍の温度分布を測定した場合であっても、その温度分布は撮像素子自体の温度分布ではない。よって、その温度分布を用いて画質の劣化を予測したとしても、画質の劣化の正確な予測が困難であるという課題がある。
【０００８】
また、このような課題に対しては、撮像した画像に基づいて画質の劣化を検出することが考えられる。被写体が撮像されている画像では、精度の高い画質の劣化の予測をすることは困難であるため、暗出力を取得する必要がある。しかしながら、動画像等の連続動作の状態で暗出力を出す為にメカニカルなシャッターを閉じることは困難である。よって、撮像素子内で光学的に遮光されているオプティカルブラック部等の一部の領域のみの暗出力しか得ることができず、撮像素子全体の画質の劣化を予測することは困難であった。
【０００９】
本発明は、以上の問題点に鑑みてなされたものであり、撮像される画像の画質の劣化を正確に検出することを目的とする。
具体的には、例えば、動画像又はライブビュー画像の撮影中に、その直後に撮像される静止画像の画質の劣化を正確に検出することを目的とする。
また、例えば、動画像の撮影の際に、撮像素子全体において動画像の画質の劣化を正確に検出することを目的とする。
【課題を解決するための手段】
【００１０】
本発明の撮像装置は、光電変換素子を有する画素であって、二次元に配置された複数の画素と、前記光電変換素子で光電変換された電荷を読み出し、読み出した電荷に基づく動画像またはライブビュー画像を出力する出力手段と、前記光電変換素子で光電変換された電荷とは異なる電荷を、前記複数の画素の少なくとも一部から読み出し、読み出した電荷に基づく画質劣化検出用データを取得する取得手段と、前記取得手段により取得された画質劣化検出用データを用いて、画質の劣化を検出する検出手段と、を有し、前記取得手段は、前記出力手段により出力される動画像またはライブビュー画像の１フレーム期間のうち、少なくとも、前記動画像またはライブビュー画像を得るための電荷の読み出しを行っていないフレーム調整期間に、前記光電変換素子で光電変換された電荷とは異なる電荷を、前記複数の画素の少なくとも一部から読み出すことを特徴とする。
【発明の効果】
【００１１】
本発明によれば、撮像される画像の画質の劣化を正確に検出することができる。
【図面の簡単な説明】
【００１２】
【図１】撮像装置の全体構成を示す図である。
【図２】撮像素子の概略構成を示す図である。
【図３】撮像素子の単位画素の回路を示す図である。
【図４】撮像素子の全体レイアウトを示す図である。
【図５】ライブビュー動作時の撮像素子の動作を示すタイミングチャートである。
【図６】ライブビュー動作時の撮像素子の１行の動作を示すタイミングチャートである。
【図７】画質劣化検出用データの取得を行う際の撮像素子の動作の第１の例を示すタイミングチャートである。
【図８】画質劣化検出用データの取得を行う際の撮像素子の動作の第２の例を示すタイミングチャートである。
【図９】各出力モードにおける撮像素子の動作を示すタイミングチャートである。
【図１０】画質劣化検出用データの取得を行う際の撮像素子の動作の第３の例を示すタイミングチャートである。
【図１１】画質劣化検出用データの取得単位である画素領域を示す図である。
【図１２】動画撮影時の電子ズーム領域と、画質劣化検出用データを取得する画素領域を示す図である。
【発明を実施するための形態】
【００１３】
以下に、図面を参照しながら、本発明の実施形態を説明する。
（第１の実施形態）
まず、本発明の第１の実施形態を説明する。
図１は、撮像装置の全体構成の一例を示す図である。
図１において、撮影用レンズ１１０には不図示のモータが備えられている。後述するＡＦ１４２の処理結果に応じて、当該モータを駆動して、撮影用レンズ１１０の焦点を合わせる機構が撮像装置に備えられている。
【００１４】
レンズ制御部１１１は、撮影用レンズ１１０からの情報をシステム制御回路１５０に伝達すると共に、撮影用レンズ１１０の動作の制御を行う。
レンズ制御部１１１は、制御信号発生手段を含んでいる。撮影用レンズ１１０の焦点を調整する動作等のモータ駆動は、当該制御信号発生手段で得られるパルス信号によって行われる。
シャッター１１２は、撮像素子１１４の露光量を制御する。シャッター１１２は、周知のメカニカルなシャッターでも、電気的に遮光することの出来る液晶シャッター等でもよい。
【００１５】
撮像素子１１４は、光学像を電気信号に変換する。本実施形態では、撮像素子１１４として、例えばＣＭＯＳ撮像素子を使用している。撮像素子１１４の内部構成は、図３を参照しながら後述する。
ＬＰＦ１１５は、撮影用レンズ１１０を透過してきた光の余分な波長（色再現に影響する不要となる波長）をカットするためのローパスフィルタである。ＬＰＦ１１５は、撮影用レンズ１１０と撮像素子１１４との間に配設されている。
【００１６】
ＡＦＥ１１６は、撮像素子１１４から出力されるアナログ信号をデジタル信号に変換するＡ／Ｄ変換器と、クランプ回路（オフセット調整回路）と、Ｄ／Ａ変換器と、を含むアナログ・フロント・エンド回路である。
ＤＦＥ１１７は、各画素からＡＦＥ１１６を介して出力されたデジタル信号を入力し、当該デジタル信号に対して、補正や並び替え等のデジタル処理を行うデジタル・フロント・エンド回路である。ＤＦＥ１１７は、必要に応じて、後述するメモリ１５２や不揮発性メモリ１５６に格納されている補正データを取得し、当該補正データを、デジタル信号の補正処理に使用する。
【００１７】
ＴＧ１１８は、撮像素子１１４、ＡＦＥ１１６、及びＤＦＥ１１７にクロック信号や制御信号を供給するタイミング発生回路である。ＴＧ１１８は、システム制御回路１５０によって制御される。ＴＧ１１８は、細かくは、複数の系統の基準信号ＴＧsig1、ＴＧsig2を発生できるＴＧ（１）１１８ａ、ＴＧ（２）１１８ｂを備えている。ライブビュー画像の出力時には、撮影画像の表示領域には、ＴＧ（１）１１８ａにて生成される基準信号ＴＧsig1より駆動信号が供給される。ライブビュー画像の出力中の画質劣化検出用データの取得時には、ＴＧ（２）１１８ｂにて生成される基準信号ＴＧsig2より駆動信号が供給される。すなわち、本実施形態の撮像装置では、ＴＧ１１８の動作によって、ライブビュー画像を得る第１の出力モードと、画質劣化検出用データを取得する第２の出力モードとを切り替えることが可能である。
【００１８】
画像処理回路１２０は、ＤＦＥ１１７からのデータ、或いはメモリ制御回路１２２からのデータに対して、所定の画素補間処理や色変換処理を行う。画像処理回路１２０は、必要に応じて、撮像した画像データを用いて所定の演算処理を行う。
メモリ制御回路１２２は、ＡＦＥ１１６、ＤＦＥ１１７、ＴＧ１１８、画像処理回路１２０、画像表示メモリ１２４、及びメモリ１３０を制御する。
ＤＦＥ１１７からのデータは、画像処理回路１２０及びメモリ制御回路１２２を介して、或いは、メモリ制御回路１２２を介して、画像表示メモリ１２４或いはメモリ１３０に書き込まれる。
【００１９】
画像処理回路１２０は、撮像素子１１４から出力される電荷信号に対し、後述するメモリ１５２に格納された補正データ等を元に補正をかけると共に、各出力信号に対してカラー変換等の現像処理を行って画像化するものである。
また、本実施形態における画像処理回路１２０は、データ演算部１２０ａを備え、画像から、焦点の検出と明るさの検出とを行うことができる。さらに、画像処理回路１２０は、データ演算部１２０ａで検出したデータに基づいて、システム制御回路１５０を介して、レンズ制御部１１１へ制御信号を送ることができる。この制御信号により撮影用レンズ１１０の焦点を調節する動作を行うことができる。
【００２０】
画像表示部１２８は、例えば、ＴＦＴ方式の液晶表示部を備える。ライブビュー画像の出力時及び動画像の撮影時には、画像表示部１２８の画面に連続的に画像が表示される。ユーザは、この画像を見ることにより、被写体の動きを確認することができる。
メモリ１３０は、撮影された静止画像や動画像を格納する。メモリ１３０は、所定枚数の静止画像や所定時間の動画像を格納するのに十分な記憶容量を有している。
シャッター制御部１４０は、シャッター１１２の動作を制御する。
【００２１】
ＡＦ１４２は、ＡＦ（オートフォーカス）処理を行うための測距手段であるところの測距制御部である。
ＡＥ１４６は、ＡＥ（自動露出）処理を行うための測光手段であるところの測光制御部である。フラッシュ部１４８は、暗時の撮影に使用され、閃光を発生させる。ＡＥ１４６は、フラッシュ部１４８と連携することにより、フラッシュ撮影機能も有する。
システム制御回路１５０は、画像処理装置全体を制御する。システム制御回路１５０は、ＣＰＵ等を内蔵する。
【００２２】
メモリ１５２は、システム制御回路１５０の動作用の変数や、プログラム等を記憶する。
不揮発性メモリ１５６には、後述するプログラム等が格納される。不揮発性メモリ１５６は、例えば、電気的に消去・記録が可能なフラッシュメモリ等により実現される。不揮発性メモリ１５６には、各種パラメータやＩＳＯ感度等の設定値、設定モード、及び各種補正データ等が格納される。
操作部１６０は、システム制御回路１５０への各種動作指示を入力するための各種のユーザインタフェースを備える。例えば、操作部１６０は、メインスイッチ（起動スイッチ）、シャッタースイッチ、及び撮影モード等の切り替えを行うためのモード設定ダイアル等を含む。操作部１６０に含まれるレリーズスイッチを押し込むことで２つのスイッチ（ＳＷ１、ＳＷ２）が段階的にＯＮされる。
【００２３】
レリーズスイッチの第一段階の操作（ＳＷ１ ＯＮ）で、ＡＦ（オートフォーカス）処理、ＡＥ（自動露出）処理、ＡＷＢ（オートホワイトバランス）処理、及びＥＦ（フラッシュ調光）処理等の動作が実施される。そして、第二段階の操作（ＳＷ２ ＯＮ）で、シャッター制御部１４０等の制御により、撮像素子１１４からの信号が、ＡＦＥ１１６、ＤＦＥ１１７、及びメモリ制御回路１２２を介して、メモリ１３０に画像データとして書き込まれ、露光処理が行われる。そして、画像処理回路１２０やメモリ制御回路１２２での演算に基づく現像処理と、メモリ１３０の画像データを圧縮して記録媒体１９０へ書き込む記録処理とが、一連の処理として開始する。
【００２４】
さらに、操作部１６０は、画像表示部１２８に被写体を連続的に表示するためのライブビュー動作スイッチと、各種撮影モードの切り替えを行うためのモード設定ダイアルと、単写／連写を切り替える単写／連写スイッチと、を含む。この他、操作部１６０は、連続的にＡＦ処理・レンズの焦点合わせ処理を繰り返し行うための連続測距動作設定スイッチ、撮影感度を設定するためのＩＳＯ感度設定スイッチ、及び各種システムに電源を供給するための電源スイッチ等を含む。
【００２５】
電源制御部１８２は、電源部１８６を制御するものであり、電池検出回路やＤＣ−ＤＣコンバータ等から構成されている。電源部１８６は、アルカリ電池やリチウム電池等の一次電池、ＮｉＣｄ電池・ＮｉＭＨ電池・Ｌｉ電池等の二次電池、又はＡＣアダプタ等からなる電源部である。
記録媒体１９０は、メモリカードやハードディスク等の着脱可能な記録媒体である。
【００２６】
次に、撮像素子１１４（ＣＭＯＳ撮像素子）の構成の一例について、図２〜図４を用いて説明する。
図２は、撮像素子１１４の概略構成の一例を示す図である。撮像素子１１４は、画素が遮光されているＨＯＢ領域（水平オプティカルブラック領域）５１と、ＨＯＢ領域５１と同様に画素が遮光されているＶＯＢ領域（垂直オプティカルブラック領域）５２と、通常の遮光されていない画素エリアである有効部５３とを有する。本実施形態では、画質の劣化の検出にあたっては、ＶＯＢ領域５２の出力を用いる。
【００２７】
図３は、撮像素子１１４の単位画素６０（１画素分）の回路の一例を示す図である。
フォトダイオード６１は、光電変換素子の一例である。フォトダイオード６１は、撮影用レンズ１１０によって結像された光画像を受けて電荷を発生し（光電変換し）蓄積する。以下の説明では、フォトダイオード６１を必要に応じてＰＤ６１と称する。転送スイッチ６２は、ＭＯＳトランジスタで構成されている。以下の説明では、転送スイッチ６２を必要に応じてＴＸ６２と称する。フローティングディフージョン６４は、コンデンサになっている。以下の説明では、フローティングディフージョン６４を必要に応じてＦＤ６４と称する。ＰＤ６１で蓄積された電荷は、ＴＸ６２の動作によりＦＤ６４に転送されて電圧に変換され、アンプ６５からソースフォロワで画素信号として出力される。行選択スイッチ６６は、垂直出力線６７に画素信号が出力される際に動作する。リセットスイッチ６３は、ＦＤ６４やＰＤ６１の電位をリセットする。リセットスイッチ６３、アンプ６５、及び行選択スイッチ６６は、ＭＯＳトランジスタで構成されている。
【００２８】
図４は、撮像素子１１４の全体レイアウトの一例を示す図である。
図４に示す例では、図３に示した単位画素６０が、二次元のマトリックス状に配置（画素６０（１,１）〜６０（ｎ,ｍ））される構成となっている。
各単位画素６０の蓄積制御は、垂直選択手段であるところの垂直走査回路７７ａ又は７７ｂからの信号により行われる。本実施形態では、垂直走査回路７７ａ、７７ｂはシフトレジスタで構成されている。
【００２９】
垂直走査回路７７ａ、７７ｂの基準となる信号は、ＴＧ１１８より送られてくる基準信号ＴＧsig1、ＴＧsig2である。
画素の水平１ライン毎に、垂直走査回路７７ａ、７７ｂの何れの信号を制御信号として使用するかを設定するのが各水平ラインの制御線である。制御線は、ＴＸ６２を制御する電荷転送制御線ＴＸ、リセット制御線ＲＥＳ、及び行選択制御線ＳＥＬを含む。電荷転送制御線ＴＸには、スイッチ群ＳＷｔ＿x＿１、ＳＷｔ＿x＿２が接続されている。リセット制御線ＲＥＳには、スイッチ群ＳＷｒ＿x＿１、ＳＷｒ＿x＿２が接続されている。行選択制御線ＳＥＬには、スイッチ群ＳＷｓ＿x＿１又は、ＳＷｓ＿x＿２が接続されている。ここで、ｘは、１〜ｎである（ｎは２以上の整数であり二次元マトリックスの行数である）。
【００３０】
スイッチ群ＳＷｔ＿x＿１、ＳＷｒ＿x＿１、ＳＷｓ＿x＿１がＯＮしている（閉じている）場合には、スイッチ群ＳＷｔ＿x＿２、ＳＷｒ＿x＿２、ＳＷｓ＿x＿２がＯＦＦのとなり、垂直走査回路７７ａの制御信号（基準信号ＴＧsig1）で動作する。また、スイッチ群ＳＷｔ＿x＿２、ＳＷｒ＿x＿２、ＳＷｓ＿x＿２がＯＮしている場合には、スイッチ群ＳＷｔ＿x＿1、ＳＷｒ＿x＿1、ＳＷｓ＿x＿１がＯＦＦとなり、垂直走査回路７７ｂの制御信号（基準信号ＴＧsig2）で動作する。
【００３１】
尚、スイッチ群ＳＷｔ＿x＿１、ＳＷｒ＿x＿１、ＳＷｓ＿x＿１と、スイッチ群ＳＷｔ＿x＿２、ＳＷｒ＿x＿２、ＳＷｓ＿x＿２のＯＮ／ＯＦＦの設定は、システム制御回路１５０からの信号によってなされる。スイッチ群ＳＷｔ＿x＿1、ＳＷｒ＿x＿1、ＳＷｓ＿x＿１とスイッチ群ＳＷｔ＿x＿２、ＳＷｒ＿x＿２、ＳＷｓ＿x＿２のうち、何れかのスイッチ群しかＯＮしない構成となっている。
【００３２】
垂直走査回路７７ａからの信号は、転送スイッチ６２の制御信号φＴＸａと、リセットスイッチ６３の制御信号φＲＥＳａと、及び行選択スイッチ６６の制御信号φＳＥＬａとを含む。転送スイッチ６２の制御信号φＴＸａは、スイッチ群ＳＷｔ＿x＿１を介して各画素６０に出力される。リセットスイッチ６３の制御信号φＲＥＳａは、スイッチ群ＳＷｒ＿x＿１を介して各画素６０に出力される。行選択スイッチ６６の制御信号φＳＥＬａは、スイッチ群ＳＷｓ＿x＿１を介して各画素６０に出力される。
【００３３】
一方、垂直走査回路７７ｂからの信号は、転送スイッチ６２の制御信号φＴＸｂと、リセットスイッチ６３の制御信号φＲＥＳｂと、行選択スイッチ６６の制御信号φＳＥＬｂとを含む。転送スイッチ６２の制御信号φＴＸｂは、スイッチ群ＳＷｔ＿x＿２を介して各画素に出力される。リセットスイッチ６３の制御信号φＲＥＳｂは、スイッチ群ＳＷｒ＿x＿２を介して各画素に出力される。行選択スイッチ６６の制御信号φＳＥＬｂは、スイッチ群ＳＷｓ＿x＿２を介して各画素６０に出力される。
【００３４】
また、垂直出力線６７（ｙ）は、垂直方向に配置されている画素に接続されている。ここで、ｙは、１〜ｍである（ｍは２以上の整数であり二次元マトリックスの列数である）。
垂直出力線６７（ｙ）は、１ライン毎に、Ｓ−Ｎ回路７５ａ又は７５ｂに接続されている。Ｓ−Ｎ回路７５ａ、７５ｂ（７５（１）〜７５（ｍ））の出力の選択等の制御は水平走査回路７６ａ、７６ｂにより行われる。Ｓ−Ｎ回路７５ａ、７５ｂには、不図示の読み出し信号ΦＰＴＮ、ΦＰＴＳが供給される。Ｓ−Ｎ回路７５ａ、７５ｂは、この読み出し信号ΦＰＴＮ、ΦＰＴＳに基づいて、各々の画素６０の信号成分とノイズ成分とを読み出して、差動動作を行い出力アンプ７４ａ、７４ｂへ出力する。出力アンプ７４ａ、７４ｂは、不図示の電流切り替え回路を用いて、駆動能力を変更することが可能である。
【００３５】
水平選択手段であるところの水平走査回路７６ａ、７６ｂには、ＴＧ（１）１１８ａで生成された基準信号ＴＧsig1、又はＴＧ（２）１１８ｂで生成された基準信号ＴＧsig2に伴う信号が送られる。水平走査回路７６ａ、７６ｂは、各々の出力に対応した駆動信号を個別に送ることが出来る。
本実施形態では、水平走査回路７６ａ、７６ｂは、垂直走査回路７７ａ、７７ｂと同様にシフトレジスタで構成されている。
【００３６】
また、画質劣化検出用データの出力時には、垂直走査回路７７ａ、７７ｂ及び水平走査回路７６ａ、７６ｂにより、全ての画素領域ではなく、画質の劣化の検出に用いる所望の一部の画素領域のみから画素のデータ（画素値）の読み出しが行われる。すなわち、所望の画素領域のみに、垂直走査回路７７ａ、７７ｂ及び水平走査回路７６ａ、７６ｂが接続されるように駆動信号の制御が行われる。
【００３７】
本実施形態では、画質の劣化の検出時に使用される画素領域は、ＶＯＢ領域５２であり、例えば１、２行目の画素のデータが、画質劣化検出用データとして使用される。すなわち、ＶＯＢ領域５２である１、２行目の画素の選択時に、Ｓ−Ｎ回路７５（１）、７５（ｍ）等に送られる駆動信号は、基準信号ＴＧsig2を基準の信号として出力される。Ｓ−Ｎ回路７５からの出力は、出力アンプ７４ａ１、７４ａ２、７４ｂ１、７４ｂ２を介して後段の処理回路（ＡＦＥ１１６等）へ出力される。
出力アンプ７４は、４個の出力アンプ７４ａ１、７４ａ２、７４ｂ１、７４ｂ２を備え、出力経路に応じて、信号が振り分けられて出力される。
【００３８】
次に、図５を用いて、ライブビュー動作時における、撮像素子１１４のローリング蓄積動作の一例を説明する。図５は、ライブビュー動作時における撮像素子１１４の動作の概略の一例を説明するタイミングチャートである。
ライブビュー動作時には、１行毎の第１の出力（表示用画像出力）を得るための「リセット−蓄積−転送−読み出し」が行われる。これにより、垂直走査回路７７ａ、Ｓ−Ｎ回路７５、及び水平走査回路７６を用いて、ライブビュー動作時の表示用データであるライブビュー表示用データの１フレーム分の読み出しが行われる。その後、次のフレームのデータの取得開始までの時間として、撮像装置のシステムとして安定した連続動作をするために事前に定められた「フレームレート（例えば３０ｆｐｓ等）で動作するための調整期間」であるフレーム調整期間を設ける。このようにすることによって、所定のフレームレートにてライブビュー動作が行われる。
【００３９】
図６は、ライブビュー動作時の撮像素子１１４の１行の詳細な駆動の一例を説明するタイミングチャートである。図６を用いて、図５に示したライブビュー動作中の１行の駆動に対する詳細な動作タイミングの一例を説明する。
最初に、時間Ｔ０のタイミングで画素部のリセットが開始する。時間Ｔ０において、垂直走査回路７７ａは、リセットスイッチ６３を制御するリセット信号ΦＲＥＳａ（ｎ）と転送スイッチ６２を制御する転送信号ΦＴＸａ（ｎ）とをアクティブにする。これにより、ＰＤ６１及びＦＤ６４はリセットされた状態となる。
【００４０】
続いて、時間Ｔ１において、垂直走査回路７７ａは、転送信号ΦＴＸａ（ｎ）とリセット信号ΦＲＥＳａ（ｎ）とをオフする。この段階で、ＰＤ６１への電荷蓄積動作が開始する。
次に、電荷の読み出し直前の時間Ｔ２において、垂直走査回路７７ａは、リセット信号ΦＲＥＳａ（ｎ）をアクティブにし、時間Ｔ３において、リセット信号ΦＲＥＳａ（ｎ）をオフする。すなわち、時間Ｔ２〜Ｔ３の期間において、蓄積動作中にＦＤ６４に蓄積された暗電流（電荷）をリセットした状態とする。
続いて、時間Ｔ４において、垂直走査回路７７ａは、行選択スイッチ６６を制御する行選択信号ΦＳＥＬａ（ｎ）をアクティブにして、ＦＤ６４に蓄積された電荷を垂直出力線６７へ転送させる。
【００４１】
次に、時間Ｔ５〜Ｔ６の期間において、水平走査回路７６は、読み出し信号ΦＰＴＮ（ｎ）をアクティブにして、ＦＤ６４の電位をＳ−Ｎ回路７５へ出力し、ノイズ成分を読み出す。すなわち、光信号のないリセット状態での読み込みが行われる。
次に、時間Ｔ７〜Ｔ８の期間において、垂直走査回路７７ａは、転送信号ΦＴＸａ（ｎ）をアクティブにし、ＰＤ６１に蓄積された電荷をＦＤ６４へ転送させる。すなわち、時間Ｔ１〜Ｔ８の期間が撮像装置としての露光期間（電荷蓄積期間）となる。
【００４２】
続いて、時間Ｔ８〜Ｔ９の期間において、水平走査回路７６は、読み出し信号ΦＰＴＳ（ｎ）をアクティブにし、ＦＤ６４の電位をＳ−Ｎ回路７５へ出力し、信号成分を読み出す。すなわち、ＰＤ６１に蓄積され、ＦＤ６４に転送された光信号の読み込みが行われる。
次に、時間Ｔ１０において、垂直走査回路７７ａは、行選択信号ΦＳＥＬａ（ｎ）をオフすると同時に、水平走査回路７６は、Ｓ−Ｎ回路７５に対して制御信号を送信する。Ｓ−Ｎ回路７５は、光の蓄積電荷から、ＦＤ６４のリセット状態のノイズ分の出力を差し引いた信号を、出力アンプ７４へ出力する読み出す動作を順次開始する。
【００４３】
以上が動画像撮影モードにおける水平方向の一行分の蓄積−読み出し動作の一例である。以下同様に、次の対象の行について、リセット信号ΦＲＥＳａ（ｎ＋１）、転送信号ΦＴＸａ（ｎ＋１）、行選択信号ΦＳＥＬａ（ｎ＋１）、読み出し信号ΦＰＴＮ（ｎ＋１）、及び読み出し信号ΦＰＴＳ（ｎ＋１）を用いて前述した動作が行われる。
ここで、ライブビュー表示用の画像出力の取得時の駆動信号は、基準信号ＴＧsig1を基準の信号として出力される。
【００４４】
以上がライブビュー動作の基本動作となる。本実施形態では、ライブビュー動作中のフレーム調整期間を利用して、このフレーム調整期間内に収まる様に画質劣化検出用データの出力を得ることで、ライブビュー動作の直後に撮影される静止画像の画質の劣化を予測する。
【００４５】
次に、図７を用いて、画質劣化検出用データの取得動作の一例を説明する。図７は、画質劣化検出用データの取得を行う際の撮像素子１１４の動作の概略の一例を説明するタイミングチャートである。
まず、図５を用いて説明した様に、基準信号ＴＧsig1を基準の信号として用いてライブビュー表示用の画像の出力を得るための「リセット−蓄積−転送−読み出し」が行われる。すなわち、垂直走査回路７７ａ、Ｓ−Ｎ回路７５、及び水平走査回路７６を用いて、ライブビュー表示用の画像データの１フレーム分の読み出しが行われる。
【００４６】
次に、フレームレート調整期間内に、画質劣化検出用データを得る動作を行う。ここで、画質劣化検出用データのフレームの取得に際しては、基準信号ＴＧsig2が基準の信号として用いられる。画質劣化検出用データのデータ領域として、ＶＯＢ領域５２の一部、例えば１、２行目の画素領域が用いられる。すなわち、ＴＧ１１８から出力される基準信号ＴＧSig2を基に、まずは、１行目が選択される。そして、リセット−蓄積−転送−読み出しが行われる。すなわち、垂直走査回路７７ａ、Ｓ−Ｎ回路７５、及び水平走査回路７６を用いて、１行目の画質劣化検出用データが読み出される。
２行目についても１行目と同様の動作により、リセット−蓄積−転送−読み出しが行われる。以上により、画質劣化検出用データとして、ＶＯＢ領域５２の２行分のデータが取得される。
【００４７】
次に、基準信号ＴＧsig1を基準の信号として用いて、ライブビュー表示用の次のフレームの画像出力を得るための「リセット−蓄積−転送−読み出し」が行われる。すなわち、垂直走査回路７７ａ、Ｓ−Ｎ回路７５、及び水平走査回路７６を用いて、ライブビュー動作用のデータの１フレーム分の読み出しを行う。以上の動作は、所定のフレームレートにて繰り返され、ライブビュー表示用の画像データの出力と、画質劣化検出用データの出力とが行われる。
【００４８】
そして、取得した画質劣化検出用データを用いて、画質の劣化の度合いが判定される。例えば、画像処理回路１２０は、画質劣化検出用データの値の標準偏差の算出を行う。そして、画像処理回路１２０は、算出した標準偏差の値が所定値以上であるか否かを判定する。この判定の結果、標準偏差の値が所定値以上の場合は、画質が劣化していると判定する。画質が劣化していると判定された場合、画像処理回路１２０は、ライブビュー画像が表示されている画像表示部１２８の画面に、画質が劣化していることをユーザに知らせる為の警告表示を行う。また、このような警告表示を行う代わりに、画像処理回路１２０は、ライブビュー動作を終了させてもよい。
以上が、画質劣化検出用データの取得動作の一例である。
【００４９】
ここで、画質劣化検出用データとしては、直後に撮影される静止画像の画質の劣化を高精度に推測する必要がある。撮像装置の内部の温度上昇によって静止画像の画質の劣化が生じるのは、暗電流によるノイズ等のノイズ量が増大すること等に起因する。このとき、電荷の蓄積時間が増大するほど、暗電流によるノイズによって静止画像の画質の劣化が顕著となる。したがって、電荷の蓄積時間をできるだけ延ばした状態で画質劣化検出用データを取得することで、画質の劣化の検出精度を向上させる事が可能となる。
【００５０】
以上のように、本実施形態では、１フレーム内において、通常のライブビュー表示用の画像を得る為の出力動作とは別に、当該画像の画素信号の読み出しを行っていないフレーム調整期間に、画質劣化検出用データを取得する。そして、この画質劣化検出用データを用いて、直後に撮像される静止画像の画質の劣化を検出する。このとき、ＶＯＢ領域５２から画質劣化検出用データを取得する。このため、画像の露出条件とは独立で、フレーム調整期間内に収まる範囲で、電荷の蓄積時間を延ばす事ができる。よって、ライブビューの動作中に、その直後に撮像される静止画像の、撮像装置の内部温度の上昇等に伴う画質の劣化を正確に検出することができる。
ここで、画質の劣化の検出精度を向上させるために、電荷の蓄積時間以外の他の動作条件も通常のライブビュー表示用の画像を得る為の出力動作時の条件と異ならせても良い。例えば、画質の劣化が顕著となる高いＩＳＯ感度に設定して画質劣化検出用データを取得してもよい。また、画質の劣化は、電荷の蓄積期間中の撮像装置の内部の発熱量に影響される為、出力アンプ７４の駆動電流の大きさを、通常のライブビュー表示用の画像を得る為の出力動作時よりも大きな値に変更して、画質劣化検出用データを取得しても良い。
【００５１】
以上のように、本実施形態では、画質劣化検出用データの取得時の条件を、ライブビュー表示用のデータの取得時の条件と独立して変更することが可能である。よって、画質の劣化を検出するのに適した撮像装置の駆動条件を設定し、その駆動条件で撮像装置を駆動して画質劣化検出用データをすることで、画質の劣化の検出を、より高精度に行うことが可能となる。
【００５２】
本実施形態は、ライブビュー画像表示モードから静止画撮影モードに出力モードを切り替える場合に限られるものではない。記録メディアへ動画像を記録する動画撮影モードから静止画撮影モードに出力モードを切り替える場合においても同様に適用することができる。
また、不図示の温度センサからの出力を用いて、撮像素子１１４等の温度情報を取得し、取得した温度が所定温度以上になった場合に前述の画質の劣化の検出を行うようにしても良い。
また、本実施形態では、１フレーム毎に画質劣化検出用データを取得したが、複数フレームに１回、画質劣化検出用データを取得する構成としても良い。
【００５３】
（第２の実施形態）
次に、本発明の第２の実施形態について説明する。第１の実施形態では、フレーム調整期間に画質劣化検出用データを取得するようにした。これに対し、本実施形態では、撮像素子１１４の一部の領域を、ライブビューの表示用に用いずに、画質の劣化の検出用に用いるようにし、ライビュー表示用のデータの取得期間とフレーム調整期間との双方の期間で画質劣化検出用データを取得する。このようにすることにより、ライブビュー画像のフレームレートにはよらずに、画質劣化検出用データを得るための電荷の蓄積期間をより延ばすことが可能となる。このように本実施形態と第１の実施形態とは、画質劣化検出用データを取得する際の撮像装置の動作の一部が主として異なる。したがって、本実施形態の説明において第１の実施形態と同一の部分については図１〜図７に付した符号を付す等して詳細な説明を省略する。
【００５４】
本実施形態では、例えば、ＶＯＢ領域５２の１、２行目の画素領域は、画質の劣化の検出用のみに使用され、ライブビューの表示用には使用されないようにする。
図８を用いて、画質劣化検出用データの取得動作の一例を説明する。図８は、画質劣化検出用データの取得を行う際の撮像素子１１４の動作の概略の一例を示すタイミングチャートである。
まず、図５を用いて説明した様に、基準信号ＴＧsig1を基準の信号として用いてライブビュー表示用の画像の出力を得るためのリセット−蓄積−転送−読み出しが行われる。すなわち、垂直走査回路７７ａ、Ｓ−Ｎ回路７５、及び水平走査回路７６を用いて、ライブビュー表示用の画像データの１フレーム分の読み出しが行われる。
【００５５】
ここで、本実施形態では、ライブビュー表示用の画像データとして使用される画素領域は、ＶＯＢ領域５２の１、２行目を除いた画素領域である。すなわち、基準信号ＴＧsig1を基準の信号として用いて、水平走査回路７６ａ、７６ｂ、垂直走査回路７７ａ、７７ｂを駆動して、ＶＯＢ領域５２の１、２行目を除く画素領域が選択される。
【００５６】
次に、画質劣化検出用データを得る動作の一例について説明する。画質劣化検出用データの取得に際しては、基準信号ＴＧsig2が基準の信号として用いられる。画質の劣化の検出用に使用されるデータ領域として、ＶＯＢ領域５２の一部（本実施形態の例では、１、２行目）の画素領域が用いられる。すなわち、ＴＧ１１８から出力される基準信号ＴＧSig2を基に、まずは、１行目が選択される。そして、１行目について、リセット−蓄積−転送−読み出しが行われる。すなわち、垂直走査回路７７ａ、Ｓ−Ｎ回路７５、及び水平走査回路７６を用いて、１行目の画質劣化検出用データが読み出される。
２行目についても１行目と同様の動作により、リセット−蓄積−転送−読み出しが行われる。以上により、画質劣化検出用データとして、ＶＯＢ領域５２の２行分のデータが取得される。
【００５７】
ここで、ＶＯＢ領域５２の１、２行目の２行分の画素領域は、ライブビュー表示用のデータの取得時には使用されない画素領域として設定されている。したがって、図８に示すように、ＶＯＢ領域５２の１、２行目の２行分の画素領域については、ライブビュー表示用の画像データの取得に用いられる画素領域とは独立して、電荷の蓄積時間を設定する事が可能である。すなわち、ライブビュー表示用の画像データの画素領域を読み出しているタイミングでも、ＶＯＢ領域５２の１、２行目の２行分の画素領域については、電荷の蓄積を継続する。そして、所望の蓄積時間が経過した後に、基準信号ＴＧsig2を用いて、フレーム調整期間内で画質劣化検出用データの取得を継続して行うことができる。
【００５８】
そして、取得した画質劣化検出用データから、画質の劣化の度合いが判定される。例えば、画像処理回路１２０は、画質劣化検出用データの標準偏差の算出を行う。そして、画像処理回路１２０は、算出した標準偏差の値が所定値以上であるか否かを判定する。この判定の結果、標準偏差の値が所定値以上の場合には、画質が劣化していることになる。画質が劣化していると判定された場合、画像処理回路１２０は、ライブビュー画像（動画像）が表示されている画像表示部１２８の画面に、画質が劣化していることをユーザに知らせる為の警告表示を行う。また、このような警告表示を行う代わりに、画像処理回路１２０は、ライブビュー動作を終了させてもよい。
以上が、画質劣化検出用データの取得動作の一例である。
【００５９】
ここで、本実施形態では、画質の劣化の検出用の画素領域を、ライブビュー画像の表示用の画素領域とは別の独立した領域として設定している。したがって、画質劣化検出用データを得るための電荷の蓄積時間として、ライブビュー画像の１フレーム期間以上の蓄積時間を設定する事ができる。すなわち、１秒、２秒といった長秒での電荷の蓄積も可能である。よって、直後に撮影される静止画像の画質の劣化をより高精度に検出する事が可能となる。
【００６０】
本実施形態は、ライブビュー画像表示モードから静止画撮影モードに出力モードを切り替える場合に限られるものではない。記録メディアへ動画像を記録する動画撮影モードから静止画撮影モードに出力モードを切り替える場合においても同様に適用することができる。
また、不図示の温度センサ出力を用いて、撮像素子１１４等の温度情報を取得し、取得した温度が所定温度以上になった場合に前述の画質の劣化の検出を行うようにしても良い。
また、本実施形態では、１フレーム毎に画質劣化検出用データを取得したが、複数フレームに１回、画質劣化検出用データを取得する構成としても良い。
【００６１】
（第３の実施形態）
次に、本発明の第３の実施形態について説明する。第１及び第２の実施形態では、ライブビュー画像の表示、又は動画像の撮影を行っているときに、静止画像の撮影を行う場合の当該静止画像の画質の劣化を検出する場合を例に挙げて説明した。これに対し、本実施形態では、動画像の撮影を行っているときに、当該動画像の画質の劣化を検出する。このように、本実施形態と第１及び第２の実施形態とは、画質の劣化を検出する対象が異なることによる処理が主として異なる。したがって、本実施形態の説明において第１及び第２の実施形態と同一の部分については図１〜図８に付した符号を付す等して詳細な説明を省略する。
【００６２】
まず、撮像装置の全体構成の一例は、図１に示したものと同じである。ただし、第１及び第２の実施形態では、ＴＧ１１８により、ライブビュー画像を得る第１の出力モードと、画質劣化検出用データを取得するための第２の出力モードとを切り替えるようにした。これに対し、すなわち、本実施形態では、ＴＧ１１８により、動画像を撮影して記録メディアへ記録する第１の出力モード（動画撮影モード）と、画質の劣化を検出する（画質劣化検出用データを取得する）第２の出力モード（画質劣化検出モード）とを切り替える。動画撮影モードでは、ＴＧ（１）１１８ａにて生成される基準信号ＴＧsig1より駆動信号が供給される。一方、画質劣化検出モードでは、ＴＧ（２）１１８ｂにて生成される基準信号ＴＧsig2より駆動信号が供給される。
【００６３】
また、動画撮影モードにおいて動画像を出力する際には、基準信号ＴＧsig1により生成された不図示の読み出し信号ΦＰＴＮａ、ΦＰＴＳａがＳ−Ｎ回路７５ａ、７５ｂに出力される。一方、画質劣化検出モードにおいて画質劣化検出データを出力する際には、基準信号ＴＧsig2により生成された不図示の読み出し信号ΦＰＴＮｂ、ΦＰＴＳｂがＳ−Ｎ回路７５ａ、７５ｂに出力される。
【００６４】
また、本実施形態では、動画像撮影モードにおける動画像の出力に使用される画素領域は、画面全体の領域である。すなわち、動画像撮影モードで動画像を出力する際にＳ−Ｎ回路７５（１）、７５（ｍ）等に送られる駆動信号は、基準信号ＴＧsig1を基準の信号として、後述する光出力用のＳ−Ｎ駆動が行われる。一方、画質劣化検出モードで画質劣化検出用データを取得する際にＳ−Ｎ回路７５（１）、７５（ｍ）等に送られる駆動信号は、基準信号ＴＧsig2を基準の信号として、画面全体のうち、必要な領域のみ、後述のＮ−Ｎ駆動が行われる。
【００６５】
次に、図９を用いて、各出力モード（動画像撮影モード及び画質劣化検出モード）における撮像素子１１４の動作の一例を説明するタイミングチャートである。具体的に図９（ａ）は、動画像撮影モードにおける撮像素子１１４の動作の一例を説明するタイミングチャートであり、図９（ｂ）は、画質劣化検出モードにおける撮像素子１１４の動作の一例を説明するタイミングチャートである。
まず、図９（ａ）について説明する。
最初に、時間Ｔ０のタイミングで画素部のリセットを開始する。時間Ｔ０において、垂直走査回路７７ａは、リセット信号ΦＲＥＳａ（ｎ）と転送信号ΦＴＸａ（ｎ）とをアクティブにする。これにより、ＰＤ６１及びＦＤ６４はリセットされた状態となる。
【００６６】
続いて、時間Ｔ１において、垂直走査回路７７ａは、転送信号ΦＴＸａ（ｎ）とリセット信号ΦＲＥＳａ（ｎ）とをオフする。この段階で、ＰＤ６１への電荷蓄積動作が開始する。
次に、電荷の読み出し直前の時間Ｔ２において、垂直走査回路７７ａは、リセット信号ΦＲＥＳａ（ｎ）をアクティブにし、時間Ｔ３において、リセット信号ΦＲＥＳａ（ｎ）をオフする。すなわち、時間Ｔ２〜Ｔ３の期間において、蓄積動作中にＦＤ６４に蓄積された暗電流（電荷）をリセットした状態とする。
続いて、時間Ｔ４において、垂直走査回路７７ａは、行選択信号ΦＳＥＬａ（ｎ）をアクティブにして、ＦＤ６４に蓄積された電荷を垂直出力線６７へ転送させる。
【００６７】
次に、時間Ｔ５〜Ｔ６の期間において、水平走査回路７６は、読み出し信号ΦＰＴＮ（ｎ）をアクティブにして、ＦＤ６４の電位をＳ−Ｎ回路７５へ出力し、ノイズ成分を読み出す。すなわち、光信号のないリセット状態での読み込みが行われる。
次に、時間Ｔ７〜Ｔ８の期間において、垂直走査回路７７ａは、転送信号ΦＴＸａ（ｎ）をアクティブにし、ＰＤ６１に蓄積された電荷をＦＤ６４へ転送させる。すなわち、時間Ｔ１〜Ｔ８の期間が撮像装置としての露光期間（電荷蓄積期間）となる。
【００６８】
続いて、時間Ｔ８〜Ｔ９の期間において、水平走査回路７６は、読み出し信号ΦＰＴＳ（ｎ）をアクティブにし、ＦＤ６４の電位をＳ−Ｎ回路７５へ出力し、信号成分を読み出す。すなわち、ＰＤ６１に蓄積され、ＦＤ６４に転送された光信号の読み込みが行われる。
次に、時間Ｔ１０において、垂直走査回路７７ａは、行選択信号ΦＳＥＬａ（ｎ）をオフすると同時に、水平走査回路７６は、Ｓ−Ｎ回路７５に対して制御信号を送信する。Ｓ−Ｎ回路７５は、光の蓄積電荷から、ＦＤ６４のリセット状態のノイズ分の出力を差し引いた信号を、出力アンプ７４へ出力する読み出す動作を順次開始する。
以上が水平方向の一行分の蓄積−読み出し動作の一例である。以下同様に、次の対象の行について、リセット信号ΦＲＥＳａ（ｎ＋１）、転送信号ΦＴＸａ（ｎ＋１）、行選択信号ΦＳＥＬａ（ｎ＋１）、読み出し信号ΦＰＴＮａ（ｎ＋１）、及び読み出し信号ΦＰＴＳａ（ｎ＋１）を用いて前述した動作が行われる。
【００６９】
続いて、図９（ｂ）について説明する。
基本的に、転送信号ΦＴＸｂ（ｎ）の動作以外は、図９（ａ）に示したものと同様となる（ΦＲＥＳａ（ｎ）＝ΦＲＥＳｂ（ｎ）、ΦＳＥＬａ（ｎ）＝ΦＳＥＬｂ（ｎ））。図９（ａ）と異なる部分は、時間Ｔ７〜Ｔ８の期間で、垂直走査回路７７ｂが、転送信号ΦＴＸｂ（ｎ）をアクティブにしない点である。よって、この期間に、ＰＤ６１に蓄積された電荷はＦＤ６４へ転送されない。
【００７０】
その為、時間Ｔ８〜Ｔ９の期間で、水平走査回路７６が、読み出し信号ΦＰＴＳｂ（ｎ）をアクティブにすると、Ｓ−Ｎ回路７５へ読み出される信号は、光信号（ＰＤ６１に蓄積された電荷）ではなく、リセット電位にあるＦＤ６４の電荷となる。
すなわち、図９（ｂ）の動作は、ＰＤ６１の光出力はなされず、回路系のノイズ成分のみが出力される暗出力モードでの動作ある。
以上が画質劣化検出用モードにおける水平方向の一行分の読み出し動作の一例である。以下同様に、次の対象の行について、リセット信号ΦＲＥＳｂ（ｎ＋１）、転送信号ΦＴＸｂ（ｎ＋１）、行選択信号ΦＳＥＬｂ（ｎ＋１）、読み出し信号ΦＰＴＮｂ（ｎ＋１）、及び読み出し信号ΦＰＴＳｂ（ｎ＋１）を用いて前述した動作が行われる。本実施形態では、撮像装置の内部の温度上昇によって生じる回路系のノイズを含む暗出力データを用いて画質の劣化を検出する。
【００７１】
次に、図１０を用いて、動画撮影時の画質劣化検出用データの取得動作の一例を説明する。図１０は、画質劣化検出用データの取得を行う際の撮像素子１１４の動作の概略の一例を説明するタイミングチャートである。
動画像撮影時には、１行毎の第１の出力（表示用画像出力）を得るための「リセット−蓄積−転送−読み出し」が行われる。これにより、垂直走査回路７７ａ、Ｓ−Ｎ回路７５、及び水平走査回路７６を用いて、動画撮影用の画像データの１フレーム分の読み出しが行われる。その後、次のフレームのデータの取得開始までの時間として、撮像装置のシステムとして安定した連続動作をするために事前に定められたフレームレート（例えば３０ｆｐｓ等）で動作するための調整期間であるフレーム調整期間を設ける。このようにすることによって、所定のフレームレートにて動画像の撮影動作が行われる。
本実施形態では、このフレーム調整期間を利用して、このフレーム期間内に収まる様に、画質劣化検出用データ（暗出力データ）を得、この画質劣化検出用データを用いて、画質の劣化を予測する。
まず、基準信号ＴＧsig1を基準の信号として用いて、動画撮影用の画像の出力を得るためのリセット−蓄積−転送−読み出しが行われる。すなわち、垂直走査回路７７ａ、Ｓ−Ｎ回路７５、水平走査回路７６を用いて、動画撮影用の画像データの１フレーム分の読み出しが行われる。ここで、基準信号ＴＧsig1を用いて、Ｓ−Ｎ駆動モードにより、動画撮影用の画像データ（光出力画像）の出力を得る。
【００７２】
次に、フレームレート調整期間内に、画質劣化検出用データを得る動作を行う。ここでは、基準信号ＴＧsig2を基準の信号として用いて、Ｎ−Ｎ駆動モードにより、画質劣化検出用データの出力（暗出力）を得る。
撮像素子１１４全体の画質の劣化を正確に検出する為に、画質劣化検出用データのデータ領域を、撮像素子１１４の全画素領域とする必要がある。しかしながら、事前に定められたフレームレートを満足する為には、フレームレート調整期間内に撮像素子１１４の全画素領域の出力を取得することができない。そこで、本実施形態では、撮像素子１１４の全画素領域のうち、フレームレート調整期間内に収まる画素領域のデータを取得する。すなわち、１フレーム期間内では、撮像素子１１４の一部分の画素領域を指定して当該指定した画素領域から画像劣化検出用データを取得する。そして、フレーム毎に、画素領域の変更を行い、複数フレームの期間を掛けて、撮像素子１１４の全画素領域から画質劣化検出用データを取得する（図１０の「Ｒ１領域データ Ｎ−Ｎ読出」、「Ｒ２領域データ Ｎ−Ｎ読出」を参照）。
【００７３】
図１１は、画質劣化検出用データの取得単位である画素領域の一例を示す図である。図１１に示す例では、撮像素子１１４の全画素領域を水平方向に６分割、垂直方向に５分割し、３０の画素領域に分割している。
本実施形態では、最初の１フレーム目のフレーム調整期間には、画素領域Ｒ１の画質劣化検出用データが取得される。次のフレームのフレーム調整期間には、画素領域Ｒ２のデータを取得する。この様に、画質劣化検出用データを取得する画素領域を順次切り替えることにより、３０フレームを１周期として、撮像素子１１４の全画素領域の暗出力データを画質劣化検出用データとして取得することができる。したがって、撮像素子１１４の温度分布が不均一であり、撮像素子１１４の場所により画質の劣化の程度が異なる場合においても、正確に画質の劣化を検出することが可能となる。
【００７４】
そして、取得した各画素領域Ｒｉ（ｉ＝１〜３０）の画質劣化検出用データを用いて、画質の劣化の度合いが判定される。例えば、画像処理回路１２０は、画質劣化検出用データの標準偏差の算出を行う。そして、画像処理回路１２０は、算出した標準偏差の値が所定値以上であるか否かを判定する。この判定の結果、標準偏差の値が所定値以上の場合は、画質が劣化していると判定する。画質が劣化していると判定された場合、画像処理回路１２０は、動画像が表示されている画像表示部１２８の画面に、画質が劣化していることをユーザに知らせる為の警告表示を行う。また、このような警告表示を行う代わりに、画像処理回路１２０は、動画像の撮影動作を終了させてもよい。
以上が、画質劣化検出用データの取得動作の一例である。
【００７５】
以上のように、本実施形態では、１フレーム内において、動画像を得る為の出力動作とは別に、当該画像の画素信号の読み出しを行っていないフレーム調整期間に、画質劣化検出用データを取得する。このとき、１フレーム調整期間で取得できる画質劣化検出用データを複数の画素領域から取得することを、複数のフレーム期間において順次行って、撮像素子１１４の全ての画素領域から画質劣化検出用データを取得する。したがって、動画像の撮影の際に、撮像装置の操作感を損なうことなく、撮像素子１１４全体の画質の劣化を正確に検出することができる。
【００７６】
ここで、本実施形態では、撮像素子１１４の画素領域を順次切り替えて、撮像素子１１４の全画素領域の画質劣化検出用データを取得する例を説明した。しかしながら、例えば、撮像素子１１４の温度分布の特徴を抽出するのに適した画素領域の画質劣化検出用データのみを取得する構成としても良い。例えば、撮像素子１１４の四隅と中央部に相当する領域（図１１に示す例では、画素領域Ｒ１、Ｒ５、Ｒ１３、Ｒ１８、Ｒ２６、Ｒ３０）を順次取得する様にしても良い。
また、不図示の温度センサ出力を用いて、撮像素子１１４等の温度情報を取得し、取得した温度が所定温度以上になった場合に前述の画質の劣化の検出を行うようにしても良い。
【００７７】
（第４の実施形態）
次に、本発明の第４の実施形態について説明する。本実施形態では、動画像を電子ズームにより拡大して撮影しているときに、当該動画像の画質の劣化を検出する。このように、第３の実施形態では、拡大されていない動画像の画質の劣化を検出するのに対し、本実施形態では、電子ズームにより拡大された動画像の画質の劣化を検出する点が主として異なる。したがって、本実施形態の説明において第１〜第３の実施形態と同一の部分については図１〜図１１に付した符号を付す等して詳細な説明を省略する。
【００７８】
本実施形態では、電子ズームによる動画撮影時に、電子ズーム領域に連動して、画質劣化検出用データを取得する画素領域を変更する点が第３の実施形態と異なる。
図１２は、動画撮影時の電子ズーム領域と（図１２（ａ））、画質劣化検出用データを取得する画素領域（図１２（ｂ））の一例を示す図である。
図１２（ａ）に示すように、動画撮影時の電子ズームの操作により、図１２（ａ）の斜線で示す画素領域（画素領域Ｒ７〜Ｒ１０、Ｒ１２〜Ｒ１５、Ｒ１７〜Ｒ２０、Ｒ２２〜Ｒ２５）のみを電子ズーム領域として使用して、動画撮影時の画像データが読み出される。このとき、フレームレート調整期間内に取得する画質劣化検出用データの画素領域を、電子ズーム領域に連動して変更する。すなわち、図１２（ｂ）に示すように、図１２（ｂ）のグレーで塗りつぶした画素領域（画素領域Ｒ７〜Ｒ１０、Ｒ１２〜Ｒ１５、Ｒ１７〜Ｒ２０、Ｒ２２〜Ｒ２５）に相当する箇所のみ画質劣化検出用データを取得する。すなわち、最初のフレームでは、画素領域Ｒ７の画質劣化検出用データを取得し、次のフレームでは、画素領域Ｒ８の画質劣化検出用データを取得する。そして、順次、図１２（ｂ）の灰色で塗りつぶした画素領域に相当する箇所の全てから画質劣化検出用データの取得を行う。これにより、撮像素子１１４の全画素領域の画質劣化検出用データを取得する場合と比較して、より少ないフレーム期間で、動画撮影時に使用している画像データに対応する画素領域の画質の劣化を検出することが可能となる。よって、より短い時間で、画質の劣化を正確に検出することが可能となる。
【００７９】
尚、前述した実施形態は、何れも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。
【００８０】
（その他の実施例）
本発明は、以下の処理を実行することによっても実現される。即ち、まず、以上の実施形態の機能を実現するソフトウェア（コンピュータプログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給する。そして、そのシステム或いは装置のコンピュータ（又はＣＰＵやＭＰＵ等）が当該コンピュータプログラムを読み出して実行する。
【符号の説明】
【００８１】
１１４ 撮像素子、１２０ 画像処理回路、１２８ 画像表示部
【特許請求の範囲】
【請求項１】
光電変換素子を有する画素であって、二次元に配置された複数の画素と、
前記光電変換素子で光電変換された電荷を読み出し、読み出した電荷に基づく動画像またはライブビュー画像を出力する出力手段と、
前記光電変換素子で光電変換された電荷とは異なる電荷を、前記複数の画素の少なくとも一部から読み出し、読み出した電荷に基づく画質劣化検出用データを取得する取得手段と、
前記取得手段により取得された画質劣化検出用データを用いて、画質の劣化を検出する検出手段と、を有し、
前記取得手段は、前記出力手段により出力される動画像またはライブビュー画像の１フレーム期間のうち、少なくとも、前記動画像またはライブビュー画像を得るための電荷の読み出しを行っていないフレーム調整期間に、前記光電変換素子で光電変換された電荷とは異なる電荷を、前記複数の画素の少なくとも一部から読み出すことを特徴とする撮像装置。
【請求項２】
前記取得手段は、１フレーム期間内の、前記動画像またはライブビュー画像を得るための電荷の読み出しを行っていない期間に、前記光電変換素子で光電変換された電荷とは異なる電荷を、前記複数の画素のうち、遮光されている画素から読み出し、
前記検出手段は、前記動画像またはライブビュー画像の出力の後に出力される静止画像の画質の劣化を検出することを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記出力手段は、前記複数の画素のうち、前記取得手段により電荷が読み出される画素とは異なる画素から電荷を読み出し、
前記取得手段は、１フレーム期間内の、前記動画像またはライブビュー画像を得るための電荷の読み出しを行っている期間と、行っていない期間との双方の期間に、前記光電変換素子で光電変換された電荷とは異なる電荷を、前記複数の画素のうち、遮光されている画素から読み出し、
前記検出手段は、前記動画像またはライブビュー画像の出力の後に出力される静止画像の画質の劣化を検出することを特徴とする請求項１に記載の撮像装置。
【請求項４】
前記取得手段は、前記出力手段により電荷が読み出されるときとは異なる条件で前記撮像装置が駆動されているときに、前記光電変換素子で光電変換された電荷とは異なる電荷を、前記複数の画素の少なくとも一部から読み出すことを特徴とする請求項１〜３の何れか１項に記載の撮像装置。
【請求項５】
前記出力手段により電荷が読み出されるときとは異なる条件は、前記出力手段により電荷が読み出されるときよりも前記撮像装置の駆動電流の大きさが大きいという条件、または、前記出力手段により電荷が読み出されるときよりもＩＳＯ感度が高いという条件であることを特徴とする請求項４に記載の撮像装置。
【請求項６】
前記出力手段は、前記光電変換素子で光電変換された電荷を含む電荷を読み出し、読み出した電荷に基づく動画像を出力し、
前記取得手段は、前記出力手段により出力される動画像の１フレーム期間に、前記光電変換素子で光電変換された電荷とは異なる電荷を、前記複数の画素の一部を指定して読み出すことを、複数のフレーム期間のそれぞれで、指定する画素を異ならせて行い、
前記検出手段は、前記動画像の画質の劣化を検出することを特徴とする請求項１に記載の撮像装置。
【請求項７】
前記取得手段は、前記複数の画素の全てを指定することを特徴とする請求項６に記載の撮像装置。
【請求項８】
前記取得手段は、前記複数の画素のうち、画質の劣化を検出する画素として予め設定されている一部の画素を指定することを特徴とする請求項６に記載の撮像装置。
【請求項９】
前記出力手段は、前記動画像の出力を行っているときにユーザからの指示があると、前記複数の画素のうち、当該指示に対応する一部の画素から読み出した電荷に基づいて当該動画像を拡大して出力し、
前記取得手段は、前記複数の画素のうち、前記指示に対応する一部の画素を指定することを特徴とする請求項６に記載の撮像装置。
【請求項１０】
前記出力手段は、前記検出手段により、画質の劣化が検出されると、前記動画像またはライブビュー画像が表示されている画面に、そのことを示す情報を出力することを特徴とする請求項１〜９の何れか１項に記載の撮像装置。
【請求項１１】
前記出力手段は、前記検出手段により、画質の劣化が検出されると、前記動画像またはライブビュー画像の出力を終了することを特徴とする請求項１〜９の何れか１項に記載の撮像装置。
【請求項１２】
光電変換素子を有する画素であって、二次元に配置された複数の画素を有する撮像装置の制御方法であって、
前記光電変換素子で光電変換された電荷を読み出し、読み出した電荷に基づく動画像またはライブビュー画像を出力する出力工程と、
前記光電変換素子で光電変換された電荷とは異なる電荷を、前記複数の画素の少なくとも一部から読み出し、読み出した電荷に基づく画質劣化検出用データを取得する取得工程と、
前記取得工程により取得された画質劣化検出用データを用いて、画質の劣化を検出する検出工程と、を有し、
前記取得工程は、前記出力工程により出力される動画像またはライブビュー画像の１フレーム期間のうち、少なくとも、前記動画像またはライブビュー画像を得るための電荷の読み出しを行っていないフレーム調整期間に、前記光電変換素子で光電変換された電荷とは異なる電荷を、前記複数の画素の少なくとも一部から読み出すことを特徴とする撮像装置の制御方法。
【請求項１３】
前記取得工程は、１フレーム期間内の、前記動画像またはライブビュー画像を得るための電荷の読み出しを行っていない期間に、前記光電変換素子で光電変換された電荷とは異なる電荷を、前記複数の画素のうち、遮光されている画素から読み出し、
前記検出工程は、前記動画像またはライブビュー画像の出力の後に出力される静止画像の画質の劣化を検出することを特徴とする請求項１２に記載の撮像装置の制御方法。
【請求項１４】
前記出力工程は、前記複数の画素のうち、前記取得工程により電荷が読み出される画素とは異なる画素から電荷を読み出し、
前記取得工程は、１フレーム期間内の、前記動画像またはライブビュー画像を得るための電荷の読み出しを行っている期間と、行っていない期間との双方の期間に、前記光電変換素子で光電変換された電荷とは異なる電荷を、前記複数の画素のうち、遮光されている画素から読み出し、
前記検出工程は、前記動画像またはライブビュー画像の出力の後に出力される静止画像の画質の劣化を検出することを特徴とする請求項１２に記載の撮像装置の制御方法。
【請求項１５】
前記取得工程は、前記出力工程により電荷が読み出されるときとは異なる条件で前記撮像装置が駆動されているときに、前記光電変換素子で光電変換された電荷とは異なる電荷を、前記複数の画素の少なくとも一部から読み出すことを特徴とする請求項１２〜１４の何れか１項に記載の撮像装置の制御方法。
【請求項１６】
前記出力工程により電荷が読み出されるときとは異なる条件は、前記出力工程により電荷が読み出されるときよりも前記撮像装置の駆動電流の大きさが大きいという条件、または、前記出力工程により電荷が読み出されるときよりもＩＳＯ感度が高いという条件であることを特徴とする請求項１５に記載の撮像装置の制御方法。
【請求項１７】
前記出力工程は、前記光電変換素子で光電変換された電荷を含む電荷を読み出し、読み出した電荷に基づく動画像を出力し、
前記取得工程は、前記出力工程により出力される動画像の１フレーム期間に、前記光電変換素子で光電変換された電荷とは異なる電荷を、前記複数の画素の一部を指定して読み出すことを、複数のフレーム期間のそれぞれで、指定する画素を異ならせて行い、
前記検出工程は、前記動画像の画質の劣化を検出することを特徴とする請求項１２に記載の撮像装置の制御方法。
【請求項１８】
前記取得工程は、前記複数の画素の全てを指定することを特徴とする請求項１７に記載の撮像装置の制御方法。
【請求項１９】
前記取得工程は、前記複数の画素のうち、画質の劣化を検出する画素として予め設定されている一部の画素を指定することを特徴とする請求項１７に記載の撮像装置の制御方法。
【請求項２０】
前記出力工程は、前記動画像の出力を行っているときにユーザからの指示があると、前記複数の画素のうち、当該指示に対応する一部の画素から読み出した電荷に基づいて当該動画像を拡大して出力し、
前記取得工程は、前記複数の画素のうち、前記指示に対応する一部の画素を指定することを特徴とする請求項１７に記載の撮像装置の制御方法。
【請求項２１】
前記出力工程は、前記検出工程により、画質の劣化が検出されると、前記動画像またはライブビュー画像が表示されている画面に、そのことを示す情報を出力することを特徴とする請求項１２〜２０の何れか１項に記載の撮像装置の制御方法。
【請求項２２】
前記出力工程は、前記検出工程により、画質の劣化が検出されると、前記動画像またはライブビュー画像の出力を終了することを特徴とする請求項１２〜２０の何れか１項に記載の撮像装置の制御方法。
【請求項２３】
光電変換素子を有する画素であって、二次元に配置された複数の画素を有する撮像装置を制御することをコンピュータに実行させるためのコンピュータプログラムであって、
前記光電変換素子で光電変換された電荷を読み出し、読み出した電荷に基づく動画像またはライブビュー画像を出力する出力工程と、
前記光電変換素子で光電変換された電荷とは異なる電荷を、前記複数の画素の少なくとも一部から読み出し、読み出した電荷に基づく画質劣化検出用データを取得する取得工程と、
前記取得工程により取得された画質劣化検出用データを用いて、画質の劣化を検出する検出工程と、をコンピュータに実行させ、
前記取得工程は、前記出力工程により出力される動画像またはライブビュー画像の１フレーム期間のうち、少なくとも、前記動画像またはライブビュー画像を得るための電荷の読み出しを行っていないフレーム調整期間に、前記光電変換素子で光電変換された電荷とは異なる電荷を、前記複数の画素の少なくとも一部から読み出すことを特徴とするコンピュータプログラム。
【請求項１】
光電変換素子を有する画素であって、二次元に配置された複数の画素と、
前記光電変換素子で光電変換された電荷を読み出し、読み出した電荷に基づく動画像またはライブビュー画像を出力する出力手段と、
前記光電変換素子で光電変換された電荷とは異なる電荷を、前記複数の画素の少なくとも一部から読み出し、読み出した電荷に基づく画質劣化検出用データを取得する取得手段と、
前記取得手段により取得された画質劣化検出用データを用いて、画質の劣化を検出する検出手段と、を有し、
前記取得手段は、前記出力手段により出力される動画像またはライブビュー画像の１フレーム期間のうち、少なくとも、前記動画像またはライブビュー画像を得るための電荷の読み出しを行っていないフレーム調整期間に、前記光電変換素子で光電変換された電荷とは異なる電荷を、前記複数の画素の少なくとも一部から読み出すことを特徴とする撮像装置。
【請求項２】
前記取得手段は、１フレーム期間内の、前記動画像またはライブビュー画像を得るための電荷の読み出しを行っていない期間に、前記光電変換素子で光電変換された電荷とは異なる電荷を、前記複数の画素のうち、遮光されている画素から読み出し、
前記検出手段は、前記動画像またはライブビュー画像の出力の後に出力される静止画像の画質の劣化を検出することを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記出力手段は、前記複数の画素のうち、前記取得手段により電荷が読み出される画素とは異なる画素から電荷を読み出し、
前記取得手段は、１フレーム期間内の、前記動画像またはライブビュー画像を得るための電荷の読み出しを行っている期間と、行っていない期間との双方の期間に、前記光電変換素子で光電変換された電荷とは異なる電荷を、前記複数の画素のうち、遮光されている画素から読み出し、
前記検出手段は、前記動画像またはライブビュー画像の出力の後に出力される静止画像の画質の劣化を検出することを特徴とする請求項１に記載の撮像装置。
【請求項４】
前記取得手段は、前記出力手段により電荷が読み出されるときとは異なる条件で前記撮像装置が駆動されているときに、前記光電変換素子で光電変換された電荷とは異なる電荷を、前記複数の画素の少なくとも一部から読み出すことを特徴とする請求項１〜３の何れか１項に記載の撮像装置。
【請求項５】
前記出力手段により電荷が読み出されるときとは異なる条件は、前記出力手段により電荷が読み出されるときよりも前記撮像装置の駆動電流の大きさが大きいという条件、または、前記出力手段により電荷が読み出されるときよりもＩＳＯ感度が高いという条件であることを特徴とする請求項４に記載の撮像装置。
【請求項６】
前記出力手段は、前記光電変換素子で光電変換された電荷を含む電荷を読み出し、読み出した電荷に基づく動画像を出力し、
前記取得手段は、前記出力手段により出力される動画像の１フレーム期間に、前記光電変換素子で光電変換された電荷とは異なる電荷を、前記複数の画素の一部を指定して読み出すことを、複数のフレーム期間のそれぞれで、指定する画素を異ならせて行い、
前記検出手段は、前記動画像の画質の劣化を検出することを特徴とする請求項１に記載の撮像装置。
【請求項７】
前記取得手段は、前記複数の画素の全てを指定することを特徴とする請求項６に記載の撮像装置。
【請求項８】
前記取得手段は、前記複数の画素のうち、画質の劣化を検出する画素として予め設定されている一部の画素を指定することを特徴とする請求項６に記載の撮像装置。
【請求項９】
前記出力手段は、前記動画像の出力を行っているときにユーザからの指示があると、前記複数の画素のうち、当該指示に対応する一部の画素から読み出した電荷に基づいて当該動画像を拡大して出力し、
前記取得手段は、前記複数の画素のうち、前記指示に対応する一部の画素を指定することを特徴とする請求項６に記載の撮像装置。
【請求項１０】
前記出力手段は、前記検出手段により、画質の劣化が検出されると、前記動画像またはライブビュー画像が表示されている画面に、そのことを示す情報を出力することを特徴とする請求項１〜９の何れか１項に記載の撮像装置。
【請求項１１】
前記出力手段は、前記検出手段により、画質の劣化が検出されると、前記動画像またはライブビュー画像の出力を終了することを特徴とする請求項１〜９の何れか１項に記載の撮像装置。
【請求項１２】
光電変換素子を有する画素であって、二次元に配置された複数の画素を有する撮像装置の制御方法であって、
前記光電変換素子で光電変換された電荷を読み出し、読み出した電荷に基づく動画像またはライブビュー画像を出力する出力工程と、
前記光電変換素子で光電変換された電荷とは異なる電荷を、前記複数の画素の少なくとも一部から読み出し、読み出した電荷に基づく画質劣化検出用データを取得する取得工程と、
前記取得工程により取得された画質劣化検出用データを用いて、画質の劣化を検出する検出工程と、を有し、
前記取得工程は、前記出力工程により出力される動画像またはライブビュー画像の１フレーム期間のうち、少なくとも、前記動画像またはライブビュー画像を得るための電荷の読み出しを行っていないフレーム調整期間に、前記光電変換素子で光電変換された電荷とは異なる電荷を、前記複数の画素の少なくとも一部から読み出すことを特徴とする撮像装置の制御方法。
【請求項１３】
前記取得工程は、１フレーム期間内の、前記動画像またはライブビュー画像を得るための電荷の読み出しを行っていない期間に、前記光電変換素子で光電変換された電荷とは異なる電荷を、前記複数の画素のうち、遮光されている画素から読み出し、
前記検出工程は、前記動画像またはライブビュー画像の出力の後に出力される静止画像の画質の劣化を検出することを特徴とする請求項１２に記載の撮像装置の制御方法。
【請求項１４】
前記出力工程は、前記複数の画素のうち、前記取得工程により電荷が読み出される画素とは異なる画素から電荷を読み出し、
前記取得工程は、１フレーム期間内の、前記動画像またはライブビュー画像を得るための電荷の読み出しを行っている期間と、行っていない期間との双方の期間に、前記光電変換素子で光電変換された電荷とは異なる電荷を、前記複数の画素のうち、遮光されている画素から読み出し、
前記検出工程は、前記動画像またはライブビュー画像の出力の後に出力される静止画像の画質の劣化を検出することを特徴とする請求項１２に記載の撮像装置の制御方法。
【請求項１５】
前記取得工程は、前記出力工程により電荷が読み出されるときとは異なる条件で前記撮像装置が駆動されているときに、前記光電変換素子で光電変換された電荷とは異なる電荷を、前記複数の画素の少なくとも一部から読み出すことを特徴とする請求項１２〜１４の何れか１項に記載の撮像装置の制御方法。
【請求項１６】
前記出力工程により電荷が読み出されるときとは異なる条件は、前記出力工程により電荷が読み出されるときよりも前記撮像装置の駆動電流の大きさが大きいという条件、または、前記出力工程により電荷が読み出されるときよりもＩＳＯ感度が高いという条件であることを特徴とする請求項１５に記載の撮像装置の制御方法。
【請求項１７】
前記出力工程は、前記光電変換素子で光電変換された電荷を含む電荷を読み出し、読み出した電荷に基づく動画像を出力し、
前記取得工程は、前記出力工程により出力される動画像の１フレーム期間に、前記光電変換素子で光電変換された電荷とは異なる電荷を、前記複数の画素の一部を指定して読み出すことを、複数のフレーム期間のそれぞれで、指定する画素を異ならせて行い、
前記検出工程は、前記動画像の画質の劣化を検出することを特徴とする請求項１２に記載の撮像装置の制御方法。
【請求項１８】
前記取得工程は、前記複数の画素の全てを指定することを特徴とする請求項１７に記載の撮像装置の制御方法。
【請求項１９】
前記取得工程は、前記複数の画素のうち、画質の劣化を検出する画素として予め設定されている一部の画素を指定することを特徴とする請求項１７に記載の撮像装置の制御方法。
【請求項２０】
前記出力工程は、前記動画像の出力を行っているときにユーザからの指示があると、前記複数の画素のうち、当該指示に対応する一部の画素から読み出した電荷に基づいて当該動画像を拡大して出力し、
前記取得工程は、前記複数の画素のうち、前記指示に対応する一部の画素を指定することを特徴とする請求項１７に記載の撮像装置の制御方法。
【請求項２１】
前記出力工程は、前記検出工程により、画質の劣化が検出されると、前記動画像またはライブビュー画像が表示されている画面に、そのことを示す情報を出力することを特徴とする請求項１２〜２０の何れか１項に記載の撮像装置の制御方法。
【請求項２２】
前記出力工程は、前記検出工程により、画質の劣化が検出されると、前記動画像またはライブビュー画像の出力を終了することを特徴とする請求項１２〜２０の何れか１項に記載の撮像装置の制御方法。
【請求項２３】
光電変換素子を有する画素であって、二次元に配置された複数の画素を有する撮像装置を制御することをコンピュータに実行させるためのコンピュータプログラムであって、
前記光電変換素子で光電変換された電荷を読み出し、読み出した電荷に基づく動画像またはライブビュー画像を出力する出力工程と、
前記光電変換素子で光電変換された電荷とは異なる電荷を、前記複数の画素の少なくとも一部から読み出し、読み出した電荷に基づく画質劣化検出用データを取得する取得工程と、
前記取得工程により取得された画質劣化検出用データを用いて、画質の劣化を検出する検出工程と、をコンピュータに実行させ、
前記取得工程は、前記出力工程により出力される動画像またはライブビュー画像の１フレーム期間のうち、少なくとも、前記動画像またはライブビュー画像を得るための電荷の読み出しを行っていないフレーム調整期間に、前記光電変換素子で光電変換された電荷とは異なる電荷を、前記複数の画素の少なくとも一部から読み出すことを特徴とするコンピュータプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【公開番号】特開２０１３−２１５５９（Ｐ２０１３−２１５５９Ａ）
【公開日】平成２５年１月３１日（２０１３．１．３１）
【国際特許分類】
【出願番号】特願２０１１−１５４１４０（Ｐ２０１１−１５４１４０）
【出願日】平成２３年７月１２日（２０１１．７．１２）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
【公開日】平成２５年１月３１日（２０１３．１．３１）
【国際特許分類】
【出願日】平成２３年７月１２日（２０１１．７．１２）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
[ Back to top ]