読出制御装置、読出制御方法、撮像装置、固体撮像装置およびプログラム
【課題】撮像装置が撮像動作を行っている期間内であっても、動画表示の更新速度が大きく変化することなく、静止画の撮像シーケンスを確実に行うことができる読出制御装置、読出制御方法、撮像装置、固体撮像装置およびプログラムを提供する。
【解決手段】撮像素子上に配置された複数の画素からn回(nは2以上の整数)に分けて、1枚の静止画像を生成するための静止画用信号を読み出し、さらに、静止画用信号を分けて読み出す期間の合間において、画素から動画用信号を読み出す撮像制御部と、第1回目〜第n回目の静止画用信号として読み出される対象となる画素の数を制御する読出画素制御部と、を備える。
【解決手段】撮像素子上に配置された複数の画素からn回(nは2以上の整数)に分けて、1枚の静止画像を生成するための静止画用信号を読み出し、さらに、静止画用信号を分けて読み出す期間の合間において、画素から動画用信号を読み出す撮像制御部と、第1回目〜第n回目の静止画用信号として読み出される対象となる画素の数を制御する読出画素制御部と、を備える。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、読出制御装置、読出制御方法、撮像装置、固体撮像装置およびプログラムに関する。
【背景技術】
【0002】
近年、デジタルカメラ、デジタルビデオカメラ、内視鏡などの撮像装置においては、例えば、撮像装置において撮影する被写体を確認するために撮像装置の表示画面に動画を表示する、いわゆる、ライブビューの機能が実現されており、ライブビューの表示中に静止画の撮影を行う機能が、実際の製品に組み込まれている。そして、ライブビューの表示中に静止画の撮影を行ったことによって途切れてしまうライブビュー表示のフレームを、画像処理によって補う機能などの、各種の技術提案がなされている。
【0003】
また、このような撮像装置に搭載されている撮像素子は、近年、その画素数が増加し、全ての画素信号を読み出す動作に要する時間が長くなる傾向にある。そのため、ライブビュー用の画像信号を取得することができない期間が長くなってしまうという、より重要な課題になりつつある。
【0004】
このような課題を解決するための一つの方法として、撮像素子を動画(ライブビュー)モードで駆動させながら、その垂直ブランキング期間を用いて静止画用の画像信号を取得するという技術がある(特許文献1参照)。特許文献1に開示された技術では、動画と静止画との画像信号の取得を時分割で処理することによって、動画を途切れさせることなく、静止画を撮影するようにしている。
【0005】
また、上記の課題を解決するための他の方法として、ライブビュー表示のときには、撮像素子からの画像信号を間引いて読み出し、1回のライブビュー用の画像信号の読み出し期間を短くすることによって、コマ(フレーム)落ちがないライブビューを表示させる技術もある(特許文献2参照)。特許文献2に開示された技術では、レリーズ操作を受けて静止画を記録するとき、ライブビューの表示を固定(フリーズ)させた状態にして、全ての画素からの静止画用の画像信号の読み出しを行う。そして、静止画用の画像信号の読み出しが終了した後に、ライブビュー表示を再開するようにしている。さらに、特許文献2に開示された技術では、静止画の連続撮影(連写)のとき、最初に記録される静止画と、次に記録される静止画との間に、ライブビューの表示をさせるようにしている。
【0006】
そして、このような現在の撮像装置の多くは、ライブビュー用の画像を表示部に表示させるのみではなく、ライブビュー用の画像を、撮像装置における自動焦点(オートフォーカス:AF)や自動露光制御(AE)などの処理にも利用している。従って、撮像装置においては、静止画を取得するための露光期間の直前まで、ライブビュー用の画像を取得できることが望ましい。
【先行技術文献】
【特許文献】
【0007】
【特許文献1】特開2005−311572号公報
【特許文献2】特開2003−224760号公報
【発明の概要】
【発明が解決しようとする課題】
【0008】
しかしながら、特許文献1に開示されている技術では、静止画用の画像信号を取得している途中でライブビュー表示が途切れることはないが、動画(ライブビュー)モードの限られた垂直ブランキング期間に少しずつ静止画用の画像信号の読み出しを行うこととなる。このため、1枚の静止画を記録するために長い時間を要してしまうという問題がある。さらに、読み出す静止画用の画像信号に時間的なずれが生じてしまうため、静止画として記録しようとする被写体が動いているときなどでは、記録する静止画が非常に歪んだものとなったり、ボケたものとなったりするという問題もある。
【0009】
また、特許文献2に開示されている技術では、静止画用の画像信号を取得している期間は、ライブビューの表示が黒表示の状態(ブラックアウト)や、同じ画面が続けて表示される状態(フリーズ)となってしまう。このように、ライブビュー表示の更新速度が大きく変化してしまうと、例えば、被写体が速く動いているような場面では、表示されているライブビューの画像を確認しながら被写体の動きに追従することができず、ライブビュー表示の画像と実際に撮影される静止画との相違が非常に大きくなってしまうという問題もある。その結果、表示画面を視認して撮影を行っている撮像装置の使用者(撮影者)に、違和感や不快感を与えてしまうこととなる。
【0010】
本発明は、上記の課題認識に基づいてなされたものであり、撮像装置が、撮像動作を行っている期間内であっても、動画表示の更新速度が大きく変化することなく、静止画の撮像シーケンスを確実に行うことができる読出制御装置、読出制御方法、撮像装置、固体撮像装置およびプログラムを提供することを目的としている。
【課題を解決するための手段】
【0011】
上記の課題を解決するため、本発明のある態様に係る読出制御装置は、撮像素子上に配置された複数の画素からn回(nは2以上の整数)に分けて、1枚の静止画像を生成するための静止画用信号を読み出し、さらに、前記静止画用信号を分けて読み出す期間の合間において、前記画素から動画用信号を読み出す撮像制御部と、第1回目〜第n回目の前記静止画用信号として読み出される対象となる画素の数を制御する読出画素制御部と、を備える。
【0012】
また、本発明のある態様に係る固体撮像装置は、入射光量に応じた信号電荷を発生させる光電変換部と、前記光電変換部が発生した信号電荷を蓄積する電荷蓄積部と、を具備した画素を2次元状に複数配列した画素部と、前記画素部上に配置された複数の画素からn回(nは2以上の整数)に分けて、1枚の静止画像を生成するための静止画用信号を読み出し、さらに、前記静止画用信号を分けて読み出す期間の合間において、前記画素から動画用信号を読み出す撮像制御部と、第1回目〜第n回目の前記静止画用信号として読み出される対象となる画素の数を制御する読出画素制御部と、を備える。
【0013】
また、本発明のある態様に係る読出制御方法は、撮像素子上に配置された複数の画素からn回(nは2以上の整数)に分けて、1枚の静止画像を生成するための静止画用信号を読み出し、さらに、前記静止画用信号を分けて読み出す期間の合間において、前記画素から動画用信号を読み出す撮像制御ステップと、第1回目〜第n回目の前記静止画用信号として読み出される対象となる画素の数を制御する読出画素制御ステップと、を含む。
【0014】
また、本発明のある態様に係るプログラムは、撮像素子上に配置された複数の画素からn回(nは2以上の整数)に分けて、1枚の静止画像を生成するための静止画用信号を読み出し、さらに、前記静止画用信号を分けて読み出す期間の合間において、前記画素から動画用信号を読み出す撮像制御ステップと、第1回目〜第n回目の前記静止画用信号として読み出される対象となる画素の数を制御する読出画素制御ステップと、をコンピュータに実行させる。
【0015】
また、本発明のある態様に係る撮像装置は、入射光量に応じた信号電荷を発生させる光電変換部と、前記光電変換部が発生した信号電荷を蓄積する電荷蓄積部と、を具備した画素を2次元状に複数配列した画素部を有する固体撮像素子と、前記固体撮像素子の前記画素部の全ての画素の露光開始タイミングと露光期間とを同一とするグローバルシャッター動作を行うとともに、前記固体撮像素子上に配置された複数の画素からn回(nは2以上の整数)に分けて、1枚の静止画像を生成するための静止画用信号を読み出し、さらに、前記静止画用信号を分けて読み出す期間の合間において、前記画素から動画用信号を読み出す撮像制御部と、第1回目〜第n回目の前記静止画用信号として読み出される対象となる画素の数を制御する読出画素制御部と、を備える。
【図面の簡単な説明】
【0016】
【図1】本発明の実施形態における撮像装置の構成を示したブロック図である。
【図2】本実施形態の撮像装置における撮像部のより詳細な構成を示したブロック図である。
【図3】本実施形態の撮像部内の画素部における画素の第1の構成例をより詳細に示した回路図である。
【図4】本実施形態の撮像装置の第1の画素構成によるグローバルシャッター動作のタイミングを示したタイミングチャートである。
【図5】本実施形態の撮像装置の第1の画素構成においてライブビューのときに読み出される画素部の行(ライン)の例を示した図である。
【図6】本実施形態の撮像装置の第1の画素構成においてライブビュー中に静止画像を撮像するための第1の駆動方法の例を示した図である。
【図7】本実施形態の撮像装置の第1の画素構成においてライブビュー中に静止画像を撮像するための第2の駆動方法の例を示した図である。
【図8】本実施形態の撮像部内の画素部における画素の第2の構成例をより詳細に示した回路図である。
【図9】本実施形態の撮像装置の第2の画素構成によるグローバルシャッター動作のタイミングを示したタイミングチャートである。
【図10】本実施形態の撮像装置の第2の画素構成においてライブビュー中に静止画像を撮像するための第3の駆動方法の例を示した図である。
【図11】本実施形態の撮像装置の第2の画素構成においてライブビュー中に静止画像を撮像するための第4の駆動方法の例を示した図である。
【発明を実施するための形態】
【0017】
以下、本発明の実施形態について、図面を参照して説明する。なお、以下の説明は、例示のために特定の詳細な内容が含まれている。しかし、当業者であれば、以下に説明する詳細な内容に様々な変更を加えた場合であっても、本発明の範囲を超えないことは理解できるであろう。従って、以下に説明する本発明の例示的な実施形態は、権利を請求された発明に対して、一般性を失わせることなく、また、何ら限定をすることもなく、述べられたものである。
【0018】
図1は、本実施形態における撮像装置の構成を示したブロック図である。ここに示した各構成要素は、ハードウェア的には、コンピュータのCPUやメモリをはじめとする素子で実現することができ、ソフトウェア的にはコンピュータプログラムなどによって実現されるものであるが、ここでは、これらの連携によって実現される機能ブロックとして示している。従って、これらの機能ブロックは、ハードウェア、ソフトウェアの組合せによって、様々な形式で実現できるということは、当業者には理解できるであろう。
【0019】
図1に示した撮像装置100は、レンズ1と、撮像部2と、画像処理部3と、表示部4と、メモリーカード5と、撮像・露光制御部6と、レンズ制御部7と、カメラ操作部8と、カメラ制御部9と、を備えている。また、撮像・露光制御部6は、読出画素制御部61を備え、読出画素制御部61は、さらに、画素数取得部611と、解像度取得部612と、を備えている。なお、図1に示した撮像装置100の構成要素であるメモリーカード5は、撮像装置100に対して着脱可能に構成されており、撮像装置100に固有の構成でなくてもよい。
【0020】
レンズ1は、レンズ制御部7によってレンズ1内に備えるフォーカスレンズの駆動、絞り機構の駆動、シャッター機構の駆動などが制御され、被写体の光学像を撮像部2の撮像面に結像するための撮影レンズである。
【0021】
撮像部2は、レンズ1によって結像された被写体の光学像を光電変換する固体撮像素子を備え、被写体光に応じた画像信号(デジタル信号)を出力する。また、撮像部2は、少なくとも、全画素の露光開始時刻および露光終了時刻を同一とするグローバルシャッター機能を有しており、撮像・露光制御部6による駆動制御によって、グローバルシャッター動作を行う。また、撮像部2は、例えば、画素の行単位または画素単位で、露光および画素信号の読み出しを順次行うローリングシャッター機能も有しており、撮像・露光制御部6による駆動制御によって、ローリングシャッター動作を行う。そして、撮像部2は、グローバルシャッター動作またはローリングシャッター動作によって得た画像信号を、画像処理部3に出力する。
【0022】
画像処理部3は、撮像部2から出力された画像信号に種々のデジタル的な画像処理を行う。画像処理部3による画像処理には、例えば、画像信号を記録するための記録用の画像処理や、被写体の画像を表示部4に表示させるための表示用の画像処理が含まれる。そして、記録用の画像処理を行った画像信号をカメラ制御部9に、表示用の画像処理を行った画像信号を表示部4とカメラ制御部9とに出力する。
【0023】
表示部4は、例えば、LCD(Liquid Crystal Display)などの表示装置を備え、画像処理部3によって表示用の画像処理がされた画像信号に基づいた画像を表示する。表示部4は、撮像装置100が撮影した静止画像や、メモリーカード5に保存されている画像の再生表示をすることができる共に、撮像装置100が撮影する被撮像範囲をリアルタイムに表示するライブビュー画像の表示を行うことができる。
【0024】
メモリーカード5は、撮像装置100によって撮影された静止画像を保存するための記録媒体である。メモリーカード5には、画像処理部3によって記録用の画像処理がされた画像信号に基づいて、カメラ制御部9が、例えば、圧縮処理などの画像処理を行った静止画像のデータが記録される。
【0025】
撮像・露光制御部6は、カメラ制御部9から入力された撮像・露光指令に基づいて、撮像部2を駆動し、撮像部2による撮像および露光を制御する。また、撮像・露光制御部6内の読出画素制御部61は、撮像部2から読み出す画像信号(デジタル信号)の数を、例えば、画素の行単位または画素単位で制御する。また、読出画素制御部61内の画素数取得部611は、撮像装置100に設定されたライブビュー画像の基準となる画素数(基準画素数)の情報を取得する。また、読出画素制御部61内の解像度取得部612は、表示部4に表示することができるライブビュー画像の解像度の情報を取得する。なお、撮像・露光制御部6による撮像部2の駆動制御に関する詳細な説明は、後述する。
【0026】
レンズ制御部7は、カメラ制御部9から入力されたレンズ制御指令に基づいて、レンズ1の絞りや焦点位置を制御する。より具体的には、レンズ制御部7は、カメラ制御部9から入力されたフォーカス制御指令に基づいて、レンズ1に備えるフォーカスレンズを駆動し、撮像部2に結像される被写体像を合焦させる。また、レンズ制御部7は、カメラ制御部9から入力された露出制御指令に基づいて、レンズ1に備える絞り機構を駆動し、撮像部2に結像される被写体像の明るさを変化させる。また、レンズ制御部7は、カメラ制御部9から入力されたシャッター制御指令に基づいて、レンズ1に備えるシャッター機構を駆動し、撮像部2に被写体像を結像させる。
【0027】
カメラ操作部8は、撮像装置100の使用者が、撮像装置100に対して各種の操作を入力するための操作部である。このカメラ操作部8に含まれる操作部材の例としては、撮像装置100の電源をオン/オフするための電源スイッチ、撮像装置100に静止画(被写体)の撮影を指示入力するための2段式押圧ボタンであるレリーズボタン、撮像装置100の撮影モードを単写モードと連写モードとに切り替えるための静止画撮影モードスイッチなどがある。カメラ操作部8は、これらの操作部材によって設定されたカメラの操作情報を、カメラ制御部9に出力する。
【0028】
カメラ制御部9は、撮像装置100の全体を制御する。カメラ制御部9は、画像処理部3から入力された記録用の画像処理を行った画像信号、表示用の画像処理を行った画像信号、カメラ操作部8からの操作入力などに基づいて、撮像装置100における撮像動作や記録動作に関する制御指令を、撮像・露光制御部6、レンズ制御部7、メモリーカード5に出力する。
【0029】
次に、本実施形態の撮像装置に備えた撮像部について説明する。図2は、本実施形態の撮像装置100における撮像部2のより詳細な構成を示したブロック図である。図2において、撮像部2は、グローバルシャッター機能を持った、例えば、MOS(Metal Oxide Semiconductor:金属酸化膜半導体)型の固体撮像素子21と、A/D(アナログ/デジタル)変換部22と、KTCノイズ除去部23と、を備えている。また、固体撮像素子21は、画素部24と、CDS(Correlated Double Sampling)部25と、垂直制御回路26と、水平走査回路27と、を備えている。
【0030】
画素部24は、複数の画素28が、行方向および列方向(図2においては、9行9列)の2次元状に配列されている。なお、画素28の構成については後述する。
【0031】
垂直制御回路26は、画素部24に配列された画素28を行(ライン)単位で制御するための制御信号を画素28の行毎に出力する垂直走査回路である。また、垂直制御回路26は、垂直走査回路の他に、画素28をリセットするためのリセット制御部、画素28から信号を読み出すための信号読出制御部を含んでいる。この垂直制御回路26によって選択された行の画素28から出力された信号は、列毎に設けられている画素28の出力信号線(後述する図3の垂直転送線VTL)に出力される。
【0032】
CDS部25は、撮像・露光制御部6による駆動制御によって、撮像部2がローリングシャッター動作を行うときに、垂直転送線VTLを介して転送されてくる画素信号に、相関二重サンプリングの処理を行う。
【0033】
水平走査回路27は、垂直制御回路26に選択され、垂直転送線VTLおよびCDS部25を介して転送されてきた1行分の画素信号を取り込む。そして、水平走査回路27は、画素28の水平方向の並び順で取り込んだ画素信号(アナログ画素信号)を、時系列にA/D変換部22に出力する。
【0034】
A/D変換部22は、固体撮像素子21から出力されたアナログ画素信号を、デジタルの画素信号(デジタル画素信号)に変換する。そして、A/D変換部22は、変換したデジタル画像信号をKTCノイズ除去部23に出力する。
【0035】
KTCノイズ除去部23は、撮像部2がグローバルシャッター動作を行うときに、A/D変換部22から出力されたデジタル画像信号に、KTCノイズ除去の処理を行う。このKTCノイズ除去の処理が行われたデジタル画像信号が、撮像部2から出力される被写体光に応じた画像信号として、画像処理部3に出力される。
【0036】
<第1の画素構成>
次に、本実施形態の撮像装置に備えた撮像部における画素の構成例について説明する。図3は、本実施形態の撮像部2内の画素部24における画素28の第1の構成例をより詳細に示した回路図である。なお、図3では、2つの画素28を表している。図3に示した画素28は、フォトダイオードPD、電荷蓄積部FD、転送トランジスタMtx1、リセットトランジスタMtx2、増幅トランジスタMa、選択トランジスタMb、リセットトランジスタMrから構成される。図3に示した画素28では、電荷蓄積部FDを画素内メモリとして用いることにより、グローバルシャッター機能を可能としている。
【0037】
フォトダイオードPDは、被写体光を光電変換して信号電荷を発生する光電変換部である。電荷蓄積部FDは、フォトダイオードPDで発生した信号電荷を一時的に保持する電荷蓄積部(フローティングディフュージョン)である。リセットトランジスタMtx2は、PDリセットパルスTX2に応じて、フォトダイオードPDで発生した信号電荷を、電圧源VDDのレベルにリセットする。転送トランジスタMtx1は、行転送パルスTX1に応じて、フォトダイオードPDで発生した信号電荷を電荷蓄積部FDに転送する。増幅トランジスタMaは、電荷蓄積部FDに保持された信号電荷を増幅して出力する。この増幅トランジスタMaは、電圧源VDDとでソースフォロアアンプが構成されている。選択トランジスタMbは、行選択パルスSELに応じて、増幅トランジスタMaによって増幅された信号電荷を選択し、画素28の出力信号線である垂直転送線VTLに出力する。リセットトランジスタMrは、FDリセットパルスRESに応じて、電荷蓄積部FDおよび増幅トランジスタMaの入力部を、電圧源VDDのレベルにリセットする。
【0038】
なお、図3に示した画素28の構成例において、行転送パルスTX1とFDリセットパルスRESとを同時に印加し、転送トランジスタMtx1とリセットトランジスタMrとを同時にオンすることによって、電荷蓄積部FDをリセットするのみではなく、同時にフォトダイオードPDもリセットすることができる。このように、転送トランジスタMtx1とリセットトランジスタMrとの組み合わせによって、リセットトランジスタMtx2と同様に、フォトダイオードPDをリセットすることもできる。
【0039】
<グローバルシャッター動作>
次に、本実施形態の撮像装置におけるグローバルシャッター動作について説明する。図4は、本実施形態の撮像装置100の第1の画素構成によるグローバルシャッター動作のタイミングを示したタイミングチャートである。図4に示したグローバルシャッター動作のタイミングは、撮像装置100が静止画像を撮影する際に、撮像・露光制御部6が、撮像部2内の固体撮像素子21に備えた画素部24の全ての画素28を順次駆動して読み出すプログレッシブモードの駆動制御を示している。
【0040】
なお、撮像部2は、撮像・露光制御部6によってその駆動が制御されるが、図4に示したグローバルシャッター動作のタイミングにおいては、撮像・露光制御部6による駆動制御に応じて垂直制御回路26から出力される画素部24の制御パルス(行選択パルスSEL、FDリセットパルスRES、行転送パルスTX1、PDリセットパルスTX2)を示す。
【0041】
グローバルシャッター動作によって静止画像の露光を行う前に、まず、リセットデータ読出期間において、電荷蓄積部FDのリセット信号(リセットノイズ)の読み出しを行う。より具体的には、まず、画素部24の第1行目に配列された各画素28のリセットトランジスタMrに、“H”レベルのFDリセットパルスRESを印加して、第1行目の電荷蓄積部FDのリセットを行う。さらに、画素部24の第1行目に配列された各画素28の選択トランジスタMbに、“H”レベルの行選択パルスSELを印加する。これにより、画素部24の第1行目の各画素28に備えた電荷蓄積部FDのリセットレベルの信号が、増幅トランジスタMaによって増幅されたリセットノイズ(アナログリセットノイズ信号)として、垂直転送線VTLに読み出される。
【0042】
同様に、画素部24の第2行目〜最終行目(図2に示した撮像部2においては、第9行目)の各画素28を駆動し、全ての画素28に備えた電荷蓄積部FDのリセットノイズを読み出す。このリセットノイズの読み出し動作によって読み出されたアナログリセットノイズ信号は、CDS部25、水平走査回路27を介してA/D変換部22に出力にされ、A/D変換部22によってデジタルのリセットノイズ(以下、「リセットデータ」という)に変換された後に、KTCノイズ除去部23に記憶される。なお、グローバルシャッター動作によるリセットノイズの読み出し動作においては、CDS部25による相関二重サンプリングの処理は行わない。
【0043】
なお、リセットデータ読出期間において、行転送パルスTX1は“L”レベル、PDリセットパルスTX2は“H”レベルである。従って、画素部24の全ての画素28に備えたフォトダイオードPDはリセットされており、フォトダイオードPDのリセットされた信号電荷は、電荷蓄積部FDに転送されていない状態である。
【0044】
続いて、露光期間において、グローバルシャッター動作による静止画像の露光を行う。より具体的には、まず、画素部24の全ての画素28のPDリセットパルスTX2を“L”レベルとする。これにより、全ての画素28に備えたリセットトランジスタMtx2がオフ状態(フォトダイオードPDのリセットが解除)となり、全ての画素28のフォトダイオードPDへの信号電荷の蓄積が開始される。つまり、全ての画素28の露光を同時に開始する。
【0045】
その後、所定の露光時間が経過した後に、画素部24の全ての画素28に、“H”レベルの行転送パルスTX1を印加して、フォトダイオードPDに蓄積された信号電荷を、電荷蓄積部FDに転送する。つまり、全ての画素28の露光を同時に終了する。なお、露光の開始から終了までの露光期間は、画像処理部3またはカメラ制御部9によって演算されたAE演算の結果に基づいて、カメラ制御部9が撮像装置100のシャッター速度を決定し、決定されたシャッター速度に応じて、撮像部2における露光時間が制御される。より具体的には、カメラ制御部9が決定したシャッター速度に基づいて、撮像・露光制御部6に撮像・露光指令を出力する。そして、撮像・露光制御部6は、カメラ制御部9から入力された撮像・露光指令に基づいて、撮像部2を駆動する。
【0046】
続いて、画素データ読出期間において、露光した画素信号を読み出す。より具体的には、まず、画素部24の第1行目に配列された各画素28の選択トランジスタMbに、“H”レベルの行選択パルスSELを印加する。これにより、画素部24の第1行目の各画素28に備えた電荷蓄積部FDに転送された信号電荷が、増幅トランジスタMaによって増幅された画素信号(アナログ画素信号)として、選択トランジスタMbを介して垂直転送線VTLに読み出される。
【0047】
同様に、画素部24の第2行目〜最終行目(図2に示した撮像部2においては、第9行目)の各画素28を駆動し、全ての画素28に備えた電荷蓄積部FDの信号電荷を、行(ライン)単位で、垂直転送線VTLへ順次読み出す。この画素信号の読み出し動作によって読み出されたアナログ画素信号は、CDS部25、水平走査回路27を介してA/D変換部22に出力にされ、A/D変換部22によってデジタルの画素信号(デジタル画素信号)に変換された後に、KTCノイズ除去部23に出力される。そして、KTCノイズ除去部23において、リセットデータ読出期間に記憶したリセットデータと、画素データ読出期間に読み出されたデジタル画素信号との差分処理を行う。このKTCノイズが除去されたデジタル画素信号を、撮像部2から出力する画素データとして、画像処理部3に出力する。なお、グローバルシャッター動作による画素信号の読み出し動作においても、CDS部25による相関二重サンプリングの処理は行わない。
【0048】
<ライブビュー動作>
次に、本実施形態の撮像装置におけるライブビュー動作について説明する。ライブビュー動作は、画素28を行単位での露光および行単位での画素信号の読み出しを順次行う、ローリングシャッター動作によって、撮像部2からの画素データを取得する。図5は、本実施形態の撮像装置100の第1の画素構成においてライブビューのときに読み出される画素部24の行(ライン)の例を示した図である。図5においては、画素部24に備えられた画素28の全ての行(ライン)数が、3000ラインである場合を示している。また、図5では、全ラインの内、3ラインに1ラインの割合で、ライブビュー用の画素データの読み出しを行う例を示している。なお、図5においては、3Nライン(Nは0以上の整数)を、ライブビュー用の画素データを読み出すライン(以下、「LVライン」という)として選択している例を示しているが、LVラインとして、3Nライン、(3N+1)ライン、または(3N+2)ラインのいずれかを選択して読み出すようにすることもできる。
【0049】
図5に示したようなライン数が3000ラインの画素部24から、ローリングシャッター動作の読み出し動作によって、全てのラインの画素データを読み出すのに要する時間が、例えば、100msである場合を考える。この場合、読み出した全てのラインの画素データに基づいて表示用の画像処理を行い、表示部4にライブビュー表示(以下、「LV表示」という)をすると、LV表示の更新は、1秒間に10回となる。このとき、図5に示したように、3ラインに1ラインの割合で画素部24のラインを間引きして、1000ラインのライブビュー用の画素データ(以下、「LVデータ」という)を読み出すようにすると、画素データの読み出しに要する時間が短縮(図5の例では、1/3に短縮)され、例えば、33.33msとなる。これは、LV表示の更新が、1秒間に30回、すなわち、毎秒30フレームとなることを表している。なお、画素部24のラインを間引きすることによって、LVデータは、全てのラインの画素データに比べて少なくなる。しかし、画素部24に備えた画素28の総数に対して、表示部4に備えた表示素子の総数は少ないため、表示部4への表示のみの目的であれば、画素部24のラインを間引きしてLVデータを取得しても問題とはならない。
【0050】
<第1の駆動方法>
次に、本実施形態の撮像装置におけるライブビュー動作とグローバルシャッター動作との関係について説明する。図6は、本実施形態の撮像装置100の第1の画素構成においてライブビュー中に静止画像を撮像するための第1の駆動方法の例を示した図である。
【0051】
本第1の駆動方法においては、LV表示を行う際に、画素部24のラインを間引いて、例えば、毎秒30フレームでLVデータを取得し、取得したLVデータに基づいて表示用の画像処理をした後に、表示部4にLV表示を行う。そして、静止画(被写体)の撮影を行う際に、撮像・露光制御部6が、画素部24内の画素28をフィールド毎に駆動して読み出すインターレース駆動を行い、静止画用の画素データを複数フィールドに分割して取得する。なお、撮像・露光制御部6が、それぞれインターレース駆動するフィールドは、例えば、図5に示したような画素部24のラインを分割したフィールド(図5においては、3つのフィールド)である。また、静止画用の画素データを取得している期間中は、静止画用の画素データを取得するフィールドの合間にLVデータを取得することによって、LV表示を更新する。
【0052】
なお、本第1の駆動方法においては、図5に示したように、画素部24のラインを3つのフィールドに分割した撮像部2を駆動する場合について説明する。また、静止画用の画素データのそれぞれのフィールドは、例えば、図5に示した3Nラインをフィールド_1、(3N+1)ラインをフィールド_2、(3N+2)ラインをフィールド_3とする。
【0053】
より具体的には、図6に示すように、撮像装置100に静止画の撮影を指示入力するレリーズボタンの押圧(例えば、2段式押圧ボタンの2段目の押圧)がされるまで、LV表示を繰り返し行う。図6では、LVデータLV_A〜LV_Fを取得し、取得したLV_A〜LV_Fに基づいて表示用の画像処理を行い、次のフレームで表示部4にLV表示(A〜F)をする例を示している。
【0054】
そして、ライブビューの表示を行っている最中に、レリーズボタンによって、静止画の撮影が指示されると、リセットデータの読み出しが行われるが、本第1の駆動方法では、最初に、フィールド_1のリセットデータの読み出しを行う。そして、フィールド_1のリセットデータの読み出しが終了した後に、リセットデータの読み出しを行っていない、例えば、フィールド_3を用いてLVデータLV_Gを取得し、取得したLV_Gに基づいて表示用の画像処理をしたLV表示(G)を、表示部4に表示する。続いて、フィールド_2のリセットデータの読み出しを行う。フィールド_2のリセットデータの読み出しが終了した後に、リセットデータの読み出しを行っていない、例えば、フィールド_3を用いてLVデータLV_Hを取得し、取得したLV_Hに基づいて表示用の画像処理をしたLV表示(H)を、表示部4に表示する。そして、最後に、フィールド_3のリセットデータの読み出しを行う。
【0055】
このように、静止画像の撮像動作において、画素部24の全てのラインのリセットデータの読み出しが終了するまでの間に、LVデータの取得を、1回以上行うことができる。そして、LVデータの取得に用いたフィールドの各ラインのリセットデータは、リセットデータ読出期間の最後に取得するようにする。また、図6に示したように、リセットデータ読出期間中に2回以上のLVデータの取得を行う場合には、リセットデータの読み出しの間に、LVデータを取得する。このようにすることによって、通常のLV表示に比べて表示されるライブビュー画像のフレームレートは低くなるが、従来の撮像装置では、リセットデータ読出期間中に同一のライブビュー画像を複数の表示フレームに渡って表示し続けることによって固定(フリーズ)、または黒の表示(ブラックアウト)となっていたLV表示を更新することができる。
【0056】
その後、静止画像の露光期間において、図4に示したグローバルシャッター動作と同様に、画素部24内の全ての画素28の露光を同時に開始する。
【0057】
続いて、静止画像の露光期間が終了すると、静止画用の画素データの読み出しが行われるが、本第1の駆動方法では、最初に、フィールド_1の画素データの読み出しを行う。そして、フィールド_1の画素データの読み出しが終了した後に、画素データの読み出しが終了した、例えば、フィールド_1を用いてLVデータLV_Iを取得し、取得したLV_Iに基づいて表示用の画像処理をしたLV表示(I)を、表示部4に表示する。続いて、フィールド_2の画素データの読み出しを行う。フィールド_2の画素データの読み出しが終了した後に、画素データの読み出しが終了した、例えば、フィールド_1を用いてLVデータLV_Jを取得し、取得したLV_Jに基づいて表示用の画像処理をしたLV表示(J)を、表示部4に表示する。そして、最後に、フィールド_3の画素データの読み出しを行う。なお、図6においては、LV表示が固定される期間を少なくする、すなわち、LV表示の更新回数を臆するために、静止画像の露光期間が終了した次のフレームで、フィールド_1の画素データに基づいて表示用の画像処理をしたLV表示(α)を、表示部4に表示する例を示している。
【0058】
このように、静止画像の撮像動作において、画素部24の全てのラインの画素データの読み出しが終了するまでの間に、LVデータの取得を、1回以上行うことができる。なお、LVデータの取得は、画素データ読出期間の最初に静止画用の画素データを読み出したフィールドを用いて行うようにする。また、図6に示したように、画素データ読出期間中に2回以上のLVデータの取得を行う場合には、画素データの読み出しの間に、LVデータを取得する。このようにすることによって、通常のLV表示に比べて表示されるライブビュー画像のフレームレートは低くなるが、従来の撮像装置では、画素データ読出期間中に同一のライブビュー画像を複数の表示フレームに渡って表示し続けることによって固定(フリーズ)、または黒の表示(ブラックアウト)となっていたLV表示を少しでも多く更新することができる。
【0059】
その後、静止画像の撮像動作が終了すると、再びLVデータを取得し、次のフレームから、取得したLVデータに基づいた表示部4のLV表示を再開する。
【0060】
上記に述べたように、本実施形態の第1の駆動方法では、静止画用の画素データを等間隔のライン数で分割したフィールド毎のインターレース駆動によって、レリーズボタンが押されてから、一連の静止画用の画素データの取得が終了するまでの間で、ライブビュー画像の更新を行うことができる。ただし、図6を見てわかるように、本第1の駆動方法においては、特に、静止画像の露光期間の前後におけるLV表示の更新速度が若干低下している。これは、静止画像の露光期間とその前後の、フィールド_3によるリセットデータの読み出し期間、およびフィールド_1による画素データの読み出し期間では、LVデータを取得する期間を設けることができず、LVデータを取得する間隔が長くなっているためである。
【0061】
しかし、上記に述べたように、ライブビュー画像は、表示部4に表示させるのみではなく、撮像装置100におけるオートフォーカス(AF)や自動露光制御(AE)などの処理にも利用しているため、静止画像の露光期間の直前まで、LVデータを取得できることが望ましい。ところが、静止画像の露光期間と、静止画像の露光期間の前後のリセットデータの読み出し期間および画素データの読み出し期間とは、本第1の駆動方法においては必要な期間である。そして、静止画像の撮像動作においては、静止画像の露光期間を短くすることができない。
【0062】
<第2の駆動方法>
図7は、本実施形態の撮像装置100の第1の画素構成においてライブビュー中に静止画像を撮像するための第2の駆動方法の例を示した図である。
【0063】
本第2の駆動方法においては、図6に示した第1の駆動方法と同様に、静止画(被写体)の撮影を行う際に、撮像・露光制御部6が、画素部24内の画素28をフィールド毎に駆動して読み出すインターレース駆動を行い、静止画用の画素データを複数フィールドに分割して取得する。ただし、本第2の駆動方法においては、撮像・露光制御部6が、それぞれインターレース駆動するフィールドに含まれる画素部24のライン数が、図6に示した第1の駆動方法と異なる。より具体的には、図6に示した第1の駆動方法では、画素部24を等間隔のライン数で分割したフィールド毎に静止画用の画素データを取得していたのに対し、本第2の駆動方法では、画素部24を不等間隔のライン数で分割したフィールド毎に静止画用の画素データを取得している。これにより、静止画像の露光期間の前後のリセットデータの読み出し期間および画素データの読み出し期間を短くしている。その結果、LVデータの取得を静止画像の露光期間に近づけるとともに、静止画像の撮像動作中におけるLV表示の更新速度(周期)の変化を少なくすることができる。
【0064】
本第2の駆動方法は、上記に述べたインターレース駆動において画素部24を分割するライン数が異なる以外は、図6に示した第1の駆動方法と同様であるため、以下の説明においては、第2の駆動方法の動作に関する詳細な説明は省略し、画素部24を分割するライン数の決定方法に関しての説明をする。
【0065】
静止画像の露光期間の直前にリセットデータの読み出しを行うフィールド_3(以下「リセットフィールド_3」という)と、静止画像の露光期間の直後に画素データの読み出しを行うフィールド_1(以下、「画素フィールド_1」という)のライン数は、読出画素制御部61によって決定される。読出画素制御部61によるリセットフィールド_3と画素フィールド_1とのライン数の決定は、例えば、画素数取得部611が取得した、撮像装置100の使用者がカメラ操作部8によって設定した表示部4に表示するライブビュー画像の画素数(基準画素数)の情報に基づいて決定される。また、例えば、解像度取得部612が取得した、撮像装置100に搭載された表示部4に表示することができるライブビュー画像の解像度の情報に基づいて決定される。なお、リセットフィールド_3と画素フィールド_1とのライン数は、最低でもライブビュー画像を得るためのLVデータのライン数と同等以上のライン数である。
【0066】
また、読出画素制御部61は、リセットフィールド_3および画素フィールド_1以外のフィールドのライン数を、決定したリセットフィールド_3および画素フィールド_1のライン数に基づいて決定する。読出画素制御部61によるリセットフィールド_3および画素フィールド_1以外のフィールドのライン数の決定は、まず、画素部24の全てのライン数から、リセットフィールド_3または画素フィールド_1のライン数を除いたライン数を算出する。そして、算出したライン数を、フィールド数で分割し、この分割したときのライン数を、リセットフィールド_3および画素フィールド_1以外の各フィールドのライン数とする。より具体的には、例えば、静止画像の露光期間の直前以外のタイミングでリセットデータの読み出しを行うフィールド_1とフィールド_2のライン数は、画素部24の全てのライン数からリセットフィールド_3のライン数を減算したライン数を、フィールド数(図7に示した第2の駆動方法においては、フィールド数=2)で除算したライン数となる。また、例えば、静止画像の露光期間の直後以外のタイミングで画素データの読み出しを行うフィールド_2およびフィールド_3のライン数は、画素部24の全てのライン数から画素フィールド_1のライン数を減算したライン数を、フィールド数(図7に示した第2の駆動方法においては、フィールド数=2)で除算したライン数となる。
【0067】
図7に示した第2の駆動方法は、リセットフィールド_3および画素フィールド_1の読み出しライン数を、LVデータのライン数程度にした場合の一例を示している。図7に示した第2の駆動方法においては、リセットフィールド_3および画素フィールド_1の読み出しライン数が少なくなっているため、他のフィールドのライン数が増加している。これにより、静止画像の露光期間の前後におけるLV表示の更新周期が短くなっている。
【0068】
上記に述べたように、本実施形態の第2の駆動方法では、静止画用の画素データを不等間隔のライン数で分割したフィールド毎のインターレース駆動によって、レリーズボタンが押されてから、一連の静止画用の画素データの取得が終了するまでの間におけるLV表示の更新周期を平均化することができる。その結果、撮像装置100の使用者(撮影者)は、LV表示を視認しながら撮影を行う際に、LV表示に違和感を覚えることなく撮影をすることができる。
【0069】
なお、フィールドの分割数を変えない範囲であれば、不等間隔のライン数で分割したフィールド毎のインターレース駆動においても、1枚の静止画像を生成するためのリセットデータの読み出しに要する時間と、画素データの読み出しに要する時間との合計時間は不変である。従って、撮像部2内の固体撮像素子21に備えた画素部24の画素数や、撮像部2から出力される画像信号のフレームレートなどの特性に合わせて、撮像装置100の撮像シーケンスを決定することによって、使い勝手の良い撮像装置100を実現することが可能となる。
【0070】
<第2の画素構成>
次に、本実施形態の撮像装置に備えた撮像部における画素の第2の構成例について説明する。図8は、本実施形態の撮像部2内の画素部24における画素28の第2の構成例をより詳細に示した回路図である。なお、図8では、2画素分の領域の画素28を表している。そして、図2に示した固体撮像素子21は、例えば、上下に隣接する2画素毎に、図8に示した画素28の構成をとなっている。以下の説明においては、第2の構成例の画素28を、「画素29」という。また、画素29の画素構成を備えた撮像装置100を、「撮像装置200」という。なお、本実施形態の撮像装置200の構成および撮像部2の構成は、図1および図2に示した撮像装置100のブロック図と同様であり、画素部24内の画素28に代わって、図8に示した画素29となっていることのみが異なる。従って、撮像装置200において撮像装置100と同様の構成要素には、同一の符号を付与し、詳細な説明は省略する。
【0071】
図8に示した画素29は、フォトダイオードPD1およびPD2、転送トランジスタMtx1aおよびMtx1b、リセットトランジスタMtx2aおよびMtx2b、電荷蓄積部C1およびC2、PD転送トランジスタMtx3およびMtx4、電荷蓄積部FD、増幅トランジスタMa、選択トランジスタMb、リセットトランジスタMrから構成される。図8に示した画素29では、電荷蓄積部C1、C2および電荷蓄積部FDを画素内メモリとして用いることにより、グローバルシャッター機能を可能としている。
【0072】
フォトダイオードPD1、PD2は、被写体光を光電変換して信号電荷を発生する光電変換部である。リセットトランジスタMtx2a、Mtx2bは、PDリセットパルスTX2に応じて、フォトダイオードPD1、PD2で発生した信号電荷を、それぞれ電圧源VDDのレベルにリセットする。転送トランジスタMtx1a、Mtx1bは、行転送パルスTX1に応じて、フォトダイオードPD1、PD2で発生した信号電荷を、それぞれ電荷蓄積部C1、C2に転送する。電荷蓄積部C1、C2は、フォトダイオードPD1、PD2のそれぞれで発生した信号電荷を、それぞれ一時的に保持する電荷蓄積部である。PD転送トランジスタMtx3は、PD転送パルスTX3に応じて、電荷蓄積部C1に保持しているフォトダイオードPD1が発生した信号電荷を電荷蓄積部FDに転送する。PD転送トランジスタMtx4は、PD転送パルスTX4に応じて、電荷蓄積部C2に保持しているフォトダイオードPD2が発生した信号電荷を電荷蓄積部FDに転送する。電荷蓄積部FD、増幅トランジスタMa、選択トランジスタMb、リセットトランジスタMrのそれぞれは、図3に示した第1の構成の画素28と同様であるため、詳細な説明は省略する。
【0073】
<第2のグローバルシャッター動作>
次に、本実施形態の撮像装置において、第2の構成の画素29におけるグローバルシャッター動作について説明する。図9は、本実施形態の撮像装置200の第2の画素構成によるグローバルシャッター動作のタイミングを示したタイミングチャートである。図9に示したグローバルシャッター動作のタイミングは、撮像装置200が静止画像を撮影する際に、撮像・露光制御部6によって行われる撮像部2の駆動制御を示している。そして、図8に示した画素29の画素構成である固体撮像素子21は、グローバルシャッター動作が開始されると、最初に露光を行い、その後にリセットデータと画素データとを読み出すように制御される。
【0074】
なお、撮像部2は、撮像・露光制御部6によってその駆動が制御されるが、図9に示したグローバルシャッター動作のタイミングにおいては、撮像・露光制御部6による駆動制御に応じて垂直制御回路26から出力される画素部24の制御パルス(FDリセットパルスRES、行転送パルスTX1、PDリセットパルスTX2、PD転送パルスTX3、PD転送パルスTX4)を示す。
【0075】
カメラ操作部8のレリーズボタンが押圧され、グローバルシャッター動作が開始されると、露光期間において、グローバルシャッター動作による静止画像の露光を行う。より具体的には、まず、画素部24の全ての画素29のPDリセットパルスTX2を“L”レベルとする。これにより、全ての画素29に備えたリセットトランジスタMtx2a、Mtx2bが同時にオフ状態(フォトダイオードPD1およびPD2のリセットが解除)となり、全ての画素29のフォトダイオードPD1、PD2への信号電荷の蓄積が開始される。つまり、全ての画素29の露光を同時に開始する。
【0076】
その後、所定の露光時間が経過した後に、画素部24の全ての画素29に、“H”レベルの行転送パルスTX1を印加して、フォトダイオードPD1、PD2にそれぞれ蓄積された信号電荷を、電荷蓄積部C1、C2にそれぞれ転送する。つまり、全ての画素29の露光を同時に終了する。なお、露光の開始から終了までの露光期間は、第1の構成の画素28を備えた撮像装置100と同様に、画像処理部3またはカメラ制御部9によって演算されたAE演算の結果に基づいて決定されたシャッター速度に応じて、撮像部2における露光時間が制御される。
【0077】
続いて、リセットデータおよび画素データ読出期間において、リセットデータおよび露光した画素信号を読み出す。より具体的には、まず、画素部24の第1行目および第2行目となる各画素29のリセットトランジスタMrに、“H”レベルのFDリセットパルスRESを印加して、第1行目および第2行目に共通の電荷蓄積部FDのリセットを行う。さらに、選択トランジスタMbに、“H”レベルの行選択パルスSELを印加する。これにより、画素部24の第1行目および第2行目の各画素29で共通に備えた電荷蓄積部FDのリセットレベルの信号が、増幅トランジスタMaによって増幅されたアナログリセットノイズ信号として、垂直転送線VTLに読み出される。
【0078】
その直後に、画素部24の第1行目となる各画素29のPD転送トランジスタMtx3に“H”レベルのPD転送パルスTX3を印加する。これにより、画素部24の第1行目となる各画素29に備えた電荷蓄積部C1に蓄積されたフォトダイオードPD1の信号電荷を電荷蓄積部FDに転送する。さらに、画素部24の第1行目および第2行目の各画素29に共通に備えた選択トランジスタMbに、“H”レベルの行選択パルスSELを印加する。これにより、画素部24の第1行目となる各画素29に備えた電荷蓄積部FDに転送された信号電荷が、増幅トランジスタMaによって増幅されたアナログ画素信号として、選択トランジスタMbを介して垂直転送線VTLに読み出される。
【0079】
このように、画素29においては、アナログリセットノイズ信号に続いてアナログ画素信号が垂直転送線VTLに読み出される。そして、CDS部25によって、アナログリセットノイズ信号が減算されたアナログ画素信号が、水平走査回路27を介してA/D変換部22に出力にされる。従って、図8に示した画素構成の画素29を備えた撮像部2においては、図2に示した撮像部2の構成要素であるKTCノイズ除去部23は、必ずしも必要な構成要素ではない。そして、図8に示した画素構成の画素29を備えた撮像部2は、A/D変換部22によって変換されたデジタル画素信号を、撮像部2から出力する画素データとして、画像処理部3に出力する。
【0080】
同様に、画素部24の奇数行(第3行目〜最終行の1行前)の各画素29を駆動し、リセットノイズが除去された、全ての奇数行の画素データを画像処理部3に出力する。
【0081】
その後、画素部24の偶数行(第2行目〜最終行目)の画素データを画像処理部3に出力する。より具体的には、まず、画素部24の第1行目および第2行目となる各画素29のリセットトランジスタMrに、“H”レベルのFDリセットパルスRESを印加して、第1行目および第2行目に共通の電荷蓄積部FDのリセットを行う。さらに、選択トランジスタMbに、“H”レベルの行選択パルスSELを印加する。これにより、画素部24の第1行目および第2行目の各画素29で共通に備えた電荷蓄積部FDのリセットレベルの信号が、増幅トランジスタMaによって増幅されたアナログリセットノイズ信号として、再度、垂直転送線VTLに読み出される。
【0082】
その直後に、画素部24の第2行目となる各画素29のPD転送トランジスタMtx4に“H”レベルのPD転送パルスTX4を印加する。これにより、画素部24の第2行目となる各画素29に備えた電荷蓄積部C2に蓄積されたフォトダイオードPD2の信号電荷を電荷蓄積部FDに転送する。さらに、画素部24の第1行目および第2行目の各画素29に共通に備えた選択トランジスタMbに、“H”レベルの行選択パルスSELを印加する。これにより、画素部24の第2行目となる各画素29に備えた電荷蓄積部FDに転送された信号電荷が、増幅トランジスタMaによって増幅された2行目のアナログ画素信号として、選択トランジスタMbを介して垂直転送線VTLに読み出される。
【0083】
そして、CDS部25によって、アナログリセットノイズ信号が減算された2行目のアナログ画素信号が、水平走査回路27を介してA/D変換部22に出力にされる。そして、A/D変換部22によって変換された2行目のデジタル画素信号が、撮像部2から出力する2行目の画素データとして、画像処理部3に出力される。
【0084】
同様に、画素部24の偶数行(第2行目〜最終行目)の各画素29を駆動し、リセットノイズが除去された、全ての偶数行の画素データを画像処理部3に出力する。
【0085】
<第3の駆動方法>
次に、本実施形態の撮像装置におけるライブビュー動作とグローバルシャッター動作との関係について説明する。図10は、本実施形態の撮像装置200の第2の画素構成においてライブビュー中に静止画像を撮像するための第3の駆動方法の例を示した図である。
【0086】
第3の駆動方法においては、図6に示した第1の駆動方法と同様に、等間隔のライン数で複数のフィールドに分割した画素部24から、静止画用の画素データを、分割したフィールド毎に取得する。なお、画素29の画素構成は、上述したように、例えば、上下に隣接する2画素が組となっている構成であるため、図6に示した第1の駆動方法と同様に画素部24のライン毎にフィールドを分割することができない。しかし、以下の説明においては、説明を容易にすること、および図6に示した第1の駆動方法との比較を容易に行えること、を考慮して、図6に示した第1の駆動方法と同様に画素部24を3つのフィールドに分割した撮像部2を駆動する場合について説明する。そして、分割したそれぞれのフィールドは、第1フィールドをフィールド_1、第2フィールドをフィールド_2、第3フィールドをフィールド_3とする。なお、上述したように、フィールド_1〜フィールド_3には、リセットデータと画素データとが含まれている。
【0087】
また、第3の駆動方法においては、静止画用のリセットデータと画素データと(以下「静止画用データ」という)を取得するフィールドの合間に、図6に示した第1の駆動方法と同様に、LVデータの取得を行うことによって、LV表示を更新する。
【0088】
より具体的には、図10に示すように、撮像装置200に静止画の撮影を指示入力するレリーズボタンの押圧がされるまで、LV表示を繰り返し行う。図10では、図6に示した第1の駆動方法と同様に、LVデータLV_A〜LV_Hを取得し、次のフレームで表示部4にLV表示(A〜H)をする例を示している。
【0089】
そして、ライブビューの表示を行っている最中に、レリーズボタンによって、静止画の撮影が指示されると、まず、静止画像の露光期間において、画素部24内の全ての画素29のフォトダイオードPD1およびPD2をリセットすることによって、全ての画素29の露光を同時に開始する。そして、全ての画素29のフォトダイオードPD1、PD2にそれぞれ蓄積された信号電荷を、電荷蓄積部C1、C2にそれぞれ同時に転送して、全ての画素29の露光を同時に終了する。
【0090】
続いて、リセットデータおよび画素データ読出期間において、上述したように、リセットデータの読み出しと画素データの読み出しとの連続した読み出しを、フィールド_1に対して、最初に行う。このフィールド_1は、LV表示において、LVデータを取得していたフィールドである。そして、フィールド_1から読み出した静止画用データ内の画素データに基づいて表示用の画像処理をしたLV表示(α)を、直後の表示フレームで表示部4に表示する。
【0091】
以降、図6に示した第1の駆動方法と同様に、フィールド_1を用いたLVデータの取得を、例えば、複数のライブビューの表示フレームに1回の割合で行う。ただし、上述したように、リセットデータおよび画素データ読出期間においては、LVデータの取得をライブビューの表示フレームに同期したタイミングで行う必要があるわけではない。このようにすることによって、通常のLV表示に比べて表示されるライブビュー画像のフレームレートは低くなるが、従来の撮像装置では、リセットデータおよび画素データ読出期間中に同一のライブビュー画像を複数の表示フレームに渡って表示し続けることによって固定(フリーズ)、または黒の表示(ブラックアウト)となっていたLV表示を更新することができる。
【0092】
続いて、LVデータを取得していない期間に、図6に示した第1の駆動方法と同様に、各フィールド(非ライブビュー用フィールド)の静止画用データの読み出しを、所定の順序(例えば、ライン番号が若い順、奇数ラインを先に偶数ラインを後に、など)で行う。
【0093】
その後、静止画像の撮像動作が終了すると、図6に示した第1の駆動方法と同様に、再びLVデータを取得し、次のフレームから、取得したLVデータに基づいた表示部4のLV表示を再開する。
【0094】
上記に述べたように、本実施形態の第3の駆動方法では、静止画用の画素データを等間隔のライン数で分割したフィールド毎のインターレース駆動によって、図8に示した第2の画素構成においても、図6に示した第1の駆動方法とほぼ同様の効果を得ることができる。
【0095】
<第4の駆動方法>
図11は、本実施形態の撮像装置200の第2の画素構成においてライブビュー中に静止画像を撮像するための第4の駆動方法の例を示した図である。
【0096】
第4の駆動方法においては、図7に示した第2の駆動方法と同様に、不等間隔のライン数で複数のフィールドに分割した画素部24から、静止画用の画素データを、分割したフィールド毎に取得する。本第4の駆動方法は、画素部24を分割するライン数が異なる以外は、図10に示した第3の駆動方法と同様である。また、画素部24を分割するライン数の決定方法も同様である。従って、以下の説明においては、図10に示した第3の駆動方法と本第4の駆動方法とにおいて異なる動作に関しての説明をする。なお、本第4の駆動方法においても、静止画用のリセットデータと画素データとを合わせて「静止画用データ」という。
【0097】
静止画像の露光期間の直前に静止画用データの読み出しを行うフィールド_1(以下「データフィールド_1」という)のライン数は、読出画素制御部61によって決定される。読出画素制御部61によるデータフィールド_1のライン数の決定は、例えば、画素数取得部611が取得した、撮像装置100の使用者がカメラ操作部8によって設定した表示部4に表示するライブビュー画像の画素数(基準画素数)の情報に基づいて決定される。また、例えば、解像度取得部612が取得した、撮像装置100に搭載された表示部4に表示することができるライブビュー画像の解像度の情報に基づいて決定される。なお、データフィールド_1のライン数は、最低でもライブビュー画像を得るためのLVデータのライン数と同等以上のライン数である。
【0098】
また、読出画素制御部61は、データフィールド_1以外のフィールドのライン数を、決定したデータフィールド_1のライン数に基づいて決定する。読出画素制御部61によるデータフィールド_1以外のフィールドのライン数の決定は、まず、画素部24の全てのライン数から、データフィールド_1のライン数を除いたライン数を算出する。そして、算出したライン数を、フィールド数で分割し、この分割したときのライン数を、データフィールド_1以外の各フィールドのライン数とする。より具体的には、例えば、静止画像の露光期間の直後以外のタイミングで画素データの読み出しを行うフィールド_2およびフィールド_3のライン数は、画素部24の全てのライン数からデータフィールド_1のライン数を減算したライン数を、フィールド数(図11に示した第4の駆動方法においては、フィールド数=2)で除算したライン数となる。
【0099】
図11に示した第4の駆動方法は、データフィールド_1の読み出しライン数を、LVデータのライン数程度にした場合の一例を示している。図11に示した第4の駆動方法においては、データフィールド_1の読み出しライン数が少なくなっているため、他のフィールドのライン数が増加している。これにより、静止画像の露光期間の後におけるLV表示の更新周期が平均化されている。
【0100】
上記に述べたように、本実施形態の第4の駆動方法では、静止画用の画素データを不等間隔のライン数で分割したフィールド毎のインターレース駆動によって、図8に示した第2の画素構成においても、図7に示した第2の駆動方法とほぼ同様の効果を得ることができる。このように、本実施形態の撮像装置200における駆動方法では、本実施形態の撮像装置100における駆動方法と同様に、撮像装置100の使用者(撮影者)は、LV表示を視認しながら撮影を行う際に、LV表示に違和感を覚えることなく撮影をすることができる。
【0101】
なお、フィールドの分割数を変えない範囲であれば、不等間隔のライン数で分割したフィールド毎のインターレース駆動においても、1枚の静止画像を生成するためのリセットデータと画素データの読み出しに要する時間は不変である。従って、図7に示した第2の駆動方法と同様に、撮像部2内の固体撮像素子21に備えた画素部24の画素数や、撮像部2から出力される画像信号のフレームレートなどの特性に合わせて、撮像装置100の撮像シーケンスを決定することによって、使い勝手の良い撮像装置100を実現することが可能となる。
【0102】
上記に述べたように、本発明を実施するための形態によれば、撮像装置が、撮像動作を行っている期間内であっても、動画表示の更新速度が大きく変化することなく、静止画の撮像シーケンスを確実に行うことができる。
【0103】
なお、本発明のある態様に係る読出制御装置は、本実施形態においては、例えば、撮像部2の一部と、撮像・露光制御部6と、カメラ制御部9とに対応し、撮像制御部は、例えば、撮像・露光制御部6と、垂直制御回路26と、水平走査回路27とに対応する。
【0104】
なお、本発明を実施するための形態では、静止画像を3つのフィールドに分割して読み出したときの例について説明したが、静止画像を分割するフィールドの数は、本発明を実施するための形態に限定されるものではない。例えば、フィールドの分割数は、静止画およびライブビューの解像度、さらにはライブビューのフレームレートを鑑みて決定することができる。
【0105】
また、本発明を実施するための形態では、静止画像の撮像動作中のリセットデータ、画素データ、または静止画用データの読み出しを、ライン単位で分割したフィールド毎に行う場合の例について説明したが、静止画像の撮像動作中に読み出すデータを分割して読み出す方法は、本発明を実施するための形態に限定されるものではない。例えば、静止画像の撮像動作中に読み出すデータを、グループ単位または画素単位でそれぞれ分割して読み出すこともできる。
【0106】
なお、撮像装置においては、図6に示した第1の駆動方法により撮像部2を駆動するか、図7に示した第2の駆動方法により撮像部2を駆動するかの選択、または図10に示した第3の駆動方法により撮像部2を駆動するか、図11に示した第4の駆動方法により撮像部2を駆動するかの選択を、例えば、撮像装置の撮影モードやAFモードなどのモード設定、あるいはその他の要因に応じて選択する構成とすることもできる。
【0107】
なお、本発明における回路構成および駆動方式の具体的な構成は、本発明を実施するための形態に限定されるものではなく、本発明の趣旨を逸脱しない範囲において種々の変更をすることができる。例えば、分割するフィールド数を増やすこともできる。また、画素の構成要素および駆動方法が変わった場合においても、例えば、撮像部2や固体撮像素子21内の構成要素や回路構成に応じて駆動方法を変更することによって対応することができる。
【0108】
また、画素の行方向および列方向の配置は、本発明を実施するための形態に限定されるものではなく、本発明の趣旨を逸脱しない範囲において画素を配置する行方向および列方向の数を変更することができる。
【0109】
以上、本発明を実施するための形態をもとに説明したが、各構成要素や各処理プロセスの任意の組み合わせ、本発明の表現をコンピュータプログラムプロダクトなどに変換したものもまた、本発明の態様として有効である。ここで、コンピュータプログラムプロダクトとは、プログラムコードが記録された記録媒体(DVD媒体、ハードディスク媒体、メモリ媒体など)、プログラムコードが記録されたコンピュータ、プログラムコードが記録されたインターネットシステム(例えば、サーバとクライアント端末を含むシステム)など、プログラムコードが記録された記録媒体、装置、機器やシステムをいう。この場合、上述した各構成要素や各処理プロセスは各モジュールで実装され、その実装されたモジュールからなるプログラムコードはコンピュータプログラムプロダクト内に記録される。
【0110】
例えば、本発明のある態様に係るコンピュータプログラムプロダクトは、撮像素子上に配置された複数の画素からn回(nは2以上の整数)に分けて、1枚の静止画像を生成するための静止画用信号を読み出し、さらに、前記静止画用信号を分けて読み出す期間の合間において、前記画素から動画用信号を読み出す撮像制御モジュールと、第1回目〜第n回目の前記静止画用信号として読み出される対象となる画素の数を制御する読出画素制御モジュールと、をコンピュータに実行させるためのプログラムコードが記録されたコンピュータプログラムプロダクトである。
【0111】
また、例えば、図1に示した撮像装置100の各構成要素による処理を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、当該記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより、撮像装置100に係る上述した種々の処理を行ってもよい。なお、ここでいう「コンピュータシステム」とは、OSや周辺機器等のハードウェアを含むものであってもよい。また、「コンピュータシステム」は、WWWシステムを利用している場合であれば、ホームページ提供環境(あるいは表示環境)も含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ROM、フラッシュメモリ等の書き込み可能な不揮発性メモリ、CD−ROM等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。
【0112】
さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ(例えばDRAM(Dynamic Random Access Memory))のように、一定時間プログラムを保持しているものも含むものとする。また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク(通信網)や電話回線等の通信回線(通信線)のように情報を伝送する機能を有する媒体のことをいう。また、上記プログラムは、前述した機能の一部を実現するためのものであっても良い。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル(差分プログラム)であっても良い。
【0113】
以上、本発明の実施形態について、図面を参照して説明してきたが、具体的な構成はこの実施形態に限定されるものではなく、本発明の趣旨を逸脱しない範囲においての種々の変更も含まれる。
【0114】
また、本発明のある態様に係る読出制御装置は、撮像素子上に配置された複数の画素からn回(nは2以上の整数)に分けて、1枚の静止画像を生成するための静止画用信号を読み出し、さらに、前記静止画用信号を分けて読み出す期間の合間において、前記画素から動画用信号を読み出す撮像制御手段と、第1回目〜第n回目の前記静止画用信号として読み出される対象となる画素の数を制御する読出画素制御手段と、を備えることを特徴とする読出制御装置であってもよい。
【0115】
また、本発明のある態様に係る固体撮像装置は、入射光量に応じた信号電荷を発生させる光電変換手段と、前記光電変換手段が発生した信号電荷を蓄積する電荷蓄積手段と、を具備した画素を2次元状に複数配列した画素手段と、前記画素手段上に配置された複数の画素からn回(nは2以上の整数)に分けて、1枚の静止画像を生成するための静止画用信号を読み出し、さらに、前記静止画用信号を分けて読み出す期間の合間において、前記画素から動画用信号を読み出す撮像制御手段と、第1回目〜第n回目の前記静止画用信号として読み出される対象となる画素の数を制御する読出画素制御手段と、を備える、ことを特徴とする固体撮像装置であってもよい。
【0116】
また、本発明のある態様に係る撮像装置は、入射光量に応じた信号電荷を発生させる光電変換手段と、前記光電変換手段が発生した信号電荷を蓄積する電荷蓄積手段と、を具備した画素を2次元状に複数配列した画素手段を有する固体撮像手段と、前記固体撮像手段の前記画素手段の全ての画素の露光開始タイミングと露光期間とを同一とするグローバルシャッター動作を行うとともに、前記固体撮像手段上に配置された複数の画素からn回(nは2以上の整数)に分けて、1枚の静止画像を生成するための静止画用信号を読み出し、さらに、前記静止画用信号を分けて読み出す期間の合間において、前記画素から動画用信号を読み出す撮像制御手段と、第1回目〜第n回目の前記静止画用信号として読み出される対象となる画素の数を制御する読出画素制御手段と、を備えることを特徴とする撮像装置であってもよい。
【0117】
以上、本発明の実施形態について、図面を参照して説明してきたが、具体的な構成はこの実施形態に限定されるものではなく、本発明の趣旨を逸脱しない範囲において種々の代替物、変形、等価物による変更を行うこともできる。従って、本発明の範囲は、上記の説明を参照して決められるものではなく、請求項によって決められるべきであり、均等物の全ての範囲も含まれる。また、上述した特徴は、いずれも、好ましいか否かを問わず、他の特徴と組み合わせてもよい。また、請求項において、明示的に断らない限り、各構成要素は1またはそれ以上の数量である。また、請求項において「〜のための手段」のような語句を用いて明示的に記載する場合を除いて、請求項が、ミーンズ・プラス・ファンクションの限定を含むものと解してはならない。
【符号の説明】
【0118】
100・・・撮像装置
1・・・レンズ
2・・・撮像部
3・・・画像処理部
4・・・表示部
5・・・メモリーカード
6・・・撮像・露光制御部
7・・・レンズ制御部
8・・・カメラ操作部
9・・・カメラ制御部
61・・・読出画素制御部
611・・・画素数取得部
612・・・解像度取得部
21・・・固体撮像素子
22・・・A/D変換部
23・・・KTCノイズ除去部
24・・・画素部
25・・・CDS部
26・・・垂直制御回路
27・・・水平走査回路
28,29・・・画素
PD,PD1,PD2・・・フォトダイオード
FD・・・電荷蓄積部
C1,C2・・・電荷蓄積部
Ma・・・増幅トランジスタ
Mb・・・選択トランジスタ
Mr・・・リセットトランジスタ
Mtx1,Mtx1a,Mtx1b・・・転送トランジスタ
Mtx2,Mtx2a,Mtx2b・・・リセットトランジスタ
Mtx3,Mtx4・・・PD転送トランジスタ
【技術分野】
【0001】
本発明は、読出制御装置、読出制御方法、撮像装置、固体撮像装置およびプログラムに関する。
【背景技術】
【0002】
近年、デジタルカメラ、デジタルビデオカメラ、内視鏡などの撮像装置においては、例えば、撮像装置において撮影する被写体を確認するために撮像装置の表示画面に動画を表示する、いわゆる、ライブビューの機能が実現されており、ライブビューの表示中に静止画の撮影を行う機能が、実際の製品に組み込まれている。そして、ライブビューの表示中に静止画の撮影を行ったことによって途切れてしまうライブビュー表示のフレームを、画像処理によって補う機能などの、各種の技術提案がなされている。
【0003】
また、このような撮像装置に搭載されている撮像素子は、近年、その画素数が増加し、全ての画素信号を読み出す動作に要する時間が長くなる傾向にある。そのため、ライブビュー用の画像信号を取得することができない期間が長くなってしまうという、より重要な課題になりつつある。
【0004】
このような課題を解決するための一つの方法として、撮像素子を動画(ライブビュー)モードで駆動させながら、その垂直ブランキング期間を用いて静止画用の画像信号を取得するという技術がある(特許文献1参照)。特許文献1に開示された技術では、動画と静止画との画像信号の取得を時分割で処理することによって、動画を途切れさせることなく、静止画を撮影するようにしている。
【0005】
また、上記の課題を解決するための他の方法として、ライブビュー表示のときには、撮像素子からの画像信号を間引いて読み出し、1回のライブビュー用の画像信号の読み出し期間を短くすることによって、コマ(フレーム)落ちがないライブビューを表示させる技術もある(特許文献2参照)。特許文献2に開示された技術では、レリーズ操作を受けて静止画を記録するとき、ライブビューの表示を固定(フリーズ)させた状態にして、全ての画素からの静止画用の画像信号の読み出しを行う。そして、静止画用の画像信号の読み出しが終了した後に、ライブビュー表示を再開するようにしている。さらに、特許文献2に開示された技術では、静止画の連続撮影(連写)のとき、最初に記録される静止画と、次に記録される静止画との間に、ライブビューの表示をさせるようにしている。
【0006】
そして、このような現在の撮像装置の多くは、ライブビュー用の画像を表示部に表示させるのみではなく、ライブビュー用の画像を、撮像装置における自動焦点(オートフォーカス:AF)や自動露光制御(AE)などの処理にも利用している。従って、撮像装置においては、静止画を取得するための露光期間の直前まで、ライブビュー用の画像を取得できることが望ましい。
【先行技術文献】
【特許文献】
【0007】
【特許文献1】特開2005−311572号公報
【特許文献2】特開2003−224760号公報
【発明の概要】
【発明が解決しようとする課題】
【0008】
しかしながら、特許文献1に開示されている技術では、静止画用の画像信号を取得している途中でライブビュー表示が途切れることはないが、動画(ライブビュー)モードの限られた垂直ブランキング期間に少しずつ静止画用の画像信号の読み出しを行うこととなる。このため、1枚の静止画を記録するために長い時間を要してしまうという問題がある。さらに、読み出す静止画用の画像信号に時間的なずれが生じてしまうため、静止画として記録しようとする被写体が動いているときなどでは、記録する静止画が非常に歪んだものとなったり、ボケたものとなったりするという問題もある。
【0009】
また、特許文献2に開示されている技術では、静止画用の画像信号を取得している期間は、ライブビューの表示が黒表示の状態(ブラックアウト)や、同じ画面が続けて表示される状態(フリーズ)となってしまう。このように、ライブビュー表示の更新速度が大きく変化してしまうと、例えば、被写体が速く動いているような場面では、表示されているライブビューの画像を確認しながら被写体の動きに追従することができず、ライブビュー表示の画像と実際に撮影される静止画との相違が非常に大きくなってしまうという問題もある。その結果、表示画面を視認して撮影を行っている撮像装置の使用者(撮影者)に、違和感や不快感を与えてしまうこととなる。
【0010】
本発明は、上記の課題認識に基づいてなされたものであり、撮像装置が、撮像動作を行っている期間内であっても、動画表示の更新速度が大きく変化することなく、静止画の撮像シーケンスを確実に行うことができる読出制御装置、読出制御方法、撮像装置、固体撮像装置およびプログラムを提供することを目的としている。
【課題を解決するための手段】
【0011】
上記の課題を解決するため、本発明のある態様に係る読出制御装置は、撮像素子上に配置された複数の画素からn回(nは2以上の整数)に分けて、1枚の静止画像を生成するための静止画用信号を読み出し、さらに、前記静止画用信号を分けて読み出す期間の合間において、前記画素から動画用信号を読み出す撮像制御部と、第1回目〜第n回目の前記静止画用信号として読み出される対象となる画素の数を制御する読出画素制御部と、を備える。
【0012】
また、本発明のある態様に係る固体撮像装置は、入射光量に応じた信号電荷を発生させる光電変換部と、前記光電変換部が発生した信号電荷を蓄積する電荷蓄積部と、を具備した画素を2次元状に複数配列した画素部と、前記画素部上に配置された複数の画素からn回(nは2以上の整数)に分けて、1枚の静止画像を生成するための静止画用信号を読み出し、さらに、前記静止画用信号を分けて読み出す期間の合間において、前記画素から動画用信号を読み出す撮像制御部と、第1回目〜第n回目の前記静止画用信号として読み出される対象となる画素の数を制御する読出画素制御部と、を備える。
【0013】
また、本発明のある態様に係る読出制御方法は、撮像素子上に配置された複数の画素からn回(nは2以上の整数)に分けて、1枚の静止画像を生成するための静止画用信号を読み出し、さらに、前記静止画用信号を分けて読み出す期間の合間において、前記画素から動画用信号を読み出す撮像制御ステップと、第1回目〜第n回目の前記静止画用信号として読み出される対象となる画素の数を制御する読出画素制御ステップと、を含む。
【0014】
また、本発明のある態様に係るプログラムは、撮像素子上に配置された複数の画素からn回(nは2以上の整数)に分けて、1枚の静止画像を生成するための静止画用信号を読み出し、さらに、前記静止画用信号を分けて読み出す期間の合間において、前記画素から動画用信号を読み出す撮像制御ステップと、第1回目〜第n回目の前記静止画用信号として読み出される対象となる画素の数を制御する読出画素制御ステップと、をコンピュータに実行させる。
【0015】
また、本発明のある態様に係る撮像装置は、入射光量に応じた信号電荷を発生させる光電変換部と、前記光電変換部が発生した信号電荷を蓄積する電荷蓄積部と、を具備した画素を2次元状に複数配列した画素部を有する固体撮像素子と、前記固体撮像素子の前記画素部の全ての画素の露光開始タイミングと露光期間とを同一とするグローバルシャッター動作を行うとともに、前記固体撮像素子上に配置された複数の画素からn回(nは2以上の整数)に分けて、1枚の静止画像を生成するための静止画用信号を読み出し、さらに、前記静止画用信号を分けて読み出す期間の合間において、前記画素から動画用信号を読み出す撮像制御部と、第1回目〜第n回目の前記静止画用信号として読み出される対象となる画素の数を制御する読出画素制御部と、を備える。
【図面の簡単な説明】
【0016】
【図1】本発明の実施形態における撮像装置の構成を示したブロック図である。
【図2】本実施形態の撮像装置における撮像部のより詳細な構成を示したブロック図である。
【図3】本実施形態の撮像部内の画素部における画素の第1の構成例をより詳細に示した回路図である。
【図4】本実施形態の撮像装置の第1の画素構成によるグローバルシャッター動作のタイミングを示したタイミングチャートである。
【図5】本実施形態の撮像装置の第1の画素構成においてライブビューのときに読み出される画素部の行(ライン)の例を示した図である。
【図6】本実施形態の撮像装置の第1の画素構成においてライブビュー中に静止画像を撮像するための第1の駆動方法の例を示した図である。
【図7】本実施形態の撮像装置の第1の画素構成においてライブビュー中に静止画像を撮像するための第2の駆動方法の例を示した図である。
【図8】本実施形態の撮像部内の画素部における画素の第2の構成例をより詳細に示した回路図である。
【図9】本実施形態の撮像装置の第2の画素構成によるグローバルシャッター動作のタイミングを示したタイミングチャートである。
【図10】本実施形態の撮像装置の第2の画素構成においてライブビュー中に静止画像を撮像するための第3の駆動方法の例を示した図である。
【図11】本実施形態の撮像装置の第2の画素構成においてライブビュー中に静止画像を撮像するための第4の駆動方法の例を示した図である。
【発明を実施するための形態】
【0017】
以下、本発明の実施形態について、図面を参照して説明する。なお、以下の説明は、例示のために特定の詳細な内容が含まれている。しかし、当業者であれば、以下に説明する詳細な内容に様々な変更を加えた場合であっても、本発明の範囲を超えないことは理解できるであろう。従って、以下に説明する本発明の例示的な実施形態は、権利を請求された発明に対して、一般性を失わせることなく、また、何ら限定をすることもなく、述べられたものである。
【0018】
図1は、本実施形態における撮像装置の構成を示したブロック図である。ここに示した各構成要素は、ハードウェア的には、コンピュータのCPUやメモリをはじめとする素子で実現することができ、ソフトウェア的にはコンピュータプログラムなどによって実現されるものであるが、ここでは、これらの連携によって実現される機能ブロックとして示している。従って、これらの機能ブロックは、ハードウェア、ソフトウェアの組合せによって、様々な形式で実現できるということは、当業者には理解できるであろう。
【0019】
図1に示した撮像装置100は、レンズ1と、撮像部2と、画像処理部3と、表示部4と、メモリーカード5と、撮像・露光制御部6と、レンズ制御部7と、カメラ操作部8と、カメラ制御部9と、を備えている。また、撮像・露光制御部6は、読出画素制御部61を備え、読出画素制御部61は、さらに、画素数取得部611と、解像度取得部612と、を備えている。なお、図1に示した撮像装置100の構成要素であるメモリーカード5は、撮像装置100に対して着脱可能に構成されており、撮像装置100に固有の構成でなくてもよい。
【0020】
レンズ1は、レンズ制御部7によってレンズ1内に備えるフォーカスレンズの駆動、絞り機構の駆動、シャッター機構の駆動などが制御され、被写体の光学像を撮像部2の撮像面に結像するための撮影レンズである。
【0021】
撮像部2は、レンズ1によって結像された被写体の光学像を光電変換する固体撮像素子を備え、被写体光に応じた画像信号(デジタル信号)を出力する。また、撮像部2は、少なくとも、全画素の露光開始時刻および露光終了時刻を同一とするグローバルシャッター機能を有しており、撮像・露光制御部6による駆動制御によって、グローバルシャッター動作を行う。また、撮像部2は、例えば、画素の行単位または画素単位で、露光および画素信号の読み出しを順次行うローリングシャッター機能も有しており、撮像・露光制御部6による駆動制御によって、ローリングシャッター動作を行う。そして、撮像部2は、グローバルシャッター動作またはローリングシャッター動作によって得た画像信号を、画像処理部3に出力する。
【0022】
画像処理部3は、撮像部2から出力された画像信号に種々のデジタル的な画像処理を行う。画像処理部3による画像処理には、例えば、画像信号を記録するための記録用の画像処理や、被写体の画像を表示部4に表示させるための表示用の画像処理が含まれる。そして、記録用の画像処理を行った画像信号をカメラ制御部9に、表示用の画像処理を行った画像信号を表示部4とカメラ制御部9とに出力する。
【0023】
表示部4は、例えば、LCD(Liquid Crystal Display)などの表示装置を備え、画像処理部3によって表示用の画像処理がされた画像信号に基づいた画像を表示する。表示部4は、撮像装置100が撮影した静止画像や、メモリーカード5に保存されている画像の再生表示をすることができる共に、撮像装置100が撮影する被撮像範囲をリアルタイムに表示するライブビュー画像の表示を行うことができる。
【0024】
メモリーカード5は、撮像装置100によって撮影された静止画像を保存するための記録媒体である。メモリーカード5には、画像処理部3によって記録用の画像処理がされた画像信号に基づいて、カメラ制御部9が、例えば、圧縮処理などの画像処理を行った静止画像のデータが記録される。
【0025】
撮像・露光制御部6は、カメラ制御部9から入力された撮像・露光指令に基づいて、撮像部2を駆動し、撮像部2による撮像および露光を制御する。また、撮像・露光制御部6内の読出画素制御部61は、撮像部2から読み出す画像信号(デジタル信号)の数を、例えば、画素の行単位または画素単位で制御する。また、読出画素制御部61内の画素数取得部611は、撮像装置100に設定されたライブビュー画像の基準となる画素数(基準画素数)の情報を取得する。また、読出画素制御部61内の解像度取得部612は、表示部4に表示することができるライブビュー画像の解像度の情報を取得する。なお、撮像・露光制御部6による撮像部2の駆動制御に関する詳細な説明は、後述する。
【0026】
レンズ制御部7は、カメラ制御部9から入力されたレンズ制御指令に基づいて、レンズ1の絞りや焦点位置を制御する。より具体的には、レンズ制御部7は、カメラ制御部9から入力されたフォーカス制御指令に基づいて、レンズ1に備えるフォーカスレンズを駆動し、撮像部2に結像される被写体像を合焦させる。また、レンズ制御部7は、カメラ制御部9から入力された露出制御指令に基づいて、レンズ1に備える絞り機構を駆動し、撮像部2に結像される被写体像の明るさを変化させる。また、レンズ制御部7は、カメラ制御部9から入力されたシャッター制御指令に基づいて、レンズ1に備えるシャッター機構を駆動し、撮像部2に被写体像を結像させる。
【0027】
カメラ操作部8は、撮像装置100の使用者が、撮像装置100に対して各種の操作を入力するための操作部である。このカメラ操作部8に含まれる操作部材の例としては、撮像装置100の電源をオン/オフするための電源スイッチ、撮像装置100に静止画(被写体)の撮影を指示入力するための2段式押圧ボタンであるレリーズボタン、撮像装置100の撮影モードを単写モードと連写モードとに切り替えるための静止画撮影モードスイッチなどがある。カメラ操作部8は、これらの操作部材によって設定されたカメラの操作情報を、カメラ制御部9に出力する。
【0028】
カメラ制御部9は、撮像装置100の全体を制御する。カメラ制御部9は、画像処理部3から入力された記録用の画像処理を行った画像信号、表示用の画像処理を行った画像信号、カメラ操作部8からの操作入力などに基づいて、撮像装置100における撮像動作や記録動作に関する制御指令を、撮像・露光制御部6、レンズ制御部7、メモリーカード5に出力する。
【0029】
次に、本実施形態の撮像装置に備えた撮像部について説明する。図2は、本実施形態の撮像装置100における撮像部2のより詳細な構成を示したブロック図である。図2において、撮像部2は、グローバルシャッター機能を持った、例えば、MOS(Metal Oxide Semiconductor:金属酸化膜半導体)型の固体撮像素子21と、A/D(アナログ/デジタル)変換部22と、KTCノイズ除去部23と、を備えている。また、固体撮像素子21は、画素部24と、CDS(Correlated Double Sampling)部25と、垂直制御回路26と、水平走査回路27と、を備えている。
【0030】
画素部24は、複数の画素28が、行方向および列方向(図2においては、9行9列)の2次元状に配列されている。なお、画素28の構成については後述する。
【0031】
垂直制御回路26は、画素部24に配列された画素28を行(ライン)単位で制御するための制御信号を画素28の行毎に出力する垂直走査回路である。また、垂直制御回路26は、垂直走査回路の他に、画素28をリセットするためのリセット制御部、画素28から信号を読み出すための信号読出制御部を含んでいる。この垂直制御回路26によって選択された行の画素28から出力された信号は、列毎に設けられている画素28の出力信号線(後述する図3の垂直転送線VTL)に出力される。
【0032】
CDS部25は、撮像・露光制御部6による駆動制御によって、撮像部2がローリングシャッター動作を行うときに、垂直転送線VTLを介して転送されてくる画素信号に、相関二重サンプリングの処理を行う。
【0033】
水平走査回路27は、垂直制御回路26に選択され、垂直転送線VTLおよびCDS部25を介して転送されてきた1行分の画素信号を取り込む。そして、水平走査回路27は、画素28の水平方向の並び順で取り込んだ画素信号(アナログ画素信号)を、時系列にA/D変換部22に出力する。
【0034】
A/D変換部22は、固体撮像素子21から出力されたアナログ画素信号を、デジタルの画素信号(デジタル画素信号)に変換する。そして、A/D変換部22は、変換したデジタル画像信号をKTCノイズ除去部23に出力する。
【0035】
KTCノイズ除去部23は、撮像部2がグローバルシャッター動作を行うときに、A/D変換部22から出力されたデジタル画像信号に、KTCノイズ除去の処理を行う。このKTCノイズ除去の処理が行われたデジタル画像信号が、撮像部2から出力される被写体光に応じた画像信号として、画像処理部3に出力される。
【0036】
<第1の画素構成>
次に、本実施形態の撮像装置に備えた撮像部における画素の構成例について説明する。図3は、本実施形態の撮像部2内の画素部24における画素28の第1の構成例をより詳細に示した回路図である。なお、図3では、2つの画素28を表している。図3に示した画素28は、フォトダイオードPD、電荷蓄積部FD、転送トランジスタMtx1、リセットトランジスタMtx2、増幅トランジスタMa、選択トランジスタMb、リセットトランジスタMrから構成される。図3に示した画素28では、電荷蓄積部FDを画素内メモリとして用いることにより、グローバルシャッター機能を可能としている。
【0037】
フォトダイオードPDは、被写体光を光電変換して信号電荷を発生する光電変換部である。電荷蓄積部FDは、フォトダイオードPDで発生した信号電荷を一時的に保持する電荷蓄積部(フローティングディフュージョン)である。リセットトランジスタMtx2は、PDリセットパルスTX2に応じて、フォトダイオードPDで発生した信号電荷を、電圧源VDDのレベルにリセットする。転送トランジスタMtx1は、行転送パルスTX1に応じて、フォトダイオードPDで発生した信号電荷を電荷蓄積部FDに転送する。増幅トランジスタMaは、電荷蓄積部FDに保持された信号電荷を増幅して出力する。この増幅トランジスタMaは、電圧源VDDとでソースフォロアアンプが構成されている。選択トランジスタMbは、行選択パルスSELに応じて、増幅トランジスタMaによって増幅された信号電荷を選択し、画素28の出力信号線である垂直転送線VTLに出力する。リセットトランジスタMrは、FDリセットパルスRESに応じて、電荷蓄積部FDおよび増幅トランジスタMaの入力部を、電圧源VDDのレベルにリセットする。
【0038】
なお、図3に示した画素28の構成例において、行転送パルスTX1とFDリセットパルスRESとを同時に印加し、転送トランジスタMtx1とリセットトランジスタMrとを同時にオンすることによって、電荷蓄積部FDをリセットするのみではなく、同時にフォトダイオードPDもリセットすることができる。このように、転送トランジスタMtx1とリセットトランジスタMrとの組み合わせによって、リセットトランジスタMtx2と同様に、フォトダイオードPDをリセットすることもできる。
【0039】
<グローバルシャッター動作>
次に、本実施形態の撮像装置におけるグローバルシャッター動作について説明する。図4は、本実施形態の撮像装置100の第1の画素構成によるグローバルシャッター動作のタイミングを示したタイミングチャートである。図4に示したグローバルシャッター動作のタイミングは、撮像装置100が静止画像を撮影する際に、撮像・露光制御部6が、撮像部2内の固体撮像素子21に備えた画素部24の全ての画素28を順次駆動して読み出すプログレッシブモードの駆動制御を示している。
【0040】
なお、撮像部2は、撮像・露光制御部6によってその駆動が制御されるが、図4に示したグローバルシャッター動作のタイミングにおいては、撮像・露光制御部6による駆動制御に応じて垂直制御回路26から出力される画素部24の制御パルス(行選択パルスSEL、FDリセットパルスRES、行転送パルスTX1、PDリセットパルスTX2)を示す。
【0041】
グローバルシャッター動作によって静止画像の露光を行う前に、まず、リセットデータ読出期間において、電荷蓄積部FDのリセット信号(リセットノイズ)の読み出しを行う。より具体的には、まず、画素部24の第1行目に配列された各画素28のリセットトランジスタMrに、“H”レベルのFDリセットパルスRESを印加して、第1行目の電荷蓄積部FDのリセットを行う。さらに、画素部24の第1行目に配列された各画素28の選択トランジスタMbに、“H”レベルの行選択パルスSELを印加する。これにより、画素部24の第1行目の各画素28に備えた電荷蓄積部FDのリセットレベルの信号が、増幅トランジスタMaによって増幅されたリセットノイズ(アナログリセットノイズ信号)として、垂直転送線VTLに読み出される。
【0042】
同様に、画素部24の第2行目〜最終行目(図2に示した撮像部2においては、第9行目)の各画素28を駆動し、全ての画素28に備えた電荷蓄積部FDのリセットノイズを読み出す。このリセットノイズの読み出し動作によって読み出されたアナログリセットノイズ信号は、CDS部25、水平走査回路27を介してA/D変換部22に出力にされ、A/D変換部22によってデジタルのリセットノイズ(以下、「リセットデータ」という)に変換された後に、KTCノイズ除去部23に記憶される。なお、グローバルシャッター動作によるリセットノイズの読み出し動作においては、CDS部25による相関二重サンプリングの処理は行わない。
【0043】
なお、リセットデータ読出期間において、行転送パルスTX1は“L”レベル、PDリセットパルスTX2は“H”レベルである。従って、画素部24の全ての画素28に備えたフォトダイオードPDはリセットされており、フォトダイオードPDのリセットされた信号電荷は、電荷蓄積部FDに転送されていない状態である。
【0044】
続いて、露光期間において、グローバルシャッター動作による静止画像の露光を行う。より具体的には、まず、画素部24の全ての画素28のPDリセットパルスTX2を“L”レベルとする。これにより、全ての画素28に備えたリセットトランジスタMtx2がオフ状態(フォトダイオードPDのリセットが解除)となり、全ての画素28のフォトダイオードPDへの信号電荷の蓄積が開始される。つまり、全ての画素28の露光を同時に開始する。
【0045】
その後、所定の露光時間が経過した後に、画素部24の全ての画素28に、“H”レベルの行転送パルスTX1を印加して、フォトダイオードPDに蓄積された信号電荷を、電荷蓄積部FDに転送する。つまり、全ての画素28の露光を同時に終了する。なお、露光の開始から終了までの露光期間は、画像処理部3またはカメラ制御部9によって演算されたAE演算の結果に基づいて、カメラ制御部9が撮像装置100のシャッター速度を決定し、決定されたシャッター速度に応じて、撮像部2における露光時間が制御される。より具体的には、カメラ制御部9が決定したシャッター速度に基づいて、撮像・露光制御部6に撮像・露光指令を出力する。そして、撮像・露光制御部6は、カメラ制御部9から入力された撮像・露光指令に基づいて、撮像部2を駆動する。
【0046】
続いて、画素データ読出期間において、露光した画素信号を読み出す。より具体的には、まず、画素部24の第1行目に配列された各画素28の選択トランジスタMbに、“H”レベルの行選択パルスSELを印加する。これにより、画素部24の第1行目の各画素28に備えた電荷蓄積部FDに転送された信号電荷が、増幅トランジスタMaによって増幅された画素信号(アナログ画素信号)として、選択トランジスタMbを介して垂直転送線VTLに読み出される。
【0047】
同様に、画素部24の第2行目〜最終行目(図2に示した撮像部2においては、第9行目)の各画素28を駆動し、全ての画素28に備えた電荷蓄積部FDの信号電荷を、行(ライン)単位で、垂直転送線VTLへ順次読み出す。この画素信号の読み出し動作によって読み出されたアナログ画素信号は、CDS部25、水平走査回路27を介してA/D変換部22に出力にされ、A/D変換部22によってデジタルの画素信号(デジタル画素信号)に変換された後に、KTCノイズ除去部23に出力される。そして、KTCノイズ除去部23において、リセットデータ読出期間に記憶したリセットデータと、画素データ読出期間に読み出されたデジタル画素信号との差分処理を行う。このKTCノイズが除去されたデジタル画素信号を、撮像部2から出力する画素データとして、画像処理部3に出力する。なお、グローバルシャッター動作による画素信号の読み出し動作においても、CDS部25による相関二重サンプリングの処理は行わない。
【0048】
<ライブビュー動作>
次に、本実施形態の撮像装置におけるライブビュー動作について説明する。ライブビュー動作は、画素28を行単位での露光および行単位での画素信号の読み出しを順次行う、ローリングシャッター動作によって、撮像部2からの画素データを取得する。図5は、本実施形態の撮像装置100の第1の画素構成においてライブビューのときに読み出される画素部24の行(ライン)の例を示した図である。図5においては、画素部24に備えられた画素28の全ての行(ライン)数が、3000ラインである場合を示している。また、図5では、全ラインの内、3ラインに1ラインの割合で、ライブビュー用の画素データの読み出しを行う例を示している。なお、図5においては、3Nライン(Nは0以上の整数)を、ライブビュー用の画素データを読み出すライン(以下、「LVライン」という)として選択している例を示しているが、LVラインとして、3Nライン、(3N+1)ライン、または(3N+2)ラインのいずれかを選択して読み出すようにすることもできる。
【0049】
図5に示したようなライン数が3000ラインの画素部24から、ローリングシャッター動作の読み出し動作によって、全てのラインの画素データを読み出すのに要する時間が、例えば、100msである場合を考える。この場合、読み出した全てのラインの画素データに基づいて表示用の画像処理を行い、表示部4にライブビュー表示(以下、「LV表示」という)をすると、LV表示の更新は、1秒間に10回となる。このとき、図5に示したように、3ラインに1ラインの割合で画素部24のラインを間引きして、1000ラインのライブビュー用の画素データ(以下、「LVデータ」という)を読み出すようにすると、画素データの読み出しに要する時間が短縮(図5の例では、1/3に短縮)され、例えば、33.33msとなる。これは、LV表示の更新が、1秒間に30回、すなわち、毎秒30フレームとなることを表している。なお、画素部24のラインを間引きすることによって、LVデータは、全てのラインの画素データに比べて少なくなる。しかし、画素部24に備えた画素28の総数に対して、表示部4に備えた表示素子の総数は少ないため、表示部4への表示のみの目的であれば、画素部24のラインを間引きしてLVデータを取得しても問題とはならない。
【0050】
<第1の駆動方法>
次に、本実施形態の撮像装置におけるライブビュー動作とグローバルシャッター動作との関係について説明する。図6は、本実施形態の撮像装置100の第1の画素構成においてライブビュー中に静止画像を撮像するための第1の駆動方法の例を示した図である。
【0051】
本第1の駆動方法においては、LV表示を行う際に、画素部24のラインを間引いて、例えば、毎秒30フレームでLVデータを取得し、取得したLVデータに基づいて表示用の画像処理をした後に、表示部4にLV表示を行う。そして、静止画(被写体)の撮影を行う際に、撮像・露光制御部6が、画素部24内の画素28をフィールド毎に駆動して読み出すインターレース駆動を行い、静止画用の画素データを複数フィールドに分割して取得する。なお、撮像・露光制御部6が、それぞれインターレース駆動するフィールドは、例えば、図5に示したような画素部24のラインを分割したフィールド(図5においては、3つのフィールド)である。また、静止画用の画素データを取得している期間中は、静止画用の画素データを取得するフィールドの合間にLVデータを取得することによって、LV表示を更新する。
【0052】
なお、本第1の駆動方法においては、図5に示したように、画素部24のラインを3つのフィールドに分割した撮像部2を駆動する場合について説明する。また、静止画用の画素データのそれぞれのフィールドは、例えば、図5に示した3Nラインをフィールド_1、(3N+1)ラインをフィールド_2、(3N+2)ラインをフィールド_3とする。
【0053】
より具体的には、図6に示すように、撮像装置100に静止画の撮影を指示入力するレリーズボタンの押圧(例えば、2段式押圧ボタンの2段目の押圧)がされるまで、LV表示を繰り返し行う。図6では、LVデータLV_A〜LV_Fを取得し、取得したLV_A〜LV_Fに基づいて表示用の画像処理を行い、次のフレームで表示部4にLV表示(A〜F)をする例を示している。
【0054】
そして、ライブビューの表示を行っている最中に、レリーズボタンによって、静止画の撮影が指示されると、リセットデータの読み出しが行われるが、本第1の駆動方法では、最初に、フィールド_1のリセットデータの読み出しを行う。そして、フィールド_1のリセットデータの読み出しが終了した後に、リセットデータの読み出しを行っていない、例えば、フィールド_3を用いてLVデータLV_Gを取得し、取得したLV_Gに基づいて表示用の画像処理をしたLV表示(G)を、表示部4に表示する。続いて、フィールド_2のリセットデータの読み出しを行う。フィールド_2のリセットデータの読み出しが終了した後に、リセットデータの読み出しを行っていない、例えば、フィールド_3を用いてLVデータLV_Hを取得し、取得したLV_Hに基づいて表示用の画像処理をしたLV表示(H)を、表示部4に表示する。そして、最後に、フィールド_3のリセットデータの読み出しを行う。
【0055】
このように、静止画像の撮像動作において、画素部24の全てのラインのリセットデータの読み出しが終了するまでの間に、LVデータの取得を、1回以上行うことができる。そして、LVデータの取得に用いたフィールドの各ラインのリセットデータは、リセットデータ読出期間の最後に取得するようにする。また、図6に示したように、リセットデータ読出期間中に2回以上のLVデータの取得を行う場合には、リセットデータの読み出しの間に、LVデータを取得する。このようにすることによって、通常のLV表示に比べて表示されるライブビュー画像のフレームレートは低くなるが、従来の撮像装置では、リセットデータ読出期間中に同一のライブビュー画像を複数の表示フレームに渡って表示し続けることによって固定(フリーズ)、または黒の表示(ブラックアウト)となっていたLV表示を更新することができる。
【0056】
その後、静止画像の露光期間において、図4に示したグローバルシャッター動作と同様に、画素部24内の全ての画素28の露光を同時に開始する。
【0057】
続いて、静止画像の露光期間が終了すると、静止画用の画素データの読み出しが行われるが、本第1の駆動方法では、最初に、フィールド_1の画素データの読み出しを行う。そして、フィールド_1の画素データの読み出しが終了した後に、画素データの読み出しが終了した、例えば、フィールド_1を用いてLVデータLV_Iを取得し、取得したLV_Iに基づいて表示用の画像処理をしたLV表示(I)を、表示部4に表示する。続いて、フィールド_2の画素データの読み出しを行う。フィールド_2の画素データの読み出しが終了した後に、画素データの読み出しが終了した、例えば、フィールド_1を用いてLVデータLV_Jを取得し、取得したLV_Jに基づいて表示用の画像処理をしたLV表示(J)を、表示部4に表示する。そして、最後に、フィールド_3の画素データの読み出しを行う。なお、図6においては、LV表示が固定される期間を少なくする、すなわち、LV表示の更新回数を臆するために、静止画像の露光期間が終了した次のフレームで、フィールド_1の画素データに基づいて表示用の画像処理をしたLV表示(α)を、表示部4に表示する例を示している。
【0058】
このように、静止画像の撮像動作において、画素部24の全てのラインの画素データの読み出しが終了するまでの間に、LVデータの取得を、1回以上行うことができる。なお、LVデータの取得は、画素データ読出期間の最初に静止画用の画素データを読み出したフィールドを用いて行うようにする。また、図6に示したように、画素データ読出期間中に2回以上のLVデータの取得を行う場合には、画素データの読み出しの間に、LVデータを取得する。このようにすることによって、通常のLV表示に比べて表示されるライブビュー画像のフレームレートは低くなるが、従来の撮像装置では、画素データ読出期間中に同一のライブビュー画像を複数の表示フレームに渡って表示し続けることによって固定(フリーズ)、または黒の表示(ブラックアウト)となっていたLV表示を少しでも多く更新することができる。
【0059】
その後、静止画像の撮像動作が終了すると、再びLVデータを取得し、次のフレームから、取得したLVデータに基づいた表示部4のLV表示を再開する。
【0060】
上記に述べたように、本実施形態の第1の駆動方法では、静止画用の画素データを等間隔のライン数で分割したフィールド毎のインターレース駆動によって、レリーズボタンが押されてから、一連の静止画用の画素データの取得が終了するまでの間で、ライブビュー画像の更新を行うことができる。ただし、図6を見てわかるように、本第1の駆動方法においては、特に、静止画像の露光期間の前後におけるLV表示の更新速度が若干低下している。これは、静止画像の露光期間とその前後の、フィールド_3によるリセットデータの読み出し期間、およびフィールド_1による画素データの読み出し期間では、LVデータを取得する期間を設けることができず、LVデータを取得する間隔が長くなっているためである。
【0061】
しかし、上記に述べたように、ライブビュー画像は、表示部4に表示させるのみではなく、撮像装置100におけるオートフォーカス(AF)や自動露光制御(AE)などの処理にも利用しているため、静止画像の露光期間の直前まで、LVデータを取得できることが望ましい。ところが、静止画像の露光期間と、静止画像の露光期間の前後のリセットデータの読み出し期間および画素データの読み出し期間とは、本第1の駆動方法においては必要な期間である。そして、静止画像の撮像動作においては、静止画像の露光期間を短くすることができない。
【0062】
<第2の駆動方法>
図7は、本実施形態の撮像装置100の第1の画素構成においてライブビュー中に静止画像を撮像するための第2の駆動方法の例を示した図である。
【0063】
本第2の駆動方法においては、図6に示した第1の駆動方法と同様に、静止画(被写体)の撮影を行う際に、撮像・露光制御部6が、画素部24内の画素28をフィールド毎に駆動して読み出すインターレース駆動を行い、静止画用の画素データを複数フィールドに分割して取得する。ただし、本第2の駆動方法においては、撮像・露光制御部6が、それぞれインターレース駆動するフィールドに含まれる画素部24のライン数が、図6に示した第1の駆動方法と異なる。より具体的には、図6に示した第1の駆動方法では、画素部24を等間隔のライン数で分割したフィールド毎に静止画用の画素データを取得していたのに対し、本第2の駆動方法では、画素部24を不等間隔のライン数で分割したフィールド毎に静止画用の画素データを取得している。これにより、静止画像の露光期間の前後のリセットデータの読み出し期間および画素データの読み出し期間を短くしている。その結果、LVデータの取得を静止画像の露光期間に近づけるとともに、静止画像の撮像動作中におけるLV表示の更新速度(周期)の変化を少なくすることができる。
【0064】
本第2の駆動方法は、上記に述べたインターレース駆動において画素部24を分割するライン数が異なる以外は、図6に示した第1の駆動方法と同様であるため、以下の説明においては、第2の駆動方法の動作に関する詳細な説明は省略し、画素部24を分割するライン数の決定方法に関しての説明をする。
【0065】
静止画像の露光期間の直前にリセットデータの読み出しを行うフィールド_3(以下「リセットフィールド_3」という)と、静止画像の露光期間の直後に画素データの読み出しを行うフィールド_1(以下、「画素フィールド_1」という)のライン数は、読出画素制御部61によって決定される。読出画素制御部61によるリセットフィールド_3と画素フィールド_1とのライン数の決定は、例えば、画素数取得部611が取得した、撮像装置100の使用者がカメラ操作部8によって設定した表示部4に表示するライブビュー画像の画素数(基準画素数)の情報に基づいて決定される。また、例えば、解像度取得部612が取得した、撮像装置100に搭載された表示部4に表示することができるライブビュー画像の解像度の情報に基づいて決定される。なお、リセットフィールド_3と画素フィールド_1とのライン数は、最低でもライブビュー画像を得るためのLVデータのライン数と同等以上のライン数である。
【0066】
また、読出画素制御部61は、リセットフィールド_3および画素フィールド_1以外のフィールドのライン数を、決定したリセットフィールド_3および画素フィールド_1のライン数に基づいて決定する。読出画素制御部61によるリセットフィールド_3および画素フィールド_1以外のフィールドのライン数の決定は、まず、画素部24の全てのライン数から、リセットフィールド_3または画素フィールド_1のライン数を除いたライン数を算出する。そして、算出したライン数を、フィールド数で分割し、この分割したときのライン数を、リセットフィールド_3および画素フィールド_1以外の各フィールドのライン数とする。より具体的には、例えば、静止画像の露光期間の直前以外のタイミングでリセットデータの読み出しを行うフィールド_1とフィールド_2のライン数は、画素部24の全てのライン数からリセットフィールド_3のライン数を減算したライン数を、フィールド数(図7に示した第2の駆動方法においては、フィールド数=2)で除算したライン数となる。また、例えば、静止画像の露光期間の直後以外のタイミングで画素データの読み出しを行うフィールド_2およびフィールド_3のライン数は、画素部24の全てのライン数から画素フィールド_1のライン数を減算したライン数を、フィールド数(図7に示した第2の駆動方法においては、フィールド数=2)で除算したライン数となる。
【0067】
図7に示した第2の駆動方法は、リセットフィールド_3および画素フィールド_1の読み出しライン数を、LVデータのライン数程度にした場合の一例を示している。図7に示した第2の駆動方法においては、リセットフィールド_3および画素フィールド_1の読み出しライン数が少なくなっているため、他のフィールドのライン数が増加している。これにより、静止画像の露光期間の前後におけるLV表示の更新周期が短くなっている。
【0068】
上記に述べたように、本実施形態の第2の駆動方法では、静止画用の画素データを不等間隔のライン数で分割したフィールド毎のインターレース駆動によって、レリーズボタンが押されてから、一連の静止画用の画素データの取得が終了するまでの間におけるLV表示の更新周期を平均化することができる。その結果、撮像装置100の使用者(撮影者)は、LV表示を視認しながら撮影を行う際に、LV表示に違和感を覚えることなく撮影をすることができる。
【0069】
なお、フィールドの分割数を変えない範囲であれば、不等間隔のライン数で分割したフィールド毎のインターレース駆動においても、1枚の静止画像を生成するためのリセットデータの読み出しに要する時間と、画素データの読み出しに要する時間との合計時間は不変である。従って、撮像部2内の固体撮像素子21に備えた画素部24の画素数や、撮像部2から出力される画像信号のフレームレートなどの特性に合わせて、撮像装置100の撮像シーケンスを決定することによって、使い勝手の良い撮像装置100を実現することが可能となる。
【0070】
<第2の画素構成>
次に、本実施形態の撮像装置に備えた撮像部における画素の第2の構成例について説明する。図8は、本実施形態の撮像部2内の画素部24における画素28の第2の構成例をより詳細に示した回路図である。なお、図8では、2画素分の領域の画素28を表している。そして、図2に示した固体撮像素子21は、例えば、上下に隣接する2画素毎に、図8に示した画素28の構成をとなっている。以下の説明においては、第2の構成例の画素28を、「画素29」という。また、画素29の画素構成を備えた撮像装置100を、「撮像装置200」という。なお、本実施形態の撮像装置200の構成および撮像部2の構成は、図1および図2に示した撮像装置100のブロック図と同様であり、画素部24内の画素28に代わって、図8に示した画素29となっていることのみが異なる。従って、撮像装置200において撮像装置100と同様の構成要素には、同一の符号を付与し、詳細な説明は省略する。
【0071】
図8に示した画素29は、フォトダイオードPD1およびPD2、転送トランジスタMtx1aおよびMtx1b、リセットトランジスタMtx2aおよびMtx2b、電荷蓄積部C1およびC2、PD転送トランジスタMtx3およびMtx4、電荷蓄積部FD、増幅トランジスタMa、選択トランジスタMb、リセットトランジスタMrから構成される。図8に示した画素29では、電荷蓄積部C1、C2および電荷蓄積部FDを画素内メモリとして用いることにより、グローバルシャッター機能を可能としている。
【0072】
フォトダイオードPD1、PD2は、被写体光を光電変換して信号電荷を発生する光電変換部である。リセットトランジスタMtx2a、Mtx2bは、PDリセットパルスTX2に応じて、フォトダイオードPD1、PD2で発生した信号電荷を、それぞれ電圧源VDDのレベルにリセットする。転送トランジスタMtx1a、Mtx1bは、行転送パルスTX1に応じて、フォトダイオードPD1、PD2で発生した信号電荷を、それぞれ電荷蓄積部C1、C2に転送する。電荷蓄積部C1、C2は、フォトダイオードPD1、PD2のそれぞれで発生した信号電荷を、それぞれ一時的に保持する電荷蓄積部である。PD転送トランジスタMtx3は、PD転送パルスTX3に応じて、電荷蓄積部C1に保持しているフォトダイオードPD1が発生した信号電荷を電荷蓄積部FDに転送する。PD転送トランジスタMtx4は、PD転送パルスTX4に応じて、電荷蓄積部C2に保持しているフォトダイオードPD2が発生した信号電荷を電荷蓄積部FDに転送する。電荷蓄積部FD、増幅トランジスタMa、選択トランジスタMb、リセットトランジスタMrのそれぞれは、図3に示した第1の構成の画素28と同様であるため、詳細な説明は省略する。
【0073】
<第2のグローバルシャッター動作>
次に、本実施形態の撮像装置において、第2の構成の画素29におけるグローバルシャッター動作について説明する。図9は、本実施形態の撮像装置200の第2の画素構成によるグローバルシャッター動作のタイミングを示したタイミングチャートである。図9に示したグローバルシャッター動作のタイミングは、撮像装置200が静止画像を撮影する際に、撮像・露光制御部6によって行われる撮像部2の駆動制御を示している。そして、図8に示した画素29の画素構成である固体撮像素子21は、グローバルシャッター動作が開始されると、最初に露光を行い、その後にリセットデータと画素データとを読み出すように制御される。
【0074】
なお、撮像部2は、撮像・露光制御部6によってその駆動が制御されるが、図9に示したグローバルシャッター動作のタイミングにおいては、撮像・露光制御部6による駆動制御に応じて垂直制御回路26から出力される画素部24の制御パルス(FDリセットパルスRES、行転送パルスTX1、PDリセットパルスTX2、PD転送パルスTX3、PD転送パルスTX4)を示す。
【0075】
カメラ操作部8のレリーズボタンが押圧され、グローバルシャッター動作が開始されると、露光期間において、グローバルシャッター動作による静止画像の露光を行う。より具体的には、まず、画素部24の全ての画素29のPDリセットパルスTX2を“L”レベルとする。これにより、全ての画素29に備えたリセットトランジスタMtx2a、Mtx2bが同時にオフ状態(フォトダイオードPD1およびPD2のリセットが解除)となり、全ての画素29のフォトダイオードPD1、PD2への信号電荷の蓄積が開始される。つまり、全ての画素29の露光を同時に開始する。
【0076】
その後、所定の露光時間が経過した後に、画素部24の全ての画素29に、“H”レベルの行転送パルスTX1を印加して、フォトダイオードPD1、PD2にそれぞれ蓄積された信号電荷を、電荷蓄積部C1、C2にそれぞれ転送する。つまり、全ての画素29の露光を同時に終了する。なお、露光の開始から終了までの露光期間は、第1の構成の画素28を備えた撮像装置100と同様に、画像処理部3またはカメラ制御部9によって演算されたAE演算の結果に基づいて決定されたシャッター速度に応じて、撮像部2における露光時間が制御される。
【0077】
続いて、リセットデータおよび画素データ読出期間において、リセットデータおよび露光した画素信号を読み出す。より具体的には、まず、画素部24の第1行目および第2行目となる各画素29のリセットトランジスタMrに、“H”レベルのFDリセットパルスRESを印加して、第1行目および第2行目に共通の電荷蓄積部FDのリセットを行う。さらに、選択トランジスタMbに、“H”レベルの行選択パルスSELを印加する。これにより、画素部24の第1行目および第2行目の各画素29で共通に備えた電荷蓄積部FDのリセットレベルの信号が、増幅トランジスタMaによって増幅されたアナログリセットノイズ信号として、垂直転送線VTLに読み出される。
【0078】
その直後に、画素部24の第1行目となる各画素29のPD転送トランジスタMtx3に“H”レベルのPD転送パルスTX3を印加する。これにより、画素部24の第1行目となる各画素29に備えた電荷蓄積部C1に蓄積されたフォトダイオードPD1の信号電荷を電荷蓄積部FDに転送する。さらに、画素部24の第1行目および第2行目の各画素29に共通に備えた選択トランジスタMbに、“H”レベルの行選択パルスSELを印加する。これにより、画素部24の第1行目となる各画素29に備えた電荷蓄積部FDに転送された信号電荷が、増幅トランジスタMaによって増幅されたアナログ画素信号として、選択トランジスタMbを介して垂直転送線VTLに読み出される。
【0079】
このように、画素29においては、アナログリセットノイズ信号に続いてアナログ画素信号が垂直転送線VTLに読み出される。そして、CDS部25によって、アナログリセットノイズ信号が減算されたアナログ画素信号が、水平走査回路27を介してA/D変換部22に出力にされる。従って、図8に示した画素構成の画素29を備えた撮像部2においては、図2に示した撮像部2の構成要素であるKTCノイズ除去部23は、必ずしも必要な構成要素ではない。そして、図8に示した画素構成の画素29を備えた撮像部2は、A/D変換部22によって変換されたデジタル画素信号を、撮像部2から出力する画素データとして、画像処理部3に出力する。
【0080】
同様に、画素部24の奇数行(第3行目〜最終行の1行前)の各画素29を駆動し、リセットノイズが除去された、全ての奇数行の画素データを画像処理部3に出力する。
【0081】
その後、画素部24の偶数行(第2行目〜最終行目)の画素データを画像処理部3に出力する。より具体的には、まず、画素部24の第1行目および第2行目となる各画素29のリセットトランジスタMrに、“H”レベルのFDリセットパルスRESを印加して、第1行目および第2行目に共通の電荷蓄積部FDのリセットを行う。さらに、選択トランジスタMbに、“H”レベルの行選択パルスSELを印加する。これにより、画素部24の第1行目および第2行目の各画素29で共通に備えた電荷蓄積部FDのリセットレベルの信号が、増幅トランジスタMaによって増幅されたアナログリセットノイズ信号として、再度、垂直転送線VTLに読み出される。
【0082】
その直後に、画素部24の第2行目となる各画素29のPD転送トランジスタMtx4に“H”レベルのPD転送パルスTX4を印加する。これにより、画素部24の第2行目となる各画素29に備えた電荷蓄積部C2に蓄積されたフォトダイオードPD2の信号電荷を電荷蓄積部FDに転送する。さらに、画素部24の第1行目および第2行目の各画素29に共通に備えた選択トランジスタMbに、“H”レベルの行選択パルスSELを印加する。これにより、画素部24の第2行目となる各画素29に備えた電荷蓄積部FDに転送された信号電荷が、増幅トランジスタMaによって増幅された2行目のアナログ画素信号として、選択トランジスタMbを介して垂直転送線VTLに読み出される。
【0083】
そして、CDS部25によって、アナログリセットノイズ信号が減算された2行目のアナログ画素信号が、水平走査回路27を介してA/D変換部22に出力にされる。そして、A/D変換部22によって変換された2行目のデジタル画素信号が、撮像部2から出力する2行目の画素データとして、画像処理部3に出力される。
【0084】
同様に、画素部24の偶数行(第2行目〜最終行目)の各画素29を駆動し、リセットノイズが除去された、全ての偶数行の画素データを画像処理部3に出力する。
【0085】
<第3の駆動方法>
次に、本実施形態の撮像装置におけるライブビュー動作とグローバルシャッター動作との関係について説明する。図10は、本実施形態の撮像装置200の第2の画素構成においてライブビュー中に静止画像を撮像するための第3の駆動方法の例を示した図である。
【0086】
第3の駆動方法においては、図6に示した第1の駆動方法と同様に、等間隔のライン数で複数のフィールドに分割した画素部24から、静止画用の画素データを、分割したフィールド毎に取得する。なお、画素29の画素構成は、上述したように、例えば、上下に隣接する2画素が組となっている構成であるため、図6に示した第1の駆動方法と同様に画素部24のライン毎にフィールドを分割することができない。しかし、以下の説明においては、説明を容易にすること、および図6に示した第1の駆動方法との比較を容易に行えること、を考慮して、図6に示した第1の駆動方法と同様に画素部24を3つのフィールドに分割した撮像部2を駆動する場合について説明する。そして、分割したそれぞれのフィールドは、第1フィールドをフィールド_1、第2フィールドをフィールド_2、第3フィールドをフィールド_3とする。なお、上述したように、フィールド_1〜フィールド_3には、リセットデータと画素データとが含まれている。
【0087】
また、第3の駆動方法においては、静止画用のリセットデータと画素データと(以下「静止画用データ」という)を取得するフィールドの合間に、図6に示した第1の駆動方法と同様に、LVデータの取得を行うことによって、LV表示を更新する。
【0088】
より具体的には、図10に示すように、撮像装置200に静止画の撮影を指示入力するレリーズボタンの押圧がされるまで、LV表示を繰り返し行う。図10では、図6に示した第1の駆動方法と同様に、LVデータLV_A〜LV_Hを取得し、次のフレームで表示部4にLV表示(A〜H)をする例を示している。
【0089】
そして、ライブビューの表示を行っている最中に、レリーズボタンによって、静止画の撮影が指示されると、まず、静止画像の露光期間において、画素部24内の全ての画素29のフォトダイオードPD1およびPD2をリセットすることによって、全ての画素29の露光を同時に開始する。そして、全ての画素29のフォトダイオードPD1、PD2にそれぞれ蓄積された信号電荷を、電荷蓄積部C1、C2にそれぞれ同時に転送して、全ての画素29の露光を同時に終了する。
【0090】
続いて、リセットデータおよび画素データ読出期間において、上述したように、リセットデータの読み出しと画素データの読み出しとの連続した読み出しを、フィールド_1に対して、最初に行う。このフィールド_1は、LV表示において、LVデータを取得していたフィールドである。そして、フィールド_1から読み出した静止画用データ内の画素データに基づいて表示用の画像処理をしたLV表示(α)を、直後の表示フレームで表示部4に表示する。
【0091】
以降、図6に示した第1の駆動方法と同様に、フィールド_1を用いたLVデータの取得を、例えば、複数のライブビューの表示フレームに1回の割合で行う。ただし、上述したように、リセットデータおよび画素データ読出期間においては、LVデータの取得をライブビューの表示フレームに同期したタイミングで行う必要があるわけではない。このようにすることによって、通常のLV表示に比べて表示されるライブビュー画像のフレームレートは低くなるが、従来の撮像装置では、リセットデータおよび画素データ読出期間中に同一のライブビュー画像を複数の表示フレームに渡って表示し続けることによって固定(フリーズ)、または黒の表示(ブラックアウト)となっていたLV表示を更新することができる。
【0092】
続いて、LVデータを取得していない期間に、図6に示した第1の駆動方法と同様に、各フィールド(非ライブビュー用フィールド)の静止画用データの読み出しを、所定の順序(例えば、ライン番号が若い順、奇数ラインを先に偶数ラインを後に、など)で行う。
【0093】
その後、静止画像の撮像動作が終了すると、図6に示した第1の駆動方法と同様に、再びLVデータを取得し、次のフレームから、取得したLVデータに基づいた表示部4のLV表示を再開する。
【0094】
上記に述べたように、本実施形態の第3の駆動方法では、静止画用の画素データを等間隔のライン数で分割したフィールド毎のインターレース駆動によって、図8に示した第2の画素構成においても、図6に示した第1の駆動方法とほぼ同様の効果を得ることができる。
【0095】
<第4の駆動方法>
図11は、本実施形態の撮像装置200の第2の画素構成においてライブビュー中に静止画像を撮像するための第4の駆動方法の例を示した図である。
【0096】
第4の駆動方法においては、図7に示した第2の駆動方法と同様に、不等間隔のライン数で複数のフィールドに分割した画素部24から、静止画用の画素データを、分割したフィールド毎に取得する。本第4の駆動方法は、画素部24を分割するライン数が異なる以外は、図10に示した第3の駆動方法と同様である。また、画素部24を分割するライン数の決定方法も同様である。従って、以下の説明においては、図10に示した第3の駆動方法と本第4の駆動方法とにおいて異なる動作に関しての説明をする。なお、本第4の駆動方法においても、静止画用のリセットデータと画素データとを合わせて「静止画用データ」という。
【0097】
静止画像の露光期間の直前に静止画用データの読み出しを行うフィールド_1(以下「データフィールド_1」という)のライン数は、読出画素制御部61によって決定される。読出画素制御部61によるデータフィールド_1のライン数の決定は、例えば、画素数取得部611が取得した、撮像装置100の使用者がカメラ操作部8によって設定した表示部4に表示するライブビュー画像の画素数(基準画素数)の情報に基づいて決定される。また、例えば、解像度取得部612が取得した、撮像装置100に搭載された表示部4に表示することができるライブビュー画像の解像度の情報に基づいて決定される。なお、データフィールド_1のライン数は、最低でもライブビュー画像を得るためのLVデータのライン数と同等以上のライン数である。
【0098】
また、読出画素制御部61は、データフィールド_1以外のフィールドのライン数を、決定したデータフィールド_1のライン数に基づいて決定する。読出画素制御部61によるデータフィールド_1以外のフィールドのライン数の決定は、まず、画素部24の全てのライン数から、データフィールド_1のライン数を除いたライン数を算出する。そして、算出したライン数を、フィールド数で分割し、この分割したときのライン数を、データフィールド_1以外の各フィールドのライン数とする。より具体的には、例えば、静止画像の露光期間の直後以外のタイミングで画素データの読み出しを行うフィールド_2およびフィールド_3のライン数は、画素部24の全てのライン数からデータフィールド_1のライン数を減算したライン数を、フィールド数(図11に示した第4の駆動方法においては、フィールド数=2)で除算したライン数となる。
【0099】
図11に示した第4の駆動方法は、データフィールド_1の読み出しライン数を、LVデータのライン数程度にした場合の一例を示している。図11に示した第4の駆動方法においては、データフィールド_1の読み出しライン数が少なくなっているため、他のフィールドのライン数が増加している。これにより、静止画像の露光期間の後におけるLV表示の更新周期が平均化されている。
【0100】
上記に述べたように、本実施形態の第4の駆動方法では、静止画用の画素データを不等間隔のライン数で分割したフィールド毎のインターレース駆動によって、図8に示した第2の画素構成においても、図7に示した第2の駆動方法とほぼ同様の効果を得ることができる。このように、本実施形態の撮像装置200における駆動方法では、本実施形態の撮像装置100における駆動方法と同様に、撮像装置100の使用者(撮影者)は、LV表示を視認しながら撮影を行う際に、LV表示に違和感を覚えることなく撮影をすることができる。
【0101】
なお、フィールドの分割数を変えない範囲であれば、不等間隔のライン数で分割したフィールド毎のインターレース駆動においても、1枚の静止画像を生成するためのリセットデータと画素データの読み出しに要する時間は不変である。従って、図7に示した第2の駆動方法と同様に、撮像部2内の固体撮像素子21に備えた画素部24の画素数や、撮像部2から出力される画像信号のフレームレートなどの特性に合わせて、撮像装置100の撮像シーケンスを決定することによって、使い勝手の良い撮像装置100を実現することが可能となる。
【0102】
上記に述べたように、本発明を実施するための形態によれば、撮像装置が、撮像動作を行っている期間内であっても、動画表示の更新速度が大きく変化することなく、静止画の撮像シーケンスを確実に行うことができる。
【0103】
なお、本発明のある態様に係る読出制御装置は、本実施形態においては、例えば、撮像部2の一部と、撮像・露光制御部6と、カメラ制御部9とに対応し、撮像制御部は、例えば、撮像・露光制御部6と、垂直制御回路26と、水平走査回路27とに対応する。
【0104】
なお、本発明を実施するための形態では、静止画像を3つのフィールドに分割して読み出したときの例について説明したが、静止画像を分割するフィールドの数は、本発明を実施するための形態に限定されるものではない。例えば、フィールドの分割数は、静止画およびライブビューの解像度、さらにはライブビューのフレームレートを鑑みて決定することができる。
【0105】
また、本発明を実施するための形態では、静止画像の撮像動作中のリセットデータ、画素データ、または静止画用データの読み出しを、ライン単位で分割したフィールド毎に行う場合の例について説明したが、静止画像の撮像動作中に読み出すデータを分割して読み出す方法は、本発明を実施するための形態に限定されるものではない。例えば、静止画像の撮像動作中に読み出すデータを、グループ単位または画素単位でそれぞれ分割して読み出すこともできる。
【0106】
なお、撮像装置においては、図6に示した第1の駆動方法により撮像部2を駆動するか、図7に示した第2の駆動方法により撮像部2を駆動するかの選択、または図10に示した第3の駆動方法により撮像部2を駆動するか、図11に示した第4の駆動方法により撮像部2を駆動するかの選択を、例えば、撮像装置の撮影モードやAFモードなどのモード設定、あるいはその他の要因に応じて選択する構成とすることもできる。
【0107】
なお、本発明における回路構成および駆動方式の具体的な構成は、本発明を実施するための形態に限定されるものではなく、本発明の趣旨を逸脱しない範囲において種々の変更をすることができる。例えば、分割するフィールド数を増やすこともできる。また、画素の構成要素および駆動方法が変わった場合においても、例えば、撮像部2や固体撮像素子21内の構成要素や回路構成に応じて駆動方法を変更することによって対応することができる。
【0108】
また、画素の行方向および列方向の配置は、本発明を実施するための形態に限定されるものではなく、本発明の趣旨を逸脱しない範囲において画素を配置する行方向および列方向の数を変更することができる。
【0109】
以上、本発明を実施するための形態をもとに説明したが、各構成要素や各処理プロセスの任意の組み合わせ、本発明の表現をコンピュータプログラムプロダクトなどに変換したものもまた、本発明の態様として有効である。ここで、コンピュータプログラムプロダクトとは、プログラムコードが記録された記録媒体(DVD媒体、ハードディスク媒体、メモリ媒体など)、プログラムコードが記録されたコンピュータ、プログラムコードが記録されたインターネットシステム(例えば、サーバとクライアント端末を含むシステム)など、プログラムコードが記録された記録媒体、装置、機器やシステムをいう。この場合、上述した各構成要素や各処理プロセスは各モジュールで実装され、その実装されたモジュールからなるプログラムコードはコンピュータプログラムプロダクト内に記録される。
【0110】
例えば、本発明のある態様に係るコンピュータプログラムプロダクトは、撮像素子上に配置された複数の画素からn回(nは2以上の整数)に分けて、1枚の静止画像を生成するための静止画用信号を読み出し、さらに、前記静止画用信号を分けて読み出す期間の合間において、前記画素から動画用信号を読み出す撮像制御モジュールと、第1回目〜第n回目の前記静止画用信号として読み出される対象となる画素の数を制御する読出画素制御モジュールと、をコンピュータに実行させるためのプログラムコードが記録されたコンピュータプログラムプロダクトである。
【0111】
また、例えば、図1に示した撮像装置100の各構成要素による処理を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、当該記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより、撮像装置100に係る上述した種々の処理を行ってもよい。なお、ここでいう「コンピュータシステム」とは、OSや周辺機器等のハードウェアを含むものであってもよい。また、「コンピュータシステム」は、WWWシステムを利用している場合であれば、ホームページ提供環境(あるいは表示環境)も含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ROM、フラッシュメモリ等の書き込み可能な不揮発性メモリ、CD−ROM等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。
【0112】
さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ(例えばDRAM(Dynamic Random Access Memory))のように、一定時間プログラムを保持しているものも含むものとする。また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク(通信網)や電話回線等の通信回線(通信線)のように情報を伝送する機能を有する媒体のことをいう。また、上記プログラムは、前述した機能の一部を実現するためのものであっても良い。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル(差分プログラム)であっても良い。
【0113】
以上、本発明の実施形態について、図面を参照して説明してきたが、具体的な構成はこの実施形態に限定されるものではなく、本発明の趣旨を逸脱しない範囲においての種々の変更も含まれる。
【0114】
また、本発明のある態様に係る読出制御装置は、撮像素子上に配置された複数の画素からn回(nは2以上の整数)に分けて、1枚の静止画像を生成するための静止画用信号を読み出し、さらに、前記静止画用信号を分けて読み出す期間の合間において、前記画素から動画用信号を読み出す撮像制御手段と、第1回目〜第n回目の前記静止画用信号として読み出される対象となる画素の数を制御する読出画素制御手段と、を備えることを特徴とする読出制御装置であってもよい。
【0115】
また、本発明のある態様に係る固体撮像装置は、入射光量に応じた信号電荷を発生させる光電変換手段と、前記光電変換手段が発生した信号電荷を蓄積する電荷蓄積手段と、を具備した画素を2次元状に複数配列した画素手段と、前記画素手段上に配置された複数の画素からn回(nは2以上の整数)に分けて、1枚の静止画像を生成するための静止画用信号を読み出し、さらに、前記静止画用信号を分けて読み出す期間の合間において、前記画素から動画用信号を読み出す撮像制御手段と、第1回目〜第n回目の前記静止画用信号として読み出される対象となる画素の数を制御する読出画素制御手段と、を備える、ことを特徴とする固体撮像装置であってもよい。
【0116】
また、本発明のある態様に係る撮像装置は、入射光量に応じた信号電荷を発生させる光電変換手段と、前記光電変換手段が発生した信号電荷を蓄積する電荷蓄積手段と、を具備した画素を2次元状に複数配列した画素手段を有する固体撮像手段と、前記固体撮像手段の前記画素手段の全ての画素の露光開始タイミングと露光期間とを同一とするグローバルシャッター動作を行うとともに、前記固体撮像手段上に配置された複数の画素からn回(nは2以上の整数)に分けて、1枚の静止画像を生成するための静止画用信号を読み出し、さらに、前記静止画用信号を分けて読み出す期間の合間において、前記画素から動画用信号を読み出す撮像制御手段と、第1回目〜第n回目の前記静止画用信号として読み出される対象となる画素の数を制御する読出画素制御手段と、を備えることを特徴とする撮像装置であってもよい。
【0117】
以上、本発明の実施形態について、図面を参照して説明してきたが、具体的な構成はこの実施形態に限定されるものではなく、本発明の趣旨を逸脱しない範囲において種々の代替物、変形、等価物による変更を行うこともできる。従って、本発明の範囲は、上記の説明を参照して決められるものではなく、請求項によって決められるべきであり、均等物の全ての範囲も含まれる。また、上述した特徴は、いずれも、好ましいか否かを問わず、他の特徴と組み合わせてもよい。また、請求項において、明示的に断らない限り、各構成要素は1またはそれ以上の数量である。また、請求項において「〜のための手段」のような語句を用いて明示的に記載する場合を除いて、請求項が、ミーンズ・プラス・ファンクションの限定を含むものと解してはならない。
【符号の説明】
【0118】
100・・・撮像装置
1・・・レンズ
2・・・撮像部
3・・・画像処理部
4・・・表示部
5・・・メモリーカード
6・・・撮像・露光制御部
7・・・レンズ制御部
8・・・カメラ操作部
9・・・カメラ制御部
61・・・読出画素制御部
611・・・画素数取得部
612・・・解像度取得部
21・・・固体撮像素子
22・・・A/D変換部
23・・・KTCノイズ除去部
24・・・画素部
25・・・CDS部
26・・・垂直制御回路
27・・・水平走査回路
28,29・・・画素
PD,PD1,PD2・・・フォトダイオード
FD・・・電荷蓄積部
C1,C2・・・電荷蓄積部
Ma・・・増幅トランジスタ
Mb・・・選択トランジスタ
Mr・・・リセットトランジスタ
Mtx1,Mtx1a,Mtx1b・・・転送トランジスタ
Mtx2,Mtx2a,Mtx2b・・・リセットトランジスタ
Mtx3,Mtx4・・・PD転送トランジスタ
【特許請求の範囲】
【請求項1】
撮像素子上に配置された複数の画素からn回(nは2以上の整数)に分けて、1枚の静止画像を生成するための静止画用信号を読み出し、さらに、前記静止画用信号を分けて読み出す期間の合間において、前記画素から動画用信号を読み出す撮像制御部と、
第1回目〜第n回目の前記静止画用信号として読み出される対象となる画素の数を制御する読出画素制御部と、
を備えることを特徴とする読出制御装置。
【請求項2】
前記読出画素制御部は、
第s回目(sは、1〜nの整数)の前記静止画用信号として読み出される対象となる画素の数と、第t(tは、s以外の1〜nの整数)回目の前記静止画用信号として読み出される対象となる画素の数とを、異なる数にする、
ことを特徴とする請求項1に記載の読出制御装置。
【請求項3】
前記読出画素制御部は、
静止画の露光期間が終了した後の最初の回に前記静止画用信号として読み出される対象となる画素の数、または静止画の露光期間を開始する前の最後の回に前記静止画用信号として読み出される対象となる画素の数を、他の回に前記静止画用信号として読み出される対象となる画素の数よりも小さな数にする、
ことを特徴とする請求項1に記載の読出制御装置。
【請求項4】
前記静止画用信号は、
静止画用のリセット信号と静止画用の光信号とを含むものであり、
前記読出画素制御部は、
静止画の露光期間が終了した後の最初の回に前記静止画用の光信号として読み出される対象となる画素の数、または静止画の露光期間を開始する前の最後の回に前記静止画用のリセット信号として読み出される対象となる画素の数を、他の回に前記静止画用信号として読み出される対象となる画素の数よりも小さな数にする、
ことを特徴とする請求項3に記載の読出制御装置。
【請求項5】
前記読出画素制御部は、
静止画の露光期間が終了した後の最初の回に前記静止画用信号として読み出される対象となる画素の数、または静止画の露光期間を開始する前の最後の回に前記静止画用信号として読み出される対象となる画素の数を、他の回に前記静止画用信号として読み出される対象となる画素の数よりも小さな数にすることによって、静止画の露光期間が終了した後の最初の回、または静止画の露光期間を開始する前の最後の回に読み出される対象外となった画素の前記静止画用信号を、他の回において前記静止画用信号が読み出される対象に含める、
ことを特徴とする請求項3に記載の読出制御装置。
【請求項6】
前記読出画素制御部は、
動画として出力する画素数として設定された基準画素数を取得する画素数取得部、
をさらに備え、
静止画の露光期間が終了した後の最初の回に前記静止画用信号として読み出される対象となる画素の数、または静止画の露光期間を開始する前の最後の回に前記静止画用信号として読み出される対象となる画素の数を、少なくとも前記画素数取得部が取得した前記基準画素数以上の数にする、
ことを特徴とする請求項3に記載の読出制御装置。
【請求項7】
前記読出画素制御部は、
前記動画用信号に基づいて生成された動画を表示する表示部の解像度を取得する解像度取得部、
をさらに備え、
静止画の露光期間が終了した後の最初の回に前記静止画用信号として読み出される対象となる画素の数、または静止画の露光期間を開始する前の最後の回に前記静止画用信号として読み出される対象となる画素の数を、少なくとも前記解像度取得部が取得した前記表示部の解像度以上の数にする、
ことを特徴とする請求項3に記載の読出制御装置。
【請求項8】
前記撮像制御部は、
前記撮像素子上に配置された複数の画素をn個のグループに区分し、前記区分したn個のグループ単位でそれぞれの回に分けて、それぞれのグループに属する画素から前記静止画用信号を読み出し、さらに、前記区分したn個のグループ単位で前記静止画用信号を分けて読み出す期間の合間において、前記区分したn個のグループ単位で前記静止画用信号を読み出したグループに属する画素から前記動画用信号を読み出し、
前記読出画素制御部は、
第1回目〜第n回目に読み出すグループ内で前記静止画用信号として読み出される対象となる画素の数を制御する、
ことを特徴とする請求項1に記載の読出制御装置。
【請求項9】
前記撮像制御部は、
前記撮像素子上に配置された複数の画素を、ライン単位でn個のグループに区分し、
前記読出画素制御部は、
第1回目〜第n回目に読み出すグループ内で前記静止画用信号として読み出される対象となる画素の数を、前記ライン単位で制御する、
ことを特徴とする請求項8に記載の読出制御装置。
【請求項10】
入射光量に応じた信号電荷を発生させる光電変換部と、前記光電変換部が発生した信号電荷を蓄積する電荷蓄積部と、を具備した画素を2次元状に複数配列した画素部と、
前記画素部上に配置された複数の画素からn回(nは2以上の整数)に分けて、1枚の静止画像を生成するための静止画用信号を読み出し、さらに、前記静止画用信号を分けて読み出す期間の合間において、前記画素から動画用信号を読み出す撮像制御部と、
第1回目〜第n回目の前記静止画用信号として読み出される対象となる画素の数を制御する読出画素制御部と、
を備える、
ことを特徴とする固体撮像装置。
【請求項11】
前記撮像制御部は、
前記静止画の露光を行うとき、
全ての前記画素の露光開始タイミングと露光期間とを同一とするグローバルシャッター動作を行う、
ことを特徴とする請求項1に記載の読出制御装置。
【請求項12】
撮像素子上に配置された複数の画素からn回(nは2以上の整数)に分けて、1枚の静止画像を生成するための静止画用信号を読み出し、さらに、前記静止画用信号を分けて読み出す期間の合間において、前記画素から動画用信号を読み出す撮像制御ステップと、
第1回目〜第n回目の前記静止画用信号として読み出される対象となる画素の数を制御する読出画素制御ステップと、
を含むことを特徴とする読出制御方法。
【請求項13】
撮像素子上に配置された複数の画素からn回(nは2以上の整数)に分けて、1枚の静止画像を生成するための静止画用信号を読み出し、さらに、前記静止画用信号を分けて読み出す期間の合間において、前記画素から動画用信号を読み出す撮像制御ステップと、
第1回目〜第n回目の前記静止画用信号として読み出される対象となる画素の数を制御する読出画素制御ステップと、
をコンピュータに実行させることを特徴とするプログラム。
【請求項14】
入射光量に応じた信号電荷を発生させる光電変換部と、前記光電変換部が発生した信号電荷を蓄積する電荷蓄積部と、を具備した画素を2次元状に複数配列した画素部を有する固体撮像素子と、
前記固体撮像素子の前記画素部の全ての画素の露光開始タイミングと露光期間とを同一とするグローバルシャッター動作を行うとともに、前記固体撮像素子上に配置された複数の画素からn回(nは2以上の整数)に分けて、1枚の静止画像を生成するための静止画用信号を読み出し、さらに、前記静止画用信号を分けて読み出す期間の合間において、前記画素から動画用信号を読み出す撮像制御部と、
第1回目〜第n回目の前記静止画用信号として読み出される対象となる画素の数を制御する読出画素制御部と、
を備えることを特徴とする撮像装置。
【請求項1】
撮像素子上に配置された複数の画素からn回(nは2以上の整数)に分けて、1枚の静止画像を生成するための静止画用信号を読み出し、さらに、前記静止画用信号を分けて読み出す期間の合間において、前記画素から動画用信号を読み出す撮像制御部と、
第1回目〜第n回目の前記静止画用信号として読み出される対象となる画素の数を制御する読出画素制御部と、
を備えることを特徴とする読出制御装置。
【請求項2】
前記読出画素制御部は、
第s回目(sは、1〜nの整数)の前記静止画用信号として読み出される対象となる画素の数と、第t(tは、s以外の1〜nの整数)回目の前記静止画用信号として読み出される対象となる画素の数とを、異なる数にする、
ことを特徴とする請求項1に記載の読出制御装置。
【請求項3】
前記読出画素制御部は、
静止画の露光期間が終了した後の最初の回に前記静止画用信号として読み出される対象となる画素の数、または静止画の露光期間を開始する前の最後の回に前記静止画用信号として読み出される対象となる画素の数を、他の回に前記静止画用信号として読み出される対象となる画素の数よりも小さな数にする、
ことを特徴とする請求項1に記載の読出制御装置。
【請求項4】
前記静止画用信号は、
静止画用のリセット信号と静止画用の光信号とを含むものであり、
前記読出画素制御部は、
静止画の露光期間が終了した後の最初の回に前記静止画用の光信号として読み出される対象となる画素の数、または静止画の露光期間を開始する前の最後の回に前記静止画用のリセット信号として読み出される対象となる画素の数を、他の回に前記静止画用信号として読み出される対象となる画素の数よりも小さな数にする、
ことを特徴とする請求項3に記載の読出制御装置。
【請求項5】
前記読出画素制御部は、
静止画の露光期間が終了した後の最初の回に前記静止画用信号として読み出される対象となる画素の数、または静止画の露光期間を開始する前の最後の回に前記静止画用信号として読み出される対象となる画素の数を、他の回に前記静止画用信号として読み出される対象となる画素の数よりも小さな数にすることによって、静止画の露光期間が終了した後の最初の回、または静止画の露光期間を開始する前の最後の回に読み出される対象外となった画素の前記静止画用信号を、他の回において前記静止画用信号が読み出される対象に含める、
ことを特徴とする請求項3に記載の読出制御装置。
【請求項6】
前記読出画素制御部は、
動画として出力する画素数として設定された基準画素数を取得する画素数取得部、
をさらに備え、
静止画の露光期間が終了した後の最初の回に前記静止画用信号として読み出される対象となる画素の数、または静止画の露光期間を開始する前の最後の回に前記静止画用信号として読み出される対象となる画素の数を、少なくとも前記画素数取得部が取得した前記基準画素数以上の数にする、
ことを特徴とする請求項3に記載の読出制御装置。
【請求項7】
前記読出画素制御部は、
前記動画用信号に基づいて生成された動画を表示する表示部の解像度を取得する解像度取得部、
をさらに備え、
静止画の露光期間が終了した後の最初の回に前記静止画用信号として読み出される対象となる画素の数、または静止画の露光期間を開始する前の最後の回に前記静止画用信号として読み出される対象となる画素の数を、少なくとも前記解像度取得部が取得した前記表示部の解像度以上の数にする、
ことを特徴とする請求項3に記載の読出制御装置。
【請求項8】
前記撮像制御部は、
前記撮像素子上に配置された複数の画素をn個のグループに区分し、前記区分したn個のグループ単位でそれぞれの回に分けて、それぞれのグループに属する画素から前記静止画用信号を読み出し、さらに、前記区分したn個のグループ単位で前記静止画用信号を分けて読み出す期間の合間において、前記区分したn個のグループ単位で前記静止画用信号を読み出したグループに属する画素から前記動画用信号を読み出し、
前記読出画素制御部は、
第1回目〜第n回目に読み出すグループ内で前記静止画用信号として読み出される対象となる画素の数を制御する、
ことを特徴とする請求項1に記載の読出制御装置。
【請求項9】
前記撮像制御部は、
前記撮像素子上に配置された複数の画素を、ライン単位でn個のグループに区分し、
前記読出画素制御部は、
第1回目〜第n回目に読み出すグループ内で前記静止画用信号として読み出される対象となる画素の数を、前記ライン単位で制御する、
ことを特徴とする請求項8に記載の読出制御装置。
【請求項10】
入射光量に応じた信号電荷を発生させる光電変換部と、前記光電変換部が発生した信号電荷を蓄積する電荷蓄積部と、を具備した画素を2次元状に複数配列した画素部と、
前記画素部上に配置された複数の画素からn回(nは2以上の整数)に分けて、1枚の静止画像を生成するための静止画用信号を読み出し、さらに、前記静止画用信号を分けて読み出す期間の合間において、前記画素から動画用信号を読み出す撮像制御部と、
第1回目〜第n回目の前記静止画用信号として読み出される対象となる画素の数を制御する読出画素制御部と、
を備える、
ことを特徴とする固体撮像装置。
【請求項11】
前記撮像制御部は、
前記静止画の露光を行うとき、
全ての前記画素の露光開始タイミングと露光期間とを同一とするグローバルシャッター動作を行う、
ことを特徴とする請求項1に記載の読出制御装置。
【請求項12】
撮像素子上に配置された複数の画素からn回(nは2以上の整数)に分けて、1枚の静止画像を生成するための静止画用信号を読み出し、さらに、前記静止画用信号を分けて読み出す期間の合間において、前記画素から動画用信号を読み出す撮像制御ステップと、
第1回目〜第n回目の前記静止画用信号として読み出される対象となる画素の数を制御する読出画素制御ステップと、
を含むことを特徴とする読出制御方法。
【請求項13】
撮像素子上に配置された複数の画素からn回(nは2以上の整数)に分けて、1枚の静止画像を生成するための静止画用信号を読み出し、さらに、前記静止画用信号を分けて読み出す期間の合間において、前記画素から動画用信号を読み出す撮像制御ステップと、
第1回目〜第n回目の前記静止画用信号として読み出される対象となる画素の数を制御する読出画素制御ステップと、
をコンピュータに実行させることを特徴とするプログラム。
【請求項14】
入射光量に応じた信号電荷を発生させる光電変換部と、前記光電変換部が発生した信号電荷を蓄積する電荷蓄積部と、を具備した画素を2次元状に複数配列した画素部を有する固体撮像素子と、
前記固体撮像素子の前記画素部の全ての画素の露光開始タイミングと露光期間とを同一とするグローバルシャッター動作を行うとともに、前記固体撮像素子上に配置された複数の画素からn回(nは2以上の整数)に分けて、1枚の静止画像を生成するための静止画用信号を読み出し、さらに、前記静止画用信号を分けて読み出す期間の合間において、前記画素から動画用信号を読み出す撮像制御部と、
第1回目〜第n回目の前記静止画用信号として読み出される対象となる画素の数を制御する読出画素制御部と、
を備えることを特徴とする撮像装置。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【公開番号】特開2012−4819(P2012−4819A)
【公開日】平成24年1月5日(2012.1.5)
【国際特許分類】
【出願番号】特願2010−137519(P2010−137519)
【出願日】平成22年6月16日(2010.6.16)
【出願人】(000000376)オリンパス株式会社 (11,466)
【Fターム(参考)】
【公開日】平成24年1月5日(2012.1.5)
【国際特許分類】
【出願日】平成22年6月16日(2010.6.16)
【出願人】(000000376)オリンパス株式会社 (11,466)
【Fターム(参考)】
[ Back to top ]