撮像装置
【課題】高速のコントラストＡＦと高解像度の表示用画像の取得との両立を図ることができる撮像装置を提供する。
【解決手段】画素部２１からの画像信号をアナログ記憶するメモリ部２２を有する撮像素子と、第１フレーム周期で画素部２１の第１画素領域から第１画像信号を読み出し、第１フレーム周期よりも長い第２フレーム周期で第１画素領域を含む画素部２１の第２画素領域から第２画像信号を読み出して、メモリ部２２に各記憶させる第１読出制御部２４および第１読出処理部２５と、メモリ部２２から第１画像信号に係る焦点検出用画像信号と第２画像信号に係る表示用画像信号とを読み出す第２読出制御部２６および第２読出処理部２７と、焦点検出用画像信号に基づいてコントラスト焦点検出を行う焦点検出部と、表示用画像信号に基づいて画像表示を行う画像表示部と、を備えた撮像装置。
【解決手段】画素部２１からの画像信号をアナログ記憶するメモリ部２２を有する撮像素子と、第１フレーム周期で画素部２１の第１画素領域から第１画像信号を読み出し、第１フレーム周期よりも長い第２フレーム周期で第１画素領域を含む画素部２１の第２画素領域から第２画像信号を読み出して、メモリ部２２に各記憶させる第１読出制御部２４および第１読出処理部２５と、メモリ部２２から第１画像信号に係る焦点検出用画像信号と第２画像信号に係る表示用画像信号とを読み出す第２読出制御部２６および第２読出処理部２７と、焦点検出用画像信号に基づいてコントラスト焦点検出を行う焦点検出部と、表示用画像信号に基づいて画像表示を行う画像表示部と、を備えた撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像素子から得られた画像信号に基づき、コントラスト焦点検出および画像表示を行う撮像装置に関する。
【背景技術】
【０００２】
電子的な撮像装置においては、撮像素子から所定のフレームレートで出力される画像が、ＥＶＦや背面液晶パネルにおけるライブビューや、あるいは動画の撮像にも用いられることが多くなってきている。近年のデジタルカメラ等の撮像装置では、ライブビューはＳＶＧＡ程度の画素数、動画としてはＨＤ動画の画素数の画像を撮像することができる機種が普及しつつある。例えばＨＤ動画は、記録や表示のフレームレートが規格化されており、ＨＤ撮像モードの撮像フレームレートは例えば６０ｆｐｓとなっている。
【０００３】
また、撮像素子から出力される画像に基づき焦点検出を行うコントラストＡＦは、別途の焦点検出デバイス等が不要である利点があるために、電子的な撮像装置において広く利用されている。
【０００４】
このコントラストＡＦは、レンズのフォーカス位置を移動させながら画像信号中のコントラスト成分（例えば高周波成分）のピーク位置を山登り方式で探索するものであるために、合焦するまでに複数フレームの画像信号が必要となる。
【０００５】
コントラストＡＦにおいては、信頼度の高いコントラスト成分を画像信号から抽出できる必要があるが、被写体の明るさが十分でない場合には、信号成分に対するノイズ成分の割合が大きくなるために、抽出されたコントラスト成分から算出されるＡＦ評価値に誤差が生じる可能性がある。そこで、例えば特開２００４-２８９８７０号公報には、被写体が暗い場合にフレームレートを低くして、よりノイズの少ない画像信号を取得しコントラストＡＦや画像表示を行う技術が記載されている。ただし、この技術では、コントラストＡＦのＡＦ速度が遅くなってしまうことになる。
【０００６】
一方、ＡＦ速度を早くするためには、焦点検出用に取得される画像のフレームレートを高くすると良い。例えばＣＭＯＳ撮像素子においては、画像のフレームレートを高くするために、間引き読み出しや画素加算読み出し等を行って撮像素子から出力する画素数を少なくする技術が知られている。
【０００７】
ところで、画素部と、この画素部から読み出したアナログの画像信号を記憶するアナログメモリと、を搭載する撮像素子が提案されており、例えば特開２０１０-２５２１１８号公報に記載された技術が一例として挙げられる。
【先行技術文献】
【特許文献】
【０００８】
【特許文献１】特開２００４-２８９８７０号公報
【特許文献２】特開２０１０-２５２１１８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００９】
しかしながら、フレームレートを高くするために画素数を少なくした画像は、ライブビューや動画の撮像に利用するには、画像の解像度が低いという課題がある。
【００１０】
これに対して、高解像度の画像を高速フレームレートで撮像素子から出力して、ＡＳＩＣ等で処理することも考えられるが、この場合には、撮像素子やＡＳＩＣの回路規模が大きくなり、かつ高速駆動が必要であるために消費電力も大きくなってしまう。しかも、コントラストＡＦとＨＤ動画の撮像とを両立しようとすると、上述したように、ＨＤ撮像モードの撮像フレームレートが６０ｆｐｓに制限されているために、コントラストＡＦのＡＦ速度も制限を受けることになる。高速のコントラストＡＦもさらに両立させるために、撮像フレームレートを６０ｆｐｓの整数倍、例えば１２０ｆｐｓにして、記録・表示用の画像をフレーム加算する案も考えられるが、この場合には回路規模や消費電力の増大がより顕著となってしまう。
【００１１】
また、フレームレートが高速になると画像の電荷蓄積時間が短くなることになるために、被写体が暗い場合における上述したコントラストＡＦの信頼性の低下は、高速フレームレートである場合ほど顕著になる。従って、さらに、被写体が暗い場合におけるコントラストＡＦの信頼性を向上することができることが望ましい。
【００１２】
本発明は上記事情に鑑みてなされたものであり、高速のコントラストＡＦと、高解像度の表示用画像の取得と、の両立を図ることができる撮像装置を提供することを目的としている。
【課題を解決するための手段】
【００１３】
上記の目的を達成するために、本発明の一態様による撮像装置は、２次元状に配置された画素を有する画素部と、該画素部から読み出した画像信号を記憶するアナログメモリと、を有する撮像素子と、第１のフレーム周期で上記画素部の第１画素領域から第１の画像信号を読み出して上記アナログメモリに記憶させるとともに、上記第１のフレーム周期よりも長い第２のフレーム周期で該第１画素領域を含みかつ該第１画素領域よりも画素数が多い上記画素部の第２画素領域から上記第１の画像信号を含む第２の画像信号を読み出して上記アナログメモリに記憶させる画像信号記憶制御部と、上記アナログメモリから、上記第１の画像信号に基づく焦点検出用画像信号を読み出すとともに、上記第２の画像信号に基づく表示用画像信号を読み出す画像信号読出制御部と、上記焦点検出用画像信号に基づいてコントラスト焦点検出を行う焦点検出部と、上記表示用画像信号に基づいて画像表示を行う画像表示部と、を具備したものである。
【発明の効果】
【００１４】
本発明の撮像装置によれば、高速のコントラストＡＦと、高解像度の表示用画像の取得と、の両立を図ることが可能となる。
【図面の簡単な説明】
【００１５】
【図１】本発明の実施形態１における撮像装置の構成を示すブロック図。
【図２】上記実施形態１における撮像素子の構成を示す図。
【図３】上記実施形態１の画素部に構成されている単位画素の構成例を示す回路図。
【図４】上記実施形態１のメモリ部に構成されている単位メモリの構成例を示す回路図。
【図５】上記実施形態１の画素部における第１画素領域および第２画素領域の例を示す図。
【図６】上記実施形態１の撮像制御１においてメモリ部に蓄積される画像信号の様子を示す図。
【図７】上記実施形態１の撮像制御２においてメモリ部に蓄積される画像信号の様子を示す図。
【図８】上記実施形態１の撮像制御１におけるメモリ部からの画像信号の読み出しの様子を示す図。
【図９】上記実施形態１の撮像制御２におけるメモリ部からの画像信号の読み出しの様子を示す図。
【図１０】上記実施形態１における撮像制御１の処理の例を示すタイミングチャート。
【図１１】上記実施形態１における撮像制御２の処理の例を示すタイミングチャート。
【図１２】上記実施形態１の撮像装置におけるＬＶ表示処理を示すフローチャート。
【図１３】上記実施形態１における撮像制御１の処理を示すフローチャート。
【図１４】上記実施形態１における撮像制御２の処理を示すフローチャート。
【図１５】上記実施形態１における撮像制御１ａの処理を示すフローチャート。
【図１６】上記実施形態１における撮像制御１ｂの処理を示すフローチャート。
【図１７】上記実施形態１における撮像制御２ａの処理を示すフローチャート。
【図１８】上記実施形態１における撮像制御２ｂの処理を示すフローチャート。
【図１９】上記実施形態１における撮像制御２ｃの処理を示すフローチャート。
【図２０】上記実施形態１におけるメモリ制御１の処理を示すフローチャート。
【図２１】上記実施形態１におけるメモリ制御２の処理を示すフローチャート。
【図２２】上記実施形態１におけるメモリ制御３の処理を示すフローチャート。
【図２３】上記実施形態１におけるメモリ制御４の処理を示すフローチャート。
【図２４】上記実施形態１におけるメモリ制御５の処理を示すフローチャート。
【図２５】上記実施形態１におけるメモリ制御６の処理を示すフローチャート。
【図２６】上記実施形態１におけるメモリ制御７の処理を示すフローチャート。
【図２７】上記実施形態１におけるメモリ制御８の処理を示すフローチャート。
【発明を実施するための形態】
【００１６】
以下、図面を参照して本発明の実施の形態を説明する。
［実施形態１］
【００１７】
図１から図２７は本発明の実施形態１を示したものであり、図１は撮像装置の構成を示すブロック図である。
【００１８】
この撮像装置は、図１に示すように、レンズ１と、レンズ駆動部２と、撮像素子３と、撮像素子駆動部４と、信号処理部５と、ＡＦ処理部６と、画像処理部７と、操作部８と、ＡＥ処理部９と、メモリ部１０と、画像表示部１１と、記録部１２と、データ・制御バス１３と、ＣＰＵ１５と、を備えている。
【００１９】
レンズ１は、被写体の光学像を撮像素子３の画素部２１（図２参照）に結像するものである。このレンズ１は、焦点位置（ピント位置）を調節してフォーカシングを行うためのフォーカスレンズと、通過する光束の範囲を制御するための絞りと、を備えている。また、レンズ１は、焦点距離を可変なズームレンズとして構成されていても良い。
【００２０】
レンズ駆動部２は、ＡＦ処理部６からのＡＦ評価値やＡＥ処理部９からの絞り値などを受けたＣＰＵ１５の命令に基づいて、フォーカス位置や絞り（あるいは、電動ズームレンズである場合には焦点距離）等のレンズ光学条件を制御するものである。すなわち、レンズ駆動部２は、フォーカスレンズや絞りを駆動して、撮像素子３に結像される被写体像が適切な明るさで合焦に至るようにするものである。また、レンズ駆動部２は、レンズ位置や絞り駆動位置などのレンズ駆動情報をＣＰＵ１５へ出力するようになっている。
【００２１】
撮像素子３は、レンズ１により結像された被写体の光学像を光電変換して画像信号として出力するものである。この撮像素子３は、後で図２を参照して説明するように、光電変換を行う画素２１ａ（図３参照）が２次元状に配置された画素部２１と、この画素部２１から読み出したアナログの画像信号を記憶するためのアナログメモリであるメモリ部２２と、を備えている。
【００２２】
撮像素子駆動部４は、ＣＰＵ１５からの命令を受けて、撮像駆動モード（例えば、静止画撮影モードにおける撮像駆動モード、ＬＶ（ライブビュー）モードにおける撮像駆動モードなど）に応じた画素部２１のリセット・読出制御やメモリ部２２の書込・読出制御等に必要な制御信号を生成し、撮像素子３を駆動するものである。例えば、撮像素子駆動部４は、ＡＥ処理部９により決定された露光時間に基づいて、ＣＰＵ１５の制御の下に、撮像素子３の素子シャッタを制御する。そして、撮像素子駆動部４が静止画撮影モードにおける撮像駆動モードで撮像素子３を駆動すると、撮像素子３からは静止画像信号が出力される。また、撮像素子駆動部４がＬＶモードにおける撮像駆動モードで撮像素子３を駆動すると、撮像素子３からは焦点検出用画像信号と表示用画像信号とが後述するように出力される。さらに、撮像素子駆動部４は、撮像素子３の駆動情報をＣＰＵ１５へ出力するようになっている。
【００２３】
信号処理部５は、撮像素子３から出力された画像信号に対してレベル補正や振幅調整等のアナログ信号処理を施した後に、Ａ／Ｄ変換を行ってデジタル信号を生成するものである。
【００２４】
ＡＦ処理部６は、撮像素子３から出力された焦点検出用画像信号に基づいて輝度信号のコントラスト情報等を検出し、ＡＦ評価値を算出してＣＰＵ１５へ出力する焦点検出部である。すなわち、この撮像装置は、コントラストＡＦによる焦点検出が可能となるように構成されたものとなっている。
【００２５】
画像処理部７は、撮像素子３から出力された画像信号に、デモザイキング等のカラー化処理、ノイズ補正処理、色補正処理、画像圧縮処理、記録画像フォーマット生成処理等の各種画像処理を行うものである。この画像処理部７は、撮像素子３から出力される画像信号が表示用画像信号である場合には、ＬＶ画像フォーマットのＬＶ表示用画像を生成する処理を行う。さらに、画像処理部７は、表示用画像信号が後述するように分割して読み出された場合には、分割された表示用画像信号を合成する処理を行う。
【００２６】
操作部８は、この撮像装置に対する各種の操作入力を行うための操作部である。この操作部８には、撮像装置の電源をオン／オフするための電源スイッチ、静止画撮影、動画撮影などを指示入力するためのレリーズボタン、静止画撮影モードや動画撮影モード、ＬＶモードなどを設定するためのモードボタン等の操作部材（例えば、スイッチやタッチパネルなど）が含まれている。
【００２７】
ＡＥ処理部９は、撮像素子３から出力された表示用画像信号等に基づいて、輝度レベルを検出し、絞り値や露光時間（いわゆるシャッタ速度であり、電荷蓄積時間となる）や感度等の設定に必要なＡＥ制御情報を出力するものである。
【００２８】
メモリ部１０は、画像処理部７等が画像処理を行う際に必要なラインメモリやフレームメモリなどの揮発性メモリと、工場出荷時に書き込まれた撮像装置の制御プログラムや各種データなどを記録する不揮発性メモリと、を備えている。
【００２９】
画像表示部１１は、ＥＶＦ（電子ビューファインダ）や背面液晶パネル等を備え、画像を表示するものである。すなわち、この画像表示部１１は、撮像された静止画像の表示を行うとともに、上述した画像処理部７により表示用画像信号に基づき生成されたＬＶ用画像をファインダ用画像として表示する。さらに、画像表示部１１は、この撮像装置に係る各種の情報等も表示するようになっている。
【００３０】
記録部１２は、静止画像や動画像をメモリカード等の記録媒体に保存するためのものである。
【００３１】
データ・制御バス１３は、信号処理部５、ＡＦ処理部６、画像処理部７、操作部８、ＡＥ処理部９、メモリ部１０、画像表示部１１、記録部１２、ＣＰＵ１５が双方向に接続されていて、各種のデータや制御信号を授受するためのものである。
【００３２】
ＣＰＵ１５は、操作部８からの操作入力を受けて、この撮像装置全体を制御するものである。
【００３３】
図２は、撮像素子３の構成を示す図である。
【００３４】
撮像素子３は、画素部２１と、メモリ部２２と、出力アンプ２３と、第１読出制御部２４と、第１読出処理部２５と、第２読出制御部２６と、第２読出処理部２７と、を備えている。
【００３５】
画素部２１は、露光量に応じた信号電荷を光電変換により発生させる複数の画素２１ａ（図３参照）が２次元状（行列状：図５等参照）に配列されたものである。
【００３６】
メモリ部２２は、画素部２１に配列された各画素２１ａの信号電荷を一時的に蓄積するアナログメモリであり、例えば画素部２１に配列された各画素２１ａと同一数かつ同一配列のメモリを有して構成されている。一般的に、焦点検出用画像信号や表示用画像信号は静止画像信号に比して構成画素数が少ないために、このメモリ部２２は、複数フレーム分の焦点検出用画像信号や表示用画像信号を記憶し得るものとなっている。
【００３７】
第１読出制御部２４は、画像信号記憶制御部を構成しており、画素部２１および第１読出処理部２５を制御するための制御信号を生成するものである。
【００３８】
第１読出処理部２５は、画像信号記憶制御部を構成しており、画素部２１から読み出した信号を、行毎に加算したり、増幅したりする処理を行うものである。
【００３９】
ＬＶモードのときには、これら第１読出制御部２４および第１読出処理部２５により、第１のフレーム周期で画素部２１の第１画素領域（図５参照）から第１の画像信号を読み出してメモリ部２２に記憶させるとともに、第１のフレーム周期よりも長い第２のフレーム周期で第１画素領域を含みかつ第１画素領域よりも画素数が多い画素部２１の第２画素領域（図５参照）から第１の画像信号を含む第２の画像信号を読み出してメモリ部２２に記憶させるようになっている。
【００４０】
第２読出制御部２６は、画像信号読出制御部を構成しており、メモリ部２２および第２読出処理部２７を制御するための制御信号を生成するものである。
【００４１】
第２読出処理部２７は、画像信号読出制御部を構成しており、メモリ部２２から読み出した信号に、ＣＤＳ（相関２重サンプリング）等のノイズ低減処理を行ったり、水平方向や垂直方向の加算を行ったり、水平読出を行ったりするものである。
【００４２】
ＬＶモードのときには、これら第２読出制御部２６および第２読出処理部２７により、メモリ部２２から、第１の画像信号に基づく焦点検出用画像信号を読み出すとともに、第２の画像信号に基づく表示用画像信号を読み出すようになっている。
【００４３】
出力アンプ２３は、第２読出処理部２７から水平読出処理された信号を増幅するものである。
【００４４】
図３は、画素部２１に構成されている単位画素２１ａの構成例を示す回路図である。
【００４５】
画素部２１の画素２１ａは、光電変換部であるＰＤ（フォトダイオード）と、この光電変換部ＰＤの信号を電荷読み出しの際に一時的に保持する信号蓄積部であるＦＤ（フローティングディフュージョン）と、を備えている。ここに、光電変換部ＰＤは、入射した光に応じた信号電荷を生成し、生成した信号電荷を保持・蓄積するものである。また、信号蓄積部ＦＤは、光電変換部ＰＤから転送された信号電荷を一時的に保持・蓄積する容量である。これら光電変換部ＰＤの一端と信号蓄積部ＦＤの一端と、はそれぞれ接地されている。
【００４６】
光電変換部ＰＤの他端と信号蓄積部ＦＤの他端との間には、光電変換部ＰＤに蓄積された信号電荷を信号蓄積部ＦＤへ転送するための転送トランジスタＴＸが直列に接続されている。この転送トランジスタＴＸの入力部であるゲート端子は第１読出制御部２４に接続されており、第１読出制御部２４から転送パルスが供給されて、転送トランジスタＴＸのオン／オフが制御されるようになっている。
【００４７】
ＡＭＰは、増幅部として機能する増幅用トランジスタであり、ゲート端子に入力される、信号蓄積部ＦＤに蓄積されている信号電荷に基づく信号を、増幅して出力するものである。すなわち、この増幅トランジスタＡＭＰは、電圧源ＶＤＤにも接続されていて、さらに図示しない電流源とでソースフォロアンプを構成するようになっている。
【００４８】
ＲＳＴは信号蓄積部ＦＤおよび増幅トランジスタＡＭＰの入力部をリセットするためのＦＤリセットトランジスタである。このＦＤリセットトランジスタＲＳＴの入力部であるゲート端子は第１読出制御部２４に接続されており、第１読出制御部２４からＦＤリセットパルスが供給されて、ＦＤリセットトランジスタＲＳＴのオン／オフが制御されるようになっている。また、このような構成において、ＦＤリセットトランジスタＲＳＴと転送トランジスタＴＸとを同時にオンすることにより、信号蓄積部ＦＤのリセットと同時に光電変換部ＰＤのリセットも行うことができるようになっている。
【００４９】
ＲＯＷＳＥＬは、信号蓄積部ＦＤの信号を増幅トランジスタＡＭＰを介して読み出す際にオンされる行選択トランジスタである。この行選択トランジスタＲＯＷＳＥＬの入力部であるゲート端子は第１読出制御部２４に接続されており、第１読出制御部２４から行選択パルスが供給されて、行選択トランジスタＲＯＷＳＥＬのオン／オフが制御されるようになっている。
【００５０】
このような構成によって、光電変換部ＰＤの信号は、信号蓄積部ＦＤに一旦蓄積された後に、増幅トランジスタＡＭＰにより増幅されて、メモリ部２２側へ出力される。
【００５１】
図４は、メモリ部２２に構成されている単位メモリ２２ａの構成例を示す回路図である。
【００５２】
メモリ部２２は、コンデンサＣ１，Ｃ２と、スイッチＳＷ１〜ＳＷ４と、増幅トランジスタＡＭＰ２と、を有している。
【００５３】
コンデンサＣ１，Ｃ２は、画素部２１から転送された電荷を一時的に保持・蓄積する容量である。コンデンサＣ１，Ｃ２の内の一方はリセットノイズを蓄積するのに使用され、他方は信号電荷を蓄積するのに使用される。ここでは例えば、コンデンサＣ１がリセットノイズを蓄積するのに使用され、コンデンサＣ２が信号電荷を蓄積するのに使用されるものとする。
【００５４】
スイッチＳＷ１は、画素部２１からのリセットノイズをコンデンサＣ１へ転送する際にオンされるスイッチである。
【００５５】
スイッチＳＷ４は、画素部２１からの信号電荷をコンデンサＣ２へ転送する際にオンされるスイッチである。
【００５６】
スイッチＳＷ２は、コンデンサＣ１に蓄積されたリセットノイズを読み出す際にオンされるスイッチである。
【００５７】
スイッチＳＷ３は、コンデンサＣ２に蓄積された信号電荷を読み出す際にオンされるスイッチである。
【００５８】
増幅トランジスタＡＭＰ２は、上述した画素２１ａ内の増幅トランジスタＡＭＰと同様に増幅部として機能するものであり、ゲート端子に入力される、コンデンサＣ１に蓄積されているリセットノイズに基づく信号、またはコンデンサＣ２に蓄積されている信号電荷に基づく信号を、増幅して出力するものである。従って、この増幅トランジスタＡＭＰ２も、電圧源ＶＤＤと電流源とでソースフォロアンプを構成するようになっている。
【００５９】
このようにメモリ部２２は、非破壊読み出し可能なメモリとして構成されたものとなっている。
【００６０】
図５は、画素部２１における第１画素領域および第２画素領域の例を示す図である。なお、図５には、画素部２１に配列された画素２１ａの行番号（ライン番号）を参照のために図示している。また、図５では、行については一般のＮ行の構成を図示しているものの、列については簡単のために４列の構成を図示している。しかし、実際の撮像素子は、一般にはより多くの列で構成されていることはいうまでもない。
【００６１】
図５において、点線で囲んだ画素２１ａは、第１画素領域として使用されるとともに、第２画素領域としても使用されるようになっている。また、実線で囲んだ画素２１ａは、第２画素領域として使用されるが、第１画素領域としては使用されない画素である。さらに、実線または点線の何れでも囲まれていない画素２１ａは、第１画素領域、第２画素領域の何れに対しても使用されない。
【００６２】
ここに、第１画素領域は、焦点検出用画像信号を生成するための第１の画像信号を読み出す画素領域である。
【００６３】
また、第２画素領域は、表示用画像信号を生成するための第２の画像信号を読み出す画素領域である。
【００６４】
図５に示す例においては、３ｉライン（ｉは１以上の整数）が第２画素領域、（３＋１２ｊ）ラインおよび（６＋１２ｊ）ライン（ｊは０以上の整数）が第１画素領域となっている。
【００６５】
図６は、撮像制御１においてメモリ部２２に蓄積される画像信号の様子を示す図である。
【００６６】
撮像制御１は、後で図１０等を参照して説明するように、第１画素領域からの第１の画像信号の読み出しと、第２画素領域からの第２の画像信号の読み出しと、を交互に行う撮像制御モードとなっている。
【００６７】
例えば、まず、第１画素領域から第１の画像信号（後述する図１０の例えばＦ１に相当）を読み出して、メモリ部２２に記憶させる。ここに、第１画素領域の総ライン数はｍであるものとしている。図５に示したような第１画素領域を採用する場合には、Ｎが大きければｍ≒Ｎ／６である。
【００６８】
次に、第１画素領域を含む第２画素領域から、第１の画像信号を含む第２の画像信号を読み出して、メモリ部２２に記憶させる。ここに、第２画素領域の総ライン数はｋ（ｋ＞ｍ）であるものとしている。図５に示したような第２画素領域を採用する場合には、Ｎが大きければｋ≒Ｎ／３である。
【００６９】
その後も引き続き、第１画素領域からの読み出しと、第２画素領域からの読み出しと、を交互に繰り返して行う。
【００７０】
メモリ部２２に構成された単位メモリ２２ａの数が画素部２１に構成された単位画素２１ａの数と同じ場合には、図５に示したような第１画素領域および第２画素領域を採用すると、ほぼ、２フレーム分の第１の画像信号および２フレーム分の第２の画像信号をメモリ部２２に記憶可能である。そして、メモリ部２２の記憶容量の上限に達した場合には、最新のデータを最も古いデータに上書きするものとする。これにより、メモリ部２２には最新の複数フレーム分のデータが記憶されることになる。
【００７１】
図７は、撮像制御２においてメモリ部２２に蓄積される画像信号の様子を示す図である。
【００７２】
撮像制御２は、後で図１１等を参照して説明するように、第１画素領域からの第１の画像信号の読み出しを３回行い、第２画素領域からの第２の画像信号の読み出しを１回行うことを、繰り返して実行する撮像制御モードとなっている。後で説明するように、上述した撮像制御１は被写体が通常の明るさである場合に適用される撮像制御モードであるのに対して、この撮像制御２は被写体が暗い場合に適用される撮像制御モードとなっている。そこで、第２の画像信号を読み出す第２のフレーム周期は、撮像制御１では第１の画像信号を読み出す第１のフレーム周期の２倍であったのに対し、この撮像制御２では４倍となっている。
【００７３】
この場合には、ｍラインでなる第１の画像信号が３フレーム分記憶された後に、ｋラインでなる第２の画像信号が１フレーム分記憶され、その後もこのような記憶を行って、メモリ部２２に最新の複数フレーム分の画像信号を記憶することになる。なお、メモリ部２２に構成された単位メモリ２２ａの数が画素部２１に構成された単位画素２１ａの数と同じ場合には、図５に示したような第１画素領域および第２画素領域を採用すると、この撮像制御２では、ほぼ、４フレーム分の第１の画像信号および１フレーム分の第２の画像信号をメモリ部２２に記憶可能である。
【００７４】
図８は、撮像制御１におけるメモリ部２２からの画像信号の読み出しの様子を示す図である。なお、この図８および後述する図９〜図１１には、後述するフローチャートにおいて対応しているステップ番号も記載している。
【００７５】
撮像制御１において、第１画素領域からの第１の画像信号の読み出しと、第２画素領域からの第２の画像信号の読み出しと、を交互に繰り返して行うと、第１画素領域の平均の電荷蓄積時間は、第２画素領域の電荷蓄積時間の例えば半分となる。従って、第２画素領域から読み出した第２の画像信号をそのまま表示用画像信号にしようとすると、第１画素領域に該当する画素部分の信号レベルが低くなってしまう。そこで、対応する画素位置毎に第１の画像信号と第２の画像信号とを加算することにより、全ての画素についての電荷蓄積時間が同じとなる表示用画像信号を生成するようになっている。
【００７６】
上述した画素加算は、撮像素子３の外部の画像処理部７等において行うことも不可能ではないが、撮像素子３から読み出す画素数を少なくして、低消費電力、低クロックでより高速な処理を可能とするために、撮像素子３内の第２読出制御部２６の制御に基づき、撮像素子３内の第２読出処理部２７により行われるようになっている。
【００７７】
まず、あるフレームにおける第１の画像信号は、そのまま焦点検出用画像信号となり、ＡＦ用フレームに用いられる。続くフレームにおいて取得される第２の画像信号は、第２の画像信号に含まれる第１の画像信号の部分が焦点検出用画像信号となり、次のＡＦ用フレームに用いられる。
【００７８】
さらに、表示用画像信号の読み出しは、画像信号読出制御部により、ＡＦ用フレームの読み出し期間の合間の、複数期間に分割して行われるようになっている。この図８に示す例では、表示用画像信号は、ＬＶ用フレーム１とＬＶ用フレーム２との２つに分割されて読み出される。より詳しくは、ｋラインでなる第２の画像信号は、例えば、奇数ラインがＬＶ用フレーム１として読み出され、偶数ラインがＬＶ用フレーム２として読み出される。そして、第２の画像信号中の第１の画像信号部分については、直前のフレームの第１の画像信号が対応する画素位置毎に加算され、表示用画像信号が生成される。
【００７９】
図９は、撮像制御２におけるメモリ部２２からの画像信号の読み出しの様子を示す図である。
【００８０】
撮像制御２においては、第１のフレーム周期で第１画素領域から読み出される第１の画像信号の平均の電荷蓄積時間は、第２のフレーム周期で第２画素領域から読み出される第２の画像信号の電荷蓄積時間の例えば１／４となる。従って、第２の画像信号と、この第２の画像信号の直前の連続する３つの第１の画像信号と、を対応する画素位置毎に加算することにより、全ての画素についての電荷蓄積時間が同じとなる表示用画像信号を生成するようになっている。
【００８１】
さらに、この撮像制御２においては、連続する２つの第１の画像信号（第１画素領域から読み出された第１の画像信号、または第２画素領域から読み出された第２の画像信号に含まれる第１の画像信号）を加算することにより、焦点検出用画像信号を生成するようになっている。これは、被写体が暗いと、第１のフレーム周期で読み出される第１の画像信号の信号レベルが低くなり、Ｓ／Ｎ比が低下して焦点検出精度が低下する可能性があるためであり、信号レベルを上げて焦点検出精度の向上が図られる。
【００８２】
この第１の画像信号同士の画素加算も、上述と同様に、撮像素子３内の第２読出制御部２６の制御に基づき、撮像素子３内の第２読出処理部２７により行われる。
【００８３】
なお、表示用画像信号の読み出しが、ＡＦ用フレームの読み出し期間の合間の複数期間に分割して行われるのは、撮像制御１と同様である。このときには、第２の画像信号中の第１の画像信号部分については、上述したように、直前の連続する３つのフレームの第１の画像信号が加算されて表示用画像信号が生成される。
【００８４】
図１０は撮像制御１の処理の例を示すタイミングチャート、図１１は撮像制御２の処理の例を示すタイミングチャート、図１２は撮像装置におけるＬＶ表示処理を示すフローチャートである。図１２および後述する図１３〜図２７のフローチャートにおいて、図１０および図１１を適宜参照しながら説明を行う。
【００８５】
ここに、図１０に示す例は、画素部２１の第１画素領域から第１の画像信号を読み出す第１のフレーム周期が１／２４０秒、第１画素領域を含みかつ第１画素領域よりも画素数が多い画素部２１の第２画素領域から第１の画像信号を含む第２の画像信号を読み出す第２のフレーム周期が１／１２０秒となっている。
【００８６】
また、図１１に示す例は、画素部２１の第１画素領域から第１の画像信号を読み出す第１のフレーム周期が１／２４０秒、第２画素領域から第２の画像信号を読み出す第２のフレーム周期が１／６０秒となっている。
【００８７】
これらの例に限らず、第２のフレーム周期は、第１のフレーム周期よりも長くなるように撮像制御が行われる。なお、図１０および図１１に数値を記載した時間は１つの典型例を示したものであり、図示の時間に限るものではないことは勿論である。
【００８８】
ＬＶモードが設定されると図１２に示す処理が開始され、まず、ＬＶ画像の蓄積時間（第２の画像信号の蓄積時間）が、ＡＦ画像（第１の画像信号）を撮像する期間（第１のフレーム周期）の４フレーム分よりも大きいか否かを判定する（ステップＳ１）。
【００８９】
ここで、４フレーム分のＡＦ画像撮像期間以下であると判定された場合には、さらに、ＬＶ画像の蓄積時間が、２フレーム分のＡＦ画像撮像期間以下であるか否かを判定する（ステップＳ２）。
【００９０】
ここで、２フレーム分のＡＦ画像撮像期間以下であると判定された場合には撮像制御１を行い（ステップＳ３）、２フレーム分のＡＦ画像撮像期間よりも大きいと判定された場合には撮像制御１を行う（ステップＳ４）。
【００９１】
ステップＳ３の撮像制御１またはステップＳ４の撮像制御２から処理が戻ってきた場合には、ＬＶを終了するか否かを判定して（ステップＳ５）、終了しない場合にはステップＳ１へ戻って上述した処理を繰り返して行う。
【００９２】
また、ステップＳ５においてＬＶを終了すると判定された場合、または、ステップＳ１において、ＬＶ画像の蓄積時間が４フレーム分のＡＦ画像撮像期間よりも大きいと判定された場合には、この処理を終了する。
【００９３】
なお、本実施形態のＬＶモードにおいては、被写体の明るさに応じて撮像制御１または撮像制御２を行うようになっているが、ＬＶ画像の蓄積時間が４フレーム分のＡＦ画像撮像期間よりも大きいときにＬＶ表示が強制終了するのは使い勝手が良いとはいえない。そこで、ＬＶ画像の蓄積時間が４フレーム分のＡＦ画像撮像期間よりも大きいと判定されて処理を終了した場合には、ＬＶ画像の蓄積時間を４フレーム分のＡＦ画像撮像期間以下に再設定してからＬＶモードの処理を再び自動実行するようにしても良い。あるいは、ＬＶモードを実行するに当たって、４フレーム分のＡＦ画像撮像期間以下となるように予め制限を課した上でＬＶ画像の蓄積時間を設定してから、ＬＶモードを実行するようにしても良い。
【００９４】
図１３は撮像制御１の処理を示すフローチャートである。
【００９５】
この処理に入ると、まず、後述する撮像制御１ａ（図１５参照）を行う（ステップＳ１１）。
【００９６】
続いて、ＬＶ画像の蓄積時間が、２フレーム分のＡＦ画像撮像期間よりも大きいか否かを判定する（ステップＳ１２）。上述したステップＳ２の判定により、ステップＳ１１を実行する前の時点ではＬＶ画像の蓄積時間が２フレーム分のＡＦ画像撮像期間以下であることが分かっているが、ステップＳ１１を実行した後の時点で２フレーム分のＡＦ画像撮像期間よりも大きくなっていないかどうかを判定するのがこの処理である。
【００９７】
ここで、２フレーム分のＡＦ画像撮像期間以下であると判定された場合には、さらに、ＬＶ画像の蓄積時間が、１フレーム分のＡＦ画像撮像期間よりも大きいか否かを判定する（ステップＳ１３）。
【００９８】
そして、１フレーム分のＡＦ画像撮像期間よりも大きいと判定された場合には撮像制御１ａを行い（ステップＳ１４）、１フレーム分のＡＦ画像撮像期間以下であると判定された場合には撮像制御１ｂ（図１６参照）を行う（ステップＳ１５）。
【００９９】
そして、ステップＳ１４またはステップＳ１５の処理を終えたら、ＬＶ画像の蓄積時間が、２フレーム分のＡＦ画像撮像期間よりも大きいか否かを再び判定する（ステップＳ１６）。
【０１００】
ここで、２フレーム分のＡＦ画像撮像期間以下であると判定された場合には、ステップＳ１３へ戻って上述したような処理を行う。
【０１０１】
また、このステップＳ１６または上述したステップＳ１２において、２フレーム分のＡＦ画像撮像期間よりも大きいと判定された場合には、この処理から図１２に示した処理にリターンする。
【０１０２】
図１４は撮像制御２の処理を示すフローチャートである。
【０１０３】
この処理に入ると、まず、後述する撮像制御２ａ（図１７参照）を行う（ステップＳ２１）。
【０１０４】
続いて、ＬＶ画像の蓄積時間が、４フレーム分のＡＦ画像撮像期間よりも大きいか否かを判定する（ステップＳ２２）。ここで、４フレーム分のＡＦ画像撮像期間以下であると判定された場合には、さらに、ＬＶ画像の蓄積時間が、２フレーム分のＡＦ画像撮像期間以下であるか否かを判定する（ステップＳ２３）。上述したステップＳ１およびステップＳ２の判定により、ステップＳ２１を実行する前の時点ではＬＶ画像の蓄積時間がＡＦ画像撮像期間の２フレーム分よりも大きく４フレーム分以下であることが分かっているが、ステップＳ２１を実行した後の時点でこの条件が満たされなくなっている可能性がある。そこでこの判定を行うようにしている。
【０１０５】
ステップＳ２３において、２フレーム分のＡＦ画像撮像期間よりも大きいと判定された場合には、さらに、ＬＶ画像の蓄積時間が、３フレーム分のＡＦ画像撮像期間よりも大きいか否かを判定する（ステップＳ２４）。
【０１０６】
そして、３フレーム分のＡＦ画像撮像期間よりも大きいと判定された場合には撮像制御２ｂ（図１８参照）を行い（ステップＳ２５）、３フレーム分のＡＦ画像撮像期間以下であると判定された場合には撮像制御２ｃ（図１９参照）を行う（ステップＳ２６）。
【０１０７】
そして、ステップＳ２５またはステップＳ２６の処理を終えたら、ＬＶ画像の蓄積時間が、２フレーム分のＡＦ画像撮像期間以下であるか否かを再び判定する（ステップＳ２７）。
【０１０８】
２フレーム分のＡＦ画像撮像期間よりも大きいと判定された場合には、さらに、ＬＶ画像の蓄積時間が、４フレーム分のＡＦ画像撮像期間よりも大きいか否かを判定する（ステップＳ２８）。
【０１０９】
ここで、４フレーム分のＡＦ画像撮像期間以下であると判定された場合には、ステップＳ２４へ戻って上述したような処理を行う。
【０１１０】
一方、ステップＳ２２もしくはステップＳ２８において４フレーム分のＡＦ画像撮像期間よりも大きいと判定されるか、または、ステップＳ２３もしくはステップＳ２７において２フレーム分のＡＦ画像撮像期間以下であると判定された場合には、この処理から図１２に示した処理にリターンする。
【０１１１】
図１５は撮像制御１ａの処理を示すフローチャートである。
【０１１２】
この処理を開始すると、第１読出制御部２４が、図１０に示すタイミングで、画素部２１の第１画素領域を含む第２画素領域をライン単位で順次リセットする（ステップＳ３１）。なお、ここでは少なくとも第１画素領域を含む第２画素領域のリセットが必要であるが、処理を複雑にしないために、画素部２１の全画素をリセットしても構わない。
【０１１３】
次に、リセットを開始した時点から後に発生した垂直同期信号ＶＤに同期して、第１読出制御部２４の制御に基づき、第１読出処理部２５が画素部２１の第１画素領域から第１の画像信号をライン毎に順次読み出す（ステップＳ３２）。このときのＡＦ用露光時間（第１画素領域の電荷蓄積時間）は、第１のフレーム周期の時間、または表示用露光時間（第２画素領域の電荷蓄積時間）を第１のフレーム周期で割った余りの時間となる。こうして、第２画素領域の電荷蓄積時間が第１のフレーム周期よりも長い場合には、第２のフレーム周期における第１画素領域の電荷蓄積時間の合計が、第２画素領域の電荷蓄積時間と等しくなるようにしている。図１０に示す具体例のＡＦ用露光時間は、１回目の撮像制御１ａでは第１のフレーム周期と等しい１／２４０秒となっているが、２回目の撮像制御１ａでは表示用露光時間（第２画素領域の電荷蓄積時間）である１／１６０秒を第１のフレーム周期である１／２４０秒で割った余りである１／４８０秒となっている。
【０１１４】
そして、読み出された第１の画像信号は、第２読出制御部２６の制御に基づき、メモリ部２２に図６に示したように書き込まれる（ステップＳ３３）。
【０１１５】
続いて、第２読出制御部２６の制御に基づいて、第２読出処理部２７がメモリ制御１を行う（ステップＳ３４）。ここに、図２０はメモリ制御１の処理を示すフローチャートである。このメモリ制御１では、メモリ部２２から第１の画像信号を読み出して（ステップＳ１６１）、リターンする。
【０１１６】
読み出された第１の画像信号は、出力アンプ２３により増幅されて（ステップＳ３５）、撮像素子３から出力される。なお、第１の画像信号は、焦点検出用画像信号としてＡＦ処理に用いられるために、ＡＦ処理に最適な信号レベルに増幅する必要があるが、アナログの信号増幅は信号処理部５においても行われるために、各増幅部により増幅された結果が最適な信号レベルとなれば良く、出力アンプ２３のみで最適な信号レベルまで増幅する必要はない。
【０１１７】
こうして撮像素子３から出力された焦点検出用画像信号に基づき、ＡＦ処理部６が焦点検出処理を行い、焦点検出結果に基づいてＣＰＵ１５がレンズ駆動部２を介してレンズ１のフォーカスレンズを駆動するＡＦ処理を行う（ステップＳ３６）。
【０１１８】
次に、画素部２１の第２画素領域から第２の画像信号をライン毎に順次読み出し（ステップＳ３７）、読み出した第２の画像信号をメモリ部２２に図６に示したように書き込む（ステップＳ３８）。
【０１１９】
そして、第２読出制御部２６の制御に基づいて、第２読出処理部２７がメモリ制御２を行う（ステップＳ３９）。ここに、図２１はメモリ制御２の処理を示すフローチャートである。このメモリ制御２では、メモリ部２２に記憶された第２の画像信号中の、第１の画像信号を読み出して（ステップＳ１７１）、リターンする。
【０１２０】
読み出された第１の画像信号は、出力アンプ２３により増幅されて（ステップＳ４０）、撮像素子３から焦点検出用画像信号として出力される。
【０１２１】
こうして出力された焦点検出用画像信号に基づき、上述と同様に、ＡＦ処理を行う（ステップＳ４１）。
【０１２２】
続いて、第２読出制御部２６の制御に基づいて、第２読出処理部２７がメモリ制御３を行う（ステップＳ４２）。ここに、図２２はメモリ制御３の処理を示すフローチャートである。このメモリ制御３では、メモリ部２２に記憶された最新の第２の画像信号と、メモリ部２２に記憶された１フレーム前の第１の画像信号とを対応する画素位置毎に加算して（ステップＳ１８１）、加算後の第２の画像信号である表示用画像信号を２つに分割した内の一方である（１／２）領域の画像信号をメモリ部２２から読み出し（ステップＳ１８２）、その後に（焦点検出用画像信号の読み出し期間の合間となる次の期間に）、他方である（２／２）領域の画像信号をメモリ部２２から読み出して（ステップＳ１８３）、リターンする。こうして、表示用画像信号の読み出しを、焦点検出用画像信号の読み出し期間の合間の、複数期間に分割して行うようにしている。
【０１２３】
撮像素子３から読み出された表示用画像信号は、ＡＥ処理部９に入力されてＡＥ制御情報が算出され、算出されたＡＥ制御情報に基づいてＣＰＵ１５の制御により、絞り値や露光時間や感度等の設定、つまりＡＥ処理が行われる（ステップＳ４３）。
【０１２４】
また、撮像素子３から分割して読み出された表示用画像信号は、信号処理部５により処理されメモリ部１０に記憶された後に、画像処理部７により１つの表示用画像信号として合成される（ステップＳ４４）。
【０１２５】
そして、合成された表示用画像信号に対して、画像処理部７により上述した各種の画像処理が行われてＬＶ画像フォーマットのＬＶ表示用画像が生成される（ステップＳ４５）。
【０１２６】
このＬＶ表示用画像は、画像表示部１１に表示され（ステップＳ４６）、その後に元の処理にリターンする。
【０１２７】
図１６は撮像制御１ｂの処理を示すフローチャートである。
【０１２８】
この処理を開始すると、第１読出制御部２４が、図１０に示すタイミングで、画素部２１の第１画素領域を含む第２画素領域をライン単位で順次リセットする（ステップＳ５１）。なお、ここでは第１画素領域を含む第２画素領域をリセットしているが、第１画素領域のみをリセットするようにしても構わない。また、上述したように、処理を複雑にしないために、画素部２１の全画素をリセットしても構わない。
【０１２９】
次に、リセットを開始した時点から後に発生した垂直同期信号ＶＤに同期して、第１読出制御部２４の制御に基づき、第１読出処理部２５が画素部２１の第１画素領域から第１の画像信号をライン毎に順次読み出す（ステップＳ５２）。このときのＡＦ用露光時間（第１画素領域の電荷蓄積時間）は、表示用露光時間（第２画素領域の電荷蓄積時間）と等しく、図１０に示す具体例では、１／３８５秒である。
【０１３０】
そして、読み出された第１の画像信号は、第２読出制御部２６の制御に基づき、メモリ部２２に書き込まれる（ステップＳ５３）。
【０１３１】
続いて、第２読出制御部２６の制御に基づいて、第２読出処理部２７が上述したメモリ制御１を行う（ステップＳ５４）。
【０１３２】
メモリ制御１により読み出された第１の画像信号は、出力アンプ２３により増幅されて（ステップＳ５５）撮像素子３から出力され、上述したようにＡＦ処理が行われる（ステップＳ５６）。
【０１３３】
続いて、第１読出制御部２４が、図１０に示すタイミングで、画素部２１の第１画素領域を含む第２画素領域をライン単位で順次リセットする（ステップＳ５７）。なお、ここでは少なくとも第１画素領域を含む第２画素領域のリセットが必要であるが、処理を複雑にしないために、画素部２１の全画素をリセットしても構わない。
【０１３４】
そして、画素部２１の第２画素領域から第２の画像信号をライン毎に順次読み出し（ステップＳ５８）、読み出した第２の画像信号をメモリ部２２に図６に示したように書き込む（ステップＳ５９）。
【０１３５】
次に、第２読出制御部２６の制御に基づいて、第２読出処理部２７が上述したメモリ制御２を行う（ステップＳ６０）。
【０１３６】
メモリ制御２により読み出された第１の画像信号は、出力アンプ２３により増幅されて（ステップＳ６１）撮像素子３から出力され、上述したようにＡＦ処理が行われる（ステップＳ６２）。
【０１３７】
続いて、第２読出制御部２６の制御に基づいて、第２読出処理部２７がメモリ制御７を行う（ステップＳ６３）。ここに、図２６はメモリ制御７の処理を示すフローチャートである。このメモリ制御７では、メモリ部２２に記憶された最新の第２の画像信号である表示用画像信号を２つに分割した内の一方である（１／２）領域の画像信号をメモリ部２２から読み出し（ステップＳ２２１）、その後に（焦点検出用画像信号の読み出し期間の合間となる次の期間に）、他方である（２／２）領域の画像信号をメモリ部２２から読み出して（ステップＳ２２２）、リターンする。こうして、第２画素領域の電荷蓄積時間が第１のフレーム周期以下の場合には、第２の画像信号のみに基づき表示用画像信号を生成して読み出すようになっている。また、このメモリ制御７において、表示用画像信号の読み出しを、焦点検出用画像信号の読み出し期間の合間の、複数期間に分割して行うのは、上述したメモリ制御３と同様である。
【０１３８】
メモリ制御７により撮像素子３から読み出された表示用画像信号に基づき、上述したようにＡＥ処理が行われる（ステップＳ６４）。
【０１３９】
また、撮像素子３から分割して読み出された表示用画像信号は、信号処理部５により処理されメモリ部１０に記憶された後に、画像処理部７により１つの表示用画像信号として合成される（ステップＳ６５）。
【０１４０】
そして、合成された表示用画像信号に基づき、画像処理部７により上述したようにＬＶ表示用画像が生成され（ステップＳ６６）、画像表示部１１に表示され（ステップＳ６７）、その後に元の処理にリターンする。
【０１４１】
続いて、図１７は撮像制御２ａの処理を示すフローチャートである。
【０１４２】
この処理を開始すると、第１読出制御部２４が、図１１に示すタイミングで、画素部２１の第１画素領域を含む第２画素領域をライン単位で順次リセットする（ステップＳ７１）。なお、ここでは少なくとも第１画素領域を含む第２画素領域のリセットが必要であるが、上述したように処理を複雑にしないために、画素部２１の全画素をリセットしても構わない。
【０１４３】
次に、リセットを開始した時点から後に発生した垂直同期信号ＶＤに同期して、第１読出制御部２４の制御に基づき、第１読出処理部２５が画素部２１の第１画素領域から第１の画像信号をライン毎に順次読み出す（ステップＳ７２）。このときのＡＦ用露光時間（第１画素領域の電荷蓄積時間）は、第１のフレーム周期の時間（図１１に示す具体例では１／２４０秒）となる。
【０１４４】
読み出された第１の画像信号は、第２読出制御部２６の制御に基づき、メモリ部２２に書き込まれる（ステップＳ７３）。
【０１４５】
そして、第２読出制御部２６の制御に基づいて、第２読出処理部２７が上述したメモリ制御１を行う（ステップＳ７４）。
【０１４６】
続いて、ステップＳ７２の読出時点から第１のフレーム周期が経過した時点で、第１読出制御部２４の制御に基づき、第１読出処理部２５が画素部２１の第１画素領域から第１の画像信号をライン毎に順次読み出す（ステップＳ７５）。
【０１４７】
読み出された第１の画像信号は、第２読出制御部２６の制御に基づき、メモリ部２２に書き込まれる（ステップＳ７６）。
【０１４８】
そして、第２読出制御部２６の制御に基づいて、第２読出処理部２７がメモリ制御４を行う（ステップＳ７７）。ここに、図２３はメモリ制御４の処理を示すフローチャートである。このメモリ制御４では、メモリ部２２に記憶された最新の第１の画像信号と、メモリ部２２に記憶された１フレーム前の第１の画像信号とを対応する画素位置毎に加算して（ステップＳ１９１）、加算後の第１の画像信号である焦点検出用画像信号をメモリ部２２から読み出し（ステップＳ１９２）、リターンする。こうして、画素部２１により撮像された最新のフレームを含む連続する複数フレームに係る第１の画像信号を画素毎に加算した信号に基づき焦点検出用画像信号を生成して読み出すようになっている。
【０１４９】
メモリ制御４により読み出された焦点検出用画像信号は、出力アンプ２３により増幅されて（ステップＳ７８）撮像素子３から出力され、上述したようにＡＦ処理が行われる（ステップＳ７９）。
【０１５０】
続いて、ステップＳ７５の読出時点から第１のフレーム周期が経過した時点で、第１読出制御部２４の制御に基づき、第１読出処理部２５が画素部２１の第１画素領域から第１の画像信号をライン毎に順次読み出す（ステップＳ８０）。
【０１５１】
読み出された第１の画像信号は、第２読出制御部２６の制御に基づき、メモリ部２２に書き込まれる（ステップＳ８１）。
【０１５２】
そして、第２読出制御部２６の制御に基づいて、第２読出処理部２７が上述したメモリ制御４を行う（ステップＳ８２）。
【０１５３】
メモリ制御４により読み出された焦点検出用画像信号は、出力アンプ２３により増幅されて（ステップＳ８３）撮像素子３から出力され、上述したようにＡＦ処理が行われる（ステップＳ８４）。
【０１５４】
次に、ステップＳ８０の読出時点から第１のフレーム周期が経過した時点で、第１読出制御部２４の制御に基づき、第１読出処理部２５が画素部２１の第２画素領域から第２の画像信号をライン毎に順次読み出す（ステップＳ８５）。
【０１５５】
読み出された第２の画像信号は、第２読出制御部２６の制御に基づき、メモリ部２２に図７に示したように書き込まれる（ステップＳ８６）。
【０１５６】
すると、第２読出制御部２６の制御に基づいて、第２読出処理部２７がメモリ制御５を行う（ステップＳ８７）。ここに、図２４はメモリ制御５の処理を示すフローチャートである。このメモリ制御５では、メモリ部２２に記憶された最新の第２の画像信号中の第１の画像信号と、メモリ部２２に記憶された１フレーム前の第１の画像信号とを対応する画素位置毎に加算して（ステップＳ２０１）、加算後の第１の画像信号である焦点検出用画像信号をメモリ部２２から読み出し（ステップＳ２０２）、リターンする。
【０１５７】
メモリ制御５により読み出された焦点検出用画像信号は、出力アンプ２３により増幅されて（ステップＳ８８）撮像素子３から出力され、上述したようにＡＦ処理が行われる（ステップＳ８９）。
【０１５８】
さらに、第２読出制御部２６の制御に基づいて、第２読出処理部２７がメモリ制御６を行う（ステップＳ９０）。ここに、図２５はメモリ制御６の処理を示すフローチャートである。このメモリ制御６では、メモリ部２２に記憶された最新の第２の画像信号と、メモリ部２２に記憶された１フレーム前の第１の画像信号と、メモリ部２２に記憶された２フレーム前の第１の画像信号と、メモリ部２２に記憶された３フレーム前の第１の画像信号と、を対応する画素位置毎に加算して（ステップＳ２１１）、加算後の第２の画像信号である表示用画像信号を２つに分割した内の一方である（１／２）領域の画像信号をメモリ部２２から読み出し（ステップＳ２１２）、その後に（焦点検出用画像信号の読み出し期間の合間となる次の期間に）、他方である（２／２）領域の画像信号をメモリ部２２から読み出して（ステップＳ２１３）、リターンする。このメモリ制御６において、表示用画像信号の読み出しを、焦点検出用画像信号の読み出し期間の合間の、複数期間に分割して行うのは、上述したメモリ制御３と同様である。
【０１５９】
撮像素子３から分割して読み出された表示用画像信号は、信号処理部５により処理されメモリ部１０に記憶された後に、画像処理部７により１つの表示用画像信号として合成される（ステップＳ９１）。
【０１６０】
合成された表示用画像信号に基づき、上述したようにＡＥ処理が行われるとともに（ステップＳ９２）、画像処理部７により上述したようにＬＶ表示用画像が生成され（ステップＳ９３）、画像表示部１１に表示される（ステップＳ９４）。
【０１６１】
そして、その後に元の処理にリターンする。
【０１６２】
図１８は撮像制御２ｂの処理を示すフローチャートである。
【０１６３】
この処理を開始すると、第１読出制御部２４が、図１１に示すタイミングで、画素部２１の第１画素領域を含む第２画素領域をライン単位で順次リセットする（ステップＳ１０１）。なお、ここでは少なくとも第１画素領域を含む第２画素領域のリセットが必要であるが、上述したように処理を複雑にしないために、画素部２１の全画素をリセットしても構わない。
【０１６４】
次に、リセットを開始した時点から後に発生した垂直同期信号ＶＤに同期して、第１読出制御部２４の制御に基づき、第１読出処理部２５が画素部２１の第１画素領域から第１の画像信号をライン毎に順次読み出す（ステップＳ１０２）。このときのＡＦ用露光時間（第１画素領域の電荷蓄積時間）は、第１のフレーム周期の時間、または表示用露光時間（第２画素領域の電荷蓄積時間）を第１のフレーム周期で割った余りの時間となる。図１１に示す具体例のＡＦ用露光時間は、表示用露光時間（第２画素領域の電荷蓄積時間）である７／４８０秒を第１のフレーム周期である１／２４０秒で割った余りである１／４８０秒となっている。
【０１６５】
読み出された第１の画像信号は、第２読出制御部２６の制御に基づき、メモリ部２２に書き込まれる（ステップＳ１０３）。
【０１６６】
そして、第２読出制御部２６の制御に基づいて、第２読出処理部２７が上述したメモリ制御４を行う（ステップＳ１０４）。
【０１６７】
メモリ制御４により読み出された焦点検出用画像信号は、出力アンプ２３により増幅されて（ステップＳ１０５）撮像素子３から出力され、上述したようにＡＦ処理が行われる（ステップＳ１０６）。
【０１６８】
続いて、ステップＳ１０２の読出時点から第１のフレーム周期が経過した時点で、第１読出制御部２４の制御に基づき、第１読出処理部２５が画素部２１の第１画素領域から第１の画像信号をライン毎に順次読み出す（ステップＳ１０７）。
【０１６９】
読み出された第１の画像信号は、第２読出制御部２６の制御に基づき、メモリ部２２に書き込まれる（ステップＳ１０８）。
【０１７０】
そして、第２読出制御部２６の制御に基づいて、第２読出処理部２７が上述したメモリ制御４を行う（ステップＳ１０９）。
【０１７１】
メモリ制御４により読み出された焦点検出用画像信号は、出力アンプ２３により増幅されて（ステップＳ１１０）撮像素子３から出力され、上述したようにＡＦ処理が行われる（ステップＳ１１１）。
【０１７２】
続いて、ステップＳ１０７の読出時点から第１のフレーム周期が経過した時点で、第１読出制御部２４の制御に基づき、第１読出処理部２５が画素部２１の第１画素領域から第１の画像信号をライン毎に順次読み出す（ステップＳ１１２）。
【０１７３】
読み出された第１の画像信号は、第２読出制御部２６の制御に基づき、メモリ部２２に書き込まれる（ステップＳ１１３）。
【０１７４】
そして、第２読出制御部２６の制御に基づいて、第２読出処理部２７が上述したメモリ制御４を行う（ステップＳ１１４）。
【０１７５】
メモリ制御４により読み出された焦点検出用画像信号は、出力アンプ２３により増幅されて（ステップＳ１１５）撮像素子３から出力され、上述したようにＡＦ処理が行われる（ステップＳ１１６）。
【０１７６】
次に、ステップＳ１１２の読出時点から第１のフレーム周期が経過した時点で、第１読出制御部２４の制御に基づき、第１読出処理部２５が画素部２１の第２画素領域から第２の画像信号をライン毎に順次読み出す（ステップＳ１１７）。
【０１７７】
読み出された第２の画像信号は、第２読出制御部２６の制御に基づき、メモリ部２２に図７に示したように書き込まれる（ステップＳ１１８）。
【０１７８】
すると、第２読出制御部２６の制御に基づいて、第２読出処理部２７が上述したメモリ制御５を行う（ステップＳ１１９）。
【０１７９】
メモリ制御５により読み出された焦点検出用画像信号は、出力アンプ２３により増幅されて（ステップＳ１２０）撮像素子３から出力され、上述したようにＡＦ処理が行われる（ステップＳ１２１）。
【０１８０】
さらに、第２読出制御部２６の制御に基づいて、第２読出処理部２７が上述したメモリ制御６を行う（ステップＳ１２２）。
【０１８１】
メモリ制御６により撮像素子３から分割して読み出された表示用画像信号は、信号処理部５により処理されメモリ部１０に記憶された後に、画像処理部７により１つの表示用画像信号として合成される（ステップＳ１２３）。
【０１８２】
合成された表示用画像信号に基づき、上述したようにＡＥ処理が行われるとともに（ステップＳ１２４）、画像処理部７により上述したようにＬＶ表示用画像が生成され（ステップＳ１２５）、画像表示部１１に表示される（ステップＳ１２６）。
【０１８３】
そして、その後に元の処理にリターンする。
【０１８４】
図１９は撮像制御２ｃの処理を示すフローチャートである。
【０１８５】
この処理を開始すると、第１読出制御部２４が、図１１に示すタイミングで、画素部２１の第１画素領域を含む第２画素領域をライン単位で順次リセットする（ステップＳ１３１）。なお、ここでは第１画素領域を含む第２画素領域をリセットしているが、第１画素領域のみをリセットするようにしても構わない。また、上述したように、処理を複雑にしないために、画素部２１の全画素をリセットしても構わない。
【０１８６】
次に、リセットを開始した時点から後に発生した垂直同期信号ＶＤに同期して、第１読出制御部２４の制御に基づき、第１読出処理部２５が画素部２１の第１画素領域から第１の画像信号をライン毎に順次読み出す（ステップＳ１３２）。このときのＡＦ用露光時間（第１画素領域の電荷蓄積時間）は、第１のフレーム周期の時間（図１１に示す具体例では１／２４０秒）となる。
【０１８７】
読み出された第１の画像信号は、第２読出制御部２６の制御に基づき、メモリ部２２に書き込まれる（ステップＳ１３３）。
【０１８８】
そして、第２読出制御部２６の制御に基づいて、第２読出処理部２７が上述したメモリ制御４を行う（ステップＳ１３４）。
【０１８９】
メモリ制御４により読み出された焦点検出用画像信号は、出力アンプ２３により増幅されて（ステップＳ１３５）撮像素子３から出力され、上述したようにＡＦ処理が行われる（ステップＳ１３６）。
【０１９０】
続いて、第１読出制御部２４が、図１１に示すタイミングで、画素部２１の第１画素領域を含む第２画素領域をライン単位で順次リセットする（ステップＳ１３７）。なお、ここでは少なくとも第１画素領域を含む第２画素領域のリセットが必要であるが、処理を複雑にしないために、画素部２１の全画素をリセットしても構わない。
【０１９１】
次に、リセットを開始した時点から後に発生した垂直同期信号ＶＤに同期して、第１読出制御部２４の制御に基づき、第１読出処理部２５が画素部２１の第１画素領域から第１の画像信号をライン毎に順次読み出す（ステップＳ１３８）。このときのＡＦ用露光時間（第１画素領域の電荷蓄積時間）は、第１のフレーム周期の時間、または表示用露光時間（第２画素領域の電荷蓄積時間）を第１のフレーム周期で割った余りの時間となる。図１１に示す具体例では後者を示している。
【０１９２】
読み出された第１の画像信号は、第２読出制御部２６の制御に基づき、メモリ部２２に書き込まれる（ステップＳ１３９）。
【０１９３】
そして、第２読出制御部２６の制御に基づいて、第２読出処理部２７が上述したメモリ制御４を行う（ステップＳ１４０）。
【０１９４】
メモリ制御４により読み出された焦点検出用画像信号は、出力アンプ２３により増幅されて（ステップＳ１４１）撮像素子３から出力され、上述したようにＡＦ処理が行われる（ステップＳ１４２）。
【０１９５】
続いて、ステップＳ１３８の読出時点から第１のフレーム周期が経過した時点で、第１読出制御部２４の制御に基づき、第１読出処理部２５が画素部２１の第１画素領域から第１の画像信号をライン毎に順次読み出す（ステップＳ１４３）。
【０１９６】
読み出された第１の画像信号は、第２読出制御部２６の制御に基づき、メモリ部２２に書き込まれる（ステップＳ１４４）。
【０１９７】
そして、第２読出制御部２６の制御に基づいて、第２読出処理部２７が上述したメモリ制御４を行う（ステップＳ１４５）。
【０１９８】
メモリ制御４により読み出された焦点検出用画像信号は、出力アンプ２３により増幅されて（ステップＳ１４６）撮像素子３から出力され、上述したようにＡＦ処理が行われる（ステップＳ１４７）。
【０１９９】
次に、ステップＳ１４３の読出時点から第１のフレーム周期が経過した時点で、第１読出制御部２４の制御に基づき、第１読出処理部２５が画素部２１の第２画素領域から第２の画像信号をライン毎に順次読み出す（ステップＳ１４８）。
【０２００】
読み出された第２の画像信号は、第２読出制御部２６の制御に基づき、メモリ部２２に図７に示したように書き込まれる（ステップＳ１４９）。
【０２０１】
すると、第２読出制御部２６の制御に基づいて、第２読出処理部２７が上述したメモリ制御５を行う（ステップＳ１５０）。
【０２０２】
メモリ制御５により読み出された焦点検出用画像信号は、出力アンプ２３により増幅されて（ステップＳ１５１）撮像素子３から出力され、上述したようにＡＦ処理が行われる（ステップＳ１５２）。
【０２０３】
さらに、第２読出制御部２６の制御に基づいて、第２読出処理部２７がメモリ制御８を行う（ステップＳ１５３）。ここに、図２７はメモリ制御８の処理を示すフローチャートである。このメモリ制御８では、メモリ部２２に記憶された最新の第２の画像信号と、メモリ部２２に記憶された１フレーム前の第１の画像信号と、メモリ部２２に記憶された２フレーム前の第１の画像信号と、を対応する画素位置毎に加算して（ステップＳ２３１）、加算後の第２の画像信号である表示用画像信号を２つに分割した内の一方である（１／２）領域の画像信号をメモリ部２２から読み出し（ステップＳ２３２）、その後に（焦点検出用画像信号の読み出し期間の合間となる次の期間に）、他方である（２／２）領域の画像信号をメモリ部２２から読み出して（ステップＳ２３３）、リターンする。このメモリ制御８において、表示用画像信号の読み出しを、焦点検出用画像信号の読み出し期間の合間の、複数期間に分割して行うのは、上述したメモリ制御３と同様である。
【０２０４】
メモリ制御８により撮像素子３から分割して読み出された表示用画像信号は、信号処理部５により処理されメモリ部１０に記憶された後に、画像処理部７により１つの表示用画像信号として合成される（ステップＳ１５４）。
【０２０５】
合成された表示用画像信号に基づき、上述したようにＡＥ処理が行われるとともに（ステップＳ１５５）、画像処理部７により上述したようにＬＶ表示用画像が生成され（ステップＳ１５６）、画像表示部１１に表示される（ステップＳ１５７）。
【０２０６】
そして、その後に元の処理にリターンする。
【０２０７】
なお、上述した撮像制御２においては、メモリに記憶した最新の第１の画像信号と１フレーム前の第１の画像信号との２フレームを順次に加算して焦点検出用画像信号として読み出しているが、より多くのフレーム数を加算してＳ／Ｎ比を向上し、信頼性の高い焦点検出を行うようにしても良いことは勿論である。
【０２０８】
このような実施形態１によれば、第１の画像信号の電荷蓄積と第２の画像信号の電荷蓄積とを同時に行い、かつ第２の画像信号の読み出しとは独立して第１の画像信号の読み出しを行う撮像制御を行っているために、高速なコントラスト焦点検出と、高精細なライブビュー表示と、を両立することが可能となる。
【０２０９】
また、必要に応じて、第１の画像信号と第２の画像信号とを対応する画素位置毎に加算した信号に基づき表示用画像信号を生成するようにしたために、表示用画像信号中の一部の画素の電荷蓄積時間が極端に短くなるのを回避することができ、Ｓ／Ｎ比を向上することができる。
【０２１０】
さらに、第２のフレーム周期における第１画素領域の電荷蓄積時間の合計が、第２画素領域の電荷蓄積時間と等しくなるようにしたために、異なる画素位置に対して異なる増幅率の信号増幅等を行う必要なく、第２の画像信号中の第１の画像信号の露出を第２の画像信号中の第１の画像信号以外の信号の露出に合わせることができる。こうして、全ての画素の電荷蓄積時間が等しい表示用画像信号を容易に得ることが可能となる。
【０２１１】
そして、最新のフレームを含む連続する複数フレームに係る第１の画像信号を画素毎に加算した信号に基づき焦点検出用画像信号を生成しているために、焦点検出用画像信号のフレームレートを低下させることなく（つまり、コントラスト焦点検出の高速性を維持しながら）、被写体が暗い場合でもノイズが少ない高精度なコントラスト焦点検出を行うことが可能となる。
【０２１２】
加えて、焦点検出用画像信号の読み出し期間の合間の期間を利用して、表示用画像信号を分割して読み出すようにしたために、焦点検出用画像信号の読み出しタイミングを一定に保ったまま、データ量の多い高精細な表示用画像信号を読み出すことが可能となる。
【０２１３】
また、画素部２１の第１画素領域から第１の画像信号をフレーム読み出しするタイミングと、第２画素領域から第２の画像信号をフレーム読み出しするタイミングとが同期するように撮像制御を行っているために、第２の画像信号に含まれる第１の画像信号を、焦点検出用画像信号として用いることが可能となる。
【０２１４】
なお、本発明は上述した実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化することができる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成することができる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除しても良い。さらに、異なる実施形態にわたる構成要素を適宜組み合わせても良い。このように、発明の主旨を逸脱しない範囲内において種々の変形や応用が可能であることは勿論である。
【符号の説明】
【０２１５】
１…レンズ
２…レンズ駆動部
３…撮像素子
４…撮像素子駆動部
５…信号処理部
６…ＡＦ処理部（焦点検出部）
７…画像処理部
８…操作部
９…ＡＥ処理部
１０…メモリ部
１１…画像表示部
１２…記録部
１３…データ・制御バス
１５…ＣＰＵ
２１…画素部
２１ａ…画素（単位画素）
２２…メモリ部
２２ａ…単位メモリ
２３…出力アンプ
２４…第１読出制御部（画像信号記憶制御部）
２５…第１読出処理部（画像信号記憶制御部）
２６…第２読出制御部（画像信号読出制御部）
２７…第２読出処理部（画像信号読出制御部）
【技術分野】
【０００１】
本発明は、撮像素子から得られた画像信号に基づき、コントラスト焦点検出および画像表示を行う撮像装置に関する。
【背景技術】
【０００２】
電子的な撮像装置においては、撮像素子から所定のフレームレートで出力される画像が、ＥＶＦや背面液晶パネルにおけるライブビューや、あるいは動画の撮像にも用いられることが多くなってきている。近年のデジタルカメラ等の撮像装置では、ライブビューはＳＶＧＡ程度の画素数、動画としてはＨＤ動画の画素数の画像を撮像することができる機種が普及しつつある。例えばＨＤ動画は、記録や表示のフレームレートが規格化されており、ＨＤ撮像モードの撮像フレームレートは例えば６０ｆｐｓとなっている。
【０００３】
また、撮像素子から出力される画像に基づき焦点検出を行うコントラストＡＦは、別途の焦点検出デバイス等が不要である利点があるために、電子的な撮像装置において広く利用されている。
【０００４】
このコントラストＡＦは、レンズのフォーカス位置を移動させながら画像信号中のコントラスト成分（例えば高周波成分）のピーク位置を山登り方式で探索するものであるために、合焦するまでに複数フレームの画像信号が必要となる。
【０００５】
コントラストＡＦにおいては、信頼度の高いコントラスト成分を画像信号から抽出できる必要があるが、被写体の明るさが十分でない場合には、信号成分に対するノイズ成分の割合が大きくなるために、抽出されたコントラスト成分から算出されるＡＦ評価値に誤差が生じる可能性がある。そこで、例えば特開２００４-２８９８７０号公報には、被写体が暗い場合にフレームレートを低くして、よりノイズの少ない画像信号を取得しコントラストＡＦや画像表示を行う技術が記載されている。ただし、この技術では、コントラストＡＦのＡＦ速度が遅くなってしまうことになる。
【０００６】
一方、ＡＦ速度を早くするためには、焦点検出用に取得される画像のフレームレートを高くすると良い。例えばＣＭＯＳ撮像素子においては、画像のフレームレートを高くするために、間引き読み出しや画素加算読み出し等を行って撮像素子から出力する画素数を少なくする技術が知られている。
【０００７】
ところで、画素部と、この画素部から読み出したアナログの画像信号を記憶するアナログメモリと、を搭載する撮像素子が提案されており、例えば特開２０１０-２５２１１８号公報に記載された技術が一例として挙げられる。
【先行技術文献】
【特許文献】
【０００８】
【特許文献１】特開２００４-２８９８７０号公報
【特許文献２】特開２０１０-２５２１１８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００９】
しかしながら、フレームレートを高くするために画素数を少なくした画像は、ライブビューや動画の撮像に利用するには、画像の解像度が低いという課題がある。
【００１０】
これに対して、高解像度の画像を高速フレームレートで撮像素子から出力して、ＡＳＩＣ等で処理することも考えられるが、この場合には、撮像素子やＡＳＩＣの回路規模が大きくなり、かつ高速駆動が必要であるために消費電力も大きくなってしまう。しかも、コントラストＡＦとＨＤ動画の撮像とを両立しようとすると、上述したように、ＨＤ撮像モードの撮像フレームレートが６０ｆｐｓに制限されているために、コントラストＡＦのＡＦ速度も制限を受けることになる。高速のコントラストＡＦもさらに両立させるために、撮像フレームレートを６０ｆｐｓの整数倍、例えば１２０ｆｐｓにして、記録・表示用の画像をフレーム加算する案も考えられるが、この場合には回路規模や消費電力の増大がより顕著となってしまう。
【００１１】
また、フレームレートが高速になると画像の電荷蓄積時間が短くなることになるために、被写体が暗い場合における上述したコントラストＡＦの信頼性の低下は、高速フレームレートである場合ほど顕著になる。従って、さらに、被写体が暗い場合におけるコントラストＡＦの信頼性を向上することができることが望ましい。
【００１２】
本発明は上記事情に鑑みてなされたものであり、高速のコントラストＡＦと、高解像度の表示用画像の取得と、の両立を図ることができる撮像装置を提供することを目的としている。
【課題を解決するための手段】
【００１３】
上記の目的を達成するために、本発明の一態様による撮像装置は、２次元状に配置された画素を有する画素部と、該画素部から読み出した画像信号を記憶するアナログメモリと、を有する撮像素子と、第１のフレーム周期で上記画素部の第１画素領域から第１の画像信号を読み出して上記アナログメモリに記憶させるとともに、上記第１のフレーム周期よりも長い第２のフレーム周期で該第１画素領域を含みかつ該第１画素領域よりも画素数が多い上記画素部の第２画素領域から上記第１の画像信号を含む第２の画像信号を読み出して上記アナログメモリに記憶させる画像信号記憶制御部と、上記アナログメモリから、上記第１の画像信号に基づく焦点検出用画像信号を読み出すとともに、上記第２の画像信号に基づく表示用画像信号を読み出す画像信号読出制御部と、上記焦点検出用画像信号に基づいてコントラスト焦点検出を行う焦点検出部と、上記表示用画像信号に基づいて画像表示を行う画像表示部と、を具備したものである。
【発明の効果】
【００１４】
本発明の撮像装置によれば、高速のコントラストＡＦと、高解像度の表示用画像の取得と、の両立を図ることが可能となる。
【図面の簡単な説明】
【００１５】
【図１】本発明の実施形態１における撮像装置の構成を示すブロック図。
【図２】上記実施形態１における撮像素子の構成を示す図。
【図３】上記実施形態１の画素部に構成されている単位画素の構成例を示す回路図。
【図４】上記実施形態１のメモリ部に構成されている単位メモリの構成例を示す回路図。
【図５】上記実施形態１の画素部における第１画素領域および第２画素領域の例を示す図。
【図６】上記実施形態１の撮像制御１においてメモリ部に蓄積される画像信号の様子を示す図。
【図７】上記実施形態１の撮像制御２においてメモリ部に蓄積される画像信号の様子を示す図。
【図８】上記実施形態１の撮像制御１におけるメモリ部からの画像信号の読み出しの様子を示す図。
【図９】上記実施形態１の撮像制御２におけるメモリ部からの画像信号の読み出しの様子を示す図。
【図１０】上記実施形態１における撮像制御１の処理の例を示すタイミングチャート。
【図１１】上記実施形態１における撮像制御２の処理の例を示すタイミングチャート。
【図１２】上記実施形態１の撮像装置におけるＬＶ表示処理を示すフローチャート。
【図１３】上記実施形態１における撮像制御１の処理を示すフローチャート。
【図１４】上記実施形態１における撮像制御２の処理を示すフローチャート。
【図１５】上記実施形態１における撮像制御１ａの処理を示すフローチャート。
【図１６】上記実施形態１における撮像制御１ｂの処理を示すフローチャート。
【図１７】上記実施形態１における撮像制御２ａの処理を示すフローチャート。
【図１８】上記実施形態１における撮像制御２ｂの処理を示すフローチャート。
【図１９】上記実施形態１における撮像制御２ｃの処理を示すフローチャート。
【図２０】上記実施形態１におけるメモリ制御１の処理を示すフローチャート。
【図２１】上記実施形態１におけるメモリ制御２の処理を示すフローチャート。
【図２２】上記実施形態１におけるメモリ制御３の処理を示すフローチャート。
【図２３】上記実施形態１におけるメモリ制御４の処理を示すフローチャート。
【図２４】上記実施形態１におけるメモリ制御５の処理を示すフローチャート。
【図２５】上記実施形態１におけるメモリ制御６の処理を示すフローチャート。
【図２６】上記実施形態１におけるメモリ制御７の処理を示すフローチャート。
【図２７】上記実施形態１におけるメモリ制御８の処理を示すフローチャート。
【発明を実施するための形態】
【００１６】
以下、図面を参照して本発明の実施の形態を説明する。
［実施形態１］
【００１７】
図１から図２７は本発明の実施形態１を示したものであり、図１は撮像装置の構成を示すブロック図である。
【００１８】
この撮像装置は、図１に示すように、レンズ１と、レンズ駆動部２と、撮像素子３と、撮像素子駆動部４と、信号処理部５と、ＡＦ処理部６と、画像処理部７と、操作部８と、ＡＥ処理部９と、メモリ部１０と、画像表示部１１と、記録部１２と、データ・制御バス１３と、ＣＰＵ１５と、を備えている。
【００１９】
レンズ１は、被写体の光学像を撮像素子３の画素部２１（図２参照）に結像するものである。このレンズ１は、焦点位置（ピント位置）を調節してフォーカシングを行うためのフォーカスレンズと、通過する光束の範囲を制御するための絞りと、を備えている。また、レンズ１は、焦点距離を可変なズームレンズとして構成されていても良い。
【００２０】
レンズ駆動部２は、ＡＦ処理部６からのＡＦ評価値やＡＥ処理部９からの絞り値などを受けたＣＰＵ１５の命令に基づいて、フォーカス位置や絞り（あるいは、電動ズームレンズである場合には焦点距離）等のレンズ光学条件を制御するものである。すなわち、レンズ駆動部２は、フォーカスレンズや絞りを駆動して、撮像素子３に結像される被写体像が適切な明るさで合焦に至るようにするものである。また、レンズ駆動部２は、レンズ位置や絞り駆動位置などのレンズ駆動情報をＣＰＵ１５へ出力するようになっている。
【００２１】
撮像素子３は、レンズ１により結像された被写体の光学像を光電変換して画像信号として出力するものである。この撮像素子３は、後で図２を参照して説明するように、光電変換を行う画素２１ａ（図３参照）が２次元状に配置された画素部２１と、この画素部２１から読み出したアナログの画像信号を記憶するためのアナログメモリであるメモリ部２２と、を備えている。
【００２２】
撮像素子駆動部４は、ＣＰＵ１５からの命令を受けて、撮像駆動モード（例えば、静止画撮影モードにおける撮像駆動モード、ＬＶ（ライブビュー）モードにおける撮像駆動モードなど）に応じた画素部２１のリセット・読出制御やメモリ部２２の書込・読出制御等に必要な制御信号を生成し、撮像素子３を駆動するものである。例えば、撮像素子駆動部４は、ＡＥ処理部９により決定された露光時間に基づいて、ＣＰＵ１５の制御の下に、撮像素子３の素子シャッタを制御する。そして、撮像素子駆動部４が静止画撮影モードにおける撮像駆動モードで撮像素子３を駆動すると、撮像素子３からは静止画像信号が出力される。また、撮像素子駆動部４がＬＶモードにおける撮像駆動モードで撮像素子３を駆動すると、撮像素子３からは焦点検出用画像信号と表示用画像信号とが後述するように出力される。さらに、撮像素子駆動部４は、撮像素子３の駆動情報をＣＰＵ１５へ出力するようになっている。
【００２３】
信号処理部５は、撮像素子３から出力された画像信号に対してレベル補正や振幅調整等のアナログ信号処理を施した後に、Ａ／Ｄ変換を行ってデジタル信号を生成するものである。
【００２４】
ＡＦ処理部６は、撮像素子３から出力された焦点検出用画像信号に基づいて輝度信号のコントラスト情報等を検出し、ＡＦ評価値を算出してＣＰＵ１５へ出力する焦点検出部である。すなわち、この撮像装置は、コントラストＡＦによる焦点検出が可能となるように構成されたものとなっている。
【００２５】
画像処理部７は、撮像素子３から出力された画像信号に、デモザイキング等のカラー化処理、ノイズ補正処理、色補正処理、画像圧縮処理、記録画像フォーマット生成処理等の各種画像処理を行うものである。この画像処理部７は、撮像素子３から出力される画像信号が表示用画像信号である場合には、ＬＶ画像フォーマットのＬＶ表示用画像を生成する処理を行う。さらに、画像処理部７は、表示用画像信号が後述するように分割して読み出された場合には、分割された表示用画像信号を合成する処理を行う。
【００２６】
操作部８は、この撮像装置に対する各種の操作入力を行うための操作部である。この操作部８には、撮像装置の電源をオン／オフするための電源スイッチ、静止画撮影、動画撮影などを指示入力するためのレリーズボタン、静止画撮影モードや動画撮影モード、ＬＶモードなどを設定するためのモードボタン等の操作部材（例えば、スイッチやタッチパネルなど）が含まれている。
【００２７】
ＡＥ処理部９は、撮像素子３から出力された表示用画像信号等に基づいて、輝度レベルを検出し、絞り値や露光時間（いわゆるシャッタ速度であり、電荷蓄積時間となる）や感度等の設定に必要なＡＥ制御情報を出力するものである。
【００２８】
メモリ部１０は、画像処理部７等が画像処理を行う際に必要なラインメモリやフレームメモリなどの揮発性メモリと、工場出荷時に書き込まれた撮像装置の制御プログラムや各種データなどを記録する不揮発性メモリと、を備えている。
【００２９】
画像表示部１１は、ＥＶＦ（電子ビューファインダ）や背面液晶パネル等を備え、画像を表示するものである。すなわち、この画像表示部１１は、撮像された静止画像の表示を行うとともに、上述した画像処理部７により表示用画像信号に基づき生成されたＬＶ用画像をファインダ用画像として表示する。さらに、画像表示部１１は、この撮像装置に係る各種の情報等も表示するようになっている。
【００３０】
記録部１２は、静止画像や動画像をメモリカード等の記録媒体に保存するためのものである。
【００３１】
データ・制御バス１３は、信号処理部５、ＡＦ処理部６、画像処理部７、操作部８、ＡＥ処理部９、メモリ部１０、画像表示部１１、記録部１２、ＣＰＵ１５が双方向に接続されていて、各種のデータや制御信号を授受するためのものである。
【００３２】
ＣＰＵ１５は、操作部８からの操作入力を受けて、この撮像装置全体を制御するものである。
【００３３】
図２は、撮像素子３の構成を示す図である。
【００３４】
撮像素子３は、画素部２１と、メモリ部２２と、出力アンプ２３と、第１読出制御部２４と、第１読出処理部２５と、第２読出制御部２６と、第２読出処理部２７と、を備えている。
【００３５】
画素部２１は、露光量に応じた信号電荷を光電変換により発生させる複数の画素２１ａ（図３参照）が２次元状（行列状：図５等参照）に配列されたものである。
【００３６】
メモリ部２２は、画素部２１に配列された各画素２１ａの信号電荷を一時的に蓄積するアナログメモリであり、例えば画素部２１に配列された各画素２１ａと同一数かつ同一配列のメモリを有して構成されている。一般的に、焦点検出用画像信号や表示用画像信号は静止画像信号に比して構成画素数が少ないために、このメモリ部２２は、複数フレーム分の焦点検出用画像信号や表示用画像信号を記憶し得るものとなっている。
【００３７】
第１読出制御部２４は、画像信号記憶制御部を構成しており、画素部２１および第１読出処理部２５を制御するための制御信号を生成するものである。
【００３８】
第１読出処理部２５は、画像信号記憶制御部を構成しており、画素部２１から読み出した信号を、行毎に加算したり、増幅したりする処理を行うものである。
【００３９】
ＬＶモードのときには、これら第１読出制御部２４および第１読出処理部２５により、第１のフレーム周期で画素部２１の第１画素領域（図５参照）から第１の画像信号を読み出してメモリ部２２に記憶させるとともに、第１のフレーム周期よりも長い第２のフレーム周期で第１画素領域を含みかつ第１画素領域よりも画素数が多い画素部２１の第２画素領域（図５参照）から第１の画像信号を含む第２の画像信号を読み出してメモリ部２２に記憶させるようになっている。
【００４０】
第２読出制御部２６は、画像信号読出制御部を構成しており、メモリ部２２および第２読出処理部２７を制御するための制御信号を生成するものである。
【００４１】
第２読出処理部２７は、画像信号読出制御部を構成しており、メモリ部２２から読み出した信号に、ＣＤＳ（相関２重サンプリング）等のノイズ低減処理を行ったり、水平方向や垂直方向の加算を行ったり、水平読出を行ったりするものである。
【００４２】
ＬＶモードのときには、これら第２読出制御部２６および第２読出処理部２７により、メモリ部２２から、第１の画像信号に基づく焦点検出用画像信号を読み出すとともに、第２の画像信号に基づく表示用画像信号を読み出すようになっている。
【００４３】
出力アンプ２３は、第２読出処理部２７から水平読出処理された信号を増幅するものである。
【００４４】
図３は、画素部２１に構成されている単位画素２１ａの構成例を示す回路図である。
【００４５】
画素部２１の画素２１ａは、光電変換部であるＰＤ（フォトダイオード）と、この光電変換部ＰＤの信号を電荷読み出しの際に一時的に保持する信号蓄積部であるＦＤ（フローティングディフュージョン）と、を備えている。ここに、光電変換部ＰＤは、入射した光に応じた信号電荷を生成し、生成した信号電荷を保持・蓄積するものである。また、信号蓄積部ＦＤは、光電変換部ＰＤから転送された信号電荷を一時的に保持・蓄積する容量である。これら光電変換部ＰＤの一端と信号蓄積部ＦＤの一端と、はそれぞれ接地されている。
【００４６】
光電変換部ＰＤの他端と信号蓄積部ＦＤの他端との間には、光電変換部ＰＤに蓄積された信号電荷を信号蓄積部ＦＤへ転送するための転送トランジスタＴＸが直列に接続されている。この転送トランジスタＴＸの入力部であるゲート端子は第１読出制御部２４に接続されており、第１読出制御部２４から転送パルスが供給されて、転送トランジスタＴＸのオン／オフが制御されるようになっている。
【００４７】
ＡＭＰは、増幅部として機能する増幅用トランジスタであり、ゲート端子に入力される、信号蓄積部ＦＤに蓄積されている信号電荷に基づく信号を、増幅して出力するものである。すなわち、この増幅トランジスタＡＭＰは、電圧源ＶＤＤにも接続されていて、さらに図示しない電流源とでソースフォロアンプを構成するようになっている。
【００４８】
ＲＳＴは信号蓄積部ＦＤおよび増幅トランジスタＡＭＰの入力部をリセットするためのＦＤリセットトランジスタである。このＦＤリセットトランジスタＲＳＴの入力部であるゲート端子は第１読出制御部２４に接続されており、第１読出制御部２４からＦＤリセットパルスが供給されて、ＦＤリセットトランジスタＲＳＴのオン／オフが制御されるようになっている。また、このような構成において、ＦＤリセットトランジスタＲＳＴと転送トランジスタＴＸとを同時にオンすることにより、信号蓄積部ＦＤのリセットと同時に光電変換部ＰＤのリセットも行うことができるようになっている。
【００４９】
ＲＯＷＳＥＬは、信号蓄積部ＦＤの信号を増幅トランジスタＡＭＰを介して読み出す際にオンされる行選択トランジスタである。この行選択トランジスタＲＯＷＳＥＬの入力部であるゲート端子は第１読出制御部２４に接続されており、第１読出制御部２４から行選択パルスが供給されて、行選択トランジスタＲＯＷＳＥＬのオン／オフが制御されるようになっている。
【００５０】
このような構成によって、光電変換部ＰＤの信号は、信号蓄積部ＦＤに一旦蓄積された後に、増幅トランジスタＡＭＰにより増幅されて、メモリ部２２側へ出力される。
【００５１】
図４は、メモリ部２２に構成されている単位メモリ２２ａの構成例を示す回路図である。
【００５２】
メモリ部２２は、コンデンサＣ１，Ｃ２と、スイッチＳＷ１〜ＳＷ４と、増幅トランジスタＡＭＰ２と、を有している。
【００５３】
コンデンサＣ１，Ｃ２は、画素部２１から転送された電荷を一時的に保持・蓄積する容量である。コンデンサＣ１，Ｃ２の内の一方はリセットノイズを蓄積するのに使用され、他方は信号電荷を蓄積するのに使用される。ここでは例えば、コンデンサＣ１がリセットノイズを蓄積するのに使用され、コンデンサＣ２が信号電荷を蓄積するのに使用されるものとする。
【００５４】
スイッチＳＷ１は、画素部２１からのリセットノイズをコンデンサＣ１へ転送する際にオンされるスイッチである。
【００５５】
スイッチＳＷ４は、画素部２１からの信号電荷をコンデンサＣ２へ転送する際にオンされるスイッチである。
【００５６】
スイッチＳＷ２は、コンデンサＣ１に蓄積されたリセットノイズを読み出す際にオンされるスイッチである。
【００５７】
スイッチＳＷ３は、コンデンサＣ２に蓄積された信号電荷を読み出す際にオンされるスイッチである。
【００５８】
増幅トランジスタＡＭＰ２は、上述した画素２１ａ内の増幅トランジスタＡＭＰと同様に増幅部として機能するものであり、ゲート端子に入力される、コンデンサＣ１に蓄積されているリセットノイズに基づく信号、またはコンデンサＣ２に蓄積されている信号電荷に基づく信号を、増幅して出力するものである。従って、この増幅トランジスタＡＭＰ２も、電圧源ＶＤＤと電流源とでソースフォロアンプを構成するようになっている。
【００５９】
このようにメモリ部２２は、非破壊読み出し可能なメモリとして構成されたものとなっている。
【００６０】
図５は、画素部２１における第１画素領域および第２画素領域の例を示す図である。なお、図５には、画素部２１に配列された画素２１ａの行番号（ライン番号）を参照のために図示している。また、図５では、行については一般のＮ行の構成を図示しているものの、列については簡単のために４列の構成を図示している。しかし、実際の撮像素子は、一般にはより多くの列で構成されていることはいうまでもない。
【００６１】
図５において、点線で囲んだ画素２１ａは、第１画素領域として使用されるとともに、第２画素領域としても使用されるようになっている。また、実線で囲んだ画素２１ａは、第２画素領域として使用されるが、第１画素領域としては使用されない画素である。さらに、実線または点線の何れでも囲まれていない画素２１ａは、第１画素領域、第２画素領域の何れに対しても使用されない。
【００６２】
ここに、第１画素領域は、焦点検出用画像信号を生成するための第１の画像信号を読み出す画素領域である。
【００６３】
また、第２画素領域は、表示用画像信号を生成するための第２の画像信号を読み出す画素領域である。
【００６４】
図５に示す例においては、３ｉライン（ｉは１以上の整数）が第２画素領域、（３＋１２ｊ）ラインおよび（６＋１２ｊ）ライン（ｊは０以上の整数）が第１画素領域となっている。
【００６５】
図６は、撮像制御１においてメモリ部２２に蓄積される画像信号の様子を示す図である。
【００６６】
撮像制御１は、後で図１０等を参照して説明するように、第１画素領域からの第１の画像信号の読み出しと、第２画素領域からの第２の画像信号の読み出しと、を交互に行う撮像制御モードとなっている。
【００６７】
例えば、まず、第１画素領域から第１の画像信号（後述する図１０の例えばＦ１に相当）を読み出して、メモリ部２２に記憶させる。ここに、第１画素領域の総ライン数はｍであるものとしている。図５に示したような第１画素領域を採用する場合には、Ｎが大きければｍ≒Ｎ／６である。
【００６８】
次に、第１画素領域を含む第２画素領域から、第１の画像信号を含む第２の画像信号を読み出して、メモリ部２２に記憶させる。ここに、第２画素領域の総ライン数はｋ（ｋ＞ｍ）であるものとしている。図５に示したような第２画素領域を採用する場合には、Ｎが大きければｋ≒Ｎ／３である。
【００６９】
その後も引き続き、第１画素領域からの読み出しと、第２画素領域からの読み出しと、を交互に繰り返して行う。
【００７０】
メモリ部２２に構成された単位メモリ２２ａの数が画素部２１に構成された単位画素２１ａの数と同じ場合には、図５に示したような第１画素領域および第２画素領域を採用すると、ほぼ、２フレーム分の第１の画像信号および２フレーム分の第２の画像信号をメモリ部２２に記憶可能である。そして、メモリ部２２の記憶容量の上限に達した場合には、最新のデータを最も古いデータに上書きするものとする。これにより、メモリ部２２には最新の複数フレーム分のデータが記憶されることになる。
【００７１】
図７は、撮像制御２においてメモリ部２２に蓄積される画像信号の様子を示す図である。
【００７２】
撮像制御２は、後で図１１等を参照して説明するように、第１画素領域からの第１の画像信号の読み出しを３回行い、第２画素領域からの第２の画像信号の読み出しを１回行うことを、繰り返して実行する撮像制御モードとなっている。後で説明するように、上述した撮像制御１は被写体が通常の明るさである場合に適用される撮像制御モードであるのに対して、この撮像制御２は被写体が暗い場合に適用される撮像制御モードとなっている。そこで、第２の画像信号を読み出す第２のフレーム周期は、撮像制御１では第１の画像信号を読み出す第１のフレーム周期の２倍であったのに対し、この撮像制御２では４倍となっている。
【００７３】
この場合には、ｍラインでなる第１の画像信号が３フレーム分記憶された後に、ｋラインでなる第２の画像信号が１フレーム分記憶され、その後もこのような記憶を行って、メモリ部２２に最新の複数フレーム分の画像信号を記憶することになる。なお、メモリ部２２に構成された単位メモリ２２ａの数が画素部２１に構成された単位画素２１ａの数と同じ場合には、図５に示したような第１画素領域および第２画素領域を採用すると、この撮像制御２では、ほぼ、４フレーム分の第１の画像信号および１フレーム分の第２の画像信号をメモリ部２２に記憶可能である。
【００７４】
図８は、撮像制御１におけるメモリ部２２からの画像信号の読み出しの様子を示す図である。なお、この図８および後述する図９〜図１１には、後述するフローチャートにおいて対応しているステップ番号も記載している。
【００７５】
撮像制御１において、第１画素領域からの第１の画像信号の読み出しと、第２画素領域からの第２の画像信号の読み出しと、を交互に繰り返して行うと、第１画素領域の平均の電荷蓄積時間は、第２画素領域の電荷蓄積時間の例えば半分となる。従って、第２画素領域から読み出した第２の画像信号をそのまま表示用画像信号にしようとすると、第１画素領域に該当する画素部分の信号レベルが低くなってしまう。そこで、対応する画素位置毎に第１の画像信号と第２の画像信号とを加算することにより、全ての画素についての電荷蓄積時間が同じとなる表示用画像信号を生成するようになっている。
【００７６】
上述した画素加算は、撮像素子３の外部の画像処理部７等において行うことも不可能ではないが、撮像素子３から読み出す画素数を少なくして、低消費電力、低クロックでより高速な処理を可能とするために、撮像素子３内の第２読出制御部２６の制御に基づき、撮像素子３内の第２読出処理部２７により行われるようになっている。
【００７７】
まず、あるフレームにおける第１の画像信号は、そのまま焦点検出用画像信号となり、ＡＦ用フレームに用いられる。続くフレームにおいて取得される第２の画像信号は、第２の画像信号に含まれる第１の画像信号の部分が焦点検出用画像信号となり、次のＡＦ用フレームに用いられる。
【００７８】
さらに、表示用画像信号の読み出しは、画像信号読出制御部により、ＡＦ用フレームの読み出し期間の合間の、複数期間に分割して行われるようになっている。この図８に示す例では、表示用画像信号は、ＬＶ用フレーム１とＬＶ用フレーム２との２つに分割されて読み出される。より詳しくは、ｋラインでなる第２の画像信号は、例えば、奇数ラインがＬＶ用フレーム１として読み出され、偶数ラインがＬＶ用フレーム２として読み出される。そして、第２の画像信号中の第１の画像信号部分については、直前のフレームの第１の画像信号が対応する画素位置毎に加算され、表示用画像信号が生成される。
【００７９】
図９は、撮像制御２におけるメモリ部２２からの画像信号の読み出しの様子を示す図である。
【００８０】
撮像制御２においては、第１のフレーム周期で第１画素領域から読み出される第１の画像信号の平均の電荷蓄積時間は、第２のフレーム周期で第２画素領域から読み出される第２の画像信号の電荷蓄積時間の例えば１／４となる。従って、第２の画像信号と、この第２の画像信号の直前の連続する３つの第１の画像信号と、を対応する画素位置毎に加算することにより、全ての画素についての電荷蓄積時間が同じとなる表示用画像信号を生成するようになっている。
【００８１】
さらに、この撮像制御２においては、連続する２つの第１の画像信号（第１画素領域から読み出された第１の画像信号、または第２画素領域から読み出された第２の画像信号に含まれる第１の画像信号）を加算することにより、焦点検出用画像信号を生成するようになっている。これは、被写体が暗いと、第１のフレーム周期で読み出される第１の画像信号の信号レベルが低くなり、Ｓ／Ｎ比が低下して焦点検出精度が低下する可能性があるためであり、信号レベルを上げて焦点検出精度の向上が図られる。
【００８２】
この第１の画像信号同士の画素加算も、上述と同様に、撮像素子３内の第２読出制御部２６の制御に基づき、撮像素子３内の第２読出処理部２７により行われる。
【００８３】
なお、表示用画像信号の読み出しが、ＡＦ用フレームの読み出し期間の合間の複数期間に分割して行われるのは、撮像制御１と同様である。このときには、第２の画像信号中の第１の画像信号部分については、上述したように、直前の連続する３つのフレームの第１の画像信号が加算されて表示用画像信号が生成される。
【００８４】
図１０は撮像制御１の処理の例を示すタイミングチャート、図１１は撮像制御２の処理の例を示すタイミングチャート、図１２は撮像装置におけるＬＶ表示処理を示すフローチャートである。図１２および後述する図１３〜図２７のフローチャートにおいて、図１０および図１１を適宜参照しながら説明を行う。
【００８５】
ここに、図１０に示す例は、画素部２１の第１画素領域から第１の画像信号を読み出す第１のフレーム周期が１／２４０秒、第１画素領域を含みかつ第１画素領域よりも画素数が多い画素部２１の第２画素領域から第１の画像信号を含む第２の画像信号を読み出す第２のフレーム周期が１／１２０秒となっている。
【００８６】
また、図１１に示す例は、画素部２１の第１画素領域から第１の画像信号を読み出す第１のフレーム周期が１／２４０秒、第２画素領域から第２の画像信号を読み出す第２のフレーム周期が１／６０秒となっている。
【００８７】
これらの例に限らず、第２のフレーム周期は、第１のフレーム周期よりも長くなるように撮像制御が行われる。なお、図１０および図１１に数値を記載した時間は１つの典型例を示したものであり、図示の時間に限るものではないことは勿論である。
【００８８】
ＬＶモードが設定されると図１２に示す処理が開始され、まず、ＬＶ画像の蓄積時間（第２の画像信号の蓄積時間）が、ＡＦ画像（第１の画像信号）を撮像する期間（第１のフレーム周期）の４フレーム分よりも大きいか否かを判定する（ステップＳ１）。
【００８９】
ここで、４フレーム分のＡＦ画像撮像期間以下であると判定された場合には、さらに、ＬＶ画像の蓄積時間が、２フレーム分のＡＦ画像撮像期間以下であるか否かを判定する（ステップＳ２）。
【００９０】
ここで、２フレーム分のＡＦ画像撮像期間以下であると判定された場合には撮像制御１を行い（ステップＳ３）、２フレーム分のＡＦ画像撮像期間よりも大きいと判定された場合には撮像制御１を行う（ステップＳ４）。
【００９１】
ステップＳ３の撮像制御１またはステップＳ４の撮像制御２から処理が戻ってきた場合には、ＬＶを終了するか否かを判定して（ステップＳ５）、終了しない場合にはステップＳ１へ戻って上述した処理を繰り返して行う。
【００９２】
また、ステップＳ５においてＬＶを終了すると判定された場合、または、ステップＳ１において、ＬＶ画像の蓄積時間が４フレーム分のＡＦ画像撮像期間よりも大きいと判定された場合には、この処理を終了する。
【００９３】
なお、本実施形態のＬＶモードにおいては、被写体の明るさに応じて撮像制御１または撮像制御２を行うようになっているが、ＬＶ画像の蓄積時間が４フレーム分のＡＦ画像撮像期間よりも大きいときにＬＶ表示が強制終了するのは使い勝手が良いとはいえない。そこで、ＬＶ画像の蓄積時間が４フレーム分のＡＦ画像撮像期間よりも大きいと判定されて処理を終了した場合には、ＬＶ画像の蓄積時間を４フレーム分のＡＦ画像撮像期間以下に再設定してからＬＶモードの処理を再び自動実行するようにしても良い。あるいは、ＬＶモードを実行するに当たって、４フレーム分のＡＦ画像撮像期間以下となるように予め制限を課した上でＬＶ画像の蓄積時間を設定してから、ＬＶモードを実行するようにしても良い。
【００９４】
図１３は撮像制御１の処理を示すフローチャートである。
【００９５】
この処理に入ると、まず、後述する撮像制御１ａ（図１５参照）を行う（ステップＳ１１）。
【００９６】
続いて、ＬＶ画像の蓄積時間が、２フレーム分のＡＦ画像撮像期間よりも大きいか否かを判定する（ステップＳ１２）。上述したステップＳ２の判定により、ステップＳ１１を実行する前の時点ではＬＶ画像の蓄積時間が２フレーム分のＡＦ画像撮像期間以下であることが分かっているが、ステップＳ１１を実行した後の時点で２フレーム分のＡＦ画像撮像期間よりも大きくなっていないかどうかを判定するのがこの処理である。
【００９７】
ここで、２フレーム分のＡＦ画像撮像期間以下であると判定された場合には、さらに、ＬＶ画像の蓄積時間が、１フレーム分のＡＦ画像撮像期間よりも大きいか否かを判定する（ステップＳ１３）。
【００９８】
そして、１フレーム分のＡＦ画像撮像期間よりも大きいと判定された場合には撮像制御１ａを行い（ステップＳ１４）、１フレーム分のＡＦ画像撮像期間以下であると判定された場合には撮像制御１ｂ（図１６参照）を行う（ステップＳ１５）。
【００９９】
そして、ステップＳ１４またはステップＳ１５の処理を終えたら、ＬＶ画像の蓄積時間が、２フレーム分のＡＦ画像撮像期間よりも大きいか否かを再び判定する（ステップＳ１６）。
【０１００】
ここで、２フレーム分のＡＦ画像撮像期間以下であると判定された場合には、ステップＳ１３へ戻って上述したような処理を行う。
【０１０１】
また、このステップＳ１６または上述したステップＳ１２において、２フレーム分のＡＦ画像撮像期間よりも大きいと判定された場合には、この処理から図１２に示した処理にリターンする。
【０１０２】
図１４は撮像制御２の処理を示すフローチャートである。
【０１０３】
この処理に入ると、まず、後述する撮像制御２ａ（図１７参照）を行う（ステップＳ２１）。
【０１０４】
続いて、ＬＶ画像の蓄積時間が、４フレーム分のＡＦ画像撮像期間よりも大きいか否かを判定する（ステップＳ２２）。ここで、４フレーム分のＡＦ画像撮像期間以下であると判定された場合には、さらに、ＬＶ画像の蓄積時間が、２フレーム分のＡＦ画像撮像期間以下であるか否かを判定する（ステップＳ２３）。上述したステップＳ１およびステップＳ２の判定により、ステップＳ２１を実行する前の時点ではＬＶ画像の蓄積時間がＡＦ画像撮像期間の２フレーム分よりも大きく４フレーム分以下であることが分かっているが、ステップＳ２１を実行した後の時点でこの条件が満たされなくなっている可能性がある。そこでこの判定を行うようにしている。
【０１０５】
ステップＳ２３において、２フレーム分のＡＦ画像撮像期間よりも大きいと判定された場合には、さらに、ＬＶ画像の蓄積時間が、３フレーム分のＡＦ画像撮像期間よりも大きいか否かを判定する（ステップＳ２４）。
【０１０６】
そして、３フレーム分のＡＦ画像撮像期間よりも大きいと判定された場合には撮像制御２ｂ（図１８参照）を行い（ステップＳ２５）、３フレーム分のＡＦ画像撮像期間以下であると判定された場合には撮像制御２ｃ（図１９参照）を行う（ステップＳ２６）。
【０１０７】
そして、ステップＳ２５またはステップＳ２６の処理を終えたら、ＬＶ画像の蓄積時間が、２フレーム分のＡＦ画像撮像期間以下であるか否かを再び判定する（ステップＳ２７）。
【０１０８】
２フレーム分のＡＦ画像撮像期間よりも大きいと判定された場合には、さらに、ＬＶ画像の蓄積時間が、４フレーム分のＡＦ画像撮像期間よりも大きいか否かを判定する（ステップＳ２８）。
【０１０９】
ここで、４フレーム分のＡＦ画像撮像期間以下であると判定された場合には、ステップＳ２４へ戻って上述したような処理を行う。
【０１１０】
一方、ステップＳ２２もしくはステップＳ２８において４フレーム分のＡＦ画像撮像期間よりも大きいと判定されるか、または、ステップＳ２３もしくはステップＳ２７において２フレーム分のＡＦ画像撮像期間以下であると判定された場合には、この処理から図１２に示した処理にリターンする。
【０１１１】
図１５は撮像制御１ａの処理を示すフローチャートである。
【０１１２】
この処理を開始すると、第１読出制御部２４が、図１０に示すタイミングで、画素部２１の第１画素領域を含む第２画素領域をライン単位で順次リセットする（ステップＳ３１）。なお、ここでは少なくとも第１画素領域を含む第２画素領域のリセットが必要であるが、処理を複雑にしないために、画素部２１の全画素をリセットしても構わない。
【０１１３】
次に、リセットを開始した時点から後に発生した垂直同期信号ＶＤに同期して、第１読出制御部２４の制御に基づき、第１読出処理部２５が画素部２１の第１画素領域から第１の画像信号をライン毎に順次読み出す（ステップＳ３２）。このときのＡＦ用露光時間（第１画素領域の電荷蓄積時間）は、第１のフレーム周期の時間、または表示用露光時間（第２画素領域の電荷蓄積時間）を第１のフレーム周期で割った余りの時間となる。こうして、第２画素領域の電荷蓄積時間が第１のフレーム周期よりも長い場合には、第２のフレーム周期における第１画素領域の電荷蓄積時間の合計が、第２画素領域の電荷蓄積時間と等しくなるようにしている。図１０に示す具体例のＡＦ用露光時間は、１回目の撮像制御１ａでは第１のフレーム周期と等しい１／２４０秒となっているが、２回目の撮像制御１ａでは表示用露光時間（第２画素領域の電荷蓄積時間）である１／１６０秒を第１のフレーム周期である１／２４０秒で割った余りである１／４８０秒となっている。
【０１１４】
そして、読み出された第１の画像信号は、第２読出制御部２６の制御に基づき、メモリ部２２に図６に示したように書き込まれる（ステップＳ３３）。
【０１１５】
続いて、第２読出制御部２６の制御に基づいて、第２読出処理部２７がメモリ制御１を行う（ステップＳ３４）。ここに、図２０はメモリ制御１の処理を示すフローチャートである。このメモリ制御１では、メモリ部２２から第１の画像信号を読み出して（ステップＳ１６１）、リターンする。
【０１１６】
読み出された第１の画像信号は、出力アンプ２３により増幅されて（ステップＳ３５）、撮像素子３から出力される。なお、第１の画像信号は、焦点検出用画像信号としてＡＦ処理に用いられるために、ＡＦ処理に最適な信号レベルに増幅する必要があるが、アナログの信号増幅は信号処理部５においても行われるために、各増幅部により増幅された結果が最適な信号レベルとなれば良く、出力アンプ２３のみで最適な信号レベルまで増幅する必要はない。
【０１１７】
こうして撮像素子３から出力された焦点検出用画像信号に基づき、ＡＦ処理部６が焦点検出処理を行い、焦点検出結果に基づいてＣＰＵ１５がレンズ駆動部２を介してレンズ１のフォーカスレンズを駆動するＡＦ処理を行う（ステップＳ３６）。
【０１１８】
次に、画素部２１の第２画素領域から第２の画像信号をライン毎に順次読み出し（ステップＳ３７）、読み出した第２の画像信号をメモリ部２２に図６に示したように書き込む（ステップＳ３８）。
【０１１９】
そして、第２読出制御部２６の制御に基づいて、第２読出処理部２７がメモリ制御２を行う（ステップＳ３９）。ここに、図２１はメモリ制御２の処理を示すフローチャートである。このメモリ制御２では、メモリ部２２に記憶された第２の画像信号中の、第１の画像信号を読み出して（ステップＳ１７１）、リターンする。
【０１２０】
読み出された第１の画像信号は、出力アンプ２３により増幅されて（ステップＳ４０）、撮像素子３から焦点検出用画像信号として出力される。
【０１２１】
こうして出力された焦点検出用画像信号に基づき、上述と同様に、ＡＦ処理を行う（ステップＳ４１）。
【０１２２】
続いて、第２読出制御部２６の制御に基づいて、第２読出処理部２７がメモリ制御３を行う（ステップＳ４２）。ここに、図２２はメモリ制御３の処理を示すフローチャートである。このメモリ制御３では、メモリ部２２に記憶された最新の第２の画像信号と、メモリ部２２に記憶された１フレーム前の第１の画像信号とを対応する画素位置毎に加算して（ステップＳ１８１）、加算後の第２の画像信号である表示用画像信号を２つに分割した内の一方である（１／２）領域の画像信号をメモリ部２２から読み出し（ステップＳ１８２）、その後に（焦点検出用画像信号の読み出し期間の合間となる次の期間に）、他方である（２／２）領域の画像信号をメモリ部２２から読み出して（ステップＳ１８３）、リターンする。こうして、表示用画像信号の読み出しを、焦点検出用画像信号の読み出し期間の合間の、複数期間に分割して行うようにしている。
【０１２３】
撮像素子３から読み出された表示用画像信号は、ＡＥ処理部９に入力されてＡＥ制御情報が算出され、算出されたＡＥ制御情報に基づいてＣＰＵ１５の制御により、絞り値や露光時間や感度等の設定、つまりＡＥ処理が行われる（ステップＳ４３）。
【０１２４】
また、撮像素子３から分割して読み出された表示用画像信号は、信号処理部５により処理されメモリ部１０に記憶された後に、画像処理部７により１つの表示用画像信号として合成される（ステップＳ４４）。
【０１２５】
そして、合成された表示用画像信号に対して、画像処理部７により上述した各種の画像処理が行われてＬＶ画像フォーマットのＬＶ表示用画像が生成される（ステップＳ４５）。
【０１２６】
このＬＶ表示用画像は、画像表示部１１に表示され（ステップＳ４６）、その後に元の処理にリターンする。
【０１２７】
図１６は撮像制御１ｂの処理を示すフローチャートである。
【０１２８】
この処理を開始すると、第１読出制御部２４が、図１０に示すタイミングで、画素部２１の第１画素領域を含む第２画素領域をライン単位で順次リセットする（ステップＳ５１）。なお、ここでは第１画素領域を含む第２画素領域をリセットしているが、第１画素領域のみをリセットするようにしても構わない。また、上述したように、処理を複雑にしないために、画素部２１の全画素をリセットしても構わない。
【０１２９】
次に、リセットを開始した時点から後に発生した垂直同期信号ＶＤに同期して、第１読出制御部２４の制御に基づき、第１読出処理部２５が画素部２１の第１画素領域から第１の画像信号をライン毎に順次読み出す（ステップＳ５２）。このときのＡＦ用露光時間（第１画素領域の電荷蓄積時間）は、表示用露光時間（第２画素領域の電荷蓄積時間）と等しく、図１０に示す具体例では、１／３８５秒である。
【０１３０】
そして、読み出された第１の画像信号は、第２読出制御部２６の制御に基づき、メモリ部２２に書き込まれる（ステップＳ５３）。
【０１３１】
続いて、第２読出制御部２６の制御に基づいて、第２読出処理部２７が上述したメモリ制御１を行う（ステップＳ５４）。
【０１３２】
メモリ制御１により読み出された第１の画像信号は、出力アンプ２３により増幅されて（ステップＳ５５）撮像素子３から出力され、上述したようにＡＦ処理が行われる（ステップＳ５６）。
【０１３３】
続いて、第１読出制御部２４が、図１０に示すタイミングで、画素部２１の第１画素領域を含む第２画素領域をライン単位で順次リセットする（ステップＳ５７）。なお、ここでは少なくとも第１画素領域を含む第２画素領域のリセットが必要であるが、処理を複雑にしないために、画素部２１の全画素をリセットしても構わない。
【０１３４】
そして、画素部２１の第２画素領域から第２の画像信号をライン毎に順次読み出し（ステップＳ５８）、読み出した第２の画像信号をメモリ部２２に図６に示したように書き込む（ステップＳ５９）。
【０１３５】
次に、第２読出制御部２６の制御に基づいて、第２読出処理部２７が上述したメモリ制御２を行う（ステップＳ６０）。
【０１３６】
メモリ制御２により読み出された第１の画像信号は、出力アンプ２３により増幅されて（ステップＳ６１）撮像素子３から出力され、上述したようにＡＦ処理が行われる（ステップＳ６２）。
【０１３７】
続いて、第２読出制御部２６の制御に基づいて、第２読出処理部２７がメモリ制御７を行う（ステップＳ６３）。ここに、図２６はメモリ制御７の処理を示すフローチャートである。このメモリ制御７では、メモリ部２２に記憶された最新の第２の画像信号である表示用画像信号を２つに分割した内の一方である（１／２）領域の画像信号をメモリ部２２から読み出し（ステップＳ２２１）、その後に（焦点検出用画像信号の読み出し期間の合間となる次の期間に）、他方である（２／２）領域の画像信号をメモリ部２２から読み出して（ステップＳ２２２）、リターンする。こうして、第２画素領域の電荷蓄積時間が第１のフレーム周期以下の場合には、第２の画像信号のみに基づき表示用画像信号を生成して読み出すようになっている。また、このメモリ制御７において、表示用画像信号の読み出しを、焦点検出用画像信号の読み出し期間の合間の、複数期間に分割して行うのは、上述したメモリ制御３と同様である。
【０１３８】
メモリ制御７により撮像素子３から読み出された表示用画像信号に基づき、上述したようにＡＥ処理が行われる（ステップＳ６４）。
【０１３９】
また、撮像素子３から分割して読み出された表示用画像信号は、信号処理部５により処理されメモリ部１０に記憶された後に、画像処理部７により１つの表示用画像信号として合成される（ステップＳ６５）。
【０１４０】
そして、合成された表示用画像信号に基づき、画像処理部７により上述したようにＬＶ表示用画像が生成され（ステップＳ６６）、画像表示部１１に表示され（ステップＳ６７）、その後に元の処理にリターンする。
【０１４１】
続いて、図１７は撮像制御２ａの処理を示すフローチャートである。
【０１４２】
この処理を開始すると、第１読出制御部２４が、図１１に示すタイミングで、画素部２１の第１画素領域を含む第２画素領域をライン単位で順次リセットする（ステップＳ７１）。なお、ここでは少なくとも第１画素領域を含む第２画素領域のリセットが必要であるが、上述したように処理を複雑にしないために、画素部２１の全画素をリセットしても構わない。
【０１４３】
次に、リセットを開始した時点から後に発生した垂直同期信号ＶＤに同期して、第１読出制御部２４の制御に基づき、第１読出処理部２５が画素部２１の第１画素領域から第１の画像信号をライン毎に順次読み出す（ステップＳ７２）。このときのＡＦ用露光時間（第１画素領域の電荷蓄積時間）は、第１のフレーム周期の時間（図１１に示す具体例では１／２４０秒）となる。
【０１４４】
読み出された第１の画像信号は、第２読出制御部２６の制御に基づき、メモリ部２２に書き込まれる（ステップＳ７３）。
【０１４５】
そして、第２読出制御部２６の制御に基づいて、第２読出処理部２７が上述したメモリ制御１を行う（ステップＳ７４）。
【０１４６】
続いて、ステップＳ７２の読出時点から第１のフレーム周期が経過した時点で、第１読出制御部２４の制御に基づき、第１読出処理部２５が画素部２１の第１画素領域から第１の画像信号をライン毎に順次読み出す（ステップＳ７５）。
【０１４７】
読み出された第１の画像信号は、第２読出制御部２６の制御に基づき、メモリ部２２に書き込まれる（ステップＳ７６）。
【０１４８】
そして、第２読出制御部２６の制御に基づいて、第２読出処理部２７がメモリ制御４を行う（ステップＳ７７）。ここに、図２３はメモリ制御４の処理を示すフローチャートである。このメモリ制御４では、メモリ部２２に記憶された最新の第１の画像信号と、メモリ部２２に記憶された１フレーム前の第１の画像信号とを対応する画素位置毎に加算して（ステップＳ１９１）、加算後の第１の画像信号である焦点検出用画像信号をメモリ部２２から読み出し（ステップＳ１９２）、リターンする。こうして、画素部２１により撮像された最新のフレームを含む連続する複数フレームに係る第１の画像信号を画素毎に加算した信号に基づき焦点検出用画像信号を生成して読み出すようになっている。
【０１４９】
メモリ制御４により読み出された焦点検出用画像信号は、出力アンプ２３により増幅されて（ステップＳ７８）撮像素子３から出力され、上述したようにＡＦ処理が行われる（ステップＳ７９）。
【０１５０】
続いて、ステップＳ７５の読出時点から第１のフレーム周期が経過した時点で、第１読出制御部２４の制御に基づき、第１読出処理部２５が画素部２１の第１画素領域から第１の画像信号をライン毎に順次読み出す（ステップＳ８０）。
【０１５１】
読み出された第１の画像信号は、第２読出制御部２６の制御に基づき、メモリ部２２に書き込まれる（ステップＳ８１）。
【０１５２】
そして、第２読出制御部２６の制御に基づいて、第２読出処理部２７が上述したメモリ制御４を行う（ステップＳ８２）。
【０１５３】
メモリ制御４により読み出された焦点検出用画像信号は、出力アンプ２３により増幅されて（ステップＳ８３）撮像素子３から出力され、上述したようにＡＦ処理が行われる（ステップＳ８４）。
【０１５４】
次に、ステップＳ８０の読出時点から第１のフレーム周期が経過した時点で、第１読出制御部２４の制御に基づき、第１読出処理部２５が画素部２１の第２画素領域から第２の画像信号をライン毎に順次読み出す（ステップＳ８５）。
【０１５５】
読み出された第２の画像信号は、第２読出制御部２６の制御に基づき、メモリ部２２に図７に示したように書き込まれる（ステップＳ８６）。
【０１５６】
すると、第２読出制御部２６の制御に基づいて、第２読出処理部２７がメモリ制御５を行う（ステップＳ８７）。ここに、図２４はメモリ制御５の処理を示すフローチャートである。このメモリ制御５では、メモリ部２２に記憶された最新の第２の画像信号中の第１の画像信号と、メモリ部２２に記憶された１フレーム前の第１の画像信号とを対応する画素位置毎に加算して（ステップＳ２０１）、加算後の第１の画像信号である焦点検出用画像信号をメモリ部２２から読み出し（ステップＳ２０２）、リターンする。
【０１５７】
メモリ制御５により読み出された焦点検出用画像信号は、出力アンプ２３により増幅されて（ステップＳ８８）撮像素子３から出力され、上述したようにＡＦ処理が行われる（ステップＳ８９）。
【０１５８】
さらに、第２読出制御部２６の制御に基づいて、第２読出処理部２７がメモリ制御６を行う（ステップＳ９０）。ここに、図２５はメモリ制御６の処理を示すフローチャートである。このメモリ制御６では、メモリ部２２に記憶された最新の第２の画像信号と、メモリ部２２に記憶された１フレーム前の第１の画像信号と、メモリ部２２に記憶された２フレーム前の第１の画像信号と、メモリ部２２に記憶された３フレーム前の第１の画像信号と、を対応する画素位置毎に加算して（ステップＳ２１１）、加算後の第２の画像信号である表示用画像信号を２つに分割した内の一方である（１／２）領域の画像信号をメモリ部２２から読み出し（ステップＳ２１２）、その後に（焦点検出用画像信号の読み出し期間の合間となる次の期間に）、他方である（２／２）領域の画像信号をメモリ部２２から読み出して（ステップＳ２１３）、リターンする。このメモリ制御６において、表示用画像信号の読み出しを、焦点検出用画像信号の読み出し期間の合間の、複数期間に分割して行うのは、上述したメモリ制御３と同様である。
【０１５９】
撮像素子３から分割して読み出された表示用画像信号は、信号処理部５により処理されメモリ部１０に記憶された後に、画像処理部７により１つの表示用画像信号として合成される（ステップＳ９１）。
【０１６０】
合成された表示用画像信号に基づき、上述したようにＡＥ処理が行われるとともに（ステップＳ９２）、画像処理部７により上述したようにＬＶ表示用画像が生成され（ステップＳ９３）、画像表示部１１に表示される（ステップＳ９４）。
【０１６１】
そして、その後に元の処理にリターンする。
【０１６２】
図１８は撮像制御２ｂの処理を示すフローチャートである。
【０１６３】
この処理を開始すると、第１読出制御部２４が、図１１に示すタイミングで、画素部２１の第１画素領域を含む第２画素領域をライン単位で順次リセットする（ステップＳ１０１）。なお、ここでは少なくとも第１画素領域を含む第２画素領域のリセットが必要であるが、上述したように処理を複雑にしないために、画素部２１の全画素をリセットしても構わない。
【０１６４】
次に、リセットを開始した時点から後に発生した垂直同期信号ＶＤに同期して、第１読出制御部２４の制御に基づき、第１読出処理部２５が画素部２１の第１画素領域から第１の画像信号をライン毎に順次読み出す（ステップＳ１０２）。このときのＡＦ用露光時間（第１画素領域の電荷蓄積時間）は、第１のフレーム周期の時間、または表示用露光時間（第２画素領域の電荷蓄積時間）を第１のフレーム周期で割った余りの時間となる。図１１に示す具体例のＡＦ用露光時間は、表示用露光時間（第２画素領域の電荷蓄積時間）である７／４８０秒を第１のフレーム周期である１／２４０秒で割った余りである１／４８０秒となっている。
【０１６５】
読み出された第１の画像信号は、第２読出制御部２６の制御に基づき、メモリ部２２に書き込まれる（ステップＳ１０３）。
【０１６６】
そして、第２読出制御部２６の制御に基づいて、第２読出処理部２７が上述したメモリ制御４を行う（ステップＳ１０４）。
【０１６７】
メモリ制御４により読み出された焦点検出用画像信号は、出力アンプ２３により増幅されて（ステップＳ１０５）撮像素子３から出力され、上述したようにＡＦ処理が行われる（ステップＳ１０６）。
【０１６８】
続いて、ステップＳ１０２の読出時点から第１のフレーム周期が経過した時点で、第１読出制御部２４の制御に基づき、第１読出処理部２５が画素部２１の第１画素領域から第１の画像信号をライン毎に順次読み出す（ステップＳ１０７）。
【０１６９】
読み出された第１の画像信号は、第２読出制御部２６の制御に基づき、メモリ部２２に書き込まれる（ステップＳ１０８）。
【０１７０】
そして、第２読出制御部２６の制御に基づいて、第２読出処理部２７が上述したメモリ制御４を行う（ステップＳ１０９）。
【０１７１】
メモリ制御４により読み出された焦点検出用画像信号は、出力アンプ２３により増幅されて（ステップＳ１１０）撮像素子３から出力され、上述したようにＡＦ処理が行われる（ステップＳ１１１）。
【０１７２】
続いて、ステップＳ１０７の読出時点から第１のフレーム周期が経過した時点で、第１読出制御部２４の制御に基づき、第１読出処理部２５が画素部２１の第１画素領域から第１の画像信号をライン毎に順次読み出す（ステップＳ１１２）。
【０１７３】
読み出された第１の画像信号は、第２読出制御部２６の制御に基づき、メモリ部２２に書き込まれる（ステップＳ１１３）。
【０１７４】
そして、第２読出制御部２６の制御に基づいて、第２読出処理部２７が上述したメモリ制御４を行う（ステップＳ１１４）。
【０１７５】
メモリ制御４により読み出された焦点検出用画像信号は、出力アンプ２３により増幅されて（ステップＳ１１５）撮像素子３から出力され、上述したようにＡＦ処理が行われる（ステップＳ１１６）。
【０１７６】
次に、ステップＳ１１２の読出時点から第１のフレーム周期が経過した時点で、第１読出制御部２４の制御に基づき、第１読出処理部２５が画素部２１の第２画素領域から第２の画像信号をライン毎に順次読み出す（ステップＳ１１７）。
【０１７７】
読み出された第２の画像信号は、第２読出制御部２６の制御に基づき、メモリ部２２に図７に示したように書き込まれる（ステップＳ１１８）。
【０１７８】
すると、第２読出制御部２６の制御に基づいて、第２読出処理部２７が上述したメモリ制御５を行う（ステップＳ１１９）。
【０１７９】
メモリ制御５により読み出された焦点検出用画像信号は、出力アンプ２３により増幅されて（ステップＳ１２０）撮像素子３から出力され、上述したようにＡＦ処理が行われる（ステップＳ１２１）。
【０１８０】
さらに、第２読出制御部２６の制御に基づいて、第２読出処理部２７が上述したメモリ制御６を行う（ステップＳ１２２）。
【０１８１】
メモリ制御６により撮像素子３から分割して読み出された表示用画像信号は、信号処理部５により処理されメモリ部１０に記憶された後に、画像処理部７により１つの表示用画像信号として合成される（ステップＳ１２３）。
【０１８２】
合成された表示用画像信号に基づき、上述したようにＡＥ処理が行われるとともに（ステップＳ１２４）、画像処理部７により上述したようにＬＶ表示用画像が生成され（ステップＳ１２５）、画像表示部１１に表示される（ステップＳ１２６）。
【０１８３】
そして、その後に元の処理にリターンする。
【０１８４】
図１９は撮像制御２ｃの処理を示すフローチャートである。
【０１８５】
この処理を開始すると、第１読出制御部２４が、図１１に示すタイミングで、画素部２１の第１画素領域を含む第２画素領域をライン単位で順次リセットする（ステップＳ１３１）。なお、ここでは第１画素領域を含む第２画素領域をリセットしているが、第１画素領域のみをリセットするようにしても構わない。また、上述したように、処理を複雑にしないために、画素部２１の全画素をリセットしても構わない。
【０１８６】
次に、リセットを開始した時点から後に発生した垂直同期信号ＶＤに同期して、第１読出制御部２４の制御に基づき、第１読出処理部２５が画素部２１の第１画素領域から第１の画像信号をライン毎に順次読み出す（ステップＳ１３２）。このときのＡＦ用露光時間（第１画素領域の電荷蓄積時間）は、第１のフレーム周期の時間（図１１に示す具体例では１／２４０秒）となる。
【０１８７】
読み出された第１の画像信号は、第２読出制御部２６の制御に基づき、メモリ部２２に書き込まれる（ステップＳ１３３）。
【０１８８】
そして、第２読出制御部２６の制御に基づいて、第２読出処理部２７が上述したメモリ制御４を行う（ステップＳ１３４）。
【０１８９】
メモリ制御４により読み出された焦点検出用画像信号は、出力アンプ２３により増幅されて（ステップＳ１３５）撮像素子３から出力され、上述したようにＡＦ処理が行われる（ステップＳ１３６）。
【０１９０】
続いて、第１読出制御部２４が、図１１に示すタイミングで、画素部２１の第１画素領域を含む第２画素領域をライン単位で順次リセットする（ステップＳ１３７）。なお、ここでは少なくとも第１画素領域を含む第２画素領域のリセットが必要であるが、処理を複雑にしないために、画素部２１の全画素をリセットしても構わない。
【０１９１】
次に、リセットを開始した時点から後に発生した垂直同期信号ＶＤに同期して、第１読出制御部２４の制御に基づき、第１読出処理部２５が画素部２１の第１画素領域から第１の画像信号をライン毎に順次読み出す（ステップＳ１３８）。このときのＡＦ用露光時間（第１画素領域の電荷蓄積時間）は、第１のフレーム周期の時間、または表示用露光時間（第２画素領域の電荷蓄積時間）を第１のフレーム周期で割った余りの時間となる。図１１に示す具体例では後者を示している。
【０１９２】
読み出された第１の画像信号は、第２読出制御部２６の制御に基づき、メモリ部２２に書き込まれる（ステップＳ１３９）。
【０１９３】
そして、第２読出制御部２６の制御に基づいて、第２読出処理部２７が上述したメモリ制御４を行う（ステップＳ１４０）。
【０１９４】
メモリ制御４により読み出された焦点検出用画像信号は、出力アンプ２３により増幅されて（ステップＳ１４１）撮像素子３から出力され、上述したようにＡＦ処理が行われる（ステップＳ１４２）。
【０１９５】
続いて、ステップＳ１３８の読出時点から第１のフレーム周期が経過した時点で、第１読出制御部２４の制御に基づき、第１読出処理部２５が画素部２１の第１画素領域から第１の画像信号をライン毎に順次読み出す（ステップＳ１４３）。
【０１９６】
読み出された第１の画像信号は、第２読出制御部２６の制御に基づき、メモリ部２２に書き込まれる（ステップＳ１４４）。
【０１９７】
そして、第２読出制御部２６の制御に基づいて、第２読出処理部２７が上述したメモリ制御４を行う（ステップＳ１４５）。
【０１９８】
メモリ制御４により読み出された焦点検出用画像信号は、出力アンプ２３により増幅されて（ステップＳ１４６）撮像素子３から出力され、上述したようにＡＦ処理が行われる（ステップＳ１４７）。
【０１９９】
次に、ステップＳ１４３の読出時点から第１のフレーム周期が経過した時点で、第１読出制御部２４の制御に基づき、第１読出処理部２５が画素部２１の第２画素領域から第２の画像信号をライン毎に順次読み出す（ステップＳ１４８）。
【０２００】
読み出された第２の画像信号は、第２読出制御部２６の制御に基づき、メモリ部２２に図７に示したように書き込まれる（ステップＳ１４９）。
【０２０１】
すると、第２読出制御部２６の制御に基づいて、第２読出処理部２７が上述したメモリ制御５を行う（ステップＳ１５０）。
【０２０２】
メモリ制御５により読み出された焦点検出用画像信号は、出力アンプ２３により増幅されて（ステップＳ１５１）撮像素子３から出力され、上述したようにＡＦ処理が行われる（ステップＳ１５２）。
【０２０３】
さらに、第２読出制御部２６の制御に基づいて、第２読出処理部２７がメモリ制御８を行う（ステップＳ１５３）。ここに、図２７はメモリ制御８の処理を示すフローチャートである。このメモリ制御８では、メモリ部２２に記憶された最新の第２の画像信号と、メモリ部２２に記憶された１フレーム前の第１の画像信号と、メモリ部２２に記憶された２フレーム前の第１の画像信号と、を対応する画素位置毎に加算して（ステップＳ２３１）、加算後の第２の画像信号である表示用画像信号を２つに分割した内の一方である（１／２）領域の画像信号をメモリ部２２から読み出し（ステップＳ２３２）、その後に（焦点検出用画像信号の読み出し期間の合間となる次の期間に）、他方である（２／２）領域の画像信号をメモリ部２２から読み出して（ステップＳ２３３）、リターンする。このメモリ制御８において、表示用画像信号の読み出しを、焦点検出用画像信号の読み出し期間の合間の、複数期間に分割して行うのは、上述したメモリ制御３と同様である。
【０２０４】
メモリ制御８により撮像素子３から分割して読み出された表示用画像信号は、信号処理部５により処理されメモリ部１０に記憶された後に、画像処理部７により１つの表示用画像信号として合成される（ステップＳ１５４）。
【０２０５】
合成された表示用画像信号に基づき、上述したようにＡＥ処理が行われるとともに（ステップＳ１５５）、画像処理部７により上述したようにＬＶ表示用画像が生成され（ステップＳ１５６）、画像表示部１１に表示される（ステップＳ１５７）。
【０２０６】
そして、その後に元の処理にリターンする。
【０２０７】
なお、上述した撮像制御２においては、メモリに記憶した最新の第１の画像信号と１フレーム前の第１の画像信号との２フレームを順次に加算して焦点検出用画像信号として読み出しているが、より多くのフレーム数を加算してＳ／Ｎ比を向上し、信頼性の高い焦点検出を行うようにしても良いことは勿論である。
【０２０８】
このような実施形態１によれば、第１の画像信号の電荷蓄積と第２の画像信号の電荷蓄積とを同時に行い、かつ第２の画像信号の読み出しとは独立して第１の画像信号の読み出しを行う撮像制御を行っているために、高速なコントラスト焦点検出と、高精細なライブビュー表示と、を両立することが可能となる。
【０２０９】
また、必要に応じて、第１の画像信号と第２の画像信号とを対応する画素位置毎に加算した信号に基づき表示用画像信号を生成するようにしたために、表示用画像信号中の一部の画素の電荷蓄積時間が極端に短くなるのを回避することができ、Ｓ／Ｎ比を向上することができる。
【０２１０】
さらに、第２のフレーム周期における第１画素領域の電荷蓄積時間の合計が、第２画素領域の電荷蓄積時間と等しくなるようにしたために、異なる画素位置に対して異なる増幅率の信号増幅等を行う必要なく、第２の画像信号中の第１の画像信号の露出を第２の画像信号中の第１の画像信号以外の信号の露出に合わせることができる。こうして、全ての画素の電荷蓄積時間が等しい表示用画像信号を容易に得ることが可能となる。
【０２１１】
そして、最新のフレームを含む連続する複数フレームに係る第１の画像信号を画素毎に加算した信号に基づき焦点検出用画像信号を生成しているために、焦点検出用画像信号のフレームレートを低下させることなく（つまり、コントラスト焦点検出の高速性を維持しながら）、被写体が暗い場合でもノイズが少ない高精度なコントラスト焦点検出を行うことが可能となる。
【０２１２】
加えて、焦点検出用画像信号の読み出し期間の合間の期間を利用して、表示用画像信号を分割して読み出すようにしたために、焦点検出用画像信号の読み出しタイミングを一定に保ったまま、データ量の多い高精細な表示用画像信号を読み出すことが可能となる。
【０２１３】
また、画素部２１の第１画素領域から第１の画像信号をフレーム読み出しするタイミングと、第２画素領域から第２の画像信号をフレーム読み出しするタイミングとが同期するように撮像制御を行っているために、第２の画像信号に含まれる第１の画像信号を、焦点検出用画像信号として用いることが可能となる。
【０２１４】
なお、本発明は上述した実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化することができる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成することができる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除しても良い。さらに、異なる実施形態にわたる構成要素を適宜組み合わせても良い。このように、発明の主旨を逸脱しない範囲内において種々の変形や応用が可能であることは勿論である。
【符号の説明】
【０２１５】
１…レンズ
２…レンズ駆動部
３…撮像素子
４…撮像素子駆動部
５…信号処理部
６…ＡＦ処理部（焦点検出部）
７…画像処理部
８…操作部
９…ＡＥ処理部
１０…メモリ部
１１…画像表示部
１２…記録部
１３…データ・制御バス
１５…ＣＰＵ
２１…画素部
２１ａ…画素（単位画素）
２２…メモリ部
２２ａ…単位メモリ
２３…出力アンプ
２４…第１読出制御部（画像信号記憶制御部）
２５…第１読出処理部（画像信号記憶制御部）
２６…第２読出制御部（画像信号読出制御部）
２７…第２読出処理部（画像信号読出制御部）
【特許請求の範囲】
【請求項１】
２次元状に配置された画素を有する画素部と、該画素部から読み出した画像信号を記憶するアナログメモリと、を有する撮像素子と、
第１のフレーム周期で上記画素部の第１画素領域から第１の画像信号を読み出して上記アナログメモリに記憶させるとともに、上記第１のフレーム周期よりも長い第２のフレーム周期で該第１画素領域を含みかつ該第１画素領域よりも画素数が多い上記画素部の第２画素領域から上記第１の画像信号を含む第２の画像信号を読み出して上記アナログメモリに記憶させる画像信号記憶制御部と、
上記アナログメモリから、上記第１の画像信号に基づく焦点検出用画像信号を読み出すとともに、上記第２の画像信号に基づく表示用画像信号を読み出す画像信号読出制御部と、
上記焦点検出用画像信号に基づいてコントラスト焦点検出を行う焦点検出部と、
上記表示用画像信号に基づいて画像表示を行う画像表示部と、
を具備したことを特徴とする撮像装置。
【請求項２】
上記第２画素領域の電荷蓄積時間が上記第１のフレーム周期よりも長い場合には、上記画像信号読出制御部は、上記第１の画像信号と上記第２の画像信号とを対応する画素位置毎に加算した信号に基づき表示用画像信号を生成して読み出し、
上記第２画素領域の電荷蓄積時間が上記第１のフレーム周期以下の場合には、上記画像信号読出制御部は、上記第２の画像信号のみに基づき表示用画像信号を生成して読み出すことを特徴とする請求項１に記載の撮像装置。
【請求項３】
上記第２画素領域の電荷蓄積時間が上記第１のフレーム周期よりも長い場合には、上記第２のフレーム周期における上記第１画素領域の電荷蓄積時間の合計が、上記第２画素領域の電荷蓄積時間と等しいことを特徴とする請求項２に記載の撮像装置。
【請求項４】
上記画像信号読出制御部は、上記画素部により撮像された最新のフレームを含む連続する複数フレームに係る第１の画像信号を画素毎に加算した信号に基づき上記焦点検出用画像信号を生成して読み出すことを特徴とする請求項２に記載の撮像装置。
【請求項５】
上記画像信号読出制御部は、上記表示用画像信号の読み出しを、上記焦点検出用画像信号の読み出し期間の合間の、複数期間に分割して行うことを特徴とする請求項１に記載の撮像装置。
【請求項１】
２次元状に配置された画素を有する画素部と、該画素部から読み出した画像信号を記憶するアナログメモリと、を有する撮像素子と、
第１のフレーム周期で上記画素部の第１画素領域から第１の画像信号を読み出して上記アナログメモリに記憶させるとともに、上記第１のフレーム周期よりも長い第２のフレーム周期で該第１画素領域を含みかつ該第１画素領域よりも画素数が多い上記画素部の第２画素領域から上記第１の画像信号を含む第２の画像信号を読み出して上記アナログメモリに記憶させる画像信号記憶制御部と、
上記アナログメモリから、上記第１の画像信号に基づく焦点検出用画像信号を読み出すとともに、上記第２の画像信号に基づく表示用画像信号を読み出す画像信号読出制御部と、
上記焦点検出用画像信号に基づいてコントラスト焦点検出を行う焦点検出部と、
上記表示用画像信号に基づいて画像表示を行う画像表示部と、
を具備したことを特徴とする撮像装置。
【請求項２】
上記第２画素領域の電荷蓄積時間が上記第１のフレーム周期よりも長い場合には、上記画像信号読出制御部は、上記第１の画像信号と上記第２の画像信号とを対応する画素位置毎に加算した信号に基づき表示用画像信号を生成して読み出し、
上記第２画素領域の電荷蓄積時間が上記第１のフレーム周期以下の場合には、上記画像信号読出制御部は、上記第２の画像信号のみに基づき表示用画像信号を生成して読み出すことを特徴とする請求項１に記載の撮像装置。
【請求項３】
上記第２画素領域の電荷蓄積時間が上記第１のフレーム周期よりも長い場合には、上記第２のフレーム周期における上記第１画素領域の電荷蓄積時間の合計が、上記第２画素領域の電荷蓄積時間と等しいことを特徴とする請求項２に記載の撮像装置。
【請求項４】
上記画像信号読出制御部は、上記画素部により撮像された最新のフレームを含む連続する複数フレームに係る第１の画像信号を画素毎に加算した信号に基づき上記焦点検出用画像信号を生成して読み出すことを特徴とする請求項２に記載の撮像装置。
【請求項５】
上記画像信号読出制御部は、上記表示用画像信号の読み出しを、上記焦点検出用画像信号の読み出し期間の合間の、複数期間に分割して行うことを特徴とする請求項１に記載の撮像装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【図２７】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【図２７】
【公開番号】特開２０１３−３８５９７（Ｐ２０１３−３８５９７Ａ）
【公開日】平成２５年２月２１日（２０１３．２．２１）
【国際特許分類】
【出願番号】特願２０１１−１７３１４１（Ｐ２０１１−１７３１４１）
【出願日】平成２３年８月８日（２０１１．８．８）
【出願人】（５０４３７１９７４）オリンパスイメージング株式会社 (2,647)
【Ｆターム（参考）】
【公開日】平成２５年２月２１日（２０１３．２．２１）
【国際特許分類】
【出願日】平成２３年８月８日（２０１１．８．８）
【出願人】（５０４３７１９７４）オリンパスイメージング株式会社 (2,647)
【Ｆターム（参考）】
[ Back to top ]