撮像装置、撮像方法
【課題】ローリングシャッタ歪みが小さい複数の被写体領域サイズの動画像を、不連続性を生じることなく低消費電力で得ることができる撮像装置等を提供する。
【解決手段】複数の画素が２次元状に配置された画素部２１と、画素部２１から読み出したアナログの画像データを一時的にアナログ記憶するフレームメモリ２３と、を有する撮像素子３と、１回の露光により得られた全画素の画像データを画素部２１から読み出してフレームメモリ２３に記憶させる第１の読出制御を行うとともに、フレームメモリ２３に記憶されている全画素の画像データから、全画素数よりも画素数が少ない画像データを、被写体領域サイズを異ならせるように、複数回に渡って非破壊読出する第２の読出制御を行う第１〜第３読出制御部２２，２４，２５と、を備えた撮像装置。
【解決手段】複数の画素が２次元状に配置された画素部２１と、画素部２１から読み出したアナログの画像データを一時的にアナログ記憶するフレームメモリ２３と、を有する撮像素子３と、１回の露光により得られた全画素の画像データを画素部２１から読み出してフレームメモリ２３に記憶させる第１の読出制御を行うとともに、フレームメモリ２３に記憶されている全画素の画像データから、全画素数よりも画素数が少ない画像データを、被写体領域サイズを異ならせるように、複数回に渡って非破壊読出する第２の読出制御を行う第１〜第３読出制御部２２，２４，２５と、を備えた撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、被写体領域サイズが異なる複数の画像データを読み出す撮像装置、撮像方法に関する。
【背景技術】
【０００２】
デジタルカメラ等の電子的な撮像装置では、撮像素子により撮影している動画像を液晶表示素子等の表示装置でリアルタイムに表示することにより、静止画撮影しようとしている被写体を観察するようにしたライブビュー（ＬＶ）が普及している。このとき、構図を確認するためには撮像素子上に結像している像全体を表示する必要があるが、その一方で、主要被写体への合焦度合いを確認するために、要部の精細な拡大画像を表示したいという需要がある。
【０００３】
例えば、特開２０１０−２２６４９６号公報には、全体画像の表示画面中に要部拡大画像の子画面を表示する場合に、子画面が合焦ＡＦ領域に重ならないようにすることで、全体画像中の主要被写体に子画面が重なってしまう等を回避するようにする技術が記載されている。
【０００４】
このような被写体領域サイズが異なる複数の画像データを、ＬＶに適したフレームレートで得る技術は、種々のものが提案されている。
【０００５】
例えば、図１３に示すように、撮像素子の駆動モードを変更することで、複数の被写体領域サイズの画像を得る技術がある。ここに、図１３は、撮像素子の駆動モードを一定周期で変更する第１の従来技術を示すタイミングチャートである。
【０００６】
この技術では、被写体領域全体のＬＶ用画像を読み出す全領域ＬＶモードと、要部の被写体領域のみを拡大してＬＶ用画像として読み出す拡大ＬＶモードと、を一定周期（垂直同期信号ＶＤの周期である例えば１６．６ｍｓ（６０ｆｐｓに対応）の整数倍の周期）で繰り返して行うようになっている。
【０００７】
また、例えば、図１４に示すように、撮像素子上の全画素を高速（図示の例は、３０ｆｐｓで読み出す例）に読み出して、デジタルデータに変換してからデジタルメモリに記憶し、その後に複数の被写体領域サイズの画像を生成する技術もある。ここに、図１４は、全画素を高速読み出しする第２の従来技術を示すタイミングチャートである。
【０００８】
デジタルメモリに記憶した全画素の画像は、表示用画像への画素数変換を行えば、全体画像を表示するのに用いることができる。さらに、このデジタルメモリに記憶されている全画素の画像から所望の領域を切り出して画素数変換することにより、拡大画像を得ることができる。従って、この技術では、拡大画像は撮像素子から出力された全画素の画像データに基づき作成されるために、撮像素子自体から全体画像とは別途に拡大画像が出力されることはない。
【先行技術文献】
【特許文献】
【０００９】
【特許文献１】特開２０１０−２２６４９６号公報
【発明の概要】
【発明が解決しようとする課題】
【００１０】
しかしながら、図１３に示したような駆動を例えば既存のＭＯＳ型撮像素子で行おうとしても、駆動モードを変更するには撮像素子の内部をリセットする必要があるために、駆動モード変更直後の１フレームは露出が不安定となってしまう。しかも、ＡＥ制御も駆動モード毎に制御する必要があるために、高いＡＥ精度を確保するのが難しく、露出がハンチングしてしまう可能性がある。従って、このような技術により得られる動画像は、所々が不連続になってしまい、撮影用の動画像に向かないだけでなく、ＬＶ用の動画像としても見難いものとなってしまう。加えて、同一の露光時点での全領域ＬＶ画像と拡大ＬＶ画像とを得ることができない。
【００１１】
また、上記図１４を参照して説明したような技術を適用するためには、全画素を高速で読み出す必要がある（高データレート化が必要である）が、このためには、高周波数で撮像素子を駆動制御したり、複数チャンネルで読み出しを行ったり、高周波数および複数チャンネルでＡ／Ｄ変換を行ったり、等が必要になる。ひいては、消費電力の増大に伴って大容量の電源電池および発熱対策が必要になったり、回路規模の増大に伴って回路配置スペースの増大さらには装置の大型化が必要になったりするために、コンシューマ向けのシステムには適していない。しかも、全画素を読み出すにはほぼ１垂直同期期間の読出時間が必要となるために、高速の素子シャッタを実現することができず、無視し得ない程度のローリングシャッタ歪みが発生することになる。
【００１２】
本発明は上記事情に鑑みてなされたものであり、ローリングシャッタ歪みが小さい複数の被写体領域サイズの動画像を、不連続性を生じることなく低消費電力で得ることができる撮像装置、撮像方法を提供することを目的としている。
【課題を解決するための手段】
【００１３】
上記の目的を達成するために、本発明のある態様による撮像装置は、複数の画素が２次元状に配置された画素部と、該画素部から読み出したアナログの画像データを一時的にアナログ記憶するフレームメモリと、を有する撮像素子と、１回の露光により得られた全画素の画像データを上記画素部から読み出して上記フレームメモリに記憶させる第１の読出制御を行うとともに、該フレームメモリに記憶されている全画素の画像データから、全画素数よりも画素数が少ない画像データを、被写体領域サイズを異ならせるように、複数回に渡って非破壊読出する第２の読出制御を行う読出制御部と、を備えている。
【００１４】
また、本発明の他の態様による撮像方法は、複数の画素が２次元状に配置された画素部と、該画素部から読み出したアナログの画像データを一時的にアナログ記憶するフレームメモリと、を有する撮像素子から画像データを読み出す撮像方法であって、１回の露光により得られた全画素の画像データを上記画素部から読み出して上記フレームメモリに記憶させる第１の読出を行い、上記フレームメモリに記憶されている全画素の画像データから、全画素数よりも画素数が少ない画像データを、被写体領域サイズを異ならせるように、複数回に渡って非破壊読出する第２の読出を行う方法である。
【発明の効果】
【００１５】
本発明の撮像装置、撮像方法によれば、ローリングシャッタ歪みが小さい複数の被写体領域サイズの動画像を、不連続性を生じることなく低消費電力で得ることが可能となる。
【図面の簡単な説明】
【００１６】
【図１】本発明の実施形態１における撮像装置の構成を示すブロック図。
【図２】上記実施形態１における撮像素子の構成を示す図。
【図３】上記実施形態１における単位アナログメモリの構成例を示す回路図。
【図４】上記実施形態１において、水平画素加算に係るフレームメモリおよび第２読出制御部の構成の一例を示す図。
【図５】上記実施形態１において、図４の回路に与えるＳＲ走査パルスの例を示すタイミングチャート。
【図６】上記実施形態１において、第２の読出制御により非破壊読出される、被写体領域サイズの異なる複数の画像の例を示す図。
【図７】上記実施形態１において、撮像素子から読み出された全体画像および拡大画像のライブビュー表示例を示す図。
【図８】上記実施形態１において、全画素画像Ｐ１から切り出した部分領域Ｐ２’をさらに画素数変換する例を示す図。
【図９】上記実施形態１において、水平２画素加算および垂直２画素加算により画素数を１／４に画素数変換する処理を説明するための図。
【図１０】上記実施形態１において、被写体領域サイズの異なる複数の画像を出力するときの撮像素子における処理を示すタイミングチャート。
【図１１】上記実施形態１において、被写体領域サイズの異なる複数の画像を出力するときの撮像素子における処理および表示例を示すタイミングチャート。
【図１２】本発明の実施形態２において、被写体領域サイズの異なる複数の画像を出力するときの撮像素子における処理を示すタイミングチャート。
【図１３】撮像素子の駆動モードを一定周期で変更する第１の従来技術を示すタイミングチャート。
【図１４】全画素を高速読み出しする第２の従来技術を示すタイミングチャート。
【発明を実施するための形態】
【００１７】
以下、図面を参照して本発明の実施の形態を説明する。
［実施形態１］
【００１８】
図１から図１１は本発明の実施形態１を示したものであり、図１は撮像装置の構成を示すブロック図である。
【００１９】
この撮像装置は、例えばデジタルカメラとして構成されていて、レンズ１と、レンズ駆動部２と、撮像素子３と、増幅回路４と、撮像素子駆動部５と、ＡＤＣ（Analog to Digital Converter：Ａ／Ｄコンバータ）６と、データ・制御バス７と、内蔵メモリ８と、画像処理部９と、表示駆動部１０と、表示部１１と、脱着メモリ１２と、不揮発性メモリ１３と、ＣＰＵ１４と、を備えている。
【００２０】
レンズ１は、被写体の光学像を撮像素子３の撮像面上に結像するための撮影光学系であり、合焦位置を調整するためのフォーカスレンズや、光学像の明るさを調整するための絞り機構を含んでいる。
【００２１】
レンズ駆動部２は、ＣＰＵ１４の制御に基づいて、レンズ１のフォーカスレンズや絞り機構を制御するものである。
【００２２】
撮像素子３は、レンズ１により結像された被写体の光学像を光電変換して、電気的なアナログの画像信号を生成し出力するものである。
【００２３】
撮像素子駆動部５は、ＣＰＵ１４の制御に基づき、撮像素子３を駆動するためのタイミング信号を出力するものである。撮像素子３からの画像信号の読み出しは、ＣＰＵ１４の制御に基づいて、この撮像素子駆動部５により行われる。
【００２４】
増幅回路４は、撮像素子３から出力されるアナログの信号を増幅するものである。
【００２５】
ＡＤＣ６は、アナログ信号をデジタルデータに変換するものである。このＡＤＣ６の出力側は、ＣＰＵ１４を介してデータ・制御バス７に接続されている。従って、ＡＤＣ６から出力されたデジタルデータは、ＣＰＵ１４およびデータ・制御バス７を介して、例えば内蔵メモリ８やその他の各回路へ出力される。
【００２６】
データ・制御バス７は、ＣＰＵ１４が接続されるとともに、内蔵メモリ８と、画像処理部９と、表示駆動部１０と、脱着メモリ１２と、不揮発性メモリ１３と、が双方向に接続されていて、制御信号や各種のデータを相互に授受するためのものである。
【００２７】
内蔵メモリ８は、ＡＤＣ６によりデジタルデータに変換された画像信号や、画像処理部９により処理された画像信号を記憶するのに用いられると共に、ＣＰＵ１４が処理を行う際のメモリとしても用いられる例えば揮発性の記憶媒体である。
【００２８】
画像処理部９は、内蔵メモリ８に格納されている画像信号に対して、各種のデジタル信号処理を施して、処理結果の画像信号を内蔵メモリ８に再び格納するものである。
【００２９】
表示駆動部１０は、表示部１１を駆動して画像を表示させるものである。
【００３０】
表示部１１は、表示駆動部１０により駆動されて、撮像素子３により撮影されたライブビュー画像（リアルタイムで撮影されている動画像）を表示したり、静止画撮影された画像を撮影後に確認するために表示したりするものである。この表示部１１は、ライブビュー時には、後述する読出制御部の制御により撮像素子３から読み出された被写体領域サイズの異なる複数の画像データを表示する画像表示部として機能する。
【００３１】
脱着メモリ１２は、画像処理部９により記録用に処理された画像信号を不揮発に記録するための記録媒体であり、例えばメモリカードなどとして撮像装置に対して着脱可能に構成されている。従って、この脱着メモリ１２は、撮像装置に固有の構成でなくても構わない。
【００３２】
不揮発性メモリ１３は、ＣＰＵ１４により実行される種々の処理プログラムや、処理プログラムを実行する際に必要な各種のデータ等を格納する記録媒体である。
【００３３】
ＣＰＵ１４は、この撮像装置全体の動作を制御するものである。例えば、ＣＰＵ１４は、ＡＤＣ６から出力される画像信号に基づいてＡＦ評価値やＡＥ評価値を算出し、算出結果に基づいてレンズ駆動部２を制御してレンズ１を駆動させる。さらに、ＣＰＵ１４は、撮像素子駆動部５を介して、撮像素子３の動作（例えば、静止画撮影動作やライブビュー撮影動作など）の制御を行うものである。
【００３４】
図２は、撮像素子３の構成を示す図である。
【００３５】
撮像素子３は、図２に示すように、画素部２１と、第１読出制御部２２と、フレームメモリ２３と、第２読出制御部２４と、第３読出制御部２５と、出力アンプ２６と、を備えている。
【００３６】
画素部２１は、複数の画素（図２に示す単位画素３１）が行方向および列方向の２次元状に配置されたものである。単位画素３１は、受光した光量に応じた量の電荷を蓄積するフォトダイオード（ＰＤ）や、フローティングディフュージョン（ＦＤ）、複数のトランジスタ（リセットトランジスタ、読出トランジスタ、増幅トランジスタ、行選択トランジスタ等）を備えて構成されている。そして、画素部２１における、単位画素３１の列方向の各並びには列信号線３２がそれぞれ接続され、単位画素３１の行方向の各並びには行信号線３３がそれぞれ接続されている。ここに、各列信号線３２は第１読出制御部２２に接続され、各行信号線３３は第３読出制御部２５に接続されている。
【００３７】
第１読出制御部２２は、第３読出制御部２５の制御に基づき、１回の露光により得られた全画素の画像データを画素部２１から読み出してフレームメモリ２３に記憶させる第１の読出制御を行うものである。ここに、第１の読出制御においては、画素部２１からフレームメモリ２３への読み出しは、複数の列信号線３２を用いて複数の画素ずつ同時にパラレルに行うようになっており、画素部２１からフレームメモリ２３への高速転送、ひいては素子シャッタにおける高速シャッタが可能となっている。この第１読出制御部２２は、列信号線３２から読み出されたアナログ信号をアナログ増幅する垂直信号増幅回路、相関２重サンプリングを行うＣＤＳ回路、フレームメモリ２３への垂直方向の書き込み制御を行うアナログメモリライト制御部等を備えて構成されている。
【００３８】
フレームメモリ２３は、画素部２１に設けられた複数の単位画素３１に各対応する複数の単位アナログメモリ３４が行方向および列方向の２次元状に配置されたものであり、画素部２１から読み出されたアナログの画像データを一時的にアナログ記憶するものである。そして、フレームメモリ２３における、単位アナログメモリ３４の列方向の各並びにはメモリ列信号線３５がそれぞれ接続され、単位アナログメモリ３４の行方向の各並びにはメモリ行信号線３６がそれぞれ接続されている。ここに、各メモリ列信号線３５は第１読出制御部２２および第２読出制御部２４に接続され、各メモリ行信号線３６は第３読出制御部２５に接続されている。
【００３９】
第２読出制御部２４は、第３読出制御部２５の制御に基づき、フレームメモリ２３に記憶されている画像データを読み出す制御を行うものである。これら第２読出制御部２４および第３読出制御部２５は、特にライブビュー撮影動作時には、フレームメモリ２３に記憶されている全画素の画像データから、全画素数よりも画素数が少ない画像データを、被写体領域サイズを異ならせるように、複数回に渡って非破壊読出する第２の読出制御を行う。ここに、第２の読出制御における被写体領域サイズの異なる複数の画像データは、後で説明するように、例えば、全画素でなる画像データと同一の被写体領域を有する全体画像データと、全画素でなる画像データよりも小さい被写体領域を有する拡大画像データと、を含んでいる。さらに、第２の読出制御の非破壊読出においては、画素加算読出と画素間引読出との少なくとも一方と、切出読出と、を行うようになっている。そして、全体画像データを読み出す際には画素加算読出と画素間引読出との少なくとも一方を行い、拡大画像データを読み出す際には少なくとも切出読出を行うようにしている。その結果、同一被写体部分を構成する画素数は、全体画像データよりも拡大画像データの方が多くなり、つまり拡大画像データの方が同一被写体部分をより高精細に表示可能となる。
【００４０】
第３読出制御部２５は、画素部２１に対する垂直走査信号（垂直ＳＲ走査信号、画素読出信号、画素リセット信号、行選択信号など）の生成と、第１読出制御部２２を制御するための制御信号（垂直信号増幅回路制御信号、Ｓ／Ｈ回路（サンプルホールド回路）制御信号など）の生成と、フレームメモリ２３を制御するための制御信号（メモリ行選択信号、メモリライト信号、メモリリード信号など）の生成と、第２読出制御部２４を制御するための制御信号（水平ＳＲ走査信号、列間引（加算）信号など）の生成と、を行うものである。
【００４１】
ここに、読出制御部としては、撮像素子３の内部に構成されている第１〜３読出制御部２２，２４，２５が該当し、さらに広くは、撮像素子駆動部５、ＣＰＵ１４なども該当し得る 。
【００４２】
出力アンプ２６は、第２読出制御部２４から読み出されるアナログの画像信号をアナログ増幅して出力するものである。
【００４３】
次に、図３は単位アナログメモリ３４の構成例を示す回路図である。
【００４４】
単位アナログメモリ３４は、この図３に示す例においては、第１ＯＰアンプＡＭＰ１と、第１スイッチＳＷ１と、第１アンド回路ＡＮＤ１と、コンデンサＣと、第２ＯＰアンプＡＭＰ２と、第２スイッチＳＷ２と、第２アンド回路ＡＮＤ２と、を備えていて、サンプルホールド回路が構成されている。
【００４５】
第１読出制御部２２を介して読み出された画素信号は、第１ＯＰアンプＡＭＰ１の非反転入力端に入力されるようになっている。この第１ＯＰアンプＡＭＰ１の出力端は、該第１ＯＰアンプＡＭＰ１の反転入力端に接続されるとともに、第１スイッチＳＷ１の一端側に接続されている。
【００４６】
第１スイッチＳＷ１は、第１アンド回路ＡＮＤ１の出力によりオン／オフ制御されるようになっており、この第１アンド回路ＡＮＤ１にはメモリ行選択信号とメモリライト信号とが入力される。
【００４７】
第１スイッチＳＷ１の他端側は、一端が設置されたコンデンサＣに接続されるとともに、第２ＯＰアンプＡＭＰ２のの非反転入力端に接続されている。この第２ＯＰアンプＡＭＰ２の出力端は、該第２ＯＰアンプＡＭＰ２の反転入力端に接続されるとともに、第２スイッチＳＷ２の一端側に接続されている。
【００４８】
第２スイッチＳＷ２は、第２アンド回路ＡＮＤ２の出力によりオン／オフ制御されるようになっており、この第２アンド回路ＡＮＤ２にはメモリ行選択信号とメモリリード信号とが入力される。
【００４９】
このような構成において、単位画素３１から読み出された画素信号の電圧は、第１スイッチＳＷ１のオンによりコンデンサＣに保持される。その後、第１スイッチＳＷ１をオフにすることで、コンデンサＣに保持された状態が維持される。さらにその後、第２スイッチＳＷ２のオンにより、コンデンサＣに保持されている画素信号の電圧が非破壊読出される（従って、繰り返して読み出すことが可能である）。
【００５０】
次に、図４は水平画素加算に係るフレームメモリ２３および第２読出制御部２４の構成の一例を示す図、図５は図４の回路に与えるＳＲ走査パルスの例を示すタイミングチャートである。
【００５１】
フレームメモリ２３中のある行に配列されている符号Ｈ１Ｍ，…，Ｈ７Ｍ，…で示す単位アナログメモリ３４に各保持されている画素信号は、メモリ行信号線３６を介して、図３に示した第２アンド回路ＡＮＤ２へメモリ行選択信号およびメモリリード信号を印加することにより、符号Ｈ１，…，Ｈ７，…で示すメモリ列信号線３５を介して、第２読出制御部２４へ読み出される。
【００５２】
第２読出制御部２４は、符号Ｈ１，…，Ｈ７，…で示すメモリ列信号線３５に各接続される複数の水平出力スイッチ３７を備えている。これら複数の水平出力スイッチ３７は、水平出力信号線３９を介して、上述した出力アンプ２６に接続されるとともに、水平シフトレジスタ３８に接続されている。
【００５３】
この水平シフトレジスタ３８において、符号Ｈ１，…，Ｈ７，…で示すメモリ列信号線３５に接続される水平出力スイッチ３７に対応するシフトレジスタを、符号ＳＲ１，…，ＳＲ７，…で示している。
【００５４】
このような水平シフトレジスタ３８には、クロック信号とＳＲ走査パルスとが印加されるようになっている。例えば水平２画素加算を行う場合には、図５に示すようなクロック信号と、シフトレジスタＳＲ１，…へのＳＲ走査パルスと、が水平シフトレジスタ３８に印加される。
【００５５】
すなわち、図５における期間ｔ０のタイミングでシフトレジスタＳＲ１，ＳＲ２にのみハイレベルの信号を印加することにより、符号Ｈ１ＭおよびＨ２Ｍで示す単位アナログメモリ３４に保持されている画素信号を平均化した信号（つまり、画素混合された信号）が、出力アンプ２６により増幅されて出力される。
【００５６】
同様に、図５における期間ｔ１のタイミングでシフトレジスタＳＲ３，ＳＲ４にのみハイレベルの信号を印加することにより、符号Ｈ３ＭおよびＨ４Ｍで示す単位アナログメモリ３４に保持されている画素信号を平均化した信号が、出力アンプ２６により増幅されて出力される。
【００５７】
このような処理を順に行うことにより水平２画素加算された１ライン分の画素信号が読み出され、さらにこの処理を全ラインに対して行うことにより、水平２画素加算された全体画像が読み出されることになる。
【００５８】
なお、ここでは加算数が２である場合を説明したが、加算数が一般にｎ（ｎは２以上の整数）である場合には、同時にハイレベルのＳＲ走査パルスを印加するシフトレジスタの数をｎとすれば良い。さらに、ここでは水平方向の画素加算を説明したが、垂直方向の画素加算についても同様の構成を用いて実現することが可能である。すなわち、例えば垂直方向の２画素加算を行う場合には、加算しようとする２つのラインを同時に選択することにより、垂直方向の２画素分の単位アナログメモリ３４に保持されている画素信号を平均化した信号が、出力アンプ２６により増幅されて出力される。そして、水平方向の画素加算と垂直方向の画素加算とを組み合わせることにより、水平および垂直方向の画素加算が可能となる。
【００５９】
次に、図６は、第２の読出制御により非破壊読出される、被写体領域サイズの異なる複数の画像の例を示す図である。
【００６０】
図６（Ａ）は画素部２１により生成される全画素画像Ｐ１を示している。この全画素画像Ｐ１は、画素部２１から読み出されて、フレームメモリ２３に記憶される。
【００６１】
この全画素画像Ｐ１を、第２読出制御部２４および第３読出制御部２５により画素加算読出と画素間引読出との少なくとも一方を行うことにより、図６（Ｂ）に示すような、全画素数よりも画素数が少ない全体画像Ｐ１ｓが撮像素子３から出力される。
【００６２】
また、図６（Ａ）に示した全画素画像Ｐ１中の部分領域Ｐ２を切出読出することにより、図６（Ｃ）に示すような、全画素数よりも画素数が少ない拡大画像Ｐ２ｓが撮像素子３から出力される。
【００６３】
上述したように、同一被写体部分を構成する画素数は、図６（Ｂ）に示す全体画像よりも図６（Ｃ）に示す拡大画像の方が多く、拡大画像の方が高精細である。
【００６４】
なお、撮像素子３から出力される全体画像Ｐ１ｓと拡大画像Ｐ２ｓは、同一画素数であっても良いし、異なる画素数であっても構わない。ライブビュー時に必要な画素数は、表示部１１の表示画素数に依存するが、例えば表示部１１がＳＶＧＡのものである場合には、全体画像Ｐ１ｓをＳＶＧＡ、拡大画像Ｐ２ｓをＳＶＧＡ〜ＶＧＡとすることが挙げられる。これは、全体画像Ｐ１ｓは表示部１１の画面全体に表示されることが多く、拡大画像Ｐ２ｓは画面全体または画面の一部に表示されることが考えられるためである（下記に説明する図７も参照）。
【００６５】
図７は撮像素子から読み出された全体画像および拡大画像のライブビュー表示例を示す図である。
【００６６】
この図７に示す例では、表示部１１の画面１１ａの全面に全体画像Ｐ１ｓに基づく全領域ライブビューＬＶ１が行われ、この全領域ライブビューＬＶ１の上に重なるように、より小さな表示領域で拡大画像Ｐ２ｓに基づく拡大領域ライブビューＬＶ２が行われている。
【００６７】
なお、図６（Ｃ）に示した例では、全画素画像Ｐ１中の部分領域Ｐ２を切出読出していたが、表示したい拡大画像の領域サイズがより大きい場合には、切出読出だけでなく、さらに画素加算読出と画素間引読出との少なくとも一方を組み合わせて行うことにより、撮像素子３から出力される画像の画素数を減らすと良い。
【００６８】
図８は全画素画像Ｐ１から切り出した部分領域Ｐ２’をさらに画素数変換する例を示す図である。
【００６９】
例えば、拡大領域ライブビューＬＶ２を行うために出力する画像サイズが６４０×４８０ピクセルで足りる場合であって、全画素画像Ｐ１から切り出したい部分領域Ｐ２’の画像サイズが図８（Ａ）に示すように１２８０×９６０ピクセルである場合には、画素加算または画素間引を行う。ここに、図９は水平２画素加算および垂直２画素加算により画素数を１／４に画素数変換する処理を説明するための図である。例えばこの図９に示す画素数変換処理を行って、画素数を図８（Ｂ）に示すように１／４に減らした拡大画像Ｐ２’ｓを生成してから、撮像素子３から出力する。なお、図９は、ベイヤー配列の単板撮像素子を想定したときの、同色画素同士の２×２画素加算の例を示している。
【００７０】
このような処理を行うことにより、ＡＤＣ６で処理する画素数を減らすことができるために、消費電力のより一層の低減を図ることが可能となる。
【００７１】
続いて、図１０は被写体領域サイズの異なる複数の画像を出力するときの撮像素子３における処理を示すタイミングチャートである。
【００７２】
この図１０に示す例では、第１読出制御部２２に印加する垂直同期信号ＶＤ_30fpsを３３ｍｓ周期の３０ｆｐｓの信号、第２読出制御部２４に印加する垂直同期信号ＶＤ_60fpsを１６．６ｍｓ周期の６０ｆｐｓの信号としている。また、メモリ走査パルスＶＭＳＴは、タイミングが垂直同期信号ＶＤ_60fpsとずれているだけで、１６．６ｍｓ周期の６０ｆｐｓの信号である。
【００７３】
画素部２１は、例えばライン単位での画像読出タイミングＲＤから所定の露光時間だけ遡ったリセットタイミングＲＳＴで、単位画素３１をライン単位で順次リセットする。
【００７４】
その後、所定の露光時間が経過して垂直同期信号ＶＤ_30fpsのパルスが入力（なお、このパルスと同時に垂直同期信号ＶＤ_60fpsのパルスも入力されるタイミングとなっている）されたら、第１読出制御部２２および第３読出制御部２５は、単位画素３１の画素信号をライン単位で順次画素部２１から出力させ、フレームメモリ２３に記憶させる。
【００７５】
フレームメモリ２３における画素記憶はアナログであるために、画素信号の転送を高速に行うことができる。しかも、上述したように、画素部２１からフレームメモリ２３への読み出しは、複数の列信号線３２を用いたパラレル処理であるために、より一層の高速転送が可能である。こうして、従来の撮像素子が画素毎のアナログデジタル変換に時間を要して低速の素子シャッタとなるのに対して、本実施形態の構成よれば高速の素子シャッタを実現することが可能となっている。
【００７６】
その後、フレームメモリ２３に全画素画像が記憶されたら、メモリ走査パルスＶＭＳＴが入力されたタイミングで、第２読出制御部２４および第３読出制御部２５は、まず例えば全画素数よりも画素数が少ない全体画像Ｐ１ｓ（図１０において、各フレームの全体画像を符号ｆ１，ｆ２として示している）の読み出しを行う。この拡大画像Ｐ１ｓの読み出しは、上述したように、画素加算と画素間引との少なくとも一方を伴う非破壊読出となる。
【００７７】
この全体画像Ｐ１ｓの読み出しが終了して、次のメモリ走査パルスＶＭＳＴが入力されたら、第２読出制御部２４および第３読出制御部２５は、全画素数よりも画素数が少ない拡大画像Ｐ２ｓ（図１０において、各拡大画像を符号ｃ１，ｃ２として示している）の読み出しを行う。この拡大画像Ｐ２ｓの読み出しは、上述したように、少なくとも切出読出を行う非破壊読出である。
【００７８】
このような処理が、画素部２１による撮像が行われる毎に繰り返される。従って、読出制御部は、第１の読出制御を所定周期で行うとともに、所定周期の１期間内において、第２の読出制御における複数回の非破壊読出を、被写体領域サイズ毎の所定の順番で行うものとなっている。
【００７９】
次に、図１１は被写体領域サイズの異なる複数の画像を出力するときの撮像素子３における処理および表示例を示すタイミングチャートである。
【００８０】
この図１１に示す例では、画素部２１における露光時間が図１０に示した例よりも短くなっている。この場合には、図１０に示した例よりも出力される画像が暗くなると考えられる。上述した画素加算により画像の輝度レベルを改善することができれば良いが、それでもなお輝度が不足する場合もあり得る。このような場合であってもより明るい画像を得ることができるように、ここでは画像処理部９が画像加算の処理を行うようになっている。すなわち、画像処理部９は、全体画像Ｐ１ｓについて、２フレーム分の画像を加算（ｆ０＋ｆ１，Ｆ１＋ｆ２，…等）して、その画像を表示部１１の全領域ライブビューＬＶ１として表示させるように出力する。なお、このときには、全領域ライブビューＬＶ１と拡大領域ライブビューＬＶ２とは、表示の更新タイミングが図示のようにずれることになる。
【００８１】
なお、連続する２フレームの露光時間差（図１１に示す例では、垂直同期信号ＶＤ_30fpsの周期である３３ｍｓ）における全体画像Ｐ１ｓの表示ずれは（画角が大きく、各被写体が小さく表示されるので）比較的小さいと考えられるために、この図１１に示す例では、全領域ライブビューＬＶ１のみについて画像を加算したが、被写体が静止している場合や動きが小さい場合、手振れが小さいと考えられる場合（手振れ検出を行ってその結果を参照すれば良い）などには、拡大領域ライブビューＬＶ２についても画像を加算しても構わない。また、加算するフレーム数も２に限るものでないことは勿論である。
【００８２】
このような実施形態１によれば、被写体領域サイズが異なる複数の画像を得る際に、撮像モードの変更を行う必要がないために、不連続性を生じることなく、滑らかな動画像を取得することが可能となる。
【００８３】
さらに、ライブビュー時には、撮像素子から出力する画像データを、全画素数よりも画素数が少ない画像データとしているために、撮像素子３の読出クロックやＡＤＣ６の動作クロック等を高クロックとする必要がなく、消費電力を低減することが可能となる。また、全画素数を高速に読み出す必要がなくなるために、複数チャンネルに対応した読出回路やＡＤＣ等も不要となり、回路規模の縮小を図ることができる。
【００８４】
また、画素部２１において生成された画像データを、まずフレームメモリ２３へアナログ転送するようにしているために、画素単位でのデジタル信号への変換を待つ必要がなくなり、高速素子シャッタを実現し、ローリングシャッタ歪みを小さくすることができる。このとき、フレームメモリ２３へのアナログ転送を、同時に複数の画素ずつ、具体的には１つのライン上に配列された全列の画素ずつパラレルに行っているために、より一層の高速転送を行うことができ、より高速シャッタを実現することができる。
【００８５】
そして、撮像素子３からの画像データの読み出しを、画素部２１からではなくフレームメモリ２３から行っているために、被写体領域サイズや画素数が異なる画像の読み出しを容易に行うことができる。しかも、フレームメモリ２３からの画像データの読み出しを非破壊に行っているために、同一露光時点における被写体領域サイズが異なる複数の画像を得ることが可能となる。
【００８６】
また、第１の読出制御を所定周期で行い、この所定周期の１期間内において、第２の読出制御における複数回の非破壊読出を、被写体領域サイズ毎の所定の順番で行うようにしているために、撮像素子３の制御や画像処理部９における画像処理が簡単になり、引いては構成を簡単にすることができる。
【００８７】
さらに、同一被写体部分を構成する画素数が、全体画像データよりも拡大画像データの方が多くなるようにしているために、被写体領域サイズの異なる全体画像および拡大画像を画像表示部で表示することにより、全体画像により構図を確認しながら、拡大画像により主要被写体に対する精細なピント合わせや明るさの確認を容易に行うことが可能となる。
【００８８】
また、撮像素子３内で画素加算を行うことにより、ＡＤＣ６によりデジタルデータに変換された後で画素加算するよりも撮像素子３から出力する画素数を減らして上述した効果を得ることができるとともに、増幅回路４やＡＤＣ６におけるノイズの影響を受ける前の画像を加算することができるために、より低ノイズで高画質の画像を、アナログの高速性をもって得ることができる。このとき、加算画像であるために、暗部ノイズの低減を図ることができるのは勿論である。
［実施形態２］
【００８９】
図１２は本発明の実施形態２を示したものであり、被写体領域サイズの異なる複数の画像を出力するときの撮像素子３における処理を示すタイミングチャートである。
【００９０】
この実施形態２において、上述の実施形態１と同様である部分については同一の符号を付して説明を省略し、主として異なる点についてのみ説明する。
【００９１】
上述した実施形態１では、被写体領域サイズの異なる２つの画像データを撮像素子３から出力するようにしたが、この実施形態２は、被写体領域サイズの異なる３つの画像データを撮像素子３から出力するようにしたものである。
【００９２】
すなわち、本実施形態の図１２に示す例では、第１読出制御部２２に印加する垂直同期信号ＶＤ_30fpsは上述した実施形態１と同様の３３ｍｓ周期の３０ｆｐｓの信号であるが、第２読出制御部２４に印加する垂直同期信号ＶＤ_90fpsは１１ｍｓ周期の９０ｆｐｓの信号となっている。また、メモリ走査パルスＶＭＳＴは、タイミングが垂直同期信号ＶＤ_90fpsとずれているだけで、１１ｍｓ周期の９０ｆｐｓの信号である。
【００９３】
所定の露光時間が経過して垂直同期信号ＶＤ_30fpsのパルスが入力（なお、このパルスと同時に垂直同期信号ＶＤ_90fpsのパルスも入力されるタイミングとなっている）されたら、第１読出制御部２２および第３読出制御部２５は、例えばライン単位の画像読出タイミングＲＤで画素部２１から画素信号を読み出させ、フレームメモリ２３に記憶させる。
【００９４】
フレームメモリ２３に全画素画像が記憶されたら、メモリ走査パルスＶＭＳＴが入力されたタイミングで、第２読出制御部２４および第３読出制御部２５は、実施形態１と同様に、まず例えば全画素数よりも画素数が少ない全体画像Ｐ１ｓ（図１２におけるｆ１，ｆ２）の非破壊読出を行う。
【００９５】
この全体画像Ｐ１ｓの読み出しが終了して、次のメモリ走査パルスＶＭＳＴが入力されたら、第２読出制御部２４および第３読出制御部２５は、全画素数よりも画素数が少ない拡大画像Ｐ２ｓ（図１２におけるｃ１，ｃ２）の読み出しを行う。
【００９６】
この拡大画像Ｐ２ｓの読み出しが終了して、さらに次のメモリ走査パルスＶＭＳＴが入力されたら、第２読出制御部２４および第３読出制御部２５は、全画素数よりも画素数が少なく、上記拡大画像Ｐ２ｓとは被写体領域サイズが異なる拡大画像Ｐ３ｓ（図１２におけるｄ１，ｄ２）の読み出しを行う。
【００９７】
このような処理が、画素部２１による撮像が行われる毎に繰り返される。
【００９８】
なお、上述した実施形態１では２種類の被写体領域サイズ、本実施形態では３種類の被写体領域サイズの画像データを撮像素子３から出力したが、もちろん、４種類以上の被写体領域サイズの画像データを出力するようにしても構わない。
【００９９】
また、複数種類の被写体領域サイズの画像データをどのような順序で読み出すかは、必要に応じて適宜の順序で構わない。ただし、１回の撮像毎に読み出す順序を変更すると処理が複雑となるために、読み出し順序を一度決めた後は、その順序で読み出すことを繰り返すようにすることが望ましい。
【０１００】
このような実施形態２によれば、３種類の被写体領域サイズの画像データを撮像素子３から出力する場合において、上述した実施形態１とほぼ同様の効果を奏することが可能となる。
【０１０１】
なお、上述では主として撮像装置について説明したが、本発明は撮像装置に限定されるものではなく、撮像方法であっても良いし、撮像処理プログラムや撮像処理プログラムを記録する記録媒体等であっても構わない。
【０１０２】
また、本発明は上述した実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化することができる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成することができる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除しても良い。さらに、異なる実施形態にわたる構成要素を適宜組み合わせても良い。このように、発明の主旨を逸脱しない範囲内において種々の変形や応用が可能であることは勿論である。
【符号の説明】
【０１０３】
１…レンズ
２…レンズ駆動部
３…撮像素子
４…増幅回路
５…撮像素子駆動部
６…ＡＤＣ
７…データ・制御バス
８…内蔵メモリ
９…画像処理部
１０…表示駆動部
１１…表示部（画像表示部）
１１ａ…画面
１２…脱着メモリ
１３…不揮発性メモリ
１４…ＣＰＵ
２１…画素部
２２…第１読出制御部
２３…フレームメモリ
２４…第２読出制御部
２５…第３読出制御部
２６…出力アンプ
３１…単位画素
３２…列信号線
３３…行信号線
３４…単位アナログメモリ
３５…メモリ列信号線
３６…メモリ行信号線
３７…水平出力スイッチ
３８…水平シフトレジスタ
３９…水平出力信号線
【技術分野】
【０００１】
本発明は、被写体領域サイズが異なる複数の画像データを読み出す撮像装置、撮像方法に関する。
【背景技術】
【０００２】
デジタルカメラ等の電子的な撮像装置では、撮像素子により撮影している動画像を液晶表示素子等の表示装置でリアルタイムに表示することにより、静止画撮影しようとしている被写体を観察するようにしたライブビュー（ＬＶ）が普及している。このとき、構図を確認するためには撮像素子上に結像している像全体を表示する必要があるが、その一方で、主要被写体への合焦度合いを確認するために、要部の精細な拡大画像を表示したいという需要がある。
【０００３】
例えば、特開２０１０−２２６４９６号公報には、全体画像の表示画面中に要部拡大画像の子画面を表示する場合に、子画面が合焦ＡＦ領域に重ならないようにすることで、全体画像中の主要被写体に子画面が重なってしまう等を回避するようにする技術が記載されている。
【０００４】
このような被写体領域サイズが異なる複数の画像データを、ＬＶに適したフレームレートで得る技術は、種々のものが提案されている。
【０００５】
例えば、図１３に示すように、撮像素子の駆動モードを変更することで、複数の被写体領域サイズの画像を得る技術がある。ここに、図１３は、撮像素子の駆動モードを一定周期で変更する第１の従来技術を示すタイミングチャートである。
【０００６】
この技術では、被写体領域全体のＬＶ用画像を読み出す全領域ＬＶモードと、要部の被写体領域のみを拡大してＬＶ用画像として読み出す拡大ＬＶモードと、を一定周期（垂直同期信号ＶＤの周期である例えば１６．６ｍｓ（６０ｆｐｓに対応）の整数倍の周期）で繰り返して行うようになっている。
【０００７】
また、例えば、図１４に示すように、撮像素子上の全画素を高速（図示の例は、３０ｆｐｓで読み出す例）に読み出して、デジタルデータに変換してからデジタルメモリに記憶し、その後に複数の被写体領域サイズの画像を生成する技術もある。ここに、図１４は、全画素を高速読み出しする第２の従来技術を示すタイミングチャートである。
【０００８】
デジタルメモリに記憶した全画素の画像は、表示用画像への画素数変換を行えば、全体画像を表示するのに用いることができる。さらに、このデジタルメモリに記憶されている全画素の画像から所望の領域を切り出して画素数変換することにより、拡大画像を得ることができる。従って、この技術では、拡大画像は撮像素子から出力された全画素の画像データに基づき作成されるために、撮像素子自体から全体画像とは別途に拡大画像が出力されることはない。
【先行技術文献】
【特許文献】
【０００９】
【特許文献１】特開２０１０−２２６４９６号公報
【発明の概要】
【発明が解決しようとする課題】
【００１０】
しかしながら、図１３に示したような駆動を例えば既存のＭＯＳ型撮像素子で行おうとしても、駆動モードを変更するには撮像素子の内部をリセットする必要があるために、駆動モード変更直後の１フレームは露出が不安定となってしまう。しかも、ＡＥ制御も駆動モード毎に制御する必要があるために、高いＡＥ精度を確保するのが難しく、露出がハンチングしてしまう可能性がある。従って、このような技術により得られる動画像は、所々が不連続になってしまい、撮影用の動画像に向かないだけでなく、ＬＶ用の動画像としても見難いものとなってしまう。加えて、同一の露光時点での全領域ＬＶ画像と拡大ＬＶ画像とを得ることができない。
【００１１】
また、上記図１４を参照して説明したような技術を適用するためには、全画素を高速で読み出す必要がある（高データレート化が必要である）が、このためには、高周波数で撮像素子を駆動制御したり、複数チャンネルで読み出しを行ったり、高周波数および複数チャンネルでＡ／Ｄ変換を行ったり、等が必要になる。ひいては、消費電力の増大に伴って大容量の電源電池および発熱対策が必要になったり、回路規模の増大に伴って回路配置スペースの増大さらには装置の大型化が必要になったりするために、コンシューマ向けのシステムには適していない。しかも、全画素を読み出すにはほぼ１垂直同期期間の読出時間が必要となるために、高速の素子シャッタを実現することができず、無視し得ない程度のローリングシャッタ歪みが発生することになる。
【００１２】
本発明は上記事情に鑑みてなされたものであり、ローリングシャッタ歪みが小さい複数の被写体領域サイズの動画像を、不連続性を生じることなく低消費電力で得ることができる撮像装置、撮像方法を提供することを目的としている。
【課題を解決するための手段】
【００１３】
上記の目的を達成するために、本発明のある態様による撮像装置は、複数の画素が２次元状に配置された画素部と、該画素部から読み出したアナログの画像データを一時的にアナログ記憶するフレームメモリと、を有する撮像素子と、１回の露光により得られた全画素の画像データを上記画素部から読み出して上記フレームメモリに記憶させる第１の読出制御を行うとともに、該フレームメモリに記憶されている全画素の画像データから、全画素数よりも画素数が少ない画像データを、被写体領域サイズを異ならせるように、複数回に渡って非破壊読出する第２の読出制御を行う読出制御部と、を備えている。
【００１４】
また、本発明の他の態様による撮像方法は、複数の画素が２次元状に配置された画素部と、該画素部から読み出したアナログの画像データを一時的にアナログ記憶するフレームメモリと、を有する撮像素子から画像データを読み出す撮像方法であって、１回の露光により得られた全画素の画像データを上記画素部から読み出して上記フレームメモリに記憶させる第１の読出を行い、上記フレームメモリに記憶されている全画素の画像データから、全画素数よりも画素数が少ない画像データを、被写体領域サイズを異ならせるように、複数回に渡って非破壊読出する第２の読出を行う方法である。
【発明の効果】
【００１５】
本発明の撮像装置、撮像方法によれば、ローリングシャッタ歪みが小さい複数の被写体領域サイズの動画像を、不連続性を生じることなく低消費電力で得ることが可能となる。
【図面の簡単な説明】
【００１６】
【図１】本発明の実施形態１における撮像装置の構成を示すブロック図。
【図２】上記実施形態１における撮像素子の構成を示す図。
【図３】上記実施形態１における単位アナログメモリの構成例を示す回路図。
【図４】上記実施形態１において、水平画素加算に係るフレームメモリおよび第２読出制御部の構成の一例を示す図。
【図５】上記実施形態１において、図４の回路に与えるＳＲ走査パルスの例を示すタイミングチャート。
【図６】上記実施形態１において、第２の読出制御により非破壊読出される、被写体領域サイズの異なる複数の画像の例を示す図。
【図７】上記実施形態１において、撮像素子から読み出された全体画像および拡大画像のライブビュー表示例を示す図。
【図８】上記実施形態１において、全画素画像Ｐ１から切り出した部分領域Ｐ２’をさらに画素数変換する例を示す図。
【図９】上記実施形態１において、水平２画素加算および垂直２画素加算により画素数を１／４に画素数変換する処理を説明するための図。
【図１０】上記実施形態１において、被写体領域サイズの異なる複数の画像を出力するときの撮像素子における処理を示すタイミングチャート。
【図１１】上記実施形態１において、被写体領域サイズの異なる複数の画像を出力するときの撮像素子における処理および表示例を示すタイミングチャート。
【図１２】本発明の実施形態２において、被写体領域サイズの異なる複数の画像を出力するときの撮像素子における処理を示すタイミングチャート。
【図１３】撮像素子の駆動モードを一定周期で変更する第１の従来技術を示すタイミングチャート。
【図１４】全画素を高速読み出しする第２の従来技術を示すタイミングチャート。
【発明を実施するための形態】
【００１７】
以下、図面を参照して本発明の実施の形態を説明する。
［実施形態１］
【００１８】
図１から図１１は本発明の実施形態１を示したものであり、図１は撮像装置の構成を示すブロック図である。
【００１９】
この撮像装置は、例えばデジタルカメラとして構成されていて、レンズ１と、レンズ駆動部２と、撮像素子３と、増幅回路４と、撮像素子駆動部５と、ＡＤＣ（Analog to Digital Converter：Ａ／Ｄコンバータ）６と、データ・制御バス７と、内蔵メモリ８と、画像処理部９と、表示駆動部１０と、表示部１１と、脱着メモリ１２と、不揮発性メモリ１３と、ＣＰＵ１４と、を備えている。
【００２０】
レンズ１は、被写体の光学像を撮像素子３の撮像面上に結像するための撮影光学系であり、合焦位置を調整するためのフォーカスレンズや、光学像の明るさを調整するための絞り機構を含んでいる。
【００２１】
レンズ駆動部２は、ＣＰＵ１４の制御に基づいて、レンズ１のフォーカスレンズや絞り機構を制御するものである。
【００２２】
撮像素子３は、レンズ１により結像された被写体の光学像を光電変換して、電気的なアナログの画像信号を生成し出力するものである。
【００２３】
撮像素子駆動部５は、ＣＰＵ１４の制御に基づき、撮像素子３を駆動するためのタイミング信号を出力するものである。撮像素子３からの画像信号の読み出しは、ＣＰＵ１４の制御に基づいて、この撮像素子駆動部５により行われる。
【００２４】
増幅回路４は、撮像素子３から出力されるアナログの信号を増幅するものである。
【００２５】
ＡＤＣ６は、アナログ信号をデジタルデータに変換するものである。このＡＤＣ６の出力側は、ＣＰＵ１４を介してデータ・制御バス７に接続されている。従って、ＡＤＣ６から出力されたデジタルデータは、ＣＰＵ１４およびデータ・制御バス７を介して、例えば内蔵メモリ８やその他の各回路へ出力される。
【００２６】
データ・制御バス７は、ＣＰＵ１４が接続されるとともに、内蔵メモリ８と、画像処理部９と、表示駆動部１０と、脱着メモリ１２と、不揮発性メモリ１３と、が双方向に接続されていて、制御信号や各種のデータを相互に授受するためのものである。
【００２７】
内蔵メモリ８は、ＡＤＣ６によりデジタルデータに変換された画像信号や、画像処理部９により処理された画像信号を記憶するのに用いられると共に、ＣＰＵ１４が処理を行う際のメモリとしても用いられる例えば揮発性の記憶媒体である。
【００２８】
画像処理部９は、内蔵メモリ８に格納されている画像信号に対して、各種のデジタル信号処理を施して、処理結果の画像信号を内蔵メモリ８に再び格納するものである。
【００２９】
表示駆動部１０は、表示部１１を駆動して画像を表示させるものである。
【００３０】
表示部１１は、表示駆動部１０により駆動されて、撮像素子３により撮影されたライブビュー画像（リアルタイムで撮影されている動画像）を表示したり、静止画撮影された画像を撮影後に確認するために表示したりするものである。この表示部１１は、ライブビュー時には、後述する読出制御部の制御により撮像素子３から読み出された被写体領域サイズの異なる複数の画像データを表示する画像表示部として機能する。
【００３１】
脱着メモリ１２は、画像処理部９により記録用に処理された画像信号を不揮発に記録するための記録媒体であり、例えばメモリカードなどとして撮像装置に対して着脱可能に構成されている。従って、この脱着メモリ１２は、撮像装置に固有の構成でなくても構わない。
【００３２】
不揮発性メモリ１３は、ＣＰＵ１４により実行される種々の処理プログラムや、処理プログラムを実行する際に必要な各種のデータ等を格納する記録媒体である。
【００３３】
ＣＰＵ１４は、この撮像装置全体の動作を制御するものである。例えば、ＣＰＵ１４は、ＡＤＣ６から出力される画像信号に基づいてＡＦ評価値やＡＥ評価値を算出し、算出結果に基づいてレンズ駆動部２を制御してレンズ１を駆動させる。さらに、ＣＰＵ１４は、撮像素子駆動部５を介して、撮像素子３の動作（例えば、静止画撮影動作やライブビュー撮影動作など）の制御を行うものである。
【００３４】
図２は、撮像素子３の構成を示す図である。
【００３５】
撮像素子３は、図２に示すように、画素部２１と、第１読出制御部２２と、フレームメモリ２３と、第２読出制御部２４と、第３読出制御部２５と、出力アンプ２６と、を備えている。
【００３６】
画素部２１は、複数の画素（図２に示す単位画素３１）が行方向および列方向の２次元状に配置されたものである。単位画素３１は、受光した光量に応じた量の電荷を蓄積するフォトダイオード（ＰＤ）や、フローティングディフュージョン（ＦＤ）、複数のトランジスタ（リセットトランジスタ、読出トランジスタ、増幅トランジスタ、行選択トランジスタ等）を備えて構成されている。そして、画素部２１における、単位画素３１の列方向の各並びには列信号線３２がそれぞれ接続され、単位画素３１の行方向の各並びには行信号線３３がそれぞれ接続されている。ここに、各列信号線３２は第１読出制御部２２に接続され、各行信号線３３は第３読出制御部２５に接続されている。
【００３７】
第１読出制御部２２は、第３読出制御部２５の制御に基づき、１回の露光により得られた全画素の画像データを画素部２１から読み出してフレームメモリ２３に記憶させる第１の読出制御を行うものである。ここに、第１の読出制御においては、画素部２１からフレームメモリ２３への読み出しは、複数の列信号線３２を用いて複数の画素ずつ同時にパラレルに行うようになっており、画素部２１からフレームメモリ２３への高速転送、ひいては素子シャッタにおける高速シャッタが可能となっている。この第１読出制御部２２は、列信号線３２から読み出されたアナログ信号をアナログ増幅する垂直信号増幅回路、相関２重サンプリングを行うＣＤＳ回路、フレームメモリ２３への垂直方向の書き込み制御を行うアナログメモリライト制御部等を備えて構成されている。
【００３８】
フレームメモリ２３は、画素部２１に設けられた複数の単位画素３１に各対応する複数の単位アナログメモリ３４が行方向および列方向の２次元状に配置されたものであり、画素部２１から読み出されたアナログの画像データを一時的にアナログ記憶するものである。そして、フレームメモリ２３における、単位アナログメモリ３４の列方向の各並びにはメモリ列信号線３５がそれぞれ接続され、単位アナログメモリ３４の行方向の各並びにはメモリ行信号線３６がそれぞれ接続されている。ここに、各メモリ列信号線３５は第１読出制御部２２および第２読出制御部２４に接続され、各メモリ行信号線３６は第３読出制御部２５に接続されている。
【００３９】
第２読出制御部２４は、第３読出制御部２５の制御に基づき、フレームメモリ２３に記憶されている画像データを読み出す制御を行うものである。これら第２読出制御部２４および第３読出制御部２５は、特にライブビュー撮影動作時には、フレームメモリ２３に記憶されている全画素の画像データから、全画素数よりも画素数が少ない画像データを、被写体領域サイズを異ならせるように、複数回に渡って非破壊読出する第２の読出制御を行う。ここに、第２の読出制御における被写体領域サイズの異なる複数の画像データは、後で説明するように、例えば、全画素でなる画像データと同一の被写体領域を有する全体画像データと、全画素でなる画像データよりも小さい被写体領域を有する拡大画像データと、を含んでいる。さらに、第２の読出制御の非破壊読出においては、画素加算読出と画素間引読出との少なくとも一方と、切出読出と、を行うようになっている。そして、全体画像データを読み出す際には画素加算読出と画素間引読出との少なくとも一方を行い、拡大画像データを読み出す際には少なくとも切出読出を行うようにしている。その結果、同一被写体部分を構成する画素数は、全体画像データよりも拡大画像データの方が多くなり、つまり拡大画像データの方が同一被写体部分をより高精細に表示可能となる。
【００４０】
第３読出制御部２５は、画素部２１に対する垂直走査信号（垂直ＳＲ走査信号、画素読出信号、画素リセット信号、行選択信号など）の生成と、第１読出制御部２２を制御するための制御信号（垂直信号増幅回路制御信号、Ｓ／Ｈ回路（サンプルホールド回路）制御信号など）の生成と、フレームメモリ２３を制御するための制御信号（メモリ行選択信号、メモリライト信号、メモリリード信号など）の生成と、第２読出制御部２４を制御するための制御信号（水平ＳＲ走査信号、列間引（加算）信号など）の生成と、を行うものである。
【００４１】
ここに、読出制御部としては、撮像素子３の内部に構成されている第１〜３読出制御部２２，２４，２５が該当し、さらに広くは、撮像素子駆動部５、ＣＰＵ１４なども該当し得る 。
【００４２】
出力アンプ２６は、第２読出制御部２４から読み出されるアナログの画像信号をアナログ増幅して出力するものである。
【００４３】
次に、図３は単位アナログメモリ３４の構成例を示す回路図である。
【００４４】
単位アナログメモリ３４は、この図３に示す例においては、第１ＯＰアンプＡＭＰ１と、第１スイッチＳＷ１と、第１アンド回路ＡＮＤ１と、コンデンサＣと、第２ＯＰアンプＡＭＰ２と、第２スイッチＳＷ２と、第２アンド回路ＡＮＤ２と、を備えていて、サンプルホールド回路が構成されている。
【００４５】
第１読出制御部２２を介して読み出された画素信号は、第１ＯＰアンプＡＭＰ１の非反転入力端に入力されるようになっている。この第１ＯＰアンプＡＭＰ１の出力端は、該第１ＯＰアンプＡＭＰ１の反転入力端に接続されるとともに、第１スイッチＳＷ１の一端側に接続されている。
【００４６】
第１スイッチＳＷ１は、第１アンド回路ＡＮＤ１の出力によりオン／オフ制御されるようになっており、この第１アンド回路ＡＮＤ１にはメモリ行選択信号とメモリライト信号とが入力される。
【００４７】
第１スイッチＳＷ１の他端側は、一端が設置されたコンデンサＣに接続されるとともに、第２ＯＰアンプＡＭＰ２のの非反転入力端に接続されている。この第２ＯＰアンプＡＭＰ２の出力端は、該第２ＯＰアンプＡＭＰ２の反転入力端に接続されるとともに、第２スイッチＳＷ２の一端側に接続されている。
【００４８】
第２スイッチＳＷ２は、第２アンド回路ＡＮＤ２の出力によりオン／オフ制御されるようになっており、この第２アンド回路ＡＮＤ２にはメモリ行選択信号とメモリリード信号とが入力される。
【００４９】
このような構成において、単位画素３１から読み出された画素信号の電圧は、第１スイッチＳＷ１のオンによりコンデンサＣに保持される。その後、第１スイッチＳＷ１をオフにすることで、コンデンサＣに保持された状態が維持される。さらにその後、第２スイッチＳＷ２のオンにより、コンデンサＣに保持されている画素信号の電圧が非破壊読出される（従って、繰り返して読み出すことが可能である）。
【００５０】
次に、図４は水平画素加算に係るフレームメモリ２３および第２読出制御部２４の構成の一例を示す図、図５は図４の回路に与えるＳＲ走査パルスの例を示すタイミングチャートである。
【００５１】
フレームメモリ２３中のある行に配列されている符号Ｈ１Ｍ，…，Ｈ７Ｍ，…で示す単位アナログメモリ３４に各保持されている画素信号は、メモリ行信号線３６を介して、図３に示した第２アンド回路ＡＮＤ２へメモリ行選択信号およびメモリリード信号を印加することにより、符号Ｈ１，…，Ｈ７，…で示すメモリ列信号線３５を介して、第２読出制御部２４へ読み出される。
【００５２】
第２読出制御部２４は、符号Ｈ１，…，Ｈ７，…で示すメモリ列信号線３５に各接続される複数の水平出力スイッチ３７を備えている。これら複数の水平出力スイッチ３７は、水平出力信号線３９を介して、上述した出力アンプ２６に接続されるとともに、水平シフトレジスタ３８に接続されている。
【００５３】
この水平シフトレジスタ３８において、符号Ｈ１，…，Ｈ７，…で示すメモリ列信号線３５に接続される水平出力スイッチ３７に対応するシフトレジスタを、符号ＳＲ１，…，ＳＲ７，…で示している。
【００５４】
このような水平シフトレジスタ３８には、クロック信号とＳＲ走査パルスとが印加されるようになっている。例えば水平２画素加算を行う場合には、図５に示すようなクロック信号と、シフトレジスタＳＲ１，…へのＳＲ走査パルスと、が水平シフトレジスタ３８に印加される。
【００５５】
すなわち、図５における期間ｔ０のタイミングでシフトレジスタＳＲ１，ＳＲ２にのみハイレベルの信号を印加することにより、符号Ｈ１ＭおよびＨ２Ｍで示す単位アナログメモリ３４に保持されている画素信号を平均化した信号（つまり、画素混合された信号）が、出力アンプ２６により増幅されて出力される。
【００５６】
同様に、図５における期間ｔ１のタイミングでシフトレジスタＳＲ３，ＳＲ４にのみハイレベルの信号を印加することにより、符号Ｈ３ＭおよびＨ４Ｍで示す単位アナログメモリ３４に保持されている画素信号を平均化した信号が、出力アンプ２６により増幅されて出力される。
【００５７】
このような処理を順に行うことにより水平２画素加算された１ライン分の画素信号が読み出され、さらにこの処理を全ラインに対して行うことにより、水平２画素加算された全体画像が読み出されることになる。
【００５８】
なお、ここでは加算数が２である場合を説明したが、加算数が一般にｎ（ｎは２以上の整数）である場合には、同時にハイレベルのＳＲ走査パルスを印加するシフトレジスタの数をｎとすれば良い。さらに、ここでは水平方向の画素加算を説明したが、垂直方向の画素加算についても同様の構成を用いて実現することが可能である。すなわち、例えば垂直方向の２画素加算を行う場合には、加算しようとする２つのラインを同時に選択することにより、垂直方向の２画素分の単位アナログメモリ３４に保持されている画素信号を平均化した信号が、出力アンプ２６により増幅されて出力される。そして、水平方向の画素加算と垂直方向の画素加算とを組み合わせることにより、水平および垂直方向の画素加算が可能となる。
【００５９】
次に、図６は、第２の読出制御により非破壊読出される、被写体領域サイズの異なる複数の画像の例を示す図である。
【００６０】
図６（Ａ）は画素部２１により生成される全画素画像Ｐ１を示している。この全画素画像Ｐ１は、画素部２１から読み出されて、フレームメモリ２３に記憶される。
【００６１】
この全画素画像Ｐ１を、第２読出制御部２４および第３読出制御部２５により画素加算読出と画素間引読出との少なくとも一方を行うことにより、図６（Ｂ）に示すような、全画素数よりも画素数が少ない全体画像Ｐ１ｓが撮像素子３から出力される。
【００６２】
また、図６（Ａ）に示した全画素画像Ｐ１中の部分領域Ｐ２を切出読出することにより、図６（Ｃ）に示すような、全画素数よりも画素数が少ない拡大画像Ｐ２ｓが撮像素子３から出力される。
【００６３】
上述したように、同一被写体部分を構成する画素数は、図６（Ｂ）に示す全体画像よりも図６（Ｃ）に示す拡大画像の方が多く、拡大画像の方が高精細である。
【００６４】
なお、撮像素子３から出力される全体画像Ｐ１ｓと拡大画像Ｐ２ｓは、同一画素数であっても良いし、異なる画素数であっても構わない。ライブビュー時に必要な画素数は、表示部１１の表示画素数に依存するが、例えば表示部１１がＳＶＧＡのものである場合には、全体画像Ｐ１ｓをＳＶＧＡ、拡大画像Ｐ２ｓをＳＶＧＡ〜ＶＧＡとすることが挙げられる。これは、全体画像Ｐ１ｓは表示部１１の画面全体に表示されることが多く、拡大画像Ｐ２ｓは画面全体または画面の一部に表示されることが考えられるためである（下記に説明する図７も参照）。
【００６５】
図７は撮像素子から読み出された全体画像および拡大画像のライブビュー表示例を示す図である。
【００６６】
この図７に示す例では、表示部１１の画面１１ａの全面に全体画像Ｐ１ｓに基づく全領域ライブビューＬＶ１が行われ、この全領域ライブビューＬＶ１の上に重なるように、より小さな表示領域で拡大画像Ｐ２ｓに基づく拡大領域ライブビューＬＶ２が行われている。
【００６７】
なお、図６（Ｃ）に示した例では、全画素画像Ｐ１中の部分領域Ｐ２を切出読出していたが、表示したい拡大画像の領域サイズがより大きい場合には、切出読出だけでなく、さらに画素加算読出と画素間引読出との少なくとも一方を組み合わせて行うことにより、撮像素子３から出力される画像の画素数を減らすと良い。
【００６８】
図８は全画素画像Ｐ１から切り出した部分領域Ｐ２’をさらに画素数変換する例を示す図である。
【００６９】
例えば、拡大領域ライブビューＬＶ２を行うために出力する画像サイズが６４０×４８０ピクセルで足りる場合であって、全画素画像Ｐ１から切り出したい部分領域Ｐ２’の画像サイズが図８（Ａ）に示すように１２８０×９６０ピクセルである場合には、画素加算または画素間引を行う。ここに、図９は水平２画素加算および垂直２画素加算により画素数を１／４に画素数変換する処理を説明するための図である。例えばこの図９に示す画素数変換処理を行って、画素数を図８（Ｂ）に示すように１／４に減らした拡大画像Ｐ２’ｓを生成してから、撮像素子３から出力する。なお、図９は、ベイヤー配列の単板撮像素子を想定したときの、同色画素同士の２×２画素加算の例を示している。
【００７０】
このような処理を行うことにより、ＡＤＣ６で処理する画素数を減らすことができるために、消費電力のより一層の低減を図ることが可能となる。
【００７１】
続いて、図１０は被写体領域サイズの異なる複数の画像を出力するときの撮像素子３における処理を示すタイミングチャートである。
【００７２】
この図１０に示す例では、第１読出制御部２２に印加する垂直同期信号ＶＤ_30fpsを３３ｍｓ周期の３０ｆｐｓの信号、第２読出制御部２４に印加する垂直同期信号ＶＤ_60fpsを１６．６ｍｓ周期の６０ｆｐｓの信号としている。また、メモリ走査パルスＶＭＳＴは、タイミングが垂直同期信号ＶＤ_60fpsとずれているだけで、１６．６ｍｓ周期の６０ｆｐｓの信号である。
【００７３】
画素部２１は、例えばライン単位での画像読出タイミングＲＤから所定の露光時間だけ遡ったリセットタイミングＲＳＴで、単位画素３１をライン単位で順次リセットする。
【００７４】
その後、所定の露光時間が経過して垂直同期信号ＶＤ_30fpsのパルスが入力（なお、このパルスと同時に垂直同期信号ＶＤ_60fpsのパルスも入力されるタイミングとなっている）されたら、第１読出制御部２２および第３読出制御部２５は、単位画素３１の画素信号をライン単位で順次画素部２１から出力させ、フレームメモリ２３に記憶させる。
【００７５】
フレームメモリ２３における画素記憶はアナログであるために、画素信号の転送を高速に行うことができる。しかも、上述したように、画素部２１からフレームメモリ２３への読み出しは、複数の列信号線３２を用いたパラレル処理であるために、より一層の高速転送が可能である。こうして、従来の撮像素子が画素毎のアナログデジタル変換に時間を要して低速の素子シャッタとなるのに対して、本実施形態の構成よれば高速の素子シャッタを実現することが可能となっている。
【００７６】
その後、フレームメモリ２３に全画素画像が記憶されたら、メモリ走査パルスＶＭＳＴが入力されたタイミングで、第２読出制御部２４および第３読出制御部２５は、まず例えば全画素数よりも画素数が少ない全体画像Ｐ１ｓ（図１０において、各フレームの全体画像を符号ｆ１，ｆ２として示している）の読み出しを行う。この拡大画像Ｐ１ｓの読み出しは、上述したように、画素加算と画素間引との少なくとも一方を伴う非破壊読出となる。
【００７７】
この全体画像Ｐ１ｓの読み出しが終了して、次のメモリ走査パルスＶＭＳＴが入力されたら、第２読出制御部２４および第３読出制御部２５は、全画素数よりも画素数が少ない拡大画像Ｐ２ｓ（図１０において、各拡大画像を符号ｃ１，ｃ２として示している）の読み出しを行う。この拡大画像Ｐ２ｓの読み出しは、上述したように、少なくとも切出読出を行う非破壊読出である。
【００７８】
このような処理が、画素部２１による撮像が行われる毎に繰り返される。従って、読出制御部は、第１の読出制御を所定周期で行うとともに、所定周期の１期間内において、第２の読出制御における複数回の非破壊読出を、被写体領域サイズ毎の所定の順番で行うものとなっている。
【００７９】
次に、図１１は被写体領域サイズの異なる複数の画像を出力するときの撮像素子３における処理および表示例を示すタイミングチャートである。
【００８０】
この図１１に示す例では、画素部２１における露光時間が図１０に示した例よりも短くなっている。この場合には、図１０に示した例よりも出力される画像が暗くなると考えられる。上述した画素加算により画像の輝度レベルを改善することができれば良いが、それでもなお輝度が不足する場合もあり得る。このような場合であってもより明るい画像を得ることができるように、ここでは画像処理部９が画像加算の処理を行うようになっている。すなわち、画像処理部９は、全体画像Ｐ１ｓについて、２フレーム分の画像を加算（ｆ０＋ｆ１，Ｆ１＋ｆ２，…等）して、その画像を表示部１１の全領域ライブビューＬＶ１として表示させるように出力する。なお、このときには、全領域ライブビューＬＶ１と拡大領域ライブビューＬＶ２とは、表示の更新タイミングが図示のようにずれることになる。
【００８１】
なお、連続する２フレームの露光時間差（図１１に示す例では、垂直同期信号ＶＤ_30fpsの周期である３３ｍｓ）における全体画像Ｐ１ｓの表示ずれは（画角が大きく、各被写体が小さく表示されるので）比較的小さいと考えられるために、この図１１に示す例では、全領域ライブビューＬＶ１のみについて画像を加算したが、被写体が静止している場合や動きが小さい場合、手振れが小さいと考えられる場合（手振れ検出を行ってその結果を参照すれば良い）などには、拡大領域ライブビューＬＶ２についても画像を加算しても構わない。また、加算するフレーム数も２に限るものでないことは勿論である。
【００８２】
このような実施形態１によれば、被写体領域サイズが異なる複数の画像を得る際に、撮像モードの変更を行う必要がないために、不連続性を生じることなく、滑らかな動画像を取得することが可能となる。
【００８３】
さらに、ライブビュー時には、撮像素子から出力する画像データを、全画素数よりも画素数が少ない画像データとしているために、撮像素子３の読出クロックやＡＤＣ６の動作クロック等を高クロックとする必要がなく、消費電力を低減することが可能となる。また、全画素数を高速に読み出す必要がなくなるために、複数チャンネルに対応した読出回路やＡＤＣ等も不要となり、回路規模の縮小を図ることができる。
【００８４】
また、画素部２１において生成された画像データを、まずフレームメモリ２３へアナログ転送するようにしているために、画素単位でのデジタル信号への変換を待つ必要がなくなり、高速素子シャッタを実現し、ローリングシャッタ歪みを小さくすることができる。このとき、フレームメモリ２３へのアナログ転送を、同時に複数の画素ずつ、具体的には１つのライン上に配列された全列の画素ずつパラレルに行っているために、より一層の高速転送を行うことができ、より高速シャッタを実現することができる。
【００８５】
そして、撮像素子３からの画像データの読み出しを、画素部２１からではなくフレームメモリ２３から行っているために、被写体領域サイズや画素数が異なる画像の読み出しを容易に行うことができる。しかも、フレームメモリ２３からの画像データの読み出しを非破壊に行っているために、同一露光時点における被写体領域サイズが異なる複数の画像を得ることが可能となる。
【００８６】
また、第１の読出制御を所定周期で行い、この所定周期の１期間内において、第２の読出制御における複数回の非破壊読出を、被写体領域サイズ毎の所定の順番で行うようにしているために、撮像素子３の制御や画像処理部９における画像処理が簡単になり、引いては構成を簡単にすることができる。
【００８７】
さらに、同一被写体部分を構成する画素数が、全体画像データよりも拡大画像データの方が多くなるようにしているために、被写体領域サイズの異なる全体画像および拡大画像を画像表示部で表示することにより、全体画像により構図を確認しながら、拡大画像により主要被写体に対する精細なピント合わせや明るさの確認を容易に行うことが可能となる。
【００８８】
また、撮像素子３内で画素加算を行うことにより、ＡＤＣ６によりデジタルデータに変換された後で画素加算するよりも撮像素子３から出力する画素数を減らして上述した効果を得ることができるとともに、増幅回路４やＡＤＣ６におけるノイズの影響を受ける前の画像を加算することができるために、より低ノイズで高画質の画像を、アナログの高速性をもって得ることができる。このとき、加算画像であるために、暗部ノイズの低減を図ることができるのは勿論である。
［実施形態２］
【００８９】
図１２は本発明の実施形態２を示したものであり、被写体領域サイズの異なる複数の画像を出力するときの撮像素子３における処理を示すタイミングチャートである。
【００９０】
この実施形態２において、上述の実施形態１と同様である部分については同一の符号を付して説明を省略し、主として異なる点についてのみ説明する。
【００９１】
上述した実施形態１では、被写体領域サイズの異なる２つの画像データを撮像素子３から出力するようにしたが、この実施形態２は、被写体領域サイズの異なる３つの画像データを撮像素子３から出力するようにしたものである。
【００９２】
すなわち、本実施形態の図１２に示す例では、第１読出制御部２２に印加する垂直同期信号ＶＤ_30fpsは上述した実施形態１と同様の３３ｍｓ周期の３０ｆｐｓの信号であるが、第２読出制御部２４に印加する垂直同期信号ＶＤ_90fpsは１１ｍｓ周期の９０ｆｐｓの信号となっている。また、メモリ走査パルスＶＭＳＴは、タイミングが垂直同期信号ＶＤ_90fpsとずれているだけで、１１ｍｓ周期の９０ｆｐｓの信号である。
【００９３】
所定の露光時間が経過して垂直同期信号ＶＤ_30fpsのパルスが入力（なお、このパルスと同時に垂直同期信号ＶＤ_90fpsのパルスも入力されるタイミングとなっている）されたら、第１読出制御部２２および第３読出制御部２５は、例えばライン単位の画像読出タイミングＲＤで画素部２１から画素信号を読み出させ、フレームメモリ２３に記憶させる。
【００９４】
フレームメモリ２３に全画素画像が記憶されたら、メモリ走査パルスＶＭＳＴが入力されたタイミングで、第２読出制御部２４および第３読出制御部２５は、実施形態１と同様に、まず例えば全画素数よりも画素数が少ない全体画像Ｐ１ｓ（図１２におけるｆ１，ｆ２）の非破壊読出を行う。
【００９５】
この全体画像Ｐ１ｓの読み出しが終了して、次のメモリ走査パルスＶＭＳＴが入力されたら、第２読出制御部２４および第３読出制御部２５は、全画素数よりも画素数が少ない拡大画像Ｐ２ｓ（図１２におけるｃ１，ｃ２）の読み出しを行う。
【００９６】
この拡大画像Ｐ２ｓの読み出しが終了して、さらに次のメモリ走査パルスＶＭＳＴが入力されたら、第２読出制御部２４および第３読出制御部２５は、全画素数よりも画素数が少なく、上記拡大画像Ｐ２ｓとは被写体領域サイズが異なる拡大画像Ｐ３ｓ（図１２におけるｄ１，ｄ２）の読み出しを行う。
【００９７】
このような処理が、画素部２１による撮像が行われる毎に繰り返される。
【００９８】
なお、上述した実施形態１では２種類の被写体領域サイズ、本実施形態では３種類の被写体領域サイズの画像データを撮像素子３から出力したが、もちろん、４種類以上の被写体領域サイズの画像データを出力するようにしても構わない。
【００９９】
また、複数種類の被写体領域サイズの画像データをどのような順序で読み出すかは、必要に応じて適宜の順序で構わない。ただし、１回の撮像毎に読み出す順序を変更すると処理が複雑となるために、読み出し順序を一度決めた後は、その順序で読み出すことを繰り返すようにすることが望ましい。
【０１００】
このような実施形態２によれば、３種類の被写体領域サイズの画像データを撮像素子３から出力する場合において、上述した実施形態１とほぼ同様の効果を奏することが可能となる。
【０１０１】
なお、上述では主として撮像装置について説明したが、本発明は撮像装置に限定されるものではなく、撮像方法であっても良いし、撮像処理プログラムや撮像処理プログラムを記録する記録媒体等であっても構わない。
【０１０２】
また、本発明は上述した実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化することができる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成することができる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除しても良い。さらに、異なる実施形態にわたる構成要素を適宜組み合わせても良い。このように、発明の主旨を逸脱しない範囲内において種々の変形や応用が可能であることは勿論である。
【符号の説明】
【０１０３】
１…レンズ
２…レンズ駆動部
３…撮像素子
４…増幅回路
５…撮像素子駆動部
６…ＡＤＣ
７…データ・制御バス
８…内蔵メモリ
９…画像処理部
１０…表示駆動部
１１…表示部（画像表示部）
１１ａ…画面
１２…脱着メモリ
１３…不揮発性メモリ
１４…ＣＰＵ
２１…画素部
２２…第１読出制御部
２３…フレームメモリ
２４…第２読出制御部
２５…第３読出制御部
２６…出力アンプ
３１…単位画素
３２…列信号線
３３…行信号線
３４…単位アナログメモリ
３５…メモリ列信号線
３６…メモリ行信号線
３７…水平出力スイッチ
３８…水平シフトレジスタ
３９…水平出力信号線
【特許請求の範囲】
【請求項１】
複数の画素が２次元状に配置された画素部と、該画素部から読み出したアナログの画像データを一時的にアナログ記憶するフレームメモリと、を有する撮像素子と、
１回の露光により得られた全画素の画像データを上記画素部から読み出して上記フレームメモリに記憶させる第１の読出制御を行うとともに、該フレームメモリに記憶されている全画素の画像データから、全画素数よりも画素数が少ない画像データを、被写体領域サイズを異ならせるように、複数回に渡って非破壊読出する第２の読出制御を行う読出制御部と、
を具備したことを特徴とする撮像装置。
【請求項２】
上記読出制御部は、上記第１の読出制御を所定周期で行うとともに、該所定周期の１期間内において、上記第２の読出制御における複数回の非破壊読出を、被写体領域サイズ毎の所定の順番で行うものであることを特徴とする請求項１に記載の撮像装置。
【請求項３】
上記第２の読出制御における被写体領域サイズの異なる複数の画像データは、全画素でなる画像データと同一の被写体領域を有する全体画像データと、全画素でなる画像データよりも小さい被写体領域を有する拡大画像データと、を含み、
上記読出制御部は、上記第２の読出制御の非破壊読出において、さらに、画素加算読出と画素間引読出との少なくとも一方と、切出読出と、を行うものであって、全体画像データを読み出す際には画素加算読出と画素間引読出との少なくとも一方を行い、拡大画像データを読み出す際には少なくとも切出読出を行うことにより、同一被写体部分を構成する画素数が、全体画像データよりも拡大画像データの方が多くなるようにするものであることを特徴とする請求項２に記載の撮像装置。
【請求項４】
上記読出制御部は、上記第１の読出制御において、上記画素部から上記フレームメモリへの読み出しを、複数の画素ずつ同時にパラレルに行うものであることを特徴とする請求項１に記載の撮像装置。
【請求項５】
上記読出制御部の制御により上記撮像素子から読み出された被写体領域サイズの異なる複数の画像データを表示する画像表示部をさらに具備したことを特徴とする請求項１に記載の撮像装置。
【請求項６】
複数の画素が２次元状に配置された画素部と、該画素部から読み出したアナログの画像データを一時的にアナログ記憶するフレームメモリと、を有する撮像素子から画像データを読み出す撮像方法であって、
１回の露光により得られた全画素の画像データを上記画素部から読み出して上記フレームメモリに記憶させる第１の読出を行い、
上記フレームメモリに記憶されている全画素の画像データから、全画素数よりも画素数が少ない画像データを、被写体領域サイズを異ならせるように、複数回に渡って非破壊読出する第２の読出を行う、
ことを特徴とする撮像方法。
【請求項１】
複数の画素が２次元状に配置された画素部と、該画素部から読み出したアナログの画像データを一時的にアナログ記憶するフレームメモリと、を有する撮像素子と、
１回の露光により得られた全画素の画像データを上記画素部から読み出して上記フレームメモリに記憶させる第１の読出制御を行うとともに、該フレームメモリに記憶されている全画素の画像データから、全画素数よりも画素数が少ない画像データを、被写体領域サイズを異ならせるように、複数回に渡って非破壊読出する第２の読出制御を行う読出制御部と、
を具備したことを特徴とする撮像装置。
【請求項２】
上記読出制御部は、上記第１の読出制御を所定周期で行うとともに、該所定周期の１期間内において、上記第２の読出制御における複数回の非破壊読出を、被写体領域サイズ毎の所定の順番で行うものであることを特徴とする請求項１に記載の撮像装置。
【請求項３】
上記第２の読出制御における被写体領域サイズの異なる複数の画像データは、全画素でなる画像データと同一の被写体領域を有する全体画像データと、全画素でなる画像データよりも小さい被写体領域を有する拡大画像データと、を含み、
上記読出制御部は、上記第２の読出制御の非破壊読出において、さらに、画素加算読出と画素間引読出との少なくとも一方と、切出読出と、を行うものであって、全体画像データを読み出す際には画素加算読出と画素間引読出との少なくとも一方を行い、拡大画像データを読み出す際には少なくとも切出読出を行うことにより、同一被写体部分を構成する画素数が、全体画像データよりも拡大画像データの方が多くなるようにするものであることを特徴とする請求項２に記載の撮像装置。
【請求項４】
上記読出制御部は、上記第１の読出制御において、上記画素部から上記フレームメモリへの読み出しを、複数の画素ずつ同時にパラレルに行うものであることを特徴とする請求項１に記載の撮像装置。
【請求項５】
上記読出制御部の制御により上記撮像素子から読み出された被写体領域サイズの異なる複数の画像データを表示する画像表示部をさらに具備したことを特徴とする請求項１に記載の撮像装置。
【請求項６】
複数の画素が２次元状に配置された画素部と、該画素部から読み出したアナログの画像データを一時的にアナログ記憶するフレームメモリと、を有する撮像素子から画像データを読み出す撮像方法であって、
１回の露光により得られた全画素の画像データを上記画素部から読み出して上記フレームメモリに記憶させる第１の読出を行い、
上記フレームメモリに記憶されている全画素の画像データから、全画素数よりも画素数が少ない画像データを、被写体領域サイズを異ならせるように、複数回に渡って非破壊読出する第２の読出を行う、
ことを特徴とする撮像方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【公開番号】特開２０１２−２５３４２２（Ｐ２０１２−２５３４２２Ａ）
【公開日】平成２４年１２月２０日（２０１２．１２．２０）
【国際特許分類】
【出願番号】特願２０１１−１２２３４２（Ｐ２０１１−１２２３４２）
【出願日】平成２３年５月３１日（２０１１．５．３１）
【出願人】（５０４３７１９７４）オリンパスイメージング株式会社 (2,647)
【Ｆターム（参考）】
【公開日】平成２４年１２月２０日（２０１２．１２．２０）
【国際特許分類】
【出願日】平成２３年５月３１日（２０１１．５．３１）
【出願人】（５０４３７１９７４）オリンパスイメージング株式会社 (2,647)
【Ｆターム（参考）】
[ Back to top ]