撮像装置
【課題】高度な画像処理を要することなく、位置ずれが小さい広ダイナミックレンジ画像を得るための画像データを取得可能な撮像装置を提供する。
【解決手段】複数の画素が２次元状に配列された画素部２１と、露光量を決定し画素部２１を連続的に複数回露光するように制御する露光量制御部と、出力画像の複数フレーム分の画素部２１の画素信号を記憶し得るメモリ部２２と、画素部２１の画素信号を読み出してメモリ部２２に格納する垂直走査回路２４と、メモリ部２２に格納した画素信号を読み出す列処理部２３と、を備え、垂直走査回路２４は、複数回の露光に係る各画素信号を順次読み出してメモリ部２２に格納する撮像装置。
【解決手段】複数の画素が２次元状に配列された画素部２１と、露光量を決定し画素部２１を連続的に複数回露光するように制御する露光量制御部と、出力画像の複数フレーム分の画素部２１の画素信号を記憶し得るメモリ部２２と、画素部２１の画素信号を読み出してメモリ部２２に格納する垂直走査回路２４と、メモリ部２２に格納した画素信号を読み出す列処理部２３と、を備え、垂直走査回路２４は、複数回の露光に係る各画素信号を順次読み出してメモリ部２２に格納する撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置、より詳しくは、広ダイナミックレンジ画像を得るための画像データを取得可能な撮像装置に関する。
【背景技術】
【０００２】
露光時間の異なる複数の画像（例えば短秒時と長秒時の２つの画像）を合成することで、１つの画像のみで得られるダイナミックレンジを越える広いダイナミックレンジの画像を得る技術が知られている。
【０００３】
このような技術の一例について、図２６〜図２８を参照して説明する。図２６は従来の撮像部の構成の一例を示す図、図２７は従来の撮像部における一画素の構成を示す回路図、図２８は従来の撮像部により長時間露光画像と短時間露光画像とを１フレームずつ交互に取得するときの様子を示すタイミングチャートである。
【０００４】
図２６に示す従来の撮像部９１は、複数の画素が２次元状（例えば行方向および列方向）に配列された画素部９２と、この画素部９２から画素値を行単位で読み出して、ＣＤＳ部により相関２重サンプリングを行ったりゲイン部により増幅したりする読出部９３と、この読出部９３から画素値を行単位で読み出してデジタル信号に変換するデジタル処理部９４と、を備えている。
【０００５】
図２７に示すように、画素部９２に構成されている画素は、光電変換部であるＰＤ（フォトダイオード）と、この光電変換部ＰＤの信号を電荷読み出しの際に一時的に保持する信号蓄積部であるＦＤ（フローティングディフュージョン）と、を備えている。
【０００６】
光電変換部ＰＤと信号蓄積部ＦＤとの間には、光電変換部ＰＤの信号を信号蓄積部ＦＤへ転送するための転送トランジスタＴＸが直列に接続されている。
【０００７】
ＴｒＡは増幅部として機能する増幅用トランジスタであり、電圧源Ｖｄｄと電流源とでソースフォロアンプを構成する。信号蓄積部ＦＤの信号は、増幅トランジスタＴｒＡにより増幅され、選択パルスを印加された選択トランジスタを介して垂直転送線に出力される。
【０００８】
ＦＤＲＳＴは信号蓄積部ＦＤおよび増幅トランジスタＴｒＡの入力部をリセットするためのＦＤリセットトランジスタである。また、ＦＤリセットトランジスタＦＤＲＳＴと転送トランジスタＴＸとを同時にオンすることにより、光電変換部ＰＤのリセットも同時に行うことができるようになっている。
【０００９】
図２８は、このような構成の撮像部により、長時間露光画像と短時間露光画像とを１フレームずつ交互に取得するときの様子を示している。
【００１０】
例えば、あるフレームにおいて長露光時間ＴｅｘｐＬの露光データの読出しを行う。露光はローリングシャッタ方式であり、読出タイミングに先立って長露光時間となるようにＰＤをリセットする。その後垂直同期信号ＶＤの立ち上がりで画素部９２からのデータの読出を行単位で順次行う。露光はこの行単位の読出と同時に行単位で順次完了する。これにより、撮像部９１から長時間露光に係るデータ出力Ｌが得られる。
【００１１】
次のフレームにおいて、短露光時間ＴｅｘｐＳの露光データの読出しを行う。垂直同期信号ＶＤの立ち上がりのタイミングで画素部９２からのデータの読出を行単位で順次行い、撮像部９１から短時間露光に係るデータ出力Ｓが得られる。
【００１２】
このような処理を繰り返して行うことにより、長時間露光画像と短時間露光画像とが１フレームずつ交互に取得される。そこで、第１のフレームで得られた長時間露光画像と、第２のフレームで得られた短時間露光とを広ダイナミックレンジ合成することにより、１フレーム分の広ダイナミックレンジ画像が生成される。同様に、第３のフレームで得られた長時間露光画像と、第４のフレームで得られた短時間露光とを広ダイナミックレンジ合成することにより、次の１フレーム分の広ダイナミックレンジ画像が生成される。こうして、従来においては、撮像フレームレートの半分のフレームレートの広ダイナミックレンジ画像が取得されていた。
【００１３】
しかし、この種の従来の技術では、異なる露光時間の画像を得るには、露光タイミングの異なる撮影を複数回繰り返す必要がある。そのために、被写体が動体である場合には、異なるタイミングで露光された画像中の動被写体に位置ずれが発生することになり、位置ずれが発生している画像同士を合成すると、合成結果の画像に画質の劣化が生じる。
【００１４】
このような点に対応するための技術として、例えば特開２０１１−４３５３号公報には、露光時間が異なる画像同士で共通の領域を特定し、共通領域が一致するような位置ずれ補正量を求めて画像処理を行う画像処理装置が記載されている。
【先行技術文献】
【特許文献】
【００１５】
【特許文献１】特開２０１１−４３５３号公報
【発明の概要】
【発明が解決しようとする課題】
【００１６】
しかしながら、上記特開２０１１−４３５３号公報に記載されたような技術では、位置ずれ補正を行うためには、アファイン変換やブロックマッチング等の高度な画像処理技術が必要であるために、カメラとは別途のコンピュータにおいて処理を行うか、またはカメラに十分な処理機能を備えさせる必要があり撮像装置の高価格化や大型化を招くこととなっていた。
【００１７】
また、上述した従来の技術では、例えば２枚の画像を合成する場合には、１枚の合成画像を得るために２枚の画像を読み出す必要がある。従って、動画像において広ダイナミックレンジ画像を得ようとすると、フレームレートが低下してしまう（２枚を合成する場合には、フレームレートが半分になってしまう）課題があった。
【００１８】
本発明は上記事情に鑑みてなされたものであり、高度な画像処理を要することなく、位置ずれが小さい広ダイナミックレンジ画像を得るための画像データを取得可能な撮像装置を提供することを目的としている。
【課題を解決するための手段】
【００１９】
上記の目的を達成するために、本発明の一態様による撮像装置は、露光を行って画像信号を取得する撮像装置において、露光量に応じた信号電荷を発生させる複数の画素が２次元状に配列された画素部と、前記画素部の露光量を決定する露光量制御部と、出力画像の複数フレーム分の前記画素部からの画素信号を記憶し得るメモリ部と、前記画素部の画素信号を読み出して前記メモリ部に格納する画素読出制御部と、前記メモリ部に格納した画素信号を読み出すメモリ読出制御部と、を具備し、前記露光量制御部は、前記画素部を連続的に複数回露光するように制御し、前記画素読出制御部は、前記連続的な複数回の露光に係る各画素信号を順次読み出して前記メモリ部に格納する。
【発明の効果】
【００２０】
本発明の撮像装置によれば、高度な画像処理を要することなく広ダイナミックレンジ画像を生成可能な、露光時間の異なる複数枚の画像を得ることができる。
【図面の簡単な説明】
【００２１】
【図１】本発明の参考例における撮像装置の構成を示すブロック図。
【図２】上記参考例における撮像部の構成を示す図。
【図３】上記参考例において、１画素に係る画素部、メモリ部、および列処理部の構成を示す回路図。
【図４】上記参考例において、広ダイナミックレンジ画像を得るための撮像部の基本的な撮像動作を示す図。
【図５】上記参考例において、画素部の１行目および２行目における動作を示すタイミングチャート。
【図６】上記参考例において、画素部の１行目における画素のトランジスタ等の信号変化の様子を示すタイミングチャート。
【図７】本発明の実施形態１において、１画素に係る画素部、メモリ部、および列処理部の構成を示す回路図。
【図８】上記実施形態１において、広ダイナミックレンジ画像を得るための撮像部の撮像動作を示す図。
【図９】上記実施形態１において、画素部からメモリ部への第１の露光画像データおよび第２の露光画像データの転送の様子を示す図。
【図１０】上記実施形態１において、画素部の１行目および２行目における動作を示すタイミングチャート。
【図１１】本発明の実施形態２において、１画素に係る画素部、メモリ部、および列処理部の構成を示す回路図。
【図１２】上記実施形態２において、広ダイナミックレンジ画像を得るための撮像部の撮像動作を示す図。
【図１３】上記実施形態２において、画素部からメモリ部への第１〜第３の露光画像データの転送の様子を示す図。
【図１４】上記実施形態２において、列処理部からメモリ部への平均演算された露光画像データの転送の様子を示す図。
【図１５】上記実施形態２において、画素部の１行目および２行目における動作を示すタイミングチャート。
【図１６】上記実施形態２において、画素部の１行目における画素のトランジスタ等の信号変化の様子を示すタイミングチャート。
【図１７】本発明の実施形態３において、１画素に係る画素部、メモリ部、および列処理部の構成を示す回路図。
【図１８】上記実施形態３において、広ダイナミックレンジ画像を得るための撮像部の撮像動作を示す図。
【図１９】上記実施形態３において、長露光時間のときの入射光強度に対する光電変換部の電荷蓄積量を示す線図。
【図２０】上記実施形態３において、短露光時間のときの入射光強度に対する光電変換部の電荷蓄積量を示す線図。
【図２１】上記実施形態３において、光電変換部の飽和レベルを所定のスレッシュレベルとして長時間露光画像と短時間露光画像とを列処理部において簡易ＨＤＲ合成したときの出力レベルを示す線図。
【図２２】上記実施形態３において、光電変換部の飽和レベルを所定のスレッシュレベルとして長時間露光画像と短時間露光画像とを列処理部においてより一層簡易的に簡易ＨＤＲ合成したときの出力レベルを示す線図。
【図２３】上記実施形態３において、長時間露光画像と短時間露光画像とを列処理部において単純加算することにより簡易ＨＤＲ合成したときの出力レベルを示す線図。
【図２４】上記実施形態３において、画素部の１行目および２行目における動作を示すタイミングチャート。
【図２５】上記実施形態３において、画素部の１行目における画素のトランジスタ等の信号変化の様子を示すタイミングチャート。
【図２６】従来の撮像部の構成の一例を示す図。
【図２７】従来の撮像部における一画素の構成を示す回路図。
【図２８】従来の撮像部により長時間露光画像と短時間露光画像とを１フレームずつ交互に取得するときの様子を示すタイミングチャート。
【発明を実施するための形態】
【００２２】
まず、図１から図６を参照して、本発明の実施形態に関連する撮像素子の基本的な構成を参考例として説明する。ここに、図１は撮像装置の構成を示すブロック図である。
【００２３】
この撮像装置は、図１に示すように、レンズ１と、撮像部２と、ＨＤＲ（High Dynamic Range：広ダイナミックレンジ）デジタル合成部３と、ＡＦ評価値演算部４と、表示部５と、手振検出部７と、手振補正部８と、露光制御部９と、フォーカス制御部１０と、カメラ操作部１１と、カメラ制御部１２と、を備えている。なお、図１にはメモリカード６も記載されているが、このメモリカード６は撮像装置に対して着脱可能に構成されているために、撮像装置に固有の構成でなくても構わない。
【００２４】
レンズ１は、被写体の光学像を撮像部２に含まれる撮像素子２ａの撮像領域に結像するものである。このレンズ１は、焦点位置（ピント位置）を調節してフォーカシングを行うためのフォーカスレンズと、通過する光束の範囲を制御するための絞りと、を備え、さらに、本例においては手振補正機能も備えたものとなっている。
【００２５】
撮像部２は、レンズ１により結像された被写体の光学像を光電変換して画像信号として出力する撮像素子（撮像センサ）２ａや、この撮像素子２ａから出力された画像信号にアナログの信号処理を施した後にデジタル信号に変換する信号処理回路などを含んでいる。なお、本例においては、撮像素子２ａはレンズ１の撮影光軸に垂直な面内を移動可能に構成されていて、手振補正機能を備えたものとなっている。
【００２６】
ＨＤＲデジタル合成部３は、撮像部２から出力される露光量の異なる複数枚の画像あるいは撮像部２内で簡易ＨＤＲ合成した画像を元に、広ダイナミックレンジ画像を生成するものである。
【００２７】
ＡＦ評価値演算部４は、撮像部２から出力された画像信号に基づいてＡＦ評価値を算出し、カメラ制御部１２へ出力するものである。すなわち、この撮像装置は、例えばコントラストＡＦによりオートフォーカスを行うように構成されたものとなっている。
【００２８】
表示部５は、ＨＤＲデジタル合成部３により合成された広ダイナミックレンジ画像を表示するものである。すなわち、この表示部５は、広ダイナミックレンジライブビュー（ＬＶ）表示や、広ダイナミックレンジ静止画像表示を行うものとなっている。さらに、表示部５は、この撮像装置に係る各種の情報等も表示するようになっている。
【００２９】
メモリカード６は、ＨＤＲデジタル合成部３により合成された広ダイナミックレンジ画像を保存するための記録媒体である。
【００３０】
手振検出部７は、加速度センサ等を有して構成され、この撮像装置の手振れを検出してカメラ制御部１２へ出力するものである。
【００３１】
手振補正部８は、カメラ制御部１２の制御に基づいて、検出された手振れを相殺するようにレンズ１と撮像素子２ａとの少なくとも一方を移動させ、撮像素子２ａの撮像領域上に結像される光学的な被写体像に手振れの影響が生じるのを軽減するためのものである。
【００３２】
露光制御部９は、カメラ制御部１２により決定されたシャッタ速度（露光時間）に基づいて、該カメラ制御部１２の制御の下に、撮像素子２ａの素子シャッタ（この素子シャッタには、グローバルシャッタ、すなわち、撮像素子２ａの全画素を一括リセットすることにより撮影用の露光を開始し、所定の露光時間が経過した後に全画素の画像信号を一括転送して露光を終了するシャッタが含まれている）を制御し、露光時間の異なる複数枚の画像を取得させる撮像制御部である。さらに、露光制御部９は、カメラ制御部１２により決定された絞り値に基づいて、レンズ１に含まれる絞りの制御等も行うようになっている。ここに、シャッタ速度および絞り値は、撮像部２から出力された画像信号に基づいて算出された測光データと、カメラ操作部１１により設定された感度と、等を用いて、例えばＡＰＥＸシステムに沿ったプログラム線図等に基づきカメラ制御部１２により決定される。従って、露光制御部９およびカメラ制御部１２は、撮像部２の後述する画素部２１の露光量を決定し、この画素部２１を連続的に複数回露光するように制御する露光量制御部として機能する。また、露光制御部９は、撮像素子２ａの駆動情報をカメラ制御部１２へ出力するようになっている。
【００３３】
フォーカス制御部１０は、焦点を調節するためにレンズ１を駆動するものである。すなわち、フォーカス制御部１０は、ＡＦ評価値演算部４からＡＦ評価値を受けたカメラ制御部１２の制御に基づいて、レンズ１に含まれるフォーカスレンズを駆動し、撮像素子２ａに結像される被写体像が合焦に至るようにするものである。また、フォーカス制御部１０は、レンズ位置などのレンズ駆動情報をカメラ制御部１２へ出力するようになっている。
【００３４】
カメラ操作部１１は、この撮像装置に対する各種の操作入力を行うための操作部である。このカメラ操作部１１には、撮像装置の電源をオン／オフするための電源スイッチ、静止画撮影、動画撮影などを指示入力するためのレリーズボタン、静止画撮影モードや動画撮影モード、ライブビューモード、広ダイナミックレンジ撮影モードなどを設定するためのモードボタン等の操作部材が含まれている。
【００３５】
カメラ制御部１２は、フォーカス制御部１０からのレンズ駆動情報やＡＦ評価値演算部４からのＡＦ評価値、手振検出部７からの手振情報、カメラ操作部１１からの操作入力などに基づいて、ＨＤＲデジタル合成部３、メモリカード６、手振補正部８、露光制御部９、フォーカス制御部１０等を含むこの撮像装置全体を制御するものである。
【００３６】
次に、図２は、撮像部２の構成を示す図である。
【００３７】
撮像部２は、複数の画素３１を有する画素部２１と、メモリ部２２と、列処理部２３と、垂直走査回路２４と、水平読出回路２５と、制御回路２６と、水平信号線２７と、出力アンプ２８と、を有している。なお、撮像部２の撮像素子２ａは、少なくとも画素部２１を含んでいるが、その他の回路要素は撮像素子２ａ内であっても構わないし、撮像素子２ａ外であっても良い。また、図２に示す各回路要素の配置位置は、実際の配置位置と必ずしも一致するわけではない。
【００３８】
画素部２１は、露光量に応じた信号電荷を発生させる複数の画素３１が２次元状（行列状）（図２の例では１０行×１２列）に配列された撮像領域である。
【００３９】
メモリ部２２は、画素部２１に配列された各画素３１の信号電荷を一時的に蓄積するものであり、例えば画素部２１に配列された各画素３１と同一数かつ同一配列のメモリを有して構成されている。例えば動画像は一般的に静止画像よりも出力画素数が少ない（一般に、静止画像の画素数の数分の１程度である）ために、このメモリ部２２は、動画像に対しては、前記画素部からの画素信号を複数フレーム分記憶し得るものとなっている。また、メモリ部２２を、複数フレーム分の静止画像の画素信号を記憶し得るようにも構成できる。後述の本実施形態ではその構成を前提としている。
【００４０】
垂直走査回路２４は、例えばシフトレジスタで構成されており、画素部２１に配列された各画素３１を、例えば行単位で、あるいは全画素を同時に（グローバル動作）、駆動制御するものである。従って、垂直走査回路２４（あるいは、さらに制御回路２６）は、画素部２１の画素信号を読み出してメモリ部２２に格納する画素読出制御部となっている。この垂直走査回路２４は、連続的な複数回の露光に係る各画素信号を順次読み出してメモリ部２２に格納する制御を行う。垂直走査回路２４の駆動制御には、画素３１のリセット動作、蓄積動作、画素部２１からメモリ部２２への信号読み出し動作等の制御が含まれる。この駆動制御を行うために、垂直走査回路２４は、行毎に設けられている制御信号線３２を介してそれぞれの画素３１へ制御信号を出力し、画素３１を行毎に独立して制御する。例えば、垂直走査回路２４は、画素部２１の全画素３１を駆動制御し、全画素３１の画素信号をメモリ部２２のメモリへ一斉に転送する。
【００４１】
さらに、垂直走査回路２４は、メモリ部２２に配列されたメモリを、例えば行単位で駆動制御するものである。この駆動制御には、メモリ部２２に配列されたメモリから画素信号を行単位で列処理部２３へ読み出す制御等が含まれる。
【００４２】
列処理部２３は、列毎の垂直信号線３３を介してメモリ部２２の各メモリから出力された画素信号に対して、あるいは、垂直走査回路２４（あるいは、さらに制御回路２６）が、画素部２１の画素信号を読み出してメモリ部２２に格納する際に画素信号に対して、例えばノイズ除去や増幅、後述の各種演算等の信号処理を行うものである。この列処理部２３は、画素読出制御部でもある。
【００４３】
水平読出回路２５は、例えばシフトレジスタで構成されており、画素信号を読み出す画素列を選択して、選択した画素列に係る列処理部２３を順次選択し、列処理部２３から画素信号を順次水平信号線２７へ出力することにより画素信号を読み出すものである。
【００４４】
そして、列処理部２３、垂直走査回路２４、および水平読出回路２５（あるいは、さらに制御回路２６）が、メモリ部２２に格納した画素信号を読み出すメモリ読出制御部を構成している。
【００４５】
出力アンプ２８は、水平信号線２７へ出力された画素信号に対して増幅等の信号処理を行い、外部へ画素信号を出力するものである。
【００４６】
制御回路２６は、露光制御部９の制御に基づいて、上述した列処理部２３、垂直走査回路２４、水平読出回路２５等の動作の基準となるクロック信号や制御信号等を生成して出力し、これら列処理部２３、垂直走査回路２４、水平読出回路２５等を制御するものである。
【００４７】
図３は、１画素に係る画素部２１、メモリ部２２、および列処理部２３の構成を示す回路図である。
【００４８】
画素部２１の画素３１は、光電変換部であるＰＤ（フォトダイオード）と、この光電変換部ＰＤの信号を電荷読み出しの際に一時的に保持する信号蓄積部であるＦＤ（フローティングディフュージョン）と、を備えている。ここに、光電変換部ＰＤは、入射した光に応じた信号電荷を生成（発生）し、生成（発生）した信号電荷を保持・蓄積するものである。また、信号蓄積部ＦＤは、光電変換部ＰＤから転送された信号電荷を一時的に保持・蓄積する容量である。これら光電変換部ＰＤの一端と信号蓄積部ＦＤの一端と、はそれぞれ接地されている。
【００４９】
光電変換部ＰＤの他端と信号蓄積部ＦＤの他端との間には、光電変換部ＰＤに蓄積された信号電荷を信号蓄積部ＦＤへ転送するための転送トランジスタＴＸが直列に接続されている。すなわち、転送トランジスタＴＸは、ドレイン端子が光電変換部ＰＤの他端に、ソース端子が信号蓄積部ＦＤの他端に、それぞれ接続されている。また、転送トランジスタＴＸの入力部であるゲート端子は垂直走査回路２４に接続されており、垂直走査回路２４から転送パルスが供給されて、転送トランジスタＴＸのオン／オフが制御されるようになっている。
【００５０】
ＴｒＡは、増幅部として機能する増幅用トランジスタであり、ゲート端子に入力される、信号蓄積部ＦＤに蓄積されている信号電荷に基づく信号を、増幅して、ソース端子から出力するものである。この増幅トランジスタＴｒＡのドレイン端子は、電圧源Ｖｄｄに接続されている。また、増幅トランジスタＴｒＡの入力部であるゲート端子は、転送トランジスタＴＸのソース端子に接続されている。さらに、増幅トランジスタＴｒＡのソース端子は電流源に接続されている。増幅トランジスタＴｒＡは、電圧源Ｖｄｄと電流源とでソースフォロアンプを構成するようになっている。
【００５１】
ＦＤＲＳＴは信号蓄積部ＦＤおよび増幅トランジスタＴｒＡの入力部をリセットするためのＦＤリセットトランジスタである。このＦＤリセットトランジスタＦＤＲＳＴのドレイン端子は電圧源Ｖｄｄに接続されており、ＦＤリセットトランジスタＦＤＲＳＴのソース端子は転送トランジスタＴＸのソース端子に接続されている。また、ＦＤリセットトランジスタＦＤＲＳＴの入力部であるゲート端子は垂直走査回路２４に接続されており、垂直走査回路２４からＦＤリセットパルスが供給されて、ＦＤリセットトランジスタのオン／オフが制御されるようになっている。このような構成において、ＦＤリセットトランジスタＦＤＲＳＴと転送トランジスタＴＸとを同時にオンすることにより、信号蓄積部ＦＤのリセットと同時に光電変換部ＰＤのリセットも行うことができるようになっている。
【００５２】
このような構成により、光電変換部ＰＤの信号は、信号蓄積部ＦＤに一旦蓄積された後に、増幅トランジスタＴｒＡにより増幅されて、メモリ部２２側へ出力される。
【００５３】
メモリ部２２は、コンデンサＣ１と、スイッチＳＷ１−１と、スイッチＳＷ２−１と、アナログメモリであるメモリｍ１と、トランジスタＴｒＢ−１と、スイッチＳＷ３−１とを有している。
【００５４】
コンデンサＣ１の一端は増幅トランジスタＴｒＡのソース端子に接続されている。このコンデンサＣ１は、増幅トランジスタＴｒＡから出力される増幅信号の電圧レベルをクランプ（固定）する容量である。コンデンサＣ１の他端は、トランジスタにより構成されたスイッチＳＷ１−１のドレイン端子に接続されている。
【００５５】
スイッチＳＷ１−１は、コンデンサＣ１の他端の電圧レベルをサンプルホールドし、メモリｍ１に保持、蓄積するトランジスタである。このスイッチＳＷ１−１のゲート端子は、垂直走査回路２４に接続されており、垂直走査回路２４からサンプルパルスが供給されて、スイッチＳＷ１−１のオン／オフが制御されるようになっている。
【００５６】
スイッチＳＷ２−１は、メモリｍ１をリセットするためのトランジスタであり、そのソース端子がスイッチＳＷ１−１のソース端子に接続され、ドレイン端子が参照電圧Ｖｒｅｆに接続されている。このスイッチＳＷ２−１のゲート端子は、垂直走査回路２４に接続されており、垂直走査回路２４からクランプ＆メモリリセットパルスが供給されて、スイッチＳＷ２−１のオン／オフが制御されるようになっている。
【００５７】
メモリｍ１は、一端が接地され、他端がスイッチＳＷ１−１のソース端子に接続されていて、スイッチＳＷ１−１によってサンプルホールドされたアナログ信号を保持・蓄積するものである。このメモリｍ１は、信号蓄積部ＦＤの容量よりも大きな容量となるように構成されている。
【００５８】
トランジスタＴｒＢ−１は、増幅部として機能する増幅用トランジスタであり、メモリｍ１に蓄積されている信号電荷に基づいてゲート端子に入力される信号を増幅して、ソース端子から出力するものである。このトランジスタＴｒＢ−１のドレイン端子は、電圧源Ｖｄｄに接続されている。また、トランジスタＴｒＢ−１の入力部であるゲート端子は、スイッチＳＷ１−１のソース端子に接続されている。さらに、トランジスタＴｒＢ−１のソース端子は、スイッチＳＷ３−１を介して電流源に接続されている。トランジスタＴｒＢ−１は、電圧源Ｖｄｄと電流源とでソースフォロアンプを構成するようになっている。
【００５９】
スイッチＳＷ３−１は、アナログのメモリｍ１の信号を垂直信号線３３に出力する選択を行うためのトランジスタである。そして、選択された信号は垂直信号線３３を介して列処理部２３へ転送される。このスイッチＳＷ３−１は、ドレイン端子がトランジスタＴｒＢ−１のソース端子に接続され、ソース端子が電流源に接続されている。また、スイッチＳＷ３−１のゲート端子は、垂直走査回路２４に接続されており、垂直走査回路２４から選択パルスが供給されて、スイッチＳＷ３−１のオン／オフが制御されるようになっている。
【００６０】
このような構成により、画素部２１からの信号は、メモリｍ１に一旦蓄積された後に、トランジスタＴｒＢ−１により増幅されて、列処理部２３側へ出力される。
【００６１】
列処理部２３は、スイッチＳＷ５と、コンデンサＣ２と、スイッチＳＷ６と、コンデンサＣ３と、スイッチＳＷ８とを有している。
【００６２】
スイッチＳＷ５は、トランジスタにより構成されていて、ドレイン端子がスイッチＳＷ３−１のソース端子に接続され、ソース端子がコンデンサＣ２の一端に接続されている。このスイッチＳＷ５のゲート端子は、制御回路２６に接続されており、制御回路２６から供給されるパルスによりオン／オフが制御されるようになっている。
【００６３】
コンデンサＣ２は、他端が、スイッチＳＷ６のソース端子と、コンデンサＣ３の他端と、スイッチＳＷ８のドレイン端子とに接続されている。このコンデンサＣ２は、トランジスタＴｒＢ−１から出力されスイッチＳＷ３−１およびスイッチＳＷ５を介して入力される増幅信号の電圧レベルをクランプ（固定）する容量である。
【００６４】
スイッチＳＷ６は、コンデンサＣ３をリセットするためのトランジスタであり、ドレイン端子が参照電圧Ｖｒｅｆに接続されている。このスイッチＳＷ６のゲート端子は、制御回路２６に接続されており、制御回路２６から供給されるパルスによりオン／オフが制御されるようになっている。
【００６５】
コンデンサＣ３は、一端が接地され、他端がスイッチＳＷ６のソース端子に接続されていて、コンデンサＣ２の電圧レベルに基づくアナログ信号を保持・蓄積するものである。
【００６６】
スイッチＳＷ８は、コンデンサＣ３の信号を読み出して水平信号線２７を介して出力アンプ２８へ転送する選択を行うためのトランジスタである。このスイッチＳＷ８は、ドレイン端子がスイッチＳＷ６のソース端子に接続され、ソース端子が水平信号線２７に接続されている。また、スイッチＳＷ８のゲート端子は、水平読出回路２５に接続されており、水平読出回路２５から供給されるパルスによりオン／オフが制御されるようになっている。
【００６７】
こうして、列処理部２３において選択された列の画素信号が、後段の出力アンプ２８により増幅され、出力されるようになっている。
【００６８】
撮像部２には、出力アンプ２８の後段にさらに図示しないＡ／Ｄ変換部が設けられており、撮像部２からの信号はデジタル化された後にＨＤＲデジタル合成部３へ出力されるようになっている。
【００６９】
なお、上記各トランジスタに関しては、極性を逆にして、ソース端子とドレイン端子とを上述とは逆にしても構わないが、以下においても入力側がドレイン端子、出力側がソース端子である場合を例に挙げて説明する。さらに、以下では、スイッチがトランジスタにより構成されていることの明記も、適宜省略する。
【００７０】
図４は広ダイナミックレンジ画像を得るための撮像部２の基本的な撮像動作を示す図、図５は画素部２１の１行目および２行目における動作を示すタイミングチャート、図６は画素部２１の１行目における画素のトランジスタ等の信号変化の様子を示すタイミングチャートである。なお、図４には、一例として、露光時間の異なる２種類の画像を取得する場合を示している。
【００７１】
まず、カメラ制御部１２は、測光結果に基づいて、露光時間Ｔｅｘｐとして、長時間と短時間との２種類を予め設定しておく。
【００７２】
そして、露光制御部９は、垂直同期信号ＶＤの立ち上がりタイミングから例えば長時間露光時間だけ遡った時点で、撮像素子２ａの全画素の光電変換部ＰＤのリセットを同時に行わせる（つまり、グローバルシャッタ方式である）。この光電変換部ＰＤのリセットは、上述したように、ＦＤリセットトランジスタＦＤＲＳＴと転送トランジスタＴＸとを同時にオンすることに行われる（図５および図６参照）。そして、ＦＤリセットトランジスタＦＤＲＳＴおよび転送トランジスタＴＸがオフになった時点が露光開始時点となる。このリセット動作後は、信号蓄積部ＦＤの電位も電圧源Ｖｄｄにリセットされ、増幅トランジスタＴｒＡからの増幅された出力はＴｒＡのＶｔｈ分だけ低下した（Ｖｄｄ−Ｖｔｈ）となる（図６参照）。
【００７３】
その後、垂直同期信号ＶＤの立ち上がりタイミングよりも以前の時点で、ＦＤリセットトランジスタＦＤＲＳＴをオンして信号蓄積部ＦＤをリセットし、同時にスイッチＳＷ２−１をオンすることによりメモリｍ１を図６に示す参照電圧Ｖｒｅｆにリセットする。このときさらに同時に、スイッチＳＷ１−１をオンすることにより、コンデンサＣ１の他端の電位が参照電圧Ｖｒｅｆにリセットされると共に、スイッチＳＷ１−１がコンデンサＣ１の他端の電位のサンプルホールドを開始する。
【００７４】
その後、ＦＤリセットトランジスタＦＤＲＳＴをオフにすることで、信号蓄積部ＦＤのリセットが終了する。この信号蓄積部ＦＤのリセットは、リーク電流によるノイズをより低減するために、なるべく露光期間の終了直前に行うことが望ましい。
【００７５】
続いて、スイッチＳＷ２−１をオフにすることで、メモリｍ１のリセットを終了する。この時点で、コンデンサＣ１は、増幅トランジスタＴｒＡから出力される増幅信号（信号蓄積部ＦＤのリセット後の増幅信号）をクランプしている。
【００７６】
さらにその後、転送トランジスタＴＸをオンにすることで、全画素の光電変換部ＰＤに蓄積されている信号電荷が、転送トランジスタＴＸを介して信号蓄積部ＦＤに転送され、信号蓄積部ＦＤに蓄積される。これにより、信号蓄積部ＦＤの端子波形、増幅トランジスタＴｒＡの出力波形、メモリｍ１の他端の電位が図６に示すように変化する。
【００７７】
次に、垂直同期信号ＶＤの立ち上がりタイミングにおいて、全画素の転送トランジスタＴＸをオフにすることで、全画素の露光（信号電荷の蓄積）が一括して（同時に）終了する。
【００７８】
この転送トランジスタＴＸのオフと同時にスイッチＳＷ１−１をオフすることにより、コンデンサＣ１の他端の電位のサンプルホールドを終了する。このようにして、画素部２１の全画素に蓄積されている信号は、メモリｍ１にサンプルホールドされる。
【００７９】
その後に、露光制御部９は、メモリｍ１にサンプルホールドされた画像信号を、列処理部２３を介して行単位で順次読み出させる。すなわち、まず１行目のスイッチＳＷ３−１とスイッチＳＷ５とスイッチＳＷ６とをオンすることにより、コンデンサＣ３は参照電圧Ｖｒｅｆにリセットされ、さらにコンデンサＣ２の他端の電位も参照電圧Ｖｒｅｆにリセットされ、そしてサンプルホールドも開始される。
【００８０】
続いて、スイッチＳＷ６をオフすると共にスイッチＳＷ２−１をオンすることにより、メモリｍ１に蓄積されている信号はリセットされその結果がＴｒＢ−１の構成するソースフォロア回路を介して垂直信号線３３に出力される。このスイッチ操作によってメモリｍ１に蓄積されていた信号は垂直信号線３３にプラス方向の変化量として出力されコンデンサＣ３に伝わる。
【００８１】
その後、スイッチＳＷ２−１とスイッチＳＷ３−１とスイッチＳＷ５とをオフすることにより、メモリｍ１の信号はコンデンサＣ３サンプルホールドされる。
【００８２】
そして、水平転送パルスが印加されたところで、コンデンサＣ３に蓄積されている信号が、スイッチＳＷ８を介して水平信号線２７へ出力される。
【００８３】
水平信号線２７へ出力された信号は、出力アンプ２８により増幅された後にデジタル信号に変換されて、撮像部２からＨＤＲデジタル合成部３へ出力される。
【００８４】
メモリｍ１に蓄積されている画像信号の１行目に相当する信号はこのように順次水平信号線に出力されデジタル信号に変換されていく。全ての信号電荷を水平信号線を介して読み出したら、２行目の画素信号を同様に読み出していく。これを全行分繰り返すことで全画素の信号電荷をデジタル信号として読み出すことができる。
【００８５】
このような処理を、垂直同期期間毎に、長時間露光と短時間露光とを交互に繰り返して行うことにより、ＨＤＲデジタル合成部３には広ダイナミックレンジ画像を合成するために必要な長時間露光画像と短時間露光画像とが交互に入力される。
【００８６】
引き続いて、図面を参照して本発明の実施の形態を説明する。
［実施形態１］
【００８７】
図７から図１０は本発明の実施形態１を示したものであり、図７は１画素に係る画素部２１、メモリ部２２、および列処理部２３の構成を示す回路図である。
【００８８】
まず、本実施形態の撮像装置の基本的な構成は、上述した図１に示したものと同様である。また、本実施形態の撮像部２の基本的な構成も、上述した図２に示したものと同様である。
【００８９】
そして、本実施形態の撮像部２は、画素部２１および列処理部２３の構成は図３に示した構成と同様であるが、メモリ部２２に、第１メモリ部ＭＥＭ１と第２メモリ部ＭＥＭ２とを設けた構成となっている点が異なっている。
【００９０】
すなわち、メモリ部２２は、コンデンサＣ１の後段に、第１メモリ部ＭＥＭ１と第２メモリ部ＭＥＭ２とが並列に配列されていて、第１メモリ部ＭＥＭ１と第２メモリ部ＭＥＭ２の何れの出力端も、スイッチＳＷ５のドレイン端子に接続されている。
【００９１】
ここに、第１メモリ部ＭＥＭ１は、スイッチＳＷ１−１と、スイッチＳＷ２−１と、トランジスタＴｒＢ−１と、スイッチＳＷ３−１と、メモリｍ１と、を有して構成されている。
【００９２】
同様に、第２メモリ部ＭＥＭ２は、スイッチＳＷ１−２と、スイッチＳＷ２−２と、トランジスタＴｒＢ−２と、スイッチＳＷ３−２と、メモリｍ２と、を有して構成されている。
【００９３】
これら第１メモリ部ＭＥＭ１と第２メモリ部ＭＥＭ２の構造は、図３のメモリ部２２における該当する構成の構造と同様である。
【００９４】
図８は広ダイナミックレンジ画像を得るための撮像部２の撮像動作を示す図、図９は画素部２１からメモリ部２２への第１の露光画像データおよび第２の露光画像データの転送の様子を示す図、図１０は画素部２１の１行目および２行目における動作を示すタイミングチャートである。
【００９５】
なお、画素部２１の１行目における画素のトランジスタ等の信号変化の様子は、図６に示したものとほぼ同様である。
【００９６】
本実施形態においては、１垂直同期期間内の１つの露光時間を、互いに異なる連続的な２つの露光時間、すなわち第１の露光時間Ｔｅｘｐ１（例えば、長露光時間）と第２の露光時間Ｔｅｘｐ２（例えば、短露光時間）とに分割してそれぞれ読み出しを行い、前者を例えばメモリ部２２の第１メモリ部ＭＥＭ１にアナログ転送（ＭＴｒａｎｓ１）し、その後に後者をメモリ部２２の第２メモリ部ＭＥＭ２にアナログ転送（ＭＴｒａｎｓ２）するようになっている。
【００９７】
ここに、第１の露光時間Ｔｅｘｐ１に蓄積された電荷を第１メモリ部ＭＥＭ１に転送する際には、スイッチＳＷ１−１がオンになるとともに、スイッチＳＷ１−２がオフになる。また、第２の露光時間Ｔｅｘｐ２に蓄積された電荷を第２メモリ部ＭＥＭ２に転送する際には、スイッチＳＷ１−１がオフになるとともに、スイッチＳＷ１−２がオンになる。メモリｍ１やｍ２への信号の転送方法は参考例の説明で行ったものと同様である。
【００９８】
なお、「連続する２つの露光時間」に代えて「連続的な２つの露光時間」と述べた理由は、図１０に示すように、第１の露光時間Ｔｅｘｐ１と第２の露光時間Ｔｅｘｐ２との間にＦＤリセットトランジスタＦＤＲＳＴがオンになるために、露光時間がこのパルス期間分だけ途切れるためである（以下、同様）。従って、「連続的な」とは、「パルス期間程度の時間を除いて連続する」と言い替えることもできる。
【００９９】
そして、第１メモリ部ＭＥＭ１に記憶された長時間露光データを垂直同期信号ＶＤに同期して行単位で順次読み出し、次の垂直同期信号ＶＤに同期して第２メモリ部ＭＥＭ２に記憶された短時間露光データを行単位で順次読み出すようになっている。
【０１００】
なお、図８に示した例では、先に長時間露光を行い、後で短時間露光を行っているが、逆の順序でも構わない。同様に、先に長時間露光画像を読み出し、後で短時間露光画像を読み出しているが、逆の順序でも構わないし、露光順と読出順が異なっても構わない。
【０１０１】
上述した参考例の読み出し方では、露光は２垂直同期期間に渡って行われる２回の露光の画像に基づいてＨＤＲ合成していたため、被写体が２垂直同期期間に渡って移動したり、その間に手振れ等によるぶれが発生した場合、個々の露光において適切なシャッタ速設定により被写体ぶれ（ここでは手振れによるぶれも含むとする）のない正常な画像であってもＨＤＲ合成後の画像はぶれの影響をうけた劣化した画像になっていた。しかし、実施形態１の構成によれば、第１の露光時間Ｔｅｘｐ１と第２の露光時間Ｔｅｘｐ２とを加算した時間（すなわち、１垂直同期期間よりも短い時間）内における被写体ぶれが十分小さくなるようシャッタ速が選択されているか、さらにその比較的短い時間、有効な手振れ補正等の効きによって手振れ等のぶれ要因が抑えられていれば、合成して得られる広ダイナミックレンジ画像の画質が劣化することはないために、より高画質の画像を容易に得ることができる。また、仮に被写体ぶれによる画質の劣化が生じたとしても、上述した参考例の場合よりも画質の劣化を大きく抑制することが可能となる。
【０１０２】
このように、メモリ部２２内に、合成しようとする露光時間の異なる画像の枚数分のメモリ部を設けることにより、同一の露光時点に近い連続的な露光時間の複数画像を取得することが可能となる。
［実施形態２］
【０１０３】
図１１から図１６は本発明の実施形態２を示したものであり、図１１は１画素に係る画素部２１、メモリ部２２、および列処理部２３Ａの構成を示す回路図である。
【０１０４】
この実施形態２において、上述の実施形態１と同様である部分については同一の符号を付して説明を省略し、主として異なる点についてのみ説明する。
【０１０５】
まず、本実施形態の撮像装置の基本的な構成は、上述した図１に示したものと同様である。また、本実施形態の撮像部２の基本的な構成も、列処理部２３Ａの符号部分を除いて上述した図２に示したものと同様である。
【０１０６】
そして、本実施形態の撮像部２は、画素部２１の構成は図３に示した構成と同様であるが、メモリ部２２に、第１メモリ部ＭＥＭ１と第２メモリ部ＭＥＭ２と第３メモリ部ＭＥＭ３とを設け、さらに列処理部２３Ａに平均演算機能および加算演算機能を備えさせた点が異なっている（付加機能があるために符号を２３から２３Ａに変更しているが、引き続き画素読出制御部である）。
【０１０７】
すなわち、メモリ部２２は、コンデンサＣ１の後段に、第１メモリ部ＭＥＭ１と第２メモリ部ＭＥＭ２と第３メモリ部ＭＥＭ３とが並列に配列されていて、
第１メモリ部ＭＥＭ１と第２メモリ部ＭＥＭ２と第３メモリ部ＭＥＭ３の何れの出力端も、列毎の垂直信号線３３に接続されている。列毎の垂直信号線３３には列回路２３Ａが、後述するスイッチＳＷ５−１のドレイン端子とスイッチＳＷ５−２のドレイン端子とスイッチＳＷ５−３のドレイン端子において接続されている。
【０１０８】
ここに、第１メモリ部ＭＥＭ１は、スイッチＳＷ１−１と、スイッチＳＷ２−１と、トランジスタＴｒＢ−１と、スイッチＳＷ３−１と、メモリｍ１と、を有して構成されている。
【０１０９】
同様に、第２メモリ部ＭＥＭ２は、スイッチＳＷ１−２と、スイッチＳＷ２−２と、トランジスタＴｒＢ−２と、スイッチＳＷ３−２と、メモリｍ２と、を有して構成されている。
【０１１０】
さらに、第３メモリ部ＭＥＭ３は、スイッチＳＷ１−３と、スイッチＳＷ２−３と、トランジスタＴｒＢ−３と、スイッチＳＷ３−３と、メモリｍ３と、を有して構成されている。
【０１１１】
これら第１メモリ部ＭＥＭ１と第２メモリ部ＭＥＭ２と第３メモリ部ＭＥＭ３の構造は、図３のメモリ部２２における該当する構成の構造と同様である。
【０１１２】
また、メモリ部２２のコンデンサＣ１の一端は、列処理部２３ＡのコンデンサＣ３の一端と接続されていて、この接続経路上のメモリ部２２内にはスイッチＳＷ３−４が設けられている。このスイッチＳＷ３−４のゲート端子は、垂直走査回路２４に接続されており、垂直走査回路２４からパルスが供給されてオン／オフが制御されるようになっている。
【０１１３】
また、列処理部２３Ａ内には、各行の第１メモリ部ＭＥＭ１と第２メモリ部ＭＥＭ２と第３メモリ部ＭＥＭ３の各出力端と垂直信号線３３を介して接続されるように、スイッチＳＷ５−１、スイッチＳＷ５−２、スイッチＳＷ５−３が並列に接続されている。さらに、これらスイッチＳＷ５−１、スイッチＳＷ５−２、スイッチＳＷ５−３には、コンデンサＣ２−１、コンデンサＣ２−２、コンデンサＣ２−３の一端がそれぞれ直列に接続されていて、コンデンサＣ２−１、コンデンサＣ２−２、コンデンサＣ２−３の他端はオペアンプＯＰの反転入力端に接続されている。ここに、コンデンサＣ２−１、コンデンサＣ２−２、コンデンサＣ２−３の容量は同一である。
【０１１４】
オペアンプＯＰの非反転入力端は、参照電圧Ｖｒｅｆに接続されている。
【０１１５】
オペアンプＯＰの出力端と反転入力端とは、さらに、並列に配設された、スイッチＳＷ６と、スイッチＳＷ７−１およびコンデンサＣ４−１と、スイッチＳＷ７−２およびコンデンサＣ４−２と、を介して接続されている。
【０１１６】
ここに、スイッチＳＷ７−１およびコンデンサＣ４−１は、第１メモリ部ＭＥＭ１と第２メモリ部ＭＥＭ２と第３メモリ部ＭＥＭ３の各出力を平均演算する際に用いられるものであって、コンデンサＣ４−１の容量は、コンデンサＣ２−１の容量の３倍であり、ひいてはコンデンサＣ２−２およびコンデンサＣ２−３の各容量の３倍でもある。この平均演算の結果は、コンデンサＣ３に記憶されるとともに、スイッチＳＷ３−４を介して、第１メモリ部ＭＥＭ１、第２メモリ部ＭＥＭ２、または第３メモリ部ＭＥＭ３の何れかに記憶されるようになっている。
【０１１７】
また、スイッチＳＷ７−２およびコンデンサＣ４−２は、第１メモリ部ＭＥＭ１、第２メモリ部ＭＥＭ２、または第３メモリ部ＭＥＭ３の何れかに記憶された平均演算の結果を読み出して、３倍演算を行う（より一般には、露光回数倍に増幅する）ことにより、結果的に加算演算に相当する結果を得るためのものである。コンデンサＣ４−２の容量は、コンデンサＣ２−１の容量の１／３倍であり、ひいてはコンデンサＣ２−２およびコンデンサＣ２−３の各容量の１／３倍でもある。
【０１１８】
また、オペアンプＯＰの出力端は、コンデンサＣ３の一端と、スイッチＳＷ８のドレイン端子とに接続されている。
【０１１９】
そして、上述したスイッチＳＷ５−１、スイッチＳＷ５−２、スイッチＳＷ５−３、スイッチＳＷ６、スイッチＳＷ７−１、スイッチＳＷ７−２のゲート端子は制御回路２６に接続されており、制御回路２６からパルスが供給されてオン／オフが制御されるようになっている。スイッチＳＷ８のゲート端子は、水平読出回路２５に接続されており、水平読出回路２５からパルスが供給されてオン／オフが制御されるようになっている。
【０１２０】
次に、図１２は広ダイナミックレンジ画像を得るための撮像部２の撮像動作を示す図、図１３は画素部２１からメモリ部２２への第１〜第３の露光画像データの転送の様子を示す図、図１４は列処理部２３Ａからメモリ部２２への平均演算された露光画像データの転送の様子を示す図、図１５は画素部２１の１行目および２行目における動作を示すタイミングチャート、図１６は画素部２１の１行目における画素のトランジスタ等の信号変化の様子を示すタイミングチャートである。
【０１２１】
本実施形態においては、１垂直同期期間内の１つの露光時間を、連続的な複数（図示の例においては３つ）の露光時間に分割してそれぞれ読み出しを行い、このときに露光時間の分割を例えば均等分割する（すなわち、互いに等しい露光時間にする）ようになっている。そして、３等分に分割した場合には、第１の分割露光により得られたデータ（Ｔｅｘｐ１）を例えばメモリ部２２の第１メモリ部ＭＥＭ１にアナログ転送（ＭＴｒａｎｓ１）し、第２の分割露光により得られたデータ（Ｔｅｘｐ２）を第２メモリ部ＭＥＭ２にアナログ転送（ＭＴｒａｎｓ２）し、第３の分割露光により得られたデータ（Ｔｅｘｐ３）を第３メモリ部ＭＥＭ３にアナログ転送（ＭＴｒａｎｓ３）するようになっている（図１３参照）。
【０１２２】
ここに、第１の露光時間Ｔｅｘｐ１に蓄積された電荷を第１メモリ部ＭＥＭ１に転送する際には、スイッチＳＷ１−１がオンになるとともに、スイッチＳＷ１−２およびスイッチＳＷ１−３がオフになる（図１５参照）。また、第２の露光時間Ｔｅｘｐ２に蓄積された電荷を第２メモリ部ＭＥＭ２に転送する際には、スイッチＳＷ１−２がオンになるとともに、スイッチＳＷ１−１およびスイッチＳＷ１−３がオフになる。さらに、第３の露光時間Ｔｅｘｐ３に蓄積された電荷を第３メモリ部ＭＥＭ３に転送する際には、スイッチＳＷ１−３がオンになるとともに、スイッチＳＷ１−１およびスイッチＳＷ１−２がオフになる。
【０１２３】
次に、平均演算を行う場合には、まず、リセット動作を行う。
すなわち、スイッチ７−１をオンした状態において、スイッチＳＷ６をオンにすることにより、コンデンサＣ３、コンデンサＣ４−１をリセットする。このリセット動作によって、コンデンサＣ３はＶｒｅｆレベルにリセットされ、コンデンサＣ４−１の両端の電位差は０となる。そして、スイッチＳＷ６をオンにした状態を維持したまま、スイッチＳＷ３−１およびスイッチＳＷ５−１をオンにすることにより、コンデンサＣ２−１をリセットする。同様に、スイッチＳＷ６をオンにした状態を維持したまま、スイッチＳＷ３−２およびスイッチＳＷ５−２をオンにすることによりコンデンサＣ２−２をリセットし、スイッチＳＷ３−３およびスイッチＳＷ５−３をオンにすることによりコンデンサＣ２−３をリセットする。このリセット動作によって、コンデンサＣ２−１、コンデンサＣ２−２、コンデンサＣ２−３は各々、メモリｍ１、メモリｍ２、メモリｍ３に蓄積されている信号を反映した状態をクランプする。
【０１２４】
次に、スイッチＳＷ２−１、スイッチＳＷ３−１、およびスイッチＳＷ５−１をオンにすることにより、オペアンプＯＰの出力電位が図１６に示すように変化する。上記までのリセット状態からメモリｍ１に蓄積された信号をスイッチＳＷ２−１オンでＶｒｅｆレベルにリセットする操作は、メモリｍ１に蓄積されていた信号を垂直信号線３３にプラス方向の変化量として出力することになる。その上昇分はオペアンプＯＰとコンデンサＣ４−１で構成される回路によって１／３（コンデンサＣ２−１とコンデンサＣ４−１の容量比）倍されＶｒｅｆレベルからマイナス方向に変化してオペアンプ出力に現れる。
【０１２５】
続いて、スイッチＳＷ７−１をオンにした状態を維持したまま、スイッチＳＷ２−１、スイッチＳＷ３−１、およびスイッチＳＷ５−１をオフにしてから、スイッチＳＷ２−２、スイッチＳＷ３−２、およびスイッチＳＷ５−２をオンにすることにより、オペアンプＯＰの出力電位が図１６に示すようにさらに変化する。この操作によって、オペアンプ出力はさらにメモリｍ２に蓄積された信号量を１／３倍した分マイナス方向に変化してオペアンプ出力に現れる。
【０１２６】
さらに、スイッチＳＷ７−１をオンにした状態を維持したまま、スイッチＳＷ２−２、スイッチＳＷ３−２、およびスイッチＳＷ５−２をオフにしてから、スイッチＳＷ２−３、スイッチＳＷ３−３、およびスイッチＳＷ５−３をオンにすることにより、オペアンプＯＰの出力電位が図１６に示すようにさらに変化する。この操作によって、オペアンプＯＰの出力はさらにメモリｍ３に蓄積された信号量を１／３倍した分マイナス方向に変化した出力として現れる。結局、メモリｍ１、メモリｍ２、メモリｍ３の信号量をそれぞれ１／３倍してＶｒｅｆからマイナス側に変化した信号レベルがオペアンプＯＰの出力に現れることになる。これはすなわち平均値算出に相当する。その後は、スイッチＳＷ２−３、スイッチＳＷ３−３、およびスイッチＳＷ５−３をオフにしておく。
【０１２７】
一方、オペアンプＯＰからの平均値は、スイッチＳＷ３−４をオンにすることにより、メモリ部２２へアナログ転送（図１４のＭＴｒａｎｓＡｖｅ）されて、例えばスイッチＳＷ１−１をオンし、スイッチＳＷ１−２およびスイッチＳＷ１−３をオフすることにより、メモリｍ１に記憶される。
【０１２８】
次いで、コンデンサＣ３に蓄積された平均値の読み出しが行われ、平均値が行毎に水平信号線２７および出力アンプ２８を介して読み出される。第１メモリ部ＭＥＭ１、第２メモリ部ＭＥＭ２、第３メモリ部ＭＥＭ３へ画像信号を転送した後の平均値処理は垂直同期信号ＶＤの立ち上がりタイミングで開始されるものである。
【０１２９】
全ての行について、平均値が読み出された後に、次の垂直同期信号ＶＤの立ち上がりタイミングで、加算値の読み出しが開始される。
【０１３０】
するとまず、上述と同様にして、スイッチ７−２をオンした状態において、スイッチＳＷ６をオンにすることにより、コンデンサＣ３、コンデンサＣ４−２をリセットする。このリセット動作によって、コンデンサＣ３はＶｒｅｆレベルにリセットされ、コンデンサＣ４−２の両端の電位差は０となる。スイッチＳＷ６をオンにした状態を維持したまま、スイッチＳＷ３−１およびスイッチＳＷ５−１をオンにすることにより、コンデンサＣ２−１をリセットする。その後にスイッチＳＷ６をオフして、リセット動作が終了する。このリセット動作によって、コンデンサＣ２−１はメモリｍ１の信号を反映した状態をクランプする。
【０１３１】
次に、スイッチＳＷ７−２がオンした状態を維持したまま、スイッチＳＷ２−１、スイッチＳＷ３−１、およびスイッチＳＷ５−１をオンにすることにより、オペアンプＯＰの出力は、平均値を３倍した値、すなわち加算値となる。この加算値が、コンデンサＣ３に蓄積され、行毎に水平信号線２７および出力アンプ２８を介して読み出される。
【０１３２】
なお、本実施形態では、先に平均値を演算してから、その後に３倍演算を行って加算値を得るようにしているが、これは、３倍演算によって撮像素子内で扱える信号レベルの上限を上まってしまうことがありえるからである。撮像素子内で扱える信号レベルの上限はＰＤの扱える信号レベルより少し大きい程度であることが一般的である。つまり、先に加算値を算出した場合にはセンサの扱える信号レベルの上限にぶつかってしまい、その結果を元に平均値を算出（３で割ればよい）しても正しい平均値はもはや得られなくなってしまう場合がある。従って、平均値を先に演算することにより、より信頼性の高い結果を得るようにしたものである。
【０１３３】
また、上述では、平均演算を行った結果に基づき加算値を得ているが、回路が複雑になっても構わなければ、平均演算回路と加算演算回路とを別個にそれぞれ設け同時に処理するようにすることも可能である。
【０１３４】
さらに、複数回の加算処理を行うと、一般にはノイズが重畳されることになる。本実施形態の撮像部２においてノイズの重畳が支配的となるのは、メモリ部２２以降に重畳するノイズである。平均演算等の演算動作によるノイズの発生はさらなるノイズの劣化をもたらす。しかし、一般的に、低感度時の画質に影響を与えるノイズはＰＤ内で発生する信号電荷に依存したショットノイズであり、回路的なノイズは支配的に影響しない。つまり、比較的低感度時では、光電変換部ＰＤからの複数回のデータ転送とそのデータを加算したことによるノイズの重畳（すなわち、画質の劣化）は、問題となるレベルとはならない。この利点を利用して、比較的蓄積時間が長くなり、像ぶれが発生しやすい低感度において、本実施形態の読み出し方法を利用することにより、動被写体に対して良好なＨＤＲ合成を実現することが可能となる。
【０１３５】
このような実施形態２によれば、ＨＤＲ合成を行うための信号レベルが異なる複数の画像を撮像するのに、複数の垂直同期期間を隔てた露光画像とはならないという点で、上述した実施形態１と同様の効果を奏することができる。
【０１３６】
また、上述した実施形態１の構成では、長時間露光画像と短時間露光画像とが連続的に撮影されるとはいえ、露光時点は正確には異なる時点であったために、例えば被写体の動きが速いとダイナミックレンジ拡大合成して得られる画像は不自然となってしまう。
【０１３７】
これに対してこの実施形態２によれば、信号レベルが異なる複数種類の画像、上述した例では短時間露光画像に該当する信号レベルの平均値画像と、長時間露光画像に該当する信号レベルの加算値画像と、は同一露光時点の画像となるために、ダイナミックレンジ拡大合成して得られる画像をより自然な画像とすることができる。特に、動画撮影においてはコマの連続性を重視するためシャッタ速をフレームレート程度に伸ばす方が（結果的にぶれが発生していた方が）滑らかで自然な印象を与えることが多く、本実施形態によって総合的に良好な動画像を得ることが可能になる。
［実施形態３］
【０１３８】
図１７から図２５は本発明の実施形態３を示したものであり、図１７は１画素に係る画素部２１、メモリ部２２、および列処理部２３Ａの構成を示す回路図である。
【０１３９】
この実施形態３において、上述の実施形態１，２と同様である部分については同一の符号を付して説明を省略し、主として異なる点についてのみ説明する。
【０１４０】
まず、本実施形態の撮像装置の基本的な構成は、上述した図１に示したものと同様である。また、本実施形態の撮像部２の基本的な構成も、列処理部２３Ａの符号部分を除いて上述した図２に示したものと同様である。
【０１４１】
そして、本実施形態の撮像部２は、画素部２１およびメモリ部２２の構成は図７に示した構成と同様であるが、列処理部２３Ａに比較演算および加算演算に基づくＨＤＲ合成機能を備えさせた点が異なっている（付加機能があるために符号を２３から２３Ａに変更している）。
【０１４２】
すなわち、列処理部２３Ａ内には、第１メモリ部ＭＥＭ１と第２メモリ部ＭＥＭ２の各出力端と垂直信号線３３を介して接続されるように、スイッチＳＷ５−１、スイッチＳＷ５−２、スイッチＳＷ５−３が並列に接続されている。
【０１４３】
これらの内のスイッチＳＷ５−１はスイッチＳＷ９−１を介してコンデンサＣ２−１の一端に、スイッチＳＷ５−２はスイッチＳＷ９−２を介してコンデンサＣ２−２の一端に、それぞれ接続されている。
【０１４４】
また、スイッチＳＷ５−３は、コンデンサＣ２−４の一端に接続されている。このコンデンサＣ２−４の他端は、スイッチＳＷ６−２を介してグランドに接続されるとともに、コンパレータＣＰの反転入力端と、コンデンサＣ５の一端とに接続されている。コンデンサＣ５の他端はグランドに接続されている。
【０１４５】
コンパレータＣＰの非反転入力端は、所定の判定スレッシュレベルＶｔｈに接続されている。また、コンパレータＣＰの出力端は、スイッチＳＷ７−１のドレイン端子とスイッチＳＷ７−２のドレイン端子に接続されている。
【０１４６】
スイッチＳＷ７ー２のソース端子は、抵抗Ｒ３を介してグランドに接続される。スイッチＳＷ７ー１のソース端子は、スイッチＳＷ１０−１を介して、上述したスイッチＳＷ９−１のゲート端子に接続されている。スイッチＳＷ１０−１のゲート端子は抵抗Ｒ４を介してＶｄｄに接続されている。また、スイッチＳＷ９−１のゲート端子は、抵抗Ｒ１を介して電圧源Ｖｄｄにも接続されている。
【０１４７】
また、スイッチＳＷ７−２のソース端子は、スイッチＳＷ１０−２を介して、上述したスイッチＳＷ９−２のゲート端子に接続されている。また、スイッチＳＷ９−２のゲート端子は、抵抗Ｒ２を介して電圧源Ｖｄｄにも接続されている。
【０１４８】
さらに、スイッチＳＷ７−２のソース端子は、スイッチＳＷ９−３のゲート端子に接続されている。このスイッチＳＷ９−３は、ドレイン端子が上述した所定の判定スレッシュレベルＶｔｈに、ソース端子がコンデンサＣ２−３に、それぞれ接続されている。また、スイッチＳＷ９−３は、スイッチＳＷ５−４を介してグランドに接続されている。
【０１４９】
互いに並列の位置にあるコンデンサＣ２−１、コンデンサＣ２−２、コンデンサＣ２−３の他端は、オペアンプＯＰの反転入力端にそれぞれ接続されている。ここに、コンデンサＣ２−１、コンデンサＣ２−２、コンデンサＣ２−３の容量は同一である。
【０１５０】
オペアンプＯＰの非反転入力端は、参照電圧Ｖｒｅｆに接続されている。
【０１５１】
オペアンプＯＰの出力端と反転入力端とは、互いに並列に配設されたスイッチＳＷ６−１とコンデンサＣ４と、を介して接続されている。
【０１５２】
ここに、オペアンプＯＰ、スイッチＳＷ６−１、およびコンデンサＣ４は、加算演算をするために用いられるものである。コンデンサＣ４の容量は、コンデンサＣ２−１の容量と同じであり、ひいてはコンデンサＣ２−２およびコンデンサＣ２−３の容量と同じでもある。
【０１５３】
また、オペアンプＯＰの出力端は、コンデンサＣ３の一端と、スイッチＳＷ８のドレイン端子とに接続されている。
【０１５４】
そして、上述したスイッチＳＷ５−１、スイッチＳＷ５−２、スイッチＳＷ５−３、スイッチＳＷ５−４、スイッチＳＷ６−１、スイッチＳＷ６−２、スイッチＳＷ７−１、スイッチＳＷ７−２のゲート端子は制御回路２６に接続されており、制御回路２６からパルスが供給されてオン／オフが制御されるようになっている。スイッチＳＷ８のゲート端子は、水平読出回路２５に接続されており、水平読出回路２５からパルスが供給されてオン／オフが制御されるようになっている。
【０１５５】
次に、図１８は広ダイナミックレンジ画像を得るための撮像部２の撮像動作を示す図である。
【０１５６】
本実施形態においては、図１８に示すように、１垂直同期期間内の１つの露光時間を、互いに異なる連続的な２つの露光時間、すなわち第１の露光時間Ｔｅｘｐ１（例えば、長露光時間）と第２の露光時間Ｔｅｘｐ２（例えば、短露光時間）とに分割してそれぞれ読み出しを行い、上記図９に示した処理に準じて、前者を例えばメモリ部２２の第２メモリ部ＭＥＭ２にアナログ転送（ＭＴｒａｎｓ２）し、その後に後者をメモリ部２２の第１メモリ部ＭＥＭ１にアナログ転送（ＭＴｒａｎｓ１）するのは上述した実施形態１とほぼ同様である（ここでは、後述する図２４や図２５のタイミングチャートと整合させるために、長時間露光画像を第２メモリ部ＭＥＭ２に転送し、短時間露光画像を第１メモリ部ＭＥＭ１に転送しているが、勿論、長時間露光画像を第１メモリ部ＭＥＭ１に転送し、短時間露光画像を第２メモリ部ＭＥＭ２に転送するようにしても構わない）。
【０１５７】
そして、その後の列処理部２３Ａにおいて、垂直同期信号ＶＤの立ち上がりタイミングに同期してメモリ部２２の第２メモリ部ＭＥＭ２に記憶されている長時間露光画像と第１メモリ部ＭＥＭ１に記憶されている短時間露光画像とを簡易ＨＤＲ合成し、撮像部２から出力するようになっている。従って、本実施形態の構成では、１つの垂直同期期間毎に１枚の広ダイナミックレンジ画像が出力され、上述した実施形態１，２と異なりフレームレートが低下することはない。列処理部２３Ａで実施された簡易ＨＤＲ合成結果は撮像素子から出力された後に、カメラのＨＤＲデジタル合成部３によって適切に処理されて最終的なＨＤＲ合成画像となる。
【０１５８】
列処理部２３Ａにおける簡易ＨＤＲ合成の概要について、図１９から図２３を参照して説明する。ここに、図１９は長露光時間のときの入射光強度に対する光電変換部ＰＤの電荷蓄積量を示す線図、図２０は短露光時間のときの入射光強度に対する光電変換部ＰＤの電荷蓄積量を示す線図、図２１は光電変換部ＰＤの飽和レベルを所定のスレッシュレベルとして長時間露光画像と短時間露光画像とを列処理部において簡易ＨＤＲ合成したときの出力レベルを示す線図、図２２は光電変換部ＰＤの飽和レベルを所定のスレッシュレベルとして長時間露光画像と短時間露光画像とを列処理部においてより一層簡易的に簡易ＨＤＲ合成したときの出力レベルを示す線図、図２３は長時間露光画像と短時間露光画像とを列処理部において単純加算することにより簡易ＨＤＲ合成したときの出力レベルを示す線図である。
【０１５９】
長露光時間のときには、図１９の曲線ｆ１に示すように、入射光強度に対する光電変換部ＰＤの電荷蓄積量は、比較的弱い入射光強度で飽和レベルＬｓａｔに達する。これに対して、短露光時間のときには、図２０の曲線ｆ２に示すように、入射光強度に対する光電変換部ＰＤの電荷蓄積量は、長露光時間のときよりも強い入射光強度にならないと飽和レベルＬｓａｔには達しない。従って、曲線ｆ１の傾きは、曲線ｆ２の傾きよりも大きい（なお、曲線ｆ１および曲線ｆ２は必ずしも１次関数になるとは限らないが、ここでは１次関数に近似したときの傾きを比較している）。
【０１６０】
そして、入射光強度が弱い範囲については長時間露光画像が階調を良く表し、入射光強度が強い範囲については短時間露光画像でないと階調を表すことができない。そこで、光電変換部ＰＤの飽和レベルＬｓａｔ（ただし、実際には、完全な飽和レベルよりも幾らか低いレベル（例えば、完全な飽和レベルの９０％、あるいは８５％の値など）が選ばれることになる）を所定のスレッシュレベルとして、飽和レベルＬｓａｔに達しない範囲については曲線ｆ１を用い、飽和レベルＬｓａｔ以上の範囲については曲線ｆ２の出力となるように簡易ＨＤＲ合成の例を表すのが図２１である。飽和レベルＬｓａｔ以上の出力の範囲を曲線ｆ２の出力として図２１のように連続性を保って撮像素子から出力するには、
ｆ２＋Ｌｓａｔ×（１−α）
ここに、α＝短露光時間／長露光時間、とする必要がある。
【０１６１】
また、より一層簡易的な簡易ＨＤＲ合成の例を図２２と図２３に示す。
図２２は飽和レベルＬｓａｔ以上の出力の範囲を曲線ｆ２の出力とするが、その際単純にｆ２＋Ｌｓａｔという処理で生成すること（これは回路の単純化になる（後述））によって、連続性が失われるものである。撮像素子からこのような出力をしてもカメラのＨＤＲデジタル合成部３において適切にＨＤＲ合成を行うことは十分可能である。Ｌｓａｔをスレッシュとしてそれ以下の出力は長秒時蓄積出力、それより大きい出力は短秒時出力として明確に分離されているためである。
【０１６２】
また、長露光時間のときには、図１９の曲線ｆ１に示すように、入射光強度に対する光電変換部ＰＤの電荷蓄積量は、飽和レベルＬｓａｔに達した後は、入射光を受けて発生する電荷が基板側へリークされたりするために、飽和レベルＬｓａｔ付近のレベルに止まることになる。
【０１６３】
そこで、この図２３に示す例では、長時間露光画像と短時間露光画像とを列処理部２３Ａにおいて単純加算することにより、簡易ＨＤＲ合成を行っている。長露光時間に対する短露光時間の比が小さい場合（例えば、１／４、１／８、１／１６等の場合）には、長時間露光画像が飽和レベルに達しても、短時間露光画像のレベルは比較的低いレベルに止まる。従って、長時間露光画像が飽和レベルに達する以下のレベルにおいては、（ｆ１＋ｆ２）の加算結果はｆ１に比較的近似したものとなる。また、長時間露光画像が飽和レベルに達した以上のレベルにおいては、（ｆ１＋ｆ２）は（ｆ１＋Ｌｓａｔ）に近似する値となるために、図２１の簡易ＨＤＲ合成結果に近い値を得られる。従って、長露光時間に対する短露光時間の比が小さい場合には、この図２３に示すような単純加算の手段を用いても、比較的良好な簡易ＨＤＲ合成結果を得られる。
【０１６４】
このような図２１と図２２と図２３に記載したような簡易ＨＤＲ合成は、列処理部２３Ａにおいて行われるようになっている。そして、何れの簡易ＨＤＲ合成を行うためであっても、撮像素子の取り扱う信号レベルの最大値をＰＤ（フォトダイオード）の倍以上に大きくする必要がある。
【０１６５】
続いて、図２４は画素部２１の１行目および２行目における動作を示すタイミングチャート、図２５は画素部２１の１行目における画素のトランジスタ等の信号変化の様子を示すタイミングチャートである。ここに、図１７に示すような構成、および図２４、図２５に示すような処理は、上述した図２１に示す簡易ＨＤＲ合成に対応したものとなっている。なお、図２２への対応は、図１７におけるＶｔｈ’をＶｔｈと等しくするような簡易回路によって達成される。また、図２３への対応は、長露光時間のデータと短露光時間のデータの足し算でよいために、実施形態２で示した平均処理の回路に類似のもので達成される（平均処理とは重み付け足し算処理である）。
【０１６６】
まず、長時間露光と短時間露光とを行って、画素部２１からメモリ部２２へ転送するまでの動作は、上述した実施形態１と同様である。
【０１６７】
すなわち、メモリ部２２から画像データを読み出すときには、スイッチＳＷ６−１をオンにすると共に、スイッチＳＷ３−１およびスイッチＳＷ５−１をオンする。これによってコンデンサＣ４はリセットされる。また、このときスイッチＳＷ７−１およびスイッチＳＷ７−２はオフであるからスイッチＳＷ９−１はオン状態であり、このスイッチ動作によってコンデンサＣ２−１の一端がＯＰアンプの動作によってＶｒｅｆレベルにリセットされるとともに、コンデンサＣ２−１は増幅トランジスタＴｒＢ−１から出力される増幅信号（メモリｍ１に保持されている信号の増幅信号）をクランプする。
【０１６８】
次に、スイッチＳＷ６−１をオンにした状態を維持したまま、スイッチＳＷ３−１およびスイッチＳＷ５−１をオフして、スイッチＳＷ６−２をオンする。
【０１６９】
さらに、スイッチＳＷ６−１およびスイッチＳＷ６−２をオンにした状態を維持したまま、スイッチＳＷ３−２、スイッチＳＷ５−２、スイッチＳＷ５−３、およびスイッチＳＷ５−４をオンする。このときやはりスイッチＳＷ７−１およびスイッチＳＷ７−２はオフであるからスイッチＳＷ９−２はオン状態であり、このスイッチ動作によってコンデンサＣ２−２の一端がオペアンプの動作によってＶｒｅｆレベルにリセットされるとともに、コンデンサＣ２−２は、増幅トランジスタＴｒＢ−２から出力される増幅信号（メモリｍ２に保持されている信号の増幅信号）をクランプする。同様にコンデンサＣ２−３の一端はオペアンプの動作によってＶｒｅｆレベルにリセットされるとともに、コンデンサＣ２−３はＳＷ５−４のスイッチ動作によりグランドレベルをクランプする。さらに、スイッチＳＷ６−２のスイッチ動作によってコンデンサＣ２−４の一端とコンデンサＣ５はグランドレベルにリセットされるとともに、コンデンサＣ２−４は増幅トランジスタＴｒＢ−２から出力される増幅信号（メモリｍ２に保持されている信号の増幅信号）をクランプする。
【０１７０】
その後、スイッチＳＷ６−１およびスイッチＳＷ６−２をオンにした状態を維持したまま、スイッチＳＷ３−２、スイッチＳＷ５−２、スイッチＳＷ５−３、およびスイッチＳＷ５−４をオフする。
【０１７１】
さらにその後、スイッチＳＷ６−１およびスイッチＳＷ６−２をオフする。
【０１７２】
続いて、スイッチＳＷ７−１およびスイッチＳＷ７−２をオンする。
【０１７３】
そして、スイッチＳＷ７−１およびスイッチＳＷ７−２をオンにした状態を維持したまま、スイッチＳＷ２−２、スイッチＳＷ３−２、スイッチＳＷ５−３をオンする。このスイッチ動作によってメモリｍ２に保持されていた信号はＶｒｅｆレベルにリセットされ、コンデンサＣ２−４のコンパレータＣＰとの接続端にメモリｍ２に保持されていた信号量分プラス方向の変化が現れる。この電圧はコンデンサＣ５に保持される。コンパレータＣＰはＶｔｈレベルとメモリｍ２に保持されていた信号レベルとの比較を行った結果をコンパレータＣＰ出力として出力する。このコンパレータＣＰ出力が確定すると、スイッチＳＷ９−１、スイッチＳＷ９−２のオンオフ状態が確定することとなり、さらにスイッチＳＷ９−３のオンオフが確定する。このときスイッチＳＷ９−３がオンするとコンデンサＣ２−３のスイッチＳＷ９−３接続端側にＶｔｈ’レベルが現れ、Ｖｔｈ’レベルがオペアンプ出力に出力される。
【０１７４】
さらに、スイッチＳＷ７−１およびスイッチＳＷ７−２、スイッチＳＷ２−２、スイッチＳＷ３−２、スイッチＳＷ５−３をオンにした状態を維持したまま、スイッチＳＷ５−２をオンする。このスイッチ動作によって、もし、コンパレータＣＰの比較結果ＳＷ９−２がオンとなっていれば、コンデンサＣ２−２のスイッチＳＷ９−２接続側にメモリｍ２に保持されていた信号量分プラス方向の変化が現れ、メモリｍ２（長秒時画像信号を保持）の信号量がオペアンプＯＰに出力されることになる（スイッチＳＷ９−２がオンとなるようなコンパレータＣＰ出力の時はスイッチＳＷ９−３はオフとなっている。すなわち、このタイミングまでにコンパレータＣＰの出力は確定しており、メモリｍ２の出力がオペアンプに出力されるか、あるいはＶｔｈ’が主力されるかが確定している。例えば、Ｖｔｈ≧メモリｍ２のときオペアンプＯＰはメモリｍ２レベルを出力する）。
【０１７５】
その後、まずスイッチＳＷ５−２をオフし、続いてスイッチＳＷ２−２、スイッチＳＷ３−２、スイッチＳＷ５−３をオフする。
【０１７６】
次に、スイッチＳＷ２−１、スイッチＳＷ３−１、スイッチＳＷ５−１をオンする。このスイッチ動作によって、もし、コンパレータＣＰの比較結果ＳＷ９−１がオンとなっていれば、コンデンサＣ２−１のスイッチＳＷ９−１接続側にメモリｍ１に保持されていた信号量分プラス方向の変化が現れ、メモリｍ１（短秒時画像信号を保持）の信号量が既にオペアンプに出力されているＶｔｈ’レベルと加算演算されて出力されることになる（スイッチＳＷ９−１がオンとなるようなコンパレータＣＰ出力の時はスイッチＳＷ９−３はオンとなっておりオペアンプＯＰにはＶｔｈ’レベルが出力されている。このとき、Ｖｔｈ＜メモリｍ２となっている）。所定時間が経過後にこれらスイッチＳＷ２−１、スイッチＳＷ３−１、スイッチＳＷ５−１をオフし、その後にスイッチＳＷ７−１、スイッチＳＷ７−２をオフする。
【０１７７】
このような動作により、メモリ部２２から長時間露光画像と短時間露光とを読み出して簡易ＨＤＲ合成するときの作用の概要は、次のようになる。
【０１７８】
まず、第２メモリ部ＭＥＭ２に記憶されている長時間露光画像を読み出して、コンパレータＣＰが、光電変換部ＰＤの飽和レベルＬｓａｔに対応する所定の判定スレッシュレベルＶｔｈと比較する。
【０１７９】
ここで、コンパレータＣＰが、長時間露光画像の信号値が所定の判定スレッシュレベルＶｔｈよりも低いと判定した場合には、コンパレータＣＰの出力がローレベルとなって、スイッチＳＷ９−１をオフし、スイッチＳＷ９−２をオンし、スイッチＳＷ９−３をオフするように機能する。これにより、オペアンプＯＰからは長時間露光画像の信号値（コンデンサＣ２−２を経由してオペアンプＯＰに入力される信号値）のみが出力されることになる。
【０１８０】
一方、コンパレータＣＰが、長時間露光画像の信号値が所定の判定スレッシュレベルＶｔｈ以上であると判定した場合には、コンパレータＣＰの出力がハイレベルとなって、スイッチＳＷ９−１をオンし、スイッチＳＷ９−２をオフし、スイッチＳＷ９−３をオンするように機能する。これにより、オペアンプＯＰからは短時間露光画像の信号値（コンデンサＣ２−１を経由してオペアンプに入力される信号値）に所定の判定スレッシュレベルＶｔｈ（コンデンサＣ２−３を経由してオペアンプに入力される信号値）を加算した値が出力されることになる。
【０１８１】
こうして、図１７に示したような回路構成において、図２４および図２５に示したような動作を行うことにより、図２１に示したような簡易ＨＤＲ合成が列処理部２３Ａにより行われる。
【０１８２】
撮像部２から簡易ＨＤＲ合成された広ダイナミックレンジ画像が出力され、カメラ内のＨＤＲデジタル合成部３によってさらに適切かつ詳細な合成処理を行うことで最終的なＨＤＲ合成画像が生成されることになる。
【０１８３】
また、上述では長時間露光画像と短時間露光画像とを合成するようにしたが、これに限るものではない。例えば、上述した実施形態２を参照して説明したような、複数回の露光に係る画像の平均演算の結果と加算演算の結果とに基づき簡易ＨＤＲ合成を行うようにしても構わない。
【０１８４】
このような変形例は、概要として、以下のような処理を行えば良い。
【０１８５】
まず、露光量制御部が、１垂直同期期間内における連続的な複数回の露光が、互いに等しい露光時間の露光となるように制御して、画素部２１に露光を行わせる。その結果、メモリ部２２には、複数回の露光に係る画像が記憶される。
【０１８６】
次に、メモリ読出制御部である列処理部２３Ａが、メモリ部２２に格納された複数回の露光に係る画像の平均演算と加算演算とを並列的に（同時に）実施する。
【０１８７】
そして、列処理部２３Ａが、加算演算に係る画素信号を所定の判定スレッシュレベルＶｔｈと比較して、判定スレッシュレベルＶｔｈ未満である場合には加算演算に係る画素信号を外部へ出力し、判定スレッシュレベルＶｔｈ以上である場合には平均演算に係る画素信号に判定スレッシュレベルＶｔｈ’を加算演算した結果を外部へ出力することにより、露光制御部により制御された露光回数よりも少ないフレーム数の簡易ＨＤＲ合成された画像を外部へ出力するようにすれば良い。こうしたことを実行する回路はこれまで説明した実施形態における回路構成をアレンジすることで実現できる。
【０１８８】
なお、上述した実施形態１や実施形態２においては、複数回（例えば２回）の露光により得られた２枚分の画像信号をそれぞれ（例えば１２ビットで）Ａ／Ｄ変換することにより、２枚の１２ビットの画像データが得られていた。
【０１８９】
これに対して、本実施形態の場合には、例えば２回の露光によるデータを簡易ＨＤＲ合成して１回のＡ／Ｄ変換で読み出す場合には、合成後の１枚の１２ビットの画像データのみが出力されることになる。この合成後の１２ビットの画像データは、合成前の画像データとして考えると、例えば１１ビットの２枚の画像データとなる。このために、実施形態１や実施形態２に比べて、Ａ／Ｄ変換における階調ステップの劣化が１ビット分生じることになる。
【０１９０】
ただし、合成後の階調特性は、上述したようにγ特性に近い形状（図２１、図２２、または図２３を参照）となるために、そもそも、Ａ／Ｄ変換を行う前に低レベル側の信号値を持ち上げることに相当する。これにより、後段のデジタルゲインによる増幅の必要量を低く抑えることができるために、上述した１ビット分の劣化は、吸収することが可能である。
【０１９１】
また、従来と同様のビット数の階調（合成前の画像における１２ビットの階調）を単純に維持しようとする場合には、本実施形態の合成後の画像信号に対して１４ビットのＡ／Ｄ変換を適用すれば良い。この１４ビットのＡ／Ｄ変換は、近年の汎用のＡＦＥ等に通常備わっている機能であるために、特別な構成を追加することなく対応することが可能である。
【０１９２】
このような実施形態３によれば、信号レベルが異なる複数の画像を撮像するのに、複数の垂直同期期間に分散した複数の露光は不要であるという点で、上述した実施形態１や実施形態２と同様の効果を奏することができる。
【０１９３】
さらに、この実施形態３によれば、画素部２１からメモリ部２２までの転送がアナログであるために速く、しかもアナログ信号演算も高速にできることを利用して、複数回の露光に係る画素信号をアナログ信号演算により簡易ＨＤＲ合成して、簡易ＨＤＲ合成した後の画像を外部へ出力するようにしたために、露光制御部により制御された露光回数よりも少ないフレーム数の画像を外部へ出力すれば足りることになり、フレームレートを向上することができる。
【０１９４】
このとき、簡易ＨＤＲ合成した画像のみを垂直同期期間毎に出力するようにすれば、フレームレートを低下させることなく広ダイナミックレンジ画像を得ることが可能となる。
【０１９５】
なお、上述した構成においては、メモリ部２２に記憶した画像信号同士に加算や平均、スレッシュに基づく加算等の演算処理を行っていた。しかし、撮像素子の構成としては、メモリ部２２に記憶する際に、同時かつ順次、必要な演算（画素部から読出しつつある画素への定数乗算演算やメモリの画素信号と画素部から読出しつつある画素信号間での演算等）を行って、メモリ部２２に記憶することで、加算や平均、スレッシュに基づく加算等の演算処理を達成することも可能である。この場合には、垂直走査回路２４と列処理部２３は、連続的な複数回の露光に係る各画素信号を順次読み出しつつ列処理部２３は必要な演算（重み付け用の定数乗算演算や平均処理の加算演算等）をしてメモリ部２２に格納する制御を行う。これによって、メモリ部の必要なメモリサイズを減らすことも可能になる（例えばｎフレーム分の平均演算を行う際には常に１フレームのメモリがあれば足りることになる）。
【０１９６】
また、本発明は上述した実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化することができる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成することができる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除しても良い。さらに、異なる実施形態にわたる構成要素を適宜組み合わせても良い。このように、発明の主旨を逸脱しない範囲内において種々の変形や応用が可能であることは勿論である。
【符号の説明】
【０１９７】
１…レンズ
２…撮像部
２ａ…撮像素子
３…ＨＤＲデジタル合成部
４…ＡＦ評価値演算部
５…表示部
６…メモリカード
７…手振検出部
８…手振補正部
９…露光制御部（露光量制御部）
１０…フォーカス制御部
１１…カメラ操作部
１２…カメラ制御部（露光量制御部）
２１…画素部
２２…メモリ部
２３，２３Ａ…列処理部（画素読出制御部、メモリ読出制御部）
２４…垂直走査回路（画素読出制御部、メモリ読出制御部）
２５…水平読出回路（メモリ読出制御部）
２６…制御回路（画素読出制御部、メモリ読出制御部）
２７…水平信号線
２８…出力アンプ
３１…画素
３２…制御信号線
３３…垂直信号線
【技術分野】
【０００１】
本発明は、撮像装置、より詳しくは、広ダイナミックレンジ画像を得るための画像データを取得可能な撮像装置に関する。
【背景技術】
【０００２】
露光時間の異なる複数の画像（例えば短秒時と長秒時の２つの画像）を合成することで、１つの画像のみで得られるダイナミックレンジを越える広いダイナミックレンジの画像を得る技術が知られている。
【０００３】
このような技術の一例について、図２６〜図２８を参照して説明する。図２６は従来の撮像部の構成の一例を示す図、図２７は従来の撮像部における一画素の構成を示す回路図、図２８は従来の撮像部により長時間露光画像と短時間露光画像とを１フレームずつ交互に取得するときの様子を示すタイミングチャートである。
【０００４】
図２６に示す従来の撮像部９１は、複数の画素が２次元状（例えば行方向および列方向）に配列された画素部９２と、この画素部９２から画素値を行単位で読み出して、ＣＤＳ部により相関２重サンプリングを行ったりゲイン部により増幅したりする読出部９３と、この読出部９３から画素値を行単位で読み出してデジタル信号に変換するデジタル処理部９４と、を備えている。
【０００５】
図２７に示すように、画素部９２に構成されている画素は、光電変換部であるＰＤ（フォトダイオード）と、この光電変換部ＰＤの信号を電荷読み出しの際に一時的に保持する信号蓄積部であるＦＤ（フローティングディフュージョン）と、を備えている。
【０００６】
光電変換部ＰＤと信号蓄積部ＦＤとの間には、光電変換部ＰＤの信号を信号蓄積部ＦＤへ転送するための転送トランジスタＴＸが直列に接続されている。
【０００７】
ＴｒＡは増幅部として機能する増幅用トランジスタであり、電圧源Ｖｄｄと電流源とでソースフォロアンプを構成する。信号蓄積部ＦＤの信号は、増幅トランジスタＴｒＡにより増幅され、選択パルスを印加された選択トランジスタを介して垂直転送線に出力される。
【０００８】
ＦＤＲＳＴは信号蓄積部ＦＤおよび増幅トランジスタＴｒＡの入力部をリセットするためのＦＤリセットトランジスタである。また、ＦＤリセットトランジスタＦＤＲＳＴと転送トランジスタＴＸとを同時にオンすることにより、光電変換部ＰＤのリセットも同時に行うことができるようになっている。
【０００９】
図２８は、このような構成の撮像部により、長時間露光画像と短時間露光画像とを１フレームずつ交互に取得するときの様子を示している。
【００１０】
例えば、あるフレームにおいて長露光時間ＴｅｘｐＬの露光データの読出しを行う。露光はローリングシャッタ方式であり、読出タイミングに先立って長露光時間となるようにＰＤをリセットする。その後垂直同期信号ＶＤの立ち上がりで画素部９２からのデータの読出を行単位で順次行う。露光はこの行単位の読出と同時に行単位で順次完了する。これにより、撮像部９１から長時間露光に係るデータ出力Ｌが得られる。
【００１１】
次のフレームにおいて、短露光時間ＴｅｘｐＳの露光データの読出しを行う。垂直同期信号ＶＤの立ち上がりのタイミングで画素部９２からのデータの読出を行単位で順次行い、撮像部９１から短時間露光に係るデータ出力Ｓが得られる。
【００１２】
このような処理を繰り返して行うことにより、長時間露光画像と短時間露光画像とが１フレームずつ交互に取得される。そこで、第１のフレームで得られた長時間露光画像と、第２のフレームで得られた短時間露光とを広ダイナミックレンジ合成することにより、１フレーム分の広ダイナミックレンジ画像が生成される。同様に、第３のフレームで得られた長時間露光画像と、第４のフレームで得られた短時間露光とを広ダイナミックレンジ合成することにより、次の１フレーム分の広ダイナミックレンジ画像が生成される。こうして、従来においては、撮像フレームレートの半分のフレームレートの広ダイナミックレンジ画像が取得されていた。
【００１３】
しかし、この種の従来の技術では、異なる露光時間の画像を得るには、露光タイミングの異なる撮影を複数回繰り返す必要がある。そのために、被写体が動体である場合には、異なるタイミングで露光された画像中の動被写体に位置ずれが発生することになり、位置ずれが発生している画像同士を合成すると、合成結果の画像に画質の劣化が生じる。
【００１４】
このような点に対応するための技術として、例えば特開２０１１−４３５３号公報には、露光時間が異なる画像同士で共通の領域を特定し、共通領域が一致するような位置ずれ補正量を求めて画像処理を行う画像処理装置が記載されている。
【先行技術文献】
【特許文献】
【００１５】
【特許文献１】特開２０１１−４３５３号公報
【発明の概要】
【発明が解決しようとする課題】
【００１６】
しかしながら、上記特開２０１１−４３５３号公報に記載されたような技術では、位置ずれ補正を行うためには、アファイン変換やブロックマッチング等の高度な画像処理技術が必要であるために、カメラとは別途のコンピュータにおいて処理を行うか、またはカメラに十分な処理機能を備えさせる必要があり撮像装置の高価格化や大型化を招くこととなっていた。
【００１７】
また、上述した従来の技術では、例えば２枚の画像を合成する場合には、１枚の合成画像を得るために２枚の画像を読み出す必要がある。従って、動画像において広ダイナミックレンジ画像を得ようとすると、フレームレートが低下してしまう（２枚を合成する場合には、フレームレートが半分になってしまう）課題があった。
【００１８】
本発明は上記事情に鑑みてなされたものであり、高度な画像処理を要することなく、位置ずれが小さい広ダイナミックレンジ画像を得るための画像データを取得可能な撮像装置を提供することを目的としている。
【課題を解決するための手段】
【００１９】
上記の目的を達成するために、本発明の一態様による撮像装置は、露光を行って画像信号を取得する撮像装置において、露光量に応じた信号電荷を発生させる複数の画素が２次元状に配列された画素部と、前記画素部の露光量を決定する露光量制御部と、出力画像の複数フレーム分の前記画素部からの画素信号を記憶し得るメモリ部と、前記画素部の画素信号を読み出して前記メモリ部に格納する画素読出制御部と、前記メモリ部に格納した画素信号を読み出すメモリ読出制御部と、を具備し、前記露光量制御部は、前記画素部を連続的に複数回露光するように制御し、前記画素読出制御部は、前記連続的な複数回の露光に係る各画素信号を順次読み出して前記メモリ部に格納する。
【発明の効果】
【００２０】
本発明の撮像装置によれば、高度な画像処理を要することなく広ダイナミックレンジ画像を生成可能な、露光時間の異なる複数枚の画像を得ることができる。
【図面の簡単な説明】
【００２１】
【図１】本発明の参考例における撮像装置の構成を示すブロック図。
【図２】上記参考例における撮像部の構成を示す図。
【図３】上記参考例において、１画素に係る画素部、メモリ部、および列処理部の構成を示す回路図。
【図４】上記参考例において、広ダイナミックレンジ画像を得るための撮像部の基本的な撮像動作を示す図。
【図５】上記参考例において、画素部の１行目および２行目における動作を示すタイミングチャート。
【図６】上記参考例において、画素部の１行目における画素のトランジスタ等の信号変化の様子を示すタイミングチャート。
【図７】本発明の実施形態１において、１画素に係る画素部、メモリ部、および列処理部の構成を示す回路図。
【図８】上記実施形態１において、広ダイナミックレンジ画像を得るための撮像部の撮像動作を示す図。
【図９】上記実施形態１において、画素部からメモリ部への第１の露光画像データおよび第２の露光画像データの転送の様子を示す図。
【図１０】上記実施形態１において、画素部の１行目および２行目における動作を示すタイミングチャート。
【図１１】本発明の実施形態２において、１画素に係る画素部、メモリ部、および列処理部の構成を示す回路図。
【図１２】上記実施形態２において、広ダイナミックレンジ画像を得るための撮像部の撮像動作を示す図。
【図１３】上記実施形態２において、画素部からメモリ部への第１〜第３の露光画像データの転送の様子を示す図。
【図１４】上記実施形態２において、列処理部からメモリ部への平均演算された露光画像データの転送の様子を示す図。
【図１５】上記実施形態２において、画素部の１行目および２行目における動作を示すタイミングチャート。
【図１６】上記実施形態２において、画素部の１行目における画素のトランジスタ等の信号変化の様子を示すタイミングチャート。
【図１７】本発明の実施形態３において、１画素に係る画素部、メモリ部、および列処理部の構成を示す回路図。
【図１８】上記実施形態３において、広ダイナミックレンジ画像を得るための撮像部の撮像動作を示す図。
【図１９】上記実施形態３において、長露光時間のときの入射光強度に対する光電変換部の電荷蓄積量を示す線図。
【図２０】上記実施形態３において、短露光時間のときの入射光強度に対する光電変換部の電荷蓄積量を示す線図。
【図２１】上記実施形態３において、光電変換部の飽和レベルを所定のスレッシュレベルとして長時間露光画像と短時間露光画像とを列処理部において簡易ＨＤＲ合成したときの出力レベルを示す線図。
【図２２】上記実施形態３において、光電変換部の飽和レベルを所定のスレッシュレベルとして長時間露光画像と短時間露光画像とを列処理部においてより一層簡易的に簡易ＨＤＲ合成したときの出力レベルを示す線図。
【図２３】上記実施形態３において、長時間露光画像と短時間露光画像とを列処理部において単純加算することにより簡易ＨＤＲ合成したときの出力レベルを示す線図。
【図２４】上記実施形態３において、画素部の１行目および２行目における動作を示すタイミングチャート。
【図２５】上記実施形態３において、画素部の１行目における画素のトランジスタ等の信号変化の様子を示すタイミングチャート。
【図２６】従来の撮像部の構成の一例を示す図。
【図２７】従来の撮像部における一画素の構成を示す回路図。
【図２８】従来の撮像部により長時間露光画像と短時間露光画像とを１フレームずつ交互に取得するときの様子を示すタイミングチャート。
【発明を実施するための形態】
【００２２】
まず、図１から図６を参照して、本発明の実施形態に関連する撮像素子の基本的な構成を参考例として説明する。ここに、図１は撮像装置の構成を示すブロック図である。
【００２３】
この撮像装置は、図１に示すように、レンズ１と、撮像部２と、ＨＤＲ（High Dynamic Range：広ダイナミックレンジ）デジタル合成部３と、ＡＦ評価値演算部４と、表示部５と、手振検出部７と、手振補正部８と、露光制御部９と、フォーカス制御部１０と、カメラ操作部１１と、カメラ制御部１２と、を備えている。なお、図１にはメモリカード６も記載されているが、このメモリカード６は撮像装置に対して着脱可能に構成されているために、撮像装置に固有の構成でなくても構わない。
【００２４】
レンズ１は、被写体の光学像を撮像部２に含まれる撮像素子２ａの撮像領域に結像するものである。このレンズ１は、焦点位置（ピント位置）を調節してフォーカシングを行うためのフォーカスレンズと、通過する光束の範囲を制御するための絞りと、を備え、さらに、本例においては手振補正機能も備えたものとなっている。
【００２５】
撮像部２は、レンズ１により結像された被写体の光学像を光電変換して画像信号として出力する撮像素子（撮像センサ）２ａや、この撮像素子２ａから出力された画像信号にアナログの信号処理を施した後にデジタル信号に変換する信号処理回路などを含んでいる。なお、本例においては、撮像素子２ａはレンズ１の撮影光軸に垂直な面内を移動可能に構成されていて、手振補正機能を備えたものとなっている。
【００２６】
ＨＤＲデジタル合成部３は、撮像部２から出力される露光量の異なる複数枚の画像あるいは撮像部２内で簡易ＨＤＲ合成した画像を元に、広ダイナミックレンジ画像を生成するものである。
【００２７】
ＡＦ評価値演算部４は、撮像部２から出力された画像信号に基づいてＡＦ評価値を算出し、カメラ制御部１２へ出力するものである。すなわち、この撮像装置は、例えばコントラストＡＦによりオートフォーカスを行うように構成されたものとなっている。
【００２８】
表示部５は、ＨＤＲデジタル合成部３により合成された広ダイナミックレンジ画像を表示するものである。すなわち、この表示部５は、広ダイナミックレンジライブビュー（ＬＶ）表示や、広ダイナミックレンジ静止画像表示を行うものとなっている。さらに、表示部５は、この撮像装置に係る各種の情報等も表示するようになっている。
【００２９】
メモリカード６は、ＨＤＲデジタル合成部３により合成された広ダイナミックレンジ画像を保存するための記録媒体である。
【００３０】
手振検出部７は、加速度センサ等を有して構成され、この撮像装置の手振れを検出してカメラ制御部１２へ出力するものである。
【００３１】
手振補正部８は、カメラ制御部１２の制御に基づいて、検出された手振れを相殺するようにレンズ１と撮像素子２ａとの少なくとも一方を移動させ、撮像素子２ａの撮像領域上に結像される光学的な被写体像に手振れの影響が生じるのを軽減するためのものである。
【００３２】
露光制御部９は、カメラ制御部１２により決定されたシャッタ速度（露光時間）に基づいて、該カメラ制御部１２の制御の下に、撮像素子２ａの素子シャッタ（この素子シャッタには、グローバルシャッタ、すなわち、撮像素子２ａの全画素を一括リセットすることにより撮影用の露光を開始し、所定の露光時間が経過した後に全画素の画像信号を一括転送して露光を終了するシャッタが含まれている）を制御し、露光時間の異なる複数枚の画像を取得させる撮像制御部である。さらに、露光制御部９は、カメラ制御部１２により決定された絞り値に基づいて、レンズ１に含まれる絞りの制御等も行うようになっている。ここに、シャッタ速度および絞り値は、撮像部２から出力された画像信号に基づいて算出された測光データと、カメラ操作部１１により設定された感度と、等を用いて、例えばＡＰＥＸシステムに沿ったプログラム線図等に基づきカメラ制御部１２により決定される。従って、露光制御部９およびカメラ制御部１２は、撮像部２の後述する画素部２１の露光量を決定し、この画素部２１を連続的に複数回露光するように制御する露光量制御部として機能する。また、露光制御部９は、撮像素子２ａの駆動情報をカメラ制御部１２へ出力するようになっている。
【００３３】
フォーカス制御部１０は、焦点を調節するためにレンズ１を駆動するものである。すなわち、フォーカス制御部１０は、ＡＦ評価値演算部４からＡＦ評価値を受けたカメラ制御部１２の制御に基づいて、レンズ１に含まれるフォーカスレンズを駆動し、撮像素子２ａに結像される被写体像が合焦に至るようにするものである。また、フォーカス制御部１０は、レンズ位置などのレンズ駆動情報をカメラ制御部１２へ出力するようになっている。
【００３４】
カメラ操作部１１は、この撮像装置に対する各種の操作入力を行うための操作部である。このカメラ操作部１１には、撮像装置の電源をオン／オフするための電源スイッチ、静止画撮影、動画撮影などを指示入力するためのレリーズボタン、静止画撮影モードや動画撮影モード、ライブビューモード、広ダイナミックレンジ撮影モードなどを設定するためのモードボタン等の操作部材が含まれている。
【００３５】
カメラ制御部１２は、フォーカス制御部１０からのレンズ駆動情報やＡＦ評価値演算部４からのＡＦ評価値、手振検出部７からの手振情報、カメラ操作部１１からの操作入力などに基づいて、ＨＤＲデジタル合成部３、メモリカード６、手振補正部８、露光制御部９、フォーカス制御部１０等を含むこの撮像装置全体を制御するものである。
【００３６】
次に、図２は、撮像部２の構成を示す図である。
【００３７】
撮像部２は、複数の画素３１を有する画素部２１と、メモリ部２２と、列処理部２３と、垂直走査回路２４と、水平読出回路２５と、制御回路２６と、水平信号線２７と、出力アンプ２８と、を有している。なお、撮像部２の撮像素子２ａは、少なくとも画素部２１を含んでいるが、その他の回路要素は撮像素子２ａ内であっても構わないし、撮像素子２ａ外であっても良い。また、図２に示す各回路要素の配置位置は、実際の配置位置と必ずしも一致するわけではない。
【００３８】
画素部２１は、露光量に応じた信号電荷を発生させる複数の画素３１が２次元状（行列状）（図２の例では１０行×１２列）に配列された撮像領域である。
【００３９】
メモリ部２２は、画素部２１に配列された各画素３１の信号電荷を一時的に蓄積するものであり、例えば画素部２１に配列された各画素３１と同一数かつ同一配列のメモリを有して構成されている。例えば動画像は一般的に静止画像よりも出力画素数が少ない（一般に、静止画像の画素数の数分の１程度である）ために、このメモリ部２２は、動画像に対しては、前記画素部からの画素信号を複数フレーム分記憶し得るものとなっている。また、メモリ部２２を、複数フレーム分の静止画像の画素信号を記憶し得るようにも構成できる。後述の本実施形態ではその構成を前提としている。
【００４０】
垂直走査回路２４は、例えばシフトレジスタで構成されており、画素部２１に配列された各画素３１を、例えば行単位で、あるいは全画素を同時に（グローバル動作）、駆動制御するものである。従って、垂直走査回路２４（あるいは、さらに制御回路２６）は、画素部２１の画素信号を読み出してメモリ部２２に格納する画素読出制御部となっている。この垂直走査回路２４は、連続的な複数回の露光に係る各画素信号を順次読み出してメモリ部２２に格納する制御を行う。垂直走査回路２４の駆動制御には、画素３１のリセット動作、蓄積動作、画素部２１からメモリ部２２への信号読み出し動作等の制御が含まれる。この駆動制御を行うために、垂直走査回路２４は、行毎に設けられている制御信号線３２を介してそれぞれの画素３１へ制御信号を出力し、画素３１を行毎に独立して制御する。例えば、垂直走査回路２４は、画素部２１の全画素３１を駆動制御し、全画素３１の画素信号をメモリ部２２のメモリへ一斉に転送する。
【００４１】
さらに、垂直走査回路２４は、メモリ部２２に配列されたメモリを、例えば行単位で駆動制御するものである。この駆動制御には、メモリ部２２に配列されたメモリから画素信号を行単位で列処理部２３へ読み出す制御等が含まれる。
【００４２】
列処理部２３は、列毎の垂直信号線３３を介してメモリ部２２の各メモリから出力された画素信号に対して、あるいは、垂直走査回路２４（あるいは、さらに制御回路２６）が、画素部２１の画素信号を読み出してメモリ部２２に格納する際に画素信号に対して、例えばノイズ除去や増幅、後述の各種演算等の信号処理を行うものである。この列処理部２３は、画素読出制御部でもある。
【００４３】
水平読出回路２５は、例えばシフトレジスタで構成されており、画素信号を読み出す画素列を選択して、選択した画素列に係る列処理部２３を順次選択し、列処理部２３から画素信号を順次水平信号線２７へ出力することにより画素信号を読み出すものである。
【００４４】
そして、列処理部２３、垂直走査回路２４、および水平読出回路２５（あるいは、さらに制御回路２６）が、メモリ部２２に格納した画素信号を読み出すメモリ読出制御部を構成している。
【００４５】
出力アンプ２８は、水平信号線２７へ出力された画素信号に対して増幅等の信号処理を行い、外部へ画素信号を出力するものである。
【００４６】
制御回路２６は、露光制御部９の制御に基づいて、上述した列処理部２３、垂直走査回路２４、水平読出回路２５等の動作の基準となるクロック信号や制御信号等を生成して出力し、これら列処理部２３、垂直走査回路２４、水平読出回路２５等を制御するものである。
【００４７】
図３は、１画素に係る画素部２１、メモリ部２２、および列処理部２３の構成を示す回路図である。
【００４８】
画素部２１の画素３１は、光電変換部であるＰＤ（フォトダイオード）と、この光電変換部ＰＤの信号を電荷読み出しの際に一時的に保持する信号蓄積部であるＦＤ（フローティングディフュージョン）と、を備えている。ここに、光電変換部ＰＤは、入射した光に応じた信号電荷を生成（発生）し、生成（発生）した信号電荷を保持・蓄積するものである。また、信号蓄積部ＦＤは、光電変換部ＰＤから転送された信号電荷を一時的に保持・蓄積する容量である。これら光電変換部ＰＤの一端と信号蓄積部ＦＤの一端と、はそれぞれ接地されている。
【００４９】
光電変換部ＰＤの他端と信号蓄積部ＦＤの他端との間には、光電変換部ＰＤに蓄積された信号電荷を信号蓄積部ＦＤへ転送するための転送トランジスタＴＸが直列に接続されている。すなわち、転送トランジスタＴＸは、ドレイン端子が光電変換部ＰＤの他端に、ソース端子が信号蓄積部ＦＤの他端に、それぞれ接続されている。また、転送トランジスタＴＸの入力部であるゲート端子は垂直走査回路２４に接続されており、垂直走査回路２４から転送パルスが供給されて、転送トランジスタＴＸのオン／オフが制御されるようになっている。
【００５０】
ＴｒＡは、増幅部として機能する増幅用トランジスタであり、ゲート端子に入力される、信号蓄積部ＦＤに蓄積されている信号電荷に基づく信号を、増幅して、ソース端子から出力するものである。この増幅トランジスタＴｒＡのドレイン端子は、電圧源Ｖｄｄに接続されている。また、増幅トランジスタＴｒＡの入力部であるゲート端子は、転送トランジスタＴＸのソース端子に接続されている。さらに、増幅トランジスタＴｒＡのソース端子は電流源に接続されている。増幅トランジスタＴｒＡは、電圧源Ｖｄｄと電流源とでソースフォロアンプを構成するようになっている。
【００５１】
ＦＤＲＳＴは信号蓄積部ＦＤおよび増幅トランジスタＴｒＡの入力部をリセットするためのＦＤリセットトランジスタである。このＦＤリセットトランジスタＦＤＲＳＴのドレイン端子は電圧源Ｖｄｄに接続されており、ＦＤリセットトランジスタＦＤＲＳＴのソース端子は転送トランジスタＴＸのソース端子に接続されている。また、ＦＤリセットトランジスタＦＤＲＳＴの入力部であるゲート端子は垂直走査回路２４に接続されており、垂直走査回路２４からＦＤリセットパルスが供給されて、ＦＤリセットトランジスタのオン／オフが制御されるようになっている。このような構成において、ＦＤリセットトランジスタＦＤＲＳＴと転送トランジスタＴＸとを同時にオンすることにより、信号蓄積部ＦＤのリセットと同時に光電変換部ＰＤのリセットも行うことができるようになっている。
【００５２】
このような構成により、光電変換部ＰＤの信号は、信号蓄積部ＦＤに一旦蓄積された後に、増幅トランジスタＴｒＡにより増幅されて、メモリ部２２側へ出力される。
【００５３】
メモリ部２２は、コンデンサＣ１と、スイッチＳＷ１−１と、スイッチＳＷ２−１と、アナログメモリであるメモリｍ１と、トランジスタＴｒＢ−１と、スイッチＳＷ３−１とを有している。
【００５４】
コンデンサＣ１の一端は増幅トランジスタＴｒＡのソース端子に接続されている。このコンデンサＣ１は、増幅トランジスタＴｒＡから出力される増幅信号の電圧レベルをクランプ（固定）する容量である。コンデンサＣ１の他端は、トランジスタにより構成されたスイッチＳＷ１−１のドレイン端子に接続されている。
【００５５】
スイッチＳＷ１−１は、コンデンサＣ１の他端の電圧レベルをサンプルホールドし、メモリｍ１に保持、蓄積するトランジスタである。このスイッチＳＷ１−１のゲート端子は、垂直走査回路２４に接続されており、垂直走査回路２４からサンプルパルスが供給されて、スイッチＳＷ１−１のオン／オフが制御されるようになっている。
【００５６】
スイッチＳＷ２−１は、メモリｍ１をリセットするためのトランジスタであり、そのソース端子がスイッチＳＷ１−１のソース端子に接続され、ドレイン端子が参照電圧Ｖｒｅｆに接続されている。このスイッチＳＷ２−１のゲート端子は、垂直走査回路２４に接続されており、垂直走査回路２４からクランプ＆メモリリセットパルスが供給されて、スイッチＳＷ２−１のオン／オフが制御されるようになっている。
【００５７】
メモリｍ１は、一端が接地され、他端がスイッチＳＷ１−１のソース端子に接続されていて、スイッチＳＷ１−１によってサンプルホールドされたアナログ信号を保持・蓄積するものである。このメモリｍ１は、信号蓄積部ＦＤの容量よりも大きな容量となるように構成されている。
【００５８】
トランジスタＴｒＢ−１は、増幅部として機能する増幅用トランジスタであり、メモリｍ１に蓄積されている信号電荷に基づいてゲート端子に入力される信号を増幅して、ソース端子から出力するものである。このトランジスタＴｒＢ−１のドレイン端子は、電圧源Ｖｄｄに接続されている。また、トランジスタＴｒＢ−１の入力部であるゲート端子は、スイッチＳＷ１−１のソース端子に接続されている。さらに、トランジスタＴｒＢ−１のソース端子は、スイッチＳＷ３−１を介して電流源に接続されている。トランジスタＴｒＢ−１は、電圧源Ｖｄｄと電流源とでソースフォロアンプを構成するようになっている。
【００５９】
スイッチＳＷ３−１は、アナログのメモリｍ１の信号を垂直信号線３３に出力する選択を行うためのトランジスタである。そして、選択された信号は垂直信号線３３を介して列処理部２３へ転送される。このスイッチＳＷ３−１は、ドレイン端子がトランジスタＴｒＢ−１のソース端子に接続され、ソース端子が電流源に接続されている。また、スイッチＳＷ３−１のゲート端子は、垂直走査回路２４に接続されており、垂直走査回路２４から選択パルスが供給されて、スイッチＳＷ３−１のオン／オフが制御されるようになっている。
【００６０】
このような構成により、画素部２１からの信号は、メモリｍ１に一旦蓄積された後に、トランジスタＴｒＢ−１により増幅されて、列処理部２３側へ出力される。
【００６１】
列処理部２３は、スイッチＳＷ５と、コンデンサＣ２と、スイッチＳＷ６と、コンデンサＣ３と、スイッチＳＷ８とを有している。
【００６２】
スイッチＳＷ５は、トランジスタにより構成されていて、ドレイン端子がスイッチＳＷ３−１のソース端子に接続され、ソース端子がコンデンサＣ２の一端に接続されている。このスイッチＳＷ５のゲート端子は、制御回路２６に接続されており、制御回路２６から供給されるパルスによりオン／オフが制御されるようになっている。
【００６３】
コンデンサＣ２は、他端が、スイッチＳＷ６のソース端子と、コンデンサＣ３の他端と、スイッチＳＷ８のドレイン端子とに接続されている。このコンデンサＣ２は、トランジスタＴｒＢ−１から出力されスイッチＳＷ３−１およびスイッチＳＷ５を介して入力される増幅信号の電圧レベルをクランプ（固定）する容量である。
【００６４】
スイッチＳＷ６は、コンデンサＣ３をリセットするためのトランジスタであり、ドレイン端子が参照電圧Ｖｒｅｆに接続されている。このスイッチＳＷ６のゲート端子は、制御回路２６に接続されており、制御回路２６から供給されるパルスによりオン／オフが制御されるようになっている。
【００６５】
コンデンサＣ３は、一端が接地され、他端がスイッチＳＷ６のソース端子に接続されていて、コンデンサＣ２の電圧レベルに基づくアナログ信号を保持・蓄積するものである。
【００６６】
スイッチＳＷ８は、コンデンサＣ３の信号を読み出して水平信号線２７を介して出力アンプ２８へ転送する選択を行うためのトランジスタである。このスイッチＳＷ８は、ドレイン端子がスイッチＳＷ６のソース端子に接続され、ソース端子が水平信号線２７に接続されている。また、スイッチＳＷ８のゲート端子は、水平読出回路２５に接続されており、水平読出回路２５から供給されるパルスによりオン／オフが制御されるようになっている。
【００６７】
こうして、列処理部２３において選択された列の画素信号が、後段の出力アンプ２８により増幅され、出力されるようになっている。
【００６８】
撮像部２には、出力アンプ２８の後段にさらに図示しないＡ／Ｄ変換部が設けられており、撮像部２からの信号はデジタル化された後にＨＤＲデジタル合成部３へ出力されるようになっている。
【００６９】
なお、上記各トランジスタに関しては、極性を逆にして、ソース端子とドレイン端子とを上述とは逆にしても構わないが、以下においても入力側がドレイン端子、出力側がソース端子である場合を例に挙げて説明する。さらに、以下では、スイッチがトランジスタにより構成されていることの明記も、適宜省略する。
【００７０】
図４は広ダイナミックレンジ画像を得るための撮像部２の基本的な撮像動作を示す図、図５は画素部２１の１行目および２行目における動作を示すタイミングチャート、図６は画素部２１の１行目における画素のトランジスタ等の信号変化の様子を示すタイミングチャートである。なお、図４には、一例として、露光時間の異なる２種類の画像を取得する場合を示している。
【００７１】
まず、カメラ制御部１２は、測光結果に基づいて、露光時間Ｔｅｘｐとして、長時間と短時間との２種類を予め設定しておく。
【００７２】
そして、露光制御部９は、垂直同期信号ＶＤの立ち上がりタイミングから例えば長時間露光時間だけ遡った時点で、撮像素子２ａの全画素の光電変換部ＰＤのリセットを同時に行わせる（つまり、グローバルシャッタ方式である）。この光電変換部ＰＤのリセットは、上述したように、ＦＤリセットトランジスタＦＤＲＳＴと転送トランジスタＴＸとを同時にオンすることに行われる（図５および図６参照）。そして、ＦＤリセットトランジスタＦＤＲＳＴおよび転送トランジスタＴＸがオフになった時点が露光開始時点となる。このリセット動作後は、信号蓄積部ＦＤの電位も電圧源Ｖｄｄにリセットされ、増幅トランジスタＴｒＡからの増幅された出力はＴｒＡのＶｔｈ分だけ低下した（Ｖｄｄ−Ｖｔｈ）となる（図６参照）。
【００７３】
その後、垂直同期信号ＶＤの立ち上がりタイミングよりも以前の時点で、ＦＤリセットトランジスタＦＤＲＳＴをオンして信号蓄積部ＦＤをリセットし、同時にスイッチＳＷ２−１をオンすることによりメモリｍ１を図６に示す参照電圧Ｖｒｅｆにリセットする。このときさらに同時に、スイッチＳＷ１−１をオンすることにより、コンデンサＣ１の他端の電位が参照電圧Ｖｒｅｆにリセットされると共に、スイッチＳＷ１−１がコンデンサＣ１の他端の電位のサンプルホールドを開始する。
【００７４】
その後、ＦＤリセットトランジスタＦＤＲＳＴをオフにすることで、信号蓄積部ＦＤのリセットが終了する。この信号蓄積部ＦＤのリセットは、リーク電流によるノイズをより低減するために、なるべく露光期間の終了直前に行うことが望ましい。
【００７５】
続いて、スイッチＳＷ２−１をオフにすることで、メモリｍ１のリセットを終了する。この時点で、コンデンサＣ１は、増幅トランジスタＴｒＡから出力される増幅信号（信号蓄積部ＦＤのリセット後の増幅信号）をクランプしている。
【００７６】
さらにその後、転送トランジスタＴＸをオンにすることで、全画素の光電変換部ＰＤに蓄積されている信号電荷が、転送トランジスタＴＸを介して信号蓄積部ＦＤに転送され、信号蓄積部ＦＤに蓄積される。これにより、信号蓄積部ＦＤの端子波形、増幅トランジスタＴｒＡの出力波形、メモリｍ１の他端の電位が図６に示すように変化する。
【００７７】
次に、垂直同期信号ＶＤの立ち上がりタイミングにおいて、全画素の転送トランジスタＴＸをオフにすることで、全画素の露光（信号電荷の蓄積）が一括して（同時に）終了する。
【００７８】
この転送トランジスタＴＸのオフと同時にスイッチＳＷ１−１をオフすることにより、コンデンサＣ１の他端の電位のサンプルホールドを終了する。このようにして、画素部２１の全画素に蓄積されている信号は、メモリｍ１にサンプルホールドされる。
【００７９】
その後に、露光制御部９は、メモリｍ１にサンプルホールドされた画像信号を、列処理部２３を介して行単位で順次読み出させる。すなわち、まず１行目のスイッチＳＷ３−１とスイッチＳＷ５とスイッチＳＷ６とをオンすることにより、コンデンサＣ３は参照電圧Ｖｒｅｆにリセットされ、さらにコンデンサＣ２の他端の電位も参照電圧Ｖｒｅｆにリセットされ、そしてサンプルホールドも開始される。
【００８０】
続いて、スイッチＳＷ６をオフすると共にスイッチＳＷ２−１をオンすることにより、メモリｍ１に蓄積されている信号はリセットされその結果がＴｒＢ−１の構成するソースフォロア回路を介して垂直信号線３３に出力される。このスイッチ操作によってメモリｍ１に蓄積されていた信号は垂直信号線３３にプラス方向の変化量として出力されコンデンサＣ３に伝わる。
【００８１】
その後、スイッチＳＷ２−１とスイッチＳＷ３−１とスイッチＳＷ５とをオフすることにより、メモリｍ１の信号はコンデンサＣ３サンプルホールドされる。
【００８２】
そして、水平転送パルスが印加されたところで、コンデンサＣ３に蓄積されている信号が、スイッチＳＷ８を介して水平信号線２７へ出力される。
【００８３】
水平信号線２７へ出力された信号は、出力アンプ２８により増幅された後にデジタル信号に変換されて、撮像部２からＨＤＲデジタル合成部３へ出力される。
【００８４】
メモリｍ１に蓄積されている画像信号の１行目に相当する信号はこのように順次水平信号線に出力されデジタル信号に変換されていく。全ての信号電荷を水平信号線を介して読み出したら、２行目の画素信号を同様に読み出していく。これを全行分繰り返すことで全画素の信号電荷をデジタル信号として読み出すことができる。
【００８５】
このような処理を、垂直同期期間毎に、長時間露光と短時間露光とを交互に繰り返して行うことにより、ＨＤＲデジタル合成部３には広ダイナミックレンジ画像を合成するために必要な長時間露光画像と短時間露光画像とが交互に入力される。
【００８６】
引き続いて、図面を参照して本発明の実施の形態を説明する。
［実施形態１］
【００８７】
図７から図１０は本発明の実施形態１を示したものであり、図７は１画素に係る画素部２１、メモリ部２２、および列処理部２３の構成を示す回路図である。
【００８８】
まず、本実施形態の撮像装置の基本的な構成は、上述した図１に示したものと同様である。また、本実施形態の撮像部２の基本的な構成も、上述した図２に示したものと同様である。
【００８９】
そして、本実施形態の撮像部２は、画素部２１および列処理部２３の構成は図３に示した構成と同様であるが、メモリ部２２に、第１メモリ部ＭＥＭ１と第２メモリ部ＭＥＭ２とを設けた構成となっている点が異なっている。
【００９０】
すなわち、メモリ部２２は、コンデンサＣ１の後段に、第１メモリ部ＭＥＭ１と第２メモリ部ＭＥＭ２とが並列に配列されていて、第１メモリ部ＭＥＭ１と第２メモリ部ＭＥＭ２の何れの出力端も、スイッチＳＷ５のドレイン端子に接続されている。
【００９１】
ここに、第１メモリ部ＭＥＭ１は、スイッチＳＷ１−１と、スイッチＳＷ２−１と、トランジスタＴｒＢ−１と、スイッチＳＷ３−１と、メモリｍ１と、を有して構成されている。
【００９２】
同様に、第２メモリ部ＭＥＭ２は、スイッチＳＷ１−２と、スイッチＳＷ２−２と、トランジスタＴｒＢ−２と、スイッチＳＷ３−２と、メモリｍ２と、を有して構成されている。
【００９３】
これら第１メモリ部ＭＥＭ１と第２メモリ部ＭＥＭ２の構造は、図３のメモリ部２２における該当する構成の構造と同様である。
【００９４】
図８は広ダイナミックレンジ画像を得るための撮像部２の撮像動作を示す図、図９は画素部２１からメモリ部２２への第１の露光画像データおよび第２の露光画像データの転送の様子を示す図、図１０は画素部２１の１行目および２行目における動作を示すタイミングチャートである。
【００９５】
なお、画素部２１の１行目における画素のトランジスタ等の信号変化の様子は、図６に示したものとほぼ同様である。
【００９６】
本実施形態においては、１垂直同期期間内の１つの露光時間を、互いに異なる連続的な２つの露光時間、すなわち第１の露光時間Ｔｅｘｐ１（例えば、長露光時間）と第２の露光時間Ｔｅｘｐ２（例えば、短露光時間）とに分割してそれぞれ読み出しを行い、前者を例えばメモリ部２２の第１メモリ部ＭＥＭ１にアナログ転送（ＭＴｒａｎｓ１）し、その後に後者をメモリ部２２の第２メモリ部ＭＥＭ２にアナログ転送（ＭＴｒａｎｓ２）するようになっている。
【００９７】
ここに、第１の露光時間Ｔｅｘｐ１に蓄積された電荷を第１メモリ部ＭＥＭ１に転送する際には、スイッチＳＷ１−１がオンになるとともに、スイッチＳＷ１−２がオフになる。また、第２の露光時間Ｔｅｘｐ２に蓄積された電荷を第２メモリ部ＭＥＭ２に転送する際には、スイッチＳＷ１−１がオフになるとともに、スイッチＳＷ１−２がオンになる。メモリｍ１やｍ２への信号の転送方法は参考例の説明で行ったものと同様である。
【００９８】
なお、「連続する２つの露光時間」に代えて「連続的な２つの露光時間」と述べた理由は、図１０に示すように、第１の露光時間Ｔｅｘｐ１と第２の露光時間Ｔｅｘｐ２との間にＦＤリセットトランジスタＦＤＲＳＴがオンになるために、露光時間がこのパルス期間分だけ途切れるためである（以下、同様）。従って、「連続的な」とは、「パルス期間程度の時間を除いて連続する」と言い替えることもできる。
【００９９】
そして、第１メモリ部ＭＥＭ１に記憶された長時間露光データを垂直同期信号ＶＤに同期して行単位で順次読み出し、次の垂直同期信号ＶＤに同期して第２メモリ部ＭＥＭ２に記憶された短時間露光データを行単位で順次読み出すようになっている。
【０１００】
なお、図８に示した例では、先に長時間露光を行い、後で短時間露光を行っているが、逆の順序でも構わない。同様に、先に長時間露光画像を読み出し、後で短時間露光画像を読み出しているが、逆の順序でも構わないし、露光順と読出順が異なっても構わない。
【０１０１】
上述した参考例の読み出し方では、露光は２垂直同期期間に渡って行われる２回の露光の画像に基づいてＨＤＲ合成していたため、被写体が２垂直同期期間に渡って移動したり、その間に手振れ等によるぶれが発生した場合、個々の露光において適切なシャッタ速設定により被写体ぶれ（ここでは手振れによるぶれも含むとする）のない正常な画像であってもＨＤＲ合成後の画像はぶれの影響をうけた劣化した画像になっていた。しかし、実施形態１の構成によれば、第１の露光時間Ｔｅｘｐ１と第２の露光時間Ｔｅｘｐ２とを加算した時間（すなわち、１垂直同期期間よりも短い時間）内における被写体ぶれが十分小さくなるようシャッタ速が選択されているか、さらにその比較的短い時間、有効な手振れ補正等の効きによって手振れ等のぶれ要因が抑えられていれば、合成して得られる広ダイナミックレンジ画像の画質が劣化することはないために、より高画質の画像を容易に得ることができる。また、仮に被写体ぶれによる画質の劣化が生じたとしても、上述した参考例の場合よりも画質の劣化を大きく抑制することが可能となる。
【０１０２】
このように、メモリ部２２内に、合成しようとする露光時間の異なる画像の枚数分のメモリ部を設けることにより、同一の露光時点に近い連続的な露光時間の複数画像を取得することが可能となる。
［実施形態２］
【０１０３】
図１１から図１６は本発明の実施形態２を示したものであり、図１１は１画素に係る画素部２１、メモリ部２２、および列処理部２３Ａの構成を示す回路図である。
【０１０４】
この実施形態２において、上述の実施形態１と同様である部分については同一の符号を付して説明を省略し、主として異なる点についてのみ説明する。
【０１０５】
まず、本実施形態の撮像装置の基本的な構成は、上述した図１に示したものと同様である。また、本実施形態の撮像部２の基本的な構成も、列処理部２３Ａの符号部分を除いて上述した図２に示したものと同様である。
【０１０６】
そして、本実施形態の撮像部２は、画素部２１の構成は図３に示した構成と同様であるが、メモリ部２２に、第１メモリ部ＭＥＭ１と第２メモリ部ＭＥＭ２と第３メモリ部ＭＥＭ３とを設け、さらに列処理部２３Ａに平均演算機能および加算演算機能を備えさせた点が異なっている（付加機能があるために符号を２３から２３Ａに変更しているが、引き続き画素読出制御部である）。
【０１０７】
すなわち、メモリ部２２は、コンデンサＣ１の後段に、第１メモリ部ＭＥＭ１と第２メモリ部ＭＥＭ２と第３メモリ部ＭＥＭ３とが並列に配列されていて、
第１メモリ部ＭＥＭ１と第２メモリ部ＭＥＭ２と第３メモリ部ＭＥＭ３の何れの出力端も、列毎の垂直信号線３３に接続されている。列毎の垂直信号線３３には列回路２３Ａが、後述するスイッチＳＷ５−１のドレイン端子とスイッチＳＷ５−２のドレイン端子とスイッチＳＷ５−３のドレイン端子において接続されている。
【０１０８】
ここに、第１メモリ部ＭＥＭ１は、スイッチＳＷ１−１と、スイッチＳＷ２−１と、トランジスタＴｒＢ−１と、スイッチＳＷ３−１と、メモリｍ１と、を有して構成されている。
【０１０９】
同様に、第２メモリ部ＭＥＭ２は、スイッチＳＷ１−２と、スイッチＳＷ２−２と、トランジスタＴｒＢ−２と、スイッチＳＷ３−２と、メモリｍ２と、を有して構成されている。
【０１１０】
さらに、第３メモリ部ＭＥＭ３は、スイッチＳＷ１−３と、スイッチＳＷ２−３と、トランジスタＴｒＢ−３と、スイッチＳＷ３−３と、メモリｍ３と、を有して構成されている。
【０１１１】
これら第１メモリ部ＭＥＭ１と第２メモリ部ＭＥＭ２と第３メモリ部ＭＥＭ３の構造は、図３のメモリ部２２における該当する構成の構造と同様である。
【０１１２】
また、メモリ部２２のコンデンサＣ１の一端は、列処理部２３ＡのコンデンサＣ３の一端と接続されていて、この接続経路上のメモリ部２２内にはスイッチＳＷ３−４が設けられている。このスイッチＳＷ３−４のゲート端子は、垂直走査回路２４に接続されており、垂直走査回路２４からパルスが供給されてオン／オフが制御されるようになっている。
【０１１３】
また、列処理部２３Ａ内には、各行の第１メモリ部ＭＥＭ１と第２メモリ部ＭＥＭ２と第３メモリ部ＭＥＭ３の各出力端と垂直信号線３３を介して接続されるように、スイッチＳＷ５−１、スイッチＳＷ５−２、スイッチＳＷ５−３が並列に接続されている。さらに、これらスイッチＳＷ５−１、スイッチＳＷ５−２、スイッチＳＷ５−３には、コンデンサＣ２−１、コンデンサＣ２−２、コンデンサＣ２−３の一端がそれぞれ直列に接続されていて、コンデンサＣ２−１、コンデンサＣ２−２、コンデンサＣ２−３の他端はオペアンプＯＰの反転入力端に接続されている。ここに、コンデンサＣ２−１、コンデンサＣ２−２、コンデンサＣ２−３の容量は同一である。
【０１１４】
オペアンプＯＰの非反転入力端は、参照電圧Ｖｒｅｆに接続されている。
【０１１５】
オペアンプＯＰの出力端と反転入力端とは、さらに、並列に配設された、スイッチＳＷ６と、スイッチＳＷ７−１およびコンデンサＣ４−１と、スイッチＳＷ７−２およびコンデンサＣ４−２と、を介して接続されている。
【０１１６】
ここに、スイッチＳＷ７−１およびコンデンサＣ４−１は、第１メモリ部ＭＥＭ１と第２メモリ部ＭＥＭ２と第３メモリ部ＭＥＭ３の各出力を平均演算する際に用いられるものであって、コンデンサＣ４−１の容量は、コンデンサＣ２−１の容量の３倍であり、ひいてはコンデンサＣ２−２およびコンデンサＣ２−３の各容量の３倍でもある。この平均演算の結果は、コンデンサＣ３に記憶されるとともに、スイッチＳＷ３−４を介して、第１メモリ部ＭＥＭ１、第２メモリ部ＭＥＭ２、または第３メモリ部ＭＥＭ３の何れかに記憶されるようになっている。
【０１１７】
また、スイッチＳＷ７−２およびコンデンサＣ４−２は、第１メモリ部ＭＥＭ１、第２メモリ部ＭＥＭ２、または第３メモリ部ＭＥＭ３の何れかに記憶された平均演算の結果を読み出して、３倍演算を行う（より一般には、露光回数倍に増幅する）ことにより、結果的に加算演算に相当する結果を得るためのものである。コンデンサＣ４−２の容量は、コンデンサＣ２−１の容量の１／３倍であり、ひいてはコンデンサＣ２−２およびコンデンサＣ２−３の各容量の１／３倍でもある。
【０１１８】
また、オペアンプＯＰの出力端は、コンデンサＣ３の一端と、スイッチＳＷ８のドレイン端子とに接続されている。
【０１１９】
そして、上述したスイッチＳＷ５−１、スイッチＳＷ５−２、スイッチＳＷ５−３、スイッチＳＷ６、スイッチＳＷ７−１、スイッチＳＷ７−２のゲート端子は制御回路２６に接続されており、制御回路２６からパルスが供給されてオン／オフが制御されるようになっている。スイッチＳＷ８のゲート端子は、水平読出回路２５に接続されており、水平読出回路２５からパルスが供給されてオン／オフが制御されるようになっている。
【０１２０】
次に、図１２は広ダイナミックレンジ画像を得るための撮像部２の撮像動作を示す図、図１３は画素部２１からメモリ部２２への第１〜第３の露光画像データの転送の様子を示す図、図１４は列処理部２３Ａからメモリ部２２への平均演算された露光画像データの転送の様子を示す図、図１５は画素部２１の１行目および２行目における動作を示すタイミングチャート、図１６は画素部２１の１行目における画素のトランジスタ等の信号変化の様子を示すタイミングチャートである。
【０１２１】
本実施形態においては、１垂直同期期間内の１つの露光時間を、連続的な複数（図示の例においては３つ）の露光時間に分割してそれぞれ読み出しを行い、このときに露光時間の分割を例えば均等分割する（すなわち、互いに等しい露光時間にする）ようになっている。そして、３等分に分割した場合には、第１の分割露光により得られたデータ（Ｔｅｘｐ１）を例えばメモリ部２２の第１メモリ部ＭＥＭ１にアナログ転送（ＭＴｒａｎｓ１）し、第２の分割露光により得られたデータ（Ｔｅｘｐ２）を第２メモリ部ＭＥＭ２にアナログ転送（ＭＴｒａｎｓ２）し、第３の分割露光により得られたデータ（Ｔｅｘｐ３）を第３メモリ部ＭＥＭ３にアナログ転送（ＭＴｒａｎｓ３）するようになっている（図１３参照）。
【０１２２】
ここに、第１の露光時間Ｔｅｘｐ１に蓄積された電荷を第１メモリ部ＭＥＭ１に転送する際には、スイッチＳＷ１−１がオンになるとともに、スイッチＳＷ１−２およびスイッチＳＷ１−３がオフになる（図１５参照）。また、第２の露光時間Ｔｅｘｐ２に蓄積された電荷を第２メモリ部ＭＥＭ２に転送する際には、スイッチＳＷ１−２がオンになるとともに、スイッチＳＷ１−１およびスイッチＳＷ１−３がオフになる。さらに、第３の露光時間Ｔｅｘｐ３に蓄積された電荷を第３メモリ部ＭＥＭ３に転送する際には、スイッチＳＷ１−３がオンになるとともに、スイッチＳＷ１−１およびスイッチＳＷ１−２がオフになる。
【０１２３】
次に、平均演算を行う場合には、まず、リセット動作を行う。
すなわち、スイッチ７−１をオンした状態において、スイッチＳＷ６をオンにすることにより、コンデンサＣ３、コンデンサＣ４−１をリセットする。このリセット動作によって、コンデンサＣ３はＶｒｅｆレベルにリセットされ、コンデンサＣ４−１の両端の電位差は０となる。そして、スイッチＳＷ６をオンにした状態を維持したまま、スイッチＳＷ３−１およびスイッチＳＷ５−１をオンにすることにより、コンデンサＣ２−１をリセットする。同様に、スイッチＳＷ６をオンにした状態を維持したまま、スイッチＳＷ３−２およびスイッチＳＷ５−２をオンにすることによりコンデンサＣ２−２をリセットし、スイッチＳＷ３−３およびスイッチＳＷ５−３をオンにすることによりコンデンサＣ２−３をリセットする。このリセット動作によって、コンデンサＣ２−１、コンデンサＣ２−２、コンデンサＣ２−３は各々、メモリｍ１、メモリｍ２、メモリｍ３に蓄積されている信号を反映した状態をクランプする。
【０１２４】
次に、スイッチＳＷ２−１、スイッチＳＷ３−１、およびスイッチＳＷ５−１をオンにすることにより、オペアンプＯＰの出力電位が図１６に示すように変化する。上記までのリセット状態からメモリｍ１に蓄積された信号をスイッチＳＷ２−１オンでＶｒｅｆレベルにリセットする操作は、メモリｍ１に蓄積されていた信号を垂直信号線３３にプラス方向の変化量として出力することになる。その上昇分はオペアンプＯＰとコンデンサＣ４−１で構成される回路によって１／３（コンデンサＣ２−１とコンデンサＣ４−１の容量比）倍されＶｒｅｆレベルからマイナス方向に変化してオペアンプ出力に現れる。
【０１２５】
続いて、スイッチＳＷ７−１をオンにした状態を維持したまま、スイッチＳＷ２−１、スイッチＳＷ３−１、およびスイッチＳＷ５−１をオフにしてから、スイッチＳＷ２−２、スイッチＳＷ３−２、およびスイッチＳＷ５−２をオンにすることにより、オペアンプＯＰの出力電位が図１６に示すようにさらに変化する。この操作によって、オペアンプ出力はさらにメモリｍ２に蓄積された信号量を１／３倍した分マイナス方向に変化してオペアンプ出力に現れる。
【０１２６】
さらに、スイッチＳＷ７−１をオンにした状態を維持したまま、スイッチＳＷ２−２、スイッチＳＷ３−２、およびスイッチＳＷ５−２をオフにしてから、スイッチＳＷ２−３、スイッチＳＷ３−３、およびスイッチＳＷ５−３をオンにすることにより、オペアンプＯＰの出力電位が図１６に示すようにさらに変化する。この操作によって、オペアンプＯＰの出力はさらにメモリｍ３に蓄積された信号量を１／３倍した分マイナス方向に変化した出力として現れる。結局、メモリｍ１、メモリｍ２、メモリｍ３の信号量をそれぞれ１／３倍してＶｒｅｆからマイナス側に変化した信号レベルがオペアンプＯＰの出力に現れることになる。これはすなわち平均値算出に相当する。その後は、スイッチＳＷ２−３、スイッチＳＷ３−３、およびスイッチＳＷ５−３をオフにしておく。
【０１２７】
一方、オペアンプＯＰからの平均値は、スイッチＳＷ３−４をオンにすることにより、メモリ部２２へアナログ転送（図１４のＭＴｒａｎｓＡｖｅ）されて、例えばスイッチＳＷ１−１をオンし、スイッチＳＷ１−２およびスイッチＳＷ１−３をオフすることにより、メモリｍ１に記憶される。
【０１２８】
次いで、コンデンサＣ３に蓄積された平均値の読み出しが行われ、平均値が行毎に水平信号線２７および出力アンプ２８を介して読み出される。第１メモリ部ＭＥＭ１、第２メモリ部ＭＥＭ２、第３メモリ部ＭＥＭ３へ画像信号を転送した後の平均値処理は垂直同期信号ＶＤの立ち上がりタイミングで開始されるものである。
【０１２９】
全ての行について、平均値が読み出された後に、次の垂直同期信号ＶＤの立ち上がりタイミングで、加算値の読み出しが開始される。
【０１３０】
するとまず、上述と同様にして、スイッチ７−２をオンした状態において、スイッチＳＷ６をオンにすることにより、コンデンサＣ３、コンデンサＣ４−２をリセットする。このリセット動作によって、コンデンサＣ３はＶｒｅｆレベルにリセットされ、コンデンサＣ４−２の両端の電位差は０となる。スイッチＳＷ６をオンにした状態を維持したまま、スイッチＳＷ３−１およびスイッチＳＷ５−１をオンにすることにより、コンデンサＣ２−１をリセットする。その後にスイッチＳＷ６をオフして、リセット動作が終了する。このリセット動作によって、コンデンサＣ２−１はメモリｍ１の信号を反映した状態をクランプする。
【０１３１】
次に、スイッチＳＷ７−２がオンした状態を維持したまま、スイッチＳＷ２−１、スイッチＳＷ３−１、およびスイッチＳＷ５−１をオンにすることにより、オペアンプＯＰの出力は、平均値を３倍した値、すなわち加算値となる。この加算値が、コンデンサＣ３に蓄積され、行毎に水平信号線２７および出力アンプ２８を介して読み出される。
【０１３２】
なお、本実施形態では、先に平均値を演算してから、その後に３倍演算を行って加算値を得るようにしているが、これは、３倍演算によって撮像素子内で扱える信号レベルの上限を上まってしまうことがありえるからである。撮像素子内で扱える信号レベルの上限はＰＤの扱える信号レベルより少し大きい程度であることが一般的である。つまり、先に加算値を算出した場合にはセンサの扱える信号レベルの上限にぶつかってしまい、その結果を元に平均値を算出（３で割ればよい）しても正しい平均値はもはや得られなくなってしまう場合がある。従って、平均値を先に演算することにより、より信頼性の高い結果を得るようにしたものである。
【０１３３】
また、上述では、平均演算を行った結果に基づき加算値を得ているが、回路が複雑になっても構わなければ、平均演算回路と加算演算回路とを別個にそれぞれ設け同時に処理するようにすることも可能である。
【０１３４】
さらに、複数回の加算処理を行うと、一般にはノイズが重畳されることになる。本実施形態の撮像部２においてノイズの重畳が支配的となるのは、メモリ部２２以降に重畳するノイズである。平均演算等の演算動作によるノイズの発生はさらなるノイズの劣化をもたらす。しかし、一般的に、低感度時の画質に影響を与えるノイズはＰＤ内で発生する信号電荷に依存したショットノイズであり、回路的なノイズは支配的に影響しない。つまり、比較的低感度時では、光電変換部ＰＤからの複数回のデータ転送とそのデータを加算したことによるノイズの重畳（すなわち、画質の劣化）は、問題となるレベルとはならない。この利点を利用して、比較的蓄積時間が長くなり、像ぶれが発生しやすい低感度において、本実施形態の読み出し方法を利用することにより、動被写体に対して良好なＨＤＲ合成を実現することが可能となる。
【０１３５】
このような実施形態２によれば、ＨＤＲ合成を行うための信号レベルが異なる複数の画像を撮像するのに、複数の垂直同期期間を隔てた露光画像とはならないという点で、上述した実施形態１と同様の効果を奏することができる。
【０１３６】
また、上述した実施形態１の構成では、長時間露光画像と短時間露光画像とが連続的に撮影されるとはいえ、露光時点は正確には異なる時点であったために、例えば被写体の動きが速いとダイナミックレンジ拡大合成して得られる画像は不自然となってしまう。
【０１３７】
これに対してこの実施形態２によれば、信号レベルが異なる複数種類の画像、上述した例では短時間露光画像に該当する信号レベルの平均値画像と、長時間露光画像に該当する信号レベルの加算値画像と、は同一露光時点の画像となるために、ダイナミックレンジ拡大合成して得られる画像をより自然な画像とすることができる。特に、動画撮影においてはコマの連続性を重視するためシャッタ速をフレームレート程度に伸ばす方が（結果的にぶれが発生していた方が）滑らかで自然な印象を与えることが多く、本実施形態によって総合的に良好な動画像を得ることが可能になる。
［実施形態３］
【０１３８】
図１７から図２５は本発明の実施形態３を示したものであり、図１７は１画素に係る画素部２１、メモリ部２２、および列処理部２３Ａの構成を示す回路図である。
【０１３９】
この実施形態３において、上述の実施形態１，２と同様である部分については同一の符号を付して説明を省略し、主として異なる点についてのみ説明する。
【０１４０】
まず、本実施形態の撮像装置の基本的な構成は、上述した図１に示したものと同様である。また、本実施形態の撮像部２の基本的な構成も、列処理部２３Ａの符号部分を除いて上述した図２に示したものと同様である。
【０１４１】
そして、本実施形態の撮像部２は、画素部２１およびメモリ部２２の構成は図７に示した構成と同様であるが、列処理部２３Ａに比較演算および加算演算に基づくＨＤＲ合成機能を備えさせた点が異なっている（付加機能があるために符号を２３から２３Ａに変更している）。
【０１４２】
すなわち、列処理部２３Ａ内には、第１メモリ部ＭＥＭ１と第２メモリ部ＭＥＭ２の各出力端と垂直信号線３３を介して接続されるように、スイッチＳＷ５−１、スイッチＳＷ５−２、スイッチＳＷ５−３が並列に接続されている。
【０１４３】
これらの内のスイッチＳＷ５−１はスイッチＳＷ９−１を介してコンデンサＣ２−１の一端に、スイッチＳＷ５−２はスイッチＳＷ９−２を介してコンデンサＣ２−２の一端に、それぞれ接続されている。
【０１４４】
また、スイッチＳＷ５−３は、コンデンサＣ２−４の一端に接続されている。このコンデンサＣ２−４の他端は、スイッチＳＷ６−２を介してグランドに接続されるとともに、コンパレータＣＰの反転入力端と、コンデンサＣ５の一端とに接続されている。コンデンサＣ５の他端はグランドに接続されている。
【０１４５】
コンパレータＣＰの非反転入力端は、所定の判定スレッシュレベルＶｔｈに接続されている。また、コンパレータＣＰの出力端は、スイッチＳＷ７−１のドレイン端子とスイッチＳＷ７−２のドレイン端子に接続されている。
【０１４６】
スイッチＳＷ７ー２のソース端子は、抵抗Ｒ３を介してグランドに接続される。スイッチＳＷ７ー１のソース端子は、スイッチＳＷ１０−１を介して、上述したスイッチＳＷ９−１のゲート端子に接続されている。スイッチＳＷ１０−１のゲート端子は抵抗Ｒ４を介してＶｄｄに接続されている。また、スイッチＳＷ９−１のゲート端子は、抵抗Ｒ１を介して電圧源Ｖｄｄにも接続されている。
【０１４７】
また、スイッチＳＷ７−２のソース端子は、スイッチＳＷ１０−２を介して、上述したスイッチＳＷ９−２のゲート端子に接続されている。また、スイッチＳＷ９−２のゲート端子は、抵抗Ｒ２を介して電圧源Ｖｄｄにも接続されている。
【０１４８】
さらに、スイッチＳＷ７−２のソース端子は、スイッチＳＷ９−３のゲート端子に接続されている。このスイッチＳＷ９−３は、ドレイン端子が上述した所定の判定スレッシュレベルＶｔｈに、ソース端子がコンデンサＣ２−３に、それぞれ接続されている。また、スイッチＳＷ９−３は、スイッチＳＷ５−４を介してグランドに接続されている。
【０１４９】
互いに並列の位置にあるコンデンサＣ２−１、コンデンサＣ２−２、コンデンサＣ２−３の他端は、オペアンプＯＰの反転入力端にそれぞれ接続されている。ここに、コンデンサＣ２−１、コンデンサＣ２−２、コンデンサＣ２−３の容量は同一である。
【０１５０】
オペアンプＯＰの非反転入力端は、参照電圧Ｖｒｅｆに接続されている。
【０１５１】
オペアンプＯＰの出力端と反転入力端とは、互いに並列に配設されたスイッチＳＷ６−１とコンデンサＣ４と、を介して接続されている。
【０１５２】
ここに、オペアンプＯＰ、スイッチＳＷ６−１、およびコンデンサＣ４は、加算演算をするために用いられるものである。コンデンサＣ４の容量は、コンデンサＣ２−１の容量と同じであり、ひいてはコンデンサＣ２−２およびコンデンサＣ２−３の容量と同じでもある。
【０１５３】
また、オペアンプＯＰの出力端は、コンデンサＣ３の一端と、スイッチＳＷ８のドレイン端子とに接続されている。
【０１５４】
そして、上述したスイッチＳＷ５−１、スイッチＳＷ５−２、スイッチＳＷ５−３、スイッチＳＷ５−４、スイッチＳＷ６−１、スイッチＳＷ６−２、スイッチＳＷ７−１、スイッチＳＷ７−２のゲート端子は制御回路２６に接続されており、制御回路２６からパルスが供給されてオン／オフが制御されるようになっている。スイッチＳＷ８のゲート端子は、水平読出回路２５に接続されており、水平読出回路２５からパルスが供給されてオン／オフが制御されるようになっている。
【０１５５】
次に、図１８は広ダイナミックレンジ画像を得るための撮像部２の撮像動作を示す図である。
【０１５６】
本実施形態においては、図１８に示すように、１垂直同期期間内の１つの露光時間を、互いに異なる連続的な２つの露光時間、すなわち第１の露光時間Ｔｅｘｐ１（例えば、長露光時間）と第２の露光時間Ｔｅｘｐ２（例えば、短露光時間）とに分割してそれぞれ読み出しを行い、上記図９に示した処理に準じて、前者を例えばメモリ部２２の第２メモリ部ＭＥＭ２にアナログ転送（ＭＴｒａｎｓ２）し、その後に後者をメモリ部２２の第１メモリ部ＭＥＭ１にアナログ転送（ＭＴｒａｎｓ１）するのは上述した実施形態１とほぼ同様である（ここでは、後述する図２４や図２５のタイミングチャートと整合させるために、長時間露光画像を第２メモリ部ＭＥＭ２に転送し、短時間露光画像を第１メモリ部ＭＥＭ１に転送しているが、勿論、長時間露光画像を第１メモリ部ＭＥＭ１に転送し、短時間露光画像を第２メモリ部ＭＥＭ２に転送するようにしても構わない）。
【０１５７】
そして、その後の列処理部２３Ａにおいて、垂直同期信号ＶＤの立ち上がりタイミングに同期してメモリ部２２の第２メモリ部ＭＥＭ２に記憶されている長時間露光画像と第１メモリ部ＭＥＭ１に記憶されている短時間露光画像とを簡易ＨＤＲ合成し、撮像部２から出力するようになっている。従って、本実施形態の構成では、１つの垂直同期期間毎に１枚の広ダイナミックレンジ画像が出力され、上述した実施形態１，２と異なりフレームレートが低下することはない。列処理部２３Ａで実施された簡易ＨＤＲ合成結果は撮像素子から出力された後に、カメラのＨＤＲデジタル合成部３によって適切に処理されて最終的なＨＤＲ合成画像となる。
【０１５８】
列処理部２３Ａにおける簡易ＨＤＲ合成の概要について、図１９から図２３を参照して説明する。ここに、図１９は長露光時間のときの入射光強度に対する光電変換部ＰＤの電荷蓄積量を示す線図、図２０は短露光時間のときの入射光強度に対する光電変換部ＰＤの電荷蓄積量を示す線図、図２１は光電変換部ＰＤの飽和レベルを所定のスレッシュレベルとして長時間露光画像と短時間露光画像とを列処理部において簡易ＨＤＲ合成したときの出力レベルを示す線図、図２２は光電変換部ＰＤの飽和レベルを所定のスレッシュレベルとして長時間露光画像と短時間露光画像とを列処理部においてより一層簡易的に簡易ＨＤＲ合成したときの出力レベルを示す線図、図２３は長時間露光画像と短時間露光画像とを列処理部において単純加算することにより簡易ＨＤＲ合成したときの出力レベルを示す線図である。
【０１５９】
長露光時間のときには、図１９の曲線ｆ１に示すように、入射光強度に対する光電変換部ＰＤの電荷蓄積量は、比較的弱い入射光強度で飽和レベルＬｓａｔに達する。これに対して、短露光時間のときには、図２０の曲線ｆ２に示すように、入射光強度に対する光電変換部ＰＤの電荷蓄積量は、長露光時間のときよりも強い入射光強度にならないと飽和レベルＬｓａｔには達しない。従って、曲線ｆ１の傾きは、曲線ｆ２の傾きよりも大きい（なお、曲線ｆ１および曲線ｆ２は必ずしも１次関数になるとは限らないが、ここでは１次関数に近似したときの傾きを比較している）。
【０１６０】
そして、入射光強度が弱い範囲については長時間露光画像が階調を良く表し、入射光強度が強い範囲については短時間露光画像でないと階調を表すことができない。そこで、光電変換部ＰＤの飽和レベルＬｓａｔ（ただし、実際には、完全な飽和レベルよりも幾らか低いレベル（例えば、完全な飽和レベルの９０％、あるいは８５％の値など）が選ばれることになる）を所定のスレッシュレベルとして、飽和レベルＬｓａｔに達しない範囲については曲線ｆ１を用い、飽和レベルＬｓａｔ以上の範囲については曲線ｆ２の出力となるように簡易ＨＤＲ合成の例を表すのが図２１である。飽和レベルＬｓａｔ以上の出力の範囲を曲線ｆ２の出力として図２１のように連続性を保って撮像素子から出力するには、
ｆ２＋Ｌｓａｔ×（１−α）
ここに、α＝短露光時間／長露光時間、とする必要がある。
【０１６１】
また、より一層簡易的な簡易ＨＤＲ合成の例を図２２と図２３に示す。
図２２は飽和レベルＬｓａｔ以上の出力の範囲を曲線ｆ２の出力とするが、その際単純にｆ２＋Ｌｓａｔという処理で生成すること（これは回路の単純化になる（後述））によって、連続性が失われるものである。撮像素子からこのような出力をしてもカメラのＨＤＲデジタル合成部３において適切にＨＤＲ合成を行うことは十分可能である。Ｌｓａｔをスレッシュとしてそれ以下の出力は長秒時蓄積出力、それより大きい出力は短秒時出力として明確に分離されているためである。
【０１６２】
また、長露光時間のときには、図１９の曲線ｆ１に示すように、入射光強度に対する光電変換部ＰＤの電荷蓄積量は、飽和レベルＬｓａｔに達した後は、入射光を受けて発生する電荷が基板側へリークされたりするために、飽和レベルＬｓａｔ付近のレベルに止まることになる。
【０１６３】
そこで、この図２３に示す例では、長時間露光画像と短時間露光画像とを列処理部２３Ａにおいて単純加算することにより、簡易ＨＤＲ合成を行っている。長露光時間に対する短露光時間の比が小さい場合（例えば、１／４、１／８、１／１６等の場合）には、長時間露光画像が飽和レベルに達しても、短時間露光画像のレベルは比較的低いレベルに止まる。従って、長時間露光画像が飽和レベルに達する以下のレベルにおいては、（ｆ１＋ｆ２）の加算結果はｆ１に比較的近似したものとなる。また、長時間露光画像が飽和レベルに達した以上のレベルにおいては、（ｆ１＋ｆ２）は（ｆ１＋Ｌｓａｔ）に近似する値となるために、図２１の簡易ＨＤＲ合成結果に近い値を得られる。従って、長露光時間に対する短露光時間の比が小さい場合には、この図２３に示すような単純加算の手段を用いても、比較的良好な簡易ＨＤＲ合成結果を得られる。
【０１６４】
このような図２１と図２２と図２３に記載したような簡易ＨＤＲ合成は、列処理部２３Ａにおいて行われるようになっている。そして、何れの簡易ＨＤＲ合成を行うためであっても、撮像素子の取り扱う信号レベルの最大値をＰＤ（フォトダイオード）の倍以上に大きくする必要がある。
【０１６５】
続いて、図２４は画素部２１の１行目および２行目における動作を示すタイミングチャート、図２５は画素部２１の１行目における画素のトランジスタ等の信号変化の様子を示すタイミングチャートである。ここに、図１７に示すような構成、および図２４、図２５に示すような処理は、上述した図２１に示す簡易ＨＤＲ合成に対応したものとなっている。なお、図２２への対応は、図１７におけるＶｔｈ’をＶｔｈと等しくするような簡易回路によって達成される。また、図２３への対応は、長露光時間のデータと短露光時間のデータの足し算でよいために、実施形態２で示した平均処理の回路に類似のもので達成される（平均処理とは重み付け足し算処理である）。
【０１６６】
まず、長時間露光と短時間露光とを行って、画素部２１からメモリ部２２へ転送するまでの動作は、上述した実施形態１と同様である。
【０１６７】
すなわち、メモリ部２２から画像データを読み出すときには、スイッチＳＷ６−１をオンにすると共に、スイッチＳＷ３−１およびスイッチＳＷ５−１をオンする。これによってコンデンサＣ４はリセットされる。また、このときスイッチＳＷ７−１およびスイッチＳＷ７−２はオフであるからスイッチＳＷ９−１はオン状態であり、このスイッチ動作によってコンデンサＣ２−１の一端がＯＰアンプの動作によってＶｒｅｆレベルにリセットされるとともに、コンデンサＣ２−１は増幅トランジスタＴｒＢ−１から出力される増幅信号（メモリｍ１に保持されている信号の増幅信号）をクランプする。
【０１６８】
次に、スイッチＳＷ６−１をオンにした状態を維持したまま、スイッチＳＷ３−１およびスイッチＳＷ５−１をオフして、スイッチＳＷ６−２をオンする。
【０１６９】
さらに、スイッチＳＷ６−１およびスイッチＳＷ６−２をオンにした状態を維持したまま、スイッチＳＷ３−２、スイッチＳＷ５−２、スイッチＳＷ５−３、およびスイッチＳＷ５−４をオンする。このときやはりスイッチＳＷ７−１およびスイッチＳＷ７−２はオフであるからスイッチＳＷ９−２はオン状態であり、このスイッチ動作によってコンデンサＣ２−２の一端がオペアンプの動作によってＶｒｅｆレベルにリセットされるとともに、コンデンサＣ２−２は、増幅トランジスタＴｒＢ−２から出力される増幅信号（メモリｍ２に保持されている信号の増幅信号）をクランプする。同様にコンデンサＣ２−３の一端はオペアンプの動作によってＶｒｅｆレベルにリセットされるとともに、コンデンサＣ２−３はＳＷ５−４のスイッチ動作によりグランドレベルをクランプする。さらに、スイッチＳＷ６−２のスイッチ動作によってコンデンサＣ２−４の一端とコンデンサＣ５はグランドレベルにリセットされるとともに、コンデンサＣ２−４は増幅トランジスタＴｒＢ−２から出力される増幅信号（メモリｍ２に保持されている信号の増幅信号）をクランプする。
【０１７０】
その後、スイッチＳＷ６−１およびスイッチＳＷ６−２をオンにした状態を維持したまま、スイッチＳＷ３−２、スイッチＳＷ５−２、スイッチＳＷ５−３、およびスイッチＳＷ５−４をオフする。
【０１７１】
さらにその後、スイッチＳＷ６−１およびスイッチＳＷ６−２をオフする。
【０１７２】
続いて、スイッチＳＷ７−１およびスイッチＳＷ７−２をオンする。
【０１７３】
そして、スイッチＳＷ７−１およびスイッチＳＷ７−２をオンにした状態を維持したまま、スイッチＳＷ２−２、スイッチＳＷ３−２、スイッチＳＷ５−３をオンする。このスイッチ動作によってメモリｍ２に保持されていた信号はＶｒｅｆレベルにリセットされ、コンデンサＣ２−４のコンパレータＣＰとの接続端にメモリｍ２に保持されていた信号量分プラス方向の変化が現れる。この電圧はコンデンサＣ５に保持される。コンパレータＣＰはＶｔｈレベルとメモリｍ２に保持されていた信号レベルとの比較を行った結果をコンパレータＣＰ出力として出力する。このコンパレータＣＰ出力が確定すると、スイッチＳＷ９−１、スイッチＳＷ９−２のオンオフ状態が確定することとなり、さらにスイッチＳＷ９−３のオンオフが確定する。このときスイッチＳＷ９−３がオンするとコンデンサＣ２−３のスイッチＳＷ９−３接続端側にＶｔｈ’レベルが現れ、Ｖｔｈ’レベルがオペアンプ出力に出力される。
【０１７４】
さらに、スイッチＳＷ７−１およびスイッチＳＷ７−２、スイッチＳＷ２−２、スイッチＳＷ３−２、スイッチＳＷ５−３をオンにした状態を維持したまま、スイッチＳＷ５−２をオンする。このスイッチ動作によって、もし、コンパレータＣＰの比較結果ＳＷ９−２がオンとなっていれば、コンデンサＣ２−２のスイッチＳＷ９−２接続側にメモリｍ２に保持されていた信号量分プラス方向の変化が現れ、メモリｍ２（長秒時画像信号を保持）の信号量がオペアンプＯＰに出力されることになる（スイッチＳＷ９−２がオンとなるようなコンパレータＣＰ出力の時はスイッチＳＷ９−３はオフとなっている。すなわち、このタイミングまでにコンパレータＣＰの出力は確定しており、メモリｍ２の出力がオペアンプに出力されるか、あるいはＶｔｈ’が主力されるかが確定している。例えば、Ｖｔｈ≧メモリｍ２のときオペアンプＯＰはメモリｍ２レベルを出力する）。
【０１７５】
その後、まずスイッチＳＷ５−２をオフし、続いてスイッチＳＷ２−２、スイッチＳＷ３−２、スイッチＳＷ５−３をオフする。
【０１７６】
次に、スイッチＳＷ２−１、スイッチＳＷ３−１、スイッチＳＷ５−１をオンする。このスイッチ動作によって、もし、コンパレータＣＰの比較結果ＳＷ９−１がオンとなっていれば、コンデンサＣ２−１のスイッチＳＷ９−１接続側にメモリｍ１に保持されていた信号量分プラス方向の変化が現れ、メモリｍ１（短秒時画像信号を保持）の信号量が既にオペアンプに出力されているＶｔｈ’レベルと加算演算されて出力されることになる（スイッチＳＷ９−１がオンとなるようなコンパレータＣＰ出力の時はスイッチＳＷ９−３はオンとなっておりオペアンプＯＰにはＶｔｈ’レベルが出力されている。このとき、Ｖｔｈ＜メモリｍ２となっている）。所定時間が経過後にこれらスイッチＳＷ２−１、スイッチＳＷ３−１、スイッチＳＷ５−１をオフし、その後にスイッチＳＷ７−１、スイッチＳＷ７−２をオフする。
【０１７７】
このような動作により、メモリ部２２から長時間露光画像と短時間露光とを読み出して簡易ＨＤＲ合成するときの作用の概要は、次のようになる。
【０１７８】
まず、第２メモリ部ＭＥＭ２に記憶されている長時間露光画像を読み出して、コンパレータＣＰが、光電変換部ＰＤの飽和レベルＬｓａｔに対応する所定の判定スレッシュレベルＶｔｈと比較する。
【０１７９】
ここで、コンパレータＣＰが、長時間露光画像の信号値が所定の判定スレッシュレベルＶｔｈよりも低いと判定した場合には、コンパレータＣＰの出力がローレベルとなって、スイッチＳＷ９−１をオフし、スイッチＳＷ９−２をオンし、スイッチＳＷ９−３をオフするように機能する。これにより、オペアンプＯＰからは長時間露光画像の信号値（コンデンサＣ２−２を経由してオペアンプＯＰに入力される信号値）のみが出力されることになる。
【０１８０】
一方、コンパレータＣＰが、長時間露光画像の信号値が所定の判定スレッシュレベルＶｔｈ以上であると判定した場合には、コンパレータＣＰの出力がハイレベルとなって、スイッチＳＷ９−１をオンし、スイッチＳＷ９−２をオフし、スイッチＳＷ９−３をオンするように機能する。これにより、オペアンプＯＰからは短時間露光画像の信号値（コンデンサＣ２−１を経由してオペアンプに入力される信号値）に所定の判定スレッシュレベルＶｔｈ（コンデンサＣ２−３を経由してオペアンプに入力される信号値）を加算した値が出力されることになる。
【０１８１】
こうして、図１７に示したような回路構成において、図２４および図２５に示したような動作を行うことにより、図２１に示したような簡易ＨＤＲ合成が列処理部２３Ａにより行われる。
【０１８２】
撮像部２から簡易ＨＤＲ合成された広ダイナミックレンジ画像が出力され、カメラ内のＨＤＲデジタル合成部３によってさらに適切かつ詳細な合成処理を行うことで最終的なＨＤＲ合成画像が生成されることになる。
【０１８３】
また、上述では長時間露光画像と短時間露光画像とを合成するようにしたが、これに限るものではない。例えば、上述した実施形態２を参照して説明したような、複数回の露光に係る画像の平均演算の結果と加算演算の結果とに基づき簡易ＨＤＲ合成を行うようにしても構わない。
【０１８４】
このような変形例は、概要として、以下のような処理を行えば良い。
【０１８５】
まず、露光量制御部が、１垂直同期期間内における連続的な複数回の露光が、互いに等しい露光時間の露光となるように制御して、画素部２１に露光を行わせる。その結果、メモリ部２２には、複数回の露光に係る画像が記憶される。
【０１８６】
次に、メモリ読出制御部である列処理部２３Ａが、メモリ部２２に格納された複数回の露光に係る画像の平均演算と加算演算とを並列的に（同時に）実施する。
【０１８７】
そして、列処理部２３Ａが、加算演算に係る画素信号を所定の判定スレッシュレベルＶｔｈと比較して、判定スレッシュレベルＶｔｈ未満である場合には加算演算に係る画素信号を外部へ出力し、判定スレッシュレベルＶｔｈ以上である場合には平均演算に係る画素信号に判定スレッシュレベルＶｔｈ’を加算演算した結果を外部へ出力することにより、露光制御部により制御された露光回数よりも少ないフレーム数の簡易ＨＤＲ合成された画像を外部へ出力するようにすれば良い。こうしたことを実行する回路はこれまで説明した実施形態における回路構成をアレンジすることで実現できる。
【０１８８】
なお、上述した実施形態１や実施形態２においては、複数回（例えば２回）の露光により得られた２枚分の画像信号をそれぞれ（例えば１２ビットで）Ａ／Ｄ変換することにより、２枚の１２ビットの画像データが得られていた。
【０１８９】
これに対して、本実施形態の場合には、例えば２回の露光によるデータを簡易ＨＤＲ合成して１回のＡ／Ｄ変換で読み出す場合には、合成後の１枚の１２ビットの画像データのみが出力されることになる。この合成後の１２ビットの画像データは、合成前の画像データとして考えると、例えば１１ビットの２枚の画像データとなる。このために、実施形態１や実施形態２に比べて、Ａ／Ｄ変換における階調ステップの劣化が１ビット分生じることになる。
【０１９０】
ただし、合成後の階調特性は、上述したようにγ特性に近い形状（図２１、図２２、または図２３を参照）となるために、そもそも、Ａ／Ｄ変換を行う前に低レベル側の信号値を持ち上げることに相当する。これにより、後段のデジタルゲインによる増幅の必要量を低く抑えることができるために、上述した１ビット分の劣化は、吸収することが可能である。
【０１９１】
また、従来と同様のビット数の階調（合成前の画像における１２ビットの階調）を単純に維持しようとする場合には、本実施形態の合成後の画像信号に対して１４ビットのＡ／Ｄ変換を適用すれば良い。この１４ビットのＡ／Ｄ変換は、近年の汎用のＡＦＥ等に通常備わっている機能であるために、特別な構成を追加することなく対応することが可能である。
【０１９２】
このような実施形態３によれば、信号レベルが異なる複数の画像を撮像するのに、複数の垂直同期期間に分散した複数の露光は不要であるという点で、上述した実施形態１や実施形態２と同様の効果を奏することができる。
【０１９３】
さらに、この実施形態３によれば、画素部２１からメモリ部２２までの転送がアナログであるために速く、しかもアナログ信号演算も高速にできることを利用して、複数回の露光に係る画素信号をアナログ信号演算により簡易ＨＤＲ合成して、簡易ＨＤＲ合成した後の画像を外部へ出力するようにしたために、露光制御部により制御された露光回数よりも少ないフレーム数の画像を外部へ出力すれば足りることになり、フレームレートを向上することができる。
【０１９４】
このとき、簡易ＨＤＲ合成した画像のみを垂直同期期間毎に出力するようにすれば、フレームレートを低下させることなく広ダイナミックレンジ画像を得ることが可能となる。
【０１９５】
なお、上述した構成においては、メモリ部２２に記憶した画像信号同士に加算や平均、スレッシュに基づく加算等の演算処理を行っていた。しかし、撮像素子の構成としては、メモリ部２２に記憶する際に、同時かつ順次、必要な演算（画素部から読出しつつある画素への定数乗算演算やメモリの画素信号と画素部から読出しつつある画素信号間での演算等）を行って、メモリ部２２に記憶することで、加算や平均、スレッシュに基づく加算等の演算処理を達成することも可能である。この場合には、垂直走査回路２４と列処理部２３は、連続的な複数回の露光に係る各画素信号を順次読み出しつつ列処理部２３は必要な演算（重み付け用の定数乗算演算や平均処理の加算演算等）をしてメモリ部２２に格納する制御を行う。これによって、メモリ部の必要なメモリサイズを減らすことも可能になる（例えばｎフレーム分の平均演算を行う際には常に１フレームのメモリがあれば足りることになる）。
【０１９６】
また、本発明は上述した実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化することができる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成することができる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除しても良い。さらに、異なる実施形態にわたる構成要素を適宜組み合わせても良い。このように、発明の主旨を逸脱しない範囲内において種々の変形や応用が可能であることは勿論である。
【符号の説明】
【０１９７】
１…レンズ
２…撮像部
２ａ…撮像素子
３…ＨＤＲデジタル合成部
４…ＡＦ評価値演算部
５…表示部
６…メモリカード
７…手振検出部
８…手振補正部
９…露光制御部（露光量制御部）
１０…フォーカス制御部
１１…カメラ操作部
１２…カメラ制御部（露光量制御部）
２１…画素部
２２…メモリ部
２３，２３Ａ…列処理部（画素読出制御部、メモリ読出制御部）
２４…垂直走査回路（画素読出制御部、メモリ読出制御部）
２５…水平読出回路（メモリ読出制御部）
２６…制御回路（画素読出制御部、メモリ読出制御部）
２７…水平信号線
２８…出力アンプ
３１…画素
３２…制御信号線
３３…垂直信号線
【特許請求の範囲】
【請求項１】
露光を行って画像信号を取得する撮像装置において、
露光量に応じた信号電荷を発生させる複数の画素が２次元状に配列された画素部と、
前記画素部の露光量を決定する露光量制御部と、
出力画像の複数フレーム分の前記画素部からの画素信号を記憶し得るメモリ部と、
前記画素部の画素信号を読み出して前記メモリ部に格納する画素読出制御部と、
前記メモリ部に格納した画素信号を読み出すメモリ読出制御部と、
を具備し、
前記露光量制御部は、前記画素部を連続的に複数回露光するように制御し、
前記画素読出制御部は、前記連続的な複数回の露光に係る各画素信号を順次読み出して前記メモリ部に格納することを特徴とする撮像装置。
【請求項２】
前記露光量制御部が制御する複数回の露光は、互いに異なる露光時間の露光であり、
前記メモリ読出制御部は、前記メモリ部に格納された、前記連続的な複数回の露光に係る各画素信号を、該複数回の露光毎に順次外部へ出力するものであることを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記メモリ読出制御部は、前記メモリ部に格納された前記連続的な複数回の露光に係る各画像の平均演算を行うか、あるいは、前記画素読出制御部が前記画素部の画素信号を読み出して前記メモリ部に格納する際に、同時に、逐次、複数回の露光に係る各画像の平均演算を行うことで平均演算結果を得て、該平均演算の結果を外部へ出力するものであることを特徴とする請求項１に記載の撮像装置。
【請求項４】
前記メモリ読出制御部は、前記平均演算の結果をさらに前記メモリ部に再度書き込み、その後に、該メモリ部から平均演算結果を読み出して増幅することにより、前記複数回の露光に係る画像同士の加算演算結果に相当する画像を生成して外部へ出力するものであることを特徴とする請求項３に記載の撮像装置。
【請求項５】
前記露光量制御部が制御する複数回の露光は、互いに異なる露光時間の露光であり、
前記メモリ読出制御部は、前記メモリ部に格納された前記連続的な複数回の露光に係る各画素信号のダイナミックレンジ合成を行うか、あるいは、前記画素読出制御部が前記画素部の画素信号を読み出して前記メモリ部に格納する際に、同時に、逐次、複数回の露光に係る各画素信号のダイナミックレンジ合成を行うことでダイナミックレンジ合成結果を得て、前記露光量制御部により制御された露光回数よりも少ないフレーム数の画像を外部へ出力するものであることを特徴とする請求項１に記載の撮像装置。
【請求項６】
前記メモリ読出制御部は、前記連続的な複数回の露光に係る各画素信号を加算演算することにより、ダイナミックレンジ合成を行うものであることを特徴とする請求項５に記載の撮像装置。
【請求項７】
前記露光量制御部が制御する複数回の露光は、長露光時間と短露光時間とを含み、
前記メモリ読出制御部は、長露光時間に係る画素信号を所定の判定スレッシュレベルと比較して、該判定スレッシュレベル未満である場合には該画素信号を外部へ出力し、該判定スレッシュレベル以上である場合には該画素信号に該判定スレッシュレベルあるいは長時間露光と短時間露光の比に関連した特定の加算レベルを加算演算した結果を外部へ出力することにより、ダイナミックレンジ合成された画像を外部へ出力するものであることを特徴とする請求項５に記載の撮像装置。
【請求項８】
前記メモリ読出制御部は、前記メモリ部に格納された前記連続的な複数回の露光に係る各画像の平均演算と加算演算とを並列的に実施するか、あるいは、前記画素読出制御部が前記画素部の画素信号を読み出して前記メモリ部に格納する際に、同時に、逐次、複数回の露光に係る各画像の平均演算と加算演算とを並列的に実施し、
加算演算に係る画素信号を所定の判定スレッシュレベルと比較して、該判定スレッシュレベル未満である場合には該画素信号を外部へ出力し、該判定スレッシュレベル以上である場合には平均演算に係る画素信号に該判定スレッシュレベルあるいは長時間露光と短時間露光の比に関連した特定の加算レベルを加算演算した結果を外部へ出力することにより、前記露光量制御部により制御された露光回数よりも少ないフレーム数のダイナミックレンジ合成された画像を外部へ出力するものであることを特徴とする請求項１に記載の撮像装置。
【請求項１】
露光を行って画像信号を取得する撮像装置において、
露光量に応じた信号電荷を発生させる複数の画素が２次元状に配列された画素部と、
前記画素部の露光量を決定する露光量制御部と、
出力画像の複数フレーム分の前記画素部からの画素信号を記憶し得るメモリ部と、
前記画素部の画素信号を読み出して前記メモリ部に格納する画素読出制御部と、
前記メモリ部に格納した画素信号を読み出すメモリ読出制御部と、
を具備し、
前記露光量制御部は、前記画素部を連続的に複数回露光するように制御し、
前記画素読出制御部は、前記連続的な複数回の露光に係る各画素信号を順次読み出して前記メモリ部に格納することを特徴とする撮像装置。
【請求項２】
前記露光量制御部が制御する複数回の露光は、互いに異なる露光時間の露光であり、
前記メモリ読出制御部は、前記メモリ部に格納された、前記連続的な複数回の露光に係る各画素信号を、該複数回の露光毎に順次外部へ出力するものであることを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記メモリ読出制御部は、前記メモリ部に格納された前記連続的な複数回の露光に係る各画像の平均演算を行うか、あるいは、前記画素読出制御部が前記画素部の画素信号を読み出して前記メモリ部に格納する際に、同時に、逐次、複数回の露光に係る各画像の平均演算を行うことで平均演算結果を得て、該平均演算の結果を外部へ出力するものであることを特徴とする請求項１に記載の撮像装置。
【請求項４】
前記メモリ読出制御部は、前記平均演算の結果をさらに前記メモリ部に再度書き込み、その後に、該メモリ部から平均演算結果を読み出して増幅することにより、前記複数回の露光に係る画像同士の加算演算結果に相当する画像を生成して外部へ出力するものであることを特徴とする請求項３に記載の撮像装置。
【請求項５】
前記露光量制御部が制御する複数回の露光は、互いに異なる露光時間の露光であり、
前記メモリ読出制御部は、前記メモリ部に格納された前記連続的な複数回の露光に係る各画素信号のダイナミックレンジ合成を行うか、あるいは、前記画素読出制御部が前記画素部の画素信号を読み出して前記メモリ部に格納する際に、同時に、逐次、複数回の露光に係る各画素信号のダイナミックレンジ合成を行うことでダイナミックレンジ合成結果を得て、前記露光量制御部により制御された露光回数よりも少ないフレーム数の画像を外部へ出力するものであることを特徴とする請求項１に記載の撮像装置。
【請求項６】
前記メモリ読出制御部は、前記連続的な複数回の露光に係る各画素信号を加算演算することにより、ダイナミックレンジ合成を行うものであることを特徴とする請求項５に記載の撮像装置。
【請求項７】
前記露光量制御部が制御する複数回の露光は、長露光時間と短露光時間とを含み、
前記メモリ読出制御部は、長露光時間に係る画素信号を所定の判定スレッシュレベルと比較して、該判定スレッシュレベル未満である場合には該画素信号を外部へ出力し、該判定スレッシュレベル以上である場合には該画素信号に該判定スレッシュレベルあるいは長時間露光と短時間露光の比に関連した特定の加算レベルを加算演算した結果を外部へ出力することにより、ダイナミックレンジ合成された画像を外部へ出力するものであることを特徴とする請求項５に記載の撮像装置。
【請求項８】
前記メモリ読出制御部は、前記メモリ部に格納された前記連続的な複数回の露光に係る各画像の平均演算と加算演算とを並列的に実施するか、あるいは、前記画素読出制御部が前記画素部の画素信号を読み出して前記メモリ部に格納する際に、同時に、逐次、複数回の露光に係る各画像の平均演算と加算演算とを並列的に実施し、
加算演算に係る画素信号を所定の判定スレッシュレベルと比較して、該判定スレッシュレベル未満である場合には該画素信号を外部へ出力し、該判定スレッシュレベル以上である場合には平均演算に係る画素信号に該判定スレッシュレベルあるいは長時間露光と短時間露光の比に関連した特定の加算レベルを加算演算した結果を外部へ出力することにより、前記露光量制御部により制御された露光回数よりも少ないフレーム数のダイナミックレンジ合成された画像を外部へ出力するものであることを特徴とする請求項１に記載の撮像装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【図２７】
【図２８】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【図２７】
【図２８】
【公開番号】特開２０１３−５５６１０（Ｐ２０１３−５５６１０Ａ）
【公開日】平成２５年３月２１日（２０１３．３．２１）
【国際特許分類】
【出願番号】特願２０１１−１９４２５０（Ｐ２０１１−１９４２５０）
【出願日】平成２３年９月６日（２０１１．９．６）
【出願人】（５０４３７１９７４）オリンパスイメージング株式会社 (2,647)
【Ｆターム（参考）】
【公開日】平成２５年３月２１日（２０１３．３．２１）
【国際特許分類】
【出願日】平成２３年９月６日（２０１１．９．６）
【出願人】（５０４３７１９７４）オリンパスイメージング株式会社 (2,647)
【Ｆターム（参考）】
[ Back to top ]