撮像装置、および信号処理方法、並びにプログラム
【課題】異なる複数の露光時間設定画素の画素値合成処理を実行して高ダイナミックレンジ画像を生成する装置、方法を提供する。
【解決手段】画素ブロックを構成する複数の同一色画素各々に対して異なる露光時間の制御を行い、画素ブロックの複数の同一色画素の出力を加算した加算画素値を生成する。加算画素値の生成は、例えば、画素ブロックの複数の同一色画素の出力を加算する加算部を有する演算部において実行される。あるいは、画素ブロック単位で設定されるフローティングディフュージョン（ＦＤ）によって実行され、フローティングディフュージョン（ＦＤ）において、画素ブロックを構成する複数の同一色画素各々から出力する電荷を集積して出力する。
【解決手段】画素ブロックを構成する複数の同一色画素各々に対して異なる露光時間の制御を行い、画素ブロックの複数の同一色画素の出力を加算した加算画素値を生成する。加算画素値の生成は、例えば、画素ブロックの複数の同一色画素の出力を加算する加算部を有する演算部において実行される。あるいは、画素ブロック単位で設定されるフローティングディフュージョン（ＦＤ）によって実行され、フローティングディフュージョン（ＦＤ）において、画素ブロックを構成する複数の同一色画素各々から出力する電荷を集積して出力する。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、撮像装置、および信号処理方法、並びにプログラムに関する。さらに詳細には、ダイナミックレンジの広い画像を生成する撮像装置、および信号処理方法、並びにプログラムに関する。
【背景技術】
【０００２】
ビデオカメラやデジタルスチルカメラなどに用いられるＣＣＤイメージセンサやＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）イメージセンサのような固体撮像デバイスは入射光量に応じた電荷を蓄積し、蓄積した電荷に対応する電気信号を出力する光電変換を行う。しかし、光電変換素子における電荷蓄積量には上限があり、一定以上の光量を受けると蓄積電荷量が飽和レベルに達してしまい、一定以上の明るさの被写体領域は飽和した輝度レベルに設定されるいわゆる白とびが発生してしまう。
【０００３】
このような現象を防止するため、外光の変化等に応じて、光電変換素子における電荷蓄積期間を制御して露光時間を調整し、感度を最適値に制御するといった処理が行なわれる。例えば、明るい被写体に対しては、シャッタを高速に切ることで露光時間を短縮し光電変換素子における電荷蓄積期間を短くして蓄積電荷量が飽和レベルに達する以前に電気信号を出力させる。このような処理により被写体に応じた階調を正確に再現した画像の出力が可能となる。
【０００４】
しかし、明るいところと暗いところが混在するような被写体の撮影においては、シャッタを高速に切ると、暗い部分で十分な露光時間がとれないためにＳ／Ｎが劣化し画質が落ちることになる。このように明るいところと暗いところが混在する被写体の撮影画像において、明るい部分、暗い部分の輝度レベルを正確に再現するためには、イメージセンサ上での入射光が少ない画素では長い露光時間として高いＳ／Ｎを実現し、入射光が多い画素では飽和を回避する処理が必要となる。
【０００５】
このような処理を実現する手法として、露光時間の異なる複数の画像を連続的に撮影して合成する手法が知られている。すなわち、長時間露光画像と短時間露光画像を連続的に個別に撮影し、暗い画像領域については長時間露光画像を利用し、長時間露光画像では白とびとなってしまうような明るい画像領域では短時間露光画像を利用する合成処理によって、１つの画像を生成する手法である。このように、複数の異なる露光画像を合成することで、白とびのないダイナミックレンジの広い画像、すなわち高ダイナミックレンジ画像（ＨＤＲ画像）を得ることができる。
【０００６】
例えば特許文献１（特開２０００−５０１５１号公報）は、複数の異なる露光時間を設定した２枚の画像を撮影し、これらの画像を合成して広いダイナミックレンジの画像を得る構成を開示している。図１を参照して、この処理について説明する。撮像デバイスは、例えば、動画撮影においては、ビデオレート（３０−６０ｆｐｓ）内に２つの異なる露光時間の画像データを出力する。また、静止画撮影においても、２つの異なる露光時間の画像データを生成して出力する。図１は、撮像デバイスが生成する２つの異なる露光時間を持つ画像（長時間露光画像と、短時間露光画像）の特性について説明する図である。横軸は時間（ｔ）であり、縦軸は固体撮像素子の１つの画素に対応する光電変換素子を構成する受光フォトダイオード（ＰＤ）における蓄積電荷量（ｅ）である。
【０００７】
例えば、受光フォトダイオード（ＰＤ）の受光量が多い、すなわち明るい被写体に対応する場合、図１に示す高輝度領域１１に示すように、時間経過に伴う電荷蓄積量は急激に上昇する。一方、受光フォトダイオード（ＰＤ）の受光量が少ない、すなわち暗い被写体に対応する場合、図１に示す低輝度領域１２に示すように、時間経過に伴う電荷蓄積量は緩やかに上昇する。
【０００８】
時間ｔ０〜ｔ３が長時間露光画像を取得するための露光時間ＴＬに相当する。この長時間の露光時間ＴＬとしても低輝度領域１２に示すラインは、時間ｔ３において電荷蓄積量は飽和レベルに達することなく（非飽和点Ｐｙ）、この電荷蓄積量（Ｓａ）に基づいて得られる電気信号を利用して決定する画素の階調レベルにより、正確な階調表現を得ることができる。
【０００９】
しかし、高輝度領域１１に示すラインは、時間ｔ３に至る以前に、すでに電荷蓄積量は飽和レベル（飽和点Ｐｘ）に達することが明らかである。従って、このような高輝度領域１１は、長時間露光画像からは飽和レベルの電気信号に対応する画素値しか得られず、結果として白とび画素になってしまう。
【００１０】
そこで、このような高輝度領域１１では、時間ｔ３に至る前の時間、例えば図に示す時間ｔ１（電荷掃き出し開始点Ｐ１）において、一旦、受光フォトダイオード（ＰＤ）の蓄積電荷を掃き出す。電荷掃き出しは、受光フォトダイオード（ＰＤ）に蓄積された全ての電荷ではなく、フォトダイオード（ＰＤ）において制御される中間電圧保持レベルまでとする。この電荷掃き出し処理の後、再度、露光時間ＴＳ（ｔ２〜ｔ３）とした短時間露光を実行する。すなわち、図に示す短時間露光開始点Ｐ２〜短時間露光終了点Ｐ３までの期間の短時間露光を行なう。この短時間露光によって電荷蓄積量（Ｓｂ）が得られ、この電荷蓄積量（Ｓｂ）に基づいて得られる電気信号に基づいて、画素の階調レベルを決定する。
【００１１】
なお、低輝度領域１２における長時間露光によって得られる電荷蓄積量（Ｓａ）に基づく電気信号と、高輝度領域２５１における短時間露光によって得られる電荷蓄積量（Ｓｂ）に基づく電気信号とに基づいて画素値を決定する際は、同一時間露光を行なった場合の推定電荷蓄積量またはその推定電荷蓄積量に対応する電気信号出力値を算出して、算出した結果に基づいて画素値レベルを決定する。
【００１２】
このように、短時間露光画像と長時間露光画像を組み合わせることで、白とびのないダイナミックレンジの広い画像を得ることができる。
【００１３】
しかしながら、上記の特許文献１に記載された構成は、いずれも長時間露光画像と短時間露光画像を個別に撮影して合成するという処理を行うことが必要となる。
【００１４】
このように、露光時間を変えた複数枚の画像を利用することで、高ダイナミックレンジ画像（ＨＤＲ画像）を生成可能であるが、この複数画像に基づく処理には、例えば以下の課題がある。
課題１：複数回の撮影を行うことが必要であり、さらに、これらの画像を格納するメモリを必要とする点。
課題２：撮影タイミングが異なる複数の画像を合成したり、長時間露光の撮影データを用いるため、カメラのブレに弱い点。
【００１５】
このように複数の画像を利用することなく、１枚の撮影画像内に長時間露光画素と短時間露光画素を設定してこれらの異なる露光時間の画素を合成して高ダイナミックレンジ画像を生成する処理についても提案されている。
例えば、特許文献２（特開平１１−２９８８０号公報）、特許文献３（特開２０００−６９４９１号公報）などに記載がある。
【００１６】
これらは、撮像素子（イメージセンサ）に２×２画素のＲ画素、２×２画素のＧ画素、２×２画素のＢ画素等、同色の複数画素を配置する設定とし、同一色の２×２画素の構成画素を異なる露光時間に設定して撮影を実行するものである。このイメージセンサで撮影された異なる露光時間の同色の画素値の合成を実行して、高ダイナミックレンジ画像を得る。
【００１７】
しかし、これらの開示構成では、素子やフィルタの製造バラツキなどに起因するノイズが発生する可能性が高く、高品質な画像を取得することが困難であるという問題がある。
【先行技術文献】
【特許文献】
【００１８】
【特許文献１】特開２０００−５０１５１号公報
【特許文献２】特開平１１−２９８８０号公報
【特許文献３】特開２０００−６９４９１号公報
【発明の概要】
【発明が解決しようとする課題】
【００１９】
本開示は、例えばこのような状況に鑑みてなされたものであり、１回の撮影画像に基づいて高品質な高ダイナミックレンジ画像を生成可能とした撮像装置、および信号処理方法、並びにプログラムを提供することを目的とする。
【００２０】
さらに、本開示は、例えばベイヤ配列と異なる配列を持つ撮影画像に基づいて高ダイナミックレンジ画像を生成する撮像装置、および信号処理方法、並びにプログラムを提供することを目的とする。
【課題を解決するための手段】
【００２１】
本開示の第１の側面は、
複数の同一色画素から構成される画素ブロックを配列した画素部と、
前記画素ブロックを構成する複数の同一色画素各々に対して異なる露光時間の制御を行う制御部と、
前記画素ブロックの複数の同一色画素の出力を加算した加算画素値を生成する加算画素値生成部と、
を有する撮像装置にある。
【００２２】
さらに、本開示の撮像装置の一実施態様において、前記加算画素値生成部は、前記画素ブロックの複数の同一色画素の出力を加算する加算部を有する加算回路によって構成される。
【００２３】
さらに、本開示の撮像装置の一実施態様において、前記画素ブロックは、複数行×複数列の複数画素からなる同一色画素によって構成され、前記加算回路は、前記画素ブロックの先行読み出し行に設定された複数画素の画素値を格納するレジスタと、前記画素ブロックの後続読み出し行に設定された複数画素の読み出し画素値と、前記レジスタの格納画素値とを加算する加算部を有する。
【００２４】
さらに、本開示の撮像装置の一実施態様において、前記画素ブロックは、２行×２列の４画素からなる同一色画素によって構成され、前記加算回路は、前記画素ブロックの先行読み出し行に設定された２画素の画素値を格納するレジスタと、前記画素ブロックの後続読み出し行に設定された２画素の読み出し画素値と、前記レジスタの格納画素値とを加算する加算部を有する。
【００２５】
さらに、本開示の撮像装置の一実施態様において、前記加算画素値生成部は、前記画素ブロック単位で設定されるフローティングディフュージョン（ＦＤ）によって構成され、前記フローティングディフュージョン（ＦＤ）は、前記画素ブロックを構成する複数の同一色画素各々から出力する電荷を集積する構成を持つ。
【００２６】
さらに、本開示の撮像装置の一実施態様において、前記画素部は、４分割ベイヤ型ＲＧＢ配列を有し、ＲＧＢ各色単位で４つの画素からなる画素ブロックを配列した構成である。
【００２７】
さらに、本開示の撮像装置の一実施態様において、前記画素部は、４分割ベイヤ型ＲＧＢ配列におけるＧ画素を全可視光波長透過型のＷ画素に置換した４分割ＷＲＢ配列を有し、ＷＲＢ各色単位で４つの画素からなる画素ブロックを配列した構成である。
【００２８】
さらに、本開示の第２の側面は、
撮像装置において実行する信号処理方法であり、
前記撮像装置は、複数の同一色画素から構成される画素ブロックを配列した画素部を有し、
制御部が、前記画素ブロックを構成する複数の同一色画素各々に対して異なる露光時間の制御を行う露光制御処理と、
加算画素値生成部が、前記画素ブロックの複数の同一色画素の出力を加算した加算画素値を生成する加算画素値生成処理を実行する信号処理方法にある。
【００２９】
さらに、本開示の第３の側面は、
撮像装置において信号処理を実行させるプログラムであり、
前記撮像装置は、複数の同一色画素から構成される画素ブロックを配列した画素部を有し、
前記プログラムは、
制御部に、前記画素ブロックを構成する複数の同一色画素各々に対して異なる露光時間の制御を行わせる露光制御処理と、
加算画素値生成部に、前記画素ブロックの複数の同一色画素の出力を加算した加算画素値を生成させる加算画素値生成処理を実行させるプログラムにある。
【００３０】
なお、本開示のプログラムは、例えば、様々なプログラム・コードを実行可能な情報処理装置やコンピュータ・システムに対して、コンピュータ可読な形式で提供する記憶媒体、通信媒体によって提供可能なプログラムである。このようなプログラムをコンピュータ可読な形式で提供することにより、情報処理装置やコンピュータ・システム上でプログラムに応じた処理が実現される。
【００３１】
本開示のさらに他の目的、特徴や利点は、後述する本開示の実施例や添付する図面に基づくより詳細な説明によって明らかになるであろう。なお、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。
【発明の効果】
【００３２】
本開示の一実施例の構成によれば、長時間露光画素と短時間露光画素の画素値合成処理を実行して高ダイナミックレンジ画像を生成する装置、方法が実現される。
具体的には、例えば、画素ブロックを構成する複数の同一色画素各々に対して異なる露光時間の制御を行い、画素ブロックの複数の同一色画素の出力を加算した加算画素値を生成する。加算画素値の生成は、例えば、画素ブロックの複数の同一色画素の出力を加算する加算部を有する演算部において実行される。あるいは、画素ブロック単位で設定されるフローティングディフュージョン（ＦＤ）によって実行され、フローティングディフュージョン（ＦＤ）において、画素ブロックを構成する複数の同一色画素各々から出力する電荷を集積して出力する。
これらの構成により、高ダイナミックレンジ画像を生成することができる。
【図面の簡単な説明】
【００３３】
【図１】複数の画像撮影による高ダイナミックレンジ画像の撮影処理例について説明する図である。
【図２】撮像素子の構成例について説明する図である。
【図３】撮像装置の構成例について説明する図である。
【図４】撮像デバイスの構成例について説明する図である。
【図５】露光制御と出力画像の生成例について説明する図である。
【図６】撮像デバイスの構成例について説明する図である。
【図７】撮像デバイスの構成例について説明する図である。
【図８】露光制御シーケンスについて説明する図である。
【図９】撮像デバイスの構成例について説明する図である。
【図１０】撮像デバイスの構成例について説明する図である。
【図１１】露光制御シーケンスについて説明する図である。
【図１２】撮像素子の構成と処理例について説明する図である。
【発明を実施するための形態】
【００３４】
以下、図面を参照しながら本開示の撮像装置、および信号処理方法、並びにプログラムの詳細について説明する。なお、説明は以下の項目に従って行う。
１．撮像デバイスの画素部構成例について
２．撮像装置の構成例について
３．撮像デバイスの構成例について
４．画素部の露光時間制御構成と出力画素値の算出処理例について
５．撮像デバイスの具体的回路構成例について
６．フローティングディフージョン（ＦＤ）加算構成例
７．その他の実施例について
８．本開示の構成のまとめ
【００３５】
［１．撮像デバイスの画素部構成例について］
図２を参照して本開示の撮像装置の構成要素である撮像デバイスの画素部の構成例について説明する。図２には、以下の３つの撮像デバイスの画素部構成例を示している。
（１）ベイヤ（Ｂａｙｅｒ）配列
（２）４分割ベイヤ型ＲＧＢ配列
（３）４分割ＷＲＢ型配列
【００３６】
（１）ベイヤ（Ｂａｙｅｒ）配列は多くのカメラにおいて採用されている配列であり、このベイヤ配列を持つカラーフィルタを持つ撮像画像に対する信号処理はほぼ確立している。
しかし、（２）４分割ベイヤ型ＲＧＢ配列や、（３）４分割ＷＲＢ型配列については、まだ、これらのフィルタを備えた撮像素子によって撮影された画像に対する信号処理について十分な検討がなされているとは言えないというのが現状である。
なお、（２）４分割ベイヤ型ＲＧＢ配列は、（１）に示すベイヤ配列の１つのＲ，Ｇ，Ｂ各画素を４つの画素として設定した配列に相当する。
（３）４分割ＷＲＢ配列は、（１）に示すベイヤ配列の１つのＲ，Ｇ，Ｂ各画素を４つの画素として設定し、Ｇ画素の代わりにＷ（ホワイト）画素を設定した配列に相当する。
【００３７】
以下の実施例では、一例として図２に示す（２）４分割ベイヤ型ＲＧＢ配列を持つカラーフィルタを備えた撮像素子によって撮影される画像に対する信号処理を実行する撮像装置について説明する。
【００３８】
［２．撮像装置の構成例について］
図３は、本開示の撮像装置１００の構成例を示すブロック図である。光学レンズ１０１を介して入射される光は撮像部、例えばＣＭＯＳイメージセンサなどによって構成される撮像デバイス１０２に入射し、光電変換による画像データを出力する。出力画像データは信号処理部１０３に入力される。信号処理部１０３は、例えばホワイトバランス（ＷＢ）調整、ガンマ補正等、一般的なカメラにおける信号処理を実行して出力画像１２０を生成する。出力画像１２０は図示しない記憶部に格納される。あるいは表示部に出力される。
【００３９】
制御部１０５は、例えば図示しないメモリに格納されたプログラムに従って各部に制御信号を出力し、各種の処理の制御を行う。
【００４０】
［３．撮像デバイスの構成例について］
次に、撮像デバイス１０２の構成例について図４を参照して説明する。
図４は、本開示の一実施例の撮像デバイス１０２の構成を示す図である。
撮像デバイス１０２は、図４に示すように画素部１５１、加算画素値生成部としての演算部１６０を有する。
演算部１６０はＡＤ変換部１６１、画素情報合成部１６２、出力部１６３を有する。
なお、演算部１６０は、画素部１５１と同一のチップ上の構成、すなわちオンチップにある設定としてもよいし、画素部１５１と異なるチップや装置内に設定する構成としてもよい。
【００４１】
画素部１５１は、多数の画素各々に被写体光に基づく電荷を蓄積し、高解像度画像である高画素数の画像データを出力する。
なお、画素部１５１は、詳細については図５以下を参照して説明するが、２×２画素単位の同一色画素ブロック単位で４種類の異なる露光時間の画素情報を出力する構成となっている。すなわち、図４に示す複数の異なる露光時間画素情報１８１を出力する。
【００４２】
加算画素値生成部として機能する演算部１６０は、画素部１５１から、複数の異なる露光時間画素情報１８１が入力される。
演算部１６０のＡ／Ｄ変換部１６１はこれらの入力信号のＡ／Ｄ変換、すなわちアナログ信号をデジタル信号に変換する処理を実行して、変換後のデジタル値を画素情報合成部１６２に入力する。
【００４３】
画素情報合成部１６２では、複数の異なる露光時間画素情報１８１の加算処理により出力画素値を算出する。例えば、４つの画素信号に基づいて出力画像の１つの画素値を算出する。このような画素値合成処理を実行して画素数を削減した高ダイナミックレンジ画像を生成して出力部１６３を介して出力する。
【００４４】
［４．画素部の露光時間制御構成と出力画素値の算出処理例について］
次に、画素部１５１の露光時間制御構成と演算部１６０の画素情報合成部１６２において実行する出力画素値の算出処理例について説明する。
【００４５】
図５には、以下の各図を示している。
（１）露光制御処理
（２）出力画素値算出処理
本処理例において、画素部１５１は、図５（２）の（ａ）に示すように、先に図２（２）を参照して説明した４分割ベイヤ型ＲＧＢ配列を有する。４分割ベイヤ型ＲＧＢ配列は、図２（１）に示すベイヤ配列の１つのＲ，Ｇ，Ｂ各画素を４つの画素として設定した配列に相当する。
【００４６】
画素部の構成は、図５（２）の（ａ）に示す４分割ベイヤ型ＲＧＢ配列を有する。すなわち、同一色（ＲまたはＧまたはＢ）画素各々について、２×２の４画素のブロックが設定された構成となっている。
これらの各同一色ブロックの４画素各々に対して、図５（１）に示すように４つの露光時間の設定の下で画像撮影を行う。
図５（１）には、露光時間制御シーケンスとして、
Φ１、
Φ２、
Φ３、
Φ４、
これら４つの異なる露光時間の制御シーケンスを示している。
露光時間の長さは、
Φ１＞Φ３＞Φ４＞Φ２
上記設定としている。
【００４７】
図５（２）の（ｂ）に示すように、Ｒ，Ｇ，Ｂの各４画素ブロック単位で、これらの４つの異なる露光時間設定の下で撮影を行う。
この露光制御の下で撮影された画像は、図５（２）の（ｃ）に示すように、Ｒ，Ｇ，Ｂの各４画素ブロック単位で、４つの異なる露光画素値を取得することになる。
例えば、図５（２）（ｃ）の左上部の４つのＧ画素では、
Ｇ１＝露光制御パターンΦ１に従った１番目に長い露光時間対応の画素値
Ｇ３＝露光制御パターンΦ３に従った２番目に長い露光時間対応の画素値
Ｇ４＝露光制御パターンΦ４に従った３番目に長い露光時間対応の画素値
Ｇ２＝露光制御パターンΦ２に従った４番目に長い露光時間対応の画素値
これらの４つの露光時間対応の画素値が得られる。
その他、すべてのＲ，Ｇ，Ｂ画素ブロックについても同様であり、４つの露光時間対応の画素値が得られる。
【００４８】
このように、４分割ベイヤ型配列の同色４画素それぞれに異なる露光時間で露光した後、演算部１６０の画素情報合成部１６２は、同色４画素の画素値を加算した信号を生成して出力する。
図５（２）の（ｄ）に示すように、４つの画素からなるブロックに対応する１つの出力画素値を設定して出力する。この処理によって、高ダイナミックレンジ画像を生成して出力する。
この構成によって、固定パターンノイズの増大を抑制し、ダイナミックレンジを電子的に調整可能な構成が実現される。
【００４９】
［５．撮像デバイスの具体的回路構成例について］
次に、撮像デバイスの具体的回路構成例について説明する。
図６は、ＣＭＯＳイメージセンサの１つの画素構造を示している。
ＰＤ：フォトダイオード
ＦＤ：フローティングディフュージョン
Ｍ１〜Ｍ４：トランジスタ（ＭＯＳＦＥＴ）
ＲＳ：リセット信号線
ＴＲ：転送信号線
ＳＬ：行（Ｒｏｗ）選択信号線
ＳＩＧ：列（Ｃｏｌｕｍｎ）信号線
である。
【００５０】
画素に光が入射されるとフォトダイオード（ＰＤ）において光電変換により光量に応じた電荷が発生する。フォトダイオード（ＰＤ）に蓄積した電荷はトランジスタ（Ｍ１）を介してフローティングディフュージョン（ＦＤ）に転送される。トランジスタ（Ｍ１）は、転送信号線（ＴＲ）の制御信号によって制御される。トランジスタ（Ｍ２）は、通電することによって、フローティングディフュージョン（ＦＤ）に蓄積された電荷のリセット動作を行う。トランジスタ（Ｍ２）は、リセット信号線（ＲＳ）の制御信号によって制御される。フローティングディフュージョン（ＦＤ）に蓄積された電荷はトランジスタ（Ｍ３）によって増幅され、トランジスタ（Ｍ４）を介して列（Ｃｏｌｕｍｎ）信号線（ＳＩＧ）から出力される。トランジスタ（Ｍ４）は行（Ｒｏｗ）選択信号線を介した制御信号によって制御される。
【００５１】
図７は、本開示の同一色の４画素ブロック２０１において取得する異なる露光時間に対応する画素値の加算信号を出力する演算部を含む回路構成例を示している。
図７は、ある同一色の４つの画素からなる画素ブロック、すなわち、例えば図２（２）に示す４分割ベイヤ型ＲＧＢ配列におけるＲ，Ｇ，Ｂのいずれかの１つの色の画素によって構成される２×２画素と、その出力に対する演算処理構成を示している。
【００５２】
同一色の２×２画素単位中に、図６に示す内部構成をもつ異なる露光時間制御がなされる４画素がある。
以下、これらの４画素を（Φ１、Φ２、Φ３、Φ４）として説明する。
【００５３】
画素制御信号は行セレクタ（ＲＯＷ ＳＥＬＥＴＯＲ）２０２より供給される。同じ行（Ｒｏｗ）にある画素Φ１とΦ２、および画素Φ３とΦ４は、それぞれリセット信号線ＲＳとＲｏｗ選択信号線ＳＬを共有する。
転送信号線ＴＲは画素Φ１、Φ２、Φ３、Φ４それぞれに配線され、共有しない。
各画素から読みだされる画素信号は列（Ｃｏｌｕｍｎ）信号線ＳＩＧを通って、ＡＤコンバータ（Ａ／Ｄ ＣＯＮＶＥＲＴＯＲ）２０３においてデジタル値に変換される。画素からの読み出しは１Ｈ（水平）周期で、１行（Ｒｏｗ）分が同期しておこなわれる。
【００５４】
ＡＤコンバータ（Ａ／Ｄ ＣＯＮＶＥＲＴＯＲ）２０３においてデジタル値に変換された画素信号は、加算回路２０４において、同色２×２画素単位で加算されて１つの画素信号となる。
ＡＤコンバータ（Ａ／Ｄ ＣＯＮＶＥＲＴＯＲ）２０３からの出力が、４画素ブロック２０１の上側の行（行２ｉ）の画素の出力信号Ｒｏｗ（２ｉ）であるとき、加算回路２０４のスイッチ（ＳＷ）２０５はレジスタ（Ｒｅｇ）２０６側に開き、Ｒｏｗ（２ｉ）の画素信号は一旦レジスタ（Ｒｅｇ）２０６に保持される。
【００５５】
一方、ＡＤコンバータ（Ａ／Ｄ ＣＯＮＶＥＲＴＯＲ）２０３からの出力が４画素ブロック２０１の下側の行（行２ｉ＋１）の画素の出力信号Ｒｏｗ（２ｉ＋１）であるとき、加算回路２０４のスイッチ（ＳＷ）２０５は加算器（ＡＤＤ）２０７側に開き、Ｒｏｗ（２ｉ＋１）の画素信号は直前にレジスタ（Ｒｅｇ）２０６に保持されたＲｏｗ（２ｉ）の画素信号と加算器（ＡＤＤ）２０７で加算される。その後，後段の加算器（ＡＤＤ）２０８によって隣接する列（Ｃｏｌｕｍｎ）の加算後の画素信号と加算され、４画素加算信号を得る。
加算後の画素信号は、タイミングジェネレータ（ＴＧ）２１０からの選択制御信号に従って、列セレクタ（ＣＯＬＵＭＮ ＳＥＬＥＣＴＯＲ）２０９から順次選択されて出力信号線へ送られる。
【００５６】
図８は、例えば図７に示す４画素からなる画素ブロック２０１に含まれる４つの画素の各々に異なる露光時間を設定するための画素制御信号のタイミングチャートを示す図である。
【００５７】
１Ｖ（垂直）周期で伝達される「実線マル」で囲まれた読み出し制御信号３０１と、露出の長さに応じて各画素に適宜伝達される「破線マル」で囲まれたＰＤリセット制御信号３０２の組み合わせによって、異なる露光時間制御を実現している。
【００５８】
読み出し制御信号３０１（実線マル）は、１つの行（１Ｒｏｗ）の画素が同期して画素信号を、ＡＤコンバータ（Ａ／Ｄ ＣＯＮＶＥＲＴＯＲ）２０３に送るための制御信号である。
【００５９】
そのため、例えば、図７に示す４画素からなる画素ブロック２０１の上側の行の画素の出力信号Ｒｏｗ（２ｉ）と、下側の行の出力信号Ｒｏｗ（２ｉ＋１）はタイミングが１Ｈ分ずれる。
【００６０】
図７に示す４画素からなる画素ブロック２０１の４さつの画素の構成は、先に図６を参照して説明した構成である。各画素における画素信号の生成処理について図６を参照して説明する。
最初にリセット信号ＲＳがトランジスタＭ２に印加されて、フローティングディフュージョンＦＤ内の蓄積電荷がリセットされる。十分にリセットレベルに達したところでＲｏｗ選択信号ＳＬがトランジスタＭ４に印加され、ＦＤのリセットレベルに応じたトランジスタＭ３のソース電流がＣｏｌｕｍｎ信号線（ＳＩＧ）に流れて、図７に示すＡＤコンバータ（Ａ／Ｄ ＣＯＮＶＥＲＴＯＲ）２０３へリセットレベルとして伝達される。
【００６１】
次にリセット信号ＲＳと、Ｒｏｗ選択信号ＳＬが一旦オフとなり、変わって転送信号ＴＳがトランジスタＭ１に印加され、フォトダイオードＰＤで発生した電荷がフローティングディフュージョンＦＤに転送される。転送が十分に完了したところで、再びＣｏｌｕｍｎ選択信号ＳＬがトランジスタＭ４に印加され、フローティングディフュージョンＦＤの電荷量に応じたトランジスタＭ３のソース電流がＣｏｌｕｍｎ信号線に流れて、図７に示すＡＤコンバータ（Ａ／Ｄ ＣＯＮＶＥＲＴＯＲ）２０３へ画素信号レベルとして伝達される。ＡＤコンバータ（Ａ／Ｄ ＣＯＮＶＥＲＴＯＲ）２０３では、リセットレベルと画素信号レベル間の差分を検出することで正確な画素信号が得られるようになっている。
【００６２】
読み出し制御と１Ｖ後の次の読み出し制御の間が露光期間である。リセット制御信号（破線マル）３０２は、その露光期間中に適宜、転送信号ＴＳを与えることにより、フォトダイオードＰＤで蓄積された電荷をフローティングディフュージョンＦＤに転送する制御である。リセット制御により転送された電荷は、読み出し制御において最初にリセットされてしまうので、画素信号として読みだされない。そのため、リセット制御の転送信号から読み出し制御の転送信号までの期間が実質的な露光期間となる。本発明の構成では、２×２画素単位内の４画素に独立に転送信号ＴＳを印加出来るようになっているので、所望の４画素の露光期間の組み合わせを作ることができる。
【００６３】
図８に示すタイミングチャートでは、画素Φ１にはリセット制御を与えず、その他の画素Φ２、Φ３、Φ４に異なるタイミングでリセット制御信号３０２を与えて異なるリセット制御をおこなって、Φ１⇒長時間、Φ２⇒短時間、Φ３⇒中短時間、Φ４⇒中長時間の露光を実現している例を示している。図８に示すＣＨＧ Φ１〜ＣＨＧ Φ４において実線の期間が露光期間を示す。
露光期間は、
Φ１＞Φ４＞Φ３＞Φ２
上記設定としている。
【００６４】
［６．フローティングディフージョン（ＦＤ）加算構成例］
前述した実施例では、画素ブロックを構成する４つの画素各々が、図６に示す構成を有し、各画素からの出力を、加算回路を持つ演算部において加算して出力画素値を生成する構成であった。
各画素は、図６に示すように画素単位で個別のフローティングディフージョン（ＦＤ）を有し、各ＦＤからの出力を図７に示す加算回路２０４において加算する構成としていた。
【００６５】
次に、図９に示すように、各画素単位のフローティングディフージョン（ＦＤ）を省略して、画素ブロックを構成する４つの画素単位で１つの共有フローティングディフージョン（ＦＤ）を設定して、この共有フローティングディフージョン（ＦＤ）において画素ブロックの画素値の加算処理を行う構成例について説明する。すなわち、共有フローティングディフージョン（ＦＤ）が加算画素値生成部として機能する。
【００６６】
本実施例では、図９に示すように、同色４画素の各画素Φ１，４０１〜Φ４，４０４はそれぞれ異なる転送信号線（ＴＲ１〜ＴＲ４）から転送信号を受け、共有フローティングディフュージョン（ＦＤ）４１２とリセット信号線（ＲＳ）を共有する。
各画素Φ１，４０１〜Φ４，４０４において異なる露光時間の下で発生した電荷は、すべて１つの共有フローティングディフュージョン（ＦＤ）４１２に集積される。
【００６７】
この構成により、異なる露光時間の４画素Φ１，４０１〜Φ４，４０４の画素信号は、１つの共有フローティングディフュージョン（ＦＤ）４１２において加算することが可能になる。
【００６８】
本構成では、４つの画素の画素値の個別読み出しが不要となり、１つの共有フローティングディフュージョン（ＦＤ）４１２での加算結果の読み出しを行えばよく、必要な読み出し回数が１／４になるので高速駆動が可能となる。
【００６９】
図９を参照して、フローティングディフージョン（ＦＤ）加算を行う撮像デバイスの構成と処理について説明する。
図９には、同色２×２画素単位の画素部の回路構成を示している。４つの実線矩形に囲まれた領域が画素（Φ１，４０１、Φ２，４０２、Φ３，４０３、Φ４，４０４）に対応する。
画素毎にフォトダイオードＰＤ１〜ＰＤ４と、転送トランジスタＭ１〜Ｍ４を持つ。
【００７０】
各画素（Φ１，４０１、Φ２，４０２、Φ３，４０３、Φ４，４０４）の外の構成は、これら２×２画素の画素ブロックで共有する部分であり、
リセットトランジスタＭ５，４１１、
フローティングディフュージョンＦＤ４１２、
増幅トランジスタＭ６，４１３、
行（Ｒｏｗ）選択トランジスタＭ７，４１７、
これらが画素ブロック単位の共有素子として設定されている。
このように、リセット信号線ＲＳと行（Ｒｏｗ）選択信号線はこの２×２画素で共有し、転送信号線ＴＳ（ＴＳ１、ＴＳ２、ＴＳ３、ＴＳ４）は各画素に個別に供給される。
【００７１】
図１０は、図９に示すフローティングディフージョン（ＦＤ）加算構成を持つ画素部と演算部の構成例を示す図である。
図１０には、同色２×２画素の画素ブロック５０１と出力制御部５０２の各構成を示している。
２×２画素単位の画素ブロック５０１には、図９を参照して説明した内部構成を有する４画素（Φ１、Φ２、Φ３、Φ４）がある。
【００７２】
画素制御信号は行セレクタ（ＲＯＷ ＳＥＬＥＴＯＲ）５１１から供給される。
行セレクタ（ＲＯＷ ＳＥＬＥＴＯＲ）５１１からは、各画素ブロックが設定される２行（２Ｒｏｗ）単位で、
リセット信号線ＲＳ、
Ｒｏｗ選択信号線ＳＬ、
４つの転送信号線ＴＳ、
これらが行（Ｒｏｗ）方向にのび、行（Ｒｏｗ）方向に並置される２×２画素単位に、これらの制御信号を供給する。
【００７３】
２×２画素単位の各画素ブロック５０１からは、各画素ブロック内の２×２＝４画素の画素値を内部の共有フローティングディフュージョン（ＦＤ）において加算した画素信号が列（Ｃｏｌｕｍｎ）信号線ＳＩＧを通って、ＡＤコンバータ（Ａ／Ｄ ＣＯＮＶＥＲＴＯＲ）５２１に入力され、ＡＤコンバータ（Ａ／Ｄ ＣＯＮＶＥＲＴＯＲ）５２１においてデジタル値に変換される。なお、本構成では、２×２画素の各画素ブロック５０１単位で加算された画素値の読み出し処理が実行されるため、画素からの画素値読み出しは２Ｈ周期でおこなわれる。
【００７４】
ＡＤコンバータ（Ａ／Ｄ ＣＯＮＶＥＲＴＯＲ）５２１においてデジタル値に変換された画素信号は、タイミングジェネレータ（ＴＧ）５２２を介して出力される制御信号に従って、列セレクタ（ＣＯＬＵＭＮ ＳＥＬＥＣＴＯＲ）５２３から順次選択されて出力信号線へ送られる。
【００７５】
図１１は、図９、図１０を参照して説明したフローティングディフージョン（ＦＤ）加算処理を行う構成における画素制御信号のタイミングチャートを示す図である。
【００７６】
１Ｖ周期で伝達される「実線マル」で囲まれた読み出し制御信号６０１と、露出の長さに応じて各画素に適宜伝達される「破線マル」で囲まれたＰＤリセット制御信号６０２の組み合わせによって露光時間制御がなされる。
【００７７】
読み出し制御信号６０１は、２Ｒｏｗの画素が同期して画素信号を図１０に示すＡＤコンバータ（Ａ／Ｄ ＣＯＮＶＥＲＴＯＲ）５２１に送るための制御である。
２×２＝４画素からなる各画素ブロックの上側の行の画素信号Ｒｏｗ（２ｉ）と、下側の行の画素信号Ｒｏｗ（２ｉ＋１）は、各画素ブロックに設定された１つのフローティングディフュジョン（ＦＤ）における加算処理が行われるため、この読み出し制御信号６０１は、４画素単位の１つの同じタイミングとなる。
【００７８】
最初にリセット信号ＲＳが、図９に示すトランジスタＭ５，４１１に印加されて、画素ブロック単位の共有ＦＤであるＦＤ４１２内の蓄積電荷がリセットされる。十分にリセットレベルに達したところでＲｏｗ選択信号ＳＬがトランジスタＭ７，４１４に印加され、ＦＤ４１２のリセットレベルに応じたトランジスタＭ６，４１３のソース電流がＣｏｌｕｍｎ信号線に流れて、図１０に示すＡＤコンバータ（Ａ／Ｄ ＣＯＮＶＥＲＴＯＲ）５２１へリセットレベルとして伝達される。
【００７９】
次に、リセット信号ＲＳとＲｏｗ選択信号ＳＬが一旦オフとなり、２×２画素からなる画素ブロックを構成する各画素対応の４つの転送信号ＴＲ１、ＴＲ２、ＴＲ３、ＴＲ４が、図９に示す各画素Φ１，４０１〜Φ４，４０４の各トランジスタＭ１、Ｍ２、Ｍ３、Ｍ４に印加され、４つの画素Φ１，４０１〜Φ４，４０４各々のフォトダイオードＰＤで発生した電荷が、画素ブロック単位のフローティングディフュージョンＦＤ４１２に転送され、その総電荷量がＦＤ４１２に蓄積される。転送が十分に完了したところで、再びＣｏｌｕｍｎ選択信号ＳＬがトランジスタＭ７，４１４に印加され、ＦＤ４１２の電荷量に応じたトランジスタＭ６，４１３のソース電流がＣｏｌｕｍｎ信号線に流れて、図１０に示すＡＤコンバータ（Ａ／Ｄ ＣＯＮＶＥＲＴＯＲ）５２１へ画素信号レベルとして伝達される。図１０に示すＡＤコンバータ（Ａ／Ｄ ＣＯＮＶＥＲＴＯＲ）５２１では、リセットレベルと画素信号レベル間の差分を検出することで正確な画素信号が得られるようになっている。
【００８０】
図１１に示すタイミングチャートにおいて、読み出し制御信号６０１ａと、１Ｖ後の次の読み出し制御信号６０１ｂの間が露光期間である。リセット制御信号６０２は、その露光期間中に適宜転送信号ＴＳを与えることにより、各画素のフォトダイオードＰＤで蓄積された電荷を共有ＦＤ４１２に転送する制御信号である。リセット制御により転送された電荷は、読み出し制御において最初にリセットされてしまうので、画素信号として読みだされない。そのため、リセット制御の転送信号から読み出し制御の転送信号までの期間が実質的な露光期間となる。本開示の構成では、２×２画素単位内の４画素に独立に転送信号ＴＳを印加出来るようになっているので、所望の４画素の露光期間の組み合わせを作ることができる。
【００８１】
なお、図１１に示す制御は、画素Φ１にはリセット制御を与えず、画素Φ２、Φ３、Φ４に異なるタイミングのリセット制御信号６０２によるリセット処理をおこなって、Φ１⇒長時間、Φ２⇒短時間、Φ３⇒中短時間、Φ４⇒中長時間の露光を実現している例である。ＣＨＧ Φ１〜ＣＨＧ Φ４において実線の期間が露光期間を示す。
この例では、露光期間は、
Φ１＞Φ４＞Φ３＞Φ２
上記設定である。
【００８２】
［７．その他の実施例について］
上述した実施例では、図１（２）に示す４分割ベイヤ型ＲＧＢ配列を持つに撮像素子に対する処理例を説明したが、本開示の構成はその他の画素構成に対しても適用可能である。
【００８３】
すなわち、２×２画素単位で同色の設定となる画素配列であれば、２×２画素の色の配列については特に制限がない。画素加算出力後に信号処理によってカラー画像を得るためには、ＲＧＢの２×２画素をＢａｙｅｒ配列のように配置するのが有効であるが、適切な信号処理（デモザイク処理や色補正、カラーマトリクス処理）が用意できるのであれば、ＲＧＢのベイヤ（Ｂａｙｅｒ）配列以外の配列に本発明を適用することは可能である。
【００８４】
例えば、先に図２（３）を参照して説明した４分割ＷＲＢ型配列に対しても適用可能である。
すなわち、図１２（２）に示すように、４分割ＲＧＢ型配列におけるＧ画素を全可視光波長透過型のＷ画素に（例えば全可視光波長を透過するオンチップフィルタを利用）に置き換えたＷＲＢ型の２×２画素のベイヤ（Ｂａｙｅｒ）配列に対しても同様の処理が実行できる。
【００８５】
なお、前述した実施例において説明した露光時間制御や演算処理は、例えば制御部において実行するプログラムに従った処理として実行することが可能である。
【００８６】
［８．本開示の構成のまとめ］
以上、特定の実施例を参照しながら、本開示の実施例について詳解してきた。しかしながら、本開示の要旨を逸脱しない範囲で当業者が実施例の修正や代用を成し得ることは自明である。すなわち、例示という形態で本発明を開示してきたのであり、限定的に解釈されるべきではない。本開示の要旨を判断するためには、特許請求の範囲の欄を参酌すべきである。
【００８７】
なお、本明細書において開示した技術は、以下のような構成をとることができる。
（１） 複数の同一色画素から構成される画素ブロックを配列した画素部と、
前記画素ブロックを構成する複数の同一色画素各々に対して異なる露光時間の制御を行う制御部と、
前記画素ブロックの複数の同一色画素の出力を加算した加算画素値を生成する加算画素値生成部と、
を有する撮像装置。
【００８８】
（２）前記加算画素値生成部は、前記画素ブロックの複数の同一色画素の出力を加算する加算部を有する加算回路によって構成される前記（１）に記載の撮像装置。
（３）前記画素ブロックは、複数行×複数列の複数画素からなる同一色画素によって構成され、前記加算回路は、前記画素ブロックの先行読み出し行に設定された複数画素の画素値を格納するレジスタと、前記画素ブロックの後続読み出し行に設定された複数画素の読み出し画素値と、前記レジスタの格納画素値とを加算する加算部を有する前記（１）または（２）に記載の撮像装置。
（４）前記画素ブロックは、２行×２列の４画素からなる同一色画素によって構成され、前記加算回路は、前記画素ブロックの先行読み出し行に設定された２画素の画素値を格納するレジスタと、前記画素ブロックの後続読み出し行に設定された２画素の読み出し画素値と、前記レジスタの格納画素値とを加算する加算部を有する前記（１）〜（３）いずれかに記載の撮像装置。
【００８９】
（５）前記加算画素値生成部は、前記画素ブロック単位で設定されるフローティングディフュージョン（ＦＤ）によって構成され、前記フローティングディフュージョン（ＦＤ）は、前記画素ブロックを構成する複数の同一色画素各々から出力する電荷を集積する構成を持つ前記（１）に記載の撮像装置。
【００９０】
（６）前記画素部は、４分割ベイヤ型ＲＧＢ配列を有し、ＲＧＢ各色単位で４つの画素からなる画素ブロックを配列した構成である前記（１）〜（５）いずれかに記載の撮像装置。
（７）前記画素部は、４分割ベイヤ型ＲＧＢ配列におけるＧ画素を全可視光波長透過型のＷ画素に置換した４分割ＷＲＢ配列を有し、ＷＲＢ各色単位で４つの画素からなる画素ブロックを配列した構成である前記（１）〜（５）いずれかに記載の撮像装置。
【００９１】
さらに、上記した装置およびシステムにおいて実行する処理の方法や、処理を実行させるプログラムおよびプログラムを記録した記録媒体も本開示の構成に含まれる。
【００９２】
また、明細書中において説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させるか、あるいは、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。例えば、プログラムは記録媒体に予め記録しておくことができる。記録媒体からコンピュータにインストールする他、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、インターネットといったネットワークを介してプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。
【００９３】
なお、明細書に記載された各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。また、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。
【産業上の利用可能性】
【００９４】
以上、説明したように、本開示の一実施例の構成によれば、長時間露光画素と短時間露光画素の画素値合成処理を実行して高ダイナミックレンジ画像を生成する装置、方法が実現される。
具体的には、例えば、画素ブロックを構成する複数の同一色画素各々に対して異なる露光時間の制御を行い、画素ブロックの複数の同一色画素の出力を加算した加算画素値を生成する。加算画素値の生成は、例えば、画素ブロックの複数の同一色画素の出力を加算する加算部を有する演算部において実行される。あるいは、画素ブロック単位で設定されるフローティングディフュージョン（ＦＤ）によって実行され、フローティングディフュージョン（ＦＤ）において、画素ブロックを構成する複数の同一色画素各々から出力する電荷を集積して出力する。
これらの構成により、高ダイナミックレンジ画像を生成することができる。
【符号の説明】
【００９５】
１０ 輝度閾値レベル
１１ 高輝度領域
１２ 低輝度領域
１００ 撮像装置
１０１ 光学レンズ
１０２ 撮像デバイス
１０３ 信号処理部
１０５ 制御部
１２０ 出力画像
１５１ 画素部
１６０ 演算部
１６１ ＡＤ変換部
１６２ 画素情報合成部
１６３ 出力部
１８１ 複数の異なる露光時間画素情報
２０１ 画素ブロック
２０２ 行セレクタ
２０３ ＡＤコンバータ
２０４ 加算回路
２０５ スイッチ
２０６ レジスタ
２０７，２０８ 加算部
２０９ 列セレクタ
２１０ タイミングジェネレータ（ＴＧ）
４０１〜４０４ 画素
４１１，４１３，４１４ トランジスタ
４１２ フローティングディフュージョン（ＦＤ）
５０１ 画素ブロック
５０２ 出力制御部
５１１ 行セレクタ
５２１ ＡＤコンバータ
５２２ タイミングジェネレータ（ＴＧ）
５２３ 列セレクタ
【技術分野】
【０００１】
本開示は、撮像装置、および信号処理方法、並びにプログラムに関する。さらに詳細には、ダイナミックレンジの広い画像を生成する撮像装置、および信号処理方法、並びにプログラムに関する。
【背景技術】
【０００２】
ビデオカメラやデジタルスチルカメラなどに用いられるＣＣＤイメージセンサやＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）イメージセンサのような固体撮像デバイスは入射光量に応じた電荷を蓄積し、蓄積した電荷に対応する電気信号を出力する光電変換を行う。しかし、光電変換素子における電荷蓄積量には上限があり、一定以上の光量を受けると蓄積電荷量が飽和レベルに達してしまい、一定以上の明るさの被写体領域は飽和した輝度レベルに設定されるいわゆる白とびが発生してしまう。
【０００３】
このような現象を防止するため、外光の変化等に応じて、光電変換素子における電荷蓄積期間を制御して露光時間を調整し、感度を最適値に制御するといった処理が行なわれる。例えば、明るい被写体に対しては、シャッタを高速に切ることで露光時間を短縮し光電変換素子における電荷蓄積期間を短くして蓄積電荷量が飽和レベルに達する以前に電気信号を出力させる。このような処理により被写体に応じた階調を正確に再現した画像の出力が可能となる。
【０００４】
しかし、明るいところと暗いところが混在するような被写体の撮影においては、シャッタを高速に切ると、暗い部分で十分な露光時間がとれないためにＳ／Ｎが劣化し画質が落ちることになる。このように明るいところと暗いところが混在する被写体の撮影画像において、明るい部分、暗い部分の輝度レベルを正確に再現するためには、イメージセンサ上での入射光が少ない画素では長い露光時間として高いＳ／Ｎを実現し、入射光が多い画素では飽和を回避する処理が必要となる。
【０００５】
このような処理を実現する手法として、露光時間の異なる複数の画像を連続的に撮影して合成する手法が知られている。すなわち、長時間露光画像と短時間露光画像を連続的に個別に撮影し、暗い画像領域については長時間露光画像を利用し、長時間露光画像では白とびとなってしまうような明るい画像領域では短時間露光画像を利用する合成処理によって、１つの画像を生成する手法である。このように、複数の異なる露光画像を合成することで、白とびのないダイナミックレンジの広い画像、すなわち高ダイナミックレンジ画像（ＨＤＲ画像）を得ることができる。
【０００６】
例えば特許文献１（特開２０００−５０１５１号公報）は、複数の異なる露光時間を設定した２枚の画像を撮影し、これらの画像を合成して広いダイナミックレンジの画像を得る構成を開示している。図１を参照して、この処理について説明する。撮像デバイスは、例えば、動画撮影においては、ビデオレート（３０−６０ｆｐｓ）内に２つの異なる露光時間の画像データを出力する。また、静止画撮影においても、２つの異なる露光時間の画像データを生成して出力する。図１は、撮像デバイスが生成する２つの異なる露光時間を持つ画像（長時間露光画像と、短時間露光画像）の特性について説明する図である。横軸は時間（ｔ）であり、縦軸は固体撮像素子の１つの画素に対応する光電変換素子を構成する受光フォトダイオード（ＰＤ）における蓄積電荷量（ｅ）である。
【０００７】
例えば、受光フォトダイオード（ＰＤ）の受光量が多い、すなわち明るい被写体に対応する場合、図１に示す高輝度領域１１に示すように、時間経過に伴う電荷蓄積量は急激に上昇する。一方、受光フォトダイオード（ＰＤ）の受光量が少ない、すなわち暗い被写体に対応する場合、図１に示す低輝度領域１２に示すように、時間経過に伴う電荷蓄積量は緩やかに上昇する。
【０００８】
時間ｔ０〜ｔ３が長時間露光画像を取得するための露光時間ＴＬに相当する。この長時間の露光時間ＴＬとしても低輝度領域１２に示すラインは、時間ｔ３において電荷蓄積量は飽和レベルに達することなく（非飽和点Ｐｙ）、この電荷蓄積量（Ｓａ）に基づいて得られる電気信号を利用して決定する画素の階調レベルにより、正確な階調表現を得ることができる。
【０００９】
しかし、高輝度領域１１に示すラインは、時間ｔ３に至る以前に、すでに電荷蓄積量は飽和レベル（飽和点Ｐｘ）に達することが明らかである。従って、このような高輝度領域１１は、長時間露光画像からは飽和レベルの電気信号に対応する画素値しか得られず、結果として白とび画素になってしまう。
【００１０】
そこで、このような高輝度領域１１では、時間ｔ３に至る前の時間、例えば図に示す時間ｔ１（電荷掃き出し開始点Ｐ１）において、一旦、受光フォトダイオード（ＰＤ）の蓄積電荷を掃き出す。電荷掃き出しは、受光フォトダイオード（ＰＤ）に蓄積された全ての電荷ではなく、フォトダイオード（ＰＤ）において制御される中間電圧保持レベルまでとする。この電荷掃き出し処理の後、再度、露光時間ＴＳ（ｔ２〜ｔ３）とした短時間露光を実行する。すなわち、図に示す短時間露光開始点Ｐ２〜短時間露光終了点Ｐ３までの期間の短時間露光を行なう。この短時間露光によって電荷蓄積量（Ｓｂ）が得られ、この電荷蓄積量（Ｓｂ）に基づいて得られる電気信号に基づいて、画素の階調レベルを決定する。
【００１１】
なお、低輝度領域１２における長時間露光によって得られる電荷蓄積量（Ｓａ）に基づく電気信号と、高輝度領域２５１における短時間露光によって得られる電荷蓄積量（Ｓｂ）に基づく電気信号とに基づいて画素値を決定する際は、同一時間露光を行なった場合の推定電荷蓄積量またはその推定電荷蓄積量に対応する電気信号出力値を算出して、算出した結果に基づいて画素値レベルを決定する。
【００１２】
このように、短時間露光画像と長時間露光画像を組み合わせることで、白とびのないダイナミックレンジの広い画像を得ることができる。
【００１３】
しかしながら、上記の特許文献１に記載された構成は、いずれも長時間露光画像と短時間露光画像を個別に撮影して合成するという処理を行うことが必要となる。
【００１４】
このように、露光時間を変えた複数枚の画像を利用することで、高ダイナミックレンジ画像（ＨＤＲ画像）を生成可能であるが、この複数画像に基づく処理には、例えば以下の課題がある。
課題１：複数回の撮影を行うことが必要であり、さらに、これらの画像を格納するメモリを必要とする点。
課題２：撮影タイミングが異なる複数の画像を合成したり、長時間露光の撮影データを用いるため、カメラのブレに弱い点。
【００１５】
このように複数の画像を利用することなく、１枚の撮影画像内に長時間露光画素と短時間露光画素を設定してこれらの異なる露光時間の画素を合成して高ダイナミックレンジ画像を生成する処理についても提案されている。
例えば、特許文献２（特開平１１−２９８８０号公報）、特許文献３（特開２０００−６９４９１号公報）などに記載がある。
【００１６】
これらは、撮像素子（イメージセンサ）に２×２画素のＲ画素、２×２画素のＧ画素、２×２画素のＢ画素等、同色の複数画素を配置する設定とし、同一色の２×２画素の構成画素を異なる露光時間に設定して撮影を実行するものである。このイメージセンサで撮影された異なる露光時間の同色の画素値の合成を実行して、高ダイナミックレンジ画像を得る。
【００１７】
しかし、これらの開示構成では、素子やフィルタの製造バラツキなどに起因するノイズが発生する可能性が高く、高品質な画像を取得することが困難であるという問題がある。
【先行技術文献】
【特許文献】
【００１８】
【特許文献１】特開２０００−５０１５１号公報
【特許文献２】特開平１１−２９８８０号公報
【特許文献３】特開２０００−６９４９１号公報
【発明の概要】
【発明が解決しようとする課題】
【００１９】
本開示は、例えばこのような状況に鑑みてなされたものであり、１回の撮影画像に基づいて高品質な高ダイナミックレンジ画像を生成可能とした撮像装置、および信号処理方法、並びにプログラムを提供することを目的とする。
【００２０】
さらに、本開示は、例えばベイヤ配列と異なる配列を持つ撮影画像に基づいて高ダイナミックレンジ画像を生成する撮像装置、および信号処理方法、並びにプログラムを提供することを目的とする。
【課題を解決するための手段】
【００２１】
本開示の第１の側面は、
複数の同一色画素から構成される画素ブロックを配列した画素部と、
前記画素ブロックを構成する複数の同一色画素各々に対して異なる露光時間の制御を行う制御部と、
前記画素ブロックの複数の同一色画素の出力を加算した加算画素値を生成する加算画素値生成部と、
を有する撮像装置にある。
【００２２】
さらに、本開示の撮像装置の一実施態様において、前記加算画素値生成部は、前記画素ブロックの複数の同一色画素の出力を加算する加算部を有する加算回路によって構成される。
【００２３】
さらに、本開示の撮像装置の一実施態様において、前記画素ブロックは、複数行×複数列の複数画素からなる同一色画素によって構成され、前記加算回路は、前記画素ブロックの先行読み出し行に設定された複数画素の画素値を格納するレジスタと、前記画素ブロックの後続読み出し行に設定された複数画素の読み出し画素値と、前記レジスタの格納画素値とを加算する加算部を有する。
【００２４】
さらに、本開示の撮像装置の一実施態様において、前記画素ブロックは、２行×２列の４画素からなる同一色画素によって構成され、前記加算回路は、前記画素ブロックの先行読み出し行に設定された２画素の画素値を格納するレジスタと、前記画素ブロックの後続読み出し行に設定された２画素の読み出し画素値と、前記レジスタの格納画素値とを加算する加算部を有する。
【００２５】
さらに、本開示の撮像装置の一実施態様において、前記加算画素値生成部は、前記画素ブロック単位で設定されるフローティングディフュージョン（ＦＤ）によって構成され、前記フローティングディフュージョン（ＦＤ）は、前記画素ブロックを構成する複数の同一色画素各々から出力する電荷を集積する構成を持つ。
【００２６】
さらに、本開示の撮像装置の一実施態様において、前記画素部は、４分割ベイヤ型ＲＧＢ配列を有し、ＲＧＢ各色単位で４つの画素からなる画素ブロックを配列した構成である。
【００２７】
さらに、本開示の撮像装置の一実施態様において、前記画素部は、４分割ベイヤ型ＲＧＢ配列におけるＧ画素を全可視光波長透過型のＷ画素に置換した４分割ＷＲＢ配列を有し、ＷＲＢ各色単位で４つの画素からなる画素ブロックを配列した構成である。
【００２８】
さらに、本開示の第２の側面は、
撮像装置において実行する信号処理方法であり、
前記撮像装置は、複数の同一色画素から構成される画素ブロックを配列した画素部を有し、
制御部が、前記画素ブロックを構成する複数の同一色画素各々に対して異なる露光時間の制御を行う露光制御処理と、
加算画素値生成部が、前記画素ブロックの複数の同一色画素の出力を加算した加算画素値を生成する加算画素値生成処理を実行する信号処理方法にある。
【００２９】
さらに、本開示の第３の側面は、
撮像装置において信号処理を実行させるプログラムであり、
前記撮像装置は、複数の同一色画素から構成される画素ブロックを配列した画素部を有し、
前記プログラムは、
制御部に、前記画素ブロックを構成する複数の同一色画素各々に対して異なる露光時間の制御を行わせる露光制御処理と、
加算画素値生成部に、前記画素ブロックの複数の同一色画素の出力を加算した加算画素値を生成させる加算画素値生成処理を実行させるプログラムにある。
【００３０】
なお、本開示のプログラムは、例えば、様々なプログラム・コードを実行可能な情報処理装置やコンピュータ・システムに対して、コンピュータ可読な形式で提供する記憶媒体、通信媒体によって提供可能なプログラムである。このようなプログラムをコンピュータ可読な形式で提供することにより、情報処理装置やコンピュータ・システム上でプログラムに応じた処理が実現される。
【００３１】
本開示のさらに他の目的、特徴や利点は、後述する本開示の実施例や添付する図面に基づくより詳細な説明によって明らかになるであろう。なお、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。
【発明の効果】
【００３２】
本開示の一実施例の構成によれば、長時間露光画素と短時間露光画素の画素値合成処理を実行して高ダイナミックレンジ画像を生成する装置、方法が実現される。
具体的には、例えば、画素ブロックを構成する複数の同一色画素各々に対して異なる露光時間の制御を行い、画素ブロックの複数の同一色画素の出力を加算した加算画素値を生成する。加算画素値の生成は、例えば、画素ブロックの複数の同一色画素の出力を加算する加算部を有する演算部において実行される。あるいは、画素ブロック単位で設定されるフローティングディフュージョン（ＦＤ）によって実行され、フローティングディフュージョン（ＦＤ）において、画素ブロックを構成する複数の同一色画素各々から出力する電荷を集積して出力する。
これらの構成により、高ダイナミックレンジ画像を生成することができる。
【図面の簡単な説明】
【００３３】
【図１】複数の画像撮影による高ダイナミックレンジ画像の撮影処理例について説明する図である。
【図２】撮像素子の構成例について説明する図である。
【図３】撮像装置の構成例について説明する図である。
【図４】撮像デバイスの構成例について説明する図である。
【図５】露光制御と出力画像の生成例について説明する図である。
【図６】撮像デバイスの構成例について説明する図である。
【図７】撮像デバイスの構成例について説明する図である。
【図８】露光制御シーケンスについて説明する図である。
【図９】撮像デバイスの構成例について説明する図である。
【図１０】撮像デバイスの構成例について説明する図である。
【図１１】露光制御シーケンスについて説明する図である。
【図１２】撮像素子の構成と処理例について説明する図である。
【発明を実施するための形態】
【００３４】
以下、図面を参照しながら本開示の撮像装置、および信号処理方法、並びにプログラムの詳細について説明する。なお、説明は以下の項目に従って行う。
１．撮像デバイスの画素部構成例について
２．撮像装置の構成例について
３．撮像デバイスの構成例について
４．画素部の露光時間制御構成と出力画素値の算出処理例について
５．撮像デバイスの具体的回路構成例について
６．フローティングディフージョン（ＦＤ）加算構成例
７．その他の実施例について
８．本開示の構成のまとめ
【００３５】
［１．撮像デバイスの画素部構成例について］
図２を参照して本開示の撮像装置の構成要素である撮像デバイスの画素部の構成例について説明する。図２には、以下の３つの撮像デバイスの画素部構成例を示している。
（１）ベイヤ（Ｂａｙｅｒ）配列
（２）４分割ベイヤ型ＲＧＢ配列
（３）４分割ＷＲＢ型配列
【００３６】
（１）ベイヤ（Ｂａｙｅｒ）配列は多くのカメラにおいて採用されている配列であり、このベイヤ配列を持つカラーフィルタを持つ撮像画像に対する信号処理はほぼ確立している。
しかし、（２）４分割ベイヤ型ＲＧＢ配列や、（３）４分割ＷＲＢ型配列については、まだ、これらのフィルタを備えた撮像素子によって撮影された画像に対する信号処理について十分な検討がなされているとは言えないというのが現状である。
なお、（２）４分割ベイヤ型ＲＧＢ配列は、（１）に示すベイヤ配列の１つのＲ，Ｇ，Ｂ各画素を４つの画素として設定した配列に相当する。
（３）４分割ＷＲＢ配列は、（１）に示すベイヤ配列の１つのＲ，Ｇ，Ｂ各画素を４つの画素として設定し、Ｇ画素の代わりにＷ（ホワイト）画素を設定した配列に相当する。
【００３７】
以下の実施例では、一例として図２に示す（２）４分割ベイヤ型ＲＧＢ配列を持つカラーフィルタを備えた撮像素子によって撮影される画像に対する信号処理を実行する撮像装置について説明する。
【００３８】
［２．撮像装置の構成例について］
図３は、本開示の撮像装置１００の構成例を示すブロック図である。光学レンズ１０１を介して入射される光は撮像部、例えばＣＭＯＳイメージセンサなどによって構成される撮像デバイス１０２に入射し、光電変換による画像データを出力する。出力画像データは信号処理部１０３に入力される。信号処理部１０３は、例えばホワイトバランス（ＷＢ）調整、ガンマ補正等、一般的なカメラにおける信号処理を実行して出力画像１２０を生成する。出力画像１２０は図示しない記憶部に格納される。あるいは表示部に出力される。
【００３９】
制御部１０５は、例えば図示しないメモリに格納されたプログラムに従って各部に制御信号を出力し、各種の処理の制御を行う。
【００４０】
［３．撮像デバイスの構成例について］
次に、撮像デバイス１０２の構成例について図４を参照して説明する。
図４は、本開示の一実施例の撮像デバイス１０２の構成を示す図である。
撮像デバイス１０２は、図４に示すように画素部１５１、加算画素値生成部としての演算部１６０を有する。
演算部１６０はＡＤ変換部１６１、画素情報合成部１６２、出力部１６３を有する。
なお、演算部１６０は、画素部１５１と同一のチップ上の構成、すなわちオンチップにある設定としてもよいし、画素部１５１と異なるチップや装置内に設定する構成としてもよい。
【００４１】
画素部１５１は、多数の画素各々に被写体光に基づく電荷を蓄積し、高解像度画像である高画素数の画像データを出力する。
なお、画素部１５１は、詳細については図５以下を参照して説明するが、２×２画素単位の同一色画素ブロック単位で４種類の異なる露光時間の画素情報を出力する構成となっている。すなわち、図４に示す複数の異なる露光時間画素情報１８１を出力する。
【００４２】
加算画素値生成部として機能する演算部１６０は、画素部１５１から、複数の異なる露光時間画素情報１８１が入力される。
演算部１６０のＡ／Ｄ変換部１６１はこれらの入力信号のＡ／Ｄ変換、すなわちアナログ信号をデジタル信号に変換する処理を実行して、変換後のデジタル値を画素情報合成部１６２に入力する。
【００４３】
画素情報合成部１６２では、複数の異なる露光時間画素情報１８１の加算処理により出力画素値を算出する。例えば、４つの画素信号に基づいて出力画像の１つの画素値を算出する。このような画素値合成処理を実行して画素数を削減した高ダイナミックレンジ画像を生成して出力部１６３を介して出力する。
【００４４】
［４．画素部の露光時間制御構成と出力画素値の算出処理例について］
次に、画素部１５１の露光時間制御構成と演算部１６０の画素情報合成部１６２において実行する出力画素値の算出処理例について説明する。
【００４５】
図５には、以下の各図を示している。
（１）露光制御処理
（２）出力画素値算出処理
本処理例において、画素部１５１は、図５（２）の（ａ）に示すように、先に図２（２）を参照して説明した４分割ベイヤ型ＲＧＢ配列を有する。４分割ベイヤ型ＲＧＢ配列は、図２（１）に示すベイヤ配列の１つのＲ，Ｇ，Ｂ各画素を４つの画素として設定した配列に相当する。
【００４６】
画素部の構成は、図５（２）の（ａ）に示す４分割ベイヤ型ＲＧＢ配列を有する。すなわち、同一色（ＲまたはＧまたはＢ）画素各々について、２×２の４画素のブロックが設定された構成となっている。
これらの各同一色ブロックの４画素各々に対して、図５（１）に示すように４つの露光時間の設定の下で画像撮影を行う。
図５（１）には、露光時間制御シーケンスとして、
Φ１、
Φ２、
Φ３、
Φ４、
これら４つの異なる露光時間の制御シーケンスを示している。
露光時間の長さは、
Φ１＞Φ３＞Φ４＞Φ２
上記設定としている。
【００４７】
図５（２）の（ｂ）に示すように、Ｒ，Ｇ，Ｂの各４画素ブロック単位で、これらの４つの異なる露光時間設定の下で撮影を行う。
この露光制御の下で撮影された画像は、図５（２）の（ｃ）に示すように、Ｒ，Ｇ，Ｂの各４画素ブロック単位で、４つの異なる露光画素値を取得することになる。
例えば、図５（２）（ｃ）の左上部の４つのＧ画素では、
Ｇ１＝露光制御パターンΦ１に従った１番目に長い露光時間対応の画素値
Ｇ３＝露光制御パターンΦ３に従った２番目に長い露光時間対応の画素値
Ｇ４＝露光制御パターンΦ４に従った３番目に長い露光時間対応の画素値
Ｇ２＝露光制御パターンΦ２に従った４番目に長い露光時間対応の画素値
これらの４つの露光時間対応の画素値が得られる。
その他、すべてのＲ，Ｇ，Ｂ画素ブロックについても同様であり、４つの露光時間対応の画素値が得られる。
【００４８】
このように、４分割ベイヤ型配列の同色４画素それぞれに異なる露光時間で露光した後、演算部１６０の画素情報合成部１６２は、同色４画素の画素値を加算した信号を生成して出力する。
図５（２）の（ｄ）に示すように、４つの画素からなるブロックに対応する１つの出力画素値を設定して出力する。この処理によって、高ダイナミックレンジ画像を生成して出力する。
この構成によって、固定パターンノイズの増大を抑制し、ダイナミックレンジを電子的に調整可能な構成が実現される。
【００４９】
［５．撮像デバイスの具体的回路構成例について］
次に、撮像デバイスの具体的回路構成例について説明する。
図６は、ＣＭＯＳイメージセンサの１つの画素構造を示している。
ＰＤ：フォトダイオード
ＦＤ：フローティングディフュージョン
Ｍ１〜Ｍ４：トランジスタ（ＭＯＳＦＥＴ）
ＲＳ：リセット信号線
ＴＲ：転送信号線
ＳＬ：行（Ｒｏｗ）選択信号線
ＳＩＧ：列（Ｃｏｌｕｍｎ）信号線
である。
【００５０】
画素に光が入射されるとフォトダイオード（ＰＤ）において光電変換により光量に応じた電荷が発生する。フォトダイオード（ＰＤ）に蓄積した電荷はトランジスタ（Ｍ１）を介してフローティングディフュージョン（ＦＤ）に転送される。トランジスタ（Ｍ１）は、転送信号線（ＴＲ）の制御信号によって制御される。トランジスタ（Ｍ２）は、通電することによって、フローティングディフュージョン（ＦＤ）に蓄積された電荷のリセット動作を行う。トランジスタ（Ｍ２）は、リセット信号線（ＲＳ）の制御信号によって制御される。フローティングディフュージョン（ＦＤ）に蓄積された電荷はトランジスタ（Ｍ３）によって増幅され、トランジスタ（Ｍ４）を介して列（Ｃｏｌｕｍｎ）信号線（ＳＩＧ）から出力される。トランジスタ（Ｍ４）は行（Ｒｏｗ）選択信号線を介した制御信号によって制御される。
【００５１】
図７は、本開示の同一色の４画素ブロック２０１において取得する異なる露光時間に対応する画素値の加算信号を出力する演算部を含む回路構成例を示している。
図７は、ある同一色の４つの画素からなる画素ブロック、すなわち、例えば図２（２）に示す４分割ベイヤ型ＲＧＢ配列におけるＲ，Ｇ，Ｂのいずれかの１つの色の画素によって構成される２×２画素と、その出力に対する演算処理構成を示している。
【００５２】
同一色の２×２画素単位中に、図６に示す内部構成をもつ異なる露光時間制御がなされる４画素がある。
以下、これらの４画素を（Φ１、Φ２、Φ３、Φ４）として説明する。
【００５３】
画素制御信号は行セレクタ（ＲＯＷ ＳＥＬＥＴＯＲ）２０２より供給される。同じ行（Ｒｏｗ）にある画素Φ１とΦ２、および画素Φ３とΦ４は、それぞれリセット信号線ＲＳとＲｏｗ選択信号線ＳＬを共有する。
転送信号線ＴＲは画素Φ１、Φ２、Φ３、Φ４それぞれに配線され、共有しない。
各画素から読みだされる画素信号は列（Ｃｏｌｕｍｎ）信号線ＳＩＧを通って、ＡＤコンバータ（Ａ／Ｄ ＣＯＮＶＥＲＴＯＲ）２０３においてデジタル値に変換される。画素からの読み出しは１Ｈ（水平）周期で、１行（Ｒｏｗ）分が同期しておこなわれる。
【００５４】
ＡＤコンバータ（Ａ／Ｄ ＣＯＮＶＥＲＴＯＲ）２０３においてデジタル値に変換された画素信号は、加算回路２０４において、同色２×２画素単位で加算されて１つの画素信号となる。
ＡＤコンバータ（Ａ／Ｄ ＣＯＮＶＥＲＴＯＲ）２０３からの出力が、４画素ブロック２０１の上側の行（行２ｉ）の画素の出力信号Ｒｏｗ（２ｉ）であるとき、加算回路２０４のスイッチ（ＳＷ）２０５はレジスタ（Ｒｅｇ）２０６側に開き、Ｒｏｗ（２ｉ）の画素信号は一旦レジスタ（Ｒｅｇ）２０６に保持される。
【００５５】
一方、ＡＤコンバータ（Ａ／Ｄ ＣＯＮＶＥＲＴＯＲ）２０３からの出力が４画素ブロック２０１の下側の行（行２ｉ＋１）の画素の出力信号Ｒｏｗ（２ｉ＋１）であるとき、加算回路２０４のスイッチ（ＳＷ）２０５は加算器（ＡＤＤ）２０７側に開き、Ｒｏｗ（２ｉ＋１）の画素信号は直前にレジスタ（Ｒｅｇ）２０６に保持されたＲｏｗ（２ｉ）の画素信号と加算器（ＡＤＤ）２０７で加算される。その後，後段の加算器（ＡＤＤ）２０８によって隣接する列（Ｃｏｌｕｍｎ）の加算後の画素信号と加算され、４画素加算信号を得る。
加算後の画素信号は、タイミングジェネレータ（ＴＧ）２１０からの選択制御信号に従って、列セレクタ（ＣＯＬＵＭＮ ＳＥＬＥＣＴＯＲ）２０９から順次選択されて出力信号線へ送られる。
【００５６】
図８は、例えば図７に示す４画素からなる画素ブロック２０１に含まれる４つの画素の各々に異なる露光時間を設定するための画素制御信号のタイミングチャートを示す図である。
【００５７】
１Ｖ（垂直）周期で伝達される「実線マル」で囲まれた読み出し制御信号３０１と、露出の長さに応じて各画素に適宜伝達される「破線マル」で囲まれたＰＤリセット制御信号３０２の組み合わせによって、異なる露光時間制御を実現している。
【００５８】
読み出し制御信号３０１（実線マル）は、１つの行（１Ｒｏｗ）の画素が同期して画素信号を、ＡＤコンバータ（Ａ／Ｄ ＣＯＮＶＥＲＴＯＲ）２０３に送るための制御信号である。
【００５９】
そのため、例えば、図７に示す４画素からなる画素ブロック２０１の上側の行の画素の出力信号Ｒｏｗ（２ｉ）と、下側の行の出力信号Ｒｏｗ（２ｉ＋１）はタイミングが１Ｈ分ずれる。
【００６０】
図７に示す４画素からなる画素ブロック２０１の４さつの画素の構成は、先に図６を参照して説明した構成である。各画素における画素信号の生成処理について図６を参照して説明する。
最初にリセット信号ＲＳがトランジスタＭ２に印加されて、フローティングディフュージョンＦＤ内の蓄積電荷がリセットされる。十分にリセットレベルに達したところでＲｏｗ選択信号ＳＬがトランジスタＭ４に印加され、ＦＤのリセットレベルに応じたトランジスタＭ３のソース電流がＣｏｌｕｍｎ信号線（ＳＩＧ）に流れて、図７に示すＡＤコンバータ（Ａ／Ｄ ＣＯＮＶＥＲＴＯＲ）２０３へリセットレベルとして伝達される。
【００６１】
次にリセット信号ＲＳと、Ｒｏｗ選択信号ＳＬが一旦オフとなり、変わって転送信号ＴＳがトランジスタＭ１に印加され、フォトダイオードＰＤで発生した電荷がフローティングディフュージョンＦＤに転送される。転送が十分に完了したところで、再びＣｏｌｕｍｎ選択信号ＳＬがトランジスタＭ４に印加され、フローティングディフュージョンＦＤの電荷量に応じたトランジスタＭ３のソース電流がＣｏｌｕｍｎ信号線に流れて、図７に示すＡＤコンバータ（Ａ／Ｄ ＣＯＮＶＥＲＴＯＲ）２０３へ画素信号レベルとして伝達される。ＡＤコンバータ（Ａ／Ｄ ＣＯＮＶＥＲＴＯＲ）２０３では、リセットレベルと画素信号レベル間の差分を検出することで正確な画素信号が得られるようになっている。
【００６２】
読み出し制御と１Ｖ後の次の読み出し制御の間が露光期間である。リセット制御信号（破線マル）３０２は、その露光期間中に適宜、転送信号ＴＳを与えることにより、フォトダイオードＰＤで蓄積された電荷をフローティングディフュージョンＦＤに転送する制御である。リセット制御により転送された電荷は、読み出し制御において最初にリセットされてしまうので、画素信号として読みだされない。そのため、リセット制御の転送信号から読み出し制御の転送信号までの期間が実質的な露光期間となる。本発明の構成では、２×２画素単位内の４画素に独立に転送信号ＴＳを印加出来るようになっているので、所望の４画素の露光期間の組み合わせを作ることができる。
【００６３】
図８に示すタイミングチャートでは、画素Φ１にはリセット制御を与えず、その他の画素Φ２、Φ３、Φ４に異なるタイミングでリセット制御信号３０２を与えて異なるリセット制御をおこなって、Φ１⇒長時間、Φ２⇒短時間、Φ３⇒中短時間、Φ４⇒中長時間の露光を実現している例を示している。図８に示すＣＨＧ Φ１〜ＣＨＧ Φ４において実線の期間が露光期間を示す。
露光期間は、
Φ１＞Φ４＞Φ３＞Φ２
上記設定としている。
【００６４】
［６．フローティングディフージョン（ＦＤ）加算構成例］
前述した実施例では、画素ブロックを構成する４つの画素各々が、図６に示す構成を有し、各画素からの出力を、加算回路を持つ演算部において加算して出力画素値を生成する構成であった。
各画素は、図６に示すように画素単位で個別のフローティングディフージョン（ＦＤ）を有し、各ＦＤからの出力を図７に示す加算回路２０４において加算する構成としていた。
【００６５】
次に、図９に示すように、各画素単位のフローティングディフージョン（ＦＤ）を省略して、画素ブロックを構成する４つの画素単位で１つの共有フローティングディフージョン（ＦＤ）を設定して、この共有フローティングディフージョン（ＦＤ）において画素ブロックの画素値の加算処理を行う構成例について説明する。すなわち、共有フローティングディフージョン（ＦＤ）が加算画素値生成部として機能する。
【００６６】
本実施例では、図９に示すように、同色４画素の各画素Φ１，４０１〜Φ４，４０４はそれぞれ異なる転送信号線（ＴＲ１〜ＴＲ４）から転送信号を受け、共有フローティングディフュージョン（ＦＤ）４１２とリセット信号線（ＲＳ）を共有する。
各画素Φ１，４０１〜Φ４，４０４において異なる露光時間の下で発生した電荷は、すべて１つの共有フローティングディフュージョン（ＦＤ）４１２に集積される。
【００６７】
この構成により、異なる露光時間の４画素Φ１，４０１〜Φ４，４０４の画素信号は、１つの共有フローティングディフュージョン（ＦＤ）４１２において加算することが可能になる。
【００６８】
本構成では、４つの画素の画素値の個別読み出しが不要となり、１つの共有フローティングディフュージョン（ＦＤ）４１２での加算結果の読み出しを行えばよく、必要な読み出し回数が１／４になるので高速駆動が可能となる。
【００６９】
図９を参照して、フローティングディフージョン（ＦＤ）加算を行う撮像デバイスの構成と処理について説明する。
図９には、同色２×２画素単位の画素部の回路構成を示している。４つの実線矩形に囲まれた領域が画素（Φ１，４０１、Φ２，４０２、Φ３，４０３、Φ４，４０４）に対応する。
画素毎にフォトダイオードＰＤ１〜ＰＤ４と、転送トランジスタＭ１〜Ｍ４を持つ。
【００７０】
各画素（Φ１，４０１、Φ２，４０２、Φ３，４０３、Φ４，４０４）の外の構成は、これら２×２画素の画素ブロックで共有する部分であり、
リセットトランジスタＭ５，４１１、
フローティングディフュージョンＦＤ４１２、
増幅トランジスタＭ６，４１３、
行（Ｒｏｗ）選択トランジスタＭ７，４１７、
これらが画素ブロック単位の共有素子として設定されている。
このように、リセット信号線ＲＳと行（Ｒｏｗ）選択信号線はこの２×２画素で共有し、転送信号線ＴＳ（ＴＳ１、ＴＳ２、ＴＳ３、ＴＳ４）は各画素に個別に供給される。
【００７１】
図１０は、図９に示すフローティングディフージョン（ＦＤ）加算構成を持つ画素部と演算部の構成例を示す図である。
図１０には、同色２×２画素の画素ブロック５０１と出力制御部５０２の各構成を示している。
２×２画素単位の画素ブロック５０１には、図９を参照して説明した内部構成を有する４画素（Φ１、Φ２、Φ３、Φ４）がある。
【００７２】
画素制御信号は行セレクタ（ＲＯＷ ＳＥＬＥＴＯＲ）５１１から供給される。
行セレクタ（ＲＯＷ ＳＥＬＥＴＯＲ）５１１からは、各画素ブロックが設定される２行（２Ｒｏｗ）単位で、
リセット信号線ＲＳ、
Ｒｏｗ選択信号線ＳＬ、
４つの転送信号線ＴＳ、
これらが行（Ｒｏｗ）方向にのび、行（Ｒｏｗ）方向に並置される２×２画素単位に、これらの制御信号を供給する。
【００７３】
２×２画素単位の各画素ブロック５０１からは、各画素ブロック内の２×２＝４画素の画素値を内部の共有フローティングディフュージョン（ＦＤ）において加算した画素信号が列（Ｃｏｌｕｍｎ）信号線ＳＩＧを通って、ＡＤコンバータ（Ａ／Ｄ ＣＯＮＶＥＲＴＯＲ）５２１に入力され、ＡＤコンバータ（Ａ／Ｄ ＣＯＮＶＥＲＴＯＲ）５２１においてデジタル値に変換される。なお、本構成では、２×２画素の各画素ブロック５０１単位で加算された画素値の読み出し処理が実行されるため、画素からの画素値読み出しは２Ｈ周期でおこなわれる。
【００７４】
ＡＤコンバータ（Ａ／Ｄ ＣＯＮＶＥＲＴＯＲ）５２１においてデジタル値に変換された画素信号は、タイミングジェネレータ（ＴＧ）５２２を介して出力される制御信号に従って、列セレクタ（ＣＯＬＵＭＮ ＳＥＬＥＣＴＯＲ）５２３から順次選択されて出力信号線へ送られる。
【００７５】
図１１は、図９、図１０を参照して説明したフローティングディフージョン（ＦＤ）加算処理を行う構成における画素制御信号のタイミングチャートを示す図である。
【００７６】
１Ｖ周期で伝達される「実線マル」で囲まれた読み出し制御信号６０１と、露出の長さに応じて各画素に適宜伝達される「破線マル」で囲まれたＰＤリセット制御信号６０２の組み合わせによって露光時間制御がなされる。
【００７７】
読み出し制御信号６０１は、２Ｒｏｗの画素が同期して画素信号を図１０に示すＡＤコンバータ（Ａ／Ｄ ＣＯＮＶＥＲＴＯＲ）５２１に送るための制御である。
２×２＝４画素からなる各画素ブロックの上側の行の画素信号Ｒｏｗ（２ｉ）と、下側の行の画素信号Ｒｏｗ（２ｉ＋１）は、各画素ブロックに設定された１つのフローティングディフュジョン（ＦＤ）における加算処理が行われるため、この読み出し制御信号６０１は、４画素単位の１つの同じタイミングとなる。
【００７８】
最初にリセット信号ＲＳが、図９に示すトランジスタＭ５，４１１に印加されて、画素ブロック単位の共有ＦＤであるＦＤ４１２内の蓄積電荷がリセットされる。十分にリセットレベルに達したところでＲｏｗ選択信号ＳＬがトランジスタＭ７，４１４に印加され、ＦＤ４１２のリセットレベルに応じたトランジスタＭ６，４１３のソース電流がＣｏｌｕｍｎ信号線に流れて、図１０に示すＡＤコンバータ（Ａ／Ｄ ＣＯＮＶＥＲＴＯＲ）５２１へリセットレベルとして伝達される。
【００７９】
次に、リセット信号ＲＳとＲｏｗ選択信号ＳＬが一旦オフとなり、２×２画素からなる画素ブロックを構成する各画素対応の４つの転送信号ＴＲ１、ＴＲ２、ＴＲ３、ＴＲ４が、図９に示す各画素Φ１，４０１〜Φ４，４０４の各トランジスタＭ１、Ｍ２、Ｍ３、Ｍ４に印加され、４つの画素Φ１，４０１〜Φ４，４０４各々のフォトダイオードＰＤで発生した電荷が、画素ブロック単位のフローティングディフュージョンＦＤ４１２に転送され、その総電荷量がＦＤ４１２に蓄積される。転送が十分に完了したところで、再びＣｏｌｕｍｎ選択信号ＳＬがトランジスタＭ７，４１４に印加され、ＦＤ４１２の電荷量に応じたトランジスタＭ６，４１３のソース電流がＣｏｌｕｍｎ信号線に流れて、図１０に示すＡＤコンバータ（Ａ／Ｄ ＣＯＮＶＥＲＴＯＲ）５２１へ画素信号レベルとして伝達される。図１０に示すＡＤコンバータ（Ａ／Ｄ ＣＯＮＶＥＲＴＯＲ）５２１では、リセットレベルと画素信号レベル間の差分を検出することで正確な画素信号が得られるようになっている。
【００８０】
図１１に示すタイミングチャートにおいて、読み出し制御信号６０１ａと、１Ｖ後の次の読み出し制御信号６０１ｂの間が露光期間である。リセット制御信号６０２は、その露光期間中に適宜転送信号ＴＳを与えることにより、各画素のフォトダイオードＰＤで蓄積された電荷を共有ＦＤ４１２に転送する制御信号である。リセット制御により転送された電荷は、読み出し制御において最初にリセットされてしまうので、画素信号として読みだされない。そのため、リセット制御の転送信号から読み出し制御の転送信号までの期間が実質的な露光期間となる。本開示の構成では、２×２画素単位内の４画素に独立に転送信号ＴＳを印加出来るようになっているので、所望の４画素の露光期間の組み合わせを作ることができる。
【００８１】
なお、図１１に示す制御は、画素Φ１にはリセット制御を与えず、画素Φ２、Φ３、Φ４に異なるタイミングのリセット制御信号６０２によるリセット処理をおこなって、Φ１⇒長時間、Φ２⇒短時間、Φ３⇒中短時間、Φ４⇒中長時間の露光を実現している例である。ＣＨＧ Φ１〜ＣＨＧ Φ４において実線の期間が露光期間を示す。
この例では、露光期間は、
Φ１＞Φ４＞Φ３＞Φ２
上記設定である。
【００８２】
［７．その他の実施例について］
上述した実施例では、図１（２）に示す４分割ベイヤ型ＲＧＢ配列を持つに撮像素子に対する処理例を説明したが、本開示の構成はその他の画素構成に対しても適用可能である。
【００８３】
すなわち、２×２画素単位で同色の設定となる画素配列であれば、２×２画素の色の配列については特に制限がない。画素加算出力後に信号処理によってカラー画像を得るためには、ＲＧＢの２×２画素をＢａｙｅｒ配列のように配置するのが有効であるが、適切な信号処理（デモザイク処理や色補正、カラーマトリクス処理）が用意できるのであれば、ＲＧＢのベイヤ（Ｂａｙｅｒ）配列以外の配列に本発明を適用することは可能である。
【００８４】
例えば、先に図２（３）を参照して説明した４分割ＷＲＢ型配列に対しても適用可能である。
すなわち、図１２（２）に示すように、４分割ＲＧＢ型配列におけるＧ画素を全可視光波長透過型のＷ画素に（例えば全可視光波長を透過するオンチップフィルタを利用）に置き換えたＷＲＢ型の２×２画素のベイヤ（Ｂａｙｅｒ）配列に対しても同様の処理が実行できる。
【００８５】
なお、前述した実施例において説明した露光時間制御や演算処理は、例えば制御部において実行するプログラムに従った処理として実行することが可能である。
【００８６】
［８．本開示の構成のまとめ］
以上、特定の実施例を参照しながら、本開示の実施例について詳解してきた。しかしながら、本開示の要旨を逸脱しない範囲で当業者が実施例の修正や代用を成し得ることは自明である。すなわち、例示という形態で本発明を開示してきたのであり、限定的に解釈されるべきではない。本開示の要旨を判断するためには、特許請求の範囲の欄を参酌すべきである。
【００８７】
なお、本明細書において開示した技術は、以下のような構成をとることができる。
（１） 複数の同一色画素から構成される画素ブロックを配列した画素部と、
前記画素ブロックを構成する複数の同一色画素各々に対して異なる露光時間の制御を行う制御部と、
前記画素ブロックの複数の同一色画素の出力を加算した加算画素値を生成する加算画素値生成部と、
を有する撮像装置。
【００８８】
（２）前記加算画素値生成部は、前記画素ブロックの複数の同一色画素の出力を加算する加算部を有する加算回路によって構成される前記（１）に記載の撮像装置。
（３）前記画素ブロックは、複数行×複数列の複数画素からなる同一色画素によって構成され、前記加算回路は、前記画素ブロックの先行読み出し行に設定された複数画素の画素値を格納するレジスタと、前記画素ブロックの後続読み出し行に設定された複数画素の読み出し画素値と、前記レジスタの格納画素値とを加算する加算部を有する前記（１）または（２）に記載の撮像装置。
（４）前記画素ブロックは、２行×２列の４画素からなる同一色画素によって構成され、前記加算回路は、前記画素ブロックの先行読み出し行に設定された２画素の画素値を格納するレジスタと、前記画素ブロックの後続読み出し行に設定された２画素の読み出し画素値と、前記レジスタの格納画素値とを加算する加算部を有する前記（１）〜（３）いずれかに記載の撮像装置。
【００８９】
（５）前記加算画素値生成部は、前記画素ブロック単位で設定されるフローティングディフュージョン（ＦＤ）によって構成され、前記フローティングディフュージョン（ＦＤ）は、前記画素ブロックを構成する複数の同一色画素各々から出力する電荷を集積する構成を持つ前記（１）に記載の撮像装置。
【００９０】
（６）前記画素部は、４分割ベイヤ型ＲＧＢ配列を有し、ＲＧＢ各色単位で４つの画素からなる画素ブロックを配列した構成である前記（１）〜（５）いずれかに記載の撮像装置。
（７）前記画素部は、４分割ベイヤ型ＲＧＢ配列におけるＧ画素を全可視光波長透過型のＷ画素に置換した４分割ＷＲＢ配列を有し、ＷＲＢ各色単位で４つの画素からなる画素ブロックを配列した構成である前記（１）〜（５）いずれかに記載の撮像装置。
【００９１】
さらに、上記した装置およびシステムにおいて実行する処理の方法や、処理を実行させるプログラムおよびプログラムを記録した記録媒体も本開示の構成に含まれる。
【００９２】
また、明細書中において説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させるか、あるいは、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。例えば、プログラムは記録媒体に予め記録しておくことができる。記録媒体からコンピュータにインストールする他、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、インターネットといったネットワークを介してプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。
【００９３】
なお、明細書に記載された各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。また、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。
【産業上の利用可能性】
【００９４】
以上、説明したように、本開示の一実施例の構成によれば、長時間露光画素と短時間露光画素の画素値合成処理を実行して高ダイナミックレンジ画像を生成する装置、方法が実現される。
具体的には、例えば、画素ブロックを構成する複数の同一色画素各々に対して異なる露光時間の制御を行い、画素ブロックの複数の同一色画素の出力を加算した加算画素値を生成する。加算画素値の生成は、例えば、画素ブロックの複数の同一色画素の出力を加算する加算部を有する演算部において実行される。あるいは、画素ブロック単位で設定されるフローティングディフュージョン（ＦＤ）によって実行され、フローティングディフュージョン（ＦＤ）において、画素ブロックを構成する複数の同一色画素各々から出力する電荷を集積して出力する。
これらの構成により、高ダイナミックレンジ画像を生成することができる。
【符号の説明】
【００９５】
１０ 輝度閾値レベル
１１ 高輝度領域
１２ 低輝度領域
１００ 撮像装置
１０１ 光学レンズ
１０２ 撮像デバイス
１０３ 信号処理部
１０５ 制御部
１２０ 出力画像
１５１ 画素部
１６０ 演算部
１６１ ＡＤ変換部
１６２ 画素情報合成部
１６３ 出力部
１８１ 複数の異なる露光時間画素情報
２０１ 画素ブロック
２０２ 行セレクタ
２０３ ＡＤコンバータ
２０４ 加算回路
２０５ スイッチ
２０６ レジスタ
２０７，２０８ 加算部
２０９ 列セレクタ
２１０ タイミングジェネレータ（ＴＧ）
４０１〜４０４ 画素
４１１，４１３，４１４ トランジスタ
４１２ フローティングディフュージョン（ＦＤ）
５０１ 画素ブロック
５０２ 出力制御部
５１１ 行セレクタ
５２１ ＡＤコンバータ
５２２ タイミングジェネレータ（ＴＧ）
５２３ 列セレクタ
【特許請求の範囲】
【請求項１】
複数の同一色画素から構成される画素ブロックを配列した画素部と、
前記画素ブロックを構成する複数の同一色画素各々に対して異なる露光時間の制御を行う制御部と、
前記画素ブロックの複数の同一色画素の出力を加算した加算画素値を生成する加算画素値生成部と、
を有する撮像装置。
【請求項２】
前記加算画素値生成部は、
前記画素ブロックの複数の同一色画素の出力を加算する加算部を有する加算回路によって構成される請求項１に記載の撮像装置。
【請求項３】
前記画素ブロックは、複数行×複数列の複数画素からなる同一色画素によって構成され、
前記加算回路は、
前記画素ブロックの先行読み出し行に設定された複数画素の画素値を格納するレジスタと、
前記画素ブロックの後続読み出し行に設定された複数画素の読み出し画素値と、前記レジスタの格納画素値とを加算する加算部を有する請求項２に記載の撮像装置。
【請求項４】
前記画素ブロックは、２行×２列の４画素からなる同一色画素によって構成され、
前記加算回路は、
前記画素ブロックの先行読み出し行に設定された２画素の画素値を格納するレジスタと、
前記画素ブロックの後続読み出し行に設定された２画素の読み出し画素値と、前記レジスタの格納画素値とを加算する加算部を有する請求項２に記載の撮像装置。
【請求項５】
前記加算画素値生成部は、
前記画素ブロック単位で設定されるフローティングディフュージョン（ＦＤ）によって構成され、
前記フローティングディフュージョン（ＦＤ）は、前記画素ブロックを構成する複数の同一色画素各々から出力する電荷を集積する構成を持つ請求項１に記載の撮像装置。
【請求項６】
前記画素部は、４分割ベイヤ型ＲＧＢ配列を有し、ＲＧＢ各色単位で４つの画素からなる画素ブロックを配列した構成である請求項１に記載の撮像装置。
【請求項７】
前記画素部は、４分割ベイヤ型ＲＧＢ配列におけるＧ画素を全可視光波長透過型のＷ画素に置換した４分割ＷＲＢ配列を有し、ＷＲＢ各色単位で４つの画素からなる画素ブロックを配列した構成である請求項１に記載の撮像装置。
【請求項８】
撮像装置において実行する信号処理方法であり、
前記撮像装置は、複数の同一色画素から構成される画素ブロックを配列した画素部を有し、
制御部が、前記画素ブロックを構成する複数の同一色画素各々に対して異なる露光時間の制御を行う露光制御処理と、
加算画素値生成部が、前記画素ブロックの複数の同一色画素の出力を加算した加算画素値を生成する加算画素値生成処理を実行する信号処理方法。
【請求項９】
撮像装置において信号処理を実行させるプログラムであり、
前記撮像装置は、複数の同一色画素から構成される画素ブロックを配列した画素部を有し、
前記プログラムは、
制御部に、前記画素ブロックを構成する複数の同一色画素各々に対して異なる露光時間の制御を行わせる露光制御処理と、
加算画素値生成部に、前記画素ブロックの複数の同一色画素の出力を加算した加算画素値を生成させる加算画素値生成処理を実行させるプログラム。
【請求項１】
複数の同一色画素から構成される画素ブロックを配列した画素部と、
前記画素ブロックを構成する複数の同一色画素各々に対して異なる露光時間の制御を行う制御部と、
前記画素ブロックの複数の同一色画素の出力を加算した加算画素値を生成する加算画素値生成部と、
を有する撮像装置。
【請求項２】
前記加算画素値生成部は、
前記画素ブロックの複数の同一色画素の出力を加算する加算部を有する加算回路によって構成される請求項１に記載の撮像装置。
【請求項３】
前記画素ブロックは、複数行×複数列の複数画素からなる同一色画素によって構成され、
前記加算回路は、
前記画素ブロックの先行読み出し行に設定された複数画素の画素値を格納するレジスタと、
前記画素ブロックの後続読み出し行に設定された複数画素の読み出し画素値と、前記レジスタの格納画素値とを加算する加算部を有する請求項２に記載の撮像装置。
【請求項４】
前記画素ブロックは、２行×２列の４画素からなる同一色画素によって構成され、
前記加算回路は、
前記画素ブロックの先行読み出し行に設定された２画素の画素値を格納するレジスタと、
前記画素ブロックの後続読み出し行に設定された２画素の読み出し画素値と、前記レジスタの格納画素値とを加算する加算部を有する請求項２に記載の撮像装置。
【請求項５】
前記加算画素値生成部は、
前記画素ブロック単位で設定されるフローティングディフュージョン（ＦＤ）によって構成され、
前記フローティングディフュージョン（ＦＤ）は、前記画素ブロックを構成する複数の同一色画素各々から出力する電荷を集積する構成を持つ請求項１に記載の撮像装置。
【請求項６】
前記画素部は、４分割ベイヤ型ＲＧＢ配列を有し、ＲＧＢ各色単位で４つの画素からなる画素ブロックを配列した構成である請求項１に記載の撮像装置。
【請求項７】
前記画素部は、４分割ベイヤ型ＲＧＢ配列におけるＧ画素を全可視光波長透過型のＷ画素に置換した４分割ＷＲＢ配列を有し、ＷＲＢ各色単位で４つの画素からなる画素ブロックを配列した構成である請求項１に記載の撮像装置。
【請求項８】
撮像装置において実行する信号処理方法であり、
前記撮像装置は、複数の同一色画素から構成される画素ブロックを配列した画素部を有し、
制御部が、前記画素ブロックを構成する複数の同一色画素各々に対して異なる露光時間の制御を行う露光制御処理と、
加算画素値生成部が、前記画素ブロックの複数の同一色画素の出力を加算した加算画素値を生成する加算画素値生成処理を実行する信号処理方法。
【請求項９】
撮像装置において信号処理を実行させるプログラムであり、
前記撮像装置は、複数の同一色画素から構成される画素ブロックを配列した画素部を有し、
前記プログラムは、
制御部に、前記画素ブロックを構成する複数の同一色画素各々に対して異なる露光時間の制御を行わせる露光制御処理と、
加算画素値生成部に、前記画素ブロックの複数の同一色画素の出力を加算した加算画素値を生成させる加算画素値生成処理を実行させるプログラム。
【図１】
【図２】
【図３】
【図４】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図５】
【図１２】
【図２】
【図３】
【図４】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図５】
【図１２】
【公開番号】特開２０１３−６６１４０（Ｐ２０１３−６６１４０Ａ）
【公開日】平成２５年４月１１日（２０１３．４．１１）
【国際特許分類】
【出願番号】特願２０１１−２７３４２６（Ｐ２０１１−２７３４２６）
【出願日】平成２３年１２月１４日（２０１１．１２．１４）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
【公開日】平成２５年４月１１日（２０１３．４．１１）
【国際特許分類】
【出願日】平成２３年１２月１４日（２０１１．１２．１４）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
[ Back to top ]