撮像素子、撮像素子の駆動装置、撮像素子の駆動方法、画像処理装置、画像処理方法、プログラム、及び、撮像装置
【課題】ベイヤー配列の画素を加算してベイヤー配列とは異なる配列となった画像信号に施す画像処理として、ベイヤー配列を前提にした画像処理を流用しやすい。
【解決手段】ベイヤー配列の単位格子Ａにおいて、２つの隣り合う画素同士を加算することにより、２つの単位格子ＡからＧ、Ｙｅ、Ｍｇ及びＣｙの各信号を加算結果として出力する。そして、これらのＧ、Ｙｅ、Ｍｇ及びＣｙを、単位格子Ａが行方向及び列方向に繰り返し並んだベイヤー配列の配列関係と同様の配列関係となるように、２行２列の単位格子Ｂが行方向及び列方向に繰り返すように出力する。
【解決手段】ベイヤー配列の単位格子Ａにおいて、２つの隣り合う画素同士を加算することにより、２つの単位格子ＡからＧ、Ｙｅ、Ｍｇ及びＣｙの各信号を加算結果として出力する。そして、これらのＧ、Ｙｅ、Ｍｇ及びＣｙを、単位格子Ａが行方向及び列方向に繰り返し並んだベイヤー配列の配列関係と同様の配列関係となるように、２行２列の単位格子Ｂが行方向及び列方向に繰り返すように出力する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像素子、特に、カラーフィルタがベイヤー配列で配列された撮像素子、撮像素子の駆動装置、撮像素子の駆動方法、画像処理装置、画像処理方法、プログラム、及び、撮像装置に関する。
【背景技術】
【０００２】
近年、ＨＤ（Ｈｉｇｈ Ｄｅｆｉｎｉｔｉｏｎ：高精細）動画などの高速動画記録に対応したデジタルカメラが提供されている。静止画の画像撮影の要求としては、１２Ｍ（メガ）ピクセルのイメージセンサが使用されている。一方、ＨＤ動画においては、出力画素数は横ピクセル数が１９２０で縦ピクセル数が１０８０であり、出力画素数は合計で２．１Ｍピクセルである。したがって、同一のイメージセンサを用いて高精細静止画とＨＤ動画とを撮影するデジタルカメラを実現するためには、動画撮影の際に、イメージセンサから出力される画素数を絞り込む構成とする必要がある。イメージセンサから出力する画素数を絞りこむ方法としては、画面の一部を切りだして出力する切り出し出力や、画素信号を間引いて出力する間引き出力、同色の複数の画素信号を混合して出力する画素混合出力が知られている（特許文献１〜３参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００５−２４４９９５号公報
【特許文献２】特開２００９−１５９１８６号公報
【特許文献３】特開２００９−１４７４８９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
本発明者は、イメージセンサから出力される画素数を絞り込む構成として、ベイヤー配列の２行２列の単位格子ごとに、隣り合う画素同士を加算して出力する構成を発明した（図１０（ａ）参照）。例えば、あるベイヤー配列の単位格子において、斜め方向に隣接するＧ（緑）の画素同士を加算すると共に、残りのＲ（赤）とＢ（青）の画素同士を加算する。これによって、Ｇの画素及びＭｇ（マゼンタ）の画素を加算結果として出力させる。その隣りの単位格子では、垂直方向に隣接するＧとＢの画素同士を加算すると共に、残りのＲとＧの画素同士を加算する。これによって、Ｙｅ（黄）の画素及びＣｙ（シアン）の画素を加算結果として出力させる。つまり、２つの隣り合う単位格子からＧ、Ｍｇ、Ｙｅ及びＣｙの４画素を出力させる。例えばこのような画素加算を水平方向に関して繰り返すことにより、水平方向に並んだ２つの単位格子ごとにＧ、Ｍｇ、Ｙｅ及びＣｙの４画素が順に出力される。これにより、全体の画素数が半分に絞り込まれて出力されることとなる。図１０（ａ）の例では、加算結果を単位格子ごとに水平方向に順に出力させることにより、Ｇ、Ｍｇ、Ｙｅ、Ｃｙ、Ｇ、Ｍｇ、Ｙｅ、Ｃｙ…の順に出力させている。
【０００５】
ところで、イメージセンサから出力された画像信号には種々の画像処理が施される。画像処理の具体的な方法は様々であるが、方法によっては、処理対象となる信号がベイヤー配列で配列されていることを前提とするものがある。ところが、図１０（ａ）に示す配列で画素加算の結果を出力すると、元のベイヤー配列における２行２列の単位格子が並んだ配列が出力信号において崩れてしまっているため、ベイヤー配列を前提にした画像処理を流用できず、出力信号の配列に応じた画像処理回路を新たに構成する必要が生じるおそれがある。
【０００６】
本発明の目的は、ベイヤー配列の画素を加算してベイヤー配列とは異なる配列となった画像信号に施す画像処理として、ベイヤー配列を前提にした画像処理を流用しやすい撮像素子、撮像素子の駆動装置、撮像素子の駆動方法、画像処理装置、画像処理方法、プログラム、及び、撮像装置を提供することにある。
【課題を解決するための手段】
【０００７】
かかる目的を達成するためになされた請求項１に記載の撮像素子に係る発明は、Ｒ（赤）、Ｇ（緑）及びＢ（青）の３原色からなる２行２列の第１の単位格子が並んだベイヤー（Ｂａｙｅｒ）配列で配列された複数のカラーフィルタと、前記カラーフィルタを透過した光の強度に応じたアナログ信号を出力する前記カラーフィルタごとに設けられた光電変換素子と、前記第１の単位格子ごとに、４つの前記カラーフィルタのうち異なる色の２つの前記カラーフィルタに対応する２つの前記光電変換素子からの出力信号同士を加算すると共に、残りの２つの前記カラーフィルタに対応する２つの前記光電変換素子からの出力信号同士を加算し、それぞれの加算結果に応じたアナログ信号を出力する信号加算回路と、前記信号加算回路からの出力信号をデジタル信号に変換して出力するＡ／Ｄ変換部とを備え、前記信号加算回路からの出力信号に基づいて、Ｇ、Ｙｅ（黄）、Ｍｇ（マゼンタ）及びＣｙ（シアン）が所定の配列で並んだ２行２列の第２の単位格子が行方向及び列方向に繰り返し並んだデジタル画像信号を出力する。
【０００８】
請求項１に記載の撮像素子は、ベイヤー配列における第１の単位格子ごとに２つの光電変換素子からの出力信号を加算することで画素数を絞ると共に、Ｇ，Ｙｅ、Ｍｇ及びＣｙが所定の配列で並んだ第２の単位格子が行方向及び列方向に繰り返し並んだデジタル画像信号を出力する。したがって、このデジタル画像信号における画素の配列は、第１の単位格子が行方向及び列方向に繰り返し並んだベイヤー配列と同様に、２行２列の第２の単位格子が行方向及び列方向に繰り返し並んだ配列になる。これにより、本発明の撮像素子から出力されるデジタル画像信号に施す画像処理として、ベイヤー配列を前提にした画像処理を流用しやすい。
【０００９】
また、請求項１に記載の撮像素子は、請求項２に記載の発明のように、前記信号加算回路が、前記第１の単位格子ごとに、互いに異なる第１及び第２のパターンのいずれかで前記光電変換素子からの出力信号を加算し、前記第１のパターンが、前記第１の単位格子内において、２つのＧの前記カラーフィルタに対応する２つの前記光電変換素子からの出力信号を加算すると共に、ＲとＢの前記カラーフィルタに対応する２つの前記光電変換素子からの出力信号を加算するパターンであり、前記第２のパターンが、前記第１の単位格子内において、列方向に並んだＧとＢの前記カラーフィルタに対応する２つの前記光電変換素子からの出力信号を加算すると共に、列方向に並んだＲとＧのカラーフィルタに対応する２つの前記光電変換素子からの出力信号を加算するパターンであってもよい。これによると、第１のパターンの加算結果からＧの画素信号及びＭｇの画素信号が生成され、第２のパターンの加算結果からＣｙの画素信号及びＹｅの画素信号が生成される。したがって、これらの加算結果から生成される画素信号に基づくと、Ｇ，Ｙｅ、Ｍｇ及びＣｙが所定の配列で並んだ第２の単位格子が行方向及び列方向に繰り返し並んだデジタル画像信号が生成される。
【００１０】
また、請求項２に記載の撮像素子は、請求項３に記載の発明のように、前記信号加算回路が、行方向及び列方向のそれぞれに関して前記第１のパターンと前記第２のパターンとを交互に繰り返して前記第１の単位格子ごとに前記光電変換素子からの出力信号を加算してもよい。これによると、第１のパターンと第２のパターンとを行方向及び列方向の夫々に関して交互に繰り返すことにより、行方向又は列方向に隣り合う２つの第１の単位格子からＧ，Ｙｅ、Ｍｇ及びＣｙの信号が加算結果として出力される。
【００１１】
また、請求項１〜３のいずれかに記載の撮像素子は、請求項４に記載の発明のように、前記信号加算回路が、前記光電変換素子が発生させた電荷を転送する前記光電変換素子ごとに設けられた転送トランジスタを有し、１つの前記第１の単位格子に対応する４つの前記転送トランジスタに関して共有されたフローティングディフュージョンに対して、２つの前記転送トランジスタから同時に電荷を転送させてもよい。これによると、基本構成として、４画素で１つのフローティングディフュージョンを共有する構成であり、小型化を実現するための既存の画素構成を採用できる。加算パターンは、転送方法を変更することで様々に実現される。
【００１２】
また、請求項４に記載の撮像素子は、請求項５に記載の発明のように、前記転送トランジスタに転送制御信号を送信する転送制御信号線が、前記第１の単位格子の１行ごとに８本設けられ、行方向に１つおきに隣接する複数の前記第１の単位格子同士で、前記８本の転送制御信号線のうちの４本が、各単位格子における４つの前記転送トランジスタ用として共用されていてもよい。これによると、１つおきに隣接する単位格子で共用された４本の転送制御信号線により各転送トランジスタを制御すると共に、残りの単位格子においては別の４本の転送制御信号線により各転送トランジスタを制御できる。したがって、隣接する単位格子同士では様々に異なる転送制御を実行でき、様々に異なる加算パターンが設定可能である。
【００１３】
また、請求項６に記載の撮像素子の駆動装置は、Ｒ（赤）、Ｇ（緑）及びＢ（青）の３原色からなる２行２列の第１の単位格子が並んだベイヤー（Ｂａｙｅｒ）配列で配列された複数のカラーフィルタと、前記カラーフィルタを透過した光の強度に応じたアナログ信号を出力する前記カラーフィルタごとに設けられた光電変換素子と、前記光電変換素子からの出力信号同士を加算し、その加算結果に応じたアナログ信号を出力する信号加算回路と、前記信号加算回路からの出力信号をデジタル信号に変換して出力するＡ／Ｄ変換部とを備えている撮像素子を駆動する駆動装置であって、前記信号加算回路からの出力信号が、前記第１の単位格子ごとに、４つの前記カラーフィルタのうち異なる色の２つの前記カラーフィルタに対応する２つの前記光電変換素子からの出力信号同士を加算すると共に、残りの２つの前記カラーフィルタに対応する２つの前記光電変換素子からの出力信号同士を加算した結果となるように、前記信号加算回路を制御し、前記信号加算回路からの出力信号に基づいて、Ｇ、Ｙｅ（黄）、Ｍｇ（マゼンタ）及びＣｙ（シアン）が所定の配列で並んだ２行２列の第２の単位格子が行方向及び列方向に繰り返し並んだデジタル画像信号を、前記撮像素子から出力させる。これによると、請求項１の発明と同様に撮像素子を機能させる駆動装置が実現する。
【００１４】
また、請求項７の撮像素子の駆動方法は、Ｒ（赤）、Ｇ（緑）及びＢ（青）の３原色からなる２行２列の第１の単位格子が並んだベイヤー（Ｂａｙｅｒ）配列で配列された複数のカラーフィルタと、前記カラーフィルタを透過した光の強度に応じたアナログ信号を出力する前記カラーフィルタごとに設けられた光電変換素子と、前記光電変換素子からの出力信号同士を加算し、その加算結果に応じたアナログ信号を出力する信号加算回路と、前記信号加算回路からの出力信号をデジタル信号に変換して出力するＡ／Ｄ変換部とを備えている撮像素子を駆動する駆動方法であって、前記信号加算回路からの出力信号が、前記第１の単位格子ごとに、４つの前記カラーフィルタのうち異なる色の２つの前記カラーフィルタに対応する２つの前記光電変換素子からの出力信号同士を加算すると共に、残りの２つの前記カラーフィルタに対応する２つの前記光電変換素子からの出力信号同士を加算した結果となるように、前記信号加算回路を制御し、前記信号加算回路からの出力信号に基づいて、Ｇ、Ｙｅ（黄）、Ｍｇ（マゼンタ）及びＣｙ（シアン）が所定の配列で並んだ２行２列の第２の単位格子が行方向及び列方向に繰り返し並んだデジタル画像信号を、前記撮像素子から出力させる。これによると、請求項１の発明と同様に撮像素子を機能させる駆動方法が実現する。
【００１５】
また、請求項８に記載の画像処理装置は、請求項１〜５のいずれか１項に記載の撮像素子と、前記撮像素子から出力されたデジタル画像信号に基づいて、Ｇ、Ｙｅ、Ｍｇ及びＣｙのそれぞれに関して画像調整用又は撮像光学系の駆動制御用の統計値を算出する統計値算出手段と、を備えていることを特徴とする。請求項１〜５の撮像素子から出力されるデジタル画像信号は、ベイヤー配列と同様に、Ｇ，Ｙｅ、Ｍｇ及びＣｙが所定の配列で並んだ第２の単位格子が行方向及び列方向に繰り返し並んでいるので、Ｇ、Ｙｅ、Ｍｇ及びＣｙのそれぞれに関して統計値を算出する手段として、ベイヤー配列のデジタル画像信号から統計値を算出する手段を流用することができる。
【００１６】
また、請求項８に記載の画像処理装置は、請求項９に記載の発明のように、前記光電変換素子への光の入射を遮断する遮光手段が前記撮像素子に設けられており、前記統計値算出手段が、前記デジタル画像信号のうち、前記遮光手段によって光の入射が遮断された前記光電変換素子に対応する信号から、光学的黒補正用の前記統計値を算出してもよい。これによると、光学的黒補正用にＧ、Ｙｅ、Ｍｇ及びＣｙのそれぞれに関して統計値を算出する手段として、ベイヤー配列用の算出手段を流用できる。
【００１７】
また、請求項８又は９に記載の画像処理装置は、請求項１０に記載の発明のように、前記統計値算出手段が算出したＧ、Ｙｅ、Ｍｇ及びＣｙに関する前記統計値を線形変換してＧ、Ｒ及びＢに関する前記統計値を算出する統計値変換手段と、前記統計値変換手段が算出した前記統計値からＧ、Ｒ及びＢに関するホワイトバランス補正用の補正値を算出する補正値算出手段と、前記補正値算出手段が算出したＧ、Ｒ及びＢに関する前記補正値を線形変換してＧ、Ｙｅ、Ｍｇ及びＣｙに関する前記補正値を算出する補正値変換手段とをさらに備えていてもよい。これによると、Ｇ、Ｙｅ、Ｍｇ及びＣｙに関する統計値を変換してＧ，Ｒ及びＢに関する統計値を算出するので、Ｇ，Ｒ及びＢに関してホワイトバランス用の補正値を算出する算出手段を流用できる。
【００１８】
また、請求項８又は９の画像処理装置は、請求項１０に記載の発明のように、前記統計値算出手段が算出したＧ、Ｙｅ、Ｍｇ及びＣｙに関する前記統計値を線形変換してＧ、Ｒ及びＢに関する前記統計値を算出する統計値変換手段と、前記統計値変換手段が算出した前記統計値の線形和を取ることにより露出調整用の統計値を算出する露出用統計値算出手段とをさらに備えていてもよい。これによると、Ｇ、Ｙｅ、Ｍｇ及びＣｙに関する統計値を変換してＧ，Ｒ及びＢに関する統計値を算出するので、Ｇ，Ｒ及びＢに関してホワイトバランス用の補正値を算出する算出手段を流用できる。
【００１９】
また、請求項１２に記載の画像処理装置は、請求項１〜５のいずれか１項に記載の撮像素子と、前記撮像素子から出力されたデジタル画像信号におけるＧ、Ｙｅ、Ｍｇ及びＣｙの画素値の線形和を取ることにより前記第２の単位格子のそれぞれに関して輝度値を算出する輝度値算出手段と、前記輝度値算出手段が算出した輝度値からオートフォーカス用の統計値を算出するオートフォーカス用統計値算出手段と、を備えていることを特徴とする。これによると、ベイヤー配列における第１の単位格子に対応するＧ、Ｙｅ、Ｍｇ及びＣｙからなる第２の単位格子ごとに輝度値を算出すると共に、この輝度値からオートフォーカス用の統計値を算出するので、これらを算出する手段としてベイヤー配列用の算出手段を流用できる。
【００２０】
また、請求項１３に記載の画像処理装置は、Ｒ（赤）、Ｇ（緑）及びＢ（青）の３原色からなる２行２列の第１の単位格子が並んだベイヤー（Ｂａｙｅｒ）配列で配列された複数のカラーフィルタと、前記カラーフィルタを透過した光の強度を示す画素信号を前記カラーフィルタごとに算出する画素信号算出手段と、前記第１の単位格子ごとに、４つの前記カラーフィルタのうち異なる色の２つの前記カラーフィルタに対応する２つの前記光電変換素子からの出力信号同士を加算すると共に、残りの２つの前記カラーフィルタに対応する２つの前記光電変換素子からの出力信号同士を加算し、それぞれの加算結果に応じた信号を出力する信号加算手段とを備え、前記信号加算回路からの出力信号に基づいて、Ｇ、Ｙｅ（黄）、Ｍｇ（マゼンタ）及びＣｙ（シアン）が所定の配列で並んだ２行２列の第２の単位格子が行方向及び列方向に繰り返し並んだデジタル画像信号を生成する。
【００２１】
また、請求項１４に記載の画像処理方法は、請求項１〜５のいずれか１項に記載の撮像素子から出力されたデジタル画像信号を処理する画像処理方法であって、前記デジタル画像信号に基づいて、Ｇ、Ｙｅ、Ｍｇ及びＣｙのそれぞれに関して画像調整用又は撮像光学系の駆動制御用の統計値を算出することを特徴とする。
【００２２】
また、請求項１５に記載の画像処理方法は、請求項１〜５のいずれか１項に記載の撮像素子から出力されたデジタル画像信号を処理する画像処理方法であって、前記デジタル画像信号におけるＧ、Ｙｅ、Ｍｇ及びＣｙの画素値の線形和を取ることにより前記第２の単位格子のそれぞれに関して輝度値を算出する輝度値算出ステップと、前記輝度値算出ステップにおいて算出された輝度値からオートフォーカス用の統計値を算出するオートフォーカス用統計値算出ステップと、を備えていることを特徴とする。
【００２３】
また、請求項１６に記載のプログラムは、請求項１〜５のいずれか１項に記載の撮像素子から出力されたデジタル画像信号をコンピュータに処理させるプログラムであって、前記デジタル画像信号に基づいて、Ｇ、Ｙｅ、Ｍｇ及びＣｙのそれぞれに関して画像調整用又は撮像光学系の駆動制御用の統計値をコンピュータに算出させることを特徴とする。
【００２４】
また、請求項１７に記載のプログラムは、請求項１〜５のいずれか１項に記載の撮像素子から出力されたデジタル画像信号をコンピュータに処理させるプログラムであって、前記デジタル画像信号におけるＧ、Ｙｅ、Ｍｇ及びＣｙの画素値の線形和を取ることにより前記第２の単位格子のそれぞれに関して輝度値を算出する輝度値算出ステップと、
前記輝度値算出ステップにおいて算出された輝度値からオートフォーカス用の統計値を算出するオートフォーカス用統計値算出ステップと、
をコンピュータに実行させることを特徴とする。
【００２５】
また、請求項２２に記載の撮像装置は、被写体像を結像させる撮像光学系と、前記撮像光学系が結像させた被写体像を光電変換して出力する請求項１〜５のいずれか１項に記載の撮像素子と、前記撮像素子から出力された出力信号に対して所定の画像処理を加え、前記被写体像を再現する画像処理手段と、を備えていることを特徴とする。
【発明の効果】
【００２６】
請求項１に記載の撮像素子、請求項６に記載の駆動装置、請求項７に記載の駆動方法及び請求項１３に記載の画像処理装置によると、ベイヤー配列における第１の単位格子ごとに２つの光電変換素子からの出力信号を加算することで画素数を絞ると共に、Ｇ，Ｙｅ、Ｍｇ及びＣｙが所定の配列で並んだ第２の単位格子が行方向及び列方向に繰り返し並んだデジタル画像信号を出力する。したがって、このデジタル画像信号における画素の配列は、第１の単位格子が行方向及び列方向に繰り返し並んだベイヤー配列と同様に、２行２列の第２の単位格子が行方向及び列方向に繰り返し並んだ配列になる。これにより、本発明の撮像素子から出力されるデジタル画像信号に施す画像処理として、ベイヤー配列を前提にした画像処理を流用しやすい。
【図面の簡単な説明】
【００２７】
【図１】本発明の一実施の形態に係る撮像装置の構成を示すブロック図である。
【図２】図２（ａ）はベイヤー配列を、図２（ｂ）は画素信号の加算パターンをそれぞれ示す模式図である。
【図３】画像処理部の構成を示すブロック図である。
【図４】図４（ａ）〜図４（ｃ）は、各統計値算出部等の詳細な構成を示すブロック図であり、図４（ｄ）はＡＦ統計値算出部が実行する加算処理を示す模式図である。
【図５】図５（ａ）は本実施の形態のＷＢ統計値算出部及び補正値算出部の詳細な構成を示すブロック図であり、図５（ｂ）はその従来構成を示すブロック図である。
【図６】画像処理部の色補間部が実行する信号処理の各ステップを示す模式図である。図４
【図７】図２（ｃ）に示す加算パターンの配置を実現するための具体的な回路構成図である。
【図８】図８（ａ）及び図８（ｂ）は、図２（ｂ）に示す加算パターンに従って加算された信号を単位回路から出力させるために、転送制御信号線によって単位回路に印加する制御信号を示すシーケンス図である。
【図９】撮像装置が実行する処理の全体の流れを示したフローチャートである。
【図１０】図１０（ａ）は、加算パターンの一参考例を示す模式図である。図１０（ｂ）〜図１０（ｅ）は、本実施の形態の変形例を示す模式図である。
【発明を実施するための形態】
【００２８】
本発明の一実施の形態について、図面に基づいて説明する。撮像装置１は、図１に示すように、被写体像を撮像素子２００に導いて結像させる撮像光学系１００と、結像された被写体像を光電変換して出力する撮像素子２００と、撮像素子２００から出力された出力信号に対して所定の信号処理を加え、被写体像を再現する画像処理部３００（画像処理手段）とによって構成されている。画像処理部３００から出力される１フレームの画像に対応する画像データから静止画の画像データが生成され、画像処理部３００から時間的に連続して出力される複数のフレーム画像に対応する画像データから動画データが生成される。
【００２９】
撮像光学系１００は、撮像対象からの光を撮像装置１内に取り込む、撮像対象のズームを行うためのレンズ等からなる前部レンズ群１１１、補正用レンズ１１２、前後方向に移動して焦点位置を調整可能なフォーカスレンズ１１３、撮像対象からの光を絞り込む絞り量を調整可能なアイリス（絞り）１２１、及び、撮像素子２００へ向かう入射光を遮蔽したり遮蔽を解除したりする機械式シャッタ１２２を有している。フォーカスレンズ１１３、アイリス１２１及びシャッタ１２２は、フォーカス駆動部１３１、アイリス駆動部１３２及びシャッタ駆動部１３３によってそれぞれ駆動される。フォーカス駆動部１３１、アイリス駆動部１３２及びシャッタ駆動部１３３の動作は、画像処理部３００から送信される駆動制御信号に基づいて制御される。
【００３０】
撮像素子２００は、受光量に応じたアナログ信号を出力する複数の光電変換素子２１１と、複数の光電変換素子２１１に関して共有されたフローティングディフュージョン（以下、「ＦＤ（Ｆｌｏａｔｉｎｇ Ｄｉｆｆｕｓｉｏｎ）」とする）２３０と、光電変換素子２１１から出力されたアナログ信号をＦＤ２３０へと転送する信号転送部２２１と、信号転送部２２１によるアナログ信号の転送を制御する転送制御部２２２と、ＦＤ２３０から出力されたアナログ信号をデジタル信号に変換して出力するＡＦＥ（Ａｎａｌｏｇ Ｆｒｏｎｔ Ｅｎｄ）部２４０とを備えている。一部の光電変換素子２１１には、撮像光学系からの光を遮断するための遮光部材２０９が設けられている。これは、後述の光学的黒補正処理のため、一部の光電変換素子２１１には受光がなされないようにするためである。
【００３１】
各光電変換素子２１１にはカラーフィルタが備えられている。各カラーフィルタは、Ｒ（赤）、Ｇ（緑）及びＢ（青）の３原色の色成分のいずれかに対応するフィルタである。これらのカラーフィルタは、Ｒ、Ｇ及びＢの３原色からなる２行２列の単位格子（以下、「単位格子Ａ」（第１の単位格子）とする）が並んだベイヤー（Ｂａｙｅｒ）配列で配列されている。撮像光学系１００によって結像された被写体像からの光は、各色のカラーフィルタを透過し、単一色の光となって光電変換素子２１１に受光される。光電変換素子２１１は、各カラーフィルタを透過した単一色の光の強度に応じた量の電荷をアナログ電気信号として出力する。このように、撮像素子２００は、単板式撮像素子として構成されている。一実施例では、光電変換素子２１１が横に４０００個、縦に３０００個配列されている。つまり、撮像素子２００が、横４０００ピクセルの画素からなり縦３０００ピクセルの画素からなる、合計で１２Ｍ（メガ）ピクセルの画素で構成されている。
【００３２】
図２（ａ）は上述のベイヤー配列を表している。ベイヤー配列で配列されたカラーフィルタは、Ｇ色フィルタとＲ色フィルタとが行方向に交互に配置された行と、ＧフィルタとＢフィルタとが行方向に交互に配置された行とが、列方向に交互に配置されている。このうちＧフィルタは、市松模様状に配置されている。本実施の形態では、行方向にＲと交互に並んだＧ色をＧｒと表し、行方向にＢと交互に並んだＧ色をＧｂと表す。
【００３３】
光電変換素子２１１から出力された電荷は、信号転送部２２１によってＦＤ２３０に転送される。転送制御部２２２は、信号転送部２２１によってどの光電変換素子２１１からどのタイミングでＦＤ２３０へと電荷を転送させるかを制御する。これにより、撮像素子２００は、１フレームにつき全ての光電変換素子２１１からＦＤ２３０へと電荷を転送させることも、１フレームにつき任意の一部の光電変換素子２１１からＦＤ２３０へと電荷を転送させることも可能である。
【００３４】
ＦＤ２３０は、光電変換素子２１１から転送された電荷の量に応じた大きさの電圧を出力する。ＦＤ２３０は、複数の光電変換素子２１１に関して共有されている。具体的には、２行２列のベイヤー配列の単位格子に対応する４つの光電変換素子２１１を一まとめにした光電変換素子群２１０のそれぞれに関して１つのＦＤ２３０が共有されている。図１では、光電変換素子群２１０がそれぞれ破線で囲まれ、図２（ａ）では、１つの光電変換素子群２１０に対応する１つの単位格子Ａが破線で囲まれている。ＦＤ２３０は、光電変換素子２１１から転送された電荷の量に応じた大きさの電圧信号を生成し、ＡＦＥ部２４０へと出力する。
【００３５】
ＡＦＥ部２４０は、ＦＤ２３０から出力されたアナログ信号を相関二重サンプリングするＣＤＳ（Ｃｏｒｅｌａｔｅｄ Ｄｏｕｂｌｅ Ｓａｍｐｌｉｎｇ）部２４１、ＣＤＳ部２４１によって相関二重サンプリングされたアナログ信号を増幅するＡＧＣ（Ａｕｔｏｍａｔｉｃ Ｇａｉｎ Ｃｏｎｔｒｏｌ）部２４２、ＡＧＣ部２４３によって増幅されたアナログ信号をデジタル画像信号に変換するＡＤＣ部（Ａ／Ｄ変換部）２４３を有している。ＦＤ２３０から出力されたアナログ信号は、ＡＦＥ部２４０によってデジタル信号に変換され、画像処理部３００へと出力される。
【００３６】
本実施の形態の撮像素子２００は、以下のように、画素を加算することによって画素数を絞り込んで画素信号を出力できるように構成されている。画素数を絞り込む場合、転送制御部２２２は、同時に複数の光電変換素子２１１からＦＤ２３０へと電荷を転送するように信号転送部２２１を制御する。ＦＤ２３０へと同時に転送された電荷は、ＦＤ２３０において加算される。ＦＤ２３０は、加算された電荷の量に応じた大きさの電圧をＡＦＥ部２４０へと出力する。このように、信号転送部２２１及びＦＤ２３０は、複数の光電変換素子２１１からの出力信号同士を加算し、加算した結果に応じた電圧信号を出力する信号加算回路として機能する。ＦＤ２３０は、単位格子Ａに対応する４つの光電変換素子２１１からなる各光電変換素子群２１０によって共有されており、撮像素子２００は、各光電変換素子群２１０内で画素信号を加算できる。このような画素加算を可能とする撮像素子２００の具体的な回路構成については後述する。
【００３７】
各光電変換素子群２１０に関して画素を加算する方法、及び、加算した結果を出力する方法はさまざまである。図１０（ａ）は、そのうちの一つを示している。図１０（ａ）の加算方法においては、単位格子Ａ内で互いに斜めに隣り合う画素同士を加算するパターンＸと、単位格子Ａ内で互いに列方向に隣り合う画素同士を加算するパターンＶとを、行方向及び列方向のそれぞれに関して交互に繰り返す。このように、各単位格子Ａ内で画素が加算されるため、同色の画素同士が加算されるのみならず、異色の画素同士が加算される。したがって、加算結果はＲＧＢの組み合わせとは異なる色の組み合わせとなる。具体的には、加算パターンＸ（第１の加算パターン）からは、ＧｒとＧｂの加算結果としてＧの画素信号が、ＲとＢの加算結果としてＭｇ（マゼンタ）の画素信号がそれぞれ得られる。また、加算パターンＶ（第２の加算パターン）からは、ＲとＧｂの加算結果としてＹｅ（黄）の画素信号が、ＧｒとＢの加算結果としてＣｙ（シアン）の画素信号がそれぞれ得られる。
【００３８】
そして、これらの加算結果の一出力例として、各単位格子Ａの加算結果を行方向に並べて順に出力することにより、図１０（ａ）に示すように、第１行目はＧ、Ｍｇ、Ｙｅ、Ｃｙ…の順に加算結果を並べ、第２行目はＹｅ、Ｃｙ、Ｇ、Ｍｇ…の順に加算結果を並べ、第３行目以降はこれらの並び方を交互に繰り返して出力していくことが考えられる。しかしながら、このような出力方法を採用すると、図１０（ａ）に示すように、格子Ｃ内における画素の並び方とその隣の格子Ｄ内における画素の並び方とが互いに異なるものとなってしまう。したがって、加算結果は、ベイヤー配列におけるＲＧＢの色の組み合わせとは異なるＧ、Ｍｇ、Ｙｅ及びＣｙの組み合わせとなって出力されるのみならず、２行２列の単位格子Ａを行方向及び列方向に繰り返すという、ベイヤー配列の規則正しい配列関係自体も崩れた配列となって出力されてしまう。撮像素子２００から出力された画像信号には、後述の通り画像処理部３００において種々の画像処理が施される。これらの画像処理の中には、処理対象となる信号がベイヤー配列の配列関係を有していることを前提とするものがある。したがって、ベイヤー配列の規則正しい配列関係が崩れた図１０（ａ）の出力方法の場合、この出力方法に対応可能な画像処理回路等を新たに構成する必要が生じる。
【００３９】
そこで、本発明者はベイヤー配列の配列関係と対応する配列関係で加算結果を出力するため、以下に一例を示す出力方法を発明した。図２（ｂ）はかかる出力方法の一例である。この出力方法では、図２（ｂ）に示すように、各単位格子Ａからの２つの加算結果を行方向に並べず、列方向に並べて出力する。また、加算結果を必ずしも単位格子Ａの並び順に出力していくのではなく、例えば図２（ｂ）において上から２つ目の単位格子Ａにおける加算結果は、２つの隣り合う単位格子Ａごとに行方向に順序を入れ替えて出力する。このような出力方法を採用することにより、図２（ｂ）に示すように、１行目はＧとＹｅを交互に繰り返して出力し、２行目はＭｇとＣｙを交互に繰り返して出力し、３行目以降はこれらを列方向に交互に繰り返して出力する。これによって、撮像素子２００からは、（１行目）Ｇ→Ｙｅ→Ｇ→Ｙｅ→…→（２行目）Ｍｇ→Ｃｙ→Ｍｇ→Ｃｙ→…→（３行目）Ｇ→Ｙｅ→Ｇ→Ｙｅ→…の順に画素信号が出力される。つまり、画素信号は、Ｇ、Ｙｅ、Ｍｇ及びＣｙが所定の順序で配列された２行２列の単位格子（以下、「単位格子Ｂ」（第２の単位格子）とする）が、行方向及び列方向のそれぞれに関して繰り返し並んだ配列で出力される。各単位格子Ｂ内では、ベイヤー配列の単位格子ＡにおけるＧｒ、Ｒ、Ｂ及びＧｂに対応した位置にＧ、Ｙｅ、Ｍｇ及びＣｙがそれぞれ配置されている。本実施の形態ではこのように、撮像素子２００から出力されるデジタル画像信号は、ベイヤー配列と同様に、単位格子Ｂが行方向及び列方向のそれぞれに規則正しく配列されている。このような出力信号を、以下において「ベイヤー互換配列信号」と記載する。
【００４０】
次に、撮像素子２００から出力されたベイヤー互換配列信号に所定の信号処理を加える画像処理部３００について説明する。画像処理部３００は、図３に示すように、撮像素子２００からのベイヤー互換配列信号に各種補正処理を施す画像調整部３１０と、ベイヤー互換配列信号に基づいて統計値を算出するＯＢ統計値算出部３２４、ＡＥ統計値算出部３２１、ＡＦ統計値算出部３２２及びＷＢ統計値算出部３２３（統計値算出手段）と、ＡＥ統計値算出部３２１及びＡＦ統計値算出部３２２が算出した統計値に基づいて撮像光学系１００の駆動を制御するための制御指令を生成するＡＥ制御部３３１及びＡＦ制御部３３２と、ＷＢ統計値算出部３２３が算出した統計値に基づいて画像調整部３１０によるホワイトバランス補正処理に用いる補正値を算出する補正値算出部３４０と、ＡＥ制御部３３１及びＡＦ制御部３３２からの制御指令に基づいて駆動制御信号を生成する駆動制御部３５０とを有している。画像処理部３００は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）その他の各種のハードウェアと、ＲＯＭに格納されたプログラムその他のソフトウェアとから構成されている。このソフトウェアがハードウェアを、画像調整部３１０等の各機能部を実現するように機能させることにより、画像処理部３００が実現されている。あるいは、各機能部における演算処理に特化した電子回路等により画像調整部３１０等が構成されていてもよいし、各機能部における演算処理に特化した電子回路等と、ハードウェアとソフトウェアの組み合わせによって各機能部を実現する構成とが互いに協働するように構成されていてもよい。
【００４１】
画像調整部３１０は、ＯＢ補正部３１１、シェーディング補正部３１２、ＷＢ補正部３１３、色補間部３１４、色補正部３１５及びガンマ補正部３１６を有している。ＯＢ補正部３１１は、撮像素子２００から出力されたベイヤー互換配列信号に光学的黒補正処理を施す。光学的黒補正処理は、遮光部材２０９（遮光手段）によって光が遮断された領域にある光学変換素子２１１に対応する画素値に基づいて、光学変換素子２１１やＡＦＥ部２４０の持つＤＣ誤差を検出し、有効画素領域の画素値から減算することにより、画素値のＤＣオフセットを補正する処理である（所謂、暗電流によって引き上げられたブラックレベルを補正する処理である）。ＯＢ補正部３１１は、ＯＢ統計値算出部３２４を有しており、ＯＢ統計値算出部３１１が算出した光学的黒補正値Ｏｂ＿Ｇ，Ｏｂ＿Ｙｅ、Ｏｂ＿Ｍｇ及びＯｂ＿Ｃｙを用いて、以下の演算により光学的黒補正処理を実行する：補正後の画素値Ｇ’＝画素値Ｇ−Ｏｂ＿Ｇ、補正後の画素値Ｙｅ’＝画素値Ｙｅ−Ｏｂ＿Ｙｅ、補正後の画素値Ｍｇ’＝画素値Ｍｇ−Ｏｂ＿Ｍｇ、補正後の画素値Ｃｙ’＝画素値Ｃｙ−Ｏｂ＿Ｃｙ。
【００４２】
図４（ａ）は、ＯＢ統計値算出部３２４のより詳細な構成を示している。ＯＢ統計値算出部３２４は、撮像素子２００からのベイヤー互換配列信号のうち、Ｇ信号、Ｙｅ信号、Ｍｇ信号及びＣｙ信号がそれぞれ入力されるＧ積算部３２４ａ、Ｙｅ積算部３２４ｂ、Ｍｇ積算部３２４ｃ及びＣｙ積算部３２４ｄを有している。これらの積算部に入力される信号は、遮光部材２０９によって光が遮断された領域にある画素に対応する信号である。Ｇ積算部３２４ａ〜Ｃｙ積算部３２４ｄは、上記領域にある画素に対応する信号を色ごとに全て加算することにより、Ｇ、Ｙｅ、Ｍｇ及びＣｙの積算値Ｏｂ＿Ｇ，Ｏｂ＿Ｙｅ、Ｏｂ＿Ｍｇ及びＯｂ＿Ｃｙを統計値として算出する。遮光部材２０９によって光が遮断されているにもかかわらずＯｂ＿Ｇ等がゼロでない場合、これらの値は暗電流による画素値のＤＣオフセットに対応する。
【００４３】
シェーディング補正部３１２は、ＯＢ補正部３１１が光学的黒補正処理を施したベイヤー互換配列信号にシェーディング補正処理を施す。有効画素領域の周辺部においては明暗のばらつきが生じやすい。シェーディング補正処理はこのような明暗のばらつきを補正する処理である。シェーディング補正処理後のベイヤー互換配列信号は、シェーディング補正部３１２からＷＢ補正部３１３へと出力されると共に、ＡＥ統計値算出部３２１、ＡＦ統計値算出部３２２及びＷＢ統計値算出部３２３へも出力される。
【００４４】
ＷＢ補正部３１３は、シェーディング補正部３１２からのベイヤー互換配列信号にホワイトバランス補正処理を施す。ホワイトバランス補正処理は、無彩色の被写体を撮像した際、その画素値が正しくＲ＝Ｇ＝Ｂとなるように、信号全体におけるＲＧＢレベルのバランスを補正する処理である。具体的には、ＷＢ補正部３１３は、補正値算出部３４０から出力されたホワイトバランスゲイン係数Ｗｂ＿Ｇ、Ｗｂ＿Ｙｅ、Ｗｂ＿Ｍｇ及びＷｂ＿Ｃｙを用いて、以下の演算によりホワイトバランス補正処理を実行する：補正後の画素値Ｇ’＝Ｗｂ＿Ｇ＊画素値Ｇ、補正後の画素値Ｙｅ’＝Ｗｂ＿Ｙｅ＊画素値Ｙｅ、補正後の画素値Ｙｅ’＝Ｗｂ＿Ｙｅ＊画素値Ｙｅ、補正後の画素値Ｍｇ’＝Ｗｂ＿Ｍｇ＊画素値Ｍｇ、補正後の画素値Ｃｙ’＝Ｗｂ＿Ｃｙ＊画素値Ｃｙ。
【００４５】
図５（ａ）は、ＷＢ統計値算出部３２３及び補正値算出部３４０のより詳細な構成を示している。ＷＢ統計値算出部３２３は、シェーディング補正部３１２からのベイヤー互換配列信号のうち、Ｇ信号、Ｙｅ信号、Ｍｇ信号及びＣｙ信号がそれぞれ入力されるＧ積算部３２３ａ、Ｙｅ積算部３２３ｂ、Ｍｇ積算部３２３ｃ及びＣｙ積算部３２３ｄを有している。これらの積算部に入力される信号は、有効画素領域のうち、所定の範囲内の画素に対応する信号である。かかる所定の範囲は、画像の内容に関わらずあらかじめ設定された固定の範囲であってもよいし、ホワイトバランス補正のために適切な範囲が適宜設定されるようになっていてもよい。Ｇ積算部３２３ａ〜Ｃｙ積算部３２３ｄは、上記所定の範囲内の画素に対応する各色の信号を全て加算することにより、Ｇ、Ｙｅ、Ｍｇ及びＣｙのそれぞれに関する積算値を統計値として算出する。以下、これらの積算値をΣＧ，ΣＹｅ，ΣＭｇ及びΣＣｙと表す。
【００４６】
補正値算出部３４０は、統計値変換部３４１（統計値変換手段）、ＷＢゲイン算出部３４２（補正値算出手段）及びゲイン変換部３４３（補正値変換手段）を有している。統計値変換部３４１は、Ｇ積算部３２３ａ〜Ｃｙ積算部３２３ｄが算出したΣＧ，ΣＹｅ，ΣＭｇ及びΣＣｙを、下記の数式１に従ってＲ，Ｇ及びＢに関する積算値（以下、ΣＲ，ΣＧ及びΣＢと表す）に変換する。
【００４７】
【数１】
【００４８】
数式１は以下のように導出される。一般に、ホワイトバランス補正処理では、Ｇｒ，Ｒ、Ｂ及びＧｂの各積算値（以下、ΣＧｒ，ΣＲ，ΣＢ及びΣＧｂと表す）を求めることによってホワイトバランスゲインが算出される。したがって、Ｇ積算部３２３ａ〜Ｃｙ積算部３２３ｄが算出したΣＧ，ΣＹｅ，ΣＭｇ及びΣＣｙをΣＧｒ，ΣＲ，ΣＢ及びΣＧｂに変換する必要がある。撮像素子２００における画素加算には、Ｇ＝（Ｇｂ＋Ｇｒ）／２、Ｙｅ＝（Ｒ＋Ｇｂ）／２、Ｃｙ＝（Ｂ＋Ｇｒ）／２及びＭｇ＝（Ｂ＋Ｒ）／２の関係がある。これにより、下記の数式２の関係が成り立つ。
【００４９】
【数２】
【００５０】
しかし、この数式２の変換行列は逆行列を持たない。そこで、Ｇｒ＝Ｇｂが近似的に成立することを利用して、Ｇｒ＝Ｇｂ＝Ｇと置くと、下記の数式３を得る。この数式３の変換行列の擬似逆行列を求めることで、数式１が得られる。なお、Ｇｒ画素とＧｂ画素の光電変化特性（分光特性）が互いに異なる場合にはＧｒ＝Ｇｂとの近時的な取り扱いができないおそれがある。このような特性の違いは、主に、撮像素子２００内の画素構成、回路構成における非対称性に起因して発生したり、Ｇｒ画素信号とＧｂ画素信号とを異なるＦＤやＣＤＳ、ＡＤＣでデジタル変換する場合において、それぞれの回路のオフセットやゲイン等の特性の違いに起因して発生したりする。しかしながら、本実施形態の撮像素子２００では、２行２列のベイヤー配列の単位格子Ａを基本単位に回路を構成するため撮像素子２００内の画素構成を対称に設計しやすいことや、同じ単位格子Ａ内のＧｒ画素信号とＧｂ画素信号を共通のＦＤ２３０、ＣＤＳ部２４１及びＡＤＣ部２４３へと出力することから、ＧｒとＧｂの特性をマッチングさせやすいため、Ｇｒ＝Ｇｂとの近似的な取り扱いが可能となっている。さらに、画像に非常に高い周波数成分が含まれる場合にもＧｒ＝Ｇｂとの近時的な取り扱いができないおそれがあるが、統計値として積算値を算出する場合は、仮に画像の一部に高周波成分が存在して局所的にＧｂ＝Ｇｒの関係が崩れたとしても、全体としては平均化されるため、Ｇｒ＝Ｇｂとの近時的な取り扱いに問題は生じにくい。
【００５１】
【数３】
【００５２】
ＷＢゲイン算出部３４２は、統計値変換部３４１が変換した統計値ΣＲ，ΣＧ及びΣＢに基づいて、ＲＧＢに関するホワイトバランスゲインＷｂ＿Ｒ、Ｗｂ＿Ｇ、Ｗｂ＿Ｂを算出する。一例として、ＷＢゲイン算出部３４２は、ΣＲ、ΣＧ及びΣＢをＸＹＺ表色系に変換し、さらにｘｙ色度座標系上のｘｙ座標を求める。ＷＢゲイン算出部３４２は、あらかじめｘｙ色度座標系上における光源範囲を示すデータを格納しており、このデータと上記のようにΣＲ、ΣＧ及びΣＢから求めたｘｙ座標とを照合して、光源を推定する。また、ＷＢゲイン算出部３４２は、あらかじめ光源とホワイトバランスゲイン係数Ｗｂ＿Ｒ、Ｗｂ＿Ｇ、Ｗｂ＿Ｂとを対応させたテーブルを格納しており、上記の推定結果に対応するホワイトバランスゲイン係数をテーブルから取得する。
【００５３】
さらに、ゲイン変換部３４３は、ＷＢゲイン算出部３４２が算出したホワイトバランスゲイン係数Ｗｂ＿Ｒ、Ｗｂ＿Ｇ、Ｗｂ＿Ｂを、数式３の変換行列を用いて、Ｇ，Ｙｅ，Ｍｇ及びＣｙに関するホワイトバランスゲイン係数Ｗｂ＿Ｇ、Ｗｂ＿Ｙｅ、Ｗｂ＿Ｍｇ及びＷｂ＿Ｃｙに変換する。具体的な演算方法は以下の数式４のとおりである。
【００５４】
【数４】
【００５５】
色補間部３１４は、ＷＢ補正部３１３からのベイヤー互換配列信号を、画素ごとにＲ，Ｇ及びＢが全て決定された信号へと変換する。図６は、色補間部３１４が実行する信号処理を示す模式図である。まず、色補間部３１４は、ステップＳ１に示すように、各単位格子Ｂ内で列方向に隣り合った２つの画素信号同士（破線で囲まれた信号同士）を加算して輝度信号Ｙを生成すると共に、各単位格子Ｂ内で列方向に隣り合った２つの画素信号同士（破線で囲まれた信号同士）を減算して色差信号Ｃ１、Ｃ２を生成する。Ｃ１はＧとＭｇの減算から取得されたものを表し、Ｃ２はＹｅとＣｙの減算から取得されたものを表す。具体的には、色補間部３１４は、Ｙ＝（Ｇ＋Ｍｇ）／２、Ｙ＝（Ｙｅ＋Ｃｙ）／２、Ｃ１＝（Ｇ−Ｍｇ）／２及びＣ２＝（Ｙｅ−Ｃｙ）／２で表される演算処理を実行する。ここで、色補間部３１４は、輝度信号Ｙを出力する際、偶数行目におけるＧとＭｇの加算結果とＹｅとＣｙの加算結果とを入れ替えて出力する。偶数行目の画素信号は、撮像素子２００において加算結果を入れ替えて出力されたものであるため、色補間部３１４が偶数行目における加算結果を再び入れ替えて出力することにより、輝度信号Ｙは元の画素の並び方に戻る。また、色補間部３１４は、偶数行目におけるＧとＭｇの減算結果とＹｅとＣｙの減算結果とを行方向に入れ替えることにより、ステップＳ１に示すように、色差信号Ｃ１及びＣ２が互いに行方向及び列方向の両方に関して交互に並ぶように配列する。これにより色差信号Ｃ１及びＣ２は、輝度信号Ｙと同様に、元の画素の並び方に戻る。
【００５６】
次に、色補間部３１４は、ステップＳ２１に示すように、ステップＳ１において生成されるＣ１及びＣ２の両方を含む色差信号からＣ１とＣ２を分離し、足りない画素を”０”として色差信号Ｃ１と色差信号Ｃ２とをそれぞれアップサンプリングする。そして、色補間部３１４は、ステップＳ２２に示すように、アップサンプリングされた色差信号Ｃ１と色差信号Ｃ２にそれぞれローパスフィルタを掛けて画素を補間する。このように、画素の補間にローパスフィルタが用いられるので、補間された色差信号に偽色が発生しにくい。
【００５７】
ステップＳ１及びステップＳ２により、全てのサンプリング位置に関して輝度信号Ｙと色差信号Ｃ１及びＣ２とが取得される。次に、色補間部３１４は、ステップＳ３に示すように、ステップＳ１及びステップＳ２で取得された輝度信号Ｙと色差信号Ｃ１及びＣ２とに、３行３列の行列演算を施すことにより、各画素に関してＲ，Ｇ及びＢの各色の画素信号を算出する。この３行３列の行列演算は、Ｒ＝Ｙ−Ｃ１＋２＊Ｃ２、Ｇ＝Ｙ＋Ｃ１、及び、Ｂ＝Ｙ−Ｃ１−２＊Ｃ２で表される。
【００５８】
色補正部３１５は、色再現マトリクスを用いて色補間部３１４からのＲＧＢ信号を線形変換し、所定の信号レベルに補正する。ガンマ補正部３１６は、あらかじめ格納された適正露出量に基づいて色補正部３１５からのＲＧＢ信号に階調変換を施すと共に、画像が出力されるディスプレイ等の色表示特性に応じたガンマ変換を施す。ベイヤー互換配列信号は、所定の階調、例えば、２８＝２５６階調を持たないデータからなる信号であるので、かかる階調を有する信号にするためにガンマ補正部３１６によって階調変換が施される。画像処理部３００は、ガンマ補正部３１６からの出力信号を、ＲＧＢ信号から輝度信号Ｙ及び色差信号Ｃｂ、Ｃｒからなる信号へと変換して出力する。
【００５９】
以上のように、本実施の形態では、まず撮像素子２００がＲ、Ｇ及びＢの各色からなるベイヤー配列の画像からベイヤー互換配列信号を生成する。このとき、図２（ｂ）に示すように、ベイヤー配列の画像が横方向に１／２となる。そして、色補間部３１４がベイヤー互換配列信号から、各画素についてＲ，Ｇ及びＢの各色が決定された画像データを生成する。このとき、図６に示すように、ベイヤー互換配列信号の画像が縦方向に１／２の大きさになる。したがって、横１９２０ピクセルで縦１０８０ピクセルであるＨＤ動画用の画像データを生成する場合には、まず、撮像素子２００が、横４０００ピクセルで縦３０００ピクセルのＲＧＢベイヤー配列のうち、横３８４０ピクセルで縦２１６０ピクセルの画像から横１９２０ピクセルで縦２１６０ピクセルのベイヤー互換配列信号を生成する。次に、色補間部３１４が、ベイヤー互換配列信号から、横１９２０ピクセルで縦１０８０ピクセルのＨＤ動画用の画像データを生成する。
【００６０】
次に、画像処理部３００における露出調整及びオートフォーカス制御について説明する。ＡＥ制御部３３１及びＡＦ制御部３３２は、ＡＥ統計値算出部３２１（露出用統計値算出手段）とＡＦ統計値算出部３２２とが算出する統計値に応じて露出調整及びオートフォーカス制御を実行する。
【００６１】
図４（ｂ）は、ＡＥ統計値算出部３２１及びＡＥ制御部３３１のより詳細な構成を示している。ＡＥ統計値算出部３２１は、シェーディング補正部３１２からのベイヤー互換配列信号のうち、Ｇ信号、Ｙｅ信号、Ｍｇ信号及びＣｙ信号がそれぞれ入力されるＧ積算部３２１ａ、Ｙｅ積算部３２１ｂ、Ｍｇ積算部３２１ｃ及びＣｙ積算部３２１ｄを有している。これらの積算部に入力される信号は、有効画素領域のうち、所定の範囲内の画素に対応する信号である。かかる所定の範囲は、画像の内容に関わらずあらかじめ設定された固定の範囲であってもよいし、露出調整のために適切な範囲が適宜設定されるようになっていてもよい。Ｇ積算部３２１ａ〜Ｃｙ積算部３２１ｄは、上記所定の範囲内の画素に対応する信号を色ごとに全て加算することにより、Ｇ、Ｙｅ、Ｍｇ及びＣｙの積算値を統計値として算出する。以下、これらの積算値をΣＧ，ΣＹｅ，ΣＭｇ及びΣＣｙと表す。
【００６２】
ＡＥ制御部３３１は、統計値変換部３３１ａ（統計値変換手段）と輝度積算部３３１ｂとを有している。統計値変換部３３１ａは、ＡＥ統計値算出部３２１が算出したΣＧ，ΣＹｅ，ΣＭｇ及びΣＣｙを、上記の数式１に従ってＲ，Ｇ及びＢに関する積算値（以下、ΣＲ，ΣＧ及びΣＢと表す）に変換する。輝度積算部３３１ｂは、統計値変換部３３１ａが算出したΣＲ，ΣＧ及びΣＢに重みｋＲ、ｋＧ及びｋＢを掛けて足し合わせることにより、輝度積算値ΣＹ＝ｋＲ＊ΣＲ＋ｋＧ＊ΣＧ＋ｋＢ＊ΣＢを算出する。
【００６３】
そして、ＡＥ制御部３３１は、ΣＹに基づいて、露出調整用の調整値を算出する。以下、ΣＹに基づいて露出調整を行う方法の一例を説明する。まず、ＡＥ制御部３３１は、駆動制御部３５０へと制御指令を送り、ΣＹが所定の基準値Ｙ０となるように、アイリス１２１の絞り量及びシャッタ１２２のシャッタ速度等を所定の状態に設定する。この状態のときのアイリス１２１の絞り量をＩ０、シャッタ速度をＶ０とする。
【００６４】
次に、ＡＥ制御部３３１は、アイリス１２１の絞り量をＩ０とは異なるＩ１にした際に、算出されるΣＹが基準値Ｙ０となるようなシャッタ１２２のシャッタ速度の理論値Ｖ１を算出する。そして、ＡＥ制御部３３１は、アイリス１２１の絞り量がＩ０となりシャッタ１２２のシャッタ速度がＶ１となるように駆動制御部３５０へと制御指令を送る。このとき、ＡＧＣ部２４２における利得などの露出量を変動させるその他の部分における状態は固定される。なお、ＡＧＣ部２４２の利得等を含めて、ΣＹがＹ０となるような理論値が算出されてもよい。ＡＥ制御部３３１は、この状態のときに実際に算出したΣＹ１がΣＹ０とずれている場合、そのずれた量に対応する絞り量を誤差とし、この誤差を相殺するような値を調整値として算出する。そして、ＡＥ制御部３３１は、この調整値に基づき、アイリス１２１を駆動して露出を調整するための制御指令を駆動制御部３５０へと出力する。
【００６５】
図４（ｃ）は、ＡＦ統計値算出部３２２のより詳細な構成を示している。ＡＦ統計値算出部３２２は、輝度算出部３２２ａ（輝度値算出手段）、ＨＰＦ部３２２ｂ及び輝度積算部３２２ｃ（オートフォーカス用統計値算出手段）を有している。ＡＦ統計値算出部３２２に入力される信号は、有効画素領域のうち、所定の範囲内の画素に対応する信号である。かかる所定の範囲は、画像の内容に関わらずあらかじめ設定された固定の範囲であってもよいし、オートフォーカス制御のために適切な範囲が適宜設定されるようになっていてもよい。図４（ｄ）は、ＡＦ統計値算出部３２２が実行する演算処理を示す模式図である。輝度算出部３２２ａは、図４（ｄ）のステップＡ１に示すように、ベイヤー互換配列信号における単位格子Ｂごとに輝度信号Ｙを以下のように算出する：Ｙ＝ｋＧ＊Ｇ画素値＋ｋＹｅ＊Ｙｅ画素値＋ｋＭｇ＊Ｍｇ画素値＋ｋＣｙ＊Ｃｙ画素値。ここで、ｋＧ、ｋＹｅ、ｋＭｇ及びｋＣｙは、数式１の変換行列を用いて、以下の通り、ｋＧ、ｋＲ及びｋＢから求められる。
【００６６】
【数５】
【００６７】
次に、ＨＰＦ部３２２ｂが、図４（ｄ）のステップＡ２に示すように、輝度算出部３２２ａが単位格子Ｂごとに求めた輝度値Ｙに高周波通過フィルタを掛け、さらにその絶対値を算出する。そして、輝度積算部３２２ｃが、図４（ｄ）のステップＡ３に示すように、輝度算出部３２２ａの算出結果を全て積算する。以下、この積算結果をΣ｜ＨＰＦ（Ｙ）｜とする。ＡＦ制御部３３２は、ＡＦ統計値算出部３２２が算出したΣ｜ＨＰＦ（Ｙ）｜を、被写体像のコントラストの高低を評価する焦点評価値として使用する。ＡＦ制御部３３２は、駆動制御部３５０へと制御指令を送ってフォーカスレンズ１１３を移動させつつ、焦点評価値がピークとなるフォーカスレンズ１１３の位置を導出する。そして、ＡＦ制御部３３２は、このような位置にフォーカスレンズ１１３を配置するように指示する制御指令を駆動制御部３５０へと出力する。
【００６８】
次に、ベイヤー互換配列信号を出力可能な撮像素子２００の具体的な回路構成とその回路の駆動方法について説明する。図７は、図２（ｃ）に示す加算パターンの配置を実現するための具体的な回路構成図である。図７は、単位格子Ａに対応する単位回路４０が行方向に３つ、列方向に２つ並んだ回路を表している。実際の回路構成は、図７に示す単位回路４０及びその周辺の回路構成が撮像素子２００の画素の総数に相当する数だけ行方向及び列方向に並んだものとなる。
【００６９】
図７において、Ｇｒ１１〜Ｇｒ３５はＧｒのカラーフィルタの下に配置されたフォトダイオードを、Ｒ１２〜Ｒ３６はＲのカラーフィルタの下に配置されたフォトダイオードを、Ｂ２１〜Ｂ４５はＢのカラーフィルタの下に配置されたフォトダイオードであり、Ｇｂ２２〜Ｇｂ４６はＧｂのカラーフィルタの下に配置されたフォトダイオードである。ＦＤ１１〜ＦＤ３５はフローティングディフュージョンであり、ＭＴ１１〜ＭＴ４６は、各フォトダイオードからＦＤ１１〜ＦＤ３５のいずれかへと電荷を転送する転送トランジスタである。
【００７０】
ＭＡ１１〜ＭＡ３５は、ＦＤからの出力信号を増幅する増幅トランジスタを表している。ＭＲ１１〜ＭＲ３５はフォトトランジスタにおいて光電変換電荷をリセットするリセットトランジスタである。ＭＳ１１〜ＭＳ３５は画素信号を出力させる単位回路４０を選択する列選択トランジスタである。Ｌ１〜Ｌ７は、各単位回路４０から画素信号が出力される垂直出力線を表し、Ｖｄｄは単位回路４０に供給される電圧である。Ｔｘ１１〜Ｔｘ４４は、転送トランジスタへと転送制御信号を送信する転送制御信号線であり、Ｒｓｔ１及びＲｓｔ３はリセットトランジスタへとリセット制御信号を送信するリセット制御信号線であり、Ｓｅｌ１及びＳｅｌ３は、列選択トランジスタへと列選択制御信号を送信する列選択制御信号線である。
【００７１】
各単位回路４０は、１つの光電変換素子群２１０に対応する４つのフォトダイオードと、１つの信号転送部２２１に対応する４つの転送トランジスタとを含んでいる。また、各単位回路４０は、ＦＤ、増幅トランジスタ、リセットトランジスタ及び列選択トランジスタのそれぞれを１つずつ含んでいる。一例として、図７において最も左上に配置された単位回路４０（以下、「単位回路４０ａ」とする）は、フォトダイオードＧｒ１１、Ｒ１２、Ｂ２１及びＧｂ２２と、転送トランジスタＭＴ１１、ＭＴ１２、ＭＴ２１及びＭＴ２２と、ＦＤ１１と、増幅トランジスタＭＡ１１と、リセットトランジスタＭＲ１１と、列選択トランジスタＭＳ１１とから構成されている。また、別の一例として、その右隣の単位回路４０（以下、「単位回路４０ｂ」とする）は、フォトダイオードＧｒ１３、Ｒ１４、Ｂ２３及びＧｂ２４と、転送トランジスタＭＴ１３、ＭＴ１４、ＭＴ２３及びＭＴ２４と、ＦＤ１３と、増幅トランジスタＭＡ１３と、リセットトランジスタＭＲ１３と、列選択トランジスタＭＳ１３とから構成されている。
【００７２】
各単位回路４０内の構成はいずれも同様である。例えば、単位回路４０ａでは、フォトダイオードＧｒ１１のアノードは接地され、カソードは転送トランジスタＭＴ１１を介してＦＤ１１に接続されている。これと同様に、フォトダイオードＲ１２、Ｂ２１及びＧｂ２２のアノードはそれぞれ接地され、カソードは転送トランジスタＭＴ１２、ＭＴ２１及びＭＴ２２にそれぞれ接続されている。転送トランジスタＭＴ１１のゲートは、転送制御信号線Ｔｘ１１に接続されている。これと同様に、転送トランジスタＭＴ１２、ＭＴ２１及びＭＴ２２のゲートは転送制御信号線Ｔｘ１２、Ｔｘ２１及びＴｘ２２にそれぞれ接続されている。
【００７３】
ＦＤ１１は、増幅トランジスタＭＡ１１のゲートに接続されている。増幅トランジスタＭＡ１１のドレイン・ゲート間にはリセットトランジスタＭＲ１１が接続され、増幅トランジスタＭＡ１１のソースは、列選択トランジスタＭＳ１１を介して、垂直出力線Ｌ１に接続されている。リセットトランジスタＭＲ１１のゲートは、リセット制御信号線Ｒｓｔ１に接続され、列選択トランジスタＭＳ１１のゲートは、列選択制御信号線Ｓｅｌｌに接続されている。増幅トランジスタＭＡ１１のドレインには電圧Ｖｄｄが供給されている。
【００７４】
転送制御信号線は、行方向に並んだ単位回路４０の１行につき、８本ずつ設けられている。８本のうち、４本の転送制御信号線が、行方向に１つおきに並んだ単位回路４０同士で共用されている。例えば、単位回路４０ａを含む行では、転送制御信号線Ｔｘ１１〜Ｔｘ２２の８本が、各単位回路４０に共用されている。そして、これら８本のうち、転送制御信号線Ｔｘ１１は、単位回路４０ａの転送トランジスタＭＴ１１に接続されていると共に、単位回路４０ａとの間に単位回路４０ｂを挟んで右側に配置された単位回路４０（以下、「単位回路４０ｃ」とする）の転送トランジスタＭＴ１５に接続されている。同様に、転送制御信号線Ｔｘ１２、Ｔｘ２１及びＴｘ２２は、単位回路４０ａの転送トランジスタＭＴ１２、ＭＴ２１及びＭＴ２２にそれぞれ接続されていると共に、単位回路４０ｃの転送トランジスタＭＴ１６、ＭＴ２５及びＭＴ２６にそれぞれ接続されている。このように、転送制御信号線Ｔｘ１１〜Ｔｘ２２の８本のうち、転送制御信号線Ｔｘ１１、Ｔｘ１２、Ｔｘ２１及びＴｘ２２の４本は、行方向に１つおきに隣接した単位回路４０同士の間で、各単位回路４０に含まれる４つの転送トランジスタへの転送制御信号線として共用されている。
【００７５】
また、単位回路４０ａの右隣の単位回路４０ｂでは、８本のうちの残りの４本である転送制御信号線Ｔｘ１３、Ｔｘ１４、Ｔｘ２３及びＴｘ２４が転送トランジスタＭＴ１３、ＭＴ１４、ＭＴ２３及びＭＴ２４にそれぞれ接続されている。この転送制御信号線Ｔｘ１３、Ｔｘ１４、Ｔｘ２３及びＴｘ２４は、単位回路４０ｂとの間に単位回路４０ｃを挟んで右側に配置された単位回路４０（不図示）の４つの転送トランジスタにもそれぞれ接続されている。このように、転送制御信号線Ｔｘ１３、Ｔｘ１４、Ｔｘ２３及びＴｘ２４の４本も、行方向に１つおきに隣接した単位回路４０同士の間で、各単位回路４０に含まれる４つの転送トランジスタへの転送制御信号線として共用されている。
【００７６】
リセット制御信号線は、行方向に並んだ単位回路４０の１行につき、１本ずつ設けられており、１行の単位回路４０に含まれる各リセットトランジスタに接続されている。例えば、リセット制御信号線Ｒｓｔ１は、単位回路４０ａのリセットトランジスタＭＲ１１と単位回路４０ｂのリセットトランジスタＭＲ１３と単位回路４０ｃのリセットトランジスタＭＲ１５とに接続されている。また、列選択制御信号線も、行方向に並んだ単位回路４０の１行につき、１本ずつ設けられており、１行の単位回路４０に含まれる各列選択トランジスタに接続されている。例えば、列選択制御信号線Ｓｅｌ１は、単位回路４０ａの列選択トランジスタＭＳ１１と単位回路４０ｂの列選択トランジスタＭＳ１３と単位回路４０ｃの列選択トランジスタＭＳ１５とに接続されている。
【００７７】
また、本実施の形態の回路構成では、単位回路４０からの出力順を行方向に入れ替えるために、出力切り替え部４１が、２本の垂直出力線ごとに設けられている。具体的には、垂直出力線Ｌ１及びＬ３の出力先は１つの出力切り替え部４１に接続されている。出力切り替え部４１には出力線Ｌ１’及びＬ３’が接続されている。出力切り替え部４１は、出力線Ｌ１からの入力を出力線Ｌ３’へと出力すると共に出力線Ｌ３からの入力を出力線Ｌ１’へと出力する出力順入れ替えモードと、出力線Ｌ１からの入力を出力線Ｌ１’へと出力すると共に出力線Ｌ３からの入力を出力線Ｌ３’へと出力する非出力順入れ替えモードとを選択的に取ることができる。このような出力切り替え部４１が、出力線Ｌ５及びＬ７、出力線Ｌ９及びＬ１１、出力線Ｌ１３及びＬ１５…と、２本の出力線ごとに設けられている。出力線Ｌ１’、Ｌ３’、Ｌ５’…へと出力された信号は、ＡＦＥ部２４０へと入力される。
【００７８】
以上のような回路構成において、図２（ｂ）に示す加算パターンに従って画素信号を加算させる駆動方法について説明する。図８（ａ）及び図８（ｂ）は、加算パターンＸ及びＶに従って加算された信号を各単位回路４０から出力させるために、転送制御信号線Ｔｘ１１〜Ｔｘ４４によって転送トランジスタに印加させる転送制御信号を示すシーケンス図である。図８（ａ）が加算パターンＸに、図８（ｂ）が加算パターンＶにそれぞれ対応する。
【００７９】
加算パターンＸについて単位回路４０ａを例に挙げて説明する。まず、出力切り替え部４１は、非出力順入れ替えモードに設定される。そして、図８（ａ）に示すように、時刻ｔ２１において、リセット制御信号線Ｒｓｔ１にＨレベルを印加すると同時に、転送制御信号線Ｔｘ１１と転送制御信号線Ｔｘ２２にＨレベルを印加して、フォトダイオードＧ１１とフォトダイオードＧ２２に蓄積された光電変換電荷のリセットを行う。この操作は電子シャッタ動作に相当する。リセット制御信号線Ｒｓｔ１がＨレベルになると、リセットトランジスタＭＲ１１がオンとなり、ＦＤ１１が電圧Ｖｄｄに充電される。また、転送制御信号線Ｔｘ１１及びＴｘ２２がＨレベルになると、転送トランジスタＭＴ１１及びＭＴ２２がオンとなり、フォトダイオードＧｒ１１及びＧｂ２２のカソード側に電圧Ｖｄｄが印加され、フォトダイオードＧ１１及びＧ２２に蓄積された光電変換電荷がリセットされる。リセット制御信号線Ｒｓｔ１と転送制御信号線Ｔｘ１１と転送制御信号線Ｔｘ２２に印加されたＨレベルがＬレベルに変化すると、これらの制御信号線がオフとなり、フォトダイオードＧｒ１１及びＧｂ２２が、受光量に応じて電荷蓄積を開始する。
【００８０】
次に、時刻ｔ２２において、リセット制御信号線Ｒｓｔ１にＨレベルを印加すると同時に転送制御信号線Ｔｘ１２と転送制御信号線Ｔｘ２１にＨレベルを印加して、フォトダイオードＲ１２とフォトダイオードＢ２１に蓄積された光電変換電荷のリセットを行う。つまり、フォトダイオードＲ１２及びＢ１２のカソード側に電圧Ｖｄｄが印加され、これらのフォトダイオードに蓄積された光電変換電荷がリセットされる。リセット制御信号線Ｒｓｔ１と転送制御信号線Ｔｘ１２と転送制御信号線Ｔｘ２１に印加されたＨレベルがＬレベルに変化すると、リセットトランジスタＭＲ１１と転送トランジスタＭＴ１２と転送トランジスタＭＴ２１がオフとなり、フォトダイオードＲ１２及びＢ２１が、受光量に応じて電荷蓄積を開始する。
【００８１】
次に、時刻ｔ２３において、フォトダイオードＧｒ１１及びＧｂ２２について画素信号の読出動作を開始するため、列選択制御信号線Ｓｅｌ１にＨレベルを印加する。これにより、列選択トランジスタＭＳ１１がオンとなり、増幅トランジスタＭＡ１１のソースが垂直出力線Ｌ１に接続される。また、リセット制御信号線Ｒｓｔ１にＨレベルを印加する。これにより、リセットトランジスタＭＲ１１がオンとなり、ＦＤ１１が電圧Ｖｄｄに充電されて、ＦＤ１１の充電電圧が初期化される。ＦＤ１１の初期化電圧は、増幅トランジスタＭＡ１１によって増幅され、列選択トランジスタＭＳ１１を介して、垂直出力線Ｌ１に出力される。垂直出力線Ｌ１に出力されたＦＤ１１の初期化電圧は、出力切り替え部４１及び出力線Ｌ１’を介し、ＣＤＳ部２４１に出力される。そして、ＣＤＳ部２４１によって、基準レベルとしてクランプされる。
【００８２】
次に、リセットトランジスタＭＲ１１をオフにした後、時刻ｔ２４において、転送制御信号線Ｔｘ１１と転送制御信号線Ｔｘ２２にＨレベルを印加する。これにより、転送トランジスタＭＴ１１と転送トランジスタＭＴ２２がオンとなり、フォトダイオードＧｒ１１及びＧｂ２２の両方の光電変換電荷に応じてＦＤ１１の電圧が変化する。すなわち、Ｇｒ画素とＧｂ画素に応じたフォトダイオードＧｒ１１とフォトダイオードＧｂ２２の光電変換電荷は、ＦＤ１１で加算される。なお、電荷蓄積が開始される時刻ｔ２１からＦＤ２３０への電荷が転送される時刻ｔ２４までが露光時間に相当する。ＦＤ１１で加算された電圧は増幅トランジスタＭＡ１１で増幅され、列選択トランジスタＭＳ１１を介して、垂直出力線Ｌ１に出力される。垂直出力線Ｌ１に出力されたＦＤ１１の電圧は、出力切り替え部４１及び出力線Ｌ１’を介し、ＣＤＳ部２４１に出力される。出力された電圧は、ＣＤＳ部２４１によってサンプリングされ、先にサンプリングされた基準レベルとの差分がＣＤＳ部２４１から出力される。
【００８３】
次に、時刻ｔ２５において、フォトダイオードＲ１２と、フォトダイオードＢ２１について画素信号の読出動作を開始するため、リセット制御信号線Ｒｓｔ１にＨレベルを印加する。これにより、リセットトランジスタＭＲ１１がオンとなり、ＦＤ１１が電圧Ｖｄｄに充電され、ＦＤ１１の電圧が初期化される。垂直出力線Ｌ１に出力されたＦＤ１１の初期化電圧は、出力切り替え部４１及び出力線Ｌ１’を介し、ＣＤＳ部２４１に出力される。出力された電圧はＣＤＳ部２４１によって、基準レベルとしてクランプされる。
【００８４】
次に、リセットトランジスタＭＲ１１をオフにした後、時刻ｔ２６において、転送制御信号線Ｔｘ１２と転送制御信号線Ｔｘ２１にＨレベルを印加する。これにより、転送トランジスタＭＴ１２と転送トランジスタＭＴ２１がオンとなり、フォトダイオードＲ１２及びＢ２１の両方の光電変換電荷に応じてＦＤ１１の電圧が変化する。すなわち、Ｒ画素とＢ画素に応じたフォトダイオードＲ１２とフォトダイオードＢ２１の光電変換電荷は、ＦＤ１１で加算される。ここで、時刻ｔ２２〜ｔ２６の時間が露光時間に対応する。ＦＤ１１で加算された電圧は増幅トランジスタＭＡ１１で増幅され、列選択トランジスタＭＳ１１を介して垂直出力線Ｌ１に出力される。垂直出力線Ｌ１に出力されたＦＤ１１の電圧は、出力切り替え部４１及び出力線Ｌ１’を介し、ＣＤＳ部２４１に出力される。出力された電圧は、ＣＤＳ部２４１によってサンプリングされ、先にサンプリングされた基準レベルとの差分がＣＤＳ部２４１から出力される。
【００８５】
以上のように単位回路４０ａにおいて、加算パターンＸに従って画素信号が加算され、ＡＦＥ部２４０へと出力される。ＡＦＥ部２４０には、ＧｒとＧｂの加算結果Ｇが１行目として先に出力され、ＲとＢの加算結果Ｍｇが２行目として次に出力される。ここで、図７の回路構成において、転送制御信号線Ｔｘ１１、Ｔｘ１２、Ｔｘ２１及びＴｘ２２は、行方向に１つおきに隣接した単位回路４０同士の間で、各単位回路４０に含まれる４つの転送トランジスタへの転送制御信号線として共用されている。したがって、単位回路４０ａに関して加算パターンＸに従った画素信号の加算処理がなされると、単位回路４０ａから１つおきに行方向に隣接する各単位回路４０においても同様に、加算パターンＸに従った加算処理がなされる。
【００８６】
加算パターンＶについて単位回路４０ｂを例に挙げて説明する。なお、単位回路４０ｂにおける作用は単位回路４０ａにおける上記の作用と同様であるため、単位回路４０ｂにおける作用の詳細については適宜説明を省略する。まず、出力切り替え部４１は、非出力順入れ替えモードに設定される。そして、図８（ｂ）に示すように、時刻ｔ４１において、リセット制御信号線Ｒｓｔ１、転送制御信号線Ｔｘ１４及び転送制御信号線Ｔｘ２４にそれぞれ同時にＨレベルを印加する。これによって、ＦＤ１３が電圧Ｖｄｄに充電されると共に、フォトダイオードＲ１４とフォトダイオードＧｂ２４に蓄積された光電変換電荷がリセットされる。リセット制御信号線Ｒｓｔ１、転送制御信号線Ｔｘ１４及び転送制御信号線Ｔｘ２４に印加されたＨレベルがそれぞれＬレベルに変化すると、フォトダイオードＲ１４及びＧｂ２４が、受光量に応じて電荷蓄積を開始する。
【００８７】
次に、時刻ｔ４２において、リセット制御信号線Ｒｓｔ１、転送制御信号線Ｔｘ１３及び転送制御信号線Ｔｘ２３にそれぞれ同時にＨレベルを印加する。これによって、ＦＤ１３が電圧Ｖｄｄに充電されると共に、フォトダイオードＧｒ１３とフォトダイオードＢ２３に蓄積された光電変換電荷がリセットされる。リセット制御信号線Ｒｓｔ１、転送制御信号線Ｔｘ１３及び転送制御信号線Ｔｘ２３に印加されたＨレベルがそれぞれＬレベルに変化すると、フォトダイオードＧｒ１３及びＢ２３が、受光量に応じて電荷蓄積を開始する。
【００８８】
次に、時刻ｔ４３において、列選択制御信号線Ｓｅｌ１及びリセット制御信号線Ｒｓｔ１にそれぞれＨレベルを印加する。これにより、増幅トランジスタＭＡ１３のソースが垂直出力線Ｌ２に接続されると共に、リセットトランジスタＭＲ１３がオンとなる。そして、ＦＤ１３が電圧Ｖｄｄに充電されて、ＦＤ１３の充電電圧が初期化される。また、増幅トランジスタＭＡ１３によって増幅されたＦＤ１３の初期化電圧は垂直出力線Ｌ３に出力され、出力切り替え部４１及び出力線Ｌ３’を介し、ＣＤＳ部２４１に出力される。そして、ＣＤＳ部２４１によって、基準レベルとしてクランプされる。
【００８９】
次に、リセットトランジスタＭＲ１３をオフにした後、時刻ｔ４４において、転送制御信号線Ｔｘ１４及びＴｘ２４にそれぞれＨレベルを印加する。これにより、Ｒ画素及びＧｂ画素に応じたフォトダイオードＲ１４及びＧｂ２４の光電変換電荷は、ＦＤ１３で加算される。ここで、露光時間は時刻ｔ４１〜ｔ４４の時間である。ＦＤ１３での加算結果は、加算結果に応じた電圧としてＦＤ１３から出力される。ＦＤ１３からの出力電圧は増幅トランジスタＭＡ１３で増幅され、列選択トランジスタＭＳ１３を介して、垂直出力線Ｌ２に出力される。垂直出力線Ｌ３に出力されたＦＤ１３の電圧は、出力切り替え部４１及び出力線Ｌ３’を介し、ＣＤＳ部２４１に出力される。そして、ＣＤＳ部２４１によってサンプリングされ、先にサンプリングされた基準レベルとの差分がＣＤＳ部２４１から出力される。
【００９０】
次に、時刻ｔ４５においてリセット制御信号線Ｒｓｔ１にそれぞれＨレベルを印加する。これにより、増幅トランジスタＭＡ１３のソースが垂直出力線Ｌ３に接続されると共に、リセットトランジスタＭＲ１３がオンとなり、ＦＤ１３が電圧Ｖｄｄに充電され、初期化される。垂直出力線Ｌ３に出力されたＦＤ１３の初期化電圧は、出力切り替え部４１及び出力線Ｌ３’を介し、ＣＤＳ部２４１に出力される。そして、ＣＤＳ部２４１によって、基準レベルとしてクランプされる。
【００９１】
次に、リセットトランジスタＭＲ１３をオフにした後、時刻ｔ４６において、転送制御信号線Ｔｘ１３及びＴｘ２３にそれぞれＨレベルを印加する。これにより、Ｇｒ画素とＢ画素に応じたフォトダイオードＧｒ１３及びＢ２３の光電変換電荷は、ＦＤ１３で加算される。ここで、露光時間は時刻ｔ４２〜ｔ４６の時間である。ＦＤ１３での加算結果は、加算結果に応じた電圧としてＦＤ１３から出力される。ＦＤ１３からの出力電圧は増幅トランジスタＭＡ１３で増幅され、列選択トランジスタＭＳ１３を介して、垂直出力線Ｌ３に出力される。垂直出力線Ｌ３に出力されたＦＤ１３の電圧は、出力切り替え部４１及び出力線Ｌ３’を介し、ＣＤＳ部２４１に出力される。そして、ＣＤＳ部２４１によってサンプリングされ、先にサンプリングされた基準レベルとの差分がＣＤＳ部２４１から出力される。
【００９２】
以上のように単位回路４０ｂにおいて、加算パターンＶに従って画素信号が加算され、ＡＦＥ部２４０へと出力される。ＡＦＥ部２４０には、ＲとＧｂの加算結果Ｙｅが１行目として先に出力され、ＧｒとＢの加算結果Ｃｙが２行目として次に出力される。ここで、図７の回路構成において、転送制御信号線Ｔｘ１３、Ｔｘ１４、Ｔｘ２３及びＴｘ２４は、行方向に１つおきに隣接した単位回路４０同士の間で、各単位回路４０に含まれる４つの転送トランジスタへの転送制御信号線として共用されている。したがって、単位回路４０ｂに関して加算パターンＶに従った画素信号の加算処理がなされると、単位回路４０ｂから１つおきに行方向に隣接する各単位回路４０においても同様に加算パターンＶに従った加算処理がなされる。
【００９３】
以上より、単位回路４０ａ及び４０ｂを含む１行目の単位回路４０においては、加算パターンＸと加算パターンＶとが、Ｘ→Ｖ→Ｘ→Ｖ→…の順に、行方向に交互に繰り返すように加算結果が出力される。これによって、図２（ｂ）の１行目の単位格子Ｂが加算結果として出力される。次に、図７において単位回路４０ａの下に隣接する単位回路４０（以下、「単位回路４０ｄ」とする）を含む２行目の単位回路４０から加算結果を出力するタイミングにおいては、行方向に出力順を入れ替えるため、出力切り替え部４１が出力順入れ替えモードに切り替えられる。これによって、出力線Ｌ１からの出力は出力線Ｌ３’に、出力線Ｌ３からの出力は出力線Ｌ１’にと、２本の出力線ごとに行方向に出力順が入れ替えられる。したがって、単位回路４０ｄを含む２行目の単位回路においては、加算パターンＸと加算パターンＶとが、Ｘ→Ｖ→Ｘ→Ｖ→…の順に、行方向に交互に繰り返すように加算結果が出力される。これによって、図２（ｂ）の２行目の単位格子Ｂが加算結果として出力される。図７における単位回路４０の３行目以降においては、奇数行では出力切り替え部４１が非出力順入れ替えモードに設定されて加算結果が出力され、偶数行では出力切り替え部４１が出力順入れ替えモードに設定されて加算結果が出力される。これによって、単位格子Ｂが行方向及び列方向に繰り返し並んだベイヤー互換配列信号が撮像素子２００から出力されることとなる。
【００９４】
以下、画像処理部３００からＹ，Ｃｂ，Ｃｒ信号が出力されるまでに撮像装置１が実行する処理の全体の流れについて説明する。図９は、撮像装置１が実行する処理の全体の流れを示したフローチャートである。
【００９５】
まず、撮像素子２００において信号転送部２２１が、各単位格子Ａに対応する各光電変換素子群２１０内で、２つの光電変換素子２１１からの画素信号をＦＤ２３０へと同時に転送する。これによって、２つの光電変換素子２１１からの画素信号が加算される（ステップＴ１）。次に、信号転送部２２１が、各光電変換素子群２１０内で、残りの２つの光電変換素子２１１からの画素信号をＦＤ２３０へと同時に転送する。これによって、残りの２つの光電変換素子２１１からの画素信号が加算される（ステップＴ２）。ステップＴ１及びステップＴ２では、図２（ｂ）の加算パターンの配置に従って各光電変換素子群２１０内での画素加算が実行される。そして、撮像素子２００は、ステップＴ１での加算結果とステップＴ２での加算結果とから生成されたＧ，Ｙｅ，Ｍｇ及びＣｙの各信号から、ベイヤー互換配置信号を生成し、画像処理部３００へと出力する（ステップＴ３）。
【００９６】
次に、画像処理部３００のＯＢ補正部３１１は、撮像素子２００からのベイヤー互換配列信号に光学的黒補正処理を施す（ステップＴ４）。次に、シェーディング補正部３１２は、ベイヤー互換配列信号にシェーディング補正処理を施す（ステップＴ５）。次に、ＷＢ補正部３１３は、ベイヤー互換配列信号にホワイトバランス補正処理を施す（ステップＴ６）。このときの補正値は、後述のステップＴ１２において算出されたものが用いられる。次に、色補間部３１４が、ベイヤー互換配列信号から、Ｒ，Ｇ及びＢの全ての色の情報が画素ごとに決定されたＲＧＢ信号を生成する（ステップＴ７）。次に、色補正部３１５は、色再現マトリクスを用いてＲＧＢ信号を補正する（ステップＴ８）。次に、ガンマ補正部３１６は、ＲＧＢ信号に階調変換及びガンマ変換を施す（ステップＴ９）。そして、画像処理部３００は、ＲＧＢ信号を輝度信号Ｙ及び色差信号Ｃｂ，Ｃｒに変換して出力する（ステップＴ１０）。
【００９７】
一方、ステップＴ５でシェーディング補正処理が施されたベイヤー互換配列信号は、ＷＢ補正部３１３のみならずＡＥ統計値算出部３２１等にも出力される。ＡＥ統計値算出部３２１等は、ベイヤー互換配列信号に基づいて露出調整用の統計値等を算出する（ステップＴ１１）。そして、ステップＴ１１で算出された各統計値に基づいて、補正値算出部３４０がホワイトバランスゲイン係数を補正値として算出し（ステップＴ１２）、ＡＥ制御部３３１及びＡＦ制御部３３２が露出調整やオートフォーカス制御を実行する（ステップＴ１３）。ステップＴ１２で補正値として算出されたホワイトバランスゲイン係数は、ステップＴ６において補正処理に用いられる。
【００９８】
以上説明した本実施の形態によると、撮像素子２００が、図２（ｂ）に示すように、ベイヤー配列と同様の配列関係を有するベイヤー互換配列信号を出力するため、ベイヤー配列を前提とする画像処理をそのまま流用しやすい。例えば、図５（ａ）は、本実施の形態において、ホワイトバランス補正処理に係る補正値を算出する構成を示している。これに対して図５（ｂ）は、ベイヤー配列の信号に基づいて補正値を算出する従来構成の一例である。図５（ｂ）のＷＢ統計値算出部５２３は、ベイヤー配列の信号のうち、Ｇｒ信号、Ｒ信号、Ｂ信号及びＧｂ信号がそれぞれ入力されるＧｒ積算部５２３ａ、Ｒ積算部５２３ｂ、Ｂ積算部５２３ｃ及びＧｂ積算部５２３ｄを有している。Ｇｒ積算部５２３ａ〜Ｇｂ積算部５２３ｄは、Ｇｒ、Ｒ、Ｂ及びＧｂに関する積算値を統計値としてそれぞれ算出する。このように、ＷＢ統計値算出部５２３には、ベイヤー配列の順序を前提に各信号が入力される。一方、本実施の形態のＷＢ統計値算出部３２３では、ベイヤー配列におけるＧｒ，Ｒ，Ｂ及びＧｂと対応する順序を有するベイヤー互換配列信号を前提にＧ信号、Ｙｅ信号、Ｍｇ信号及びＣｙ信号が入力される。したがって、本実施の形態のＷＢ統計値算出部３２３として、ＷＢ統計値算出部５２３をそのまま流用することが可能である。
【００９９】
また、図５（ｂ）の従来構成では、ＷＢ統計値算出部５２３ｂにおいて算出された積算値ΣＧｒ，ΣＲ，ΣＢ及びΣＧｂに基づいて、ＷＢゲイン算出部５４２がホワイトバランスゲイン係数Ｗｂ＿Ｒ、Ｗｂ＿Ｇ、Ｗｂ＿Ｂを算出する。つまり、ＷＢゲイン算出部５４２はＲＧＢベースでホワイトバランスゲインを算出するように構成されている。一方、本実施の形態の補正値算出部３４０では、統計値変換部３４１及びゲイン変換部３４３を設けることにより、ＷＢゲイン算出部３４２がＲＧＢベースでホワイトバランスゲインを算出できるように構成されている。したがって、本実施の形態のＷＢゲイン算出部３４２として、ＷＢゲイン算出部５４２を流用することが可能である。
【０１００】
このような事情は図４（ａ）〜図４（ｄ）の構成においても同様である。従来構成の光学的黒補正用の統計値算出部はＧｒ積算部，Ｒ積算部，Ｂ積算部及びＧｂ積算部を有し、これらの積算部にはベイヤー配列の順序を前提に各信号が入力される。一方、本実施の形態のＯＢ統計値算出部３２４も、図４（ａ）に示すように、ベイヤー配列におけるＧｒ，Ｒ，Ｂ及びＧｂと対応する順序でＧ、Ｙｅ、Ｍｇ及びＣｙが配列されたベイヤー互換配列信号を前提に各信号が入力される。したがって、従来構成のＧｒ積算部，Ｒ積算部，Ｂ積算部及びＧｂ積算部をそのままＧ積算部３２４ａ、Ｙｅ積算部３２４ｂ、Ｍｇ積算部３２４ｃ及びＣｙ積算部３２４ｄに流用できる。同様に、図４（ｂ）のＡＥ統計値算出部３２１におけるＧ積算部３２１ａ、Ｙｅ積算部３２１ｂ、Ｍｇ積算部３２１ｃ及びＣｙ積算部３２１ｄにも従来構成におけるＡＥ統計値算出部を流用できる。
【０１０１】
さらに、従来構成のオートフォーカス用の統計値算出部は、ベイヤー配列の単位格子Ａごとに輝度値を算出し、その高周波成分の絶対値を積算するものである。一方、本実施の形態のＡＦ統計値算出部３２２も、図４（ｃ）に示すように、ベイヤー互換配列信号の単位格子Ｂごとに輝度値を算出し、その高周波成分の絶対値を積算するものであり、輝度値を算出する際の係数ｋＧ、ｋＹｅ、ｋＭｇ及びｋＣｙが従来構成と異なるのみである。したがって、やはり、ＡＦ統計値算出部３２２として従来構成を流用できる。
【０１０２】
また、Ｇ，Ｙｅ，Ｍｇ及びＣｙの補色フィルタを採用した従来構成の撮像素子から出力される信号の場合、ホワイトバランス補正などの統計値を算出する際は、色補間により画素ごとにＲＧＢが決定された信号を生成してから統計値を算出することが通常である。これに対して本実施の形態によると、色補間前のベイヤー互換配列信号におけるＧ，Ｙｅ，Ｍｇ及びＣｙのそれぞれの積算値を算出しているため、色補間後の信号においてＲＧＢの積算値を算出する場合と比べて、取り扱う画素数が１／３で済む。このため、本実施の形態に採用されている方法によると、従来方法を採用する場合と比べて統計値を算出するための演算量を低下させることができる。
【０１０３】
また、本実施の形態によると、画素信号の加算は、単位格子Ａに対応する光電変換素子群２１０内で行われる。そして、光電変換素子群２１０内で、光電変換素子２１１からの異色の画素信号同士が加算される。これに対して、常に同色の画素が加算される構成とする場合、Ｂ同士やＲ同士の加算が行われるためには、異なる単位格子に対応する光電変換素子２１１同士で画素が加算されなければならない。しかし、この場合は、複数の単位格子を跨いで画素加算のための配線が施される必要があり、画素を加算するための画素構成が困難になる。これに対して本実施形態によると、光電変換素子群２１０内で、光電変換素子２１１からの異色の画素信号同士が加算されるので、画素を加算するための画素構成が容易である。
【０１０４】
また、単位格子Ａに対応する４つの光電変換素子２１１に関して１つのＦＤが共有されている。このような基本構成は、撮像素子の小型化を実現するための既存の画素構成である。本実施の形態では、このような既存の画素構成において転送制御信号線の配線と転送トランジスタの駆動方法を調整することにより、適切な画素加算が実行されている。したがって、既存の回路構成から大きく変更されることなく、小型化された撮像素子２００が実現する。
【０１０５】
（変形例）
以上は、本発明の一実施の形態についての説明であるが、本発明は上述の実施の形態に限られるものではなく、課題を解決するための手段に記載された範囲の限りにおいて、以下に例を挙げるとおり、様々な変更が可能なものである。
【０１０６】
［１］上述の実施の形態では、光電変換素子２１１からの電荷を転送する信号転送部２２１を制御する転送制御部２２２が、撮像素子２００内に設けられている。しかし、この転送制御部２２２が撮像素子２００を駆動装置として撮像素子２００とは独立に設けられてもよい。例えば、撮像素子２００に転送制御信号線と接続された外部端子が設けられており、この外部端子を介して、上記の駆動装置が各転送制御信号線と接続される。そして、この駆動装置が、第１の実施形態の転送制御部２２２と同様に転送制御信号線を通じて転送トランジスタを駆動することで、撮像素子２００からベイヤー互換配列信号を出力させるように構成されていてもよい。この場合、転送制御信号線が、各光電変換素子２１１からの出力信号を加算してベイヤー互換配列信号を出力できるように配線されていれば、既存の画素構成の撮像素子が用いられてよい。
【０１０７】
［２］上述の実施の形態では、撮像素子内で画素を加算する構成が採用されている。しかし、本発明は、撮像素子から出力されたＲ，Ｇ及びＢの各色からなるベイヤー配列の画素信号を加算することにより、画像処理によってベイヤー互換配列信号を生成する画像処理装置として実現されてもよい。この場合、撮像素子としては、Ｒ，Ｇ及びＢの各色からなるベイヤー配列の画素信号を出力する従来の撮像素子が用いられてよい。この画像処理装置は、撮像素子からの画像信号において、ベイヤー配列の単位格子ごとに２つの画素信号同士をサンプリングすると共に、サンプリングした画素を加算することでベイヤー互換配列信号を生成する。このため、この画像処理装置では、画素を加算する際のサンプリングの個数が限られており、サンプリング数が多い従来技術と比べて、１フレーム当たりにおけるサンプリング画素の読み出しに必要な処理量や画素を加算する処理量が少ない。したがって、例えば従来と同じフレームレートで画像が処理される場合には、単位時間当たりの処理量が少ないため消費電力が低減される。また、単位時間当たりの処理量が従来の場合と同じである場合には、フレームレートを増加させることができる。
【０１０８】
［３］上述の実施の形態においては、ＡＥ制御部３３１がΣＧ，ΣＹｅ，ΣＭｇ及びΣＣｙをΣＲ，ΣＧ及びΣＢに変換してからｋＲ，ｋＧ、ｋＢを掛けて輝度積算値を算出している。しかし、ｋＲ，ｋＧ，ｋＢを数式１の変換行列を用いてあらかじめ変換したｋＧ、ｋＹｅ、ｋＭｇ及びｋＣｙを用いて、輝度積算値ΣＹ＝ｋＧ＊ΣＧ＋ｋＹｅ＊ΣＹｅ＋ｋＭｇ＊ΣＭｇ＋ｋＣｙ＊ΣＣｙのように輝度積算値を直接算出してもよい。
【０１０９】
［４］上述の実施の形態においては、図７の回路構成に出力切り替え部４１を設けることにより、単位回路４０の偶数行からの出力を行方向に入れ替えている。しかし、出力切り替え部４１を設けず、単位回路４０からの信号をＡＦＥ部２４０へと順序を入れ替えずに出力し、ＡＤＣ部２４３によってデジタル信号に変換された後で、信号の順序を入れ替える構成としてもよい。デジタル信号において画素信号の順序を入れ替える場合、単位格子Ｂ内のＧ，Ｍｇ、Ｙｅ及びＣｙの配置が異なる変形例にも対応しやすい。
【０１１０】
［５］上述の実施の形態においては、図７に示す回路構成により、さまざまな加算パターンに対応する画素加算が実行可能である。例えば、上述の実施の形態では、単位格子Ａ内の画素を斜めに加算する加算パターンＸと、縦に加算する加算パターンＶとを用いている。しかし、図１０（ｂ）に示すように、単位格子Ａ内の画素を横に加算する加算パターンＨを用いることもできる。また、上述の実施の形態では加算パターンＸと加算パターンＶとを行方向及び列方向に交互に繰り返している。しかし、図１０（ｃ）に示すように、加算パターンＨも用い、奇数行は加算パターンＸと加算パターンＶを交互に繰り返し、偶数行は加算パターンＸと加算パターンＨを交互に繰り返してもよい。その他、図１０（ｄ）に示すように、加算パターンＸと加算パターンＶのそれぞれを列方向に揃うように配置してもよい。
【０１１１】
［６］上述の実施の形態においては、単位格子Ｂ内のＧ，Ｙｅ、Ｍｇ及びＣｙの具体的な配置を図２（ｂ）に示すものとしている。しかし、各単位格子内におけるＧ，Ｙｅ、Ｍｇ及びＣｙの具体的な配置がどのようなものであっても、撮像素子２００から出力される信号が全体として単位格子が行方向及び列方向に繰り返す信号である限り、ＡＦ統計値算出部３２３等として従来構成を流用することができる。したがって、例えば、列方向に位置関係を変えた図１０（ｅ）の単位格子Ｂ’に示すような配置であってもよいし、その他の配置であってもよい。図１０（ｅ）のように列方向に位置関係を変えるのは、図７の回路構成において、例えばＢとＲの加算結果を出力してからＧｒとＧｂの加算結果を出力するといったように、画素加算の結果を出力する順序を変更することで実現できる。また、行方向に位置関係を変えるのは、図７の回路構成において、出力切り替え部４１のモードを切り替えて画素加算の結果を出力することにより実現できる。
【０１１２】
［７］上述の実施の形態においては、各種統計値を算出する構成として、光学的黒補正、ホワイトバランス補正、露出調整及びオートフォーカス用の統計値を算出する構成について説明している。そして、これらの構成に関して従来構成を流用できるとしている。しかし、その他の補正処理に用いる統計値等を算出する際にも従来構成を流用できる場合はある。例えば、シェーディング補正処理に関しても従来構成を流用可能であるし、いわゆるＯＥＣＦ補正処理やＤｅｋｎｅｅ処理に関しても従来構成を流用可能である。
【０１１３】
［８］上述の実施の形態においては、信号の補正処理用や撮像光学系１００の制御用の統計値として、積算値（加算値）を算出する場合を主に想定している。しかし、信号の補正処理用や撮像光学系１００の制御用の統計値として、平均値や分散等のその他の統計値を算出する場合に本発明が適用されてもよい。
【符号の説明】
【０１１４】
１…撮像装置、４０（４０ａ〜４０ｄ）…単位回路、１００…撮像光学系、２００…撮像素子、２０９…遮光部材、２１０…光電変換素子群、２１１…光電変換素子、２２１…信号転送部、２２２…転送制御部、２４０…ＡＦＥ部、３００…画像処理部、３１１…ＯＢ補正部、３１３…ＷＢ補正部、３２１…ＡＥ統計値算出部、３２２…ＡＦ統計値算出部、３２３…ＷＢ統計値算出部、３２４…ＯＢ統計値算出部、３３１…ＡＥ制御部、３３２…ＡＦ制御部、３４０…補正値算出部、３４１…統計値変換部、３４２…ゲイン算出部、３４３…ゲイン変換部、Ａ，Ｂ…単位格子
【技術分野】
【０００１】
本発明は、撮像素子、特に、カラーフィルタがベイヤー配列で配列された撮像素子、撮像素子の駆動装置、撮像素子の駆動方法、画像処理装置、画像処理方法、プログラム、及び、撮像装置に関する。
【背景技術】
【０００２】
近年、ＨＤ（Ｈｉｇｈ Ｄｅｆｉｎｉｔｉｏｎ：高精細）動画などの高速動画記録に対応したデジタルカメラが提供されている。静止画の画像撮影の要求としては、１２Ｍ（メガ）ピクセルのイメージセンサが使用されている。一方、ＨＤ動画においては、出力画素数は横ピクセル数が１９２０で縦ピクセル数が１０８０であり、出力画素数は合計で２．１Ｍピクセルである。したがって、同一のイメージセンサを用いて高精細静止画とＨＤ動画とを撮影するデジタルカメラを実現するためには、動画撮影の際に、イメージセンサから出力される画素数を絞り込む構成とする必要がある。イメージセンサから出力する画素数を絞りこむ方法としては、画面の一部を切りだして出力する切り出し出力や、画素信号を間引いて出力する間引き出力、同色の複数の画素信号を混合して出力する画素混合出力が知られている（特許文献１〜３参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００５−２４４９９５号公報
【特許文献２】特開２００９−１５９１８６号公報
【特許文献３】特開２００９−１４７４８９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
本発明者は、イメージセンサから出力される画素数を絞り込む構成として、ベイヤー配列の２行２列の単位格子ごとに、隣り合う画素同士を加算して出力する構成を発明した（図１０（ａ）参照）。例えば、あるベイヤー配列の単位格子において、斜め方向に隣接するＧ（緑）の画素同士を加算すると共に、残りのＲ（赤）とＢ（青）の画素同士を加算する。これによって、Ｇの画素及びＭｇ（マゼンタ）の画素を加算結果として出力させる。その隣りの単位格子では、垂直方向に隣接するＧとＢの画素同士を加算すると共に、残りのＲとＧの画素同士を加算する。これによって、Ｙｅ（黄）の画素及びＣｙ（シアン）の画素を加算結果として出力させる。つまり、２つの隣り合う単位格子からＧ、Ｍｇ、Ｙｅ及びＣｙの４画素を出力させる。例えばこのような画素加算を水平方向に関して繰り返すことにより、水平方向に並んだ２つの単位格子ごとにＧ、Ｍｇ、Ｙｅ及びＣｙの４画素が順に出力される。これにより、全体の画素数が半分に絞り込まれて出力されることとなる。図１０（ａ）の例では、加算結果を単位格子ごとに水平方向に順に出力させることにより、Ｇ、Ｍｇ、Ｙｅ、Ｃｙ、Ｇ、Ｍｇ、Ｙｅ、Ｃｙ…の順に出力させている。
【０００５】
ところで、イメージセンサから出力された画像信号には種々の画像処理が施される。画像処理の具体的な方法は様々であるが、方法によっては、処理対象となる信号がベイヤー配列で配列されていることを前提とするものがある。ところが、図１０（ａ）に示す配列で画素加算の結果を出力すると、元のベイヤー配列における２行２列の単位格子が並んだ配列が出力信号において崩れてしまっているため、ベイヤー配列を前提にした画像処理を流用できず、出力信号の配列に応じた画像処理回路を新たに構成する必要が生じるおそれがある。
【０００６】
本発明の目的は、ベイヤー配列の画素を加算してベイヤー配列とは異なる配列となった画像信号に施す画像処理として、ベイヤー配列を前提にした画像処理を流用しやすい撮像素子、撮像素子の駆動装置、撮像素子の駆動方法、画像処理装置、画像処理方法、プログラム、及び、撮像装置を提供することにある。
【課題を解決するための手段】
【０００７】
かかる目的を達成するためになされた請求項１に記載の撮像素子に係る発明は、Ｒ（赤）、Ｇ（緑）及びＢ（青）の３原色からなる２行２列の第１の単位格子が並んだベイヤー（Ｂａｙｅｒ）配列で配列された複数のカラーフィルタと、前記カラーフィルタを透過した光の強度に応じたアナログ信号を出力する前記カラーフィルタごとに設けられた光電変換素子と、前記第１の単位格子ごとに、４つの前記カラーフィルタのうち異なる色の２つの前記カラーフィルタに対応する２つの前記光電変換素子からの出力信号同士を加算すると共に、残りの２つの前記カラーフィルタに対応する２つの前記光電変換素子からの出力信号同士を加算し、それぞれの加算結果に応じたアナログ信号を出力する信号加算回路と、前記信号加算回路からの出力信号をデジタル信号に変換して出力するＡ／Ｄ変換部とを備え、前記信号加算回路からの出力信号に基づいて、Ｇ、Ｙｅ（黄）、Ｍｇ（マゼンタ）及びＣｙ（シアン）が所定の配列で並んだ２行２列の第２の単位格子が行方向及び列方向に繰り返し並んだデジタル画像信号を出力する。
【０００８】
請求項１に記載の撮像素子は、ベイヤー配列における第１の単位格子ごとに２つの光電変換素子からの出力信号を加算することで画素数を絞ると共に、Ｇ，Ｙｅ、Ｍｇ及びＣｙが所定の配列で並んだ第２の単位格子が行方向及び列方向に繰り返し並んだデジタル画像信号を出力する。したがって、このデジタル画像信号における画素の配列は、第１の単位格子が行方向及び列方向に繰り返し並んだベイヤー配列と同様に、２行２列の第２の単位格子が行方向及び列方向に繰り返し並んだ配列になる。これにより、本発明の撮像素子から出力されるデジタル画像信号に施す画像処理として、ベイヤー配列を前提にした画像処理を流用しやすい。
【０００９】
また、請求項１に記載の撮像素子は、請求項２に記載の発明のように、前記信号加算回路が、前記第１の単位格子ごとに、互いに異なる第１及び第２のパターンのいずれかで前記光電変換素子からの出力信号を加算し、前記第１のパターンが、前記第１の単位格子内において、２つのＧの前記カラーフィルタに対応する２つの前記光電変換素子からの出力信号を加算すると共に、ＲとＢの前記カラーフィルタに対応する２つの前記光電変換素子からの出力信号を加算するパターンであり、前記第２のパターンが、前記第１の単位格子内において、列方向に並んだＧとＢの前記カラーフィルタに対応する２つの前記光電変換素子からの出力信号を加算すると共に、列方向に並んだＲとＧのカラーフィルタに対応する２つの前記光電変換素子からの出力信号を加算するパターンであってもよい。これによると、第１のパターンの加算結果からＧの画素信号及びＭｇの画素信号が生成され、第２のパターンの加算結果からＣｙの画素信号及びＹｅの画素信号が生成される。したがって、これらの加算結果から生成される画素信号に基づくと、Ｇ，Ｙｅ、Ｍｇ及びＣｙが所定の配列で並んだ第２の単位格子が行方向及び列方向に繰り返し並んだデジタル画像信号が生成される。
【００１０】
また、請求項２に記載の撮像素子は、請求項３に記載の発明のように、前記信号加算回路が、行方向及び列方向のそれぞれに関して前記第１のパターンと前記第２のパターンとを交互に繰り返して前記第１の単位格子ごとに前記光電変換素子からの出力信号を加算してもよい。これによると、第１のパターンと第２のパターンとを行方向及び列方向の夫々に関して交互に繰り返すことにより、行方向又は列方向に隣り合う２つの第１の単位格子からＧ，Ｙｅ、Ｍｇ及びＣｙの信号が加算結果として出力される。
【００１１】
また、請求項１〜３のいずれかに記載の撮像素子は、請求項４に記載の発明のように、前記信号加算回路が、前記光電変換素子が発生させた電荷を転送する前記光電変換素子ごとに設けられた転送トランジスタを有し、１つの前記第１の単位格子に対応する４つの前記転送トランジスタに関して共有されたフローティングディフュージョンに対して、２つの前記転送トランジスタから同時に電荷を転送させてもよい。これによると、基本構成として、４画素で１つのフローティングディフュージョンを共有する構成であり、小型化を実現するための既存の画素構成を採用できる。加算パターンは、転送方法を変更することで様々に実現される。
【００１２】
また、請求項４に記載の撮像素子は、請求項５に記載の発明のように、前記転送トランジスタに転送制御信号を送信する転送制御信号線が、前記第１の単位格子の１行ごとに８本設けられ、行方向に１つおきに隣接する複数の前記第１の単位格子同士で、前記８本の転送制御信号線のうちの４本が、各単位格子における４つの前記転送トランジスタ用として共用されていてもよい。これによると、１つおきに隣接する単位格子で共用された４本の転送制御信号線により各転送トランジスタを制御すると共に、残りの単位格子においては別の４本の転送制御信号線により各転送トランジスタを制御できる。したがって、隣接する単位格子同士では様々に異なる転送制御を実行でき、様々に異なる加算パターンが設定可能である。
【００１３】
また、請求項６に記載の撮像素子の駆動装置は、Ｒ（赤）、Ｇ（緑）及びＢ（青）の３原色からなる２行２列の第１の単位格子が並んだベイヤー（Ｂａｙｅｒ）配列で配列された複数のカラーフィルタと、前記カラーフィルタを透過した光の強度に応じたアナログ信号を出力する前記カラーフィルタごとに設けられた光電変換素子と、前記光電変換素子からの出力信号同士を加算し、その加算結果に応じたアナログ信号を出力する信号加算回路と、前記信号加算回路からの出力信号をデジタル信号に変換して出力するＡ／Ｄ変換部とを備えている撮像素子を駆動する駆動装置であって、前記信号加算回路からの出力信号が、前記第１の単位格子ごとに、４つの前記カラーフィルタのうち異なる色の２つの前記カラーフィルタに対応する２つの前記光電変換素子からの出力信号同士を加算すると共に、残りの２つの前記カラーフィルタに対応する２つの前記光電変換素子からの出力信号同士を加算した結果となるように、前記信号加算回路を制御し、前記信号加算回路からの出力信号に基づいて、Ｇ、Ｙｅ（黄）、Ｍｇ（マゼンタ）及びＣｙ（シアン）が所定の配列で並んだ２行２列の第２の単位格子が行方向及び列方向に繰り返し並んだデジタル画像信号を、前記撮像素子から出力させる。これによると、請求項１の発明と同様に撮像素子を機能させる駆動装置が実現する。
【００１４】
また、請求項７の撮像素子の駆動方法は、Ｒ（赤）、Ｇ（緑）及びＢ（青）の３原色からなる２行２列の第１の単位格子が並んだベイヤー（Ｂａｙｅｒ）配列で配列された複数のカラーフィルタと、前記カラーフィルタを透過した光の強度に応じたアナログ信号を出力する前記カラーフィルタごとに設けられた光電変換素子と、前記光電変換素子からの出力信号同士を加算し、その加算結果に応じたアナログ信号を出力する信号加算回路と、前記信号加算回路からの出力信号をデジタル信号に変換して出力するＡ／Ｄ変換部とを備えている撮像素子を駆動する駆動方法であって、前記信号加算回路からの出力信号が、前記第１の単位格子ごとに、４つの前記カラーフィルタのうち異なる色の２つの前記カラーフィルタに対応する２つの前記光電変換素子からの出力信号同士を加算すると共に、残りの２つの前記カラーフィルタに対応する２つの前記光電変換素子からの出力信号同士を加算した結果となるように、前記信号加算回路を制御し、前記信号加算回路からの出力信号に基づいて、Ｇ、Ｙｅ（黄）、Ｍｇ（マゼンタ）及びＣｙ（シアン）が所定の配列で並んだ２行２列の第２の単位格子が行方向及び列方向に繰り返し並んだデジタル画像信号を、前記撮像素子から出力させる。これによると、請求項１の発明と同様に撮像素子を機能させる駆動方法が実現する。
【００１５】
また、請求項８に記載の画像処理装置は、請求項１〜５のいずれか１項に記載の撮像素子と、前記撮像素子から出力されたデジタル画像信号に基づいて、Ｇ、Ｙｅ、Ｍｇ及びＣｙのそれぞれに関して画像調整用又は撮像光学系の駆動制御用の統計値を算出する統計値算出手段と、を備えていることを特徴とする。請求項１〜５の撮像素子から出力されるデジタル画像信号は、ベイヤー配列と同様に、Ｇ，Ｙｅ、Ｍｇ及びＣｙが所定の配列で並んだ第２の単位格子が行方向及び列方向に繰り返し並んでいるので、Ｇ、Ｙｅ、Ｍｇ及びＣｙのそれぞれに関して統計値を算出する手段として、ベイヤー配列のデジタル画像信号から統計値を算出する手段を流用することができる。
【００１６】
また、請求項８に記載の画像処理装置は、請求項９に記載の発明のように、前記光電変換素子への光の入射を遮断する遮光手段が前記撮像素子に設けられており、前記統計値算出手段が、前記デジタル画像信号のうち、前記遮光手段によって光の入射が遮断された前記光電変換素子に対応する信号から、光学的黒補正用の前記統計値を算出してもよい。これによると、光学的黒補正用にＧ、Ｙｅ、Ｍｇ及びＣｙのそれぞれに関して統計値を算出する手段として、ベイヤー配列用の算出手段を流用できる。
【００１７】
また、請求項８又は９に記載の画像処理装置は、請求項１０に記載の発明のように、前記統計値算出手段が算出したＧ、Ｙｅ、Ｍｇ及びＣｙに関する前記統計値を線形変換してＧ、Ｒ及びＢに関する前記統計値を算出する統計値変換手段と、前記統計値変換手段が算出した前記統計値からＧ、Ｒ及びＢに関するホワイトバランス補正用の補正値を算出する補正値算出手段と、前記補正値算出手段が算出したＧ、Ｒ及びＢに関する前記補正値を線形変換してＧ、Ｙｅ、Ｍｇ及びＣｙに関する前記補正値を算出する補正値変換手段とをさらに備えていてもよい。これによると、Ｇ、Ｙｅ、Ｍｇ及びＣｙに関する統計値を変換してＧ，Ｒ及びＢに関する統計値を算出するので、Ｇ，Ｒ及びＢに関してホワイトバランス用の補正値を算出する算出手段を流用できる。
【００１８】
また、請求項８又は９の画像処理装置は、請求項１０に記載の発明のように、前記統計値算出手段が算出したＧ、Ｙｅ、Ｍｇ及びＣｙに関する前記統計値を線形変換してＧ、Ｒ及びＢに関する前記統計値を算出する統計値変換手段と、前記統計値変換手段が算出した前記統計値の線形和を取ることにより露出調整用の統計値を算出する露出用統計値算出手段とをさらに備えていてもよい。これによると、Ｇ、Ｙｅ、Ｍｇ及びＣｙに関する統計値を変換してＧ，Ｒ及びＢに関する統計値を算出するので、Ｇ，Ｒ及びＢに関してホワイトバランス用の補正値を算出する算出手段を流用できる。
【００１９】
また、請求項１２に記載の画像処理装置は、請求項１〜５のいずれか１項に記載の撮像素子と、前記撮像素子から出力されたデジタル画像信号におけるＧ、Ｙｅ、Ｍｇ及びＣｙの画素値の線形和を取ることにより前記第２の単位格子のそれぞれに関して輝度値を算出する輝度値算出手段と、前記輝度値算出手段が算出した輝度値からオートフォーカス用の統計値を算出するオートフォーカス用統計値算出手段と、を備えていることを特徴とする。これによると、ベイヤー配列における第１の単位格子に対応するＧ、Ｙｅ、Ｍｇ及びＣｙからなる第２の単位格子ごとに輝度値を算出すると共に、この輝度値からオートフォーカス用の統計値を算出するので、これらを算出する手段としてベイヤー配列用の算出手段を流用できる。
【００２０】
また、請求項１３に記載の画像処理装置は、Ｒ（赤）、Ｇ（緑）及びＢ（青）の３原色からなる２行２列の第１の単位格子が並んだベイヤー（Ｂａｙｅｒ）配列で配列された複数のカラーフィルタと、前記カラーフィルタを透過した光の強度を示す画素信号を前記カラーフィルタごとに算出する画素信号算出手段と、前記第１の単位格子ごとに、４つの前記カラーフィルタのうち異なる色の２つの前記カラーフィルタに対応する２つの前記光電変換素子からの出力信号同士を加算すると共に、残りの２つの前記カラーフィルタに対応する２つの前記光電変換素子からの出力信号同士を加算し、それぞれの加算結果に応じた信号を出力する信号加算手段とを備え、前記信号加算回路からの出力信号に基づいて、Ｇ、Ｙｅ（黄）、Ｍｇ（マゼンタ）及びＣｙ（シアン）が所定の配列で並んだ２行２列の第２の単位格子が行方向及び列方向に繰り返し並んだデジタル画像信号を生成する。
【００２１】
また、請求項１４に記載の画像処理方法は、請求項１〜５のいずれか１項に記載の撮像素子から出力されたデジタル画像信号を処理する画像処理方法であって、前記デジタル画像信号に基づいて、Ｇ、Ｙｅ、Ｍｇ及びＣｙのそれぞれに関して画像調整用又は撮像光学系の駆動制御用の統計値を算出することを特徴とする。
【００２２】
また、請求項１５に記載の画像処理方法は、請求項１〜５のいずれか１項に記載の撮像素子から出力されたデジタル画像信号を処理する画像処理方法であって、前記デジタル画像信号におけるＧ、Ｙｅ、Ｍｇ及びＣｙの画素値の線形和を取ることにより前記第２の単位格子のそれぞれに関して輝度値を算出する輝度値算出ステップと、前記輝度値算出ステップにおいて算出された輝度値からオートフォーカス用の統計値を算出するオートフォーカス用統計値算出ステップと、を備えていることを特徴とする。
【００２３】
また、請求項１６に記載のプログラムは、請求項１〜５のいずれか１項に記載の撮像素子から出力されたデジタル画像信号をコンピュータに処理させるプログラムであって、前記デジタル画像信号に基づいて、Ｇ、Ｙｅ、Ｍｇ及びＣｙのそれぞれに関して画像調整用又は撮像光学系の駆動制御用の統計値をコンピュータに算出させることを特徴とする。
【００２４】
また、請求項１７に記載のプログラムは、請求項１〜５のいずれか１項に記載の撮像素子から出力されたデジタル画像信号をコンピュータに処理させるプログラムであって、前記デジタル画像信号におけるＧ、Ｙｅ、Ｍｇ及びＣｙの画素値の線形和を取ることにより前記第２の単位格子のそれぞれに関して輝度値を算出する輝度値算出ステップと、
前記輝度値算出ステップにおいて算出された輝度値からオートフォーカス用の統計値を算出するオートフォーカス用統計値算出ステップと、
をコンピュータに実行させることを特徴とする。
【００２５】
また、請求項２２に記載の撮像装置は、被写体像を結像させる撮像光学系と、前記撮像光学系が結像させた被写体像を光電変換して出力する請求項１〜５のいずれか１項に記載の撮像素子と、前記撮像素子から出力された出力信号に対して所定の画像処理を加え、前記被写体像を再現する画像処理手段と、を備えていることを特徴とする。
【発明の効果】
【００２６】
請求項１に記載の撮像素子、請求項６に記載の駆動装置、請求項７に記載の駆動方法及び請求項１３に記載の画像処理装置によると、ベイヤー配列における第１の単位格子ごとに２つの光電変換素子からの出力信号を加算することで画素数を絞ると共に、Ｇ，Ｙｅ、Ｍｇ及びＣｙが所定の配列で並んだ第２の単位格子が行方向及び列方向に繰り返し並んだデジタル画像信号を出力する。したがって、このデジタル画像信号における画素の配列は、第１の単位格子が行方向及び列方向に繰り返し並んだベイヤー配列と同様に、２行２列の第２の単位格子が行方向及び列方向に繰り返し並んだ配列になる。これにより、本発明の撮像素子から出力されるデジタル画像信号に施す画像処理として、ベイヤー配列を前提にした画像処理を流用しやすい。
【図面の簡単な説明】
【００２７】
【図１】本発明の一実施の形態に係る撮像装置の構成を示すブロック図である。
【図２】図２（ａ）はベイヤー配列を、図２（ｂ）は画素信号の加算パターンをそれぞれ示す模式図である。
【図３】画像処理部の構成を示すブロック図である。
【図４】図４（ａ）〜図４（ｃ）は、各統計値算出部等の詳細な構成を示すブロック図であり、図４（ｄ）はＡＦ統計値算出部が実行する加算処理を示す模式図である。
【図５】図５（ａ）は本実施の形態のＷＢ統計値算出部及び補正値算出部の詳細な構成を示すブロック図であり、図５（ｂ）はその従来構成を示すブロック図である。
【図６】画像処理部の色補間部が実行する信号処理の各ステップを示す模式図である。図４
【図７】図２（ｃ）に示す加算パターンの配置を実現するための具体的な回路構成図である。
【図８】図８（ａ）及び図８（ｂ）は、図２（ｂ）に示す加算パターンに従って加算された信号を単位回路から出力させるために、転送制御信号線によって単位回路に印加する制御信号を示すシーケンス図である。
【図９】撮像装置が実行する処理の全体の流れを示したフローチャートである。
【図１０】図１０（ａ）は、加算パターンの一参考例を示す模式図である。図１０（ｂ）〜図１０（ｅ）は、本実施の形態の変形例を示す模式図である。
【発明を実施するための形態】
【００２８】
本発明の一実施の形態について、図面に基づいて説明する。撮像装置１は、図１に示すように、被写体像を撮像素子２００に導いて結像させる撮像光学系１００と、結像された被写体像を光電変換して出力する撮像素子２００と、撮像素子２００から出力された出力信号に対して所定の信号処理を加え、被写体像を再現する画像処理部３００（画像処理手段）とによって構成されている。画像処理部３００から出力される１フレームの画像に対応する画像データから静止画の画像データが生成され、画像処理部３００から時間的に連続して出力される複数のフレーム画像に対応する画像データから動画データが生成される。
【００２９】
撮像光学系１００は、撮像対象からの光を撮像装置１内に取り込む、撮像対象のズームを行うためのレンズ等からなる前部レンズ群１１１、補正用レンズ１１２、前後方向に移動して焦点位置を調整可能なフォーカスレンズ１１３、撮像対象からの光を絞り込む絞り量を調整可能なアイリス（絞り）１２１、及び、撮像素子２００へ向かう入射光を遮蔽したり遮蔽を解除したりする機械式シャッタ１２２を有している。フォーカスレンズ１１３、アイリス１２１及びシャッタ１２２は、フォーカス駆動部１３１、アイリス駆動部１３２及びシャッタ駆動部１３３によってそれぞれ駆動される。フォーカス駆動部１３１、アイリス駆動部１３２及びシャッタ駆動部１３３の動作は、画像処理部３００から送信される駆動制御信号に基づいて制御される。
【００３０】
撮像素子２００は、受光量に応じたアナログ信号を出力する複数の光電変換素子２１１と、複数の光電変換素子２１１に関して共有されたフローティングディフュージョン（以下、「ＦＤ（Ｆｌｏａｔｉｎｇ Ｄｉｆｆｕｓｉｏｎ）」とする）２３０と、光電変換素子２１１から出力されたアナログ信号をＦＤ２３０へと転送する信号転送部２２１と、信号転送部２２１によるアナログ信号の転送を制御する転送制御部２２２と、ＦＤ２３０から出力されたアナログ信号をデジタル信号に変換して出力するＡＦＥ（Ａｎａｌｏｇ Ｆｒｏｎｔ Ｅｎｄ）部２４０とを備えている。一部の光電変換素子２１１には、撮像光学系からの光を遮断するための遮光部材２０９が設けられている。これは、後述の光学的黒補正処理のため、一部の光電変換素子２１１には受光がなされないようにするためである。
【００３１】
各光電変換素子２１１にはカラーフィルタが備えられている。各カラーフィルタは、Ｒ（赤）、Ｇ（緑）及びＢ（青）の３原色の色成分のいずれかに対応するフィルタである。これらのカラーフィルタは、Ｒ、Ｇ及びＢの３原色からなる２行２列の単位格子（以下、「単位格子Ａ」（第１の単位格子）とする）が並んだベイヤー（Ｂａｙｅｒ）配列で配列されている。撮像光学系１００によって結像された被写体像からの光は、各色のカラーフィルタを透過し、単一色の光となって光電変換素子２１１に受光される。光電変換素子２１１は、各カラーフィルタを透過した単一色の光の強度に応じた量の電荷をアナログ電気信号として出力する。このように、撮像素子２００は、単板式撮像素子として構成されている。一実施例では、光電変換素子２１１が横に４０００個、縦に３０００個配列されている。つまり、撮像素子２００が、横４０００ピクセルの画素からなり縦３０００ピクセルの画素からなる、合計で１２Ｍ（メガ）ピクセルの画素で構成されている。
【００３２】
図２（ａ）は上述のベイヤー配列を表している。ベイヤー配列で配列されたカラーフィルタは、Ｇ色フィルタとＲ色フィルタとが行方向に交互に配置された行と、ＧフィルタとＢフィルタとが行方向に交互に配置された行とが、列方向に交互に配置されている。このうちＧフィルタは、市松模様状に配置されている。本実施の形態では、行方向にＲと交互に並んだＧ色をＧｒと表し、行方向にＢと交互に並んだＧ色をＧｂと表す。
【００３３】
光電変換素子２１１から出力された電荷は、信号転送部２２１によってＦＤ２３０に転送される。転送制御部２２２は、信号転送部２２１によってどの光電変換素子２１１からどのタイミングでＦＤ２３０へと電荷を転送させるかを制御する。これにより、撮像素子２００は、１フレームにつき全ての光電変換素子２１１からＦＤ２３０へと電荷を転送させることも、１フレームにつき任意の一部の光電変換素子２１１からＦＤ２３０へと電荷を転送させることも可能である。
【００３４】
ＦＤ２３０は、光電変換素子２１１から転送された電荷の量に応じた大きさの電圧を出力する。ＦＤ２３０は、複数の光電変換素子２１１に関して共有されている。具体的には、２行２列のベイヤー配列の単位格子に対応する４つの光電変換素子２１１を一まとめにした光電変換素子群２１０のそれぞれに関して１つのＦＤ２３０が共有されている。図１では、光電変換素子群２１０がそれぞれ破線で囲まれ、図２（ａ）では、１つの光電変換素子群２１０に対応する１つの単位格子Ａが破線で囲まれている。ＦＤ２３０は、光電変換素子２１１から転送された電荷の量に応じた大きさの電圧信号を生成し、ＡＦＥ部２４０へと出力する。
【００３５】
ＡＦＥ部２４０は、ＦＤ２３０から出力されたアナログ信号を相関二重サンプリングするＣＤＳ（Ｃｏｒｅｌａｔｅｄ Ｄｏｕｂｌｅ Ｓａｍｐｌｉｎｇ）部２４１、ＣＤＳ部２４１によって相関二重サンプリングされたアナログ信号を増幅するＡＧＣ（Ａｕｔｏｍａｔｉｃ Ｇａｉｎ Ｃｏｎｔｒｏｌ）部２４２、ＡＧＣ部２４３によって増幅されたアナログ信号をデジタル画像信号に変換するＡＤＣ部（Ａ／Ｄ変換部）２４３を有している。ＦＤ２３０から出力されたアナログ信号は、ＡＦＥ部２４０によってデジタル信号に変換され、画像処理部３００へと出力される。
【００３６】
本実施の形態の撮像素子２００は、以下のように、画素を加算することによって画素数を絞り込んで画素信号を出力できるように構成されている。画素数を絞り込む場合、転送制御部２２２は、同時に複数の光電変換素子２１１からＦＤ２３０へと電荷を転送するように信号転送部２２１を制御する。ＦＤ２３０へと同時に転送された電荷は、ＦＤ２３０において加算される。ＦＤ２３０は、加算された電荷の量に応じた大きさの電圧をＡＦＥ部２４０へと出力する。このように、信号転送部２２１及びＦＤ２３０は、複数の光電変換素子２１１からの出力信号同士を加算し、加算した結果に応じた電圧信号を出力する信号加算回路として機能する。ＦＤ２３０は、単位格子Ａに対応する４つの光電変換素子２１１からなる各光電変換素子群２１０によって共有されており、撮像素子２００は、各光電変換素子群２１０内で画素信号を加算できる。このような画素加算を可能とする撮像素子２００の具体的な回路構成については後述する。
【００３７】
各光電変換素子群２１０に関して画素を加算する方法、及び、加算した結果を出力する方法はさまざまである。図１０（ａ）は、そのうちの一つを示している。図１０（ａ）の加算方法においては、単位格子Ａ内で互いに斜めに隣り合う画素同士を加算するパターンＸと、単位格子Ａ内で互いに列方向に隣り合う画素同士を加算するパターンＶとを、行方向及び列方向のそれぞれに関して交互に繰り返す。このように、各単位格子Ａ内で画素が加算されるため、同色の画素同士が加算されるのみならず、異色の画素同士が加算される。したがって、加算結果はＲＧＢの組み合わせとは異なる色の組み合わせとなる。具体的には、加算パターンＸ（第１の加算パターン）からは、ＧｒとＧｂの加算結果としてＧの画素信号が、ＲとＢの加算結果としてＭｇ（マゼンタ）の画素信号がそれぞれ得られる。また、加算パターンＶ（第２の加算パターン）からは、ＲとＧｂの加算結果としてＹｅ（黄）の画素信号が、ＧｒとＢの加算結果としてＣｙ（シアン）の画素信号がそれぞれ得られる。
【００３８】
そして、これらの加算結果の一出力例として、各単位格子Ａの加算結果を行方向に並べて順に出力することにより、図１０（ａ）に示すように、第１行目はＧ、Ｍｇ、Ｙｅ、Ｃｙ…の順に加算結果を並べ、第２行目はＹｅ、Ｃｙ、Ｇ、Ｍｇ…の順に加算結果を並べ、第３行目以降はこれらの並び方を交互に繰り返して出力していくことが考えられる。しかしながら、このような出力方法を採用すると、図１０（ａ）に示すように、格子Ｃ内における画素の並び方とその隣の格子Ｄ内における画素の並び方とが互いに異なるものとなってしまう。したがって、加算結果は、ベイヤー配列におけるＲＧＢの色の組み合わせとは異なるＧ、Ｍｇ、Ｙｅ及びＣｙの組み合わせとなって出力されるのみならず、２行２列の単位格子Ａを行方向及び列方向に繰り返すという、ベイヤー配列の規則正しい配列関係自体も崩れた配列となって出力されてしまう。撮像素子２００から出力された画像信号には、後述の通り画像処理部３００において種々の画像処理が施される。これらの画像処理の中には、処理対象となる信号がベイヤー配列の配列関係を有していることを前提とするものがある。したがって、ベイヤー配列の規則正しい配列関係が崩れた図１０（ａ）の出力方法の場合、この出力方法に対応可能な画像処理回路等を新たに構成する必要が生じる。
【００３９】
そこで、本発明者はベイヤー配列の配列関係と対応する配列関係で加算結果を出力するため、以下に一例を示す出力方法を発明した。図２（ｂ）はかかる出力方法の一例である。この出力方法では、図２（ｂ）に示すように、各単位格子Ａからの２つの加算結果を行方向に並べず、列方向に並べて出力する。また、加算結果を必ずしも単位格子Ａの並び順に出力していくのではなく、例えば図２（ｂ）において上から２つ目の単位格子Ａにおける加算結果は、２つの隣り合う単位格子Ａごとに行方向に順序を入れ替えて出力する。このような出力方法を採用することにより、図２（ｂ）に示すように、１行目はＧとＹｅを交互に繰り返して出力し、２行目はＭｇとＣｙを交互に繰り返して出力し、３行目以降はこれらを列方向に交互に繰り返して出力する。これによって、撮像素子２００からは、（１行目）Ｇ→Ｙｅ→Ｇ→Ｙｅ→…→（２行目）Ｍｇ→Ｃｙ→Ｍｇ→Ｃｙ→…→（３行目）Ｇ→Ｙｅ→Ｇ→Ｙｅ→…の順に画素信号が出力される。つまり、画素信号は、Ｇ、Ｙｅ、Ｍｇ及びＣｙが所定の順序で配列された２行２列の単位格子（以下、「単位格子Ｂ」（第２の単位格子）とする）が、行方向及び列方向のそれぞれに関して繰り返し並んだ配列で出力される。各単位格子Ｂ内では、ベイヤー配列の単位格子ＡにおけるＧｒ、Ｒ、Ｂ及びＧｂに対応した位置にＧ、Ｙｅ、Ｍｇ及びＣｙがそれぞれ配置されている。本実施の形態ではこのように、撮像素子２００から出力されるデジタル画像信号は、ベイヤー配列と同様に、単位格子Ｂが行方向及び列方向のそれぞれに規則正しく配列されている。このような出力信号を、以下において「ベイヤー互換配列信号」と記載する。
【００４０】
次に、撮像素子２００から出力されたベイヤー互換配列信号に所定の信号処理を加える画像処理部３００について説明する。画像処理部３００は、図３に示すように、撮像素子２００からのベイヤー互換配列信号に各種補正処理を施す画像調整部３１０と、ベイヤー互換配列信号に基づいて統計値を算出するＯＢ統計値算出部３２４、ＡＥ統計値算出部３２１、ＡＦ統計値算出部３２２及びＷＢ統計値算出部３２３（統計値算出手段）と、ＡＥ統計値算出部３２１及びＡＦ統計値算出部３２２が算出した統計値に基づいて撮像光学系１００の駆動を制御するための制御指令を生成するＡＥ制御部３３１及びＡＦ制御部３３２と、ＷＢ統計値算出部３２３が算出した統計値に基づいて画像調整部３１０によるホワイトバランス補正処理に用いる補正値を算出する補正値算出部３４０と、ＡＥ制御部３３１及びＡＦ制御部３３２からの制御指令に基づいて駆動制御信号を生成する駆動制御部３５０とを有している。画像処理部３００は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）その他の各種のハードウェアと、ＲＯＭに格納されたプログラムその他のソフトウェアとから構成されている。このソフトウェアがハードウェアを、画像調整部３１０等の各機能部を実現するように機能させることにより、画像処理部３００が実現されている。あるいは、各機能部における演算処理に特化した電子回路等により画像調整部３１０等が構成されていてもよいし、各機能部における演算処理に特化した電子回路等と、ハードウェアとソフトウェアの組み合わせによって各機能部を実現する構成とが互いに協働するように構成されていてもよい。
【００４１】
画像調整部３１０は、ＯＢ補正部３１１、シェーディング補正部３１２、ＷＢ補正部３１３、色補間部３１４、色補正部３１５及びガンマ補正部３１６を有している。ＯＢ補正部３１１は、撮像素子２００から出力されたベイヤー互換配列信号に光学的黒補正処理を施す。光学的黒補正処理は、遮光部材２０９（遮光手段）によって光が遮断された領域にある光学変換素子２１１に対応する画素値に基づいて、光学変換素子２１１やＡＦＥ部２４０の持つＤＣ誤差を検出し、有効画素領域の画素値から減算することにより、画素値のＤＣオフセットを補正する処理である（所謂、暗電流によって引き上げられたブラックレベルを補正する処理である）。ＯＢ補正部３１１は、ＯＢ統計値算出部３２４を有しており、ＯＢ統計値算出部３１１が算出した光学的黒補正値Ｏｂ＿Ｇ，Ｏｂ＿Ｙｅ、Ｏｂ＿Ｍｇ及びＯｂ＿Ｃｙを用いて、以下の演算により光学的黒補正処理を実行する：補正後の画素値Ｇ’＝画素値Ｇ−Ｏｂ＿Ｇ、補正後の画素値Ｙｅ’＝画素値Ｙｅ−Ｏｂ＿Ｙｅ、補正後の画素値Ｍｇ’＝画素値Ｍｇ−Ｏｂ＿Ｍｇ、補正後の画素値Ｃｙ’＝画素値Ｃｙ−Ｏｂ＿Ｃｙ。
【００４２】
図４（ａ）は、ＯＢ統計値算出部３２４のより詳細な構成を示している。ＯＢ統計値算出部３２４は、撮像素子２００からのベイヤー互換配列信号のうち、Ｇ信号、Ｙｅ信号、Ｍｇ信号及びＣｙ信号がそれぞれ入力されるＧ積算部３２４ａ、Ｙｅ積算部３２４ｂ、Ｍｇ積算部３２４ｃ及びＣｙ積算部３２４ｄを有している。これらの積算部に入力される信号は、遮光部材２０９によって光が遮断された領域にある画素に対応する信号である。Ｇ積算部３２４ａ〜Ｃｙ積算部３２４ｄは、上記領域にある画素に対応する信号を色ごとに全て加算することにより、Ｇ、Ｙｅ、Ｍｇ及びＣｙの積算値Ｏｂ＿Ｇ，Ｏｂ＿Ｙｅ、Ｏｂ＿Ｍｇ及びＯｂ＿Ｃｙを統計値として算出する。遮光部材２０９によって光が遮断されているにもかかわらずＯｂ＿Ｇ等がゼロでない場合、これらの値は暗電流による画素値のＤＣオフセットに対応する。
【００４３】
シェーディング補正部３１２は、ＯＢ補正部３１１が光学的黒補正処理を施したベイヤー互換配列信号にシェーディング補正処理を施す。有効画素領域の周辺部においては明暗のばらつきが生じやすい。シェーディング補正処理はこのような明暗のばらつきを補正する処理である。シェーディング補正処理後のベイヤー互換配列信号は、シェーディング補正部３１２からＷＢ補正部３１３へと出力されると共に、ＡＥ統計値算出部３２１、ＡＦ統計値算出部３２２及びＷＢ統計値算出部３２３へも出力される。
【００４４】
ＷＢ補正部３１３は、シェーディング補正部３１２からのベイヤー互換配列信号にホワイトバランス補正処理を施す。ホワイトバランス補正処理は、無彩色の被写体を撮像した際、その画素値が正しくＲ＝Ｇ＝Ｂとなるように、信号全体におけるＲＧＢレベルのバランスを補正する処理である。具体的には、ＷＢ補正部３１３は、補正値算出部３４０から出力されたホワイトバランスゲイン係数Ｗｂ＿Ｇ、Ｗｂ＿Ｙｅ、Ｗｂ＿Ｍｇ及びＷｂ＿Ｃｙを用いて、以下の演算によりホワイトバランス補正処理を実行する：補正後の画素値Ｇ’＝Ｗｂ＿Ｇ＊画素値Ｇ、補正後の画素値Ｙｅ’＝Ｗｂ＿Ｙｅ＊画素値Ｙｅ、補正後の画素値Ｙｅ’＝Ｗｂ＿Ｙｅ＊画素値Ｙｅ、補正後の画素値Ｍｇ’＝Ｗｂ＿Ｍｇ＊画素値Ｍｇ、補正後の画素値Ｃｙ’＝Ｗｂ＿Ｃｙ＊画素値Ｃｙ。
【００４５】
図５（ａ）は、ＷＢ統計値算出部３２３及び補正値算出部３４０のより詳細な構成を示している。ＷＢ統計値算出部３２３は、シェーディング補正部３１２からのベイヤー互換配列信号のうち、Ｇ信号、Ｙｅ信号、Ｍｇ信号及びＣｙ信号がそれぞれ入力されるＧ積算部３２３ａ、Ｙｅ積算部３２３ｂ、Ｍｇ積算部３２３ｃ及びＣｙ積算部３２３ｄを有している。これらの積算部に入力される信号は、有効画素領域のうち、所定の範囲内の画素に対応する信号である。かかる所定の範囲は、画像の内容に関わらずあらかじめ設定された固定の範囲であってもよいし、ホワイトバランス補正のために適切な範囲が適宜設定されるようになっていてもよい。Ｇ積算部３２３ａ〜Ｃｙ積算部３２３ｄは、上記所定の範囲内の画素に対応する各色の信号を全て加算することにより、Ｇ、Ｙｅ、Ｍｇ及びＣｙのそれぞれに関する積算値を統計値として算出する。以下、これらの積算値をΣＧ，ΣＹｅ，ΣＭｇ及びΣＣｙと表す。
【００４６】
補正値算出部３４０は、統計値変換部３４１（統計値変換手段）、ＷＢゲイン算出部３４２（補正値算出手段）及びゲイン変換部３４３（補正値変換手段）を有している。統計値変換部３４１は、Ｇ積算部３２３ａ〜Ｃｙ積算部３２３ｄが算出したΣＧ，ΣＹｅ，ΣＭｇ及びΣＣｙを、下記の数式１に従ってＲ，Ｇ及びＢに関する積算値（以下、ΣＲ，ΣＧ及びΣＢと表す）に変換する。
【００４７】
【数１】
【００４８】
数式１は以下のように導出される。一般に、ホワイトバランス補正処理では、Ｇｒ，Ｒ、Ｂ及びＧｂの各積算値（以下、ΣＧｒ，ΣＲ，ΣＢ及びΣＧｂと表す）を求めることによってホワイトバランスゲインが算出される。したがって、Ｇ積算部３２３ａ〜Ｃｙ積算部３２３ｄが算出したΣＧ，ΣＹｅ，ΣＭｇ及びΣＣｙをΣＧｒ，ΣＲ，ΣＢ及びΣＧｂに変換する必要がある。撮像素子２００における画素加算には、Ｇ＝（Ｇｂ＋Ｇｒ）／２、Ｙｅ＝（Ｒ＋Ｇｂ）／２、Ｃｙ＝（Ｂ＋Ｇｒ）／２及びＭｇ＝（Ｂ＋Ｒ）／２の関係がある。これにより、下記の数式２の関係が成り立つ。
【００４９】
【数２】
【００５０】
しかし、この数式２の変換行列は逆行列を持たない。そこで、Ｇｒ＝Ｇｂが近似的に成立することを利用して、Ｇｒ＝Ｇｂ＝Ｇと置くと、下記の数式３を得る。この数式３の変換行列の擬似逆行列を求めることで、数式１が得られる。なお、Ｇｒ画素とＧｂ画素の光電変化特性（分光特性）が互いに異なる場合にはＧｒ＝Ｇｂとの近時的な取り扱いができないおそれがある。このような特性の違いは、主に、撮像素子２００内の画素構成、回路構成における非対称性に起因して発生したり、Ｇｒ画素信号とＧｂ画素信号とを異なるＦＤやＣＤＳ、ＡＤＣでデジタル変換する場合において、それぞれの回路のオフセットやゲイン等の特性の違いに起因して発生したりする。しかしながら、本実施形態の撮像素子２００では、２行２列のベイヤー配列の単位格子Ａを基本単位に回路を構成するため撮像素子２００内の画素構成を対称に設計しやすいことや、同じ単位格子Ａ内のＧｒ画素信号とＧｂ画素信号を共通のＦＤ２３０、ＣＤＳ部２４１及びＡＤＣ部２４３へと出力することから、ＧｒとＧｂの特性をマッチングさせやすいため、Ｇｒ＝Ｇｂとの近似的な取り扱いが可能となっている。さらに、画像に非常に高い周波数成分が含まれる場合にもＧｒ＝Ｇｂとの近時的な取り扱いができないおそれがあるが、統計値として積算値を算出する場合は、仮に画像の一部に高周波成分が存在して局所的にＧｂ＝Ｇｒの関係が崩れたとしても、全体としては平均化されるため、Ｇｒ＝Ｇｂとの近時的な取り扱いに問題は生じにくい。
【００５１】
【数３】
【００５２】
ＷＢゲイン算出部３４２は、統計値変換部３４１が変換した統計値ΣＲ，ΣＧ及びΣＢに基づいて、ＲＧＢに関するホワイトバランスゲインＷｂ＿Ｒ、Ｗｂ＿Ｇ、Ｗｂ＿Ｂを算出する。一例として、ＷＢゲイン算出部３４２は、ΣＲ、ΣＧ及びΣＢをＸＹＺ表色系に変換し、さらにｘｙ色度座標系上のｘｙ座標を求める。ＷＢゲイン算出部３４２は、あらかじめｘｙ色度座標系上における光源範囲を示すデータを格納しており、このデータと上記のようにΣＲ、ΣＧ及びΣＢから求めたｘｙ座標とを照合して、光源を推定する。また、ＷＢゲイン算出部３４２は、あらかじめ光源とホワイトバランスゲイン係数Ｗｂ＿Ｒ、Ｗｂ＿Ｇ、Ｗｂ＿Ｂとを対応させたテーブルを格納しており、上記の推定結果に対応するホワイトバランスゲイン係数をテーブルから取得する。
【００５３】
さらに、ゲイン変換部３４３は、ＷＢゲイン算出部３４２が算出したホワイトバランスゲイン係数Ｗｂ＿Ｒ、Ｗｂ＿Ｇ、Ｗｂ＿Ｂを、数式３の変換行列を用いて、Ｇ，Ｙｅ，Ｍｇ及びＣｙに関するホワイトバランスゲイン係数Ｗｂ＿Ｇ、Ｗｂ＿Ｙｅ、Ｗｂ＿Ｍｇ及びＷｂ＿Ｃｙに変換する。具体的な演算方法は以下の数式４のとおりである。
【００５４】
【数４】
【００５５】
色補間部３１４は、ＷＢ補正部３１３からのベイヤー互換配列信号を、画素ごとにＲ，Ｇ及びＢが全て決定された信号へと変換する。図６は、色補間部３１４が実行する信号処理を示す模式図である。まず、色補間部３１４は、ステップＳ１に示すように、各単位格子Ｂ内で列方向に隣り合った２つの画素信号同士（破線で囲まれた信号同士）を加算して輝度信号Ｙを生成すると共に、各単位格子Ｂ内で列方向に隣り合った２つの画素信号同士（破線で囲まれた信号同士）を減算して色差信号Ｃ１、Ｃ２を生成する。Ｃ１はＧとＭｇの減算から取得されたものを表し、Ｃ２はＹｅとＣｙの減算から取得されたものを表す。具体的には、色補間部３１４は、Ｙ＝（Ｇ＋Ｍｇ）／２、Ｙ＝（Ｙｅ＋Ｃｙ）／２、Ｃ１＝（Ｇ−Ｍｇ）／２及びＣ２＝（Ｙｅ−Ｃｙ）／２で表される演算処理を実行する。ここで、色補間部３１４は、輝度信号Ｙを出力する際、偶数行目におけるＧとＭｇの加算結果とＹｅとＣｙの加算結果とを入れ替えて出力する。偶数行目の画素信号は、撮像素子２００において加算結果を入れ替えて出力されたものであるため、色補間部３１４が偶数行目における加算結果を再び入れ替えて出力することにより、輝度信号Ｙは元の画素の並び方に戻る。また、色補間部３１４は、偶数行目におけるＧとＭｇの減算結果とＹｅとＣｙの減算結果とを行方向に入れ替えることにより、ステップＳ１に示すように、色差信号Ｃ１及びＣ２が互いに行方向及び列方向の両方に関して交互に並ぶように配列する。これにより色差信号Ｃ１及びＣ２は、輝度信号Ｙと同様に、元の画素の並び方に戻る。
【００５６】
次に、色補間部３１４は、ステップＳ２１に示すように、ステップＳ１において生成されるＣ１及びＣ２の両方を含む色差信号からＣ１とＣ２を分離し、足りない画素を”０”として色差信号Ｃ１と色差信号Ｃ２とをそれぞれアップサンプリングする。そして、色補間部３１４は、ステップＳ２２に示すように、アップサンプリングされた色差信号Ｃ１と色差信号Ｃ２にそれぞれローパスフィルタを掛けて画素を補間する。このように、画素の補間にローパスフィルタが用いられるので、補間された色差信号に偽色が発生しにくい。
【００５７】
ステップＳ１及びステップＳ２により、全てのサンプリング位置に関して輝度信号Ｙと色差信号Ｃ１及びＣ２とが取得される。次に、色補間部３１４は、ステップＳ３に示すように、ステップＳ１及びステップＳ２で取得された輝度信号Ｙと色差信号Ｃ１及びＣ２とに、３行３列の行列演算を施すことにより、各画素に関してＲ，Ｇ及びＢの各色の画素信号を算出する。この３行３列の行列演算は、Ｒ＝Ｙ−Ｃ１＋２＊Ｃ２、Ｇ＝Ｙ＋Ｃ１、及び、Ｂ＝Ｙ−Ｃ１−２＊Ｃ２で表される。
【００５８】
色補正部３１５は、色再現マトリクスを用いて色補間部３１４からのＲＧＢ信号を線形変換し、所定の信号レベルに補正する。ガンマ補正部３１６は、あらかじめ格納された適正露出量に基づいて色補正部３１５からのＲＧＢ信号に階調変換を施すと共に、画像が出力されるディスプレイ等の色表示特性に応じたガンマ変換を施す。ベイヤー互換配列信号は、所定の階調、例えば、２８＝２５６階調を持たないデータからなる信号であるので、かかる階調を有する信号にするためにガンマ補正部３１６によって階調変換が施される。画像処理部３００は、ガンマ補正部３１６からの出力信号を、ＲＧＢ信号から輝度信号Ｙ及び色差信号Ｃｂ、Ｃｒからなる信号へと変換して出力する。
【００５９】
以上のように、本実施の形態では、まず撮像素子２００がＲ、Ｇ及びＢの各色からなるベイヤー配列の画像からベイヤー互換配列信号を生成する。このとき、図２（ｂ）に示すように、ベイヤー配列の画像が横方向に１／２となる。そして、色補間部３１４がベイヤー互換配列信号から、各画素についてＲ，Ｇ及びＢの各色が決定された画像データを生成する。このとき、図６に示すように、ベイヤー互換配列信号の画像が縦方向に１／２の大きさになる。したがって、横１９２０ピクセルで縦１０８０ピクセルであるＨＤ動画用の画像データを生成する場合には、まず、撮像素子２００が、横４０００ピクセルで縦３０００ピクセルのＲＧＢベイヤー配列のうち、横３８４０ピクセルで縦２１６０ピクセルの画像から横１９２０ピクセルで縦２１６０ピクセルのベイヤー互換配列信号を生成する。次に、色補間部３１４が、ベイヤー互換配列信号から、横１９２０ピクセルで縦１０８０ピクセルのＨＤ動画用の画像データを生成する。
【００６０】
次に、画像処理部３００における露出調整及びオートフォーカス制御について説明する。ＡＥ制御部３３１及びＡＦ制御部３３２は、ＡＥ統計値算出部３２１（露出用統計値算出手段）とＡＦ統計値算出部３２２とが算出する統計値に応じて露出調整及びオートフォーカス制御を実行する。
【００６１】
図４（ｂ）は、ＡＥ統計値算出部３２１及びＡＥ制御部３３１のより詳細な構成を示している。ＡＥ統計値算出部３２１は、シェーディング補正部３１２からのベイヤー互換配列信号のうち、Ｇ信号、Ｙｅ信号、Ｍｇ信号及びＣｙ信号がそれぞれ入力されるＧ積算部３２１ａ、Ｙｅ積算部３２１ｂ、Ｍｇ積算部３２１ｃ及びＣｙ積算部３２１ｄを有している。これらの積算部に入力される信号は、有効画素領域のうち、所定の範囲内の画素に対応する信号である。かかる所定の範囲は、画像の内容に関わらずあらかじめ設定された固定の範囲であってもよいし、露出調整のために適切な範囲が適宜設定されるようになっていてもよい。Ｇ積算部３２１ａ〜Ｃｙ積算部３２１ｄは、上記所定の範囲内の画素に対応する信号を色ごとに全て加算することにより、Ｇ、Ｙｅ、Ｍｇ及びＣｙの積算値を統計値として算出する。以下、これらの積算値をΣＧ，ΣＹｅ，ΣＭｇ及びΣＣｙと表す。
【００６２】
ＡＥ制御部３３１は、統計値変換部３３１ａ（統計値変換手段）と輝度積算部３３１ｂとを有している。統計値変換部３３１ａは、ＡＥ統計値算出部３２１が算出したΣＧ，ΣＹｅ，ΣＭｇ及びΣＣｙを、上記の数式１に従ってＲ，Ｇ及びＢに関する積算値（以下、ΣＲ，ΣＧ及びΣＢと表す）に変換する。輝度積算部３３１ｂは、統計値変換部３３１ａが算出したΣＲ，ΣＧ及びΣＢに重みｋＲ、ｋＧ及びｋＢを掛けて足し合わせることにより、輝度積算値ΣＹ＝ｋＲ＊ΣＲ＋ｋＧ＊ΣＧ＋ｋＢ＊ΣＢを算出する。
【００６３】
そして、ＡＥ制御部３３１は、ΣＹに基づいて、露出調整用の調整値を算出する。以下、ΣＹに基づいて露出調整を行う方法の一例を説明する。まず、ＡＥ制御部３３１は、駆動制御部３５０へと制御指令を送り、ΣＹが所定の基準値Ｙ０となるように、アイリス１２１の絞り量及びシャッタ１２２のシャッタ速度等を所定の状態に設定する。この状態のときのアイリス１２１の絞り量をＩ０、シャッタ速度をＶ０とする。
【００６４】
次に、ＡＥ制御部３３１は、アイリス１２１の絞り量をＩ０とは異なるＩ１にした際に、算出されるΣＹが基準値Ｙ０となるようなシャッタ１２２のシャッタ速度の理論値Ｖ１を算出する。そして、ＡＥ制御部３３１は、アイリス１２１の絞り量がＩ０となりシャッタ１２２のシャッタ速度がＶ１となるように駆動制御部３５０へと制御指令を送る。このとき、ＡＧＣ部２４２における利得などの露出量を変動させるその他の部分における状態は固定される。なお、ＡＧＣ部２４２の利得等を含めて、ΣＹがＹ０となるような理論値が算出されてもよい。ＡＥ制御部３３１は、この状態のときに実際に算出したΣＹ１がΣＹ０とずれている場合、そのずれた量に対応する絞り量を誤差とし、この誤差を相殺するような値を調整値として算出する。そして、ＡＥ制御部３３１は、この調整値に基づき、アイリス１２１を駆動して露出を調整するための制御指令を駆動制御部３５０へと出力する。
【００６５】
図４（ｃ）は、ＡＦ統計値算出部３２２のより詳細な構成を示している。ＡＦ統計値算出部３２２は、輝度算出部３２２ａ（輝度値算出手段）、ＨＰＦ部３２２ｂ及び輝度積算部３２２ｃ（オートフォーカス用統計値算出手段）を有している。ＡＦ統計値算出部３２２に入力される信号は、有効画素領域のうち、所定の範囲内の画素に対応する信号である。かかる所定の範囲は、画像の内容に関わらずあらかじめ設定された固定の範囲であってもよいし、オートフォーカス制御のために適切な範囲が適宜設定されるようになっていてもよい。図４（ｄ）は、ＡＦ統計値算出部３２２が実行する演算処理を示す模式図である。輝度算出部３２２ａは、図４（ｄ）のステップＡ１に示すように、ベイヤー互換配列信号における単位格子Ｂごとに輝度信号Ｙを以下のように算出する：Ｙ＝ｋＧ＊Ｇ画素値＋ｋＹｅ＊Ｙｅ画素値＋ｋＭｇ＊Ｍｇ画素値＋ｋＣｙ＊Ｃｙ画素値。ここで、ｋＧ、ｋＹｅ、ｋＭｇ及びｋＣｙは、数式１の変換行列を用いて、以下の通り、ｋＧ、ｋＲ及びｋＢから求められる。
【００６６】
【数５】
【００６７】
次に、ＨＰＦ部３２２ｂが、図４（ｄ）のステップＡ２に示すように、輝度算出部３２２ａが単位格子Ｂごとに求めた輝度値Ｙに高周波通過フィルタを掛け、さらにその絶対値を算出する。そして、輝度積算部３２２ｃが、図４（ｄ）のステップＡ３に示すように、輝度算出部３２２ａの算出結果を全て積算する。以下、この積算結果をΣ｜ＨＰＦ（Ｙ）｜とする。ＡＦ制御部３３２は、ＡＦ統計値算出部３２２が算出したΣ｜ＨＰＦ（Ｙ）｜を、被写体像のコントラストの高低を評価する焦点評価値として使用する。ＡＦ制御部３３２は、駆動制御部３５０へと制御指令を送ってフォーカスレンズ１１３を移動させつつ、焦点評価値がピークとなるフォーカスレンズ１１３の位置を導出する。そして、ＡＦ制御部３３２は、このような位置にフォーカスレンズ１１３を配置するように指示する制御指令を駆動制御部３５０へと出力する。
【００６８】
次に、ベイヤー互換配列信号を出力可能な撮像素子２００の具体的な回路構成とその回路の駆動方法について説明する。図７は、図２（ｃ）に示す加算パターンの配置を実現するための具体的な回路構成図である。図７は、単位格子Ａに対応する単位回路４０が行方向に３つ、列方向に２つ並んだ回路を表している。実際の回路構成は、図７に示す単位回路４０及びその周辺の回路構成が撮像素子２００の画素の総数に相当する数だけ行方向及び列方向に並んだものとなる。
【００６９】
図７において、Ｇｒ１１〜Ｇｒ３５はＧｒのカラーフィルタの下に配置されたフォトダイオードを、Ｒ１２〜Ｒ３６はＲのカラーフィルタの下に配置されたフォトダイオードを、Ｂ２１〜Ｂ４５はＢのカラーフィルタの下に配置されたフォトダイオードであり、Ｇｂ２２〜Ｇｂ４６はＧｂのカラーフィルタの下に配置されたフォトダイオードである。ＦＤ１１〜ＦＤ３５はフローティングディフュージョンであり、ＭＴ１１〜ＭＴ４６は、各フォトダイオードからＦＤ１１〜ＦＤ３５のいずれかへと電荷を転送する転送トランジスタである。
【００７０】
ＭＡ１１〜ＭＡ３５は、ＦＤからの出力信号を増幅する増幅トランジスタを表している。ＭＲ１１〜ＭＲ３５はフォトトランジスタにおいて光電変換電荷をリセットするリセットトランジスタである。ＭＳ１１〜ＭＳ３５は画素信号を出力させる単位回路４０を選択する列選択トランジスタである。Ｌ１〜Ｌ７は、各単位回路４０から画素信号が出力される垂直出力線を表し、Ｖｄｄは単位回路４０に供給される電圧である。Ｔｘ１１〜Ｔｘ４４は、転送トランジスタへと転送制御信号を送信する転送制御信号線であり、Ｒｓｔ１及びＲｓｔ３はリセットトランジスタへとリセット制御信号を送信するリセット制御信号線であり、Ｓｅｌ１及びＳｅｌ３は、列選択トランジスタへと列選択制御信号を送信する列選択制御信号線である。
【００７１】
各単位回路４０は、１つの光電変換素子群２１０に対応する４つのフォトダイオードと、１つの信号転送部２２１に対応する４つの転送トランジスタとを含んでいる。また、各単位回路４０は、ＦＤ、増幅トランジスタ、リセットトランジスタ及び列選択トランジスタのそれぞれを１つずつ含んでいる。一例として、図７において最も左上に配置された単位回路４０（以下、「単位回路４０ａ」とする）は、フォトダイオードＧｒ１１、Ｒ１２、Ｂ２１及びＧｂ２２と、転送トランジスタＭＴ１１、ＭＴ１２、ＭＴ２１及びＭＴ２２と、ＦＤ１１と、増幅トランジスタＭＡ１１と、リセットトランジスタＭＲ１１と、列選択トランジスタＭＳ１１とから構成されている。また、別の一例として、その右隣の単位回路４０（以下、「単位回路４０ｂ」とする）は、フォトダイオードＧｒ１３、Ｒ１４、Ｂ２３及びＧｂ２４と、転送トランジスタＭＴ１３、ＭＴ１４、ＭＴ２３及びＭＴ２４と、ＦＤ１３と、増幅トランジスタＭＡ１３と、リセットトランジスタＭＲ１３と、列選択トランジスタＭＳ１３とから構成されている。
【００７２】
各単位回路４０内の構成はいずれも同様である。例えば、単位回路４０ａでは、フォトダイオードＧｒ１１のアノードは接地され、カソードは転送トランジスタＭＴ１１を介してＦＤ１１に接続されている。これと同様に、フォトダイオードＲ１２、Ｂ２１及びＧｂ２２のアノードはそれぞれ接地され、カソードは転送トランジスタＭＴ１２、ＭＴ２１及びＭＴ２２にそれぞれ接続されている。転送トランジスタＭＴ１１のゲートは、転送制御信号線Ｔｘ１１に接続されている。これと同様に、転送トランジスタＭＴ１２、ＭＴ２１及びＭＴ２２のゲートは転送制御信号線Ｔｘ１２、Ｔｘ２１及びＴｘ２２にそれぞれ接続されている。
【００７３】
ＦＤ１１は、増幅トランジスタＭＡ１１のゲートに接続されている。増幅トランジスタＭＡ１１のドレイン・ゲート間にはリセットトランジスタＭＲ１１が接続され、増幅トランジスタＭＡ１１のソースは、列選択トランジスタＭＳ１１を介して、垂直出力線Ｌ１に接続されている。リセットトランジスタＭＲ１１のゲートは、リセット制御信号線Ｒｓｔ１に接続され、列選択トランジスタＭＳ１１のゲートは、列選択制御信号線Ｓｅｌｌに接続されている。増幅トランジスタＭＡ１１のドレインには電圧Ｖｄｄが供給されている。
【００７４】
転送制御信号線は、行方向に並んだ単位回路４０の１行につき、８本ずつ設けられている。８本のうち、４本の転送制御信号線が、行方向に１つおきに並んだ単位回路４０同士で共用されている。例えば、単位回路４０ａを含む行では、転送制御信号線Ｔｘ１１〜Ｔｘ２２の８本が、各単位回路４０に共用されている。そして、これら８本のうち、転送制御信号線Ｔｘ１１は、単位回路４０ａの転送トランジスタＭＴ１１に接続されていると共に、単位回路４０ａとの間に単位回路４０ｂを挟んで右側に配置された単位回路４０（以下、「単位回路４０ｃ」とする）の転送トランジスタＭＴ１５に接続されている。同様に、転送制御信号線Ｔｘ１２、Ｔｘ２１及びＴｘ２２は、単位回路４０ａの転送トランジスタＭＴ１２、ＭＴ２１及びＭＴ２２にそれぞれ接続されていると共に、単位回路４０ｃの転送トランジスタＭＴ１６、ＭＴ２５及びＭＴ２６にそれぞれ接続されている。このように、転送制御信号線Ｔｘ１１〜Ｔｘ２２の８本のうち、転送制御信号線Ｔｘ１１、Ｔｘ１２、Ｔｘ２１及びＴｘ２２の４本は、行方向に１つおきに隣接した単位回路４０同士の間で、各単位回路４０に含まれる４つの転送トランジスタへの転送制御信号線として共用されている。
【００７５】
また、単位回路４０ａの右隣の単位回路４０ｂでは、８本のうちの残りの４本である転送制御信号線Ｔｘ１３、Ｔｘ１４、Ｔｘ２３及びＴｘ２４が転送トランジスタＭＴ１３、ＭＴ１４、ＭＴ２３及びＭＴ２４にそれぞれ接続されている。この転送制御信号線Ｔｘ１３、Ｔｘ１４、Ｔｘ２３及びＴｘ２４は、単位回路４０ｂとの間に単位回路４０ｃを挟んで右側に配置された単位回路４０（不図示）の４つの転送トランジスタにもそれぞれ接続されている。このように、転送制御信号線Ｔｘ１３、Ｔｘ１４、Ｔｘ２３及びＴｘ２４の４本も、行方向に１つおきに隣接した単位回路４０同士の間で、各単位回路４０に含まれる４つの転送トランジスタへの転送制御信号線として共用されている。
【００７６】
リセット制御信号線は、行方向に並んだ単位回路４０の１行につき、１本ずつ設けられており、１行の単位回路４０に含まれる各リセットトランジスタに接続されている。例えば、リセット制御信号線Ｒｓｔ１は、単位回路４０ａのリセットトランジスタＭＲ１１と単位回路４０ｂのリセットトランジスタＭＲ１３と単位回路４０ｃのリセットトランジスタＭＲ１５とに接続されている。また、列選択制御信号線も、行方向に並んだ単位回路４０の１行につき、１本ずつ設けられており、１行の単位回路４０に含まれる各列選択トランジスタに接続されている。例えば、列選択制御信号線Ｓｅｌ１は、単位回路４０ａの列選択トランジスタＭＳ１１と単位回路４０ｂの列選択トランジスタＭＳ１３と単位回路４０ｃの列選択トランジスタＭＳ１５とに接続されている。
【００７７】
また、本実施の形態の回路構成では、単位回路４０からの出力順を行方向に入れ替えるために、出力切り替え部４１が、２本の垂直出力線ごとに設けられている。具体的には、垂直出力線Ｌ１及びＬ３の出力先は１つの出力切り替え部４１に接続されている。出力切り替え部４１には出力線Ｌ１’及びＬ３’が接続されている。出力切り替え部４１は、出力線Ｌ１からの入力を出力線Ｌ３’へと出力すると共に出力線Ｌ３からの入力を出力線Ｌ１’へと出力する出力順入れ替えモードと、出力線Ｌ１からの入力を出力線Ｌ１’へと出力すると共に出力線Ｌ３からの入力を出力線Ｌ３’へと出力する非出力順入れ替えモードとを選択的に取ることができる。このような出力切り替え部４１が、出力線Ｌ５及びＬ７、出力線Ｌ９及びＬ１１、出力線Ｌ１３及びＬ１５…と、２本の出力線ごとに設けられている。出力線Ｌ１’、Ｌ３’、Ｌ５’…へと出力された信号は、ＡＦＥ部２４０へと入力される。
【００７８】
以上のような回路構成において、図２（ｂ）に示す加算パターンに従って画素信号を加算させる駆動方法について説明する。図８（ａ）及び図８（ｂ）は、加算パターンＸ及びＶに従って加算された信号を各単位回路４０から出力させるために、転送制御信号線Ｔｘ１１〜Ｔｘ４４によって転送トランジスタに印加させる転送制御信号を示すシーケンス図である。図８（ａ）が加算パターンＸに、図８（ｂ）が加算パターンＶにそれぞれ対応する。
【００７９】
加算パターンＸについて単位回路４０ａを例に挙げて説明する。まず、出力切り替え部４１は、非出力順入れ替えモードに設定される。そして、図８（ａ）に示すように、時刻ｔ２１において、リセット制御信号線Ｒｓｔ１にＨレベルを印加すると同時に、転送制御信号線Ｔｘ１１と転送制御信号線Ｔｘ２２にＨレベルを印加して、フォトダイオードＧ１１とフォトダイオードＧ２２に蓄積された光電変換電荷のリセットを行う。この操作は電子シャッタ動作に相当する。リセット制御信号線Ｒｓｔ１がＨレベルになると、リセットトランジスタＭＲ１１がオンとなり、ＦＤ１１が電圧Ｖｄｄに充電される。また、転送制御信号線Ｔｘ１１及びＴｘ２２がＨレベルになると、転送トランジスタＭＴ１１及びＭＴ２２がオンとなり、フォトダイオードＧｒ１１及びＧｂ２２のカソード側に電圧Ｖｄｄが印加され、フォトダイオードＧ１１及びＧ２２に蓄積された光電変換電荷がリセットされる。リセット制御信号線Ｒｓｔ１と転送制御信号線Ｔｘ１１と転送制御信号線Ｔｘ２２に印加されたＨレベルがＬレベルに変化すると、これらの制御信号線がオフとなり、フォトダイオードＧｒ１１及びＧｂ２２が、受光量に応じて電荷蓄積を開始する。
【００８０】
次に、時刻ｔ２２において、リセット制御信号線Ｒｓｔ１にＨレベルを印加すると同時に転送制御信号線Ｔｘ１２と転送制御信号線Ｔｘ２１にＨレベルを印加して、フォトダイオードＲ１２とフォトダイオードＢ２１に蓄積された光電変換電荷のリセットを行う。つまり、フォトダイオードＲ１２及びＢ１２のカソード側に電圧Ｖｄｄが印加され、これらのフォトダイオードに蓄積された光電変換電荷がリセットされる。リセット制御信号線Ｒｓｔ１と転送制御信号線Ｔｘ１２と転送制御信号線Ｔｘ２１に印加されたＨレベルがＬレベルに変化すると、リセットトランジスタＭＲ１１と転送トランジスタＭＴ１２と転送トランジスタＭＴ２１がオフとなり、フォトダイオードＲ１２及びＢ２１が、受光量に応じて電荷蓄積を開始する。
【００８１】
次に、時刻ｔ２３において、フォトダイオードＧｒ１１及びＧｂ２２について画素信号の読出動作を開始するため、列選択制御信号線Ｓｅｌ１にＨレベルを印加する。これにより、列選択トランジスタＭＳ１１がオンとなり、増幅トランジスタＭＡ１１のソースが垂直出力線Ｌ１に接続される。また、リセット制御信号線Ｒｓｔ１にＨレベルを印加する。これにより、リセットトランジスタＭＲ１１がオンとなり、ＦＤ１１が電圧Ｖｄｄに充電されて、ＦＤ１１の充電電圧が初期化される。ＦＤ１１の初期化電圧は、増幅トランジスタＭＡ１１によって増幅され、列選択トランジスタＭＳ１１を介して、垂直出力線Ｌ１に出力される。垂直出力線Ｌ１に出力されたＦＤ１１の初期化電圧は、出力切り替え部４１及び出力線Ｌ１’を介し、ＣＤＳ部２４１に出力される。そして、ＣＤＳ部２４１によって、基準レベルとしてクランプされる。
【００８２】
次に、リセットトランジスタＭＲ１１をオフにした後、時刻ｔ２４において、転送制御信号線Ｔｘ１１と転送制御信号線Ｔｘ２２にＨレベルを印加する。これにより、転送トランジスタＭＴ１１と転送トランジスタＭＴ２２がオンとなり、フォトダイオードＧｒ１１及びＧｂ２２の両方の光電変換電荷に応じてＦＤ１１の電圧が変化する。すなわち、Ｇｒ画素とＧｂ画素に応じたフォトダイオードＧｒ１１とフォトダイオードＧｂ２２の光電変換電荷は、ＦＤ１１で加算される。なお、電荷蓄積が開始される時刻ｔ２１からＦＤ２３０への電荷が転送される時刻ｔ２４までが露光時間に相当する。ＦＤ１１で加算された電圧は増幅トランジスタＭＡ１１で増幅され、列選択トランジスタＭＳ１１を介して、垂直出力線Ｌ１に出力される。垂直出力線Ｌ１に出力されたＦＤ１１の電圧は、出力切り替え部４１及び出力線Ｌ１’を介し、ＣＤＳ部２４１に出力される。出力された電圧は、ＣＤＳ部２４１によってサンプリングされ、先にサンプリングされた基準レベルとの差分がＣＤＳ部２４１から出力される。
【００８３】
次に、時刻ｔ２５において、フォトダイオードＲ１２と、フォトダイオードＢ２１について画素信号の読出動作を開始するため、リセット制御信号線Ｒｓｔ１にＨレベルを印加する。これにより、リセットトランジスタＭＲ１１がオンとなり、ＦＤ１１が電圧Ｖｄｄに充電され、ＦＤ１１の電圧が初期化される。垂直出力線Ｌ１に出力されたＦＤ１１の初期化電圧は、出力切り替え部４１及び出力線Ｌ１’を介し、ＣＤＳ部２４１に出力される。出力された電圧はＣＤＳ部２４１によって、基準レベルとしてクランプされる。
【００８４】
次に、リセットトランジスタＭＲ１１をオフにした後、時刻ｔ２６において、転送制御信号線Ｔｘ１２と転送制御信号線Ｔｘ２１にＨレベルを印加する。これにより、転送トランジスタＭＴ１２と転送トランジスタＭＴ２１がオンとなり、フォトダイオードＲ１２及びＢ２１の両方の光電変換電荷に応じてＦＤ１１の電圧が変化する。すなわち、Ｒ画素とＢ画素に応じたフォトダイオードＲ１２とフォトダイオードＢ２１の光電変換電荷は、ＦＤ１１で加算される。ここで、時刻ｔ２２〜ｔ２６の時間が露光時間に対応する。ＦＤ１１で加算された電圧は増幅トランジスタＭＡ１１で増幅され、列選択トランジスタＭＳ１１を介して垂直出力線Ｌ１に出力される。垂直出力線Ｌ１に出力されたＦＤ１１の電圧は、出力切り替え部４１及び出力線Ｌ１’を介し、ＣＤＳ部２４１に出力される。出力された電圧は、ＣＤＳ部２４１によってサンプリングされ、先にサンプリングされた基準レベルとの差分がＣＤＳ部２４１から出力される。
【００８５】
以上のように単位回路４０ａにおいて、加算パターンＸに従って画素信号が加算され、ＡＦＥ部２４０へと出力される。ＡＦＥ部２４０には、ＧｒとＧｂの加算結果Ｇが１行目として先に出力され、ＲとＢの加算結果Ｍｇが２行目として次に出力される。ここで、図７の回路構成において、転送制御信号線Ｔｘ１１、Ｔｘ１２、Ｔｘ２１及びＴｘ２２は、行方向に１つおきに隣接した単位回路４０同士の間で、各単位回路４０に含まれる４つの転送トランジスタへの転送制御信号線として共用されている。したがって、単位回路４０ａに関して加算パターンＸに従った画素信号の加算処理がなされると、単位回路４０ａから１つおきに行方向に隣接する各単位回路４０においても同様に、加算パターンＸに従った加算処理がなされる。
【００８６】
加算パターンＶについて単位回路４０ｂを例に挙げて説明する。なお、単位回路４０ｂにおける作用は単位回路４０ａにおける上記の作用と同様であるため、単位回路４０ｂにおける作用の詳細については適宜説明を省略する。まず、出力切り替え部４１は、非出力順入れ替えモードに設定される。そして、図８（ｂ）に示すように、時刻ｔ４１において、リセット制御信号線Ｒｓｔ１、転送制御信号線Ｔｘ１４及び転送制御信号線Ｔｘ２４にそれぞれ同時にＨレベルを印加する。これによって、ＦＤ１３が電圧Ｖｄｄに充電されると共に、フォトダイオードＲ１４とフォトダイオードＧｂ２４に蓄積された光電変換電荷がリセットされる。リセット制御信号線Ｒｓｔ１、転送制御信号線Ｔｘ１４及び転送制御信号線Ｔｘ２４に印加されたＨレベルがそれぞれＬレベルに変化すると、フォトダイオードＲ１４及びＧｂ２４が、受光量に応じて電荷蓄積を開始する。
【００８７】
次に、時刻ｔ４２において、リセット制御信号線Ｒｓｔ１、転送制御信号線Ｔｘ１３及び転送制御信号線Ｔｘ２３にそれぞれ同時にＨレベルを印加する。これによって、ＦＤ１３が電圧Ｖｄｄに充電されると共に、フォトダイオードＧｒ１３とフォトダイオードＢ２３に蓄積された光電変換電荷がリセットされる。リセット制御信号線Ｒｓｔ１、転送制御信号線Ｔｘ１３及び転送制御信号線Ｔｘ２３に印加されたＨレベルがそれぞれＬレベルに変化すると、フォトダイオードＧｒ１３及びＢ２３が、受光量に応じて電荷蓄積を開始する。
【００８８】
次に、時刻ｔ４３において、列選択制御信号線Ｓｅｌ１及びリセット制御信号線Ｒｓｔ１にそれぞれＨレベルを印加する。これにより、増幅トランジスタＭＡ１３のソースが垂直出力線Ｌ２に接続されると共に、リセットトランジスタＭＲ１３がオンとなる。そして、ＦＤ１３が電圧Ｖｄｄに充電されて、ＦＤ１３の充電電圧が初期化される。また、増幅トランジスタＭＡ１３によって増幅されたＦＤ１３の初期化電圧は垂直出力線Ｌ３に出力され、出力切り替え部４１及び出力線Ｌ３’を介し、ＣＤＳ部２４１に出力される。そして、ＣＤＳ部２４１によって、基準レベルとしてクランプされる。
【００８９】
次に、リセットトランジスタＭＲ１３をオフにした後、時刻ｔ４４において、転送制御信号線Ｔｘ１４及びＴｘ２４にそれぞれＨレベルを印加する。これにより、Ｒ画素及びＧｂ画素に応じたフォトダイオードＲ１４及びＧｂ２４の光電変換電荷は、ＦＤ１３で加算される。ここで、露光時間は時刻ｔ４１〜ｔ４４の時間である。ＦＤ１３での加算結果は、加算結果に応じた電圧としてＦＤ１３から出力される。ＦＤ１３からの出力電圧は増幅トランジスタＭＡ１３で増幅され、列選択トランジスタＭＳ１３を介して、垂直出力線Ｌ２に出力される。垂直出力線Ｌ３に出力されたＦＤ１３の電圧は、出力切り替え部４１及び出力線Ｌ３’を介し、ＣＤＳ部２４１に出力される。そして、ＣＤＳ部２４１によってサンプリングされ、先にサンプリングされた基準レベルとの差分がＣＤＳ部２４１から出力される。
【００９０】
次に、時刻ｔ４５においてリセット制御信号線Ｒｓｔ１にそれぞれＨレベルを印加する。これにより、増幅トランジスタＭＡ１３のソースが垂直出力線Ｌ３に接続されると共に、リセットトランジスタＭＲ１３がオンとなり、ＦＤ１３が電圧Ｖｄｄに充電され、初期化される。垂直出力線Ｌ３に出力されたＦＤ１３の初期化電圧は、出力切り替え部４１及び出力線Ｌ３’を介し、ＣＤＳ部２４１に出力される。そして、ＣＤＳ部２４１によって、基準レベルとしてクランプされる。
【００９１】
次に、リセットトランジスタＭＲ１３をオフにした後、時刻ｔ４６において、転送制御信号線Ｔｘ１３及びＴｘ２３にそれぞれＨレベルを印加する。これにより、Ｇｒ画素とＢ画素に応じたフォトダイオードＧｒ１３及びＢ２３の光電変換電荷は、ＦＤ１３で加算される。ここで、露光時間は時刻ｔ４２〜ｔ４６の時間である。ＦＤ１３での加算結果は、加算結果に応じた電圧としてＦＤ１３から出力される。ＦＤ１３からの出力電圧は増幅トランジスタＭＡ１３で増幅され、列選択トランジスタＭＳ１３を介して、垂直出力線Ｌ３に出力される。垂直出力線Ｌ３に出力されたＦＤ１３の電圧は、出力切り替え部４１及び出力線Ｌ３’を介し、ＣＤＳ部２４１に出力される。そして、ＣＤＳ部２４１によってサンプリングされ、先にサンプリングされた基準レベルとの差分がＣＤＳ部２４１から出力される。
【００９２】
以上のように単位回路４０ｂにおいて、加算パターンＶに従って画素信号が加算され、ＡＦＥ部２４０へと出力される。ＡＦＥ部２４０には、ＲとＧｂの加算結果Ｙｅが１行目として先に出力され、ＧｒとＢの加算結果Ｃｙが２行目として次に出力される。ここで、図７の回路構成において、転送制御信号線Ｔｘ１３、Ｔｘ１４、Ｔｘ２３及びＴｘ２４は、行方向に１つおきに隣接した単位回路４０同士の間で、各単位回路４０に含まれる４つの転送トランジスタへの転送制御信号線として共用されている。したがって、単位回路４０ｂに関して加算パターンＶに従った画素信号の加算処理がなされると、単位回路４０ｂから１つおきに行方向に隣接する各単位回路４０においても同様に加算パターンＶに従った加算処理がなされる。
【００９３】
以上より、単位回路４０ａ及び４０ｂを含む１行目の単位回路４０においては、加算パターンＸと加算パターンＶとが、Ｘ→Ｖ→Ｘ→Ｖ→…の順に、行方向に交互に繰り返すように加算結果が出力される。これによって、図２（ｂ）の１行目の単位格子Ｂが加算結果として出力される。次に、図７において単位回路４０ａの下に隣接する単位回路４０（以下、「単位回路４０ｄ」とする）を含む２行目の単位回路４０から加算結果を出力するタイミングにおいては、行方向に出力順を入れ替えるため、出力切り替え部４１が出力順入れ替えモードに切り替えられる。これによって、出力線Ｌ１からの出力は出力線Ｌ３’に、出力線Ｌ３からの出力は出力線Ｌ１’にと、２本の出力線ごとに行方向に出力順が入れ替えられる。したがって、単位回路４０ｄを含む２行目の単位回路においては、加算パターンＸと加算パターンＶとが、Ｘ→Ｖ→Ｘ→Ｖ→…の順に、行方向に交互に繰り返すように加算結果が出力される。これによって、図２（ｂ）の２行目の単位格子Ｂが加算結果として出力される。図７における単位回路４０の３行目以降においては、奇数行では出力切り替え部４１が非出力順入れ替えモードに設定されて加算結果が出力され、偶数行では出力切り替え部４１が出力順入れ替えモードに設定されて加算結果が出力される。これによって、単位格子Ｂが行方向及び列方向に繰り返し並んだベイヤー互換配列信号が撮像素子２００から出力されることとなる。
【００９４】
以下、画像処理部３００からＹ，Ｃｂ，Ｃｒ信号が出力されるまでに撮像装置１が実行する処理の全体の流れについて説明する。図９は、撮像装置１が実行する処理の全体の流れを示したフローチャートである。
【００９５】
まず、撮像素子２００において信号転送部２２１が、各単位格子Ａに対応する各光電変換素子群２１０内で、２つの光電変換素子２１１からの画素信号をＦＤ２３０へと同時に転送する。これによって、２つの光電変換素子２１１からの画素信号が加算される（ステップＴ１）。次に、信号転送部２２１が、各光電変換素子群２１０内で、残りの２つの光電変換素子２１１からの画素信号をＦＤ２３０へと同時に転送する。これによって、残りの２つの光電変換素子２１１からの画素信号が加算される（ステップＴ２）。ステップＴ１及びステップＴ２では、図２（ｂ）の加算パターンの配置に従って各光電変換素子群２１０内での画素加算が実行される。そして、撮像素子２００は、ステップＴ１での加算結果とステップＴ２での加算結果とから生成されたＧ，Ｙｅ，Ｍｇ及びＣｙの各信号から、ベイヤー互換配置信号を生成し、画像処理部３００へと出力する（ステップＴ３）。
【００９６】
次に、画像処理部３００のＯＢ補正部３１１は、撮像素子２００からのベイヤー互換配列信号に光学的黒補正処理を施す（ステップＴ４）。次に、シェーディング補正部３１２は、ベイヤー互換配列信号にシェーディング補正処理を施す（ステップＴ５）。次に、ＷＢ補正部３１３は、ベイヤー互換配列信号にホワイトバランス補正処理を施す（ステップＴ６）。このときの補正値は、後述のステップＴ１２において算出されたものが用いられる。次に、色補間部３１４が、ベイヤー互換配列信号から、Ｒ，Ｇ及びＢの全ての色の情報が画素ごとに決定されたＲＧＢ信号を生成する（ステップＴ７）。次に、色補正部３１５は、色再現マトリクスを用いてＲＧＢ信号を補正する（ステップＴ８）。次に、ガンマ補正部３１６は、ＲＧＢ信号に階調変換及びガンマ変換を施す（ステップＴ９）。そして、画像処理部３００は、ＲＧＢ信号を輝度信号Ｙ及び色差信号Ｃｂ，Ｃｒに変換して出力する（ステップＴ１０）。
【００９７】
一方、ステップＴ５でシェーディング補正処理が施されたベイヤー互換配列信号は、ＷＢ補正部３１３のみならずＡＥ統計値算出部３２１等にも出力される。ＡＥ統計値算出部３２１等は、ベイヤー互換配列信号に基づいて露出調整用の統計値等を算出する（ステップＴ１１）。そして、ステップＴ１１で算出された各統計値に基づいて、補正値算出部３４０がホワイトバランスゲイン係数を補正値として算出し（ステップＴ１２）、ＡＥ制御部３３１及びＡＦ制御部３３２が露出調整やオートフォーカス制御を実行する（ステップＴ１３）。ステップＴ１２で補正値として算出されたホワイトバランスゲイン係数は、ステップＴ６において補正処理に用いられる。
【００９８】
以上説明した本実施の形態によると、撮像素子２００が、図２（ｂ）に示すように、ベイヤー配列と同様の配列関係を有するベイヤー互換配列信号を出力するため、ベイヤー配列を前提とする画像処理をそのまま流用しやすい。例えば、図５（ａ）は、本実施の形態において、ホワイトバランス補正処理に係る補正値を算出する構成を示している。これに対して図５（ｂ）は、ベイヤー配列の信号に基づいて補正値を算出する従来構成の一例である。図５（ｂ）のＷＢ統計値算出部５２３は、ベイヤー配列の信号のうち、Ｇｒ信号、Ｒ信号、Ｂ信号及びＧｂ信号がそれぞれ入力されるＧｒ積算部５２３ａ、Ｒ積算部５２３ｂ、Ｂ積算部５２３ｃ及びＧｂ積算部５２３ｄを有している。Ｇｒ積算部５２３ａ〜Ｇｂ積算部５２３ｄは、Ｇｒ、Ｒ、Ｂ及びＧｂに関する積算値を統計値としてそれぞれ算出する。このように、ＷＢ統計値算出部５２３には、ベイヤー配列の順序を前提に各信号が入力される。一方、本実施の形態のＷＢ統計値算出部３２３では、ベイヤー配列におけるＧｒ，Ｒ，Ｂ及びＧｂと対応する順序を有するベイヤー互換配列信号を前提にＧ信号、Ｙｅ信号、Ｍｇ信号及びＣｙ信号が入力される。したがって、本実施の形態のＷＢ統計値算出部３２３として、ＷＢ統計値算出部５２３をそのまま流用することが可能である。
【００９９】
また、図５（ｂ）の従来構成では、ＷＢ統計値算出部５２３ｂにおいて算出された積算値ΣＧｒ，ΣＲ，ΣＢ及びΣＧｂに基づいて、ＷＢゲイン算出部５４２がホワイトバランスゲイン係数Ｗｂ＿Ｒ、Ｗｂ＿Ｇ、Ｗｂ＿Ｂを算出する。つまり、ＷＢゲイン算出部５４２はＲＧＢベースでホワイトバランスゲインを算出するように構成されている。一方、本実施の形態の補正値算出部３４０では、統計値変換部３４１及びゲイン変換部３４３を設けることにより、ＷＢゲイン算出部３４２がＲＧＢベースでホワイトバランスゲインを算出できるように構成されている。したがって、本実施の形態のＷＢゲイン算出部３４２として、ＷＢゲイン算出部５４２を流用することが可能である。
【０１００】
このような事情は図４（ａ）〜図４（ｄ）の構成においても同様である。従来構成の光学的黒補正用の統計値算出部はＧｒ積算部，Ｒ積算部，Ｂ積算部及びＧｂ積算部を有し、これらの積算部にはベイヤー配列の順序を前提に各信号が入力される。一方、本実施の形態のＯＢ統計値算出部３２４も、図４（ａ）に示すように、ベイヤー配列におけるＧｒ，Ｒ，Ｂ及びＧｂと対応する順序でＧ、Ｙｅ、Ｍｇ及びＣｙが配列されたベイヤー互換配列信号を前提に各信号が入力される。したがって、従来構成のＧｒ積算部，Ｒ積算部，Ｂ積算部及びＧｂ積算部をそのままＧ積算部３２４ａ、Ｙｅ積算部３２４ｂ、Ｍｇ積算部３２４ｃ及びＣｙ積算部３２４ｄに流用できる。同様に、図４（ｂ）のＡＥ統計値算出部３２１におけるＧ積算部３２１ａ、Ｙｅ積算部３２１ｂ、Ｍｇ積算部３２１ｃ及びＣｙ積算部３２１ｄにも従来構成におけるＡＥ統計値算出部を流用できる。
【０１０１】
さらに、従来構成のオートフォーカス用の統計値算出部は、ベイヤー配列の単位格子Ａごとに輝度値を算出し、その高周波成分の絶対値を積算するものである。一方、本実施の形態のＡＦ統計値算出部３２２も、図４（ｃ）に示すように、ベイヤー互換配列信号の単位格子Ｂごとに輝度値を算出し、その高周波成分の絶対値を積算するものであり、輝度値を算出する際の係数ｋＧ、ｋＹｅ、ｋＭｇ及びｋＣｙが従来構成と異なるのみである。したがって、やはり、ＡＦ統計値算出部３２２として従来構成を流用できる。
【０１０２】
また、Ｇ，Ｙｅ，Ｍｇ及びＣｙの補色フィルタを採用した従来構成の撮像素子から出力される信号の場合、ホワイトバランス補正などの統計値を算出する際は、色補間により画素ごとにＲＧＢが決定された信号を生成してから統計値を算出することが通常である。これに対して本実施の形態によると、色補間前のベイヤー互換配列信号におけるＧ，Ｙｅ，Ｍｇ及びＣｙのそれぞれの積算値を算出しているため、色補間後の信号においてＲＧＢの積算値を算出する場合と比べて、取り扱う画素数が１／３で済む。このため、本実施の形態に採用されている方法によると、従来方法を採用する場合と比べて統計値を算出するための演算量を低下させることができる。
【０１０３】
また、本実施の形態によると、画素信号の加算は、単位格子Ａに対応する光電変換素子群２１０内で行われる。そして、光電変換素子群２１０内で、光電変換素子２１１からの異色の画素信号同士が加算される。これに対して、常に同色の画素が加算される構成とする場合、Ｂ同士やＲ同士の加算が行われるためには、異なる単位格子に対応する光電変換素子２１１同士で画素が加算されなければならない。しかし、この場合は、複数の単位格子を跨いで画素加算のための配線が施される必要があり、画素を加算するための画素構成が困難になる。これに対して本実施形態によると、光電変換素子群２１０内で、光電変換素子２１１からの異色の画素信号同士が加算されるので、画素を加算するための画素構成が容易である。
【０１０４】
また、単位格子Ａに対応する４つの光電変換素子２１１に関して１つのＦＤが共有されている。このような基本構成は、撮像素子の小型化を実現するための既存の画素構成である。本実施の形態では、このような既存の画素構成において転送制御信号線の配線と転送トランジスタの駆動方法を調整することにより、適切な画素加算が実行されている。したがって、既存の回路構成から大きく変更されることなく、小型化された撮像素子２００が実現する。
【０１０５】
（変形例）
以上は、本発明の一実施の形態についての説明であるが、本発明は上述の実施の形態に限られるものではなく、課題を解決するための手段に記載された範囲の限りにおいて、以下に例を挙げるとおり、様々な変更が可能なものである。
【０１０６】
［１］上述の実施の形態では、光電変換素子２１１からの電荷を転送する信号転送部２２１を制御する転送制御部２２２が、撮像素子２００内に設けられている。しかし、この転送制御部２２２が撮像素子２００を駆動装置として撮像素子２００とは独立に設けられてもよい。例えば、撮像素子２００に転送制御信号線と接続された外部端子が設けられており、この外部端子を介して、上記の駆動装置が各転送制御信号線と接続される。そして、この駆動装置が、第１の実施形態の転送制御部２２２と同様に転送制御信号線を通じて転送トランジスタを駆動することで、撮像素子２００からベイヤー互換配列信号を出力させるように構成されていてもよい。この場合、転送制御信号線が、各光電変換素子２１１からの出力信号を加算してベイヤー互換配列信号を出力できるように配線されていれば、既存の画素構成の撮像素子が用いられてよい。
【０１０７】
［２］上述の実施の形態では、撮像素子内で画素を加算する構成が採用されている。しかし、本発明は、撮像素子から出力されたＲ，Ｇ及びＢの各色からなるベイヤー配列の画素信号を加算することにより、画像処理によってベイヤー互換配列信号を生成する画像処理装置として実現されてもよい。この場合、撮像素子としては、Ｒ，Ｇ及びＢの各色からなるベイヤー配列の画素信号を出力する従来の撮像素子が用いられてよい。この画像処理装置は、撮像素子からの画像信号において、ベイヤー配列の単位格子ごとに２つの画素信号同士をサンプリングすると共に、サンプリングした画素を加算することでベイヤー互換配列信号を生成する。このため、この画像処理装置では、画素を加算する際のサンプリングの個数が限られており、サンプリング数が多い従来技術と比べて、１フレーム当たりにおけるサンプリング画素の読み出しに必要な処理量や画素を加算する処理量が少ない。したがって、例えば従来と同じフレームレートで画像が処理される場合には、単位時間当たりの処理量が少ないため消費電力が低減される。また、単位時間当たりの処理量が従来の場合と同じである場合には、フレームレートを増加させることができる。
【０１０８】
［３］上述の実施の形態においては、ＡＥ制御部３３１がΣＧ，ΣＹｅ，ΣＭｇ及びΣＣｙをΣＲ，ΣＧ及びΣＢに変換してからｋＲ，ｋＧ、ｋＢを掛けて輝度積算値を算出している。しかし、ｋＲ，ｋＧ，ｋＢを数式１の変換行列を用いてあらかじめ変換したｋＧ、ｋＹｅ、ｋＭｇ及びｋＣｙを用いて、輝度積算値ΣＹ＝ｋＧ＊ΣＧ＋ｋＹｅ＊ΣＹｅ＋ｋＭｇ＊ΣＭｇ＋ｋＣｙ＊ΣＣｙのように輝度積算値を直接算出してもよい。
【０１０９】
［４］上述の実施の形態においては、図７の回路構成に出力切り替え部４１を設けることにより、単位回路４０の偶数行からの出力を行方向に入れ替えている。しかし、出力切り替え部４１を設けず、単位回路４０からの信号をＡＦＥ部２４０へと順序を入れ替えずに出力し、ＡＤＣ部２４３によってデジタル信号に変換された後で、信号の順序を入れ替える構成としてもよい。デジタル信号において画素信号の順序を入れ替える場合、単位格子Ｂ内のＧ，Ｍｇ、Ｙｅ及びＣｙの配置が異なる変形例にも対応しやすい。
【０１１０】
［５］上述の実施の形態においては、図７に示す回路構成により、さまざまな加算パターンに対応する画素加算が実行可能である。例えば、上述の実施の形態では、単位格子Ａ内の画素を斜めに加算する加算パターンＸと、縦に加算する加算パターンＶとを用いている。しかし、図１０（ｂ）に示すように、単位格子Ａ内の画素を横に加算する加算パターンＨを用いることもできる。また、上述の実施の形態では加算パターンＸと加算パターンＶとを行方向及び列方向に交互に繰り返している。しかし、図１０（ｃ）に示すように、加算パターンＨも用い、奇数行は加算パターンＸと加算パターンＶを交互に繰り返し、偶数行は加算パターンＸと加算パターンＨを交互に繰り返してもよい。その他、図１０（ｄ）に示すように、加算パターンＸと加算パターンＶのそれぞれを列方向に揃うように配置してもよい。
【０１１１】
［６］上述の実施の形態においては、単位格子Ｂ内のＧ，Ｙｅ、Ｍｇ及びＣｙの具体的な配置を図２（ｂ）に示すものとしている。しかし、各単位格子内におけるＧ，Ｙｅ、Ｍｇ及びＣｙの具体的な配置がどのようなものであっても、撮像素子２００から出力される信号が全体として単位格子が行方向及び列方向に繰り返す信号である限り、ＡＦ統計値算出部３２３等として従来構成を流用することができる。したがって、例えば、列方向に位置関係を変えた図１０（ｅ）の単位格子Ｂ’に示すような配置であってもよいし、その他の配置であってもよい。図１０（ｅ）のように列方向に位置関係を変えるのは、図７の回路構成において、例えばＢとＲの加算結果を出力してからＧｒとＧｂの加算結果を出力するといったように、画素加算の結果を出力する順序を変更することで実現できる。また、行方向に位置関係を変えるのは、図７の回路構成において、出力切り替え部４１のモードを切り替えて画素加算の結果を出力することにより実現できる。
【０１１２】
［７］上述の実施の形態においては、各種統計値を算出する構成として、光学的黒補正、ホワイトバランス補正、露出調整及びオートフォーカス用の統計値を算出する構成について説明している。そして、これらの構成に関して従来構成を流用できるとしている。しかし、その他の補正処理に用いる統計値等を算出する際にも従来構成を流用できる場合はある。例えば、シェーディング補正処理に関しても従来構成を流用可能であるし、いわゆるＯＥＣＦ補正処理やＤｅｋｎｅｅ処理に関しても従来構成を流用可能である。
【０１１３】
［８］上述の実施の形態においては、信号の補正処理用や撮像光学系１００の制御用の統計値として、積算値（加算値）を算出する場合を主に想定している。しかし、信号の補正処理用や撮像光学系１００の制御用の統計値として、平均値や分散等のその他の統計値を算出する場合に本発明が適用されてもよい。
【符号の説明】
【０１１４】
１…撮像装置、４０（４０ａ〜４０ｄ）…単位回路、１００…撮像光学系、２００…撮像素子、２０９…遮光部材、２１０…光電変換素子群、２１１…光電変換素子、２２１…信号転送部、２２２…転送制御部、２４０…ＡＦＥ部、３００…画像処理部、３１１…ＯＢ補正部、３１３…ＷＢ補正部、３２１…ＡＥ統計値算出部、３２２…ＡＦ統計値算出部、３２３…ＷＢ統計値算出部、３２４…ＯＢ統計値算出部、３３１…ＡＥ制御部、３３２…ＡＦ制御部、３４０…補正値算出部、３４１…統計値変換部、３４２…ゲイン算出部、３４３…ゲイン変換部、Ａ，Ｂ…単位格子
【特許請求の範囲】
【請求項１】
Ｒ（赤）、Ｇ（緑）及びＢ（青）の３原色からなる２行２列の第１の単位格子が並んだベイヤー（Ｂａｙｅｒ）配列で配列された複数のカラーフィルタと、
前記カラーフィルタを透過した光の強度に応じたアナログ信号を出力する前記カラーフィルタごとに設けられた光電変換素子と、
前記第１の単位格子ごとに、４つの前記カラーフィルタのうち異なる色の２つの前記カラーフィルタに対応する２つの前記光電変換素子からの出力信号同士を加算すると共に、残りの２つの前記カラーフィルタに対応する２つの前記光電変換素子からの出力信号同士を加算し、それぞれの加算結果に応じたアナログ信号を出力する信号加算回路と、
前記信号加算回路からの出力信号をデジタル信号に変換して出力するＡ／Ｄ変換部とを備え、
前記信号加算回路からの出力信号に基づいて、Ｇ、Ｙｅ（黄）、Ｍｇ（マゼンタ）及びＣｙ（シアン）が所定の配列で並んだ２行２列の第２の単位格子が行方向及び列方向に繰り返し並んだデジタル画像信号を出力する、
ことを特徴とする撮像素子。
【請求項２】
前記信号加算回路が、前記第１の単位格子ごとに、互いに異なる第１及び第２のパターンのいずれかで前記光電変換素子からの出力信号を加算し、
前記第１のパターンが、前記第１の単位格子内において、２つのＧの前記カラーフィルタに対応する２つの前記光電変換素子からの出力信号を加算すると共に、ＲとＢの前記カラーフィルタに対応する２つの前記光電変換素子からの出力信号を加算するパターンであり、
前記第２のパターンが、前記第１の単位格子内において、列方向に並んだＧとＢの前記カラーフィルタに対応する２つの前記光電変換素子からの出力信号を加算すると共に、列方向に並んだＲとＧのカラーフィルタに対応する２つの前記光電変換素子からの出力信号を加算するパターンである、
ことを特徴とする請求項１に記載の撮像素子。
【請求項３】
前記信号加算回路が、行方向及び列方向のそれぞれに関して前記第１のパターンと前記第２のパターンとを交互に繰り返して前記第１の単位格子ごとに前記光電変換素子からの出力信号を加算する、
ことを特徴とする請求項２に記載の撮像素子。
【請求項４】
前記信号加算回路が、
前記光電変換素子が発生させた電荷を転送する前記光電変換素子ごとに設けられた転送トランジスタを有し、１つの前記第１の単位格子に対応する４つの前記転送トランジスタに関して共有されたフローティングディフュージョンに対して、２つの前記転送トランジスタから同時に電荷を転送させる、
ことを特徴とする請求項１〜３のいずれか１項に記載の撮像素子。
【請求項５】
前記転送トランジスタに転送制御信号を送信する転送制御信号線が、前記第１の単位格子の１行ごとに８本設けられ、
行方向に１つおきに隣接する複数の前記第１の単位格子同士で、前記８本の転送制御信号線のうちの４本が、各単位格子における４つの前記転送トランジスタ用として共用されている、
ことを特徴とする請求項４に記載の撮像素子。
【請求項６】
Ｒ（赤）、Ｇ（緑）及びＢ（青）の３原色からなる２行２列の第１の単位格子が並んだベイヤー（Ｂａｙｅｒ）配列で配列された複数のカラーフィルタと、前記カラーフィルタを透過した光の強度に応じたアナログ信号を出力する前記カラーフィルタごとに設けられた光電変換素子と、前記光電変換素子からの出力信号同士を加算し、その加算結果に応じたアナログ信号を出力する信号加算回路と、前記信号加算回路からの出力信号をデジタル信号に変換して出力するＡ／Ｄ変換部とを備えている撮像素子を駆動する駆動装置であって、
前記信号加算回路からの出力信号が、前記第１の単位格子ごとに、４つの前記カラーフィルタのうち異なる色の２つの前記カラーフィルタに対応する２つの前記光電変換素子からの出力信号同士を加算すると共に、残りの２つの前記カラーフィルタに対応する２つの前記光電変換素子からの出力信号同士を加算した結果となるように、前記信号加算回路を制御し、
前記信号加算回路からの出力信号に基づいて、Ｇ、Ｙｅ（黄）、Ｍｇ（マゼンタ）及びＣｙ（シアン）が所定の配列で並んだ２行２列の第２の単位格子が行方向及び列方向に繰り返し並んだデジタル画像信号を、前記撮像素子から出力させる、
ことを特徴とする撮像素子の駆動装置。
【請求項７】
Ｒ（赤）、Ｇ（緑）及びＢ（青）の３原色からなる２行２列の第１の単位格子が並んだベイヤー（Ｂａｙｅｒ）配列で配列された複数のカラーフィルタと、前記カラーフィルタを透過した光の強度に応じたアナログ信号を出力する前記カラーフィルタごとに設けられた光電変換素子と、前記光電変換素子からの出力信号同士を加算し、その加算結果に応じたアナログ信号を出力する信号加算回路と、前記信号加算回路からの出力信号をデジタル信号に変換して出力するＡ／Ｄ変換部とを備えている撮像素子を駆動する駆動方法であって、
前記信号加算回路からの出力信号が、前記第１の単位格子ごとに、４つの前記カラーフィルタのうち異なる色の２つの前記カラーフィルタに対応する２つの前記光電変換素子からの出力信号同士を加算すると共に、残りの２つの前記カラーフィルタに対応する２つの前記光電変換素子からの出力信号同士を加算した結果となるように、前記信号加算回路を制御し、
前記信号加算回路からの出力信号に基づいて、Ｇ、Ｙｅ（黄）、Ｍｇ（マゼンタ）及びＣｙ（シアン）が所定の配列で並んだ２行２列の第２の単位格子が行方向及び列方向に繰り返し並んだデジタル画像信号を、前記撮像素子から出力させる、
ことを特徴とする撮像素子の駆動方法。
【請求項８】
請求項１〜５のいずれか１項に記載の撮像素子と、
前記撮像素子から出力されたデジタル画像信号に基づいて、Ｇ、Ｙｅ、Ｍｇ及びＣｙのそれぞれに関して画像調整用又は撮像光学系の駆動制御用の統計値を算出する統計値算出手段と、
を備えていることを特徴とする画像処理装置。
【請求項９】
前記光電変換素子への光の入射を遮断する遮光手段が前記撮像素子に設けられており、
前記統計値算出手段が、
前記デジタル画像信号のうち、前記遮光手段によって光の入射が遮断された前記光電変換素子に対応する信号から、光学的黒補正用の前記統計値を算出することを特徴とする請求項８に記載の画像処理装置。
【請求項１０】
前記統計値算出手段が算出したＧ、Ｙｅ、Ｍｇ及びＣｙに関する前記統計値を線形変換してＧ、Ｒ及びＢに関する前記統計値を算出する統計値変換手段と、
前記統計値変換手段が算出した前記統計値からＧ、Ｒ及びＢに関するホワイトバランス補正用の補正値を算出する補正値算出手段と、
前記補正値算出手段が算出したＧ、Ｒ及びＢに関する前記補正値を線形変換してＧ、Ｙｅ、Ｍｇ及びＣｙに関する前記補正値を算出する補正値変換手段と、
をさらに備えていることを特徴とする請求項８又は９に記載の画像処理装置。
【請求項１１】
前記統計値算出手段が算出したＧ、Ｙｅ、Ｍｇ及びＣｙに関する前記統計値を線形変換してＧ、Ｒ及びＢに関する前記統計値を算出する統計値変換手段と、
前記統計値変換手段が算出した前記統計値の線形和を取ることにより露出調整用の統計値を算出する露出用統計値算出手段と、
をさらに備えていることを特徴とする請求項８又は９に記載の画像処理装置。
【請求項１２】
請求項１〜５のいずれか１項に記載の撮像素子と、
前記撮像素子から出力されたデジタル画像信号におけるＧ、Ｙｅ、Ｍｇ及びＣｙの画素値の線形和を取ることにより前記第２の単位格子のそれぞれに関して輝度値を算出する輝度値算出手段と、
前記輝度値算出手段が算出した輝度値からオートフォーカス用の統計値を算出するオートフォーカス用統計値算出手段と、
を備えていることを特徴とする画像処理装置。
【請求項１３】
Ｒ（赤）、Ｇ（緑）及びＢ（青）の３原色からなる２行２列の第１の単位格子が並んだベイヤー（Ｂａｙｅｒ）配列で配列された複数のカラーフィルタと、
前記カラーフィルタを透過した光の強度を示す画素信号を前記カラーフィルタごとに算出する画素信号算出手段と、
前記第１の単位格子ごとに、４つの前記カラーフィルタのうち異なる色の２つの前記カラーフィルタに対応する２つの前記光電変換素子からの出力信号同士を加算すると共に、残りの２つの前記カラーフィルタに対応する２つの前記光電変換素子からの出力信号同士を加算し、それぞれの加算結果に応じた信号を出力する信号加算手段とを備え、
前記信号加算回路からの出力信号に基づいて、Ｇ、Ｙｅ（黄）、Ｍｇ（マゼンタ）及びＣｙ（シアン）が所定の配列で並んだ２行２列の第２の単位格子が行方向及び列方向に繰り返し並んだデジタル画像信号を生成する、
ことを特徴とする画像処理装置。
【請求項１４】
請求項１〜５のいずれか１項に記載の撮像素子から出力されたデジタル画像信号を処理する画像処理方法であって、
前記デジタル画像信号に基づいて、Ｇ、Ｙｅ、Ｍｇ及びＣｙのそれぞれに関して画像調整用又は撮像光学系の駆動制御用の統計値を算出することを特徴とする画像処理方法。
【請求項１５】
請求項１〜５のいずれか１項に記載の撮像素子から出力されたデジタル画像信号を処理する画像処理方法であって、
前記デジタル画像信号におけるＧ、Ｙｅ、Ｍｇ及びＣｙの画素値の線形和を取ることにより前記第２の単位格子のそれぞれに関して輝度値を算出する輝度値算出ステップと、
前記輝度値算出ステップにおいて算出された輝度値からオートフォーカス用の統計値を算出するオートフォーカス用統計値算出ステップと、
を備えていることを特徴とする画像処理方法。
【請求項１６】
請求項１〜５のいずれか１項に記載の撮像素子から出力されたデジタル画像信号をコンピュータに処理させるプログラムであって、
前記デジタル画像信号に基づいて、Ｇ、Ｙｅ、Ｍｇ及びＣｙのそれぞれに関して画像調整用又は撮像光学系の駆動制御用の統計値をコンピュータに算出させることを特徴とするプログラム。
【請求項１７】
請求項１〜５のいずれか１項に記載の撮像素子から出力されたデジタル画像信号をコンピュータに処理させるプログラムであって、
前記デジタル画像信号におけるＧ、Ｙｅ、Ｍｇ及びＣｙの画素値の線形和を取ることにより前記第２の単位格子のそれぞれに関して輝度値を算出する輝度値算出ステップと、
前記輝度値算出ステップにおいて算出された輝度値からオートフォーカス用の統計値を算出するオートフォーカス用統計値算出ステップと、
をコンピュータに実行させることを特徴とするプログラム。
【請求項１８】
被写体像を結像させる撮像光学系と、
前記撮像光学系が結像させた被写体像を光電変換して出力する請求項１〜５のいずれか１項に記載の撮像素子と、
前記撮像素子から出力された出力信号に対して所定の画像処理を加え、前記被写体像を再現する画像処理手段と、
を備えていることを特徴とする撮像装置。
【請求項１】
Ｒ（赤）、Ｇ（緑）及びＢ（青）の３原色からなる２行２列の第１の単位格子が並んだベイヤー（Ｂａｙｅｒ）配列で配列された複数のカラーフィルタと、
前記カラーフィルタを透過した光の強度に応じたアナログ信号を出力する前記カラーフィルタごとに設けられた光電変換素子と、
前記第１の単位格子ごとに、４つの前記カラーフィルタのうち異なる色の２つの前記カラーフィルタに対応する２つの前記光電変換素子からの出力信号同士を加算すると共に、残りの２つの前記カラーフィルタに対応する２つの前記光電変換素子からの出力信号同士を加算し、それぞれの加算結果に応じたアナログ信号を出力する信号加算回路と、
前記信号加算回路からの出力信号をデジタル信号に変換して出力するＡ／Ｄ変換部とを備え、
前記信号加算回路からの出力信号に基づいて、Ｇ、Ｙｅ（黄）、Ｍｇ（マゼンタ）及びＣｙ（シアン）が所定の配列で並んだ２行２列の第２の単位格子が行方向及び列方向に繰り返し並んだデジタル画像信号を出力する、
ことを特徴とする撮像素子。
【請求項２】
前記信号加算回路が、前記第１の単位格子ごとに、互いに異なる第１及び第２のパターンのいずれかで前記光電変換素子からの出力信号を加算し、
前記第１のパターンが、前記第１の単位格子内において、２つのＧの前記カラーフィルタに対応する２つの前記光電変換素子からの出力信号を加算すると共に、ＲとＢの前記カラーフィルタに対応する２つの前記光電変換素子からの出力信号を加算するパターンであり、
前記第２のパターンが、前記第１の単位格子内において、列方向に並んだＧとＢの前記カラーフィルタに対応する２つの前記光電変換素子からの出力信号を加算すると共に、列方向に並んだＲとＧのカラーフィルタに対応する２つの前記光電変換素子からの出力信号を加算するパターンである、
ことを特徴とする請求項１に記載の撮像素子。
【請求項３】
前記信号加算回路が、行方向及び列方向のそれぞれに関して前記第１のパターンと前記第２のパターンとを交互に繰り返して前記第１の単位格子ごとに前記光電変換素子からの出力信号を加算する、
ことを特徴とする請求項２に記載の撮像素子。
【請求項４】
前記信号加算回路が、
前記光電変換素子が発生させた電荷を転送する前記光電変換素子ごとに設けられた転送トランジスタを有し、１つの前記第１の単位格子に対応する４つの前記転送トランジスタに関して共有されたフローティングディフュージョンに対して、２つの前記転送トランジスタから同時に電荷を転送させる、
ことを特徴とする請求項１〜３のいずれか１項に記載の撮像素子。
【請求項５】
前記転送トランジスタに転送制御信号を送信する転送制御信号線が、前記第１の単位格子の１行ごとに８本設けられ、
行方向に１つおきに隣接する複数の前記第１の単位格子同士で、前記８本の転送制御信号線のうちの４本が、各単位格子における４つの前記転送トランジスタ用として共用されている、
ことを特徴とする請求項４に記載の撮像素子。
【請求項６】
Ｒ（赤）、Ｇ（緑）及びＢ（青）の３原色からなる２行２列の第１の単位格子が並んだベイヤー（Ｂａｙｅｒ）配列で配列された複数のカラーフィルタと、前記カラーフィルタを透過した光の強度に応じたアナログ信号を出力する前記カラーフィルタごとに設けられた光電変換素子と、前記光電変換素子からの出力信号同士を加算し、その加算結果に応じたアナログ信号を出力する信号加算回路と、前記信号加算回路からの出力信号をデジタル信号に変換して出力するＡ／Ｄ変換部とを備えている撮像素子を駆動する駆動装置であって、
前記信号加算回路からの出力信号が、前記第１の単位格子ごとに、４つの前記カラーフィルタのうち異なる色の２つの前記カラーフィルタに対応する２つの前記光電変換素子からの出力信号同士を加算すると共に、残りの２つの前記カラーフィルタに対応する２つの前記光電変換素子からの出力信号同士を加算した結果となるように、前記信号加算回路を制御し、
前記信号加算回路からの出力信号に基づいて、Ｇ、Ｙｅ（黄）、Ｍｇ（マゼンタ）及びＣｙ（シアン）が所定の配列で並んだ２行２列の第２の単位格子が行方向及び列方向に繰り返し並んだデジタル画像信号を、前記撮像素子から出力させる、
ことを特徴とする撮像素子の駆動装置。
【請求項７】
Ｒ（赤）、Ｇ（緑）及びＢ（青）の３原色からなる２行２列の第１の単位格子が並んだベイヤー（Ｂａｙｅｒ）配列で配列された複数のカラーフィルタと、前記カラーフィルタを透過した光の強度に応じたアナログ信号を出力する前記カラーフィルタごとに設けられた光電変換素子と、前記光電変換素子からの出力信号同士を加算し、その加算結果に応じたアナログ信号を出力する信号加算回路と、前記信号加算回路からの出力信号をデジタル信号に変換して出力するＡ／Ｄ変換部とを備えている撮像素子を駆動する駆動方法であって、
前記信号加算回路からの出力信号が、前記第１の単位格子ごとに、４つの前記カラーフィルタのうち異なる色の２つの前記カラーフィルタに対応する２つの前記光電変換素子からの出力信号同士を加算すると共に、残りの２つの前記カラーフィルタに対応する２つの前記光電変換素子からの出力信号同士を加算した結果となるように、前記信号加算回路を制御し、
前記信号加算回路からの出力信号に基づいて、Ｇ、Ｙｅ（黄）、Ｍｇ（マゼンタ）及びＣｙ（シアン）が所定の配列で並んだ２行２列の第２の単位格子が行方向及び列方向に繰り返し並んだデジタル画像信号を、前記撮像素子から出力させる、
ことを特徴とする撮像素子の駆動方法。
【請求項８】
請求項１〜５のいずれか１項に記載の撮像素子と、
前記撮像素子から出力されたデジタル画像信号に基づいて、Ｇ、Ｙｅ、Ｍｇ及びＣｙのそれぞれに関して画像調整用又は撮像光学系の駆動制御用の統計値を算出する統計値算出手段と、
を備えていることを特徴とする画像処理装置。
【請求項９】
前記光電変換素子への光の入射を遮断する遮光手段が前記撮像素子に設けられており、
前記統計値算出手段が、
前記デジタル画像信号のうち、前記遮光手段によって光の入射が遮断された前記光電変換素子に対応する信号から、光学的黒補正用の前記統計値を算出することを特徴とする請求項８に記載の画像処理装置。
【請求項１０】
前記統計値算出手段が算出したＧ、Ｙｅ、Ｍｇ及びＣｙに関する前記統計値を線形変換してＧ、Ｒ及びＢに関する前記統計値を算出する統計値変換手段と、
前記統計値変換手段が算出した前記統計値からＧ、Ｒ及びＢに関するホワイトバランス補正用の補正値を算出する補正値算出手段と、
前記補正値算出手段が算出したＧ、Ｒ及びＢに関する前記補正値を線形変換してＧ、Ｙｅ、Ｍｇ及びＣｙに関する前記補正値を算出する補正値変換手段と、
をさらに備えていることを特徴とする請求項８又は９に記載の画像処理装置。
【請求項１１】
前記統計値算出手段が算出したＧ、Ｙｅ、Ｍｇ及びＣｙに関する前記統計値を線形変換してＧ、Ｒ及びＢに関する前記統計値を算出する統計値変換手段と、
前記統計値変換手段が算出した前記統計値の線形和を取ることにより露出調整用の統計値を算出する露出用統計値算出手段と、
をさらに備えていることを特徴とする請求項８又は９に記載の画像処理装置。
【請求項１２】
請求項１〜５のいずれか１項に記載の撮像素子と、
前記撮像素子から出力されたデジタル画像信号におけるＧ、Ｙｅ、Ｍｇ及びＣｙの画素値の線形和を取ることにより前記第２の単位格子のそれぞれに関して輝度値を算出する輝度値算出手段と、
前記輝度値算出手段が算出した輝度値からオートフォーカス用の統計値を算出するオートフォーカス用統計値算出手段と、
を備えていることを特徴とする画像処理装置。
【請求項１３】
Ｒ（赤）、Ｇ（緑）及びＢ（青）の３原色からなる２行２列の第１の単位格子が並んだベイヤー（Ｂａｙｅｒ）配列で配列された複数のカラーフィルタと、
前記カラーフィルタを透過した光の強度を示す画素信号を前記カラーフィルタごとに算出する画素信号算出手段と、
前記第１の単位格子ごとに、４つの前記カラーフィルタのうち異なる色の２つの前記カラーフィルタに対応する２つの前記光電変換素子からの出力信号同士を加算すると共に、残りの２つの前記カラーフィルタに対応する２つの前記光電変換素子からの出力信号同士を加算し、それぞれの加算結果に応じた信号を出力する信号加算手段とを備え、
前記信号加算回路からの出力信号に基づいて、Ｇ、Ｙｅ（黄）、Ｍｇ（マゼンタ）及びＣｙ（シアン）が所定の配列で並んだ２行２列の第２の単位格子が行方向及び列方向に繰り返し並んだデジタル画像信号を生成する、
ことを特徴とする画像処理装置。
【請求項１４】
請求項１〜５のいずれか１項に記載の撮像素子から出力されたデジタル画像信号を処理する画像処理方法であって、
前記デジタル画像信号に基づいて、Ｇ、Ｙｅ、Ｍｇ及びＣｙのそれぞれに関して画像調整用又は撮像光学系の駆動制御用の統計値を算出することを特徴とする画像処理方法。
【請求項１５】
請求項１〜５のいずれか１項に記載の撮像素子から出力されたデジタル画像信号を処理する画像処理方法であって、
前記デジタル画像信号におけるＧ、Ｙｅ、Ｍｇ及びＣｙの画素値の線形和を取ることにより前記第２の単位格子のそれぞれに関して輝度値を算出する輝度値算出ステップと、
前記輝度値算出ステップにおいて算出された輝度値からオートフォーカス用の統計値を算出するオートフォーカス用統計値算出ステップと、
を備えていることを特徴とする画像処理方法。
【請求項１６】
請求項１〜５のいずれか１項に記載の撮像素子から出力されたデジタル画像信号をコンピュータに処理させるプログラムであって、
前記デジタル画像信号に基づいて、Ｇ、Ｙｅ、Ｍｇ及びＣｙのそれぞれに関して画像調整用又は撮像光学系の駆動制御用の統計値をコンピュータに算出させることを特徴とするプログラム。
【請求項１７】
請求項１〜５のいずれか１項に記載の撮像素子から出力されたデジタル画像信号をコンピュータに処理させるプログラムであって、
前記デジタル画像信号におけるＧ、Ｙｅ、Ｍｇ及びＣｙの画素値の線形和を取ることにより前記第２の単位格子のそれぞれに関して輝度値を算出する輝度値算出ステップと、
前記輝度値算出ステップにおいて算出された輝度値からオートフォーカス用の統計値を算出するオートフォーカス用統計値算出ステップと、
をコンピュータに実行させることを特徴とするプログラム。
【請求項１８】
被写体像を結像させる撮像光学系と、
前記撮像光学系が結像させた被写体像を光電変換して出力する請求項１〜５のいずれか１項に記載の撮像素子と、
前記撮像素子から出力された出力信号に対して所定の画像処理を加え、前記被写体像を再現する画像処理手段と、
を備えていることを特徴とする撮像装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【公開番号】特開２０１２−６０４１２（Ｐ２０１２−６０４１２Ａ）
【公開日】平成２４年３月２２日（２０１２．３．２２）
【国際特許分類】
【出願番号】特願２０１０−２０１５９０（Ｐ２０１０−２０１５９０）
【出願日】平成２２年９月９日（２０１０．９．９）
【特許番号】特許第４８２５３１１号（Ｐ４８２５３１１）
【特許公報発行日】平成２３年１１月３０日（２０１１．１１．３０）
【出願人】（５０１３２４５２４）アキュートロジック株式会社 (53)
【Ｆターム（参考）】
【公開日】平成２４年３月２２日（２０１２．３．２２）
【国際特許分類】
【出願日】平成２２年９月９日（２０１０．９．９）
【特許番号】特許第４８２５３１１号（Ｐ４８２５３１１）
【特許公報発行日】平成２３年１１月３０日（２０１１．１１．３０）
【出願人】（５０１３２４５２４）アキュートロジック株式会社 (53)
【Ｆターム（参考）】
[ Back to top ]