固体撮像装置、撮像装置及び画像生成方法
【課題】加算単位を重畳させて画素加算を行うことが可能な固体撮像装置、撮像装置及び画像生成方法等を提供すること。
【解決手段】撮像装置は、画素アレイ部と、行走査部４と、Ａ／Ｄ変換部と、水平演算部８と、垂直演算部９を含む。加算対象となる画素の範囲である加算単位の列範囲を水平加算範囲とし、行範囲を垂直加算範囲とする。この場合に、水平演算部８は、行の画素値のうち水平加算範囲に含まれる画素値を、各列に重み付けして加算し、加算された画素値を水平加算画素値として出力する。垂直演算部９は、その水平加算画素値のうち垂直加算範囲に含まれる水平加算画素値を加算し、加算された水平加算画素値を加算画素値として出力する。水平演算部８は、第１の水平加算範囲と、第１の水平加算範囲と共通の画素を含む第２の水平加算範囲とを、水平加算範囲として水平加算画素値を出力する。
【解決手段】撮像装置は、画素アレイ部と、行走査部４と、Ａ／Ｄ変換部と、水平演算部８と、垂直演算部９を含む。加算対象となる画素の範囲である加算単位の列範囲を水平加算範囲とし、行範囲を垂直加算範囲とする。この場合に、水平演算部８は、行の画素値のうち水平加算範囲に含まれる画素値を、各列に重み付けして加算し、加算された画素値を水平加算画素値として出力する。垂直演算部９は、その水平加算画素値のうち垂直加算範囲に含まれる水平加算画素値を加算し、加算された水平加算画素値を加算画素値として出力する。水平演算部８は、第１の水平加算範囲と、第１の水平加算範囲と共通の画素を含む第２の水平加算範囲とを、水平加算範囲として水平加算画素値を出力する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、固体撮像装置、撮像装置及び画像生成方法等に関する。
【背景技術】
【０００２】
デジタルカメラやデジタルビデオカメラ等の撮像装置には、光学像を電気信号に変換する撮像素子が搭載されている。近年、この撮像素子において、ＣＣＤ（Charge Coupled Device、電荷結合素子）型からＣＭＯＳ（Complementary Metal Oxide Semiconductor、相補型金属酸化膜半導体）型への置き換えが加速しつつある。
【０００３】
近年のＣＭＯＳ型撮像素子は、撮像面に２次元状に配列された多数の画素の電荷を順次読み出すようになっており、その配列画素の列毎にＡ／Ｄ（Analog to Digital）変換機能を持たせた列並列Ａ／Ｄ変換器を素子上に搭載したものがある（例えば特許文献１、２）。
【０００４】
このＣＭＯＳ型撮像素子は、その特徴を生かして、フルスキャン以外にも様々な形態の画素信号を読み出すことができる。例えば、水平及び垂直方向に複数の画素を加算した信号を取り出すムービースキャンにより、多種の解像度に対応した画素数の読み出しが可能である。
【０００５】
ムービースキャン動作によりフルスキャン時よりも低解像度化する場合、フレームレートが向上して１画素あたりの蓄積時間が減少し、同時に読み出す信号量が減少することになる。画素加算の目的の一つは、信号量減少が引き起こす信号対雑音比の劣化を抑制することである。即ち、水平及び垂直で単純に間引き読み出し駆動を行うムービースキャンに比べて１画素あたりの信号量を加算により増やして読み出すことにより、擬似的な蓄積時間を増大させることである。
【０００６】
例えば特許文献１には、固体撮像装置が、列毎のＡ／Ｄ変換部と、列単位加算部と、Ａ／Ｄ変換部と列単位加算回路の間に設けられた入出力選択部と、を含み、列走査周波数を上げずに列加算動作を行う手法が開示されている。
【０００７】
また特許文献２には、列毎のＡ／Ｄ変換部を有する固体撮像装置が、画素アレイの同色画素において、加算対象となるライン間で重み付け係数を変更して画素加算を行い、均等加算による加算後の空間的重心位置不均一を解消する手法が開示されている。
【先行技術文献】
【特許文献】
【０００８】
【特許文献１】特開２００８−２９４９１３号公報
【特許文献２】特開２００９−２１２６２１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００９】
さて、画素加算により得られる画像は画素加算しない場合よりも低解像である。そのため、動画撮影中に高精細静止画を得たい場合には、例えば動画撮影中にシャッターが押された場合だけ静止画撮影を行う手法が考えられる。
【００１０】
しかしながら、この手法では、決定的瞬間にタイミングよくシャッターを押して静止画を取得することは難しい。そのため、画素加算による動画を撮影しておき、その動画から事後的に任意タイミングの高精細静止画を生成する手法が考えられる。
【００１１】
このような手法として、加算対象の画素の範囲である加算単位を重畳させて設定し、その加算単位に含まれる画素値を加算して低解像画像を取得し、その低解像動画から高精細静止画を復元する手法が考えられる。
【００１２】
しかしながら、従来の固体撮像装置では、加算対象の画素の範囲を重畳させずに画素加算を行うため（例えば上記特許文献１）、加算単位を重畳させて画素加算を行う手法を実現できないという課題がある。
【００１３】
また、上記特許文献２の手法では、画素加算における重み付け演算を、Ａ／Ｄ変換のクロック信号を変調することにより行う。そのため、行単位では比較的低速な動作で制御可能であるが、列単位の画素加算において、重畳された加算単位の画素加算を高速な動作で制御するには不適である。
【００１４】
本発明の幾つかの態様によれば、加算単位を重畳させて画素加算を行うことが可能な固体撮像装置、撮像装置及び画像生成方法等を提供できる。
【課題を解決するための手段】
【００１５】
本発明の一態様は、入射光を光電変換する複数の画素が配列された画素アレイ部と、前記画素アレイ部の行を選択し、垂直走査を行う行走査部と、選択された前記行の画素からのアナログ信号をデジタル信号の画素値に変換するＡ／Ｄ変換部と、加算対象となる画素の範囲である加算単位の列範囲を水平加算範囲とし、行範囲を垂直加算範囲とする場合に、前記行の前記画素値のうち前記水平加算範囲に含まれる前記画素値を、各列に重み付けして加算し、加算された前記画素値を水平加算画素値として出力する水平演算部と、前記水平加算画素値のうち前記垂直加算範囲に含まれる前記水平加算画素値を加算し、加算された前記水平加算画素値を加算画素値として出力する垂直演算部と、を含み、前記水平演算部は、第１の水平加算範囲と、前記第１の水平加算範囲と共通の画素を含む第２の水平加算範囲とを、前記水平加算範囲として前記水平加算画素値を出力する固体撮像装置に関係する。
【００１６】
本発明の一態様によれば、画素アレイ部の行が選択され、選択された行の画素からのアナログ信号がデジタル信号の画素値に変換される。その行の画素値のうち水平加算範囲に含まれる画素値が、各列に重み付けされて加算され、その加算値が水平加算画素値として出力される。このとき、第１の水平加算範囲と第２の水平加算範囲は共通の画素を含む。そして、その水平加算画素値のうち垂直加算範囲に含まれる水平加算画素値が加算され、その加算値が加算画素値として出力される。これにより、加算単位を重畳させて画素加算を行うことが可能になる。
【００１７】
また本発明の一態様では、前記水平演算部は、前記第１の水平加算範囲における前記共通の画素と、前記第２の水平加算範囲における前記共通の画素に対して、異なる重み係数による前記重み付けを行ってもよい。
【００１８】
このようにすれば、共通の画素に対して各加算範囲において独立した重み付けを行うことができる。これにより、加算単位が重畳する場合であっても、各加算単位においてそれぞれ重み付け加算を行うことができる。
【００１９】
また本発明の一態様では、前記第１の水平加算範囲が第１の画素と第２の画素を含み、前記第２の水平加算範囲が前記第２の画素と第３の画素を含む場合に、前記水平演算部は、前記第１〜第３の画素の画素値である第１〜第３の画素値を記憶するラインメモリーと、前記第１の画素値に対する第１の重み係数による重み付けと、前記第２の画素値に対する第２、第３の重み係数による重み付けと、前記第３の画素値に対する第４の重み係数による重み付けとを、行うウエイト演算部と、前記第１、第２の重み係数により重み付けされた前記第１、第２の画素値の加算と、前記第３、第４の重み係数により重み付けされた前記第２、第３の画素値の加算とを、行う水平加算部と、を有してもよい。
【００２０】
このようにすれば、第１の水平加算範囲と第２の水平加算範囲の共通の画素に対して、各水平加算範囲において異なる重み係数による重み付けを行う水平演算部を構成できる。
【００２１】
また本発明の一態様では、前記ウエイト演算部は、前記第１〜第４の重み係数の乗算を行う第１〜第４の乗算器を有し、前記第１〜第４の乗算器は、前記ラインメモリーに記憶された前記画素値に対して、同一タイミングにおいて前記第１〜第４の重み係数を乗算してもよい。
【００２２】
このようにすれば、１行について１回のタイミングで、重畳する加算単位のウエイト演算を行うことができる。これにより、共通画素に対して２回のタイミングでウエイト演算を行う必要がないため、重畳しない画素加算に比べて動作速度を上げる必要がない。
【００２３】
また本発明の一態様では、前記垂直演算部は、第１の垂直加算範囲と、前記第１の垂直加算範囲と共通の行を含む第２の垂直加算範囲とを、前記垂直加算範囲として前記加算画素値を出力してもよい。
【００２４】
このようにすれば、第１、第２の垂直加算範囲の共通する行の水平加算画素値を各垂直加算範囲について加算できるため、重畳する垂直加算範囲の画素加算を実現できる。
【００２５】
また本発明の一態様では、前記垂直演算部は、第１〜第３の行の前記水平加算画素値を記憶する第１〜第３のラインメモリーと、前記第１、第２の行の前記水平加算画素値の加算と、前記第２、第３の前記水平加算画素値の加算とを、行う垂直加算部と、を有してもよい。
【００２６】
このようにすれば、第１、第２の垂直加算範囲の共通の行の水平加算画素値を、各垂直加算範囲において加算する垂直演算部を構成できる。
【００２７】
また本発明の一態様では、前記加算単位を設定する制御部と、設定された前記加算単位に基づいて列と行を選択する選択部と、を含み、前記水平演算部は、選択された前記列の前記画素値を重み付けして加算し、前記垂直演算部は、選択された前記行の前記水平加算画素値を加算してもよい。
【００２８】
このようにすれば、設定された加算単位に基づいて列と行を選択することで、加算単位に含まれる画素の画素値を加算し、加算画素値を求めることができる。
【００２９】
また本発明の一態様では、前記Ａ／Ｄ変換部は、前記行走査部により選択された行の各列の前記アナログ信号を、並列に前記デジタル信号に変換する列並列Ａ／Ｄ変換部であってもよい。
【００３０】
このようにすれば、１行の画素のアナログ信号を、並列にデジタル信号に変換することができる。これにより、高速なＡ／Ｄ変換が不要になるため、固体撮像装置の動作速度の低速化を図ることができる。
【００３１】
また本発明の他の態様は、上記のいずれかに記載の固体撮像装置と、前記加算画素値に基づいて、前記加算単位に含まれる画素の画素値を推定する推定演算部と、を含み、第１のポジションに設定された第１の加算単位と、前記第１のポジションがシフトされた第２のポジションに設定された第２の加算単位とが、重畳する場合に、前記垂直演算部は、前記第１、第２の加算単位の前記加算画素値である第１、第２の加算画素値を出力し、前記推定演算部は、前記第１の加算画素値と、前記第２の加算画素値の差分値を求め、前記第１の加算単位から重畳領域を除いた第１の領域の加算画素値である第１の中間画素値と、前記第２の加算単位から前記重畳領域を除いた第２の領域の加算画素値である第２の中間画素値との関係式を、前記差分値を用いて表し、前記関係式を用いて前記第１、第２の中間画素値を推定し、推定した前記第１の中間画素値を用いて前記加算単位に含まれる各画素の画素値を求める撮像装置に関係する。
【００３２】
本発明の他の態様によれば、重畳しながら画素シフトされた加算単位の加算画素値から中間画素値を推定し、推定した中間画素値から最終的な推定画素値を求めることができる。これにより、簡素な処理で撮像画像を推定できる。
【００３３】
また本発明の他の態様では、前記推定演算部は、前記第１、第２の中間画素値を含む連続する中間画素値を中間画素値パターンとする場合に、前記中間画素値パターンに含まれる中間画素値間の関係式を前記加算画素値を用いて表し、前記中間画素値間の関係式で表された前記中間画素値パターンと前記加算画素値とを比較して類似性を評価し、前記類似性の評価結果に基づいて、前記類似性が最も高くなるように、前記中間画素値パターンに含まれる中間画素値を決定してもよい。
【００３４】
このようにすれば、重畳しながら画素シフトされた加算単位により取得された複数の加算画素値に基づいて、中間画素値を推定により求めることができる。
【００３５】
また本発明のさらに他の態様は、加算対象となる画素の範囲である加算単位の列範囲を水平加算範囲とし、行範囲を垂直加算範囲とする場合に、入射光を光電変換する複数の画素が配列された画素アレイ部が用意され、前記画素アレイ部の行を選択し、垂直走査を行い、選択された前記行の画素からのアナログ信号をデジタル信号の画素値に変換し、第１の水平加算範囲と、前記第１の水平加算範囲と共通の画素を含む第２の水平加算範囲とを、前記水平加算範囲とし、前記行の前記画素値のうち前記水平加算範囲に含まれる前記画素値を、各列に重み付けして加算し、加算された前記画素値を水平加算画素値として出力し、前記水平加算画素値のうち前記垂直加算範囲に含まれる前記水平加算画素値を加算し、加算された前記水平加算画素値を加算画素値として出力する画像生成方法に関係する。
【図面の簡単な説明】
【００３６】
【図１】本実施形態の固体撮像装置の構成例。
【図２】図２（Ａ）〜図２（Ｄ）は、重畳シフト画素加算サンプリング処理についての説明図。
【図３】水平演算部の詳細な構成例。
【図４】垂直演算部の詳細な構成例。
【図５】図５（Ａ）は、同色４画素加算を行う場合の加算範囲の設定例。図５（Ｂ）は、同色４画素加算を行う場合の出力信号例。
【図６】同色４画素加算を行う場合の動作説明図。
【図７】図７（Ａ）は、異色４画素加算を行う場合の加算範囲の設定例。図７（Ｂ）は、異色４画素加算を行う場合の出力信号例。
【図８】異色４画素加算を行う場合の動作説明図。
【図９】図９（Ａ）は、通常の４画素加算を行う場合の加算範囲の設定例。図９（Ｂ）は、通常の４画素加算を行う場合の出力信号例。
【図１０】通常の４画素加算を行う場合の動作説明図。
【図１１】図１１（Ａ）、図１１（Ｂ）は、推定画素値と中間画素値の説明図。
【図１２】復元推定処理についての説明図。
【図１３】復元推定処理についての説明図。
【図１４】復元推定処理についての説明図。
【図１５】撮像装置の構成例。
【発明を実施するための形態】
【００３７】
以下、本発明の好適な実施の形態について詳細に説明する。なお以下に説明する本実施形態は特許請求の範囲に記載された本発明の内容を不当に限定するものではなく、本実施形態で説明される構成の全てが本発明の解決手段として必須であるとは限らない。
【００３８】
１．本実施形態の概要
本実施形態では、図２（Ａ）等で後述するように、重畳シフトされた加算単位を設定し、その加算単位に含まれる画素値を加算することにより低解像動画を取得する。そして、図１１（Ａ）〜図１４で後述するように、その低解像動画から、撮像素子の解像度に相当する高解像静止画や高解像動画を復元する。
【００３９】
事後的に高解像画像が得られるため、ユーザが好きなタイミングを指定することができ、決定的瞬間の画像を容易に得ることが可能である。また、加算単位が重畳シフトされていることで、簡素な処理で復元を行うことが可能である。
【００４０】
２．固体撮像装置
図１に、重畳シフトサンプリングによる低解像動画を取得する本実施形態の固体撮像装置の構成例を示す。固体撮像装置１（広義にはイメージセンサー）は、画素回路アレイ２（広義には画素アレイ部）、行走査部４（行走査回路、広義には行選択部）、列並列Ａ／Ｄ変換部７（列並列Ａ／Ｄ変換回路、広義にはＡ／Ｄ変換部）、水平演算部８（水平演算回路）、垂直演算部９（垂直演算回路）、ラインメモリー１０、列走査部１１（列走査回路）、タイミング制御部１２（タイミング制御回路、広義には制御部）、選択部１３（選択回路）を含む。
【００４１】
なお、本実施形態は図１の構成に限定されず、その構成要素の一部を省略したり、他の構成要素を追加したりする等の種々の変形実施が可能である。例えば、これらの構成要素の一部が固体撮像装置１の外部に設けられてもよい。
【００４２】
画素回路アレイ２は、単位画素回路３、行選択線５、列信号線６を含む。単位画素回路３は、二次元状（マトリックス状）に配列される。単位画素回路３は光電変換素子を含む単位画素であり、光情報を電気情報に変換する光電変換を行う。画素は、例えばフォトダイオードやフォトトランジスターなどで構成される。行選択線５は、行走査部４により画素回路アレイ２を垂直方向に走査するための選択線である。列信号線６は、選択された行における各画素回路の出力信号を、列並列Ａ／Ｄ変換部７に伝達するための信号線である。
【００４３】
撮像動作が開始されると、所定の蓄積時間（電荷蓄積時間）を経た後、行走査部４が垂直走査を行う。具体的には、行走査部４は、水平方向に沿って並ぶ単位画素回路３を行選択線５により同時に選択し、行選択線５を垂直方向に沿って順次選択していくことにより走査を行う。
【００４４】
選択された行の各単位画素回路３からの信号は、列信号線６により列並列Ａ／Ｄ変換部７に入力される。列並列Ａ／Ｄ変換部７は、列毎にＡ／Ｄ変換機能をもつように構成されている。即ち、列並列Ａ／Ｄ変換部７は、各列信号線６に対応する複数のＡ／Ｄ変換部を有する。列並列Ａ／Ｄ変換部７は、行単位画素（１行の単位画素回路３）からの信号を一斉にＡ／Ｄ変換処理する。
【００４５】
列並列Ａ／Ｄ変換部７によりデジタルデータに変換された各単位画素の信号（各画素の画素値データ）は、水平演算部８に入力される。水平演算部８は、入力された１行分の画素信号の加算処理を行う。具体的には、水平演算部８は、ラインメモリー３２と、ウエイト演算部３３（重み付け演算部）と、水平加算部３４を含む。
【００４６】
ラインメモリー３２は、行単位画素信号を一時的に記憶する。ラインメモリー３２は、画素回路アレイ２の一行分の画素数に相当する容量のメモリーにより構成される。
【００４７】
ウエイト演算部３３は、各画素信号に対してウエイト（重み付け係数）を付与する処理を行う。この処理は、各画素信号の増幅率を決定する処理である。例えば、ウエイト演算部３３は、加減乗除演算処理や、デジタル信号の階調方向シフト、いわゆるｂｉｔシフト処理などにより、ウエイト付与処理を行う。
【００４８】
水平加算部３４は、水平方向において画素信号を加算する処理を行う。具体的には、選択部１３の列選択部１５が加算対象の列を選択し、水平加算部３４が、選択された列の画素信号を加算する。列選択部１５は、タイミング制御部１２からの指示に基づいて、加算対象となる列信号を選択する。
【００４９】
水平演算部８により加算処理された行信号は、垂直演算部９に入力される。垂直演算部９は、水平方向に加算された複数行の画素信号を加算する処理を行う。具体的には、垂直演算部９は、ラインメモリー４２と、垂直加算部４３を含む。
【００５０】
ラインメモリー４２は、水平演算部８で演算処理された行単位画素信号を一時的に記憶する。ラインメモリー４２が記憶する行数（ラインメモリーの本数）は、加算する行数により決定され、固体撮像装置１の設計時に決定される。例えば、画素回路アレイ２がベイヤー（Bayer）配列であり、本実施形態の重畳シフトにより４画素加算を行う場合、３行分（３本）のラインメモリーが必要である。また、重畳させずに同色４画素加算を行う場合、２行分（２本）のラインメモリーが必要である。各行のラインメモリーの容量は、水平演算部８による水平方向の画素加算処理の内容に応じて決まる。
【００５１】
垂直加算部４３は、垂直方向において画素信号を加算する処理を行う。具体的には、選択部１３の行選択部１６が加算対象の行の画素信号が記憶されているラインメモリーを選択し、垂直加算部４３が、選択されたラインメモリーから画素信号を読み出し、読み出した画素信号を加算する。行選択部１６は、タイミング制御部１２からの指示に基づいて、加算対象となる行信号を選択する。
【００５２】
垂直演算部９で演算処理された信号は、ラインメモリー１０に一時的に記憶される。列走査部１１は、ラインメモリー１０に記憶された加算画素信号を時系列で順次読み出し、出力線１４に出力する。
【００５３】
３．重畳シフト画素加算サンプリング処理
次に、本実施形態が行う市松状の重畳シフト画素加算サンプリング処理について説明する。なお以下では、２行２列の画素値を加算する場合を例に説明する。また以下では、画素配列の一部である３行３列の画素を例に説明するが、図５（Ａ）等で後述するように、画素配列全体で同様の画素加算が行われる。
【００５４】
図２（Ａ）に示すように、第１フレームでは、グループＧＰ１の画素（実線で囲まれた画素）とグループＧＰ２の画素（破線で囲まれた画素）が加算対象である。第１フレームは、例えば奇数フレームである。この第１フレームと、後述する第２フレームは、低解像動画撮影において交互に繰り返される。
【００５５】
ここで、フレームとは、例えば撮像素子により画像が撮像されるタイミングや、画像処理において１つの撮像画像が処理されるタイミングである。あるいは、画像データにおける１つの画像も適宜フレームと呼ぶ。
【００５６】
図２（Ｂ）に、第１フレームにおいて画素値に付与するウエイトの例を示す。この例では、ＧＰ１、ＧＰ２の加算画素値は下式（１）により求められる。画素Ｅに注目すると、画素ＥはグループＧＰ１とグループＧＰ２に属し、画素Ｅには各グループにおいてそれぞれウエイトが付与されている。
ＧＰ１＝Ａ＋（１／２）＊Ｂ＋（１／２）＊Ｄ＋（１／４）＊Ｅ，
ＧＰ２＝Ｅ＋（１／２）＊Ｆ＋（１／２）＊Ｈ＋（１／４）＊Ｉ （１）
【００５７】
図２（Ｃ）に示すように、第２フレームでは、グループＧＰ３の画素（実線で囲まれた画素）とグループＧＰ４の画素（破線で囲まれた画素）が加算対象である。第２フレームは、例えば偶数フレームである。
【００５８】
図２（Ｄ）に、第２フレームにおいて画素値に付与するウエイトの例を示す。この例では、ＧＰ３、ＧＰ４の加算画素値は下式（２）により求められる。
ＧＰ３＝Ｂ＋（１／２）＊Ｃ＋（１／２）＊Ｅ＋（１／４）＊Ｆ，
ＧＰ４＝Ｄ＋（１／２）＊Ｅ＋（１／２）＊Ｇ＋（１／４）＊Ｈ （２）
【００５９】
このように、市松重畳シフト画素加算サンプリングでは、市松状に画素加算対象をシフトさせながら特定画素を重畳させ、その特定画素に対して複数のウエイトを付与して画素加算処理を行う。
【００６０】
なお、画素値Ａ〜Ｉに付与するウエイトは上記に限定されない。例えば、ＧＰ１を例にとれば、下式（３）により加算画素値を求めてもよい。ここで、ｒはｒ≧１の実数である。図２（Ｃ）、図２（Ｄ）の例は、下式（３）においてｒ＝２の場合である。
ＧＰ１＝Ａ＋（１／ｒ）＊Ｂ＋（１／ｒ）＊Ｃ＋（１／ｒ２）＊Ｄ （３）
【００６１】
４．水平演算部
次に、上述の水平演算部８について詳細に説明する。
【００６２】
図３に、水平演算部８の詳細な構成例を示す。水平演算部８（狭義には水平演算回路）は、ラインメモリー３２、ウエイト演算部３３（ウエイト演算回路）、水平加算部３４（水平加算回路）を含む。以下では、図２（Ａ）で上述した第１フレームにおける３行３列の画素に対する処理を例に説明する。
【００６３】
水平演算部３１には、列並列Ａ／Ｄ変換部７からのＡ／Ｄ変換出力３０が入力される。具体的には、（Ａ，Ｂ，Ｃ）、（Ｄ，Ｅ，Ｆ）、（Ｇ，Ｈ，Ｉ）の行信号が、ラインメモリー３２に順次一時記憶される。以下では、（Ｄ，Ｅ，Ｆ）の行信号が記憶される場合を例に説明する。
【００６４】
ウエイト演算部３３は、タイミング制御部１２からのタイミング制御信号に基づいて、行信号（Ｄ，Ｅ，Ｆ）の中から列信号を選択し、選択した列信号に対して所定のウエイトを付与する。具体的には、ウエイト演算部３３は、第１〜第４の乗算部ＭＰ１〜ＭＰ４を有する。
【００６５】
乗算部ＭＰ１〜ＭＰ４は、それぞれ画素値Ｄ、Ｅ、Ｅ、Ｆに対してウエイト１／２、１／４、１、１／２を乗算する。この例では画素値Ｅに対して２つのウエイトが付与されているが、いずれの画素値に２つのウエイトを付与するかは、タイミング制御信号により選択される。乗算部ＭＰ１〜ＭＰ４は、この乗算を同一のタイミングで行う。同一のタイミングとは、例えばラインメモリー３２から画素値を読み出すタイミングや、水平同期信号に同期したクロックの同一エッジタイミングである。
【００６６】
水平加算部３４は、ウエイトが付与された画素値を加算し、加算値を水平画素加算出力３５として出力する。具体的には、水平加算部３４は、第１、第２の加算部ＡＨ１、ＡＨ２を有する。
【００６７】
加算部ＡＨ１は、乗算部ＭＰ１、ＭＰ２からの出力を加算し、加算値（（１／２）＊Ｄ＋（１／４）＊Ｅ）を出力する。加算部ＡＨ２は、乗算部ＭＰ３、ＭＰ４からの出力を加算し、加算値（Ｅ＋（１／２）＊Ｆ）を出力する。
【００６８】
５．垂直演算部
次に、上述の垂直演算部９について詳細に説明する。
図４に、垂直演算部９の詳細な構成例を示す。垂直演算部９（狭義には垂直演算部）は、ラインメモリー４２、垂直加算部４３（垂直加算回路）を含む。以下では、図２（Ａ）、図３で上述した第１フレームにおける３行３列の画素に対する処理を例に説明する。
【００６９】
垂直演算部９には、水平演算部８からの水平画素加算出力３５が入力される。具体的には、ラインメモリー４２は、第１〜第３のラインメモリーＬＭ１〜ＬＭ３を有する。ラインメモリーＬＭ１には、水平加算信号（Ａ＋（１／２）＊Ｂ，Ｂ＋（１／２）＊Ｃ）が入力され、一時記憶される。ラインメモリーＬＭ２には、水平加算信号（（１／２）＊Ｄ＋（１／４）＊Ｅ，Ｅ＋（１／２）＊Ｆ）が入力され、一時記憶される。ラインメモリーＬＭ３には、水平加算信号（Ｇ＋（１／２）＊Ｈ，（１／２）＊Ｈ＋（１／４）＊Ｉ）が入力され、一時記憶される。
【００７０】
垂直加算部４３には、タイミング制御部に基づいて選択された行の水平加算信号が入力される。行の選択は、その行に対応するラインメモリーを、ラインメモリーＬＭ１〜ＬＭ３の中から選択することで行われる。そして、垂直加算部４３は、入力された水平加算信号を加算し、加算値を垂直画素加算出力４４として出力する。具体的には、垂直加算部４３は、第１、第２の加算部ＡＶ１、ＡＶ２を含む。
【００７１】
加算部ＡＶ１、ＡＶ２は、ラインメモリーＬＭ１、ＬＭ２に記憶された水平加算信号を加算し、それぞれ加算信号（Ａ＋（１／２）＊Ｂ＋（１／２）＊Ｄ＋（１／４）＊Ｅ）、（Ｂ＋（１／２）＊Ｃ＋Ｅ＋（１／２）＊Ｆ）を出力する。また、加算部ＡＶ１、ＡＶ２は、ラインメモリーＬＭ２、ＬＭ３に記憶された水平加算信号を加算し、それぞれ加算信号（（１／２）＊Ｄ＋（１／４）＊Ｅ＋Ｇ＋（１／２）＊Ｈ）、（Ｅ＋（１／２）＊Ｆ＋（１／２）＊Ｈ＋（１／４）＊Ｉ）を出力する。
【００７２】
なお図４には、垂直加算部４３に対してラインメモリーＬＭ１、ＬＭ２からの信号が入力される場合の結線例を示すが、垂直加算部４３に対していずれのラインメモリーからの信号が入力されるかは、タイミング制御信号に基づいて選択部１３により選択される。
【００７３】
上記の実施形態によれば、図１に示すように、固体撮像装置１（固体撮像素子、広義にはイメージセンサー）は、画素アレイ部（画素回路アレイ２）と行走査部４とＡ／Ｄ変換部（列並列Ａ／Ｄ変換部７）と水平演算部８と垂直演算部９を含む。
【００７４】
画素アレイ部は、入射光を光電変換する複数の画素３が配列される。行走査部４は、画素アレイ部の行を選択し、垂直走査を行う。Ａ／Ｄ変換部は、選択された行の画素からのアナログ信号をデジタル信号の画素値（画素信号）に変換する。
【００７５】
図２（Ａ）に示すように、加算単位（例えばグループＧＰ１）は、加算対象となる画素の範囲である。水平加算範囲は、加算単位の列範囲（例えばＧＰ１では、画素アレイの第１列〜第２列）である。垂直加算範囲は、加算単位の行範囲（例えばＧＰ１では、画素アレイの第１行〜第２行）である。図３に示すように、水平演算部８は、行の画素値のうち水平加算範囲に含まれる画素値（例えば第２行のＤ、Ｅ）を、各列に重み付けして加算し、加算された画素値を水平加算画素値（（１／２）＊Ｄ＋（１／４）＊Ｅ）として出力する。図４に示すように、垂直演算部９は、水平加算画素値のうち垂直加算範囲に含まれる水平加算画素値を加算し、加算された水平加算画素値を加算画素値として出力する。
【００７６】
この場合に、図２に示すように、水平演算部８は、第１の水平加算範囲（例えば第２行におけるＤ、Ｅ）と、第１の水平加算範囲と共通の画素（Ｅ）を含む第２の水平加算範囲（Ｅ、Ｆ）とを、水平加算範囲として水平加算画素値を出力する。
【００７７】
これにより、共通の画素を含む第１、第２の水平加算範囲の画素加算を行うことができるため、加算単位を重畳しながら画素加算を行うことができる。また、各列に重み付けして加算するため、水平加算範囲に含まれる画素値それぞれに重み付けをして加算することができる。また、加算単位を重畳しながら画素加算を行うことで、図１１（Ａ）〜図１４で後述するように、簡素な処理で高解像画像を復元することが可能になる。また、その復元処理により任意タイミングの高解像画像を動画から抽出できるため、シャッターチャンスを逃すことがなくユーザの操作性を向上できる。
【００７８】
また本実施形態では、図３に示すように、水平演算部８は、第１の水平加算範囲（例えばＤ、Ｅ）における共通の画素（Ｅ）と、第２の水平加算範囲（Ｅ、Ｆ）における共通の画素（Ｅ）に対して、異なる重み係数（１／４、１）による重み付けを行う。
【００７９】
このようにすれば、共通の画素に対して各加算範囲において独立した重み付けを行うことができる。これにより、加算単位が重畳する場合であっても、各加算単位においてそれぞれ重み付け加算を行うことができる。
【００８０】
具体的には、第１の水平加算範囲が第１の画素（例えばＤ）と第２の画素（Ｅ）を含み、第２の水平加算範囲が第２の画素（Ｅ）と第３の画素（Ｆ）を含む。水平演算部８は、ラインメモリー３２とウエイト演算部３３と水平加算部３４を含む。ラインメモリー３２は、第１〜第３の画素の画素値である第１〜第３の画素値（Ｄ，Ｅ，Ｆ）を記憶する。ウエイト演算部３３は、第１の画素値（Ｄ）に対する第１の重み係数（１／２）による重み付けと、第２の画素値（Ｅ）に対する第２、第３の重み係数（１／４、１）による重み付けと、第３の画素値（Ｆ）に対する第４の重み係数（１）による重み付けとを、行う。水平加算部３４は、第１、第２の重み係数により重み付けされた第１、第２の画素値の加算と、第３、第４の重み係数により重み付けされた第２、第３の画素値の加算とを、行う。
【００８１】
このようにすれば、第１の水平加算範囲と第２の水平加算範囲の共通の画素に対して、各水平加算範囲において異なる重み係数を付与する水平演算部を構成できる。
【００８２】
また本実施形態では、ウエイト演算部３３は、第１〜第４の重み係数の乗算を行う第１〜第４の乗算部ＭＰ１〜ＭＰ４を有する。第１〜第４の乗算部ＭＰ１〜ＭＰ４は、ラインメモリー３２に記憶された画素値に対して、同一タイミングにおいて第１〜第４の重み係数を乗算する。
【００８３】
このようにすれば、１行について１回のタイミングで、重畳する加算単位のウエイト演算を行うことができる。これにより、共通画素に対して２回のタイミングでウエイト演算を行う必要がないため、従来の重畳しない画素加算に比べて動作速度を上げることなく固体撮像装置を構成できる。また、動作速度が変わらないため、従来の固体撮像装置の水平演算部や垂直演算部を変更するだけで重畳シフトサンプリングが可能になり、設計コストを削減できる。
【００８４】
また本実施形態では、図４に示すように、垂直演算部９は、第１の垂直加算範囲（例えば第１行、第２行）と、第１の垂直加算範囲と共通の行（第２行）を含む第２の垂直加算範囲（第２行、第３行）とを、垂直加算範囲として加算画素値を出力する。
【００８５】
このようにすれば、第１、第２の垂直加算範囲の共通する行の水平加算画素値を各垂直加算範囲について加算できるため、重畳する垂直加算範囲の画素加算を実現できる。
【００８６】
具体的には、垂直演算部９は、第１〜第３のラインメモリーＬＭ１〜ＬＭ３と垂直加算部４３を含む。第１〜第３のラインメモリーＬＭ１〜ＬＭ３は、それぞれ第１〜第３の行の水平加算画素値を記憶する。垂直加算部４３は、第１、第２の行の水平加算画素値の加算と、第２、第３の水平加算画素値の加算とを、行う。
【００８７】
このようにすれば、第１の垂直加算範囲と第２の垂直加算範囲の共通の行の水平加算画素値を、各垂直加算範囲において加算する垂直演算部を構成できる。
【００８８】
また本実施形態では、図１に示すように、固体撮像装置１は、制御部（タイミング制御部１２）と選択部１３を含む。制御部は加算単位を設定する。選択部１３は、設定された加算単位に基づいて列と行を選択する。水平演算部８は、選択された列の画素値を重み付けして加算する。垂直演算部９は、選択された行の水平加算画素値を加算する。
【００８９】
このようにすれば、設定された加算単位に基づいて列と行を選択することで、加算単位に含まれる画素の画素値を加算し、加算画素値を求めることができる。
【００９０】
また本実施形態では、Ａ／Ｄ変換部は、行走査部４により選択された行の各列のアナログ信号を、並列にデジタル信号に変換する列並列Ａ／Ｄ変換部７である。
【００９１】
このようにすれば、１行の画素のアナログ信号を、並列にデジタル信号に変換することができる。これにより、高速なＡ／Ｄ変換が不要になるため、固体撮像装置１の動作速度の低速化を図ることができる。
【００９２】
６．同色画素の重畳シフト加算処理
上述の重畳シフト画素加算を、ベイヤー配列の撮像素子に適用した場合について詳細に説明する。まず、同色４画素を画素加算する場合について説明する。なお以下では、１０行１０列の画素アレイを例に説明する。
【００９３】
図５（Ａ）に、同色４画素加算を行う場合の加算範囲の設定例を示す。図５（Ａ）において、Ｍは列番号（カラム）を表し、Ｎは行番号（ライン）を表す。
【００９４】
図５（Ａ）に示すように、加算範囲（加算単位）ＧＰ００、ＧＰ４０、ＧＰ２２、ＧＰ６２、ＧＰ０４、ＧＰ４４、ＧＰ２６、ＧＰ６６が設定され、各加算範囲に含まれる同色４画素の画素信号を加算する。
【００９５】
図５（Ｂ）に、同色４画素加算を行う場合の出力信号例を模式的に示す。図５（Ｂ）では、画素に付与されるウエイトを省略し、加算される画素を実線で囲まれたグループで表す。また、Ｍ列Ｎ行の画素をサフィックス“＿ＭＮ”で表し、例えば３行２列のＲ画素をＲ＿３２と表す。また、ＨＤは水平同期信号を表し、１Ｈは１水平走査期間を表す。ＶＤは垂直同期信号を表し、１Ｖは１垂直走査期間を表す。
【００９６】
図５（Ｂ）に示すように、行が走査されるにしたがって加算画素値が順次出力される。即ち、Ａ１に示すように、まず加算範囲ＧＰ００、ＧＰ４０のＧｒ画素、Ｒ画素の加算画素値が出力される。次に、Ａ２に示すように、加算範囲ＧＰ００、ＧＰ４０のＢ画素、Ｇｂ画素の加算画素値が出力される。以後同様に、加算範囲ＧＰ２２、ＧＰ６２の加算画素値、加算範囲ＧＰ０４、ＧＰ４４の加算画素値、加算範囲ＧＰ２６、ＧＰ６６の加算画素値が、順次出力される。
【００９７】
このようにして、ベイヤー配列の市松重畳シフト画素加算サンプリングにより、１フレーム当たり４列８行の計３２画素の出力信号が得られる。図２（Ａ）等で上述の第１、第２フレームを合わせると計６４画素の出力信号が得られ、この６４画素の出力信号から画素値の復元が行われる。
【００９８】
次に、図６を用いて、上記の同色４画素加算を行う場合の動作について説明する。図６のＢ１に示すように、列並列Ａ／Ｄ変換部７が、各ラインのＡ／Ｄ変換出力信号を順次出力する。Ｂ２に示すように、水平演算部８が、Ａ／Ｄ変換出力信号にウエイトを付与し、その信号を水平方向に加算して水平画素加算出力信号を出力する。なお、図６では、ウエイトを省略している。
【００９９】
次に、Ｂ３に示すように、垂直演算部９のラインメモリーＬＭ１が、Ｒライン（Ｎ＝０）の水平画素加算出力信号を一時記憶する。Ｂ４に示すように、ラインメモリーＬＭ２が、Ｂライン（Ｎ＝１）の水平画素加算出力信号を一時記憶する。Ｂ５に示すように、ラインメモリーＬＭ３が、Ｒライン（Ｎ＝２）の水平画素加算出力信号を一時記憶する。次に、Ｂ６に示すように、行選択部１６が、加算対象の行及び画素を選択し、垂直加算部４３が、ラインメモリーＬＭ１、ＬＭ３に記憶された信号を加算し、４画素加算信号を出力する。なお、図６では、加算対象をマーク（◆，▲，●）で表し、同じマークの信号が加算されることを表す。また、４画素加算信号を省略表記しており、例えばＧｒ＿００＿２０＿０２＿２２は、画素値Ｇｒ＿００、Ｇｒ＿２０、Ｇｒ＿０２、Ｇｒ＿２２の加算値を表す。
【０１００】
次に、Ｂ７に示すように、ラインメモリーＬＭ１が、Ｂライン（Ｎ＝３）の水平画素加算出力信号を一時記憶する。次に、Ｂ８に示すように、垂直加算部４３が、ラインメモリーＬＭ２、ＬＭ１に記憶された信号を加算し、４画素加算信号を出力する。
【０１０１】
次に、Ｂ９に示すように、ラインメモリーＬＭ２が、Ｒライン（Ｎ＝４）の水平画素加算出力信号を一時記憶する。次に、Ｂ１０に示すように、垂直加算部４３が、ラインメモリーＬＭ３、ＬＭ２に記憶された信号を加算し、４画素加算信号を出力する。以後同様の動作を繰り返す。
【０１０２】
このようにして、図５（Ｂ）で説明した４画素加算値が得られる。図６から分かるように、ベイヤー配列の市松重畳シフト同色４画素加算サンプリングでは、垂直演算部９のラインメモリーは最低３本必要である。ラインメモリーの必要本数が垂直方向の画素加算数に依存することは、上述したとおりである。
【０１０３】
７．異色画素の重畳シフト加算処理
次に、重畳シフト画素加算により、異色４画素を画素加算する場合について説明する。なお同色４画素の例と同様に、１０行１０列の画素アレイを例に説明する。
【０１０４】
図７（Ａ）に、異色４画素加算を行う場合の加算範囲の設定例を示す。図７（Ａ）に示すように、加算範囲（加算単位）ＧＰ００、ＧＰ２０、ＧＰ４０、ＧＰ６０、ＧＰ１１、ＧＰ３１、ＧＰ５１、ＧＰ７１、・・・が設定される。各加算範囲には、隣接する異色４画素（ベイヤー配列の１ユニット）が含まれ、その異色４画素の画素信号を加算する。
【０１０５】
図７（Ｂ）に、異色４画素加算を行う場合の出力信号例を模式的に示す。図５（Ｂ）と同様に、画素に付与されるウエイトを省略している。図７（Ｂ）のＤ１に示すように、まず加算範囲ＧＰ００、ＧＰ２０、ＧＰ４０、ＧＰ６０の加算画素値が出力される。次に、Ａ２に示すように、加算範囲ＧＰ１１、ＧＰ３１、ＧＰ５１、ＧＰ７１の加算画素値が出力される。以後、行が走査されるにしたがって、加算画素値が順次出力される。
【０１０６】
次に、図８を用いて、上記の異色４画素加算を行う場合の動作について説明する。図６と同様に、ウエイトを省略しており、加算対象をマーク（◆，▲，●）で表す。また、４画素加算信号を省略表記しており、例えば００＿１０＿０１＿１１は、画素値Ｇｒ＿００、Ｒ＿１０、Ｂ＿０１、Ｇｂ＿１１の加算値を表す。
【０１０７】
図８のＥ１に示すように、列並列Ａ／Ｄ変換部７が、各ラインのＡ／Ｄ変換出力信号を順次出力する。Ｅ２に示すように、水平演算部８が、Ａ／Ｄ変換出力信号にウエイトを付与し、その信号を水平方向に加算して水平画素加算出力信号を出力する。
【０１０８】
次に、Ｅ３に示すように、垂直演算部９のラインメモリーＬＭ１が、Ｒライン（Ｎ＝０）の水平画素加算出力信号を一時記憶する。Ｅ４に示すように、ラインメモリーＬＭ２が、Ｂライン（Ｎ＝１）の水平画素加算出力信号を一時記憶する。次に、Ｅ５に示すように、行選択部１６が、加算対象の行及び画素を選択し、垂直加算部４３が、ラインメモリーＬＭ１、ＬＭ２に記憶された信号を加算し、４画素加算信号を出力する。
【０１０９】
次に、Ｅ６に示すように、ラインメモリーＬＭ３が、Ｒライン（Ｎ＝２）の水平画素加算出力信号を一時記憶する。次に、Ｅ７に示すように、垂直加算部４３が、ラインメモリーＬＭ２、ＬＭ３に記憶された信号を加算し、４画素加算信号を出力する。
【０１１０】
次に、Ｅ８に示すように、ラインメモリーＬＭ１が、Ｂライン（Ｎ＝３）の水平画素加算出力信号を一時記憶する。次に、Ｅ９に示すように、垂直加算部４３が、ラインメモリーＬＭ３、ＬＭ１に記憶された信号を加算し、４画素加算信号を出力する。以後同様の動作を繰り返す。
【０１１１】
以上の実施形態によれば、従来の固体撮像装置に比べて処理や機能を複雑化する必要がなく、読み出す画素の列数や行数に対応する時間を必要以上に費やさず、市松重畳シフト画素加算サンプリングを行うことが可能である。これにより、動画及び静止画という境界を意識することなく撮像が可能となり、固体撮像装置の汎用性に大きく貢献できる。
【０１１２】
８．重畳しない場合の加算処理
本実施形態では、加算範囲が重畳しない通常の４画素加算を行うことも可能である。図９（Ａ）〜図１０を用いて、本実施形態を通常の４画素加算処理に適用した場合について説明する。
【０１１３】
図９（Ａ）に、通常の４画素加算を行う場合の加算範囲の設定例を示す。図９（Ａ）に示すように、重畳しない加算範囲（加算単位）ＧＰ００、ＧＰ４０、ＧＰ０４、ＧＰ４４が設定され、各加算範囲に含まれる同色４画素の画素信号を加算する。
【０１１４】
図９（Ｂ）に、通常の４画素加算を行う場合の出力信号例を模式的に示す。図５（Ｂ）と同様に、画素に付与されるウエイトを省略している。図９（Ｂ）に示すように、まず加算範囲ＧＰ００、ＧＰ４０の加算画素値、加算範囲ＧＰ０４、ＧＰ４４の加算画素値が、順次出力される。
【０１１５】
次に、図１０を用いて、上記の通常の４画素加算を行う場合の動作について説明する。図１０と同様に、ウエイトを省略しており、加算対象をマーク（◆，▲，●）で表す。また、４画素加算信号を省略表記しており、例えばＧｒ＿００＿２０＿０２＿２２は、画素値Ｇｒ＿００、Ｇｒ＿２０、Ｇｒ＿０２、Ｇｒ＿２２の加算値を表す。
【０１１６】
図１０のＧ１に示すように、列並列Ａ／Ｄ変換部７が、各ラインのＡ／Ｄ変換出力信号を順次出力する。Ｇ２に示すように、水平演算部８が、Ａ／Ｄ変換出力信号にウエイトを付与し、その信号を水平方向に加算して水平画素加算出力信号を出力する。このとき、重畳シフト加算は行わない。即ち、加算範囲が重畳しないため、１つの画素が２の加算範囲で加算されることはない。
【０１１７】
次に、Ｇ３に示すように、垂直演算部９のラインメモリーＬＭ１が、Ｒライン（Ｎ＝０）の水平画素加算出力信号を一時記憶する。Ｇ４に示すように、ラインメモリーＬＭ２が、Ｂライン（Ｎ＝１）の水平画素加算出力信号を一時記憶する。次に、Ｇ５に示すように、Ｒライン（Ｎ＝２）の水平画素加算出力信号を一時記憶せず、ラインメモリーをスルーさせる。次に、Ｇ６に示すように、行選択部１６が、加算対象の行及び画素を選択し、垂直加算部４３が、ラインメモリーＬＭ１に記憶された信号とスルーさせた信号を加算し、４画素加算信号を出力する。
【０１１８】
次に、Ｇ７に示すように、Ｂライン（Ｎ＝３）の水平画素加算出力信号を一時記憶せず、ラインメモリーをスルーさせる。次に、Ｇ８に示すように、垂直加算部４３が、ラインメモリーＬＭ２に記憶された信号とスルーさせた信号を加算し、４画素加算信号を出力する。以後同様の動作を繰り返す。
【０１１９】
このようにして、本実施形態では通常の画素加算サンプリングが可能である。当然のことながら、固体撮像装置をフルスキャンした場合の全画素読み出し時においても、重畳シフト加算の構成が制約事項や条件となることはない。
【０１２０】
なお、以上の実施形態では、４画素加算を行う場合を例にとり説明したが、本実施形態はこれに限定されず、それ以外の画素加算数に対応するために機能や処理構成を拡張してもよい。
【０１２１】
以上の実施形態によれば、機能ブロックを複雑化することなく、かつ動作時間に影響を与えることなく画像データの高解像度化に必要な低解像モードの信号読み出しを実現する撮像装置及び撮像装置の制御方法を提供することができる。
【０１２２】
９．復元推定処理
次に、重畳シフトサンプリングにより取得した加算画素値から高解像画像を推定により復元する処理について詳細に説明する。なお以下では、加算画素値｛ａ００、ａ１０、ａ１１、ａ０１｝を例に説明する（ｉ，ｊは０以上の整数）が、他の加算画素値についても同様である。また、加算単位が２×２画素毎に設定される場合を例に説明するが、これに限定されず、例えば３×３画素毎であってもよい。
【０１２３】
図１１（Ａ）、図１１（Ｂ）に、推定画素値と中間画素値の説明図を示す。図１１（Ａ）に示す加算画素値｛ａ００、ａ１１｝は、図２（Ａ）で説明したグループＧＰ１、ＧＰ２の加算画素値に対応する。加算画素値｛ａ１０、ａ０１｝は、図２（Ｃ）で説明したグループＧＰ３、ＧＰ４の加算画素値に対応する。推定処理では、この加算画素値を用いて、最終的な推定画素値ｖ００〜ｖ２２を推定する。推定画素値ｖｉｊは、図２（Ａ）で説明した画素Ａ〜Ｉの画素値に対応する。
【０１２４】
図１１（Ｂ）に示すように、まず加算画素値ａ００〜ａ１１から中間画素値ｂ００〜ｂ２１（中間推定画素値）を推定する。中間画素値は２画素加算値に対応し、例えばｂ００は画素値ｖ００とｖ０１の加算値に対応する。これらの中間画素値ｂ００〜ｂ２１から最終的な画素値ｖ００〜ｖ２２を推定する。
【０１２５】
まず中間画素値を推定する処理について説明する。以下では、水平方向の最初の行の中間画素値ｂ００〜ｂ２０を推定する場合を例に説明する。次の行の中間画素値ｂ０１〜ｂ２１についても同様の手法により推定される。
【０１２６】
図１２に示すように、中間画素値ｂ００〜ｂ２０は、水平方向の最初の行の加算画素値ａ００、ａ１０に基づいて推定される。説明を簡単にするために、例えば重み係数ｒ＝２とすると、加算画素値ａ００、ａ１０は下式（４）で表される。
ａ００＝ｖ００＋（１／２）ｖ０１＋（１／２）ｖ１０＋（１／４）ｖ１１，
ａ１０＝ｖ１０＋（１／２）ｖ１１＋（１／２）ｖ２０＋（１／４）ｖ２１ （４）
【０１２７】
下式（５）に示すようにｂ００、ｂ１０、ｂ２０を定義する。
ｂ００＝ｖ００＋（１／ｒ）ｖ０１＝ｖ００＋（１／２）ｖ０１，
ｂ１０＝ｖ１０＋（１／ｒ）ｖ１１＝ｖ１０＋（１／２）ｖ１１，
ｂ２０＝ｖ２０＋（１／ｒ）ｖ２１＝ｖ２０＋（１／２）ｖ２１ （５）
【０１２８】
次に、上式（５）を用いて上式（４）を変形すると、下式（６）が成り立つ。
ａ００＝ｂ００＋（１／２）ｂ１０，
ａ１０＝ｂ１０＋（１／２）ｂ２０ （６）
【０１２９】
上式（６）において、ａ００、ａ１０に所定の重み係数を掛けて差分δｉ０を取り、整理すると、下式（７）が成り立つ。
δｉ０＝ａ１０−２ａ００
＝（１／２）ｂ２０−２ｂ００ （７）
【０１３０】
ｂ００を未知数（初期変数）とすると、下式（８）に示すように、中間画素値ｂ１０、ｂ２０をｂ００の関数として求めることができる。このようにして、ｂ００を未知数として高精細な中間画素値｛ｂ００，ｂ１０，ｂ２０｝の組合せパターンが求められる。
ｂ００＝（未知数），
ｂ１０＝２（ａ００−ｂ００），
ｂ２０＝４ｂ００＋２δｉ０＝４ｂ００＋２（ａ１０−２ａ００） （８）
【０１３１】
次に、未知数ｂ００を求める手法について説明する。図１３に示すように、加算画素値のパターン｛ａ００，ａ１０｝と中間画素値のパターン｛ｂ００，ｂ１０，ｂ２０｝を比較する。そして、その誤差Ｅが最小になる未知数ｂ００を導出し、中間画素値ｂ００として設定する。
【０１３２】
具体的には、加算画素値｛ａｉｊ｝と中間画素値｛ｂｉｊ，ｂ（ｉ＋１）ｊ｝には、下式（９）の関係が成り立つ。この下式（９）による重み付けを考慮すると、下式（１０）に示す評価関数Ｅｊが求められる。そして、この評価関数Ｅｊにより、パターン｛ａ００，ａ１０｝とパターン｛ｂ００，ｂ１０，ｂ２０｝の類似性評価を行う。
ａｉｊ＝ｂｉｊ＋（１／２）ｂ（ｉ＋１）ｊ （９）
【数１】
【０１３３】
図１４に示すように、Ｅｊを最小にする未知数ｂ００（＝α）を求め、ｂ００の値を決定できる。そして、推定したｂ００の値を上式（８）に代入し、ｂ１０，ｂ２０が求められる。
【０１３４】
次に、求めた中間画素値ｂｉｊを用いて最終推定画素値ｖｉｊを求める手法について説明する。以下では、左端垂直列（ｉ＝０列）を例に説明する。最終推定画素値ｖｉｊは、中間画素値ｂｉｊを求めた手法と同様に求められる。即ち、上式（６）を下式（１１）に置き換えれば、以降の処理は同様である。
ｂ００＝ｖ００＋（１／２）ｖ０１，
ｂ０１＝ｖ０１＋（１／２）ｖ０２ （１１）
９．撮像装置
【０１３５】
図１５に、上述の重畳シフトサンプリングと復元処理を行う撮像装置の構成例を示す。撮像装置は、撮像光学系１００（レンズ）、光学ローパスフィルター１１０、固体撮像装置１、データ記録部１４０（記憶部）、表示処理部１５０、モニター表示部１６０、画素値推定演算部２１０（推定演算部）、画像出力部３００を含む。
【０１３６】
なお、本実施形態の撮像装置はこの構成に限定されず、その構成要素の一部を省略したり、他の構成要素を追加したりする等の種々の変形実施が可能である。例えば、画素値推定演算部２１０と画像出力部３００を、撮像装置の外部の画像処理装置（例えばＰＣ）により構成してもよい。
【０１３７】
撮像光学系１００は、被写体を結像する。光学ローパスフィルター１１０は、例えば固体撮像装置１の解像度に対応する帯域を通過させる。固体撮像装置１（例えば１２メガピクセル）は、例えばＣＣＤやＣＭＯＳセンサーにより構成される。固体撮像装置１は、加算単位の設定や加算読み出しを制御し、フュージョンフレーム（fusion-frame）を取得する。フュージョンフレームとは、重畳シフトサンプリングにより得られた画像である。データ記録部１４０は、例えばメモリーカード等で実現され、フュージョンフレームによる動画を記録する。モニター表示部１６０は、動画のライブビュー表示や、再生された動画の表示を行う。
【０１３８】
画素値推定演算部２１０は、最終推定画素値の推定を行う。画像出力部３００は、最終推定画素値に基づいて静止画や動画を出力する。画像出力部３００は、アンチエリアシングフィルター２２０、２５０、ローパスフィルター２３０、アンダーサンプリング部２４０を含む。
【０１３９】
アンチエリアシングフィルター２２０は、最終推定画素値をアンチエリアシング処理し、高解像静止画（例えば１２メガピクセル）を出力する。ローパスフィルター２３０は、最終推定画素値をハイビジョンの帯域に制限する。アンダーサンプリング部２４０は、帯域制限された最終推定画素値を、ハイビジョンの画素数にアンダーサンプリングする。アンチエリアシングフィルター２２０は、アンダーサンプリングされた画像をアンチエリアシング処理し、ハイビジョン動画（例えば２メガピクセル）を出力する。なお、アンダーサンプリングせずに、高解像動画（例えば１２メガピクセル）を出力してもよい。
【０１４０】
以上の実施形態によれば、図１５に示すように、撮像装置（撮像システム。例えばデジタルカメラ）は、固体撮像装置１と推定演算部（画素値推定演算部２１０）を含む。図１１（Ａ）で説明したように、推定演算部は、加算画素値｛ａ００、ａ１０、ａ１１、ａ０１｝に基づいて、加算単位に含まれる画素の画素値｛ｖ００、ｖ１０、ｖ１１、ｖ０１｝を推定する。
【０１４１】
図１１（Ａ）に示すように、第１のポジションに設定された加算単位（例えばａ００）と、第１のポジションがシフトされた第２のポジションに設定された加算単位（例えばａ１０）は重畳する。垂直演算部９は、第１、第２の加算単位の加算画素値である第１、第２の加算画素値（ａ００、ａ１０）を出力する。上式（７）に示すように、推定演算部は、第１、第２の加算画素値ａ００、ａ１０の差分値δｉ０を求める。図１１（Ｂ）に示すように、第１の中間画素値ｂ００は、加算単位ａ００から重畳領域（ｖ１０、ｖ１１）を除いた第１の領域（ｖ００、ｖ０１）の加算画素値である。第２の中間画素値ｂ２０は、加算単位ａ１０から重畳領域（ｖ１０、ｖ１１）を除いた第２の領域（ｖ２０、ｖ２１）の加算画素値である。上式（８）に示すように、第１、第２の中間画素値ｂ００、ｂ２０の関係式を、差分値δｉ０を用いて表す。図１３等に示すように、その関係式を用いて第１、第２の中間画素値ｂ００、ｂ２０を推定する。推定した第１の中間画素値ｂ００を用いて加算単位に含まれる各画素の画素値｛ｖ００、ｖ１０、ｖ１１、ｖ０１｝を求める。
【０１４２】
このようにすれば、重畳シフトされた加算画素値から中間画素値を一旦推定し、その重畳シフトされた中間画素値から推定画素値を求めることで、高解像画像の推定処理を簡素化できる。例えば、２次元フィルターの繰り返し演算（特開２００９−１２４６２１号公報）や、初期値の設定に適当な部分を探索（特開２００８−２４３０３７号公報）する等の複雑な処理が不要となる。
【０１４３】
ここで、重畳するとは、加算単位と加算単位が重なった領域を有することであり、例えば図１１（Ａ）に示すように、加算単位ａ００と加算単位ａ１０が、２つの推定画素ｖ１０、ｖ１１を共有することである。
【０１４４】
また、加算単位のポジションとは、撮像画像における加算単位の位置や座標のことであり、あるいは、推定処理における推定画素値データ（画像データ）上での加算単位の位置や座標のことである。また、シフトされたポジションとは、元のポジションから画素シフトされたポジションであり、元のポジションと位置や座標が一致しないポジションのことである。
【０１４５】
また本実施形態では、第１、第２の中間画素値（例えばｂ００、ｂ２０）を含む連続する中間画素値を中間画素値パターン｛ｂ００、ｂ１０、ｂ２０｝とする。上式（８）に示すように、推定演算部は、中間画素値パターンに含まれる中間画素値の間の関係式を加算画素値ａ００、ａ１０を用いて表す。図１３に示すように、中間画素値の間の関係式で表された中間画素値パターンと加算画素値とを比較して類似性を評価する。その類似性の評価結果に基づいて、類似性が最も高くなるように中間画素値パターンに含まれる中間画素値ｂ００、ｂ１０、ｂ２０を決定する。
【０１４６】
このようにすれば、重畳されながら画素シフトされた加算単位により取得された複数の加算画素値に基づいて、中間画素値を推定できる。
【０１４７】
ここで、中間画素値パターンとは、推定処理に用いられる範囲の中間画素値のデータ列（データの組み）である。また、加算画素値パターンとは、推定処理に用いられる範囲の加算画素値のデータ列である。
【０１４８】
また本実施形態では、上式（１０）に示すように、推定演算部は、中間画素値の間の関係式で表された中間画素値パターン｛ｂ００、ｂ１０、ｂ２０｝と加算画素値｛ａ００、ａ１０｝との誤差を表す評価関数Ｅｊを求める。評価関数Ｅｊの値が最小となるように中間画素値パターンに含まれる中間画素値ｂ００、ｂ１０、ｂ２０を決定する。
【０１４９】
このようにすれば、誤差を評価関数で表し、その評価関数の極小値に対応する中間画素値を求めることで、中間画素値の値を推定できる。例えば、上述のように最小二乗法を用いて未知数を求めることで、簡素な処理で中間画素推定の初期値を設定できる。例えば、初期値設定に適当な画像部分の探索（特開２００８−２４３０３７号公報）が不要である。
【０１５０】
また本実施形態では、上式（４）に示すように、加算単位の各画素値（例えば、ｖ００、ｖ１０、ｖ０１、ｖ１１）が重み付け加算された加算画素値（ａ００）を取得する。取得された加算単位の加算画素値（ａ００、ａ１０）に基づいて、加算単位の各画素の画素値（ｖ００、ｖ１０、ｖ０１、ｖ１１）を推定する。
【０１５１】
このようにすれば、加算単位の各画素値を重み付け加算して加算画像を取得し、取得した加算画像から高解像画像の画素値を推定できる。これにより、推定処理において、被写体の持つ高周波成分の再現性を向上できる。すなわち、加算単位の画素値を単純加算した場合には、矩形の窓関数を結像にコンボリューションすることになる。一方、加算単位の画素値を重み付け加算した場合には、矩形よりも高周波成分を多く含む窓関数を結像にコンボリューションすることになる。そのため、被写体の持つ高周波成分をより多く含む加算画像を取得でき、推定画像での高周波成分の再現性を向上できる。
【０１５２】
なお、上記のように本実施形態について詳細に説明したが、本発明の新規事項および効果から実体的に逸脱しない多くの変形が可能であることは当業者には容易に理解できるであろう。従って、このような変形例はすべて本発明の範囲に含まれるものとする。例えば、明細書又は図面において、少なくとも一度、より広義又は同義な異なる用語と共に記載された用語は、明細書又は図面のいかなる箇所においても、その異なる用語に置き換えることができる。また固体撮像装置、撮像装置等の構成、動作も本実施形態で説明したものに限定に限定されず、種々の変形実施が可能である。
【符号の説明】
【０１５３】
１ 固体撮像装置、２ 画素回路アレイ、３ 単位画素回路、４ 行走査部、
５ 行選択線、６ 列信号線、７ 列並列Ａ／Ｄ変換部、８ 水平演算部、
９ 垂直演算部、１０ ラインメモリー、１１ 列走査部、
１２ タイミング制御部、１３ 選択部、１４ 出力線、１５ 列選択部、
１６ 行選択部、３０ Ａ／Ｄ変換出力、３１ 水平演算部、
３２ ラインメモリー、３３ ウエイト演算部、３４ 水平加算部、
３５ 水平画素加算出力、４２ ラインメモリー、４３ 垂直加算部、
４４ 垂直画素加算出力、１００ 撮像光学系、
１１０ 光学ローパスフィルター、１４０ データ記録部、
１５０ 表示処理部、１６０ モニター表示部、２１０ 画素値推定演算部、
２２０ アンチエリアシングフィルター、２３０ ローパスフィルター、
２４０ アンダーサンプリング部、３００ 画像出力部、
ａ００〜ａ１１ 加算画素値、ｂ００〜ｂ２０ 中間画素値、ｒ 重み係数、
ｖ００〜ｖ２２ 推定画素値、δｉ０ 差分値、Ａ〜Ｉ 画素、
ＡＨ１，ＡＨ２ 加算部、ＡＶ１，ＡＶ２ 加算部、Ｅｊ 評価関数、
ＧＰ１〜ＧＰ４ グループ、ＬＭ１〜ＬＭ３ ラインメモリー、Ｍ 行番号、
ＭＰ１〜ＭＰ４ 乗算部、Ｎ 列番号
【技術分野】
【０００１】
本発明は、固体撮像装置、撮像装置及び画像生成方法等に関する。
【背景技術】
【０００２】
デジタルカメラやデジタルビデオカメラ等の撮像装置には、光学像を電気信号に変換する撮像素子が搭載されている。近年、この撮像素子において、ＣＣＤ（Charge Coupled Device、電荷結合素子）型からＣＭＯＳ（Complementary Metal Oxide Semiconductor、相補型金属酸化膜半導体）型への置き換えが加速しつつある。
【０００３】
近年のＣＭＯＳ型撮像素子は、撮像面に２次元状に配列された多数の画素の電荷を順次読み出すようになっており、その配列画素の列毎にＡ／Ｄ（Analog to Digital）変換機能を持たせた列並列Ａ／Ｄ変換器を素子上に搭載したものがある（例えば特許文献１、２）。
【０００４】
このＣＭＯＳ型撮像素子は、その特徴を生かして、フルスキャン以外にも様々な形態の画素信号を読み出すことができる。例えば、水平及び垂直方向に複数の画素を加算した信号を取り出すムービースキャンにより、多種の解像度に対応した画素数の読み出しが可能である。
【０００５】
ムービースキャン動作によりフルスキャン時よりも低解像度化する場合、フレームレートが向上して１画素あたりの蓄積時間が減少し、同時に読み出す信号量が減少することになる。画素加算の目的の一つは、信号量減少が引き起こす信号対雑音比の劣化を抑制することである。即ち、水平及び垂直で単純に間引き読み出し駆動を行うムービースキャンに比べて１画素あたりの信号量を加算により増やして読み出すことにより、擬似的な蓄積時間を増大させることである。
【０００６】
例えば特許文献１には、固体撮像装置が、列毎のＡ／Ｄ変換部と、列単位加算部と、Ａ／Ｄ変換部と列単位加算回路の間に設けられた入出力選択部と、を含み、列走査周波数を上げずに列加算動作を行う手法が開示されている。
【０００７】
また特許文献２には、列毎のＡ／Ｄ変換部を有する固体撮像装置が、画素アレイの同色画素において、加算対象となるライン間で重み付け係数を変更して画素加算を行い、均等加算による加算後の空間的重心位置不均一を解消する手法が開示されている。
【先行技術文献】
【特許文献】
【０００８】
【特許文献１】特開２００８−２９４９１３号公報
【特許文献２】特開２００９−２１２６２１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００９】
さて、画素加算により得られる画像は画素加算しない場合よりも低解像である。そのため、動画撮影中に高精細静止画を得たい場合には、例えば動画撮影中にシャッターが押された場合だけ静止画撮影を行う手法が考えられる。
【００１０】
しかしながら、この手法では、決定的瞬間にタイミングよくシャッターを押して静止画を取得することは難しい。そのため、画素加算による動画を撮影しておき、その動画から事後的に任意タイミングの高精細静止画を生成する手法が考えられる。
【００１１】
このような手法として、加算対象の画素の範囲である加算単位を重畳させて設定し、その加算単位に含まれる画素値を加算して低解像画像を取得し、その低解像動画から高精細静止画を復元する手法が考えられる。
【００１２】
しかしながら、従来の固体撮像装置では、加算対象の画素の範囲を重畳させずに画素加算を行うため（例えば上記特許文献１）、加算単位を重畳させて画素加算を行う手法を実現できないという課題がある。
【００１３】
また、上記特許文献２の手法では、画素加算における重み付け演算を、Ａ／Ｄ変換のクロック信号を変調することにより行う。そのため、行単位では比較的低速な動作で制御可能であるが、列単位の画素加算において、重畳された加算単位の画素加算を高速な動作で制御するには不適である。
【００１４】
本発明の幾つかの態様によれば、加算単位を重畳させて画素加算を行うことが可能な固体撮像装置、撮像装置及び画像生成方法等を提供できる。
【課題を解決するための手段】
【００１５】
本発明の一態様は、入射光を光電変換する複数の画素が配列された画素アレイ部と、前記画素アレイ部の行を選択し、垂直走査を行う行走査部と、選択された前記行の画素からのアナログ信号をデジタル信号の画素値に変換するＡ／Ｄ変換部と、加算対象となる画素の範囲である加算単位の列範囲を水平加算範囲とし、行範囲を垂直加算範囲とする場合に、前記行の前記画素値のうち前記水平加算範囲に含まれる前記画素値を、各列に重み付けして加算し、加算された前記画素値を水平加算画素値として出力する水平演算部と、前記水平加算画素値のうち前記垂直加算範囲に含まれる前記水平加算画素値を加算し、加算された前記水平加算画素値を加算画素値として出力する垂直演算部と、を含み、前記水平演算部は、第１の水平加算範囲と、前記第１の水平加算範囲と共通の画素を含む第２の水平加算範囲とを、前記水平加算範囲として前記水平加算画素値を出力する固体撮像装置に関係する。
【００１６】
本発明の一態様によれば、画素アレイ部の行が選択され、選択された行の画素からのアナログ信号がデジタル信号の画素値に変換される。その行の画素値のうち水平加算範囲に含まれる画素値が、各列に重み付けされて加算され、その加算値が水平加算画素値として出力される。このとき、第１の水平加算範囲と第２の水平加算範囲は共通の画素を含む。そして、その水平加算画素値のうち垂直加算範囲に含まれる水平加算画素値が加算され、その加算値が加算画素値として出力される。これにより、加算単位を重畳させて画素加算を行うことが可能になる。
【００１７】
また本発明の一態様では、前記水平演算部は、前記第１の水平加算範囲における前記共通の画素と、前記第２の水平加算範囲における前記共通の画素に対して、異なる重み係数による前記重み付けを行ってもよい。
【００１８】
このようにすれば、共通の画素に対して各加算範囲において独立した重み付けを行うことができる。これにより、加算単位が重畳する場合であっても、各加算単位においてそれぞれ重み付け加算を行うことができる。
【００１９】
また本発明の一態様では、前記第１の水平加算範囲が第１の画素と第２の画素を含み、前記第２の水平加算範囲が前記第２の画素と第３の画素を含む場合に、前記水平演算部は、前記第１〜第３の画素の画素値である第１〜第３の画素値を記憶するラインメモリーと、前記第１の画素値に対する第１の重み係数による重み付けと、前記第２の画素値に対する第２、第３の重み係数による重み付けと、前記第３の画素値に対する第４の重み係数による重み付けとを、行うウエイト演算部と、前記第１、第２の重み係数により重み付けされた前記第１、第２の画素値の加算と、前記第３、第４の重み係数により重み付けされた前記第２、第３の画素値の加算とを、行う水平加算部と、を有してもよい。
【００２０】
このようにすれば、第１の水平加算範囲と第２の水平加算範囲の共通の画素に対して、各水平加算範囲において異なる重み係数による重み付けを行う水平演算部を構成できる。
【００２１】
また本発明の一態様では、前記ウエイト演算部は、前記第１〜第４の重み係数の乗算を行う第１〜第４の乗算器を有し、前記第１〜第４の乗算器は、前記ラインメモリーに記憶された前記画素値に対して、同一タイミングにおいて前記第１〜第４の重み係数を乗算してもよい。
【００２２】
このようにすれば、１行について１回のタイミングで、重畳する加算単位のウエイト演算を行うことができる。これにより、共通画素に対して２回のタイミングでウエイト演算を行う必要がないため、重畳しない画素加算に比べて動作速度を上げる必要がない。
【００２３】
また本発明の一態様では、前記垂直演算部は、第１の垂直加算範囲と、前記第１の垂直加算範囲と共通の行を含む第２の垂直加算範囲とを、前記垂直加算範囲として前記加算画素値を出力してもよい。
【００２４】
このようにすれば、第１、第２の垂直加算範囲の共通する行の水平加算画素値を各垂直加算範囲について加算できるため、重畳する垂直加算範囲の画素加算を実現できる。
【００２５】
また本発明の一態様では、前記垂直演算部は、第１〜第３の行の前記水平加算画素値を記憶する第１〜第３のラインメモリーと、前記第１、第２の行の前記水平加算画素値の加算と、前記第２、第３の前記水平加算画素値の加算とを、行う垂直加算部と、を有してもよい。
【００２６】
このようにすれば、第１、第２の垂直加算範囲の共通の行の水平加算画素値を、各垂直加算範囲において加算する垂直演算部を構成できる。
【００２７】
また本発明の一態様では、前記加算単位を設定する制御部と、設定された前記加算単位に基づいて列と行を選択する選択部と、を含み、前記水平演算部は、選択された前記列の前記画素値を重み付けして加算し、前記垂直演算部は、選択された前記行の前記水平加算画素値を加算してもよい。
【００２８】
このようにすれば、設定された加算単位に基づいて列と行を選択することで、加算単位に含まれる画素の画素値を加算し、加算画素値を求めることができる。
【００２９】
また本発明の一態様では、前記Ａ／Ｄ変換部は、前記行走査部により選択された行の各列の前記アナログ信号を、並列に前記デジタル信号に変換する列並列Ａ／Ｄ変換部であってもよい。
【００３０】
このようにすれば、１行の画素のアナログ信号を、並列にデジタル信号に変換することができる。これにより、高速なＡ／Ｄ変換が不要になるため、固体撮像装置の動作速度の低速化を図ることができる。
【００３１】
また本発明の他の態様は、上記のいずれかに記載の固体撮像装置と、前記加算画素値に基づいて、前記加算単位に含まれる画素の画素値を推定する推定演算部と、を含み、第１のポジションに設定された第１の加算単位と、前記第１のポジションがシフトされた第２のポジションに設定された第２の加算単位とが、重畳する場合に、前記垂直演算部は、前記第１、第２の加算単位の前記加算画素値である第１、第２の加算画素値を出力し、前記推定演算部は、前記第１の加算画素値と、前記第２の加算画素値の差分値を求め、前記第１の加算単位から重畳領域を除いた第１の領域の加算画素値である第１の中間画素値と、前記第２の加算単位から前記重畳領域を除いた第２の領域の加算画素値である第２の中間画素値との関係式を、前記差分値を用いて表し、前記関係式を用いて前記第１、第２の中間画素値を推定し、推定した前記第１の中間画素値を用いて前記加算単位に含まれる各画素の画素値を求める撮像装置に関係する。
【００３２】
本発明の他の態様によれば、重畳しながら画素シフトされた加算単位の加算画素値から中間画素値を推定し、推定した中間画素値から最終的な推定画素値を求めることができる。これにより、簡素な処理で撮像画像を推定できる。
【００３３】
また本発明の他の態様では、前記推定演算部は、前記第１、第２の中間画素値を含む連続する中間画素値を中間画素値パターンとする場合に、前記中間画素値パターンに含まれる中間画素値間の関係式を前記加算画素値を用いて表し、前記中間画素値間の関係式で表された前記中間画素値パターンと前記加算画素値とを比較して類似性を評価し、前記類似性の評価結果に基づいて、前記類似性が最も高くなるように、前記中間画素値パターンに含まれる中間画素値を決定してもよい。
【００３４】
このようにすれば、重畳しながら画素シフトされた加算単位により取得された複数の加算画素値に基づいて、中間画素値を推定により求めることができる。
【００３５】
また本発明のさらに他の態様は、加算対象となる画素の範囲である加算単位の列範囲を水平加算範囲とし、行範囲を垂直加算範囲とする場合に、入射光を光電変換する複数の画素が配列された画素アレイ部が用意され、前記画素アレイ部の行を選択し、垂直走査を行い、選択された前記行の画素からのアナログ信号をデジタル信号の画素値に変換し、第１の水平加算範囲と、前記第１の水平加算範囲と共通の画素を含む第２の水平加算範囲とを、前記水平加算範囲とし、前記行の前記画素値のうち前記水平加算範囲に含まれる前記画素値を、各列に重み付けして加算し、加算された前記画素値を水平加算画素値として出力し、前記水平加算画素値のうち前記垂直加算範囲に含まれる前記水平加算画素値を加算し、加算された前記水平加算画素値を加算画素値として出力する画像生成方法に関係する。
【図面の簡単な説明】
【００３６】
【図１】本実施形態の固体撮像装置の構成例。
【図２】図２（Ａ）〜図２（Ｄ）は、重畳シフト画素加算サンプリング処理についての説明図。
【図３】水平演算部の詳細な構成例。
【図４】垂直演算部の詳細な構成例。
【図５】図５（Ａ）は、同色４画素加算を行う場合の加算範囲の設定例。図５（Ｂ）は、同色４画素加算を行う場合の出力信号例。
【図６】同色４画素加算を行う場合の動作説明図。
【図７】図７（Ａ）は、異色４画素加算を行う場合の加算範囲の設定例。図７（Ｂ）は、異色４画素加算を行う場合の出力信号例。
【図８】異色４画素加算を行う場合の動作説明図。
【図９】図９（Ａ）は、通常の４画素加算を行う場合の加算範囲の設定例。図９（Ｂ）は、通常の４画素加算を行う場合の出力信号例。
【図１０】通常の４画素加算を行う場合の動作説明図。
【図１１】図１１（Ａ）、図１１（Ｂ）は、推定画素値と中間画素値の説明図。
【図１２】復元推定処理についての説明図。
【図１３】復元推定処理についての説明図。
【図１４】復元推定処理についての説明図。
【図１５】撮像装置の構成例。
【発明を実施するための形態】
【００３７】
以下、本発明の好適な実施の形態について詳細に説明する。なお以下に説明する本実施形態は特許請求の範囲に記載された本発明の内容を不当に限定するものではなく、本実施形態で説明される構成の全てが本発明の解決手段として必須であるとは限らない。
【００３８】
１．本実施形態の概要
本実施形態では、図２（Ａ）等で後述するように、重畳シフトされた加算単位を設定し、その加算単位に含まれる画素値を加算することにより低解像動画を取得する。そして、図１１（Ａ）〜図１４で後述するように、その低解像動画から、撮像素子の解像度に相当する高解像静止画や高解像動画を復元する。
【００３９】
事後的に高解像画像が得られるため、ユーザが好きなタイミングを指定することができ、決定的瞬間の画像を容易に得ることが可能である。また、加算単位が重畳シフトされていることで、簡素な処理で復元を行うことが可能である。
【００４０】
２．固体撮像装置
図１に、重畳シフトサンプリングによる低解像動画を取得する本実施形態の固体撮像装置の構成例を示す。固体撮像装置１（広義にはイメージセンサー）は、画素回路アレイ２（広義には画素アレイ部）、行走査部４（行走査回路、広義には行選択部）、列並列Ａ／Ｄ変換部７（列並列Ａ／Ｄ変換回路、広義にはＡ／Ｄ変換部）、水平演算部８（水平演算回路）、垂直演算部９（垂直演算回路）、ラインメモリー１０、列走査部１１（列走査回路）、タイミング制御部１２（タイミング制御回路、広義には制御部）、選択部１３（選択回路）を含む。
【００４１】
なお、本実施形態は図１の構成に限定されず、その構成要素の一部を省略したり、他の構成要素を追加したりする等の種々の変形実施が可能である。例えば、これらの構成要素の一部が固体撮像装置１の外部に設けられてもよい。
【００４２】
画素回路アレイ２は、単位画素回路３、行選択線５、列信号線６を含む。単位画素回路３は、二次元状（マトリックス状）に配列される。単位画素回路３は光電変換素子を含む単位画素であり、光情報を電気情報に変換する光電変換を行う。画素は、例えばフォトダイオードやフォトトランジスターなどで構成される。行選択線５は、行走査部４により画素回路アレイ２を垂直方向に走査するための選択線である。列信号線６は、選択された行における各画素回路の出力信号を、列並列Ａ／Ｄ変換部７に伝達するための信号線である。
【００４３】
撮像動作が開始されると、所定の蓄積時間（電荷蓄積時間）を経た後、行走査部４が垂直走査を行う。具体的には、行走査部４は、水平方向に沿って並ぶ単位画素回路３を行選択線５により同時に選択し、行選択線５を垂直方向に沿って順次選択していくことにより走査を行う。
【００４４】
選択された行の各単位画素回路３からの信号は、列信号線６により列並列Ａ／Ｄ変換部７に入力される。列並列Ａ／Ｄ変換部７は、列毎にＡ／Ｄ変換機能をもつように構成されている。即ち、列並列Ａ／Ｄ変換部７は、各列信号線６に対応する複数のＡ／Ｄ変換部を有する。列並列Ａ／Ｄ変換部７は、行単位画素（１行の単位画素回路３）からの信号を一斉にＡ／Ｄ変換処理する。
【００４５】
列並列Ａ／Ｄ変換部７によりデジタルデータに変換された各単位画素の信号（各画素の画素値データ）は、水平演算部８に入力される。水平演算部８は、入力された１行分の画素信号の加算処理を行う。具体的には、水平演算部８は、ラインメモリー３２と、ウエイト演算部３３（重み付け演算部）と、水平加算部３４を含む。
【００４６】
ラインメモリー３２は、行単位画素信号を一時的に記憶する。ラインメモリー３２は、画素回路アレイ２の一行分の画素数に相当する容量のメモリーにより構成される。
【００４７】
ウエイト演算部３３は、各画素信号に対してウエイト（重み付け係数）を付与する処理を行う。この処理は、各画素信号の増幅率を決定する処理である。例えば、ウエイト演算部３３は、加減乗除演算処理や、デジタル信号の階調方向シフト、いわゆるｂｉｔシフト処理などにより、ウエイト付与処理を行う。
【００４８】
水平加算部３４は、水平方向において画素信号を加算する処理を行う。具体的には、選択部１３の列選択部１５が加算対象の列を選択し、水平加算部３４が、選択された列の画素信号を加算する。列選択部１５は、タイミング制御部１２からの指示に基づいて、加算対象となる列信号を選択する。
【００４９】
水平演算部８により加算処理された行信号は、垂直演算部９に入力される。垂直演算部９は、水平方向に加算された複数行の画素信号を加算する処理を行う。具体的には、垂直演算部９は、ラインメモリー４２と、垂直加算部４３を含む。
【００５０】
ラインメモリー４２は、水平演算部８で演算処理された行単位画素信号を一時的に記憶する。ラインメモリー４２が記憶する行数（ラインメモリーの本数）は、加算する行数により決定され、固体撮像装置１の設計時に決定される。例えば、画素回路アレイ２がベイヤー（Bayer）配列であり、本実施形態の重畳シフトにより４画素加算を行う場合、３行分（３本）のラインメモリーが必要である。また、重畳させずに同色４画素加算を行う場合、２行分（２本）のラインメモリーが必要である。各行のラインメモリーの容量は、水平演算部８による水平方向の画素加算処理の内容に応じて決まる。
【００５１】
垂直加算部４３は、垂直方向において画素信号を加算する処理を行う。具体的には、選択部１３の行選択部１６が加算対象の行の画素信号が記憶されているラインメモリーを選択し、垂直加算部４３が、選択されたラインメモリーから画素信号を読み出し、読み出した画素信号を加算する。行選択部１６は、タイミング制御部１２からの指示に基づいて、加算対象となる行信号を選択する。
【００５２】
垂直演算部９で演算処理された信号は、ラインメモリー１０に一時的に記憶される。列走査部１１は、ラインメモリー１０に記憶された加算画素信号を時系列で順次読み出し、出力線１４に出力する。
【００５３】
３．重畳シフト画素加算サンプリング処理
次に、本実施形態が行う市松状の重畳シフト画素加算サンプリング処理について説明する。なお以下では、２行２列の画素値を加算する場合を例に説明する。また以下では、画素配列の一部である３行３列の画素を例に説明するが、図５（Ａ）等で後述するように、画素配列全体で同様の画素加算が行われる。
【００５４】
図２（Ａ）に示すように、第１フレームでは、グループＧＰ１の画素（実線で囲まれた画素）とグループＧＰ２の画素（破線で囲まれた画素）が加算対象である。第１フレームは、例えば奇数フレームである。この第１フレームと、後述する第２フレームは、低解像動画撮影において交互に繰り返される。
【００５５】
ここで、フレームとは、例えば撮像素子により画像が撮像されるタイミングや、画像処理において１つの撮像画像が処理されるタイミングである。あるいは、画像データにおける１つの画像も適宜フレームと呼ぶ。
【００５６】
図２（Ｂ）に、第１フレームにおいて画素値に付与するウエイトの例を示す。この例では、ＧＰ１、ＧＰ２の加算画素値は下式（１）により求められる。画素Ｅに注目すると、画素ＥはグループＧＰ１とグループＧＰ２に属し、画素Ｅには各グループにおいてそれぞれウエイトが付与されている。
ＧＰ１＝Ａ＋（１／２）＊Ｂ＋（１／２）＊Ｄ＋（１／４）＊Ｅ，
ＧＰ２＝Ｅ＋（１／２）＊Ｆ＋（１／２）＊Ｈ＋（１／４）＊Ｉ （１）
【００５７】
図２（Ｃ）に示すように、第２フレームでは、グループＧＰ３の画素（実線で囲まれた画素）とグループＧＰ４の画素（破線で囲まれた画素）が加算対象である。第２フレームは、例えば偶数フレームである。
【００５８】
図２（Ｄ）に、第２フレームにおいて画素値に付与するウエイトの例を示す。この例では、ＧＰ３、ＧＰ４の加算画素値は下式（２）により求められる。
ＧＰ３＝Ｂ＋（１／２）＊Ｃ＋（１／２）＊Ｅ＋（１／４）＊Ｆ，
ＧＰ４＝Ｄ＋（１／２）＊Ｅ＋（１／２）＊Ｇ＋（１／４）＊Ｈ （２）
【００５９】
このように、市松重畳シフト画素加算サンプリングでは、市松状に画素加算対象をシフトさせながら特定画素を重畳させ、その特定画素に対して複数のウエイトを付与して画素加算処理を行う。
【００６０】
なお、画素値Ａ〜Ｉに付与するウエイトは上記に限定されない。例えば、ＧＰ１を例にとれば、下式（３）により加算画素値を求めてもよい。ここで、ｒはｒ≧１の実数である。図２（Ｃ）、図２（Ｄ）の例は、下式（３）においてｒ＝２の場合である。
ＧＰ１＝Ａ＋（１／ｒ）＊Ｂ＋（１／ｒ）＊Ｃ＋（１／ｒ２）＊Ｄ （３）
【００６１】
４．水平演算部
次に、上述の水平演算部８について詳細に説明する。
【００６２】
図３に、水平演算部８の詳細な構成例を示す。水平演算部８（狭義には水平演算回路）は、ラインメモリー３２、ウエイト演算部３３（ウエイト演算回路）、水平加算部３４（水平加算回路）を含む。以下では、図２（Ａ）で上述した第１フレームにおける３行３列の画素に対する処理を例に説明する。
【００６３】
水平演算部３１には、列並列Ａ／Ｄ変換部７からのＡ／Ｄ変換出力３０が入力される。具体的には、（Ａ，Ｂ，Ｃ）、（Ｄ，Ｅ，Ｆ）、（Ｇ，Ｈ，Ｉ）の行信号が、ラインメモリー３２に順次一時記憶される。以下では、（Ｄ，Ｅ，Ｆ）の行信号が記憶される場合を例に説明する。
【００６４】
ウエイト演算部３３は、タイミング制御部１２からのタイミング制御信号に基づいて、行信号（Ｄ，Ｅ，Ｆ）の中から列信号を選択し、選択した列信号に対して所定のウエイトを付与する。具体的には、ウエイト演算部３３は、第１〜第４の乗算部ＭＰ１〜ＭＰ４を有する。
【００６５】
乗算部ＭＰ１〜ＭＰ４は、それぞれ画素値Ｄ、Ｅ、Ｅ、Ｆに対してウエイト１／２、１／４、１、１／２を乗算する。この例では画素値Ｅに対して２つのウエイトが付与されているが、いずれの画素値に２つのウエイトを付与するかは、タイミング制御信号により選択される。乗算部ＭＰ１〜ＭＰ４は、この乗算を同一のタイミングで行う。同一のタイミングとは、例えばラインメモリー３２から画素値を読み出すタイミングや、水平同期信号に同期したクロックの同一エッジタイミングである。
【００６６】
水平加算部３４は、ウエイトが付与された画素値を加算し、加算値を水平画素加算出力３５として出力する。具体的には、水平加算部３４は、第１、第２の加算部ＡＨ１、ＡＨ２を有する。
【００６７】
加算部ＡＨ１は、乗算部ＭＰ１、ＭＰ２からの出力を加算し、加算値（（１／２）＊Ｄ＋（１／４）＊Ｅ）を出力する。加算部ＡＨ２は、乗算部ＭＰ３、ＭＰ４からの出力を加算し、加算値（Ｅ＋（１／２）＊Ｆ）を出力する。
【００６８】
５．垂直演算部
次に、上述の垂直演算部９について詳細に説明する。
図４に、垂直演算部９の詳細な構成例を示す。垂直演算部９（狭義には垂直演算部）は、ラインメモリー４２、垂直加算部４３（垂直加算回路）を含む。以下では、図２（Ａ）、図３で上述した第１フレームにおける３行３列の画素に対する処理を例に説明する。
【００６９】
垂直演算部９には、水平演算部８からの水平画素加算出力３５が入力される。具体的には、ラインメモリー４２は、第１〜第３のラインメモリーＬＭ１〜ＬＭ３を有する。ラインメモリーＬＭ１には、水平加算信号（Ａ＋（１／２）＊Ｂ，Ｂ＋（１／２）＊Ｃ）が入力され、一時記憶される。ラインメモリーＬＭ２には、水平加算信号（（１／２）＊Ｄ＋（１／４）＊Ｅ，Ｅ＋（１／２）＊Ｆ）が入力され、一時記憶される。ラインメモリーＬＭ３には、水平加算信号（Ｇ＋（１／２）＊Ｈ，（１／２）＊Ｈ＋（１／４）＊Ｉ）が入力され、一時記憶される。
【００７０】
垂直加算部４３には、タイミング制御部に基づいて選択された行の水平加算信号が入力される。行の選択は、その行に対応するラインメモリーを、ラインメモリーＬＭ１〜ＬＭ３の中から選択することで行われる。そして、垂直加算部４３は、入力された水平加算信号を加算し、加算値を垂直画素加算出力４４として出力する。具体的には、垂直加算部４３は、第１、第２の加算部ＡＶ１、ＡＶ２を含む。
【００７１】
加算部ＡＶ１、ＡＶ２は、ラインメモリーＬＭ１、ＬＭ２に記憶された水平加算信号を加算し、それぞれ加算信号（Ａ＋（１／２）＊Ｂ＋（１／２）＊Ｄ＋（１／４）＊Ｅ）、（Ｂ＋（１／２）＊Ｃ＋Ｅ＋（１／２）＊Ｆ）を出力する。また、加算部ＡＶ１、ＡＶ２は、ラインメモリーＬＭ２、ＬＭ３に記憶された水平加算信号を加算し、それぞれ加算信号（（１／２）＊Ｄ＋（１／４）＊Ｅ＋Ｇ＋（１／２）＊Ｈ）、（Ｅ＋（１／２）＊Ｆ＋（１／２）＊Ｈ＋（１／４）＊Ｉ）を出力する。
【００７２】
なお図４には、垂直加算部４３に対してラインメモリーＬＭ１、ＬＭ２からの信号が入力される場合の結線例を示すが、垂直加算部４３に対していずれのラインメモリーからの信号が入力されるかは、タイミング制御信号に基づいて選択部１３により選択される。
【００７３】
上記の実施形態によれば、図１に示すように、固体撮像装置１（固体撮像素子、広義にはイメージセンサー）は、画素アレイ部（画素回路アレイ２）と行走査部４とＡ／Ｄ変換部（列並列Ａ／Ｄ変換部７）と水平演算部８と垂直演算部９を含む。
【００７４】
画素アレイ部は、入射光を光電変換する複数の画素３が配列される。行走査部４は、画素アレイ部の行を選択し、垂直走査を行う。Ａ／Ｄ変換部は、選択された行の画素からのアナログ信号をデジタル信号の画素値（画素信号）に変換する。
【００７５】
図２（Ａ）に示すように、加算単位（例えばグループＧＰ１）は、加算対象となる画素の範囲である。水平加算範囲は、加算単位の列範囲（例えばＧＰ１では、画素アレイの第１列〜第２列）である。垂直加算範囲は、加算単位の行範囲（例えばＧＰ１では、画素アレイの第１行〜第２行）である。図３に示すように、水平演算部８は、行の画素値のうち水平加算範囲に含まれる画素値（例えば第２行のＤ、Ｅ）を、各列に重み付けして加算し、加算された画素値を水平加算画素値（（１／２）＊Ｄ＋（１／４）＊Ｅ）として出力する。図４に示すように、垂直演算部９は、水平加算画素値のうち垂直加算範囲に含まれる水平加算画素値を加算し、加算された水平加算画素値を加算画素値として出力する。
【００７６】
この場合に、図２に示すように、水平演算部８は、第１の水平加算範囲（例えば第２行におけるＤ、Ｅ）と、第１の水平加算範囲と共通の画素（Ｅ）を含む第２の水平加算範囲（Ｅ、Ｆ）とを、水平加算範囲として水平加算画素値を出力する。
【００７７】
これにより、共通の画素を含む第１、第２の水平加算範囲の画素加算を行うことができるため、加算単位を重畳しながら画素加算を行うことができる。また、各列に重み付けして加算するため、水平加算範囲に含まれる画素値それぞれに重み付けをして加算することができる。また、加算単位を重畳しながら画素加算を行うことで、図１１（Ａ）〜図１４で後述するように、簡素な処理で高解像画像を復元することが可能になる。また、その復元処理により任意タイミングの高解像画像を動画から抽出できるため、シャッターチャンスを逃すことがなくユーザの操作性を向上できる。
【００７８】
また本実施形態では、図３に示すように、水平演算部８は、第１の水平加算範囲（例えばＤ、Ｅ）における共通の画素（Ｅ）と、第２の水平加算範囲（Ｅ、Ｆ）における共通の画素（Ｅ）に対して、異なる重み係数（１／４、１）による重み付けを行う。
【００７９】
このようにすれば、共通の画素に対して各加算範囲において独立した重み付けを行うことができる。これにより、加算単位が重畳する場合であっても、各加算単位においてそれぞれ重み付け加算を行うことができる。
【００８０】
具体的には、第１の水平加算範囲が第１の画素（例えばＤ）と第２の画素（Ｅ）を含み、第２の水平加算範囲が第２の画素（Ｅ）と第３の画素（Ｆ）を含む。水平演算部８は、ラインメモリー３２とウエイト演算部３３と水平加算部３４を含む。ラインメモリー３２は、第１〜第３の画素の画素値である第１〜第３の画素値（Ｄ，Ｅ，Ｆ）を記憶する。ウエイト演算部３３は、第１の画素値（Ｄ）に対する第１の重み係数（１／２）による重み付けと、第２の画素値（Ｅ）に対する第２、第３の重み係数（１／４、１）による重み付けと、第３の画素値（Ｆ）に対する第４の重み係数（１）による重み付けとを、行う。水平加算部３４は、第１、第２の重み係数により重み付けされた第１、第２の画素値の加算と、第３、第４の重み係数により重み付けされた第２、第３の画素値の加算とを、行う。
【００８１】
このようにすれば、第１の水平加算範囲と第２の水平加算範囲の共通の画素に対して、各水平加算範囲において異なる重み係数を付与する水平演算部を構成できる。
【００８２】
また本実施形態では、ウエイト演算部３３は、第１〜第４の重み係数の乗算を行う第１〜第４の乗算部ＭＰ１〜ＭＰ４を有する。第１〜第４の乗算部ＭＰ１〜ＭＰ４は、ラインメモリー３２に記憶された画素値に対して、同一タイミングにおいて第１〜第４の重み係数を乗算する。
【００８３】
このようにすれば、１行について１回のタイミングで、重畳する加算単位のウエイト演算を行うことができる。これにより、共通画素に対して２回のタイミングでウエイト演算を行う必要がないため、従来の重畳しない画素加算に比べて動作速度を上げることなく固体撮像装置を構成できる。また、動作速度が変わらないため、従来の固体撮像装置の水平演算部や垂直演算部を変更するだけで重畳シフトサンプリングが可能になり、設計コストを削減できる。
【００８４】
また本実施形態では、図４に示すように、垂直演算部９は、第１の垂直加算範囲（例えば第１行、第２行）と、第１の垂直加算範囲と共通の行（第２行）を含む第２の垂直加算範囲（第２行、第３行）とを、垂直加算範囲として加算画素値を出力する。
【００８５】
このようにすれば、第１、第２の垂直加算範囲の共通する行の水平加算画素値を各垂直加算範囲について加算できるため、重畳する垂直加算範囲の画素加算を実現できる。
【００８６】
具体的には、垂直演算部９は、第１〜第３のラインメモリーＬＭ１〜ＬＭ３と垂直加算部４３を含む。第１〜第３のラインメモリーＬＭ１〜ＬＭ３は、それぞれ第１〜第３の行の水平加算画素値を記憶する。垂直加算部４３は、第１、第２の行の水平加算画素値の加算と、第２、第３の水平加算画素値の加算とを、行う。
【００８７】
このようにすれば、第１の垂直加算範囲と第２の垂直加算範囲の共通の行の水平加算画素値を、各垂直加算範囲において加算する垂直演算部を構成できる。
【００８８】
また本実施形態では、図１に示すように、固体撮像装置１は、制御部（タイミング制御部１２）と選択部１３を含む。制御部は加算単位を設定する。選択部１３は、設定された加算単位に基づいて列と行を選択する。水平演算部８は、選択された列の画素値を重み付けして加算する。垂直演算部９は、選択された行の水平加算画素値を加算する。
【００８９】
このようにすれば、設定された加算単位に基づいて列と行を選択することで、加算単位に含まれる画素の画素値を加算し、加算画素値を求めることができる。
【００９０】
また本実施形態では、Ａ／Ｄ変換部は、行走査部４により選択された行の各列のアナログ信号を、並列にデジタル信号に変換する列並列Ａ／Ｄ変換部７である。
【００９１】
このようにすれば、１行の画素のアナログ信号を、並列にデジタル信号に変換することができる。これにより、高速なＡ／Ｄ変換が不要になるため、固体撮像装置１の動作速度の低速化を図ることができる。
【００９２】
６．同色画素の重畳シフト加算処理
上述の重畳シフト画素加算を、ベイヤー配列の撮像素子に適用した場合について詳細に説明する。まず、同色４画素を画素加算する場合について説明する。なお以下では、１０行１０列の画素アレイを例に説明する。
【００９３】
図５（Ａ）に、同色４画素加算を行う場合の加算範囲の設定例を示す。図５（Ａ）において、Ｍは列番号（カラム）を表し、Ｎは行番号（ライン）を表す。
【００９４】
図５（Ａ）に示すように、加算範囲（加算単位）ＧＰ００、ＧＰ４０、ＧＰ２２、ＧＰ６２、ＧＰ０４、ＧＰ４４、ＧＰ２６、ＧＰ６６が設定され、各加算範囲に含まれる同色４画素の画素信号を加算する。
【００９５】
図５（Ｂ）に、同色４画素加算を行う場合の出力信号例を模式的に示す。図５（Ｂ）では、画素に付与されるウエイトを省略し、加算される画素を実線で囲まれたグループで表す。また、Ｍ列Ｎ行の画素をサフィックス“＿ＭＮ”で表し、例えば３行２列のＲ画素をＲ＿３２と表す。また、ＨＤは水平同期信号を表し、１Ｈは１水平走査期間を表す。ＶＤは垂直同期信号を表し、１Ｖは１垂直走査期間を表す。
【００９６】
図５（Ｂ）に示すように、行が走査されるにしたがって加算画素値が順次出力される。即ち、Ａ１に示すように、まず加算範囲ＧＰ００、ＧＰ４０のＧｒ画素、Ｒ画素の加算画素値が出力される。次に、Ａ２に示すように、加算範囲ＧＰ００、ＧＰ４０のＢ画素、Ｇｂ画素の加算画素値が出力される。以後同様に、加算範囲ＧＰ２２、ＧＰ６２の加算画素値、加算範囲ＧＰ０４、ＧＰ４４の加算画素値、加算範囲ＧＰ２６、ＧＰ６６の加算画素値が、順次出力される。
【００９７】
このようにして、ベイヤー配列の市松重畳シフト画素加算サンプリングにより、１フレーム当たり４列８行の計３２画素の出力信号が得られる。図２（Ａ）等で上述の第１、第２フレームを合わせると計６４画素の出力信号が得られ、この６４画素の出力信号から画素値の復元が行われる。
【００９８】
次に、図６を用いて、上記の同色４画素加算を行う場合の動作について説明する。図６のＢ１に示すように、列並列Ａ／Ｄ変換部７が、各ラインのＡ／Ｄ変換出力信号を順次出力する。Ｂ２に示すように、水平演算部８が、Ａ／Ｄ変換出力信号にウエイトを付与し、その信号を水平方向に加算して水平画素加算出力信号を出力する。なお、図６では、ウエイトを省略している。
【００９９】
次に、Ｂ３に示すように、垂直演算部９のラインメモリーＬＭ１が、Ｒライン（Ｎ＝０）の水平画素加算出力信号を一時記憶する。Ｂ４に示すように、ラインメモリーＬＭ２が、Ｂライン（Ｎ＝１）の水平画素加算出力信号を一時記憶する。Ｂ５に示すように、ラインメモリーＬＭ３が、Ｒライン（Ｎ＝２）の水平画素加算出力信号を一時記憶する。次に、Ｂ６に示すように、行選択部１６が、加算対象の行及び画素を選択し、垂直加算部４３が、ラインメモリーＬＭ１、ＬＭ３に記憶された信号を加算し、４画素加算信号を出力する。なお、図６では、加算対象をマーク（◆，▲，●）で表し、同じマークの信号が加算されることを表す。また、４画素加算信号を省略表記しており、例えばＧｒ＿００＿２０＿０２＿２２は、画素値Ｇｒ＿００、Ｇｒ＿２０、Ｇｒ＿０２、Ｇｒ＿２２の加算値を表す。
【０１００】
次に、Ｂ７に示すように、ラインメモリーＬＭ１が、Ｂライン（Ｎ＝３）の水平画素加算出力信号を一時記憶する。次に、Ｂ８に示すように、垂直加算部４３が、ラインメモリーＬＭ２、ＬＭ１に記憶された信号を加算し、４画素加算信号を出力する。
【０１０１】
次に、Ｂ９に示すように、ラインメモリーＬＭ２が、Ｒライン（Ｎ＝４）の水平画素加算出力信号を一時記憶する。次に、Ｂ１０に示すように、垂直加算部４３が、ラインメモリーＬＭ３、ＬＭ２に記憶された信号を加算し、４画素加算信号を出力する。以後同様の動作を繰り返す。
【０１０２】
このようにして、図５（Ｂ）で説明した４画素加算値が得られる。図６から分かるように、ベイヤー配列の市松重畳シフト同色４画素加算サンプリングでは、垂直演算部９のラインメモリーは最低３本必要である。ラインメモリーの必要本数が垂直方向の画素加算数に依存することは、上述したとおりである。
【０１０３】
７．異色画素の重畳シフト加算処理
次に、重畳シフト画素加算により、異色４画素を画素加算する場合について説明する。なお同色４画素の例と同様に、１０行１０列の画素アレイを例に説明する。
【０１０４】
図７（Ａ）に、異色４画素加算を行う場合の加算範囲の設定例を示す。図７（Ａ）に示すように、加算範囲（加算単位）ＧＰ００、ＧＰ２０、ＧＰ４０、ＧＰ６０、ＧＰ１１、ＧＰ３１、ＧＰ５１、ＧＰ７１、・・・が設定される。各加算範囲には、隣接する異色４画素（ベイヤー配列の１ユニット）が含まれ、その異色４画素の画素信号を加算する。
【０１０５】
図７（Ｂ）に、異色４画素加算を行う場合の出力信号例を模式的に示す。図５（Ｂ）と同様に、画素に付与されるウエイトを省略している。図７（Ｂ）のＤ１に示すように、まず加算範囲ＧＰ００、ＧＰ２０、ＧＰ４０、ＧＰ６０の加算画素値が出力される。次に、Ａ２に示すように、加算範囲ＧＰ１１、ＧＰ３１、ＧＰ５１、ＧＰ７１の加算画素値が出力される。以後、行が走査されるにしたがって、加算画素値が順次出力される。
【０１０６】
次に、図８を用いて、上記の異色４画素加算を行う場合の動作について説明する。図６と同様に、ウエイトを省略しており、加算対象をマーク（◆，▲，●）で表す。また、４画素加算信号を省略表記しており、例えば００＿１０＿０１＿１１は、画素値Ｇｒ＿００、Ｒ＿１０、Ｂ＿０１、Ｇｂ＿１１の加算値を表す。
【０１０７】
図８のＥ１に示すように、列並列Ａ／Ｄ変換部７が、各ラインのＡ／Ｄ変換出力信号を順次出力する。Ｅ２に示すように、水平演算部８が、Ａ／Ｄ変換出力信号にウエイトを付与し、その信号を水平方向に加算して水平画素加算出力信号を出力する。
【０１０８】
次に、Ｅ３に示すように、垂直演算部９のラインメモリーＬＭ１が、Ｒライン（Ｎ＝０）の水平画素加算出力信号を一時記憶する。Ｅ４に示すように、ラインメモリーＬＭ２が、Ｂライン（Ｎ＝１）の水平画素加算出力信号を一時記憶する。次に、Ｅ５に示すように、行選択部１６が、加算対象の行及び画素を選択し、垂直加算部４３が、ラインメモリーＬＭ１、ＬＭ２に記憶された信号を加算し、４画素加算信号を出力する。
【０１０９】
次に、Ｅ６に示すように、ラインメモリーＬＭ３が、Ｒライン（Ｎ＝２）の水平画素加算出力信号を一時記憶する。次に、Ｅ７に示すように、垂直加算部４３が、ラインメモリーＬＭ２、ＬＭ３に記憶された信号を加算し、４画素加算信号を出力する。
【０１１０】
次に、Ｅ８に示すように、ラインメモリーＬＭ１が、Ｂライン（Ｎ＝３）の水平画素加算出力信号を一時記憶する。次に、Ｅ９に示すように、垂直加算部４３が、ラインメモリーＬＭ３、ＬＭ１に記憶された信号を加算し、４画素加算信号を出力する。以後同様の動作を繰り返す。
【０１１１】
以上の実施形態によれば、従来の固体撮像装置に比べて処理や機能を複雑化する必要がなく、読み出す画素の列数や行数に対応する時間を必要以上に費やさず、市松重畳シフト画素加算サンプリングを行うことが可能である。これにより、動画及び静止画という境界を意識することなく撮像が可能となり、固体撮像装置の汎用性に大きく貢献できる。
【０１１２】
８．重畳しない場合の加算処理
本実施形態では、加算範囲が重畳しない通常の４画素加算を行うことも可能である。図９（Ａ）〜図１０を用いて、本実施形態を通常の４画素加算処理に適用した場合について説明する。
【０１１３】
図９（Ａ）に、通常の４画素加算を行う場合の加算範囲の設定例を示す。図９（Ａ）に示すように、重畳しない加算範囲（加算単位）ＧＰ００、ＧＰ４０、ＧＰ０４、ＧＰ４４が設定され、各加算範囲に含まれる同色４画素の画素信号を加算する。
【０１１４】
図９（Ｂ）に、通常の４画素加算を行う場合の出力信号例を模式的に示す。図５（Ｂ）と同様に、画素に付与されるウエイトを省略している。図９（Ｂ）に示すように、まず加算範囲ＧＰ００、ＧＰ４０の加算画素値、加算範囲ＧＰ０４、ＧＰ４４の加算画素値が、順次出力される。
【０１１５】
次に、図１０を用いて、上記の通常の４画素加算を行う場合の動作について説明する。図１０と同様に、ウエイトを省略しており、加算対象をマーク（◆，▲，●）で表す。また、４画素加算信号を省略表記しており、例えばＧｒ＿００＿２０＿０２＿２２は、画素値Ｇｒ＿００、Ｇｒ＿２０、Ｇｒ＿０２、Ｇｒ＿２２の加算値を表す。
【０１１６】
図１０のＧ１に示すように、列並列Ａ／Ｄ変換部７が、各ラインのＡ／Ｄ変換出力信号を順次出力する。Ｇ２に示すように、水平演算部８が、Ａ／Ｄ変換出力信号にウエイトを付与し、その信号を水平方向に加算して水平画素加算出力信号を出力する。このとき、重畳シフト加算は行わない。即ち、加算範囲が重畳しないため、１つの画素が２の加算範囲で加算されることはない。
【０１１７】
次に、Ｇ３に示すように、垂直演算部９のラインメモリーＬＭ１が、Ｒライン（Ｎ＝０）の水平画素加算出力信号を一時記憶する。Ｇ４に示すように、ラインメモリーＬＭ２が、Ｂライン（Ｎ＝１）の水平画素加算出力信号を一時記憶する。次に、Ｇ５に示すように、Ｒライン（Ｎ＝２）の水平画素加算出力信号を一時記憶せず、ラインメモリーをスルーさせる。次に、Ｇ６に示すように、行選択部１６が、加算対象の行及び画素を選択し、垂直加算部４３が、ラインメモリーＬＭ１に記憶された信号とスルーさせた信号を加算し、４画素加算信号を出力する。
【０１１８】
次に、Ｇ７に示すように、Ｂライン（Ｎ＝３）の水平画素加算出力信号を一時記憶せず、ラインメモリーをスルーさせる。次に、Ｇ８に示すように、垂直加算部４３が、ラインメモリーＬＭ２に記憶された信号とスルーさせた信号を加算し、４画素加算信号を出力する。以後同様の動作を繰り返す。
【０１１９】
このようにして、本実施形態では通常の画素加算サンプリングが可能である。当然のことながら、固体撮像装置をフルスキャンした場合の全画素読み出し時においても、重畳シフト加算の構成が制約事項や条件となることはない。
【０１２０】
なお、以上の実施形態では、４画素加算を行う場合を例にとり説明したが、本実施形態はこれに限定されず、それ以外の画素加算数に対応するために機能や処理構成を拡張してもよい。
【０１２１】
以上の実施形態によれば、機能ブロックを複雑化することなく、かつ動作時間に影響を与えることなく画像データの高解像度化に必要な低解像モードの信号読み出しを実現する撮像装置及び撮像装置の制御方法を提供することができる。
【０１２２】
９．復元推定処理
次に、重畳シフトサンプリングにより取得した加算画素値から高解像画像を推定により復元する処理について詳細に説明する。なお以下では、加算画素値｛ａ００、ａ１０、ａ１１、ａ０１｝を例に説明する（ｉ，ｊは０以上の整数）が、他の加算画素値についても同様である。また、加算単位が２×２画素毎に設定される場合を例に説明するが、これに限定されず、例えば３×３画素毎であってもよい。
【０１２３】
図１１（Ａ）、図１１（Ｂ）に、推定画素値と中間画素値の説明図を示す。図１１（Ａ）に示す加算画素値｛ａ００、ａ１１｝は、図２（Ａ）で説明したグループＧＰ１、ＧＰ２の加算画素値に対応する。加算画素値｛ａ１０、ａ０１｝は、図２（Ｃ）で説明したグループＧＰ３、ＧＰ４の加算画素値に対応する。推定処理では、この加算画素値を用いて、最終的な推定画素値ｖ００〜ｖ２２を推定する。推定画素値ｖｉｊは、図２（Ａ）で説明した画素Ａ〜Ｉの画素値に対応する。
【０１２４】
図１１（Ｂ）に示すように、まず加算画素値ａ００〜ａ１１から中間画素値ｂ００〜ｂ２１（中間推定画素値）を推定する。中間画素値は２画素加算値に対応し、例えばｂ００は画素値ｖ００とｖ０１の加算値に対応する。これらの中間画素値ｂ００〜ｂ２１から最終的な画素値ｖ００〜ｖ２２を推定する。
【０１２５】
まず中間画素値を推定する処理について説明する。以下では、水平方向の最初の行の中間画素値ｂ００〜ｂ２０を推定する場合を例に説明する。次の行の中間画素値ｂ０１〜ｂ２１についても同様の手法により推定される。
【０１２６】
図１２に示すように、中間画素値ｂ００〜ｂ２０は、水平方向の最初の行の加算画素値ａ００、ａ１０に基づいて推定される。説明を簡単にするために、例えば重み係数ｒ＝２とすると、加算画素値ａ００、ａ１０は下式（４）で表される。
ａ００＝ｖ００＋（１／２）ｖ０１＋（１／２）ｖ１０＋（１／４）ｖ１１，
ａ１０＝ｖ１０＋（１／２）ｖ１１＋（１／２）ｖ２０＋（１／４）ｖ２１ （４）
【０１２７】
下式（５）に示すようにｂ００、ｂ１０、ｂ２０を定義する。
ｂ００＝ｖ００＋（１／ｒ）ｖ０１＝ｖ００＋（１／２）ｖ０１，
ｂ１０＝ｖ１０＋（１／ｒ）ｖ１１＝ｖ１０＋（１／２）ｖ１１，
ｂ２０＝ｖ２０＋（１／ｒ）ｖ２１＝ｖ２０＋（１／２）ｖ２１ （５）
【０１２８】
次に、上式（５）を用いて上式（４）を変形すると、下式（６）が成り立つ。
ａ００＝ｂ００＋（１／２）ｂ１０，
ａ１０＝ｂ１０＋（１／２）ｂ２０ （６）
【０１２９】
上式（６）において、ａ００、ａ１０に所定の重み係数を掛けて差分δｉ０を取り、整理すると、下式（７）が成り立つ。
δｉ０＝ａ１０−２ａ００
＝（１／２）ｂ２０−２ｂ００ （７）
【０１３０】
ｂ００を未知数（初期変数）とすると、下式（８）に示すように、中間画素値ｂ１０、ｂ２０をｂ００の関数として求めることができる。このようにして、ｂ００を未知数として高精細な中間画素値｛ｂ００，ｂ１０，ｂ２０｝の組合せパターンが求められる。
ｂ００＝（未知数），
ｂ１０＝２（ａ００−ｂ００），
ｂ２０＝４ｂ００＋２δｉ０＝４ｂ００＋２（ａ１０−２ａ００） （８）
【０１３１】
次に、未知数ｂ００を求める手法について説明する。図１３に示すように、加算画素値のパターン｛ａ００，ａ１０｝と中間画素値のパターン｛ｂ００，ｂ１０，ｂ２０｝を比較する。そして、その誤差Ｅが最小になる未知数ｂ００を導出し、中間画素値ｂ００として設定する。
【０１３２】
具体的には、加算画素値｛ａｉｊ｝と中間画素値｛ｂｉｊ，ｂ（ｉ＋１）ｊ｝には、下式（９）の関係が成り立つ。この下式（９）による重み付けを考慮すると、下式（１０）に示す評価関数Ｅｊが求められる。そして、この評価関数Ｅｊにより、パターン｛ａ００，ａ１０｝とパターン｛ｂ００，ｂ１０，ｂ２０｝の類似性評価を行う。
ａｉｊ＝ｂｉｊ＋（１／２）ｂ（ｉ＋１）ｊ （９）
【数１】
【０１３３】
図１４に示すように、Ｅｊを最小にする未知数ｂ００（＝α）を求め、ｂ００の値を決定できる。そして、推定したｂ００の値を上式（８）に代入し、ｂ１０，ｂ２０が求められる。
【０１３４】
次に、求めた中間画素値ｂｉｊを用いて最終推定画素値ｖｉｊを求める手法について説明する。以下では、左端垂直列（ｉ＝０列）を例に説明する。最終推定画素値ｖｉｊは、中間画素値ｂｉｊを求めた手法と同様に求められる。即ち、上式（６）を下式（１１）に置き換えれば、以降の処理は同様である。
ｂ００＝ｖ００＋（１／２）ｖ０１，
ｂ０１＝ｖ０１＋（１／２）ｖ０２ （１１）
９．撮像装置
【０１３５】
図１５に、上述の重畳シフトサンプリングと復元処理を行う撮像装置の構成例を示す。撮像装置は、撮像光学系１００（レンズ）、光学ローパスフィルター１１０、固体撮像装置１、データ記録部１４０（記憶部）、表示処理部１５０、モニター表示部１６０、画素値推定演算部２１０（推定演算部）、画像出力部３００を含む。
【０１３６】
なお、本実施形態の撮像装置はこの構成に限定されず、その構成要素の一部を省略したり、他の構成要素を追加したりする等の種々の変形実施が可能である。例えば、画素値推定演算部２１０と画像出力部３００を、撮像装置の外部の画像処理装置（例えばＰＣ）により構成してもよい。
【０１３７】
撮像光学系１００は、被写体を結像する。光学ローパスフィルター１１０は、例えば固体撮像装置１の解像度に対応する帯域を通過させる。固体撮像装置１（例えば１２メガピクセル）は、例えばＣＣＤやＣＭＯＳセンサーにより構成される。固体撮像装置１は、加算単位の設定や加算読み出しを制御し、フュージョンフレーム（fusion-frame）を取得する。フュージョンフレームとは、重畳シフトサンプリングにより得られた画像である。データ記録部１４０は、例えばメモリーカード等で実現され、フュージョンフレームによる動画を記録する。モニター表示部１６０は、動画のライブビュー表示や、再生された動画の表示を行う。
【０１３８】
画素値推定演算部２１０は、最終推定画素値の推定を行う。画像出力部３００は、最終推定画素値に基づいて静止画や動画を出力する。画像出力部３００は、アンチエリアシングフィルター２２０、２５０、ローパスフィルター２３０、アンダーサンプリング部２４０を含む。
【０１３９】
アンチエリアシングフィルター２２０は、最終推定画素値をアンチエリアシング処理し、高解像静止画（例えば１２メガピクセル）を出力する。ローパスフィルター２３０は、最終推定画素値をハイビジョンの帯域に制限する。アンダーサンプリング部２４０は、帯域制限された最終推定画素値を、ハイビジョンの画素数にアンダーサンプリングする。アンチエリアシングフィルター２２０は、アンダーサンプリングされた画像をアンチエリアシング処理し、ハイビジョン動画（例えば２メガピクセル）を出力する。なお、アンダーサンプリングせずに、高解像動画（例えば１２メガピクセル）を出力してもよい。
【０１４０】
以上の実施形態によれば、図１５に示すように、撮像装置（撮像システム。例えばデジタルカメラ）は、固体撮像装置１と推定演算部（画素値推定演算部２１０）を含む。図１１（Ａ）で説明したように、推定演算部は、加算画素値｛ａ００、ａ１０、ａ１１、ａ０１｝に基づいて、加算単位に含まれる画素の画素値｛ｖ００、ｖ１０、ｖ１１、ｖ０１｝を推定する。
【０１４１】
図１１（Ａ）に示すように、第１のポジションに設定された加算単位（例えばａ００）と、第１のポジションがシフトされた第２のポジションに設定された加算単位（例えばａ１０）は重畳する。垂直演算部９は、第１、第２の加算単位の加算画素値である第１、第２の加算画素値（ａ００、ａ１０）を出力する。上式（７）に示すように、推定演算部は、第１、第２の加算画素値ａ００、ａ１０の差分値δｉ０を求める。図１１（Ｂ）に示すように、第１の中間画素値ｂ００は、加算単位ａ００から重畳領域（ｖ１０、ｖ１１）を除いた第１の領域（ｖ００、ｖ０１）の加算画素値である。第２の中間画素値ｂ２０は、加算単位ａ１０から重畳領域（ｖ１０、ｖ１１）を除いた第２の領域（ｖ２０、ｖ２１）の加算画素値である。上式（８）に示すように、第１、第２の中間画素値ｂ００、ｂ２０の関係式を、差分値δｉ０を用いて表す。図１３等に示すように、その関係式を用いて第１、第２の中間画素値ｂ００、ｂ２０を推定する。推定した第１の中間画素値ｂ００を用いて加算単位に含まれる各画素の画素値｛ｖ００、ｖ１０、ｖ１１、ｖ０１｝を求める。
【０１４２】
このようにすれば、重畳シフトされた加算画素値から中間画素値を一旦推定し、その重畳シフトされた中間画素値から推定画素値を求めることで、高解像画像の推定処理を簡素化できる。例えば、２次元フィルターの繰り返し演算（特開２００９−１２４６２１号公報）や、初期値の設定に適当な部分を探索（特開２００８−２４３０３７号公報）する等の複雑な処理が不要となる。
【０１４３】
ここで、重畳するとは、加算単位と加算単位が重なった領域を有することであり、例えば図１１（Ａ）に示すように、加算単位ａ００と加算単位ａ１０が、２つの推定画素ｖ１０、ｖ１１を共有することである。
【０１４４】
また、加算単位のポジションとは、撮像画像における加算単位の位置や座標のことであり、あるいは、推定処理における推定画素値データ（画像データ）上での加算単位の位置や座標のことである。また、シフトされたポジションとは、元のポジションから画素シフトされたポジションであり、元のポジションと位置や座標が一致しないポジションのことである。
【０１４５】
また本実施形態では、第１、第２の中間画素値（例えばｂ００、ｂ２０）を含む連続する中間画素値を中間画素値パターン｛ｂ００、ｂ１０、ｂ２０｝とする。上式（８）に示すように、推定演算部は、中間画素値パターンに含まれる中間画素値の間の関係式を加算画素値ａ００、ａ１０を用いて表す。図１３に示すように、中間画素値の間の関係式で表された中間画素値パターンと加算画素値とを比較して類似性を評価する。その類似性の評価結果に基づいて、類似性が最も高くなるように中間画素値パターンに含まれる中間画素値ｂ００、ｂ１０、ｂ２０を決定する。
【０１４６】
このようにすれば、重畳されながら画素シフトされた加算単位により取得された複数の加算画素値に基づいて、中間画素値を推定できる。
【０１４７】
ここで、中間画素値パターンとは、推定処理に用いられる範囲の中間画素値のデータ列（データの組み）である。また、加算画素値パターンとは、推定処理に用いられる範囲の加算画素値のデータ列である。
【０１４８】
また本実施形態では、上式（１０）に示すように、推定演算部は、中間画素値の間の関係式で表された中間画素値パターン｛ｂ００、ｂ１０、ｂ２０｝と加算画素値｛ａ００、ａ１０｝との誤差を表す評価関数Ｅｊを求める。評価関数Ｅｊの値が最小となるように中間画素値パターンに含まれる中間画素値ｂ００、ｂ１０、ｂ２０を決定する。
【０１４９】
このようにすれば、誤差を評価関数で表し、その評価関数の極小値に対応する中間画素値を求めることで、中間画素値の値を推定できる。例えば、上述のように最小二乗法を用いて未知数を求めることで、簡素な処理で中間画素推定の初期値を設定できる。例えば、初期値設定に適当な画像部分の探索（特開２００８−２４３０３７号公報）が不要である。
【０１５０】
また本実施形態では、上式（４）に示すように、加算単位の各画素値（例えば、ｖ００、ｖ１０、ｖ０１、ｖ１１）が重み付け加算された加算画素値（ａ００）を取得する。取得された加算単位の加算画素値（ａ００、ａ１０）に基づいて、加算単位の各画素の画素値（ｖ００、ｖ１０、ｖ０１、ｖ１１）を推定する。
【０１５１】
このようにすれば、加算単位の各画素値を重み付け加算して加算画像を取得し、取得した加算画像から高解像画像の画素値を推定できる。これにより、推定処理において、被写体の持つ高周波成分の再現性を向上できる。すなわち、加算単位の画素値を単純加算した場合には、矩形の窓関数を結像にコンボリューションすることになる。一方、加算単位の画素値を重み付け加算した場合には、矩形よりも高周波成分を多く含む窓関数を結像にコンボリューションすることになる。そのため、被写体の持つ高周波成分をより多く含む加算画像を取得でき、推定画像での高周波成分の再現性を向上できる。
【０１５２】
なお、上記のように本実施形態について詳細に説明したが、本発明の新規事項および効果から実体的に逸脱しない多くの変形が可能であることは当業者には容易に理解できるであろう。従って、このような変形例はすべて本発明の範囲に含まれるものとする。例えば、明細書又は図面において、少なくとも一度、より広義又は同義な異なる用語と共に記載された用語は、明細書又は図面のいかなる箇所においても、その異なる用語に置き換えることができる。また固体撮像装置、撮像装置等の構成、動作も本実施形態で説明したものに限定に限定されず、種々の変形実施が可能である。
【符号の説明】
【０１５３】
１ 固体撮像装置、２ 画素回路アレイ、３ 単位画素回路、４ 行走査部、
５ 行選択線、６ 列信号線、７ 列並列Ａ／Ｄ変換部、８ 水平演算部、
９ 垂直演算部、１０ ラインメモリー、１１ 列走査部、
１２ タイミング制御部、１３ 選択部、１４ 出力線、１５ 列選択部、
１６ 行選択部、３０ Ａ／Ｄ変換出力、３１ 水平演算部、
３２ ラインメモリー、３３ ウエイト演算部、３４ 水平加算部、
３５ 水平画素加算出力、４２ ラインメモリー、４３ 垂直加算部、
４４ 垂直画素加算出力、１００ 撮像光学系、
１１０ 光学ローパスフィルター、１４０ データ記録部、
１５０ 表示処理部、１６０ モニター表示部、２１０ 画素値推定演算部、
２２０ アンチエリアシングフィルター、２３０ ローパスフィルター、
２４０ アンダーサンプリング部、３００ 画像出力部、
ａ００〜ａ１１ 加算画素値、ｂ００〜ｂ２０ 中間画素値、ｒ 重み係数、
ｖ００〜ｖ２２ 推定画素値、δｉ０ 差分値、Ａ〜Ｉ 画素、
ＡＨ１，ＡＨ２ 加算部、ＡＶ１，ＡＶ２ 加算部、Ｅｊ 評価関数、
ＧＰ１〜ＧＰ４ グループ、ＬＭ１〜ＬＭ３ ラインメモリー、Ｍ 行番号、
ＭＰ１〜ＭＰ４ 乗算部、Ｎ 列番号
【特許請求の範囲】
【請求項１】
入射光を光電変換する複数の画素が配列された画素アレイ部と、
前記画素アレイ部の行を選択し、垂直走査を行う行走査部と、
選択された前記行の画素からのアナログ信号をデジタル信号の画素値に変換するＡ／Ｄ変換部と、
加算対象となる画素の範囲である加算単位の列範囲を水平加算範囲とし、行範囲を垂直加算範囲とする場合に、前記行の前記画素値のうち前記水平加算範囲に含まれる前記画素値を、各列に重み付けして加算し、加算された前記画素値を水平加算画素値として出力する水平演算部と、
前記水平加算画素値のうち前記垂直加算範囲に含まれる前記水平加算画素値を加算し、加算された前記水平加算画素値を加算画素値として出力する垂直演算部と、
を含み、
前記水平演算部は、
第１の水平加算範囲と、前記第１の水平加算範囲と共通の画素を含む第２の水平加算範囲とを、前記水平加算範囲として前記水平加算画素値を出力することを特徴とする固体撮像装置。
【請求項２】
請求項１において、
前記水平演算部は、
前記第１の水平加算範囲における前記共通の画素と、前記第２の水平加算範囲における前記共通の画素に対して、異なる重み係数による前記重み付けを行うことを特徴とする固体撮像装置。
【請求項３】
請求項２において、
前記第１の水平加算範囲が第１の画素と第２の画素を含み、前記第２の水平加算範囲が前記第２の画素と第３の画素を含む場合に、
前記水平演算部は、
前記第１〜第３の画素の画素値である第１〜第３の画素値を記憶するラインメモリーと、
前記第１の画素値に対する第１の重み係数による重み付けと、前記第２の画素値に対する第２、第３の重み係数による重み付けと、前記第３の画素値に対する第４の重み係数による重み付けとを、行うウエイト演算部と、
前記第１、第２の重み係数により重み付けされた前記第１、第２の画素値の加算と、前記第３、第４の重み係数により重み付けされた前記第２、第３の画素値の加算とを、行う水平加算部と、
を有することを特徴とする固体撮像装置。
【請求項４】
請求項３において、
前記ウエイト演算部は、
前記第１〜第４の重み係数の乗算を行う第１〜第４の乗算器を有し、
前記第１〜第４の乗算器は、
前記ラインメモリーに記憶された前記画素値に対して、同一タイミングにおいて前記第１〜第４の重み係数を乗算することを特徴とする固体撮像装置。
【請求項５】
請求項１乃至４のいずれかにおいて、
前記垂直演算部は、
第１の垂直加算範囲と、前記第１の垂直加算範囲と共通の行を含む第２の垂直加算範囲とを、前記垂直加算範囲として前記加算画素値を出力することを特徴とする固体撮像装置。
【請求項６】
請求項５において、
前記垂直演算部は、
第１〜第３の行の前記水平加算画素値を記憶する第１〜第３のラインメモリーと、
前記第１、第２の行の前記水平加算画素値の加算と、前記第２、第３の前記水平加算画素値の加算とを、行う垂直加算部と、
を有することを特徴とする固体撮像装置。
【請求項７】
請求項１乃至６のいずれかにおいて、
前記加算単位を設定する制御部と、
設定された前記加算単位に基づいて列と行を選択する選択部と、
を含み、
前記水平演算部は、
選択された前記列の前記画素値を重み付けして加算し、
前記垂直演算部は、
選択された前記行の前記水平加算画素値を加算することを特徴とする固体撮像装置。
【請求項８】
請求項１乃至７のいずれかにおいて、
前記Ａ／Ｄ変換部は、
前記行走査部により選択された行の各列の前記アナログ信号を、並列に前記デジタル信号に変換する列並列Ａ／Ｄ変換部であることを特徴とする固体撮像装置。
【請求項９】
請求項１乃至８のいずれかに記載の固体撮像装置と、
前記加算画素値に基づいて、前記加算単位に含まれる画素の画素値を推定する推定演算部と、
を含み、
第１のポジションに設定された第１の加算単位と、前記第１のポジションがシフトされた第２のポジションに設定された第２の加算単位とが、重畳する場合に、
前記垂直演算部は、
前記第１、第２の加算単位の前記加算画素値である第１、第２の加算画素値を出力し、
前記推定演算部は、
前記第１の加算画素値と、前記第２の加算画素値の差分値を求め、
前記第１の加算単位から重畳領域を除いた第１の領域の加算画素値である第１の中間画素値と、前記第２の加算単位から前記重畳領域を除いた第２の領域の加算画素値である第２の中間画素値との関係式を、前記差分値を用いて表し、
前記関係式を用いて前記第１、第２の中間画素値を推定し、推定した前記第１の中間画素値を用いて前記加算単位に含まれる各画素の画素値を求めることを特徴とする撮像装置。
【請求項１０】
請求項９において、
前記推定演算部は、
前記第１、第２の中間画素値を含む連続する中間画素値を中間画素値パターンとする場合に、前記中間画素値パターンに含まれる中間画素値間の関係式を前記加算画素値を用いて表し、
前記中間画素値間の関係式で表された前記中間画素値パターンと前記加算画素値とを比較して類似性を評価し、
前記類似性の評価結果に基づいて、前記類似性が最も高くなるように、前記中間画素値パターンに含まれる中間画素値を決定することを特徴とする撮像装置。
【請求項１１】
加算対象となる画素の範囲である加算単位の列範囲を水平加算範囲とし、行範囲を垂直加算範囲とする場合に、
入射光を光電変換する複数の画素が配列された画素アレイ部が用意され、
前記画素アレイ部の行を選択し、垂直走査を行い、
選択された前記行の画素からのアナログ信号をデジタル信号の画素値に変換し、
第１の水平加算範囲と、前記第１の水平加算範囲と共通の画素を含む第２の水平加算範囲とを、前記水平加算範囲とし、
前記行の前記画素値のうち前記水平加算範囲に含まれる前記画素値を、各列に重み付けして加算し、
加算された前記画素値を水平加算画素値として出力し、
前記水平加算画素値のうち前記垂直加算範囲に含まれる前記水平加算画素値を加算し、
加算された前記水平加算画素値を加算画素値として出力することを特徴とする画像生成方法。
【請求項１】
入射光を光電変換する複数の画素が配列された画素アレイ部と、
前記画素アレイ部の行を選択し、垂直走査を行う行走査部と、
選択された前記行の画素からのアナログ信号をデジタル信号の画素値に変換するＡ／Ｄ変換部と、
加算対象となる画素の範囲である加算単位の列範囲を水平加算範囲とし、行範囲を垂直加算範囲とする場合に、前記行の前記画素値のうち前記水平加算範囲に含まれる前記画素値を、各列に重み付けして加算し、加算された前記画素値を水平加算画素値として出力する水平演算部と、
前記水平加算画素値のうち前記垂直加算範囲に含まれる前記水平加算画素値を加算し、加算された前記水平加算画素値を加算画素値として出力する垂直演算部と、
を含み、
前記水平演算部は、
第１の水平加算範囲と、前記第１の水平加算範囲と共通の画素を含む第２の水平加算範囲とを、前記水平加算範囲として前記水平加算画素値を出力することを特徴とする固体撮像装置。
【請求項２】
請求項１において、
前記水平演算部は、
前記第１の水平加算範囲における前記共通の画素と、前記第２の水平加算範囲における前記共通の画素に対して、異なる重み係数による前記重み付けを行うことを特徴とする固体撮像装置。
【請求項３】
請求項２において、
前記第１の水平加算範囲が第１の画素と第２の画素を含み、前記第２の水平加算範囲が前記第２の画素と第３の画素を含む場合に、
前記水平演算部は、
前記第１〜第３の画素の画素値である第１〜第３の画素値を記憶するラインメモリーと、
前記第１の画素値に対する第１の重み係数による重み付けと、前記第２の画素値に対する第２、第３の重み係数による重み付けと、前記第３の画素値に対する第４の重み係数による重み付けとを、行うウエイト演算部と、
前記第１、第２の重み係数により重み付けされた前記第１、第２の画素値の加算と、前記第３、第４の重み係数により重み付けされた前記第２、第３の画素値の加算とを、行う水平加算部と、
を有することを特徴とする固体撮像装置。
【請求項４】
請求項３において、
前記ウエイト演算部は、
前記第１〜第４の重み係数の乗算を行う第１〜第４の乗算器を有し、
前記第１〜第４の乗算器は、
前記ラインメモリーに記憶された前記画素値に対して、同一タイミングにおいて前記第１〜第４の重み係数を乗算することを特徴とする固体撮像装置。
【請求項５】
請求項１乃至４のいずれかにおいて、
前記垂直演算部は、
第１の垂直加算範囲と、前記第１の垂直加算範囲と共通の行を含む第２の垂直加算範囲とを、前記垂直加算範囲として前記加算画素値を出力することを特徴とする固体撮像装置。
【請求項６】
請求項５において、
前記垂直演算部は、
第１〜第３の行の前記水平加算画素値を記憶する第１〜第３のラインメモリーと、
前記第１、第２の行の前記水平加算画素値の加算と、前記第２、第３の前記水平加算画素値の加算とを、行う垂直加算部と、
を有することを特徴とする固体撮像装置。
【請求項７】
請求項１乃至６のいずれかにおいて、
前記加算単位を設定する制御部と、
設定された前記加算単位に基づいて列と行を選択する選択部と、
を含み、
前記水平演算部は、
選択された前記列の前記画素値を重み付けして加算し、
前記垂直演算部は、
選択された前記行の前記水平加算画素値を加算することを特徴とする固体撮像装置。
【請求項８】
請求項１乃至７のいずれかにおいて、
前記Ａ／Ｄ変換部は、
前記行走査部により選択された行の各列の前記アナログ信号を、並列に前記デジタル信号に変換する列並列Ａ／Ｄ変換部であることを特徴とする固体撮像装置。
【請求項９】
請求項１乃至８のいずれかに記載の固体撮像装置と、
前記加算画素値に基づいて、前記加算単位に含まれる画素の画素値を推定する推定演算部と、
を含み、
第１のポジションに設定された第１の加算単位と、前記第１のポジションがシフトされた第２のポジションに設定された第２の加算単位とが、重畳する場合に、
前記垂直演算部は、
前記第１、第２の加算単位の前記加算画素値である第１、第２の加算画素値を出力し、
前記推定演算部は、
前記第１の加算画素値と、前記第２の加算画素値の差分値を求め、
前記第１の加算単位から重畳領域を除いた第１の領域の加算画素値である第１の中間画素値と、前記第２の加算単位から前記重畳領域を除いた第２の領域の加算画素値である第２の中間画素値との関係式を、前記差分値を用いて表し、
前記関係式を用いて前記第１、第２の中間画素値を推定し、推定した前記第１の中間画素値を用いて前記加算単位に含まれる各画素の画素値を求めることを特徴とする撮像装置。
【請求項１０】
請求項９において、
前記推定演算部は、
前記第１、第２の中間画素値を含む連続する中間画素値を中間画素値パターンとする場合に、前記中間画素値パターンに含まれる中間画素値間の関係式を前記加算画素値を用いて表し、
前記中間画素値間の関係式で表された前記中間画素値パターンと前記加算画素値とを比較して類似性を評価し、
前記類似性の評価結果に基づいて、前記類似性が最も高くなるように、前記中間画素値パターンに含まれる中間画素値を決定することを特徴とする撮像装置。
【請求項１１】
加算対象となる画素の範囲である加算単位の列範囲を水平加算範囲とし、行範囲を垂直加算範囲とする場合に、
入射光を光電変換する複数の画素が配列された画素アレイ部が用意され、
前記画素アレイ部の行を選択し、垂直走査を行い、
選択された前記行の画素からのアナログ信号をデジタル信号の画素値に変換し、
第１の水平加算範囲と、前記第１の水平加算範囲と共通の画素を含む第２の水平加算範囲とを、前記水平加算範囲とし、
前記行の前記画素値のうち前記水平加算範囲に含まれる前記画素値を、各列に重み付けして加算し、
加算された前記画素値を水平加算画素値として出力し、
前記水平加算画素値のうち前記垂直加算範囲に含まれる前記水平加算画素値を加算し、
加算された前記水平加算画素値を加算画素値として出力することを特徴とする画像生成方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【公開番号】特開２０１２−２５３４９０（Ｐ２０１２−２５３４９０Ａ）
【公開日】平成２４年１２月２０日（２０１２．１２．２０）
【国際特許分類】
【出願番号】特願２０１１−１２３３３３（Ｐ２０１１−１２３３３３）
【出願日】平成２３年６月１日（２０１１．６．１）
【出願人】（００００００３７６）オリンパス株式会社 (11,466)
【Ｆターム（参考）】
【公開日】平成２４年１２月２０日（２０１２．１２．２０）
【国際特許分類】
【出願日】平成２３年６月１日（２０１１．６．１）
【出願人】（００００００３７６）オリンパス株式会社 (11,466)
【Ｆターム（参考）】
[ Back to top ]