撮像装置及び画像生成方法
【課題】Ｓ／Ｎ劣化を抑制した混色除去を高解像化画像に対して行うことが可能な撮像装置及び画像生成方法等を提供すること。
【解決手段】撮像装置１００は、画素アレイ部１１１と読み出し制御部１１２と推定演算部２００と混色除去処理部２１０を含む。画素アレイ部１１１のカラーフィルターの基本ブロックは、Ｍｘ×Ｍｙ画素である。読み出し制御部１１２は、Ｍｘ×Ｍｙ画素とは異なるＮｘ×Ｎｙ画素の加算単位を設定する。読み出し制御部１１２は、重畳しながらシフトされた加算単位を設定して重み付け加算を行い、複数の低解像画像を取得する。推定演算部２００は、その低解像画像に基づいて高解像画像を推定する。混色除去処理部２１０は、その複数の低解像画像から高解像画像の画素値を推定することによる混色、及び重み付け加算により複数色の画素値が加算されたことによる混色を除去する処理を行う。
【解決手段】撮像装置１００は、画素アレイ部１１１と読み出し制御部１１２と推定演算部２００と混色除去処理部２１０を含む。画素アレイ部１１１のカラーフィルターの基本ブロックは、Ｍｘ×Ｍｙ画素である。読み出し制御部１１２は、Ｍｘ×Ｍｙ画素とは異なるＮｘ×Ｎｙ画素の加算単位を設定する。読み出し制御部１１２は、重畳しながらシフトされた加算単位を設定して重み付け加算を行い、複数の低解像画像を取得する。推定演算部２００は、その低解像画像に基づいて高解像画像を推定する。混色除去処理部２１０は、その複数の低解像画像から高解像画像の画素値を推定することによる混色、及び重み付け加算により複数色の画素値が加算されたことによる混色を除去する処理を行う。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置及び画像生成方法等に関する。
【背景技術】
【０００２】
従来では、デジタルスチルカメラやビデオカメラ等に代表される撮像装置の多くは、単板の固体撮像素子を用いて撮像を行っている。カラー撮影を行うため、複数色のカラーフィルターを有する固体撮像素子により撮像するものが殆どである。また、これらの撮像装置では、動画撮影において、複数の画素を加算して画像を取得するムービースキャンが行われる。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００９−１２４６２１号公報
【特許文献２】特開２００８−２４３０３７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
さて、このような低解像の動画から高解像画像を得たい場合、高解像化処理を行う必要がある。しかしながら、従来の手法（例えば特許文献１、２）では、処理が複雑でハードウェアへの負荷が大きく、小型のカメラに実装することは困難である。
【０００５】
そこで、高解像化処理を簡素化する手法として、重畳シフト加算により複数枚の低解像画像を取得し、その複数枚の低解像画像から高解像画像を復元する手法が考えられる。重畳シフト加算では、複数色の画素により構成される加算単位が重畳されながらシフトされ、その加算単位内の各画素に所定の重み付けが付与され、複数色が混合された加算が行われる。
【０００６】
しかしながら、この手法では、高解像化処理により復元された画像に混色が残るという課題がある。そのため、高解像度画像を生成する際に色変換を施し、元の色を復元する必要がある。しかしながら、その色変換を施すことにより、高解像度画像のＳ／Ｎが劣化するという課題がある。
【０００７】
本発明の幾つかの態様によれば、Ｓ／Ｎ劣化を抑制した混色除去を高解像化画像に対して行うことが可能な撮像装置及び画像生成方法等を提供できる。
【課題を解決するための手段】
【０００８】
本発明の一態様は、カラーフィルターにおいて繰り返し配列される基本ブロックが、Ｍｘ×Ｍｙ画素（Ｍｘ、Ｍｙは２以上の整数）である画素アレイ部と、加算される画素の範囲である加算単位を設定し、前記加算単位に含まれる画素値を重み付け加算して低解像画像を取得する読み出し制御部と、前記低解像画像に基づいて、前記画素アレイ部の画素数に相当する解像度の高解像画像を推定する推定演算部と、推定された前記高解像画像における混色を除去する処理を行う混色除去処理部と、を含み、前記読み出し制御部は、前記画素アレイ部の前記Ｍｘ×Ｍｙ画素とは異なるＮｘ×Ｎｙ画素（Ｎｘ、Ｎｙは２以上の整数）の範囲を前記加算単位に設定し、重畳しながらシフトされた前記加算単位を設定することにより、前記低解像画像として複数の低解像画像を取得する撮像装置に関係する。
【０００９】
本発明の一態様によれば、重畳しながらシフトされた加算単位が設定され、加算単位内の画素値が重み付け加算され、複数の低解像画像が取得される。加算単位の画素数Ｎｘ×Ｎｙは、カラーフィルターの基本ブロックの画素数Ｍｘ×Ｍｙとは異なる画素数である。取得された低解像画像に基づいて高解像画像が推定され、その高解像画像における混色を除去する処理が行われる。これにより、Ｓ／Ｎ劣化を抑制した混色除去を高解像化画像に対して行うことが可能になる。
【００１０】
また本発明の一態様では、前記混色除去処理部は、前記複数の低解像画像から前記高解像画像の画素値を推定することによる混色と、前記重み付け加算により複数色の画素値が加算されたことによる混色とを除去する処理を行ってもよい。
【００１１】
このようにすれば、復元推定処理と重み付け加算処理による混色を除去する処理を行うことができる。
【００１２】
また本発明の一態様では、前記推定演算部は、前記複数の低解像画像の画素値を、前記重畳シフトにおける前記加算単位の設定位置に応じて１つの画像に再配列し、前記再配列した画像を所定の推定用フィルターで処理することで前記推定を行い、前記混色除去処理部は、前記推定用フィルターにより規定される混色比を表す第１行列と、前記重み付け加算における重み付け係数により規定される混色比を表す第２行列とに基づいて構成された混色除去フィルターにより、前記高解像画像を処理することで前記混色を除去する処理を行ってもよい。
【００１３】
このようにすれば、推定用フィルターにより規定される混色比と重み付け係数により規定される混色比とに基づいて、混色除去フィルターを構成できる。そして、その混色除去フィルターを高解像画像に対して演算することで、元のカラーフィルターの色配列を復元することが可能になる。
【００１４】
また本発明の一態様では、前記カラーフィルターは、前記Ｍｘ×Ｍｙ画素を２×２画素とするベイヤー配列のカラーフィルターであり、前記加算単位は、前記Ｎｘ×Ｎｙ画素を３×３画素とする加算単位であってもよい。
【００１５】
このようにすれば、３×３画素以外の加算単位を設定した場合に比べて、混色除去後においてより高いＳ／Ｎを実現でき、より高画質の高解像画像を得ることができる。
【００１６】
また本発明の一態様では、前記２×２画素が、１つのＲ画素と２つのＧ画素と１つのＢ画素により構成される場合に、前記再配列された画像の画素値は、前記Ｒ、Ｇ、Ｂ画素と重み付け係数との対応が異なる第１〜第３の画素値に分類され、前記第１行列は、前記高解像画像の画素値における前記第１〜第３の画素値の混合比が、前記推定用フィルターの成分により表された行列であり、前記第２行列は、前記第１〜第３の画素値における前記Ｒ、Ｇ、Ｂ画素の混合比が、前記重み付け係数に基づいて表された行列であり、前記混色除去フィルターは、前記第１、第２行列の逆行列の積の成分を、前記高解像画像の画素配列に応じて配列することにより構成されたフィルターであってもよい。
【００１７】
このようにすれば、推定用フィルターの成分に基づく第１行列と重み付け係数に基づく第２行列により混色除去フィルターを構成できる。これにより、復元推定処理と重み付け加算処理における混色比に基づく混色除去フィルターを構成できる。
【００１８】
また本発明の一態様では、前記重畳シフトにより設定される前記加算単位は、前記Ｎｘ×Ｎｙ画素の前記加算単位が、１列ずつＮｘ回及び１行ずつＮｙ回シフトされたＮｘ×Ｎｙ個の加算単位であり、前記Ｎｘ×Ｎｙ個の加算単位の各列の画素値の重み付け加算値をそれぞれ中間画素値とし、第１列の中間画素値を未知数とする場合に、前記中間画素値は、前記未知数と、前記加算単位による重み付け加算値との関係式で表され、前記推定用フィルターは、前記関係式で表された前記中間画素値と、前記加算単位による重み付け加算値との二乗誤差が最小となるように設定されたフィルターであってもよい。
【００１９】
このようにすれば、複数の低解像画像から高解像画像を復元するための推定用フィルターを構成できる。また、推定用フィルターをコンボリューション演算するだけで高解像画像を得ることができるため、復元推定処理を簡素化できる。
【００２０】
また本発明の他の態様は、加算される画素の範囲である加算単位を設定し、前記加算単位に含まれる画素値を重み付け加算して低解像画像を取得し、前記低解像画像に基づいて、画素アレイ部の画素数に相当する解像度の高解像画像を推定するとともに、推定された前記高解像画像における混色を除去する処理を行う場合に、前記画素アレイ部のカラーフィルターにおいて繰り返し配列される基本ブロックであるＭｘ×Ｍｙ画素（Ｍｘ、Ｍｙは２以上の整数）とは異なるＮｘ×Ｎｙ画素（Ｎｘ、Ｎｙは２以上の整数）の範囲を前記加算単位に設定し、重畳しながらシフトされた前記加算単位を設定することにより、前記低解像画像として複数の低解像画像を取得する画像生成方法に関係する。
【図面の簡単な説明】
【００２１】
【図１】本実施形態の撮像装置の構成例。
【図２】画素アレイ部の画素配列の例。
【図３】重畳シフト加算における重み付けについての説明図。
【図４】重畳シフトについての説明図。
【図５】重畳シフトについての説明図。
【図６】重畳シフトについての説明図。
【図７】本実施形態が行う処理のフローチャート。
【図８】低解像画像の再配列についての説明図。
【図９】２×２画素の場合の重み付けについての説明図。
【図１０】混色除去処理についての説明図。
【図１１】混色除去処理後のＳ／Ｎ特性の例。
【図１２】混色除去処理後の解像度特性の例。
【図１３】図１３（Ａ）、図１３（Ｂ）は、加算画素値、中間画素値についての説明図。
【発明を実施するための形態】
【００２２】
以下、本発明の好適な実施の形態について詳細に説明する。なお以下に説明する本実施形態は特許請求の範囲に記載された本発明の内容を不当に限定するものではなく、本実施形態で説明される構成の全てが本発明の解決手段として必須であるとは限らない。
【００２３】
１．本実施形態の概要
まず、本実施形態の概要について説明する。本実施形態では、図４〜図６で後述するように、重畳シフトされた加算単位を設定し、その加算単位に含まれる画素値を重み付け加算することにより低解像動画を取得する。そして、図７で後述するように、その低解像動画に対して推定用フィルターを演算し、撮像素子の解像度に相当する高解像画像を復元する。
【００２４】
このようにすれば、事後的に高解像画像が得られるため、ユーザが好きなタイミングを指定することができ、決定的瞬間の画像を容易に得ることが可能である。また、加算単位が重畳シフトされていることで、簡素な処理で復元を行うことが可能である。
【００２５】
さて本実施形態では、撮像素子はベイヤー（Bayer）配列等のカラー単板撮像素子であり、加算単位には複数の色の画素が含まれている。本実施形態では、この複数の色の画素値が加算された低解像画像から復元を行うが、図１０で後述するように、復元された画像では完全には色が復元されておらず、元の色が混色した状態となる。
【００２６】
そこで本実施形態では、復元画像に対して混色を除去する処理を行い、元の色を復元する。しかしながら、図１１で後述するように、加算単位の画素数をカラーフィルターの基本ブロックの画素数（例えばベイヤー配列では２×２）と同じにすると、混色除去の際にノイズがゲインアップされ、復元画像のＳ／Ｎが劣化してしまう。
【００２７】
そこで本実施形態では、加算単位の画素数を、カラーフィルターの基本ブロックの画素数とは異なる画素数に設定する。これにより、図１１で後述するように、混色除去によるＳ／Ｎ劣化を抑制でき、復元画像の画像品質を向上することが可能になる。
【００２８】
２．撮像装置
図１に、上記の復元処理と混色除去処理を行う本実施形態の撮像装置の構成例を示す。図１の撮像装置１００は、撮像光学系１０１（レンズ）、制御部１０２、メモリー１０３、モニター表示部１０４、固体撮像素子１１０（撮像素子）、画像処理部１２０を含む。
【００２９】
撮像装置１００は、光学的な画像情報を電気信号に変換し、電子的に記録媒体に記録する装置である。このような撮像装置１００として、例えばデジタルスチルカメラ、デジタルムービーカメラ等が想定される。
【００３０】
撮像光学系１０１は、被写体を結像する。固体撮像素子１１０は、カラー単板撮像素子であり、結像された被写体像を撮像する。具体的には、固体撮像素子１１０は、画素アレイ部１１１（受光素子）と、読み出し制御部１１２（加算サンプリング部）を含む。
【００３１】
読み出し制御部１１２は、画素アレイ部１１１の複数画素が重み付け加算された低解像画像を読み出し、その加算される画素の範囲を順次シフトすることにより複数の低解像画像を取得する。取得された画像データは、制御部１０２により、高解像度画像生成部１２１、又は低解像度画像生成部１２２、アクセス制御部１２４へ伝送される。
【００３２】
画像処理部１２０は、撮像された低解像画像に対して、種々の処理を行う。具体的には、画像処理部１２０は、高解像度画像生成部１２１、低解像度画像生成部１２２、表示処理部１２３、アクセス制御部１２４（記録処理部）を含む。
【００３３】
高解像度画像生成部１２１には、固体撮像素子１１０から伝送された低解像画像データ、又は記録媒体１０５（記録部）から読み出されてアクセス制御部１２４により展開された低解像度画像データが入力される。高解像度画像生成部１２１は、入力された低解像画像データに対して処理を行い、低解像度画像データよりも解像度の高い画像データを生成する。具体的には高解像度画像生成部１２１は、推定演算部２００、混色除去処理部２１０（色変換処理部）を含む。
【００３４】
推定演算部２００は、重畳シフト加算により得られた低解像画像データに対して、後述する復元推定処理を行い、高解像画像データを求める。混色除去処理部２１０は、復元された高解像画像データに対して、後述する混色除去処理（色変換処理）を行い、重畳シフト加算及び復元推定処理による混色を除去する。
【００３５】
低解像度画像生成部１２２には、固体撮像素子１１０から伝送された低解像画像データ、又は記録媒体１０５から読み出されてアクセス制御部１２４により展開された低解像度画像データが入力される。低解像度画像生成部１２２は、入力された低解像度画像データに対して、後述する処理を行い、低解像度画像データと同等の解像度の画像データを生成する。
【００３６】
表示処理部１２３は、高解像度画像生成部１２１又は低解像度画像生成部１２２からの画像に対して表示用の変換処理を行い、変換後の画像をモニター表示部１０４に表示する処理を行う。例えば、表示用の変換処理として、モニター解像度に合致させるためのリサイズ処理や、モニターにおいて違和感のない画像に見せるためのガンマ補正処理や色補正処理を行う。
【００３７】
アクセス制御部１２４は、高解像度画像生成部１２１又は低解像度画像生成部１２２からの画像に対して記録用の変換処理を行い、変換後の画像を外部の記録媒体１０５に記録する制御を行う。例えば、記録用の変換処理として、データサイズを小さくするための圧縮符号化処理や、指定されたデータフォーマットへの変換処理を行う。なお、モニター表示及び記録媒体への記録は、そのいずれか一方のみが行われてもよく、その両方が行われてもよい。
【００３８】
３．重畳シフト加算処理
次に、本実施形態が行う重畳シフト加算処理について詳細に説明する。まず図２に、画素アレイ部１１１の画素配列の例を示す。図２において、ｘは画素配列の列番号を表し、ｙは画素配列の行番号を表す（ｘ、ｙはゼロ以上の整数）。例えば、列番号は水平走査方向の座標であり、行番号は垂直走査方向の座標である。なお以下では適宜、列番号ｘが小さくなる方向を“左”、大きくなる方向を“右”、行番号ｙが小さくなる方向を“上”、大きくなる方向を“下”と呼ぶ。
【００３９】
図２に示すように、画素アレイ部１１１のカラーフィルターは、いわゆるベイヤー配列に配列される。即ち、２×２の４画素を基本ブロックとし、その基本ブロックが繰り返し配列される。基本ブロックとは、カラーフィルターの繰り返し配列における最小の構成単位であり、カラーフィルターにおける全ての色を有するブロックである。ベイヤー配列の基本ブロックには、１つのＲ（赤）画素、２つのＧ（緑）画素、１つのＢ（青）画素が含まれる。
【００４０】
次に、重畳シフト加算における重み付けについて説明する。図３に示すように、読み出し制御部１１２は、３×３の９画素を１ユニット（加算単位）とし、そのユニット内の画素値を重み付け加算し、加算した画素値を１画素信号として出力する。図３では、ユニット内の画素Ｐ１〜Ｐ９に対する重み付け係数をかっこ書きで表す。ｒは重み付けのパラメーターであり、正の実数（例えばｒ＝２）である。なお、図３にはＰ１がＲ画素である例を示すが、他の色の場合もＰ１〜Ｐ９と係数の対応は同様である。
【００４１】
次に、重畳シフトについて説明する。図４〜図６に示すように、固体撮像素子１１０からの１回の読み出し動作において、画素アレイ部１１１の全領域又は一部の領域から加算画素信号が読み出される。そして、その加算画素信号が配列された画像が、１フレーム（フィールド）の低解像度画像データとして固体撮像素子１１０から出力される。
【００４２】
具体的には、図４に示すように、第０フレームでは画素アレイ部１１１の全領域又は一部の領域における左上端の３×３画素をユニットに設定する。第１フレームでは、第０フレームのユニットに対して１画素右にずれた３×３画素をユニットに設定する。第２フレームでは、更に１画素右にずれた３×３画素をユニットに設定する。図５に示すように、第３フレームでは、第０フレームのユニットに対して１画素下にずれた３×３画素をユニットに設定する。第４フレームでは、第３フレームのユニットに対して１画素右にずれた３×３画素をユニットに設定する。第５フレームでは、更に１画素右にずれた３×３画素をユニットに設定する。図６に示すように、第６フレームでは、第３フレームのユニットに対して１画素下にずれた３×３画素をユニットに設定する。第７フレームでは、第６フレームのユニットに対して１画素右にずれた３×３画素をユニットに設定する。第８フレームでは、更に１画素右にずれた３×３画素をユニットに設定する。第９フレームでは、第０フレームのユニットと同じ３×３画素をユニットに設定する。
【００４３】
上記重畳シフトにより取得される３×３画素の加算画素信号は、ｒ＝２を例にとると、下式（１）により表される。
【数１】
【００４４】
ここで、ｖｘ，ｙは、画素アレイ部１１１の位置（ｘ，ｙ）における画素値であり、ａｉ，ｘ，ｙは、第ｉフレームの低解像画像の位置（ｘ，ｙ）における画素値である。下式（１）では、ｖｘ，ｙとａｉ，ｘ，ｙのレンジを同一にするため正規化を行っている。
【００４５】
上式（１）をＮｘ×Ｎｙ画素のユニットに一般化すると、下式（２）となる。
【数２】
【００４６】
ここで、ｔ％ｓはｔのｓによる剰余を表し、［ｔ］はｔを超えない最大の整数を表す。また、Ｎｘ，Ｎｙはそれぞれ水平方向、垂直方向の加算画素数であり、例えば本実施例ではＮｘ＝Ｎｙ＝３である。ｒｘ，ｒｙはそれぞれ水平方向、垂直方向の重み付けパラメーターであり、例えば本実施例ではｒｘ＝ｒｙ＝２である。
【００４７】
なお上記ではカラーフィルターがＲＧＢのベイヤー配列である例を説明したが、本実施形態はこれに限定されない。例えばカラーフィルターはＣＭＹ等であってもよいし、ベイヤー配列以外の配列であってもよい。
【００４８】
また上記ではユニットが３×３画素である例を説明したが、本実施形態はこれに限定されず、ユニットの画素数は、カラーフィルターの基本ブロックと異なる画素数であれば他の画素数に設定されてもよい。
【００４９】
また上記では固体撮像素子１１０が第０フレームから低解像画像を順次取得して出力する例を説明したが、本実施形態はこれに限定されない。例えば、任意のフレームから出力してもよいし、出力する順番を連番に限らず任意の順番で出力してもよい。また、１回の読み出し動作（１フレーム）において、複数の低解像画像を取得又は出力してもよい。
【００５０】
ここで、フレームとは、例えば撮像素子による１回の撮影動作タイミングや、画像処理において１つの画像（例えば１つの低解像画像や、後述する画像Ｘ）が処理されるタイミングである。あるいは、画像データにおける１つの低解像画像や高解像画像も適宜フレームと呼ぶ。
【００５１】
４．復元推定処理、混色除去処理
次に、本実施形態が行う復元推定処理、混色除去処理について詳細に説明する。図７に、本実施形態が行う処理のフローチャートを示す。
【００５２】
例えば、フローチャートのステップＳ２〜Ｓ５は、高解像度画像生成部１２１が実行する。ステップＳ７〜Ｓ９は、低解像度画像生成部１２２が実行する。他のステップＳ１、Ｓ６は、制御部１０２が実行する。なお、本実施形態の各部はハードウェアとして構成されてもよいし、ソフトウェアにより構成されてもよい。ソフトウェアにより構成される場合、本実施形態の各部を記述したプログラムがＣＰＵ等の情報処理装置により実行されることで、各部の処理が実現される。
【００５３】
図７に示すように、この処理が開始されると、高解像度画像を出力するか否かの判断を行う（Ｓ１）。例えば、撮像装置１００に対するユーザの指示に基づいて判断する。なお、ユーザの指示は撮像時よりも前に行われていてもよいし、ステップＳ１を処理するタイミングでユーザに対し要求してもよい。
【００５４】
高解像度画像を生成する場合（Ｓ１、ＹＥＳ）、固体撮像素子１１０又は記録媒体１０５からの画像データを読み込む（Ｓ２）。本実施形態では連続する９フレームの画像を必要とするため、連続する９フレームの低解像度画像データを読み込む。次に、読み込まれた低解像度画像データから高解像度画像の画素値を推定する（Ｓ３）。
【００５５】
画素値の推定手法について、詳細に説明する。まず図８に示すように、９フレームの低解像度画像データの画素ａｉ，ｘ，ｙを配列し、１フレームの画像Ｘを生成する。下式（３）に、画像Ｘにおける画素Ａｘ，ｙと画素ａｉ，ｘ，ｙとの対応を示す。図８に示すように、画像Ｘの位置（ｘ，ｙ）には、図４〜図６に示す同一位置（ｘ，ｙ）の加算単位ＧＰｘｙの加算画素値が配置される。
【数３】
【００５６】
上式（３）をＮｘ×Ｎｙ画素のユニットに一般化すると、下式（４）となる。
【数４】
【００５７】
次に下式（５）に示すように、画像Ｘの画素Ａｘ，ｙと推定用フィルターρとのコンボリューション演算を行い、高解像度画像の画素値ｕｘ，ｙを推定する。下式（６）に示すように、推定用フィルターρは行列により表され、ρｋｊは、その行列のｋｊ成分である。推定用フィルターρについては、後に詳述する。
【数５】
【数６】
【００５８】
推定用フィルターρを、Ｎｘ×Ｎｙ画素のユニット及びｒｘ、ｒｙの重み付けパラメーターに一般化すると、下式（７）となる。ここで、ＭＴは行列Ｍの転置行列を表す。
【数７】
【００５９】
次に、上記の推定演算により求められた画素値ｕｘ，ｙでは、後述するように色が正しく再現されていないため、推定演算後の画像に対して色変換処理を行う（Ｓ４）。具体的には、下式（８）に示すように、色変換行列τを用いて色変換処理を行う。
【数８】
【００６０】
行列α、βは、下式（９）より表される行列である。
【数９】
【００６１】
ここで、σｋｊは、下式（１０）に示す行列σのｋｊ成分であり、ρｋｊは、上式（６）に示す行列ρのｋｊ成分である。
【数１０】
【００６２】
上式（１０）を、Ｎｘ×Ｎｙ画素のユニット及びｒｘ、ｒｙの重み付けパラメーターに一般化すると、下式（１１）となる。
【数１１】
【００６３】
例えば図３を例にすると、上式（１１）の成分σ００、σ１０、σ０１、σ１１は、それぞれ画素Ｐ１、Ｐ２、Ｐ４、Ｐ５の色に対応する混色比であり、同色画素の重み付け係数を加算して規格化した値である。図４〜図６に示すように、各画素に対応する色はフレームに依って異なるため、各色の混色比はフレームに応じて変化する。
【００６４】
本実施形態における行列α、β、τは、上式（６）、（８）〜（１０）より下式（１２）となる。
【数１２】
【００６５】
下式（１３）に示すように、行列τの成分から混色除去フィルターＴを構成する。下式（１４）に示すように、画素値ｕｘ，ｙと混色除去フィルターＴとのコンボリューション演算を行い、画素値ｕ'ｘ，ｙを求める。
【数１３】
【数１４】
【００６６】
次に、画素値ｕ'ｘ，ｙに対して現像処理を行う（Ｓ５）。例えばカラーフィルターがベイヤー配列である場合、復元された画像はベイヤー配列となる。現像処理では、そのベイヤー配列の画像を補間処理し、全画素のＲＧＢ画素値を求める。次に、現像処理後の画像を最終的な画像データとして出力し、処理を終了する（Ｓ６）。
【００６７】
次に、ステップＳ１において、低解像度の画像を生成すると判断した場合（Ｓ１、ＮＯ）、固体撮像素子１１０又は記録媒体１０５からの低解像画像データを読み込む（Ｓ７）。高解像度画像を生成する場合には複数フレームの低解像度画像データを読み込んだが、ステップ５においては１フレームの低解像度画像データでよい。
【００６８】
次に、読み込んだ低解像度画像データは色を正しく再現していないため、低解像画像データに対して色変換処理を行う（Ｓ８）。下式（１５）に、色変換行列τを示す。行列αは、上式（９）の行列αである。
【数１５】
【００６９】
上式（１３）、（１４）と同様に、行列τから混色除去フィルターＴを構成し、低解像画像と混色除去フィルターＴとのコンボリューション演算を行う。次に、混色除去された画像に対して現像処理を行い（Ｓ９）、現像処理後の画像を最終的な画像データとして出力し、処理を終了する（Ｓ６）。
【００７０】
なお上記では、高解像画像の推定処理（Ｓ３）と色変換処理（Ｓ４）を別個に処理する例を説明したが、本実施形態はこれに限定されず、１回の処理で行ってもよい。この場合、上式（７）の行列ρと上式（８）の行列τとのコンボリューションによって新たな行列を生成する。そして、その行列と画像Ｘの各画素Ａｘ，ｙとのコンボリューション演算を行い、混色除去後の画素値ｕ'ｘ，ｙを求める。
【００７１】
また上記では、９枚の低解像画像を読み込んで高解像画像の推定処理を行ったが、本実施形態はこれに限定されない。例えば、補間処理等を行うことでより少ないフレーム数の画像を読み込むようにしてもよいし、推定精度を上げるためにより多いフレーム数の画像を読み込むようにしてもよい。
【００７２】
５．混色除去フィルター
次に、上記の混色除去フィルターＴにより、実際に混色が除去される点について詳細に説明する。なお以下では説明を簡単にするために、図９に示すように加算単位を２×２画素とし、重み付けパラメーターｒ＝２とする。
【００７３】
まず、復元推定後の高解像画像において混色が残る点について説明する。図１０に示すように、加算前の画像を仮にＶとし、重み付け加算後の画像をＸとし、復元処理後の高解像画像をＵとし、混色除去後の画像をＵ’とする。なお図１０では、色の混ざり方のみに注目するため、位置ｘｙを省略して同色画素に同じ符号を付す。また以下では、同色画素をまとめて、Ｇ＝Ｇｒ＝Ｇｂ、ａ１／２＝ａ１＝ａ２、ｇ＝ｇｒ＝ｇｂ、Ｇ’＝Ｇｒ’＝Ｇｂ’とする。
【００７４】
重み付け加算による混色を表す行列σは、上式（１１）より下式（１６）となる。画像Ｘは、画像Ｖと行列σのコンボリューションであるから、画像Ｘの画素値ａ０、ａ１／２、ａ３は下式（１７）で表される。
【数１６】
【数１７】
【００７５】
推定用フィルターρは、上式（７）より下式（１８）となる。画像Ｕは、画像Ｘとフィルターρのコンボリューションであるから、画像Ｕの画素値ｒ、ｇ、ｂは下式（１９）で表される。
【数１８】
【数１９】
【００７６】
上式（１７）、（１９）の３×３行列をα、βとおくと、下式（２０）となる。この行列αは、上式（９）より計算されるαと同一であり、重畳シフト加算処理による（Ｒ、Ｇ、Ｂ）の混色を表す行列である。行列βは、上式（９）より計算されるβと同一であり、復元推定処理による（ａ０、ａ１／２、ａ３）の混色を表す行列である。
【数２０】
【００７７】
上式（１７）、（１９）、（２０）より、下式（２１）が成り立つ。下式（２１）に示すように、復元推定された画像Ｕの画素値ｒ、ｇｒ、ｇｂ、ｂは、それぞれ元の色Ｒ、Ｇｒ、Ｇｂ、Ｂの和となっており、元の色が完全には復元されていないことが分かる。
【数２１】
【００７８】
次に、上記混色が、混色除去フィルターＴにより除去される点について説明する。混色除去フィルターＴは、上式（１３）より下式（２２）となる。画像Ｕ’は、画像ＵとフィルターＴのコンボリューションであるから、画像Ｕ’の画素値Ｒ’、Ｇｒ’、Ｇｂ’、Ｂ’は下式（２３）となる。
【数２２】
【数２３】
【００７９】
上式（２３）の３×３行列をτとおくと下式（２４）となる。この行列τは、上式（８）より計算されるτと同一であり、混色除去処理における(ｒ、ｇ、ｂ）から（Ｒ’、Ｇ’、Ｂ’）への色変換を表す行列である。
【数２４】
【００８０】
上式（２１）、（２３）、（２４）より、下式（２５）が成り立つ。下式（２５）より、画像Ｕ’ではＲＧＢが分離され、元のベイヤー配列の色が復元されていることが分かる。
【数２５】
【００８１】
６．Ｓ／Ｎ劣化抑制
次に、ベイヤー配列の基本ブロック２×２とは異なる３×３画素に加算単位を設定することで、混色除去によるＳ／Ｎ劣化が抑制される点について詳細に説明する。
【００８２】
加算単位が２×２画素である場合、行列α、β、τは、上式（２０）、（２４）で説明した通りである。フィルターσ、ρ、Ｔは、上式（１６）、（１８）、（２２）で説明した通りである。
【００８３】
また加算単位が３×３画素である場合、行列α、β、τは、上式（１２）で説明した通りである。フィルターσ、ρ、Ｔは、上式（１０）、（６）、（１３）で説明した通りである。
【００８４】
上式（１７）等で説明したように、行列α、β、τは、それぞれの処理において各色に乗ぜられる係数を表す。即ち、行列α、β、τは、各色のゲインアップ量を表す行列である。実際の演算では、行列α、β、τから構成したフィルターσ、ρ、Ｔと、各画素とのコンボリューションを行うことから、ゲインアップ量は、これらのフィルターの演算係数（成分）により規定されることになる。
【００８５】
画像のノイズレベルはゲインの２乗和に依存することから、各演算におけるノイズレベルの増減は、フィルター演算係数の２乗和で表される。撮像素子によって取得された加算前の画像のノイズレベルをｎとすると、各演算後のノイズレベルは、加算単位が２×２画素では下式（２６）となり、３×３画素では下式（２７）となる。ここで、ｎαは重み付け加算後のノイズレベルを表し、ｎβは高解像度化後のノイズレベルを表し、ｎτは色変換後（最終画像）のノイズレベルを表す。
【数２６】
【数２７】
【００８６】
上式（２６）、（２７）より、最終画像では、それぞれ２．１倍、１．２倍にノイズが増加する。即ち、２×２画素加算よりも３×３画素加算の方がノイズの増加が小さく、演算によるＳ／Ｎ劣化が抑制される。
【００８７】
図１１に、加算前の画像のノイズレベルを基準（０ｄＢ）とする場合の、混色除去処理後のＳ／Ｎ特性の例を示す。図１１のＡ１に示すように、ｒ＝２における３×３画素加算のＳ／Ｎは、上記のノイズレベルに対応して、Ａ２に示す２×２画素のＳ／Ｎよりも４．５ｄＢ程度良い。他のｒにおいても、３×３画素加算のＳ／Ｎは２×２画素のＳ／Ｎよりも高い。またＡ３に示すように、加算単位を４×４画素にした場合も、２×２画素よりもＳ／Ｎを改善できる。以上から、ベイヤー配列の基本ブロック２×２画素と異なる画素数で加算を行うことで、基本ブロックと同じ画素数で加算する場合よりもＳ／Ｎを向上できる。
【００８８】
また、Ａ３に示す４×４画素加算の場合よりも、Ａ１に示す３×３画素加算の方がＳ／Ｎが良い。即ち、加算単位を３×３画素に設定することで、他の画素数に設定した場合よりもＳ／Ｎをより高めることが可能となる。
【００８９】
図１２に、加算前の画像の解像度を基準（１００％）とする場合の、混色除去処理後の解像度特性の例を示す。図１２のＢ１に示す３×３画素加算の解像度は、ｒが１に近い場合（例えば１．５以下）を除いて、Ｂ２に示す２×２画素加算の解像度との差は僅かである。画像のＳ／Ｎと解像度とは逆相関があることが多いが、３×３画素加算と２×２画素加算では目視による解像感の差はほとんど無く、３×３画素加算では解像感を失わずにＳ／Ｎ劣化を抑制できる。Ｂ３に示すように、４×４画素加算の場合も、同様に解像感を失わずにＳ／Ｎ劣化を抑制できる。
【００９０】
また、Ｂ３に示す４×４画素加算の場合よりも、Ｂ１に示す３×３画素加算の方が解像度が良い。即ち、加算単位を３×３画素に設定することで、他の画素数に設定した場合よりも、解像感をより維持しながらＳ／Ｎを高めることが可能となる。
【００９１】
以上の実施形態によれば、図１に示すように、撮像装置１００は、画素アレイ部１１１と読み出し制御部１１２と推定演算部２００と混色除去処理部２１０を含む。図２で説明したように、画素アレイ部１１１は、カラーフィルターにおいて繰り返し配列される基本ブロックが、Ｍｘ×Ｍｙ画素（Ｍｘ、Ｍｙは２以上の整数）である。図３〜図６で説明したように、読み出し制御部１１２は、加算される画素の範囲である加算単位を設定し、その加算単位に含まれる画素値を重み付け加算して低解像画像を取得する。図７で説明したように、推定演算部２００は、その低解像画像に基づいて、画素アレイ部１１１の画素数に相当する解像度の高解像画像を推定する。混色除去処理部２１０は、推定された高解像画像における混色を除去する処理を行う。
【００９２】
この場合に、図３で説明したように、読み出し制御部１１２は、画素アレイ部１１１のＭｘ×Ｍｙ画素とは異なるＮｘ×Ｎｙ画素（Ｎｘ、Ｎｙは２以上の整数）の範囲を加算単位に設定する。図４〜図６で説明したように、読み出し制御部１１２は、重畳しながらシフトされた加算単位を設定することにより、複数の低解像画像（ａ０，ｘ，ｙ〜ａ８，ｘ，ｙ）を取得する。
【００９３】
このようにすれば、Ｓ／Ｎ劣化を抑制した混色除去を高解像化画像に対して行うことが可能になる。即ち、図１１で説明したように、カラーフィルターの基本ブロックとは異なる画素数の加算単位を設定することで、基本ブロックと同じ画素数の場合よりも、色変換の際のゲインアップ量を小さくできる。これにより、高解像度画像におけるＳ／Ｎの悪化を抑えることができる。また、図１２で説明したように、解像感を維持できる。
【００９４】
また、加算単位を重畳しながらシフトして複数の低解像画像を取得することで、その複数の低解像画像から任意タイミングの高解像画像を復元できる。図１３（Ａ）等で後述するように、重畳シフト加算により復元推定処理を簡素化でき、ハードウェアの負荷を軽減できる。
【００９５】
ここで、加算単位が重畳するとは、２つの加算単位が共通の画素を有することである。例えば図４〜図６では、加算単位が水平又は垂直に１画素ずつシフトされることで複数の加算単位ＧＰ００、ＧＰ１０、・・・、ＧＰ２２が設定され、その複数の加算単位のうち隣り合う加算単位が共通の画素を有する。例えばＧＰ００とＧＰ１０は画素ｖ１０〜ｖ１２、ｖ２０〜ｖ２２を共有する。
【００９６】
また、混色とは、処理後の画素において処理前の複数の色成分が混ざった状態である。例えば、上式（１７）で説明したように、重畳シフト加算後の画素ａ０では、加算前の複数の色Ｒ、Ｇ、Ｂが、行列αで規定される混色比４：４：１で加算された状態となっている。また、混色除去とは、重畳シフト加算前の色成分を復元することである。この復元では、色が分離されて元の色配列が復元されていればよく、元の画素値そのものが復元される必要はない。
【００９７】
また本実施形態では、図１０で説明したように、混色除去処理部２１０は、複数の低解像画像から高解像画像の画素値を推定することにより生じる混色（上式（１９））と、重み付け加算により複数色の画素値が加算されたことによる混色（上式（１７））とを除去する処理を行う（上式（２３）〜（２５））。
【００９８】
より具体的には、図８で説明したように、推定演算部２００は、複数の低解像画像の画素値ａｉ，ｘ，ｙを、重畳シフトにおける加算単位ＧＰｘｙの設定位置（ｘ，ｙ）に応じて１つの画像Ｘに再配列する（上式（３）、（４））。図７で説明したように、推定演算部２００は、その再配列した画像Ｘ（画素値Ａｘ，ｙ）を所定の推定用フィルターρで処理することで推定を行う（上式（６）、（７））。混色除去処理部２１０は、その推定用フィルターρにより規定される混色比を表す第１行列βと、重み付け加算における重み付け係数により規定される混色比を表す第２行列αとに基づいて構成された混色除去フィルターＴにより、高解像画像（画素値ｕｘ，ｙ）を処理することで混色を除去する処理を行う（上式（８）〜（１４））。
【００９９】
このようにすれば、復元推定処理と重み付け加算処理による混色を除去する処理を行うことができる。具体的には、推定用フィルターρにより規定される混色比と重み付け係数により規定される混色比とに基づいて、これらの混色を除去するための混色除去フィルターＴを構成できる。そして、このＴを復元画像に対して演算することで、元のカラーフィルターの色配列に復元できる。
【０１００】
また本実施形態では、図２で説明したように、カラーフィルターは、Ｍｘ×Ｍｙ画素を２×２画素とするベイヤー配列のカラーフィルターである。図３で説明したように、加算単位は、Ｎｘ×Ｎｙ画素を３×３画素とする加算単位である。
【０１０１】
このようにすれば、図１１で説明したように、３×３画素以外（例えば４×４画素）の加算単位を設定した場合に比べて、混色除去後においてより高いＳ／Ｎを実現でき、より高画質の高解像画像を得ることができる。また、図１２で説明したように、より高い解像感を実現できる。
【０１０２】
また本実施形態では、図２で説明したように、２×２画素は、１つのＲ画素と２つのＧ画素と１つのＢ画素により構成される。図１０に示すように、再配列された画像Ｘの画素値Ａｘ，ｙは、Ｒ、Ｇ、Ｂ画素と重み付け係数との対応が異なる第１〜第３の画素値ａ０、ａ１／２（＝ａ１＝ａ２）、ａ３に分類される。第１行列βは、高解像画像Ｕの画素値ｕｘ，ｙにおける第１〜第３の画素値ａ０、ａ１／２、ａ３の混合比が、推定用フィルターρの成分により表された行列である（上式（９）、（１８）〜（２０））。第２行列αは、第１〜第３の画素値ａ０、ａ１／２、ａ３におけるＲ、Ｇ、Ｂ画素の混合比が、重み付け係数（行列σ）に基づいて表された行列である（上式（９）、（１６）、（１７）、（２０））。混色除去フィルターＴは、第１、第２行列の逆行列の積τ＝α−１β−１の成分を、高解像画像の画素配列に応じて配列することにより構成されたフィルターである（上式（８）、（１３）、（２２）〜（２４））。
【０１０３】
このようにすれば、推定用フィルターρの成分に基づいて第１行列βを構成し、重み付け係数に基づいて第２行列αを構成し、これらの行列を用いて混色除去フィルターＴを構成できる。また、第１、第２行列の逆行列の積τ＝α−１β−１に基づいて混色除去フィルターＴを構成することで、上式（２５）で説明したように、τが色変換βαの逆行列となり、色変換上においてＲＧＢを復元できる。
【０１０４】
ここで、第１〜第３の画素値ａ０、ａ１／２、ａ３に分類されるとは、加算単位のシフトにより各色と重み付け係数の対応関係が変わり、その対応関係が３種類に分類されることである。例えば、図４〜図６では、加算単位が（ＧＰ００、ＧＰ２０、ＧＰ０２、ＧＰ２２）と、（ＧＰ１０、ＧＰ０１、ＧＰ２１、ＧＰ１２）、（ＧＰ１１）の３グループに分類され、各グループにおいて色と重み付け係数の対応は同一である。
【０１０５】
また、高解像画像の画素配列に応じて配列するとは、上式（２３）、（２４）に示すように、行列τの成分は画素ｒ、ｇ、ｂに対する係数（混色比）を表しており、その係数を、図１０に示す画像Ｕの画素ｒ、ｇ、ｂの配置に対応させ、上式（１３）に示すように並べ替えることである。
【０１０６】
７．推定用フィルター
上述の推定用フィルターρについて詳細に説明する。なお以下では説明を簡単にするために、加算単位が２×２画素であり、重み付けパラメーターｒ＝２である場合を例に説明する。
【０１０７】
図１３（Ａ）に示すように、２×２画素の加算単位の重畳シフトにより加算画素値ａｘｙが得られる。下式（２８）にａ００、ａ１０を示す。ここで、ｖｘｙは加算前の画素値である。
ａ００＝ｖ００＋（１／２）ｖ０１＋（１／２）ｖ１０＋（１／４）ｖ１１，
ａ１０＝ｖ１０＋（１／２）ｖ１１＋（１／２）ｖ２０＋（１／４）ｖ２１ （２８）
【０１０８】
図１３（Ｂ）に示すように、中間画素値ｂｘｙを定義する。中間画素値ｂｘｙは、加算単位の各列に含まれる画素値を重み付け加算したものであり、例えばａ００、ａ１０に含まれる画素の第１〜第３列がそれぞれ中間画素値ｂ００、ｂ１０、ｂ２０である。下式（２９）にｂ００、ｂ１０、ｂ２０を示す。
ｂ００＝ｖ００＋（１／２）ｖ０１，
ｂ１０＝ｖ１０＋（１／２）ｖ１１，
ｂ２０＝ｖ２０＋（１／２）ｖ２１ （２９）
【０１０９】
上式（２９）を用いて上式（２８）を変形すると、下式（３０）が成り立つ。
ａ００＝ｂ００＋（１／２）ｂ１０，
ａ１０＝ｂ１０＋（１／２）ｂ２０ （３０）
【０１１０】
上式（３０）をｂ１０、ｂ２０について解くと、下式（３１）が成り立つ。
ｂ１０＝−２ｂ００＋２ａ００，
ｂ２０＝４ｂ００＋２（ａ１０−２ａ００） （３１）
【０１１１】
下式（３２）に示すように、中間画素値ｂｘｙと加算画素値ａｘｙの２乗誤差により評価関数Ｅｙを求める。
【数２８】
【０１１２】
上式（３２）に上式（３１）を代入し、Ｅｙが最小となる未知数ｂ００を求め、ｂ００を決定する。ｂ０１、ｂ１１、ｂ２１について、未知数をｂ０１として上記と同様にｂ０１を決定する。決定されたｂ００、ｂ０１を下式（３３）に示す。ここで、下式（３３）では、右辺右側の行列について成分の和が１となるように規格化した。
【数２９】
【０１１３】
上式（３３）のｂ００、ｂ０１は、下式（３４）と表される。上式（３０）を下式（３４）に置き換え、未知数をｖ００として上記と同様にｖ００を決定すると、下式（３５）が求まる。
ｂ００＝ｖ００＋（１／２）ｖ０１，
ｂ０１＝ｖ０１＋（１／２）ｖ０２ （３４）
【数３０】
【０１１４】
上式（３３）、（３５）より、下式（３６）が求まる。ａ００、ａ１０、ａ０１、ａ１１の係数を成分ρ００、ρ１０、ρ０１、ρ１１とするフィルターとして書き直すと、下式（３７）となる。このようにして、上式（７）や（１８）で説明した推定用フィルターρが求められる。
【数３１】
【数３２】
【０１１５】
以上の実施形態によれば、図１３（Ａ）に示すように、重畳シフトにより設定される加算単位は、Ｎｘ×Ｎｙ（例えば２×２）画素の加算単位が、１列ずつＮｘ回及び１行ずつＮｙ回シフトされたＮｘ×Ｎｙ個の加算単位ａｘｙである。図１３（Ｂ）で説明したように、Ｎｘ×Ｎｙ個の加算単位の各列の画素値の重み付け加算値をそれぞれ中間画素値ｂｘｙとし、第１列の中間画素値ｂ００を未知数とする。上式（３０）で説明したように、中間画素値ｂ１０、ｂ２０は、その未知数ｂ００と、加算単位による重み付け加算値ａ００、ａ１０との関係式で表される。上式（３２）、（３３）で説明したように、推定用フィルターρは、その関係式で表された中間画素値ｂ００、ｂ１０、ｂ２０と、加算単位による重み付け加算値ａ００、ａ１０との二乗誤差が最小となるように設定されたフィルターである。
【０１１６】
このようにすれば、複数の低解像画像から高解像画像を復元するための推定用フィルターρを構成できる。また、高解像画像を復元推定する処理を簡素化できる。即ち、重畳シフト加算により得られた画素値ａｘｙに対して推定用フィルターρをコンボリューション演算するだけで高解像画像を得ることができる。これにより、例えば、２次元フィルターの繰り返し演算（特開２００９−１２４６２１号公報）や、初期値の設定に適当な部分を探索（特開２００８−２４３０３７号公報）する等の複雑な処理が不要となる。
【０１１７】
なお、上記のように本実施形態について詳細に説明したが、本発明の新規事項および効果から実体的に逸脱しない多くの変形が可能であることは当業者には容易に理解できるであろう。従って、このような変形例はすべて本発明の範囲に含まれるものとする。例えば、明細書又は図面において、少なくとも一度、より広義又は同義な異なる用語と共に記載された用語は、明細書又は図面のいかなる箇所においても、その異なる用語に置き換えることができる。また推定演算部、混色除去処理部、撮像装置等の構成、動作も本実施形態で説明したものに限定に限定されず、種々の変形実施が可能である。
【符号の説明】
【０１１８】
１００ 撮像装置、１０１ 撮像光学系、１０２ 制御部、１０３ メモリー、
１０４ モニター表示部、１０５ 記録媒体、
１１０ 固体撮像素子、１１１ 画素アレイ部、１１２ 読み出し制御部、
１２０ 画像処理部、１２１ 高解像度画像生成部、
１２２ 低解像度画像生成部、１２３ 表示処理部、１２４ アクセス制御部、
２００ 推定演算部、２１０ 混色除去処理部、
Ａｘ，ｙ 画素値、Ｅｙ 評価関数、ＧＰｘｙ 加算単位、
Ｍｘ×Ｍｙ 基本ブロックの画素数、Ｎｘ×Ｎｙ 加算単位の画素数、
Ｐ１〜Ｐ９ 画素、Ｒ，Ｇ，Ｂ 色、Ｔ 混色除去フィルター、
Ｕ，Ｕ’，Ｖ，Ｘ 画像、ａｉ，ｘ，ｙ 画素値、ａｘｙ 加算画素値、
ｂ００ 未知数、ｂｘｙ 中間画素値、ｒ 重み付けパラメーター、
ｕｘ，ｙ 画素値、ｖ１０〜ｖ１２ 画素、ｘ，ｙ 位置、α 第２行列、
β 第１行列、ρ 推定用フィルター、σ 行列
【技術分野】
【０００１】
本発明は、撮像装置及び画像生成方法等に関する。
【背景技術】
【０００２】
従来では、デジタルスチルカメラやビデオカメラ等に代表される撮像装置の多くは、単板の固体撮像素子を用いて撮像を行っている。カラー撮影を行うため、複数色のカラーフィルターを有する固体撮像素子により撮像するものが殆どである。また、これらの撮像装置では、動画撮影において、複数の画素を加算して画像を取得するムービースキャンが行われる。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００９−１２４６２１号公報
【特許文献２】特開２００８−２４３０３７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
さて、このような低解像の動画から高解像画像を得たい場合、高解像化処理を行う必要がある。しかしながら、従来の手法（例えば特許文献１、２）では、処理が複雑でハードウェアへの負荷が大きく、小型のカメラに実装することは困難である。
【０００５】
そこで、高解像化処理を簡素化する手法として、重畳シフト加算により複数枚の低解像画像を取得し、その複数枚の低解像画像から高解像画像を復元する手法が考えられる。重畳シフト加算では、複数色の画素により構成される加算単位が重畳されながらシフトされ、その加算単位内の各画素に所定の重み付けが付与され、複数色が混合された加算が行われる。
【０００６】
しかしながら、この手法では、高解像化処理により復元された画像に混色が残るという課題がある。そのため、高解像度画像を生成する際に色変換を施し、元の色を復元する必要がある。しかしながら、その色変換を施すことにより、高解像度画像のＳ／Ｎが劣化するという課題がある。
【０００７】
本発明の幾つかの態様によれば、Ｓ／Ｎ劣化を抑制した混色除去を高解像化画像に対して行うことが可能な撮像装置及び画像生成方法等を提供できる。
【課題を解決するための手段】
【０００８】
本発明の一態様は、カラーフィルターにおいて繰り返し配列される基本ブロックが、Ｍｘ×Ｍｙ画素（Ｍｘ、Ｍｙは２以上の整数）である画素アレイ部と、加算される画素の範囲である加算単位を設定し、前記加算単位に含まれる画素値を重み付け加算して低解像画像を取得する読み出し制御部と、前記低解像画像に基づいて、前記画素アレイ部の画素数に相当する解像度の高解像画像を推定する推定演算部と、推定された前記高解像画像における混色を除去する処理を行う混色除去処理部と、を含み、前記読み出し制御部は、前記画素アレイ部の前記Ｍｘ×Ｍｙ画素とは異なるＮｘ×Ｎｙ画素（Ｎｘ、Ｎｙは２以上の整数）の範囲を前記加算単位に設定し、重畳しながらシフトされた前記加算単位を設定することにより、前記低解像画像として複数の低解像画像を取得する撮像装置に関係する。
【０００９】
本発明の一態様によれば、重畳しながらシフトされた加算単位が設定され、加算単位内の画素値が重み付け加算され、複数の低解像画像が取得される。加算単位の画素数Ｎｘ×Ｎｙは、カラーフィルターの基本ブロックの画素数Ｍｘ×Ｍｙとは異なる画素数である。取得された低解像画像に基づいて高解像画像が推定され、その高解像画像における混色を除去する処理が行われる。これにより、Ｓ／Ｎ劣化を抑制した混色除去を高解像化画像に対して行うことが可能になる。
【００１０】
また本発明の一態様では、前記混色除去処理部は、前記複数の低解像画像から前記高解像画像の画素値を推定することによる混色と、前記重み付け加算により複数色の画素値が加算されたことによる混色とを除去する処理を行ってもよい。
【００１１】
このようにすれば、復元推定処理と重み付け加算処理による混色を除去する処理を行うことができる。
【００１２】
また本発明の一態様では、前記推定演算部は、前記複数の低解像画像の画素値を、前記重畳シフトにおける前記加算単位の設定位置に応じて１つの画像に再配列し、前記再配列した画像を所定の推定用フィルターで処理することで前記推定を行い、前記混色除去処理部は、前記推定用フィルターにより規定される混色比を表す第１行列と、前記重み付け加算における重み付け係数により規定される混色比を表す第２行列とに基づいて構成された混色除去フィルターにより、前記高解像画像を処理することで前記混色を除去する処理を行ってもよい。
【００１３】
このようにすれば、推定用フィルターにより規定される混色比と重み付け係数により規定される混色比とに基づいて、混色除去フィルターを構成できる。そして、その混色除去フィルターを高解像画像に対して演算することで、元のカラーフィルターの色配列を復元することが可能になる。
【００１４】
また本発明の一態様では、前記カラーフィルターは、前記Ｍｘ×Ｍｙ画素を２×２画素とするベイヤー配列のカラーフィルターであり、前記加算単位は、前記Ｎｘ×Ｎｙ画素を３×３画素とする加算単位であってもよい。
【００１５】
このようにすれば、３×３画素以外の加算単位を設定した場合に比べて、混色除去後においてより高いＳ／Ｎを実現でき、より高画質の高解像画像を得ることができる。
【００１６】
また本発明の一態様では、前記２×２画素が、１つのＲ画素と２つのＧ画素と１つのＢ画素により構成される場合に、前記再配列された画像の画素値は、前記Ｒ、Ｇ、Ｂ画素と重み付け係数との対応が異なる第１〜第３の画素値に分類され、前記第１行列は、前記高解像画像の画素値における前記第１〜第３の画素値の混合比が、前記推定用フィルターの成分により表された行列であり、前記第２行列は、前記第１〜第３の画素値における前記Ｒ、Ｇ、Ｂ画素の混合比が、前記重み付け係数に基づいて表された行列であり、前記混色除去フィルターは、前記第１、第２行列の逆行列の積の成分を、前記高解像画像の画素配列に応じて配列することにより構成されたフィルターであってもよい。
【００１７】
このようにすれば、推定用フィルターの成分に基づく第１行列と重み付け係数に基づく第２行列により混色除去フィルターを構成できる。これにより、復元推定処理と重み付け加算処理における混色比に基づく混色除去フィルターを構成できる。
【００１８】
また本発明の一態様では、前記重畳シフトにより設定される前記加算単位は、前記Ｎｘ×Ｎｙ画素の前記加算単位が、１列ずつＮｘ回及び１行ずつＮｙ回シフトされたＮｘ×Ｎｙ個の加算単位であり、前記Ｎｘ×Ｎｙ個の加算単位の各列の画素値の重み付け加算値をそれぞれ中間画素値とし、第１列の中間画素値を未知数とする場合に、前記中間画素値は、前記未知数と、前記加算単位による重み付け加算値との関係式で表され、前記推定用フィルターは、前記関係式で表された前記中間画素値と、前記加算単位による重み付け加算値との二乗誤差が最小となるように設定されたフィルターであってもよい。
【００１９】
このようにすれば、複数の低解像画像から高解像画像を復元するための推定用フィルターを構成できる。また、推定用フィルターをコンボリューション演算するだけで高解像画像を得ることができるため、復元推定処理を簡素化できる。
【００２０】
また本発明の他の態様は、加算される画素の範囲である加算単位を設定し、前記加算単位に含まれる画素値を重み付け加算して低解像画像を取得し、前記低解像画像に基づいて、画素アレイ部の画素数に相当する解像度の高解像画像を推定するとともに、推定された前記高解像画像における混色を除去する処理を行う場合に、前記画素アレイ部のカラーフィルターにおいて繰り返し配列される基本ブロックであるＭｘ×Ｍｙ画素（Ｍｘ、Ｍｙは２以上の整数）とは異なるＮｘ×Ｎｙ画素（Ｎｘ、Ｎｙは２以上の整数）の範囲を前記加算単位に設定し、重畳しながらシフトされた前記加算単位を設定することにより、前記低解像画像として複数の低解像画像を取得する画像生成方法に関係する。
【図面の簡単な説明】
【００２１】
【図１】本実施形態の撮像装置の構成例。
【図２】画素アレイ部の画素配列の例。
【図３】重畳シフト加算における重み付けについての説明図。
【図４】重畳シフトについての説明図。
【図５】重畳シフトについての説明図。
【図６】重畳シフトについての説明図。
【図７】本実施形態が行う処理のフローチャート。
【図８】低解像画像の再配列についての説明図。
【図９】２×２画素の場合の重み付けについての説明図。
【図１０】混色除去処理についての説明図。
【図１１】混色除去処理後のＳ／Ｎ特性の例。
【図１２】混色除去処理後の解像度特性の例。
【図１３】図１３（Ａ）、図１３（Ｂ）は、加算画素値、中間画素値についての説明図。
【発明を実施するための形態】
【００２２】
以下、本発明の好適な実施の形態について詳細に説明する。なお以下に説明する本実施形態は特許請求の範囲に記載された本発明の内容を不当に限定するものではなく、本実施形態で説明される構成の全てが本発明の解決手段として必須であるとは限らない。
【００２３】
１．本実施形態の概要
まず、本実施形態の概要について説明する。本実施形態では、図４〜図６で後述するように、重畳シフトされた加算単位を設定し、その加算単位に含まれる画素値を重み付け加算することにより低解像動画を取得する。そして、図７で後述するように、その低解像動画に対して推定用フィルターを演算し、撮像素子の解像度に相当する高解像画像を復元する。
【００２４】
このようにすれば、事後的に高解像画像が得られるため、ユーザが好きなタイミングを指定することができ、決定的瞬間の画像を容易に得ることが可能である。また、加算単位が重畳シフトされていることで、簡素な処理で復元を行うことが可能である。
【００２５】
さて本実施形態では、撮像素子はベイヤー（Bayer）配列等のカラー単板撮像素子であり、加算単位には複数の色の画素が含まれている。本実施形態では、この複数の色の画素値が加算された低解像画像から復元を行うが、図１０で後述するように、復元された画像では完全には色が復元されておらず、元の色が混色した状態となる。
【００２６】
そこで本実施形態では、復元画像に対して混色を除去する処理を行い、元の色を復元する。しかしながら、図１１で後述するように、加算単位の画素数をカラーフィルターの基本ブロックの画素数（例えばベイヤー配列では２×２）と同じにすると、混色除去の際にノイズがゲインアップされ、復元画像のＳ／Ｎが劣化してしまう。
【００２７】
そこで本実施形態では、加算単位の画素数を、カラーフィルターの基本ブロックの画素数とは異なる画素数に設定する。これにより、図１１で後述するように、混色除去によるＳ／Ｎ劣化を抑制でき、復元画像の画像品質を向上することが可能になる。
【００２８】
２．撮像装置
図１に、上記の復元処理と混色除去処理を行う本実施形態の撮像装置の構成例を示す。図１の撮像装置１００は、撮像光学系１０１（レンズ）、制御部１０２、メモリー１０３、モニター表示部１０４、固体撮像素子１１０（撮像素子）、画像処理部１２０を含む。
【００２９】
撮像装置１００は、光学的な画像情報を電気信号に変換し、電子的に記録媒体に記録する装置である。このような撮像装置１００として、例えばデジタルスチルカメラ、デジタルムービーカメラ等が想定される。
【００３０】
撮像光学系１０１は、被写体を結像する。固体撮像素子１１０は、カラー単板撮像素子であり、結像された被写体像を撮像する。具体的には、固体撮像素子１１０は、画素アレイ部１１１（受光素子）と、読み出し制御部１１２（加算サンプリング部）を含む。
【００３１】
読み出し制御部１１２は、画素アレイ部１１１の複数画素が重み付け加算された低解像画像を読み出し、その加算される画素の範囲を順次シフトすることにより複数の低解像画像を取得する。取得された画像データは、制御部１０２により、高解像度画像生成部１２１、又は低解像度画像生成部１２２、アクセス制御部１２４へ伝送される。
【００３２】
画像処理部１２０は、撮像された低解像画像に対して、種々の処理を行う。具体的には、画像処理部１２０は、高解像度画像生成部１２１、低解像度画像生成部１２２、表示処理部１２３、アクセス制御部１２４（記録処理部）を含む。
【００３３】
高解像度画像生成部１２１には、固体撮像素子１１０から伝送された低解像画像データ、又は記録媒体１０５（記録部）から読み出されてアクセス制御部１２４により展開された低解像度画像データが入力される。高解像度画像生成部１２１は、入力された低解像画像データに対して処理を行い、低解像度画像データよりも解像度の高い画像データを生成する。具体的には高解像度画像生成部１２１は、推定演算部２００、混色除去処理部２１０（色変換処理部）を含む。
【００３４】
推定演算部２００は、重畳シフト加算により得られた低解像画像データに対して、後述する復元推定処理を行い、高解像画像データを求める。混色除去処理部２１０は、復元された高解像画像データに対して、後述する混色除去処理（色変換処理）を行い、重畳シフト加算及び復元推定処理による混色を除去する。
【００３５】
低解像度画像生成部１２２には、固体撮像素子１１０から伝送された低解像画像データ、又は記録媒体１０５から読み出されてアクセス制御部１２４により展開された低解像度画像データが入力される。低解像度画像生成部１２２は、入力された低解像度画像データに対して、後述する処理を行い、低解像度画像データと同等の解像度の画像データを生成する。
【００３６】
表示処理部１２３は、高解像度画像生成部１２１又は低解像度画像生成部１２２からの画像に対して表示用の変換処理を行い、変換後の画像をモニター表示部１０４に表示する処理を行う。例えば、表示用の変換処理として、モニター解像度に合致させるためのリサイズ処理や、モニターにおいて違和感のない画像に見せるためのガンマ補正処理や色補正処理を行う。
【００３７】
アクセス制御部１２４は、高解像度画像生成部１２１又は低解像度画像生成部１２２からの画像に対して記録用の変換処理を行い、変換後の画像を外部の記録媒体１０５に記録する制御を行う。例えば、記録用の変換処理として、データサイズを小さくするための圧縮符号化処理や、指定されたデータフォーマットへの変換処理を行う。なお、モニター表示及び記録媒体への記録は、そのいずれか一方のみが行われてもよく、その両方が行われてもよい。
【００３８】
３．重畳シフト加算処理
次に、本実施形態が行う重畳シフト加算処理について詳細に説明する。まず図２に、画素アレイ部１１１の画素配列の例を示す。図２において、ｘは画素配列の列番号を表し、ｙは画素配列の行番号を表す（ｘ、ｙはゼロ以上の整数）。例えば、列番号は水平走査方向の座標であり、行番号は垂直走査方向の座標である。なお以下では適宜、列番号ｘが小さくなる方向を“左”、大きくなる方向を“右”、行番号ｙが小さくなる方向を“上”、大きくなる方向を“下”と呼ぶ。
【００３９】
図２に示すように、画素アレイ部１１１のカラーフィルターは、いわゆるベイヤー配列に配列される。即ち、２×２の４画素を基本ブロックとし、その基本ブロックが繰り返し配列される。基本ブロックとは、カラーフィルターの繰り返し配列における最小の構成単位であり、カラーフィルターにおける全ての色を有するブロックである。ベイヤー配列の基本ブロックには、１つのＲ（赤）画素、２つのＧ（緑）画素、１つのＢ（青）画素が含まれる。
【００４０】
次に、重畳シフト加算における重み付けについて説明する。図３に示すように、読み出し制御部１１２は、３×３の９画素を１ユニット（加算単位）とし、そのユニット内の画素値を重み付け加算し、加算した画素値を１画素信号として出力する。図３では、ユニット内の画素Ｐ１〜Ｐ９に対する重み付け係数をかっこ書きで表す。ｒは重み付けのパラメーターであり、正の実数（例えばｒ＝２）である。なお、図３にはＰ１がＲ画素である例を示すが、他の色の場合もＰ１〜Ｐ９と係数の対応は同様である。
【００４１】
次に、重畳シフトについて説明する。図４〜図６に示すように、固体撮像素子１１０からの１回の読み出し動作において、画素アレイ部１１１の全領域又は一部の領域から加算画素信号が読み出される。そして、その加算画素信号が配列された画像が、１フレーム（フィールド）の低解像度画像データとして固体撮像素子１１０から出力される。
【００４２】
具体的には、図４に示すように、第０フレームでは画素アレイ部１１１の全領域又は一部の領域における左上端の３×３画素をユニットに設定する。第１フレームでは、第０フレームのユニットに対して１画素右にずれた３×３画素をユニットに設定する。第２フレームでは、更に１画素右にずれた３×３画素をユニットに設定する。図５に示すように、第３フレームでは、第０フレームのユニットに対して１画素下にずれた３×３画素をユニットに設定する。第４フレームでは、第３フレームのユニットに対して１画素右にずれた３×３画素をユニットに設定する。第５フレームでは、更に１画素右にずれた３×３画素をユニットに設定する。図６に示すように、第６フレームでは、第３フレームのユニットに対して１画素下にずれた３×３画素をユニットに設定する。第７フレームでは、第６フレームのユニットに対して１画素右にずれた３×３画素をユニットに設定する。第８フレームでは、更に１画素右にずれた３×３画素をユニットに設定する。第９フレームでは、第０フレームのユニットと同じ３×３画素をユニットに設定する。
【００４３】
上記重畳シフトにより取得される３×３画素の加算画素信号は、ｒ＝２を例にとると、下式（１）により表される。
【数１】
【００４４】
ここで、ｖｘ，ｙは、画素アレイ部１１１の位置（ｘ，ｙ）における画素値であり、ａｉ，ｘ，ｙは、第ｉフレームの低解像画像の位置（ｘ，ｙ）における画素値である。下式（１）では、ｖｘ，ｙとａｉ，ｘ，ｙのレンジを同一にするため正規化を行っている。
【００４５】
上式（１）をＮｘ×Ｎｙ画素のユニットに一般化すると、下式（２）となる。
【数２】
【００４６】
ここで、ｔ％ｓはｔのｓによる剰余を表し、［ｔ］はｔを超えない最大の整数を表す。また、Ｎｘ，Ｎｙはそれぞれ水平方向、垂直方向の加算画素数であり、例えば本実施例ではＮｘ＝Ｎｙ＝３である。ｒｘ，ｒｙはそれぞれ水平方向、垂直方向の重み付けパラメーターであり、例えば本実施例ではｒｘ＝ｒｙ＝２である。
【００４７】
なお上記ではカラーフィルターがＲＧＢのベイヤー配列である例を説明したが、本実施形態はこれに限定されない。例えばカラーフィルターはＣＭＹ等であってもよいし、ベイヤー配列以外の配列であってもよい。
【００４８】
また上記ではユニットが３×３画素である例を説明したが、本実施形態はこれに限定されず、ユニットの画素数は、カラーフィルターの基本ブロックと異なる画素数であれば他の画素数に設定されてもよい。
【００４９】
また上記では固体撮像素子１１０が第０フレームから低解像画像を順次取得して出力する例を説明したが、本実施形態はこれに限定されない。例えば、任意のフレームから出力してもよいし、出力する順番を連番に限らず任意の順番で出力してもよい。また、１回の読み出し動作（１フレーム）において、複数の低解像画像を取得又は出力してもよい。
【００５０】
ここで、フレームとは、例えば撮像素子による１回の撮影動作タイミングや、画像処理において１つの画像（例えば１つの低解像画像や、後述する画像Ｘ）が処理されるタイミングである。あるいは、画像データにおける１つの低解像画像や高解像画像も適宜フレームと呼ぶ。
【００５１】
４．復元推定処理、混色除去処理
次に、本実施形態が行う復元推定処理、混色除去処理について詳細に説明する。図７に、本実施形態が行う処理のフローチャートを示す。
【００５２】
例えば、フローチャートのステップＳ２〜Ｓ５は、高解像度画像生成部１２１が実行する。ステップＳ７〜Ｓ９は、低解像度画像生成部１２２が実行する。他のステップＳ１、Ｓ６は、制御部１０２が実行する。なお、本実施形態の各部はハードウェアとして構成されてもよいし、ソフトウェアにより構成されてもよい。ソフトウェアにより構成される場合、本実施形態の各部を記述したプログラムがＣＰＵ等の情報処理装置により実行されることで、各部の処理が実現される。
【００５３】
図７に示すように、この処理が開始されると、高解像度画像を出力するか否かの判断を行う（Ｓ１）。例えば、撮像装置１００に対するユーザの指示に基づいて判断する。なお、ユーザの指示は撮像時よりも前に行われていてもよいし、ステップＳ１を処理するタイミングでユーザに対し要求してもよい。
【００５４】
高解像度画像を生成する場合（Ｓ１、ＹＥＳ）、固体撮像素子１１０又は記録媒体１０５からの画像データを読み込む（Ｓ２）。本実施形態では連続する９フレームの画像を必要とするため、連続する９フレームの低解像度画像データを読み込む。次に、読み込まれた低解像度画像データから高解像度画像の画素値を推定する（Ｓ３）。
【００５５】
画素値の推定手法について、詳細に説明する。まず図８に示すように、９フレームの低解像度画像データの画素ａｉ，ｘ，ｙを配列し、１フレームの画像Ｘを生成する。下式（３）に、画像Ｘにおける画素Ａｘ，ｙと画素ａｉ，ｘ，ｙとの対応を示す。図８に示すように、画像Ｘの位置（ｘ，ｙ）には、図４〜図６に示す同一位置（ｘ，ｙ）の加算単位ＧＰｘｙの加算画素値が配置される。
【数３】
【００５６】
上式（３）をＮｘ×Ｎｙ画素のユニットに一般化すると、下式（４）となる。
【数４】
【００５７】
次に下式（５）に示すように、画像Ｘの画素Ａｘ，ｙと推定用フィルターρとのコンボリューション演算を行い、高解像度画像の画素値ｕｘ，ｙを推定する。下式（６）に示すように、推定用フィルターρは行列により表され、ρｋｊは、その行列のｋｊ成分である。推定用フィルターρについては、後に詳述する。
【数５】
【数６】
【００５８】
推定用フィルターρを、Ｎｘ×Ｎｙ画素のユニット及びｒｘ、ｒｙの重み付けパラメーターに一般化すると、下式（７）となる。ここで、ＭＴは行列Ｍの転置行列を表す。
【数７】
【００５９】
次に、上記の推定演算により求められた画素値ｕｘ，ｙでは、後述するように色が正しく再現されていないため、推定演算後の画像に対して色変換処理を行う（Ｓ４）。具体的には、下式（８）に示すように、色変換行列τを用いて色変換処理を行う。
【数８】
【００６０】
行列α、βは、下式（９）より表される行列である。
【数９】
【００６１】
ここで、σｋｊは、下式（１０）に示す行列σのｋｊ成分であり、ρｋｊは、上式（６）に示す行列ρのｋｊ成分である。
【数１０】
【００６２】
上式（１０）を、Ｎｘ×Ｎｙ画素のユニット及びｒｘ、ｒｙの重み付けパラメーターに一般化すると、下式（１１）となる。
【数１１】
【００６３】
例えば図３を例にすると、上式（１１）の成分σ００、σ１０、σ０１、σ１１は、それぞれ画素Ｐ１、Ｐ２、Ｐ４、Ｐ５の色に対応する混色比であり、同色画素の重み付け係数を加算して規格化した値である。図４〜図６に示すように、各画素に対応する色はフレームに依って異なるため、各色の混色比はフレームに応じて変化する。
【００６４】
本実施形態における行列α、β、τは、上式（６）、（８）〜（１０）より下式（１２）となる。
【数１２】
【００６５】
下式（１３）に示すように、行列τの成分から混色除去フィルターＴを構成する。下式（１４）に示すように、画素値ｕｘ，ｙと混色除去フィルターＴとのコンボリューション演算を行い、画素値ｕ'ｘ，ｙを求める。
【数１３】
【数１４】
【００６６】
次に、画素値ｕ'ｘ，ｙに対して現像処理を行う（Ｓ５）。例えばカラーフィルターがベイヤー配列である場合、復元された画像はベイヤー配列となる。現像処理では、そのベイヤー配列の画像を補間処理し、全画素のＲＧＢ画素値を求める。次に、現像処理後の画像を最終的な画像データとして出力し、処理を終了する（Ｓ６）。
【００６７】
次に、ステップＳ１において、低解像度の画像を生成すると判断した場合（Ｓ１、ＮＯ）、固体撮像素子１１０又は記録媒体１０５からの低解像画像データを読み込む（Ｓ７）。高解像度画像を生成する場合には複数フレームの低解像度画像データを読み込んだが、ステップ５においては１フレームの低解像度画像データでよい。
【００６８】
次に、読み込んだ低解像度画像データは色を正しく再現していないため、低解像画像データに対して色変換処理を行う（Ｓ８）。下式（１５）に、色変換行列τを示す。行列αは、上式（９）の行列αである。
【数１５】
【００６９】
上式（１３）、（１４）と同様に、行列τから混色除去フィルターＴを構成し、低解像画像と混色除去フィルターＴとのコンボリューション演算を行う。次に、混色除去された画像に対して現像処理を行い（Ｓ９）、現像処理後の画像を最終的な画像データとして出力し、処理を終了する（Ｓ６）。
【００７０】
なお上記では、高解像画像の推定処理（Ｓ３）と色変換処理（Ｓ４）を別個に処理する例を説明したが、本実施形態はこれに限定されず、１回の処理で行ってもよい。この場合、上式（７）の行列ρと上式（８）の行列τとのコンボリューションによって新たな行列を生成する。そして、その行列と画像Ｘの各画素Ａｘ，ｙとのコンボリューション演算を行い、混色除去後の画素値ｕ'ｘ，ｙを求める。
【００７１】
また上記では、９枚の低解像画像を読み込んで高解像画像の推定処理を行ったが、本実施形態はこれに限定されない。例えば、補間処理等を行うことでより少ないフレーム数の画像を読み込むようにしてもよいし、推定精度を上げるためにより多いフレーム数の画像を読み込むようにしてもよい。
【００７２】
５．混色除去フィルター
次に、上記の混色除去フィルターＴにより、実際に混色が除去される点について詳細に説明する。なお以下では説明を簡単にするために、図９に示すように加算単位を２×２画素とし、重み付けパラメーターｒ＝２とする。
【００７３】
まず、復元推定後の高解像画像において混色が残る点について説明する。図１０に示すように、加算前の画像を仮にＶとし、重み付け加算後の画像をＸとし、復元処理後の高解像画像をＵとし、混色除去後の画像をＵ’とする。なお図１０では、色の混ざり方のみに注目するため、位置ｘｙを省略して同色画素に同じ符号を付す。また以下では、同色画素をまとめて、Ｇ＝Ｇｒ＝Ｇｂ、ａ１／２＝ａ１＝ａ２、ｇ＝ｇｒ＝ｇｂ、Ｇ’＝Ｇｒ’＝Ｇｂ’とする。
【００７４】
重み付け加算による混色を表す行列σは、上式（１１）より下式（１６）となる。画像Ｘは、画像Ｖと行列σのコンボリューションであるから、画像Ｘの画素値ａ０、ａ１／２、ａ３は下式（１７）で表される。
【数１６】
【数１７】
【００７５】
推定用フィルターρは、上式（７）より下式（１８）となる。画像Ｕは、画像Ｘとフィルターρのコンボリューションであるから、画像Ｕの画素値ｒ、ｇ、ｂは下式（１９）で表される。
【数１８】
【数１９】
【００７６】
上式（１７）、（１９）の３×３行列をα、βとおくと、下式（２０）となる。この行列αは、上式（９）より計算されるαと同一であり、重畳シフト加算処理による（Ｒ、Ｇ、Ｂ）の混色を表す行列である。行列βは、上式（９）より計算されるβと同一であり、復元推定処理による（ａ０、ａ１／２、ａ３）の混色を表す行列である。
【数２０】
【００７７】
上式（１７）、（１９）、（２０）より、下式（２１）が成り立つ。下式（２１）に示すように、復元推定された画像Ｕの画素値ｒ、ｇｒ、ｇｂ、ｂは、それぞれ元の色Ｒ、Ｇｒ、Ｇｂ、Ｂの和となっており、元の色が完全には復元されていないことが分かる。
【数２１】
【００７８】
次に、上記混色が、混色除去フィルターＴにより除去される点について説明する。混色除去フィルターＴは、上式（１３）より下式（２２）となる。画像Ｕ’は、画像ＵとフィルターＴのコンボリューションであるから、画像Ｕ’の画素値Ｒ’、Ｇｒ’、Ｇｂ’、Ｂ’は下式（２３）となる。
【数２２】
【数２３】
【００７９】
上式（２３）の３×３行列をτとおくと下式（２４）となる。この行列τは、上式（８）より計算されるτと同一であり、混色除去処理における(ｒ、ｇ、ｂ）から（Ｒ’、Ｇ’、Ｂ’）への色変換を表す行列である。
【数２４】
【００８０】
上式（２１）、（２３）、（２４）より、下式（２５）が成り立つ。下式（２５）より、画像Ｕ’ではＲＧＢが分離され、元のベイヤー配列の色が復元されていることが分かる。
【数２５】
【００８１】
６．Ｓ／Ｎ劣化抑制
次に、ベイヤー配列の基本ブロック２×２とは異なる３×３画素に加算単位を設定することで、混色除去によるＳ／Ｎ劣化が抑制される点について詳細に説明する。
【００８２】
加算単位が２×２画素である場合、行列α、β、τは、上式（２０）、（２４）で説明した通りである。フィルターσ、ρ、Ｔは、上式（１６）、（１８）、（２２）で説明した通りである。
【００８３】
また加算単位が３×３画素である場合、行列α、β、τは、上式（１２）で説明した通りである。フィルターσ、ρ、Ｔは、上式（１０）、（６）、（１３）で説明した通りである。
【００８４】
上式（１７）等で説明したように、行列α、β、τは、それぞれの処理において各色に乗ぜられる係数を表す。即ち、行列α、β、τは、各色のゲインアップ量を表す行列である。実際の演算では、行列α、β、τから構成したフィルターσ、ρ、Ｔと、各画素とのコンボリューションを行うことから、ゲインアップ量は、これらのフィルターの演算係数（成分）により規定されることになる。
【００８５】
画像のノイズレベルはゲインの２乗和に依存することから、各演算におけるノイズレベルの増減は、フィルター演算係数の２乗和で表される。撮像素子によって取得された加算前の画像のノイズレベルをｎとすると、各演算後のノイズレベルは、加算単位が２×２画素では下式（２６）となり、３×３画素では下式（２７）となる。ここで、ｎαは重み付け加算後のノイズレベルを表し、ｎβは高解像度化後のノイズレベルを表し、ｎτは色変換後（最終画像）のノイズレベルを表す。
【数２６】
【数２７】
【００８６】
上式（２６）、（２７）より、最終画像では、それぞれ２．１倍、１．２倍にノイズが増加する。即ち、２×２画素加算よりも３×３画素加算の方がノイズの増加が小さく、演算によるＳ／Ｎ劣化が抑制される。
【００８７】
図１１に、加算前の画像のノイズレベルを基準（０ｄＢ）とする場合の、混色除去処理後のＳ／Ｎ特性の例を示す。図１１のＡ１に示すように、ｒ＝２における３×３画素加算のＳ／Ｎは、上記のノイズレベルに対応して、Ａ２に示す２×２画素のＳ／Ｎよりも４．５ｄＢ程度良い。他のｒにおいても、３×３画素加算のＳ／Ｎは２×２画素のＳ／Ｎよりも高い。またＡ３に示すように、加算単位を４×４画素にした場合も、２×２画素よりもＳ／Ｎを改善できる。以上から、ベイヤー配列の基本ブロック２×２画素と異なる画素数で加算を行うことで、基本ブロックと同じ画素数で加算する場合よりもＳ／Ｎを向上できる。
【００８８】
また、Ａ３に示す４×４画素加算の場合よりも、Ａ１に示す３×３画素加算の方がＳ／Ｎが良い。即ち、加算単位を３×３画素に設定することで、他の画素数に設定した場合よりもＳ／Ｎをより高めることが可能となる。
【００８９】
図１２に、加算前の画像の解像度を基準（１００％）とする場合の、混色除去処理後の解像度特性の例を示す。図１２のＢ１に示す３×３画素加算の解像度は、ｒが１に近い場合（例えば１．５以下）を除いて、Ｂ２に示す２×２画素加算の解像度との差は僅かである。画像のＳ／Ｎと解像度とは逆相関があることが多いが、３×３画素加算と２×２画素加算では目視による解像感の差はほとんど無く、３×３画素加算では解像感を失わずにＳ／Ｎ劣化を抑制できる。Ｂ３に示すように、４×４画素加算の場合も、同様に解像感を失わずにＳ／Ｎ劣化を抑制できる。
【００９０】
また、Ｂ３に示す４×４画素加算の場合よりも、Ｂ１に示す３×３画素加算の方が解像度が良い。即ち、加算単位を３×３画素に設定することで、他の画素数に設定した場合よりも、解像感をより維持しながらＳ／Ｎを高めることが可能となる。
【００９１】
以上の実施形態によれば、図１に示すように、撮像装置１００は、画素アレイ部１１１と読み出し制御部１１２と推定演算部２００と混色除去処理部２１０を含む。図２で説明したように、画素アレイ部１１１は、カラーフィルターにおいて繰り返し配列される基本ブロックが、Ｍｘ×Ｍｙ画素（Ｍｘ、Ｍｙは２以上の整数）である。図３〜図６で説明したように、読み出し制御部１１２は、加算される画素の範囲である加算単位を設定し、その加算単位に含まれる画素値を重み付け加算して低解像画像を取得する。図７で説明したように、推定演算部２００は、その低解像画像に基づいて、画素アレイ部１１１の画素数に相当する解像度の高解像画像を推定する。混色除去処理部２１０は、推定された高解像画像における混色を除去する処理を行う。
【００９２】
この場合に、図３で説明したように、読み出し制御部１１２は、画素アレイ部１１１のＭｘ×Ｍｙ画素とは異なるＮｘ×Ｎｙ画素（Ｎｘ、Ｎｙは２以上の整数）の範囲を加算単位に設定する。図４〜図６で説明したように、読み出し制御部１１２は、重畳しながらシフトされた加算単位を設定することにより、複数の低解像画像（ａ０，ｘ，ｙ〜ａ８，ｘ，ｙ）を取得する。
【００９３】
このようにすれば、Ｓ／Ｎ劣化を抑制した混色除去を高解像化画像に対して行うことが可能になる。即ち、図１１で説明したように、カラーフィルターの基本ブロックとは異なる画素数の加算単位を設定することで、基本ブロックと同じ画素数の場合よりも、色変換の際のゲインアップ量を小さくできる。これにより、高解像度画像におけるＳ／Ｎの悪化を抑えることができる。また、図１２で説明したように、解像感を維持できる。
【００９４】
また、加算単位を重畳しながらシフトして複数の低解像画像を取得することで、その複数の低解像画像から任意タイミングの高解像画像を復元できる。図１３（Ａ）等で後述するように、重畳シフト加算により復元推定処理を簡素化でき、ハードウェアの負荷を軽減できる。
【００９５】
ここで、加算単位が重畳するとは、２つの加算単位が共通の画素を有することである。例えば図４〜図６では、加算単位が水平又は垂直に１画素ずつシフトされることで複数の加算単位ＧＰ００、ＧＰ１０、・・・、ＧＰ２２が設定され、その複数の加算単位のうち隣り合う加算単位が共通の画素を有する。例えばＧＰ００とＧＰ１０は画素ｖ１０〜ｖ１２、ｖ２０〜ｖ２２を共有する。
【００９６】
また、混色とは、処理後の画素において処理前の複数の色成分が混ざった状態である。例えば、上式（１７）で説明したように、重畳シフト加算後の画素ａ０では、加算前の複数の色Ｒ、Ｇ、Ｂが、行列αで規定される混色比４：４：１で加算された状態となっている。また、混色除去とは、重畳シフト加算前の色成分を復元することである。この復元では、色が分離されて元の色配列が復元されていればよく、元の画素値そのものが復元される必要はない。
【００９７】
また本実施形態では、図１０で説明したように、混色除去処理部２１０は、複数の低解像画像から高解像画像の画素値を推定することにより生じる混色（上式（１９））と、重み付け加算により複数色の画素値が加算されたことによる混色（上式（１７））とを除去する処理を行う（上式（２３）〜（２５））。
【００９８】
より具体的には、図８で説明したように、推定演算部２００は、複数の低解像画像の画素値ａｉ，ｘ，ｙを、重畳シフトにおける加算単位ＧＰｘｙの設定位置（ｘ，ｙ）に応じて１つの画像Ｘに再配列する（上式（３）、（４））。図７で説明したように、推定演算部２００は、その再配列した画像Ｘ（画素値Ａｘ，ｙ）を所定の推定用フィルターρで処理することで推定を行う（上式（６）、（７））。混色除去処理部２１０は、その推定用フィルターρにより規定される混色比を表す第１行列βと、重み付け加算における重み付け係数により規定される混色比を表す第２行列αとに基づいて構成された混色除去フィルターＴにより、高解像画像（画素値ｕｘ，ｙ）を処理することで混色を除去する処理を行う（上式（８）〜（１４））。
【００９９】
このようにすれば、復元推定処理と重み付け加算処理による混色を除去する処理を行うことができる。具体的には、推定用フィルターρにより規定される混色比と重み付け係数により規定される混色比とに基づいて、これらの混色を除去するための混色除去フィルターＴを構成できる。そして、このＴを復元画像に対して演算することで、元のカラーフィルターの色配列に復元できる。
【０１００】
また本実施形態では、図２で説明したように、カラーフィルターは、Ｍｘ×Ｍｙ画素を２×２画素とするベイヤー配列のカラーフィルターである。図３で説明したように、加算単位は、Ｎｘ×Ｎｙ画素を３×３画素とする加算単位である。
【０１０１】
このようにすれば、図１１で説明したように、３×３画素以外（例えば４×４画素）の加算単位を設定した場合に比べて、混色除去後においてより高いＳ／Ｎを実現でき、より高画質の高解像画像を得ることができる。また、図１２で説明したように、より高い解像感を実現できる。
【０１０２】
また本実施形態では、図２で説明したように、２×２画素は、１つのＲ画素と２つのＧ画素と１つのＢ画素により構成される。図１０に示すように、再配列された画像Ｘの画素値Ａｘ，ｙは、Ｒ、Ｇ、Ｂ画素と重み付け係数との対応が異なる第１〜第３の画素値ａ０、ａ１／２（＝ａ１＝ａ２）、ａ３に分類される。第１行列βは、高解像画像Ｕの画素値ｕｘ，ｙにおける第１〜第３の画素値ａ０、ａ１／２、ａ３の混合比が、推定用フィルターρの成分により表された行列である（上式（９）、（１８）〜（２０））。第２行列αは、第１〜第３の画素値ａ０、ａ１／２、ａ３におけるＲ、Ｇ、Ｂ画素の混合比が、重み付け係数（行列σ）に基づいて表された行列である（上式（９）、（１６）、（１７）、（２０））。混色除去フィルターＴは、第１、第２行列の逆行列の積τ＝α−１β−１の成分を、高解像画像の画素配列に応じて配列することにより構成されたフィルターである（上式（８）、（１３）、（２２）〜（２４））。
【０１０３】
このようにすれば、推定用フィルターρの成分に基づいて第１行列βを構成し、重み付け係数に基づいて第２行列αを構成し、これらの行列を用いて混色除去フィルターＴを構成できる。また、第１、第２行列の逆行列の積τ＝α−１β−１に基づいて混色除去フィルターＴを構成することで、上式（２５）で説明したように、τが色変換βαの逆行列となり、色変換上においてＲＧＢを復元できる。
【０１０４】
ここで、第１〜第３の画素値ａ０、ａ１／２、ａ３に分類されるとは、加算単位のシフトにより各色と重み付け係数の対応関係が変わり、その対応関係が３種類に分類されることである。例えば、図４〜図６では、加算単位が（ＧＰ００、ＧＰ２０、ＧＰ０２、ＧＰ２２）と、（ＧＰ１０、ＧＰ０１、ＧＰ２１、ＧＰ１２）、（ＧＰ１１）の３グループに分類され、各グループにおいて色と重み付け係数の対応は同一である。
【０１０５】
また、高解像画像の画素配列に応じて配列するとは、上式（２３）、（２４）に示すように、行列τの成分は画素ｒ、ｇ、ｂに対する係数（混色比）を表しており、その係数を、図１０に示す画像Ｕの画素ｒ、ｇ、ｂの配置に対応させ、上式（１３）に示すように並べ替えることである。
【０１０６】
７．推定用フィルター
上述の推定用フィルターρについて詳細に説明する。なお以下では説明を簡単にするために、加算単位が２×２画素であり、重み付けパラメーターｒ＝２である場合を例に説明する。
【０１０７】
図１３（Ａ）に示すように、２×２画素の加算単位の重畳シフトにより加算画素値ａｘｙが得られる。下式（２８）にａ００、ａ１０を示す。ここで、ｖｘｙは加算前の画素値である。
ａ００＝ｖ００＋（１／２）ｖ０１＋（１／２）ｖ１０＋（１／４）ｖ１１，
ａ１０＝ｖ１０＋（１／２）ｖ１１＋（１／２）ｖ２０＋（１／４）ｖ２１ （２８）
【０１０８】
図１３（Ｂ）に示すように、中間画素値ｂｘｙを定義する。中間画素値ｂｘｙは、加算単位の各列に含まれる画素値を重み付け加算したものであり、例えばａ００、ａ１０に含まれる画素の第１〜第３列がそれぞれ中間画素値ｂ００、ｂ１０、ｂ２０である。下式（２９）にｂ００、ｂ１０、ｂ２０を示す。
ｂ００＝ｖ００＋（１／２）ｖ０１，
ｂ１０＝ｖ１０＋（１／２）ｖ１１，
ｂ２０＝ｖ２０＋（１／２）ｖ２１ （２９）
【０１０９】
上式（２９）を用いて上式（２８）を変形すると、下式（３０）が成り立つ。
ａ００＝ｂ００＋（１／２）ｂ１０，
ａ１０＝ｂ１０＋（１／２）ｂ２０ （３０）
【０１１０】
上式（３０）をｂ１０、ｂ２０について解くと、下式（３１）が成り立つ。
ｂ１０＝−２ｂ００＋２ａ００，
ｂ２０＝４ｂ００＋２（ａ１０−２ａ００） （３１）
【０１１１】
下式（３２）に示すように、中間画素値ｂｘｙと加算画素値ａｘｙの２乗誤差により評価関数Ｅｙを求める。
【数２８】
【０１１２】
上式（３２）に上式（３１）を代入し、Ｅｙが最小となる未知数ｂ００を求め、ｂ００を決定する。ｂ０１、ｂ１１、ｂ２１について、未知数をｂ０１として上記と同様にｂ０１を決定する。決定されたｂ００、ｂ０１を下式（３３）に示す。ここで、下式（３３）では、右辺右側の行列について成分の和が１となるように規格化した。
【数２９】
【０１１３】
上式（３３）のｂ００、ｂ０１は、下式（３４）と表される。上式（３０）を下式（３４）に置き換え、未知数をｖ００として上記と同様にｖ００を決定すると、下式（３５）が求まる。
ｂ００＝ｖ００＋（１／２）ｖ０１，
ｂ０１＝ｖ０１＋（１／２）ｖ０２ （３４）
【数３０】
【０１１４】
上式（３３）、（３５）より、下式（３６）が求まる。ａ００、ａ１０、ａ０１、ａ１１の係数を成分ρ００、ρ１０、ρ０１、ρ１１とするフィルターとして書き直すと、下式（３７）となる。このようにして、上式（７）や（１８）で説明した推定用フィルターρが求められる。
【数３１】
【数３２】
【０１１５】
以上の実施形態によれば、図１３（Ａ）に示すように、重畳シフトにより設定される加算単位は、Ｎｘ×Ｎｙ（例えば２×２）画素の加算単位が、１列ずつＮｘ回及び１行ずつＮｙ回シフトされたＮｘ×Ｎｙ個の加算単位ａｘｙである。図１３（Ｂ）で説明したように、Ｎｘ×Ｎｙ個の加算単位の各列の画素値の重み付け加算値をそれぞれ中間画素値ｂｘｙとし、第１列の中間画素値ｂ００を未知数とする。上式（３０）で説明したように、中間画素値ｂ１０、ｂ２０は、その未知数ｂ００と、加算単位による重み付け加算値ａ００、ａ１０との関係式で表される。上式（３２）、（３３）で説明したように、推定用フィルターρは、その関係式で表された中間画素値ｂ００、ｂ１０、ｂ２０と、加算単位による重み付け加算値ａ００、ａ１０との二乗誤差が最小となるように設定されたフィルターである。
【０１１６】
このようにすれば、複数の低解像画像から高解像画像を復元するための推定用フィルターρを構成できる。また、高解像画像を復元推定する処理を簡素化できる。即ち、重畳シフト加算により得られた画素値ａｘｙに対して推定用フィルターρをコンボリューション演算するだけで高解像画像を得ることができる。これにより、例えば、２次元フィルターの繰り返し演算（特開２００９−１２４６２１号公報）や、初期値の設定に適当な部分を探索（特開２００８−２４３０３７号公報）する等の複雑な処理が不要となる。
【０１１７】
なお、上記のように本実施形態について詳細に説明したが、本発明の新規事項および効果から実体的に逸脱しない多くの変形が可能であることは当業者には容易に理解できるであろう。従って、このような変形例はすべて本発明の範囲に含まれるものとする。例えば、明細書又は図面において、少なくとも一度、より広義又は同義な異なる用語と共に記載された用語は、明細書又は図面のいかなる箇所においても、その異なる用語に置き換えることができる。また推定演算部、混色除去処理部、撮像装置等の構成、動作も本実施形態で説明したものに限定に限定されず、種々の変形実施が可能である。
【符号の説明】
【０１１８】
１００ 撮像装置、１０１ 撮像光学系、１０２ 制御部、１０３ メモリー、
１０４ モニター表示部、１０５ 記録媒体、
１１０ 固体撮像素子、１１１ 画素アレイ部、１１２ 読み出し制御部、
１２０ 画像処理部、１２１ 高解像度画像生成部、
１２２ 低解像度画像生成部、１２３ 表示処理部、１２４ アクセス制御部、
２００ 推定演算部、２１０ 混色除去処理部、
Ａｘ，ｙ 画素値、Ｅｙ 評価関数、ＧＰｘｙ 加算単位、
Ｍｘ×Ｍｙ 基本ブロックの画素数、Ｎｘ×Ｎｙ 加算単位の画素数、
Ｐ１〜Ｐ９ 画素、Ｒ，Ｇ，Ｂ 色、Ｔ 混色除去フィルター、
Ｕ，Ｕ’，Ｖ，Ｘ 画像、ａｉ，ｘ，ｙ 画素値、ａｘｙ 加算画素値、
ｂ００ 未知数、ｂｘｙ 中間画素値、ｒ 重み付けパラメーター、
ｕｘ，ｙ 画素値、ｖ１０〜ｖ１２ 画素、ｘ，ｙ 位置、α 第２行列、
β 第１行列、ρ 推定用フィルター、σ 行列
【特許請求の範囲】
【請求項１】
カラーフィルターにおいて繰り返し配列される基本ブロックが、Ｍｘ×Ｍｙ画素（Ｍｘ、Ｍｙは２以上の整数）である画素アレイ部と、
加算される画素の範囲である加算単位を設定し、前記加算単位に含まれる画素値を重み付け加算して低解像画像を取得する読み出し制御部と、
前記低解像画像に基づいて、前記画素アレイ部の画素数に相当する解像度の高解像画像を推定する推定演算部と、
推定された前記高解像画像における混色を除去する処理を行う混色除去処理部と、
を含み、
前記読み出し制御部は、
前記画素アレイ部の前記Ｍｘ×Ｍｙ画素とは異なるＮｘ×Ｎｙ画素（Ｎｘ、Ｎｙは２以上の整数）の範囲を前記加算単位に設定し、重畳しながらシフトされた前記加算単位を設定することにより、前記低解像画像として複数の低解像画像を取得することを特徴とする撮像装置。
【請求項２】
請求項１において、
前記混色除去処理部は、
前記複数の低解像画像から前記高解像画像の画素値を推定することによる混色と、前記重み付け加算により複数色の画素値が加算されたことによる混色とを除去する処理を行うことを特徴とする撮像装置。
【請求項３】
請求項２において、
前記推定演算部は、
前記複数の低解像画像の画素値を、前記重畳シフトにおける前記加算単位の設定位置に応じて１つの画像に再配列し、前記再配列した画像を所定の推定用フィルターで処理することで前記推定を行い、
前記混色除去処理部は、
前記推定用フィルターにより規定される混色比を表す第１行列と、前記重み付け加算における重み付け係数により規定される混色比を表す第２行列とに基づいて構成された混色除去フィルターにより、前記高解像画像を処理することで前記混色を除去する処理を行うことを特徴とする撮像装置。
【請求項４】
請求項３において、
前記カラーフィルターは、
前記Ｍｘ×Ｍｙ画素を２×２画素とするベイヤー配列のカラーフィルターであり、
前記加算単位は、
前記Ｎｘ×Ｎｙ画素を３×３画素とする加算単位であることを特徴とする撮像装置。
【請求項５】
請求項４において、
前記２×２画素が、１つのＲ画素と２つのＧ画素と１つのＢ画素により構成される場合に、
前記再配列された画像の画素値は、
前記Ｒ、Ｇ、Ｂ画素と重み付け係数との対応が異なる第１〜第３の画素値に分類され、
前記第１行列は、
前記高解像画像の画素値における前記第１〜第３の画素値の混合比が、前記推定用フィルターの成分により表された行列であり、
前記第２行列は、
前記第１〜第３の画素値における前記Ｒ、Ｇ、Ｂ画素の混合比が、前記重み付け係数に基づいて表された行列であり、
前記混色除去フィルターは、
前記第１、第２行列の逆行列の積の成分を、前記高解像画像の画素配列に応じて配列することにより構成されたフィルターであることを特徴とする撮像装置。
【請求項６】
請求項３乃至５のいずれかにおいて、
前記重畳シフトにより設定される前記加算単位は、
前記Ｎｘ×Ｎｙ画素の前記加算単位が、１列ずつＮｘ回及び１行ずつＮｙ回シフトされたＮｘ×Ｎｙ個の加算単位であり、
前記Ｎｘ×Ｎｙ個の加算単位の各列の画素値の重み付け加算値をそれぞれ中間画素値とし、第１列の中間画素値を未知数とする場合に、
前記中間画素値は、
前記未知数と、前記加算単位による重み付け加算値との関係式で表され、
前記推定用フィルターは、
前記関係式で表された前記中間画素値と、前記加算単位による重み付け加算値との二乗誤差が最小となるように設定されたフィルターであることを特徴とする撮像装置。
【請求項７】
加算される画素の範囲である加算単位を設定し、前記加算単位に含まれる画素値を重み付け加算して低解像画像を取得し、
前記低解像画像に基づいて、画素アレイ部の画素数に相当する解像度の高解像画像を推定するとともに、
推定された前記高解像画像における混色を除去する処理を行う場合に、
前記画素アレイ部のカラーフィルターにおいて繰り返し配列される基本ブロックであるＭｘ×Ｍｙ画素（Ｍｘ、Ｍｙは２以上の整数）とは異なるＮｘ×Ｎｙ画素（Ｎｘ、Ｎｙは２以上の整数）の範囲を前記加算単位に設定し、重畳しながらシフトされた前記加算単位を設定することにより、前記低解像画像として複数の低解像画像を取得することを特徴とする画像生成方法。
【請求項１】
カラーフィルターにおいて繰り返し配列される基本ブロックが、Ｍｘ×Ｍｙ画素（Ｍｘ、Ｍｙは２以上の整数）である画素アレイ部と、
加算される画素の範囲である加算単位を設定し、前記加算単位に含まれる画素値を重み付け加算して低解像画像を取得する読み出し制御部と、
前記低解像画像に基づいて、前記画素アレイ部の画素数に相当する解像度の高解像画像を推定する推定演算部と、
推定された前記高解像画像における混色を除去する処理を行う混色除去処理部と、
を含み、
前記読み出し制御部は、
前記画素アレイ部の前記Ｍｘ×Ｍｙ画素とは異なるＮｘ×Ｎｙ画素（Ｎｘ、Ｎｙは２以上の整数）の範囲を前記加算単位に設定し、重畳しながらシフトされた前記加算単位を設定することにより、前記低解像画像として複数の低解像画像を取得することを特徴とする撮像装置。
【請求項２】
請求項１において、
前記混色除去処理部は、
前記複数の低解像画像から前記高解像画像の画素値を推定することによる混色と、前記重み付け加算により複数色の画素値が加算されたことによる混色とを除去する処理を行うことを特徴とする撮像装置。
【請求項３】
請求項２において、
前記推定演算部は、
前記複数の低解像画像の画素値を、前記重畳シフトにおける前記加算単位の設定位置に応じて１つの画像に再配列し、前記再配列した画像を所定の推定用フィルターで処理することで前記推定を行い、
前記混色除去処理部は、
前記推定用フィルターにより規定される混色比を表す第１行列と、前記重み付け加算における重み付け係数により規定される混色比を表す第２行列とに基づいて構成された混色除去フィルターにより、前記高解像画像を処理することで前記混色を除去する処理を行うことを特徴とする撮像装置。
【請求項４】
請求項３において、
前記カラーフィルターは、
前記Ｍｘ×Ｍｙ画素を２×２画素とするベイヤー配列のカラーフィルターであり、
前記加算単位は、
前記Ｎｘ×Ｎｙ画素を３×３画素とする加算単位であることを特徴とする撮像装置。
【請求項５】
請求項４において、
前記２×２画素が、１つのＲ画素と２つのＧ画素と１つのＢ画素により構成される場合に、
前記再配列された画像の画素値は、
前記Ｒ、Ｇ、Ｂ画素と重み付け係数との対応が異なる第１〜第３の画素値に分類され、
前記第１行列は、
前記高解像画像の画素値における前記第１〜第３の画素値の混合比が、前記推定用フィルターの成分により表された行列であり、
前記第２行列は、
前記第１〜第３の画素値における前記Ｒ、Ｇ、Ｂ画素の混合比が、前記重み付け係数に基づいて表された行列であり、
前記混色除去フィルターは、
前記第１、第２行列の逆行列の積の成分を、前記高解像画像の画素配列に応じて配列することにより構成されたフィルターであることを特徴とする撮像装置。
【請求項６】
請求項３乃至５のいずれかにおいて、
前記重畳シフトにより設定される前記加算単位は、
前記Ｎｘ×Ｎｙ画素の前記加算単位が、１列ずつＮｘ回及び１行ずつＮｙ回シフトされたＮｘ×Ｎｙ個の加算単位であり、
前記Ｎｘ×Ｎｙ個の加算単位の各列の画素値の重み付け加算値をそれぞれ中間画素値とし、第１列の中間画素値を未知数とする場合に、
前記中間画素値は、
前記未知数と、前記加算単位による重み付け加算値との関係式で表され、
前記推定用フィルターは、
前記関係式で表された前記中間画素値と、前記加算単位による重み付け加算値との二乗誤差が最小となるように設定されたフィルターであることを特徴とする撮像装置。
【請求項７】
加算される画素の範囲である加算単位を設定し、前記加算単位に含まれる画素値を重み付け加算して低解像画像を取得し、
前記低解像画像に基づいて、画素アレイ部の画素数に相当する解像度の高解像画像を推定するとともに、
推定された前記高解像画像における混色を除去する処理を行う場合に、
前記画素アレイ部のカラーフィルターにおいて繰り返し配列される基本ブロックであるＭｘ×Ｍｙ画素（Ｍｘ、Ｍｙは２以上の整数）とは異なるＮｘ×Ｎｙ画素（Ｎｘ、Ｎｙは２以上の整数）の範囲を前記加算単位に設定し、重畳しながらシフトされた前記加算単位を設定することにより、前記低解像画像として複数の低解像画像を取得することを特徴とする画像生成方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【公開番号】特開２０１３−９１７２（Ｐ２０１３−９１７２Ａ）
【公開日】平成２５年１月１０日（２０１３．１．１０）
【国際特許分類】
【出願番号】特願２０１１−１４０７０４（Ｐ２０１１−１４０７０４）
【出願日】平成２３年６月２４日（２０１１．６．２４）
【出願人】（００００００３７６）オリンパス株式会社 (11,466)
【Ｆターム（参考）】
【公開日】平成２５年１月１０日（２０１３．１．１０）
【国際特許分類】
【出願日】平成２３年６月２４日（２０１１．６．２４）
【出願人】（００００００３７６）オリンパス株式会社 (11,466)
【Ｆターム（参考）】
[ Back to top ]