撮像装置
【課題】複数色の画素値を重み付け加算して得られた撮像画像のホワイトバランスを調整可能な撮像装置等を提供すること。
【解決手段】撮像装置は、読み出し制御部１３１と、混色除去処理部１２０と、色温度検出部１２１と、色温度調整部１２２と、推定演算部を含む。読み出し制御部１３１は、重畳しながらシフトされた加算単位を設定することにより、複数色の各色と重み付け係数の対応が異なる複数の低解像画像を取得する。混色除去処理部１２０は、その複数の低解像画像に対して、重み付け加算による混色を除去する処理を行い、各色に対応する画素値を求める。色温度検出部は、混色が除去された低解像画像に基づいて色温度を検出する。色温度調整部１２２は、検出された色温度に基づいて、低解像画像の色温度を調整する。推定演算部は、色温度補正された低解像画像に基づいて高解像画像を推定する。
【解決手段】撮像装置は、読み出し制御部１３１と、混色除去処理部１２０と、色温度検出部１２１と、色温度調整部１２２と、推定演算部を含む。読み出し制御部１３１は、重畳しながらシフトされた加算単位を設定することにより、複数色の各色と重み付け係数の対応が異なる複数の低解像画像を取得する。混色除去処理部１２０は、その複数の低解像画像に対して、重み付け加算による混色を除去する処理を行い、各色に対応する画素値を求める。色温度検出部は、混色が除去された低解像画像に基づいて色温度を検出する。色温度調整部１２２は、検出された色温度に基づいて、低解像画像の色温度を調整する。推定演算部は、色温度補正された低解像画像に基づいて高解像画像を推定する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置等に関する。
【背景技術】
【０００２】
従来では、デジタルスチルカメラやビデオカメラ等に代表される撮像装置の多くは、単板の固体撮像素子を用いて撮像を行っている。カラー撮影を行うため、複数色のカラーフィルターを有する固体撮像素子により撮像するものが殆どである。このような撮像装置を用いて撮影された画像では、固体撮像素子の特性や、光源又は被写体の条件等により、一般にホワイトバランスが崩れている。このホワイトバランスの崩れにより色調ずれや偽色が発生するため、ホワイトバランスの調整を行って色調ずれや偽色を抑制する。
【０００３】
例えば特許文献１には、撮像された画像を複数のブロックに分割し、そのブロックにおいて灰色の可能性があるか否かを判断し、灰色の可能性があると判断されたブロックの色平均値を灰色にするように各色のゲインを決定し、そのゲインを用いて画像のホワイトバランスを調整する手法が開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特表２００９−５０６７００号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
さて、従来の手法では、本来白色であるべき被写体が画像上において白色となるようにホワイトバランス調整を行う。
【０００６】
しかしながら、従来の手法では、固体撮像素子により撮像される画像が意図的に色調のずれを伴っている場合には適応できないという課題がある。例えば、複数色の画素値を、各画素に任意の重み付けを施して加算読み出しする場合、加算読み出しされた画素値は、複数色が混合された画素値となっている。この場合、仮にホワイトバランスが整っていたとしても、加算読み出しにより得られる画像では、白色の被写体が白色とはならない。そのため、従来の手法を適用して白色に調整すると、逆にホワイトバランスを崩してしまうことになる。
【０００７】
本発明の幾つかの態様によれば、複数色の画素値を重み付け加算して得られた撮像画像のホワイトバランスを調整可能な撮像装置等を提供できる。
【課題を解決するための手段】
【０００８】
本発明の一態様は、撮像素子に複数色の画素が配列される場合に、前記複数色の画素を有する加算単位を前記撮像素子の複数の画素毎に設定し、前記加算単位に含まれる画素値を重み付け加算して低解像画像を取得する読み出し制御部と、取得された前記低解像画像に対して、前記複数色の画素が重み付け加算されたことによる混色を除去する処理を行う混色除去処理部と、混色が除去された前記低解像画像に基づいて色温度を検出する色温度検出部と、検出された前記色温度に基づいて、前記低解像画像の色温度を調整する色温度調整部と、色温度調整された前記低解像画像に基づいて、前記撮像素子の画素数に相当する解像度の高解像画像を推定する推定演算部と、を含み、前記読み出し制御部は、重畳しながらシフトされた前記加算単位を設定することにより、前記複数色の各色と重み付け係数との対応が異なる複数の低解像画像を取得し、前記混色除去処理部は、前記複数の低解像画像に対して前記混色を除去する処理を行い、前記各色に対応する画素値を求める撮像装置に関係する。
【０００９】
本発明の一態様によれば、重畳しながらシフトされた加算単位が設定され、各色と重み付け係数の対応が異なる複数の低解像画像が取得される。取得された低解像画像に対して混色を除去する処理が行われ、各色に対応する画素値が求められる。その混色除去後の画素値に基づいて色温度が検出され、低解像画像の色温度調整が行われる。そして、調整後の低解像画像から高解像画像が推定される。これにより、複数色の画素値を重み付け加算して得られた撮像画像のホワイトバランスを調整することが可能になる。
【００１０】
また本発明の一態様では、前記混色除去処理部は、前記各色と重み付け係数の対応を規定する係数行列の逆行列に基づいて、前記混色を除去する混色除去フィルターを構成し、構成した前記混色除去フィルターにより前記混色を除去する処理を行ってもよい。
【００１１】
また本発明の一態様では、前記撮像素子の前記複数色の画素が、ベイヤー配列である場合に、前記読み出し制御部は、前記各色と第１〜第４の重み付け係数とが第１〜第４の組み合わせで対応する第１〜第４の低解像画像を、前記複数の低解像画像として取得し、前記第１〜第４の低解像画像の画素値は、前記重畳シフトにおける前記加算単位の設定位置に応じて１つの画像に再配列され、前記混色除去処理部は、前記第１〜第４の組み合わせを第１〜第４行に配列した行列を前記係数行列とし、前記係数行列の逆行列の成分を前記再配列に応じて配列することにより前記混色除去フィルターを構成し、構成した前記混色除去フィルターと前記再配列された画像とのコンボリューション演算を行ってもよい。
【００１２】
これらの態様によれば、各色と重み付け係数の対応に基づいて混色除去フィルターを構成できる。これにより、重み付け加算により混色される前の画像の色情報を得ることが可能になり、その色情報に基づいて色温度検出を行うことができる。
【００１３】
また本発明の一態様では、前記色温度調整部は、前記検出された前記色温度に基づいて前記各色の調整ゲインを求め、各色と重み付け係数との対応を規定する係数行列と、前記調整ゲインとに基づいて、調整フィルターを構成し、構成した前記調整フィルターにより前記色温度の調整を行ってもよい。
【００１４】
また本発明の一態様では、前記撮像素子の前記複数色の画素が、ベイヤー配列である場合に、前記読み出し制御部は、前記各色と第１〜第４の重み付け係数とが第１〜第４の組み合わせで対応する第１〜第４の低解像画像を、前記複数の低解像画像として取得し、前記第１〜第４の低解像画像の画素値は、前記重畳シフトにおける前記加算単位の設定位置に応じて１つの画像に再配列され、前記色温度調整部は、前記第１〜第４の組み合わせを第１〜第４行に配列した行列を前記係数行列とし、前記係数行列と、前記各色の調整ゲインを対角に配列した行列と、前記係数行列の逆行列との積の成分を、前記再配列に応じて配列することにより前記調整フィルターを構成し、構成した前記調整フィルターと前記再配列された画像とのコンボリューション演算を行ってもよい。
【００１５】
これらの態様によれば、各色と重み付け係数の対応に基づいて調整フィルターを構成できる。これにより、重み付け加算により混色した低解像画像に対して、ホワイトバランス調整処理を行うことが可能になる。
【００１６】
また本発明の一態様では、第１のポジションに設定された第１の加算単位と、前記第１のポジションがシフトされた第２のポジションに設定された第２の加算単位とが、重畳する場合に、前記推定演算部は、前記第１の加算単位の画素値が重み付け加算された第１の加算画素値と、前記第２の加算単位の画素値が重み付け加算された第２の加算画素値との差分値を求め、前記第１の加算単位から重畳領域を除いた第１の領域の加算画素値である第１の中間画素値と、前記第２の加算単位から前記重畳領域を除いた第２の領域の加算画素値である第２の中間画素値との関係式を、前記差分値を用いて表し、前記関係式を用いて前記第１、第２の中間画素値を推定し、推定した前記第１の中間画素値を用いて前記加算単位に含まれる各画素の画素値を求めてもよい。
【００１７】
このようにすれば、重畳しながら画素シフトされた加算単位の加算画素値から中間画素値を推定し、推定した中間画素値から最終的な推定画素値を求めることができる。これにより、簡素な処理で撮像画像を推定できる。
【００１８】
また本発明の一態様では、前記推定演算部は、前記第１、第２の中間画素値を含む連続する中間画素値を中間画素値パターンとする場合に、前記中間画素値パターンに含まれる中間画素値間の関係式を前記第１、第２の加算画素値を用いて表し、前記中間画素値間の関係式で表された前記中間画素値パターンと前記第１、第２の加算画素値とを比較して類似性を評価し、前記類似性の評価結果に基づいて、前記類似性が最も高くなるように、前記中間画素値パターンに含まれる中間画素値を決定してもよい。
【００１９】
このようにすれば、重畳しながら画素シフトされた加算単位により取得された複数の加算画素値に基づいて、中間画素値を推定により求めることができる。
【図面の簡単な説明】
【００２０】
【図１】本実施形態の撮像装置の構成例。
【図２】撮像装置の変形構成例。
【図３】画素アレイ部の画素配列の例。
【図４】重畳シフト加算における重み付けについての説明図。
【図５】重畳シフト加算についての説明図。
【図６】第１〜第４の低解像画像を再配列した画像の例。
【図７】ホワイトバランス調整処理のフローチャート。
【図８】混色除去処理についての詳細な説明図。
【図９】混色除去処理についての詳細な説明図。
【図１０】混色除去処理についての詳細な説明図。
【図１１】図１１（Ａ）、図１１（Ｂ）は、推定画素値と中間画素値の説明図。
【図１２】復元推定処理についての説明図。
【図１３】復元推定処理についての説明図。
【図１４】復元推定処理についての説明図。
【発明を実施するための形態】
【００２１】
以下、本発明の好適な実施の形態について詳細に説明する。なお以下に説明する本実施形態は特許請求の範囲に記載された本発明の内容を不当に限定するものではなく、本実施形態で説明される構成の全てが本発明の解決手段として必須であるとは限らない。
【００２２】
１．本実施形態の概要
まず、本実施形態の概要について説明する。本実施形態では、図５等で後述するように、重畳シフトされた加算単位を設定し、その加算単位に含まれる画素値を重み付け加算することにより低解像動画を取得する。そして、図１１（Ａ）〜図１４で後述するように、その低解像動画から、撮像素子の解像度に相当する高解像静止画や高解像動画を復元する。
【００２３】
このようにすれば、事後的に高解像画像が得られるため、ユーザが好きなタイミングを指定することができ、決定的瞬間の画像を容易に得ることが可能である。また、加算単位が重畳シフトされていることで、簡素な処理で復元を行うことが可能である。
【００２４】
さて本実施形態では、撮像素子はベイヤー（Bayer）配列等のカラー単板撮像素子であり、加算単位には複数の色の画素が含まれている。本実施形態では、この複数の色の画素値が加算された低解像画像から高解像画像を復元するが、低解像画像のホワイトバランスが適切でないと、復元画像が劣化する（例えば偽色が生じる）可能性がある。そのため、低解像画像のホワイトバランスを調整する必要がある。
【００２５】
しかしながら、低解像画像では、重み付け加算により複数の色が混ざった画素値となっている。そのため、低解像画像からそのまま色温度を検出しようとしても、加算前の画像の色情報がわからないため正しい色温度を検出することができず、ホワイトバランスを調整できないという課題がある。
【００２６】
そこで本実施形態では、図７等で後述するように、低解像画像を混色除去フィルターで処理することにより、加算前の色情報が反映された画像を取得し、その画像に基づいて色温度を検出する。そして、その色温度に基づいて低解像画像のホワイトバランス調整（狭義には色温度調整）を行う。これにより、重み付け加算により混色した画像であっても、ホワイトバランスを調整することができる。
【００２７】
２．撮像装置
次に、本実施形態について詳細に説明する。まず図１に、上記の混色除去処理とホワイトバランス調整処理を行う本実施形態の撮像装置の構成例を示す。
【００２８】
図１の撮像装置１００は、撮像光学系１０１（レンズ）、固体撮像素子１０２（撮像素子）、ホワイトバランス調整部１０３、高解像度画像生成部１０４（推定演算部）、現像処理部１０５、制御部１０６、メモリー１０７、表示処理部１０８、モニター表示部１０９、アクセス制御部１１０（記録処理部）を含む。
【００２９】
撮像装置１００は、光学的な画像情報を電気信号に変換し、電子的に記録媒体に記録する装置である。このような撮像装置１００として、例えばデジタルスチルカメラ、デジタルムービーカメラ等が想定される。
【００３０】
撮像光学系１０１は、被写体を結像する。固体撮像素子１０２は、カラー単板撮像素子であり、結像された被写体像を撮像する。具体的には、固体撮像素子１０２は、画素アレイ部１３０（受光素子）と、読み出し制御部１３１を含む。読み出し制御部１３１は、画素アレイ部１３０の複数画素が重み付け加算された低解像画像を読み出し、その加算される画素の範囲を順次シフトすることにより複数の低解像画像を取得する。取得された画像データは、制御部１０６により、ホワイトバランス調整部１０３、又は高解像度画像生成部１０４、アクセス制御部１１０へ伝送される。
【００３１】
ホワイトバランス調整部１０３には、固体撮像素子１０２又は記録媒体１１１からの、ホワイトバランス調整前の画像データが入力される。そして、入力された画像データに対してホワイトバランス調整を行い、ホワイトバランス調整後の画像データを出力する。具体的には、ホワイトバランス調整部１０３は、画像データの色温度を解析的に求め、その色温度を用いてオートホワイトバランス調整を行う。ホワイトバランス調整部１０３は、混色除去処理部１２０（混色除去フィルター演算部）と、色温度検出部１２１と、色温度調整部１２２（色温度補正部）を含む。
【００３２】
混色除去処理部１２０は、ホワイトバランス調整前の画像データから、固体撮像素子１０２の重み付けにより生じた混色を除去する処理を行う。色温度検出部１２１は、混色除去された画像データから色温度を検出する。色温度調整部１２２は、検出された色温度をターゲットの色温度に調整する処理を、ホワイトバランス調整前の画像データに対して行う。これらの処理については、後で詳述する。
【００３３】
高解像度画像生成部１０４は、ホワイトバランス調整された画像データに対して、後述する復元推定処理を行い、固体撮像素子１０２からの画像データよりも解像度の高い画像データを生成する。後述するように、高解像度画像生成部１０４は、正確な解像度情報や色情報を取得するために、連続する４フレームの画像データに基づいて１フレームの高解像度画像データを生成する。
【００３４】
現像処理部１０５は、高解像画像データを現像処理して、最終的な画像データを出力する。例えば固体撮像素子１０２がベイヤー配列である場合、復元された画像はベイヤー配列となる。現像処理部１０５は、そのベイヤー配列の画像を補間処理し、全画素のＲＧＢ画素値を求める。
【００３５】
表示処理部１０８は、現像された画像に対して表示用の変換処理を行い、変換後の画像をモニター表示部１０９に表示する処理を行う。例えば、表示用の変換処理として、モニター解像度に合致させるためのリサイズ処理や、モニターにおいて違和感のない画像に見せるためのガンマ補正処理や色補正処理を行う。
【００３６】
アクセス制御部１１０は、現像された画像に対して記録用の変換処理を行い、変換後の画像を外部の記録媒体１１１に記録する制御を行う。例えば、記録用の変換処理として、データサイズを小さくするための圧縮符号化処理や、指定されたデータフォーマットへの変換処理を行う。なお、モニター表示及び記録媒体への記録は、そのいずれか一方のみが行われてもよく、その両方が行われてもよい。
【００３７】
なお、本実施形態は図１の構成に限定されず、その構成要素の一部を省略したり、他の構成要素を追加したりする等の種々の変形実施が可能である。例えば、上記ではホワイトバランス調整部１０３は固体撮像素子１０２の外部に設けられるが、図２に示すように、ホワイトバランス調整部１０３は固体撮像素子１０２のシリコン基板上に形成されてもよい。この場合、読み出し制御部１３１により画像データが取得され、その画像データに対してホワイトバランス調整が行われ、その調整後の画像データが固体撮像素子１０２から出力される。ホワイトバランス調整を行っていない画像データを固体撮像素子１０２から出力する場合には、固体撮像素子１０２にホワイトバランス調整部１０３をバイパスする回路を設け、回路をスイッチできるようにすればよい。
【００３８】
また、上記ではオートホワイトバランスを行う例を説明したが、本実施形態はこれに限定されず、例えばユーザにより画像の色温度が与えられ、その色温度に対応するプリセット値を用いてホワイトバランス調整を行ってもよい。
【００３９】
また、上記では４フレームの低解像画像から１フレームの高解像画像を復元する例を説明したが、本実施形態はこれに限定されず、例えば４フレームよりも多い又は少ないフレーム数の低解像画像に基づいて１フレームの高解像度画像を復元してもよい。
【００４０】
また、上記では記録媒体１１１が外部に設けられる例を説明したが、本実施形態はこれに限定されず、記録媒体１１１は撮像装置１００の内部に設けられてもよく、又は内部と外部の両方に設けられてもよい。
【００４１】
３．重畳シフト加算
次に、本実施形態が行う重畳シフト加算について詳細に説明する。まず図３に、画素アレイ部１３０の画素配列の例を示す。図３において、ｘは画素配列の列番号を表し、ｙは画素配列の行番号を表す（ｘ、ｙはゼロ以上の整数）。例えば、列番号は水平走査方向の座標であり、行番号は垂直走査方向の座標である。
【００４２】
図３に示すように、画素アレイ部１３０の画素は、いわゆるベイヤー配列に配列される。即ち、２×２の４画素を１ブロックとし、そのブロックが繰り返し配列される。各ブロックには、１つのＲ（赤）画素、２つのＧ（緑）画素、１つのＢ（青）画素が含まれる。Ｒ画素には、Ｒ色の光を透過するカラーフィルターが設けられ、Ｇｒ画素とＧｂ画素には、Ｇ色の光を透過するカラーフィルターが設けられ、Ｂ画素には、Ｂ色の光を透過するカラーフィルターが設けられる。
【００４３】
なお本実施形態では、画素アレイ部１３０のカラーフィルターはＲＧＢに限定されず、例えばＣＭＹ等であってもよい。また、カラーフィルターの配列はベイヤー配列に限定されず、他の配列であってもよい。
【００４４】
次に、図４を用いて重畳シフト加算における重み付けについて説明する。図４に示すように、読み出し制御部１３１は、２×２の４画素を１ユニット（加算単位）とし、そのユニット内の画素値を重み付け加算し、加算した画素値を１画素信号として出力する。ユニットの左上画素Ｐ１には重み係数“１”、右上画素Ｐ２には重み係数“１／２”、左下画素Ｐ３には重み係数“１／２”、右下画素Ｐ４には重み係数“１／４”で重み付けする。得られる加算画素値ＧＰを下式（１）に示す。
ＧＰ＝Ｐ１＋（１／２）＊Ｐ２＋（１／２）＊Ｐ３＋（１／４）＊Ｐ４ （１）
【００４５】
ユニットは、上述のベイヤー配列におけるブロックと同じ又は異なる４画素である。読み出し制御部１３１は、１回（１フレーム）の読み出しにおいて、画素アレイ部１３０の全領域又は一部の領域の加算画素値を読み出し、その加算画素値が配列された１フレームの画像データを取得する。
【００４６】
具体的には、図５に示すように、ユニットはフレーム毎に位置が変化する。図５において、小四角形は画素を表し、その小四角形に施されたハッチングはカラーフィルターの色を表す。ハッチングと色の対応は、上述の図３と同一である。また、角が丸い四角形は、加算を行うユニットを表す。
【００４７】
第ｆフレーム（ｆは自然数）では、カラーフィルターのブロックと同じ４画素をユニットとする。次に第ｆ＋１フレームでは、第ｆフレームのユニットに対して１画素右にずれた４画素をユニットとする。第ｆ＋２フレームでは第ｆフレームのユニットに対して１画素下にずれた４画素をユニットとする。第ｆ＋３フレームでは、第ｆ＋２フレームのユニットに対して１画素右にずれた４画素をユニットとする。このようにして、第ｆ〜第ｆ＋３フレームにおいて、それぞれ第１〜第４の低解像画像を取得する。
【００４８】
図６に、取得された第１〜第４の低解像画像を再配列した画像Ｘを示す。ホワイトバランス調整部１０３は、この再配列された画像Ｘを用いてホワイトバランス調整処理を行う。図６に示すように、第ｆ〜第ｆ＋３フレームの加算画素を、それぞれ左上、右上、左下、右下となるように１画素ずつ交互に配列し、１フレームの画像Ｘを生成する。例えば、図５に示す加算画素ＧＰ００、ＧＰ０１、ＧＰ１０、ＧＰ１１を、図６に示すように、それぞれ画像Ｘの座標ｘｙ＝００、０１、１０、１１に配置する。
【００４９】
なお、上記では１ユニットが２×２の４画素である例を説明したが、本実施形態はこれに限定されず、Ｍ×Ｎ画素（Ｍ、Ｎは２以上の整数）を１ユニットとしてもよい。また、上記では重み係数を“１”、“１／２”、“１／４”としたが、本実施形態はこれに限定されず、例えば下式（２）に示すように重み付けしてもよい（ｒはｒ≧１の実数）。
ＧＰ＝Ｐ１＋（１／ｒ）＊Ｐ２＋（１／ｒ）＊Ｐ３＋（１／ｒ２）＊Ｐ４ （２）
【００５０】
また、上記では重み係数を固定としたが、本実施形態はこれに限定されず、例えば各フレームで重み係数を変更してもよい。また、上記では第１〜第４の低解像画像をそれぞれ第ｆ〜第ｆ＋３フレームにおいて読み出したが、本実施形態はこれに限定されず、例えば第３、第４の低解像画像をそれぞれ第ｆ＋３、第ｆ＋２フレームにおいて読み出してもよい。また、上記では１回の読み出し動作（１フレーム）において１つの低解像画像を読み出す例を説明したが、本実施形態はこれに限定されず、１回の読み出し動作において複数の低解像画像を読み出してもよい。例えば、第ｆフレームにおいて第１、第４の低解像画像を読み出し、第ｆ＋１フレームにおいて第２、第３の低解像画像を読み出してもよい。
【００５１】
ここで、フレームとは、例えば撮像素子により１つの低解像画像が撮影されるタイミングや、画像処理において１つの画像（例えば１つの低解像画像や画像Ｘ）が処理されるタイミングである。あるいは、画像データにおける１つの低解像画像や高解像画像も適宜フレームと呼ぶ。
【００５２】
４．ホワイトバランス調整処理
次に、本実施形態が行うホワイトバランス調整処理について詳細に説明する。図７に、ホワイトバランス調整処理のフローチャートを示す。
【００５３】
例えば、フローチャートのステップＳ４は、混色除去処理部１２０が実行する。ステップＳ５は、色温度検出部１２１が実行する。ステップＳ６、Ｓ７、Ｓ１２、Ｓ１３は、色温度調整部１２２が実行する。他のステップＳ１〜Ｓ３、Ｓ８〜Ｓ１１は、制御部１０６が実行する。なお、本実施形態の各部はハードウェアとして構成されてもよいし、ソフトウェアにより構成されてもよい。ソフトウェアにより構成される場合、本実施形態の各部を記述したプログラムがＣＰＵ等の情報処理装置により実行されることで、各部の処理が実現される。
【００５４】
図７に示すように、ホワイトバランス調整処理が開始されると、固体撮像素子１０２又は記録媒体１１１からの画像データを読み込む（Ｓ１）。後段の高解像度画像生成では連続する４フレームの画像が必要となるため、連続する４フレームの画像データを読み込み、画素の配列を行い、１フレームの画像Ｘを生成する。
【００５５】
次に、オートホワイトバランス調整を行うか否かの判断を行う（Ｓ２）。例えば、撮像装置１００に対するユーザの指示に基づいて判断する。なお、ユーザの指示は撮像時よりも前に行われていてもよいし、ステップＳ２を処理するタイミングでユーザに対し要求してもよい。
【００５６】
オートホワイトバランス調整を行うと判断した場合（Ｓ２、ＹＥＳ）、ステップＳ１で得られた画像Ｘをメモリー１０７に一時的に保存する（Ｓ３）。ステップＳ５の色温度検出において、画像Ｘに対して変更を加えた画像を用い、ステップＳ１２のホワイトバランス調整において、元の画像を用いるためである。
【００５７】
次に、画像Ｘに対して混色除去フィルターを演算し、画像Ｘから意図的な混色を排除した新たな画像Ｘ’を得る（Ｓ４）。この混色除去フィルターは、以下のようにして求められる。まず下式（３）に示すように、画像ＸにおけるＲ、Ｇｒ、Ｇｂ、Ｂの混色を表す行列Ａを求める。下式（３）では、１ブロック内の２画素のＧを異なる画素Ｇｒ、Ｇｂとして扱うものとする。
【数１】
【００５８】
ここで、行列Ａのｉ行ｊ列の成分Ａｉｊは、第ｉフレームにおける第ｊの色の混色比である（ｉ、ｊ＝１、２、３、４）。即ち、行列Ａの第１〜第４列は、それぞれ第１〜第４の色Ｒ、Ｇｒ、Ｇｂ、Ｂに対応する。また、行列Ａの第１〜第４行は、それぞれ第１〜第４フレームに対応する。例えば、図５においてｆ＝１とする場合、第１フレームにおいて、Ｒ、Ｇｒ、Ｇｂ、Ｂの画素がそれぞれ重み係数１、１／２、１／２、１／４で混色する。この重み係数に対応して、行列Ａの第１行の成分は１、１／２、１／２、１／４である。
【００５９】
次に下式（４）に示すように、行列Ａの逆行列Ａ−１を求め、その逆行列Ａ−１の成分（Ａ−１）ｎｍを用いて、混色除去フィルターαを求める。このαは画像によって変化しないため、予めヒープメモリー（heap memory）にαを格納しておき、演算の度にその格納領域を参照する。
【数２】
【００６０】
次に、混色除去フィルターαと画像Ｘの各画素とのコンボリューションを画像Ｘの全領域について行い、画像Ｘから意図的な混色を除去した画像Ｘ’を求める。この画像Ｘ’はベイヤー配列の画像となる。図８〜図１０で後述するように、画像Ｘ’では加算前の画素値が復元されるわけではないが、ホワイトバランス調整は全領域（又は所定の領域毎）に対して行われるため、色が分離されていれば画像Ｘ’から色温度を検出することが可能である。
【００６１】
次に、混色除去された画像Ｘ’から色温度を検出する処理を行う（Ｓ５）。次に、検出された色温度に基づいて、白色物体が白色となるように、各色についてのホワイトバランス調整ゲインｇＲ、ｇＧｒ、ｇＧｂ、ｇＢを求める（Ｓ６）。画像Ｘ’では、画像Ｘとは異なり、意図的な混色が排除されているため、一般的な色温度検出手法を適用できる。例えば、上述の特許文献１に開示された手法により、色温度を検出し、ホワイトバランス調整ゲインを求めてもよい。
【００６２】
次に、得られたホワイトバランス調整ゲインに基づいて、ホワイトバランス調整フィルターを生成する（Ｓ７）。このホワイトバランス調整フィルターは、以下のようにして求められる。まず、下式（５）に示すように、行列Ｗを求める。
【数３】
【００６３】
次に下式（６）に示すように、行列Ｗの成分を用いてホワイトバランス調整フィルターω１〜ω４を求める。
【数４】
【００６４】
次に、ステップＳ３において一時記憶された画像Ｘを読み出す（Ｓ８）。次に、読み出された画像Ｘと、ホワイトバランス調整フィルターω１〜ω４とのコンボリューションを行い、ホワイトバランスが調整された画像Ｙを生成する（Ｓ９）。コンボリューションにおいてω１〜ω４のいずれを用いるかは、画像Ｘの画素位置に応じて決まる。即ち、図６において例えばｆ＝１とすると、画像Ｘの中の第ｉフレームの画素を中心とする３×３画素にホワイトバランス調整フィルターを演算する場合に、ωｉを用いる（ｉ＝１、２、３、４）。
【００６５】
次に、画像Ｙを出力し（Ｓ１０）、オートホワイトバランス調整処理を終了する。
【００６６】
ステップＳ２において、オートホワイトバランス調整を行わないと判断した場合（Ｓ２、ＮＯ）、まずユーザによって予め指定された色温度を読み込む（Ｓ１１）。次に、読み込まれた色温度に対応するホワイトバランスゲインｇＲ，ｇＧｒ，ｇＧｂ，ｇＢを参照し、決定する（Ｓ１２）。ホワイトバランスゲインは、各色温度に対応して予め設定されている（例えばルックアップテーブル）。次に、ステップＳ７と同様の手法によりホワイトバランス調整フィルターω１〜ω４を求める（Ｓ１３）。次に、ステップＳ８〜Ｓ１０を実行し、ホワイトバランス調整処理を終了する。
【００６７】
なお、上記では行列Ａを上式（３）としたが、本実施形態はこれに限定されない。例えば、下式（７）に示すように、行列Ａの各行の成分の和が１となるように規格化してもよい。即ち、行列Ａの成分は各色の混色比であるため、その比が保たれていればよい。
【数５】
【００６８】
また、上式（３）ではカラーフィルターをＲ、Ｇｒ、Ｇｂ、Ｂの４色として行列Ａを構成したが、本実施形態はこれに限定されない。例えば、下式（８）に示すように、カラーフィルターをＲ、Ｇ、Ｂの３色として行列Ａを構成してもよい。
【数６】
【００６９】
また、上記では２×２画素が画素配列の１ブロックであり、１ブロックに４色のカラーフィルターを有する例を説明したが、本実施形態はこれに限定されない。例えば、ｍ×ｎ
画素（ｍ、ｎは自然数であり、ｍ×ｎ≧２）を１ブロックとし、１ブロックにｋ＝ｍ×ｎ色のカラーフィルターを有してもよい。この場合、行列Ａは一般に下式（９）によって表される。
【数７】
【００７０】
ここで、行列Ａのｉ行ｊ列の成分Ａｉｊは、第ｉフレームにおける第ｊの色の混色比である（ｉ、ｊはｋ以下の自然数）。
【００７１】
また、上式（４）では、コンボリューションにおける中央の成分（（Ａ−１）１１）について対称に混色除去フィルターαを構成したが、本実施形態はこれに限定されず、逆行列Ａ−１の１行分の成分を用いてαが構成されていればよい。例えば上式（９）に示す行列Ａを用いる場合、下式（１０）に示すように、ｍ×ｎ行列として混色除去フィルターαｉ（ｉはｋ以下の自然数）を構成してもよい。
【数８】
【００７２】
ここで、混色除去フィルターのコンボリューションにおいてα１〜αｋのいずれを用いるかは、画像Ｘの画素位置に応じて決まる。即ち、図６において例えばｆ＝１とすると、画像Ｘの中の第ｉフレームの画素を中心とするｍ×ｎ画素に混色除去フィルターを演算する場合に、αｉを用いる（ｉはｋ以下の自然数）。
【００７３】
また、上記では混色除去フィルターαが変化せず、αを予めヒープメモリーに格納しておき演算時に参照したが、本実施形態はこれに限定されない。例えば、αが変化する（例えば画像に応じて、又は時間的に変化する）場合、行列Ａからαを随時求め、そのαを演算に使用してもよい。
【００７４】
また、上記では混色除去フィルターαにより混色除去したが、本実施形態はこれに限定されない。例えば、画像Ｘの各画素について、第ｆ〜第ｆ＋３フレームの各フレームに対応する画素値を補間により求め、求めた画像Ｘの各画素の成分と逆行列Ａ−１との積をとることにより、混色除去を行ってもよい。
【００７５】
また、上式（５）では、ホワイトバランス調整ゲインは、各色について絶対値として設定されるが、本実施形態はこれに限定されない。例えば、所定の色に対する相対ゲインとして設定してもよい。例えば下式（１１）に示すように、Ｇｒの画素値を基準とし、そのＧｒに対するＲ，Ｇｂ，Ｂの相対ゲインをγＲ、γＧｂ、γＢとしてもよい。
【数９】
【００７６】
また、上式（５）ではカラーフィルターを４色として行列Ｗを構成したが、本実施形態はこれに限定されず、例えばカラーフィルターがｋ色の場合、一般に下式（１２）に示すように行列Ｗが構成される。
【数１０】
【００７７】
また、上式（６）では、コンボリューションにおける中央の成分（Ｗｉｉ）について対称にホワイトバランス調整フィルターωｉを構成したが、本実施形態はこれに限定されず、行列Ｗの１行分の成分を用いてωｉが構成されていればよい。例えば上式（１２）に示す行列Ｗを用いる場合、下式（１３）に示すように、ｍ×ｎ行列としてωｉ（ｉはｋ以下の自然数）を構成してもよい。
【数１１】
【００７８】
５．混色除去処理
次に、上述した混色除去フィルターαの詳細な導出例について説明する。また、そのαをコンボリューションすることにより、色温度検出可能な画像Ｘ’が復元されることについて説明する。
【００７９】
図８に示すように、第ｆ〜第ｆ＋３フレームにおいて、重み付けを変化させながら画素加算を行い、それぞれ加算画素値Ｃｆ〜Ｃｆ＋３を求める。色に着目すると、この操作は下式（１４）に示す操作と同等である。下式（１５）に示すように、下式（１４）の右辺の４×４行列が行列Ａに対応する。
【数１２】
【数１３】
【００８０】
得られた４フレーム分の加算画素値Ｃｆ〜Ｃｆ＋３を再配置し、画像Ｘを生成する。この画像Ｘの色を加算前の状態に戻すためには、下式（１６）に示す逆行列Ａ−１を画像Ｘに作用させればよい。即ち、下式（１７）に示す操作を行えばよい。下式（１７）は、上式（１４）〜（１６）と逆行列の定義から当然に成り立つ。
【数１４】
【数１５】
【００８１】
図９に示すように、上式（１７）の操作は、実際には画像Ｘと混色除去フィルターαのコンボリューションを画像Ｘの全画素について行うことで実現される。下式（１８）に示すように、αは、逆行列Ａ−１の成分を、カラーフィルターの色配列に対応して並べ替えたものである。このαは、左上（１行１列）の成分を基準位置とするフィルターである。
【数１６】
【００８２】
下式（１９）に示すように、αの基準位置と画像Ｘの画素との対応に依って、コンボリューションには４つのパターンが存在する。下式（１９）の右等号は、上式（１７）より成り立つ。
【数１７】
【００８３】
図９に示すように、このコンボリューションにより生成される画像Ｘ’はベイヤー配列であり、確かに色が戻っていることがわかる。
【００８４】
なお、コンボリューションにおいて上式（１９）と同一の演算がなされればよいので、下式（２０）に示すように、混色除去フィルターαを拡張してもよい。この拡張されたαは、上式（４）のαに対応する詳細例である。基準位置は中央（２行２列）の成分である。例えば、下式（２１）に示すように、基準位置が画素Ｃｆに対応する場合、上式（１９）と同様にＲの色が戻る。
【数１８】
【数１９】
【００８５】
次に、上記のようにして復元されるＲＧＢの色成分について、更に詳細に説明する。以下では、図１０に示す画像Ｘ’のＲ成分ｒ１１を例にとり説明する。図１０では、位置（ｘ，ｙ）における画素をＲｘｙ、Ｃｘｙ、ｒｘｙ等と表す。
【００８６】
下式（２２）に示すように、画素加算により画像Ｘの画素値が求められる。また、下式（２３）に示すように、混色除去処理により画像Ｘ’のＲ成分ｒ１１が求められる。下式（２３）では、上式（１８）のαを用いている。
【数２０】
【数２１】
【００８７】
上式（２２）、（２３）を用いて整理すると、下式（２４）が成り立つ。下式（２４）より、Ｒ成分ｒ１１は、加算前の画像のある範囲の同色画素が演算された結果となっていることがわかる。即ち、Ｒ成分ｒ１１は、元の画素値Ｒ１１そのものが復元されているわけではないが、加算前のＲ画素値が反映されたものである。
【数２２】
【００８８】
以上より、画像Ｘ’では、加算前の同色画素値が反映された色成分Ｒ、Ｇｒ、Ｇｂ、Ｂが復元され、画像Ｘ’から色温度の検出が可能であることがわかる。
【００８９】
以上の実施形態によれば、図１に示すように、撮像装置１００は、読み出し制御部１３１と混色除去処理部１２０と色温度検出部１２１と色温度調整部１２２と推定演算部（高解像度画像生成部１０４）を含む。
【００９０】
図３に示すように、撮像素子（固体撮像素子１０２）には複数色の画素が配列される。図５に示すように、読み出し制御部１３１は、その複数色の画素を有する加算単位（ユニットＧＰ００等）を撮像素子の複数の画素毎に設定し、その加算単位に含まれる画素値を重み付け加算して低解像画像を取得する。図１、図７等で説明したように、混色除去処理部１２０は、取得された低解像画像に対して、複数色の画素が重み付け加算されたことによる混色を除去する処理を行う。色温度検出部１２１は、混色が除去された低解像画像に基づいて色温度を検出する。色温度調整部１２２は、検出された色温度に基づいて、低解像画像の色温度を調整する。図１１（Ａ）〜図１４で後述するように、推定演算部は、色温度補正された低解像画像に基づいて、撮像素子の画素数に相当する解像度の高解像画像を推定する。
【００９１】
この場合に、図５に示すように、読み出し制御部１３１は、重畳しながらシフトされた加算単位を設定することにより、複数色の各色と重み付け係数の対応が異なる複数の低解像画像（第１〜第４の低解像画像）を取得する。図１、図７等で説明したように、混色除去処理部１２０は、その複数の低解像画像に対して混色を除去する処理を行い、各色に対応する画素値（色成分。例えば図１０に示す画像Ｘ’の画素値）を求める。
【００９２】
このようにすれば、混色が除去されることにより色温度が検出可能となり、その色温度を用いてホワイトバランスを調整できる。これにより、複数の色信号が任意の割合で混合された画像のホワイトバランスを調整できる。また本実施形態によれば、重畳シフト加算により低解像画像が取得されることで、その低解像画像から高解像画像を復元できる。これにより、任意タイミングの高解像画像を、簡素な復元処理で取得可能になる。
【００９３】
ここで、低解像画像のホワイトバランス（色温度）を調整するとは、加算前の画像においてホワイトバランスが調整された状態の低解像画像を得ることである。即ち、ホワイトバランスが調整された加算前の画像を重み付け加算して得たものと同等の低解像画像を、低解像画像を処理することにより得るということである。
【００９４】
また本実施形態では、図７で説明したように、混色除去処理部１２０は、各色と重み付け係数の対応（混色比）を規定する係数行列Ａ（上式（３））の逆行列に基づいて、混色を除去する混色除去フィルターα（上式（４））を構成し、構成した混色除去フィルターαにより混色を除去する処理を行う。
【００９５】
より具体的には、図３に示すように、撮像素子の複数色（Ｒ、Ｇｒ、Ｇｂ、Ｂ）の画素はベイヤー配列である。図８に示すように、読み出し制御部１３１は、各色と第１〜第４の重み付け係数（１、１／２、１／２、１／４）が第１〜第４の組み合わせで対応する第１〜第４の低解像画像（画素値Ｃｆ〜Ｃｆ＋３）を取得する。この第１〜第４の低解像画像の画素値Ｃｆ〜Ｃｆ＋３は、重畳シフトにおける加算単位の設定位置に応じて１つの画像Ｘに再配列される。上式（３）や（１４）で説明したように、混色除去処理部１２０は、第１〜第４の組み合わせを第１〜第４行に配列した行列を係数行列Ａとする。上式（１７）〜（１９）で説明したように、混色除去処理部１２０は、その係数行列Ａの逆行列Ａ−１の成分を、再配列（画像Ｘの画素配列）に応じて配列することにより混色除去フィルターαを構成する。図９で説明したように、混色除去処理部１２０は、構成した混色除去フィルターαと再配列された画像Ｘとのコンボリューション演算を行う。
【００９６】
なお本実施形態では、第１〜第４の低解像画像を画像Ｘに再配列する処理は、例えば図１の制御部１０６が行う。あるいは、図２の読み出し制御部１３１又は混色除去処理部１２０が行う。ここで、重畳シフトにおける加算単位の設定値に応じて再配列されるとは、例えば図５の位置（ｘ，ｙ）の加算画素値ＧＰｘｙが、図６の画像Ｘにおいて同一位置（ｘ，ｙ）に配列されるということである。
【００９７】
このようにすれば、各色と重み付け係数の対応に基づいて混色除去フィルターαを構成できる。これにより、重み付け加算により混色される前の画像の色情報を得ることが可能になり、その色情報に基づいて色温度検出を行うことができる。
【００９８】
また本実施形態では、図７で説明したように、色温度調整部１２２は、検出された色温度に基づいて各色の調整ゲイン（上式（５）のｇＲ等）を求め、係数行列Ａと調整ゲインとに基づいて調整フィルターω１〜ω４（上式（６））を構成し、構成した調整フィルターω１〜ω４により色温度の調整を行う。
【００９９】
より具体的には、上式（５）で説明したように、色温度調整部１２２は、係数行列Ａと、各色の調整ゲインｇＲ、ｇＧｒ、ｇＧｂ、ｇＢを対角に配列した行列と、係数行列の逆行列Ａ−１との積Ｗの成分を求める。上式（６）で説明したように、色温度調整部１２２は、再配列（画像Ｘの画素配列）に応じて配列することにより調整フィルターω１〜ω４を構成する。色温度調整部１２２は、構成した調整フィルターω１〜ω４と再配列された画像Ｘとのコンボリューション演算を行う。
【０１００】
このようにすれば、各色と重み付け係数の対応に基づいて調整フィルターω１〜ω４を構成できる。これにより、重み付け加算により混色した低解像画像に対して、ホワイトバランス調整処理を行うことが可能になる。即ち、逆行列Ａ−１により加算前の色情報が再現され、その色情報に対して調整ゲインによりホワイトバランス調整が行われ、係数行列Ａにより再び加算後の画像に戻される。
【０１０１】
６．復元推定処理
次に、重畳シフト加算により取得した加算画素値から高解像画像を復元する処理について詳細に説明する。なお以下では、加算画素値｛ａ００、ａ１０、ａ１１、ａ０１｝を例に説明するが、他の加算画素値についても同様である。また、加算単位が２×２画素である場合を例に説明するが、これに限定されず、例えば３×３画素であってもよい。
【０１０２】
図１１（Ａ）、図１１（Ｂ）に、推定画素値と中間画素値の説明図を示す。推定処理では、加算画素値ａ００〜ａ１１から中間画素値ｂ００〜ｂ２１を推定し、その中間画素値ｂ００〜ｂ２１から最終的な推定画素値ｖ００〜ｖ２２を推定する。ａｘｙ等のサフィックスは画素位置（ｘ，ｙ）に対応し、ｘ、ｙはゼロ以上の整数である。なお、加算画素値｛ａ００、ａ１０、ａ１１、ａ０１｝は、図５で説明した加算単位ＧＰ００、ＧＰ１０、ＧＰ１１、ＧＰ０１に対応する。
【０１０３】
まず、中間画素値を推定する処理について、水平方向の最初の行の中間画素値ｂ００〜ｂ２０を例に説明する。図１２に示すように、中間画素値ｂ００〜ｂ２０は、加算画素値ａ００、ａ１０に基づいて推定される。説明を簡単にするために、例えば重み係数ｒ＝２とすると、加算画素値ａ００、ａ１０は下式（２５）で表される。
ａ００＝ｖ００＋（１／２）ｖ０１＋（１／２）ｖ１０＋（１／４）ｖ１１，
ａ１０＝ｖ１０＋（１／２）ｖ１１＋（１／２）ｖ２０＋（１／４）ｖ２１ （２５）
【０１０４】
下式（２６）に示すようにｂ００、ｂ１０、ｂ２０を定義する。
ｂ００＝ｖ００＋（１／ｒ）ｖ０１＝ｖ００＋（１／２）ｖ０１，
ｂ１０＝ｖ１０＋（１／ｒ）ｖ１１＝ｖ１０＋（１／２）ｖ１１，
ｂ２０＝ｖ２０＋（１／ｒ）ｖ２１＝ｖ２０＋（１／２）ｖ２１ （２６）
【０１０５】
次に、上式（２６）を用いて上式（２５）を変形すると、下式（２７）が成り立つ。
ａ００＝ｂ００＋（１／２）ｂ１０，
ａ１０＝ｂ１０＋（１／２）ｂ２０ （２７）
【０１０６】
上式（２７）において、ａ００、ａ１０に所定の重み係数を掛けて差分δｉ０を取り、整理すると、下式（２８）が成り立つ。
δｉ０＝ａ１０−２ａ００
＝（１／２）ｂ２０−２ｂ００ （２８）
【０１０７】
ｂ００を未知数（初期変数）とすると、下式（２９）に示すように、中間画素値ｂ１０、ｂ２０がｂ００の関数として求められる。
ｂ００＝（未知数），
ｂ１０＝２（ａ００−ｂ００），
ｂ２０＝４ｂ００＋２δｉ０＝４ｂ００＋２（ａ１０−２ａ００） （２９）
【０１０８】
次に、図１３に示すように、加算画素値パターン｛ａ００，ａ１０｝と中間画素値パターン｛ｂ００，ｂ１０，ｂ２０｝を比較し、その誤差が最小になる未知数ｂ００を導出する。そして、導出した値を中間画素値ｂ００として設定する。
【０１０９】
具体的には、加算画素値｛ａｘｙ｝と中間画素値｛ｂｘｙ，ｂ（ｘ＋１）ｙ｝には、下式（３０）の関係が成り立つ。この下式（３０）による重み付けを考慮すると、下式（３１）に示す評価関数Ｅｙが求められる。
ａｘｙ＝ｂｘｙ＋（１／２）ｂ（ｘ＋１）ｙ （３０）
【数２３】
【０１１０】
図１４に示すように、Ｅｙを最小にする未知数ｂ００（＝α）を求め、ｂ００の値を決定する。そして、推定したｂ００の値を上式（２９）に代入し、ｂ１０，ｂ２０を求める。
【０１１１】
最終的な推定画素値ｖｘｙは、中間画素値ｂｘｙを求めた手法と同様に求められる。垂直方向の最初の列（ｘ＝０列）を例にとると、上式（２７）を下式（３２）に置き換えれば、以降の処理は同様である。
ｂ００＝ｖ００＋（１／２）ｖ０１，
ｂ０１＝ｖ０１＋（１／２）ｖ０２ （３２）
【０１１２】
以上の実施形態によれば、図１に示すように、撮像装置１００は、推定演算部（高解像度画像生成部１０４）を含む。図１１（Ａ）に示すように、第１のポジションに設定された第１の加算単位（例えばａ００）と、第１のポジションがシフトされた第２のポジションに設定された第２の加算単位（例えばａ１０）は重畳する。
【０１１３】
この場合に、上式（２８）に示すように、推定演算部は、第１、第２の加算単位（例えばａ００、ａ１０）の画素値が重み付け加算された第１、第２の加算画素値ａ００、ａ１０の差分値δｉ０を求める。図１１（Ｂ）に示すように、第１の中間画素値ｂ００は、加算単位ａ００から重畳領域（ｖ１０、ｖ１１）を除いた第１の領域（ｖ００、ｖ０１）の加算画素値である。第２の中間画素値ｂ２０は、加算単位ａ１０から重畳領域（ｖ１０、ｖ１１）を除いた第２の領域（ｖ２０、ｖ２１）の加算画素値である。上式（２９）に示すように、第１、第２の中間画素値ｂ００、ｂ２０の関係式を、差分値δｉ０を用いて表す。図１３等に示すように、その関係式を用いて第１、第２の中間画素値ｂ００、ｂ２０を推定する。推定した第１の中間画素値ｂ００を用いて加算単位に含まれる各画素の画素値｛ｖ００、ｖ１０、ｖ１１、ｖ０１｝を求める。
【０１１４】
このようにすれば、重畳シフトされた加算画素値から中間画素値を一旦推定し、その重畳シフトされた中間画素値から推定画素値を求めることで、高解像画像の推定処理を簡素化できる。例えば、２次元フィルターの繰り返し演算（特開２００９−１２４６２１号公報）や、初期値の設定に適当な部分を探索（特開２００８−２４３０３７号公報）する等の複雑な処理が不要となる。
【０１１５】
ここで、重畳するとは、加算単位と加算単位が重なった領域を有することであり、例えば図１１（Ａ）に示すように、加算単位ａ００と加算単位ａ１０が、２つの推定画素ｖ１０、ｖ１１を共有することである。
【０１１６】
また、加算単位のポジションとは、撮像素子の画素配列における加算単位の位置や座標のことである。あるいは、推定処理における画像データ上での加算単位の位置や座標のことである。また、シフトされたポジションとは、元のポジションから画素シフトされたポジションであり、元のポジションと位置や座標が一致しないポジションのことである。
【０１１７】
また本実施形態では、第１、第２の中間画素値（例えばｂ００、ｂ２０）を含む連続する中間画素値を中間画素値パターン｛ｂ００、ｂ１０、ｂ２０｝とする。上式（２９）に示すように、推定演算部は、中間画素値パターンに含まれる中間画素値の間の関係式を第１、第２の加算画素値ａ００、ａ１０を用いて表す。図１３に示すように、中間画素値の間の関係式で表された中間画素値パターンと第１、第２の加算画素値とを比較して類似性を評価する。その類似性の評価結果に基づいて、類似性が最も高くなるように中間画素値パターンに含まれる中間画素値｛ｂ００、ｂ１０、ｂ２０｝を決定する。
【０１１８】
このようにすれば、重畳されながら画素シフトされた加算単位により取得された複数の加算画素値に基づいて、中間画素値を推定できる。
【０１１９】
ここで、中間画素値パターンとは、推定処理に用いられる範囲の中間画素値のデータ列（データの組み）である。また、加算画素値パターンとは、推定処理に用いられる範囲の加算画素値のデータ列である。
【０１２０】
また本実施形態では、上式（３１）に示すように、推定演算部は、中間画素値の間の関係式で表された中間画素値パターン｛ｂ００、ｂ１０、ｂ２０｝と加算画素値｛ａ００、ａ１０｝との誤差を表す評価関数Ｅｙを求める。評価関数Ｅｙの値が最小となるように中間画素値パターンに含まれる中間画素値｛ｂ００、ｂ１０、ｂ２０｝を決定する。
【０１２１】
このようにすれば、誤差を評価関数で表し、その評価関数の極小値に対応する中間画素値を求めることで、中間画素値の値を推定できる。例えば、上述のように最小二乗法を用いて未知数を求めることで、簡素な処理で中間画素推定の初期値を設定できる。例えば、初期値設定に適当な画像部分の探索（特開２００８−２４３０３７号公報）が不要である。
【０１２２】
なお、上記のように本実施形態について詳細に説明したが、本発明の新規事項および効果から実体的に逸脱しない多くの変形が可能であることは当業者には容易に理解できるであろう。従って、このような変形例はすべて本発明の範囲に含まれるものとする。例えば、明細書又は図面において、少なくとも一度、より広義又は同義な異なる用語と共に記載された用語は、明細書又は図面のいかなる箇所においても、その異なる用語に置き換えることができる。また固体撮像装置、撮像装置等の構成、動作も本実施形態で説明したものに限定に限定されず、種々の変形実施が可能である。
【符号の説明】
【０１２３】
１００ 撮像装置、１０１ 撮像光学系、１０２ 固体撮像素子、
１０３ ホワイトバランス調整部、１０４ 高解像度画像生成部、
１０５ 現像処理部、１０６ 制御部、１０７ メモリー、
１０８ 表示処理部、１０９ モニター表示部、１１０ アクセス制御部、
１１１ 記録媒体、１２０ 混色除去処理部、１２１ 色温度検出部、
１２２ 色温度調整部、１３０ 画素アレイ部、１３１ 読み出し制御部、
Ａ 行列、Ｂ 青色、Ｃｆ〜Ｃｆ＋３ 加算画素値、Ｅｙ 評価関数、
ＧＰ００，ＧＰ０１，ＧＰ１０，ＧＰ１１ 加算単位、Ｇｒ，Ｇｂ 緑色、
Ｐ１〜Ｐ４ 画素、Ｒ 赤色、Ｗ 行列、Ｘ，Ｘ’ 画像、
ａ００〜ａ１１ 加算画素値、ｂ００ 未知数、ｂ００〜ｂ２１ 中間画素値、
ｂ１０ 中間画素値、ｇＲ，ｇＧｒ，ｇＧｂ，ｇＢ ホワイトバランス調整ゲイン、
ｖ００〜ｖ２２ 推定画素値、α 混色除去フィルター、δｉ０ 差分値、
ω１〜ω４ ホワイトバランス調整フィルター
【技術分野】
【０００１】
本発明は、撮像装置等に関する。
【背景技術】
【０００２】
従来では、デジタルスチルカメラやビデオカメラ等に代表される撮像装置の多くは、単板の固体撮像素子を用いて撮像を行っている。カラー撮影を行うため、複数色のカラーフィルターを有する固体撮像素子により撮像するものが殆どである。このような撮像装置を用いて撮影された画像では、固体撮像素子の特性や、光源又は被写体の条件等により、一般にホワイトバランスが崩れている。このホワイトバランスの崩れにより色調ずれや偽色が発生するため、ホワイトバランスの調整を行って色調ずれや偽色を抑制する。
【０００３】
例えば特許文献１には、撮像された画像を複数のブロックに分割し、そのブロックにおいて灰色の可能性があるか否かを判断し、灰色の可能性があると判断されたブロックの色平均値を灰色にするように各色のゲインを決定し、そのゲインを用いて画像のホワイトバランスを調整する手法が開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特表２００９−５０６７００号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
さて、従来の手法では、本来白色であるべき被写体が画像上において白色となるようにホワイトバランス調整を行う。
【０００６】
しかしながら、従来の手法では、固体撮像素子により撮像される画像が意図的に色調のずれを伴っている場合には適応できないという課題がある。例えば、複数色の画素値を、各画素に任意の重み付けを施して加算読み出しする場合、加算読み出しされた画素値は、複数色が混合された画素値となっている。この場合、仮にホワイトバランスが整っていたとしても、加算読み出しにより得られる画像では、白色の被写体が白色とはならない。そのため、従来の手法を適用して白色に調整すると、逆にホワイトバランスを崩してしまうことになる。
【０００７】
本発明の幾つかの態様によれば、複数色の画素値を重み付け加算して得られた撮像画像のホワイトバランスを調整可能な撮像装置等を提供できる。
【課題を解決するための手段】
【０００８】
本発明の一態様は、撮像素子に複数色の画素が配列される場合に、前記複数色の画素を有する加算単位を前記撮像素子の複数の画素毎に設定し、前記加算単位に含まれる画素値を重み付け加算して低解像画像を取得する読み出し制御部と、取得された前記低解像画像に対して、前記複数色の画素が重み付け加算されたことによる混色を除去する処理を行う混色除去処理部と、混色が除去された前記低解像画像に基づいて色温度を検出する色温度検出部と、検出された前記色温度に基づいて、前記低解像画像の色温度を調整する色温度調整部と、色温度調整された前記低解像画像に基づいて、前記撮像素子の画素数に相当する解像度の高解像画像を推定する推定演算部と、を含み、前記読み出し制御部は、重畳しながらシフトされた前記加算単位を設定することにより、前記複数色の各色と重み付け係数との対応が異なる複数の低解像画像を取得し、前記混色除去処理部は、前記複数の低解像画像に対して前記混色を除去する処理を行い、前記各色に対応する画素値を求める撮像装置に関係する。
【０００９】
本発明の一態様によれば、重畳しながらシフトされた加算単位が設定され、各色と重み付け係数の対応が異なる複数の低解像画像が取得される。取得された低解像画像に対して混色を除去する処理が行われ、各色に対応する画素値が求められる。その混色除去後の画素値に基づいて色温度が検出され、低解像画像の色温度調整が行われる。そして、調整後の低解像画像から高解像画像が推定される。これにより、複数色の画素値を重み付け加算して得られた撮像画像のホワイトバランスを調整することが可能になる。
【００１０】
また本発明の一態様では、前記混色除去処理部は、前記各色と重み付け係数の対応を規定する係数行列の逆行列に基づいて、前記混色を除去する混色除去フィルターを構成し、構成した前記混色除去フィルターにより前記混色を除去する処理を行ってもよい。
【００１１】
また本発明の一態様では、前記撮像素子の前記複数色の画素が、ベイヤー配列である場合に、前記読み出し制御部は、前記各色と第１〜第４の重み付け係数とが第１〜第４の組み合わせで対応する第１〜第４の低解像画像を、前記複数の低解像画像として取得し、前記第１〜第４の低解像画像の画素値は、前記重畳シフトにおける前記加算単位の設定位置に応じて１つの画像に再配列され、前記混色除去処理部は、前記第１〜第４の組み合わせを第１〜第４行に配列した行列を前記係数行列とし、前記係数行列の逆行列の成分を前記再配列に応じて配列することにより前記混色除去フィルターを構成し、構成した前記混色除去フィルターと前記再配列された画像とのコンボリューション演算を行ってもよい。
【００１２】
これらの態様によれば、各色と重み付け係数の対応に基づいて混色除去フィルターを構成できる。これにより、重み付け加算により混色される前の画像の色情報を得ることが可能になり、その色情報に基づいて色温度検出を行うことができる。
【００１３】
また本発明の一態様では、前記色温度調整部は、前記検出された前記色温度に基づいて前記各色の調整ゲインを求め、各色と重み付け係数との対応を規定する係数行列と、前記調整ゲインとに基づいて、調整フィルターを構成し、構成した前記調整フィルターにより前記色温度の調整を行ってもよい。
【００１４】
また本発明の一態様では、前記撮像素子の前記複数色の画素が、ベイヤー配列である場合に、前記読み出し制御部は、前記各色と第１〜第４の重み付け係数とが第１〜第４の組み合わせで対応する第１〜第４の低解像画像を、前記複数の低解像画像として取得し、前記第１〜第４の低解像画像の画素値は、前記重畳シフトにおける前記加算単位の設定位置に応じて１つの画像に再配列され、前記色温度調整部は、前記第１〜第４の組み合わせを第１〜第４行に配列した行列を前記係数行列とし、前記係数行列と、前記各色の調整ゲインを対角に配列した行列と、前記係数行列の逆行列との積の成分を、前記再配列に応じて配列することにより前記調整フィルターを構成し、構成した前記調整フィルターと前記再配列された画像とのコンボリューション演算を行ってもよい。
【００１５】
これらの態様によれば、各色と重み付け係数の対応に基づいて調整フィルターを構成できる。これにより、重み付け加算により混色した低解像画像に対して、ホワイトバランス調整処理を行うことが可能になる。
【００１６】
また本発明の一態様では、第１のポジションに設定された第１の加算単位と、前記第１のポジションがシフトされた第２のポジションに設定された第２の加算単位とが、重畳する場合に、前記推定演算部は、前記第１の加算単位の画素値が重み付け加算された第１の加算画素値と、前記第２の加算単位の画素値が重み付け加算された第２の加算画素値との差分値を求め、前記第１の加算単位から重畳領域を除いた第１の領域の加算画素値である第１の中間画素値と、前記第２の加算単位から前記重畳領域を除いた第２の領域の加算画素値である第２の中間画素値との関係式を、前記差分値を用いて表し、前記関係式を用いて前記第１、第２の中間画素値を推定し、推定した前記第１の中間画素値を用いて前記加算単位に含まれる各画素の画素値を求めてもよい。
【００１７】
このようにすれば、重畳しながら画素シフトされた加算単位の加算画素値から中間画素値を推定し、推定した中間画素値から最終的な推定画素値を求めることができる。これにより、簡素な処理で撮像画像を推定できる。
【００１８】
また本発明の一態様では、前記推定演算部は、前記第１、第２の中間画素値を含む連続する中間画素値を中間画素値パターンとする場合に、前記中間画素値パターンに含まれる中間画素値間の関係式を前記第１、第２の加算画素値を用いて表し、前記中間画素値間の関係式で表された前記中間画素値パターンと前記第１、第２の加算画素値とを比較して類似性を評価し、前記類似性の評価結果に基づいて、前記類似性が最も高くなるように、前記中間画素値パターンに含まれる中間画素値を決定してもよい。
【００１９】
このようにすれば、重畳しながら画素シフトされた加算単位により取得された複数の加算画素値に基づいて、中間画素値を推定により求めることができる。
【図面の簡単な説明】
【００２０】
【図１】本実施形態の撮像装置の構成例。
【図２】撮像装置の変形構成例。
【図３】画素アレイ部の画素配列の例。
【図４】重畳シフト加算における重み付けについての説明図。
【図５】重畳シフト加算についての説明図。
【図６】第１〜第４の低解像画像を再配列した画像の例。
【図７】ホワイトバランス調整処理のフローチャート。
【図８】混色除去処理についての詳細な説明図。
【図９】混色除去処理についての詳細な説明図。
【図１０】混色除去処理についての詳細な説明図。
【図１１】図１１（Ａ）、図１１（Ｂ）は、推定画素値と中間画素値の説明図。
【図１２】復元推定処理についての説明図。
【図１３】復元推定処理についての説明図。
【図１４】復元推定処理についての説明図。
【発明を実施するための形態】
【００２１】
以下、本発明の好適な実施の形態について詳細に説明する。なお以下に説明する本実施形態は特許請求の範囲に記載された本発明の内容を不当に限定するものではなく、本実施形態で説明される構成の全てが本発明の解決手段として必須であるとは限らない。
【００２２】
１．本実施形態の概要
まず、本実施形態の概要について説明する。本実施形態では、図５等で後述するように、重畳シフトされた加算単位を設定し、その加算単位に含まれる画素値を重み付け加算することにより低解像動画を取得する。そして、図１１（Ａ）〜図１４で後述するように、その低解像動画から、撮像素子の解像度に相当する高解像静止画や高解像動画を復元する。
【００２３】
このようにすれば、事後的に高解像画像が得られるため、ユーザが好きなタイミングを指定することができ、決定的瞬間の画像を容易に得ることが可能である。また、加算単位が重畳シフトされていることで、簡素な処理で復元を行うことが可能である。
【００２４】
さて本実施形態では、撮像素子はベイヤー（Bayer）配列等のカラー単板撮像素子であり、加算単位には複数の色の画素が含まれている。本実施形態では、この複数の色の画素値が加算された低解像画像から高解像画像を復元するが、低解像画像のホワイトバランスが適切でないと、復元画像が劣化する（例えば偽色が生じる）可能性がある。そのため、低解像画像のホワイトバランスを調整する必要がある。
【００２５】
しかしながら、低解像画像では、重み付け加算により複数の色が混ざった画素値となっている。そのため、低解像画像からそのまま色温度を検出しようとしても、加算前の画像の色情報がわからないため正しい色温度を検出することができず、ホワイトバランスを調整できないという課題がある。
【００２６】
そこで本実施形態では、図７等で後述するように、低解像画像を混色除去フィルターで処理することにより、加算前の色情報が反映された画像を取得し、その画像に基づいて色温度を検出する。そして、その色温度に基づいて低解像画像のホワイトバランス調整（狭義には色温度調整）を行う。これにより、重み付け加算により混色した画像であっても、ホワイトバランスを調整することができる。
【００２７】
２．撮像装置
次に、本実施形態について詳細に説明する。まず図１に、上記の混色除去処理とホワイトバランス調整処理を行う本実施形態の撮像装置の構成例を示す。
【００２８】
図１の撮像装置１００は、撮像光学系１０１（レンズ）、固体撮像素子１０２（撮像素子）、ホワイトバランス調整部１０３、高解像度画像生成部１０４（推定演算部）、現像処理部１０５、制御部１０６、メモリー１０７、表示処理部１０８、モニター表示部１０９、アクセス制御部１１０（記録処理部）を含む。
【００２９】
撮像装置１００は、光学的な画像情報を電気信号に変換し、電子的に記録媒体に記録する装置である。このような撮像装置１００として、例えばデジタルスチルカメラ、デジタルムービーカメラ等が想定される。
【００３０】
撮像光学系１０１は、被写体を結像する。固体撮像素子１０２は、カラー単板撮像素子であり、結像された被写体像を撮像する。具体的には、固体撮像素子１０２は、画素アレイ部１３０（受光素子）と、読み出し制御部１３１を含む。読み出し制御部１３１は、画素アレイ部１３０の複数画素が重み付け加算された低解像画像を読み出し、その加算される画素の範囲を順次シフトすることにより複数の低解像画像を取得する。取得された画像データは、制御部１０６により、ホワイトバランス調整部１０３、又は高解像度画像生成部１０４、アクセス制御部１１０へ伝送される。
【００３１】
ホワイトバランス調整部１０３には、固体撮像素子１０２又は記録媒体１１１からの、ホワイトバランス調整前の画像データが入力される。そして、入力された画像データに対してホワイトバランス調整を行い、ホワイトバランス調整後の画像データを出力する。具体的には、ホワイトバランス調整部１０３は、画像データの色温度を解析的に求め、その色温度を用いてオートホワイトバランス調整を行う。ホワイトバランス調整部１０３は、混色除去処理部１２０（混色除去フィルター演算部）と、色温度検出部１２１と、色温度調整部１２２（色温度補正部）を含む。
【００３２】
混色除去処理部１２０は、ホワイトバランス調整前の画像データから、固体撮像素子１０２の重み付けにより生じた混色を除去する処理を行う。色温度検出部１２１は、混色除去された画像データから色温度を検出する。色温度調整部１２２は、検出された色温度をターゲットの色温度に調整する処理を、ホワイトバランス調整前の画像データに対して行う。これらの処理については、後で詳述する。
【００３３】
高解像度画像生成部１０４は、ホワイトバランス調整された画像データに対して、後述する復元推定処理を行い、固体撮像素子１０２からの画像データよりも解像度の高い画像データを生成する。後述するように、高解像度画像生成部１０４は、正確な解像度情報や色情報を取得するために、連続する４フレームの画像データに基づいて１フレームの高解像度画像データを生成する。
【００３４】
現像処理部１０５は、高解像画像データを現像処理して、最終的な画像データを出力する。例えば固体撮像素子１０２がベイヤー配列である場合、復元された画像はベイヤー配列となる。現像処理部１０５は、そのベイヤー配列の画像を補間処理し、全画素のＲＧＢ画素値を求める。
【００３５】
表示処理部１０８は、現像された画像に対して表示用の変換処理を行い、変換後の画像をモニター表示部１０９に表示する処理を行う。例えば、表示用の変換処理として、モニター解像度に合致させるためのリサイズ処理や、モニターにおいて違和感のない画像に見せるためのガンマ補正処理や色補正処理を行う。
【００３６】
アクセス制御部１１０は、現像された画像に対して記録用の変換処理を行い、変換後の画像を外部の記録媒体１１１に記録する制御を行う。例えば、記録用の変換処理として、データサイズを小さくするための圧縮符号化処理や、指定されたデータフォーマットへの変換処理を行う。なお、モニター表示及び記録媒体への記録は、そのいずれか一方のみが行われてもよく、その両方が行われてもよい。
【００３７】
なお、本実施形態は図１の構成に限定されず、その構成要素の一部を省略したり、他の構成要素を追加したりする等の種々の変形実施が可能である。例えば、上記ではホワイトバランス調整部１０３は固体撮像素子１０２の外部に設けられるが、図２に示すように、ホワイトバランス調整部１０３は固体撮像素子１０２のシリコン基板上に形成されてもよい。この場合、読み出し制御部１３１により画像データが取得され、その画像データに対してホワイトバランス調整が行われ、その調整後の画像データが固体撮像素子１０２から出力される。ホワイトバランス調整を行っていない画像データを固体撮像素子１０２から出力する場合には、固体撮像素子１０２にホワイトバランス調整部１０３をバイパスする回路を設け、回路をスイッチできるようにすればよい。
【００３８】
また、上記ではオートホワイトバランスを行う例を説明したが、本実施形態はこれに限定されず、例えばユーザにより画像の色温度が与えられ、その色温度に対応するプリセット値を用いてホワイトバランス調整を行ってもよい。
【００３９】
また、上記では４フレームの低解像画像から１フレームの高解像画像を復元する例を説明したが、本実施形態はこれに限定されず、例えば４フレームよりも多い又は少ないフレーム数の低解像画像に基づいて１フレームの高解像度画像を復元してもよい。
【００４０】
また、上記では記録媒体１１１が外部に設けられる例を説明したが、本実施形態はこれに限定されず、記録媒体１１１は撮像装置１００の内部に設けられてもよく、又は内部と外部の両方に設けられてもよい。
【００４１】
３．重畳シフト加算
次に、本実施形態が行う重畳シフト加算について詳細に説明する。まず図３に、画素アレイ部１３０の画素配列の例を示す。図３において、ｘは画素配列の列番号を表し、ｙは画素配列の行番号を表す（ｘ、ｙはゼロ以上の整数）。例えば、列番号は水平走査方向の座標であり、行番号は垂直走査方向の座標である。
【００４２】
図３に示すように、画素アレイ部１３０の画素は、いわゆるベイヤー配列に配列される。即ち、２×２の４画素を１ブロックとし、そのブロックが繰り返し配列される。各ブロックには、１つのＲ（赤）画素、２つのＧ（緑）画素、１つのＢ（青）画素が含まれる。Ｒ画素には、Ｒ色の光を透過するカラーフィルターが設けられ、Ｇｒ画素とＧｂ画素には、Ｇ色の光を透過するカラーフィルターが設けられ、Ｂ画素には、Ｂ色の光を透過するカラーフィルターが設けられる。
【００４３】
なお本実施形態では、画素アレイ部１３０のカラーフィルターはＲＧＢに限定されず、例えばＣＭＹ等であってもよい。また、カラーフィルターの配列はベイヤー配列に限定されず、他の配列であってもよい。
【００４４】
次に、図４を用いて重畳シフト加算における重み付けについて説明する。図４に示すように、読み出し制御部１３１は、２×２の４画素を１ユニット（加算単位）とし、そのユニット内の画素値を重み付け加算し、加算した画素値を１画素信号として出力する。ユニットの左上画素Ｐ１には重み係数“１”、右上画素Ｐ２には重み係数“１／２”、左下画素Ｐ３には重み係数“１／２”、右下画素Ｐ４には重み係数“１／４”で重み付けする。得られる加算画素値ＧＰを下式（１）に示す。
ＧＰ＝Ｐ１＋（１／２）＊Ｐ２＋（１／２）＊Ｐ３＋（１／４）＊Ｐ４ （１）
【００４５】
ユニットは、上述のベイヤー配列におけるブロックと同じ又は異なる４画素である。読み出し制御部１３１は、１回（１フレーム）の読み出しにおいて、画素アレイ部１３０の全領域又は一部の領域の加算画素値を読み出し、その加算画素値が配列された１フレームの画像データを取得する。
【００４６】
具体的には、図５に示すように、ユニットはフレーム毎に位置が変化する。図５において、小四角形は画素を表し、その小四角形に施されたハッチングはカラーフィルターの色を表す。ハッチングと色の対応は、上述の図３と同一である。また、角が丸い四角形は、加算を行うユニットを表す。
【００４７】
第ｆフレーム（ｆは自然数）では、カラーフィルターのブロックと同じ４画素をユニットとする。次に第ｆ＋１フレームでは、第ｆフレームのユニットに対して１画素右にずれた４画素をユニットとする。第ｆ＋２フレームでは第ｆフレームのユニットに対して１画素下にずれた４画素をユニットとする。第ｆ＋３フレームでは、第ｆ＋２フレームのユニットに対して１画素右にずれた４画素をユニットとする。このようにして、第ｆ〜第ｆ＋３フレームにおいて、それぞれ第１〜第４の低解像画像を取得する。
【００４８】
図６に、取得された第１〜第４の低解像画像を再配列した画像Ｘを示す。ホワイトバランス調整部１０３は、この再配列された画像Ｘを用いてホワイトバランス調整処理を行う。図６に示すように、第ｆ〜第ｆ＋３フレームの加算画素を、それぞれ左上、右上、左下、右下となるように１画素ずつ交互に配列し、１フレームの画像Ｘを生成する。例えば、図５に示す加算画素ＧＰ００、ＧＰ０１、ＧＰ１０、ＧＰ１１を、図６に示すように、それぞれ画像Ｘの座標ｘｙ＝００、０１、１０、１１に配置する。
【００４９】
なお、上記では１ユニットが２×２の４画素である例を説明したが、本実施形態はこれに限定されず、Ｍ×Ｎ画素（Ｍ、Ｎは２以上の整数）を１ユニットとしてもよい。また、上記では重み係数を“１”、“１／２”、“１／４”としたが、本実施形態はこれに限定されず、例えば下式（２）に示すように重み付けしてもよい（ｒはｒ≧１の実数）。
ＧＰ＝Ｐ１＋（１／ｒ）＊Ｐ２＋（１／ｒ）＊Ｐ３＋（１／ｒ２）＊Ｐ４ （２）
【００５０】
また、上記では重み係数を固定としたが、本実施形態はこれに限定されず、例えば各フレームで重み係数を変更してもよい。また、上記では第１〜第４の低解像画像をそれぞれ第ｆ〜第ｆ＋３フレームにおいて読み出したが、本実施形態はこれに限定されず、例えば第３、第４の低解像画像をそれぞれ第ｆ＋３、第ｆ＋２フレームにおいて読み出してもよい。また、上記では１回の読み出し動作（１フレーム）において１つの低解像画像を読み出す例を説明したが、本実施形態はこれに限定されず、１回の読み出し動作において複数の低解像画像を読み出してもよい。例えば、第ｆフレームにおいて第１、第４の低解像画像を読み出し、第ｆ＋１フレームにおいて第２、第３の低解像画像を読み出してもよい。
【００５１】
ここで、フレームとは、例えば撮像素子により１つの低解像画像が撮影されるタイミングや、画像処理において１つの画像（例えば１つの低解像画像や画像Ｘ）が処理されるタイミングである。あるいは、画像データにおける１つの低解像画像や高解像画像も適宜フレームと呼ぶ。
【００５２】
４．ホワイトバランス調整処理
次に、本実施形態が行うホワイトバランス調整処理について詳細に説明する。図７に、ホワイトバランス調整処理のフローチャートを示す。
【００５３】
例えば、フローチャートのステップＳ４は、混色除去処理部１２０が実行する。ステップＳ５は、色温度検出部１２１が実行する。ステップＳ６、Ｓ７、Ｓ１２、Ｓ１３は、色温度調整部１２２が実行する。他のステップＳ１〜Ｓ３、Ｓ８〜Ｓ１１は、制御部１０６が実行する。なお、本実施形態の各部はハードウェアとして構成されてもよいし、ソフトウェアにより構成されてもよい。ソフトウェアにより構成される場合、本実施形態の各部を記述したプログラムがＣＰＵ等の情報処理装置により実行されることで、各部の処理が実現される。
【００５４】
図７に示すように、ホワイトバランス調整処理が開始されると、固体撮像素子１０２又は記録媒体１１１からの画像データを読み込む（Ｓ１）。後段の高解像度画像生成では連続する４フレームの画像が必要となるため、連続する４フレームの画像データを読み込み、画素の配列を行い、１フレームの画像Ｘを生成する。
【００５５】
次に、オートホワイトバランス調整を行うか否かの判断を行う（Ｓ２）。例えば、撮像装置１００に対するユーザの指示に基づいて判断する。なお、ユーザの指示は撮像時よりも前に行われていてもよいし、ステップＳ２を処理するタイミングでユーザに対し要求してもよい。
【００５６】
オートホワイトバランス調整を行うと判断した場合（Ｓ２、ＹＥＳ）、ステップＳ１で得られた画像Ｘをメモリー１０７に一時的に保存する（Ｓ３）。ステップＳ５の色温度検出において、画像Ｘに対して変更を加えた画像を用い、ステップＳ１２のホワイトバランス調整において、元の画像を用いるためである。
【００５７】
次に、画像Ｘに対して混色除去フィルターを演算し、画像Ｘから意図的な混色を排除した新たな画像Ｘ’を得る（Ｓ４）。この混色除去フィルターは、以下のようにして求められる。まず下式（３）に示すように、画像ＸにおけるＲ、Ｇｒ、Ｇｂ、Ｂの混色を表す行列Ａを求める。下式（３）では、１ブロック内の２画素のＧを異なる画素Ｇｒ、Ｇｂとして扱うものとする。
【数１】
【００５８】
ここで、行列Ａのｉ行ｊ列の成分Ａｉｊは、第ｉフレームにおける第ｊの色の混色比である（ｉ、ｊ＝１、２、３、４）。即ち、行列Ａの第１〜第４列は、それぞれ第１〜第４の色Ｒ、Ｇｒ、Ｇｂ、Ｂに対応する。また、行列Ａの第１〜第４行は、それぞれ第１〜第４フレームに対応する。例えば、図５においてｆ＝１とする場合、第１フレームにおいて、Ｒ、Ｇｒ、Ｇｂ、Ｂの画素がそれぞれ重み係数１、１／２、１／２、１／４で混色する。この重み係数に対応して、行列Ａの第１行の成分は１、１／２、１／２、１／４である。
【００５９】
次に下式（４）に示すように、行列Ａの逆行列Ａ−１を求め、その逆行列Ａ−１の成分（Ａ−１）ｎｍを用いて、混色除去フィルターαを求める。このαは画像によって変化しないため、予めヒープメモリー（heap memory）にαを格納しておき、演算の度にその格納領域を参照する。
【数２】
【００６０】
次に、混色除去フィルターαと画像Ｘの各画素とのコンボリューションを画像Ｘの全領域について行い、画像Ｘから意図的な混色を除去した画像Ｘ’を求める。この画像Ｘ’はベイヤー配列の画像となる。図８〜図１０で後述するように、画像Ｘ’では加算前の画素値が復元されるわけではないが、ホワイトバランス調整は全領域（又は所定の領域毎）に対して行われるため、色が分離されていれば画像Ｘ’から色温度を検出することが可能である。
【００６１】
次に、混色除去された画像Ｘ’から色温度を検出する処理を行う（Ｓ５）。次に、検出された色温度に基づいて、白色物体が白色となるように、各色についてのホワイトバランス調整ゲインｇＲ、ｇＧｒ、ｇＧｂ、ｇＢを求める（Ｓ６）。画像Ｘ’では、画像Ｘとは異なり、意図的な混色が排除されているため、一般的な色温度検出手法を適用できる。例えば、上述の特許文献１に開示された手法により、色温度を検出し、ホワイトバランス調整ゲインを求めてもよい。
【００６２】
次に、得られたホワイトバランス調整ゲインに基づいて、ホワイトバランス調整フィルターを生成する（Ｓ７）。このホワイトバランス調整フィルターは、以下のようにして求められる。まず、下式（５）に示すように、行列Ｗを求める。
【数３】
【００６３】
次に下式（６）に示すように、行列Ｗの成分を用いてホワイトバランス調整フィルターω１〜ω４を求める。
【数４】
【００６４】
次に、ステップＳ３において一時記憶された画像Ｘを読み出す（Ｓ８）。次に、読み出された画像Ｘと、ホワイトバランス調整フィルターω１〜ω４とのコンボリューションを行い、ホワイトバランスが調整された画像Ｙを生成する（Ｓ９）。コンボリューションにおいてω１〜ω４のいずれを用いるかは、画像Ｘの画素位置に応じて決まる。即ち、図６において例えばｆ＝１とすると、画像Ｘの中の第ｉフレームの画素を中心とする３×３画素にホワイトバランス調整フィルターを演算する場合に、ωｉを用いる（ｉ＝１、２、３、４）。
【００６５】
次に、画像Ｙを出力し（Ｓ１０）、オートホワイトバランス調整処理を終了する。
【００６６】
ステップＳ２において、オートホワイトバランス調整を行わないと判断した場合（Ｓ２、ＮＯ）、まずユーザによって予め指定された色温度を読み込む（Ｓ１１）。次に、読み込まれた色温度に対応するホワイトバランスゲインｇＲ，ｇＧｒ，ｇＧｂ，ｇＢを参照し、決定する（Ｓ１２）。ホワイトバランスゲインは、各色温度に対応して予め設定されている（例えばルックアップテーブル）。次に、ステップＳ７と同様の手法によりホワイトバランス調整フィルターω１〜ω４を求める（Ｓ１３）。次に、ステップＳ８〜Ｓ１０を実行し、ホワイトバランス調整処理を終了する。
【００６７】
なお、上記では行列Ａを上式（３）としたが、本実施形態はこれに限定されない。例えば、下式（７）に示すように、行列Ａの各行の成分の和が１となるように規格化してもよい。即ち、行列Ａの成分は各色の混色比であるため、その比が保たれていればよい。
【数５】
【００６８】
また、上式（３）ではカラーフィルターをＲ、Ｇｒ、Ｇｂ、Ｂの４色として行列Ａを構成したが、本実施形態はこれに限定されない。例えば、下式（８）に示すように、カラーフィルターをＲ、Ｇ、Ｂの３色として行列Ａを構成してもよい。
【数６】
【００６９】
また、上記では２×２画素が画素配列の１ブロックであり、１ブロックに４色のカラーフィルターを有する例を説明したが、本実施形態はこれに限定されない。例えば、ｍ×ｎ
画素（ｍ、ｎは自然数であり、ｍ×ｎ≧２）を１ブロックとし、１ブロックにｋ＝ｍ×ｎ色のカラーフィルターを有してもよい。この場合、行列Ａは一般に下式（９）によって表される。
【数７】
【００７０】
ここで、行列Ａのｉ行ｊ列の成分Ａｉｊは、第ｉフレームにおける第ｊの色の混色比である（ｉ、ｊはｋ以下の自然数）。
【００７１】
また、上式（４）では、コンボリューションにおける中央の成分（（Ａ−１）１１）について対称に混色除去フィルターαを構成したが、本実施形態はこれに限定されず、逆行列Ａ−１の１行分の成分を用いてαが構成されていればよい。例えば上式（９）に示す行列Ａを用いる場合、下式（１０）に示すように、ｍ×ｎ行列として混色除去フィルターαｉ（ｉはｋ以下の自然数）を構成してもよい。
【数８】
【００７２】
ここで、混色除去フィルターのコンボリューションにおいてα１〜αｋのいずれを用いるかは、画像Ｘの画素位置に応じて決まる。即ち、図６において例えばｆ＝１とすると、画像Ｘの中の第ｉフレームの画素を中心とするｍ×ｎ画素に混色除去フィルターを演算する場合に、αｉを用いる（ｉはｋ以下の自然数）。
【００７３】
また、上記では混色除去フィルターαが変化せず、αを予めヒープメモリーに格納しておき演算時に参照したが、本実施形態はこれに限定されない。例えば、αが変化する（例えば画像に応じて、又は時間的に変化する）場合、行列Ａからαを随時求め、そのαを演算に使用してもよい。
【００７４】
また、上記では混色除去フィルターαにより混色除去したが、本実施形態はこれに限定されない。例えば、画像Ｘの各画素について、第ｆ〜第ｆ＋３フレームの各フレームに対応する画素値を補間により求め、求めた画像Ｘの各画素の成分と逆行列Ａ−１との積をとることにより、混色除去を行ってもよい。
【００７５】
また、上式（５）では、ホワイトバランス調整ゲインは、各色について絶対値として設定されるが、本実施形態はこれに限定されない。例えば、所定の色に対する相対ゲインとして設定してもよい。例えば下式（１１）に示すように、Ｇｒの画素値を基準とし、そのＧｒに対するＲ，Ｇｂ，Ｂの相対ゲインをγＲ、γＧｂ、γＢとしてもよい。
【数９】
【００７６】
また、上式（５）ではカラーフィルターを４色として行列Ｗを構成したが、本実施形態はこれに限定されず、例えばカラーフィルターがｋ色の場合、一般に下式（１２）に示すように行列Ｗが構成される。
【数１０】
【００７７】
また、上式（６）では、コンボリューションにおける中央の成分（Ｗｉｉ）について対称にホワイトバランス調整フィルターωｉを構成したが、本実施形態はこれに限定されず、行列Ｗの１行分の成分を用いてωｉが構成されていればよい。例えば上式（１２）に示す行列Ｗを用いる場合、下式（１３）に示すように、ｍ×ｎ行列としてωｉ（ｉはｋ以下の自然数）を構成してもよい。
【数１１】
【００７８】
５．混色除去処理
次に、上述した混色除去フィルターαの詳細な導出例について説明する。また、そのαをコンボリューションすることにより、色温度検出可能な画像Ｘ’が復元されることについて説明する。
【００７９】
図８に示すように、第ｆ〜第ｆ＋３フレームにおいて、重み付けを変化させながら画素加算を行い、それぞれ加算画素値Ｃｆ〜Ｃｆ＋３を求める。色に着目すると、この操作は下式（１４）に示す操作と同等である。下式（１５）に示すように、下式（１４）の右辺の４×４行列が行列Ａに対応する。
【数１２】
【数１３】
【００８０】
得られた４フレーム分の加算画素値Ｃｆ〜Ｃｆ＋３を再配置し、画像Ｘを生成する。この画像Ｘの色を加算前の状態に戻すためには、下式（１６）に示す逆行列Ａ−１を画像Ｘに作用させればよい。即ち、下式（１７）に示す操作を行えばよい。下式（１７）は、上式（１４）〜（１６）と逆行列の定義から当然に成り立つ。
【数１４】
【数１５】
【００８１】
図９に示すように、上式（１７）の操作は、実際には画像Ｘと混色除去フィルターαのコンボリューションを画像Ｘの全画素について行うことで実現される。下式（１８）に示すように、αは、逆行列Ａ−１の成分を、カラーフィルターの色配列に対応して並べ替えたものである。このαは、左上（１行１列）の成分を基準位置とするフィルターである。
【数１６】
【００８２】
下式（１９）に示すように、αの基準位置と画像Ｘの画素との対応に依って、コンボリューションには４つのパターンが存在する。下式（１９）の右等号は、上式（１７）より成り立つ。
【数１７】
【００８３】
図９に示すように、このコンボリューションにより生成される画像Ｘ’はベイヤー配列であり、確かに色が戻っていることがわかる。
【００８４】
なお、コンボリューションにおいて上式（１９）と同一の演算がなされればよいので、下式（２０）に示すように、混色除去フィルターαを拡張してもよい。この拡張されたαは、上式（４）のαに対応する詳細例である。基準位置は中央（２行２列）の成分である。例えば、下式（２１）に示すように、基準位置が画素Ｃｆに対応する場合、上式（１９）と同様にＲの色が戻る。
【数１８】
【数１９】
【００８５】
次に、上記のようにして復元されるＲＧＢの色成分について、更に詳細に説明する。以下では、図１０に示す画像Ｘ’のＲ成分ｒ１１を例にとり説明する。図１０では、位置（ｘ，ｙ）における画素をＲｘｙ、Ｃｘｙ、ｒｘｙ等と表す。
【００８６】
下式（２２）に示すように、画素加算により画像Ｘの画素値が求められる。また、下式（２３）に示すように、混色除去処理により画像Ｘ’のＲ成分ｒ１１が求められる。下式（２３）では、上式（１８）のαを用いている。
【数２０】
【数２１】
【００８７】
上式（２２）、（２３）を用いて整理すると、下式（２４）が成り立つ。下式（２４）より、Ｒ成分ｒ１１は、加算前の画像のある範囲の同色画素が演算された結果となっていることがわかる。即ち、Ｒ成分ｒ１１は、元の画素値Ｒ１１そのものが復元されているわけではないが、加算前のＲ画素値が反映されたものである。
【数２２】
【００８８】
以上より、画像Ｘ’では、加算前の同色画素値が反映された色成分Ｒ、Ｇｒ、Ｇｂ、Ｂが復元され、画像Ｘ’から色温度の検出が可能であることがわかる。
【００８９】
以上の実施形態によれば、図１に示すように、撮像装置１００は、読み出し制御部１３１と混色除去処理部１２０と色温度検出部１２１と色温度調整部１２２と推定演算部（高解像度画像生成部１０４）を含む。
【００９０】
図３に示すように、撮像素子（固体撮像素子１０２）には複数色の画素が配列される。図５に示すように、読み出し制御部１３１は、その複数色の画素を有する加算単位（ユニットＧＰ００等）を撮像素子の複数の画素毎に設定し、その加算単位に含まれる画素値を重み付け加算して低解像画像を取得する。図１、図７等で説明したように、混色除去処理部１２０は、取得された低解像画像に対して、複数色の画素が重み付け加算されたことによる混色を除去する処理を行う。色温度検出部１２１は、混色が除去された低解像画像に基づいて色温度を検出する。色温度調整部１２２は、検出された色温度に基づいて、低解像画像の色温度を調整する。図１１（Ａ）〜図１４で後述するように、推定演算部は、色温度補正された低解像画像に基づいて、撮像素子の画素数に相当する解像度の高解像画像を推定する。
【００９１】
この場合に、図５に示すように、読み出し制御部１３１は、重畳しながらシフトされた加算単位を設定することにより、複数色の各色と重み付け係数の対応が異なる複数の低解像画像（第１〜第４の低解像画像）を取得する。図１、図７等で説明したように、混色除去処理部１２０は、その複数の低解像画像に対して混色を除去する処理を行い、各色に対応する画素値（色成分。例えば図１０に示す画像Ｘ’の画素値）を求める。
【００９２】
このようにすれば、混色が除去されることにより色温度が検出可能となり、その色温度を用いてホワイトバランスを調整できる。これにより、複数の色信号が任意の割合で混合された画像のホワイトバランスを調整できる。また本実施形態によれば、重畳シフト加算により低解像画像が取得されることで、その低解像画像から高解像画像を復元できる。これにより、任意タイミングの高解像画像を、簡素な復元処理で取得可能になる。
【００９３】
ここで、低解像画像のホワイトバランス（色温度）を調整するとは、加算前の画像においてホワイトバランスが調整された状態の低解像画像を得ることである。即ち、ホワイトバランスが調整された加算前の画像を重み付け加算して得たものと同等の低解像画像を、低解像画像を処理することにより得るということである。
【００９４】
また本実施形態では、図７で説明したように、混色除去処理部１２０は、各色と重み付け係数の対応（混色比）を規定する係数行列Ａ（上式（３））の逆行列に基づいて、混色を除去する混色除去フィルターα（上式（４））を構成し、構成した混色除去フィルターαにより混色を除去する処理を行う。
【００９５】
より具体的には、図３に示すように、撮像素子の複数色（Ｒ、Ｇｒ、Ｇｂ、Ｂ）の画素はベイヤー配列である。図８に示すように、読み出し制御部１３１は、各色と第１〜第４の重み付け係数（１、１／２、１／２、１／４）が第１〜第４の組み合わせで対応する第１〜第４の低解像画像（画素値Ｃｆ〜Ｃｆ＋３）を取得する。この第１〜第４の低解像画像の画素値Ｃｆ〜Ｃｆ＋３は、重畳シフトにおける加算単位の設定位置に応じて１つの画像Ｘに再配列される。上式（３）や（１４）で説明したように、混色除去処理部１２０は、第１〜第４の組み合わせを第１〜第４行に配列した行列を係数行列Ａとする。上式（１７）〜（１９）で説明したように、混色除去処理部１２０は、その係数行列Ａの逆行列Ａ−１の成分を、再配列（画像Ｘの画素配列）に応じて配列することにより混色除去フィルターαを構成する。図９で説明したように、混色除去処理部１２０は、構成した混色除去フィルターαと再配列された画像Ｘとのコンボリューション演算を行う。
【００９６】
なお本実施形態では、第１〜第４の低解像画像を画像Ｘに再配列する処理は、例えば図１の制御部１０６が行う。あるいは、図２の読み出し制御部１３１又は混色除去処理部１２０が行う。ここで、重畳シフトにおける加算単位の設定値に応じて再配列されるとは、例えば図５の位置（ｘ，ｙ）の加算画素値ＧＰｘｙが、図６の画像Ｘにおいて同一位置（ｘ，ｙ）に配列されるということである。
【００９７】
このようにすれば、各色と重み付け係数の対応に基づいて混色除去フィルターαを構成できる。これにより、重み付け加算により混色される前の画像の色情報を得ることが可能になり、その色情報に基づいて色温度検出を行うことができる。
【００９８】
また本実施形態では、図７で説明したように、色温度調整部１２２は、検出された色温度に基づいて各色の調整ゲイン（上式（５）のｇＲ等）を求め、係数行列Ａと調整ゲインとに基づいて調整フィルターω１〜ω４（上式（６））を構成し、構成した調整フィルターω１〜ω４により色温度の調整を行う。
【００９９】
より具体的には、上式（５）で説明したように、色温度調整部１２２は、係数行列Ａと、各色の調整ゲインｇＲ、ｇＧｒ、ｇＧｂ、ｇＢを対角に配列した行列と、係数行列の逆行列Ａ−１との積Ｗの成分を求める。上式（６）で説明したように、色温度調整部１２２は、再配列（画像Ｘの画素配列）に応じて配列することにより調整フィルターω１〜ω４を構成する。色温度調整部１２２は、構成した調整フィルターω１〜ω４と再配列された画像Ｘとのコンボリューション演算を行う。
【０１００】
このようにすれば、各色と重み付け係数の対応に基づいて調整フィルターω１〜ω４を構成できる。これにより、重み付け加算により混色した低解像画像に対して、ホワイトバランス調整処理を行うことが可能になる。即ち、逆行列Ａ−１により加算前の色情報が再現され、その色情報に対して調整ゲインによりホワイトバランス調整が行われ、係数行列Ａにより再び加算後の画像に戻される。
【０１０１】
６．復元推定処理
次に、重畳シフト加算により取得した加算画素値から高解像画像を復元する処理について詳細に説明する。なお以下では、加算画素値｛ａ００、ａ１０、ａ１１、ａ０１｝を例に説明するが、他の加算画素値についても同様である。また、加算単位が２×２画素である場合を例に説明するが、これに限定されず、例えば３×３画素であってもよい。
【０１０２】
図１１（Ａ）、図１１（Ｂ）に、推定画素値と中間画素値の説明図を示す。推定処理では、加算画素値ａ００〜ａ１１から中間画素値ｂ００〜ｂ２１を推定し、その中間画素値ｂ００〜ｂ２１から最終的な推定画素値ｖ００〜ｖ２２を推定する。ａｘｙ等のサフィックスは画素位置（ｘ，ｙ）に対応し、ｘ、ｙはゼロ以上の整数である。なお、加算画素値｛ａ００、ａ１０、ａ１１、ａ０１｝は、図５で説明した加算単位ＧＰ００、ＧＰ１０、ＧＰ１１、ＧＰ０１に対応する。
【０１０３】
まず、中間画素値を推定する処理について、水平方向の最初の行の中間画素値ｂ００〜ｂ２０を例に説明する。図１２に示すように、中間画素値ｂ００〜ｂ２０は、加算画素値ａ００、ａ１０に基づいて推定される。説明を簡単にするために、例えば重み係数ｒ＝２とすると、加算画素値ａ００、ａ１０は下式（２５）で表される。
ａ００＝ｖ００＋（１／２）ｖ０１＋（１／２）ｖ１０＋（１／４）ｖ１１，
ａ１０＝ｖ１０＋（１／２）ｖ１１＋（１／２）ｖ２０＋（１／４）ｖ２１ （２５）
【０１０４】
下式（２６）に示すようにｂ００、ｂ１０、ｂ２０を定義する。
ｂ００＝ｖ００＋（１／ｒ）ｖ０１＝ｖ００＋（１／２）ｖ０１，
ｂ１０＝ｖ１０＋（１／ｒ）ｖ１１＝ｖ１０＋（１／２）ｖ１１，
ｂ２０＝ｖ２０＋（１／ｒ）ｖ２１＝ｖ２０＋（１／２）ｖ２１ （２６）
【０１０５】
次に、上式（２６）を用いて上式（２５）を変形すると、下式（２７）が成り立つ。
ａ００＝ｂ００＋（１／２）ｂ１０，
ａ１０＝ｂ１０＋（１／２）ｂ２０ （２７）
【０１０６】
上式（２７）において、ａ００、ａ１０に所定の重み係数を掛けて差分δｉ０を取り、整理すると、下式（２８）が成り立つ。
δｉ０＝ａ１０−２ａ００
＝（１／２）ｂ２０−２ｂ００ （２８）
【０１０７】
ｂ００を未知数（初期変数）とすると、下式（２９）に示すように、中間画素値ｂ１０、ｂ２０がｂ００の関数として求められる。
ｂ００＝（未知数），
ｂ１０＝２（ａ００−ｂ００），
ｂ２０＝４ｂ００＋２δｉ０＝４ｂ００＋２（ａ１０−２ａ００） （２９）
【０１０８】
次に、図１３に示すように、加算画素値パターン｛ａ００，ａ１０｝と中間画素値パターン｛ｂ００，ｂ１０，ｂ２０｝を比較し、その誤差が最小になる未知数ｂ００を導出する。そして、導出した値を中間画素値ｂ００として設定する。
【０１０９】
具体的には、加算画素値｛ａｘｙ｝と中間画素値｛ｂｘｙ，ｂ（ｘ＋１）ｙ｝には、下式（３０）の関係が成り立つ。この下式（３０）による重み付けを考慮すると、下式（３１）に示す評価関数Ｅｙが求められる。
ａｘｙ＝ｂｘｙ＋（１／２）ｂ（ｘ＋１）ｙ （３０）
【数２３】
【０１１０】
図１４に示すように、Ｅｙを最小にする未知数ｂ００（＝α）を求め、ｂ００の値を決定する。そして、推定したｂ００の値を上式（２９）に代入し、ｂ１０，ｂ２０を求める。
【０１１１】
最終的な推定画素値ｖｘｙは、中間画素値ｂｘｙを求めた手法と同様に求められる。垂直方向の最初の列（ｘ＝０列）を例にとると、上式（２７）を下式（３２）に置き換えれば、以降の処理は同様である。
ｂ００＝ｖ００＋（１／２）ｖ０１，
ｂ０１＝ｖ０１＋（１／２）ｖ０２ （３２）
【０１１２】
以上の実施形態によれば、図１に示すように、撮像装置１００は、推定演算部（高解像度画像生成部１０４）を含む。図１１（Ａ）に示すように、第１のポジションに設定された第１の加算単位（例えばａ００）と、第１のポジションがシフトされた第２のポジションに設定された第２の加算単位（例えばａ１０）は重畳する。
【０１１３】
この場合に、上式（２８）に示すように、推定演算部は、第１、第２の加算単位（例えばａ００、ａ１０）の画素値が重み付け加算された第１、第２の加算画素値ａ００、ａ１０の差分値δｉ０を求める。図１１（Ｂ）に示すように、第１の中間画素値ｂ００は、加算単位ａ００から重畳領域（ｖ１０、ｖ１１）を除いた第１の領域（ｖ００、ｖ０１）の加算画素値である。第２の中間画素値ｂ２０は、加算単位ａ１０から重畳領域（ｖ１０、ｖ１１）を除いた第２の領域（ｖ２０、ｖ２１）の加算画素値である。上式（２９）に示すように、第１、第２の中間画素値ｂ００、ｂ２０の関係式を、差分値δｉ０を用いて表す。図１３等に示すように、その関係式を用いて第１、第２の中間画素値ｂ００、ｂ２０を推定する。推定した第１の中間画素値ｂ００を用いて加算単位に含まれる各画素の画素値｛ｖ００、ｖ１０、ｖ１１、ｖ０１｝を求める。
【０１１４】
このようにすれば、重畳シフトされた加算画素値から中間画素値を一旦推定し、その重畳シフトされた中間画素値から推定画素値を求めることで、高解像画像の推定処理を簡素化できる。例えば、２次元フィルターの繰り返し演算（特開２００９−１２４６２１号公報）や、初期値の設定に適当な部分を探索（特開２００８−２４３０３７号公報）する等の複雑な処理が不要となる。
【０１１５】
ここで、重畳するとは、加算単位と加算単位が重なった領域を有することであり、例えば図１１（Ａ）に示すように、加算単位ａ００と加算単位ａ１０が、２つの推定画素ｖ１０、ｖ１１を共有することである。
【０１１６】
また、加算単位のポジションとは、撮像素子の画素配列における加算単位の位置や座標のことである。あるいは、推定処理における画像データ上での加算単位の位置や座標のことである。また、シフトされたポジションとは、元のポジションから画素シフトされたポジションであり、元のポジションと位置や座標が一致しないポジションのことである。
【０１１７】
また本実施形態では、第１、第２の中間画素値（例えばｂ００、ｂ２０）を含む連続する中間画素値を中間画素値パターン｛ｂ００、ｂ１０、ｂ２０｝とする。上式（２９）に示すように、推定演算部は、中間画素値パターンに含まれる中間画素値の間の関係式を第１、第２の加算画素値ａ００、ａ１０を用いて表す。図１３に示すように、中間画素値の間の関係式で表された中間画素値パターンと第１、第２の加算画素値とを比較して類似性を評価する。その類似性の評価結果に基づいて、類似性が最も高くなるように中間画素値パターンに含まれる中間画素値｛ｂ００、ｂ１０、ｂ２０｝を決定する。
【０１１８】
このようにすれば、重畳されながら画素シフトされた加算単位により取得された複数の加算画素値に基づいて、中間画素値を推定できる。
【０１１９】
ここで、中間画素値パターンとは、推定処理に用いられる範囲の中間画素値のデータ列（データの組み）である。また、加算画素値パターンとは、推定処理に用いられる範囲の加算画素値のデータ列である。
【０１２０】
また本実施形態では、上式（３１）に示すように、推定演算部は、中間画素値の間の関係式で表された中間画素値パターン｛ｂ００、ｂ１０、ｂ２０｝と加算画素値｛ａ００、ａ１０｝との誤差を表す評価関数Ｅｙを求める。評価関数Ｅｙの値が最小となるように中間画素値パターンに含まれる中間画素値｛ｂ００、ｂ１０、ｂ２０｝を決定する。
【０１２１】
このようにすれば、誤差を評価関数で表し、その評価関数の極小値に対応する中間画素値を求めることで、中間画素値の値を推定できる。例えば、上述のように最小二乗法を用いて未知数を求めることで、簡素な処理で中間画素推定の初期値を設定できる。例えば、初期値設定に適当な画像部分の探索（特開２００８−２４３０３７号公報）が不要である。
【０１２２】
なお、上記のように本実施形態について詳細に説明したが、本発明の新規事項および効果から実体的に逸脱しない多くの変形が可能であることは当業者には容易に理解できるであろう。従って、このような変形例はすべて本発明の範囲に含まれるものとする。例えば、明細書又は図面において、少なくとも一度、より広義又は同義な異なる用語と共に記載された用語は、明細書又は図面のいかなる箇所においても、その異なる用語に置き換えることができる。また固体撮像装置、撮像装置等の構成、動作も本実施形態で説明したものに限定に限定されず、種々の変形実施が可能である。
【符号の説明】
【０１２３】
１００ 撮像装置、１０１ 撮像光学系、１０２ 固体撮像素子、
１０３ ホワイトバランス調整部、１０４ 高解像度画像生成部、
１０５ 現像処理部、１０６ 制御部、１０７ メモリー、
１０８ 表示処理部、１０９ モニター表示部、１１０ アクセス制御部、
１１１ 記録媒体、１２０ 混色除去処理部、１２１ 色温度検出部、
１２２ 色温度調整部、１３０ 画素アレイ部、１３１ 読み出し制御部、
Ａ 行列、Ｂ 青色、Ｃｆ〜Ｃｆ＋３ 加算画素値、Ｅｙ 評価関数、
ＧＰ００，ＧＰ０１，ＧＰ１０，ＧＰ１１ 加算単位、Ｇｒ，Ｇｂ 緑色、
Ｐ１〜Ｐ４ 画素、Ｒ 赤色、Ｗ 行列、Ｘ，Ｘ’ 画像、
ａ００〜ａ１１ 加算画素値、ｂ００ 未知数、ｂ００〜ｂ２１ 中間画素値、
ｂ１０ 中間画素値、ｇＲ，ｇＧｒ，ｇＧｂ，ｇＢ ホワイトバランス調整ゲイン、
ｖ００〜ｖ２２ 推定画素値、α 混色除去フィルター、δｉ０ 差分値、
ω１〜ω４ ホワイトバランス調整フィルター
【特許請求の範囲】
【請求項１】
撮像素子に複数色の画素が配列される場合に、前記複数色の画素を有する加算単位を前記撮像素子の複数の画素毎に設定し、前記加算単位に含まれる画素値を重み付け加算して低解像画像を取得する読み出し制御部と、
取得された前記低解像画像に対して、前記複数色の画素が重み付け加算されたことによる混色を除去する処理を行う混色除去処理部と、
混色が除去された前記低解像画像に基づいて色温度を検出する色温度検出部と、
検出された前記色温度に基づいて、前記低解像画像の色温度を調整する色温度調整部と、
色温度調整された前記低解像画像に基づいて、前記撮像素子の画素数に相当する解像度の高解像画像を推定する推定演算部と、
を含み、
前記読み出し制御部は、
重畳しながらシフトされた前記加算単位を設定することにより、前記複数色の各色と重み付け係数との対応が異なる複数の低解像画像を取得し、
前記混色除去処理部は、
前記複数の低解像画像に対して前記混色を除去する処理を行い、前記各色に対応する画素値を求めることを特徴とする撮像装置。
【請求項２】
請求項１において、
前記混色除去処理部は、
前記各色と重み付け係数の対応を規定する係数行列の逆行列に基づいて、前記混色を除去する混色除去フィルターを構成し、構成した前記混色除去フィルターにより前記混色を除去する処理を行うことを特徴とする撮像装置。
【請求項３】
請求項２において、
前記撮像素子の前記複数色の画素が、ベイヤー配列である場合に、
前記読み出し制御部は、
前記各色と第１〜第４の重み付け係数とが第１〜第４の組み合わせで対応する第１〜第４の低解像画像を、前記複数の低解像画像として取得し、
前記第１〜第４の低解像画像の画素値は、
前記重畳シフトにおける前記加算単位の設定位置に応じて１つの画像に再配列され、
前記混色除去処理部は、
前記第１〜第４の組み合わせを第１〜第４行に配列した行列を前記係数行列とし、前記係数行列の逆行列の成分を前記再配列に応じて配列することにより前記混色除去フィルターを構成し、構成した前記混色除去フィルターと前記再配列された画像とのコンボリューション演算を行うことを特徴とする撮像装置。
【請求項４】
請求項１乃至３のいずれかにおいて、
前記色温度調整部は、
前記検出された前記色温度に基づいて前記各色の調整ゲインを求め、各色と重み付け係数との対応を規定する係数行列と、前記調整ゲインとに基づいて、調整フィルターを構成し、構成した前記調整フィルターにより前記色温度の調整を行うことを特徴とする撮像装置。
【請求項５】
請求項４において、
前記撮像素子の前記複数色の画素が、ベイヤー配列である場合に、
前記読み出し制御部は、
前記各色と第１〜第４の重み付け係数とが第１〜第４の組み合わせで対応する第１〜第４の低解像画像を、前記複数の低解像画像として取得し、
前記第１〜第４の低解像画像の画素値は、
前記重畳シフトにおける前記加算単位の設定位置に応じて１つの画像に再配列され、
前記色温度調整部は、
前記第１〜第４の組み合わせを第１〜第４行に配列した行列を前記係数行列とし、前記係数行列と、前記各色の調整ゲインを対角に配列した行列と、前記係数行列の逆行列との積の成分を、前記再配列に応じて配列することにより前記調整フィルターを構成し、構成した前記調整フィルターと前記再配列された画像とのコンボリューション演算を行うことを特徴とする撮像装置。
【請求項６】
請求項１乃至５のいずれかにおいて、
第１のポジションに設定された第１の加算単位と、前記第１のポジションがシフトされた第２のポジションに設定された第２の加算単位とが、重畳する場合に、
前記推定演算部は、
前記第１の加算単位の画素値が重み付け加算された第１の加算画素値と、前記第２の加算単位の画素値が重み付け加算された第２の加算画素値との差分値を求め、
前記第１の加算単位から重畳領域を除いた第１の領域の加算画素値である第１の中間画素値と、前記第２の加算単位から前記重畳領域を除いた第２の領域の加算画素値である第２の中間画素値との関係式を、前記差分値を用いて表し、
前記関係式を用いて前記第１、第２の中間画素値を推定し、推定した前記第１の中間画素値を用いて前記加算単位に含まれる各画素の画素値を求めることを特徴とする撮像装置。
【請求項７】
請求項６において、
前記推定演算部は、
前記第１、第２の中間画素値を含む連続する中間画素値を中間画素値パターンとする場合に、前記中間画素値パターンに含まれる中間画素値間の関係式を前記第１、第２の加算画素値を用いて表し、
前記中間画素値間の関係式で表された前記中間画素値パターンと前記第１、第２の加算画素値とを比較して類似性を評価し、
前記類似性の評価結果に基づいて、前記類似性が最も高くなるように、前記中間画素値パターンに含まれる中間画素値を決定することを特徴とする撮像装置。
【請求項１】
撮像素子に複数色の画素が配列される場合に、前記複数色の画素を有する加算単位を前記撮像素子の複数の画素毎に設定し、前記加算単位に含まれる画素値を重み付け加算して低解像画像を取得する読み出し制御部と、
取得された前記低解像画像に対して、前記複数色の画素が重み付け加算されたことによる混色を除去する処理を行う混色除去処理部と、
混色が除去された前記低解像画像に基づいて色温度を検出する色温度検出部と、
検出された前記色温度に基づいて、前記低解像画像の色温度を調整する色温度調整部と、
色温度調整された前記低解像画像に基づいて、前記撮像素子の画素数に相当する解像度の高解像画像を推定する推定演算部と、
を含み、
前記読み出し制御部は、
重畳しながらシフトされた前記加算単位を設定することにより、前記複数色の各色と重み付け係数との対応が異なる複数の低解像画像を取得し、
前記混色除去処理部は、
前記複数の低解像画像に対して前記混色を除去する処理を行い、前記各色に対応する画素値を求めることを特徴とする撮像装置。
【請求項２】
請求項１において、
前記混色除去処理部は、
前記各色と重み付け係数の対応を規定する係数行列の逆行列に基づいて、前記混色を除去する混色除去フィルターを構成し、構成した前記混色除去フィルターにより前記混色を除去する処理を行うことを特徴とする撮像装置。
【請求項３】
請求項２において、
前記撮像素子の前記複数色の画素が、ベイヤー配列である場合に、
前記読み出し制御部は、
前記各色と第１〜第４の重み付け係数とが第１〜第４の組み合わせで対応する第１〜第４の低解像画像を、前記複数の低解像画像として取得し、
前記第１〜第４の低解像画像の画素値は、
前記重畳シフトにおける前記加算単位の設定位置に応じて１つの画像に再配列され、
前記混色除去処理部は、
前記第１〜第４の組み合わせを第１〜第４行に配列した行列を前記係数行列とし、前記係数行列の逆行列の成分を前記再配列に応じて配列することにより前記混色除去フィルターを構成し、構成した前記混色除去フィルターと前記再配列された画像とのコンボリューション演算を行うことを特徴とする撮像装置。
【請求項４】
請求項１乃至３のいずれかにおいて、
前記色温度調整部は、
前記検出された前記色温度に基づいて前記各色の調整ゲインを求め、各色と重み付け係数との対応を規定する係数行列と、前記調整ゲインとに基づいて、調整フィルターを構成し、構成した前記調整フィルターにより前記色温度の調整を行うことを特徴とする撮像装置。
【請求項５】
請求項４において、
前記撮像素子の前記複数色の画素が、ベイヤー配列である場合に、
前記読み出し制御部は、
前記各色と第１〜第４の重み付け係数とが第１〜第４の組み合わせで対応する第１〜第４の低解像画像を、前記複数の低解像画像として取得し、
前記第１〜第４の低解像画像の画素値は、
前記重畳シフトにおける前記加算単位の設定位置に応じて１つの画像に再配列され、
前記色温度調整部は、
前記第１〜第４の組み合わせを第１〜第４行に配列した行列を前記係数行列とし、前記係数行列と、前記各色の調整ゲインを対角に配列した行列と、前記係数行列の逆行列との積の成分を、前記再配列に応じて配列することにより前記調整フィルターを構成し、構成した前記調整フィルターと前記再配列された画像とのコンボリューション演算を行うことを特徴とする撮像装置。
【請求項６】
請求項１乃至５のいずれかにおいて、
第１のポジションに設定された第１の加算単位と、前記第１のポジションがシフトされた第２のポジションに設定された第２の加算単位とが、重畳する場合に、
前記推定演算部は、
前記第１の加算単位の画素値が重み付け加算された第１の加算画素値と、前記第２の加算単位の画素値が重み付け加算された第２の加算画素値との差分値を求め、
前記第１の加算単位から重畳領域を除いた第１の領域の加算画素値である第１の中間画素値と、前記第２の加算単位から前記重畳領域を除いた第２の領域の加算画素値である第２の中間画素値との関係式を、前記差分値を用いて表し、
前記関係式を用いて前記第１、第２の中間画素値を推定し、推定した前記第１の中間画素値を用いて前記加算単位に含まれる各画素の画素値を求めることを特徴とする撮像装置。
【請求項７】
請求項６において、
前記推定演算部は、
前記第１、第２の中間画素値を含む連続する中間画素値を中間画素値パターンとする場合に、前記中間画素値パターンに含まれる中間画素値間の関係式を前記第１、第２の加算画素値を用いて表し、
前記中間画素値間の関係式で表された前記中間画素値パターンと前記第１、第２の加算画素値とを比較して類似性を評価し、
前記類似性の評価結果に基づいて、前記類似性が最も高くなるように、前記中間画素値パターンに含まれる中間画素値を決定することを特徴とする撮像装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【公開番号】特開２０１３−５３６３（Ｐ２０１３−５３６３Ａ）
【公開日】平成２５年１月７日（２０１３．１．７）
【国際特許分類】
【出願番号】特願２０１１−１３６９９６（Ｐ２０１１−１３６９９６）
【出願日】平成２３年６月２１日（２０１１．６．２１）
【出願人】（００００００３７６）オリンパス株式会社 (11,466)
【Ｆターム（参考）】
【公開日】平成２５年１月７日（２０１３．１．７）
【国際特許分類】
【出願日】平成２３年６月２１日（２０１１．６．２１）
【出願人】（００００００３７６）オリンパス株式会社 (11,466)
【Ｆターム（参考）】
[ Back to top ]