撮像装置および画像処理プログラム
【課題】クランプ処理後に行われるデジタルゲイン処理によって、横スジが悪化するのを抑える。
【解決手段】オプティカルブラック領域および有効領域に第１受光感度で第１画像信号を生成する第１受光素子と第１の受光感度よりも高感度の第２受光感度で第２画像信号を生成する第２受光素子とをそれぞれ含む画素を複数有する撮像素子と、第１および第２画像信号に対しオプティカルブラック領域の出力に含まれる暗電流成分に基づくクランプ処理を行う補正部と、クランプ処理が施された第１および第２画像信号の何れか一方に対し感度比に基づくゲインを乗じて第３画像信号を生成するとともに、クランプ処理が施された第１および第２画像信号のうちゲインを乗じていない方の画像信号と第３画像信号との差分の平均値をクランプ処理により発生する横スジに沿った方向における画素列ごとに算出する算出部とを備える。
【解決手段】オプティカルブラック領域および有効領域に第１受光感度で第１画像信号を生成する第１受光素子と第１の受光感度よりも高感度の第２受光感度で第２画像信号を生成する第２受光素子とをそれぞれ含む画素を複数有する撮像素子と、第１および第２画像信号に対しオプティカルブラック領域の出力に含まれる暗電流成分に基づくクランプ処理を行う補正部と、クランプ処理が施された第１および第２画像信号の何れか一方に対し感度比に基づくゲインを乗じて第３画像信号を生成するとともに、クランプ処理が施された第１および第２画像信号のうちゲインを乗じていない方の画像信号と第３画像信号との差分の平均値をクランプ処理により発生する横スジに沿った方向における画素列ごとに算出する算出部とを備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置および画像処理プログラムに関する。
【背景技術】
【０００２】
従来より、デジタル画像信号における基準レベルを補正するためのクランプ処理が行われている。このクランプ処理においては、実際の量子化ステップ以上のレベルばらつきが生じ横スジ状のノイズが発生する場合がある。
【０００３】
そこで、特許文献１の発明では、このようなクランプ処理による横スジを低減するために有効な乱数発生回路を備えたクランプ回路を提案している。特許文献１の発明では、クランプレベルを小数点以下の精度で算出し、小数点以上の数値は画像信号一律に減算し、小数点未満の数値は小数点以上のクランプレベルに＋１をするかしないかの確率として用いることにより、１ライン全体として、小数点未満の減算を可能にしている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００５−１７５５４６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
ところで、クランプ処理の後段の処理においては、様々なデジタルゲイン処理が行われる。そのため、上述したように横スジを低減した場合でも、多少の段差が残っていれば、その後のデジタルゲイン処理によって段差が大きく強調され、さらにノイズが悪化してしまうという問題がある。
【０００６】
本発明は、上記問題に鑑みてなされたものであり、クランプ処理後に行われるデジタルゲイン処理によって、クランプ処理に起因する横スジが悪化するのを抑えることを目的とする。
【課題を解決するための手段】
【０００７】
本発明の撮像装置は、遮光されたオプティカルブラック領域と有効領域とからなり、前記オプティカルブラック領域および前記有効領域には、第１受光感度で第１画像信号を生成する第１受光素子と、同一条件下で前記第１の受光感度よりも高感度の第２受光感度で第２画像信号を生成する第２受光素子とをそれぞれ含む画素を複数有する撮像素子と、前記第１画像信号および前記第２画像信号に対して、前記オプティカルブラック領域の出力に含まれる暗電流成分に基づくクランプ処理を行う補正部と、前記クランプ処理が施された前記第１画像信号および前記第２画像信号の何れか一方に対して、前記第１受光感度および前記第２受光感度の感度比に基づくゲインを乗じて第３画像信号を生成するとともに、前記クランプ処理が施された前記第１画像信号および前記第２画像信号のうち、前記ゲインを乗じていない方の画像信号と、前記第３画像信号との差分の平均値を、前記クランプ処理により発生する横スジに沿った方向における画素列ごとに算出する算出部とを備える。
【０００８】
なお、前記クランプ処理が施された前記第１画像信号および前記第２画像信号の少なくとも一方に基づき、記録用の画像データを生成する画像処理部と、前記差分の平均値と、前記画像データとを関連付けて記録する記録部とをさらに備えても良い。
【０００９】
また、前記クランプ処理が施された前記第１画像信号および前記第２画像信号の少なくとも一方に基づき、記録用の画像データを生成するとともに、前記画像データの生成に際して乗じられるゲインと、前記差分の平均値とに基づいて、前記画像データに対して、前記横スジを低減する画像処理を行う画像処理部をさらに備えても良い。
【００１０】
また、前記画像処理部は、前記画像データの生成に際して、ゲインを乗じる処理を複数回行う場合には、前記複数回の処理に用いる複数のゲインと、前記差分の平均値とに基づいて、前記画像処理を１回行っても良い。
【００１１】
また、上記発明に関する構成を、処理対象の画像データに対する画像処理をコンピュータで実現するための画像処理プログラムに変換して表現したものも本発明の具体的態様として有効である。
【発明の効果】
【００１２】
本発明によれば、クランプ処理後に行われるデジタルゲイン処理によって、クランプ処理に起因する横スジが悪化するのを抑えることができる。
【図面の簡単な説明】
【００１３】
【図１】本実施形態における電子カメラ１１の構成例を示すブロック図である。
【図２】本実施形態の撮像素子１３の構成を示す模式図である。
【図３】本実施形態の撮像素子１３の構成を示す別の模式図である。
【図４】ＣＰＵ１９の動作を示すフローチャートである。
【図５】図４のフローチャートに対応する流れ図である。
【図６】ＣＰＵ１９の動作を示す別のフローチャートである。
【図７】図６のフローチャートに対応する流れ図である。
【発明を実施するための形態】
【００１４】
以下、図面を用いて本発明の実施形態について説明する。
【００１５】
図１は、本実施形態における電子カメラ１１の構成例を示すブロック図である。電子カメラ１１は、撮像レンズ１２と、撮像素子１３と、ＡＦＥ１４と、画像処理部１５と、第１メモリ１６と、第２メモリ１７と、記録Ｉ／Ｆ１８と、ＣＰＵ１９と、操作部２０と、バス２１とを備えている。ここで、画像処理部１５、第１メモリ１６、第２メモリ１７、記録Ｉ／Ｆ１８、ＣＰＵ１９は、バス２１を介してそれぞれ接続されている。また、撮像素子１３、ＡＦＥ１４、操作部２０は、それぞれＣＰＵ１９と接続されている。
【００１６】
撮像素子１３は、撮像レンズ１２による結像を撮像する撮像デバイスである。本実施形態の撮像素子１３は、任意の受光素子の画像信号をランダムアクセスで読み出し可能なＣＭＯＳ型の固体撮像素子で構成される。なお、撮像素子１３の出力はＡＦＥ１４に接続されている。
【００１７】
図２および図３は、本実施形態の撮像素子１３の構成を示す模式図である。撮像素子１３は、図２に示すように、有効画素領域とＯＢ領域とから成る。「ＯＢ領域」とは、オプティカルブラック領域のことであり、この領域は遮光膜により遮光される。
【００１８】
有効画素領域の受光面上には、図２に示すように、複数の画素がマトリクス状に配列されている。また、撮像素子１３の各画素には、赤色（Ｒ）、緑色（Ｇｒ，Ｇｂ）、青色（Ｂ）のカラーフィルタが公知のベイヤ配列で配置されている。ただし、図２では、１０×４個分の画素を部分的に示すが、実際の撮像素子１３の受光面にはさらに多数の画素が配列されることはいうまでもない。
【００１９】
また、撮像素子１３の各画素は、図３に示すように、２つの受光素子をそれぞれ有している（例えば、「Ｇｒ」と「Ｇｒ‘」）。各画素において、２つの受光素子には、図３に示すように、同じ大きさのフォトダイオード（例えば、「Ｐ−Ｇｒ」と「Ｐ−Ｇｒ‘」）が配置される。また、各画素において、２つの受光素子の上には、図３に示すように、それぞれ集光率の異なるマイクロレンズ（図３中、「円」で示す）が配置される。マイクロレンズは、同一条件下では２つの受光素子における単位時間当たりの受光量が異なるように構成される。以下、単位時間当たりの受光量が相対的に多い受光素子を「主素子」と称し、「Ｘ（ただし、Ｘは、Ｇｒ，Ｇｂ，Ｂ，Ｒの何れか）」の記号を用いて表す。また、単位時間当たりの受光量が相対的に少ない受光素子を「副素子」と称し、「Ｘ’（ただし、Ｘは、Ｇｒ，Ｇｂ，Ｂ，Ｒの何れか）」の記号を用いて表す。なお、本実施形態では、一例として、主素子の感度は、副素子の感度の約３倍に設定されるものとする。
【００２０】
主素子および副素子の出力については様々な利用法が考えられる。例えば、主素子または副素子の出力を選択的に利用して記録用の画像データを生成することも可能であるし、また、主素子および副素子の出力を適宜加算することにより記録用の画像データを生成することも可能である。以下の例では、一例として、主素子の出力のみを利用して記録用の画像データを生成する場合を例に挙げて説明する。
【００２１】
一方、ＯＢ領域にも、図２に示すように、複数のＯＢ画素がマトリクス状に配列されている。ただし、図２では、１０×２個分の画素を部分的に示すが、実際の撮像素子１３の受光面にはさらに多数の画素が配列されることはいうまでもない。また、ＯＢ領域の配置位置や配列については、この例に限定されない。ＯＢ領域の各画素も、有効画素領域の各画素と同様に、２つの受光素子をそれぞれ有している（例えば、「ＯＢ」と「ＯＢ‘」）。各画素においては、有効画素領域の各画素と同様に、２つの受光素子の上に、それぞれ集光率の異なるマイクロレンズが配置される。ただし、ＯＢ領域の画素は遮光膜により遮光されるため、２つの受光素子における単位時間当たりの受光量が異なっていても、同様の出力が得られることになる。
【００２２】
図１において、ＡＦＥ１４は、不図示のアナログゲイン部やＡ／Ｄ変換部を含み、撮像素子１３の出力に対してアナログ信号処理を施すアナログフロントエンド回路である。このＡＦＥ１４は、相関二重サンプリングや、画像信号のゲインの調整や、画像信号のＡ／Ｄ変換を行う。そして、ＡＦＥ１４の出力は画像処理部１５に接続されている。
【００２３】
画像処理部１５は、ＡＦＥ１４から出力されたデジタルの画像信号に対して各種の画像処理（色補間処理、階調変換処理、ホワイトバランス調整など）を施す。また、画像処理部１５は、クランプ処理による横スジを低減するための処理も行う（詳細は後述する）。
【００２４】
第１メモリ１６は、画像処理の前工程や後工程で画像のデータを一時的に記憶する。例えば、第１メモリ１６は、揮発性の記憶媒体であるＳＤＲＡＭにより構成される。また、第２メモリ１７は、ＣＰＵ１９によって実行されるプログラムなどを記憶する不揮発性のメモリである。
【００２５】
記録Ｉ／Ｆ１８は、不揮発性の記憶媒体２２を接続するためのコネクタを有している。そして、記録Ｉ／Ｆ１８は、コネクタに接続された記憶媒体２２に対して後述の本画像のデータの書き込み／読み込みを実行する。上記の記憶媒体２２は、ハードディスクや、半導体メモリを内蔵したメモリカードなどで構成される。なお、図１では記憶媒体２２の一例としてメモリカードを図示する。
【００２６】
ＣＰＵ１９は、電子カメラ１１の動作を統括的に制御するプロセッサである。例えば、ＣＰＵ１９は、被写体の撮影を行うための撮影モードでの動作時において、ユーザの撮像指示入力に応じて撮像素子１３を駆動させて、不揮発性の記憶媒体２２への記録を伴う本画像の撮像処理を実行する。
【００２７】
操作部２０は、ユーザの操作を受け付ける複数のスイッチを有している。この操作部２０は、例えば、本画像の撮像指示を受け付けるレリーズ釦や、十字状のカーソルキーや、決定釦などで構成される。
【００２８】
次に、クランプ処理について説明する。クランプ処理は、画像処理部１５により行われる処理であり、画像信号における基準レベルを補正するための処理である。このクランプ処理においては、上述したように、実際の量子化ステップ以上のレベルばらつきが生じ横スジ状のノイズが発生する場合がある。この横スジは、図２において、ｙ方向に沿って発生する。そこで、本実施形態では、ｙ方向に沿った画素列に含まれる各画素の差分を求め、その平均値を用いて横スジを低減する画像処理を行う。
【００２９】
図４は、横スジを低減する画像処理に用いる平均値Ｄａｖｅを求める際のＣＰＵ１９の動作を示すフローチャートである。この処理は、同列同色の画素単位で行われる。以下では、Ｇｒ成分について、処理を行う例を示す。また、図２中の４つのＧｒ画素（Ｇｒ(１)〜Ｇｒ(４)）から始まり、ｙ方向に伸びる４列を例に挙げて説明する。Ｇｒ画素の他の成分についても同様であり、また、他の色成分についても同様の処理を行うものとする。
【００３０】
ステップＳ１において、ＣＰＵ１９は、算出対象である画素の主素子および副素子の出力を取得する。ＣＰＵ１９は、ＡＦＥ１４から読み出し、画像処理部１５に供給する。図５（ａ）に主素子の出力を示し、図５（ｂ）に副素子の出力を示す。
【００３１】
ステップＳ２において、ＣＰＵ１９は、公知技術と同様に、ＯＢ値を算出する。ＣＰＵ１９は、処理範囲の座標の２ライン分上の行から算出を開始する。算出方法は、例えば移動平均とする。図５（ｃ）に求められたＯＢ値を示す。
【００３２】
ステップＳ３において、ＣＰＵ１９は、画像処理部１５を制御し、主素子および副素子の出力に対してクランプ処理を行う。クランプ処理は、図５（ａ）に示した主素子の出力値および図５（ｂ）に示した副素子の出力値のそれぞれから、図５（ｃ）に示したＯＢ値を減算することにより行う。図５（ｄ）および図５（ｅ）にクランプ処理の結果を示す。
【００３３】
ステップＳ４において、ＣＰＵ１９は、画像処理部１５を制御して、ステップＳ３においてクランプ処理を施した副素子の画素値にゲインＡを乗じる。ゲインＡとは、以下の式により求められるゲインである。
【００３４】
Ａ＝（主素子の感度）÷（副素子の感度） ・・・（式１）
本実施形態では、主素子の感度は、副素子の感度の約３倍に設定されているため、Ａ＝３となる。図５（ｆ）にこの処理の結果を示す。
【００３５】
ステップＳ５において、ＣＰＵ１９は、主素子および副素子の出力値が、「ともに飽和していない、かつ、０でない」か否を判定する。ただし、以降の処理において、主素子の出力値は、ステップＳ３におけるクランプ処理後の出力値であり、副素子の出力値は、ステップＳ３におけるクランプ処理と、ステップＳ４におけるゲインＡを乗じる処理とが施された出力値である。この判定により、主素子および副素子の出力値が飽和または０である場合に、その画素を後述する平均値Ｄａｖｅの算出対象から除外することができる。ＣＰＵ１９は、肯定判定の場合にはステップＳ６に進み、否定判定の場合には後述するステップＳ８に進む。
【００３６】
ステップＳ６において、ＣＰＵ１９は、主素子および副素子の出力値の差分値Ｄを算出する。差分値Ｄは以下の式により求められる。
【００３７】
Ｄ＝（副画素の出力値）−（主画素の出力値） ・・・（式２）
ただし、式２中の副画素の出力値は、上述したように、ステップＳ３におけるクランプ処理と、ステップＳ４におけるゲインＡを乗じる処理とが施された出力値である。
【００３８】
ステップＳ７において、ＣＰＵ１９は、ステップＳ６で算出した差分値Ｄの絶対値が所定の閾値Ｔｈ未満であるか否かを判定する。閾値Ｔｈは、予め定められた値である。この判定により、主素子および副素子の出力値の間に著しい差がある場合に、その画素を後述する平均値Ｄａｖｅの算出対象から除外することができる。ＣＰＵ１９は、肯定判定の場合には後述するステップＳ９に進み、否定判定の場合にはステップＳ８に進む。
【００３９】
ステップＳ８において、ＣＰＵ１９は、ステップＳ１で算出対象とした画素のフラグをフラグ＝０とする。「フラグ＝０」とは、「この画素の出力値を平均値Ｄａｖｅの算出対象から除外する」ことを意味する。ＣＰＵ１９は、フラグ＝０とすると、次の画素を算出対象として、ステップＳ１に戻る。
【００４０】
ステップＳ９において、ＣＰＵ１９は、ステップＳ１で算出対象とした画素のフラグをフラグ＝１とする。「フラグ＝１」とは、「この画素の出力値を平均値Ｄａｖｅの算出対象とする」ことを意味する。
【００４１】
ステップＳ１０において、ＣＰＵ１９は、１ラインの全ての画素について処理を行ったか否かを判定する。例えば、図２において、画素Ｇｒ(１)に関しては、画素Ｇｒ(１)から始まり、ｙ方向に伸びる１列を１ラインとする。ＣＰＵ１９は、肯定判定の場合にはステップＳ１１に進み、否定判定の場合には同じラインの次の画素を算出対象として、ステップＳ１に戻る。
【００４２】
ステップＳ１１において、ＣＰＵ１９は、差分値Ｄの平均値Ｄａｖｅを算出する。このとき、ＣＰＵ１９は、フラグ＝１である画素のみを算出対象として平均値Ｄａｖｅを算出する。平均値Ｄａｖｅは、以下の式により求められる。
【００４３】
Ｄａｖｅ＝（ΣＤ）÷（フラグ＝１である画素数） ・・・（式３）
図５（ｇ）に平均値Ｄａｖｅの例を示す。図５（ａ）〜（ｆ）は、ある画素における結果を示しているが、図５（ｇ）は、１ライン分の画素に基づく平均値Ｄａｖｅを示している。すなわち、平均値Ｄａｖｅは、ライン毎に算出される。このように差分値の平均値を算出することにより、ランダムノイズを打ち消すことができる。
【００４４】
なお、平均値Ｄａｖｅを算出する際に、フラグ＝１である画素数と所定の閾値とを比較することにより、フラグ＝１である画素数が少なすぎる場合には、ステップＳ２で算出したＯＢ値を平均値Ｄａｖｅとして用いても良い。
【００４５】
ステップＳ１２において、ＣＰＵ１９は、ステップＳ１１で算出したライン毎の平均値Ｄａｖｅを第１メモリ１６、ＣＰＵ１９内の不図示のメモリ、メモリカード２２などに記録する。このとき、ＣＰＵ１９は、平均値Ｄａｖｅと、主素子の出力に基づく画像データとを関連付けて記録しても良い。
【００４６】
ステップＳ１３において、ＣＰＵ１９は、全てのラインについて処理を行ったか否かを判定する。ＣＰＵ１９は、肯定判定の場合には一連の処理を終了し、否定判定の場合には次のラインの最初の画素を算出対象として、ステップＳ１に戻る。
【００４７】
次に、上述した一連の処理により算出した平均値Ｄａｖｅを用いて、横スジを低減する画像処理を行う際のＣＰＵ１９の動作について、図６に示すフローチャートを用いて説明する。以下説明する処理は、画像処理部１５により画像処理が行われる際に実行される。なお、処理対象の画像については、図２を用いて説明した平均値Ｄａｖｅが予め求められているものとする。
【００４８】
ステップＳ２１において、ＣＰＵ１９は、画像処理部１５においてデジタルゲイン処理が行われたか否かを判定する。ＣＰＵ１９は、画像処理部１５においてデジタルゲイン処理が行われたか否かを監視し、デジタルゲイン処理が行われたと判定するとステップＳ２２に進む。
【００４９】
ステップＳ２２において、ＣＰＵ１９は、上述したデジタルゲイン処理におけるゲインＢを取得する。
【００５０】
ステップＳ２３において、ＣＰＵ１９は、画像処理部１５を制御して、画像処理部１５による画像処理対象の画像データ（主画素の出力値にゲインＢを乗じた値）から減算する値Ｃを、ライン毎の平均値Ｄａｖｅと、ステップＳ２２で取得したゲインＢとに基づいて算出する。Ｃは、以下の式により求められる。
【００５１】
Ｃ＝Ｄａｖｅ×Ｂ÷Ａ ・・・（式４）
式４において、Ａとは、図４のステップＳ４で説明したゲインである。
【００５２】
図７（ａ）は、図５（ｄ）と同じ図であり、図４のフローチャートのステップＳ３で説明したクランプ処理後の主画素の出力値を示す。また、図７（ｂ）は、上述したデジタルゲイン処理において、ゲインＢが乗じられた後の主画素の出力値を示す。図７（ｂ）では、ゲインＢ＝４である場合の例を示す。また、図７（ｃ）は、図５（ｇ）と同じ図であり、図４のフローチャートのステップＳ１１で説明した平均値Ｄａｖｅを示す。
【００５３】
Ｇｒ(１)においては、Ｃ＝０×４÷３＝０となり、Ｇｒ(２)においては、Ｃ＝(＋２)×４÷３＝２．６６６…となる。この処理はデジタル処理であるため、小数点以下は四捨五入され、Ｃ＝３となる。なお、Ｇｒ(１)およびＧｒ(２)の例では、Ｃ≧０であるが、Ｄａｖｅ，Ｂ，Ａの値によっては、Ｃ＜０となる場合もある。
【００５４】
図４において説明したように、平均値Ｄａｖｅは、ライン毎に算出される。したがって、ＣＰＵ１９は、ライン毎に値Ｃを算出する。
【００５５】
ステップＳ２４において、ＣＰＵ１９は、ライン毎に、主画素の出力値にゲインＢを乗じた値からステップＳ２３で算出した値Ｃを減算する。
【００５６】
Ｇｒ(１)においては、３６００−０＝３６００となり、Ｇｒ(２)においては、３６０４−３＝３６０１となる。図７（ｄ）にこの処理の結果を示す。図７（ｂ）と図７（ｄ）とを比較すると、図７（ｂ）においては、ゲインＢを乗じるデジタルゲインにより、Ｇｒ(１)およびＧｒ(２)における値の差は４ＬＳＢに拡大している。この差は横スジとなる。これに対して、図７（ｄ）においては、値Ｃを減算する処理により、Ｇｒ(１)およびＧｒ(２)における値の差は１ＬＳＢに抑えられていることがわかる。
【００５７】
ステップＳ２５において、ＣＰＵ１９は、処理済みの画像を、第１メモリ１６、ＣＰＵ１９内の不図示のメモリ、メモリカード２２などに記録して、一連の処理を終了する。
【００５８】
なお、図６のフローチャートで説明した画像処理は、画像処理部１５においてデジタルゲイン処理が行われる度に実行しても良いし、まとめて実行しても良い。例えば、ホワイトバランス調整でゲインα、γ処理でゲインβが乗じられる場合には、α×βをステップＳ２２におけるゲインＢとして、同様の処理を行えばよい。このように処理をまとめることにより、演算を簡略化することができる。また、一部のデジタルゲイン処理については、ゲインをまとめて図６のフローチャートで説明した画像処理を行い、その他のデジタルゲイン処理については、デジタルゲイン処理が行われる度に、同様の画像処理を行っても良い。
【００５９】
以上説明したように、本実施形態によれば、主素子と、同一条件下で主素子よりも高感度の副素子とをそれぞれ含む画素を複数有する撮像素子を備え、クランプ処理が施された副素子の出力値に対して、主素子および副素子の感度比に基づくゲインを乗じ、その値と、主素子の出力値との差分の平均値を、クランプ処理により発生する横スジに沿った方向における画素列ごとに算出する。したがって、この差分の平均値を用いた画像処理を行うことにより、クランプ処理後に行われるデジタルゲイン処理によって、クランプ処理に起因する横スジが悪化するのを抑えることができる。
【００６０】
＜変形例＞
上記の実施形態では、主素子の出力値に基づいて記録用の画像データを生成する場合を例に挙げて説明したが、本発明はこの例に限定されない。例えば、副素子の出力値に基づいて記録用の画像データを生成する場合には、上記の実施形態で説明した主素子と副素子とを全て入れ換えればよい。また、主素子および副素子の出力を適宜加算することにより記録用の画像データを生成する場合にも、本発明を適用することができる。
【００６１】
また、画像を電子的に拡大する、いわゆる電子ズーム処理を行う場合には、該当部分のみを対象として、上記の実施形態で説明した処理を行えばよい。
【００６２】
また、２つの受光素子の上にそれぞれ集光率の異なるマイクロレンズを配置して、２つの受光素子間で感度差を生じさせる構成とした。この場合には、２つの受光素子を同じ半導体プロセスで製造することが可能となる。ただし、本発明の撮像素子は上記構成に限定されるものではない。
【００６３】
例えば、２つの受光素子の上にそれぞれ光の透過率の異なる同色のカラーフィルタを配置して、２つの受光素子間で感度差を生じさせるようにしてもよい。この場合も、２つの受光素子を同じ半導体プロセスで製造することも可能となる。
【００６４】
さらに、１画素に光電変換の効率が異なる２つの受光素子を配置することで、２つの受光素子を構成してもよい。
【００６５】
また、２つの受光素子の受光面積を異なる大きさとすることにより単位時間当たりの受光量を変化させても良い。
【００６６】
さらに、上記の実施形態では、感度の異なる２つの受光素子を備える例を示したが、３種類以上の感度の異なる受光素子を備えても良い。
【００６７】
また、上記の実施形態で説明した処理を実行可能な撮像素子も本発明の具体的態様として有効である。例えば、撮像素子１３としてＣＣＤ撮像素子を備えても良い。この場合、全画素の出力を一旦出力した後に、上記の実施形態で説明した処理を行えばよい。
【００６８】
また、上記の実施形態においてＣＰＵ１９７が行った処理の一部または全部を、コンピュータで実現する構成としても良い。この場合、コンピュータに、本実施形態のＣＰＵ１９が行った処理（図４，図６）の一部または全部を実行するための画像処理プログラムを記憶しておき、この画像処理プログラムにより、同様の処理を行うことで、本実施形態と同等の効果を得ることができる。なお、画像処理プログラムで実現する際には、付帯情報などに適宜必要な情報を記憶しておき、この情報に基づいて、各処理を行えば良い。
【００６９】
以上の詳細な説明により、実施形態の特徴点および利点は明らかになるであろう。これは、特許請求の範囲が、その精神および権利範囲を逸脱しない範囲で前述のような実施形態の特徴点および利点にまで及ぶことを意図する。また、当該技術分野において通常の知識を有する者であれば、あらゆる改良および変更に容易に想到できるはずであり、発明性を有する実施形態の範囲を前述したものに限定する意図はなく、実施形態に開示された範囲に含まれる適当な改良物および均等物によることも可能である。
【符号の説明】
【００７０】
１１…電子カメラ、１３…撮像素子、１４…ＡＦＥ、１５…画像処理部、１９…ＣＰＵ
【技術分野】
【０００１】
本発明は、撮像装置および画像処理プログラムに関する。
【背景技術】
【０００２】
従来より、デジタル画像信号における基準レベルを補正するためのクランプ処理が行われている。このクランプ処理においては、実際の量子化ステップ以上のレベルばらつきが生じ横スジ状のノイズが発生する場合がある。
【０００３】
そこで、特許文献１の発明では、このようなクランプ処理による横スジを低減するために有効な乱数発生回路を備えたクランプ回路を提案している。特許文献１の発明では、クランプレベルを小数点以下の精度で算出し、小数点以上の数値は画像信号一律に減算し、小数点未満の数値は小数点以上のクランプレベルに＋１をするかしないかの確率として用いることにより、１ライン全体として、小数点未満の減算を可能にしている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００５−１７５５４６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
ところで、クランプ処理の後段の処理においては、様々なデジタルゲイン処理が行われる。そのため、上述したように横スジを低減した場合でも、多少の段差が残っていれば、その後のデジタルゲイン処理によって段差が大きく強調され、さらにノイズが悪化してしまうという問題がある。
【０００６】
本発明は、上記問題に鑑みてなされたものであり、クランプ処理後に行われるデジタルゲイン処理によって、クランプ処理に起因する横スジが悪化するのを抑えることを目的とする。
【課題を解決するための手段】
【０００７】
本発明の撮像装置は、遮光されたオプティカルブラック領域と有効領域とからなり、前記オプティカルブラック領域および前記有効領域には、第１受光感度で第１画像信号を生成する第１受光素子と、同一条件下で前記第１の受光感度よりも高感度の第２受光感度で第２画像信号を生成する第２受光素子とをそれぞれ含む画素を複数有する撮像素子と、前記第１画像信号および前記第２画像信号に対して、前記オプティカルブラック領域の出力に含まれる暗電流成分に基づくクランプ処理を行う補正部と、前記クランプ処理が施された前記第１画像信号および前記第２画像信号の何れか一方に対して、前記第１受光感度および前記第２受光感度の感度比に基づくゲインを乗じて第３画像信号を生成するとともに、前記クランプ処理が施された前記第１画像信号および前記第２画像信号のうち、前記ゲインを乗じていない方の画像信号と、前記第３画像信号との差分の平均値を、前記クランプ処理により発生する横スジに沿った方向における画素列ごとに算出する算出部とを備える。
【０００８】
なお、前記クランプ処理が施された前記第１画像信号および前記第２画像信号の少なくとも一方に基づき、記録用の画像データを生成する画像処理部と、前記差分の平均値と、前記画像データとを関連付けて記録する記録部とをさらに備えても良い。
【０００９】
また、前記クランプ処理が施された前記第１画像信号および前記第２画像信号の少なくとも一方に基づき、記録用の画像データを生成するとともに、前記画像データの生成に際して乗じられるゲインと、前記差分の平均値とに基づいて、前記画像データに対して、前記横スジを低減する画像処理を行う画像処理部をさらに備えても良い。
【００１０】
また、前記画像処理部は、前記画像データの生成に際して、ゲインを乗じる処理を複数回行う場合には、前記複数回の処理に用いる複数のゲインと、前記差分の平均値とに基づいて、前記画像処理を１回行っても良い。
【００１１】
また、上記発明に関する構成を、処理対象の画像データに対する画像処理をコンピュータで実現するための画像処理プログラムに変換して表現したものも本発明の具体的態様として有効である。
【発明の効果】
【００１２】
本発明によれば、クランプ処理後に行われるデジタルゲイン処理によって、クランプ処理に起因する横スジが悪化するのを抑えることができる。
【図面の簡単な説明】
【００１３】
【図１】本実施形態における電子カメラ１１の構成例を示すブロック図である。
【図２】本実施形態の撮像素子１３の構成を示す模式図である。
【図３】本実施形態の撮像素子１３の構成を示す別の模式図である。
【図４】ＣＰＵ１９の動作を示すフローチャートである。
【図５】図４のフローチャートに対応する流れ図である。
【図６】ＣＰＵ１９の動作を示す別のフローチャートである。
【図７】図６のフローチャートに対応する流れ図である。
【発明を実施するための形態】
【００１４】
以下、図面を用いて本発明の実施形態について説明する。
【００１５】
図１は、本実施形態における電子カメラ１１の構成例を示すブロック図である。電子カメラ１１は、撮像レンズ１２と、撮像素子１３と、ＡＦＥ１４と、画像処理部１５と、第１メモリ１６と、第２メモリ１７と、記録Ｉ／Ｆ１８と、ＣＰＵ１９と、操作部２０と、バス２１とを備えている。ここで、画像処理部１５、第１メモリ１６、第２メモリ１７、記録Ｉ／Ｆ１８、ＣＰＵ１９は、バス２１を介してそれぞれ接続されている。また、撮像素子１３、ＡＦＥ１４、操作部２０は、それぞれＣＰＵ１９と接続されている。
【００１６】
撮像素子１３は、撮像レンズ１２による結像を撮像する撮像デバイスである。本実施形態の撮像素子１３は、任意の受光素子の画像信号をランダムアクセスで読み出し可能なＣＭＯＳ型の固体撮像素子で構成される。なお、撮像素子１３の出力はＡＦＥ１４に接続されている。
【００１７】
図２および図３は、本実施形態の撮像素子１３の構成を示す模式図である。撮像素子１３は、図２に示すように、有効画素領域とＯＢ領域とから成る。「ＯＢ領域」とは、オプティカルブラック領域のことであり、この領域は遮光膜により遮光される。
【００１８】
有効画素領域の受光面上には、図２に示すように、複数の画素がマトリクス状に配列されている。また、撮像素子１３の各画素には、赤色（Ｒ）、緑色（Ｇｒ，Ｇｂ）、青色（Ｂ）のカラーフィルタが公知のベイヤ配列で配置されている。ただし、図２では、１０×４個分の画素を部分的に示すが、実際の撮像素子１３の受光面にはさらに多数の画素が配列されることはいうまでもない。
【００１９】
また、撮像素子１３の各画素は、図３に示すように、２つの受光素子をそれぞれ有している（例えば、「Ｇｒ」と「Ｇｒ‘」）。各画素において、２つの受光素子には、図３に示すように、同じ大きさのフォトダイオード（例えば、「Ｐ−Ｇｒ」と「Ｐ−Ｇｒ‘」）が配置される。また、各画素において、２つの受光素子の上には、図３に示すように、それぞれ集光率の異なるマイクロレンズ（図３中、「円」で示す）が配置される。マイクロレンズは、同一条件下では２つの受光素子における単位時間当たりの受光量が異なるように構成される。以下、単位時間当たりの受光量が相対的に多い受光素子を「主素子」と称し、「Ｘ（ただし、Ｘは、Ｇｒ，Ｇｂ，Ｂ，Ｒの何れか）」の記号を用いて表す。また、単位時間当たりの受光量が相対的に少ない受光素子を「副素子」と称し、「Ｘ’（ただし、Ｘは、Ｇｒ，Ｇｂ，Ｂ，Ｒの何れか）」の記号を用いて表す。なお、本実施形態では、一例として、主素子の感度は、副素子の感度の約３倍に設定されるものとする。
【００２０】
主素子および副素子の出力については様々な利用法が考えられる。例えば、主素子または副素子の出力を選択的に利用して記録用の画像データを生成することも可能であるし、また、主素子および副素子の出力を適宜加算することにより記録用の画像データを生成することも可能である。以下の例では、一例として、主素子の出力のみを利用して記録用の画像データを生成する場合を例に挙げて説明する。
【００２１】
一方、ＯＢ領域にも、図２に示すように、複数のＯＢ画素がマトリクス状に配列されている。ただし、図２では、１０×２個分の画素を部分的に示すが、実際の撮像素子１３の受光面にはさらに多数の画素が配列されることはいうまでもない。また、ＯＢ領域の配置位置や配列については、この例に限定されない。ＯＢ領域の各画素も、有効画素領域の各画素と同様に、２つの受光素子をそれぞれ有している（例えば、「ＯＢ」と「ＯＢ‘」）。各画素においては、有効画素領域の各画素と同様に、２つの受光素子の上に、それぞれ集光率の異なるマイクロレンズが配置される。ただし、ＯＢ領域の画素は遮光膜により遮光されるため、２つの受光素子における単位時間当たりの受光量が異なっていても、同様の出力が得られることになる。
【００２２】
図１において、ＡＦＥ１４は、不図示のアナログゲイン部やＡ／Ｄ変換部を含み、撮像素子１３の出力に対してアナログ信号処理を施すアナログフロントエンド回路である。このＡＦＥ１４は、相関二重サンプリングや、画像信号のゲインの調整や、画像信号のＡ／Ｄ変換を行う。そして、ＡＦＥ１４の出力は画像処理部１５に接続されている。
【００２３】
画像処理部１５は、ＡＦＥ１４から出力されたデジタルの画像信号に対して各種の画像処理（色補間処理、階調変換処理、ホワイトバランス調整など）を施す。また、画像処理部１５は、クランプ処理による横スジを低減するための処理も行う（詳細は後述する）。
【００２４】
第１メモリ１６は、画像処理の前工程や後工程で画像のデータを一時的に記憶する。例えば、第１メモリ１６は、揮発性の記憶媒体であるＳＤＲＡＭにより構成される。また、第２メモリ１７は、ＣＰＵ１９によって実行されるプログラムなどを記憶する不揮発性のメモリである。
【００２５】
記録Ｉ／Ｆ１８は、不揮発性の記憶媒体２２を接続するためのコネクタを有している。そして、記録Ｉ／Ｆ１８は、コネクタに接続された記憶媒体２２に対して後述の本画像のデータの書き込み／読み込みを実行する。上記の記憶媒体２２は、ハードディスクや、半導体メモリを内蔵したメモリカードなどで構成される。なお、図１では記憶媒体２２の一例としてメモリカードを図示する。
【００２６】
ＣＰＵ１９は、電子カメラ１１の動作を統括的に制御するプロセッサである。例えば、ＣＰＵ１９は、被写体の撮影を行うための撮影モードでの動作時において、ユーザの撮像指示入力に応じて撮像素子１３を駆動させて、不揮発性の記憶媒体２２への記録を伴う本画像の撮像処理を実行する。
【００２７】
操作部２０は、ユーザの操作を受け付ける複数のスイッチを有している。この操作部２０は、例えば、本画像の撮像指示を受け付けるレリーズ釦や、十字状のカーソルキーや、決定釦などで構成される。
【００２８】
次に、クランプ処理について説明する。クランプ処理は、画像処理部１５により行われる処理であり、画像信号における基準レベルを補正するための処理である。このクランプ処理においては、上述したように、実際の量子化ステップ以上のレベルばらつきが生じ横スジ状のノイズが発生する場合がある。この横スジは、図２において、ｙ方向に沿って発生する。そこで、本実施形態では、ｙ方向に沿った画素列に含まれる各画素の差分を求め、その平均値を用いて横スジを低減する画像処理を行う。
【００２９】
図４は、横スジを低減する画像処理に用いる平均値Ｄａｖｅを求める際のＣＰＵ１９の動作を示すフローチャートである。この処理は、同列同色の画素単位で行われる。以下では、Ｇｒ成分について、処理を行う例を示す。また、図２中の４つのＧｒ画素（Ｇｒ(１)〜Ｇｒ(４)）から始まり、ｙ方向に伸びる４列を例に挙げて説明する。Ｇｒ画素の他の成分についても同様であり、また、他の色成分についても同様の処理を行うものとする。
【００３０】
ステップＳ１において、ＣＰＵ１９は、算出対象である画素の主素子および副素子の出力を取得する。ＣＰＵ１９は、ＡＦＥ１４から読み出し、画像処理部１５に供給する。図５（ａ）に主素子の出力を示し、図５（ｂ）に副素子の出力を示す。
【００３１】
ステップＳ２において、ＣＰＵ１９は、公知技術と同様に、ＯＢ値を算出する。ＣＰＵ１９は、処理範囲の座標の２ライン分上の行から算出を開始する。算出方法は、例えば移動平均とする。図５（ｃ）に求められたＯＢ値を示す。
【００３２】
ステップＳ３において、ＣＰＵ１９は、画像処理部１５を制御し、主素子および副素子の出力に対してクランプ処理を行う。クランプ処理は、図５（ａ）に示した主素子の出力値および図５（ｂ）に示した副素子の出力値のそれぞれから、図５（ｃ）に示したＯＢ値を減算することにより行う。図５（ｄ）および図５（ｅ）にクランプ処理の結果を示す。
【００３３】
ステップＳ４において、ＣＰＵ１９は、画像処理部１５を制御して、ステップＳ３においてクランプ処理を施した副素子の画素値にゲインＡを乗じる。ゲインＡとは、以下の式により求められるゲインである。
【００３４】
Ａ＝（主素子の感度）÷（副素子の感度） ・・・（式１）
本実施形態では、主素子の感度は、副素子の感度の約３倍に設定されているため、Ａ＝３となる。図５（ｆ）にこの処理の結果を示す。
【００３５】
ステップＳ５において、ＣＰＵ１９は、主素子および副素子の出力値が、「ともに飽和していない、かつ、０でない」か否を判定する。ただし、以降の処理において、主素子の出力値は、ステップＳ３におけるクランプ処理後の出力値であり、副素子の出力値は、ステップＳ３におけるクランプ処理と、ステップＳ４におけるゲインＡを乗じる処理とが施された出力値である。この判定により、主素子および副素子の出力値が飽和または０である場合に、その画素を後述する平均値Ｄａｖｅの算出対象から除外することができる。ＣＰＵ１９は、肯定判定の場合にはステップＳ６に進み、否定判定の場合には後述するステップＳ８に進む。
【００３６】
ステップＳ６において、ＣＰＵ１９は、主素子および副素子の出力値の差分値Ｄを算出する。差分値Ｄは以下の式により求められる。
【００３７】
Ｄ＝（副画素の出力値）−（主画素の出力値） ・・・（式２）
ただし、式２中の副画素の出力値は、上述したように、ステップＳ３におけるクランプ処理と、ステップＳ４におけるゲインＡを乗じる処理とが施された出力値である。
【００３８】
ステップＳ７において、ＣＰＵ１９は、ステップＳ６で算出した差分値Ｄの絶対値が所定の閾値Ｔｈ未満であるか否かを判定する。閾値Ｔｈは、予め定められた値である。この判定により、主素子および副素子の出力値の間に著しい差がある場合に、その画素を後述する平均値Ｄａｖｅの算出対象から除外することができる。ＣＰＵ１９は、肯定判定の場合には後述するステップＳ９に進み、否定判定の場合にはステップＳ８に進む。
【００３９】
ステップＳ８において、ＣＰＵ１９は、ステップＳ１で算出対象とした画素のフラグをフラグ＝０とする。「フラグ＝０」とは、「この画素の出力値を平均値Ｄａｖｅの算出対象から除外する」ことを意味する。ＣＰＵ１９は、フラグ＝０とすると、次の画素を算出対象として、ステップＳ１に戻る。
【００４０】
ステップＳ９において、ＣＰＵ１９は、ステップＳ１で算出対象とした画素のフラグをフラグ＝１とする。「フラグ＝１」とは、「この画素の出力値を平均値Ｄａｖｅの算出対象とする」ことを意味する。
【００４１】
ステップＳ１０において、ＣＰＵ１９は、１ラインの全ての画素について処理を行ったか否かを判定する。例えば、図２において、画素Ｇｒ(１)に関しては、画素Ｇｒ(１)から始まり、ｙ方向に伸びる１列を１ラインとする。ＣＰＵ１９は、肯定判定の場合にはステップＳ１１に進み、否定判定の場合には同じラインの次の画素を算出対象として、ステップＳ１に戻る。
【００４２】
ステップＳ１１において、ＣＰＵ１９は、差分値Ｄの平均値Ｄａｖｅを算出する。このとき、ＣＰＵ１９は、フラグ＝１である画素のみを算出対象として平均値Ｄａｖｅを算出する。平均値Ｄａｖｅは、以下の式により求められる。
【００４３】
Ｄａｖｅ＝（ΣＤ）÷（フラグ＝１である画素数） ・・・（式３）
図５（ｇ）に平均値Ｄａｖｅの例を示す。図５（ａ）〜（ｆ）は、ある画素における結果を示しているが、図５（ｇ）は、１ライン分の画素に基づく平均値Ｄａｖｅを示している。すなわち、平均値Ｄａｖｅは、ライン毎に算出される。このように差分値の平均値を算出することにより、ランダムノイズを打ち消すことができる。
【００４４】
なお、平均値Ｄａｖｅを算出する際に、フラグ＝１である画素数と所定の閾値とを比較することにより、フラグ＝１である画素数が少なすぎる場合には、ステップＳ２で算出したＯＢ値を平均値Ｄａｖｅとして用いても良い。
【００４５】
ステップＳ１２において、ＣＰＵ１９は、ステップＳ１１で算出したライン毎の平均値Ｄａｖｅを第１メモリ１６、ＣＰＵ１９内の不図示のメモリ、メモリカード２２などに記録する。このとき、ＣＰＵ１９は、平均値Ｄａｖｅと、主素子の出力に基づく画像データとを関連付けて記録しても良い。
【００４６】
ステップＳ１３において、ＣＰＵ１９は、全てのラインについて処理を行ったか否かを判定する。ＣＰＵ１９は、肯定判定の場合には一連の処理を終了し、否定判定の場合には次のラインの最初の画素を算出対象として、ステップＳ１に戻る。
【００４７】
次に、上述した一連の処理により算出した平均値Ｄａｖｅを用いて、横スジを低減する画像処理を行う際のＣＰＵ１９の動作について、図６に示すフローチャートを用いて説明する。以下説明する処理は、画像処理部１５により画像処理が行われる際に実行される。なお、処理対象の画像については、図２を用いて説明した平均値Ｄａｖｅが予め求められているものとする。
【００４８】
ステップＳ２１において、ＣＰＵ１９は、画像処理部１５においてデジタルゲイン処理が行われたか否かを判定する。ＣＰＵ１９は、画像処理部１５においてデジタルゲイン処理が行われたか否かを監視し、デジタルゲイン処理が行われたと判定するとステップＳ２２に進む。
【００４９】
ステップＳ２２において、ＣＰＵ１９は、上述したデジタルゲイン処理におけるゲインＢを取得する。
【００５０】
ステップＳ２３において、ＣＰＵ１９は、画像処理部１５を制御して、画像処理部１５による画像処理対象の画像データ（主画素の出力値にゲインＢを乗じた値）から減算する値Ｃを、ライン毎の平均値Ｄａｖｅと、ステップＳ２２で取得したゲインＢとに基づいて算出する。Ｃは、以下の式により求められる。
【００５１】
Ｃ＝Ｄａｖｅ×Ｂ÷Ａ ・・・（式４）
式４において、Ａとは、図４のステップＳ４で説明したゲインである。
【００５２】
図７（ａ）は、図５（ｄ）と同じ図であり、図４のフローチャートのステップＳ３で説明したクランプ処理後の主画素の出力値を示す。また、図７（ｂ）は、上述したデジタルゲイン処理において、ゲインＢが乗じられた後の主画素の出力値を示す。図７（ｂ）では、ゲインＢ＝４である場合の例を示す。また、図７（ｃ）は、図５（ｇ）と同じ図であり、図４のフローチャートのステップＳ１１で説明した平均値Ｄａｖｅを示す。
【００５３】
Ｇｒ(１)においては、Ｃ＝０×４÷３＝０となり、Ｇｒ(２)においては、Ｃ＝(＋２)×４÷３＝２．６６６…となる。この処理はデジタル処理であるため、小数点以下は四捨五入され、Ｃ＝３となる。なお、Ｇｒ(１)およびＧｒ(２)の例では、Ｃ≧０であるが、Ｄａｖｅ，Ｂ，Ａの値によっては、Ｃ＜０となる場合もある。
【００５４】
図４において説明したように、平均値Ｄａｖｅは、ライン毎に算出される。したがって、ＣＰＵ１９は、ライン毎に値Ｃを算出する。
【００５５】
ステップＳ２４において、ＣＰＵ１９は、ライン毎に、主画素の出力値にゲインＢを乗じた値からステップＳ２３で算出した値Ｃを減算する。
【００５６】
Ｇｒ(１)においては、３６００−０＝３６００となり、Ｇｒ(２)においては、３６０４−３＝３６０１となる。図７（ｄ）にこの処理の結果を示す。図７（ｂ）と図７（ｄ）とを比較すると、図７（ｂ）においては、ゲインＢを乗じるデジタルゲインにより、Ｇｒ(１)およびＧｒ(２)における値の差は４ＬＳＢに拡大している。この差は横スジとなる。これに対して、図７（ｄ）においては、値Ｃを減算する処理により、Ｇｒ(１)およびＧｒ(２)における値の差は１ＬＳＢに抑えられていることがわかる。
【００５７】
ステップＳ２５において、ＣＰＵ１９は、処理済みの画像を、第１メモリ１６、ＣＰＵ１９内の不図示のメモリ、メモリカード２２などに記録して、一連の処理を終了する。
【００５８】
なお、図６のフローチャートで説明した画像処理は、画像処理部１５においてデジタルゲイン処理が行われる度に実行しても良いし、まとめて実行しても良い。例えば、ホワイトバランス調整でゲインα、γ処理でゲインβが乗じられる場合には、α×βをステップＳ２２におけるゲインＢとして、同様の処理を行えばよい。このように処理をまとめることにより、演算を簡略化することができる。また、一部のデジタルゲイン処理については、ゲインをまとめて図６のフローチャートで説明した画像処理を行い、その他のデジタルゲイン処理については、デジタルゲイン処理が行われる度に、同様の画像処理を行っても良い。
【００５９】
以上説明したように、本実施形態によれば、主素子と、同一条件下で主素子よりも高感度の副素子とをそれぞれ含む画素を複数有する撮像素子を備え、クランプ処理が施された副素子の出力値に対して、主素子および副素子の感度比に基づくゲインを乗じ、その値と、主素子の出力値との差分の平均値を、クランプ処理により発生する横スジに沿った方向における画素列ごとに算出する。したがって、この差分の平均値を用いた画像処理を行うことにより、クランプ処理後に行われるデジタルゲイン処理によって、クランプ処理に起因する横スジが悪化するのを抑えることができる。
【００６０】
＜変形例＞
上記の実施形態では、主素子の出力値に基づいて記録用の画像データを生成する場合を例に挙げて説明したが、本発明はこの例に限定されない。例えば、副素子の出力値に基づいて記録用の画像データを生成する場合には、上記の実施形態で説明した主素子と副素子とを全て入れ換えればよい。また、主素子および副素子の出力を適宜加算することにより記録用の画像データを生成する場合にも、本発明を適用することができる。
【００６１】
また、画像を電子的に拡大する、いわゆる電子ズーム処理を行う場合には、該当部分のみを対象として、上記の実施形態で説明した処理を行えばよい。
【００６２】
また、２つの受光素子の上にそれぞれ集光率の異なるマイクロレンズを配置して、２つの受光素子間で感度差を生じさせる構成とした。この場合には、２つの受光素子を同じ半導体プロセスで製造することが可能となる。ただし、本発明の撮像素子は上記構成に限定されるものではない。
【００６３】
例えば、２つの受光素子の上にそれぞれ光の透過率の異なる同色のカラーフィルタを配置して、２つの受光素子間で感度差を生じさせるようにしてもよい。この場合も、２つの受光素子を同じ半導体プロセスで製造することも可能となる。
【００６４】
さらに、１画素に光電変換の効率が異なる２つの受光素子を配置することで、２つの受光素子を構成してもよい。
【００６５】
また、２つの受光素子の受光面積を異なる大きさとすることにより単位時間当たりの受光量を変化させても良い。
【００６６】
さらに、上記の実施形態では、感度の異なる２つの受光素子を備える例を示したが、３種類以上の感度の異なる受光素子を備えても良い。
【００６７】
また、上記の実施形態で説明した処理を実行可能な撮像素子も本発明の具体的態様として有効である。例えば、撮像素子１３としてＣＣＤ撮像素子を備えても良い。この場合、全画素の出力を一旦出力した後に、上記の実施形態で説明した処理を行えばよい。
【００６８】
また、上記の実施形態においてＣＰＵ１９７が行った処理の一部または全部を、コンピュータで実現する構成としても良い。この場合、コンピュータに、本実施形態のＣＰＵ１９が行った処理（図４，図６）の一部または全部を実行するための画像処理プログラムを記憶しておき、この画像処理プログラムにより、同様の処理を行うことで、本実施形態と同等の効果を得ることができる。なお、画像処理プログラムで実現する際には、付帯情報などに適宜必要な情報を記憶しておき、この情報に基づいて、各処理を行えば良い。
【００６９】
以上の詳細な説明により、実施形態の特徴点および利点は明らかになるであろう。これは、特許請求の範囲が、その精神および権利範囲を逸脱しない範囲で前述のような実施形態の特徴点および利点にまで及ぶことを意図する。また、当該技術分野において通常の知識を有する者であれば、あらゆる改良および変更に容易に想到できるはずであり、発明性を有する実施形態の範囲を前述したものに限定する意図はなく、実施形態に開示された範囲に含まれる適当な改良物および均等物によることも可能である。
【符号の説明】
【００７０】
１１…電子カメラ、１３…撮像素子、１４…ＡＦＥ、１５…画像処理部、１９…ＣＰＵ
【特許請求の範囲】
【請求項１】
遮光されたオプティカルブラック領域と有効領域とからなり、前記オプティカルブラック領域および前記有効領域には、第１受光感度で第１画像信号を生成する第１受光素子と、同一条件下で前記第１の受光感度よりも高感度の第２受光感度で第２画像信号を生成する第２受光素子とをそれぞれ含む画素を複数有する撮像素子と、
前記第１画像信号および前記第２画像信号に対して、前記オプティカルブラック領域の出力に含まれる暗電流成分に基づくクランプ処理を行う補正部と、
前記クランプ処理が施された前記第１画像信号および前記第２画像信号の何れか一方に対して、前記第１受光感度および前記第２受光感度の感度比に基づくゲインを乗じて第３画像信号を生成するとともに、前記クランプ処理が施された前記第１画像信号および前記第２画像信号のうち、前記ゲインを乗じていない方の画像信号と、前記第３画像信号との差分の平均値を、前記クランプ処理により発生する横スジに沿った方向における画素列ごとに算出する算出部と
を備えたことを特徴とする撮像装置。
【請求項２】
請求項１に記載の撮像装置において、
前記クランプ処理が施された前記第１画像信号および前記第２画像信号の少なくとも一方に基づき、記録用の画像データを生成する画像処理部と、
前記差分の平均値と、前記画像データとを関連付けて記録する記録部とをさらに備える
ことを特徴とする撮像装置。
【請求項３】
請求項１に記載の撮像装置において、
前記クランプ処理が施された前記第１画像信号および前記第２画像信号の少なくとも一方に基づき、記録用の画像データを生成するとともに、前記画像データの生成に際して乗じられるゲインと、前記差分の平均値とに基づいて、前記画像データに対して、前記横スジを低減する画像処理を行う画像処理部をさらに備える
ことを特徴とする撮像装置。
【請求項４】
請求項３に記載の撮像装置において、
前記画像処理部は、前記画像データの生成に際して、ゲインを乗じる処理を複数回行う場合には、前記複数回の処理に用いる複数のゲインと、前記差分の平均値とに基づいて、前記画像処理を１回行う
ことを特徴とする撮像装置。
【請求項５】
処理対象の画像データに対する画像処理をコンピュータで実現するための画像処理プログラムであって、
遮光されたオプティカルブラック領域と有効領域とからなり、前記オプティカルブラック領域および前記有効領域には、第１受光感度で第１画像信号を生成する第１受光素子と、同一条件下で前記第１の受光感度よりも高感度の第２受光感度で第２画像信号を生成する第２受光素子とをそれぞれ含む画素を複数有する撮像素子と、前記第１画像信号および前記第２画像信号に対して、前記オプティカルブラック領域の出力に含まれる暗電流成分に基づくクランプ処理を行う補正部とを備えた撮像装置により生成された画像データを、前記処理対象の画像データとして取得する取得ステップと、
前記クランプ処理が施された前記第１画像信号および前記第２画像信号の何れか一方に対して、前記第１受光感度および前記第２受光感度の感度比に基づくゲインを乗じて第３画像信号を生成するとともに、前記クランプ処理が施された前記第１画像信号および前記第２画像信号のうち、前記ゲインを乗じていない方の画像信号と、前記第３画像信号との差分の平均値を、前記クランプ処理により発生する横スジに沿った方向における画素列ごとに算出する算出ステップと
を備えたことを特徴とする画像処理プログラム。
【請求項１】
遮光されたオプティカルブラック領域と有効領域とからなり、前記オプティカルブラック領域および前記有効領域には、第１受光感度で第１画像信号を生成する第１受光素子と、同一条件下で前記第１の受光感度よりも高感度の第２受光感度で第２画像信号を生成する第２受光素子とをそれぞれ含む画素を複数有する撮像素子と、
前記第１画像信号および前記第２画像信号に対して、前記オプティカルブラック領域の出力に含まれる暗電流成分に基づくクランプ処理を行う補正部と、
前記クランプ処理が施された前記第１画像信号および前記第２画像信号の何れか一方に対して、前記第１受光感度および前記第２受光感度の感度比に基づくゲインを乗じて第３画像信号を生成するとともに、前記クランプ処理が施された前記第１画像信号および前記第２画像信号のうち、前記ゲインを乗じていない方の画像信号と、前記第３画像信号との差分の平均値を、前記クランプ処理により発生する横スジに沿った方向における画素列ごとに算出する算出部と
を備えたことを特徴とする撮像装置。
【請求項２】
請求項１に記載の撮像装置において、
前記クランプ処理が施された前記第１画像信号および前記第２画像信号の少なくとも一方に基づき、記録用の画像データを生成する画像処理部と、
前記差分の平均値と、前記画像データとを関連付けて記録する記録部とをさらに備える
ことを特徴とする撮像装置。
【請求項３】
請求項１に記載の撮像装置において、
前記クランプ処理が施された前記第１画像信号および前記第２画像信号の少なくとも一方に基づき、記録用の画像データを生成するとともに、前記画像データの生成に際して乗じられるゲインと、前記差分の平均値とに基づいて、前記画像データに対して、前記横スジを低減する画像処理を行う画像処理部をさらに備える
ことを特徴とする撮像装置。
【請求項４】
請求項３に記載の撮像装置において、
前記画像処理部は、前記画像データの生成に際して、ゲインを乗じる処理を複数回行う場合には、前記複数回の処理に用いる複数のゲインと、前記差分の平均値とに基づいて、前記画像処理を１回行う
ことを特徴とする撮像装置。
【請求項５】
処理対象の画像データに対する画像処理をコンピュータで実現するための画像処理プログラムであって、
遮光されたオプティカルブラック領域と有効領域とからなり、前記オプティカルブラック領域および前記有効領域には、第１受光感度で第１画像信号を生成する第１受光素子と、同一条件下で前記第１の受光感度よりも高感度の第２受光感度で第２画像信号を生成する第２受光素子とをそれぞれ含む画素を複数有する撮像素子と、前記第１画像信号および前記第２画像信号に対して、前記オプティカルブラック領域の出力に含まれる暗電流成分に基づくクランプ処理を行う補正部とを備えた撮像装置により生成された画像データを、前記処理対象の画像データとして取得する取得ステップと、
前記クランプ処理が施された前記第１画像信号および前記第２画像信号の何れか一方に対して、前記第１受光感度および前記第２受光感度の感度比に基づくゲインを乗じて第３画像信号を生成するとともに、前記クランプ処理が施された前記第１画像信号および前記第２画像信号のうち、前記ゲインを乗じていない方の画像信号と、前記第３画像信号との差分の平均値を、前記クランプ処理により発生する横スジに沿った方向における画素列ごとに算出する算出ステップと
を備えたことを特徴とする画像処理プログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【公開番号】特開２０１３−３８７０７（Ｐ２０１３−３８７０７Ａ）
【公開日】平成２５年２月２１日（２０１３．２．２１）
【国際特許分類】
【出願番号】特願２０１１−１７５１５６（Ｐ２０１１−１７５１５６）
【出願日】平成２３年８月１０日（２０１１．８．１０）
【出願人】（０００００４１１２）株式会社ニコン (12,601)
【Ｆターム（参考）】
【公開日】平成２５年２月２１日（２０１３．２．２１）
【国際特許分類】
【出願日】平成２３年８月１０日（２０１１．８．１０）
【出願人】（０００００４１１２）株式会社ニコン (12,601)
【Ｆターム（参考）】
[ Back to top ]