画像処理装置、補正方法、並びに、撮像装置
【課題】より正確に黒レベル補正を行うことができるようにする。
【解決手段】本開示の画像処理装置は、撮像素子のOPB領域の異なる画素同士の、前記OPB領域の画素信号の信号値の差分値の変化の程度を示すパラメータを算出する算出部と、前記算出部により算出された前記パラメータのモデルを用いて、前記撮像素子の有効画素領域の画素信号の信号値の黒レベルを補正するための黒レベルの基準値を推定する推定部とを備える。本開示は画像処理装置、補正方法、並びに、撮像装置に適用することができる。
【解決手段】本開示の画像処理装置は、撮像素子のOPB領域の異なる画素同士の、前記OPB領域の画素信号の信号値の差分値の変化の程度を示すパラメータを算出する算出部と、前記算出部により算出された前記パラメータのモデルを用いて、前記撮像素子の有効画素領域の画素信号の信号値の黒レベルを補正するための黒レベルの基準値を推定する推定部とを備える。本開示は画像処理装置、補正方法、並びに、撮像装置に適用することができる。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、画像処理装置、補正方法、並びに、撮像装置に関し、特に、より正確に黒レベル補正を行うことができるようにした画像処理装置、補正方法、並びに、撮像装置に関する。
【背景技術】
【０００２】
従来、外部からの入射光が遮光された画素の領域である遮光画素領域を設け、その遮光画素領域に光が漏れる光漏れが発生した場合に、その領域の黒レベルを使用し補正を行う方法がある（例えば、特許文献１参照）。この方法の場合、遮光画素領域全体に光漏れが発生するような強い光が撮像素子に照射された場合、遮光画素領域において検出される基準となる黒レベルが浮いてしまうので、黒レベル補正を正しく行う事が出来なかった。
【０００３】
また、遮光画素領域全体に光漏れが発生するのを避ける為、遮光画素領域を有効画素領域から遠ざけるといった手法も考えられるが、有効画素領域と物理的距離が離れる為、さらに行数を増やす事になりチップ面積が増大し、コストが増大する恐れがあった。
【０００４】
また、このような遮光画素領域に光漏れがあると判断された場合、予め記録しておいた黒レベルの値を使用する方法が考えられた。この手法の場合、あくまで予め想定される黒レベルが使用されるので、実際の動作時に想定外の条件で光漏れが発生した場合、記憶しておいた黒レベルと実際の黒レベルが異なる恐れがあった。そのため、正確な黒レベル補正を行うことが出来ない恐れがあった。
【０００５】
ところで、有効画素領域の暗信号電流と遮光画素領域の暗電流との比率を予め記憶し、その比率を用いて黒レベル補正を行う方法が考えられた（例えば、特許文献２および特許文献３参照）。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００８−０４８２４４号公報
【特許文献２】特許４４６２２９９号
【特許文献３】特開２００９−２８４４２４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、特許文献２や特許文献３に記載の方法は、異なる暗電流特性を持った画素領域でも正しく黒レベル補正を行うための方法であり、光漏れに対して正しい黒レベル補正を行うことができない恐れがあった。また、照射される光の色温度が変わった場合も、同様に、正しい黒レベル補正を行うことができない恐れがあった。
【０００８】
本開示は、このような状況に鑑みてなされたものであり、より正確に黒レベル補正を行うことを目的とする。
【課題を解決するための手段】
【０００９】
本開示の一側面は、撮像素子のOPB領域の異なる画素同士の、前記OPB領域の画素信号の信号値の差分値の変化の程度を示すパラメータを算出する算出部と、前記算出部により算出された前記パラメータのモデルを用いて、前記撮像素子の有効画素領域の画素信号の信号値の黒レベルを補正するための黒レベルの基準値を推定する推定部とを備える画像処理装置である。
【００１０】
前記パラメータのモデルを記憶する記憶部をさらに備え、前記推定部は、前記記憶部に記憶されている前記モデルを用いて、前記黒レベルの基準値を推定することができる。
【００１１】
前記パラメータのモデルを生成する生成部をさらに備え、前記記憶部は、前記生成部により生成された前記パラメータのモデルを記憶することができる。
【００１２】
前記生成部は、所定の条件毎に前記パラメータを生成し、前記記憶部は、前記生成部により生成された前記条件毎の前記パラメータのモデルを記憶することができる。
【００１３】
前記記憶部に記憶されている前記モデルの中から、前記算出部により算出された前記パラメータに最も近いモデルを特定する特定部をさらに備え、前記推定部は、前記特定部により特定された前記モデルを用いて、前記黒レベルの基準値を推定することができる。
【００１４】
前記OPB領域の画素信号の信号値、または、前記信号値の異なる画素同士の差分値を閾値と比較することにより、前記OPB領域への光漏れを検知する検知部をさらに備え、前記推定部は、前記検知部により前記光漏れが検知された場合のみ、前記黒レベルの基準値を推定することができる。
【００１５】
前記推定部により推定された前記黒レベルの基準値を用いて、前記撮像素子の有効画素領域の画素信号の信号値の黒レベルを補正する補正部をさらに備えることができる。
【００１６】
前記パラメータは、有効画素領域までの距離毎の、前記差分値の変化率若しくは変化量であることができる。
【００１７】
前記撮像素子は、多層構造を有し、前記算出部および前記推定部は、前記多層構造の、前記OPB領域および前記有効画素領域が形成されていない層に設けられることができる。
【００１８】
前記撮像素子は、各画素で複数の色信号を検出する縦型分光構造を有し、前記算出部は、前記パラメータを、前記色信号毎に算出し、前記推定部は、前記黒レベルの基準値を、前記色信号毎に推定することができる。
【００１９】
前記撮像素子は、赤外光を検知し、前記算出部は、前記撮像素子のOPB領域の異なる画素同士の、前記OPB領域の赤外光の画素信号の信号値の差分値の変化の程度を示すパラメータを算出し、前記推定部は、前記算出部により算出された前記パラメータのモデルを用いて、前記撮像素子の有効画素領域の赤外光の画素信号の信号値の黒レベルを補正するための黒レベルの基準値を推定することができる。
【００２０】
本開示の他の側面は、撮像素子の有効画素領域の画素信号の信号値の黒レベルを補正する補正方法であって、算出部が、前記撮像素子のOPB領域の異なる画素同士の、前記OPB領域の画素信号の信号値の差分値の変化の程度を示すパラメータを算出し、推定部が、算出された前記パラメータのモデルを用いて、前記有効画素領域の画素信号の信号値の黒レベルを補正するための黒レベルの基準値を推定し、補正部が、推定された前記黒レベルの基準値を用いて、前記有効画素領域の画素信号の信号値の黒レベルを補正する補正方法である。
【００２１】
本開示のさらに他の側面は、有効画素領域およびOPB領域を有し、被写体を撮像する撮像素子と、前記撮像素子のOPB領域の異なる画素同士の、前記OPB領域の画素信号の信号値の差分値の変化の程度を示すパラメータを算出する算出部と、前記算出部により算出された前記パラメータのモデルを用いて、前記撮像素子の有効画素領域の画素信号の信号値の黒レベルを補正するための黒レベルの基準値を推定する推定部とを備える撮像装置である。
【００２２】
本開示のさらに他の側面は、撮像素子のOPB領域の電荷蓄積時間が互いに異なる複数の画素の信号値を取得する取得部と、前記取得部により取得された、前記電荷蓄積時間が互いに異なる複数の画素の信号値を用いて、前記撮像素子の有効画素領域の画素信号の信号値の黒レベルを補正するための黒レベルの基準値を推定する推定部とを備える画像処理装置である。
【００２３】
前記取得部は、前記OPB領域の前記電荷蓄積時間が比較的短い短時間蓄積画素の信号値と、前記OPB領域の前記電荷蓄積時間が比較的長い長時間蓄積画素の信号値とを取得し、前記推定部は、前記取得部により取得された前記短時間蓄積画素の信号値と、前記長時間蓄積画素の信号値とを用いて、前記黒レベルの基準値を推定することができる。
【００２４】
前記推定部は、前記短時間蓄積画素の蓄積時間と、前記長時間蓄積画素の蓄積時間との比率、前記短時間蓄積画素の信号値、および、前記長時間蓄積画素の信号値を用いて前記黒レベルの基準値を推定することができる。
【００２５】
前記取得部により取得された前記信号値、または、前記信号値の前記OPB領域の蓄積時間が互いに同じ画素同士の差分値を閾値と比較することにより、前記OPB領域への光漏れを検知する検知部をさらに備え、前記推定部は、前記検知部により前記光漏れが検知された場合のみ、前記黒レベルの基準値を推定することができる。
【００２６】
前記推定部により推定された前記黒レベルの基準値を用いて、前記撮像素子の有効画素領域の画素信号の信号値の黒レベルを補正する補正部をさらに備えることができる。
【００２７】
本開示のさらに他の側面は、撮像素子の有効画素領域の画素信号の信号値の黒レベルを補正する補正方法であって、取得部が、前記撮像素子のOPB領域の電荷蓄積時間が互いに異なる複数の画素の信号値を取得し、推定部が、取得された、前記電荷蓄積時間が互いに異なる複数の画素の信号値を用いて、前記有効画素領域の画素信号の信号値の黒レベルを補正するための黒レベルの基準値を推定し、補正部が、推定された前記黒レベルの基準値を用いて、前記有効画素領域の画素信号の信号値の黒レベルを補正する補正方法である。
【００２８】
本開示のさらに他の側面は、電荷蓄積時間が互いに異なる複数の画素よりなる有効画素領域およびOPB領域を有し、被写体を撮像する撮像素子と、前記OPB領域の電荷蓄積時間が互いに異なる複数の画素の信号値を取得する取得部と、前記取得部により取得された、前記電荷蓄積時間が互いに異なる複数の画素の信号値を用いて、前記有効画素領域の画素信号の信号値の黒レベルを補正するための黒レベルの基準値を推定する推定部とを備える撮像装置である。
【００２９】
本開示の一側面においては、撮像素子のOPB領域の異なる画素同士の、OPB領域の画素信号の信号値の差分値の変化の程度を示すパラメータが算出され、算出されたパラメータのモデルを用いて、撮像素子の有効画素領域の画素信号の信号値の黒レベルを補正するための黒レベルの基準値が推定される。
【００３０】
本開示の他の側面においては、撮像素子のOPB領域の異なる画素同士の、OPB領域の画素信号の信号値の差分値の変化の程度を示すパラメータが算出され、算出されたパラメータのモデルを用いて、有効画素領域の画素信号の信号値の黒レベルを補正するための黒レベルの基準値が推定され、推定された黒レベルの基準値を用いて、有効画素領域の画素信号の信号値の黒レベルが補正される。
【００３１】
本開示のさらに他の側面においては、被写体が撮像され、撮像素子のOPB領域の異なる画素同士の、OPB領域の画素信号の信号値の差分値の変化の程度を示すパラメータが算出され、算出されたパラメータのモデルを用いて、撮像素子の有効画素領域の画素信号の信号値の黒レベルを補正するための黒レベルの基準値が推定される。
【００３２】
本開示のさらに他の側面においては、撮像素子のOPB領域の電荷蓄積時間が互いに異なる複数の画素の信号値が取得され、取得された、電荷蓄積時間が互いに異なる複数の画素の信号値を用いて、撮像素子の有効画素領域の画素信号の信号値の黒レベルを補正するための黒レベルの基準値が推定される。
【００３３】
本開示のさらに他の側面においては、撮像素子のOPB領域の電荷蓄積時間が互いに異なる複数の画素の信号値が取得され、取得された、電荷蓄積時間が互いに異なる複数の画素の信号値を用いて、有効画素領域の画素信号の信号値の黒レベルを補正するための黒レベルの基準値が推定され、推定された黒レベルの基準値を用いて、有効画素領域の画素信号の信号値の黒レベルが補正される。
【００３４】
本開示のさらに他の側面においては、被写体が撮像され、OPB領域の電荷蓄積時間が互いに異なる複数の画素の信号値が取得され、取得された、電荷蓄積時間が互いに異なる複数の画素の信号値を用いて、有効画素領域の画素信号の信号値の黒レベルを補正するための黒レベルの基準値が推定される。
【発明の効果】
【００３５】
本開示によれば、画像を処理することができる。特に、より正確に黒レベル補正を行うことができる。
【図面の簡単な説明】
【００３６】
【図１】本技術を適用した撮像装置の主な構成例を示すブロック図である。
【図２】モデルを生成する様子を説明する図である。
【図３】モデル生成時に測定された信号値の例を示す図である。
【図４】モデル生成時に測定された信号値の例を示す図である。
【図５】モデル生成時に算出される変化率の例を示す図である。
【図６】モデル記憶処理の流れの例を説明するフローチャートである。
【図７】黒レベルの推定の様子の例を説明する図である。
【図８】実測された信号値を説明する図である。
【図９】実測された信号値を説明する図である。
【図１０】撮像処理の流れの例を説明するフローチャートである。
【図１１】黒レベル設定処理の流れの例を説明するフローチャートである。
【図１２】本技術を適用した撮像装置の他の構成例を示すブロック図である。
【図１３】黒レベルの推定の様子の例を説明する図である。
【図１４】黒レベル設定処理の流れの例を説明するフローチャートである。
【図１５】多層構造を説明する図である。
【図１６】縦型分光構造を説明する図である。
【図１７】本技術を適用した撮像装置の、さらに他の構成例を示すブロック図である。
【図１８】制御部の主な構成例を示すブロック図である。
【発明を実施するための形態】
【００３７】
以下、本技術を実施するための形態（以下実施の形態とする）について説明する。なお、説明は以下の順序で行う。
１．第１の実施の形態（撮像装置）
２．第２の実施の形態（撮像装置）
３．第３の実施の形態（撮像装置）
【００３８】
＜１．第１の実施の形態＞
［撮像装置］
図１は、本技術を適用した撮像装置の主な構成例を示すブロック図である。図１に示される撮像装置１００は、被写体を撮像し、撮像画像データを得る装置である。
【００３９】
図１に示されるように、撮像装置１００は、制御部１０１、撮像素子１１１、A/D変換部１１２、黒レベル設定部１１３、クランプ部１１４、欠陥補正部１１５、および画像処理部１１６を有する。
【００４０】
制御部１０１は、撮像装置１００の各部を制御し、撮像に関する処理を実行させる。
【００４１】
撮像素子１１１は、外部より入射した光を光電変換し、各画素に蓄積された電荷を画素信号としてA/D変換部１１２に供給する。撮像素子１１１は、各画素が構成される領域として、有効画素領域１２１およびオプティカルブラック（OPB（Optical Black）領域１２２）を有する。
【００４２】
有効画素領域１２１の画素においては、その画素に入射された光が、フォトダイオード等の光電変換素子により光電変換され、その電荷が画素信号として読み出される。OPB領域１２２の画素は、基本的に有効画素領域１２１と同様の構成を有するが、遮光膜等によって遮光されており、外部からその画素に光が入射しないようになされている。OPB領域１２２の画素の画素信号の信号値は、黒レベルの基準とされ、有効画素領域の画素の信号値の、このような黒レベル補正に用いられる。
【００４３】
なお、図１においては、OPB領域１２２が、有効画素領域１２１の図中上側に隣接するように設けられているが、OPB領域１２２は、有効画素領域１２１の外部であれば、その位置は任意である。例えば、OPB領域１２２が、有効画素領域１２１の図中右側、左側、若しくは下側に設けられていても良い。また、OPB領域１２２が有効画素領域１２１を囲むように設けられていても良い。さらに、OPB領域１２２が有効画素領域１２１に隣接していなくても良い。また、OPB領域１２２が複数設けられていても良い。さらに、OPB領域１２２や有効画素領域１２１の大きさや形状は任意である。
【００４４】
A/D変換部１１２は、撮像素子から出力される有効画素領域１２１およびOPB領域１２２の各画素の信号値をデジタルデータ（画像データ）に変換する。
【００４５】
黒レベル設定部１１３は、OPB領域１２２の信号値の空間的変化に基づいて、クランプ部１１４において行われる黒レベル補正に用いられる黒レベルを設定する。図１に示されるように、黒レベル設定部１１３は、制御部１３１、検出部１３２、演算部１３３、および記憶部１３４を有する。
【００４６】
クランプ部１１４は、黒レベル設定部１１３により設定された黒レベルを用いて、A/D変換された有効画素領域１２１の画素の信号値に対する黒レベルの補正を行う。欠陥補正部１１５は、黒レベル補正された画像データに含まれる欠陥画素の信号値の補正を行う。画像処理部１１６は、欠陥補正された画像データに対して、例えばホワイトバランス調整等の、任意の画像処理を行う。画像処理部１１６は、処理後の画像データを撮像装置１００の外部に出力する。
【００４７】
撮像素子１１１は、温度などの外的要因により光電変換の特性が変化する。したがって同じ光を光電変換する場合であっても、このような外的要因により出力される信号値が異なる場合がある。そこで、クランプ部１１４は、信号値の黒レベルを基準値に合わせることにより、このような特性変化を吸収し、安定した撮像結果が得られるようにする。
【００４８】
しかしながら、有効画素領域１２１に非常に強い光が照射された場合、撮像素子１１１内部において光の回り込みが発生し、OPB領域１２２にその光が漏れてしまう恐れがあった。このような光の漏れによりOPB領域１２２の信号値が浮いてしまうので、従来の補正方法の場合、有効画素領域１２１の信号値の黒レベル補正を正しく行うことができなくなる恐れがあった。
【００４９】
ところで、撮像素子１１１の有効画素領域１２１に強い光があたりOPB領域１２２に光が漏れた場合、OPB領域１２２の信号値は、例えば、図２に示されるグラフのように、有効画素領域１２１から離れるにつれて減少する。つまり、OPB領域１２２の各画素の信号値は、有効画素領域１２１からの距離（つまり、画素位置）に応じて変化する。黒レベル設定部１１３は、このような信号値の空間的変化に着目し、この信号値の差分値を使用して、本来の黒レベルを推定する。
【００５０】
黒レベル設定部１１３は、被写体を撮像する実撮影の前に、信号値の空間的変化を表す、隣接する信号値同士の差分値の変化率のモデル（図２）を生成する。なお、変化率は、差分値の変化の程度を表すパラメータとして生成される。つまり、ここで生成されるパラメータは、差分値の変化の程度を表すものであればなんでも良い。例えば、変化量であっても良い。なお、以下においては、このような差分値の変化の程度を表すパラメータのことを「変化率」として説明する。つまり、以下に述べる「変化率」には、特に言及しない限り、「変化量」等の、任意の差分値の変化の程度を表すパラメータが含まれる。
【００５１】
検出部１３２は、OPB領域１２２の、有効画素領域１２１から離れる方向に隣接する画素同士の信号値の差分値が、予めレジスタ等に記憶しておいた閾値より大きいか否かにより光漏れを検出する。すなわち、検出部１３２は、差分値が閾値より大きい場合、光漏れを検出したと判定し、その判定結果を制御部１３１に供給する。
【００５２】
なお、このような光漏れの検出の判定は、信号値そのもので行っても良い。つまり、検出部１３２が、信号値を予め用意された閾値と比較し、信号値が閾値より大きい場合、光漏れを検出したと判定するようにしてもよい。
【００５３】
光漏れが検出されると、制御部１３１は、演算部１３３を制御し、有効画素領域１２１から離れる方向に隣接する画素同士の信号値の差分値の変化率を算出させ、モデルを生成させる。
【００５４】
より具体的には、演算部１３３は、OPB領域の、有効画素領域１２１から離れる方向に隣接する画素間の信号値の差分値を算出し、その差分値の変化率を、有効画素領域１２１までの距離ごとに算出する。
【００５５】
記憶部１３４は、制御部１３１に制御され、有効画素領域までの距離毎の信号値と変化率を、モデルとして記憶する。
【００５６】
信号値の差分値と前記記憶部に保存されたデータを比較し、最も近い特性を示したデータから黒レベルを算出する。
【００５７】
黒レベル設定部１１３は、このようなモデルを、互いに異なる撮像条件の下で複数生成し、記憶する。図３は、各条件下でのOPB領域１２２の信号値を示している。このような信号値が得られると、記憶部１３４は、これらの信号値を、条件毎に（モデル毎に）、図４に示されるように、有効画素領域１２１までの距離毎に記憶する。
【００５８】
演算部１３３は、上述したように、信号値から差分値の変化率を算出する。記憶部１３４は、その変化率を、条件毎に（モデル毎に）、図５に示されるように、有効画素領域１２１までの距離毎に記憶する。
【００５９】
このようなモデルの生成タイミングは、実撮影の前であれば任意である。例えば、工場出荷前においてこのようなモデルを生成し、そのモデルを記憶部１３４に保存した状態で出荷するようにしてもよい。
【００６０】
なお、このようなモデルを生成する際、実際の撮像素子１１１よりもOPB領域を大きくし、光漏れによる信号値がどのように推移していくかを一定値に落ち着くまで測定するようにしてもよい。このように実際よりも広い拡張OPB領域において信号値を測定することにより、仮にOPB領域１２２全体に光漏れが生じた場合でも、黒レベル設定部１１３は、より正確に黒レベルの設定を行う事が出来る。なお、黒レベル設定部１１３が、取得された信号値から、予め予想される値（信号値の収束値）を計算し、記憶するようにしても良い。
【００６１】
また、モデルを生成する撮像条件は任意であるが、例えば、色温度毎にモデルが生成されるようにしてもよい。また、例えば、絞りの設定、IRカットフィルタの有無、レンズの種類、入射角などの光学条件毎にモデルが生成されるようにしてもよい。
【００６２】
より実使用に近い条件化においてモデルを生成することにより、黒レベル設定部１１３は、後述するように、黒レベル補正の際により近似するモデルを選択することができるので、クランプ部１１４は、より正確な黒レベル補正を行うことができる。
【００６３】
［モデル記憶処理の流れ］
図６のフローチャートを参照して、このようなモデル記憶処理の流れの例を説明する。
【００６４】
モデル記憶処理が開始されると、撮像素子１１１は、ステップＳ１０１において、所定の条件下で強い光が照射された状態で、拡張OPB領域の信号値を取得する。
【００６５】
ステップＳ１０２において、A/D変換部１１２は、ステップＳ１０１において取得された信号値をA/D変換する。
【００６６】
ステップＳ１０３において、検出部１３２は、信号値（若しくは差分値）を閾値と比較し、光漏れを検出したか否かを判定する。信号値（若しくは差分値）が閾値より大きく、光漏れを検出したと判定した場合、制御部１３１は、処理をステップＳ１０４に進める。
【００６７】
ステップＳ１０４において、記憶部１３４は、図４に示される表のように、有効画素領域１２１までの距離毎に信号値を記憶する。
【００６８】
ステップＳ１０５において、演算部１３３は、有効画素領域１２１から遠ざかる方向に隣接する画素間の信号値の差分値を算出する。
【００６９】
ステップＳ１０６において、演算部１３３は、有効画素領域１２１までの距離毎に、差分値の変化率を算出する。
【００７０】
ステップＳ１０７において、記憶部１３４は、図５に示される表のように、有効画素領域１２１までの距離毎に、ステップＳ１０６において算出された変化率を記憶する。
【００７１】
ステップＳ１０７の処理を終了すると、制御部１０１は、モデル記憶処理を終了する。また、ステップＳ１０３において、信号値（若しくは差分値）が閾値以下であり、光漏れが検出されていないと判定された場合、制御部１３１は、モデル記憶処理を終了する。
【００７２】
撮像装置１００は、以上のようなモデル記憶処理を条件毎に実行することにより、各条件のモデルを生成し、記憶する。
【００７３】
［実撮影における黒レベルの推定］
そして、被写体を撮像する実撮影の際、演算部１３３は、例えば図７のグラフに示されるように、実際に得られた信号値から、その差分値の変化率を算出する。そして、演算部１３３は、その算出した変化率と、記憶部１３４に記憶されたモデル（差分値の変化率）とを比較し、その変化率の推移が最も近いモデルを選択する。そして演算部１３３は、そのモデルを用いて、有効画素領域の画素信号の信号値の黒レベルの補正（クランプ処理）に用いられる黒レベルの基準値（以下、単に黒レベルとも称する）を推定する。
【００７４】
上述したように、モデルにおいては、実際のOPB領域１２２より広い拡張OPB領域の信号値を用いて生成されるか、若しくは、信号値の収束値が推定される。したがって、例えば、図７に示されるように、OPB領域１２２全体に光が漏れている場合であっても、演算部１３３は、モデルを参照することにより、正しい黒レベルの値（信号値の収束値）を求めることができる。
【００７５】
より具体的な例を説明する。例えば、記憶部１３４が、図４および図５に示されるデータをモデルとして予め記憶しているとする。また、実撮影により、OPB領域１２２において、図８のグラフおよび図９の表に示されるような信号値が取得されたとする。
【００７６】
これらの信号値から検出部１３２が、光漏れを検出したと判定すると、演算部１３３は、隣接する画素の信号値の差分値を算出する。すなわち、図９の例の場合、各行の差分値は、以下のように算出される。
【００７７】
1行目-2行目=600-546=54
2行目-3行目=546-222=324
3行目-4行目=222-128=94
【００７８】
次に、演算部１３３は、算出されたこれらの差分値の変化率を、以下のように行毎に算出する。
【００７９】
(2行目-3行目)/(1行目-2行目)=324/54=6.000
(3行目-4行目)/( 2行目-3行目)=94/324= 0.290
【００８０】
演算部１３３は、こうして得られたデータ（変化率）と、記憶部１３４に保存されているモデルのデータとを比較し、実測値に最も近似するモデルを選択する。図５の例の場合、条件１のモデルのデータが最も実測値に近似している。その誤差は7.14%と、2.13%である。
【００８１】
なお、この比較の際、演算部１３３が、例えば、誤差10%以内に入っていればモデルの値が正しい（実測値に近似する）と判定するようにしてもよい。
【００８２】
実測例のデータでは、有効画素領域１２１から４画素目より遠い画素のデータが存在しない。また、この４画素目において、信号値が収束していない。しかしながら、記憶部１３４が記憶するモデルのデータは、上述したように黒レベルが収束するまで（推定値も含む）存在する。したがって、演算部１３３は、このモデルを参照することにより、より正しい黒レベルを求めることができる。
【００８３】
より具体的に説明すると、図５の条件１のモデルの場合、（4行目-5行目）において（3行目-4行目）の0.5倍分、値が低下している。したがって、（4行目-5行目）の差分値は、以下のように算出される。
【００８４】
（3行目-4行目）* 5ピクセルの記憶データ@条件1=94*0.5=47
【００８５】
つまり、5画素目の信号値は、4画素目の信号値より47低い。したがって、５画素目の信号値は、以下のように算出される。
【００８６】
128-47=81
【００８７】
なお、図５の表によれば、（5行目-6行目）の変化率は０である。つまり、有効画素領域１２１から５画素目の信号値「81」が信号値の収束値（正しい黒レベル）である。演算部１３３は、このように黒レベルを推定すると、推定した値をクランプ部１１４に供給し、黒レベルとしてクランプ処理に利用させる。
【００８８】
つまり、この推定された黒レベルが、クランプ部１１４において、有効画素領域の信号値の黒レベル補正に用いられる。このようにすることにより、クランプ部１１４は、より正確に黒レベル補正を行うことができる。
【００８９】
［撮像処理の流れ］
図１０のフローチャートを参照して、実撮影における撮像処理の流れの例を説明する。
【００９０】
撮像処理が開始されると、撮像素子１１１は、ステップＳ１２１において、被写体を撮像し、有効画素領域１２１およびOPB領域１２２の各画素の信号値を出力する。ステップＳ１２２において、A/D変換部１１２は、ステップＳ１２１の撮像により得られた信号値をA/D変換する。
【００９１】
ステップＳ１２３において、黒レベル設定部１１３は、ステップＳ１２１の撮像により得られたOPB領域１２２の信号値を用いて、上述したように黒レベルを設定する。
【００９２】
ステップＳ１２４において、クランプ部１１４は、ステップＳ１２３において設定された黒レベルを用いて、有効画素領域１２１の各画素の信号値の黒レベルを補正する。
【００９３】
ステップＳ１２５において、欠陥補正部１１５は、欠陥画素の信号値を補正する。
【００９４】
ステップＳ１２６において、画像処理部１１６は、黒レベル補正や欠陥画素補正が行われた有効画素領域１２１の信号値からなる画像データに対して、画像処理を行う。
【００９５】
ステップＳ１２６の処理が終了すると、制御部１０１は、撮像処理を終了する。
【００９６】
［黒レベル設定処理の流れ］
図１１のフローチャートを参照して、図１０のステップＳ１２３において実行される黒レベル設定処理の流れの例を説明する。
【００９７】
黒レベル設定処理が開始されると、検出部１３２は、ステップＳ１４１において、OPB領域の各画素の信号値を取得する。ステップＳ１４２において、検出部１３２は、その信号値若しくは差分値を閾値と比較し、その比較結果に従って光漏れを検出したか否かを判定する。
【００９８】
信号値（若しくは差分値）が閾値より大きく、光漏れが検出されたと判定された場合、制御部１３１は、処理をステップＳ１４３に進める。
【００９９】
ステップＳ１４３において、演算部１３３は、隣接画素間の信号値の差分値を算出する。さらに、ステップＳ１４４において、演算部１３３は、ステップＳ１４３において算出された差分値の変化率を、有効画素領域１２１までの距離毎に算出する。ステップＳ１４５において、演算部１３３は、記憶部１３４に記憶されている各モデルを参照し、算出した変化率とモデルの変化率を比較し、その変化率が最も近似するモデルを特定する（利用するモデルを選択する）。
【０１００】
ステップＳ１４６において、演算部１３３は、選択したモデルの変化率を用いて、実測の信号値に対応する、より正しい黒レベル（信号値の収束値（推定値を含む））を推定する。
【０１０１】
黒レベルを推定すると、演算部１３３は、その推定値をクランプ部１１４に供給し、黒レベル設定処理を終了し、処理を図１０に戻す。
【０１０２】
また、図１１のステップＳ１４２において、信号値（若しくは差分値）が閾値以下であり、光漏れが検出されていないと判定された場合、制御部１３１は、処理をステップＳ１４７に進める。ステップＳ１４７において、演算部１３３は、モデルを参照せずに、OPB領域１２２の実測の信号値から黒レベルを算出する。黒レベルを算出すると、演算部１３３は、その推定値をクランプ部１１４に供給し、黒レベル設定処理を終了し、処理を図１０に戻す。
【０１０３】
以上のように各処理を実行することにより、黒レベル設定部１１３は、より正しい黒レベルを推定することができる。したがって、クランプ部１１４は、より正確に黒レベル補正を行うことができる。すなわち、撮像装置１００は、OPB領域１２２に光漏れが発生する場合であっても、より正確な黒レベル補正を行うことができる。つまり、撮像装置１００は、光漏れに対する黒レベル補正の耐性を向上させることができる。
【０１０４】
なお、以上においては、隣接する信号値同士の差分値の変化率（若しくは変化量等）をパラメータとして求めるように説明したが、このパラメータは、信号値の空間的変化（有効画素領域からの距離に応じた信号値の変化）を表すものであればよい。したがって、信号値の差分値を求める画素は、OPB領域の、有効画素領域から離れる方向に異なる位置の画素同士であればよい（隣接する画素同士でなくてもよい）。
【０１０５】
＜２．第２の実施の形態＞
［撮像装置］
図１２は、本技術を適用した撮像装置の他の構成例を示すブロック図である。図１２に示される撮像装置２００は、図１の撮像装置１００と基本的に同様の装置である。つまり、撮像装置２００は、撮像装置１００と基本的に同様の構成を有し、同様の処理を行う。ただし、撮像装置２００は、撮像装置１００の撮像素子１１１の代わりに、撮像素子２１１を有する。
【０１０６】
撮像素子２１１には、撮像素子１１１の場合と同様に、有効画素領域２２１の外部にOPB領域２２２が設けられている。ただし、有効画素領域２２１は、例えば高ダイナミックレンジの画像を得ることができるように、電荷の蓄積時間が互いに異なる複数種類の画素により構成される。このような撮像素子は、例えば、特開２０１０−２１３２５１号公報に記載されている。
【０１０７】
有効画素領域２２１の画素の種類（電荷蓄積時間の長さ）は、複数であればよく、２種類であっても良いし、３種類以上であってもよい。以下においては説明の便宜上、有効画素領域２２１が、蓄積時間の短い画素と長い画素の２種類の画素により構成されるものとする。
【０１０８】
OPB領域２２２は、OPB領域１２２の場合と同様に、遮光されていること以外、有効画素領域２２１と同様の構成を有する。つまり、OPB領域２２２も、蓄積時間の短い画素と長い画素の２種類の画素により構成される。OPB領域２２２の画素の種類は、有効画素領域２２１と同数である。
【０１０９】
また、撮像装置２００は、撮像装置１００の黒レベル設定部１１３の代わりに、黒レベル設定部２１３を有する。
【０１１０】
黒レベル設定部１１３が、信号値（差分値の変化率）の空間的変化を利用して、より正しい黒レベルを設定したのに対し、黒レベル設定部２１３は、信号値（差分値の変化率）の時間的変化を利用して、より正しい黒レベルを設定する。つまり、黒レベル設定部２１３は、蓄積時間の短い画素と長い画素との間の、蓄積時間の差を利用して、より正しい黒レベルを求める。
【０１１１】
より具体的に説明すると、例えば、短い方の蓄積時間（短時間蓄積）に比べて、長い方の蓄積時間（長時間蓄積）の時間がα倍であるとすると、両者の出力信号値は以下の式で表すことができる。
【０１１２】
短時間蓄積 ： 1x + 黒レベル = y(出力値)
長時間蓄積 ： αx + 黒レベル = y'(出力値)
x:短時間蓄積の時の光透過量。
y,y':遮光画素領域の信号値。
α：短時間蓄積画素に対する長時間蓄積画素の蓄積時間の比率
【０１１３】
各画素の電荷蓄積時間は既知であるので、αの値は既知である。また、短時間・長時間蓄積画素それぞれの出力値y,y'は測定可能である。したがって、黒レベルは両式から求める事が出来る。
【０１１４】
つまり、黒レベル設定部２１３は、モデルを利用せずに、黒レベルを求めることができる。すなわち、黒レベル設定部２１３は、モデルを予め生成し、記憶する必要がない。
【０１１５】
したがって、図１２に示されるように、黒レベル設定部２１３は、制御部２３１、検出部２３２、および演算部２３３を有するが、記憶部を備えていない。
【０１１６】
制御部２３１は、検出部２３２および演算部２３３を制御する。検出部２３２は、検出部１３２の場合と同様に、光漏れの検出を行い、演算部２３３は、より正しい黒レベルを算出する。
【０１１７】
有効画素に強い光があたりOPB領域に光が漏れた場合、光が漏れているOPB領域の画素では、例えば、図１３に示されるように、蓄積時間が長い程信号値が増加する。この電荷蓄積時間の短い画素の蓄積量と、電荷蓄積時間の長い画素の蓄積量との差分は、漏れた光によるものである。つまり、図１３に示されるように、この蓄積時間の異なる画素の信号値の差分から、より正しい黒レベルを推定することができる。
【０１１８】
例えば、短時間蓄積の時間に比べて長時間蓄積の時間が１６倍であるとすると、両者の出力信号値は以下のように表すことができる。
【０１１９】
短時間蓄積 ： y(出力値) = 1x + 黒レベル
長時間蓄積 ： y'(出力値) = 16x + 黒レベル
x:短時間蓄積時の光漏れによって生じた信号値
y,y':OPB画素領域の信号値
【０１２０】
短時間・長時間蓄積画素それぞれの出力値y,y'は測定可能であるので、黒レベルは両式から求める事が出来る。つまり、上述の式を新たに書き直すと以下のようになる。
【０１２１】
黒レベル = (16y - y') / 15
【０１２２】
したがって、演算部１３３は、短時間・長時間蓄積画素の出力値y,y'を測定する事で、黒レベルを推定する事が出来る。
【０１２３】
例えば、y=96,y'=576の場合、黒レベル=(16*96-576)/15=64である。また、例えば、短時間蓄積が16.66msec、長時間蓄積が66.66msec、y=96、y'=192である場合、αは4であり、黒レベル=(4*96-192)/(4-1)=64である。
【０１２４】
演算部２３３は、このように黒レベルを推定すると、推定した値をクランプ部１１４に供給し、黒レベルとしてクランプ処理に利用させる。
【０１２５】
つまり、この推定された黒レベルが、クランプ部１１４において、有効画素領域の信号値の黒レベル補正に用いられる。このようにすることにより、クランプ部１１４は、より正確に黒レベル補正を行うことができる。
【０１２６】
［黒レベル設定処理の流れ］
撮像装置２００の場合も、撮像処理は、第１の実施の形態の場合と同様に実行される。図１４のフローチャートを参照して、図１０のステップＳ１２３において実行される黒レベル設定処理の流れの例を説明する。
【０１２７】
黒レベル設定処理が開始されると、検出部２３２は、ステップＳ２０１において、OPB領域の各画素の信号値を取得する。ステップＳ２０２において、検出部２３２は、その信号値若しくは差分値を閾値と比較し、その比較結果に従って光漏れを検出したか否かを判定する。
【０１２８】
信号値（若しくは差分値）が閾値より大きく、光漏れが検出されたと判定された場合、制御部２３１は、処理をステップＳ２０３に進める。
【０１２９】
ステップＳ２０３において、演算部２３３は、短時間蓄積画素の信号値と、長時間蓄積画素の信号値とを用いて、黒レベルを推定する。黒レベルを推定すると、演算部２３３は、その推定値をクランプ部１１４に供給し、黒レベル設定処理を終了し、処理を図１０に戻す。
【０１３０】
また、図１４のステップＳ２０２において、信号値（若しくは差分値）が閾値以下であり、光漏れが検出されていないと判定された場合、制御部２３１は、処理をステップＳ２０４に進める。ステップＳ２０４において、演算部２３３は、モデルを参照せずに、OPB領域２２２の実測の信号値から黒レベルを算出する。黒レベルを算出すると、演算部２３３は、その推定値をクランプ部１１４に供給し、黒レベル設定処理を終了し、処理を図１０に戻す。
【０１３１】
以上のように各処理を実行することにより、黒レベル設定部２１３は、より正しい黒レベルを推定することができる。したがって、クランプ部１１４は、より正確に黒レベル補正を行うことができる。すなわち、撮像装置２００は、OPB領域２２２に光漏れが発生する場合であっても、より正確な黒レベル補正を行うことができる。つまり、撮像装置２００は、光漏れに対する黒レベル補正の耐性を向上させることができる。
【０１３２】
［多層構造］
なお、撮像素子は、例えば、図１５に示されるように、画素領域（有効画素領域およびOPB領域）とそれ以外の制御回路やロジック回路などを階層毎に分けた多層構造とすることもできる。撮像素子１１１や撮像素子２１１をこのような多層構造の撮像素子とする場合、黒レベル設定部１１３や黒レベル設定部２１３は、例えば、図１５に示されるように、画素領域が形成される層とは異なる層（例えば、ロジック回路が形成される層）に設けることにより、チップ面積の増大を抑制することができる。
【０１３３】
［撮像素子］
また、撮像素子１１１および撮像素子２１１の画素の配列構造は任意である。また、撮像素子１１１および撮像素子２１１は、CCDイメージセンサであってもよいし、CMOSイメージセンサであってもよいし、それ以外の種類の撮像素子であってもよい。さらに、撮像素子１１１および撮像素子２１１は、表面照射型の構造のイメージセンサであってもよいし、裏面照射型の構造のイメージセンサであってもよい。
【０１３４】
すなわち、本技術は、有効画素領域とOPB領域を有する撮像素子であれば、どのような撮像素子において得られた画素信号であっても適用することができる。
【０１３５】
［縦型分光構造］
なお、例えば、特開２０１１−２９４５３号公報に開示されているような、１つの画素において複数の色信号を感知する縦型分光構造の撮像素子において得られる画素信号に対しても、本技術を適応する事が出来る。
【０１３６】
例えば、図１６に示される縦型分光構造の撮像素子は、１つの画素で３つの色信号R,G,Bを感知する。この撮像素子の場合、各色毎に光漏れによる発生信号量が異なる。そこで、黒レベル設定部１１３は、各色についてモデルを生成し、用意する。このようにすることにより、黒レベル設定部１１３は、各色について黒レベルを正しく推定することができる。さらに、各色において推定した黒レベルを比較検討するようにすることにより、黒レベル設定部１１３は、より正しい黒レベルを設定することができる。つまり、クランプ部１１４は、より正確に黒レベル補正を行うことができる。
【０１３７】
［赤外光］
なお、黒レベルを補正する信号値は、可視光の信号値に限らない。本技術は、赤外線を使って撮影を行う撮像装置にも容易に適用することができる。例えば、夜間でも撮影可能な撮像装置では、赤外線などの光を利用して撮影しているが、赤外線の波長が長い為にOPB領域に漏れ込む可能性が高い。
【０１３８】
黒レベル設定部１１３は、可視光に限らず、どのような光の信号値であっても同様に黒レベルを補正することができる。つまり、赤外光の信号値において黒レベルを補正する場合、黒レベル設定部１１３は、予め赤外光のモデルを作成し、記憶部１３４に保持させておけばよい。
【０１３９】
つまり、撮像装置１００は、赤外光の場合も、より正確に黒レベル補正を行うことができる。
【０１４０】
＜３．第３の実施の形態＞
［撮像装置］
図１７は、本技術を適用した撮像装置の構成例を示す図である。図１７に示される撮像装置６００は、被写体を撮像し、その被写体の画像を電気信号として出力する装置である。
【０１４１】
図１７に示されるように撮像装置６００は、光学部６１１、CMOSセンサ６１２、A/D変換器６１３、制御部６１５、画像処理部６１６、表示部６１７、コーデック処理部６１８、および記録部６１９を有する。
【０１４２】
光学部６１１は、被写体までの焦点を調整し、焦点が合った位置からの光を集光するレンズ、露出を調整する絞り、および、撮像のタイミングを制御するシャッタ等よりなる。光学部６１１は、被写体からの光（入射光）を透過し、CMOSセンサ６１２に供給する。
【０１４３】
CMOSセンサ６１２は、第１の実施の形態および第２の実施の形態において説明した構造を有する撮像素子（撮像素子１１１若しくは撮像素子２１１）であり、有効画素領域において、入射光を光電変換して画素毎の信号（画素信号）をA/D変換器６１３に供給する。また、CMOSセンサ６１２は、OPB領域の画素信号もA/D変換器６１３に供給する。つまり、CMOSセンサ６１２は、撮像装置１００の撮像素子１１１、または、撮像装置２００の撮像素子２１１に対応する。
【０１４４】
A/D変換器６１３は、CMOSセンサ６１２から、所定のタイミングで供給された画素信号を、デジタルデータ（画像データ）に変換し、所定のタイミングで順次、画像処理部６１６に供給する。
【０１４５】
制御部６１５は、ユーザの操作入力等に基づいて、光学部６１１、CMOSセンサ６１２、A/D変換器６１３、画像処理部６１６、表示部６１７、コーデック処理部６１８、および記録部６１９の駆動を制御し、各部に撮像に関する処理を行わせる。
【０１４６】
画像処理部６１６は、A/D変換器６１３から供給された画像データに対して、第１の実施の形態および第２の実施の形態において説明したように、クランプ処理（黒レベル補正）を行う。
【０１４７】
また、画像処理部６１６は、クランプ処理以外の任意の画像処理を行うことができる。例えば、混色補正、ホワイトバランス調整、デモザイク処理、マトリックス処理、ガンマ補正、およびYC変換等が行われるようにしてもよい。
【０１４８】
つまり、画像処理部６１６は、撮像装置１００の黒レベル設定部１１３、クランプ部１１４、欠陥補正部１１５、および画像処理部１１６の各部、または、撮像装置２００の黒レベル設定部２１３、クランプ部１１４、欠陥補正部１１５、および画像処理部１１６の各部に対応する。
【０１４９】
画像処理部６１６は、画像処理を施した画像データを表示部６１７およびコーデック処理部６１８に供給する。
【０１５０】
表示部６１７は、例えば、液晶ディスプレイ等として構成され、画像処理部６１６から供給された画像データに基づいて、被写体の画像を表示する。
【０１５１】
コーデック処理部６１８は、画像処理部６１６から供給された画像データに対して、所定の方式の符号化処理を施し、得られた符号化データを記録部６１９に供給する。
【０１５２】
記録部６１９は、コーデック処理部６１８からの符号化データを記録する。記録部６１９に記録された符号化データは、必要に応じて画像処理部６１６に読み出されて復号される。復号処理により得られた画像データは、表示部６１７に供給され、対応する画像が表示される。
【０１５３】
以上のように、撮像装置６００は、本技術を適用した方法で黒レベルの推定を行うので、より正確に黒レベル補正を行うことができ、撮像して得られる撮像画像の画質を向上させることができる。
【０１５４】
なお、本技術を適用した撮像素子を備える撮像装置は、上述した構成に限らず、他の構成であってもよい。
【０１５５】
以上に説明した各装置は、それぞれ、上述した以外の構成を含むようにしてももちろんよい。また、１つの装置としてだけでなく、複数の装置よりなるシステムとして構成されるようにしてもよい。
【０１５６】
［制御部］
上述した一連の処理は、ハードウエアにより実行することもできるし、ソフトウエアにより実行することもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウエアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な汎用のパーソナルコンピュータ、並びに、図１や図１２の制御部１０１や図１７の制御部６１５などが含まれる。
【０１５７】
図１８は、図１７の制御部６１５の主な構成例を示すブロック図である。図１８に示される構成は、図１や図１２の制御部１０１にも適用することができる。
【０１５８】
図１８において、制御部６１５のCPU（Central Processing Unit）７０１は、ROM（Read Only Memory）７０２に記憶されているプログラム、または記憶部７１３からRAM（Random Access Memory）７０３にロードされたプログラムに従って各種の処理を実行する。RAM７０３にはまた、CPU７０１が各種の処理を実行する上において必要なデータなども適宜記憶される。
【０１５９】
CPU７０１、ROM７０２、およびRAM７０３は、バス７０４を介して相互に接続されている。このバス７０４にはまた、入出力インタフェース７１０も接続されている。
【０１６０】
入出力インタフェース７１０には、キーボード、マウスなどよりなる入力部７１１、CRT（Cathode Ray Tube）やLCD（Liquid Crystal Display）などよりなるディスプレイ、並びにスピーカなどよりなる出力部７１２、ハードディスクなどより構成される記憶部７１３、モデムなどより構成される通信部７１４が接続されている。通信部７１４は、インターネットを含むネットワークを介しての通信処理を行う。
【０１６１】
入出力インタフェース７１０にはまた、必要に応じてドライブ７１５が接続され、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア７２１が適宜装着され、それらから読み出されたコンピュータプログラムが、必要に応じて記憶部７１３にインストールされる。
【０１６２】
上述した一連の処理をソフトウエアにより実行させる場合には、そのソフトウエアを構成するプログラムが、ネットワークや記録媒体からインストールされる。
【０１６３】
この記録媒体は、例えば、図１８に示されるように、装置本体とは別に、ユーザにプログラムを配信するために配布される、プログラムが記録されている磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM（Compact Disc - Read Only Memory）,DVD（Digital Versatile Disc）を含む）、光磁気ディスク（MD（Mini Disc）を含む）、若しくは半導体メモリなどよりなるリムーバブルメディア７２１により構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに配信される、プログラムが記録されているROM７０２や、記憶部７１３に含まれるハードディスクなどで構成される。
【０１６４】
なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
【０１６５】
また、本明細書において、記録媒体に記録されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
【０１６６】
また、本明細書において、システムとは、複数のデバイス（装置）により構成される装置全体を表すものである。
【０１６７】
また、以上において、１つの装置（または処理部）として説明した構成を分割し、複数の装置（または処理部）として構成するようにしてもよい。逆に、以上において複数の装置（または処理部）として説明した構成をまとめて１つの装置（または処理部）として構成されるようにしてもよい。また、各装置（または各処理部）の構成に上述した以外の構成を付加するようにしてももちろんよい。さらに、システム全体としての構成や動作が実質的に同じであれば、ある装置（または処理部）の構成の一部を他の装置（または他の処理部）の構成に含めるようにしてもよい。つまり、本技術は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
【０１６８】
なお、本技術は以下のような構成も取ることができる。
（１） 撮像素子のOPB領域の異なる画素同士の、前記OPB領域の画素信号の信号値の差分値の変化の程度を示すパラメータを算出する算出部と、
前記算出部により算出された前記パラメータのモデルを用いて、前記撮像素子の有効画素領域の画素信号の信号値の黒レベルを補正するための黒レベルの基準値を推定する推定部と
を備える画像処理装置。
（２） 前記パラメータのモデルを記憶する記憶部をさらに備え、
前記推定部は、前記記憶部に記憶されている前記モデルを用いて、前記黒レベルの基準値を推定する
前記（１）に記載の画像処理装置。
（３） 前記パラメータのモデルを生成する生成部をさらに備え、
前記記憶部は、前記生成部により生成された前記パラメータのモデルを記憶する
前記（２）に記載の画像処理装置。
（４） 前記生成部は、所定の条件毎に前記パラメータを生成し、
前記記憶部は、前記生成部により生成された前記条件毎の前記パラメータのモデルを記憶する
前記（３）に記載の画像処理装置。
（５） 前記記憶部に記憶されている前記モデルの中から、前記算出部により算出された前記パラメータに最も近いモデルを特定する特定部をさらに備え、
前記推定部は、前記特定部により特定された前記モデルを用いて、前記黒レベルの基準値を推定する
前記（２）乃至（４）のいずれかに記載の画像処理装置。
（６） 前記OPB領域の画素信号の信号値、または、前記信号値の異なる画素同士の差分値を閾値と比較することにより、前記OPB領域への光漏れを検知する検知部をさらに備え、
前記推定部は、前記検知部により前記光漏れが検知された場合のみ、前記黒レベルの基準値を推定する
前記（１）乃至（５）のいずれかに記載の画像処理装置。
（７） 前記推定部により推定された前記黒レベルの基準値を用いて、前記撮像素子の有効画素領域の画素信号の信号値の黒レベルを補正する補正部をさらに備える
前記（１）乃至（６）のいずれかに記載の画像処理装置。
（８） 前記パラメータは、有効画素領域までの距離毎の、前記差分値の変化率若しくは変化量である
前記（１）乃至（７）のいずれかに記載の画像処理装置。
（９） 前記撮像素子は、多層構造を有し、
前記算出部および前記推定部は、前記多層構造の、前記OPB領域および前記有効画素領域が形成されていない層に設けられる
前記（１）乃至（８）のいずれかに記載の画像処理装置。
（１０） 前記撮像素子は、各画素で複数の色信号を検出する縦型分光構造を有し、
前記算出部は、前記パラメータを、前記色信号毎に算出し、
前記推定部は、前記黒レベルの基準値を、前記色信号毎に推定する
前記（１）乃至（９）のいずれかに記載の画像処理装置。
（１１） 前記撮像素子は、赤外光を検知し、
前記算出部は、前記撮像素子のOPB領域の異なる画素同士の、前記OPB領域の赤外光の画素信号の信号値の差分値の変化の程度を示すパラメータを算出し、
前記推定部は、前記算出部により算出された前記パラメータのモデルを用いて、前記撮像素子の有効画素領域の赤外光の画素信号の信号値の黒レベルを補正するための黒レベルの基準値を推定する
前記（１）乃至（１０）のいずれかに記載の画像処理装置。
（１２） 撮像素子の有効画素領域の画素信号の信号値の黒レベルを補正する補正方法であって、
算出部が、前記撮像素子のOPB領域の異なる画素同士の、前記OPB領域の画素信号の信号値の差分値の変化の程度を示すパラメータを算出し、
推定部が、算出された前記パラメータのモデルを用いて、前記有効画素領域の画素信号の信号値の黒レベルを補正するための黒レベルの基準値を推定し、
補正部が、推定された前記黒レベルの基準値を用いて、前記有効画素領域の画素信号の信号値の黒レベルを補正する
補正方法。
（１３） 有効画素領域およびOPB領域を有し、被写体を撮像する撮像素子と、
前記撮像素子のOPB領域の異なる画素同士の、前記OPB領域の画素信号の信号値の差分値の変化の程度を示すパラメータを算出する算出部と、
前記算出部により算出された前記パラメータのモデルを用いて、前記撮像素子の有効画素領域の画素信号の信号値の黒レベルを補正するための黒レベルの基準値を推定する推定部と
を備える撮像装置。
（１４） 撮像素子のOPB領域の電荷蓄積時間が互いに異なる複数の画素の信号値を取得する取得部と、
前記取得部により取得された、前記電荷蓄積時間が互いに異なる複数の画素の信号値を用いて、前記撮像素子の有効画素領域の画素信号の信号値の黒レベルを補正するための黒レベルの基準値を推定する推定部と
を備える画像処理装置。
（１５） 前記取得部は、前記OPB領域の前記電荷蓄積時間が比較的短い短時間蓄積画素の信号値と、前記OPB領域の前記電荷蓄積時間が比較的長い長時間蓄積画素の信号値とを取得し、
前記推定部は、前記取得部により取得された前記短時間蓄積画素の信号値と、前記長時間蓄積画素の信号値とを用いて、前記黒レベルの基準値を推定する
前記（１４）に記載の画像処理装置。
（１６） 前記推定部は、前記短時間蓄積画素の蓄積時間と、前記長時間蓄積画素の蓄積時間との比率、前記短時間蓄積画素の信号値、および、前記長時間蓄積画素の信号値を用いて前記黒レベルの基準値を推定する
前記（１５）に記載の画像処理装置。
（１７） 前記取得部により取得された前記信号値、または、前記信号値の前記OPB領域の蓄積時間が互いに同じ画素同士の差分値を閾値と比較することにより、前記OPB領域への光漏れを検知する検知部をさらに備え、
前記推定部は、前記検知部により前記光漏れが検知された場合のみ、前記黒レベルの基準値を推定する
前記（１４）乃至（１６）のいずれかに記載の画像処理装置。
（１８） 前記推定部により推定された前記黒レベルの基準値を用いて、前記撮像素子の有効画素領域の画素信号の信号値の黒レベルを補正する補正部をさらに備える
前記（１４）乃至（１７）のいずれかに記載の画像処理装置。
（１９） 撮像素子の有効画素領域の画素信号の信号値の黒レベルを補正する補正方法であって、
取得部が、前記撮像素子のOPB領域の電荷蓄積時間が互いに異なる複数の画素の信号値を取得し、
推定部が、取得された、前記電荷蓄積時間が互いに異なる複数の画素の信号値を用いて、前記有効画素領域の画素信号の信号値の黒レベルを補正するための黒レベルの基準値を推定し、
補正部が、推定された前記黒レベルの基準値を用いて、前記有効画素領域の画素信号の信号値の黒レベルを補正する
補正方法。
（２０） 電荷蓄積時間が互いに異なる複数の画素よりなる有効画素領域およびOPB領域を有し、被写体を撮像する撮像素子と、
前記OPB領域の電荷蓄積時間が互いに異なる複数の画素の信号値を取得する取得部と、
前記取得部により取得された、前記電荷蓄積時間が互いに異なる複数の画素の信号値を用いて、前記有効画素領域の画素信号の信号値の黒レベルを補正するための黒レベルの基準値を推定する推定部と
を備える撮像装置。
【符号の説明】
【０１６９】
１００ 撮像装置， １０１ 制御部， １１１ 撮像素子， １１３ 黒レベル設定部， １１４ クランプ部， １２１ 有効画素領域， １２２ OPB領域， １３１ 制御部， １３２ 検出部， １３３ 演算部， １３４ 記憶部， ２００ 撮像装置， ２１１ 撮像素子， ２１３ 黒レベル設定部， ２２１ 有効画素領域， ２３１ 制御部， ２３２ 検出部， ２３３ 演算部， ６００ 撮像装置， ６１２ CMOSセンサ， ６１６ 画像処理部
【技術分野】
【０００１】
本開示は、画像処理装置、補正方法、並びに、撮像装置に関し、特に、より正確に黒レベル補正を行うことができるようにした画像処理装置、補正方法、並びに、撮像装置に関する。
【背景技術】
【０００２】
従来、外部からの入射光が遮光された画素の領域である遮光画素領域を設け、その遮光画素領域に光が漏れる光漏れが発生した場合に、その領域の黒レベルを使用し補正を行う方法がある（例えば、特許文献１参照）。この方法の場合、遮光画素領域全体に光漏れが発生するような強い光が撮像素子に照射された場合、遮光画素領域において検出される基準となる黒レベルが浮いてしまうので、黒レベル補正を正しく行う事が出来なかった。
【０００３】
また、遮光画素領域全体に光漏れが発生するのを避ける為、遮光画素領域を有効画素領域から遠ざけるといった手法も考えられるが、有効画素領域と物理的距離が離れる為、さらに行数を増やす事になりチップ面積が増大し、コストが増大する恐れがあった。
【０００４】
また、このような遮光画素領域に光漏れがあると判断された場合、予め記録しておいた黒レベルの値を使用する方法が考えられた。この手法の場合、あくまで予め想定される黒レベルが使用されるので、実際の動作時に想定外の条件で光漏れが発生した場合、記憶しておいた黒レベルと実際の黒レベルが異なる恐れがあった。そのため、正確な黒レベル補正を行うことが出来ない恐れがあった。
【０００５】
ところで、有効画素領域の暗信号電流と遮光画素領域の暗電流との比率を予め記憶し、その比率を用いて黒レベル補正を行う方法が考えられた（例えば、特許文献２および特許文献３参照）。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００８−０４８２４４号公報
【特許文献２】特許４４６２２９９号
【特許文献３】特開２００９−２８４４２４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、特許文献２や特許文献３に記載の方法は、異なる暗電流特性を持った画素領域でも正しく黒レベル補正を行うための方法であり、光漏れに対して正しい黒レベル補正を行うことができない恐れがあった。また、照射される光の色温度が変わった場合も、同様に、正しい黒レベル補正を行うことができない恐れがあった。
【０００８】
本開示は、このような状況に鑑みてなされたものであり、より正確に黒レベル補正を行うことを目的とする。
【課題を解決するための手段】
【０００９】
本開示の一側面は、撮像素子のOPB領域の異なる画素同士の、前記OPB領域の画素信号の信号値の差分値の変化の程度を示すパラメータを算出する算出部と、前記算出部により算出された前記パラメータのモデルを用いて、前記撮像素子の有効画素領域の画素信号の信号値の黒レベルを補正するための黒レベルの基準値を推定する推定部とを備える画像処理装置である。
【００１０】
前記パラメータのモデルを記憶する記憶部をさらに備え、前記推定部は、前記記憶部に記憶されている前記モデルを用いて、前記黒レベルの基準値を推定することができる。
【００１１】
前記パラメータのモデルを生成する生成部をさらに備え、前記記憶部は、前記生成部により生成された前記パラメータのモデルを記憶することができる。
【００１２】
前記生成部は、所定の条件毎に前記パラメータを生成し、前記記憶部は、前記生成部により生成された前記条件毎の前記パラメータのモデルを記憶することができる。
【００１３】
前記記憶部に記憶されている前記モデルの中から、前記算出部により算出された前記パラメータに最も近いモデルを特定する特定部をさらに備え、前記推定部は、前記特定部により特定された前記モデルを用いて、前記黒レベルの基準値を推定することができる。
【００１４】
前記OPB領域の画素信号の信号値、または、前記信号値の異なる画素同士の差分値を閾値と比較することにより、前記OPB領域への光漏れを検知する検知部をさらに備え、前記推定部は、前記検知部により前記光漏れが検知された場合のみ、前記黒レベルの基準値を推定することができる。
【００１５】
前記推定部により推定された前記黒レベルの基準値を用いて、前記撮像素子の有効画素領域の画素信号の信号値の黒レベルを補正する補正部をさらに備えることができる。
【００１６】
前記パラメータは、有効画素領域までの距離毎の、前記差分値の変化率若しくは変化量であることができる。
【００１７】
前記撮像素子は、多層構造を有し、前記算出部および前記推定部は、前記多層構造の、前記OPB領域および前記有効画素領域が形成されていない層に設けられることができる。
【００１８】
前記撮像素子は、各画素で複数の色信号を検出する縦型分光構造を有し、前記算出部は、前記パラメータを、前記色信号毎に算出し、前記推定部は、前記黒レベルの基準値を、前記色信号毎に推定することができる。
【００１９】
前記撮像素子は、赤外光を検知し、前記算出部は、前記撮像素子のOPB領域の異なる画素同士の、前記OPB領域の赤外光の画素信号の信号値の差分値の変化の程度を示すパラメータを算出し、前記推定部は、前記算出部により算出された前記パラメータのモデルを用いて、前記撮像素子の有効画素領域の赤外光の画素信号の信号値の黒レベルを補正するための黒レベルの基準値を推定することができる。
【００２０】
本開示の他の側面は、撮像素子の有効画素領域の画素信号の信号値の黒レベルを補正する補正方法であって、算出部が、前記撮像素子のOPB領域の異なる画素同士の、前記OPB領域の画素信号の信号値の差分値の変化の程度を示すパラメータを算出し、推定部が、算出された前記パラメータのモデルを用いて、前記有効画素領域の画素信号の信号値の黒レベルを補正するための黒レベルの基準値を推定し、補正部が、推定された前記黒レベルの基準値を用いて、前記有効画素領域の画素信号の信号値の黒レベルを補正する補正方法である。
【００２１】
本開示のさらに他の側面は、有効画素領域およびOPB領域を有し、被写体を撮像する撮像素子と、前記撮像素子のOPB領域の異なる画素同士の、前記OPB領域の画素信号の信号値の差分値の変化の程度を示すパラメータを算出する算出部と、前記算出部により算出された前記パラメータのモデルを用いて、前記撮像素子の有効画素領域の画素信号の信号値の黒レベルを補正するための黒レベルの基準値を推定する推定部とを備える撮像装置である。
【００２２】
本開示のさらに他の側面は、撮像素子のOPB領域の電荷蓄積時間が互いに異なる複数の画素の信号値を取得する取得部と、前記取得部により取得された、前記電荷蓄積時間が互いに異なる複数の画素の信号値を用いて、前記撮像素子の有効画素領域の画素信号の信号値の黒レベルを補正するための黒レベルの基準値を推定する推定部とを備える画像処理装置である。
【００２３】
前記取得部は、前記OPB領域の前記電荷蓄積時間が比較的短い短時間蓄積画素の信号値と、前記OPB領域の前記電荷蓄積時間が比較的長い長時間蓄積画素の信号値とを取得し、前記推定部は、前記取得部により取得された前記短時間蓄積画素の信号値と、前記長時間蓄積画素の信号値とを用いて、前記黒レベルの基準値を推定することができる。
【００２４】
前記推定部は、前記短時間蓄積画素の蓄積時間と、前記長時間蓄積画素の蓄積時間との比率、前記短時間蓄積画素の信号値、および、前記長時間蓄積画素の信号値を用いて前記黒レベルの基準値を推定することができる。
【００２５】
前記取得部により取得された前記信号値、または、前記信号値の前記OPB領域の蓄積時間が互いに同じ画素同士の差分値を閾値と比較することにより、前記OPB領域への光漏れを検知する検知部をさらに備え、前記推定部は、前記検知部により前記光漏れが検知された場合のみ、前記黒レベルの基準値を推定することができる。
【００２６】
前記推定部により推定された前記黒レベルの基準値を用いて、前記撮像素子の有効画素領域の画素信号の信号値の黒レベルを補正する補正部をさらに備えることができる。
【００２７】
本開示のさらに他の側面は、撮像素子の有効画素領域の画素信号の信号値の黒レベルを補正する補正方法であって、取得部が、前記撮像素子のOPB領域の電荷蓄積時間が互いに異なる複数の画素の信号値を取得し、推定部が、取得された、前記電荷蓄積時間が互いに異なる複数の画素の信号値を用いて、前記有効画素領域の画素信号の信号値の黒レベルを補正するための黒レベルの基準値を推定し、補正部が、推定された前記黒レベルの基準値を用いて、前記有効画素領域の画素信号の信号値の黒レベルを補正する補正方法である。
【００２８】
本開示のさらに他の側面は、電荷蓄積時間が互いに異なる複数の画素よりなる有効画素領域およびOPB領域を有し、被写体を撮像する撮像素子と、前記OPB領域の電荷蓄積時間が互いに異なる複数の画素の信号値を取得する取得部と、前記取得部により取得された、前記電荷蓄積時間が互いに異なる複数の画素の信号値を用いて、前記有効画素領域の画素信号の信号値の黒レベルを補正するための黒レベルの基準値を推定する推定部とを備える撮像装置である。
【００２９】
本開示の一側面においては、撮像素子のOPB領域の異なる画素同士の、OPB領域の画素信号の信号値の差分値の変化の程度を示すパラメータが算出され、算出されたパラメータのモデルを用いて、撮像素子の有効画素領域の画素信号の信号値の黒レベルを補正するための黒レベルの基準値が推定される。
【００３０】
本開示の他の側面においては、撮像素子のOPB領域の異なる画素同士の、OPB領域の画素信号の信号値の差分値の変化の程度を示すパラメータが算出され、算出されたパラメータのモデルを用いて、有効画素領域の画素信号の信号値の黒レベルを補正するための黒レベルの基準値が推定され、推定された黒レベルの基準値を用いて、有効画素領域の画素信号の信号値の黒レベルが補正される。
【００３１】
本開示のさらに他の側面においては、被写体が撮像され、撮像素子のOPB領域の異なる画素同士の、OPB領域の画素信号の信号値の差分値の変化の程度を示すパラメータが算出され、算出されたパラメータのモデルを用いて、撮像素子の有効画素領域の画素信号の信号値の黒レベルを補正するための黒レベルの基準値が推定される。
【００３２】
本開示のさらに他の側面においては、撮像素子のOPB領域の電荷蓄積時間が互いに異なる複数の画素の信号値が取得され、取得された、電荷蓄積時間が互いに異なる複数の画素の信号値を用いて、撮像素子の有効画素領域の画素信号の信号値の黒レベルを補正するための黒レベルの基準値が推定される。
【００３３】
本開示のさらに他の側面においては、撮像素子のOPB領域の電荷蓄積時間が互いに異なる複数の画素の信号値が取得され、取得された、電荷蓄積時間が互いに異なる複数の画素の信号値を用いて、有効画素領域の画素信号の信号値の黒レベルを補正するための黒レベルの基準値が推定され、推定された黒レベルの基準値を用いて、有効画素領域の画素信号の信号値の黒レベルが補正される。
【００３４】
本開示のさらに他の側面においては、被写体が撮像され、OPB領域の電荷蓄積時間が互いに異なる複数の画素の信号値が取得され、取得された、電荷蓄積時間が互いに異なる複数の画素の信号値を用いて、有効画素領域の画素信号の信号値の黒レベルを補正するための黒レベルの基準値が推定される。
【発明の効果】
【００３５】
本開示によれば、画像を処理することができる。特に、より正確に黒レベル補正を行うことができる。
【図面の簡単な説明】
【００３６】
【図１】本技術を適用した撮像装置の主な構成例を示すブロック図である。
【図２】モデルを生成する様子を説明する図である。
【図３】モデル生成時に測定された信号値の例を示す図である。
【図４】モデル生成時に測定された信号値の例を示す図である。
【図５】モデル生成時に算出される変化率の例を示す図である。
【図６】モデル記憶処理の流れの例を説明するフローチャートである。
【図７】黒レベルの推定の様子の例を説明する図である。
【図８】実測された信号値を説明する図である。
【図９】実測された信号値を説明する図である。
【図１０】撮像処理の流れの例を説明するフローチャートである。
【図１１】黒レベル設定処理の流れの例を説明するフローチャートである。
【図１２】本技術を適用した撮像装置の他の構成例を示すブロック図である。
【図１３】黒レベルの推定の様子の例を説明する図である。
【図１４】黒レベル設定処理の流れの例を説明するフローチャートである。
【図１５】多層構造を説明する図である。
【図１６】縦型分光構造を説明する図である。
【図１７】本技術を適用した撮像装置の、さらに他の構成例を示すブロック図である。
【図１８】制御部の主な構成例を示すブロック図である。
【発明を実施するための形態】
【００３７】
以下、本技術を実施するための形態（以下実施の形態とする）について説明する。なお、説明は以下の順序で行う。
１．第１の実施の形態（撮像装置）
２．第２の実施の形態（撮像装置）
３．第３の実施の形態（撮像装置）
【００３８】
＜１．第１の実施の形態＞
［撮像装置］
図１は、本技術を適用した撮像装置の主な構成例を示すブロック図である。図１に示される撮像装置１００は、被写体を撮像し、撮像画像データを得る装置である。
【００３９】
図１に示されるように、撮像装置１００は、制御部１０１、撮像素子１１１、A/D変換部１１２、黒レベル設定部１１３、クランプ部１１４、欠陥補正部１１５、および画像処理部１１６を有する。
【００４０】
制御部１０１は、撮像装置１００の各部を制御し、撮像に関する処理を実行させる。
【００４１】
撮像素子１１１は、外部より入射した光を光電変換し、各画素に蓄積された電荷を画素信号としてA/D変換部１１２に供給する。撮像素子１１１は、各画素が構成される領域として、有効画素領域１２１およびオプティカルブラック（OPB（Optical Black）領域１２２）を有する。
【００４２】
有効画素領域１２１の画素においては、その画素に入射された光が、フォトダイオード等の光電変換素子により光電変換され、その電荷が画素信号として読み出される。OPB領域１２２の画素は、基本的に有効画素領域１２１と同様の構成を有するが、遮光膜等によって遮光されており、外部からその画素に光が入射しないようになされている。OPB領域１２２の画素の画素信号の信号値は、黒レベルの基準とされ、有効画素領域の画素の信号値の、このような黒レベル補正に用いられる。
【００４３】
なお、図１においては、OPB領域１２２が、有効画素領域１２１の図中上側に隣接するように設けられているが、OPB領域１２２は、有効画素領域１２１の外部であれば、その位置は任意である。例えば、OPB領域１２２が、有効画素領域１２１の図中右側、左側、若しくは下側に設けられていても良い。また、OPB領域１２２が有効画素領域１２１を囲むように設けられていても良い。さらに、OPB領域１２２が有効画素領域１２１に隣接していなくても良い。また、OPB領域１２２が複数設けられていても良い。さらに、OPB領域１２２や有効画素領域１２１の大きさや形状は任意である。
【００４４】
A/D変換部１１２は、撮像素子から出力される有効画素領域１２１およびOPB領域１２２の各画素の信号値をデジタルデータ（画像データ）に変換する。
【００４５】
黒レベル設定部１１３は、OPB領域１２２の信号値の空間的変化に基づいて、クランプ部１１４において行われる黒レベル補正に用いられる黒レベルを設定する。図１に示されるように、黒レベル設定部１１３は、制御部１３１、検出部１３２、演算部１３３、および記憶部１３４を有する。
【００４６】
クランプ部１１４は、黒レベル設定部１１３により設定された黒レベルを用いて、A/D変換された有効画素領域１２１の画素の信号値に対する黒レベルの補正を行う。欠陥補正部１１５は、黒レベル補正された画像データに含まれる欠陥画素の信号値の補正を行う。画像処理部１１６は、欠陥補正された画像データに対して、例えばホワイトバランス調整等の、任意の画像処理を行う。画像処理部１１６は、処理後の画像データを撮像装置１００の外部に出力する。
【００４７】
撮像素子１１１は、温度などの外的要因により光電変換の特性が変化する。したがって同じ光を光電変換する場合であっても、このような外的要因により出力される信号値が異なる場合がある。そこで、クランプ部１１４は、信号値の黒レベルを基準値に合わせることにより、このような特性変化を吸収し、安定した撮像結果が得られるようにする。
【００４８】
しかしながら、有効画素領域１２１に非常に強い光が照射された場合、撮像素子１１１内部において光の回り込みが発生し、OPB領域１２２にその光が漏れてしまう恐れがあった。このような光の漏れによりOPB領域１２２の信号値が浮いてしまうので、従来の補正方法の場合、有効画素領域１２１の信号値の黒レベル補正を正しく行うことができなくなる恐れがあった。
【００４９】
ところで、撮像素子１１１の有効画素領域１２１に強い光があたりOPB領域１２２に光が漏れた場合、OPB領域１２２の信号値は、例えば、図２に示されるグラフのように、有効画素領域１２１から離れるにつれて減少する。つまり、OPB領域１２２の各画素の信号値は、有効画素領域１２１からの距離（つまり、画素位置）に応じて変化する。黒レベル設定部１１３は、このような信号値の空間的変化に着目し、この信号値の差分値を使用して、本来の黒レベルを推定する。
【００５０】
黒レベル設定部１１３は、被写体を撮像する実撮影の前に、信号値の空間的変化を表す、隣接する信号値同士の差分値の変化率のモデル（図２）を生成する。なお、変化率は、差分値の変化の程度を表すパラメータとして生成される。つまり、ここで生成されるパラメータは、差分値の変化の程度を表すものであればなんでも良い。例えば、変化量であっても良い。なお、以下においては、このような差分値の変化の程度を表すパラメータのことを「変化率」として説明する。つまり、以下に述べる「変化率」には、特に言及しない限り、「変化量」等の、任意の差分値の変化の程度を表すパラメータが含まれる。
【００５１】
検出部１３２は、OPB領域１２２の、有効画素領域１２１から離れる方向に隣接する画素同士の信号値の差分値が、予めレジスタ等に記憶しておいた閾値より大きいか否かにより光漏れを検出する。すなわち、検出部１３２は、差分値が閾値より大きい場合、光漏れを検出したと判定し、その判定結果を制御部１３１に供給する。
【００５２】
なお、このような光漏れの検出の判定は、信号値そのもので行っても良い。つまり、検出部１３２が、信号値を予め用意された閾値と比較し、信号値が閾値より大きい場合、光漏れを検出したと判定するようにしてもよい。
【００５３】
光漏れが検出されると、制御部１３１は、演算部１３３を制御し、有効画素領域１２１から離れる方向に隣接する画素同士の信号値の差分値の変化率を算出させ、モデルを生成させる。
【００５４】
より具体的には、演算部１３３は、OPB領域の、有効画素領域１２１から離れる方向に隣接する画素間の信号値の差分値を算出し、その差分値の変化率を、有効画素領域１２１までの距離ごとに算出する。
【００５５】
記憶部１３４は、制御部１３１に制御され、有効画素領域までの距離毎の信号値と変化率を、モデルとして記憶する。
【００５６】
信号値の差分値と前記記憶部に保存されたデータを比較し、最も近い特性を示したデータから黒レベルを算出する。
【００５７】
黒レベル設定部１１３は、このようなモデルを、互いに異なる撮像条件の下で複数生成し、記憶する。図３は、各条件下でのOPB領域１２２の信号値を示している。このような信号値が得られると、記憶部１３４は、これらの信号値を、条件毎に（モデル毎に）、図４に示されるように、有効画素領域１２１までの距離毎に記憶する。
【００５８】
演算部１３３は、上述したように、信号値から差分値の変化率を算出する。記憶部１３４は、その変化率を、条件毎に（モデル毎に）、図５に示されるように、有効画素領域１２１までの距離毎に記憶する。
【００５９】
このようなモデルの生成タイミングは、実撮影の前であれば任意である。例えば、工場出荷前においてこのようなモデルを生成し、そのモデルを記憶部１３４に保存した状態で出荷するようにしてもよい。
【００６０】
なお、このようなモデルを生成する際、実際の撮像素子１１１よりもOPB領域を大きくし、光漏れによる信号値がどのように推移していくかを一定値に落ち着くまで測定するようにしてもよい。このように実際よりも広い拡張OPB領域において信号値を測定することにより、仮にOPB領域１２２全体に光漏れが生じた場合でも、黒レベル設定部１１３は、より正確に黒レベルの設定を行う事が出来る。なお、黒レベル設定部１１３が、取得された信号値から、予め予想される値（信号値の収束値）を計算し、記憶するようにしても良い。
【００６１】
また、モデルを生成する撮像条件は任意であるが、例えば、色温度毎にモデルが生成されるようにしてもよい。また、例えば、絞りの設定、IRカットフィルタの有無、レンズの種類、入射角などの光学条件毎にモデルが生成されるようにしてもよい。
【００６２】
より実使用に近い条件化においてモデルを生成することにより、黒レベル設定部１１３は、後述するように、黒レベル補正の際により近似するモデルを選択することができるので、クランプ部１１４は、より正確な黒レベル補正を行うことができる。
【００６３】
［モデル記憶処理の流れ］
図６のフローチャートを参照して、このようなモデル記憶処理の流れの例を説明する。
【００６４】
モデル記憶処理が開始されると、撮像素子１１１は、ステップＳ１０１において、所定の条件下で強い光が照射された状態で、拡張OPB領域の信号値を取得する。
【００６５】
ステップＳ１０２において、A/D変換部１１２は、ステップＳ１０１において取得された信号値をA/D変換する。
【００６６】
ステップＳ１０３において、検出部１３２は、信号値（若しくは差分値）を閾値と比較し、光漏れを検出したか否かを判定する。信号値（若しくは差分値）が閾値より大きく、光漏れを検出したと判定した場合、制御部１３１は、処理をステップＳ１０４に進める。
【００６７】
ステップＳ１０４において、記憶部１３４は、図４に示される表のように、有効画素領域１２１までの距離毎に信号値を記憶する。
【００６８】
ステップＳ１０５において、演算部１３３は、有効画素領域１２１から遠ざかる方向に隣接する画素間の信号値の差分値を算出する。
【００６９】
ステップＳ１０６において、演算部１３３は、有効画素領域１２１までの距離毎に、差分値の変化率を算出する。
【００７０】
ステップＳ１０７において、記憶部１３４は、図５に示される表のように、有効画素領域１２１までの距離毎に、ステップＳ１０６において算出された変化率を記憶する。
【００７１】
ステップＳ１０７の処理を終了すると、制御部１０１は、モデル記憶処理を終了する。また、ステップＳ１０３において、信号値（若しくは差分値）が閾値以下であり、光漏れが検出されていないと判定された場合、制御部１３１は、モデル記憶処理を終了する。
【００７２】
撮像装置１００は、以上のようなモデル記憶処理を条件毎に実行することにより、各条件のモデルを生成し、記憶する。
【００７３】
［実撮影における黒レベルの推定］
そして、被写体を撮像する実撮影の際、演算部１３３は、例えば図７のグラフに示されるように、実際に得られた信号値から、その差分値の変化率を算出する。そして、演算部１３３は、その算出した変化率と、記憶部１３４に記憶されたモデル（差分値の変化率）とを比較し、その変化率の推移が最も近いモデルを選択する。そして演算部１３３は、そのモデルを用いて、有効画素領域の画素信号の信号値の黒レベルの補正（クランプ処理）に用いられる黒レベルの基準値（以下、単に黒レベルとも称する）を推定する。
【００７４】
上述したように、モデルにおいては、実際のOPB領域１２２より広い拡張OPB領域の信号値を用いて生成されるか、若しくは、信号値の収束値が推定される。したがって、例えば、図７に示されるように、OPB領域１２２全体に光が漏れている場合であっても、演算部１３３は、モデルを参照することにより、正しい黒レベルの値（信号値の収束値）を求めることができる。
【００７５】
より具体的な例を説明する。例えば、記憶部１３４が、図４および図５に示されるデータをモデルとして予め記憶しているとする。また、実撮影により、OPB領域１２２において、図８のグラフおよび図９の表に示されるような信号値が取得されたとする。
【００７６】
これらの信号値から検出部１３２が、光漏れを検出したと判定すると、演算部１３３は、隣接する画素の信号値の差分値を算出する。すなわち、図９の例の場合、各行の差分値は、以下のように算出される。
【００７７】
1行目-2行目=600-546=54
2行目-3行目=546-222=324
3行目-4行目=222-128=94
【００７８】
次に、演算部１３３は、算出されたこれらの差分値の変化率を、以下のように行毎に算出する。
【００７９】
(2行目-3行目)/(1行目-2行目)=324/54=6.000
(3行目-4行目)/( 2行目-3行目)=94/324= 0.290
【００８０】
演算部１３３は、こうして得られたデータ（変化率）と、記憶部１３４に保存されているモデルのデータとを比較し、実測値に最も近似するモデルを選択する。図５の例の場合、条件１のモデルのデータが最も実測値に近似している。その誤差は7.14%と、2.13%である。
【００８１】
なお、この比較の際、演算部１３３が、例えば、誤差10%以内に入っていればモデルの値が正しい（実測値に近似する）と判定するようにしてもよい。
【００８２】
実測例のデータでは、有効画素領域１２１から４画素目より遠い画素のデータが存在しない。また、この４画素目において、信号値が収束していない。しかしながら、記憶部１３４が記憶するモデルのデータは、上述したように黒レベルが収束するまで（推定値も含む）存在する。したがって、演算部１３３は、このモデルを参照することにより、より正しい黒レベルを求めることができる。
【００８３】
より具体的に説明すると、図５の条件１のモデルの場合、（4行目-5行目）において（3行目-4行目）の0.5倍分、値が低下している。したがって、（4行目-5行目）の差分値は、以下のように算出される。
【００８４】
（3行目-4行目）* 5ピクセルの記憶データ@条件1=94*0.5=47
【００８５】
つまり、5画素目の信号値は、4画素目の信号値より47低い。したがって、５画素目の信号値は、以下のように算出される。
【００８６】
128-47=81
【００８７】
なお、図５の表によれば、（5行目-6行目）の変化率は０である。つまり、有効画素領域１２１から５画素目の信号値「81」が信号値の収束値（正しい黒レベル）である。演算部１３３は、このように黒レベルを推定すると、推定した値をクランプ部１１４に供給し、黒レベルとしてクランプ処理に利用させる。
【００８８】
つまり、この推定された黒レベルが、クランプ部１１４において、有効画素領域の信号値の黒レベル補正に用いられる。このようにすることにより、クランプ部１１４は、より正確に黒レベル補正を行うことができる。
【００８９】
［撮像処理の流れ］
図１０のフローチャートを参照して、実撮影における撮像処理の流れの例を説明する。
【００９０】
撮像処理が開始されると、撮像素子１１１は、ステップＳ１２１において、被写体を撮像し、有効画素領域１２１およびOPB領域１２２の各画素の信号値を出力する。ステップＳ１２２において、A/D変換部１１２は、ステップＳ１２１の撮像により得られた信号値をA/D変換する。
【００９１】
ステップＳ１２３において、黒レベル設定部１１３は、ステップＳ１２１の撮像により得られたOPB領域１２２の信号値を用いて、上述したように黒レベルを設定する。
【００９２】
ステップＳ１２４において、クランプ部１１４は、ステップＳ１２３において設定された黒レベルを用いて、有効画素領域１２１の各画素の信号値の黒レベルを補正する。
【００９３】
ステップＳ１２５において、欠陥補正部１１５は、欠陥画素の信号値を補正する。
【００９４】
ステップＳ１２６において、画像処理部１１６は、黒レベル補正や欠陥画素補正が行われた有効画素領域１２１の信号値からなる画像データに対して、画像処理を行う。
【００９５】
ステップＳ１２６の処理が終了すると、制御部１０１は、撮像処理を終了する。
【００９６】
［黒レベル設定処理の流れ］
図１１のフローチャートを参照して、図１０のステップＳ１２３において実行される黒レベル設定処理の流れの例を説明する。
【００９７】
黒レベル設定処理が開始されると、検出部１３２は、ステップＳ１４１において、OPB領域の各画素の信号値を取得する。ステップＳ１４２において、検出部１３２は、その信号値若しくは差分値を閾値と比較し、その比較結果に従って光漏れを検出したか否かを判定する。
【００９８】
信号値（若しくは差分値）が閾値より大きく、光漏れが検出されたと判定された場合、制御部１３１は、処理をステップＳ１４３に進める。
【００９９】
ステップＳ１４３において、演算部１３３は、隣接画素間の信号値の差分値を算出する。さらに、ステップＳ１４４において、演算部１３３は、ステップＳ１４３において算出された差分値の変化率を、有効画素領域１２１までの距離毎に算出する。ステップＳ１４５において、演算部１３３は、記憶部１３４に記憶されている各モデルを参照し、算出した変化率とモデルの変化率を比較し、その変化率が最も近似するモデルを特定する（利用するモデルを選択する）。
【０１００】
ステップＳ１４６において、演算部１３３は、選択したモデルの変化率を用いて、実測の信号値に対応する、より正しい黒レベル（信号値の収束値（推定値を含む））を推定する。
【０１０１】
黒レベルを推定すると、演算部１３３は、その推定値をクランプ部１１４に供給し、黒レベル設定処理を終了し、処理を図１０に戻す。
【０１０２】
また、図１１のステップＳ１４２において、信号値（若しくは差分値）が閾値以下であり、光漏れが検出されていないと判定された場合、制御部１３１は、処理をステップＳ１４７に進める。ステップＳ１４７において、演算部１３３は、モデルを参照せずに、OPB領域１２２の実測の信号値から黒レベルを算出する。黒レベルを算出すると、演算部１３３は、その推定値をクランプ部１１４に供給し、黒レベル設定処理を終了し、処理を図１０に戻す。
【０１０３】
以上のように各処理を実行することにより、黒レベル設定部１１３は、より正しい黒レベルを推定することができる。したがって、クランプ部１１４は、より正確に黒レベル補正を行うことができる。すなわち、撮像装置１００は、OPB領域１２２に光漏れが発生する場合であっても、より正確な黒レベル補正を行うことができる。つまり、撮像装置１００は、光漏れに対する黒レベル補正の耐性を向上させることができる。
【０１０４】
なお、以上においては、隣接する信号値同士の差分値の変化率（若しくは変化量等）をパラメータとして求めるように説明したが、このパラメータは、信号値の空間的変化（有効画素領域からの距離に応じた信号値の変化）を表すものであればよい。したがって、信号値の差分値を求める画素は、OPB領域の、有効画素領域から離れる方向に異なる位置の画素同士であればよい（隣接する画素同士でなくてもよい）。
【０１０５】
＜２．第２の実施の形態＞
［撮像装置］
図１２は、本技術を適用した撮像装置の他の構成例を示すブロック図である。図１２に示される撮像装置２００は、図１の撮像装置１００と基本的に同様の装置である。つまり、撮像装置２００は、撮像装置１００と基本的に同様の構成を有し、同様の処理を行う。ただし、撮像装置２００は、撮像装置１００の撮像素子１１１の代わりに、撮像素子２１１を有する。
【０１０６】
撮像素子２１１には、撮像素子１１１の場合と同様に、有効画素領域２２１の外部にOPB領域２２２が設けられている。ただし、有効画素領域２２１は、例えば高ダイナミックレンジの画像を得ることができるように、電荷の蓄積時間が互いに異なる複数種類の画素により構成される。このような撮像素子は、例えば、特開２０１０−２１３２５１号公報に記載されている。
【０１０７】
有効画素領域２２１の画素の種類（電荷蓄積時間の長さ）は、複数であればよく、２種類であっても良いし、３種類以上であってもよい。以下においては説明の便宜上、有効画素領域２２１が、蓄積時間の短い画素と長い画素の２種類の画素により構成されるものとする。
【０１０８】
OPB領域２２２は、OPB領域１２２の場合と同様に、遮光されていること以外、有効画素領域２２１と同様の構成を有する。つまり、OPB領域２２２も、蓄積時間の短い画素と長い画素の２種類の画素により構成される。OPB領域２２２の画素の種類は、有効画素領域２２１と同数である。
【０１０９】
また、撮像装置２００は、撮像装置１００の黒レベル設定部１１３の代わりに、黒レベル設定部２１３を有する。
【０１１０】
黒レベル設定部１１３が、信号値（差分値の変化率）の空間的変化を利用して、より正しい黒レベルを設定したのに対し、黒レベル設定部２１３は、信号値（差分値の変化率）の時間的変化を利用して、より正しい黒レベルを設定する。つまり、黒レベル設定部２１３は、蓄積時間の短い画素と長い画素との間の、蓄積時間の差を利用して、より正しい黒レベルを求める。
【０１１１】
より具体的に説明すると、例えば、短い方の蓄積時間（短時間蓄積）に比べて、長い方の蓄積時間（長時間蓄積）の時間がα倍であるとすると、両者の出力信号値は以下の式で表すことができる。
【０１１２】
短時間蓄積 ： 1x + 黒レベル = y(出力値)
長時間蓄積 ： αx + 黒レベル = y'(出力値)
x:短時間蓄積の時の光透過量。
y,y':遮光画素領域の信号値。
α：短時間蓄積画素に対する長時間蓄積画素の蓄積時間の比率
【０１１３】
各画素の電荷蓄積時間は既知であるので、αの値は既知である。また、短時間・長時間蓄積画素それぞれの出力値y,y'は測定可能である。したがって、黒レベルは両式から求める事が出来る。
【０１１４】
つまり、黒レベル設定部２１３は、モデルを利用せずに、黒レベルを求めることができる。すなわち、黒レベル設定部２１３は、モデルを予め生成し、記憶する必要がない。
【０１１５】
したがって、図１２に示されるように、黒レベル設定部２１３は、制御部２３１、検出部２３２、および演算部２３３を有するが、記憶部を備えていない。
【０１１６】
制御部２３１は、検出部２３２および演算部２３３を制御する。検出部２３２は、検出部１３２の場合と同様に、光漏れの検出を行い、演算部２３３は、より正しい黒レベルを算出する。
【０１１７】
有効画素に強い光があたりOPB領域に光が漏れた場合、光が漏れているOPB領域の画素では、例えば、図１３に示されるように、蓄積時間が長い程信号値が増加する。この電荷蓄積時間の短い画素の蓄積量と、電荷蓄積時間の長い画素の蓄積量との差分は、漏れた光によるものである。つまり、図１３に示されるように、この蓄積時間の異なる画素の信号値の差分から、より正しい黒レベルを推定することができる。
【０１１８】
例えば、短時間蓄積の時間に比べて長時間蓄積の時間が１６倍であるとすると、両者の出力信号値は以下のように表すことができる。
【０１１９】
短時間蓄積 ： y(出力値) = 1x + 黒レベル
長時間蓄積 ： y'(出力値) = 16x + 黒レベル
x:短時間蓄積時の光漏れによって生じた信号値
y,y':OPB画素領域の信号値
【０１２０】
短時間・長時間蓄積画素それぞれの出力値y,y'は測定可能であるので、黒レベルは両式から求める事が出来る。つまり、上述の式を新たに書き直すと以下のようになる。
【０１２１】
黒レベル = (16y - y') / 15
【０１２２】
したがって、演算部１３３は、短時間・長時間蓄積画素の出力値y,y'を測定する事で、黒レベルを推定する事が出来る。
【０１２３】
例えば、y=96,y'=576の場合、黒レベル=(16*96-576)/15=64である。また、例えば、短時間蓄積が16.66msec、長時間蓄積が66.66msec、y=96、y'=192である場合、αは4であり、黒レベル=(4*96-192)/(4-1)=64である。
【０１２４】
演算部２３３は、このように黒レベルを推定すると、推定した値をクランプ部１１４に供給し、黒レベルとしてクランプ処理に利用させる。
【０１２５】
つまり、この推定された黒レベルが、クランプ部１１４において、有効画素領域の信号値の黒レベル補正に用いられる。このようにすることにより、クランプ部１１４は、より正確に黒レベル補正を行うことができる。
【０１２６】
［黒レベル設定処理の流れ］
撮像装置２００の場合も、撮像処理は、第１の実施の形態の場合と同様に実行される。図１４のフローチャートを参照して、図１０のステップＳ１２３において実行される黒レベル設定処理の流れの例を説明する。
【０１２７】
黒レベル設定処理が開始されると、検出部２３２は、ステップＳ２０１において、OPB領域の各画素の信号値を取得する。ステップＳ２０２において、検出部２３２は、その信号値若しくは差分値を閾値と比較し、その比較結果に従って光漏れを検出したか否かを判定する。
【０１２８】
信号値（若しくは差分値）が閾値より大きく、光漏れが検出されたと判定された場合、制御部２３１は、処理をステップＳ２０３に進める。
【０１２９】
ステップＳ２０３において、演算部２３３は、短時間蓄積画素の信号値と、長時間蓄積画素の信号値とを用いて、黒レベルを推定する。黒レベルを推定すると、演算部２３３は、その推定値をクランプ部１１４に供給し、黒レベル設定処理を終了し、処理を図１０に戻す。
【０１３０】
また、図１４のステップＳ２０２において、信号値（若しくは差分値）が閾値以下であり、光漏れが検出されていないと判定された場合、制御部２３１は、処理をステップＳ２０４に進める。ステップＳ２０４において、演算部２３３は、モデルを参照せずに、OPB領域２２２の実測の信号値から黒レベルを算出する。黒レベルを算出すると、演算部２３３は、その推定値をクランプ部１１４に供給し、黒レベル設定処理を終了し、処理を図１０に戻す。
【０１３１】
以上のように各処理を実行することにより、黒レベル設定部２１３は、より正しい黒レベルを推定することができる。したがって、クランプ部１１４は、より正確に黒レベル補正を行うことができる。すなわち、撮像装置２００は、OPB領域２２２に光漏れが発生する場合であっても、より正確な黒レベル補正を行うことができる。つまり、撮像装置２００は、光漏れに対する黒レベル補正の耐性を向上させることができる。
【０１３２】
［多層構造］
なお、撮像素子は、例えば、図１５に示されるように、画素領域（有効画素領域およびOPB領域）とそれ以外の制御回路やロジック回路などを階層毎に分けた多層構造とすることもできる。撮像素子１１１や撮像素子２１１をこのような多層構造の撮像素子とする場合、黒レベル設定部１１３や黒レベル設定部２１３は、例えば、図１５に示されるように、画素領域が形成される層とは異なる層（例えば、ロジック回路が形成される層）に設けることにより、チップ面積の増大を抑制することができる。
【０１３３】
［撮像素子］
また、撮像素子１１１および撮像素子２１１の画素の配列構造は任意である。また、撮像素子１１１および撮像素子２１１は、CCDイメージセンサであってもよいし、CMOSイメージセンサであってもよいし、それ以外の種類の撮像素子であってもよい。さらに、撮像素子１１１および撮像素子２１１は、表面照射型の構造のイメージセンサであってもよいし、裏面照射型の構造のイメージセンサであってもよい。
【０１３４】
すなわち、本技術は、有効画素領域とOPB領域を有する撮像素子であれば、どのような撮像素子において得られた画素信号であっても適用することができる。
【０１３５】
［縦型分光構造］
なお、例えば、特開２０１１−２９４５３号公報に開示されているような、１つの画素において複数の色信号を感知する縦型分光構造の撮像素子において得られる画素信号に対しても、本技術を適応する事が出来る。
【０１３６】
例えば、図１６に示される縦型分光構造の撮像素子は、１つの画素で３つの色信号R,G,Bを感知する。この撮像素子の場合、各色毎に光漏れによる発生信号量が異なる。そこで、黒レベル設定部１１３は、各色についてモデルを生成し、用意する。このようにすることにより、黒レベル設定部１１３は、各色について黒レベルを正しく推定することができる。さらに、各色において推定した黒レベルを比較検討するようにすることにより、黒レベル設定部１１３は、より正しい黒レベルを設定することができる。つまり、クランプ部１１４は、より正確に黒レベル補正を行うことができる。
【０１３７】
［赤外光］
なお、黒レベルを補正する信号値は、可視光の信号値に限らない。本技術は、赤外線を使って撮影を行う撮像装置にも容易に適用することができる。例えば、夜間でも撮影可能な撮像装置では、赤外線などの光を利用して撮影しているが、赤外線の波長が長い為にOPB領域に漏れ込む可能性が高い。
【０１３８】
黒レベル設定部１１３は、可視光に限らず、どのような光の信号値であっても同様に黒レベルを補正することができる。つまり、赤外光の信号値において黒レベルを補正する場合、黒レベル設定部１１３は、予め赤外光のモデルを作成し、記憶部１３４に保持させておけばよい。
【０１３９】
つまり、撮像装置１００は、赤外光の場合も、より正確に黒レベル補正を行うことができる。
【０１４０】
＜３．第３の実施の形態＞
［撮像装置］
図１７は、本技術を適用した撮像装置の構成例を示す図である。図１７に示される撮像装置６００は、被写体を撮像し、その被写体の画像を電気信号として出力する装置である。
【０１４１】
図１７に示されるように撮像装置６００は、光学部６１１、CMOSセンサ６１２、A/D変換器６１３、制御部６１５、画像処理部６１６、表示部６１７、コーデック処理部６１８、および記録部６１９を有する。
【０１４２】
光学部６１１は、被写体までの焦点を調整し、焦点が合った位置からの光を集光するレンズ、露出を調整する絞り、および、撮像のタイミングを制御するシャッタ等よりなる。光学部６１１は、被写体からの光（入射光）を透過し、CMOSセンサ６１２に供給する。
【０１４３】
CMOSセンサ６１２は、第１の実施の形態および第２の実施の形態において説明した構造を有する撮像素子（撮像素子１１１若しくは撮像素子２１１）であり、有効画素領域において、入射光を光電変換して画素毎の信号（画素信号）をA/D変換器６１３に供給する。また、CMOSセンサ６１２は、OPB領域の画素信号もA/D変換器６１３に供給する。つまり、CMOSセンサ６１２は、撮像装置１００の撮像素子１１１、または、撮像装置２００の撮像素子２１１に対応する。
【０１４４】
A/D変換器６１３は、CMOSセンサ６１２から、所定のタイミングで供給された画素信号を、デジタルデータ（画像データ）に変換し、所定のタイミングで順次、画像処理部６１６に供給する。
【０１４５】
制御部６１５は、ユーザの操作入力等に基づいて、光学部６１１、CMOSセンサ６１２、A/D変換器６１３、画像処理部６１６、表示部６１７、コーデック処理部６１８、および記録部６１９の駆動を制御し、各部に撮像に関する処理を行わせる。
【０１４６】
画像処理部６１６は、A/D変換器６１３から供給された画像データに対して、第１の実施の形態および第２の実施の形態において説明したように、クランプ処理（黒レベル補正）を行う。
【０１４７】
また、画像処理部６１６は、クランプ処理以外の任意の画像処理を行うことができる。例えば、混色補正、ホワイトバランス調整、デモザイク処理、マトリックス処理、ガンマ補正、およびYC変換等が行われるようにしてもよい。
【０１４８】
つまり、画像処理部６１６は、撮像装置１００の黒レベル設定部１１３、クランプ部１１４、欠陥補正部１１５、および画像処理部１１６の各部、または、撮像装置２００の黒レベル設定部２１３、クランプ部１１４、欠陥補正部１１５、および画像処理部１１６の各部に対応する。
【０１４９】
画像処理部６１６は、画像処理を施した画像データを表示部６１７およびコーデック処理部６１８に供給する。
【０１５０】
表示部６１７は、例えば、液晶ディスプレイ等として構成され、画像処理部６１６から供給された画像データに基づいて、被写体の画像を表示する。
【０１５１】
コーデック処理部６１８は、画像処理部６１６から供給された画像データに対して、所定の方式の符号化処理を施し、得られた符号化データを記録部６１９に供給する。
【０１５２】
記録部６１９は、コーデック処理部６１８からの符号化データを記録する。記録部６１９に記録された符号化データは、必要に応じて画像処理部６１６に読み出されて復号される。復号処理により得られた画像データは、表示部６１７に供給され、対応する画像が表示される。
【０１５３】
以上のように、撮像装置６００は、本技術を適用した方法で黒レベルの推定を行うので、より正確に黒レベル補正を行うことができ、撮像して得られる撮像画像の画質を向上させることができる。
【０１５４】
なお、本技術を適用した撮像素子を備える撮像装置は、上述した構成に限らず、他の構成であってもよい。
【０１５５】
以上に説明した各装置は、それぞれ、上述した以外の構成を含むようにしてももちろんよい。また、１つの装置としてだけでなく、複数の装置よりなるシステムとして構成されるようにしてもよい。
【０１５６】
［制御部］
上述した一連の処理は、ハードウエアにより実行することもできるし、ソフトウエアにより実行することもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウエアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な汎用のパーソナルコンピュータ、並びに、図１や図１２の制御部１０１や図１７の制御部６１５などが含まれる。
【０１５７】
図１８は、図１７の制御部６１５の主な構成例を示すブロック図である。図１８に示される構成は、図１や図１２の制御部１０１にも適用することができる。
【０１５８】
図１８において、制御部６１５のCPU（Central Processing Unit）７０１は、ROM（Read Only Memory）７０２に記憶されているプログラム、または記憶部７１３からRAM（Random Access Memory）７０３にロードされたプログラムに従って各種の処理を実行する。RAM７０３にはまた、CPU７０１が各種の処理を実行する上において必要なデータなども適宜記憶される。
【０１５９】
CPU７０１、ROM７０２、およびRAM７０３は、バス７０４を介して相互に接続されている。このバス７０４にはまた、入出力インタフェース７１０も接続されている。
【０１６０】
入出力インタフェース７１０には、キーボード、マウスなどよりなる入力部７１１、CRT（Cathode Ray Tube）やLCD（Liquid Crystal Display）などよりなるディスプレイ、並びにスピーカなどよりなる出力部７１２、ハードディスクなどより構成される記憶部７１３、モデムなどより構成される通信部７１４が接続されている。通信部７１４は、インターネットを含むネットワークを介しての通信処理を行う。
【０１６１】
入出力インタフェース７１０にはまた、必要に応じてドライブ７１５が接続され、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア７２１が適宜装着され、それらから読み出されたコンピュータプログラムが、必要に応じて記憶部７１３にインストールされる。
【０１６２】
上述した一連の処理をソフトウエアにより実行させる場合には、そのソフトウエアを構成するプログラムが、ネットワークや記録媒体からインストールされる。
【０１６３】
この記録媒体は、例えば、図１８に示されるように、装置本体とは別に、ユーザにプログラムを配信するために配布される、プログラムが記録されている磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM（Compact Disc - Read Only Memory）,DVD（Digital Versatile Disc）を含む）、光磁気ディスク（MD（Mini Disc）を含む）、若しくは半導体メモリなどよりなるリムーバブルメディア７２１により構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに配信される、プログラムが記録されているROM７０２や、記憶部７１３に含まれるハードディスクなどで構成される。
【０１６４】
なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
【０１６５】
また、本明細書において、記録媒体に記録されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
【０１６６】
また、本明細書において、システムとは、複数のデバイス（装置）により構成される装置全体を表すものである。
【０１６７】
また、以上において、１つの装置（または処理部）として説明した構成を分割し、複数の装置（または処理部）として構成するようにしてもよい。逆に、以上において複数の装置（または処理部）として説明した構成をまとめて１つの装置（または処理部）として構成されるようにしてもよい。また、各装置（または各処理部）の構成に上述した以外の構成を付加するようにしてももちろんよい。さらに、システム全体としての構成や動作が実質的に同じであれば、ある装置（または処理部）の構成の一部を他の装置（または他の処理部）の構成に含めるようにしてもよい。つまり、本技術は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
【０１６８】
なお、本技術は以下のような構成も取ることができる。
（１） 撮像素子のOPB領域の異なる画素同士の、前記OPB領域の画素信号の信号値の差分値の変化の程度を示すパラメータを算出する算出部と、
前記算出部により算出された前記パラメータのモデルを用いて、前記撮像素子の有効画素領域の画素信号の信号値の黒レベルを補正するための黒レベルの基準値を推定する推定部と
を備える画像処理装置。
（２） 前記パラメータのモデルを記憶する記憶部をさらに備え、
前記推定部は、前記記憶部に記憶されている前記モデルを用いて、前記黒レベルの基準値を推定する
前記（１）に記載の画像処理装置。
（３） 前記パラメータのモデルを生成する生成部をさらに備え、
前記記憶部は、前記生成部により生成された前記パラメータのモデルを記憶する
前記（２）に記載の画像処理装置。
（４） 前記生成部は、所定の条件毎に前記パラメータを生成し、
前記記憶部は、前記生成部により生成された前記条件毎の前記パラメータのモデルを記憶する
前記（３）に記載の画像処理装置。
（５） 前記記憶部に記憶されている前記モデルの中から、前記算出部により算出された前記パラメータに最も近いモデルを特定する特定部をさらに備え、
前記推定部は、前記特定部により特定された前記モデルを用いて、前記黒レベルの基準値を推定する
前記（２）乃至（４）のいずれかに記載の画像処理装置。
（６） 前記OPB領域の画素信号の信号値、または、前記信号値の異なる画素同士の差分値を閾値と比較することにより、前記OPB領域への光漏れを検知する検知部をさらに備え、
前記推定部は、前記検知部により前記光漏れが検知された場合のみ、前記黒レベルの基準値を推定する
前記（１）乃至（５）のいずれかに記載の画像処理装置。
（７） 前記推定部により推定された前記黒レベルの基準値を用いて、前記撮像素子の有効画素領域の画素信号の信号値の黒レベルを補正する補正部をさらに備える
前記（１）乃至（６）のいずれかに記載の画像処理装置。
（８） 前記パラメータは、有効画素領域までの距離毎の、前記差分値の変化率若しくは変化量である
前記（１）乃至（７）のいずれかに記載の画像処理装置。
（９） 前記撮像素子は、多層構造を有し、
前記算出部および前記推定部は、前記多層構造の、前記OPB領域および前記有効画素領域が形成されていない層に設けられる
前記（１）乃至（８）のいずれかに記載の画像処理装置。
（１０） 前記撮像素子は、各画素で複数の色信号を検出する縦型分光構造を有し、
前記算出部は、前記パラメータを、前記色信号毎に算出し、
前記推定部は、前記黒レベルの基準値を、前記色信号毎に推定する
前記（１）乃至（９）のいずれかに記載の画像処理装置。
（１１） 前記撮像素子は、赤外光を検知し、
前記算出部は、前記撮像素子のOPB領域の異なる画素同士の、前記OPB領域の赤外光の画素信号の信号値の差分値の変化の程度を示すパラメータを算出し、
前記推定部は、前記算出部により算出された前記パラメータのモデルを用いて、前記撮像素子の有効画素領域の赤外光の画素信号の信号値の黒レベルを補正するための黒レベルの基準値を推定する
前記（１）乃至（１０）のいずれかに記載の画像処理装置。
（１２） 撮像素子の有効画素領域の画素信号の信号値の黒レベルを補正する補正方法であって、
算出部が、前記撮像素子のOPB領域の異なる画素同士の、前記OPB領域の画素信号の信号値の差分値の変化の程度を示すパラメータを算出し、
推定部が、算出された前記パラメータのモデルを用いて、前記有効画素領域の画素信号の信号値の黒レベルを補正するための黒レベルの基準値を推定し、
補正部が、推定された前記黒レベルの基準値を用いて、前記有効画素領域の画素信号の信号値の黒レベルを補正する
補正方法。
（１３） 有効画素領域およびOPB領域を有し、被写体を撮像する撮像素子と、
前記撮像素子のOPB領域の異なる画素同士の、前記OPB領域の画素信号の信号値の差分値の変化の程度を示すパラメータを算出する算出部と、
前記算出部により算出された前記パラメータのモデルを用いて、前記撮像素子の有効画素領域の画素信号の信号値の黒レベルを補正するための黒レベルの基準値を推定する推定部と
を備える撮像装置。
（１４） 撮像素子のOPB領域の電荷蓄積時間が互いに異なる複数の画素の信号値を取得する取得部と、
前記取得部により取得された、前記電荷蓄積時間が互いに異なる複数の画素の信号値を用いて、前記撮像素子の有効画素領域の画素信号の信号値の黒レベルを補正するための黒レベルの基準値を推定する推定部と
を備える画像処理装置。
（１５） 前記取得部は、前記OPB領域の前記電荷蓄積時間が比較的短い短時間蓄積画素の信号値と、前記OPB領域の前記電荷蓄積時間が比較的長い長時間蓄積画素の信号値とを取得し、
前記推定部は、前記取得部により取得された前記短時間蓄積画素の信号値と、前記長時間蓄積画素の信号値とを用いて、前記黒レベルの基準値を推定する
前記（１４）に記載の画像処理装置。
（１６） 前記推定部は、前記短時間蓄積画素の蓄積時間と、前記長時間蓄積画素の蓄積時間との比率、前記短時間蓄積画素の信号値、および、前記長時間蓄積画素の信号値を用いて前記黒レベルの基準値を推定する
前記（１５）に記載の画像処理装置。
（１７） 前記取得部により取得された前記信号値、または、前記信号値の前記OPB領域の蓄積時間が互いに同じ画素同士の差分値を閾値と比較することにより、前記OPB領域への光漏れを検知する検知部をさらに備え、
前記推定部は、前記検知部により前記光漏れが検知された場合のみ、前記黒レベルの基準値を推定する
前記（１４）乃至（１６）のいずれかに記載の画像処理装置。
（１８） 前記推定部により推定された前記黒レベルの基準値を用いて、前記撮像素子の有効画素領域の画素信号の信号値の黒レベルを補正する補正部をさらに備える
前記（１４）乃至（１７）のいずれかに記載の画像処理装置。
（１９） 撮像素子の有効画素領域の画素信号の信号値の黒レベルを補正する補正方法であって、
取得部が、前記撮像素子のOPB領域の電荷蓄積時間が互いに異なる複数の画素の信号値を取得し、
推定部が、取得された、前記電荷蓄積時間が互いに異なる複数の画素の信号値を用いて、前記有効画素領域の画素信号の信号値の黒レベルを補正するための黒レベルの基準値を推定し、
補正部が、推定された前記黒レベルの基準値を用いて、前記有効画素領域の画素信号の信号値の黒レベルを補正する
補正方法。
（２０） 電荷蓄積時間が互いに異なる複数の画素よりなる有効画素領域およびOPB領域を有し、被写体を撮像する撮像素子と、
前記OPB領域の電荷蓄積時間が互いに異なる複数の画素の信号値を取得する取得部と、
前記取得部により取得された、前記電荷蓄積時間が互いに異なる複数の画素の信号値を用いて、前記有効画素領域の画素信号の信号値の黒レベルを補正するための黒レベルの基準値を推定する推定部と
を備える撮像装置。
【符号の説明】
【０１６９】
１００ 撮像装置， １０１ 制御部， １１１ 撮像素子， １１３ 黒レベル設定部， １１４ クランプ部， １２１ 有効画素領域， １２２ OPB領域， １３１ 制御部， １３２ 検出部， １３３ 演算部， １３４ 記憶部， ２００ 撮像装置， ２１１ 撮像素子， ２１３ 黒レベル設定部， ２２１ 有効画素領域， ２３１ 制御部， ２３２ 検出部， ２３３ 演算部， ６００ 撮像装置， ６１２ CMOSセンサ， ６１６ 画像処理部
【特許請求の範囲】
【請求項１】
撮像素子のOPB領域の異なる画素同士の、前記OPB領域の画素信号の信号値の差分値の変化の程度を示すパラメータを算出する算出部と、
前記算出部により算出された前記パラメータのモデルを用いて、前記撮像素子の有効画素領域の画素信号の信号値の黒レベルを補正するための黒レベルの基準値を推定する推定部と
を備える画像処理装置。
【請求項２】
前記パラメータのモデルを記憶する記憶部をさらに備え、
前記推定部は、前記記憶部に記憶されている前記モデルを用いて、前記黒レベルの基準値を推定する
請求項１に記載の画像処理装置。
【請求項３】
前記パラメータのモデルを生成する生成部をさらに備え、
前記記憶部は、前記生成部により生成された前記パラメータのモデルを記憶する
請求項２に記載の画像処理装置。
【請求項４】
前記生成部は、所定の条件毎に前記パラメータを生成し、
前記記憶部は、前記生成部により生成された前記条件毎の前記パラメータのモデルを記憶する
請求項３に記載の画像処理装置。
【請求項５】
前記記憶部に記憶されている前記モデルの中から、前記算出部により算出された前記パラメータに最も近いモデルを特定する特定部をさらに備え、
前記推定部は、前記特定部により特定された前記モデルを用いて、前記黒レベルの基準値を推定する
請求項２に記載の画像処理装置。
【請求項６】
前記OPB領域の画素信号の信号値、または、前記信号値の異なる画素同士の差分値を閾値と比較することにより、前記OPB領域への光漏れを検知する検知部をさらに備え、
前記推定部は、前記検知部により前記光漏れが検知された場合のみ、前記黒レベルの基準値を推定する
請求項１に記載の画像処理装置。
【請求項７】
前記推定部により推定された前記黒レベルの基準値を用いて、前記撮像素子の有効画素領域の画素信号の信号値の黒レベルを補正する補正部をさらに備える
請求項１に記載の画像処理装置。
【請求項８】
前記パラメータは、有効画素領域までの距離毎の、前記差分値の変化率若しくは変化量である
請求項１に記載の画像処理装置。
【請求項９】
前記撮像素子は、多層構造を有し、
前記算出部および前記推定部は、前記多層構造の、前記OPB領域および前記有効画素領域が形成されていない層に設けられる
請求項１に記載の画像処理装置。
【請求項１０】
前記撮像素子は、各画素で複数の色信号を検出する縦型分光構造を有し、
前記算出部は、前記パラメータを、前記色信号毎に算出し、
前記推定部は、前記黒レベルの基準値を、前記色信号毎に推定する
請求項１に記載の画像処理装置。
【請求項１１】
前記撮像素子は、赤外光を検知し、
前記算出部は、前記撮像素子のOPB領域の異なる画素同士の、前記OPB領域の赤外光の画素信号の信号値の差分値の変化の程度を示すパラメータを算出し、
前記推定部は、前記算出部により算出された前記パラメータのモデルを用いて、前記撮像素子の有効画素領域の赤外光の画素信号の信号値の黒レベルを補正するための黒レベルの基準値を推定する
請求項１に記載の画像処理装置。
【請求項１２】
撮像素子の有効画素領域の画素信号の信号値の黒レベルを補正する補正方法であって、
算出部が、前記撮像素子のOPB領域の異なる画素同士の、前記OPB領域の画素信号の信号値の差分値の変化の程度を示すパラメータを算出し、
推定部が、算出された前記パラメータのモデルを用いて、前記有効画素領域の画素信号の信号値の黒レベルを補正するための黒レベルの基準値を推定し、
補正部が、推定された前記黒レベルの基準値を用いて、前記有効画素領域の画素信号の信号値の黒レベルを補正する
補正方法。
【請求項１３】
有効画素領域およびOPB領域を有し、被写体を撮像する撮像素子と、
前記撮像素子のOPB領域の異なる画素同士の、前記OPB領域の画素信号の信号値の差分値の変化の程度を示すパラメータを算出する算出部と、
前記算出部により算出された前記パラメータのモデルを用いて、前記撮像素子の有効画素領域の画素信号の信号値の黒レベルを補正するための黒レベルの基準値を推定する推定部と
を備える撮像装置。
【請求項１４】
撮像素子のOPB領域の電荷蓄積時間が互いに異なる複数の画素の信号値を取得する取得部と、
前記取得部により取得された、前記電荷蓄積時間が互いに異なる複数の画素の信号値を用いて、前記撮像素子の有効画素領域の画素信号の信号値の黒レベルを補正するための黒レベルの基準値を推定する推定部と
を備える画像処理装置。
【請求項１５】
前記取得部は、前記OPB領域の前記電荷蓄積時間が比較的短い短時間蓄積画素の信号値と、前記OPB領域の前記電荷蓄積時間が比較的長い長時間蓄積画素の信号値とを取得し、
前記推定部は、前記取得部により取得された前記短時間蓄積画素の信号値と、前記長時間蓄積画素の信号値とを用いて、前記黒レベルの基準値を推定する
請求項１４に記載の画像処理装置。
【請求項１６】
前記推定部は、前記短時間蓄積画素の蓄積時間と、前記長時間蓄積画素の蓄積時間との比率、前記短時間蓄積画素の信号値、および、前記長時間蓄積画素の信号値を用いて前記黒レベルの基準値を推定する
請求項１５に記載の画像処理装置。
【請求項１７】
前記取得部により取得された前記信号値、または、前記信号値の前記OPB領域の蓄積時間が互いに同じ画素同士の差分値を閾値と比較することにより、前記OPB領域への光漏れを検知する検知部をさらに備え、
前記推定部は、前記検知部により前記光漏れが検知された場合のみ、前記黒レベルの基準値を推定する
請求項１４に記載の画像処理装置。
【請求項１８】
前記推定部により推定された前記黒レベルの基準値を用いて、前記撮像素子の有効画素領域の画素信号の信号値の黒レベルを補正する補正部をさらに備える
請求項１４に記載の画像処理装置。
【請求項１９】
撮像素子の有効画素領域の画素信号の信号値の黒レベルを補正する補正方法であって、
取得部が、前記撮像素子のOPB領域の電荷蓄積時間が互いに異なる複数の画素の信号値を取得し、
推定部が、取得された、前記電荷蓄積時間が互いに異なる複数の画素の信号値を用いて、前記有効画素領域の画素信号の信号値の黒レベルを補正するための黒レベルの基準値を推定し、
補正部が、推定された前記黒レベルの基準値を用いて、前記有効画素領域の画素信号の信号値の黒レベルを補正する
補正方法。
【請求項２０】
電荷蓄積時間が互いに異なる複数の画素よりなる有効画素領域およびOPB領域を有し、被写体を撮像する撮像素子と、
前記OPB領域の電荷蓄積時間が互いに異なる複数の画素の信号値を取得する取得部と、
前記取得部により取得された、前記電荷蓄積時間が互いに異なる複数の画素の信号値を用いて、前記有効画素領域の画素信号の信号値の黒レベルを補正するための黒レベルの基準値を推定する推定部と
を備える撮像装置。
【請求項１】
撮像素子のOPB領域の異なる画素同士の、前記OPB領域の画素信号の信号値の差分値の変化の程度を示すパラメータを算出する算出部と、
前記算出部により算出された前記パラメータのモデルを用いて、前記撮像素子の有効画素領域の画素信号の信号値の黒レベルを補正するための黒レベルの基準値を推定する推定部と
を備える画像処理装置。
【請求項２】
前記パラメータのモデルを記憶する記憶部をさらに備え、
前記推定部は、前記記憶部に記憶されている前記モデルを用いて、前記黒レベルの基準値を推定する
請求項１に記載の画像処理装置。
【請求項３】
前記パラメータのモデルを生成する生成部をさらに備え、
前記記憶部は、前記生成部により生成された前記パラメータのモデルを記憶する
請求項２に記載の画像処理装置。
【請求項４】
前記生成部は、所定の条件毎に前記パラメータを生成し、
前記記憶部は、前記生成部により生成された前記条件毎の前記パラメータのモデルを記憶する
請求項３に記載の画像処理装置。
【請求項５】
前記記憶部に記憶されている前記モデルの中から、前記算出部により算出された前記パラメータに最も近いモデルを特定する特定部をさらに備え、
前記推定部は、前記特定部により特定された前記モデルを用いて、前記黒レベルの基準値を推定する
請求項２に記載の画像処理装置。
【請求項６】
前記OPB領域の画素信号の信号値、または、前記信号値の異なる画素同士の差分値を閾値と比較することにより、前記OPB領域への光漏れを検知する検知部をさらに備え、
前記推定部は、前記検知部により前記光漏れが検知された場合のみ、前記黒レベルの基準値を推定する
請求項１に記載の画像処理装置。
【請求項７】
前記推定部により推定された前記黒レベルの基準値を用いて、前記撮像素子の有効画素領域の画素信号の信号値の黒レベルを補正する補正部をさらに備える
請求項１に記載の画像処理装置。
【請求項８】
前記パラメータは、有効画素領域までの距離毎の、前記差分値の変化率若しくは変化量である
請求項１に記載の画像処理装置。
【請求項９】
前記撮像素子は、多層構造を有し、
前記算出部および前記推定部は、前記多層構造の、前記OPB領域および前記有効画素領域が形成されていない層に設けられる
請求項１に記載の画像処理装置。
【請求項１０】
前記撮像素子は、各画素で複数の色信号を検出する縦型分光構造を有し、
前記算出部は、前記パラメータを、前記色信号毎に算出し、
前記推定部は、前記黒レベルの基準値を、前記色信号毎に推定する
請求項１に記載の画像処理装置。
【請求項１１】
前記撮像素子は、赤外光を検知し、
前記算出部は、前記撮像素子のOPB領域の異なる画素同士の、前記OPB領域の赤外光の画素信号の信号値の差分値の変化の程度を示すパラメータを算出し、
前記推定部は、前記算出部により算出された前記パラメータのモデルを用いて、前記撮像素子の有効画素領域の赤外光の画素信号の信号値の黒レベルを補正するための黒レベルの基準値を推定する
請求項１に記載の画像処理装置。
【請求項１２】
撮像素子の有効画素領域の画素信号の信号値の黒レベルを補正する補正方法であって、
算出部が、前記撮像素子のOPB領域の異なる画素同士の、前記OPB領域の画素信号の信号値の差分値の変化の程度を示すパラメータを算出し、
推定部が、算出された前記パラメータのモデルを用いて、前記有効画素領域の画素信号の信号値の黒レベルを補正するための黒レベルの基準値を推定し、
補正部が、推定された前記黒レベルの基準値を用いて、前記有効画素領域の画素信号の信号値の黒レベルを補正する
補正方法。
【請求項１３】
有効画素領域およびOPB領域を有し、被写体を撮像する撮像素子と、
前記撮像素子のOPB領域の異なる画素同士の、前記OPB領域の画素信号の信号値の差分値の変化の程度を示すパラメータを算出する算出部と、
前記算出部により算出された前記パラメータのモデルを用いて、前記撮像素子の有効画素領域の画素信号の信号値の黒レベルを補正するための黒レベルの基準値を推定する推定部と
を備える撮像装置。
【請求項１４】
撮像素子のOPB領域の電荷蓄積時間が互いに異なる複数の画素の信号値を取得する取得部と、
前記取得部により取得された、前記電荷蓄積時間が互いに異なる複数の画素の信号値を用いて、前記撮像素子の有効画素領域の画素信号の信号値の黒レベルを補正するための黒レベルの基準値を推定する推定部と
を備える画像処理装置。
【請求項１５】
前記取得部は、前記OPB領域の前記電荷蓄積時間が比較的短い短時間蓄積画素の信号値と、前記OPB領域の前記電荷蓄積時間が比較的長い長時間蓄積画素の信号値とを取得し、
前記推定部は、前記取得部により取得された前記短時間蓄積画素の信号値と、前記長時間蓄積画素の信号値とを用いて、前記黒レベルの基準値を推定する
請求項１４に記載の画像処理装置。
【請求項１６】
前記推定部は、前記短時間蓄積画素の蓄積時間と、前記長時間蓄積画素の蓄積時間との比率、前記短時間蓄積画素の信号値、および、前記長時間蓄積画素の信号値を用いて前記黒レベルの基準値を推定する
請求項１５に記載の画像処理装置。
【請求項１７】
前記取得部により取得された前記信号値、または、前記信号値の前記OPB領域の蓄積時間が互いに同じ画素同士の差分値を閾値と比較することにより、前記OPB領域への光漏れを検知する検知部をさらに備え、
前記推定部は、前記検知部により前記光漏れが検知された場合のみ、前記黒レベルの基準値を推定する
請求項１４に記載の画像処理装置。
【請求項１８】
前記推定部により推定された前記黒レベルの基準値を用いて、前記撮像素子の有効画素領域の画素信号の信号値の黒レベルを補正する補正部をさらに備える
請求項１４に記載の画像処理装置。
【請求項１９】
撮像素子の有効画素領域の画素信号の信号値の黒レベルを補正する補正方法であって、
取得部が、前記撮像素子のOPB領域の電荷蓄積時間が互いに異なる複数の画素の信号値を取得し、
推定部が、取得された、前記電荷蓄積時間が互いに異なる複数の画素の信号値を用いて、前記有効画素領域の画素信号の信号値の黒レベルを補正するための黒レベルの基準値を推定し、
補正部が、推定された前記黒レベルの基準値を用いて、前記有効画素領域の画素信号の信号値の黒レベルを補正する
補正方法。
【請求項２０】
電荷蓄積時間が互いに異なる複数の画素よりなる有効画素領域およびOPB領域を有し、被写体を撮像する撮像素子と、
前記OPB領域の電荷蓄積時間が互いに異なる複数の画素の信号値を取得する取得部と、
前記取得部により取得された、前記電荷蓄積時間が互いに異なる複数の画素の信号値を用いて、前記有効画素領域の画素信号の信号値の黒レベルを補正するための黒レベルの基準値を推定する推定部と
を備える撮像装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【公開番号】特開２０１３−７７９４５（Ｐ２０１３−７７９４５Ａ）
【公開日】平成２５年４月２５日（２０１３．４．２５）
【国際特許分類】
【出願番号】特願２０１１−２１６２０１（Ｐ２０１１−２１６２０１）
【出願日】平成２３年９月３０日（２０１１．９．３０）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
【公開日】平成２５年４月２５日（２０１３．４．２５）
【国際特許分類】
【出願日】平成２３年９月３０日（２０１１．９．３０）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
[ Back to top ]