撮像素子、並びに、撮像装置および方法
【課題】より正確に混色補正を行うことができるようにする。
【解決手段】入射光を光電変換する光電変換素子を有する複数の通常画素よりなる通常画素群と、前記通常画素群の有効画素領域内において、周辺画素から入射される光を光電変換素子により検出する検出画素とを備える撮像素子と、前記撮像素子の前記検出画素により検出された光の光量を用いて、前記通常画素の画素値から、前記通常画素の周辺画素から入射される光の光量を減算する減算部とを備える。本開示は撮像素子、並びに、撮像装置および方法に適用することができる。
【解決手段】入射光を光電変換する光電変換素子を有する複数の通常画素よりなる通常画素群と、前記通常画素群の有効画素領域内において、周辺画素から入射される光を光電変換素子により検出する検出画素とを備える撮像素子と、前記撮像素子の前記検出画素により検出された光の光量を用いて、前記通常画素の画素値から、前記通常画素の周辺画素から入射される光の光量を減算する減算部とを備える。本開示は撮像素子、並びに、撮像装置および方法に適用することができる。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、撮像素子、並びに、撮像装置および方法に関し、特に、より正確に混色補正を行うことができるようにした撮像素子、並びに、撮像装置および方法に関する。
【背景技術】
【０００２】
従来、混色補正係数を予め設定し、その混色補正係数を用いて混色を補正する方法があった（例えば特許文献１参照）。
【０００３】
ところで、ダイナミックに補正する方法として有効画素外のOPB領域（Optical Black Area）に混色検出画素を設けることも提案された（例えば、特許文献２参照）。
【０００４】
また、有効画素内にOPBを設ける手法も提案されている（例えば、特許文献３参照）。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２０１０−１６４１９号公報
【特許文献２】特開２０１０−２３９１９２公報
【特許文献３】特開２０１０−１４７７８５公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、特許文献１に記載の、予め混色補正係数の値を設定する方法の場合、製造バラツキ（例えばカラーフィルタの膜厚、OnChipLensの位置ズレ）を反映することができなかった。また、混色率は光の波長によっても異なるため、光源や被写体によっても変わってくるが、予め混色補正係数の値を設定する方法では、これらに対して十分に対応することができなかった。
【０００７】
また、特許文献２に記載の方法の場合、混色量は光の入射角によって変わる値であるので、有効画素外に混色検出画素を設けても、有効画素内と入射角が異なるため、正しい混色量を求めることはできなかった。
【０００８】
さらに、特許文献３に記載の方法の場合、Si内での混色が考慮されていなかった。特定の色の画素にのみOPBを設けた場合、ブラックレベルに加え、その画素に入ってくる混色も出力される。この混色は色によって異なるため、他色画素からこの値を差し引くと間違った混色率が引かれてしまうなどの弊害が起きる恐れがあった。しかも本来、混色量は像高（撮像素子内の位置）によっても異なるため、光学的な距離を考慮して演算する必要があるが、特許文献３に記載の方法の場合、そのようなことは考慮されていなかった。
【０００９】
本開示は、このような状況に鑑みてなされたものであり、より正確に混色補正を行うことを目的とする。
【課題を解決するための手段】
【００１０】
本開示の一側面は、入射光を光電変換する光電変換素子を有する複数の通常画素を含む通常画素群と、前記通常画素群の有効画素領域内において、周辺画素から入射される光を光電変換素子により検出する検出画素とを備える撮像素子である。
【００１１】
前記検出画素は、外部から前記検出画素に入射される入射光を遮光する遮光膜をさらに備えることができる。
【００１２】
前記遮光膜は、配線層により形成されるようにすることができる。
【００１３】
前記遮光膜は、複数の配線層により形成されるようにすることができる。
【００１４】
前記配線層のそれぞれには、互いに異なる位置に隙間が形成されるようにすることができる。
【００１５】
前記配線層のそれぞれは、入射光の入射角に応じて配置されるようにすることができる。
【００１６】
前記遮光膜は、前記光電変換素子上に設けられたメタルにより形成されるようにすることができる。
【００１７】
前記検出画素を複数備えることができる。
【００１８】
所定の波長の入射光を透過させるフィルタをさらに備え、前記検出画素による前記周辺画素から入射される光の検出結果は、前記検出画素に設けられたフィルタと同じ波長の入射光を透過させるフィルタが設けられた通常画素の画素値の補正に用いられるようにすることができる。
【００１９】
前記検出画素は、互いに連続しない位置に設けられるようにすることができる。
【００２０】
本開示の他の側面は、入射光を光電変換する光電変換素子を有する通常画素を含む通常画素群と、前記通常画素群の有効画素領域内において、周辺画素から入射される光を光電変換素子により検出する検出画素とを備える撮像素子と、前記撮像素子の前記検出画素により検出された光の光量を用いて、前記通常画素の画素値から、前記通常画素の周辺画素から入射される光の光量を減算する減算部とを備える撮像装置である。
【００２１】
前記減算部は、前記光量の減算に用いる検出画素を選択する選択部と、前記選択部により選択された前記検出画素の画素値を用いて、処理対象の通常画素の画素値に含まれる前記光量を算出する光量算出部と、前記光量算出部により算出された前記光量を、処理対象の通常画素の画素値から減算する光量減算部とを備えることができる。
【００２２】
前記選択部は、複数の検出画素を選択し、前記光量算出部は、前記選択部により選択された複数の検出画素と、処理対象の通常画素との位置関係に応じて、複数の前記検出画素の各画素値を重み付け加算し、前記光量を算出することができる。
【００２３】
前記光量算出部は、前記選択部により選択された検出画素の周辺画素の画素値が飽和している場合、前記光量の算出に用いる検出画素を他の検出画素に変えるか、若しくは、前記検出画素の使用を禁止することができる。
【００２４】
前記光量算出部は、前記選択部により選択された検出画素が欠陥画素の場合、前記光量の算出に用いる検出画素を他の検出画素に変えるか、若しくは、前記検出画素の使用を禁止することができる。
【００２５】
前記光量算出部は、処理対象の通常画素が検出画素に隣接する場合、算出した光量を低減させるようにさらに補正することができる。
【００２６】
前記減算部は、前記通常画素の画素値から、前記光量とともに黒レベルも減算することができる。
【００２７】
前記減算部は、前記光量の減算に用いる検出画素を選択する選択部と、前記選択部により選択された前記検出画素の画素値を用いて、処理対象の通常画素の画素値に含まれる前記光量の割合を算出する割合算出部と、前記割合算出部により算出された前記光量の割合に対応する、外部から前記処理対象の通常画素に入力された入射光の割合を、処理対象の通常画素の画素値に乗算する乗算部とを備えることができる。
【００２８】
前記撮像素子の前記通常画素および前記検出画素は、縦型分光構造を有することができる。
【００２９】
本開示の他の側面は、また、入射光を光電変換する光電変換素子を有する通常画素を含む通常画素群と、前記通常画素群の有効画素領域内において、周辺画素から入射される光を光電変換素子により検出する検出画素とを備える撮像素子を有する撮像装置の撮像方法であって、減算部が、前記撮像素子の前記検出画素により検出された光の光量を用いて、前記通常画素の画素値から、前記通常画素の周辺画素から入射される光の光量を減算する撮像方法である。
【００３０】
本開示の一側面においては、入射光を光電変換する光電変換素子を有する通常画素を含む通常画素群と、通常画素群の有効画素領域内において、周辺画素から入射される光を光電変換素子により検出する検出画素とが備えられる。
【００３１】
本開示の他の側面においては、撮像素子の検出画素により検出された光の光量を用いて、通常画素の画素値から、その周辺画素から入射される光の光量が減算される。
【発明の効果】
【００３２】
本開示によれば、撮像素子において発生する混色を補正することができる。特に、光の入射角、色温度、または被写体等の撮像環境によらず、より正確に混色補正を行うことができる。
【図面の簡単な説明】
【００３３】
【図１】撮像装置の主な構成例を示すブロック図である。
【図２】混色の発生の様子の例を説明する図である。
【図３】混色検出画素の例を説明する図である。
【図４】遮光膜の例を説明する図である。
【図５】遮光膜の例を説明する図である。
【図６】遮光膜の例を説明する図である。
【図７】ベイヤ配列の例を示す図である。
【図８】混色検出画素の配置例を説明する図である。
【図９】混色検出画素の配置例を説明する図である。
【図１０】混色検出画素の好ましくない配置例を説明する図である。
【図１１】混色検出画素の他の配置例を説明する図である。
【図１２】混色量減算の様子の例を示す図である。
【図１３】混色減算部の主な構成例を示す図である。
【図１４】混色量算出の例を示す図である。
【図１５】混色量算出の例を示す図である。
【図１６】混色量算出の例を示す図である。
【図１７】混色量算出の例を示す図である。
【図１８】混色量減算の様子の例を示す図である。
【図１９】欠陥補正の様子の例を示す図である。
【図２０】撮像処理の流れの例を示すフローチャートである。
【図２１】混色減算処理の流れの例を示すフローチャートである。
【図２２】撮像装置の他の構成例を示すブロック図である。
【図２３】混色量減算の様子の他の例を示す図である。
【図２４】暗電流シェーディングの様子の例を示す図である。
【図２５】撮像処理の流れの、他の例を示すフローチャートである。
【図２６】混色・黒レベル減算処理の流れの例を示すフローチャートである。
【図２７】混色減算部の他の構成例を示す図である。
【図２８】混色量減算の他の演算例を示す図である。
【図２９】混色減算処理の流れの例を示すフローチャートである。
【図３０】光量飽和時の例を説明する図である。
【図３１】飽和時の混色減算の他の例を示す図である。
【図３２】混色検出画素特定処理の流れの例を示すフローチャートである。
【図３３】混色検出画素の隣接画素の混色補正を説明する図である。
【図３４】混色減算処理の流れの例を示すフローチャートである。
【図３５】撮像装置の、さらに他の構成例を示すブロック図である。
【図３６】縦型分光構造の例を示すブロック図である。
【図３７】縦型分光構造の混色検出画素の配置例を説明する図である。
【図３８】縦型分光構造の混色検出画素の例を説明する図である。
【図３９】撮像処理の流れの、さらに他の例を示すフローチャートである。
【図４０】撮像装置の、さらに他の構成例を示すブロック図である。
【図４１】撮像処理の流れの、さらに他の例を示すフローチャートである。
【図４２】撮像装置の、さらに他の構成例を示すブロック図である。
【図４３】パーソナルコンピュータの構成例を示すブロック図である。
【発明を実施するための形態】
【００３４】
以下、本技術を実施するための形態（以下実施の形態とする）について説明する。なお、説明は以下の順序で行う。
１．第１の実施の形態（黒レベル・混色量順次補正）
２．第２の実施の形態（黒レベル・混色量一括補正）
３．第３の実施の形態（応用例）
４．第４の実施の形態（縦型分光構造：黒レベル・混色量順次補正）
５．第５の実施の形態（縦型分光構造：黒レベル・混色量一括補正）
６．第６の実施の形態（応用例：撮像装置）
７．第７の実施の形態（パーソナルコンピュータ）
【００３５】
＜１．第１の実施の形態＞
［撮像装置の構成］
図１は、本技術を適用した撮像装置の構成例を示す図である。図１に示される撮像装置１００は、被写体を撮像し、その被写体の画像を電気信号として出力する装置である。
【００３６】
図１に示されるように撮像装置１００は、レンズ１０１、絞り１０２、カラーフィルタ搭載撮像素子１０３、A/D変換部１０４、クランプ部１０５、混色減算部１０６、および欠陥補正部１０７を有する。また、撮像装置１００は、デモザイク部１０８、リニアマトリクス部１０９、ガンマ補正部１１０、輝度クロマ信号生成部１１１、およびインタフェース（I/F）部１１２を有する。
【００３７】
レンズ１０１は、カラーフィルタ搭載撮像素子１０３に照射する入射光の焦点距離の調整を行う。絞り１０２は、カラーフィルタ搭載撮像素子１０３に照射する入射光の光量調整を行う。レンズ１０１および絞り１０２は、光学系の処理部を表しており、具体的な構成は任意である。例えば、レンズ１０１が複数のレンズにより構成されていてもよい。
【００３８】
図１において点線矢印で示されるように、レンズ１０１および絞り１０２を透過した入射光は、カラーフィルタ搭載撮像素子１０３に照射する。
【００３９】
カラーフィルタ搭載撮像素子１０３は、画素毎にフォト・ダイオード等の光電変換素子を有し、入射光を電気信号に変換する。つまり、カラーフィルタ搭載撮像素子１０３は、入射光を光電変換する光電変換素子を有する複数の通常画素を含む通常画素群を備える。カラーフィルタ搭載撮像素子１０３は、例えば、光電変換素子が光から発生した電荷を読み出すために電荷結合素子（CCD（Charge Coupled Device）と呼ばれる回路素子を用いて転送を行うCCDイメージセンサであってもよい。また、カラーフィルタ搭載撮像素子１０３は、例えば、CMOS（Complementary Metal Oxide Semiconductor）を用いた、単位セルごとに増幅器を持つCMOSイメージセンサ等であってもよい。
【００４０】
カラーフィルタ搭載撮像素子１０３は、光電変換素子の入射光側にカラーフィルタを有している。カラーフィルタは、赤（Ｒ）、緑（Ｇ）、および青（Ｂ）等の各色のフィルタが各光電変換素子上に例えばベイヤ配列等で配置されている。つまり、カラーフィルタ搭載撮像素子１０３は、フィルタを透過した各色の入射光を光電変換し、その電気信号をA/D変換部１０４に供給する。
【００４１】
カラーフィルタ搭載撮像素子１０３のカラーフィルタの色は任意であり、RGB以外の色が含まれていても良いし、RGBの一部または全部の色が用いられなくても良い。また、各色の配列も任意であり、ベイヤ配列以外の配列であってもよい。例えば、クリアビット配列や染料系カラーフィルタ、ホワイト画素（特開２００９−２９６２７６号公報に記載）などでも使用可能である。
【００４２】
以下においては、カラーフィルタ搭載撮像素子１０３には、RGBの３色のフィルタがベイヤ配列で配置されているものとして説明する。
【００４３】
A/D変換部１０４は、カラーフィルタ搭載撮像素子１０３から供給されるRGBの電気信号（アナログ信号）をデジタルデータ（画像データ）に変換する。A/D変換部１０４は、そのデジタルデータの画像データ（RAWデータ）をクランプ部１０５に供給する。
【００４４】
クランプ部１０５は、画像データから、黒色と判定されるレベルである黒レベルを減算する。クランプ部１０５は、黒レベルを減算した画像データを混色減算部１０６に供給する。
【００４５】
混色減算部１０６は、画像データから、周辺の画素のフィルタを透過した光成分である混色成分を減算する。混色減算部１０６は、混色成分を減算した画像データを欠陥補正部１０７に供給する。
【００４６】
欠陥補正部１０７は、正しい画素値が得られない欠陥画素について、その画素値の補正を行う。欠陥補正部１０７は、欠陥画素の補正を行った画像データをデモザイク部１０８に供給する。
【００４７】
デモザイク部１０８は、RAWデータに対してデモザイク処理を行い、色情報の補完等を行ってRGBデータに変換する。デモザイク部１０８は、デモザイク処理後の画像データ（RGBデータ）をリニアマトリクス部１０９に供給する。
【００４８】
リニアマトリクス部１０９は、規格で定められた原色（ＲＧＢ）の色度点と実際のカメラの色度点の差を埋めるために、マトリクス係数を用いて画像データの各色信号を補正し、色再現性を変化させる処理を行う。リニアマトリクス部１０９は、処理後の画像データをガンマ補正部１１０に供給する。
【００４９】
ガンマ補正部１１０は、画像データの色と出力デバイス特性との相対関係を調節して、よりオリジナルに近い表示を得るためのガンマ補正を行う。ガンマ補正部１１０は、補正後の画像データ（RGBデータ）を輝度クロマ信号生成部１１１に供給する。
【００５０】
輝度クロマ信号生成部１１１は、供給されたRGBデータから輝度信号（Ｙ）と色差信号（Cr,Cb）とを生成する。輝度クロマ信号（Y,Cr,Cb）を生成すると、輝度クロマ信号生成部１１１は、その輝度信号と色差信号をインタフェース（I/F）部１１２に供給する。
【００５１】
インタフェース（I/F）部１１２は、供給された画像データ（輝度クロマ信号）を、撮像装置１００の外部（例えば、画像データを記憶する記憶デバイスや、画像データの画像を表示する表示デバイス等）に出力する。
【００５２】
［カラーフィルタ搭載撮像素子］
次に、各部の詳細について説明する。先ず、カラーフィルタ搭載撮像素子１０３の詳細について説明する。
【００５３】
従来の撮像素子の場合、図２に示されるように、通常画素群の有効画素領域の外部にOPB（Optical Black Area）領域が設けられ、黒レベルが検出される。また、有効画素領域内の各画素においては、オンチップレンズ、カラーフィルタ、および導波路を通過した入射光が、フォト・ダイオード（Si（Photo Diode））に照射される。フォト・ダイオードは、その入射光を光電変換して電荷を蓄積し、所定のタイミングでその電荷を出力する。
【００５４】
図２に示されるように、従来の撮像素子の場合、オンチップレンズ、カラーフィルタ、および導波路を通過した各画素の入射光は、その画素のフォト・ダイオードに照射されるだけでなく、シリコン（フォト・ダイオード）内において、周辺の画素にも及ぶ可能性があった。また、導波路等のシリコン外においても、漏れた入射光が周辺画素に侵入する可能性があった。
【００５５】
つまり、ある画素（当該画素）のフォト・ダイオードに、当該画素の入射光だけでなく、その周辺画素のカラーフィルタを透過した入射光の一部も入射する可能性があった。すなわち、当該画素の入射光と、当該画素の入射光と異なる色の光とによる混色が発生する可能性があった。
【００５６】
そこで、カラーフィルタ搭載撮像素子１０３には、図３に示されるように、通常画素群の有効画素領域内に、混色量を検出するための混色検出画素１２１が設けられている。この混色検出画素１２１は、フォト・ダイオードが遮光膜１２２で覆われ、Ｓｉ（フォト・ダイオード）よりも上層からの光が極力入射しないようになされている。つまり、混色検出画素１２１は、当該画素のカラーフィルタを透過した入射光成分を遮光膜１２２によって遮り、周辺画素のカラーフィルタを透過した入射光成分のみをフォト・ダイオードによって検出する。
【００５７】
図３に示されるように、混色検出画素１２１は、有効画素領域内に複数個配置される。図３の例の場合、有効画素内に７×５＝３５個の混色検出画素が設けられている。なお、混色検出画素１２１の数は、任意である。混色検出画素数を多くすれば、より綿密な混色量算出が可能である。ただし、混色検出画素は通常の信号値を持たないため、最終的に欠陥画素として扱われ、通常画素の値に置き換えられる。したがって、混色検出画素数を極力少なくすることにより、欠陥として処理される画素数を減らすことができ、欠陥補正による不具合（偽色や解像度低下など）を抑制することができる。
【００５８】
また、混色検出画素１２１の、有効画素領域内の位置は、任意である。ただし、有効画素領域における混色量（画素特性）の偏りに対するロバスト性を高め、より正確に混色補正を行うことができるようにするために、有効画素領域内にできるだけ均等に分布するように混色検出画素１２１を配置するのが望ましい。
【００５９】
遮光膜１２２は、当該画素のカラーフィルタを透過した光がフォト・ダイオードへ入射するのを遮るものであればどのようなものであってもよい。例えば表面照射型センサの場合、図４Ａに示されるように、配線層のメタル（例えば銅（Cu）やアルミニウム（Al））によって遮光膜１２２を実現するようにしてもよい。また、例えば裏面照射型センサの場合、図４Ｂに示されるように、フォト・ダイオード上にメタル（例えば、タングステン（Ｗ））を形成することにより遮光膜１２２を実現するようにしてもよい。もちろん、これら以外の方法で遮光膜１２２を実現するようにしてもよい。
【００６０】
なお、遮光膜の形成パターンについても、遮光が果たせれば任意の手法で対応可能である。例えば、図５Ａのように、複数の配線層を用いて遮光を行う（複数の配線層を遮光膜１２２とする）ようにしてもよい。ただし、配線層を、例えば画素全体を覆う程広く形成すると、図５Ｂのように、プロセス的な遮光膜削れ（例えば表面研磨（CMP（Chemical Mechanical Polishing））によるディッシング）が生じる可能性がある。したがって、各配線層が薄くなって当該画素の入射光が透過してしまう可能性がある。
【００６１】
そこで、例えば、図５Ｃに示されるように、各配線層の一部に隙間を設け、そこから漏れる光は別の配線層で遮光されるようにしてもよい。また、図６に示されるように、遮光膜を最小限のサイズとし、入射角に応じた最適な射出瞳補正を加えるようにしても良い。例えば、図６Ａの場合、当該画素の入射光の入射角は０度であるので、遮光膜１２２（各配線層）は、画素の中心部付近を遮光するように、画素中心付近に配置される。また、図６Ｂの場合、当該画素には、斜め方向から光が入射するので、オンチップレンズ、カラーフィルタ、および遮光膜１２２の各配線層が、それぞれ、入射光の入射角に応じた位置に配置される。
【００６２】
このようにすることにより、遮光面積（遮光膜１２２とする配線層の面積）を低減することができる。したがって、プロセス的な遮光膜削れ（例えばCMPによるディッシング）の発生を抑制することができる。
【００６３】
カラーフィルタは、図７に示されるように、赤（R）、青（B）、赤（R）横の緑（Gr）、および、青（B）横の緑（Gb）がベイヤ配列のパターンで並べられる。各色のフィルタは、互いに異なる画素に対応する。つまり、図７の例の場合、Gb、B、R、およびGrの各フィルタを透過した光は、主に、互いに異なる画素のフォト・ダイオードに入射される。ただし、上述したように入射光は、周辺画素にも入射するので、混色が発生する。
【００６４】
このように各色の配列によって、周辺画素の色は、当該画素の色毎に異なる。つまり、当該画素の色毎に各色の混色量は異なる。したがって、混色検出画素１２１は、R、B、R横のG（Gr）、およびB横のG（Gb）のそれぞれに設けられる。
【００６５】
図８の例において、混色検出画素１２１−１は、Rの画素における混色量を検出するものである。また、混色検出画素１２１−２は、Grの画素における混色量を検出するものである。さらに、混色検出画素１２１−３は、Gbの画素における混色量を検出するものである。また、混色検出画素１２１−４は、Bの画素における混色量を検出するものである。
【００６６】
当該画素には、任意の方向の周辺画素から光が進入する。つまり、混色は、任意の方向（上下左右斜め等）の周辺画素によって発生する。したがって、各混色検出画素は、図９に示されるように、互いに連続しないように、離散的な位置に配置される。
【００６７】
混色検出画素は、当該画素の入射光を遮光膜によって遮る。したがって、混色検出画素から、その周辺の画素への混色（光の進入）は、基本的に無い（無視できるほど少ない）。したがって、例えば、図１０に示されるように、複数の混色検出画素の位置を連続させると、混色検出画素同士の間で混色は略発生しない。したがって、このような配置の混色検出画素において検出される混色量は、全方向の周辺画素より光が侵入する通常画素の混色量と等しくならない可能性が高い。すなわち、このような配置では、混色検出画素は、正しい混色量を検出することができなくなる恐れがある。そこで、図９に示されるように、各混色検出画素が互いの隣接画素とならないように、互いに離れた位置に設けられる。
【００６８】
なお、斜め方向の混色が十分に少ない場合、図１１に示される例のように、複数の混色検出画素を斜め方向に連続させるようにしてもよい。なお、斜め方向に限らず、このように、混色量の検出に影響を与えない場合であれば、複数の混色検出画素を連続する位置に配置することもできる。
【００６９】
以上のように、混色検出画素を有効画素領域内に設けることにより、より正確に混色量を求めることができる。また、色毎に混色検出画素を設けることにより、より正確に混色量を求めることができる。さらに、混色検出画素において、遮光層を設けることにより、混色量をより容易に求めることができる。また、その遮光層は、配線層により形成したり、フォト・ダイオード状にメタル層を設けたりする等、容易な方法で実現することができる。さらに、このような実現方法により、入射光の光量や入射角等に応じて遮光層を適切化することができ、より適切に遮光を行うことができる。
【００７０】
［信号補正］
以上のようなカラーフィルタ搭載撮像素子１０３により得られた画像信号（撮像素子信号）は、図１２に示されるように補正される。つまり、通常画素の画素値と混色検出画素１２１の画素値は、それぞれ、クランプ部１０５において、OPB領域において検出された黒レベルが除去される。次に、混色減算部１０６において、通常画素の画素値から混色検出画素１２１の画素値（混色量）が減算される。これにより、通常画素の画素値は、当該画素の入射光のみに対応する正しい画素値となる。これに対して混色検出画素１２１には光が入射されないので、混色検出画素１２１の画素値は、通常画素の画素値と同等の正しい画素値にはならない。そこで、欠陥補正部１０７は、混色検出画素１２１を欠陥画素とし、画素値を補正する。
【００７１】
なお、実際には、混色検出画素の画素値は、通常画素の実際の混色量と異なる場合が考えられる。したがって、例えば、以下に説明するように、複数の実際の混色検出画素の画素値を用いて、通常画素の位置の混色量を推定し、その推定値を通常画素より減算するようにしてもよい。
【００７２】
OPB領域における黒レベルの検出、および、クランプ部１０５による黒レベルの減算方法は、従来と同様である。
【００７３】
［混色減算部］
図１３は、図１の混色減算部１０６の主な構成例を示すブロック図である。
【００７４】
図１３に示されるように、混色減算部１０６は、制御部１３１、記憶部１３２、混色検出画素特定部１３３、混色量算出部１３４、および減算部１３５を有する。
【００７５】
制御部１３１は、処理対象である当該画素が混色検出画素１２１であるか否かを判定する。制御部１３１は、混色検出画素１２１の位置を予め把握している。当該画素が混色検出画素１２１であると判定された場合、制御部１３１は、その当該画素の画素値を記憶部１３２に供給し、記憶させる。また、当該画素が混色検出画素１２１でないと判定された場合、制御部１３１は、混色検出画素特定部１３３に、混色量減算に使用する混色検出画素１２１を特定させる。
【００７６】
記憶部１３２は、制御部１３１から供給される混色検出画素の画素値を記憶する。記憶部１３２は、所定のタイミングにおいて、若しくは、外部からの要求に基づいて、記憶している画素値を混色検出画素特定部１３３に供給する。
【００７７】
混色検出画素特定部１３３は、当該画素の混色量減算に用いる混色検出画素１２１を特定する。混色検出画素特定部１３３は、当該画素周辺の、できるだけ当該画素に近い混色検出画素１２１を、混色量減算に用いる混色検出画素１２１として優先的に選択する。混色検出画素特定部１３３は、特定した混色検出画素１２１の画素値を記憶部１３２から取得し、混色量算出部１３４に供給する。
【００７８】
混色量算出部１３４は、混色検出画素特定部１３３により特定された混色検出画素１２１の画素値を用いて、当該画素の混色量を算出する。混色量算出部１３４は、算出した混色量を減算部１３５に供給する。
【００７９】
減算部１３５は、当該画素の画素値から、混色量算出部１３４から供給された混色量を減算する。減算部１３５は、混色量を減算した当該画素の画素値を欠陥補正部１０７に供給する。
【００８０】
［混色量算出］
次に、混色量算出部１３４による混色量の算出方法について説明する。混色検出画素特定部１３３は、当該画素に対して、その周辺の混色検出画素を複数選択する。混色量算出部１３４は、その複数の混色検出画素を用いて、当該画素の混色量を算出する。
【００８１】
例えば図１４に示されるように、混色量算出部１３４が、混色検出画素１４１および混色検出画素１４２（いずれも青色（Ｂ）に対応する混色検出画素）において検出された混色量を用いて青色（Ｂ）の当該画素（通常画素）の混色量を算出するとする。なお、混色検出画素１４１において検出された光量、すなわち、混色量をＡとする。また、混色検出画素１４２において検出された光量、すなわち、混色量をＢとする。この場合、混色量算出部１３４は、混色量Ａおよび混色量Ｂを、当該画素から混色検出画素１４１までの距離、および、当該画素から混色検出画素１４２までの距離に応じて重み付け加算することにより求める。
【００８２】
図１４の例の場合、混色検出画素１４１と混色検出画素１４２の間には、その２画素間を３等分する２つの青色（Ｂ）の通常画素が存在する。この２つのうち、混色量Ａの混色検出画素１４１に近い青色画素（Ｂｌｕｅ１）１４３を当該画素とする場合、その混色量（Ｂｌｕｅ１混色成分）は、以下の式（１）のように求めることができる。
【００８３】
Ｂｌｕｅ１混色成分＝（２×Ａ）＋（１×Ｂ）／（２＋１） ・・・（１）
【００８４】
また、図１４の例において、混色量Ｂの混色検出画素１４２に近い方の青色画素（Ｂｌｕｅ２）１４４を当該画素とする場合、その混色量（Ｂｌｕｅ２混色成分）は、以下の式（２）のように求めることができる。
【００８５】
Ｂｌｕｅ２混色成分＝（１×Ａ）＋（２×Ｂ）／（１＋２） ・・・（２）
【００８６】
例えば、図１５の例の枠１５０内の青色画素１５２および青色画素１５３の混色量を求めるとする。図１５に示されるように、青色画素１５２および青色画素１５３は、青色の混色検出画素１５１と青色の混色検出画素１５４との間に位置する。したがって、図１５のグラフに示されるように、青色画素１５２および青色画素１５３の混色量は、混色検出画素１５１の混色量Ａと、混色検出画素１５１の混色量Ｂとを用いた線形内挿により算出される。
【００８７】
また、例えば、青色画素１５５および青色画素１５６は、青色の混色検出画素１５４と青色の混色検出画素１５７との間に位置する。したがって、図１５のグラフに示されるように、青色画素１５５および青色画素１５６の混色量は、混色検出画素１５４の混色量Ｂと、混色検出画素１５７の混色量Ｃとを用いた線形内挿により算出される。
【００８８】
混色量の算出方法は、これに限らない。例えば、図１６に示される例のように、領域毎に区切り、各領域で一義の混色量を減算する方法であってもよい。この方法の場合、処理対象である当該領域の混色量は、図１６に示される例のように、最も近い混色検出画素の混色量が採用される。したがって、図１６のグラフに示されるように、枠１６０に示される範囲内の青色画素１６２の混色量は、青色の混色検出画素１６１の混色量Ａに設定される。また、枠１７０に示される範囲内の青色画素１７１および青色画素１７３の混色量は、青色の混色検出画素１７２の混色量Ｂに設定される。さらに、枠１８０に示される範囲内の青色画素１８１の混色量は、青色の混色検出画素１８２の混色量Ｃに設定される。この方法の方が、上述した重み付け加算を用いる方法よりも容易に当該領域の混色量を求めることができる。ただし、一般的には、混色量が急激に変化することは少なく、上述した重み付け加算を用いる方法の方がより正しい混色量を求めることができる。
【００８９】
なお、以上においては、１次元的な配置を例に説明したが、２次元的な配置において、上述したような演算が行われるようにしてもよい。つまり、この場合、２次元的な配置において（上下左右斜め等、あらゆる方向において）、当該画素により近い混色検出画素が、当該画素の混色量算出に用いられる。
【００９０】
例えば、図１７に示される例の場合、混色検出画素１８５乃至混色検出画素１８７は、青色の混色検出画素である。その他の青色画素の混色量は、この混色検出画素１８５乃至混色検出画素１８７の内、２次元的な配置において、当該画素に、より近い位置の２画素の混色量の重み付け加算により算出される。
【００９１】
例えば、２次元的な配置において、混色量を算出する当該画素までの距離がより短い混色検出画素（２画素）が混色検出画素１８５および混色検出画素１８６であるとする。この場合、当該画素の混色量は、混色検出画素１８５の混色量Ａと、混色検出画素１８６の混色量Ｂとを、それらの混色検出画素と当該画素との距離に応じて重み付け加算することにより算出される。
【００９２】
また、混色量算出に用いる混色検出画素の数は任意であり、例えば、３画素以上であってもよい。
【００９３】
なお、上述したように、混色量は色や周辺構造（周囲の色など）によって異なるため、混色量算出には、当該領域と同色の混色検出画素のみが利用される。例えば、青色画素の混色量を算出するためには、その青色画素により近い、青色の混色検出画素の混色量が用いられる。
【００９４】
［混色量補正］
減算部１３５は、図１８に示されるように、黒レベルを除去した通常画素の画素値１９１から、以上のように算出された混色量１９２を減算し、黒レベルと混色量が減算された画素値１９３を得る。
【００９５】
［欠陥補正］
欠陥補正部１０７は、混色検出画素を欠陥画素として補正する。混色検出画素は、混色量のみの出力となっているため、このまま出力すると正常な画を得ることができない。そこで、欠陥補正部１０７は、混色検出画素を欠陥画素とみなし、通常画素で得られる信号値に置き換える。欠陥補正の方法は任意である。例えば、図１９に示されるように、周辺の同色の通常画素の出力値（混色減算後）から推定する方法（例えば線形内挿）であってもよい。図１９の例の場合、青色の混色検出画素の画素値Ａが、周辺の青色画素の画素値１００と８０から、９０に補正されている。
【００９６】
以上のように混色量等の補正を行うことにより、撮像装置１００は、より正確に混色補正を行うことができる。
【００９７】
［撮像処理の流れ］
次に、撮像装置１００の各部により実行される処理について説明する。最初に、図２０のフローチャートを参照して、被写体を撮像する際に撮像装置１００により実行される撮像処理の流れの例を説明する。
【００９８】
撮像処理が開始されると、ステップＳ１０１において、カラーフィルタ搭載撮像素子１０３は、各画素の入射光を光電変換し、各画素信号を読み出す。ステップＳ１０２において、A/D変換部１０４は、ステップＳ１０１において得られた各画素信号をA/D変換する。
【００９９】
ステップＳ１０３において、クランプ部１０５は、各画素値から、OPB領域において検出された黒レベルを減算する。ステップＳ１０４において、混色減算部１０６は、画素値から混色量を減算する。ステップＳ１０５において、欠陥補正部１０７は、混色検出画素を含む欠陥画素の画素値の補正を行う。
【０１００】
ステップＳ１０６において、デモザイク部１０８は、デモザイク処理を行い、RAWデータをRGBデータに変換する。ステップＳ１０７において、リニアマトリクス部１０９は、入力デバイス特性に応じて色補正を行い、ステップＳ１０８において、ガンマ補正部１１０は、出力デバイス特性にガンマ補正を行う。
【０１０１】
ステップＳ１０９において、輝度クロマ信号生成部１１１は、RGBデータから輝度信号および色差信号（YCｒCｂデータ）を生成する。ステップＳ１１０において、インタフェース（I/F）部１１２は、ステップＳ１０９において生成された輝度信号および色差信号を外部の記録デバイスや表示デバイスに出力し、撮像処理を終了する。
【０１０２】
［混色減算処理の流れ］
次に、図２１のフローチャートを参照して、図２０のステップＳ１０４において実行される混色減算処理の流れの例を説明する。
【０１０３】
混色減算処理が開始されると、制御部１３１は、ステップＳ１３１において、処理対象の当該画素が混色検出画素であるか否かを判定する。混色検出画素であると判定した場合、制御部１３１は、処理をステップＳ１３２に進める。ステップＳ１３２において、記憶部１３２は、その混色検出画素の画素値を記憶し、処理をステップＳ１３７に進める。
【０１０４】
また、ステップＳ１３１において、当該画素が混色検出画素で無いと判定した場合、制御部１３１は、処理をステップＳ１３３に進める。
【０１０５】
ステップＳ１３３において、混色検出画素特定部１３３は、当該画素の混色量を算出するのに用いる混色検出画素を、所定の方法に従って特定する。例えば、混色検出画素特定部１３３は、当該画素により近い所定数の混色検出画素を、当該画素の混色量を算出するのに用いる混色検出画素として特定する。ステップＳ１３４において、混色検出画素特定部１３３は、ステップＳ１３３において特定した混色検出画素の画素値を記憶部１３２から取得する。
【０１０６】
ステップＳ１３５において、混色量算出部１３４は、ステップＳ１３４において取得された混色検出画素の画素値を用いて、当該画素の混色量を算出する。ステップＳ１３６において、減算部１３５は、処理対象である当該画素（注目画素）の画素値から、ステップＳ１３５において算出された混色量を減算する。混色量を減算すると、減算部１３５は、処理をステップＳ１３７に進める。
【０１０７】
ステップＳ１３７において、制御部１３１は、未処理の画素が存在するか否かを判定する。混色量を減算していない画素がまだ存在すると判定した場合、処理をステップＳ１３１に戻し、それ以降の処理を繰り返す。また、ステップＳ１３７において、全ての通常画素から混色量を減算したと判定した場合、制御部１３１は、混色減算処理を終了し、処理を図２０に戻す。
【０１０８】
以上のように各処理を行うことにより、撮像装置１００は、より正確に混色補正を行うことができる。特に、光量、光の色温度、入射角、被写体などの全ての撮像条件に応じた最適な混色量を補正することができる。また、実デバイス内に混色検出画素を設けるため、より正確な混色補正が可能となり、誤補正による偽色発生を抑制することが出来る。また、混色は、S/N比や色再現性悪化の要因となっているが、本技術を適用することにより混色が改善され、S/N比の向上を実現することができる。
【０１０９】
また、混色改善により解像度も向上させることができる。これまでは混色により、隣接画素間で光子や電子が行き来することでボケの原因となっていたが、この部分を補正することができるため、ボケがなくなり、より解像感の高い出力を得ることが出来る。さらに、適用可能範囲も広く、ベイヤ配列に限らず、クリアビットや縦型分光構造など多くのデバイスの混色改善に有用である。
【０１１０】
＜２．第２の実施の形態＞
［撮像装置の構成］
なお、黒レベルの減算と混色補正を同時に行うようにしてもよい。図２２は、本技術を適用した撮像装置の構成例を示す図である。図２２に示される撮像装置２００は、基本的に、図１の撮像装置１００と同様の装置であり、同様の構成を有し、同様の処理を行う。
【０１１１】
ただし、撮像装置２００は、撮像装置１００のクランプ部１０５および混色減算部１０６の代わりに、混色・黒レベル減算部２０５を有する。
【０１１２】
混色・黒レベル減算部２０５は、A/D変換された画像データに対して、混色量と黒レベルの減算を一度に行う。つまり、混色・黒レベル減算部２０５は、図２３に示されるように、黒レベルを除去する前の状態において、通常画素の画素値から混色検出画素の画素値を減算する。混色検出画素は、遮光されているため本来は黒レベルとなる。そこに隣接画素からの混色が加わり、黒レベル＋混色の合計値が撮像素子から出力される。つまり、この値を通常画素から差し引くことで、本来得たい入射光信号のみを得ることができる。
【０１１３】
つまり、第１の実施の形態の場合、有効画素外のOPB領域を使用して黒レベルが検出されるが、本実施の形態の場合、センサ内に複数配置された混色検出画素において混色量だけでなく黒レベルの検出も行われる。そのため、本実施の形態の場合、OPB領域が不要になり、カラーフィルタ搭載撮像素子のチップサイズを低減させることができ、コストを低減させることができる。
【０１１４】
なお、図２４に示すように暗時出力（暗電流）を含む黒レベルは製造バラツキなどにより、必ずしもセンサ内で均一ではない。この手法の場合、混色同様にエリア別に黒レベルを求めることになるため暗電流シェーディングも同時に補正することができる。
【０１１５】
なお、第１の実施の形態の場合と同様に、必ずしも、混色検出画素の画素値が、通常画素の実際の混色量と完全に一致するとは限らない。そこで、第１の実施の形態の場合と同様に、複数の混色検出画素の画素値を用いて、通常画素の位置に相当する混色検出画素の画素値（黒レベル＋混色量）を推定し、その推定値を通常画素の画素値より減算するようにすることもできる。
【０１１６】
［撮像処理の流れ］
この場合の撮像処理の流れの例を図２５のフローチャートを参照して説明する。図２５のフローチャートに示されるように、この場合も、図２０のフローチャートを参照して説明した場合と、基本的に同様の処理が行われる。
【０１１７】
つまり、ステップＳ２０１、ステップＳ２０２、ステップＳ２０４乃至ステップＳ２０９の各処理は、図２０のステップＳ１０１、ステップＳ１０２、ステップＳ１０５乃至ステップＳ１１０の各処理と同様に実行される。
【０１１８】
ただし、図２０のステップＳ１０３およびステップＳ１０４の処理の代わりに、図２５の場合、ステップＳ２０３の処理が行われる。ステップＳ２０３において、混色・黒レベル減算部２０５は、混色・黒レベル減算処理を行う。
【０１１９】
［混色・黒レベル減算処理の流れ］
次に、図２６のフローチャートを参照して、図２５のステップＳ２０３において実行される混色・黒レベル減算処理の流れの例を説明する。
【０１２０】
この混色・黒レベル減算処理の流れは、混色量とともに黒レベルを減算すること以外、基本的に、図２１のフローチャートを参照して説明した混色減算処理の流れと同様である。以下に、図２１の例の混色減算処理と異なる処理について説明する。
【０１２１】
ステップＳ２２３において、混色・黒レベル減算部２０５は、混色・黒レベル算出に用いる混色検出画素を特定する。また、ステップＳ２２５において、混色・黒レベル減算部２０５は、ステップＳ２２４において取得された混色検出画素の画素値を用いて、処理対象である当該画素の混色・黒レベルを算出する。
【０１２２】
ステップＳ２２６において、混色・黒レベル減算部２０５は、処理対象である当該画素（注目画素）の画素値から、混色・黒レベルを減算する。
【０１２３】
以上のように各処理を実行することにより、撮像装置２００は、撮像装置１００と同様に、より正確に混色補正を行うことができる。
【０１２４】
＜３．第３の実施の形態＞
［応用例１］
混色量の推定方法として、一度、混色率を算出した上で混色量に戻す方法も考えられる。撮像した被写体によっては、例えば、混色検出画素と、補正対象画素とで明度が異なる場合が考えられる。混色量は光量に応じて変化するため、この場合、混色検出画素と補正対象画素とで混色量が大きく異なる可能性がある。例えば、明部で求めた混色量を、暗部の信号値から差し引くと過剰補正になってしまう（光量、信号が多いほど混色量も増大するため）。このような現象を抑制するために混色量ではなく、まず混色率を求めるようにしてもよい。
【０１２５】
図２７は、その場合の、混色減算部１０６の主な構成例を示すブロック図である。図２７に示されるように、この場合の混色減算部１０６は、基本的に図１３の例の場合と同様の構成を有するが、混色量算出部１３４の代わりに、混色率算出部３０４を有し、減算部１３５の代わりに乗算部３０５を有する。
【０１２６】
混色率算出部３０４は、処理対象である当該画素の混色量ではなく、画素値全体に対する混色成分の割合を示す混色率を算出する。乗算部３０５は、その混色率に対応する入射光の信号割合を、処理対象である当該画素の画素値に乗算する。
【０１２７】
この場合、混色の補正（減算）は、例えば図２８の例のように行われる。これまでと異なるのは、混色検出画素の隣接画素もしくは近隣画素（すなわち、周辺画素）の出力値も演算に用いられる点である。まず、クランプ部１０５からの出力において、混色を補正する処理対象である当該画素（通常画素）、混色の補正に用いられる混色検出画素、およびその混色検出画素の周辺の画素（混色検出近隣画素）の各画素値が、以下のような値であるとする。
【０１２８】
混色補正したい通常画素の画素値：５０
混色検出画素の画素値 ：３０
混色検出画素の近隣画素の画素値：１００
【０１２９】
なお、混色検出近隣画素は、混色補正したい通常画素よりも、混色検出画素の近くに位置するものとする。
【０１３０】
ここで、混色検出近隣画素の画素値が「１００」であることから、混色検出画素も遮光されていなければ「１００」の画素値が得られたと推定される。つまり、総信号値１００の内訳は、混色量「３０」に対して、入射光信号が「７０」であることが分かる。つまり、混色率は総信号値の３０％である（入射光信号率は７０％）。そこで、混色減算部１０６は、これらの各画素値に、混色率に対応する入射光の信号割合である７０％を乗算する。
【０１３１】
混色補正したい通常画素の画素値：５０×０．７＝３５
混色検出画素の画素値 ：３０×０．７＝２１
混色検出画素の近隣画素の画素値：１００×０．７＝７０
【０１３２】
欠陥補正部１０７は、さらに、混色検出画素を欠陥補正（近隣画素値の値などで置き換える）する。
【０１３３】
混色補正したい通常画素の出力値：３５
混色検出画素：７０
混色検出画素の近隣画素：７０
【０１３４】
これで所望の混色のない信号値を得ることが出来る。なお、混色率の場合も、上述した混色量の場合と同様に、図１４乃至図１７を参照して説明したような、推定方法を適用することができる。
【０１３５】
［混色減算処理の流れ］
次に、図２９のフローチャートを参照して、この場合の混色減算処理の流れの例を説明する。
【０１３６】
この混色減算処理の流れは、混色量の代わりに混色率を用いること以外、基本的に、図２１のフローチャートを参照して説明した混色減算処理の流れと同様である。以下に、図２１の例の混色減算処理と異なる処理について説明する。
【０１３７】
ステップＳ３０４において、混色検出画素特定部１３３は、ステップＳ３０３において特定した混色検出画素の画素値を取得する。混色検出画素特定部１３３は、さらに、ステップＳ３０３において特定した混色検出画素の近隣画素の画素値を取得する。
【０１３８】
ステップＳ３０５において、混色率算出部３０４は、ステップＳ３０４において取得された混色検出画素の画素値、並びに、混色検出画素の近隣画素の画素値を用いて、混色率を算出する。
【０１３９】
ステップＳ３０６において、乗算部３０５は、処理対象である当該画素（注目画素）の画素値に、ステップＳ３０５において算出された混色率に対応する入射光の信号割合を乗算する。
【０１４０】
以上のように各処理を実行することにより、混色減算部１０６は、撮像装置１００の場合と同様に、より正確に混色を減算することができる。
【０１４１】
［応用例２］
例えば、混色検出画素周辺が飽和している場合、上述した方法では、混色量や混色率を正確に求めることができない恐れがある。例えば、混色率は入射光信号と混色量を含む総信号値に対して、混色量が何％であるかを算出する必要があるが、飽和光量以上になると、総信号量が一定値（飽和）になるのに対して、遮光されている混色検出画素の出力は光量に応じて上下してしまう恐れがある。この値を飽和していない他の画素で適用すると、誤った混色補正になる可能性が高い。
【０１４２】
例えば、図３０に示される例の場合、左に示される飽和以下の光量の画素の場合、混色検出画素の画素値と混色検出近隣画素の画素値との比が混色率に相当する。これに対して、図３０の右に示される飽和超光量の画素の場合、混色検出画素の画素値と混色検出近隣画素の画素値との比が混色率に相当しない。つまり、正しい混色率を求めることが困難になる場合が考えられる。
【０１４３】
そこで、混色検出画素の周辺画素が飽和している場合、該当混色検出画素の値を使用せず、周辺の飽和していない混色検出画素の値を使って混色率（混色量）を求めるようにしてもよい。
【０１４４】
図３１に、より具体的な例を示す。図３１の例の場合、混色検出画素Ｂ周辺が飽和している。図３１内の注目画素３３１を補正する場合、例えば混色検出画素Ｂと混色検出画素Ｃとの混色量、もしくは混色率を距離に応じてブレンドする方法が考えられる。しかしながら、混色検出画素Ｂの周辺は飽和しているため、前述したように正しい混色量、もしくは混色率を求めることができない可能性がある。そこで、このような場合、混色検出画素Ｂは使用せず、混色検出画素Ａと混色検出画素Ｃとを使用するようにしてもよい。これにより、誤補正の発生を抑止することができる。
【０１４５】
［混色検出画素特定処理の流れ］
図３２のフローチャートを参照して、この場合の混色検出画素特定処理の流れの例を説明する。この混色検出画素特定処理は、例えば、図２１のステップＳ１３３において実行される処理である。
【０１４６】
混色検出画素特定処理が開始されると、混色検出画素特定部１３３は、ステップＳ３３１において、混色量算出に用いる混色検出画素を特定する。ステップＳ３３２において、混色検出画素特定部１３３は、ステップＳ３３１において特定された混色検出画素の近隣画素の画素値を所定数（１つまたは複数）取得する。
【０１４７】
ステップＳ３３３において、混色検出画素特定部１３３は、１つ以上の近隣画素の画素値が飽和しているか否かを判定する。１つ以上の近隣画素の画素値が飽和していると判定された場合、処理をステップＳ３３４に進める。
【０１４８】
ステップＳ３３４において、混色検出画素特定部１３３は、混色量算出に用いる混色検出画素を、他の混色検出画素に更新する。すなわち、近隣画素が飽和している混色検出画素を避ける。ステップＳ３３４の処理が終了すると、混色検出画素特定部１３３は、処理をステップＳ３３５に進める。また、ステップＳ３３３において、近隣画素の画素値が１つも飽和していないと判定された場合、混色検出画素特定部１３３は、処理をステップＳ３３５に進める。
【０１４９】
ステップＳ３３５において、混色検出画素特定部１３３は、未処理の、混色量算出に用いる混色検出画素が存在するか否かを判定する。ステップＳ３３１において特定された、混色量算出に用いる混色検出画素の中で、近隣画素の画素値を確認していない未処理の画素が存在すると判定された場合、混色検出画素特定部１３３は、処理をステップＳ３３２に戻し、それ以降の処理を繰り返す。
【０１５０】
また、ステップＳ３３５において、ステップＳ３３１において特定された、混色量算出に用いる混色検出画素の近隣画素を全て確認したと判定された場合、混色検出画素特定部１３３は、処理をステップＳ３３６に進める。
【０１５１】
ステップＳ３３６において、混色検出画素特定部１３３は、以上の処理により、絞りこまれた混色検出画素の候補を、混色量算出に用いる混色検出画素に決定し、混色検出画素特定処理を終了する。
【０１５２】
以上のように、混色量算出に用いる混色検出画素を、その近隣画素の画素値が飽和しているか否かによって取捨選択することにより、混色減算部１０６は、より正確に混色量（混色率）を求めることができる。
【０１５３】
なお、Si内の欠陥や、転送不良など多くの要因により、撮像素子に白点（出力が浮く）や、黒点（出力が下がる）などの欠陥が含まれることがある。混色検出画素にも同様に、これら欠陥が含まれることがある。欠陥が含まれると、誤った混色量を使用することになるため防ぐ必要がある。このため、混色検出画素が欠陥か否かを判別して、欠陥だった場合はその画素を使用しない処理を施すことも考えられる。例えば図３１において、混色検出画素Ｂが欠陥だった場合は、他の混色検出画素Ａ若しくはＣを用いて混色率、混色量を求めるようにしてもよい。
【０１５４】
欠陥か否かは、一般的な欠陥補正の際におこなわれる手法で求めることができる。例えば複数の混色検出画素の値から、飛び値がないかを判別する方法が考えられる。より具体的には、例えば、図３１の混色検出画素ＡおよびＣの値に対して、その間にある混色検出画素Ｂの画素値が大きく異なる（例えば２倍以上）場合、混色検出画素Ｂが欠陥画素として認定され、混色量（混色率）の算出に用いられないようにしてもよい。
【０１５５】
なお、当該混色検出画素の近隣画素の画素値が飽和していると判定された場合、若しくは、当該混色検出画素が欠陥画素であると判定された場合の対処方法は上述した以外であってもよい。つまり、以上においては、このような場合の対処として、混色量算出に用いる混色検出画素を、当該混色検出画素から他の混色検出画素に変える（更新する）ように説明したが、このような場合の対処方法はこれ以外であってもよい。例えば、当該混色検出画素を混色量算出に用いることを禁止するようにしてもよい。
【０１５６】
例えば、混色量算出に複数の混色検出画素を用いるとする。その内の１つにおいて、上述したように、近隣画素において光量の飽和が発生したり、欠陥画素判定がなされた場合、その混色検出画素の使用を禁止するのみとし、他の混色検出画素を新たに使用しないようにしてもよい。つまり、この場合、混色量算出に用いられる混色検出画素数が低減する。
【０１５７】
［応用例３］
また、例えば図３３に示される画素３５１のように、遮光されている混色検出画素の隣接画素は、一般的に、遮光画素からの混色が起きないため、他の画素よりも混色量が少なくなる。したがって、この画素に対して他の画素と同様の混色量を減算すると過補正になる恐れがある。
【０１５８】
そこで、混色検出画素の隣接画素（上下左右斜め）に関しては、混色補正量を低減するか（例えば、混色検出画素から求めた混色率や混色量に対してさらに0．8倍するなど）、これらを欠陥画素と見なして欠陥補正で信号値を作り直すようにしてもよい。
【０１５９】
［混色減算処理の流れ］
図３４のフローチャートを参照して、混色検出画素の隣接画素の混色補正量を低減する場合の混色減算処理の流れの例を説明する。
【０１６０】
この場合、ステップＳ３５１乃至ステップＳ３５５、並びに、ステップＳ３５８およびステップＳ３５９の各処理は、図２１のステップＳ１３１乃至ステップＳ１３７の各処理と同様に実行される。
【０１６１】
図３４の例の場合、さらに、ステップＳ３５６およびステップＳ３５７の処理が行われる。すなわち、ステップＳ３５６において、混色量算出部１３４は、処理対象である当該画素が混色検出画素に隣接する画素であるか否かを判定する。当該画素が、混色検出画素に隣接する（つまり、混色検出画素に対して、混色検出画素が通常画素であった場合、その画素からの混色が発生する位置に存在する）と判定された場合、混色量算出部１３４は、処理をステップＳ３５７に進める。ステップＳ３５７において、混色量算出部１３４は、ステップＳ３５５において算出した混色量をさらに補正する（例えば、所定の値（例えば0.8等）を乗算する）。
【０１６２】
ステップＳ３５７の処理を終了すると、混色量算出部１３４は、処理をステップＳ３５８に進める。また、ステップＳ３５６において、処理対象である当該画素が混色検出画素に隣接する画素でないと判定された場合、混色量算出部１３４は、処理をステップＳ３５８に進める。
【０１６３】
以上のようにすることにより、混色減算部１０６は、より正確に混色量（混色率）を求めることができ、より正確に混色補正を行うことができる。
【０１６４】
なお、欠陥補正の手法は、混色検出画素と同様の手法で行うことができる。
【０１６５】
［応用例４］
以上においては、カラーフィルタの色毎に混色検出画素を設け、全色を補正するように説明した。しかしながら、混色検出画素の数が膨大になってくると、欠陥補正対象の画素が増大する恐れがある。
【０１６６】
欠陥補正は、周囲の正常画素の値から推定をおこなうため、この推定値に誤りが発生すれば、偽色や解像感低下の恐れがある。そこで、この推定値の誤りの発生を極力抑制し、さらに、混色補正による画質改善を目的とする場合、例えば特定の色のみに混色検出画素を設け、特定の色のみにおいて、混色量の補正を行うことも考えられる。
【０１６７】
例えば、開発中のセンサにおいて、Ｒｅｄ画素への混色量が他と比べて多い傾向があることが判明した場合、Ｒｅｄ画素のみに混色検出画素を設け、Ｒｅｄのみに混色補正を行うようにしてもよい。こうすることで、Ｇｒｅｅｎ、Ｂｌｕｅには混色検出画素は必要なく、欠陥補正もＲｅｄの混色検出画素のみとなる。
【０１６８】
＜４．第４の実施の形態＞
［縦型分光構造］
なお、本技術は、遮光画素を設けることで混色量を補正することができればよく、どのような構造の画素にも適用することができる。例えば、本技術は、カラーフィルタを搭載しない撮像素子にも適用することができる。例えば、特開２０１１−２９４５３号公報に記載の方法のように同一画素内のフォト・ダイオードを縦方向の３段構成とし、同一画素内から複数の色信号を得る縦型分光構造の画素がある。この縦型分光構造の画素の場合、各フォト・ダイオードのみで各色を識別することができる。また、有機光電変換膜を用いて色信号を得るものも存在する。本技術は、このような縦型分光構造の画素を有する撮像素子にも、上述したカラーフィルタを用いる撮像素子の場合と同様に適用することができる。
【０１６９】
以下に、縦型分光構造の撮像素子を用いる場合について説明する。
【０１７０】
［撮像装置］
図３５は、この場合の撮像装置の主な構成例を示すブロック図である。図３５にしめされる撮像装置４００は、基本的に図１の撮像装置１００と同様の装置であり、撮像装置１００と同様の構成を有し、同様の処理を行う。ただし、撮像装置４００は、カラーフィルタ搭載撮像素子１０３の代わりに、カラーフィルタを搭載しない撮像素子４０３を有する。
【０１７１】
撮像素子４０３は、図３６に示される断面図のように、表面照射型で、かつ縦型分光が可能な固体撮像素子である。縦型分光構造は、例えば、特開２０１１−２９４５３号公報などに記載されている構造である。この構造においては、フォトダイオード（ＰＮ接合）が縦方向に３つ形成されている。上段で、Ｂｌｕｅ、中段でＧｒｅｅｎ、下段でＲｅｄを光電変換することで１画素から３色の色信号を得ることができる。
【０１７２】
例えば、図３６において、表面型ＰＤ３６は、青色（Ｂ）の光による信号電荷を生成するために半導体基板１４の光入射面からおよそ０．５μｍの領域に形成する。また、第１の埋め込み型ＰＤ２３は、緑色（Ｇ）の光による信号電荷を生成するために、半導体基板１４の光入射面からの深さがおよそ０．５μｍ〜１．５μｍの領域に形成する。また、第２の埋め込み型ＰＤ５７は、赤色（Ｒ）の光による信号電荷を生成するために、半導体基板１４の全体の厚みが例えば３μｍの場合は半導体基板１４の光入射面からの深さがおよそ１．５μｍ〜３μｍの領域に形成する。半導体基板１４の厚みが３μｍよりも厚い場合は、第２の埋め込み型ＰＤ５７を基板の深さ方向に広げることができる。
【０１７３】
このように、縦型分光が可能な撮像素子４０３は、半導体基板１４の光照射側にカラーフィルタ層を設ける必要がない。また、１画素内において、ＲＧＢの光を全て光電変換することができるので、１画素あたりの光の利用効率が、従来のカラーフィルタを用いて分光を行う画素よりも３倍高くなる。このため、感度の向上が図られる。
【０１７４】
撮像素子４０３の画素がこのような縦型分光構造の場合も、図３７に示されるように、上述した他の実施の形態で述べた方法と同様に混色検出画素が設けられる。ただし、縦型分光構造の場合、上述したように、１画素内においてRGBの光を全て光電変換することができる。つまり、混色検出画素も１画素においてRGBの各色について混色を検出することができる。
【０１７５】
より具体的に説明すると、図３８に示されるように、縦型分光構造の場合も、Si内で混色が発生する。配線層で遮光した混色検出画素（図３８中央）での出力は、Ｒ，Ｇ，Ｂともに隣接画素からのバルク混色のみとなる。これをこれまでの実施例で示したものと同じ手法で混色補正を行う。これまで説明した方法と異なる点は、１画素で複数画素（例えば図３６のようにＲ、Ｇ、Ｂ）の混色を判別可能である点が挙げられる(なお、読み出し構造の例などは特開２０１１−２９４５３号公報に記載されている)。
【０１７６】
なお、図３５の撮像装置４００においては、撮像素子４０３が縦型分光構造であり、各画素より各色のデータが得られるので、デモザイク部１０８は省略される。すなわち、欠陥補正部１０７の出力は、リニアマトリクス部１０９に供給される。
【０１７７】
［撮像処理の流れ］
この場合の撮像処理の流れの例を図３９のフローチャートを参照して説明する。この場合も撮像処理は、図２０の場合と基本的に同様に各処理が実行される。
【０１７８】
ただし、図３９の場合、ステップＳ４０１において、１画素から複数の色の画素信号が読み出される。したがって、この場合、ステップＳ１０６に対応するデモザイク処理は省略される。
【０１７９】
このように処理を行うことにより、撮像装置４００は、撮像装置１００の場合と同様に、より正確に混色補正を行うことを目的とする。
【０１８０】
なお、例えば、Greenで１つのフォト・ダイオードを用い、RedとBlueのみを縦型分光構造のフォト・ダイオードとすることもできる。その場合、デモザイク処理が必要になる。
【０１８１】
＜５．第５の実施の形態＞
［撮像装置］
なお、第４の実施の形態のように、カラーフィルタを搭載しない撮像素子４０３を用いる場合も、第２の実施の形態のように、黒レベルと混色量とを一括して補正するようにしてもよい。
【０１８２】
図４０は、その場合の撮像装置の主な構成例を示すブロック図である。図４０に示される撮像装置５００は、図３５の撮像装置４００と基本的に同様の装置であり、同様の構成を有するが、図２２の撮像装置２００のように、クランプ部１０５および混色減算部１０６の代わりに、混色・黒レベル減算部２０５を有する。
【０１８３】
つまり、撮像装置５００は、撮像装置２００と同様に、黒レベルと混色量とを一括して補正する。撮像装置２００と比較した場合、撮像装置５００は、カラーフィルタ搭載撮像素子１０３の代わりに撮像素子４０３を有し、デモザイク部１０８が省略されている。
【０１８４】
［撮像処理の流れ］
この場合の撮像処理の流れの例を、図４１のフローチャートを参照して説明する。この場合も撮像処理は、図２５の場合と基本的に同様に各処理が実行される。
【０１８５】
ただし、図４１の場合、ステップＳ５０１において、１画素から複数の色の画素信号が読み出される。したがって、この場合、ステップＳ２０５に対応するデモザイク処理は省略される。
【０１８６】
このように処理を行うことにより、撮像装置５００は、撮像装置２００の場合と同様に、より正確に混色補正を行うことを目的とする。
【０１８７】
＜６．第６の実施の形態＞
［撮像装置］
以上に説明した各撮像装置は、他の装置の一部として構成されるようにしてもよい。例えば、図４２に示されるような撮像装置の一部としてもよい。
【０１８８】
図４２は、本技術を適用した撮像装置の主な構成例を示すブロック図である。
【０１８９】
図４２に示されるように、撮像装置６００は、レンズ部６１１、CMOSセンサ６１２、A/D変換器６１３、操作部６１４、制御部６１５、画像処理部６１６、表示部６１７、コーデック処理部６１８、および記録部６１９を有する。
【０１９０】
レンズ部６１１は、被写体までの焦点を調整し、焦点が合った位置からの光を集光し、CMOSセンサ６１２に供給する。
【０１９１】
CMOSセンサ６１２は、上述で説明した構造を有する固体撮像素子であり、有効画素領域内に、混色検出画素が設けられている。
【０１９２】
A/D変換器６１３は、CMOSセンサ６１２から、所定のタイミングで供給された画素毎の電圧信号を、デジタルの画像信号（以下、適宜、画素信号ともいう）に変換し、所定のタイミングで順次、画像処理部６１６に供給する。
【０１９３】
操作部６１４は、例えば、ジョグダイヤル（商標）、キー、ボタン、またはタッチパネル等により構成され、ユーザによる操作入力を受け、その操作入力に対応する信号を制御部５１５に供給する。
【０１９４】
制御部６１５は、操作部６１４により入力されたユーザの操作入力に対応する信号に基づいて、レンズ部６１１、CMOSセンサ６１２、A/D変換器６１３、画像処理部６１６、表示部６１７、コーデック処理部６１８、および記録部６１９を制御する。
【０１９５】
画像処理部６１６は、A/D変換器６１３から供給された画像信号に対して、例えば、上述した混色補正や、黒レベル補正、ホワイトバランス調整、デモザイク処理、マトリックス処理、ガンマ補正、およびYC変換等の各種画像処理を施す。画像処理部６１６は、画像処理を施した画像信号を表示部６１７およびコーデック処理部６１８に供給する。
【０１９６】
表示部６１７は、例えば、液晶ディスプレイ等として構成され、画像処理部６１６からの画像信号に基づいて、被写体の画像を表示する。
【０１９７】
コーデック処理部６１８は、画像処理部６１６からの画像信号に対して、所定の方式の符号化処理を施し、符号化処理の結果得られた画像データを記録部６１９に供給する。
【０１９８】
記録部６１９は、コーデック処理部６１８からの画像データを記録する。記録部６１９に記録された画像データは、必要に応じて画像処理部６１６に読み出されることで、表示部６１７に供給され、対応する画像が表示される。
【０１９９】
なお、本技術を適用した固体撮像素子や画像処理部を備える撮像装置は、上述した構成に限らず、他の構成であってもよい。
【０２００】
以上に説明した各装置は、それぞれ、上述した以外の構成を含むようにしてももちろんよい。また、１つの装置としてだけでなく、複数の装置よりなるシステムとして構成されるようにしてもよい。
【０２０１】
＜７．第７の実施の形態＞
［パーソナルコンピュータ］
上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウェアにより実行させることもできる。この場合、例えば、図４３に示されるようなパーソナルコンピュータとして構成されるようにしてもよい。
【０２０２】
図４３において、パーソナルコンピュータ７００のCPU（Central Processing Unit）７０１は、ROM（Read Only Memory）７０２に記憶されているプログラムに従って各種の処理を実行する。また、CPU７０１は、記憶部７１３からRAM（Random Access Memory）７０３にロードされたプログラムに従って各種の処理を実行する。RAM７０３にはまた、CPU７０１が各種の処理を実行する上において必要なデータなども適宜記憶される。
【０２０３】
CPU７０１、ROM７０２、およびRAM７０３は、バス７０４を介して相互に接続されている。このバス７０４にはまた、入出力インタフェース７１０も接続されている。
【０２０４】
入出力インタフェース７１０には、キーボード、マウスなどよりなる入力部７１１が接続されている。入出力インタフェース７１０にはまた、CRT（Cathode Ray Tube）ディスプレイやLCD（Liquid Crystal Display）等のディスプレイ、並びにスピーカなどよりなる出力部７１２も接続されている。入出力インタフェース７１０にはさらに、フラッシュメモリ等SSD（Solid State Drive）やハードディスクなどよりなる記憶部７１３も接続されている。入出力インタフェース７１０にはまた、有線LAN（Local Area Network）や無線LANのインタフェースやモデムなどよりなる通信部７１４も接続されている。通信部７１４は、インターネットを含むネットワークを介しての通信処理を行う。
【０２０５】
入出力インタフェース７１０にはさらに、必要に応じてドライブ７１５が接続され、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア７２１がそのドライブ７１５に適宜装着される。そして、そのドライブ７１５を介してリムーバブルメディア７２１から読み出されたコンピュータプログラムが、必要に応じて記憶部７１３にインストールされる。
【０２０６】
上述した一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、ネットワークや記録媒体からインストールされる。
【０２０７】
この記録媒体は、例えば、図４３に示されるように、装置本体とは別に、ユーザにプログラムを配信するために配布される、プログラムが記録されているリムーバブルメディア７２１により構成される。このリムーバブルメディア７２１には、磁気ディスク（フレキシブルディスクを含む）や光ディスク（CD-ROMやDVDを含む）が含まれる。さらに、光磁気ディスク（MD（Mini Disc）を含む）や半導体メモリ等も含まれる。また、上述した記録媒体は、このようなリムーバブルメディア７２１だけでなく、装置本体に予め組み込まれた状態でユーザに配信される、プログラムが記録されているROM７０２や、記憶部７１３に含まれるハードディスクなどにより構成されるようにしてもよい。
【０２０８】
なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
【０２０９】
また、本明細書において、記録媒体に記録されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
【０２１０】
また、本明細書において、システムとは、複数のデバイス（装置）により構成される装置全体を表すものである。
【０２１１】
また、以上において、１つの装置（または処理部）として説明した構成が、複数の装置（または処理部）として構成されるようにしてもよい。逆に、以上において複数の装置（または処理部）として説明した構成が、まとめて１つの装置（または処理部）として構成されるようにしてもよい。また、各装置（または各処理部）の構成に上述した以外の構成が付加されるようにしてももちろんよい。さらに、システム全体としての構成や動作が実質的に同じであれば、ある装置（または処理部）の構成の一部が他の装置（または他の処理部）の構成に含まれるようにしてもよい。つまり、本開示の実施の形態は、上述した実施の形態に限定されるものではなく、本開示の要旨を逸脱しない範囲において種々の変更が可能である。
【０２１２】
なお、本技術は以下のような構成も取ることができる。
（１） 入射光を光電変換する光電変換素子を有する複数の通常画素を含む通常画素群と、
前記通常画素群の有効画素領域内において、周辺画素から入射される光を光電変換素子により検出する検出画素と
を備える撮像素子。
（２） 前記検出画素は、外部から前記検出画素に入射される入射光を遮光する遮光膜をさらに備える
前記（１）に記載の撮像素子。
（３） 前記遮光膜は、配線層により形成される
前記（２）に記載の撮像素子。
（４） 前記遮光膜は、複数の配線層により形成される
前記（３）に記載の撮像素子。
（５） 前記配線層のそれぞれには、互いに異なる位置に隙間が形成される
前記（４）に記載の撮像素子。
（６） 前記配線層のそれぞれは、入射光の入射角に応じて配置される
前記（４）または（５）に記載の撮像素子。
（７） 前記遮光膜は、前記光電変換素子上に設けられたメタルにより形成される
前記（２）乃至（６）のいずれかに記載の撮像素子。
（８） 前記検出画素を複数備える
前記（１）乃至（７）のいずれかに記載の撮像素子。
（９） 所定の波長の入射光を透過させるフィルタをさらに備え、
前記検出画素による前記周辺画素から入射される光の検出結果は、前記検出画素に設けられたフィルタと同じ波長の入射光を透過させるフィルタが設けられた通常画素の画素値の補正に用いられる
前記（８）に記載の撮像素子。
（１０） 前記検出画素は、互いに連続しない位置に設けられる
前記（８）または（９）に記載の撮像素子。
（１１） 入射光を光電変換する光電変換素子を有する複数の通常画素を含む通常画素群と、
前記通常画素群の有効画素領域内において、周辺画素から入射される光を光電変換素子により検出する検出画素と
を備える撮像素子と、
前記撮像素子の前記検出画素により検出された光の光量を用いて、前記通常画素の画素値から、前記通常画素の周辺画素から入射される光の光量を減算する減算部と
を備える撮像装置。
（１２） 前記減算部は、
前記光量の減算に用いる検出画素を選択する選択部と、
前記選択部により選択された前記検出画素の画素値を用いて、処理対象の通常画素の画素値に含まれる前記光量を算出する光量算出部と、
前記光量算出部により算出された前記光量を、処理対象の通常画素の画素値から減算する光量減算部と
を備える前記（１１）に記載の撮像装置。
（１３） 前記選択部は、複数の検出画素を選択し、
前記光量算出部は、前記選択部により選択された複数の検出画素と、処理対象の通常画素との位置関係に応じて、複数の前記検出画素の各画素値を重み付け加算し、前記光量を算出する
前記（１２）に記載の画像処理装置。
（１４） 前記光量算出部は、前記選択部により選択された検出画素の周辺画素の画素値が飽和している場合、前記光量の算出に用いる検出画素を他の検出画素に変えるか、若しくは、前記検出画素の使用を禁止する
前記（１２）または（１３）に記載の画像処理装置。
（１５） 前記光量算出部は、前記選択部により選択された検出画素が欠陥画素の場合、前記光量の算出に用いる検出画素を他の検出画素に変えるか、若しくは、前記検出画素の使用を禁止する
前記（１２）乃至（１４）のいずれかに記載の画像処理装置。
（１６） 前記光量算出部は、処理対象の通常画素が検出画素に隣接する場合、算出した光量を低減させるようにさらに補正する
前記（１２）乃至（１５）のいずれかに記載の画像処理装置。
（１７） 前記減算部は、前記通常画素の画素値から、前記光量とともに黒レベルも減算する
前記（１１）乃至（１６）のいずれかに記載の画像処理装置。
（１８） 前記減算部は、
前記光量の減算に用いる検出画素を選択する選択部と、
前記選択部により選択された前記検出画素の画素値を用いて、処理対象の通常画素の画素値に含まれる前記光量の割合を算出する割合算出部と、
前記割合算出部により算出された前記光量の割合に対応する、外部から前記処理対象の通常画素に入力された入射光の割合を、処理対象の通常画素の画素値に乗算する乗算部と
を備える前記（１１）乃至（１７）のいずれかに記載の撮像装置。
（１９） 前記撮像素子の前記通常画素および前記検出画素は、縦型分光構造を有する
前記（１１）乃至（１８）のいずれかに記載の画像処理装置。
（２０） 入射光を光電変換する光電変換素子を有する複数の通常画素を含む通常画素群と、
前記通常画素群の有効画素領域内において、周辺画素から入射される光を光電変換素子により検出する検出画素と
を備える撮像素子を有する撮像装置の撮像方法であって、
減算部が、前記撮像素子の前記検出画素により検出された光の光量を用いて、前記通常画素の画素値から、前記通常画素の周辺画素から入射される光の光量を減算する
撮像方法。
【符号の説明】
【０２１３】
１００ 撮像素子， １０３ カラーフィルタ搭載撮像素子， １０６ 混色減算部， １０７ 欠陥補正部， １２１ 混色検出画素， １２２ 遮光膜， １３３ 混色検出画素特定部， １３４ 混色量算出部， １３５ 減算部， ２００ 撮像装置， ２０５ 混色・黒レベル減算部， ３０４ 混色率算出部， ３０５ 乗算部， ４００ 撮像装置， ４０３ 撮像素子， ４１１ 混色検出画素， ４１２ 隣接画素， ４１３ 隣接画素， ５００ 撮像装置， ６００ 撮像装置
【技術分野】
【０００１】
本開示は、撮像素子、並びに、撮像装置および方法に関し、特に、より正確に混色補正を行うことができるようにした撮像素子、並びに、撮像装置および方法に関する。
【背景技術】
【０００２】
従来、混色補正係数を予め設定し、その混色補正係数を用いて混色を補正する方法があった（例えば特許文献１参照）。
【０００３】
ところで、ダイナミックに補正する方法として有効画素外のOPB領域（Optical Black Area）に混色検出画素を設けることも提案された（例えば、特許文献２参照）。
【０００４】
また、有効画素内にOPBを設ける手法も提案されている（例えば、特許文献３参照）。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２０１０−１６４１９号公報
【特許文献２】特開２０１０−２３９１９２公報
【特許文献３】特開２０１０−１４７７８５公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、特許文献１に記載の、予め混色補正係数の値を設定する方法の場合、製造バラツキ（例えばカラーフィルタの膜厚、OnChipLensの位置ズレ）を反映することができなかった。また、混色率は光の波長によっても異なるため、光源や被写体によっても変わってくるが、予め混色補正係数の値を設定する方法では、これらに対して十分に対応することができなかった。
【０００７】
また、特許文献２に記載の方法の場合、混色量は光の入射角によって変わる値であるので、有効画素外に混色検出画素を設けても、有効画素内と入射角が異なるため、正しい混色量を求めることはできなかった。
【０００８】
さらに、特許文献３に記載の方法の場合、Si内での混色が考慮されていなかった。特定の色の画素にのみOPBを設けた場合、ブラックレベルに加え、その画素に入ってくる混色も出力される。この混色は色によって異なるため、他色画素からこの値を差し引くと間違った混色率が引かれてしまうなどの弊害が起きる恐れがあった。しかも本来、混色量は像高（撮像素子内の位置）によっても異なるため、光学的な距離を考慮して演算する必要があるが、特許文献３に記載の方法の場合、そのようなことは考慮されていなかった。
【０００９】
本開示は、このような状況に鑑みてなされたものであり、より正確に混色補正を行うことを目的とする。
【課題を解決するための手段】
【００１０】
本開示の一側面は、入射光を光電変換する光電変換素子を有する複数の通常画素を含む通常画素群と、前記通常画素群の有効画素領域内において、周辺画素から入射される光を光電変換素子により検出する検出画素とを備える撮像素子である。
【００１１】
前記検出画素は、外部から前記検出画素に入射される入射光を遮光する遮光膜をさらに備えることができる。
【００１２】
前記遮光膜は、配線層により形成されるようにすることができる。
【００１３】
前記遮光膜は、複数の配線層により形成されるようにすることができる。
【００１４】
前記配線層のそれぞれには、互いに異なる位置に隙間が形成されるようにすることができる。
【００１５】
前記配線層のそれぞれは、入射光の入射角に応じて配置されるようにすることができる。
【００１６】
前記遮光膜は、前記光電変換素子上に設けられたメタルにより形成されるようにすることができる。
【００１７】
前記検出画素を複数備えることができる。
【００１８】
所定の波長の入射光を透過させるフィルタをさらに備え、前記検出画素による前記周辺画素から入射される光の検出結果は、前記検出画素に設けられたフィルタと同じ波長の入射光を透過させるフィルタが設けられた通常画素の画素値の補正に用いられるようにすることができる。
【００１９】
前記検出画素は、互いに連続しない位置に設けられるようにすることができる。
【００２０】
本開示の他の側面は、入射光を光電変換する光電変換素子を有する通常画素を含む通常画素群と、前記通常画素群の有効画素領域内において、周辺画素から入射される光を光電変換素子により検出する検出画素とを備える撮像素子と、前記撮像素子の前記検出画素により検出された光の光量を用いて、前記通常画素の画素値から、前記通常画素の周辺画素から入射される光の光量を減算する減算部とを備える撮像装置である。
【００２１】
前記減算部は、前記光量の減算に用いる検出画素を選択する選択部と、前記選択部により選択された前記検出画素の画素値を用いて、処理対象の通常画素の画素値に含まれる前記光量を算出する光量算出部と、前記光量算出部により算出された前記光量を、処理対象の通常画素の画素値から減算する光量減算部とを備えることができる。
【００２２】
前記選択部は、複数の検出画素を選択し、前記光量算出部は、前記選択部により選択された複数の検出画素と、処理対象の通常画素との位置関係に応じて、複数の前記検出画素の各画素値を重み付け加算し、前記光量を算出することができる。
【００２３】
前記光量算出部は、前記選択部により選択された検出画素の周辺画素の画素値が飽和している場合、前記光量の算出に用いる検出画素を他の検出画素に変えるか、若しくは、前記検出画素の使用を禁止することができる。
【００２４】
前記光量算出部は、前記選択部により選択された検出画素が欠陥画素の場合、前記光量の算出に用いる検出画素を他の検出画素に変えるか、若しくは、前記検出画素の使用を禁止することができる。
【００２５】
前記光量算出部は、処理対象の通常画素が検出画素に隣接する場合、算出した光量を低減させるようにさらに補正することができる。
【００２６】
前記減算部は、前記通常画素の画素値から、前記光量とともに黒レベルも減算することができる。
【００２７】
前記減算部は、前記光量の減算に用いる検出画素を選択する選択部と、前記選択部により選択された前記検出画素の画素値を用いて、処理対象の通常画素の画素値に含まれる前記光量の割合を算出する割合算出部と、前記割合算出部により算出された前記光量の割合に対応する、外部から前記処理対象の通常画素に入力された入射光の割合を、処理対象の通常画素の画素値に乗算する乗算部とを備えることができる。
【００２８】
前記撮像素子の前記通常画素および前記検出画素は、縦型分光構造を有することができる。
【００２９】
本開示の他の側面は、また、入射光を光電変換する光電変換素子を有する通常画素を含む通常画素群と、前記通常画素群の有効画素領域内において、周辺画素から入射される光を光電変換素子により検出する検出画素とを備える撮像素子を有する撮像装置の撮像方法であって、減算部が、前記撮像素子の前記検出画素により検出された光の光量を用いて、前記通常画素の画素値から、前記通常画素の周辺画素から入射される光の光量を減算する撮像方法である。
【００３０】
本開示の一側面においては、入射光を光電変換する光電変換素子を有する通常画素を含む通常画素群と、通常画素群の有効画素領域内において、周辺画素から入射される光を光電変換素子により検出する検出画素とが備えられる。
【００３１】
本開示の他の側面においては、撮像素子の検出画素により検出された光の光量を用いて、通常画素の画素値から、その周辺画素から入射される光の光量が減算される。
【発明の効果】
【００３２】
本開示によれば、撮像素子において発生する混色を補正することができる。特に、光の入射角、色温度、または被写体等の撮像環境によらず、より正確に混色補正を行うことができる。
【図面の簡単な説明】
【００３３】
【図１】撮像装置の主な構成例を示すブロック図である。
【図２】混色の発生の様子の例を説明する図である。
【図３】混色検出画素の例を説明する図である。
【図４】遮光膜の例を説明する図である。
【図５】遮光膜の例を説明する図である。
【図６】遮光膜の例を説明する図である。
【図７】ベイヤ配列の例を示す図である。
【図８】混色検出画素の配置例を説明する図である。
【図９】混色検出画素の配置例を説明する図である。
【図１０】混色検出画素の好ましくない配置例を説明する図である。
【図１１】混色検出画素の他の配置例を説明する図である。
【図１２】混色量減算の様子の例を示す図である。
【図１３】混色減算部の主な構成例を示す図である。
【図１４】混色量算出の例を示す図である。
【図１５】混色量算出の例を示す図である。
【図１６】混色量算出の例を示す図である。
【図１７】混色量算出の例を示す図である。
【図１８】混色量減算の様子の例を示す図である。
【図１９】欠陥補正の様子の例を示す図である。
【図２０】撮像処理の流れの例を示すフローチャートである。
【図２１】混色減算処理の流れの例を示すフローチャートである。
【図２２】撮像装置の他の構成例を示すブロック図である。
【図２３】混色量減算の様子の他の例を示す図である。
【図２４】暗電流シェーディングの様子の例を示す図である。
【図２５】撮像処理の流れの、他の例を示すフローチャートである。
【図２６】混色・黒レベル減算処理の流れの例を示すフローチャートである。
【図２７】混色減算部の他の構成例を示す図である。
【図２８】混色量減算の他の演算例を示す図である。
【図２９】混色減算処理の流れの例を示すフローチャートである。
【図３０】光量飽和時の例を説明する図である。
【図３１】飽和時の混色減算の他の例を示す図である。
【図３２】混色検出画素特定処理の流れの例を示すフローチャートである。
【図３３】混色検出画素の隣接画素の混色補正を説明する図である。
【図３４】混色減算処理の流れの例を示すフローチャートである。
【図３５】撮像装置の、さらに他の構成例を示すブロック図である。
【図３６】縦型分光構造の例を示すブロック図である。
【図３７】縦型分光構造の混色検出画素の配置例を説明する図である。
【図３８】縦型分光構造の混色検出画素の例を説明する図である。
【図３９】撮像処理の流れの、さらに他の例を示すフローチャートである。
【図４０】撮像装置の、さらに他の構成例を示すブロック図である。
【図４１】撮像処理の流れの、さらに他の例を示すフローチャートである。
【図４２】撮像装置の、さらに他の構成例を示すブロック図である。
【図４３】パーソナルコンピュータの構成例を示すブロック図である。
【発明を実施するための形態】
【００３４】
以下、本技術を実施するための形態（以下実施の形態とする）について説明する。なお、説明は以下の順序で行う。
１．第１の実施の形態（黒レベル・混色量順次補正）
２．第２の実施の形態（黒レベル・混色量一括補正）
３．第３の実施の形態（応用例）
４．第４の実施の形態（縦型分光構造：黒レベル・混色量順次補正）
５．第５の実施の形態（縦型分光構造：黒レベル・混色量一括補正）
６．第６の実施の形態（応用例：撮像装置）
７．第７の実施の形態（パーソナルコンピュータ）
【００３５】
＜１．第１の実施の形態＞
［撮像装置の構成］
図１は、本技術を適用した撮像装置の構成例を示す図である。図１に示される撮像装置１００は、被写体を撮像し、その被写体の画像を電気信号として出力する装置である。
【００３６】
図１に示されるように撮像装置１００は、レンズ１０１、絞り１０２、カラーフィルタ搭載撮像素子１０３、A/D変換部１０４、クランプ部１０５、混色減算部１０６、および欠陥補正部１０７を有する。また、撮像装置１００は、デモザイク部１０８、リニアマトリクス部１０９、ガンマ補正部１１０、輝度クロマ信号生成部１１１、およびインタフェース（I/F）部１１２を有する。
【００３７】
レンズ１０１は、カラーフィルタ搭載撮像素子１０３に照射する入射光の焦点距離の調整を行う。絞り１０２は、カラーフィルタ搭載撮像素子１０３に照射する入射光の光量調整を行う。レンズ１０１および絞り１０２は、光学系の処理部を表しており、具体的な構成は任意である。例えば、レンズ１０１が複数のレンズにより構成されていてもよい。
【００３８】
図１において点線矢印で示されるように、レンズ１０１および絞り１０２を透過した入射光は、カラーフィルタ搭載撮像素子１０３に照射する。
【００３９】
カラーフィルタ搭載撮像素子１０３は、画素毎にフォト・ダイオード等の光電変換素子を有し、入射光を電気信号に変換する。つまり、カラーフィルタ搭載撮像素子１０３は、入射光を光電変換する光電変換素子を有する複数の通常画素を含む通常画素群を備える。カラーフィルタ搭載撮像素子１０３は、例えば、光電変換素子が光から発生した電荷を読み出すために電荷結合素子（CCD（Charge Coupled Device）と呼ばれる回路素子を用いて転送を行うCCDイメージセンサであってもよい。また、カラーフィルタ搭載撮像素子１０３は、例えば、CMOS（Complementary Metal Oxide Semiconductor）を用いた、単位セルごとに増幅器を持つCMOSイメージセンサ等であってもよい。
【００４０】
カラーフィルタ搭載撮像素子１０３は、光電変換素子の入射光側にカラーフィルタを有している。カラーフィルタは、赤（Ｒ）、緑（Ｇ）、および青（Ｂ）等の各色のフィルタが各光電変換素子上に例えばベイヤ配列等で配置されている。つまり、カラーフィルタ搭載撮像素子１０３は、フィルタを透過した各色の入射光を光電変換し、その電気信号をA/D変換部１０４に供給する。
【００４１】
カラーフィルタ搭載撮像素子１０３のカラーフィルタの色は任意であり、RGB以外の色が含まれていても良いし、RGBの一部または全部の色が用いられなくても良い。また、各色の配列も任意であり、ベイヤ配列以外の配列であってもよい。例えば、クリアビット配列や染料系カラーフィルタ、ホワイト画素（特開２００９−２９６２７６号公報に記載）などでも使用可能である。
【００４２】
以下においては、カラーフィルタ搭載撮像素子１０３には、RGBの３色のフィルタがベイヤ配列で配置されているものとして説明する。
【００４３】
A/D変換部１０４は、カラーフィルタ搭載撮像素子１０３から供給されるRGBの電気信号（アナログ信号）をデジタルデータ（画像データ）に変換する。A/D変換部１０４は、そのデジタルデータの画像データ（RAWデータ）をクランプ部１０５に供給する。
【００４４】
クランプ部１０５は、画像データから、黒色と判定されるレベルである黒レベルを減算する。クランプ部１０５は、黒レベルを減算した画像データを混色減算部１０６に供給する。
【００４５】
混色減算部１０６は、画像データから、周辺の画素のフィルタを透過した光成分である混色成分を減算する。混色減算部１０６は、混色成分を減算した画像データを欠陥補正部１０７に供給する。
【００４６】
欠陥補正部１０７は、正しい画素値が得られない欠陥画素について、その画素値の補正を行う。欠陥補正部１０７は、欠陥画素の補正を行った画像データをデモザイク部１０８に供給する。
【００４７】
デモザイク部１０８は、RAWデータに対してデモザイク処理を行い、色情報の補完等を行ってRGBデータに変換する。デモザイク部１０８は、デモザイク処理後の画像データ（RGBデータ）をリニアマトリクス部１０９に供給する。
【００４８】
リニアマトリクス部１０９は、規格で定められた原色（ＲＧＢ）の色度点と実際のカメラの色度点の差を埋めるために、マトリクス係数を用いて画像データの各色信号を補正し、色再現性を変化させる処理を行う。リニアマトリクス部１０９は、処理後の画像データをガンマ補正部１１０に供給する。
【００４９】
ガンマ補正部１１０は、画像データの色と出力デバイス特性との相対関係を調節して、よりオリジナルに近い表示を得るためのガンマ補正を行う。ガンマ補正部１１０は、補正後の画像データ（RGBデータ）を輝度クロマ信号生成部１１１に供給する。
【００５０】
輝度クロマ信号生成部１１１は、供給されたRGBデータから輝度信号（Ｙ）と色差信号（Cr,Cb）とを生成する。輝度クロマ信号（Y,Cr,Cb）を生成すると、輝度クロマ信号生成部１１１は、その輝度信号と色差信号をインタフェース（I/F）部１１２に供給する。
【００５１】
インタフェース（I/F）部１１２は、供給された画像データ（輝度クロマ信号）を、撮像装置１００の外部（例えば、画像データを記憶する記憶デバイスや、画像データの画像を表示する表示デバイス等）に出力する。
【００５２】
［カラーフィルタ搭載撮像素子］
次に、各部の詳細について説明する。先ず、カラーフィルタ搭載撮像素子１０３の詳細について説明する。
【００５３】
従来の撮像素子の場合、図２に示されるように、通常画素群の有効画素領域の外部にOPB（Optical Black Area）領域が設けられ、黒レベルが検出される。また、有効画素領域内の各画素においては、オンチップレンズ、カラーフィルタ、および導波路を通過した入射光が、フォト・ダイオード（Si（Photo Diode））に照射される。フォト・ダイオードは、その入射光を光電変換して電荷を蓄積し、所定のタイミングでその電荷を出力する。
【００５４】
図２に示されるように、従来の撮像素子の場合、オンチップレンズ、カラーフィルタ、および導波路を通過した各画素の入射光は、その画素のフォト・ダイオードに照射されるだけでなく、シリコン（フォト・ダイオード）内において、周辺の画素にも及ぶ可能性があった。また、導波路等のシリコン外においても、漏れた入射光が周辺画素に侵入する可能性があった。
【００５５】
つまり、ある画素（当該画素）のフォト・ダイオードに、当該画素の入射光だけでなく、その周辺画素のカラーフィルタを透過した入射光の一部も入射する可能性があった。すなわち、当該画素の入射光と、当該画素の入射光と異なる色の光とによる混色が発生する可能性があった。
【００５６】
そこで、カラーフィルタ搭載撮像素子１０３には、図３に示されるように、通常画素群の有効画素領域内に、混色量を検出するための混色検出画素１２１が設けられている。この混色検出画素１２１は、フォト・ダイオードが遮光膜１２２で覆われ、Ｓｉ（フォト・ダイオード）よりも上層からの光が極力入射しないようになされている。つまり、混色検出画素１２１は、当該画素のカラーフィルタを透過した入射光成分を遮光膜１２２によって遮り、周辺画素のカラーフィルタを透過した入射光成分のみをフォト・ダイオードによって検出する。
【００５７】
図３に示されるように、混色検出画素１２１は、有効画素領域内に複数個配置される。図３の例の場合、有効画素内に７×５＝３５個の混色検出画素が設けられている。なお、混色検出画素１２１の数は、任意である。混色検出画素数を多くすれば、より綿密な混色量算出が可能である。ただし、混色検出画素は通常の信号値を持たないため、最終的に欠陥画素として扱われ、通常画素の値に置き換えられる。したがって、混色検出画素数を極力少なくすることにより、欠陥として処理される画素数を減らすことができ、欠陥補正による不具合（偽色や解像度低下など）を抑制することができる。
【００５８】
また、混色検出画素１２１の、有効画素領域内の位置は、任意である。ただし、有効画素領域における混色量（画素特性）の偏りに対するロバスト性を高め、より正確に混色補正を行うことができるようにするために、有効画素領域内にできるだけ均等に分布するように混色検出画素１２１を配置するのが望ましい。
【００５９】
遮光膜１２２は、当該画素のカラーフィルタを透過した光がフォト・ダイオードへ入射するのを遮るものであればどのようなものであってもよい。例えば表面照射型センサの場合、図４Ａに示されるように、配線層のメタル（例えば銅（Cu）やアルミニウム（Al））によって遮光膜１２２を実現するようにしてもよい。また、例えば裏面照射型センサの場合、図４Ｂに示されるように、フォト・ダイオード上にメタル（例えば、タングステン（Ｗ））を形成することにより遮光膜１２２を実現するようにしてもよい。もちろん、これら以外の方法で遮光膜１２２を実現するようにしてもよい。
【００６０】
なお、遮光膜の形成パターンについても、遮光が果たせれば任意の手法で対応可能である。例えば、図５Ａのように、複数の配線層を用いて遮光を行う（複数の配線層を遮光膜１２２とする）ようにしてもよい。ただし、配線層を、例えば画素全体を覆う程広く形成すると、図５Ｂのように、プロセス的な遮光膜削れ（例えば表面研磨（CMP（Chemical Mechanical Polishing））によるディッシング）が生じる可能性がある。したがって、各配線層が薄くなって当該画素の入射光が透過してしまう可能性がある。
【００６１】
そこで、例えば、図５Ｃに示されるように、各配線層の一部に隙間を設け、そこから漏れる光は別の配線層で遮光されるようにしてもよい。また、図６に示されるように、遮光膜を最小限のサイズとし、入射角に応じた最適な射出瞳補正を加えるようにしても良い。例えば、図６Ａの場合、当該画素の入射光の入射角は０度であるので、遮光膜１２２（各配線層）は、画素の中心部付近を遮光するように、画素中心付近に配置される。また、図６Ｂの場合、当該画素には、斜め方向から光が入射するので、オンチップレンズ、カラーフィルタ、および遮光膜１２２の各配線層が、それぞれ、入射光の入射角に応じた位置に配置される。
【００６２】
このようにすることにより、遮光面積（遮光膜１２２とする配線層の面積）を低減することができる。したがって、プロセス的な遮光膜削れ（例えばCMPによるディッシング）の発生を抑制することができる。
【００６３】
カラーフィルタは、図７に示されるように、赤（R）、青（B）、赤（R）横の緑（Gr）、および、青（B）横の緑（Gb）がベイヤ配列のパターンで並べられる。各色のフィルタは、互いに異なる画素に対応する。つまり、図７の例の場合、Gb、B、R、およびGrの各フィルタを透過した光は、主に、互いに異なる画素のフォト・ダイオードに入射される。ただし、上述したように入射光は、周辺画素にも入射するので、混色が発生する。
【００６４】
このように各色の配列によって、周辺画素の色は、当該画素の色毎に異なる。つまり、当該画素の色毎に各色の混色量は異なる。したがって、混色検出画素１２１は、R、B、R横のG（Gr）、およびB横のG（Gb）のそれぞれに設けられる。
【００６５】
図８の例において、混色検出画素１２１−１は、Rの画素における混色量を検出するものである。また、混色検出画素１２１−２は、Grの画素における混色量を検出するものである。さらに、混色検出画素１２１−３は、Gbの画素における混色量を検出するものである。また、混色検出画素１２１−４は、Bの画素における混色量を検出するものである。
【００６６】
当該画素には、任意の方向の周辺画素から光が進入する。つまり、混色は、任意の方向（上下左右斜め等）の周辺画素によって発生する。したがって、各混色検出画素は、図９に示されるように、互いに連続しないように、離散的な位置に配置される。
【００６７】
混色検出画素は、当該画素の入射光を遮光膜によって遮る。したがって、混色検出画素から、その周辺の画素への混色（光の進入）は、基本的に無い（無視できるほど少ない）。したがって、例えば、図１０に示されるように、複数の混色検出画素の位置を連続させると、混色検出画素同士の間で混色は略発生しない。したがって、このような配置の混色検出画素において検出される混色量は、全方向の周辺画素より光が侵入する通常画素の混色量と等しくならない可能性が高い。すなわち、このような配置では、混色検出画素は、正しい混色量を検出することができなくなる恐れがある。そこで、図９に示されるように、各混色検出画素が互いの隣接画素とならないように、互いに離れた位置に設けられる。
【００６８】
なお、斜め方向の混色が十分に少ない場合、図１１に示される例のように、複数の混色検出画素を斜め方向に連続させるようにしてもよい。なお、斜め方向に限らず、このように、混色量の検出に影響を与えない場合であれば、複数の混色検出画素を連続する位置に配置することもできる。
【００６９】
以上のように、混色検出画素を有効画素領域内に設けることにより、より正確に混色量を求めることができる。また、色毎に混色検出画素を設けることにより、より正確に混色量を求めることができる。さらに、混色検出画素において、遮光層を設けることにより、混色量をより容易に求めることができる。また、その遮光層は、配線層により形成したり、フォト・ダイオード状にメタル層を設けたりする等、容易な方法で実現することができる。さらに、このような実現方法により、入射光の光量や入射角等に応じて遮光層を適切化することができ、より適切に遮光を行うことができる。
【００７０】
［信号補正］
以上のようなカラーフィルタ搭載撮像素子１０３により得られた画像信号（撮像素子信号）は、図１２に示されるように補正される。つまり、通常画素の画素値と混色検出画素１２１の画素値は、それぞれ、クランプ部１０５において、OPB領域において検出された黒レベルが除去される。次に、混色減算部１０６において、通常画素の画素値から混色検出画素１２１の画素値（混色量）が減算される。これにより、通常画素の画素値は、当該画素の入射光のみに対応する正しい画素値となる。これに対して混色検出画素１２１には光が入射されないので、混色検出画素１２１の画素値は、通常画素の画素値と同等の正しい画素値にはならない。そこで、欠陥補正部１０７は、混色検出画素１２１を欠陥画素とし、画素値を補正する。
【００７１】
なお、実際には、混色検出画素の画素値は、通常画素の実際の混色量と異なる場合が考えられる。したがって、例えば、以下に説明するように、複数の実際の混色検出画素の画素値を用いて、通常画素の位置の混色量を推定し、その推定値を通常画素より減算するようにしてもよい。
【００７２】
OPB領域における黒レベルの検出、および、クランプ部１０５による黒レベルの減算方法は、従来と同様である。
【００７３】
［混色減算部］
図１３は、図１の混色減算部１０６の主な構成例を示すブロック図である。
【００７４】
図１３に示されるように、混色減算部１０６は、制御部１３１、記憶部１３２、混色検出画素特定部１３３、混色量算出部１３４、および減算部１３５を有する。
【００７５】
制御部１３１は、処理対象である当該画素が混色検出画素１２１であるか否かを判定する。制御部１３１は、混色検出画素１２１の位置を予め把握している。当該画素が混色検出画素１２１であると判定された場合、制御部１３１は、その当該画素の画素値を記憶部１３２に供給し、記憶させる。また、当該画素が混色検出画素１２１でないと判定された場合、制御部１３１は、混色検出画素特定部１３３に、混色量減算に使用する混色検出画素１２１を特定させる。
【００７６】
記憶部１３２は、制御部１３１から供給される混色検出画素の画素値を記憶する。記憶部１３２は、所定のタイミングにおいて、若しくは、外部からの要求に基づいて、記憶している画素値を混色検出画素特定部１３３に供給する。
【００７７】
混色検出画素特定部１３３は、当該画素の混色量減算に用いる混色検出画素１２１を特定する。混色検出画素特定部１３３は、当該画素周辺の、できるだけ当該画素に近い混色検出画素１２１を、混色量減算に用いる混色検出画素１２１として優先的に選択する。混色検出画素特定部１３３は、特定した混色検出画素１２１の画素値を記憶部１３２から取得し、混色量算出部１３４に供給する。
【００７８】
混色量算出部１３４は、混色検出画素特定部１３３により特定された混色検出画素１２１の画素値を用いて、当該画素の混色量を算出する。混色量算出部１３４は、算出した混色量を減算部１３５に供給する。
【００７９】
減算部１３５は、当該画素の画素値から、混色量算出部１３４から供給された混色量を減算する。減算部１３５は、混色量を減算した当該画素の画素値を欠陥補正部１０７に供給する。
【００８０】
［混色量算出］
次に、混色量算出部１３４による混色量の算出方法について説明する。混色検出画素特定部１３３は、当該画素に対して、その周辺の混色検出画素を複数選択する。混色量算出部１３４は、その複数の混色検出画素を用いて、当該画素の混色量を算出する。
【００８１】
例えば図１４に示されるように、混色量算出部１３４が、混色検出画素１４１および混色検出画素１４２（いずれも青色（Ｂ）に対応する混色検出画素）において検出された混色量を用いて青色（Ｂ）の当該画素（通常画素）の混色量を算出するとする。なお、混色検出画素１４１において検出された光量、すなわち、混色量をＡとする。また、混色検出画素１４２において検出された光量、すなわち、混色量をＢとする。この場合、混色量算出部１３４は、混色量Ａおよび混色量Ｂを、当該画素から混色検出画素１４１までの距離、および、当該画素から混色検出画素１４２までの距離に応じて重み付け加算することにより求める。
【００８２】
図１４の例の場合、混色検出画素１４１と混色検出画素１４２の間には、その２画素間を３等分する２つの青色（Ｂ）の通常画素が存在する。この２つのうち、混色量Ａの混色検出画素１４１に近い青色画素（Ｂｌｕｅ１）１４３を当該画素とする場合、その混色量（Ｂｌｕｅ１混色成分）は、以下の式（１）のように求めることができる。
【００８３】
Ｂｌｕｅ１混色成分＝（２×Ａ）＋（１×Ｂ）／（２＋１） ・・・（１）
【００８４】
また、図１４の例において、混色量Ｂの混色検出画素１４２に近い方の青色画素（Ｂｌｕｅ２）１４４を当該画素とする場合、その混色量（Ｂｌｕｅ２混色成分）は、以下の式（２）のように求めることができる。
【００８５】
Ｂｌｕｅ２混色成分＝（１×Ａ）＋（２×Ｂ）／（１＋２） ・・・（２）
【００８６】
例えば、図１５の例の枠１５０内の青色画素１５２および青色画素１５３の混色量を求めるとする。図１５に示されるように、青色画素１５２および青色画素１５３は、青色の混色検出画素１５１と青色の混色検出画素１５４との間に位置する。したがって、図１５のグラフに示されるように、青色画素１５２および青色画素１５３の混色量は、混色検出画素１５１の混色量Ａと、混色検出画素１５１の混色量Ｂとを用いた線形内挿により算出される。
【００８７】
また、例えば、青色画素１５５および青色画素１５６は、青色の混色検出画素１５４と青色の混色検出画素１５７との間に位置する。したがって、図１５のグラフに示されるように、青色画素１５５および青色画素１５６の混色量は、混色検出画素１５４の混色量Ｂと、混色検出画素１５７の混色量Ｃとを用いた線形内挿により算出される。
【００８８】
混色量の算出方法は、これに限らない。例えば、図１６に示される例のように、領域毎に区切り、各領域で一義の混色量を減算する方法であってもよい。この方法の場合、処理対象である当該領域の混色量は、図１６に示される例のように、最も近い混色検出画素の混色量が採用される。したがって、図１６のグラフに示されるように、枠１６０に示される範囲内の青色画素１６２の混色量は、青色の混色検出画素１６１の混色量Ａに設定される。また、枠１７０に示される範囲内の青色画素１７１および青色画素１７３の混色量は、青色の混色検出画素１７２の混色量Ｂに設定される。さらに、枠１８０に示される範囲内の青色画素１８１の混色量は、青色の混色検出画素１８２の混色量Ｃに設定される。この方法の方が、上述した重み付け加算を用いる方法よりも容易に当該領域の混色量を求めることができる。ただし、一般的には、混色量が急激に変化することは少なく、上述した重み付け加算を用いる方法の方がより正しい混色量を求めることができる。
【００８９】
なお、以上においては、１次元的な配置を例に説明したが、２次元的な配置において、上述したような演算が行われるようにしてもよい。つまり、この場合、２次元的な配置において（上下左右斜め等、あらゆる方向において）、当該画素により近い混色検出画素が、当該画素の混色量算出に用いられる。
【００９０】
例えば、図１７に示される例の場合、混色検出画素１８５乃至混色検出画素１８７は、青色の混色検出画素である。その他の青色画素の混色量は、この混色検出画素１８５乃至混色検出画素１８７の内、２次元的な配置において、当該画素に、より近い位置の２画素の混色量の重み付け加算により算出される。
【００９１】
例えば、２次元的な配置において、混色量を算出する当該画素までの距離がより短い混色検出画素（２画素）が混色検出画素１８５および混色検出画素１８６であるとする。この場合、当該画素の混色量は、混色検出画素１８５の混色量Ａと、混色検出画素１８６の混色量Ｂとを、それらの混色検出画素と当該画素との距離に応じて重み付け加算することにより算出される。
【００９２】
また、混色量算出に用いる混色検出画素の数は任意であり、例えば、３画素以上であってもよい。
【００９３】
なお、上述したように、混色量は色や周辺構造（周囲の色など）によって異なるため、混色量算出には、当該領域と同色の混色検出画素のみが利用される。例えば、青色画素の混色量を算出するためには、その青色画素により近い、青色の混色検出画素の混色量が用いられる。
【００９４】
［混色量補正］
減算部１３５は、図１８に示されるように、黒レベルを除去した通常画素の画素値１９１から、以上のように算出された混色量１９２を減算し、黒レベルと混色量が減算された画素値１９３を得る。
【００９５】
［欠陥補正］
欠陥補正部１０７は、混色検出画素を欠陥画素として補正する。混色検出画素は、混色量のみの出力となっているため、このまま出力すると正常な画を得ることができない。そこで、欠陥補正部１０７は、混色検出画素を欠陥画素とみなし、通常画素で得られる信号値に置き換える。欠陥補正の方法は任意である。例えば、図１９に示されるように、周辺の同色の通常画素の出力値（混色減算後）から推定する方法（例えば線形内挿）であってもよい。図１９の例の場合、青色の混色検出画素の画素値Ａが、周辺の青色画素の画素値１００と８０から、９０に補正されている。
【００９６】
以上のように混色量等の補正を行うことにより、撮像装置１００は、より正確に混色補正を行うことができる。
【００９７】
［撮像処理の流れ］
次に、撮像装置１００の各部により実行される処理について説明する。最初に、図２０のフローチャートを参照して、被写体を撮像する際に撮像装置１００により実行される撮像処理の流れの例を説明する。
【００９８】
撮像処理が開始されると、ステップＳ１０１において、カラーフィルタ搭載撮像素子１０３は、各画素の入射光を光電変換し、各画素信号を読み出す。ステップＳ１０２において、A/D変換部１０４は、ステップＳ１０１において得られた各画素信号をA/D変換する。
【００９９】
ステップＳ１０３において、クランプ部１０５は、各画素値から、OPB領域において検出された黒レベルを減算する。ステップＳ１０４において、混色減算部１０６は、画素値から混色量を減算する。ステップＳ１０５において、欠陥補正部１０７は、混色検出画素を含む欠陥画素の画素値の補正を行う。
【０１００】
ステップＳ１０６において、デモザイク部１０８は、デモザイク処理を行い、RAWデータをRGBデータに変換する。ステップＳ１０７において、リニアマトリクス部１０９は、入力デバイス特性に応じて色補正を行い、ステップＳ１０８において、ガンマ補正部１１０は、出力デバイス特性にガンマ補正を行う。
【０１０１】
ステップＳ１０９において、輝度クロマ信号生成部１１１は、RGBデータから輝度信号および色差信号（YCｒCｂデータ）を生成する。ステップＳ１１０において、インタフェース（I/F）部１１２は、ステップＳ１０９において生成された輝度信号および色差信号を外部の記録デバイスや表示デバイスに出力し、撮像処理を終了する。
【０１０２】
［混色減算処理の流れ］
次に、図２１のフローチャートを参照して、図２０のステップＳ１０４において実行される混色減算処理の流れの例を説明する。
【０１０３】
混色減算処理が開始されると、制御部１３１は、ステップＳ１３１において、処理対象の当該画素が混色検出画素であるか否かを判定する。混色検出画素であると判定した場合、制御部１３１は、処理をステップＳ１３２に進める。ステップＳ１３２において、記憶部１３２は、その混色検出画素の画素値を記憶し、処理をステップＳ１３７に進める。
【０１０４】
また、ステップＳ１３１において、当該画素が混色検出画素で無いと判定した場合、制御部１３１は、処理をステップＳ１３３に進める。
【０１０５】
ステップＳ１３３において、混色検出画素特定部１３３は、当該画素の混色量を算出するのに用いる混色検出画素を、所定の方法に従って特定する。例えば、混色検出画素特定部１３３は、当該画素により近い所定数の混色検出画素を、当該画素の混色量を算出するのに用いる混色検出画素として特定する。ステップＳ１３４において、混色検出画素特定部１３３は、ステップＳ１３３において特定した混色検出画素の画素値を記憶部１３２から取得する。
【０１０６】
ステップＳ１３５において、混色量算出部１３４は、ステップＳ１３４において取得された混色検出画素の画素値を用いて、当該画素の混色量を算出する。ステップＳ１３６において、減算部１３５は、処理対象である当該画素（注目画素）の画素値から、ステップＳ１３５において算出された混色量を減算する。混色量を減算すると、減算部１３５は、処理をステップＳ１３７に進める。
【０１０７】
ステップＳ１３７において、制御部１３１は、未処理の画素が存在するか否かを判定する。混色量を減算していない画素がまだ存在すると判定した場合、処理をステップＳ１３１に戻し、それ以降の処理を繰り返す。また、ステップＳ１３７において、全ての通常画素から混色量を減算したと判定した場合、制御部１３１は、混色減算処理を終了し、処理を図２０に戻す。
【０１０８】
以上のように各処理を行うことにより、撮像装置１００は、より正確に混色補正を行うことができる。特に、光量、光の色温度、入射角、被写体などの全ての撮像条件に応じた最適な混色量を補正することができる。また、実デバイス内に混色検出画素を設けるため、より正確な混色補正が可能となり、誤補正による偽色発生を抑制することが出来る。また、混色は、S/N比や色再現性悪化の要因となっているが、本技術を適用することにより混色が改善され、S/N比の向上を実現することができる。
【０１０９】
また、混色改善により解像度も向上させることができる。これまでは混色により、隣接画素間で光子や電子が行き来することでボケの原因となっていたが、この部分を補正することができるため、ボケがなくなり、より解像感の高い出力を得ることが出来る。さらに、適用可能範囲も広く、ベイヤ配列に限らず、クリアビットや縦型分光構造など多くのデバイスの混色改善に有用である。
【０１１０】
＜２．第２の実施の形態＞
［撮像装置の構成］
なお、黒レベルの減算と混色補正を同時に行うようにしてもよい。図２２は、本技術を適用した撮像装置の構成例を示す図である。図２２に示される撮像装置２００は、基本的に、図１の撮像装置１００と同様の装置であり、同様の構成を有し、同様の処理を行う。
【０１１１】
ただし、撮像装置２００は、撮像装置１００のクランプ部１０５および混色減算部１０６の代わりに、混色・黒レベル減算部２０５を有する。
【０１１２】
混色・黒レベル減算部２０５は、A/D変換された画像データに対して、混色量と黒レベルの減算を一度に行う。つまり、混色・黒レベル減算部２０５は、図２３に示されるように、黒レベルを除去する前の状態において、通常画素の画素値から混色検出画素の画素値を減算する。混色検出画素は、遮光されているため本来は黒レベルとなる。そこに隣接画素からの混色が加わり、黒レベル＋混色の合計値が撮像素子から出力される。つまり、この値を通常画素から差し引くことで、本来得たい入射光信号のみを得ることができる。
【０１１３】
つまり、第１の実施の形態の場合、有効画素外のOPB領域を使用して黒レベルが検出されるが、本実施の形態の場合、センサ内に複数配置された混色検出画素において混色量だけでなく黒レベルの検出も行われる。そのため、本実施の形態の場合、OPB領域が不要になり、カラーフィルタ搭載撮像素子のチップサイズを低減させることができ、コストを低減させることができる。
【０１１４】
なお、図２４に示すように暗時出力（暗電流）を含む黒レベルは製造バラツキなどにより、必ずしもセンサ内で均一ではない。この手法の場合、混色同様にエリア別に黒レベルを求めることになるため暗電流シェーディングも同時に補正することができる。
【０１１５】
なお、第１の実施の形態の場合と同様に、必ずしも、混色検出画素の画素値が、通常画素の実際の混色量と完全に一致するとは限らない。そこで、第１の実施の形態の場合と同様に、複数の混色検出画素の画素値を用いて、通常画素の位置に相当する混色検出画素の画素値（黒レベル＋混色量）を推定し、その推定値を通常画素の画素値より減算するようにすることもできる。
【０１１６】
［撮像処理の流れ］
この場合の撮像処理の流れの例を図２５のフローチャートを参照して説明する。図２５のフローチャートに示されるように、この場合も、図２０のフローチャートを参照して説明した場合と、基本的に同様の処理が行われる。
【０１１７】
つまり、ステップＳ２０１、ステップＳ２０２、ステップＳ２０４乃至ステップＳ２０９の各処理は、図２０のステップＳ１０１、ステップＳ１０２、ステップＳ１０５乃至ステップＳ１１０の各処理と同様に実行される。
【０１１８】
ただし、図２０のステップＳ１０３およびステップＳ１０４の処理の代わりに、図２５の場合、ステップＳ２０３の処理が行われる。ステップＳ２０３において、混色・黒レベル減算部２０５は、混色・黒レベル減算処理を行う。
【０１１９】
［混色・黒レベル減算処理の流れ］
次に、図２６のフローチャートを参照して、図２５のステップＳ２０３において実行される混色・黒レベル減算処理の流れの例を説明する。
【０１２０】
この混色・黒レベル減算処理の流れは、混色量とともに黒レベルを減算すること以外、基本的に、図２１のフローチャートを参照して説明した混色減算処理の流れと同様である。以下に、図２１の例の混色減算処理と異なる処理について説明する。
【０１２１】
ステップＳ２２３において、混色・黒レベル減算部２０５は、混色・黒レベル算出に用いる混色検出画素を特定する。また、ステップＳ２２５において、混色・黒レベル減算部２０５は、ステップＳ２２４において取得された混色検出画素の画素値を用いて、処理対象である当該画素の混色・黒レベルを算出する。
【０１２２】
ステップＳ２２６において、混色・黒レベル減算部２０５は、処理対象である当該画素（注目画素）の画素値から、混色・黒レベルを減算する。
【０１２３】
以上のように各処理を実行することにより、撮像装置２００は、撮像装置１００と同様に、より正確に混色補正を行うことができる。
【０１２４】
＜３．第３の実施の形態＞
［応用例１］
混色量の推定方法として、一度、混色率を算出した上で混色量に戻す方法も考えられる。撮像した被写体によっては、例えば、混色検出画素と、補正対象画素とで明度が異なる場合が考えられる。混色量は光量に応じて変化するため、この場合、混色検出画素と補正対象画素とで混色量が大きく異なる可能性がある。例えば、明部で求めた混色量を、暗部の信号値から差し引くと過剰補正になってしまう（光量、信号が多いほど混色量も増大するため）。このような現象を抑制するために混色量ではなく、まず混色率を求めるようにしてもよい。
【０１２５】
図２７は、その場合の、混色減算部１０６の主な構成例を示すブロック図である。図２７に示されるように、この場合の混色減算部１０６は、基本的に図１３の例の場合と同様の構成を有するが、混色量算出部１３４の代わりに、混色率算出部３０４を有し、減算部１３５の代わりに乗算部３０５を有する。
【０１２６】
混色率算出部３０４は、処理対象である当該画素の混色量ではなく、画素値全体に対する混色成分の割合を示す混色率を算出する。乗算部３０５は、その混色率に対応する入射光の信号割合を、処理対象である当該画素の画素値に乗算する。
【０１２７】
この場合、混色の補正（減算）は、例えば図２８の例のように行われる。これまでと異なるのは、混色検出画素の隣接画素もしくは近隣画素（すなわち、周辺画素）の出力値も演算に用いられる点である。まず、クランプ部１０５からの出力において、混色を補正する処理対象である当該画素（通常画素）、混色の補正に用いられる混色検出画素、およびその混色検出画素の周辺の画素（混色検出近隣画素）の各画素値が、以下のような値であるとする。
【０１２８】
混色補正したい通常画素の画素値：５０
混色検出画素の画素値 ：３０
混色検出画素の近隣画素の画素値：１００
【０１２９】
なお、混色検出近隣画素は、混色補正したい通常画素よりも、混色検出画素の近くに位置するものとする。
【０１３０】
ここで、混色検出近隣画素の画素値が「１００」であることから、混色検出画素も遮光されていなければ「１００」の画素値が得られたと推定される。つまり、総信号値１００の内訳は、混色量「３０」に対して、入射光信号が「７０」であることが分かる。つまり、混色率は総信号値の３０％である（入射光信号率は７０％）。そこで、混色減算部１０６は、これらの各画素値に、混色率に対応する入射光の信号割合である７０％を乗算する。
【０１３１】
混色補正したい通常画素の画素値：５０×０．７＝３５
混色検出画素の画素値 ：３０×０．７＝２１
混色検出画素の近隣画素の画素値：１００×０．７＝７０
【０１３２】
欠陥補正部１０７は、さらに、混色検出画素を欠陥補正（近隣画素値の値などで置き換える）する。
【０１３３】
混色補正したい通常画素の出力値：３５
混色検出画素：７０
混色検出画素の近隣画素：７０
【０１３４】
これで所望の混色のない信号値を得ることが出来る。なお、混色率の場合も、上述した混色量の場合と同様に、図１４乃至図１７を参照して説明したような、推定方法を適用することができる。
【０１３５】
［混色減算処理の流れ］
次に、図２９のフローチャートを参照して、この場合の混色減算処理の流れの例を説明する。
【０１３６】
この混色減算処理の流れは、混色量の代わりに混色率を用いること以外、基本的に、図２１のフローチャートを参照して説明した混色減算処理の流れと同様である。以下に、図２１の例の混色減算処理と異なる処理について説明する。
【０１３７】
ステップＳ３０４において、混色検出画素特定部１３３は、ステップＳ３０３において特定した混色検出画素の画素値を取得する。混色検出画素特定部１３３は、さらに、ステップＳ３０３において特定した混色検出画素の近隣画素の画素値を取得する。
【０１３８】
ステップＳ３０５において、混色率算出部３０４は、ステップＳ３０４において取得された混色検出画素の画素値、並びに、混色検出画素の近隣画素の画素値を用いて、混色率を算出する。
【０１３９】
ステップＳ３０６において、乗算部３０５は、処理対象である当該画素（注目画素）の画素値に、ステップＳ３０５において算出された混色率に対応する入射光の信号割合を乗算する。
【０１４０】
以上のように各処理を実行することにより、混色減算部１０６は、撮像装置１００の場合と同様に、より正確に混色を減算することができる。
【０１４１】
［応用例２］
例えば、混色検出画素周辺が飽和している場合、上述した方法では、混色量や混色率を正確に求めることができない恐れがある。例えば、混色率は入射光信号と混色量を含む総信号値に対して、混色量が何％であるかを算出する必要があるが、飽和光量以上になると、総信号量が一定値（飽和）になるのに対して、遮光されている混色検出画素の出力は光量に応じて上下してしまう恐れがある。この値を飽和していない他の画素で適用すると、誤った混色補正になる可能性が高い。
【０１４２】
例えば、図３０に示される例の場合、左に示される飽和以下の光量の画素の場合、混色検出画素の画素値と混色検出近隣画素の画素値との比が混色率に相当する。これに対して、図３０の右に示される飽和超光量の画素の場合、混色検出画素の画素値と混色検出近隣画素の画素値との比が混色率に相当しない。つまり、正しい混色率を求めることが困難になる場合が考えられる。
【０１４３】
そこで、混色検出画素の周辺画素が飽和している場合、該当混色検出画素の値を使用せず、周辺の飽和していない混色検出画素の値を使って混色率（混色量）を求めるようにしてもよい。
【０１４４】
図３１に、より具体的な例を示す。図３１の例の場合、混色検出画素Ｂ周辺が飽和している。図３１内の注目画素３３１を補正する場合、例えば混色検出画素Ｂと混色検出画素Ｃとの混色量、もしくは混色率を距離に応じてブレンドする方法が考えられる。しかしながら、混色検出画素Ｂの周辺は飽和しているため、前述したように正しい混色量、もしくは混色率を求めることができない可能性がある。そこで、このような場合、混色検出画素Ｂは使用せず、混色検出画素Ａと混色検出画素Ｃとを使用するようにしてもよい。これにより、誤補正の発生を抑止することができる。
【０１４５】
［混色検出画素特定処理の流れ］
図３２のフローチャートを参照して、この場合の混色検出画素特定処理の流れの例を説明する。この混色検出画素特定処理は、例えば、図２１のステップＳ１３３において実行される処理である。
【０１４６】
混色検出画素特定処理が開始されると、混色検出画素特定部１３３は、ステップＳ３３１において、混色量算出に用いる混色検出画素を特定する。ステップＳ３３２において、混色検出画素特定部１３３は、ステップＳ３３１において特定された混色検出画素の近隣画素の画素値を所定数（１つまたは複数）取得する。
【０１４７】
ステップＳ３３３において、混色検出画素特定部１３３は、１つ以上の近隣画素の画素値が飽和しているか否かを判定する。１つ以上の近隣画素の画素値が飽和していると判定された場合、処理をステップＳ３３４に進める。
【０１４８】
ステップＳ３３４において、混色検出画素特定部１３３は、混色量算出に用いる混色検出画素を、他の混色検出画素に更新する。すなわち、近隣画素が飽和している混色検出画素を避ける。ステップＳ３３４の処理が終了すると、混色検出画素特定部１３３は、処理をステップＳ３３５に進める。また、ステップＳ３３３において、近隣画素の画素値が１つも飽和していないと判定された場合、混色検出画素特定部１３３は、処理をステップＳ３３５に進める。
【０１４９】
ステップＳ３３５において、混色検出画素特定部１３３は、未処理の、混色量算出に用いる混色検出画素が存在するか否かを判定する。ステップＳ３３１において特定された、混色量算出に用いる混色検出画素の中で、近隣画素の画素値を確認していない未処理の画素が存在すると判定された場合、混色検出画素特定部１３３は、処理をステップＳ３３２に戻し、それ以降の処理を繰り返す。
【０１５０】
また、ステップＳ３３５において、ステップＳ３３１において特定された、混色量算出に用いる混色検出画素の近隣画素を全て確認したと判定された場合、混色検出画素特定部１３３は、処理をステップＳ３３６に進める。
【０１５１】
ステップＳ３３６において、混色検出画素特定部１３３は、以上の処理により、絞りこまれた混色検出画素の候補を、混色量算出に用いる混色検出画素に決定し、混色検出画素特定処理を終了する。
【０１５２】
以上のように、混色量算出に用いる混色検出画素を、その近隣画素の画素値が飽和しているか否かによって取捨選択することにより、混色減算部１０６は、より正確に混色量（混色率）を求めることができる。
【０１５３】
なお、Si内の欠陥や、転送不良など多くの要因により、撮像素子に白点（出力が浮く）や、黒点（出力が下がる）などの欠陥が含まれることがある。混色検出画素にも同様に、これら欠陥が含まれることがある。欠陥が含まれると、誤った混色量を使用することになるため防ぐ必要がある。このため、混色検出画素が欠陥か否かを判別して、欠陥だった場合はその画素を使用しない処理を施すことも考えられる。例えば図３１において、混色検出画素Ｂが欠陥だった場合は、他の混色検出画素Ａ若しくはＣを用いて混色率、混色量を求めるようにしてもよい。
【０１５４】
欠陥か否かは、一般的な欠陥補正の際におこなわれる手法で求めることができる。例えば複数の混色検出画素の値から、飛び値がないかを判別する方法が考えられる。より具体的には、例えば、図３１の混色検出画素ＡおよびＣの値に対して、その間にある混色検出画素Ｂの画素値が大きく異なる（例えば２倍以上）場合、混色検出画素Ｂが欠陥画素として認定され、混色量（混色率）の算出に用いられないようにしてもよい。
【０１５５】
なお、当該混色検出画素の近隣画素の画素値が飽和していると判定された場合、若しくは、当該混色検出画素が欠陥画素であると判定された場合の対処方法は上述した以外であってもよい。つまり、以上においては、このような場合の対処として、混色量算出に用いる混色検出画素を、当該混色検出画素から他の混色検出画素に変える（更新する）ように説明したが、このような場合の対処方法はこれ以外であってもよい。例えば、当該混色検出画素を混色量算出に用いることを禁止するようにしてもよい。
【０１５６】
例えば、混色量算出に複数の混色検出画素を用いるとする。その内の１つにおいて、上述したように、近隣画素において光量の飽和が発生したり、欠陥画素判定がなされた場合、その混色検出画素の使用を禁止するのみとし、他の混色検出画素を新たに使用しないようにしてもよい。つまり、この場合、混色量算出に用いられる混色検出画素数が低減する。
【０１５７】
［応用例３］
また、例えば図３３に示される画素３５１のように、遮光されている混色検出画素の隣接画素は、一般的に、遮光画素からの混色が起きないため、他の画素よりも混色量が少なくなる。したがって、この画素に対して他の画素と同様の混色量を減算すると過補正になる恐れがある。
【０１５８】
そこで、混色検出画素の隣接画素（上下左右斜め）に関しては、混色補正量を低減するか（例えば、混色検出画素から求めた混色率や混色量に対してさらに0．8倍するなど）、これらを欠陥画素と見なして欠陥補正で信号値を作り直すようにしてもよい。
【０１５９】
［混色減算処理の流れ］
図３４のフローチャートを参照して、混色検出画素の隣接画素の混色補正量を低減する場合の混色減算処理の流れの例を説明する。
【０１６０】
この場合、ステップＳ３５１乃至ステップＳ３５５、並びに、ステップＳ３５８およびステップＳ３５９の各処理は、図２１のステップＳ１３１乃至ステップＳ１３７の各処理と同様に実行される。
【０１６１】
図３４の例の場合、さらに、ステップＳ３５６およびステップＳ３５７の処理が行われる。すなわち、ステップＳ３５６において、混色量算出部１３４は、処理対象である当該画素が混色検出画素に隣接する画素であるか否かを判定する。当該画素が、混色検出画素に隣接する（つまり、混色検出画素に対して、混色検出画素が通常画素であった場合、その画素からの混色が発生する位置に存在する）と判定された場合、混色量算出部１３４は、処理をステップＳ３５７に進める。ステップＳ３５７において、混色量算出部１３４は、ステップＳ３５５において算出した混色量をさらに補正する（例えば、所定の値（例えば0.8等）を乗算する）。
【０１６２】
ステップＳ３５７の処理を終了すると、混色量算出部１３４は、処理をステップＳ３５８に進める。また、ステップＳ３５６において、処理対象である当該画素が混色検出画素に隣接する画素でないと判定された場合、混色量算出部１３４は、処理をステップＳ３５８に進める。
【０１６３】
以上のようにすることにより、混色減算部１０６は、より正確に混色量（混色率）を求めることができ、より正確に混色補正を行うことができる。
【０１６４】
なお、欠陥補正の手法は、混色検出画素と同様の手法で行うことができる。
【０１６５】
［応用例４］
以上においては、カラーフィルタの色毎に混色検出画素を設け、全色を補正するように説明した。しかしながら、混色検出画素の数が膨大になってくると、欠陥補正対象の画素が増大する恐れがある。
【０１６６】
欠陥補正は、周囲の正常画素の値から推定をおこなうため、この推定値に誤りが発生すれば、偽色や解像感低下の恐れがある。そこで、この推定値の誤りの発生を極力抑制し、さらに、混色補正による画質改善を目的とする場合、例えば特定の色のみに混色検出画素を設け、特定の色のみにおいて、混色量の補正を行うことも考えられる。
【０１６７】
例えば、開発中のセンサにおいて、Ｒｅｄ画素への混色量が他と比べて多い傾向があることが判明した場合、Ｒｅｄ画素のみに混色検出画素を設け、Ｒｅｄのみに混色補正を行うようにしてもよい。こうすることで、Ｇｒｅｅｎ、Ｂｌｕｅには混色検出画素は必要なく、欠陥補正もＲｅｄの混色検出画素のみとなる。
【０１６８】
＜４．第４の実施の形態＞
［縦型分光構造］
なお、本技術は、遮光画素を設けることで混色量を補正することができればよく、どのような構造の画素にも適用することができる。例えば、本技術は、カラーフィルタを搭載しない撮像素子にも適用することができる。例えば、特開２０１１−２９４５３号公報に記載の方法のように同一画素内のフォト・ダイオードを縦方向の３段構成とし、同一画素内から複数の色信号を得る縦型分光構造の画素がある。この縦型分光構造の画素の場合、各フォト・ダイオードのみで各色を識別することができる。また、有機光電変換膜を用いて色信号を得るものも存在する。本技術は、このような縦型分光構造の画素を有する撮像素子にも、上述したカラーフィルタを用いる撮像素子の場合と同様に適用することができる。
【０１６９】
以下に、縦型分光構造の撮像素子を用いる場合について説明する。
【０１７０】
［撮像装置］
図３５は、この場合の撮像装置の主な構成例を示すブロック図である。図３５にしめされる撮像装置４００は、基本的に図１の撮像装置１００と同様の装置であり、撮像装置１００と同様の構成を有し、同様の処理を行う。ただし、撮像装置４００は、カラーフィルタ搭載撮像素子１０３の代わりに、カラーフィルタを搭載しない撮像素子４０３を有する。
【０１７１】
撮像素子４０３は、図３６に示される断面図のように、表面照射型で、かつ縦型分光が可能な固体撮像素子である。縦型分光構造は、例えば、特開２０１１−２９４５３号公報などに記載されている構造である。この構造においては、フォトダイオード（ＰＮ接合）が縦方向に３つ形成されている。上段で、Ｂｌｕｅ、中段でＧｒｅｅｎ、下段でＲｅｄを光電変換することで１画素から３色の色信号を得ることができる。
【０１７２】
例えば、図３６において、表面型ＰＤ３６は、青色（Ｂ）の光による信号電荷を生成するために半導体基板１４の光入射面からおよそ０．５μｍの領域に形成する。また、第１の埋め込み型ＰＤ２３は、緑色（Ｇ）の光による信号電荷を生成するために、半導体基板１４の光入射面からの深さがおよそ０．５μｍ〜１．５μｍの領域に形成する。また、第２の埋め込み型ＰＤ５７は、赤色（Ｒ）の光による信号電荷を生成するために、半導体基板１４の全体の厚みが例えば３μｍの場合は半導体基板１４の光入射面からの深さがおよそ１．５μｍ〜３μｍの領域に形成する。半導体基板１４の厚みが３μｍよりも厚い場合は、第２の埋め込み型ＰＤ５７を基板の深さ方向に広げることができる。
【０１７３】
このように、縦型分光が可能な撮像素子４０３は、半導体基板１４の光照射側にカラーフィルタ層を設ける必要がない。また、１画素内において、ＲＧＢの光を全て光電変換することができるので、１画素あたりの光の利用効率が、従来のカラーフィルタを用いて分光を行う画素よりも３倍高くなる。このため、感度の向上が図られる。
【０１７４】
撮像素子４０３の画素がこのような縦型分光構造の場合も、図３７に示されるように、上述した他の実施の形態で述べた方法と同様に混色検出画素が設けられる。ただし、縦型分光構造の場合、上述したように、１画素内においてRGBの光を全て光電変換することができる。つまり、混色検出画素も１画素においてRGBの各色について混色を検出することができる。
【０１７５】
より具体的に説明すると、図３８に示されるように、縦型分光構造の場合も、Si内で混色が発生する。配線層で遮光した混色検出画素（図３８中央）での出力は、Ｒ，Ｇ，Ｂともに隣接画素からのバルク混色のみとなる。これをこれまでの実施例で示したものと同じ手法で混色補正を行う。これまで説明した方法と異なる点は、１画素で複数画素（例えば図３６のようにＲ、Ｇ、Ｂ）の混色を判別可能である点が挙げられる(なお、読み出し構造の例などは特開２０１１−２９４５３号公報に記載されている)。
【０１７６】
なお、図３５の撮像装置４００においては、撮像素子４０３が縦型分光構造であり、各画素より各色のデータが得られるので、デモザイク部１０８は省略される。すなわち、欠陥補正部１０７の出力は、リニアマトリクス部１０９に供給される。
【０１７７】
［撮像処理の流れ］
この場合の撮像処理の流れの例を図３９のフローチャートを参照して説明する。この場合も撮像処理は、図２０の場合と基本的に同様に各処理が実行される。
【０１７８】
ただし、図３９の場合、ステップＳ４０１において、１画素から複数の色の画素信号が読み出される。したがって、この場合、ステップＳ１０６に対応するデモザイク処理は省略される。
【０１７９】
このように処理を行うことにより、撮像装置４００は、撮像装置１００の場合と同様に、より正確に混色補正を行うことを目的とする。
【０１８０】
なお、例えば、Greenで１つのフォト・ダイオードを用い、RedとBlueのみを縦型分光構造のフォト・ダイオードとすることもできる。その場合、デモザイク処理が必要になる。
【０１８１】
＜５．第５の実施の形態＞
［撮像装置］
なお、第４の実施の形態のように、カラーフィルタを搭載しない撮像素子４０３を用いる場合も、第２の実施の形態のように、黒レベルと混色量とを一括して補正するようにしてもよい。
【０１８２】
図４０は、その場合の撮像装置の主な構成例を示すブロック図である。図４０に示される撮像装置５００は、図３５の撮像装置４００と基本的に同様の装置であり、同様の構成を有するが、図２２の撮像装置２００のように、クランプ部１０５および混色減算部１０６の代わりに、混色・黒レベル減算部２０５を有する。
【０１８３】
つまり、撮像装置５００は、撮像装置２００と同様に、黒レベルと混色量とを一括して補正する。撮像装置２００と比較した場合、撮像装置５００は、カラーフィルタ搭載撮像素子１０３の代わりに撮像素子４０３を有し、デモザイク部１０８が省略されている。
【０１８４】
［撮像処理の流れ］
この場合の撮像処理の流れの例を、図４１のフローチャートを参照して説明する。この場合も撮像処理は、図２５の場合と基本的に同様に各処理が実行される。
【０１８５】
ただし、図４１の場合、ステップＳ５０１において、１画素から複数の色の画素信号が読み出される。したがって、この場合、ステップＳ２０５に対応するデモザイク処理は省略される。
【０１８６】
このように処理を行うことにより、撮像装置５００は、撮像装置２００の場合と同様に、より正確に混色補正を行うことを目的とする。
【０１８７】
＜６．第６の実施の形態＞
［撮像装置］
以上に説明した各撮像装置は、他の装置の一部として構成されるようにしてもよい。例えば、図４２に示されるような撮像装置の一部としてもよい。
【０１８８】
図４２は、本技術を適用した撮像装置の主な構成例を示すブロック図である。
【０１８９】
図４２に示されるように、撮像装置６００は、レンズ部６１１、CMOSセンサ６１２、A/D変換器６１３、操作部６１４、制御部６１５、画像処理部６１６、表示部６１７、コーデック処理部６１８、および記録部６１９を有する。
【０１９０】
レンズ部６１１は、被写体までの焦点を調整し、焦点が合った位置からの光を集光し、CMOSセンサ６１２に供給する。
【０１９１】
CMOSセンサ６１２は、上述で説明した構造を有する固体撮像素子であり、有効画素領域内に、混色検出画素が設けられている。
【０１９２】
A/D変換器６１３は、CMOSセンサ６１２から、所定のタイミングで供給された画素毎の電圧信号を、デジタルの画像信号（以下、適宜、画素信号ともいう）に変換し、所定のタイミングで順次、画像処理部６１６に供給する。
【０１９３】
操作部６１４は、例えば、ジョグダイヤル（商標）、キー、ボタン、またはタッチパネル等により構成され、ユーザによる操作入力を受け、その操作入力に対応する信号を制御部５１５に供給する。
【０１９４】
制御部６１５は、操作部６１４により入力されたユーザの操作入力に対応する信号に基づいて、レンズ部６１１、CMOSセンサ６１２、A/D変換器６１３、画像処理部６１６、表示部６１７、コーデック処理部６１８、および記録部６１９を制御する。
【０１９５】
画像処理部６１６は、A/D変換器６１３から供給された画像信号に対して、例えば、上述した混色補正や、黒レベル補正、ホワイトバランス調整、デモザイク処理、マトリックス処理、ガンマ補正、およびYC変換等の各種画像処理を施す。画像処理部６１６は、画像処理を施した画像信号を表示部６１７およびコーデック処理部６１８に供給する。
【０１９６】
表示部６１７は、例えば、液晶ディスプレイ等として構成され、画像処理部６１６からの画像信号に基づいて、被写体の画像を表示する。
【０１９７】
コーデック処理部６１８は、画像処理部６１６からの画像信号に対して、所定の方式の符号化処理を施し、符号化処理の結果得られた画像データを記録部６１９に供給する。
【０１９８】
記録部６１９は、コーデック処理部６１８からの画像データを記録する。記録部６１９に記録された画像データは、必要に応じて画像処理部６１６に読み出されることで、表示部６１７に供給され、対応する画像が表示される。
【０１９９】
なお、本技術を適用した固体撮像素子や画像処理部を備える撮像装置は、上述した構成に限らず、他の構成であってもよい。
【０２００】
以上に説明した各装置は、それぞれ、上述した以外の構成を含むようにしてももちろんよい。また、１つの装置としてだけでなく、複数の装置よりなるシステムとして構成されるようにしてもよい。
【０２０１】
＜７．第７の実施の形態＞
［パーソナルコンピュータ］
上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウェアにより実行させることもできる。この場合、例えば、図４３に示されるようなパーソナルコンピュータとして構成されるようにしてもよい。
【０２０２】
図４３において、パーソナルコンピュータ７００のCPU（Central Processing Unit）７０１は、ROM（Read Only Memory）７０２に記憶されているプログラムに従って各種の処理を実行する。また、CPU７０１は、記憶部７１３からRAM（Random Access Memory）７０３にロードされたプログラムに従って各種の処理を実行する。RAM７０３にはまた、CPU７０１が各種の処理を実行する上において必要なデータなども適宜記憶される。
【０２０３】
CPU７０１、ROM７０２、およびRAM７０３は、バス７０４を介して相互に接続されている。このバス７０４にはまた、入出力インタフェース７１０も接続されている。
【０２０４】
入出力インタフェース７１０には、キーボード、マウスなどよりなる入力部７１１が接続されている。入出力インタフェース７１０にはまた、CRT（Cathode Ray Tube）ディスプレイやLCD（Liquid Crystal Display）等のディスプレイ、並びにスピーカなどよりなる出力部７１２も接続されている。入出力インタフェース７１０にはさらに、フラッシュメモリ等SSD（Solid State Drive）やハードディスクなどよりなる記憶部７１３も接続されている。入出力インタフェース７１０にはまた、有線LAN（Local Area Network）や無線LANのインタフェースやモデムなどよりなる通信部７１４も接続されている。通信部７１４は、インターネットを含むネットワークを介しての通信処理を行う。
【０２０５】
入出力インタフェース７１０にはさらに、必要に応じてドライブ７１５が接続され、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア７２１がそのドライブ７１５に適宜装着される。そして、そのドライブ７１５を介してリムーバブルメディア７２１から読み出されたコンピュータプログラムが、必要に応じて記憶部７１３にインストールされる。
【０２０６】
上述した一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、ネットワークや記録媒体からインストールされる。
【０２０７】
この記録媒体は、例えば、図４３に示されるように、装置本体とは別に、ユーザにプログラムを配信するために配布される、プログラムが記録されているリムーバブルメディア７２１により構成される。このリムーバブルメディア７２１には、磁気ディスク（フレキシブルディスクを含む）や光ディスク（CD-ROMやDVDを含む）が含まれる。さらに、光磁気ディスク（MD（Mini Disc）を含む）や半導体メモリ等も含まれる。また、上述した記録媒体は、このようなリムーバブルメディア７２１だけでなく、装置本体に予め組み込まれた状態でユーザに配信される、プログラムが記録されているROM７０２や、記憶部７１３に含まれるハードディスクなどにより構成されるようにしてもよい。
【０２０８】
なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
【０２０９】
また、本明細書において、記録媒体に記録されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
【０２１０】
また、本明細書において、システムとは、複数のデバイス（装置）により構成される装置全体を表すものである。
【０２１１】
また、以上において、１つの装置（または処理部）として説明した構成が、複数の装置（または処理部）として構成されるようにしてもよい。逆に、以上において複数の装置（または処理部）として説明した構成が、まとめて１つの装置（または処理部）として構成されるようにしてもよい。また、各装置（または各処理部）の構成に上述した以外の構成が付加されるようにしてももちろんよい。さらに、システム全体としての構成や動作が実質的に同じであれば、ある装置（または処理部）の構成の一部が他の装置（または他の処理部）の構成に含まれるようにしてもよい。つまり、本開示の実施の形態は、上述した実施の形態に限定されるものではなく、本開示の要旨を逸脱しない範囲において種々の変更が可能である。
【０２１２】
なお、本技術は以下のような構成も取ることができる。
（１） 入射光を光電変換する光電変換素子を有する複数の通常画素を含む通常画素群と、
前記通常画素群の有効画素領域内において、周辺画素から入射される光を光電変換素子により検出する検出画素と
を備える撮像素子。
（２） 前記検出画素は、外部から前記検出画素に入射される入射光を遮光する遮光膜をさらに備える
前記（１）に記載の撮像素子。
（３） 前記遮光膜は、配線層により形成される
前記（２）に記載の撮像素子。
（４） 前記遮光膜は、複数の配線層により形成される
前記（３）に記載の撮像素子。
（５） 前記配線層のそれぞれには、互いに異なる位置に隙間が形成される
前記（４）に記載の撮像素子。
（６） 前記配線層のそれぞれは、入射光の入射角に応じて配置される
前記（４）または（５）に記載の撮像素子。
（７） 前記遮光膜は、前記光電変換素子上に設けられたメタルにより形成される
前記（２）乃至（６）のいずれかに記載の撮像素子。
（８） 前記検出画素を複数備える
前記（１）乃至（７）のいずれかに記載の撮像素子。
（９） 所定の波長の入射光を透過させるフィルタをさらに備え、
前記検出画素による前記周辺画素から入射される光の検出結果は、前記検出画素に設けられたフィルタと同じ波長の入射光を透過させるフィルタが設けられた通常画素の画素値の補正に用いられる
前記（８）に記載の撮像素子。
（１０） 前記検出画素は、互いに連続しない位置に設けられる
前記（８）または（９）に記載の撮像素子。
（１１） 入射光を光電変換する光電変換素子を有する複数の通常画素を含む通常画素群と、
前記通常画素群の有効画素領域内において、周辺画素から入射される光を光電変換素子により検出する検出画素と
を備える撮像素子と、
前記撮像素子の前記検出画素により検出された光の光量を用いて、前記通常画素の画素値から、前記通常画素の周辺画素から入射される光の光量を減算する減算部と
を備える撮像装置。
（１２） 前記減算部は、
前記光量の減算に用いる検出画素を選択する選択部と、
前記選択部により選択された前記検出画素の画素値を用いて、処理対象の通常画素の画素値に含まれる前記光量を算出する光量算出部と、
前記光量算出部により算出された前記光量を、処理対象の通常画素の画素値から減算する光量減算部と
を備える前記（１１）に記載の撮像装置。
（１３） 前記選択部は、複数の検出画素を選択し、
前記光量算出部は、前記選択部により選択された複数の検出画素と、処理対象の通常画素との位置関係に応じて、複数の前記検出画素の各画素値を重み付け加算し、前記光量を算出する
前記（１２）に記載の画像処理装置。
（１４） 前記光量算出部は、前記選択部により選択された検出画素の周辺画素の画素値が飽和している場合、前記光量の算出に用いる検出画素を他の検出画素に変えるか、若しくは、前記検出画素の使用を禁止する
前記（１２）または（１３）に記載の画像処理装置。
（１５） 前記光量算出部は、前記選択部により選択された検出画素が欠陥画素の場合、前記光量の算出に用いる検出画素を他の検出画素に変えるか、若しくは、前記検出画素の使用を禁止する
前記（１２）乃至（１４）のいずれかに記載の画像処理装置。
（１６） 前記光量算出部は、処理対象の通常画素が検出画素に隣接する場合、算出した光量を低減させるようにさらに補正する
前記（１２）乃至（１５）のいずれかに記載の画像処理装置。
（１７） 前記減算部は、前記通常画素の画素値から、前記光量とともに黒レベルも減算する
前記（１１）乃至（１６）のいずれかに記載の画像処理装置。
（１８） 前記減算部は、
前記光量の減算に用いる検出画素を選択する選択部と、
前記選択部により選択された前記検出画素の画素値を用いて、処理対象の通常画素の画素値に含まれる前記光量の割合を算出する割合算出部と、
前記割合算出部により算出された前記光量の割合に対応する、外部から前記処理対象の通常画素に入力された入射光の割合を、処理対象の通常画素の画素値に乗算する乗算部と
を備える前記（１１）乃至（１７）のいずれかに記載の撮像装置。
（１９） 前記撮像素子の前記通常画素および前記検出画素は、縦型分光構造を有する
前記（１１）乃至（１８）のいずれかに記載の画像処理装置。
（２０） 入射光を光電変換する光電変換素子を有する複数の通常画素を含む通常画素群と、
前記通常画素群の有効画素領域内において、周辺画素から入射される光を光電変換素子により検出する検出画素と
を備える撮像素子を有する撮像装置の撮像方法であって、
減算部が、前記撮像素子の前記検出画素により検出された光の光量を用いて、前記通常画素の画素値から、前記通常画素の周辺画素から入射される光の光量を減算する
撮像方法。
【符号の説明】
【０２１３】
１００ 撮像素子， １０３ カラーフィルタ搭載撮像素子， １０６ 混色減算部， １０７ 欠陥補正部， １２１ 混色検出画素， １２２ 遮光膜， １３３ 混色検出画素特定部， １３４ 混色量算出部， １３５ 減算部， ２００ 撮像装置， ２０５ 混色・黒レベル減算部， ３０４ 混色率算出部， ３０５ 乗算部， ４００ 撮像装置， ４０３ 撮像素子， ４１１ 混色検出画素， ４１２ 隣接画素， ４１３ 隣接画素， ５００ 撮像装置， ６００ 撮像装置
【特許請求の範囲】
【請求項１】
入射光を光電変換する光電変換素子を有する複数の通常画素を含む通常画素群と、
前記通常画素群の有効画素領域内において、周辺画素から入射される光を光電変換素子により検出する検出画素と
を備える撮像素子。
【請求項２】
前記検出画素は、外部から前記検出画素に入射される入射光を遮光する遮光膜をさらに備える
請求項１に記載の撮像素子。
【請求項３】
前記遮光膜は、配線層により形成される
請求項２に記載の撮像素子。
【請求項４】
前記遮光膜は、複数の配線層により形成される
請求項３に記載の撮像素子。
【請求項５】
前記配線層のそれぞれには、互いに異なる位置に隙間が形成される
請求項４に記載の撮像素子。
【請求項６】
前記配線層のそれぞれは、入射光の入射角に応じて配置される
請求項４に記載の撮像素子。
【請求項７】
前記遮光膜は、前記光電変換素子上に設けられたメタルにより形成される
請求項２に記載の撮像素子。
【請求項８】
前記検出画素を複数備える
請求項１に記載の撮像素子。
【請求項９】
所定の波長の入射光を透過させるフィルタをさらに備え、
前記検出画素による前記周辺画素から入射される光の検出結果は、前記検出画素に設けられたフィルタと同じ波長の入射光を透過させるフィルタが設けられた通常画素の画素値の補正に用いられる
請求項８に記載の撮像素子。
【請求項１０】
前記検出画素は、互いに連続しない位置に設けられる
請求項８に記載の撮像素子。
【請求項１１】
入射光を光電変換する光電変換素子を有する複数の通常画素を含む通常画素群と、
前記通常画素群の有効画素領域内において、周辺画素から入射される光を光電変換素子により検出する検出画素と
を備える撮像素子と、
前記撮像素子の前記検出画素により検出された光の光量を用いて、前記通常画素の画素値から、前記通常画素の周辺画素から入射される光の光量を減算する減算部と
を備える撮像装置。
【請求項１２】
前記減算部は、
前記光量の減算に用いる検出画素を選択する選択部と、
前記選択部により選択された前記検出画素の画素値を用いて、処理対象の通常画素の画素値に含まれる前記光量を算出する光量算出部と、
前記光量算出部により算出された前記光量を、処理対象の通常画素の画素値から減算する光量減算部と
を備える請求項１１に記載の撮像装置。
【請求項１３】
前記選択部は、複数の検出画素を選択し、
前記光量算出部は、前記選択部により選択された複数の検出画素と、処理対象の通常画素との位置関係に応じて、複数の前記検出画素の各画素値を重み付け加算し、前記光量を算出する
請求項１２に記載の画像処理装置。
【請求項１４】
前記光量算出部は、前記選択部により選択された検出画素の周辺画素の画素値が飽和している場合、前記光量の算出に用いる検出画素を他の検出画素に変えるか、若しくは、前記検出画素の使用を禁止する
請求項１２に記載の画像処理装置。
【請求項１５】
前記光量算出部は、前記選択部により選択された検出画素が欠陥画素の場合、前記光量の算出に用いる検出画素を他の検出画素に変えるか、若しくは、前記検出画素の使用を禁止する
請求項１２に記載の画像処理装置。
【請求項１６】
前記光量算出部は、処理対象の通常画素が検出画素に隣接する場合、算出した光量を低減させるようにさらに補正する
請求項１２に記載の画像処理装置。
【請求項１７】
前記減算部は、前記通常画素の画素値から、前記光量とともに黒レベルも減算する
請求項１１に記載の画像処理装置。
【請求項１８】
前記減算部は、
前記光量の減算に用いる検出画素を選択する選択部と、
前記選択部により選択された前記検出画素の画素値を用いて、処理対象の通常画素の画素値に含まれる前記光量の割合を算出する割合算出部と、
前記割合算出部により算出された前記光量の割合に対応する、外部から前記処理対象の通常画素に入力された入射光の割合を、処理対象の通常画素の画素値に乗算する乗算部と
を備える請求項１１に記載の撮像装置。
【請求項１９】
前記撮像素子の前記通常画素および前記検出画素は、縦型分光構造を有する
請求項１１に記載の画像処理装置。
【請求項２０】
入射光を光電変換する光電変換素子を有する複数の通常画素を含む通常画素群と、
前記通常画素群の有効画素領域内において、周辺画素から入射される光を光電変換素子により検出する検出画素と
を備える撮像素子を有する撮像装置の撮像方法であって、
減算部が、前記撮像素子の前記検出画素により検出された光の光量を用いて、前記通常画素の画素値から、前記通常画素の周辺画素から入射される光の光量を減算する
撮像方法。
【請求項１】
入射光を光電変換する光電変換素子を有する複数の通常画素を含む通常画素群と、
前記通常画素群の有効画素領域内において、周辺画素から入射される光を光電変換素子により検出する検出画素と
を備える撮像素子。
【請求項２】
前記検出画素は、外部から前記検出画素に入射される入射光を遮光する遮光膜をさらに備える
請求項１に記載の撮像素子。
【請求項３】
前記遮光膜は、配線層により形成される
請求項２に記載の撮像素子。
【請求項４】
前記遮光膜は、複数の配線層により形成される
請求項３に記載の撮像素子。
【請求項５】
前記配線層のそれぞれには、互いに異なる位置に隙間が形成される
請求項４に記載の撮像素子。
【請求項６】
前記配線層のそれぞれは、入射光の入射角に応じて配置される
請求項４に記載の撮像素子。
【請求項７】
前記遮光膜は、前記光電変換素子上に設けられたメタルにより形成される
請求項２に記載の撮像素子。
【請求項８】
前記検出画素を複数備える
請求項１に記載の撮像素子。
【請求項９】
所定の波長の入射光を透過させるフィルタをさらに備え、
前記検出画素による前記周辺画素から入射される光の検出結果は、前記検出画素に設けられたフィルタと同じ波長の入射光を透過させるフィルタが設けられた通常画素の画素値の補正に用いられる
請求項８に記載の撮像素子。
【請求項１０】
前記検出画素は、互いに連続しない位置に設けられる
請求項８に記載の撮像素子。
【請求項１１】
入射光を光電変換する光電変換素子を有する複数の通常画素を含む通常画素群と、
前記通常画素群の有効画素領域内において、周辺画素から入射される光を光電変換素子により検出する検出画素と
を備える撮像素子と、
前記撮像素子の前記検出画素により検出された光の光量を用いて、前記通常画素の画素値から、前記通常画素の周辺画素から入射される光の光量を減算する減算部と
を備える撮像装置。
【請求項１２】
前記減算部は、
前記光量の減算に用いる検出画素を選択する選択部と、
前記選択部により選択された前記検出画素の画素値を用いて、処理対象の通常画素の画素値に含まれる前記光量を算出する光量算出部と、
前記光量算出部により算出された前記光量を、処理対象の通常画素の画素値から減算する光量減算部と
を備える請求項１１に記載の撮像装置。
【請求項１３】
前記選択部は、複数の検出画素を選択し、
前記光量算出部は、前記選択部により選択された複数の検出画素と、処理対象の通常画素との位置関係に応じて、複数の前記検出画素の各画素値を重み付け加算し、前記光量を算出する
請求項１２に記載の画像処理装置。
【請求項１４】
前記光量算出部は、前記選択部により選択された検出画素の周辺画素の画素値が飽和している場合、前記光量の算出に用いる検出画素を他の検出画素に変えるか、若しくは、前記検出画素の使用を禁止する
請求項１２に記載の画像処理装置。
【請求項１５】
前記光量算出部は、前記選択部により選択された検出画素が欠陥画素の場合、前記光量の算出に用いる検出画素を他の検出画素に変えるか、若しくは、前記検出画素の使用を禁止する
請求項１２に記載の画像処理装置。
【請求項１６】
前記光量算出部は、処理対象の通常画素が検出画素に隣接する場合、算出した光量を低減させるようにさらに補正する
請求項１２に記載の画像処理装置。
【請求項１７】
前記減算部は、前記通常画素の画素値から、前記光量とともに黒レベルも減算する
請求項１１に記載の画像処理装置。
【請求項１８】
前記減算部は、
前記光量の減算に用いる検出画素を選択する選択部と、
前記選択部により選択された前記検出画素の画素値を用いて、処理対象の通常画素の画素値に含まれる前記光量の割合を算出する割合算出部と、
前記割合算出部により算出された前記光量の割合に対応する、外部から前記処理対象の通常画素に入力された入射光の割合を、処理対象の通常画素の画素値に乗算する乗算部と
を備える請求項１１に記載の撮像装置。
【請求項１９】
前記撮像素子の前記通常画素および前記検出画素は、縦型分光構造を有する
請求項１１に記載の画像処理装置。
【請求項２０】
入射光を光電変換する光電変換素子を有する複数の通常画素を含む通常画素群と、
前記通常画素群の有効画素領域内において、周辺画素から入射される光を光電変換素子により検出する検出画素と
を備える撮像素子を有する撮像装置の撮像方法であって、
減算部が、前記撮像素子の前記検出画素により検出された光の光量を用いて、前記通常画素の画素値から、前記通常画素の周辺画素から入射される光の光量を減算する
撮像方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【図２７】
【図２８】
【図２９】
【図３０】
【図３１】
【図３２】
【図３３】
【図３４】
【図３５】
【図３６】
【図３７】
【図３８】
【図３９】
【図４０】
【図４１】
【図４２】
【図４３】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【図２７】
【図２８】
【図２９】
【図３０】
【図３１】
【図３２】
【図３３】
【図３４】
【図３５】
【図３６】
【図３７】
【図３８】
【図３９】
【図４０】
【図４１】
【図４２】
【図４３】
【公開番号】特開２０１３−３４０８６（Ｐ２０１３−３４０８６Ａ）
【公開日】平成２５年２月１４日（２０１３．２．１４）
【国際特許分類】
【出願番号】特願２０１１−１６８９４６（Ｐ２０１１−１６８９４６）
【出願日】平成２３年８月２日（２０１１．８．２）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
【公開日】平成２５年２月１４日（２０１３．２．１４）
【国際特許分類】
【出願日】平成２３年８月２日（２０１１．８．２）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
[ Back to top ]