画像処理装置、画像処理方法、および電子機器
【課題】画質の劣化をより抑制する。
【解決手段】クロストーク補正部５２は、光を受光する複数の画素を有する撮像素子４４における隣接する画素からの光または電子の漏れにより発生するクロストークを補正する補正マトリックスを記憶しており、その補正マトリックスを、撮像素子４４から出力される画素ごとの画像信号に対して適用する演算を行う。さらに、クロストーク補正部５２は、撮像素子４４の受光面に光を集光させるレンズの開放値に応じて補正マトリックスを生成する。本発明は、例えば、撮像装置に適用できる。
【解決手段】クロストーク補正部５２は、光を受光する複数の画素を有する撮像素子４４における隣接する画素からの光または電子の漏れにより発生するクロストークを補正する補正マトリックスを記憶しており、その補正マトリックスを、撮像素子４４から出力される画素ごとの画像信号に対して適用する演算を行う。さらに、クロストーク補正部５２は、撮像素子４４の受光面に光を集光させるレンズの開放値に応じて補正マトリックスを生成する。本発明は、例えば、撮像装置に適用できる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、画像処理方法、および電子機器に関し、特に、画質の劣化をより抑制することができるようにした画像処理装置、画像処理方法、および電子機器に関する。
【背景技術】
【０００２】
従来、CMOS（Complementary Metal Oxide Semiconductor）イメージセンサーに代表される固体撮像素子に対し、画素サイズを縮小して、同一のイメージエリア内で画素数を多くする多画素化が常に要求されている。
【０００３】
図１を参照して、一般的な固体撮像素子の構成について説明する。
【０００４】
図１Ａには、固体撮像素子のカラーフィルタの例が示されており、図１Ｂには、表面照射型CMOSイメージセンサーの断面図が示されており、図１Ｃには、裏面照射型CMOSイメージセンサーの断面図が示されている。
【０００５】
図１Ａに示されているカラーフィルタ１１は、いわゆるベイヤー（Bayer）配列により、赤、青、および緑の色フィルタが配置されている。ベイヤー配列では、水平方向および垂直方向に多数個配列される画素に対し、１つ置きの水平方向の画素の行では、青Ｂと緑Ｇｂの色フィルタが、交互に画素セルに対向するように配される。そして、ベイヤー配列では、残りの１つ置きの水平方向の画素の行では、赤Ｒと緑Ｇｒの色フィルタが、交互に画素セルに対向するように配され、かつ、赤Ｒと青Ｂの色フィルタが配される画素が、垂直方向の画素の１列に含まれないように配される。
【０００６】
なお、以下適宜、赤Ｒの色フィルタが配置された画素を画素Rと称し、緑Ｇｂの色フィルタが配置された画素を画素Gbと称し、青Ｂの色フィルタが配置された画素を画素Bと称し、緑Ｇｒの色フィルタが配置された画素を画素Grと称する。
【０００７】
図１Ｂに示されている表面照射型CMOSイメージセンサー２１は、フォトダイオードを含むシリコン基板２２とＦＤ（Floating diffusion：フローティングディフュージョン）２３とに反射防止膜２４が成膜される。その反射防止膜２４に配線２５を有する配線層２６が積層された後、平坦化膜２７を介してカラーフィルタ２８が塗布された上にオンチップレンズ２９が配置されて構成される。
【０００８】
図１Ｃに示されている裏面照射型CMOSイメージセンサー３１は、フォトダイオードを含むシリコン基板３２に反射防止膜３３が成膜される。その反射防止膜３３に、クロストークを抑制するための遮光膜３４が成膜された後、平坦化膜３５を介してカラーフィルタ３６が塗布された上にオンチップレンズ３７が配置されて構成される。なお、裏面照射型CMOSイメージセンサー３１は、光が入射するオンチップレンズ３７側が裏面側とされ、表面側に配線層（図示せず）が配置されている。
【０００９】
裏面照射型CMOSイメージセンサー３１では、光の入射側に配線層が配置されていないので、配線層により光が欠損することなく、表面照射型CMOSイメージセンサー２１よりもシリコン基板３２に到達する受光量を増加させることができる。これにより、裏面照射型CMOSイメージセンサー３１では、高感度かつ低ノイズで高画質な画像を得ることができる。このような裏面照射型CMOSイメージセンサー３１は量産されており、カムコーダーやデジタルスチルカメラなどに搭載されている。
【００１０】
とろろで、固体撮像素子の多画素化を進めることにより、単一画素に入射される光のエネルギーの絶対量が減少するとともに、デバイス中を光が伝播する間に、隣接画素への光の漏れ（クロストーク）が発生してしまう。また、画素境界付近で光電変換する電子が増加することによっても、隣接画素への電子の漏れ（クロストーク）が発生してしまうため、総合的にクロストークが増大することになる。このようなクロストークの発生が、裏面照射型CMOSイメージセンサー３１の分光特性が低下する要因となっていた。
【００１１】
図２を参照して、裏面照射型CMOSイメージセンサー３１の分光特性について説明する。
【００１２】
図２Ａには、画素サイズが1.12μｍである矩形の裏面照射型CMOSイメージセンサー３１の出力信号から求められる分光特性が示されている。図２Ａにおいて、横軸は波長（Wavelength（nm））を表し、縦軸は出力信号の信号値（Output Signal（a.u））を表している。
【００１３】
図２Ａに示すように、画素サイズが波長と大きく変わらないオーダーとなり、色分離が悪いことが判る。
【００１４】
図２Ｂには、オンチップカラーフィルタが備えている分光特性が示されている。図２Ｂにおいて、縦軸は透過率（transmission（a.u））を表し、横軸は波長（lambda（μｍ））を表している。
【００１５】
オンチップカラーフィルタが備えている分光特性（図２Ｂ）を、裏面照射型CMOSイメージセンサー３１からの出力信号から求められる分光特性（図２Ａ）と比較することにより次のことが判る。即ち、色分離の悪化は、オンチップカラーフィルタの特性に依存するものではなく、裏面照射型CMOSイメージセンサー３１の内部で光または電子（信号電荷）が漏れることに依存している。
【００１６】
図２Ｃには、裏面照射型CMOSイメージセンサー３１の受光面に対する光の入射角度を10°にした場合に、画素サイズが1.12μｍである矩形の裏面照射型CMOSイメージセンサー３１からの出力から求められる分光特性が示されている。図２Ａには、裏面照射型CMOSイメージセンサー３１の受光面に対する光の入射角度が垂直（０°）である場合の分光特性が示されており、これらを比較することより、光の入射角度を増加させることによってクロストークが強調されることが判る。
【００１７】
また、例えば、本願出願人は、補正パラメータに応じて画素混色補正処理を行うことにより、画質への影響を軽減する撮像装置を提案している（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【００１８】
【特許文献１】特開２００９−１２４２８２号公報
【発明の概要】
【発明が解決しようとする課題】
【００１９】
上述したようなクロストークが発生することにより、色分離性能が低下し、色再現が悪化するとともに、SN比（signal-to-noise ratio：信号対雑音比）が悪化してしまう。これにより、固体撮像素子により得られる画像の画質が劣化することになる。
【００２０】
本発明は、このような状況に鑑みてなされたものであり、画質の劣化をより抑制することができるようにするものである。
【課題を解決するための手段】
【００２１】
本発明の一側面の画像処理装置は、光を受光する複数の画素を有する撮像素子における隣接する画素からの光または電子の漏れにより発生するクロストークを補正する補正マトリックスを記憶する記憶部と、前記記憶手段に記憶されている前記補正マトリックスを、前記撮像素子から出力される前記画素ごとの画像信号に対して適用する演算を行う演算部とを備える。
【００２２】
本発明の一側面の画像処理方法は、光を受光する複数の画素を有する撮像素子における隣接する画素からの光または電子の漏れにより発生するクロストークを補正する補正マトリックスを記憶する記憶部に記憶されている前記補正マトリックスを読み出し、前記補正マトリックスを、前記撮像素子から出力される前記画素ごとの画像信号に対して適用する演算を行うステップを含む。
【００２３】
本発明の一側面の電子機器は、光を受光する複数の画素を有する撮像素子と、前記撮撮像素子における隣接する画素からの光または電子の漏れにより発生するクロストークを補正する補正マトリックスを記憶する記憶部と、前記記憶手段に記憶されている前記補正マトリックスを、前記撮像素子から出力される前記画素ごとの画像信号に対して適用する演算を行う演算部とを備える。
【００２４】
本発明の一側面においては、光を受光する複数の画素を有する撮像素子における隣接する画素からの光または電子の漏れにより発生するクロストークを補正する補正マトリックスが、撮像素子から出力される画素ごとの画像信号に対して適用される。
【発明の効果】
【００２５】
本発明の一側面によれば、画質の劣化をより抑制することができる。
【図面の簡単な説明】
【００２６】
【図１】一般的な固体撮像素子の構成を示す図である。
【図２】裏面照射型CMOSイメージセンサーの分光特性について説明する図である。
【図３】本発明を適用した撮像装置の一実施の形態の構成例を示すブロック図である。
【図４】周囲画素によりに発生するクロストークの割合を示す図である。
【図５】周囲画素によりに発生するクロストークの割合を示す図である。
【図６】周囲画素によりに発生するクロストークの割合を示す図である。
【図７】周囲画素によりに発生するクロストークの割合を示す図である。
【図８】周囲画素を説明する図である。
【図９】補正マトリックスの一例を示す図である。
【図１０】クロストークを補正する処理を説明する図である。
【図１１】クロストークを補正した後の分光特性を示す図である。
【図１２】補正マトリックスの適用前後でのSNR１０を示す図である。
【図１３】クロストーク補正部の構成例を示す図である。
【図１４】θ＝5°とθ＝10°との基本マトリックスの要素を説明する図である。
【図１５】クロストークを補正する処理を説明するフローチャートである。
【図１６】補正マトリックスの一例を示す図である。
【図１７】補正マトリックスの適用前後でのSNR１０を示す図である。
【図１８】集光構造用マトリックスとフォトダイオード用マトリックスを示す図である。
【図１９】クロストーク補正部の構成例を示す図である。
【図２０】受光面に対して垂直に光が入射したときの裏面照射型CMOSイメージセンサーの内部での電子の動きを模式的に示す図である。
【図２１】受光面に対して斜めに光が入射したときの裏面照射型CMOSイメージセンサーの内部での電子の動きを模式的に示す図である。
【図２２】入射角度が１０°および２０°で必要となる補正マトリックスを示す図である。
【図２３】補正マトリックスの適用前後でのSNR１０を示す図である。
【発明を実施するための形態】
【００２７】
以下、本発明を適用した具体的な実施の形態について、図面を参照しながら詳細に説明する。
【００２８】
図３は、本発明を適用した撮像装置の一実施の形態の構成例を示すブロック図である。
【００２９】
図３において、撮像装置４１は、レンズユニット４２、シャッタ装置４３、撮像素子４４、駆動回路４５、画像処理装置４６、およびモニタ４７を備えて構成される。
【００３０】
レンズユニット４２は、１枚または複数枚のレンズを有しており、被写体からの像光（入射光）を撮像素子４４に導き、撮像素子４４の受光面（センサ部）に結像させる。また、レンズユニット４２は、レンズの焦点距離を有効口径で割った値である開放値を記憶している。
【００３１】
シャッタ装置４３は、レンズユニット４２および撮像素子４４の間に配置され、駆動回路４５の制御に従って、撮像素子４４への光照射期間および遮光期間を制御する。
【００３２】
撮像素子４４には、例えば、図１に示した構造の裏面照射型CMOSイメージセンサー３１が採用され、レンズユニット４２およびシャッタ装置４３を介して受光面に結像される像に応じて、一定期間、信号電荷が蓄積される。そして、撮像素子４４に蓄積された信号電荷は、駆動回路４５から供給される駆動信号（タイミング信号）に従って転送される。
【００３３】
駆動回路４５は、撮像素子４４の転送動作、および、シャッタ装置４３のシャッタ動作を制御する駆動信号を出力して、撮像素子４４およびシャッタ装置４３を駆動する。
【００３４】
画像処理装置４６は、撮像素子４４から出力される画像信号（Raw Data）に対して各種の画像処理を施し、その画像処理の結果得られる画像データを出力する。画像処理装置４６から出力される画像データは、モニタ４７に供給される他、図示しない記録媒体に供給されて記録される。
【００３５】
モニタ４７は、例えば、液晶ディスプレイや有機ＥＬ（Electro Luminescence）ディスプレイなどを備えており、画像処理装置４６から供給される画像データに従って画像を表示する。
【００３６】
また、画像処理装置４６は、CDS（correlated double sampling:相関2重サンプリング）回路５１、クロストーク補正部５２、AGC（Automatic Gain Control：自動利得制御）回路５３、A/D（Analog/Digital）変換回路５４、ホワイトバランス調整回路５５、補間処理回路５６、エッジ強調処理回路５７、リニアマトリックス演算回路５８、およびγ補正回路５９を備えて構成される。
【００３７】
CDS回路５１には、撮像素子４４から出力される画像信号に対して相関2重サンプリングによりノイズを除去する処理を施し、ノイズが除去された信号をクロストーク補正部５２に供給する。
【００３８】
クロストーク補正部５２は、CDS回路５１から出力された信号に対して、クロストークを補正する補正処理を行う。また、クロストーク補正部５２、補正処理を行うとき、必要に応じて、レンズユニット４２と通信を行って現在の開放値を取得する。
【００３９】
AGC回路５３は、クロストーク補正部５２から出力される信号を自動的に増幅して出力し、A/D変換回路５４は、AGC回路５３から出力されるアナログの信号をデジタルの信号に変換する。
【００４０】
ホワイトバランス調整回路５５は、A/D変換回路５４から出力された信号により構築される画像に対してホワイトバランスを調整する処理を施す。補間処理回路５６は、補間処理により、ホワイトバランス調整回路５５から出力された信号により構築される画像のサイズを調整する。
【００４１】
エッジ強調処理回路５７は、補間処理回路５６から出力される信号により構築される画像のエッジを強調する処理を施す。なお、画像処理装置４６では、エッジを強調する処理の他、適宜、必要に応じた画像処理が施される。
【００４２】
リニアマトリックス演算回路５８は、エッジ強調処理回路５７から出力される信号により構築される画像に対してマトリックス演算による補正を行う。γ補正回路５９は、リニアマトリックス演算回路５８から出力される信号により構築される画像に対して、モニタ４７に表示される画像の彩度や明るさなどを修正するγ補正を行い、補正後の信号（Ｙ信号およびＣ信号）を出力する。
【００４３】
ここで、撮像素子４４として図１に示した構造の裏面照射型CMOSイメージセンサー３１を採用した場合、裏面照射型CMOSイメージセンサー３１のシミュレーションから求められる分光特性は、図２に示したもとの同等である。つまり、画素Grおよび画素Gbからのクロストークにより、画素Rおよび画素Bそれぞれに信号が漏れ込んでいることより、画素Rおよび画素Bにおいて、500〜550ｎｍ付近の出力が高くなる。このように、クロストークには、波長依存性があることが判る。
【００４４】
次に、図４乃至図８を参照して、クロストークの波長依存性について説明する。図４乃至図７には、所定の画素の周囲に配置されている８つの画素からのクロストークの量、即ち、所定の画素に対して上下左右方向および斜め方向ごとのクロストークの量が波長ごとに示されている。
【００４５】
図４乃至図７には、図８において中央に配置されている画素Gb_ccの周囲に配置されている８つの画素により、画素Gb_ccに発生するクロストークの割合が示されている。図８に示すように、画素Gb_ccの周囲には、左上隣に画素Gr_ul、左隣に画素B_cl、左下隣に画素Gr_bl、上隣に画素R_uc、下隣に画素R_bc、右上隣に画素Gr_ur、右隣に画素B_cr、および右下隣に画素Gr_brが配置されている。
【００４６】
図４乃至図７において、横軸は波長を表しており、図４には、380ｎｍ〜450ｎｍが示されており、図５には、460ｎｍ〜530ｎｍが示されており、図６には、540ｎｍ〜610ｎｍが示されており、図７には、620ｎｍ〜680ｎｍが示されている。また、図４乃至図７において、縦軸はクロストークの割合が示されている。
【００４７】
図４乃至図７に基づいて、例えば、斜め方向に配置されている画素、つまり、左上隣の画素Gr_ul、左下隣の画素Gr_bl、右上隣の画素Gr_ur、および右下隣の画素Gr_brからのクロストークが少ないことが判る。一方、上下左右方向に配置されている画素、つまり、
上隣の画素R_uc、下隣の画素R_bc、左隣の画素B_cl、および右隣の画素B_crからのクロストークが多いことが判る。また、短波長側（例えば、400〜470ｎｍ）では、画素Bからのクロストークが多いことが判る。
【００４８】
このように、画素Gb_ccの周囲に配置されている８つの画素から、画素Gb_ccに漏れ込む信号量が求められる。逆に言えば、画素Gb_ccの周囲に配置されている８つの画素からは、求められた信号量がそれぞれ漏れ出していることになる。従って、それぞれの画素から出力される信号に対して、演算により漏れ出した信号量を戻すことにより、発生したクロストークを仮想的に改善することができる。
【００４９】
また、図４乃至図７に示した画素Gbと同様に、画素Gr、画素B、および画素Rについても、それぞれの周囲に配置されている８つの画素からのクロストークの量を求めることができる。そして、画素Gb、画素Gr、画素B、および画素Rごとに求められたクロストークの量から、クロストーク補正部５２がクロストークを補正する処理で使用する補正マトリックスを算出することができる。
【００５０】
まず、図４に示したようなデータから、周囲に配置されている８つの画素に漏れた信号量を、画素Gb、画素Gr、画素B、および画素Rごとについて抽出する。次に、周囲に配置されている８つの画素に漏れた信号量を合計する。そして、漏れた信号量と、合計した信号量とを、画素から出力される出力信号の信号値で割ってノーマライズする。ここで、このノーマライズした数値を、以下適宜、混色量比と称する。
【００５１】
そして、中央の画素から、左上隣の画素への混色量比をａとし、上隣の画素への混色量比をｂとし、右上隣の画素への混色量比をｃとし、左隣の画素への混色量比をｄとし、右隣の画素への混色量比をｅとし、左下隣の画素への混色量比をｆとし、下隣の画素への混色量比をｇとし、右上隣の画素への混色量比をｈとすると、補正マトリックスは、次の式（１）で表される。
【００５２】
【数１】
・・・（１）
【００５３】
但し、式（１）において、ｉは、ｉ＝ａ＋ｂ＋ｃ＋ｄ＋ｅ＋ｆ＋ｇ＋ｈにより求められる数値である。
【００５４】
なお、混色が発生していない場合の補正マトリックスは、次の式（２）となる。
【００５５】
【数２】
・・・（２）
【００５６】
従って、画素B、画素Gb、画素Gr、および画素Rそれぞれを中央の画素として、画素B、画素Gb、画素Grおよび画素Rごとに、補正マトリックスを算出することができる。
【００５７】
例えば、図９には、図４乃至図７に示されたクロストークの関係から求められた画素B、画素Gb、画素Gr、および画素Rそれぞれの補正マトリックスの一例が示されている。
【００５８】
また、図９に示すように、画素Bの補正マトリックスの補正量は、他の補正マトリックスの補正量よりも大きくなっている。これは、画素Bから隣接する画素へのクロストークの量が多いことを示唆している。
【００５９】
そして、画素B、画素Gb、画素Gr、および画素Rそれぞれの補正マトリックスが、クロストーク補正部５２に記憶されており、クロストーク補正部５２は、それらの補正マトリックスを用いてクロストークを補正する処理を行う。
【００６０】
例えば、図１０に示すように、クロストーク補正部５２は、隣接画素へのクロストークの量を割り戻すことにより、クロストークを補正する。つまり、画素B、画素Gb、画素Gr、および画素Rそれぞれを中央とした参照エリアに対して、図９に示した補正マトリックスを適用させる処理を、例えば、ラスタスキャン順に行う。そして、画素B、画素Gb、画素Gr、および画素Rそれぞれについて、周囲の画素に漏れ出した信号量を割り戻す演算（1.48B-10154A-0.05C…）を行うことでクロストークを補正する。
【００６１】
具体的には、クロストーク補正部５２は、次の式（３）を演算することにより、クロストークを補正する。
【００６２】
【数３】
・・・（３）
【００６３】
但し、式（３）において、Corrected_Signal(y,x)は、座標(x,y)の補正後の画素信号であり、Signal(y,x)は、座標(x,y)の画素信号である。Mulは、左上隣の画素の補正マトリックスであり、Mclは、左隣の画素の補正マトリックスであり、Mblは、左下隣の画素の補正マトリックスである。Mucは、上隣の画素の補正マトリックスであり、Mccは、中央の画素の補正マトリックスであり、Mbcは、下隣の画素の補正マトリックスである。Murは、右上隣の画素の補正マトリックスであり、Mcrは、右隣の画素の補正マトリックスであり、Mbrは、右下隣の画素の補正マトリックスである。また、これら補正マトリックスにつく括弧内の値（i,j）により、それぞれ対応する補正マトリックスのi行およびj列の要素が表される。
【００６４】
また、クロストーク補正部５２は、画素B、画素Gb、画素Gr、および画素Rごとに補正マトリックスを保持しており、それぞれの画素位置に相当する補正マトリックスを使用して、クロストークを補正する演算を行う。
【００６５】
このようにしてクロストーク補正部５２によりクロストークが補正されることにより、分光特性が向上する。
【００６６】
図１１には、クロストーク補正部５２がクロストークを補正した後の分光特性が示されている。図１１において、横軸は、横軸は波長（Wavelength（nm））を表し、縦軸は出力信号（Output Signal（a.u））を表している。
【００６７】
図１１に示すように、大幅に分光が改善されている。つまり、図２Ａに示されている補正前の分光と比較して、図１１に示されている補正後の分光は、曲線の傾斜が急勾配になっている。
【００６８】
また、補正前の分光と、補正後の分光とを用いて、ホワイトバランスの係数およびリニアマトリックスを算出して適用した後、信号とノイズの比が１０になる照度（以下、SNR１０と称する）をそれぞれについて求めた。なお、ノイズは、１画素あたりの暗電流、アナログフロントエンドのノイズともに2.0電子がランダムに発生すると仮定した。
【００６９】
図１２は、補正マトリックスを適用する前の分光と、補正マトリックスを適用した後の分光とから求められたSNR１０を示す図である。
【００７０】
図１２に示すように、補正マトリックスを適用する前のSNR１０が284.2luxであったのに対し、補正マトリックスを適用することで、SNR１０が154.6luxになるまで分光を改善することができた。
【００７１】
次に、図１の裏面照射型CMOSイメージセンサー３１を採用した撮像素子４４を用いて、開放値が2.8のレンズで撮像した場合の例について説明する。
【００７２】
開放値が増加すると斜入射成分が増えるため、クロストークも増えることになる。従って、レンズの開放値に応じて、クロストーク補正部５２が使用する補正マトリックスの値を変更する必要がある。このため、クロストーク補正部５２は、レンズの開放値に応じたマトリックスを使用してクロストークを補正することができるように構成されている。
【００７３】
図１３は、クロストーク補正部５２の構成例を示す図である。
【００７４】
図１３に示すように、クロストーク補正部５２は、マトリックス保持用メモリ６１、レンズデータ取得部６２、マトリックス生成部６３、および補正演算部６４を備えて構成される。
【００７５】
マトリックス保持用メモリ６１には、入射角度ごとのマトリックスである基本マトリックスが、画素B、画素Gb、画素Gr、および画素Rごとに記憶されている。
【００７６】
レンズデータ取得部６２は、レンズユニット４２と通信を行って、レンズユニット４２が有するレンズの現在の開放値を取得する。そして、レンズデータ取得部６２は、レンズの開放値に応じて決定される入射角度を示す立体角情報をマトリックス生成部６３に供給する。
【００７７】
マトリックス生成部６３は、レンズデータ取得部６２から供給された立体角情報に基づき、その立体角情報により示される入射角度に最も近い２つの基本マトリックスを、画素B、画素Gb、画素Gr、および画素Rごとにマトリックス保持用メモリ６１から読み出す。そして、マトリックス生成部６３は、マトリックス保持用メモリ６１から読み出した２つの基本マトリックスを合成して、画素B、画素Gb、画素Gr、および画素Rごとに補正マトリックスを生成する。
【００７８】
例えば、レンズの開放値が2.8であるとき、図１４に示すような球座標系のθ方向について±10.2°傾いて光が入射される。そのため、例えば、マトリックス保持用メモリ６１に、球座標系のθ方向について５度ごとで、球座標系のφ方向について４５度ごとの基本マトリックスが記憶されている場合には、θ＝5°とθ＝10°との基本マトリックスの要素である１７個のデータから補正マトリックスが生成される。例えば、マトリックス生成部６３は、これらの基本マトリックスに対して、立体角情報により示される入射角度に従って線形補間（内挿）することで、補正マトリックスを生成する。
【００７９】
補正演算部６４には、図３のCDS回路５１から画像信号（Raw Data）が順次供給される。補正演算部６４は、その画像信号に対して、マトリックス生成部６３により生成された補正マトリックスを適用する演算を行う。つまり、補正演算部６４は、上述した式（３）を演算することにより、画素B、画素Gb、画素Gr、および画素Rごとにクロストークを補正する。そして、補正演算部６４は、補正後の画像信号をAGC回路５３に順次供給する。
【００８０】
図１５は、図１３に示すクロストーク補正部５２がクロストークを補正する処理を説明するフローチャートである。
【００８１】
例えば、撮像装置４１（図３）では、電源が投入されて起動すると処理が開始され、ステップＳ１１において、レンズデータ取得部６２は、レンズユニット４２と通信を行って、レンズユニット４２が有するレンズの現在の開放値を取得する。また、レンズデータ取得部６２は、シャッタ装置４３においてレンズの開放値が変更されると、その変更後の開放値を取得する。そして、レンズデータ取得部６２は、レンズの開放値に応じて決定される入射角度を示す立体角情報をマトリックス生成部６３に供給する。
【００８２】
ステップＳ１１の処理後、処理はステップＳ１２に進み、マトリックス生成部６３は、レンズデータ取得部６２から供給された立体角情報に基づき、マトリックス保持用メモリ６１から基本マトリックスを読み出し、処理はステップＳ１２に進む。
【００８３】
ステップＳ１３において、マトリックス生成部６３は、ステップＳ１２で読み出した基本マトリックスを合成して補正マトリックスを生成し、その補正マトリックスを補正演算部６４に供給し、処理はステップＳ１４に進む。
【００８４】
ステップＳ１４において、補正演算部６４は、ステップＳ１３でマトリックス生成部６３から供給された補正マトリックスを使用し、図３のCDS回路５１から順次供給される画像信号（Raw Data）に対してクロストークを補正する処理を施す。そして、補正演算部６４は、その補正後の画像信号をAGC回路５３に順次供給する。
【００８５】
以上のように、クロストーク補正部５２は、画像信号に対してクロストークを補正する処理を行い、クロストークが補正された画像信号を出力する。従って、この画像信号に基づいて画像を構築することで、クロストークが含まれていたことによる画質の劣化を抑制し、より高画質な画像を得ることができる。
【００８６】
そして、クロストーク補正部５２では、現在のレンズの開放値に従って、マトリックス生成部６３が、画素B、画素Gb、画素Gr、および画素Rごとに補正マトリックスを生成する。例えば、図１６には、マトリックス生成部６３が生成した画素B、画素Gb、画素Gr、および画素Rそれぞれの補正マトリックスが示されている。なお、開放することでクロストークが増加するため、補正マトリックスを構成する要素の絶対値は大きくなる。
【００８７】
このように、クロストーク補正部５２では、レンズの開放値に従って補正マトリックスが生成されるので、撮像素子４４の受光面に光が入射する入射角度に応じて適切な補正を行うことができる。
【００８８】
例えば、図１７には、補正マトリックスを適用する前の分光と、レンズの開放値に応じて生成された補正マトリックスを適用した後の分光とから求められたSNR１０が示されている。レンズの開放値に従った立体角を考慮することで、図１２に示した場合よりも、SNR１０が改善されており、この補正マトリックスを適用した後のSNR１０は175.0luxとなっている。
【００８９】
さらに、クロストーク補正部５２が演算によりクロストークの発生を補正することで、撮像素子４４を製造する際の理収率を向上させることができ、撮像素子４４の製造コストを低減させることができる。
【００９０】
また、マトリックス保持用メモリ６１に記憶されている基本マトリックスが、入射角度が５度ごとに求められたものとし、基本マトリックスから補正マトリックスを生成することで、マトリックス保持用メモリ６１に必要な記憶容量の増加を抑制し、かつ、レンズの開放値に応じた入射角度による補正を行うことができる。
【００９１】
ここで、撮像素子４４を構成する画素の微細化に伴って、フォトダイオードの製造バラツキに起因してクロストークにバラツキが発生している。即ち、撮像素子４４に発生するクロストークが個体ごとに異なるものとなる。従って、撮像素子４４の個体ごとに適合する補正マトリックスを使用してクロストークの補正を行うことで、補正精度が向上することになる。
【００９２】
さらに、撮像素子４４において発生するクロストークとしては、光が内部の進行中に隣接画素に漏れるために発生するクロストークと、フォトダイオード中の電子が離接画素に漏れるために発生するクロストークとがある。以下、適宜、光が内部の進行中に隣接画素に漏れるために発生するクロストークを補正するための補正マトリックスを集光構造用マトリックスと称し、フォトダイオード中の電子が離接画素に漏れるために発生するクロストークを補正するための補正マトリックスをフォトダイオード用マトリックスと称する。
【００９３】
図１８には、裏面照射型CMOSイメージセンサー３１（図１）を採用した撮像素子４４を用いて、開放値が2.8のレンズで撮像した場合において、集光構造用マトリックスとフォトダイオード用マトリックスとの２種類に分離して表現された補正マトリックスが示されている。
【００９４】
このような２種類の補正マトリックスを用いてクロストークの補正を行うと、図１５のフローチャートを参照して説明した場合と同様の効果を得ることができる。このように、補正マトリックスを集光構造用マトリックスとフォトダイオード用マトリックスとに分けることで、デバイス出荷検査時の値を参考に、集光構造用マトリックスとフォトダイオード用マトリックスの値をそれぞれ独立して変更することができる。
【００９５】
つまり、図１９に示されているクロストーク補正部５２のように、マトリックス保持用メモリ６１には、集光構造工程ＰＱＣ（Process Quality Control：工程品質管理）データに基づいて求められた集光構造用マトリックスと、フォトダイオード形成工程ＰＱＣデータに基づいて求められたフォトダイオード用マトリックスとが記憶される。
【００９６】
例えば、フォトダイオード中の電子が離接画素に漏れるために発生するクロストークが大きくなるような製造誤差を検出した場合には、フォトダイオード用マトリックスの絶対値をその検出値に応じて大きくする。また、オンチップレンズ２９（図１）が高い位置に配置されるようなエラーを検出した場合には、光が内部の進行中に隣接画素への漏れが大きくなると想定され、集光構造用マトリックスの絶対値をその検出値に応じて大きくする。
【００９７】
このように、デバイス出荷検査時の値を参考に、集光構造用マトリックスとフォトダイオード用マトリックスの値をそれぞれ独立して変更することで、クロストークを補正する補正精度を向上させることができる。また、この集光構造用マトリックスとフォトダイオード用マトリックスは、撮像素子４４の個体ごとに適合するように求められて、それぞれの撮像装置４１のマトリックス保持用メモリ６１に保持される。
【００９８】
ところで、一般的に、撮像装置４１において、画素ごとに入射方向（受光面に対して入射光が向かってくる方向）が異なるカメラレンズが使用されている。特に、携帯電話機用の撮像装置や、コンパクトデジタルスチルカメラでは、装置自体が小型化されることにより、レンズ設計時に射出瞳距離が小さくなる設計が行われている。
【００９９】
このように、画素ごとに入射方向が異なると、画素ごとにクロストークが発生する量が異なることになる。
【０１００】
例えば、図２０には、受光面に対して垂直に光が入射したときの裏面照射型CMOSイメージセンサー３１の内部での電子の動きが模式的に示されている。また、図２１には、受光面に対して斜めに光が入射したときの裏面照射型CMOSイメージセンサー３１の内部での電子の動きが模式的に示されている。なお、図２０および２１において、矢印の太さは、電子の動きやすさを表している。
【０１０１】
図２０に示すように、光が垂直に入射した場合には、裏面照射型CMOSイメージセンサー３１の表面でクロストーク（信号電荷の漏れ）が多いフォトダイオード設計になっているとき、短波長側でクロストークが大きくなる。つまり、クロストークには波長依存性がある。
【０１０２】
一方、図２１に示すように、光が斜めに入射した場合には、長波長側でもクロストークが増加する。つまり、入射角やフォトダイオード設計によって、クロストークが発生する量が異なってくるため、より効果的にクロストークを補正するには補正マトリックスを適切に変更する必要がある。そして、その変更を加えた補正マトリックスがマトリックス保持用メモリ６１に保持される。
【０１０３】
図２２には、例えば、主光線角度が像光４割であるときに１０°、主光線角度が像光８割であるときに２０°となるレンズを仮定して求められた、入射方向と受光面の垂線との成す角度が１０°および２０°で必要となる補正マトリックスが示されている。
【０１０４】
図２２に示す補正マトリックスは、入射面がｘ軸（水平方向）と平行になっている場合の値である。画角中央の補正マトリックス（図９）と比較すると、入射方向を示す角度が１０°および２０°で必要となる補正マトリックスは、大きく異なる値となる。特に、右画素へのクロストークが増加する方向に傾いているため、補正マトリックスの右側の要素の絶対値が大きくなることが判る。このように、光の入射方向に応じて画素ごとに値の異なる（例えば、受光面の中央部分の画素と受光面の周辺部分の画素とで異なる）補正マトリックスを使用することで、撮像素子４４の全面に亘ってクロストークを適切に補正することができる。
【０１０５】
図２３には、光の入射方向に応じて異なる補正マトリックスを使用してクロストークの補正を行った場合に、入射方向を示す角度が０°、１０°、および２０°におけるSNR１０が示されている。図２３において、横軸は入射角度（Angle（degree））を示し、縦軸はSNR１０（lux）を示している。
【０１０６】
図２３に示すように、全方向（０°、１０°、および２０°それぞれ）についてSNR１０が175.0 lux以下に抑えられていることが判る。即ち、全ての画角においてもSN比を改善することができる。また、入射方向を示す角度が大きいほどSNR１０の改善量が大きいことが判る。
【０１０７】
なお、本実施の形態においては、最も一般的なベイヤー配列のカラーフィルタを備えた固体撮像素子について説明を行ったが、例えば、カラーフィルタを備えていない（つまり、単色の）固体撮像素子の場合は、画素の色ごとの補正マトリックスを使用する必要はなく、より簡単にクロストークを補正することができる。また、補正マトリックスを使用した補正は、補色カラーフィルタを用いる場合、または、ベイヤー配列以外の配列のカラーフィルタ（例えば、クリアビット配列）を用いる場合にも適用することができる。つまり、補正マトリックスを使用した補正は広範囲に適用することができる。
【０１０８】
また、上述したような画像処理装置４６は、例えば、デジタルスチルカメラやデジタルビデオカメラなどの撮像システム、撮像機能を備えた携帯電話機、または、撮像機能を備えた他の機器といった各種の電子機器に適用することができる。
【０１０９】
さらに、上述した実施の形態では、撮像素子４４として、裏面照射型CMOSイメージセンサー３１が採用された構成例を示しているが、撮像素子４４の構造は、表面照射型CMOSイメージセンサー２１（図１）や、CCD型固体撮像素子などに適用することができる。
【０１１０】
なお、上述した一連の処理は、ハードウエアにより実行することもできるし、ソフトウエアにより実行することもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、専用のハードウエアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、プログラム記録媒体からインストールされる。
【０１１１】
コンピュータでは、ROM（Read Only Memory）に記憶されているプログラムや、ハードディスクや不揮発性のメモリなどよりなる記憶部に記憶されているプログラムなどが、RAM（Random Access Memory）にロードされ、CPU（Central Processing Unit）により実行される。それにより、上述した一連の処理が行われる。
【０１１２】
また、それらのプログラムは、あらかじめ記憶部に記憶させておく他、ネットワークインタフェースなどよりなる通信部を介して、あるいは、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(Compact Disc-Read Only Memory),DVD(Digital Versatile Disc)等）、光磁気ディスク、または半導体メモリなどのリムーバブルメディアを駆動するドライブを介して、コンピュータにインストールすることができる。
【０１１３】
さらに、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。また、プログラムは、１つのCPUにより処理されるものであっても良いし、複数のCPUによって分散処理されるものであっても良い。
【０１１４】
なお、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。
【符号の説明】
【０１１５】
４１ 撮像装置， ４２ レンズユニット， ４３ シャッタ装置， ４４ 撮像素子， ４５ 駆動回路， ４６ 画像処理装置， ４７ モニタ， ５１ CDS回路， ５２ クロストーク補正部， ５３ AGC回路， ５４ A/D変換回路， ５５ ホワイトバランス調整回路， ５６ 補間処理回路， ５７ エッジ強調処理回路， ５８ リニアマトリックス演算回路， ５９ γ補正回路， ６１ マトリックス保持用メモリ， ６２ レンズデータ取得部， ６３ マトリックス生成部
【技術分野】
【０００１】
本発明は、画像処理装置、画像処理方法、および電子機器に関し、特に、画質の劣化をより抑制することができるようにした画像処理装置、画像処理方法、および電子機器に関する。
【背景技術】
【０００２】
従来、CMOS（Complementary Metal Oxide Semiconductor）イメージセンサーに代表される固体撮像素子に対し、画素サイズを縮小して、同一のイメージエリア内で画素数を多くする多画素化が常に要求されている。
【０００３】
図１を参照して、一般的な固体撮像素子の構成について説明する。
【０００４】
図１Ａには、固体撮像素子のカラーフィルタの例が示されており、図１Ｂには、表面照射型CMOSイメージセンサーの断面図が示されており、図１Ｃには、裏面照射型CMOSイメージセンサーの断面図が示されている。
【０００５】
図１Ａに示されているカラーフィルタ１１は、いわゆるベイヤー（Bayer）配列により、赤、青、および緑の色フィルタが配置されている。ベイヤー配列では、水平方向および垂直方向に多数個配列される画素に対し、１つ置きの水平方向の画素の行では、青Ｂと緑Ｇｂの色フィルタが、交互に画素セルに対向するように配される。そして、ベイヤー配列では、残りの１つ置きの水平方向の画素の行では、赤Ｒと緑Ｇｒの色フィルタが、交互に画素セルに対向するように配され、かつ、赤Ｒと青Ｂの色フィルタが配される画素が、垂直方向の画素の１列に含まれないように配される。
【０００６】
なお、以下適宜、赤Ｒの色フィルタが配置された画素を画素Rと称し、緑Ｇｂの色フィルタが配置された画素を画素Gbと称し、青Ｂの色フィルタが配置された画素を画素Bと称し、緑Ｇｒの色フィルタが配置された画素を画素Grと称する。
【０００７】
図１Ｂに示されている表面照射型CMOSイメージセンサー２１は、フォトダイオードを含むシリコン基板２２とＦＤ（Floating diffusion：フローティングディフュージョン）２３とに反射防止膜２４が成膜される。その反射防止膜２４に配線２５を有する配線層２６が積層された後、平坦化膜２７を介してカラーフィルタ２８が塗布された上にオンチップレンズ２９が配置されて構成される。
【０００８】
図１Ｃに示されている裏面照射型CMOSイメージセンサー３１は、フォトダイオードを含むシリコン基板３２に反射防止膜３３が成膜される。その反射防止膜３３に、クロストークを抑制するための遮光膜３４が成膜された後、平坦化膜３５を介してカラーフィルタ３６が塗布された上にオンチップレンズ３７が配置されて構成される。なお、裏面照射型CMOSイメージセンサー３１は、光が入射するオンチップレンズ３７側が裏面側とされ、表面側に配線層（図示せず）が配置されている。
【０００９】
裏面照射型CMOSイメージセンサー３１では、光の入射側に配線層が配置されていないので、配線層により光が欠損することなく、表面照射型CMOSイメージセンサー２１よりもシリコン基板３２に到達する受光量を増加させることができる。これにより、裏面照射型CMOSイメージセンサー３１では、高感度かつ低ノイズで高画質な画像を得ることができる。このような裏面照射型CMOSイメージセンサー３１は量産されており、カムコーダーやデジタルスチルカメラなどに搭載されている。
【００１０】
とろろで、固体撮像素子の多画素化を進めることにより、単一画素に入射される光のエネルギーの絶対量が減少するとともに、デバイス中を光が伝播する間に、隣接画素への光の漏れ（クロストーク）が発生してしまう。また、画素境界付近で光電変換する電子が増加することによっても、隣接画素への電子の漏れ（クロストーク）が発生してしまうため、総合的にクロストークが増大することになる。このようなクロストークの発生が、裏面照射型CMOSイメージセンサー３１の分光特性が低下する要因となっていた。
【００１１】
図２を参照して、裏面照射型CMOSイメージセンサー３１の分光特性について説明する。
【００１２】
図２Ａには、画素サイズが1.12μｍである矩形の裏面照射型CMOSイメージセンサー３１の出力信号から求められる分光特性が示されている。図２Ａにおいて、横軸は波長（Wavelength（nm））を表し、縦軸は出力信号の信号値（Output Signal（a.u））を表している。
【００１３】
図２Ａに示すように、画素サイズが波長と大きく変わらないオーダーとなり、色分離が悪いことが判る。
【００１４】
図２Ｂには、オンチップカラーフィルタが備えている分光特性が示されている。図２Ｂにおいて、縦軸は透過率（transmission（a.u））を表し、横軸は波長（lambda（μｍ））を表している。
【００１５】
オンチップカラーフィルタが備えている分光特性（図２Ｂ）を、裏面照射型CMOSイメージセンサー３１からの出力信号から求められる分光特性（図２Ａ）と比較することにより次のことが判る。即ち、色分離の悪化は、オンチップカラーフィルタの特性に依存するものではなく、裏面照射型CMOSイメージセンサー３１の内部で光または電子（信号電荷）が漏れることに依存している。
【００１６】
図２Ｃには、裏面照射型CMOSイメージセンサー３１の受光面に対する光の入射角度を10°にした場合に、画素サイズが1.12μｍである矩形の裏面照射型CMOSイメージセンサー３１からの出力から求められる分光特性が示されている。図２Ａには、裏面照射型CMOSイメージセンサー３１の受光面に対する光の入射角度が垂直（０°）である場合の分光特性が示されており、これらを比較することより、光の入射角度を増加させることによってクロストークが強調されることが判る。
【００１７】
また、例えば、本願出願人は、補正パラメータに応じて画素混色補正処理を行うことにより、画質への影響を軽減する撮像装置を提案している（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【００１８】
【特許文献１】特開２００９−１２４２８２号公報
【発明の概要】
【発明が解決しようとする課題】
【００１９】
上述したようなクロストークが発生することにより、色分離性能が低下し、色再現が悪化するとともに、SN比（signal-to-noise ratio：信号対雑音比）が悪化してしまう。これにより、固体撮像素子により得られる画像の画質が劣化することになる。
【００２０】
本発明は、このような状況に鑑みてなされたものであり、画質の劣化をより抑制することができるようにするものである。
【課題を解決するための手段】
【００２１】
本発明の一側面の画像処理装置は、光を受光する複数の画素を有する撮像素子における隣接する画素からの光または電子の漏れにより発生するクロストークを補正する補正マトリックスを記憶する記憶部と、前記記憶手段に記憶されている前記補正マトリックスを、前記撮像素子から出力される前記画素ごとの画像信号に対して適用する演算を行う演算部とを備える。
【００２２】
本発明の一側面の画像処理方法は、光を受光する複数の画素を有する撮像素子における隣接する画素からの光または電子の漏れにより発生するクロストークを補正する補正マトリックスを記憶する記憶部に記憶されている前記補正マトリックスを読み出し、前記補正マトリックスを、前記撮像素子から出力される前記画素ごとの画像信号に対して適用する演算を行うステップを含む。
【００２３】
本発明の一側面の電子機器は、光を受光する複数の画素を有する撮像素子と、前記撮撮像素子における隣接する画素からの光または電子の漏れにより発生するクロストークを補正する補正マトリックスを記憶する記憶部と、前記記憶手段に記憶されている前記補正マトリックスを、前記撮像素子から出力される前記画素ごとの画像信号に対して適用する演算を行う演算部とを備える。
【００２４】
本発明の一側面においては、光を受光する複数の画素を有する撮像素子における隣接する画素からの光または電子の漏れにより発生するクロストークを補正する補正マトリックスが、撮像素子から出力される画素ごとの画像信号に対して適用される。
【発明の効果】
【００２５】
本発明の一側面によれば、画質の劣化をより抑制することができる。
【図面の簡単な説明】
【００２６】
【図１】一般的な固体撮像素子の構成を示す図である。
【図２】裏面照射型CMOSイメージセンサーの分光特性について説明する図である。
【図３】本発明を適用した撮像装置の一実施の形態の構成例を示すブロック図である。
【図４】周囲画素によりに発生するクロストークの割合を示す図である。
【図５】周囲画素によりに発生するクロストークの割合を示す図である。
【図６】周囲画素によりに発生するクロストークの割合を示す図である。
【図７】周囲画素によりに発生するクロストークの割合を示す図である。
【図８】周囲画素を説明する図である。
【図９】補正マトリックスの一例を示す図である。
【図１０】クロストークを補正する処理を説明する図である。
【図１１】クロストークを補正した後の分光特性を示す図である。
【図１２】補正マトリックスの適用前後でのSNR１０を示す図である。
【図１３】クロストーク補正部の構成例を示す図である。
【図１４】θ＝5°とθ＝10°との基本マトリックスの要素を説明する図である。
【図１５】クロストークを補正する処理を説明するフローチャートである。
【図１６】補正マトリックスの一例を示す図である。
【図１７】補正マトリックスの適用前後でのSNR１０を示す図である。
【図１８】集光構造用マトリックスとフォトダイオード用マトリックスを示す図である。
【図１９】クロストーク補正部の構成例を示す図である。
【図２０】受光面に対して垂直に光が入射したときの裏面照射型CMOSイメージセンサーの内部での電子の動きを模式的に示す図である。
【図２１】受光面に対して斜めに光が入射したときの裏面照射型CMOSイメージセンサーの内部での電子の動きを模式的に示す図である。
【図２２】入射角度が１０°および２０°で必要となる補正マトリックスを示す図である。
【図２３】補正マトリックスの適用前後でのSNR１０を示す図である。
【発明を実施するための形態】
【００２７】
以下、本発明を適用した具体的な実施の形態について、図面を参照しながら詳細に説明する。
【００２８】
図３は、本発明を適用した撮像装置の一実施の形態の構成例を示すブロック図である。
【００２９】
図３において、撮像装置４１は、レンズユニット４２、シャッタ装置４３、撮像素子４４、駆動回路４５、画像処理装置４６、およびモニタ４７を備えて構成される。
【００３０】
レンズユニット４２は、１枚または複数枚のレンズを有しており、被写体からの像光（入射光）を撮像素子４４に導き、撮像素子４４の受光面（センサ部）に結像させる。また、レンズユニット４２は、レンズの焦点距離を有効口径で割った値である開放値を記憶している。
【００３１】
シャッタ装置４３は、レンズユニット４２および撮像素子４４の間に配置され、駆動回路４５の制御に従って、撮像素子４４への光照射期間および遮光期間を制御する。
【００３２】
撮像素子４４には、例えば、図１に示した構造の裏面照射型CMOSイメージセンサー３１が採用され、レンズユニット４２およびシャッタ装置４３を介して受光面に結像される像に応じて、一定期間、信号電荷が蓄積される。そして、撮像素子４４に蓄積された信号電荷は、駆動回路４５から供給される駆動信号（タイミング信号）に従って転送される。
【００３３】
駆動回路４５は、撮像素子４４の転送動作、および、シャッタ装置４３のシャッタ動作を制御する駆動信号を出力して、撮像素子４４およびシャッタ装置４３を駆動する。
【００３４】
画像処理装置４６は、撮像素子４４から出力される画像信号（Raw Data）に対して各種の画像処理を施し、その画像処理の結果得られる画像データを出力する。画像処理装置４６から出力される画像データは、モニタ４７に供給される他、図示しない記録媒体に供給されて記録される。
【００３５】
モニタ４７は、例えば、液晶ディスプレイや有機ＥＬ（Electro Luminescence）ディスプレイなどを備えており、画像処理装置４６から供給される画像データに従って画像を表示する。
【００３６】
また、画像処理装置４６は、CDS（correlated double sampling:相関2重サンプリング）回路５１、クロストーク補正部５２、AGC（Automatic Gain Control：自動利得制御）回路５３、A/D（Analog/Digital）変換回路５４、ホワイトバランス調整回路５５、補間処理回路５６、エッジ強調処理回路５７、リニアマトリックス演算回路５８、およびγ補正回路５９を備えて構成される。
【００３７】
CDS回路５１には、撮像素子４４から出力される画像信号に対して相関2重サンプリングによりノイズを除去する処理を施し、ノイズが除去された信号をクロストーク補正部５２に供給する。
【００３８】
クロストーク補正部５２は、CDS回路５１から出力された信号に対して、クロストークを補正する補正処理を行う。また、クロストーク補正部５２、補正処理を行うとき、必要に応じて、レンズユニット４２と通信を行って現在の開放値を取得する。
【００３９】
AGC回路５３は、クロストーク補正部５２から出力される信号を自動的に増幅して出力し、A/D変換回路５４は、AGC回路５３から出力されるアナログの信号をデジタルの信号に変換する。
【００４０】
ホワイトバランス調整回路５５は、A/D変換回路５４から出力された信号により構築される画像に対してホワイトバランスを調整する処理を施す。補間処理回路５６は、補間処理により、ホワイトバランス調整回路５５から出力された信号により構築される画像のサイズを調整する。
【００４１】
エッジ強調処理回路５７は、補間処理回路５６から出力される信号により構築される画像のエッジを強調する処理を施す。なお、画像処理装置４６では、エッジを強調する処理の他、適宜、必要に応じた画像処理が施される。
【００４２】
リニアマトリックス演算回路５８は、エッジ強調処理回路５７から出力される信号により構築される画像に対してマトリックス演算による補正を行う。γ補正回路５９は、リニアマトリックス演算回路５８から出力される信号により構築される画像に対して、モニタ４７に表示される画像の彩度や明るさなどを修正するγ補正を行い、補正後の信号（Ｙ信号およびＣ信号）を出力する。
【００４３】
ここで、撮像素子４４として図１に示した構造の裏面照射型CMOSイメージセンサー３１を採用した場合、裏面照射型CMOSイメージセンサー３１のシミュレーションから求められる分光特性は、図２に示したもとの同等である。つまり、画素Grおよび画素Gbからのクロストークにより、画素Rおよび画素Bそれぞれに信号が漏れ込んでいることより、画素Rおよび画素Bにおいて、500〜550ｎｍ付近の出力が高くなる。このように、クロストークには、波長依存性があることが判る。
【００４４】
次に、図４乃至図８を参照して、クロストークの波長依存性について説明する。図４乃至図７には、所定の画素の周囲に配置されている８つの画素からのクロストークの量、即ち、所定の画素に対して上下左右方向および斜め方向ごとのクロストークの量が波長ごとに示されている。
【００４５】
図４乃至図７には、図８において中央に配置されている画素Gb_ccの周囲に配置されている８つの画素により、画素Gb_ccに発生するクロストークの割合が示されている。図８に示すように、画素Gb_ccの周囲には、左上隣に画素Gr_ul、左隣に画素B_cl、左下隣に画素Gr_bl、上隣に画素R_uc、下隣に画素R_bc、右上隣に画素Gr_ur、右隣に画素B_cr、および右下隣に画素Gr_brが配置されている。
【００４６】
図４乃至図７において、横軸は波長を表しており、図４には、380ｎｍ〜450ｎｍが示されており、図５には、460ｎｍ〜530ｎｍが示されており、図６には、540ｎｍ〜610ｎｍが示されており、図７には、620ｎｍ〜680ｎｍが示されている。また、図４乃至図７において、縦軸はクロストークの割合が示されている。
【００４７】
図４乃至図７に基づいて、例えば、斜め方向に配置されている画素、つまり、左上隣の画素Gr_ul、左下隣の画素Gr_bl、右上隣の画素Gr_ur、および右下隣の画素Gr_brからのクロストークが少ないことが判る。一方、上下左右方向に配置されている画素、つまり、
上隣の画素R_uc、下隣の画素R_bc、左隣の画素B_cl、および右隣の画素B_crからのクロストークが多いことが判る。また、短波長側（例えば、400〜470ｎｍ）では、画素Bからのクロストークが多いことが判る。
【００４８】
このように、画素Gb_ccの周囲に配置されている８つの画素から、画素Gb_ccに漏れ込む信号量が求められる。逆に言えば、画素Gb_ccの周囲に配置されている８つの画素からは、求められた信号量がそれぞれ漏れ出していることになる。従って、それぞれの画素から出力される信号に対して、演算により漏れ出した信号量を戻すことにより、発生したクロストークを仮想的に改善することができる。
【００４９】
また、図４乃至図７に示した画素Gbと同様に、画素Gr、画素B、および画素Rについても、それぞれの周囲に配置されている８つの画素からのクロストークの量を求めることができる。そして、画素Gb、画素Gr、画素B、および画素Rごとに求められたクロストークの量から、クロストーク補正部５２がクロストークを補正する処理で使用する補正マトリックスを算出することができる。
【００５０】
まず、図４に示したようなデータから、周囲に配置されている８つの画素に漏れた信号量を、画素Gb、画素Gr、画素B、および画素Rごとについて抽出する。次に、周囲に配置されている８つの画素に漏れた信号量を合計する。そして、漏れた信号量と、合計した信号量とを、画素から出力される出力信号の信号値で割ってノーマライズする。ここで、このノーマライズした数値を、以下適宜、混色量比と称する。
【００５１】
そして、中央の画素から、左上隣の画素への混色量比をａとし、上隣の画素への混色量比をｂとし、右上隣の画素への混色量比をｃとし、左隣の画素への混色量比をｄとし、右隣の画素への混色量比をｅとし、左下隣の画素への混色量比をｆとし、下隣の画素への混色量比をｇとし、右上隣の画素への混色量比をｈとすると、補正マトリックスは、次の式（１）で表される。
【００５２】
【数１】
・・・（１）
【００５３】
但し、式（１）において、ｉは、ｉ＝ａ＋ｂ＋ｃ＋ｄ＋ｅ＋ｆ＋ｇ＋ｈにより求められる数値である。
【００５４】
なお、混色が発生していない場合の補正マトリックスは、次の式（２）となる。
【００５５】
【数２】
・・・（２）
【００５６】
従って、画素B、画素Gb、画素Gr、および画素Rそれぞれを中央の画素として、画素B、画素Gb、画素Grおよび画素Rごとに、補正マトリックスを算出することができる。
【００５７】
例えば、図９には、図４乃至図７に示されたクロストークの関係から求められた画素B、画素Gb、画素Gr、および画素Rそれぞれの補正マトリックスの一例が示されている。
【００５８】
また、図９に示すように、画素Bの補正マトリックスの補正量は、他の補正マトリックスの補正量よりも大きくなっている。これは、画素Bから隣接する画素へのクロストークの量が多いことを示唆している。
【００５９】
そして、画素B、画素Gb、画素Gr、および画素Rそれぞれの補正マトリックスが、クロストーク補正部５２に記憶されており、クロストーク補正部５２は、それらの補正マトリックスを用いてクロストークを補正する処理を行う。
【００６０】
例えば、図１０に示すように、クロストーク補正部５２は、隣接画素へのクロストークの量を割り戻すことにより、クロストークを補正する。つまり、画素B、画素Gb、画素Gr、および画素Rそれぞれを中央とした参照エリアに対して、図９に示した補正マトリックスを適用させる処理を、例えば、ラスタスキャン順に行う。そして、画素B、画素Gb、画素Gr、および画素Rそれぞれについて、周囲の画素に漏れ出した信号量を割り戻す演算（1.48B-10154A-0.05C…）を行うことでクロストークを補正する。
【００６１】
具体的には、クロストーク補正部５２は、次の式（３）を演算することにより、クロストークを補正する。
【００６２】
【数３】
・・・（３）
【００６３】
但し、式（３）において、Corrected_Signal(y,x)は、座標(x,y)の補正後の画素信号であり、Signal(y,x)は、座標(x,y)の画素信号である。Mulは、左上隣の画素の補正マトリックスであり、Mclは、左隣の画素の補正マトリックスであり、Mblは、左下隣の画素の補正マトリックスである。Mucは、上隣の画素の補正マトリックスであり、Mccは、中央の画素の補正マトリックスであり、Mbcは、下隣の画素の補正マトリックスである。Murは、右上隣の画素の補正マトリックスであり、Mcrは、右隣の画素の補正マトリックスであり、Mbrは、右下隣の画素の補正マトリックスである。また、これら補正マトリックスにつく括弧内の値（i,j）により、それぞれ対応する補正マトリックスのi行およびj列の要素が表される。
【００６４】
また、クロストーク補正部５２は、画素B、画素Gb、画素Gr、および画素Rごとに補正マトリックスを保持しており、それぞれの画素位置に相当する補正マトリックスを使用して、クロストークを補正する演算を行う。
【００６５】
このようにしてクロストーク補正部５２によりクロストークが補正されることにより、分光特性が向上する。
【００６６】
図１１には、クロストーク補正部５２がクロストークを補正した後の分光特性が示されている。図１１において、横軸は、横軸は波長（Wavelength（nm））を表し、縦軸は出力信号（Output Signal（a.u））を表している。
【００６７】
図１１に示すように、大幅に分光が改善されている。つまり、図２Ａに示されている補正前の分光と比較して、図１１に示されている補正後の分光は、曲線の傾斜が急勾配になっている。
【００６８】
また、補正前の分光と、補正後の分光とを用いて、ホワイトバランスの係数およびリニアマトリックスを算出して適用した後、信号とノイズの比が１０になる照度（以下、SNR１０と称する）をそれぞれについて求めた。なお、ノイズは、１画素あたりの暗電流、アナログフロントエンドのノイズともに2.0電子がランダムに発生すると仮定した。
【００６９】
図１２は、補正マトリックスを適用する前の分光と、補正マトリックスを適用した後の分光とから求められたSNR１０を示す図である。
【００７０】
図１２に示すように、補正マトリックスを適用する前のSNR１０が284.2luxであったのに対し、補正マトリックスを適用することで、SNR１０が154.6luxになるまで分光を改善することができた。
【００７１】
次に、図１の裏面照射型CMOSイメージセンサー３１を採用した撮像素子４４を用いて、開放値が2.8のレンズで撮像した場合の例について説明する。
【００７２】
開放値が増加すると斜入射成分が増えるため、クロストークも増えることになる。従って、レンズの開放値に応じて、クロストーク補正部５２が使用する補正マトリックスの値を変更する必要がある。このため、クロストーク補正部５２は、レンズの開放値に応じたマトリックスを使用してクロストークを補正することができるように構成されている。
【００７３】
図１３は、クロストーク補正部５２の構成例を示す図である。
【００７４】
図１３に示すように、クロストーク補正部５２は、マトリックス保持用メモリ６１、レンズデータ取得部６２、マトリックス生成部６３、および補正演算部６４を備えて構成される。
【００７５】
マトリックス保持用メモリ６１には、入射角度ごとのマトリックスである基本マトリックスが、画素B、画素Gb、画素Gr、および画素Rごとに記憶されている。
【００７６】
レンズデータ取得部６２は、レンズユニット４２と通信を行って、レンズユニット４２が有するレンズの現在の開放値を取得する。そして、レンズデータ取得部６２は、レンズの開放値に応じて決定される入射角度を示す立体角情報をマトリックス生成部６３に供給する。
【００７７】
マトリックス生成部６３は、レンズデータ取得部６２から供給された立体角情報に基づき、その立体角情報により示される入射角度に最も近い２つの基本マトリックスを、画素B、画素Gb、画素Gr、および画素Rごとにマトリックス保持用メモリ６１から読み出す。そして、マトリックス生成部６３は、マトリックス保持用メモリ６１から読み出した２つの基本マトリックスを合成して、画素B、画素Gb、画素Gr、および画素Rごとに補正マトリックスを生成する。
【００７８】
例えば、レンズの開放値が2.8であるとき、図１４に示すような球座標系のθ方向について±10.2°傾いて光が入射される。そのため、例えば、マトリックス保持用メモリ６１に、球座標系のθ方向について５度ごとで、球座標系のφ方向について４５度ごとの基本マトリックスが記憶されている場合には、θ＝5°とθ＝10°との基本マトリックスの要素である１７個のデータから補正マトリックスが生成される。例えば、マトリックス生成部６３は、これらの基本マトリックスに対して、立体角情報により示される入射角度に従って線形補間（内挿）することで、補正マトリックスを生成する。
【００７９】
補正演算部６４には、図３のCDS回路５１から画像信号（Raw Data）が順次供給される。補正演算部６４は、その画像信号に対して、マトリックス生成部６３により生成された補正マトリックスを適用する演算を行う。つまり、補正演算部６４は、上述した式（３）を演算することにより、画素B、画素Gb、画素Gr、および画素Rごとにクロストークを補正する。そして、補正演算部６４は、補正後の画像信号をAGC回路５３に順次供給する。
【００８０】
図１５は、図１３に示すクロストーク補正部５２がクロストークを補正する処理を説明するフローチャートである。
【００８１】
例えば、撮像装置４１（図３）では、電源が投入されて起動すると処理が開始され、ステップＳ１１において、レンズデータ取得部６２は、レンズユニット４２と通信を行って、レンズユニット４２が有するレンズの現在の開放値を取得する。また、レンズデータ取得部６２は、シャッタ装置４３においてレンズの開放値が変更されると、その変更後の開放値を取得する。そして、レンズデータ取得部６２は、レンズの開放値に応じて決定される入射角度を示す立体角情報をマトリックス生成部６３に供給する。
【００８２】
ステップＳ１１の処理後、処理はステップＳ１２に進み、マトリックス生成部６３は、レンズデータ取得部６２から供給された立体角情報に基づき、マトリックス保持用メモリ６１から基本マトリックスを読み出し、処理はステップＳ１２に進む。
【００８３】
ステップＳ１３において、マトリックス生成部６３は、ステップＳ１２で読み出した基本マトリックスを合成して補正マトリックスを生成し、その補正マトリックスを補正演算部６４に供給し、処理はステップＳ１４に進む。
【００８４】
ステップＳ１４において、補正演算部６４は、ステップＳ１３でマトリックス生成部６３から供給された補正マトリックスを使用し、図３のCDS回路５１から順次供給される画像信号（Raw Data）に対してクロストークを補正する処理を施す。そして、補正演算部６４は、その補正後の画像信号をAGC回路５３に順次供給する。
【００８５】
以上のように、クロストーク補正部５２は、画像信号に対してクロストークを補正する処理を行い、クロストークが補正された画像信号を出力する。従って、この画像信号に基づいて画像を構築することで、クロストークが含まれていたことによる画質の劣化を抑制し、より高画質な画像を得ることができる。
【００８６】
そして、クロストーク補正部５２では、現在のレンズの開放値に従って、マトリックス生成部６３が、画素B、画素Gb、画素Gr、および画素Rごとに補正マトリックスを生成する。例えば、図１６には、マトリックス生成部６３が生成した画素B、画素Gb、画素Gr、および画素Rそれぞれの補正マトリックスが示されている。なお、開放することでクロストークが増加するため、補正マトリックスを構成する要素の絶対値は大きくなる。
【００８７】
このように、クロストーク補正部５２では、レンズの開放値に従って補正マトリックスが生成されるので、撮像素子４４の受光面に光が入射する入射角度に応じて適切な補正を行うことができる。
【００８８】
例えば、図１７には、補正マトリックスを適用する前の分光と、レンズの開放値に応じて生成された補正マトリックスを適用した後の分光とから求められたSNR１０が示されている。レンズの開放値に従った立体角を考慮することで、図１２に示した場合よりも、SNR１０が改善されており、この補正マトリックスを適用した後のSNR１０は175.0luxとなっている。
【００８９】
さらに、クロストーク補正部５２が演算によりクロストークの発生を補正することで、撮像素子４４を製造する際の理収率を向上させることができ、撮像素子４４の製造コストを低減させることができる。
【００９０】
また、マトリックス保持用メモリ６１に記憶されている基本マトリックスが、入射角度が５度ごとに求められたものとし、基本マトリックスから補正マトリックスを生成することで、マトリックス保持用メモリ６１に必要な記憶容量の増加を抑制し、かつ、レンズの開放値に応じた入射角度による補正を行うことができる。
【００９１】
ここで、撮像素子４４を構成する画素の微細化に伴って、フォトダイオードの製造バラツキに起因してクロストークにバラツキが発生している。即ち、撮像素子４４に発生するクロストークが個体ごとに異なるものとなる。従って、撮像素子４４の個体ごとに適合する補正マトリックスを使用してクロストークの補正を行うことで、補正精度が向上することになる。
【００９２】
さらに、撮像素子４４において発生するクロストークとしては、光が内部の進行中に隣接画素に漏れるために発生するクロストークと、フォトダイオード中の電子が離接画素に漏れるために発生するクロストークとがある。以下、適宜、光が内部の進行中に隣接画素に漏れるために発生するクロストークを補正するための補正マトリックスを集光構造用マトリックスと称し、フォトダイオード中の電子が離接画素に漏れるために発生するクロストークを補正するための補正マトリックスをフォトダイオード用マトリックスと称する。
【００９３】
図１８には、裏面照射型CMOSイメージセンサー３１（図１）を採用した撮像素子４４を用いて、開放値が2.8のレンズで撮像した場合において、集光構造用マトリックスとフォトダイオード用マトリックスとの２種類に分離して表現された補正マトリックスが示されている。
【００９４】
このような２種類の補正マトリックスを用いてクロストークの補正を行うと、図１５のフローチャートを参照して説明した場合と同様の効果を得ることができる。このように、補正マトリックスを集光構造用マトリックスとフォトダイオード用マトリックスとに分けることで、デバイス出荷検査時の値を参考に、集光構造用マトリックスとフォトダイオード用マトリックスの値をそれぞれ独立して変更することができる。
【００９５】
つまり、図１９に示されているクロストーク補正部５２のように、マトリックス保持用メモリ６１には、集光構造工程ＰＱＣ（Process Quality Control：工程品質管理）データに基づいて求められた集光構造用マトリックスと、フォトダイオード形成工程ＰＱＣデータに基づいて求められたフォトダイオード用マトリックスとが記憶される。
【００９６】
例えば、フォトダイオード中の電子が離接画素に漏れるために発生するクロストークが大きくなるような製造誤差を検出した場合には、フォトダイオード用マトリックスの絶対値をその検出値に応じて大きくする。また、オンチップレンズ２９（図１）が高い位置に配置されるようなエラーを検出した場合には、光が内部の進行中に隣接画素への漏れが大きくなると想定され、集光構造用マトリックスの絶対値をその検出値に応じて大きくする。
【００９７】
このように、デバイス出荷検査時の値を参考に、集光構造用マトリックスとフォトダイオード用マトリックスの値をそれぞれ独立して変更することで、クロストークを補正する補正精度を向上させることができる。また、この集光構造用マトリックスとフォトダイオード用マトリックスは、撮像素子４４の個体ごとに適合するように求められて、それぞれの撮像装置４１のマトリックス保持用メモリ６１に保持される。
【００９８】
ところで、一般的に、撮像装置４１において、画素ごとに入射方向（受光面に対して入射光が向かってくる方向）が異なるカメラレンズが使用されている。特に、携帯電話機用の撮像装置や、コンパクトデジタルスチルカメラでは、装置自体が小型化されることにより、レンズ設計時に射出瞳距離が小さくなる設計が行われている。
【００９９】
このように、画素ごとに入射方向が異なると、画素ごとにクロストークが発生する量が異なることになる。
【０１００】
例えば、図２０には、受光面に対して垂直に光が入射したときの裏面照射型CMOSイメージセンサー３１の内部での電子の動きが模式的に示されている。また、図２１には、受光面に対して斜めに光が入射したときの裏面照射型CMOSイメージセンサー３１の内部での電子の動きが模式的に示されている。なお、図２０および２１において、矢印の太さは、電子の動きやすさを表している。
【０１０１】
図２０に示すように、光が垂直に入射した場合には、裏面照射型CMOSイメージセンサー３１の表面でクロストーク（信号電荷の漏れ）が多いフォトダイオード設計になっているとき、短波長側でクロストークが大きくなる。つまり、クロストークには波長依存性がある。
【０１０２】
一方、図２１に示すように、光が斜めに入射した場合には、長波長側でもクロストークが増加する。つまり、入射角やフォトダイオード設計によって、クロストークが発生する量が異なってくるため、より効果的にクロストークを補正するには補正マトリックスを適切に変更する必要がある。そして、その変更を加えた補正マトリックスがマトリックス保持用メモリ６１に保持される。
【０１０３】
図２２には、例えば、主光線角度が像光４割であるときに１０°、主光線角度が像光８割であるときに２０°となるレンズを仮定して求められた、入射方向と受光面の垂線との成す角度が１０°および２０°で必要となる補正マトリックスが示されている。
【０１０４】
図２２に示す補正マトリックスは、入射面がｘ軸（水平方向）と平行になっている場合の値である。画角中央の補正マトリックス（図９）と比較すると、入射方向を示す角度が１０°および２０°で必要となる補正マトリックスは、大きく異なる値となる。特に、右画素へのクロストークが増加する方向に傾いているため、補正マトリックスの右側の要素の絶対値が大きくなることが判る。このように、光の入射方向に応じて画素ごとに値の異なる（例えば、受光面の中央部分の画素と受光面の周辺部分の画素とで異なる）補正マトリックスを使用することで、撮像素子４４の全面に亘ってクロストークを適切に補正することができる。
【０１０５】
図２３には、光の入射方向に応じて異なる補正マトリックスを使用してクロストークの補正を行った場合に、入射方向を示す角度が０°、１０°、および２０°におけるSNR１０が示されている。図２３において、横軸は入射角度（Angle（degree））を示し、縦軸はSNR１０（lux）を示している。
【０１０６】
図２３に示すように、全方向（０°、１０°、および２０°それぞれ）についてSNR１０が175.0 lux以下に抑えられていることが判る。即ち、全ての画角においてもSN比を改善することができる。また、入射方向を示す角度が大きいほどSNR１０の改善量が大きいことが判る。
【０１０７】
なお、本実施の形態においては、最も一般的なベイヤー配列のカラーフィルタを備えた固体撮像素子について説明を行ったが、例えば、カラーフィルタを備えていない（つまり、単色の）固体撮像素子の場合は、画素の色ごとの補正マトリックスを使用する必要はなく、より簡単にクロストークを補正することができる。また、補正マトリックスを使用した補正は、補色カラーフィルタを用いる場合、または、ベイヤー配列以外の配列のカラーフィルタ（例えば、クリアビット配列）を用いる場合にも適用することができる。つまり、補正マトリックスを使用した補正は広範囲に適用することができる。
【０１０８】
また、上述したような画像処理装置４６は、例えば、デジタルスチルカメラやデジタルビデオカメラなどの撮像システム、撮像機能を備えた携帯電話機、または、撮像機能を備えた他の機器といった各種の電子機器に適用することができる。
【０１０９】
さらに、上述した実施の形態では、撮像素子４４として、裏面照射型CMOSイメージセンサー３１が採用された構成例を示しているが、撮像素子４４の構造は、表面照射型CMOSイメージセンサー２１（図１）や、CCD型固体撮像素子などに適用することができる。
【０１１０】
なお、上述した一連の処理は、ハードウエアにより実行することもできるし、ソフトウエアにより実行することもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、専用のハードウエアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、プログラム記録媒体からインストールされる。
【０１１１】
コンピュータでは、ROM（Read Only Memory）に記憶されているプログラムや、ハードディスクや不揮発性のメモリなどよりなる記憶部に記憶されているプログラムなどが、RAM（Random Access Memory）にロードされ、CPU（Central Processing Unit）により実行される。それにより、上述した一連の処理が行われる。
【０１１２】
また、それらのプログラムは、あらかじめ記憶部に記憶させておく他、ネットワークインタフェースなどよりなる通信部を介して、あるいは、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(Compact Disc-Read Only Memory),DVD(Digital Versatile Disc)等）、光磁気ディスク、または半導体メモリなどのリムーバブルメディアを駆動するドライブを介して、コンピュータにインストールすることができる。
【０１１３】
さらに、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。また、プログラムは、１つのCPUにより処理されるものであっても良いし、複数のCPUによって分散処理されるものであっても良い。
【０１１４】
なお、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。
【符号の説明】
【０１１５】
４１ 撮像装置， ４２ レンズユニット， ４３ シャッタ装置， ４４ 撮像素子， ４５ 駆動回路， ４６ 画像処理装置， ４７ モニタ， ５１ CDS回路， ５２ クロストーク補正部， ５３ AGC回路， ５４ A/D変換回路， ５５ ホワイトバランス調整回路， ５６ 補間処理回路， ５７ エッジ強調処理回路， ５８ リニアマトリックス演算回路， ５９ γ補正回路， ６１ マトリックス保持用メモリ， ６２ レンズデータ取得部， ６３ マトリックス生成部
【特許請求の範囲】
【請求項１】
光を受光する複数の画素を有する撮像素子における隣接する画素からの光または電子の漏れにより発生するクロストークを補正する補正マトリックスを記憶する記憶部と、
前記記憶手段に記憶されている前記補正マトリックスを、前記撮像素子から出力される前記画素ごとの画像信号に対して適用する演算を行う演算部と
を備える画像処理装置。
【請求項２】
前記記憶部には、前記撮像素子の受光面に光が入射する入射角度ごとに求められたマトリックスである基本マトリックスが記憶されており、
前記撮像素子の受光面に光を集光させるレンズの開放値を取得する取得部と、
前記取得部により取得された前記開放値に応じた前記入射角度に対応する前記基本マトリックスを前記記憶部から読み出し、読み出した前記基本マトリックスから前記開放値に従って前記補正マトリックスを生成する生成部と
をさらに備え、
前記演算部は、前記生成部により生成された前記補正マトリックスを使用して前記演算を行う
請求項１に記載の画像処理装置。
【請求項３】
前記記憶部に記憶されている基本マトリックスは、前記入射角度が５度ごとに求められたものである
請求項２に記載の画像処理装置。
【請求項４】
前記記憶部には、前記撮像素子の受光面に光が入射する入射方向ごとに求められた前記補正マトリックスが記憶されており、
前記演算部は、前記撮像素子の画素の位置に応じた前記入射方向に対応する前記補正マトリックスを使用して前記演算を行う
請求項１に記載の画像処理装置。
【請求項５】
前記補正マトリックスは、前記撮像素子の内部を光が進行する中で隣接する画素に漏れることにより発生するクロストークに対応する第１のマトリックスと、前記撮像素子が有するフォトダイオード中の電子が漏れることにより発生するクロストークに対応する第２のマトリックスとにより構成されている
請求項１に記載の画像処理装置。
【請求項６】
前記第１のマトリックスおよび前記第２のマトリックスは、前記撮像素子の個体ごとに設定されたものである
請求項５に記載の画像処理装置。
【請求項７】
前記補正マトリックスは、前記撮像素子が有するカラーフィルタの色ごとに求められたものである
請求項１に記載の画像処理装置。
【請求項８】
前記補正マトリックスは、３行かつ３列の行列で表される
請求項１に記載の画像処理装置。
【請求項９】
光を受光する複数の画素を有する撮像素子における隣接する画素からの光または電子の漏れにより発生するクロストークを補正する補正マトリックスを記憶する記憶部に記憶されている前記補正マトリックスを読み出し、
前記補正マトリックスを、前記撮像素子から出力される前記画素ごとの画像信号に対して適用する演算を行う
ステップを含む画像処理方法。
【請求項１０】
光を受光する複数の画素を有する撮像素子と、
前記撮撮像素子における隣接する画素からの光または電子の漏れにより発生するクロストークを補正する補正マトリックスを記憶する記憶部と、
前記記憶手段に記憶されている前記補正マトリックスを、前記撮像素子から出力される前記画素ごとの画像信号に対して適用する演算を行う演算部と
を備える電子機器。
【請求項１】
光を受光する複数の画素を有する撮像素子における隣接する画素からの光または電子の漏れにより発生するクロストークを補正する補正マトリックスを記憶する記憶部と、
前記記憶手段に記憶されている前記補正マトリックスを、前記撮像素子から出力される前記画素ごとの画像信号に対して適用する演算を行う演算部と
を備える画像処理装置。
【請求項２】
前記記憶部には、前記撮像素子の受光面に光が入射する入射角度ごとに求められたマトリックスである基本マトリックスが記憶されており、
前記撮像素子の受光面に光を集光させるレンズの開放値を取得する取得部と、
前記取得部により取得された前記開放値に応じた前記入射角度に対応する前記基本マトリックスを前記記憶部から読み出し、読み出した前記基本マトリックスから前記開放値に従って前記補正マトリックスを生成する生成部と
をさらに備え、
前記演算部は、前記生成部により生成された前記補正マトリックスを使用して前記演算を行う
請求項１に記載の画像処理装置。
【請求項３】
前記記憶部に記憶されている基本マトリックスは、前記入射角度が５度ごとに求められたものである
請求項２に記載の画像処理装置。
【請求項４】
前記記憶部には、前記撮像素子の受光面に光が入射する入射方向ごとに求められた前記補正マトリックスが記憶されており、
前記演算部は、前記撮像素子の画素の位置に応じた前記入射方向に対応する前記補正マトリックスを使用して前記演算を行う
請求項１に記載の画像処理装置。
【請求項５】
前記補正マトリックスは、前記撮像素子の内部を光が進行する中で隣接する画素に漏れることにより発生するクロストークに対応する第１のマトリックスと、前記撮像素子が有するフォトダイオード中の電子が漏れることにより発生するクロストークに対応する第２のマトリックスとにより構成されている
請求項１に記載の画像処理装置。
【請求項６】
前記第１のマトリックスおよび前記第２のマトリックスは、前記撮像素子の個体ごとに設定されたものである
請求項５に記載の画像処理装置。
【請求項７】
前記補正マトリックスは、前記撮像素子が有するカラーフィルタの色ごとに求められたものである
請求項１に記載の画像処理装置。
【請求項８】
前記補正マトリックスは、３行かつ３列の行列で表される
請求項１に記載の画像処理装置。
【請求項９】
光を受光する複数の画素を有する撮像素子における隣接する画素からの光または電子の漏れにより発生するクロストークを補正する補正マトリックスを記憶する記憶部に記憶されている前記補正マトリックスを読み出し、
前記補正マトリックスを、前記撮像素子から出力される前記画素ごとの画像信号に対して適用する演算を行う
ステップを含む画像処理方法。
【請求項１０】
光を受光する複数の画素を有する撮像素子と、
前記撮撮像素子における隣接する画素からの光または電子の漏れにより発生するクロストークを補正する補正マトリックスを記憶する記憶部と、
前記記憶手段に記憶されている前記補正マトリックスを、前記撮像素子から出力される前記画素ごとの画像信号に対して適用する演算を行う演算部と
を備える電子機器。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【公開番号】特開２０１２−１６９８３０（Ｐ２０１２−１６９８３０Ａ）
【公開日】平成２４年９月６日（２０１２．９．６）
【国際特許分類】
【出願番号】特願２０１１−２８６３１（Ｐ２０１１−２８６３１）
【出願日】平成２３年２月１４日（２０１１．２．１４）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
【公開日】平成２４年９月６日（２０１２．９．６）
【国際特許分類】
【出願日】平成２３年２月１４日（２０１１．２．１４）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
[ Back to top ]