画像処理装置
【課題】混色の影響を効果的に低減可能とする画像処理装置を提供すること。
【解決手段】実施形態によれば、画像処理装置は、混色補正部１３を有する。混色補正部１３は、固体撮像素子に配列された対象画素の信号レベルと、対象画素の周辺に位置する周辺画素の信号レベルとを参照する。混色補正部１３は、周辺画素に対応するカラーフィルタを通過した入射光が対象画素へ進行することによる混色を補正する。混色補正部１３は、周辺画素である赤色画素の信号レベルに応じて算出された補正量を、対象画素の信号レベルから減算する。
【解決手段】実施形態によれば、画像処理装置は、混色補正部１３を有する。混色補正部１３は、固体撮像素子に配列された対象画素の信号レベルと、対象画素の周辺に位置する周辺画素の信号レベルとを参照する。混色補正部１３は、周辺画素に対応するカラーフィルタを通過した入射光が対象画素へ進行することによる混色を補正する。混色補正部１３は、周辺画素である赤色画素の信号レベルに応じて算出された補正量を、対象画素の信号レベルから減算する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明の実施形態は、画像処理装置に関する。
【背景技術】
【０００２】
ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）センサ等の固体撮像素子は、汎用のＰ型シリコン基板を適用して単板式のセンサを構成する場合に、混色と呼ばれる現象が生じる場合がある。混色は、カラーフィルタを通過した光が、本来集光されるべき画素とは別の画素へ漏れ込むことに起因する。混色の発生は、色再現性の低下、解像度の低下等の影響を及ぼすこととなる。また、各色光用の画素を例えばベイヤー配列とする場合に、赤色画素と隣り合う緑色画素と、青色画素と隣り合う緑色画素とで、混色の影響による出力レベルの差が生じる場合がある。出力レベルの差が生じた画像信号は、デモザイク処理等の画像処理の際に、格子状のノイズを生じさせることにもなる。このような背景から、混色の影響を効果的に低減させることが望まれている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００９−１２４２８２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
本発明の一つの実施形態は、混色の影響を効果的に低減可能とする画像処理装置を提供することを目的とする。
【課題を解決するための手段】
【０００５】
本発明の一つの実施形態によれば、画像処理装置は、混色補正部を有する。前記混色補正部は、固体撮像素子に配列された対象画素の信号レベルと、前記対象画素の周辺に位置する周辺画素の信号レベルとを参照する。前記混色補正部は、前記周辺画素に対応するカラーフィルタを通過した入射光が前記対象画素へ進行することによる混色を補正する。前記混色補正部は、前記周辺画素である赤色画素の信号レベルに応じて算出された補正量を、前記対象画素の信号レベルから減算する。
【図面の簡単な説明】
【０００６】
【図１】第１の実施形態の画像処理装置を適用したカメラモジュールのブロック図。
【図２】混色補正部の構成を示すブロック図。
【図３】画素の配列について説明する図。
【図４】混色について説明する図。
【図５】第２の実施形態の画像処理装置に適用される混色補正部の構成を示すブロック図。
【図６】第３の実施形態の画像処理装置に適用される混色補正部及びローパスフィルタの構成を示すブロック図。
【発明を実施するための形態】
【０００７】
以下に添付図面を参照して、実施形態にかかる画像処理装置を詳細に説明する。なお、これらの実施形態により本発明が限定されるものではない。
【０００８】
（第１の実施形態）
図１は、第１の実施形態の画像処理装置を適用したカメラモジュールのブロック図である。カメラモジュールは、画像処理装置１、撮像レンズ２、センサ部３及びＡＤ変換部４を備える。撮像レンズ２は、被写体からの光を取り込み、センサ部３に被写体像を結像させる。
【０００９】
センサ部３は、被写体からの光を信号電荷に変換することにより、被写体像を撮像する固体撮像素子である。センサ部３は、光電変換素子を含む画素セルのそれぞれに積層されたカラーフィルタを有する。Ｒ画素は、赤色（Ｒ）光を透過させるカラーフィルタが積層された画素とする。Ｇ画素は、緑色（Ｇ）光を透過させるカラーフィルタが積層された画素とする。Ｂ画素は、青色（Ｂ）光を透過させるカラーフィルタが積層された画素とする。Ｇｒ画素は、水平方向においてＲ画素と並列するＧ画素とする。Ｇｂ画素は、水平方向においてＢ画素と並列するＧ画素とする。
【００１０】
センサ部３は、Ｒ、Ｇ、Ｂの感度レベルをベイヤー配列に対応する順序で取り込み、アナログ信号を生成する。ベイヤー配列は、Ｇｒ、Ｒ、Ｇｂ、Ｂの４画素を単位として構成されている。ＡＤ変換部４は、センサ部３からのアナログ信号をデジタル信号に変換する（ＡＤ変換）。
【００１１】
画像処理装置１は、ＡＤ変換部４からのデジタル画像信号に対して、以下に説明する種々の画像処理を施す。キズ補正部１１は、センサ部３において正常に機能していない画素によるデジタル画像信号の欠損部分（キズ）を補正するためのキズ補正を実施する。ノイズキャンセル部１２は、ノイズを低減させるためのノイズキャンセル処理を実施する。
【００１２】
混色補正部１３は、混色補正を実施する。画素補間部１６は、ベイヤー配列の順序で伝達されてくるデジタル画像信号に対して、補間処理（デモザイク処理）を実施し、不足色成分の信号レベルを生成する。カラーマトリクス部１７は、色再現性を得るためのカラーマトリクス演算処理（色再現性処理）を実施する。
【００１３】
ガンマ補正部２０は、画像の階調を補正するためのガンマ補正を実施する。ＹＵＶ変換部２１は、Ｒ、Ｇ、Ｂの感度信号から輝度（Ｙ）信号及び色差（ＵＶ）信号を生成することにより、画像信号をＲＧＢ形式からＹＵＶ形式（例えば、ＹＵＶ４２２など）へ変換する。輪郭強調部２３は、センサ部３による撮像条件及び各画素の位置に基づいて算出した補正係数を用いて、Ｙ信号を対象とする輪郭強調処理を実施する。
【００１４】
ＡＷＢ／ＡＥ演算部１８は、ＡＷＢ（Ａｕｔｏ Ｗｈｉｔｅ Ｂａｌａｎｃｅ）、ＡＥ（Ａｕｔｏ Ｅｘｐｏｓｕｒｅ）のための各係数を算出する。レンズシェーディング演算部１９は、シェーディング補正のための係数を算出する。デジタルＡＭＰ係数回路１４は、ＡＷＢ／ＡＥ演算部１８で算出された係数と、レンズシェーディング演算部１９で算出された係数とを基にしてデジタルＡＭＰ係数を算出する。
【００１５】
ラインメモリ１０は、ＡＤ変換部４からのデジタル画像信号を一時的に貯える。キズ補正部１１及びノイズキャンセル部１２は、ラインメモリ１０を共用する。ラインメモリ１５は、デジタルＡＭＰ係数回路１４からのデジタル画像信号を一時的に貯える。ラインメモリ２２は、ＹＵＶ変換部２１からのＹ信号及びＵＶ信号を一時的に貯える。
【００１６】
図２は、混色補正部の構成を示すブロック図である。混色補正部１３は、比較器（ＣＯＭＰ）３１、カウンタ調整部３２及びセレクタ３３を有する。混色補正部１３は、対象画素の信号レベルと周辺画素の信号レベルとを参照し、周辺画素に対応するカラーフィルタを通過した入射光が対象画素へ進行することによる混色を補正する。対象画素は、混色補正の対象とする画素であって、この例ではＧｒ画素とする。周辺画素は、対象画素の周辺に位置する画素であって、この例ではＲ画素とする。
【００１７】
図３は、画素の配列について説明する図である。混色補正部１３には、ＲＡＷ画像データがラインごと（Ｇｒ／Ｒライン、Ｇｂ／Ｂライン）に入力される。本実施形態では、混色補正部１３は、水平方向の３画素のうち中心となるＧｒ画素を対象画素とし、対象画素の左右のＲ画素を周辺画素として、混色補正を実施する。混色補正部１３は、センサ部３において対象画素と一次元方向に並列するＲ画素の信号レベルを参照する。
【００１８】
フリップフロップ（ＦＦ）は、画素ごとの信号レベルを保持する。混色補正部１３は、２つのＦＦによって２画素の信号を保持し、対象画素及び周辺画素についての信号を同時刻化する。ＣＯＭＰ３１は、周辺画素である２つのＲ画素の信号レベルの平均値ＡとＲ用閾値Ｂとを比較する。平均値Ａは、例えば相加平均とする。Ｒ用閾値Ｂは、混色補正部１３に予め設定されている。Ａ＞Ｂが成立する場合、ＣＯＭＰ３１は、例えば「１」を出力する。Ａ＞Ｂが成立しない場合、ＣＯＭＰ３１は、例えば「０」を出力する。
【００１９】
カウンタ調整部３２は、Ｖ／Ｈカウンタに応じて、３画素の中心がＧｒ画素であるときに「１」、それ以外のときに「０」を出力する。セレクタ３３は、Ａ＞Ｂが成立しかつ中心がＧｒ画素である場合、補正係数と平均値Ａとの乗算により得た補正量を選択する。補正係数は、混色補正部１３に予め設定されている。混色補正部１３は、セレクタ３３で選択した補正量をＧｒ画素の信号レベルから減算して、得られた値を出力する。このように、混色補正部１３は、周辺画素であるＲ画素の信号レベルがＲ用閾値より大きい場合に、Ｒ画素の信号レベルに応じて算出された補正量を、対象画素であるＧｒ画素の信号レベルから減算する。
【００２０】
中心の画素がＧｒ画素であってＡ＞Ｂが成立しない場合、セレクタ３３は、’ｄ０を選択する。この場合、混色補正部１３は、Ｇｒ画素の信号レベルをそのまま出力する。中心の画素がＧｒ画素以外である場合も、混色補正部１３は、セレクタ３３で’ｄ０を選択することにより、その画素の信号レベルをそのまま出力する。
【００２１】
図４は、混色について説明する図である。単板式の固体撮像素子の場合、各色光のうち長波長である色光用の画素（例えばＲ画素）の信号が、他の色光用の画素（例えばＧ画素）に漏れこむ混色が生じる場合がある。Ｒ画素の信号がＧ画素の信号に漏れこむことにより、Ｇ画素の出力のうちＲ画素の出力と重なる裾部分は、破線で示す本来の出力よりも長波長側に拡張している。
【００２２】
ベイヤー配列の場合は、Ｒ画素の隣に位置するＧｒ画素とＢ画素の隣に位置するＧｂ画素とで、混色による信号の漏れこみレベルが異なることによって、出力レベルに差が出る場合もある。このような出力レベルの差は、デモザイク処理等の画像処理によって格子状のノイズを生じさせる原因となる。
【００２３】
混色補正部１３は、Ｒ画素の信号レベルに応じてＧｒ画素の補正量を可変とすることで、漏れこみレベルの差を精度良く補正することができる。画像処理装置１は、混色補正部１３を適用することにより、混色の影響を効果的に低減することが可能となる。混色補正部１３は、周辺画素であるＲ画素の信号レベルに対して線形特性を持たせた補正量を適用する場合に限られず、非線形特性を持たせた補正量を適用することとしても良い。
【００２４】
（第２の実施形態）
図５は、第２の実施形態の画像処理装置に適用される混色補正部の構成を示すブロック図である。本実施形態の混色補正部４０は、固体撮像素子において対象画素と二次元方向に並列するＲ画素の信号レベルを参照して、混色補正を実施する。
【００２５】
混色補正部４０は、３つのＲ演算部４１、４２、４３、比較器（ＣＯＭＰ）４４、カウンタ調整部４５、ラインメモリ４６及びセレクタ４７、４８を有する。ラインメモリ４６は、２ラインの信号を保持し、垂直方向の遅延（ライン遅延）を施す。本実施形態では、対象画素は、垂直方向に３画素、水平方向に３画素のマトリクスをなす９画素のうち、中心に位置する。周辺画素は、対象画素の周囲に位置する８画素とする。
【００２６】
図３に示すように、Ｇｒ画素とＲ画素とは、水平方向へ交互に並列している。第１Ｒ演算部４１は、対象画素であるＧｒ画素と水平方向にて隣り合う２つのＲ画素の信号レベルの平均値を算出する。Ｇｒ画素とＲ画素とは、垂直方向へ交互に並列している。第２Ｒ演算部４２は、対象画素であるＧｂ画素と垂直方向にて隣り合う２つのＲ画素の信号レベルの平均値を算出する。
【００２７】
Ｂ画素とＲ画素とは、水平方向及び垂直方向に対して斜めの方向へ交互に並列している。第３Ｒ演算部４３は、対象画素であるＢ画素と斜向かいの４つのＲ画素の信号レベルの平均値を算出する。第１Ｒ演算部４１、第２Ｒ演算部４２、第３Ｒ演算部４３は、平均値として例えば相加平均を算出する。
【００２８】
カウンタ調整部４５は、Ｖ／Ｈカウンタに応じて、９画素のマトリクスの中心の画素がいずれの色光用の画素であるかを識別する。セレクタ４７は、カウンタ調整部４５の出力に応じて、値を選択する。マトリクスの中心がＧｒ画素であるとき、セレクタ４７は、第１Ｒ演算部４１で求めた平均値と補正係数１との乗算により得られた補正量を選択する。
【００２９】
マトリクスの中心がＧｂ画素であるとき、セレクタ４７は、第２Ｒ演算部４２で求めた平均値と補正係数２との乗算により得られた補正量を選択する。マトリクスの中心がＢ画素であるとき、セレクタ４７は、第３Ｒ演算部４３で求めた平均値と補正係数３との乗算により得られた補正量を選択する。マトリクスの中心がＲ画素であるとき、セレクタ４７は、’ｄ０を選択する。補正係数１、２、３は、混色補正部４０に予め設定されている。補正係数１、２、３は、例えば、センサ部３の配線等の状態に応じて生じる色光ごとの漏れこみ量の差に応じて、適宜調整されている。
【００３０】
ＣＯＭＰ４４は、セレクタ４７で選択された補正量である出力値ＡとＲ用閾値Ｂとを比較する。Ｒ用閾値Ｂは、混色補正部４０に予め設定されている。セレクタ４８は、ＣＯＭＰ４４の比較結果に応じて、セレクタ４７の出力値Ａと’ｄ０とのいずれかを選択する。Ａ＞Ｂが成立する場合、セレクタ４８は、出力値Ａを選択する。
【００３１】
混色補正部４０は、セレクタ４８で選択した出力値Ａを対象画素の信号レベルから減算して、得られた値を出力する。このように、混色補正部４０は、周辺画素であるＲ画素の信号レベルがＲ用閾値より大きい場合に、Ｒ画素の信号レベルに応じて算出された補正量を、対象画素であるＧｒ画素、Ｇｂ画素、Ｂ画素の信号レベルから減算する。
【００３２】
Ａ＞Ｂが成立しない場合、セレクタ４８は、’ｄ０を選択する。この場合、混色補正部４０は、対象画素の信号レベルをそのまま出力する。補正対象外であるＲ画素がマトリクスの中心であるとき、セレクタ４８で’ｄ０が選択され、混色補正部４０はＲ画素の信号レベルをそのまま出力する。
【００３３】
混色補正部４０は、Ｒ画素の信号レベルに応じて対象画素の補正量を可変とすることで、漏れこみレベルの差を精度良く補正することができる。また、混色補正部４０は、対象画素に対して二次元方向に並列したＲ画素の信号レベルを参照することにより、Ｇｒ画素、Ｇｂ画素、Ｂ画素を対象とする混色補正が可能となる。画像処理装置１は、混色補正部４０を適用することにより、混色の影響を効果的に低減することが可能となる。
【００３４】
なお、混色補正部４０は、Ｇｒ画素、Ｇｂ画素及びＢ画素をいずれも対象とする混色補正を実施する場合に限られない。混色補正部４０は、Ｇｒ画素、Ｇｂ画素及びＢ画素のうち少なくともいずれかを対象として混色補正を実施するものであれば良い。
【００３５】
（第３の実施形態）
図６は、第３の実施形態の画像処理装置に適用される混色補正部及びローパスフィルタの構成を示すブロック図である。上記の実施形態と同一の部分には同一の符号を付し、重複する説明を省略する。ローパスフィルタ（ＬＰＦ）５０は、混色補正部１３による補正量の減算を経た信号を対象とする平坦化処理を実施する平坦化処理部として機能する。
【００３６】
ＬＰＦ５０は、４つのＦＦによって４画素の信号を保持する。水平方向に並列する５画素から、対象画素とするＧｒ画素と、その前後のＧｒ画素とで信号レベルの平坦化処理を実施する。平坦化処理は、例えば、対象画素とするＧｒ画素の信号レベルを２倍にし、前後のＧｒ画素の信号レベルの値を加算して４分の１とする演算により行う。なお、平坦化処理はいずれの手法によるものであっても良く、適宜変形しても良い。
【００３７】
セレクタ５１は、混色補正部１３のカウンタ調整部３２からの出力に応じて、５画素の中心がＧｒ画素であるか否かを識別し、値を選択する。中心の画素がＧｒ画素である場合、ＬＰＦ５０は、平坦化処理を経た値をセレクタ５１で選択し、出力する。中心の画素がＧｒ画素ではない場合、セレクタ５１は、その画素の信号レベルをセレクタ５１で選択し、出力する。
【００３８】
画像処理装置１は、混色補正部１３での補正により生じる可能性がある誤差の影響を、ＬＰＦ５０の適用によって低減させることができる。画像処理装置１は、実施形態１の混色補正部１３に平坦化処理部を適用する他、実施形態２の混色補正部４０に平坦化処理部を適用しても良い。
【００３９】
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【符号の説明】
【００４０】
１ 画像処理装置、３ センサ部、１３、４０ 混色補正部、５０ ＬＰＦ。
【技術分野】
【０００１】
本発明の実施形態は、画像処理装置に関する。
【背景技術】
【０００２】
ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）センサ等の固体撮像素子は、汎用のＰ型シリコン基板を適用して単板式のセンサを構成する場合に、混色と呼ばれる現象が生じる場合がある。混色は、カラーフィルタを通過した光が、本来集光されるべき画素とは別の画素へ漏れ込むことに起因する。混色の発生は、色再現性の低下、解像度の低下等の影響を及ぼすこととなる。また、各色光用の画素を例えばベイヤー配列とする場合に、赤色画素と隣り合う緑色画素と、青色画素と隣り合う緑色画素とで、混色の影響による出力レベルの差が生じる場合がある。出力レベルの差が生じた画像信号は、デモザイク処理等の画像処理の際に、格子状のノイズを生じさせることにもなる。このような背景から、混色の影響を効果的に低減させることが望まれている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００９−１２４２８２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
本発明の一つの実施形態は、混色の影響を効果的に低減可能とする画像処理装置を提供することを目的とする。
【課題を解決するための手段】
【０００５】
本発明の一つの実施形態によれば、画像処理装置は、混色補正部を有する。前記混色補正部は、固体撮像素子に配列された対象画素の信号レベルと、前記対象画素の周辺に位置する周辺画素の信号レベルとを参照する。前記混色補正部は、前記周辺画素に対応するカラーフィルタを通過した入射光が前記対象画素へ進行することによる混色を補正する。前記混色補正部は、前記周辺画素である赤色画素の信号レベルに応じて算出された補正量を、前記対象画素の信号レベルから減算する。
【図面の簡単な説明】
【０００６】
【図１】第１の実施形態の画像処理装置を適用したカメラモジュールのブロック図。
【図２】混色補正部の構成を示すブロック図。
【図３】画素の配列について説明する図。
【図４】混色について説明する図。
【図５】第２の実施形態の画像処理装置に適用される混色補正部の構成を示すブロック図。
【図６】第３の実施形態の画像処理装置に適用される混色補正部及びローパスフィルタの構成を示すブロック図。
【発明を実施するための形態】
【０００７】
以下に添付図面を参照して、実施形態にかかる画像処理装置を詳細に説明する。なお、これらの実施形態により本発明が限定されるものではない。
【０００８】
（第１の実施形態）
図１は、第１の実施形態の画像処理装置を適用したカメラモジュールのブロック図である。カメラモジュールは、画像処理装置１、撮像レンズ２、センサ部３及びＡＤ変換部４を備える。撮像レンズ２は、被写体からの光を取り込み、センサ部３に被写体像を結像させる。
【０００９】
センサ部３は、被写体からの光を信号電荷に変換することにより、被写体像を撮像する固体撮像素子である。センサ部３は、光電変換素子を含む画素セルのそれぞれに積層されたカラーフィルタを有する。Ｒ画素は、赤色（Ｒ）光を透過させるカラーフィルタが積層された画素とする。Ｇ画素は、緑色（Ｇ）光を透過させるカラーフィルタが積層された画素とする。Ｂ画素は、青色（Ｂ）光を透過させるカラーフィルタが積層された画素とする。Ｇｒ画素は、水平方向においてＲ画素と並列するＧ画素とする。Ｇｂ画素は、水平方向においてＢ画素と並列するＧ画素とする。
【００１０】
センサ部３は、Ｒ、Ｇ、Ｂの感度レベルをベイヤー配列に対応する順序で取り込み、アナログ信号を生成する。ベイヤー配列は、Ｇｒ、Ｒ、Ｇｂ、Ｂの４画素を単位として構成されている。ＡＤ変換部４は、センサ部３からのアナログ信号をデジタル信号に変換する（ＡＤ変換）。
【００１１】
画像処理装置１は、ＡＤ変換部４からのデジタル画像信号に対して、以下に説明する種々の画像処理を施す。キズ補正部１１は、センサ部３において正常に機能していない画素によるデジタル画像信号の欠損部分（キズ）を補正するためのキズ補正を実施する。ノイズキャンセル部１２は、ノイズを低減させるためのノイズキャンセル処理を実施する。
【００１２】
混色補正部１３は、混色補正を実施する。画素補間部１６は、ベイヤー配列の順序で伝達されてくるデジタル画像信号に対して、補間処理（デモザイク処理）を実施し、不足色成分の信号レベルを生成する。カラーマトリクス部１７は、色再現性を得るためのカラーマトリクス演算処理（色再現性処理）を実施する。
【００１３】
ガンマ補正部２０は、画像の階調を補正するためのガンマ補正を実施する。ＹＵＶ変換部２１は、Ｒ、Ｇ、Ｂの感度信号から輝度（Ｙ）信号及び色差（ＵＶ）信号を生成することにより、画像信号をＲＧＢ形式からＹＵＶ形式（例えば、ＹＵＶ４２２など）へ変換する。輪郭強調部２３は、センサ部３による撮像条件及び各画素の位置に基づいて算出した補正係数を用いて、Ｙ信号を対象とする輪郭強調処理を実施する。
【００１４】
ＡＷＢ／ＡＥ演算部１８は、ＡＷＢ（Ａｕｔｏ Ｗｈｉｔｅ Ｂａｌａｎｃｅ）、ＡＥ（Ａｕｔｏ Ｅｘｐｏｓｕｒｅ）のための各係数を算出する。レンズシェーディング演算部１９は、シェーディング補正のための係数を算出する。デジタルＡＭＰ係数回路１４は、ＡＷＢ／ＡＥ演算部１８で算出された係数と、レンズシェーディング演算部１９で算出された係数とを基にしてデジタルＡＭＰ係数を算出する。
【００１５】
ラインメモリ１０は、ＡＤ変換部４からのデジタル画像信号を一時的に貯える。キズ補正部１１及びノイズキャンセル部１２は、ラインメモリ１０を共用する。ラインメモリ１５は、デジタルＡＭＰ係数回路１４からのデジタル画像信号を一時的に貯える。ラインメモリ２２は、ＹＵＶ変換部２１からのＹ信号及びＵＶ信号を一時的に貯える。
【００１６】
図２は、混色補正部の構成を示すブロック図である。混色補正部１３は、比較器（ＣＯＭＰ）３１、カウンタ調整部３２及びセレクタ３３を有する。混色補正部１３は、対象画素の信号レベルと周辺画素の信号レベルとを参照し、周辺画素に対応するカラーフィルタを通過した入射光が対象画素へ進行することによる混色を補正する。対象画素は、混色補正の対象とする画素であって、この例ではＧｒ画素とする。周辺画素は、対象画素の周辺に位置する画素であって、この例ではＲ画素とする。
【００１７】
図３は、画素の配列について説明する図である。混色補正部１３には、ＲＡＷ画像データがラインごと（Ｇｒ／Ｒライン、Ｇｂ／Ｂライン）に入力される。本実施形態では、混色補正部１３は、水平方向の３画素のうち中心となるＧｒ画素を対象画素とし、対象画素の左右のＲ画素を周辺画素として、混色補正を実施する。混色補正部１３は、センサ部３において対象画素と一次元方向に並列するＲ画素の信号レベルを参照する。
【００１８】
フリップフロップ（ＦＦ）は、画素ごとの信号レベルを保持する。混色補正部１３は、２つのＦＦによって２画素の信号を保持し、対象画素及び周辺画素についての信号を同時刻化する。ＣＯＭＰ３１は、周辺画素である２つのＲ画素の信号レベルの平均値ＡとＲ用閾値Ｂとを比較する。平均値Ａは、例えば相加平均とする。Ｒ用閾値Ｂは、混色補正部１３に予め設定されている。Ａ＞Ｂが成立する場合、ＣＯＭＰ３１は、例えば「１」を出力する。Ａ＞Ｂが成立しない場合、ＣＯＭＰ３１は、例えば「０」を出力する。
【００１９】
カウンタ調整部３２は、Ｖ／Ｈカウンタに応じて、３画素の中心がＧｒ画素であるときに「１」、それ以外のときに「０」を出力する。セレクタ３３は、Ａ＞Ｂが成立しかつ中心がＧｒ画素である場合、補正係数と平均値Ａとの乗算により得た補正量を選択する。補正係数は、混色補正部１３に予め設定されている。混色補正部１３は、セレクタ３３で選択した補正量をＧｒ画素の信号レベルから減算して、得られた値を出力する。このように、混色補正部１３は、周辺画素であるＲ画素の信号レベルがＲ用閾値より大きい場合に、Ｒ画素の信号レベルに応じて算出された補正量を、対象画素であるＧｒ画素の信号レベルから減算する。
【００２０】
中心の画素がＧｒ画素であってＡ＞Ｂが成立しない場合、セレクタ３３は、’ｄ０を選択する。この場合、混色補正部１３は、Ｇｒ画素の信号レベルをそのまま出力する。中心の画素がＧｒ画素以外である場合も、混色補正部１３は、セレクタ３３で’ｄ０を選択することにより、その画素の信号レベルをそのまま出力する。
【００２１】
図４は、混色について説明する図である。単板式の固体撮像素子の場合、各色光のうち長波長である色光用の画素（例えばＲ画素）の信号が、他の色光用の画素（例えばＧ画素）に漏れこむ混色が生じる場合がある。Ｒ画素の信号がＧ画素の信号に漏れこむことにより、Ｇ画素の出力のうちＲ画素の出力と重なる裾部分は、破線で示す本来の出力よりも長波長側に拡張している。
【００２２】
ベイヤー配列の場合は、Ｒ画素の隣に位置するＧｒ画素とＢ画素の隣に位置するＧｂ画素とで、混色による信号の漏れこみレベルが異なることによって、出力レベルに差が出る場合もある。このような出力レベルの差は、デモザイク処理等の画像処理によって格子状のノイズを生じさせる原因となる。
【００２３】
混色補正部１３は、Ｒ画素の信号レベルに応じてＧｒ画素の補正量を可変とすることで、漏れこみレベルの差を精度良く補正することができる。画像処理装置１は、混色補正部１３を適用することにより、混色の影響を効果的に低減することが可能となる。混色補正部１３は、周辺画素であるＲ画素の信号レベルに対して線形特性を持たせた補正量を適用する場合に限られず、非線形特性を持たせた補正量を適用することとしても良い。
【００２４】
（第２の実施形態）
図５は、第２の実施形態の画像処理装置に適用される混色補正部の構成を示すブロック図である。本実施形態の混色補正部４０は、固体撮像素子において対象画素と二次元方向に並列するＲ画素の信号レベルを参照して、混色補正を実施する。
【００２５】
混色補正部４０は、３つのＲ演算部４１、４２、４３、比較器（ＣＯＭＰ）４４、カウンタ調整部４５、ラインメモリ４６及びセレクタ４７、４８を有する。ラインメモリ４６は、２ラインの信号を保持し、垂直方向の遅延（ライン遅延）を施す。本実施形態では、対象画素は、垂直方向に３画素、水平方向に３画素のマトリクスをなす９画素のうち、中心に位置する。周辺画素は、対象画素の周囲に位置する８画素とする。
【００２６】
図３に示すように、Ｇｒ画素とＲ画素とは、水平方向へ交互に並列している。第１Ｒ演算部４１は、対象画素であるＧｒ画素と水平方向にて隣り合う２つのＲ画素の信号レベルの平均値を算出する。Ｇｒ画素とＲ画素とは、垂直方向へ交互に並列している。第２Ｒ演算部４２は、対象画素であるＧｂ画素と垂直方向にて隣り合う２つのＲ画素の信号レベルの平均値を算出する。
【００２７】
Ｂ画素とＲ画素とは、水平方向及び垂直方向に対して斜めの方向へ交互に並列している。第３Ｒ演算部４３は、対象画素であるＢ画素と斜向かいの４つのＲ画素の信号レベルの平均値を算出する。第１Ｒ演算部４１、第２Ｒ演算部４２、第３Ｒ演算部４３は、平均値として例えば相加平均を算出する。
【００２８】
カウンタ調整部４５は、Ｖ／Ｈカウンタに応じて、９画素のマトリクスの中心の画素がいずれの色光用の画素であるかを識別する。セレクタ４７は、カウンタ調整部４５の出力に応じて、値を選択する。マトリクスの中心がＧｒ画素であるとき、セレクタ４７は、第１Ｒ演算部４１で求めた平均値と補正係数１との乗算により得られた補正量を選択する。
【００２９】
マトリクスの中心がＧｂ画素であるとき、セレクタ４７は、第２Ｒ演算部４２で求めた平均値と補正係数２との乗算により得られた補正量を選択する。マトリクスの中心がＢ画素であるとき、セレクタ４７は、第３Ｒ演算部４３で求めた平均値と補正係数３との乗算により得られた補正量を選択する。マトリクスの中心がＲ画素であるとき、セレクタ４７は、’ｄ０を選択する。補正係数１、２、３は、混色補正部４０に予め設定されている。補正係数１、２、３は、例えば、センサ部３の配線等の状態に応じて生じる色光ごとの漏れこみ量の差に応じて、適宜調整されている。
【００３０】
ＣＯＭＰ４４は、セレクタ４７で選択された補正量である出力値ＡとＲ用閾値Ｂとを比較する。Ｒ用閾値Ｂは、混色補正部４０に予め設定されている。セレクタ４８は、ＣＯＭＰ４４の比較結果に応じて、セレクタ４７の出力値Ａと’ｄ０とのいずれかを選択する。Ａ＞Ｂが成立する場合、セレクタ４８は、出力値Ａを選択する。
【００３１】
混色補正部４０は、セレクタ４８で選択した出力値Ａを対象画素の信号レベルから減算して、得られた値を出力する。このように、混色補正部４０は、周辺画素であるＲ画素の信号レベルがＲ用閾値より大きい場合に、Ｒ画素の信号レベルに応じて算出された補正量を、対象画素であるＧｒ画素、Ｇｂ画素、Ｂ画素の信号レベルから減算する。
【００３２】
Ａ＞Ｂが成立しない場合、セレクタ４８は、’ｄ０を選択する。この場合、混色補正部４０は、対象画素の信号レベルをそのまま出力する。補正対象外であるＲ画素がマトリクスの中心であるとき、セレクタ４８で’ｄ０が選択され、混色補正部４０はＲ画素の信号レベルをそのまま出力する。
【００３３】
混色補正部４０は、Ｒ画素の信号レベルに応じて対象画素の補正量を可変とすることで、漏れこみレベルの差を精度良く補正することができる。また、混色補正部４０は、対象画素に対して二次元方向に並列したＲ画素の信号レベルを参照することにより、Ｇｒ画素、Ｇｂ画素、Ｂ画素を対象とする混色補正が可能となる。画像処理装置１は、混色補正部４０を適用することにより、混色の影響を効果的に低減することが可能となる。
【００３４】
なお、混色補正部４０は、Ｇｒ画素、Ｇｂ画素及びＢ画素をいずれも対象とする混色補正を実施する場合に限られない。混色補正部４０は、Ｇｒ画素、Ｇｂ画素及びＢ画素のうち少なくともいずれかを対象として混色補正を実施するものであれば良い。
【００３５】
（第３の実施形態）
図６は、第３の実施形態の画像処理装置に適用される混色補正部及びローパスフィルタの構成を示すブロック図である。上記の実施形態と同一の部分には同一の符号を付し、重複する説明を省略する。ローパスフィルタ（ＬＰＦ）５０は、混色補正部１３による補正量の減算を経た信号を対象とする平坦化処理を実施する平坦化処理部として機能する。
【００３６】
ＬＰＦ５０は、４つのＦＦによって４画素の信号を保持する。水平方向に並列する５画素から、対象画素とするＧｒ画素と、その前後のＧｒ画素とで信号レベルの平坦化処理を実施する。平坦化処理は、例えば、対象画素とするＧｒ画素の信号レベルを２倍にし、前後のＧｒ画素の信号レベルの値を加算して４分の１とする演算により行う。なお、平坦化処理はいずれの手法によるものであっても良く、適宜変形しても良い。
【００３７】
セレクタ５１は、混色補正部１３のカウンタ調整部３２からの出力に応じて、５画素の中心がＧｒ画素であるか否かを識別し、値を選択する。中心の画素がＧｒ画素である場合、ＬＰＦ５０は、平坦化処理を経た値をセレクタ５１で選択し、出力する。中心の画素がＧｒ画素ではない場合、セレクタ５１は、その画素の信号レベルをセレクタ５１で選択し、出力する。
【００３８】
画像処理装置１は、混色補正部１３での補正により生じる可能性がある誤差の影響を、ＬＰＦ５０の適用によって低減させることができる。画像処理装置１は、実施形態１の混色補正部１３に平坦化処理部を適用する他、実施形態２の混色補正部４０に平坦化処理部を適用しても良い。
【００３９】
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【符号の説明】
【００４０】
１ 画像処理装置、３ センサ部、１３、４０ 混色補正部、５０ ＬＰＦ。
【特許請求の範囲】
【請求項１】
固体撮像素子に配列された対象画素の信号レベルと、前記対象画素の周辺に位置する周辺画素の信号レベルとを参照し、前記周辺画素に対応するカラーフィルタを通過した入射光が前記対象画素へ進行することによる混色を補正する混色補正部を有し、
前記混色補正部は、前記周辺画素である赤色画素の信号レベルに応じて算出された補正量を、前記対象画素の信号レベルから減算することを特徴とする画像処理装置。
【請求項２】
前記混色補正部は、前記赤色画素の信号レベルが所定の閾値より大きい場合に、前記補正量の減算を実施することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記混色補正部は、前記固体撮像素子において前記対象画素と一次元方向に並列する前記赤色画素の信号レベルを参照することを特徴とする請求項１又は２に記載の画像処理装置。
【請求項４】
前記混色補正部は、前記固体撮像素子において前記対象画素と二次元方向に並列する前記赤色画素の信号レベルを参照することを特徴とする請求項１又は２に記載の画像処理装置。
【請求項５】
前記混色補正部による前記補正量の減算を経た信号を対象とする平坦化処理を実施する平坦化処理部を有することを特徴とする請求項１から４のいずれか一項に記載の画像処理装置。
【請求項１】
固体撮像素子に配列された対象画素の信号レベルと、前記対象画素の周辺に位置する周辺画素の信号レベルとを参照し、前記周辺画素に対応するカラーフィルタを通過した入射光が前記対象画素へ進行することによる混色を補正する混色補正部を有し、
前記混色補正部は、前記周辺画素である赤色画素の信号レベルに応じて算出された補正量を、前記対象画素の信号レベルから減算することを特徴とする画像処理装置。
【請求項２】
前記混色補正部は、前記赤色画素の信号レベルが所定の閾値より大きい場合に、前記補正量の減算を実施することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記混色補正部は、前記固体撮像素子において前記対象画素と一次元方向に並列する前記赤色画素の信号レベルを参照することを特徴とする請求項１又は２に記載の画像処理装置。
【請求項４】
前記混色補正部は、前記固体撮像素子において前記対象画素と二次元方向に並列する前記赤色画素の信号レベルを参照することを特徴とする請求項１又は２に記載の画像処理装置。
【請求項５】
前記混色補正部による前記補正量の減算を経た信号を対象とする平坦化処理を実施する平坦化処理部を有することを特徴とする請求項１から４のいずれか一項に記載の画像処理装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図２】
【図３】
【図４】
【図５】
【図６】
【公開番号】特開２０１２−６０４９６（Ｐ２０１２−６０４９６Ａ）
【公開日】平成２４年３月２２日（２０１２．３．２２）
【国際特許分類】
【出願番号】特願２０１０−２０２９４５（Ｐ２０１０−２０２９４５）
【出願日】平成２２年９月１０日（２０１０．９．１０）
【出願人】（０００００３０７８）株式会社東芝 (54,554)
【Ｆターム（参考）】
【公開日】平成２４年３月２２日（２０１２．３．２２）
【国際特許分類】
【出願日】平成２２年９月１０日（２０１０．９．１０）
【出願人】（０００００３０７８）株式会社東芝 (54,554)
【Ｆターム（参考）】
[ Back to top ]