画像処理装置及びその制御方法
【課題】 欠陥画素を補正する画素補正値の精度を一層向上させる。
【解決手段】 方向判別部１０１は、欠陥画素からどの方向に位置する画素を欠陥画素の信号レベルの算出に用いるかを判別する。信号レベル比算出部１０２は、欠陥画素に隣接する欠陥画素と異なる色の画素の信号レベルと、欠陥画素から方向判別部１０１で判別された方向に位置する欠陥画素と同色の画素、に隣接する欠陥画素と異なる色の画素の信号レベル、との比を求める。第１補正処理部１０３は、欠陥画素の信号レベルの算出に用いる画素の信号レベルの平均値に、信号レベル比算出部１０２で算出した比を乗じた値を、欠陥画素の信号レベルとして出力する。
【解決手段】 方向判別部１０１は、欠陥画素からどの方向に位置する画素を欠陥画素の信号レベルの算出に用いるかを判別する。信号レベル比算出部１０２は、欠陥画素に隣接する欠陥画素と異なる色の画素の信号レベルと、欠陥画素から方向判別部１０１で判別された方向に位置する欠陥画素と同色の画素、に隣接する欠陥画素と異なる色の画素の信号レベル、との比を求める。第１補正処理部１０３は、欠陥画素の信号レベルの算出に用いる画素の信号レベルの平均値に、信号レベル比算出部１０２で算出した比を乗じた値を、欠陥画素の信号レベルとして出力する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置およびその制御方法に関し、特に、撮像画像を処理する画像処理装置及びその制御方法に関する。
【背景技術】
【０００２】
従来、デジタルカメラやビデオカメラ等の撮像装置において、ＣＣＤイメージセンサやＣＭＯＳイメージセンサ等の固体撮像素子が一般的に使用されている。固体撮像素子は、製造過程で生じた欠陥画素を有することがあり、欠陥画素は撮像画像の質の低下や固体撮像素子の製造歩留まりを下げる要因の一つとなっている。
【０００３】
欠陥画素による画質低下を抑制するため、欠陥画素に対応する画素信号を他の正常画素の画素信号から補完することが提案されている。特許文献１には、欠陥画素を挟んで０度、４５度、９０度、１３５度の４方向で近接する画素の組の中から、画素間の出力比に応じて選択した組の画素信号の平均値を用いて欠陥画素の出力信号とする方法が提案されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００８−２６３５２１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、特許文献１では、欠陥画素を挟んで０度、４５度、９０度、１３５度の４方向の画素の組の中から選択した画素の組を用いて欠陥画素を補正するため、補完して得られる画素補正値の精度が必ずしも十分とはいえない場合があった。
【０００６】
本発明はこのような従来技術の課題に鑑みてなされたものであり、欠陥画素を補正する画素補正値の精度を一層向上させることが可能な画像処理装置及びその制御方法を提供することを目的とする。
【課題を解決するための手段】
【０００７】
上述の目的は、複数の特定色が規則的に配列された色フィルタを備えた撮像素子によって撮像された画像データに含まれる、撮像素子の欠陥画素の信号レベルを補正する画像処理装置であって、欠陥画素を挟んで位置する欠陥画素と同色の画素の複数組のそれぞれについての信号レベルの差から、欠陥画素からどの方向に位置する画素を欠陥画素の信号レベルの算出に用いるかを判別する判別手段と、欠陥画素に隣接する欠陥画素と異なる色の画素の信号レベルと、欠陥画素から判別手段で判別された方向に位置する欠陥画素と同色の画素、に隣接する欠陥画素と異なる色の画素の信号レベル、との比を求める比算出手段と、欠陥画素から判別手段で判別された方向に位置する欠陥画素と同色の画素の信号レベルの平均値に、比算出手段で算出した比を乗じた値を、欠陥画素の信号レベルとして出力する第１補正処理手段とを有することを特徴とする画像処理装置によって達成される。
【発明の効果】
【０００８】
このような構成により、本発明によれば、欠陥画素を補正する画素補正値の精度を一層向上させることが可能となる。
【図面の簡単な説明】
【０００９】
【図１】本発明の第１の実施形態に係る画像処理装置の機能構成例を模式的に示すブロック図。
【図２】図１の画像処理装置の動作を説明するためのフローチャート。
【図３】（ａ）は、画素配列の例と方向判別部の例を説明するための図、（ｂ）はレベル比算出部の動作を説明するための図。
【図４】本発明の第１の実施形態に係る画像処理装置の機能構成例を模式的に示すブロック図。
【図５】図４における画素補正処理部の機能構成例を模式的に示すブロック図。
【図６】図４の画像処理装置の動作を説明するためのフローチャート。
【図７】図６のＳ１００１における画素補正値の算出処理の詳細を説明するためのフローチャート
【図８】（ａ）は本発明の第２の実施形態における重み付け係数α１の例を説明するための図、（ｂ）は本発明の第２の実施形態に係る重み付け係数α２の例を説明するための図。
【発明を実施するための形態】
【００１０】
以下、添付図面を参照して本発明の例示的な実施形態について詳細に説明する。
（第１の実施形態）
図１は、本発明の第１の実施形態に係る画像処理装置の機能構成例を模式的に示すブロック図である。なお、図１に図示した機能ブロックはコンピュータがソフトウェアを実行することによって実現してもよいし、ハードウェアロジックで実現してもよい。画像処理装置は例えばＣＰＵが制御プログラムを実行して記憶装置やインタフェースなど汎用コンピュータの有するハードウェアを制御することにより実施されてもよい。
【００１１】
なお、ここでは、入力される画像データを構成する複数の画素データのうち、欠陥画素に対応する画素データを画像処理装置１００が判別可能であるものとする。例えば、入力画像データを撮像した撮像素子の欠陥画素座標に関する情報が予め画像処理装置１００に与えられていてもよいし、入力画像データに補助情報として含まれる欠陥画素の位置情報を画像処理装置１００が取得してもよい。
【００１２】
また、本実施形態において、入力画像データはベイヤー型原色フィルタを有する撮像素子を用いた撮像されているものとする。ベイヤー型原色フィルタは赤色（Ｒ）、緑色（Ｇ）および青色（Ｂ）フィルタの集合体であり、垂直方向・水平方向とも１画素おきに同色のフィルタが配置される。
【００１３】
方向判別部１０１は、欠陥画素を挟んで位置する欠陥画素と同色の画素の複数組のそれぞれについての信号レベルの差から、欠陥画素からどの方向に位置する画素を欠陥画素の信号レベルの算出に用いるかを判別する。
【００１４】
信号レベル比算出部１０２は、
・欠陥画素に隣接する（すなわち、欠陥画素と異なる色の）画素の信号レベルと、
・欠陥画素の周辺にある欠陥画素と同色の画素、に隣接する（すなわち、欠陥画素と異なる色の）画素の信号レベル、
との比を求める。
【００１５】
第１補正処理部１０３は、欠陥画素の周辺にある、欠陥画素と同色の画素の信号レベルの平均値に、信号レベル比算出部１０２で算出した比を乗じて、欠陥画素の信号レベルである画素補正データを算出する。
【００１６】
図１における各部の動作の詳細を、図２のフローチャートとともに、より具体的に説明する。以下の説明では、図３（ａ）に示すような色配列を有する画像データが入力され、赤色画素Ｒ４が欠陥画素８００であるとする。図３（ａ）においてＢは青色画素、Ｇ０〜Ｇ２３は緑色画素である。なお、実際には同様の画素配列が繰り返し存在するのが通常であるが、発明の理解と説明を容易にするため、図３（ａ）は画像データのうち欠陥画素の周辺画素のみを示している。
【００１７】
まず、画像処理装置１００に赤色画素、青色画素、緑色画素がベイヤー配列に従って配置された画像データが入力される（Ｓ５０１）。画像データは、例えば半導体メモリカードのような着脱可能な記録媒体から入力されてもよいし、ネットワークを介して入力されてもよい。また、本実施形態に係る画像処理装置が撮像装置に組み込まれる場合には、撮像装置によって撮像された画像データが入力されてもよい。
【００１８】
方向判別部１０１は、入力画像データから、欠陥画素８００の周辺にある、欠陥画素８００と同色の画素Ｒ０，Ｒ１，Ｒ２，Ｒ３，Ｒ５，Ｒ６，Ｒ７，Ｒ８の信号レベルを取得する。ここで、欠陥画素の「周辺」にある欠陥画素と同色の画素とは、欠陥画素を中心として、水平（０度）、垂直（９０度）、４５度及び１３５度方向に隣接する、欠陥画素と同色の画素を指すものとする。
【００１９】
そして、方向判別部１０１は、各方向における隣接画素の差の絶対値を求める。すなわち、方向判別部１０１は、画素Ｒ０，Ｒ８の差の絶対値｜Ｒ０−Ｒ８｜、画素Ｒ１，Ｒ７の差の絶対値｜Ｒ１−Ｒ７｜、画素Ｒ２，Ｒ６の差の絶対値｜Ｒ２−Ｒ６｜、画素Ｒ３，Ｒ５の差の絶対値｜Ｒ３−Ｒ５｜を求める。
【００２０】
方向判別部１０１は、差の絶対値が最小値となる隣接画素対が存在する方向を、方向判別結果８０１とする。図３（ａ）の例では、画素Ｒ２，Ｒ６の差の絶対値｜Ｒ２−Ｒ６｜が最小となり、４５度が方向判別結果として得られる。方向判別部１０１は、方向判別結果８０１を表す方向判別情報を出力する（Ｓ５０２）。
なお、ここで説明した、欠陥画素の補完に用いる画素を抽出する方向の判別（方向判別）は、他の方法で行ってもよい。
【００２１】
次に、信号レベル比算出部１０２は、欠陥画素の周辺にある欠陥画素と同色の画素のうち、方向判別部１０１から得られた方向判別情報が表す方向（４５度）に存在する画素Ｒ２、Ｒ６の信号レベルを抽出する。
【００２２】
そして、信号レベル比算出部１０２は、図３（ｂ）に示すように、
・欠陥画素８００に隣接する、欠陥画素と異なる色の画素である緑色画素（Ｇ８、Ｇ１１、Ｇ１２、Ｇ１５）、
・画素Ｒ２に隣接する、画素Ｒ２と異なる色の画素である緑色画素（Ｇ２、Ｇ５、Ｇ６、Ｇ９）、
・画素Ｒ６に隣接する、画素Ｒ６と異なる色の画素である緑色画素（Ｇ１４、Ｇ１７、Ｇ１８、Ｇ２１）
の信号レベルを抽出する。
【００２３】
なお、信号レベルを抽出する画素の色は３箇所とも同じとする。また、欠陥画素、画素Ｒ２、画素Ｒ６に隣接する、これら画素と異なる色の画素として、緑色画素の代わりに、それぞれの赤色画素の斜め方向に位置する青色画素を抽出してもよい。欠陥画素が青色画素の場合も赤色の場合と同様に処理できる。欠陥画素が緑色画素の場合、欠陥画素に隣接する欠陥画素と異なる色の画素が２つの青色画素と２つの赤色画素となるが、両方の色の画素の信号レベルを抽出してもよいし、一方の色の画素の信号レベルを抽出してもよい。例えば、信号レベル比算出部１０２は、欠陥画素が緑色画素であれば、３箇所のそれぞれの緑色画素について、上下に隣接する２つの赤色画素と、緑色画素の左右に隣接する２つの青色画素を用いて、以下の式により信号レベル比を算出すればよい。
【００２４】
信号レベル比算出部１０２は、以下の式（１）、式（２）、式（３）、式（４）に従って、信号レベルの比を算出する（Ｓ５０３）。
欠陥画素８００（Ｒ４）に隣接する緑色画素の平均値G_AVE0（第１平均値）
G_AVE0 = ( G8 + G11 + G12 + G15 ) / 4 （１）
画素Ｒ６に隣接する緑色画素の平均値G_AVE1（第２平均値）
G_AVE1 = ( G14 + G18 + G17 + G21 ) / 4 （２）
画素Ｒ２に隣接する緑色画素の平均値G_AVE2（第３平均値）
G_AVE2 = ( G2 + G5 + G6 + G9 ) / 4 （３）
信号レベルの比 = ( G_AVE0 / (( G_AVE1 + G_AVE2 ) / 2 )) （４）
【００２５】
次に、第１補正処理部１０３は、欠陥画素の周辺にある欠陥画素と同色の画素のうち、方向判別部１０１から得られた方向判別情報が表す方向（４５度）に存在する画素Ｒ２、Ｒ６の信号レベルを抽出する。そして、第１補正処理部１０３は、信号レベル比算出部１０２が式（４）によって求めた信号レベルの比を用い、以下の式（５）に従って、欠陥画素の信号レベルとしての画素補正値を算出する（Ｓ５０４）。
欠陥画素８００の補正値
= ( ( R2 + R6 ) / 2 ) ×( G_AVE0 / ( G_AVE1 + G_AVE2 ) / 2 ) （５）
【００２６】
このように、本実施形態によれば、欠陥画素の信号レベルを欠陥画素の周辺にある画素の信号レベルから補完する場合、まず、欠陥画素の周辺にある欠陥画素と同色の画素の組の信号レベルから、補完に用いる画素が存在する方向を特定の方向の中から判別する。この特定の方向は、色フィルタの配列によって決まる複数の方向の中から選択され、ベイヤー配列の場合には０度、４５度、９０度、１３５度のいずれかである。
【００２７】
本実施形態ではさらに、欠陥画素に隣接する欠陥画素と異なる色の画素の信号レベルの平均値と、欠陥画素の補完に用いる画素に隣接する、欠陥画素と異なる色の画素の信号レベルの平均値との比を求め、この比を用いて画素補正値を補正する。この補正により、上述の特定の方向と被写体の色エッジの方向のずれを補正した画素補正値を得ることができ、画素補正値の精度を向上させることが可能となる。
【００２８】
なお、上述の説明においては、欠陥画素の補正値の算出に関わる画素がいずれも非欠陥画素である場合について説明した。しかし、信号レベルを抽出する画素に欠陥画素が含まれる場合、その画素を用いないか、（補正対象の欠陥画素から見て）その画素の次に隣接する画素を代わりに用いるようにしてもよい。例えば、図３（ａ）において画素Ｒ２が欠陥画素の場合、４５度方向では方向判別を行わないか、画素Ｒ２の次の隣接画素（図３（ａ）には含まれない、４５度方向に２画素進んだ位置の赤色画素）の値を用いて４５度方向の方向判別を行うことができる。
【００２９】
（第２の実施形態）
次に、本発明の第２の実施形態について説明する。
図４は本実施形態に係る画像処理装置の機能構成例を模式的に示すブロック図である。また、図５は、図４における０度、４５度、９０度、１３５度方向の画素補正処理部２００−１〜２００−４の機能構成例を示すブロック図である。画素補正処理部２００−１〜２００−４は同一構成でよいため、図５ではいずれか一つを２００と記載している。
【００３０】
図４において、方向判別部１０１は第１の実施形態で説明したものと同じである。画素補正処理部２００−１〜２００−４は、それぞれ０度方向、４５度方向、９０度方向、１３５度方向の画素補正値を算出する。選択部７０１は、画素補正処理部２００−１〜２００−４からの画素補正値の１つを、方向判別部１０１の出力結果を用いて選択し、最終的な画素補正値として出力する。
【００３１】
図５において、信号レベル比算出部１０２及び、第１補正処理部１０３の構成は第１の実施形態と同様である。第２補正処理部２０１は、欠陥画素の周辺にある、欠陥画素と同色の画素の信号レベルの平均値を画素補正データとして算出する。また、第１及び第２重み付け係数算出部２０２，２０３、及び重み付け係数選択部２０４は、全体で、第１補正処理部１０３及び第２補正処理部２０１の出力値を重み付け加算するための重み付け係数を算出する。
【００３２】
第１重み付け係数算出部２０２は、第２補正処理部２０１から得られた補正値と、第１補正処理部１０３から得られた補正値と、の重み付け係数α１を算出する。
第２重み付け係数算出部２０３は、第２補正処理部２０１から得られた補正値と、第１補正処理部１０３から得られた補正値と、の重み付け係数α２を算出する。
重み付け係数選択部２０４は、重み付け係数α２と、重み付け係数α１の一方を選択し、重み付け係数αとして出力する。
【００３３】
第３補正処理部２０５は、重み付け係数選択部２０４が出力する重み付け係数αを用いて、第１補正処理部１０３から得られた補正値と、第２補正処理部２０１から得られた補正値の重み付け係数を重み付け加算して、欠陥画素の画素補正データを算出する。
【００３４】
図４における各部の動作の詳細を、図６のフローチャートとともに、より具体的に説明する。Ｓ５０１、Ｓ５０２は第１の実施形態と同様であるため説明を省略する。
画素補正処理部２００−１〜２００−４が、０度方向、４５度方向、９０度方向、１３５度方向における画素補正値をそれぞれ算出し、選択部７０１へ入力する（Ｓ１００１）。
【００３５】
選択部７０１は、０度方向、４５度方向、９０度方向、１３５度方向における画素補正値のうち、Ｓ５０２で算出された方向判別結果に対応する方向の画素補正値を選択し、最終的な画素補正値として出力する（Ｓ１００２）。
【００３６】
次に、図６のＳ１００１における画素補正値の算出処理について、図７のフローチャートを用いて説明する。ここでは、画素補正処理部２００−１〜２００−４の処理を代表して、４５度方向の画素補正値を算出する画素補正処理部２００−１の処理を説明するが、０度、９０度、１３５度方向の画素補正値算出も同様に行う。また、図７において、Ｓ５０３、Ｓ５０４における処理は第１の実施形態と同様であるため、説明を省略する。なお、第１の実施形態と同様、図３（ａ）に示した欠陥画素に対する画素補正値を算出するものとする。
【００３７】
（Ｓ６０１）
第２補正処理部２０１は、式（６）で表されるように、欠陥画素８００を挟んで４５度方向に存在する、欠陥画素と同色の画素Ｒ２，Ｒ６の信号レベルの平均値を画素補正データとして算出する。
４５度方向の画素補正値＝ (R2 + R6) / 2 （６）
このように、第２補正処理部２０１は、第１補正処理部１０３と異なり、信号レベル比算出部１０２の算出する比を考慮しない画素補正値を算出する。
【００３８】
（Ｓ６０２）
第１重み付け係数算出部２０２において、信号レベル比算出部１０２で算出した３つの信号レベルG_AVE0、G_AVE1、G_AVE2の最小値G_AVE_MINを求める。すなわち、
G_AVE_MIN＝最小値（G_AVE0,C_AVE_1,G_AVE2） （７）
である。第１重み付け係数算出部２０２は算出したG_AVE_MINの値に基づき、第１補正処理部１０３がＳ５０４で算出した画素補正値と、第２補正処理部２０１がＳ６０１で算出した４５度方向の画素補正値との重み付け係数α１（０≦α１≦１）を算出する。
【００３９】
図８（ａ）に、G_AVE_MINと重み付け係数α１との関係例を示す。第１重み付け係数算出部２０２は、重み付け係数α１が０より大きくなる第１閾値３００を設定できる。第１重み付け係数算出部２０２は、G_AVE_MINが、第１閾値以下の場合、Ｇ領域を暗部領域とみなす。第１閾値３００は、撮像素子の特性などに応じて予め設定しておくことができる。暗部領域では、信号レベルに対するノイズレベルが相対的に大きくなり、信号レベル比算出部１０２で算出する比の信頼性が低下する。そのため、第１重み付け係数算出部２０２は、G_AVE_MINが第１閾値３００以下の場合、重み付け係数α１を０とする。
また、第１傾き３０２は、G_AVE_MINが第１閾値３００より大きい場合、Ｇ領域が暗部領域の影響を受けないように設定される事が望ましい。第１傾き３０２の具体的な値は、例えば実験により求めることができる。
【００４０】
なお、ここでは重み付け係数α１を、信号レベルの平均値の最小値G_AVE_MINに応じて設定するものとしたが、
平均値（G_AVE0,C_AVE_1,G_AVE2）
最大値（G_AVE0,C_AVE_1,G_AVE2）
などに応じて重み付け係数α１を算出してもよい。また、図８（ａ）に記載したG_AVE_MINと重み付け係数α１との関係は、第１重み付け係数算出部２０２がテーブルとして保持していてもよいし、G_AVE_MINを引数とする関数として記憶しておいてもよい。
【００４１】
（Ｓ６０３）
第２重み付け係数算出部２０３において、
・欠陥画素８００を挟んで４５度方向に存在する、欠陥画素と同色の画素Ｒ２，Ｒ６の信号レベルと、
・欠陥画素８００に隣接する、欠陥画素と異なる色の画素Ｇ８、Ｇ１１、Ｇ１２、Ｇ１５の信号レベルと、
・欠陥画素８００と４５度方向で欠陥画素と隣接する欠陥画素と同色の画素Ｒ２及びＲ６の各々に隣接する、欠陥画素と異なる色の画素Ｇ２、Ｇ５、Ｇ６、Ｇ９及びＧ１４、Ｇ１７、Ｇ１８、Ｇ２１の信号レベルと、を抽出する。
【００４２】
第２重み付け係数算出部２０３は、抽出した信号レベルの最大値RG_MAXを求める。すなわち、
RG_MAX＝最大値（R2,R6,G8,G11,G12,G15,G2,G5,G6,G9,G14,G17,G18,G19） （８）
である。第２重み付け係数算出部２０３は算出したRG_MAXの値に基づき、第１補正処理部１０３がＳ５０４で算出した画素補正値と、第２補正処理部２０１がＳ６０１で算出した画素補正値の重み付け係数α２（０≦α２≦１）を算出する。
【００４３】
図８（ｂ）に、RG_MAXと重み付け係数α２との関係例を示す。第２重み付け係数算出部２０３は、重み付け係数α２が０となる第２閾値４００を設定できる。第２重み付け係数算出部２０３は、RG_MAXが、第２閾値以上の場合、Ｇ領域を飽和領域とみなす。第２閾値４００は、撮像素子の特性などに応じて予め設定しておくことができる。飽和領域でもやはり信号レベル比算出部１０２で算出する比の信頼性が低下する。そのため、第２重み付け係数算出部２０３は、G_MAXが第２閾値４００以上の場合、重み付け係数α２を０とする。
【００４４】
なお、ここでは重み付け係数α２を、信号レベルの最大値RG_MAXに応じて設定するものとしたが、
平均値（R2,R6,G8,G11,G12,G15,G2,G5,G6,G9,G14,G17,G18,G19）
最小値（R2,R6,G8,G11,G12,G15,G2,G5,G6,G9,G14,G17,G18,G19）
などに応じて重み付け係数α２を算出してもよい。また、図８（ｂ）に記載したRG_MAXと重み付け係数α２との関係は、第２重み付け係数算出部２０３がテーブルとして保持していてもよいし、RG_MAXを引数とする関数として記憶しておいてもよい。
また、第２傾き４０２はRG_MAXが、第２閾値４００未満の場合、飽和領域の影響を受けないように設定される事が望ましい。第２傾き４０２の具体的な値は、例えば実験により求めることができる。
【００４５】
（Ｓ６０４）
重み付け係数選択部２０４において、Ｓ６０２で算出した重み付け係数α１と、Ｓ６０３で算出した重み付け係数α２を比較して、小さい方の値を最終的な重み付け係数αとして算出（選択）する。すなわち、
重み付け係数α＝最小値（重み付け係数α１、重み付け係数α２） （９）
である。
【００４６】
小さい重み付け係数を選択することにより、信号レベル比算出部１０２の算出する、色信号レベルの比の信頼度が低い場合には、色信号レベルの比を考慮した画素補正値の重みが小さくなり、暗部領域や飽和領域の影響を抑制することができる。
【００４７】
（Ｓ６０５）
第３補正処理部２０５が、式（１０）により、４５度方向の最終的な画素補正値を算出する。
欠陥画素８００の４５度方向の最終的な画素補正値
＝ 第２補正処理部２０１が算出した画素補正値×（１−α）＋第１補正処理部１０３が算出した補正値×α （１０）
【００４８】
以上説明したように、本実施形態によれば、信号レベル比算出部１０２の算出する色信号レベルの比を考慮しない画素補正値と、信号レベル比算出部１０２の算出する色信号レベルの比を考慮した画素補正値とを重み付け加算して最終的な画素補正値を求める。そして、信号レベル比算出部１０２の算出する色信号レベルの比の信頼度が低いと考えられる場合には、色信号レベルの比を考慮した画素補正値の重みを減らす。そのため、色信号レベルの比の信頼度が高い場合には第１の実施形態と同様の効果が得られ、色信号レベルの比の信頼度が低い場合には画素補正値の誤補正を抑制できる。
【００４９】
なお、第２の実施形態においても、欠陥画素、画素Ｒ２、画素Ｒ６に隣接するこれら画素と異なる色の画素として、緑色画素の代わりに青色画素を抽出してもよい。上述した処理は欠陥画素が青色画素の場合もそのまま適用できる。ただし、赤色画素に隣接する画素として青色画素よりも緑色画素を用いたほうが、赤色画素との距離が近くなるため、緑色画素を用いたほうが補正精度は高くなると考えられる。また、欠陥画素が緑色画素の場合、欠陥画素に隣接する欠陥画素と異なる色の画素が２つの青色画素と２つの赤色画素となるが、両方の色の画素の信号レベルを抽出してもよいし、一方の色のみの画素の信号レベルを抽出してもよい。
【００５０】
（その他の実施形態）
上述の実施形態においては、ベイヤー配列の色フィルタを備えた撮像素子によって撮像された画像データを対象とする場合について説明した。しかし、本発明の原理は複数の特定色が規則的に配列された色フィルタを備えた撮像素子によって撮像された画像データに対して適用可能である。
【００５１】
また、第２の実施形態においては、方向判別部１０１で判別されうる各方向（ベイヤー配列の色フィルタの場合０度、４５度、９０度、１３５度）について画素補正値を生成し、方向判別部１０１での方向判別結果によって１つを選択する構成を説明した。しかし、第１の実施形態と同様、方向判別部１０１で判別された方向について画素補正値を算出するように構成してもよい。この場合、選択部７０１は不要となり、画素補正処理部２００−１〜２００−４は１つでよく、方向判別部１０１の出力が信号レベル比算出部１０２、第１及び第２補正処理部１０３、２０１に供給される。そして、信号レベル比算出部１０２、第１及び第２補正処理部１０３、２０１は、上述した４５度の方向に代えて、判別された方向について同様の処理を行う。そして、第３補正処理部２０５の出力が欠陥画素の画素補正値となる。
【００５２】
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
【技術分野】
【０００１】
本発明は、画像処理装置およびその制御方法に関し、特に、撮像画像を処理する画像処理装置及びその制御方法に関する。
【背景技術】
【０００２】
従来、デジタルカメラやビデオカメラ等の撮像装置において、ＣＣＤイメージセンサやＣＭＯＳイメージセンサ等の固体撮像素子が一般的に使用されている。固体撮像素子は、製造過程で生じた欠陥画素を有することがあり、欠陥画素は撮像画像の質の低下や固体撮像素子の製造歩留まりを下げる要因の一つとなっている。
【０００３】
欠陥画素による画質低下を抑制するため、欠陥画素に対応する画素信号を他の正常画素の画素信号から補完することが提案されている。特許文献１には、欠陥画素を挟んで０度、４５度、９０度、１３５度の４方向で近接する画素の組の中から、画素間の出力比に応じて選択した組の画素信号の平均値を用いて欠陥画素の出力信号とする方法が提案されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００８−２６３５２１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、特許文献１では、欠陥画素を挟んで０度、４５度、９０度、１３５度の４方向の画素の組の中から選択した画素の組を用いて欠陥画素を補正するため、補完して得られる画素補正値の精度が必ずしも十分とはいえない場合があった。
【０００６】
本発明はこのような従来技術の課題に鑑みてなされたものであり、欠陥画素を補正する画素補正値の精度を一層向上させることが可能な画像処理装置及びその制御方法を提供することを目的とする。
【課題を解決するための手段】
【０００７】
上述の目的は、複数の特定色が規則的に配列された色フィルタを備えた撮像素子によって撮像された画像データに含まれる、撮像素子の欠陥画素の信号レベルを補正する画像処理装置であって、欠陥画素を挟んで位置する欠陥画素と同色の画素の複数組のそれぞれについての信号レベルの差から、欠陥画素からどの方向に位置する画素を欠陥画素の信号レベルの算出に用いるかを判別する判別手段と、欠陥画素に隣接する欠陥画素と異なる色の画素の信号レベルと、欠陥画素から判別手段で判別された方向に位置する欠陥画素と同色の画素、に隣接する欠陥画素と異なる色の画素の信号レベル、との比を求める比算出手段と、欠陥画素から判別手段で判別された方向に位置する欠陥画素と同色の画素の信号レベルの平均値に、比算出手段で算出した比を乗じた値を、欠陥画素の信号レベルとして出力する第１補正処理手段とを有することを特徴とする画像処理装置によって達成される。
【発明の効果】
【０００８】
このような構成により、本発明によれば、欠陥画素を補正する画素補正値の精度を一層向上させることが可能となる。
【図面の簡単な説明】
【０００９】
【図１】本発明の第１の実施形態に係る画像処理装置の機能構成例を模式的に示すブロック図。
【図２】図１の画像処理装置の動作を説明するためのフローチャート。
【図３】（ａ）は、画素配列の例と方向判別部の例を説明するための図、（ｂ）はレベル比算出部の動作を説明するための図。
【図４】本発明の第１の実施形態に係る画像処理装置の機能構成例を模式的に示すブロック図。
【図５】図４における画素補正処理部の機能構成例を模式的に示すブロック図。
【図６】図４の画像処理装置の動作を説明するためのフローチャート。
【図７】図６のＳ１００１における画素補正値の算出処理の詳細を説明するためのフローチャート
【図８】（ａ）は本発明の第２の実施形態における重み付け係数α１の例を説明するための図、（ｂ）は本発明の第２の実施形態に係る重み付け係数α２の例を説明するための図。
【発明を実施するための形態】
【００１０】
以下、添付図面を参照して本発明の例示的な実施形態について詳細に説明する。
（第１の実施形態）
図１は、本発明の第１の実施形態に係る画像処理装置の機能構成例を模式的に示すブロック図である。なお、図１に図示した機能ブロックはコンピュータがソフトウェアを実行することによって実現してもよいし、ハードウェアロジックで実現してもよい。画像処理装置は例えばＣＰＵが制御プログラムを実行して記憶装置やインタフェースなど汎用コンピュータの有するハードウェアを制御することにより実施されてもよい。
【００１１】
なお、ここでは、入力される画像データを構成する複数の画素データのうち、欠陥画素に対応する画素データを画像処理装置１００が判別可能であるものとする。例えば、入力画像データを撮像した撮像素子の欠陥画素座標に関する情報が予め画像処理装置１００に与えられていてもよいし、入力画像データに補助情報として含まれる欠陥画素の位置情報を画像処理装置１００が取得してもよい。
【００１２】
また、本実施形態において、入力画像データはベイヤー型原色フィルタを有する撮像素子を用いた撮像されているものとする。ベイヤー型原色フィルタは赤色（Ｒ）、緑色（Ｇ）および青色（Ｂ）フィルタの集合体であり、垂直方向・水平方向とも１画素おきに同色のフィルタが配置される。
【００１３】
方向判別部１０１は、欠陥画素を挟んで位置する欠陥画素と同色の画素の複数組のそれぞれについての信号レベルの差から、欠陥画素からどの方向に位置する画素を欠陥画素の信号レベルの算出に用いるかを判別する。
【００１４】
信号レベル比算出部１０２は、
・欠陥画素に隣接する（すなわち、欠陥画素と異なる色の）画素の信号レベルと、
・欠陥画素の周辺にある欠陥画素と同色の画素、に隣接する（すなわち、欠陥画素と異なる色の）画素の信号レベル、
との比を求める。
【００１５】
第１補正処理部１０３は、欠陥画素の周辺にある、欠陥画素と同色の画素の信号レベルの平均値に、信号レベル比算出部１０２で算出した比を乗じて、欠陥画素の信号レベルである画素補正データを算出する。
【００１６】
図１における各部の動作の詳細を、図２のフローチャートとともに、より具体的に説明する。以下の説明では、図３（ａ）に示すような色配列を有する画像データが入力され、赤色画素Ｒ４が欠陥画素８００であるとする。図３（ａ）においてＢは青色画素、Ｇ０〜Ｇ２３は緑色画素である。なお、実際には同様の画素配列が繰り返し存在するのが通常であるが、発明の理解と説明を容易にするため、図３（ａ）は画像データのうち欠陥画素の周辺画素のみを示している。
【００１７】
まず、画像処理装置１００に赤色画素、青色画素、緑色画素がベイヤー配列に従って配置された画像データが入力される（Ｓ５０１）。画像データは、例えば半導体メモリカードのような着脱可能な記録媒体から入力されてもよいし、ネットワークを介して入力されてもよい。また、本実施形態に係る画像処理装置が撮像装置に組み込まれる場合には、撮像装置によって撮像された画像データが入力されてもよい。
【００１８】
方向判別部１０１は、入力画像データから、欠陥画素８００の周辺にある、欠陥画素８００と同色の画素Ｒ０，Ｒ１，Ｒ２，Ｒ３，Ｒ５，Ｒ６，Ｒ７，Ｒ８の信号レベルを取得する。ここで、欠陥画素の「周辺」にある欠陥画素と同色の画素とは、欠陥画素を中心として、水平（０度）、垂直（９０度）、４５度及び１３５度方向に隣接する、欠陥画素と同色の画素を指すものとする。
【００１９】
そして、方向判別部１０１は、各方向における隣接画素の差の絶対値を求める。すなわち、方向判別部１０１は、画素Ｒ０，Ｒ８の差の絶対値｜Ｒ０−Ｒ８｜、画素Ｒ１，Ｒ７の差の絶対値｜Ｒ１−Ｒ７｜、画素Ｒ２，Ｒ６の差の絶対値｜Ｒ２−Ｒ６｜、画素Ｒ３，Ｒ５の差の絶対値｜Ｒ３−Ｒ５｜を求める。
【００２０】
方向判別部１０１は、差の絶対値が最小値となる隣接画素対が存在する方向を、方向判別結果８０１とする。図３（ａ）の例では、画素Ｒ２，Ｒ６の差の絶対値｜Ｒ２−Ｒ６｜が最小となり、４５度が方向判別結果として得られる。方向判別部１０１は、方向判別結果８０１を表す方向判別情報を出力する（Ｓ５０２）。
なお、ここで説明した、欠陥画素の補完に用いる画素を抽出する方向の判別（方向判別）は、他の方法で行ってもよい。
【００２１】
次に、信号レベル比算出部１０２は、欠陥画素の周辺にある欠陥画素と同色の画素のうち、方向判別部１０１から得られた方向判別情報が表す方向（４５度）に存在する画素Ｒ２、Ｒ６の信号レベルを抽出する。
【００２２】
そして、信号レベル比算出部１０２は、図３（ｂ）に示すように、
・欠陥画素８００に隣接する、欠陥画素と異なる色の画素である緑色画素（Ｇ８、Ｇ１１、Ｇ１２、Ｇ１５）、
・画素Ｒ２に隣接する、画素Ｒ２と異なる色の画素である緑色画素（Ｇ２、Ｇ５、Ｇ６、Ｇ９）、
・画素Ｒ６に隣接する、画素Ｒ６と異なる色の画素である緑色画素（Ｇ１４、Ｇ１７、Ｇ１８、Ｇ２１）
の信号レベルを抽出する。
【００２３】
なお、信号レベルを抽出する画素の色は３箇所とも同じとする。また、欠陥画素、画素Ｒ２、画素Ｒ６に隣接する、これら画素と異なる色の画素として、緑色画素の代わりに、それぞれの赤色画素の斜め方向に位置する青色画素を抽出してもよい。欠陥画素が青色画素の場合も赤色の場合と同様に処理できる。欠陥画素が緑色画素の場合、欠陥画素に隣接する欠陥画素と異なる色の画素が２つの青色画素と２つの赤色画素となるが、両方の色の画素の信号レベルを抽出してもよいし、一方の色の画素の信号レベルを抽出してもよい。例えば、信号レベル比算出部１０２は、欠陥画素が緑色画素であれば、３箇所のそれぞれの緑色画素について、上下に隣接する２つの赤色画素と、緑色画素の左右に隣接する２つの青色画素を用いて、以下の式により信号レベル比を算出すればよい。
【００２４】
信号レベル比算出部１０２は、以下の式（１）、式（２）、式（３）、式（４）に従って、信号レベルの比を算出する（Ｓ５０３）。
欠陥画素８００（Ｒ４）に隣接する緑色画素の平均値G_AVE0（第１平均値）
G_AVE0 = ( G8 + G11 + G12 + G15 ) / 4 （１）
画素Ｒ６に隣接する緑色画素の平均値G_AVE1（第２平均値）
G_AVE1 = ( G14 + G18 + G17 + G21 ) / 4 （２）
画素Ｒ２に隣接する緑色画素の平均値G_AVE2（第３平均値）
G_AVE2 = ( G2 + G5 + G6 + G9 ) / 4 （３）
信号レベルの比 = ( G_AVE0 / (( G_AVE1 + G_AVE2 ) / 2 )) （４）
【００２５】
次に、第１補正処理部１０３は、欠陥画素の周辺にある欠陥画素と同色の画素のうち、方向判別部１０１から得られた方向判別情報が表す方向（４５度）に存在する画素Ｒ２、Ｒ６の信号レベルを抽出する。そして、第１補正処理部１０３は、信号レベル比算出部１０２が式（４）によって求めた信号レベルの比を用い、以下の式（５）に従って、欠陥画素の信号レベルとしての画素補正値を算出する（Ｓ５０４）。
欠陥画素８００の補正値
= ( ( R2 + R6 ) / 2 ) ×( G_AVE0 / ( G_AVE1 + G_AVE2 ) / 2 ) （５）
【００２６】
このように、本実施形態によれば、欠陥画素の信号レベルを欠陥画素の周辺にある画素の信号レベルから補完する場合、まず、欠陥画素の周辺にある欠陥画素と同色の画素の組の信号レベルから、補完に用いる画素が存在する方向を特定の方向の中から判別する。この特定の方向は、色フィルタの配列によって決まる複数の方向の中から選択され、ベイヤー配列の場合には０度、４５度、９０度、１３５度のいずれかである。
【００２７】
本実施形態ではさらに、欠陥画素に隣接する欠陥画素と異なる色の画素の信号レベルの平均値と、欠陥画素の補完に用いる画素に隣接する、欠陥画素と異なる色の画素の信号レベルの平均値との比を求め、この比を用いて画素補正値を補正する。この補正により、上述の特定の方向と被写体の色エッジの方向のずれを補正した画素補正値を得ることができ、画素補正値の精度を向上させることが可能となる。
【００２８】
なお、上述の説明においては、欠陥画素の補正値の算出に関わる画素がいずれも非欠陥画素である場合について説明した。しかし、信号レベルを抽出する画素に欠陥画素が含まれる場合、その画素を用いないか、（補正対象の欠陥画素から見て）その画素の次に隣接する画素を代わりに用いるようにしてもよい。例えば、図３（ａ）において画素Ｒ２が欠陥画素の場合、４５度方向では方向判別を行わないか、画素Ｒ２の次の隣接画素（図３（ａ）には含まれない、４５度方向に２画素進んだ位置の赤色画素）の値を用いて４５度方向の方向判別を行うことができる。
【００２９】
（第２の実施形態）
次に、本発明の第２の実施形態について説明する。
図４は本実施形態に係る画像処理装置の機能構成例を模式的に示すブロック図である。また、図５は、図４における０度、４５度、９０度、１３５度方向の画素補正処理部２００−１〜２００−４の機能構成例を示すブロック図である。画素補正処理部２００−１〜２００−４は同一構成でよいため、図５ではいずれか一つを２００と記載している。
【００３０】
図４において、方向判別部１０１は第１の実施形態で説明したものと同じである。画素補正処理部２００−１〜２００−４は、それぞれ０度方向、４５度方向、９０度方向、１３５度方向の画素補正値を算出する。選択部７０１は、画素補正処理部２００−１〜２００−４からの画素補正値の１つを、方向判別部１０１の出力結果を用いて選択し、最終的な画素補正値として出力する。
【００３１】
図５において、信号レベル比算出部１０２及び、第１補正処理部１０３の構成は第１の実施形態と同様である。第２補正処理部２０１は、欠陥画素の周辺にある、欠陥画素と同色の画素の信号レベルの平均値を画素補正データとして算出する。また、第１及び第２重み付け係数算出部２０２，２０３、及び重み付け係数選択部２０４は、全体で、第１補正処理部１０３及び第２補正処理部２０１の出力値を重み付け加算するための重み付け係数を算出する。
【００３２】
第１重み付け係数算出部２０２は、第２補正処理部２０１から得られた補正値と、第１補正処理部１０３から得られた補正値と、の重み付け係数α１を算出する。
第２重み付け係数算出部２０３は、第２補正処理部２０１から得られた補正値と、第１補正処理部１０３から得られた補正値と、の重み付け係数α２を算出する。
重み付け係数選択部２０４は、重み付け係数α２と、重み付け係数α１の一方を選択し、重み付け係数αとして出力する。
【００３３】
第３補正処理部２０５は、重み付け係数選択部２０４が出力する重み付け係数αを用いて、第１補正処理部１０３から得られた補正値と、第２補正処理部２０１から得られた補正値の重み付け係数を重み付け加算して、欠陥画素の画素補正データを算出する。
【００３４】
図４における各部の動作の詳細を、図６のフローチャートとともに、より具体的に説明する。Ｓ５０１、Ｓ５０２は第１の実施形態と同様であるため説明を省略する。
画素補正処理部２００−１〜２００−４が、０度方向、４５度方向、９０度方向、１３５度方向における画素補正値をそれぞれ算出し、選択部７０１へ入力する（Ｓ１００１）。
【００３５】
選択部７０１は、０度方向、４５度方向、９０度方向、１３５度方向における画素補正値のうち、Ｓ５０２で算出された方向判別結果に対応する方向の画素補正値を選択し、最終的な画素補正値として出力する（Ｓ１００２）。
【００３６】
次に、図６のＳ１００１における画素補正値の算出処理について、図７のフローチャートを用いて説明する。ここでは、画素補正処理部２００−１〜２００−４の処理を代表して、４５度方向の画素補正値を算出する画素補正処理部２００−１の処理を説明するが、０度、９０度、１３５度方向の画素補正値算出も同様に行う。また、図７において、Ｓ５０３、Ｓ５０４における処理は第１の実施形態と同様であるため、説明を省略する。なお、第１の実施形態と同様、図３（ａ）に示した欠陥画素に対する画素補正値を算出するものとする。
【００３７】
（Ｓ６０１）
第２補正処理部２０１は、式（６）で表されるように、欠陥画素８００を挟んで４５度方向に存在する、欠陥画素と同色の画素Ｒ２，Ｒ６の信号レベルの平均値を画素補正データとして算出する。
４５度方向の画素補正値＝ (R2 + R6) / 2 （６）
このように、第２補正処理部２０１は、第１補正処理部１０３と異なり、信号レベル比算出部１０２の算出する比を考慮しない画素補正値を算出する。
【００３８】
（Ｓ６０２）
第１重み付け係数算出部２０２において、信号レベル比算出部１０２で算出した３つの信号レベルG_AVE0、G_AVE1、G_AVE2の最小値G_AVE_MINを求める。すなわち、
G_AVE_MIN＝最小値（G_AVE0,C_AVE_1,G_AVE2） （７）
である。第１重み付け係数算出部２０２は算出したG_AVE_MINの値に基づき、第１補正処理部１０３がＳ５０４で算出した画素補正値と、第２補正処理部２０１がＳ６０１で算出した４５度方向の画素補正値との重み付け係数α１（０≦α１≦１）を算出する。
【００３９】
図８（ａ）に、G_AVE_MINと重み付け係数α１との関係例を示す。第１重み付け係数算出部２０２は、重み付け係数α１が０より大きくなる第１閾値３００を設定できる。第１重み付け係数算出部２０２は、G_AVE_MINが、第１閾値以下の場合、Ｇ領域を暗部領域とみなす。第１閾値３００は、撮像素子の特性などに応じて予め設定しておくことができる。暗部領域では、信号レベルに対するノイズレベルが相対的に大きくなり、信号レベル比算出部１０２で算出する比の信頼性が低下する。そのため、第１重み付け係数算出部２０２は、G_AVE_MINが第１閾値３００以下の場合、重み付け係数α１を０とする。
また、第１傾き３０２は、G_AVE_MINが第１閾値３００より大きい場合、Ｇ領域が暗部領域の影響を受けないように設定される事が望ましい。第１傾き３０２の具体的な値は、例えば実験により求めることができる。
【００４０】
なお、ここでは重み付け係数α１を、信号レベルの平均値の最小値G_AVE_MINに応じて設定するものとしたが、
平均値（G_AVE0,C_AVE_1,G_AVE2）
最大値（G_AVE0,C_AVE_1,G_AVE2）
などに応じて重み付け係数α１を算出してもよい。また、図８（ａ）に記載したG_AVE_MINと重み付け係数α１との関係は、第１重み付け係数算出部２０２がテーブルとして保持していてもよいし、G_AVE_MINを引数とする関数として記憶しておいてもよい。
【００４１】
（Ｓ６０３）
第２重み付け係数算出部２０３において、
・欠陥画素８００を挟んで４５度方向に存在する、欠陥画素と同色の画素Ｒ２，Ｒ６の信号レベルと、
・欠陥画素８００に隣接する、欠陥画素と異なる色の画素Ｇ８、Ｇ１１、Ｇ１２、Ｇ１５の信号レベルと、
・欠陥画素８００と４５度方向で欠陥画素と隣接する欠陥画素と同色の画素Ｒ２及びＲ６の各々に隣接する、欠陥画素と異なる色の画素Ｇ２、Ｇ５、Ｇ６、Ｇ９及びＧ１４、Ｇ１７、Ｇ１８、Ｇ２１の信号レベルと、を抽出する。
【００４２】
第２重み付け係数算出部２０３は、抽出した信号レベルの最大値RG_MAXを求める。すなわち、
RG_MAX＝最大値（R2,R6,G8,G11,G12,G15,G2,G5,G6,G9,G14,G17,G18,G19） （８）
である。第２重み付け係数算出部２０３は算出したRG_MAXの値に基づき、第１補正処理部１０３がＳ５０４で算出した画素補正値と、第２補正処理部２０１がＳ６０１で算出した画素補正値の重み付け係数α２（０≦α２≦１）を算出する。
【００４３】
図８（ｂ）に、RG_MAXと重み付け係数α２との関係例を示す。第２重み付け係数算出部２０３は、重み付け係数α２が０となる第２閾値４００を設定できる。第２重み付け係数算出部２０３は、RG_MAXが、第２閾値以上の場合、Ｇ領域を飽和領域とみなす。第２閾値４００は、撮像素子の特性などに応じて予め設定しておくことができる。飽和領域でもやはり信号レベル比算出部１０２で算出する比の信頼性が低下する。そのため、第２重み付け係数算出部２０３は、G_MAXが第２閾値４００以上の場合、重み付け係数α２を０とする。
【００４４】
なお、ここでは重み付け係数α２を、信号レベルの最大値RG_MAXに応じて設定するものとしたが、
平均値（R2,R6,G8,G11,G12,G15,G2,G5,G6,G9,G14,G17,G18,G19）
最小値（R2,R6,G8,G11,G12,G15,G2,G5,G6,G9,G14,G17,G18,G19）
などに応じて重み付け係数α２を算出してもよい。また、図８（ｂ）に記載したRG_MAXと重み付け係数α２との関係は、第２重み付け係数算出部２０３がテーブルとして保持していてもよいし、RG_MAXを引数とする関数として記憶しておいてもよい。
また、第２傾き４０２はRG_MAXが、第２閾値４００未満の場合、飽和領域の影響を受けないように設定される事が望ましい。第２傾き４０２の具体的な値は、例えば実験により求めることができる。
【００４５】
（Ｓ６０４）
重み付け係数選択部２０４において、Ｓ６０２で算出した重み付け係数α１と、Ｓ６０３で算出した重み付け係数α２を比較して、小さい方の値を最終的な重み付け係数αとして算出（選択）する。すなわち、
重み付け係数α＝最小値（重み付け係数α１、重み付け係数α２） （９）
である。
【００４６】
小さい重み付け係数を選択することにより、信号レベル比算出部１０２の算出する、色信号レベルの比の信頼度が低い場合には、色信号レベルの比を考慮した画素補正値の重みが小さくなり、暗部領域や飽和領域の影響を抑制することができる。
【００４７】
（Ｓ６０５）
第３補正処理部２０５が、式（１０）により、４５度方向の最終的な画素補正値を算出する。
欠陥画素８００の４５度方向の最終的な画素補正値
＝ 第２補正処理部２０１が算出した画素補正値×（１−α）＋第１補正処理部１０３が算出した補正値×α （１０）
【００４８】
以上説明したように、本実施形態によれば、信号レベル比算出部１０２の算出する色信号レベルの比を考慮しない画素補正値と、信号レベル比算出部１０２の算出する色信号レベルの比を考慮した画素補正値とを重み付け加算して最終的な画素補正値を求める。そして、信号レベル比算出部１０２の算出する色信号レベルの比の信頼度が低いと考えられる場合には、色信号レベルの比を考慮した画素補正値の重みを減らす。そのため、色信号レベルの比の信頼度が高い場合には第１の実施形態と同様の効果が得られ、色信号レベルの比の信頼度が低い場合には画素補正値の誤補正を抑制できる。
【００４９】
なお、第２の実施形態においても、欠陥画素、画素Ｒ２、画素Ｒ６に隣接するこれら画素と異なる色の画素として、緑色画素の代わりに青色画素を抽出してもよい。上述した処理は欠陥画素が青色画素の場合もそのまま適用できる。ただし、赤色画素に隣接する画素として青色画素よりも緑色画素を用いたほうが、赤色画素との距離が近くなるため、緑色画素を用いたほうが補正精度は高くなると考えられる。また、欠陥画素が緑色画素の場合、欠陥画素に隣接する欠陥画素と異なる色の画素が２つの青色画素と２つの赤色画素となるが、両方の色の画素の信号レベルを抽出してもよいし、一方の色のみの画素の信号レベルを抽出してもよい。
【００５０】
（その他の実施形態）
上述の実施形態においては、ベイヤー配列の色フィルタを備えた撮像素子によって撮像された画像データを対象とする場合について説明した。しかし、本発明の原理は複数の特定色が規則的に配列された色フィルタを備えた撮像素子によって撮像された画像データに対して適用可能である。
【００５１】
また、第２の実施形態においては、方向判別部１０１で判別されうる各方向（ベイヤー配列の色フィルタの場合０度、４５度、９０度、１３５度）について画素補正値を生成し、方向判別部１０１での方向判別結果によって１つを選択する構成を説明した。しかし、第１の実施形態と同様、方向判別部１０１で判別された方向について画素補正値を算出するように構成してもよい。この場合、選択部７０１は不要となり、画素補正処理部２００−１〜２００−４は１つでよく、方向判別部１０１の出力が信号レベル比算出部１０２、第１及び第２補正処理部１０３、２０１に供給される。そして、信号レベル比算出部１０２、第１及び第２補正処理部１０３、２０１は、上述した４５度の方向に代えて、判別された方向について同様の処理を行う。そして、第３補正処理部２０５の出力が欠陥画素の画素補正値となる。
【００５２】
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
【特許請求の範囲】
【請求項１】
複数の特定色が規則的に配列された色フィルタを備えた撮像素子によって撮像された画像データに含まれる、前記撮像素子の欠陥画素の信号レベルを補正する画像処理装置であって、
前記欠陥画素を挟んで位置する前記欠陥画素と同色の画素の複数組のそれぞれについての信号レベルの差から、前記欠陥画素からどの方向に位置する画素を前記欠陥画素の信号レベルの算出に用いるかを判別する判別手段と、
前記欠陥画素に隣接する前記欠陥画素と異なる色の画素の信号レベルと、前記欠陥画素から前記判別手段で判別された方向に位置する前記欠陥画素と同色の画素、に隣接する前記欠陥画素と異なる色の画素の信号レベル、との比を求める比算出手段と、
前記欠陥画素から前記判別手段で判別された方向に位置する前記欠陥画素と同色の画素の信号レベルの平均値に、前記比算出手段で算出した比を乗じた値を、前記欠陥画素の信号レベルとして出力する第１補正処理手段とを有することを特徴とする画像処理装置。
【請求項２】
前記画素の信号レベルの平均値を出力する第２補正処理手段と、
前記欠陥画素に隣接する前記欠陥画素と異なる色の画素の信号レベルと、前記欠陥画素から前記判別手段で判別された方向に位置する前記欠陥画素と同色の画素、に隣接する前記欠陥画素と異なる色の画素の信号レベルとから、重み付け係数とを算出する係数算出手段と、
前記係数算出手段が算出した前記重み付け係数を用いて、前記第１補正処理手段が出力する値と前記第２補正処理手段の出力する値を重み付け加算して、前記欠陥画素の信号レベルとして出力する第３補正処理手段と、をさらに有し、
前記係数算出手段は、前記欠陥画素に隣接する前記欠陥画素と異なる色の画素の信号レベルと、前記欠陥画素から前記判別手段で判別された方向に位置する前記欠陥画素と同色の画素、に隣接する前記欠陥画素と異なる色の画素の信号レベルとが、予め定めた暗部領域もしくは飽和領域に含まれる場合には、前記重み付け加算における前記第１補正処理手段が出力する値の重み付け係数を０とすることを特徴とする請求項１記載の画像処理装置。
【請求項３】
前記係数算出手段は、前記欠陥画素に隣接する前記欠陥画素と異なる色の画素の信号レベルと、前記欠陥画素から前記判別手段で判別された方向に位置する前記欠陥画素と同色の画素、に隣接する前記欠陥画素と異なる色の画素の信号レベルとが、予め定めた暗部領域もしくは飽和領域に含まれない場合には、前記重み付け加算における前記第１補正処理手段が出力する値の重み付け係数を１とすることを特徴とする請求項２記載の画像処理装置。
【請求項４】
前記係数算出手段は、
前記欠陥画素に隣接する前記欠陥画素と異なる色の画素の信号レベルの平均値と、前記欠陥画素から前記判別手段で判別された方向に位置する前記欠陥画素と同色の画素、に隣接する前記欠陥画素と異なる色の画素の信号レベルの平均値とが、予め定めた第１閾値以下の場合、または
前記欠陥画素に隣接する前記欠陥画素と異なる色の画素の信号レベルと、前記欠陥画素から前記判別手段で判別された方向に位置する前記欠陥画素と同色の画素、に隣接する前記欠陥画素と異なる色の画素の信号レベルの最大値とが、予め定めた第２閾値以上の場合に、前記重み付け加算における前記第１補正処理手段が出力する値の重み付け係数を０とすることを特徴とする請求項２又は請求項３記載の画像処理装置。
【請求項５】
前記判別手段が、前記欠陥画素を挟んで位置する前記欠陥画素と同色の画素の複数組のうち、信号レベルの差が最小となる画素の組の位置から、前記方向を判別することを特徴とする請求項１乃至請求項４のいずれか１項に記載の画像処理装置。
【請求項６】
前記比算出手段が、前記欠陥画素に隣接する前記欠陥画素と異なる色の複数の画素の信号レベルの平均値である第１平均値と、前記欠陥画素から前記判別手段で判別された方向に位置する前記欠陥画素と同色の２つの画素のそれぞれについて、隣接する前記欠陥画素と異なる色の複数の画素の信号レベルの平均値である第２平均値及び第３平均値とを求め、前記第１平均値 / （（前記第２平均値＋前記第３平均値） / 2）を前記比として求めることを特徴とする請求項１乃至請求項５のいずれか１項に記載の画像処理装置。
【請求項７】
複数の特定色が規則的に配列された色フィルタを備えた撮像素子によって撮像された画像データに含まれる、前記撮像素子の欠陥画素の信号レベルを補正する画像処理装置の制御方法であって、
前記画像処理装置の判別手段が、前記欠陥画素を挟んで位置する前記欠陥画素と同色の画素の複数組のそれぞれについての信号レベルの差から、前記欠陥画素からどの方向に位置する画素を前記欠陥画素の信号レベルの算出に用いるかを判別する判別工程と、
前記画像処理装置の比算出手段が、前記欠陥画素に隣接する前記欠陥画素と異なる色の画素の信号レベルと、前記欠陥画素から前記判別工程で判別された方向に位置する前記欠陥画素と同色の画素、に隣接する前記欠陥画素と異なる色の画素の信号レベル、との比を求める比算出工程と、
前記画像処理装置の第１補正処理手段が、前記欠陥画素から前記判別工程で判別された方向に位置する前記欠陥画素と同色の画素の信号レベルの平均値に、前記比算出工程で算出した比を乗じた値を、前記欠陥画素の信号レベルとして出力する第１補正処理工程とを有することを特徴とする画像処理装置の制御方法。
【請求項８】
コンピュータを、請求項１乃至請求項６のいずれか１項に記載の画像処理装置の各手段として機能させるためのプログラム。
【請求項１】
複数の特定色が規則的に配列された色フィルタを備えた撮像素子によって撮像された画像データに含まれる、前記撮像素子の欠陥画素の信号レベルを補正する画像処理装置であって、
前記欠陥画素を挟んで位置する前記欠陥画素と同色の画素の複数組のそれぞれについての信号レベルの差から、前記欠陥画素からどの方向に位置する画素を前記欠陥画素の信号レベルの算出に用いるかを判別する判別手段と、
前記欠陥画素に隣接する前記欠陥画素と異なる色の画素の信号レベルと、前記欠陥画素から前記判別手段で判別された方向に位置する前記欠陥画素と同色の画素、に隣接する前記欠陥画素と異なる色の画素の信号レベル、との比を求める比算出手段と、
前記欠陥画素から前記判別手段で判別された方向に位置する前記欠陥画素と同色の画素の信号レベルの平均値に、前記比算出手段で算出した比を乗じた値を、前記欠陥画素の信号レベルとして出力する第１補正処理手段とを有することを特徴とする画像処理装置。
【請求項２】
前記画素の信号レベルの平均値を出力する第２補正処理手段と、
前記欠陥画素に隣接する前記欠陥画素と異なる色の画素の信号レベルと、前記欠陥画素から前記判別手段で判別された方向に位置する前記欠陥画素と同色の画素、に隣接する前記欠陥画素と異なる色の画素の信号レベルとから、重み付け係数とを算出する係数算出手段と、
前記係数算出手段が算出した前記重み付け係数を用いて、前記第１補正処理手段が出力する値と前記第２補正処理手段の出力する値を重み付け加算して、前記欠陥画素の信号レベルとして出力する第３補正処理手段と、をさらに有し、
前記係数算出手段は、前記欠陥画素に隣接する前記欠陥画素と異なる色の画素の信号レベルと、前記欠陥画素から前記判別手段で判別された方向に位置する前記欠陥画素と同色の画素、に隣接する前記欠陥画素と異なる色の画素の信号レベルとが、予め定めた暗部領域もしくは飽和領域に含まれる場合には、前記重み付け加算における前記第１補正処理手段が出力する値の重み付け係数を０とすることを特徴とする請求項１記載の画像処理装置。
【請求項３】
前記係数算出手段は、前記欠陥画素に隣接する前記欠陥画素と異なる色の画素の信号レベルと、前記欠陥画素から前記判別手段で判別された方向に位置する前記欠陥画素と同色の画素、に隣接する前記欠陥画素と異なる色の画素の信号レベルとが、予め定めた暗部領域もしくは飽和領域に含まれない場合には、前記重み付け加算における前記第１補正処理手段が出力する値の重み付け係数を１とすることを特徴とする請求項２記載の画像処理装置。
【請求項４】
前記係数算出手段は、
前記欠陥画素に隣接する前記欠陥画素と異なる色の画素の信号レベルの平均値と、前記欠陥画素から前記判別手段で判別された方向に位置する前記欠陥画素と同色の画素、に隣接する前記欠陥画素と異なる色の画素の信号レベルの平均値とが、予め定めた第１閾値以下の場合、または
前記欠陥画素に隣接する前記欠陥画素と異なる色の画素の信号レベルと、前記欠陥画素から前記判別手段で判別された方向に位置する前記欠陥画素と同色の画素、に隣接する前記欠陥画素と異なる色の画素の信号レベルの最大値とが、予め定めた第２閾値以上の場合に、前記重み付け加算における前記第１補正処理手段が出力する値の重み付け係数を０とすることを特徴とする請求項２又は請求項３記載の画像処理装置。
【請求項５】
前記判別手段が、前記欠陥画素を挟んで位置する前記欠陥画素と同色の画素の複数組のうち、信号レベルの差が最小となる画素の組の位置から、前記方向を判別することを特徴とする請求項１乃至請求項４のいずれか１項に記載の画像処理装置。
【請求項６】
前記比算出手段が、前記欠陥画素に隣接する前記欠陥画素と異なる色の複数の画素の信号レベルの平均値である第１平均値と、前記欠陥画素から前記判別手段で判別された方向に位置する前記欠陥画素と同色の２つの画素のそれぞれについて、隣接する前記欠陥画素と異なる色の複数の画素の信号レベルの平均値である第２平均値及び第３平均値とを求め、前記第１平均値 / （（前記第２平均値＋前記第３平均値） / 2）を前記比として求めることを特徴とする請求項１乃至請求項５のいずれか１項に記載の画像処理装置。
【請求項７】
複数の特定色が規則的に配列された色フィルタを備えた撮像素子によって撮像された画像データに含まれる、前記撮像素子の欠陥画素の信号レベルを補正する画像処理装置の制御方法であって、
前記画像処理装置の判別手段が、前記欠陥画素を挟んで位置する前記欠陥画素と同色の画素の複数組のそれぞれについての信号レベルの差から、前記欠陥画素からどの方向に位置する画素を前記欠陥画素の信号レベルの算出に用いるかを判別する判別工程と、
前記画像処理装置の比算出手段が、前記欠陥画素に隣接する前記欠陥画素と異なる色の画素の信号レベルと、前記欠陥画素から前記判別工程で判別された方向に位置する前記欠陥画素と同色の画素、に隣接する前記欠陥画素と異なる色の画素の信号レベル、との比を求める比算出工程と、
前記画像処理装置の第１補正処理手段が、前記欠陥画素から前記判別工程で判別された方向に位置する前記欠陥画素と同色の画素の信号レベルの平均値に、前記比算出工程で算出した比を乗じた値を、前記欠陥画素の信号レベルとして出力する第１補正処理工程とを有することを特徴とする画像処理装置の制御方法。
【請求項８】
コンピュータを、請求項１乃至請求項６のいずれか１項に記載の画像処理装置の各手段として機能させるためのプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【公開番号】特開２０１３−５５６４０（Ｐ２０１３−５５６４０Ａ）
【公開日】平成２５年３月２１日（２０１３．３．２１）
【国際特許分類】
【出願番号】特願２０１２−１４００３７（Ｐ２０１２−１４００３７）
【出願日】平成２４年６月２１日（２０１２．６．２１）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
【公開日】平成２５年３月２１日（２０１３．３．２１）
【国際特許分類】
【出願日】平成２４年６月２１日（２０１２．６．２１）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
[ Back to top ]