説明

撮像装置

【課題】撮像素子においては、製造工程において生じる画素欠陥と、温度変化や宇宙線などの放射線による経時変化で生じる画素欠陥とがあり、画素欠陥には欠陥箇所の輝度が高くなるいわゆる「白欠陥」と欠陥箇所の輝度が低くなるいわゆる「黒欠陥」とがある。製造工程において生じる画素欠陥は固定位置であるため、工場出荷時に欠陥画素の出力を近隣画素の出力を補間した値で補正する欠陥補正を施してから出荷することがおこなわれている。しかしながら、温度変化や経時変化で生じた撮像素子の画素欠陥には補間できないため画質を損なう問題があった。
【解決手段】
上記目的を解決するために、本発明では注目画素に対して周辺画素との差を基に画素欠陥か否かを判定し、さらには注目画素と周辺画素との差分の分布に応じて周辺画素で補間することを特徴とする。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、撮像装置に関する。
【背景技術】
【0002】
本技術分野の背景技術として、特許文献1がある。該公報には、「レンズ11が非合焦状態にあるときの撮像素子13の輝度レベルを用いて欠陥検出回路24で欠陥検出を行い、その検出した欠陥画素のアドレスをシステムコントローラ26内に保持し、そのアドレス位置で欠陥補正を行うようにする。」と記載されている(要約参照)。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開2005−328134号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
撮像素子においては、製造工程において生じる画素欠陥と、温度変化や宇宙線などの放射線による経時変化で生じる画素欠陥とがあり、画素欠陥には欠陥箇所の輝度が高くなるいわゆる「白欠陥」と欠陥箇所の輝度が低くなるいわゆる「黒欠陥」とがある。
【0005】
製造工程において生じる画素欠陥は固定位置であるため、工場出荷時に欠陥画素の出力を近隣画素の出力を補間した値で補正する欠陥補正を施してから出荷することがおこなわれている。
【0006】
しかしながら、温度変化や経時変化で生じた撮像素子の画素欠陥には補間できないため画質を損なう問題があった。
【0007】
この問題を解決する例として、特許文献1では、レンズが非合焦状態にあるときの固体撮像素子の出力信号に基づいて画素欠陥検出を行うことにより、経時変化で現れる欠陥画素にも対応できることが記載されている。
【0008】
しかしながら、特許文献1では、白欠陥は、隣り合う画素の信号との差分があらかじめ設定した差幅よりも大きく、かつ当該差分が正の場合に白欠陥と判定し、黒欠陥は、隣り合う画素の信号との差分があらかじめ設定した差幅よりも大きく、かつ当該差分が負の場合に黒欠陥であると判定している。
【0009】
このため、白黒の撮像装置であれば正しく判定できるが、複数の色フィルタを配置したカラー撮像装置においては、同一色の画素との距離が離れていたり、隣の画素の輝度への重み係数が異なっているために、固定の閾値では、欠陥を補正できながったり、欠陥画素で無いにもかかわらず欠陥画素として補正してしまう問題があった。また、欠陥補正においてはその欠陥が目立ちやすいか否かに応じた補正の調整については何ら考慮されていなかった。
【0010】
本発明は、上記課題を解決し、カラー撮像装置においても、より精度の高い画素結果検出及び画素欠陥補正が可能な撮像装置を提供するものである。
【課題を解決するための手段】
【0011】
本願において開示される発明のうち、代表的なものの概要を簡単に説明すれば、次の通りである。
(1)被写体を撮像する撮像手段と、前記撮像手段からの出力信号を用いて注目画素の欠陥判定を行う欠陥判定手段と、前記欠陥判定手段により前記注目画素が欠陥であると判定された場合に、補間値を前記注目画素の値として出力する欠陥補正手段と、を有し、前記欠陥補正手段は、前記注目画素と前記注目画素に周囲にある比較対象画素との差の値の範囲並びに差分の分布に基づいて前記比較対象画素に対する補正量を調整した値を前記補間値として出力することを特徴とする撮像装置である。
(2)(1)記載の撮像装置であって、前記欠陥補正手段は、前記注目画素と前記注目画素の周囲にある比較対象画素との差の値の範囲並びに差分の分布に基づいて、各比較対象画素の重み係数と混合係数を算出する分布判定手段と、前記各比較対象画素の値に対して前記重み係数を乗じて加重平均値を算出する補間信号生成手段と、前記注目画素の信号出力と、前記算出された比較対象画素の加重平均値と、を前記混合係数によって混合し、前記注目画素の信号出力と前記比較対象画素の加重平均値との間の値で補間値を算出する混合手段と、を有することを特徴とする撮像装置である。
【0012】
また、欠陥検出する画素の色情報に応じて欠陥か否かを判定する閾値を切り替えることを特徴とする撮像装置である。
【0013】
また、水平方向と垂直方向にそれぞれN*M画素(N,Mは奇数)の範囲の中心の画素を注目画素(欠陥判定をする画素)とし、比較対象画素を注目画素と同色の周囲画素として、同一の色のみを使用して注目画素が欠陥か否かを判定することを特徴とする撮像装置である。
【0014】
また、水平方向と垂直方向にそれぞれN*M画素(N,Mは奇数)の範囲の中心の画素を注目画素(欠陥判定をする画素)とし、比較対象画素を緑色として、注目画素からの距離によって緑色のグループを分け平均値を算出し、グループ毎の平均値の差によって注目画素が欠陥か否かを判定することを特徴とする撮像装置である。
【0015】
また、水平方向と垂直方向にそれぞれN*M画素(N,Mは奇数)の範囲の中心の画素を注目画素(欠陥判定をする画素)とし、比較対象画素を注目画素と同色の周囲画素として、注目画素と比較対象画素の差分が閾値よりも小さな比較対象画素を除外して、比較対象画素の平均値と注目画素と比較対象画素の差分の絶対値の最大値と最小値を計算し、比較対象画素の平均値と差分の絶対値の最大値−最小値によって注目画素と比較対象画素の平均値の間の値で補間値を計算し、注目画素が欠陥の場合には、上記補間値を注目画素の値として出力することを特徴とする撮像装置である。
【0016】
上記のように、本発明によれば、欠陥と判定する画素の輝度に対する重み係数を考慮した閾値の切り替えや、判定を施し、さらに、ホワイトバランスの状態によって閾値の設定や判定方法を変えることで、カラー撮像装置においても、より精度の高い画素欠陥検出をおこなうことが可能となり、より精度の高い欠陥補正を施すことが可能となる。
【0017】
また、本発明によれば、同一の色のみを使用して欠陥判定するため、たとえばホワイトバランスがずれていた際にでも、より精度の高い画素欠陥検出を可能とした撮像装置を提供することができる。
【0018】
また、本発明によれば、欠陥判定画素との距離が近い画素の出力を用いて欠陥判定をするため、より周波数成分の高い被写体においても正しい画素欠陥検出を可能とした撮像装置を提供することができる。
【0019】
また、本発明によれば、目立ちやすい欠陥と、目立ちにくい欠陥を切り分け、目立ちやすい欠陥においては補正を強め、目立ちにくい欠陥では補正を弱めることで、大きな補正効果を得ることと、大きく画像を損ねないことの2つを両立し、かつ、その2つの間をバランスさせた欠陥補正をおこなうことを可能とした、撮像装置を提供できる。
【発明の効果】
【0020】
本発明によれば、カラー撮像装置においても精度の高い画素欠陥検出及び画素欠陥補正が可能な撮像装置を提供することができる。
【図面の簡単な説明】
【0021】
【図1】本発明に係る撮像装置の一構成例を示す図である。
【図2】欠陥検出・補正回路の第一の構成例を示す図である。
【図3】比較器201の動作フローを示す図である。
【図4】閾値選択回路203の補足説明のための画素の一例を示す図である。
【図5】閾値選択回路203の補足説明のための画素の他の例を示す図である。
【図6】欠陥検出・補正回路の第二の構成例を示す図である。
【図7】第一の欠陥検出回路の構成例を示す図である。
【図8】第一の欠陥検出回路の補足説明図である。
【図9】欠陥検出回路の他の構成例を示す図である。
【図10】本発明に係る欠陥画素検出に好適な処理アルゴリズムを示す図である。
【図11】第二の欠陥検出回路の構成例を示す図である。
【図12】第三の欠陥検出回路の構成例を示す図である。
【図13】欠陥検出・補正回路の他の構成例を示す図である。
【図14】第二の欠陥補正回路の構成例を示す図である。
【図15】混合係数計算の補足説明図である。
【図16】補間値計算の補足説明図である。
【図17】第一の欠陥補正回路の構成例を示す図である。
【発明を実施するための形態】
【0022】
以下、本発明の実施形態について図面を用いて説明する。
【実施例1】
【0023】
本実施形態では、撮像装置の一形態であるビデオカメラを例に用いて説明する。本発明に係る撮像装置の第一の実施形態の構成例は、図1に示す通り、撮像レンズ101と、撮像素子102と、A/D変換回路103と、欠陥検出・補正回路104と、信号処理回路105と、タイミングジェネレータ106とを適宜用いて構成される。以下、本撮像装置による欠陥検出・欠陥補正について説明する。まず、撮像レンズ101を介して被写体から入射された光は撮像素子102に照射され、被写体像が結像される。撮像素子102はタイミングジェネレータ106による駆動パルスによって水平と垂直の走査がなされ、被写体像を撮像し電気信号を発生する。この電気信号はA/D変換回路103でデジタル信号に変換され、欠陥検出・補正回路104に入力する。欠陥検出・補正回路104では、タイミングジェネレータ106による色情報により、欠陥検出する閾値(白欠陥用/黒欠陥用)を適宜切り替え、入力信号と近隣の画素との差と閾値(白欠陥用/黒欠陥用)の関係により「正常」と判断した場合には入力信号を信号処理回路105に出力し、「欠陥」と判断した場合には近隣の画素から補間した信号を信号処理回路105に出力する。信号処理回路105はノイズ除去やガンマ補正などの各種カメラ信号処理を施し、TV信号などの信号に変換後出力する。
【0024】
次に、欠陥検出・補正回路104の第一の構成例の詳細について、図2を用いて説明する。図2に示す通り、欠陥検出・補正回路104の第一構成例は、比較器201と、データラッチ202と、閾値選択回路203とを適宜用いて構成される。欠陥検出・補正回路104への入力信号は、比較器201とデータラッチ202に供給される。データラッチ202では1画素前の入力信号を保持して、入力画素に対して1画素前の信号を逐次比較器201に出力する。一方、閾値選択回路203には、入力画素に対する色情報が入力される。閾値選択回路203では、あらかじめ各色に対する閾値(白欠陥用/黒欠陥用)が設定されており、入力された色情報の種類に応じた閾値(白欠陥用/黒欠陥用)を選択して、比較器201に出力する。
【0025】
ここで、比較器201の動作について、図3を用いて補足する。比較器201では、入力画素の信号量が白欠陥用閾値とデータラッチ202との信号量の和よりも大きいか判定し(STEP1)、入力画素の信号量が白欠陥用閾値とデータラッチ202との信号量の和よりも大きい時に「白欠陥」と判定し、近隣の画素から補間した信号に相当するデータラッチ202の信号量を信号処理回路105に出力する(STEP2)。入力画素の信号量が白欠陥用閾値とデータラッチ202との信号量の和よりも小さい時には、さらに、入力画素の信号量がデータラッチ202の信号量から黒欠陥用閾値を引いた信号量よりも小さいか判定し(STEP3)、入力画素の信号量がデータラッチ202の信号量から黒欠陥用閾値を引いた信号量よりも小さい場合には「黒欠陥」と判定し、近隣の画素から補間した信号に相当するデータラッチ202の信号量を信号処理回路105に出力する(STEP2と同じ)。上記の「白欠陥」「黒欠陥」と判定されなかった場合には、「正常」と判定し入力信号を信号処理回路105に出力する(STEP4)。なお、STEP1とSTEP3の順序は逆であっても構わない。
【0026】
さらに上記した閾値選択回路203の動作について図4を用いて補足する。図4は原色フィルタを用いたカラー撮像装置の一例でたとえばNTSCのTV方式の撮像装置では、赤(R)、緑(G)、青(B)の入力により輝度信号(Y)を、Y=0.29*R+0.60*G+0.11*Bの計算式で生成している。図4中の太枠で囲った水平*垂直の2*2の画素に着目するとGは二つあるため、輝度信号(Y)への重み係数は、
R:G:B = 0.29:0.30:0.11 ・・・(式1)
となっている。
【0027】
ここで赤(R)、緑(G)、青(B)のそれぞれの画素に欠陥があった場合を考えると、輝度信号(Y)へは上記(1)式の比率で欠陥の影響が現れることになるため、閾値の比率も上記(1)式の比率に合わせることで、精度の高い画素欠陥検出が可能となる。つまり、閾値選択回路203には、大略上記(1)式の比率であらかじめ各色に対する閾値(白欠陥用/黒欠陥用)を設定しておき、欠陥と判定する(入力)画素の色情報の種類に応じて切り替えると良いことがわかる。
【0028】
他の一例として、図5のような補色フィルタを用いた撮像装置では、信号処理のマトリクスの組み方に複数の組み方が考えられるが、例えば、 Y=K1*Ye+K2*Cy+K3*Mg+K4*Gの計算式で生成している場合には、
Ye:Cy:Mg:G = K1:K2:K3:K4 ・・・(式2)
で、上記(1)式と同様に大略上記(2)式の比率であらかじめ各色に対する閾値(白欠陥用/黒欠陥用)を設定しておくと良く、上記以外の他の色配置の場合でも同様に設定すると良いことがわかる。
【0029】
以上のように本実施刑では、欠陥検出する画素の色情報の輝度信号に対する影響度を考慮して、欠陥検出する画素の色情報に応じて欠陥か否かを判定する閾値を切り替えるのでカラー撮像装置においても精度の高い画素欠陥検出と画素欠陥補正可能とした撮像装置を提供することができる。また、本実施形態は、監視カメラシステムなど長期間に亘って通電し続け、欠陥画素が温度変化や経時変化で現れる撮像装置において、特に有効である。
【0030】
なお、本実施例では、データラッチ202を用いて、近隣画素として直前の画素の情報で欠陥検出と欠陥補正をおこなうこととして一例を説明したが、例えばラインメモリを用いて、1ライン手前の画素の情報で欠陥検出と欠陥補正をおこなっても良く、更にフィード(フレーム)メモリなどを用いて左右、1ライン上下、斜め右上、斜め右下、斜め左上、斜め左下、などを用いて、より広い周辺画素の情報で欠陥検出と欠陥補正をおこなっても良く、種々変更可能である。
【実施例2】
【0031】
本発明に係る撮像装置の第二の実施形態として、欠陥検出・補正回路が異なる例を説明する。図6は欠陥検出・補正回路の第二構成例を説明する図である。なお、図2で示す欠陥検出・補正回路の第一構成例と同じ動作をするものについては、図2と同じ番号を付し適宜説明を省略する。
【0032】
撮像装置においては、撮影する光源の色温度がさまざまであるため、白色が白色として撮影できるように色ゲインを自動で制御するいわゆるオートホワイトバランス制御が広く採用されている。例えば、色温度が高くなるほど赤色(R)のゲインを大きくし、青色(B)のゲインを小さくする。逆に色温度が低くなるほど赤色(R)のゲインを小さくし、青色(B)のゲインを大きくする。また、蛍光灯などの光源下では、緑色(G)のゲインを制御することもある。
【0033】
欠陥検出・補正回路104−2が、オートホワイトバランス制御前に配置されている場合には、上記したように、各色のゲインを変更するため、各色に対して設定してある閾値(白欠陥用/黒欠陥用)にも各色のゲインを考慮する必要がある。
【0034】
閾値選択回路303では、不図示のオートホワイトバランス制御部からの各色(R,G,B)のゲインを入力し、あらかじめ設定してある各色に対する閾値(白欠陥用/黒欠陥用)に対して入力した各色のゲインを乗じた値とし、入力された色情報の種類に応じた閾値(白欠陥用/黒欠陥用)を選択して、比較器201に出力する。
【0035】
本実施例では、撮影する光源が変わった際にでも、光源に合った色情報の輝度信号に対する影響度を考慮しているため、より精度の高い画素欠陥検出と画素欠陥補正可能とした撮像装置を提供することができる。
【実施例3】
【0036】
本発明に係る撮像装置の第三の実施形態として、図7で示す第一の欠陥検出回路を用いた例について以下に説明する。まず、本発明に係る欠陥画素の検出するに好適な処理アルゴリズムについて図10を用いて説明する。同図に示したように、本画素欠陥検出アルゴリズムにおいては、同色画素にて画素欠陥判定処理を第1判定処理(GS1)にて行い、さらに異色(前記第1処理に用いた色の以外の色の画素)画素にて画素欠陥判定処理を第2判定処理(GS2)として行い、さらに、第1判定処理と第2判定処理の結果から最終的な画素欠陥判定として最終判定処理(GS3)を行う特徴がある。
【0037】
図7は、図10のSTEP1で示した同色画素による画素欠陥判定処理を行う第一の欠陥検出回路の構成例を説明する図である。たとえば、図4のような原色フィルタで、緑色(G)については赤色(R)の行にある緑色(G)をGrとし、青色(B)の行にある緑色(G)をGbとして分けて記載している。また、水平方向と垂直方向にそれぞれ5*5画素の範囲(以後スコープ)を例としている。
【0038】
図7では、スコープの中央の画素を注目画素(欠陥判定をする画素)とし座標(0,0)で表す。水平方向で左側を負、右側を正、垂直方向で上側を負、下側を正として、注目画素を基準に座標を割り当てている。注目画素は撮像素子の走査に従い移動する。比較対象画素を注目画素と同色の周囲8画素とする。すなわち座標(-2,-2),(0,-2),(+2,-2),(-2,0),(+2,0),(-2,+2),(0,+2),(+2,+2)が対象画素となる。ここでは、図7に示す通り、注目画素が赤色(R)の場合を例にとって説明する。
【0039】
注目画素の信号と比較対象画素の出力と差分の閾値709は比較器701〜708にそれぞれ加えられる。差分の閾値709は、白欠陥、黒欠陥と正常画素とを区別するための閾値で、あらかじめ色毎に設定した値を設定しておく。
比較器701〜708では、それぞれ、(A)|注目画素−比較対象画素| の演算結果と差分の閾値701との大小比較結果、(B)注目画素−比較対象画素 の符号の判定結果、の2つの結果を出力する。なお、記号||は絶対値の演算であり、比較器701〜708では、|注目画素−比較対象画素| ≧ 差分の閾値701 の場合には真(1)、それ以外では偽(0)を出力する。また、注目画素−比較対象画素 の演算結果が正または0の場合には真(1)、負の場合には偽(0)を出力する。
【0040】
比較器701では比較対象画素座標(-2,-2)、比較器702では比較対象画素座標(0,-2)、比較器703では比較対象画素座標(+2,-2)、比較器704では比較対象画素座標(-2,0)、比較器705では比較対象画素座標(+2,0)、比較器706では比較対象画素座標(+2,-2)、比較器707では比較対象画素座標(0,+2)、比較器708では比較対象画素座標(+2,+2)として比較演算をおこなう。比較器701〜708の判定結果は、それぞれ、加算器710と符号一致判定713に入力される。加算器710では、|注目画素−比較対象画素| ≧ 差分の閾値701 となった比較対象の画素数をカウントする。加算器710のカウント結果と、数の閾値711を比較器712に入力し、比較器712では、加算器710のカウント結果 ≧ 数の閾値711 の場合には真(1)、そうでない場合には偽(0)を出力する。一方、符号一致判定713では、注目画素−比較対象画素 の符号がすべて一致した場合には真(1)、一致しなかった場合には偽(0)を出力する。比較器712の結果と符号一致判定713の結果はAND714により積論理が施され、比較器712の結果と符号一致判定713の結果がともに真(1)の場合に真(1)、そうでない場合には偽(0)を判定結果として出力する。以上の結果として、|注目画素−比較対象画素| ≧ 差分の閾値701 となった画素数が数の閾値711以上で、かつ、注目画素−比較対象画素 の符号がすべて一致した場合に判定結果は真(1)=「欠陥有り」、そうでない場合には偽(0)=「欠陥無し」となる。
【0041】
なお、注目画素が撮像素子の有効画素範囲の上下左右2画素以下にある場合には、比較対象画素が無くなる部分の比較器(701〜708のいくつか)を無効とする処理を加算器710と符号一致判定713に付加すると良い。この場合、加算器710で、無効とした画素数分の比率で加算結果を補正しても良いし、数の閾値711を補正して判定しても良い。また、青色(B)、緑色(Gr,Gb)についても差分の閾値709の設定値が変わることがあるが動作は上記の赤色(R)と同様である。また、本実施例では、2と2√2の距離の画素を同一の差分の閾値709を用いて説明したが、2と2√2の距離の画素に対して別々の差分の閾値としても良い。
【0042】
本実施例では、同一の色のみを使用して比較、判定するため、たとえばホワイトバランスがずれていた際にでも、より精度の高い画素欠陥検出を可能とした撮像装置を提供することができる。
【0043】
なお、原色フィルタを用いて説明したが補色フィルタや、他の色フィルタ配置の撮像素子においても同様の効果を得られることは明らかである。また、スコープを水平方向と垂直方向にそれぞれ5*5画素の範囲としたが、他のサイズのスコープとしても同様の効果を得られることは明らかである。
【実施例4】
【0044】
本発明に係る撮像装置の第四の実施形態として、図7で示す第一の欠陥検出回路による判定結果に加えて、図11で示す第二の欠陥検出回路並びに図12で示す第三の欠陥検出回路を用いた例について、以下に説明する。
【0045】
前記実施例3における検出においては、注目画素に対して2と2√2の離れた距離の比較対象画素を用いて欠陥の検出をおこなっているために、たとえばRGBベイヤの画素配列を入力画像信号とした図8に示すように白欠陥の例(実線)と周波数成分の高い被写体の例(点線)との区別ができない問題がある。(逆に黒欠陥の場合も同様にある。)このため、本実施例では、前記実施例3の判定結果に加えて、前記実施例3の注目画素と比較対象画素の間の緑色(G:GrまたはGb)を用いて、欠陥判定をおこなうことで、より精度の高い画素欠陥検出を得るものである。
【0046】
たとえば、図9に示すように、前記実施例3による第一の欠陥検出回路901の判定結果に加えて、図10に示したSTEP3の処理を行う第二の欠陥検出回路902(図11)と、図10で示したSTEP4の処理を行う第三の欠陥検出回路903(図12)の判定結果を用いることで、前記実施例3における注目画素と比較対象画素の間を判定する。図10に示したSTEP5及びSTEP6の処理を行う欠陥判定904では、注目画素に対する色情報が入力され、緑色(G:GrまたはGb)の場合には、第一の欠陥検出回路901と第二の欠陥検出回路902のANDを判定結果として出力し、注目画素が赤色(R)または、青色(B)の場合には、第一の欠陥検出回路901と第三の欠陥検出回路903のANDを判定結果として出力する。この画素欠陥判定方法によれば、図8に示す白欠陥の例(実線)と周波数成分の高い被写体の例(点線)との区別が可能となり、周波数成分の高い被写体を欠陥と誤判定してしまう弊害を防ぐことができる。
【0047】
また、たとえば、図10のように、STEP1で第一の欠陥検出回路の判定結果が「欠陥無し」の場合には、STEP6で判定結果=欠陥無しとして終了し、「欠陥有り」の場合には、注目画素が緑色(G:GrまたはGb)ならSTEP3へ、注目画素が赤色(R)または、青色(B)ならSTEP4へ分岐する。STEP3では、第二の欠陥検出回路の判定結果が「欠陥有り」ならSTEP5で判定結果=欠陥有りとして終了し、「欠陥無し」ならSTEP6で判定結果=欠陥無しとして終了する。STEP4では、第三の欠陥検出回路の判定結果が「欠陥有り」ならSTEP5で判定結果=欠陥有りとして終了し、「欠陥無し」ならSTEP6で判定結果=欠陥無しとして終了とする、ことでも、図9と同じ結果が得られる。
【0048】
次に、第二の欠陥検出回路902の動作について図11を用いて説明し、第三の欠陥検出回路903の動作について図12を用いて説明する。
【0049】
図11は、第二の欠陥検出回路の構成例であり、前記実施例3において、スコープを水平方向と垂直方向にそれぞれ3*3画素の範囲としたものと等価で、比較対象画素は(-1,-1),(+1,-1),(-1,+1),(+1,+1)とする。注目画素と比較対象画素の距離は√2で、注目画素がGrなら比較対象画素はGbになり、また逆に、注目画素がGbなら比較対象画素はGrとなる。
【0050】
比較器1101では比較対象画素座標(-1,-1) 。比較器1102では比較対象画素座標(+1,-1) 。比較器1103では比較対象画素座標(-1,+1)。比較器1104では比較対象画素座標(+1,+1)として比較演算をおこなう。差分の閾値1105、加算器1106、数の閾値1107、比較器1108、符号一致判定1109、AND1110は、それぞれ、前記実施例3における差分の閾値709、加算器710、数の閾値711、比較器712、符号一致判定713、AND714と同様に動作するため説明を省略する。なお、差分の閾値1105では、色は緑色(G:GrまたはGb)固定となるため、差分の閾値709における色情報の入力を省略している。また、比較器1108、符号一致判定1109の入力の数が異なり、数の閾値1107は数の閾値711の大略1/2の値となる。
【0051】
以上により、第二の欠陥検出回路の構成例での判定結果は、|注目画素−比較対象画素| ≧ 差分の閾値1105 となった画素数が数の閾値1107以上で、かつ、注目画素−比較対象画素 の符号がすべて一致した場合に判定結果は真(1)、そうでない場合には偽(0)となる。この画素欠陥判定方法によれば、GrとGbは分光感度が同じまたは非常に似ている色成分同士であるため、同色と見なすことにより画素同士の差分のみで比較することが可能となる。従って、簡素な回路で実現できるため、低コスト低消費電力を実現できる。また、注目画素に対してより近い画素を用いて高周波の信号の分布を比較しているため、図8に示す白欠陥の例(実線)と周波数成分の高い被写体の例(点線)との区別が可能となり、周波数成分の高い被写体を欠陥と誤判定してしまう弊害を防ぐことができる。
【0052】
図12は、第三の欠陥検出回路の構成例である。たとえば、比較対象画素を第1グループとして注目画素から距離=1だけ離れた座標(0,-1),(-1,0),(+1,0),(0,+1)と、第2グループとして注目画素から距離=√5だけ離れた座標(-1,-2),(+1,-2),(-2,-1),(+2,-1) (-2,+1),(+2,+1),(-1,+2),(+1,+2)の2つのグループに分ける。注目画素は赤色(R)または、青色(B)で、第1グループと第2グループは緑色(G:GrまたはGb)となる。平均値算出回路1201では第1グループの4画素の平均を算出し出力する。また、平均値算出回路1202では、第2グループの8画素の平均を算出し出力する。
【0053】
比較器1204では、|第1グループの平均値−第2グループの平均値|≦差分の閾値1203 の判定をおこない、|第1グループの平均値−第2グループの平均値|≦差分の閾値1203の場合には真(1)=「欠陥有り」、そうでないならば偽(0)=「欠陥無し」を判定結果として出力する。この画素欠陥判定方法によれば、注目画素であるRまたはBの画素に対して周辺に分布するG信号のうち、第1グループと第2グループの平均値を求めてから比較するため、比較器ひとつで構成することができ、低コスト低消費電力を実現できる。また、注目画素の周辺に分布するG画素を用いて高周波の信号の分布を比較しているため、図8に示す白欠陥の例(実線)と周波数成分の高い被写体の例(点線)との区別が可能となり、周波数成分の高い被写体を欠陥と誤判定してしまう弊害を防ぐことができる。尚、第1グループと第2グループについて平均値を求めて比較するとしたが、重み付け加算後の信号同士を比較する方法であっても同様の効果が得られることは明白である。その際には、平均値を求める方式に対して除算器を省くことができる。
【0054】
以上の第二の欠陥検出回路902と第三の欠陥検出回路903において、たとえば図8のように差分の閾値1105と差分の閾値1203を設定すると、図8の白欠陥の例(実線)と周波数成分の高い被写体の例(点線)とを区別できる。
【0055】
本実施例では、前記実施例3と同様に、同一の色のみを使用して比較、判定するため、たとえばホワイトバランスがずれていた際にでも、より精度の高い画素欠陥検出を可能とした撮像装置を提供することができ、また、注目画素との距離が近い画素の出力を用いて欠陥判定をするため、周波数成分の高い被写体においても正しい画素欠陥検出を可能とした撮像装置を提供することができる。
【実施例5】
【0056】
上記各実施例では欠陥を判定する方法について説明したが、欠陥と判定した画素を欠陥とわからないように補正する必要がある。欠陥補正の一実施例につき、図17を用いて説明する。図17は欠陥補正回路の第一の構成例を説明する図である。
【0057】
補間信号生成手段1701では、比較対象画素の信号出力と差分の分布判定手段1703からの重み係数を入力し、比較対象画素の信号について、それぞれ、重み係数によって加重平均を取った値を補正値として混合手段1702に出力する。
混合手段1702は、注目画素の信号出力と、補間信号生成手段1701からの補正値と、差分の分布判定手段1703からの混合係数(α)と、欠陥判定結果を入力し、欠陥検出結果が真(1)の場合には差分の分布判定手段1703からの混合係数(α)に応じて、
欠陥補正結果=補間信号生成手段1701の補正値*α−注目画素の値*(1−α)
として出力し、欠陥検出結果が偽(0)の場合には、注目画素の値の値を欠陥補正結果として出力する。
【0058】
差分の分布判定手段1703では、注目画素の信号出力と比較対象画素の信号出力を入力し、注目画素と比較対象画素の差の値の範囲や分布に応じて、各比較対象画素の重み係数を算出し、補間信号生成手段1701に出力するとともに、混合係数(α)を算出し、混合手段1702に出力する。この時、欠陥画素の目立ちやすさとしては、比較対象画素の出力がほぼ均一の場合には、欠陥画素が目立ちやすく、比較対象画素の出力の分散が大きい場合には、欠陥画素が目立にくい、といった性質があるため、分布判定手段1703では、混合係数(α)の算出に当たっては、比較対象画素の出力がほぼ均一の場合には、混合係数(α)を比較対象画素寄りに、比較対象画素の出力の分散が大きい場合には、混合係数(α)を注目画素寄りに、なるように定めることで、比較対象画素の出力がほぼ均一の場合には、大きな補正効果を得、比較対象画素の出力の分散が大きい場合でも、大きく画像を損ねない、という2つを両立し、かつ、その2つの間をバランスさせた欠陥補正をおこなうことが可能となる。
【0059】
上記したように、本実施例では、目立ちやすい欠陥と、目立ちにくい欠陥を切り分け、目立ちやすい欠陥においては補正を強め、目立ちにくい欠陥では補正を弱めることで、大きな補正効果を得ることと、大きく画像を損ねないことの2つを両立し、かつ、その2つの間をバランスさせた欠陥補正をおこなうことを可能とした、撮像装置を提供できる。
【実施例6】
【0060】
上記実施例5で示した欠陥補正とは異なる他の欠陥補正の実施例について、図13〜図16を用いて説明する。なお、本実施例では、前記した実施例3における図7の欠陥検出回路を使用した場合を例にして説明する。
【0061】
図13は欠陥検出・補正回路の一例を説明する図であり、図7の欠陥検出回路と同様の動作をするものには同一の番号を付し説明を省略する。欠陥補正回路1301では、入力として、注目画素の信号出力、注目画素と同色の周囲8画素の座標である(-2,-2),(0,-2),(+2,-2),(-2,0),(+2,0),(-2,+2),(0,+2),(+2,+2)の信号出力、比較器701〜708それぞれの|注目画素−比較対象画素| と差分の閾値709との大小比較結果、加算器710による|注目画素−比較対象画素| ≧ 差分の閾値701 となった比較対象の画素数、および、AND714の結果が加えられ、欠陥補正結果を出力する。
【0062】
上記した欠陥補正回路1301の構成例につき、図14を用いて説明する。図14は欠陥補正回路の一構成例を説明する図である。差分の絶対値計算1401〜1408はそれぞれ|注目画素−比較対象画素| の演算をおこない、最大値、最小値、平均値算出1409に結果を出力する。絶対値計算1401では比較対象画素座標(-2,-2)。絶対値計算1402では比較対象画素座標(0,-2)。絶対値計算1403では比較対象画素座標(+2,-2)。絶対値計算1404では比較対象画素座標(-2,0)。絶対値計算1405では比較対象画素座標(+2,0)。絶対値計算1406では比較対象画素座標(+2,-2)。絶対値計算1407では比較対象画素座標(0,+2)。絶対値計算1408では比較対象画素座標(+2,+2)として差分の絶対値計算をおこなう。最大値、最小値、平均値算出1409は、比較器701〜708−+の判定結果出力で|注目画素−比較対象画素| ≧ 差分の閾値709 と真(1)となった比較対象画素に対して、(偽(0)となった比較対象画素を除いて)、差分の絶対値計算1401〜1408の中の最大値、差分の絶対値計算1401〜1408の中の最小値、並びに、比較対象画素をあらかじめ定めた重み係数によって重み付けした加重平均値、を求め、差分の絶対値計算1401〜1408の中の最大値−最小値、を算出して、混合係数計算1410に出力し、比較対象画素をあらかじめ定めた重み係数によって重み付けした加重平均値、を補間値計算1411に出力する。ここで、加算器710の加算結果出力は、比較器701〜708の判定結果出力で|注目画素−比較対象画素| ≧ 差分の閾値709 と真(1)となった比較対象画素数であるから、上記、比較対象画素の加重平均値を求めるにあたって、比較器701〜708の判定結果出力で|注目画素−比較対象画素| ≧ 差分の閾値709 と真(1)となった比較対象画素に対する信号に対して、それぞれの重み係数を乗じた値の合計値を、加算器710の加算結果出力の値に対して、それぞれの重み係数を乗じた値の合計値で割ることで算出することができる。
【0063】
混合係数計算1410は、下限値、傾き、閾値をパラメータとして、最大値、最小値、平均値算出1409から出力された差分の絶対値計算1401〜1408の中の 最大値−最小値の値から、混合係数(α)を計算し、補間値計算1411に出力する。
【0064】
この混合係数計算1410の例につき、図15を用いて補足する。図15は混合係数計算1410の説明を補足する図である。横軸は、差分の絶対値計算1401〜1408の中の 最大値− 最小値で、縦軸は、混合係数(α)である。差分の絶対値計算1401〜1408の中の 最大値−最小値が閾値以下の場合には、混合係数(α)を1.0とし、最大値−最小値が閾値を越えた場合には、最大値−最小値が閾値を越えた度合いに傾きを乗じて混合係数(α)を1.0から減ずる。また、このとき、混合係数(α)が下限値よりも小さくなった場合には、混合係数(α)を下限値の値で制限する。すなわち、混合係数(α)は、
1.0:最大値-最小値 ≦ 閾値、
1.0-傾き*(最大値-最小値-閾値):閾値+(1.0-下限値)/傾き > 最大値-最小値 > 閾値、
下限値:最大値-最小値 ≧ 閾値+(1.0−下限値)/傾き、
となる。
【0065】
次に、補間値計算1411の例につき、図16を用いて補足する。図16は補間値計算1411の説明を補足する図である。補間値計算1411は、AND714の結果である欠陥検出結果と注目画素の値と比較対象画素の加重平均値と、混合係数計算1410からの混合係数(α)を入力し、欠陥検出結果が真(1)の場合には図16のように混合係数計算1410からの混合係数(α)に応じて、補間値=比較対象画素の加重平均値*α−注目画素の値*(1−α)、として、該補間値を欠陥補正結果として出力し、欠陥検出結果が偽(0)の場合には、注目画素の値の値を欠陥補正結果として出力する。なお、補間値計算1411では、欠陥検出結果に応じて、補間値と注目画素の値を切り替えるように説明したが、たとえば、欠陥検出結果が偽(0)の場合には、混合係数(α)=0とするように欠陥検出結果に応じて、混合係数(α)を切り替えるように構成しても同様の結果を得ることできる。また、混合係数計算と補間値計算を別々の構成として説明したが1つにまとめて構成しても良い。
【0066】
本実施例によっても前記実施例5と同様に、目立ちやすい欠陥と、目立ちにくい欠陥を切り分け、目立ちやすい欠陥においては補正を強め、目立ちにくい欠陥では補正を弱めることで、大きな補正効果を得ることと、大きく画像を損ねないことの2つを両立し、かつ、その2つの間をバランスさせた欠陥補正をおこなうことを可能とした、撮像装置を提供できる。
【0067】
なお、本実施例の説明においては、差分の絶対値計算1401〜1408でおこなっている|注目画素−比較対象画素|の演算は、比較器701〜708の判定でもおこなっているため、比較器701〜708について|注目画素−比較対象画素|を最大値、最小値、平均値算出1409に出力するようにして、差分の絶対値計算1401〜1408を省略するように構成してもよい。
【0068】
また、図7の欠陥検出回路に対する欠陥補正回路として説明したが、注目画素がGbまたはGrの場合には、差分の絶対値計算の数を8から4に変えて構成することで、図11の欠陥検出回路に対する欠陥補正回路としても同様に構成可能なことは明らかである。同様に、他のサイズのスコープに対しても構成可能なことは明らかである。さらに、図9のように2つの欠陥補正回路を有する構成にして、注目画素がGbまたはGrの欠陥の場合には、2通りの混合係数(α)が得られるが、どちらの一方の混合係数(α)を使っても良いし、2つの混合係数(α)の間の値を新たな混合係数(α)として補間しても良い。
【0069】
なお、本発明は上記した実施例に限定されるものではなく、様々な変形例が含まれる。例えば、上記した実施例は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施例の構成の一部を他の実施例の構成に置き換えることが可能であり、また、ある実施例の構成に他の実施例の構成を加えることも可能である。また、各実施例の構成の一部について、他の構成の追加・削除・置換をすることが可能である。
【0070】
また、上記の各構成は、それらの一部又は全部が、ハードウェアで構成されても、プロセッサでプログラムが実行されることにより実現されるように構成されてもよい。また、制御線や情報線は説明上必要と考えられるものを示しており、製品上必ずしも全ての制御線や情報線を示しているとは限らない。実際には殆ど全ての構成が相互に接続されていると考えてもよい。
【符号の説明】
【0071】
101 撮像レンズ
102 撮像素子
103 A/D変換回路
104 欠陥検出・補正回路
105 信号処理回路
106 タイミングジェネレータ
201 比較器
202 データラッチ
203 閾値選択回路
303 閾値選択回路
701〜708 比較器
709 差分の閾値
710 加算器
711 数の閾値
712 比較器
713 符号一致判定
714 AND
901 第一の欠陥検出回路
902 第二の欠陥検出回路
903 第三の欠陥検出回路
904 欠陥判定
1101〜1104 比較器
1105 差分の閾値
1106 加算器
1107 数の閾値
1108 比較器
1109 符号一致判定
1110 AND
1201,1202 平均値算出回路
1203 差分の閾値
1204 比較器
1301 欠陥補正回路
1401〜1408 差分の絶対値計算
1409 最大値、最小値、平均値算出
1410 混合係数計算
1411 補間値計算
1701 補間信号生成手段
1702 混合手段
1703 差分の分布判定手段

【特許請求の範囲】
【請求項1】
被写体を撮像する撮像手段と、
前記撮像手段からの出力信号を用いて注目画素の欠陥判定を行う欠陥判定手段と、
前記欠陥判定手段により前記注目画素が欠陥であると判定された場合に、補間値を前記注目画素の値として出力する欠陥補正手段と、
を有し、
前記欠陥補正手段は、前記注目画素と前記注目画素に周囲にある比較対象画素との差の値の範囲並びに差分の分布に基づいて前記比較対象画素に対する補正量を調整した値を前記補間値として出力することを特徴とする撮像装置。
【請求項2】
請求項1記載の撮像装置であって、
前記欠陥補正手段は、
前記注目画素と前記注目画素の周囲にある比較対象画素との差の値の範囲並びに差分の分布に基づいて、各比較対象画素の重み係数と混合係数を算出する分布判定手段と、
前記各比較対象画素の値に対して前記重み係数を乗じて加重平均値を算出する補間信号生成手段と、
前記注目画素の信号出力と、前記算出された比較対象画素の加重平均値と、を前記混合係数によって混合し、前記注目画素の信号出力と前記比較対象画素の加重平均値との間の値で補間値を算出する混合手段と、
を有することを特徴とする撮像装置。
【請求項3】
請求項2記載の撮像装置であって、
前記分布判定手段は、前記混合係数が、
前記比較対象画素の出力の分散が所定閾値以下である場合には、前記注目画素と比して比較対象画素寄りに、
前記比較対象画素の出力の分散が所定閾値以上である場合には、前記比較対象画素と比して注目画素寄りに、
なるように算出することを特徴とする差分の撮像装置。
【請求項4】
請求項1記載の撮像装置であって、
前記欠陥補正手段は、
前記注目画素と前記注目画素の周囲にある比較対象画素との差分が所定の閾値よりも小さな比較対象画素を除外して、比較対象画素の加重平均値を計算する手段と、
前記注目画素と前記比較対象画素の差分が所定の閾値よりも小さな比較対象画素を除外して、前記注目画素と前記比較対象画素の差分の絶対値の最大値と最小値を計算する手段と、
前記比較対象画素の加重平均値と前記差分の絶対値の最大値−最小値を用いて、注目画素と比較対象画素の加重平均値の間の値で前記補間値を算出する手段と、
を有することを特徴とする撮像装置。
【請求項5】
請求項4記載の撮像装置であって、
前記所定の閾値は、前記注目画素の色毎に予め設定された値であることを特徴とする撮像装置。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate

【図9】
image rotate

【図10】
image rotate

【図11】
image rotate

【図12】
image rotate

【図13】
image rotate

【図14】
image rotate

【図15】
image rotate

【図16】
image rotate

【図17】
image rotate