撮像装置
【課題】撮像装置100は、色の変化の少ない模様におけるキズを低減するとともに、エッジなどを高精細の模様を鮮明に表示することができる。
【解決手段】撮像装置100は、撮像素子12から注目画素および周辺画素の画素データを取得する画素データ取得手段14と、注目画素を中心とする周辺画素で形成するエッジなどの模様を形成しているかを判定するエッジ方向判定手段28と、補正手段と、色補間手段とを備えている。補正手段は、欠陥画素判定部22にて注目画素が欠陥画素であると判定され、さらに、エッジ方向判定手段28エッジ方向でないと判定したときに、注目画素を中心に対称に配列された周辺画素の画素データから求めた補正値で補正する。補正されなかった注目画素は、色補間手段によりエッジ方向判定手段28の判定結果を用いて、エッジの方向に対応した色補間を行なう。
【解決手段】撮像装置100は、撮像素子12から注目画素および周辺画素の画素データを取得する画素データ取得手段14と、注目画素を中心とする周辺画素で形成するエッジなどの模様を形成しているかを判定するエッジ方向判定手段28と、補正手段と、色補間手段とを備えている。補正手段は、欠陥画素判定部22にて注目画素が欠陥画素であると判定され、さらに、エッジ方向判定手段28エッジ方向でないと判定したときに、注目画素を中心に対称に配列された周辺画素の画素データから求めた補正値で補正する。補正されなかった注目画素は、色補間手段によりエッジ方向判定手段28の判定結果を用いて、エッジの方向に対応した色補間を行なう。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、撮像装置によって撮像された画素を構成する複数の画素の中から、撮像装置が備える撮像素子の動作不良等に起因する欠陥画素を補正する撮像装置に関する。
【背景技術】
【0002】
近年、ディジタルスチルカメラや、ディジタルビデオカメラ等の撮像装置が普及している。そして、この撮像装置には、レンズ等を介して受光した光を電気信号に変換する撮像素子が備えられている。この撮像素子としては、一般に、CCD(Charge Coupled Device)や、CMOS(Complementary Metal Oxide Semiconductor)センサ等が用いられる。これらの撮像素子は、撮像された画像を構成する複数の画素にそれぞれ対応する複数の受光素子(フォトダイオード)を備え、各画素の画素値をそれぞれ表す画素データをそれぞれ出力する。そして、撮像装置によって撮像された画像を表示装置に表示する場合、撮像時に、例えば、いずれかの受光素子において、動作不良等が生じていると、本来出力されるべき値よりも高い値の画素データが出力されて、その受光素子に対応する画素が、いわゆる白キズとして認識されたり、本来出力されるべき値よりも低い値の画素データが出力されて、その受光素子に対応する画素が、いわゆる黒キズとして認識されたりする場合がある。
【0003】
そこで、従来、撮像装置において、撮像された画像を構成する複数の画素の中から、撮像素子の動作不良等による欠陥画素を検出し、欠陥画素の画素値を表す画素データを補正する種々の技術が提案されている。例えば、特許文献1には、単板式カラービデオカメラにおける画素欠陥である例えば白キズを検出する場合に、検査を行う画素が持つ色とは別の色フィルタを持つ周辺の画素における周波数特性から検査対象画素が高周波成分を持たないことをチェックした後、その検査対象画素が高周波成分を持つことが検出されたときに、その画素がキズであると検出する技術が記載されている。
【0004】
また、特許文献2には、撮像時に、注目画素を中心とする3×3の9画素からなる画素ブロックを順次バッファに蓄積し、注目画素と各周辺画素との値を比較して、注目画素よりも値の大きい周辺画素の数Hnと、注目画素よりも値の小さい周辺画素の数Lnとをカウントし、注目画素よりも値の大きい周辺画素の数Hnが5つ以上あれば黒キズとみなし、注目画素の値を、値が大きかった周辺画素の平均値に置換して出力し、注目画素よりも値の小さい周辺画素の数Lnが5つ以上あれば白キズとみなし、注目画素の値を、値が小さかった周辺画素の平均値に置換して出力する技術が記載されている。
【0005】
しかし、上記特許文献1,2に記載された技術では、色の変化の少ない被写体の模様の範囲に欠陥画素があると、そのキズが特に目立つという問題があった。こうした場合に、閾値を小さくして欠陥画素を多く検出する構成とした場合には、エッジを含む高精細の模様の画質を劣化させるという問題があった。
【0006】
【特許文献1】特開2001−86517号公報
【特許文献2】特開2002−344814号公報
【発明の開示】
【発明が解決しようとする課題】
【0007】
本発明は、上記従来の技術の問題点を解決することを踏まえ、色の変化の少ない模様におけるキズを低減するとともに、エッジなどの高精細の模様を鮮明に表示することができる撮像装置を提供することを目的とする。
【課題を解決するための手段】
【0008】
本発明は、上述の課題の少なくとも一部を解決するために以下の形態又は適用例として実現することが可能である。
【0009】
[適用例1]
適用例1は、撮像部によって撮像される被写体の画像を構成する複数の画素の中から、欠陥画素を検出して補正する撮像装置において、
上記欠陥画素の検出対象となる注目画素の画素値を表す画素データと、上記注目画素の周辺に配置された複数の周辺画素の画素値を表す画素データとを順次取得する画素データ取得手段と、
上記注目画素の画素データと上記周辺画素の画素データとの差分に基づいて求められた該注目画素の高周波成分を用いて、該注目画素が周辺画素とともに上記被写体のエッジの模様をいずれかの方向に形成しているかを判定するエッジ方向判定手段と、
上記画素データ取得手段からの画素データに基づいて欠陥画素を判定する欠陥画素判定部と、該欠陥画素判定部にて上記注目画素が欠陥画素であると判定され、さらに、上記エッジ方向判定手段によりエッジ方向でないと判定したときに、上記注目画素を中心に対称に配列された周辺画素の画素データから求めた補正値で補正する補正手段と、
上記エッジ方向判定手段のエッジの判定に基づいて求められたエッジの方向に配列されかつ上記注目画素と異なった色の画素データを用いて、上記補正手段により補正がされた注目画素および補正がされなかった注目画素の位置に上記注目画素と異なった色を作成する色補間手段と、
を備えたことを特徴とする撮像装置。 撮像部によって撮像される被写体の画像を構成する複数の画素の中から、欠陥画素を検出して補正する撮像装置において、
上記欠陥画素の検出対象となる注目画素の画素値を表す画素データと、上記注目画素の周辺に配置された複数の周辺画素の画素値を表す画素データとを順次取得する画素データ取得手段と、
上記注目画素の画素データと上記周辺画素の画素データとの偏差に基づいて求められた該注目画素の高周波成分を用いて、該注目画素が周辺画素とともに上記被写体のエッジの模様をいずれかの方向に形成しているかを判定するエッジ方向判定手段と、
上記画素データ取得手段からの画素データに基づいて欠陥画素を判定する欠陥画素判定部と、該欠陥画素判定部にて上記注目画素が欠陥画素であると判定され、さらに、上記エッジ方向判定手段によりエッジ方向でないと判定したときに、上記注目画素を中心に対称に配列された周辺画素の画素データから求めた補正値で補正する補正手段と、
上記エッジ方向判定手段のエッジの判定に基づいて求められたエッジの方向に配列されかつ上記注目画素と異なった色の画素データを用いて、上記補正手段により補正がされた注目画素および補正がされなかった注目画素の位置に上記注目画素と異なった色と同色の画素データを作成する色補間手段と、
を備えたことを特徴とする。
【0010】
適用例1にかかる撮像装置は、撮像部によって撮像される被写体の画像を構成する複数の画素の中から、欠陥画素を検出して補正する。すなわち、画素データ取得手段は、欠陥画素の検出対象となる注目画素の画素値を表す画素データと、注目画素の周辺に配置された複数の周辺画素の画素値を表す画素データとを順次取得して、エッジ方向判定手段および補正手段に入力する。エッジ方向判定手段では、注目画素の画素データと周辺画素の画素データとの差分に基づいて求められた該注目画素の高周波成分を用いて、該注目画素が周辺画素とともに被写体のエッジの模様をいずれかの方向に形成しているかが判定される。一方、補正手段では、画素データ取得手段からの画素データに基づいて欠陥画素を判定する欠陥画素判定部と、該欠陥画素判定部にて注目画素が欠陥画素であると判定され、さらに注目画素がエッジ方向判定手段にいずれのエッジ方向でないと判定されたときに、注目画素を中心に対称に配列された周辺画素の画素データから求めた補正値で補正する。また、色補間手段は、エッジ方向判定手段のエッジの判定に基づいて求められたエッジの方向に配列されかつ注目画素と異なった色の画素データを用いて、補正手段により補正がされた注目画素および補正がされなかった注目画素の位置に注目画素と異なった色を作成する。
【0011】
適用例1にかかる撮像装置は、注目画素および周辺画素の画素データを用いて、エッジ方向判定手段により被写体のエッジ方向を判定し、この判定結果に基づいて、注目画素が欠陥画素である場合の補正につき異なった処理を行なっている。すなわち、被写体のエッジ方向に特異性がない範囲、つまりエッジがなく色の変化の小さい模様の範囲では、注目画素を中心とした対称の周辺画素のデータを用い、しかも欠陥画素を判定するための所定の閾値を小さくすることにより、欠陥画素を確実に検出でき、この検出結果に基づいて、平滑な模様の場合に特に目立つ欠陥画素の補正を適切に行なうことができる。一方、被写体のエッジ方向に特異性がある範囲、つまりエッジがあり色の変化の大きい模様の範囲では、上述の補正手段により補正をした場合には、欠陥画素の判定が多くなりすぎて、画質の劣化を生じる。しかし、本発明は、欠陥画素の判定に無関係に、エッジ方向判定手段の判定結果に基づいて、注目画素の色補間により処理されるから、エッジの部分に欠陥画素があっても、注目画素の画素データを活かしつつ鮮明なエッジを有する画像を得ることができる。
【0012】
[適用例2]
適用例2は、上記高周波成分は、上記注目画素の画素データと同じ色の周辺画素の合計値と、該注目画素の画素データに上記周辺画素の数を乗算した値との差分により求められている構成である。
【0013】
[適用例3]
適用例3は、上記欠陥画素判定部は、上記注目画素および周辺画素の画素データを、それらの画素値が大きい順から並べた判定画素群を求め、該注目画素の画素値が上記判定画素群の上位または下位の所定範囲に含まれているときに上記注目画素が欠陥画素であると判定する構成である。この構成により、判定画素群の数だけの欠陥画素が連続している場合にも、欠陥画素を確実に検出することができる。
【0014】
[適用例4]
適用例4は、上記欠陥画素判定部は、上記注目画素の画素値が上記判定画素群の中間の値より所定の閾値より大きいときに上記欠陥画素であると判定する構成である。所定の閾値を増減することにより特に、色の変化の小さい模様の範囲の欠陥画素の影響を調節することができる。
【0015】
[適用例5]
適用例5は、上記補正手段の補正値は、上記注目画素および周辺画素の画素データのうち、それらの画素値が大きい順から並べ、該画素値の上位および下位を除いた画素値の平均値から求めている構成である。
【0016】
[適用例6]
適用例6は、上記エッジ方向判定手段は、上記注目画素を中心とした周辺画素の画素データのうち、縦方向の画素データ、横方向の画素データまたは斜め方向の画素データであり注目画素と異なった色の画素データに基づいてエッジ方向を判定する構成である。
【0017】
[適用例7]
適用例7は、上記エッジ方向判定手段は、上記縦方向、横方向または斜め方向の各々の画素データの差分の絶対値をそれぞれ求め、該絶対値が所定値以上でありかつ最小の方向の値を表わす方向をエッジ方向と判定する構成である。
【0018】
[適用例8]
適用例8は、上記色補間手段は、上記エッジ方向に配列された周辺画素のうち、それらの画素値が大きい順から並べ、該画素値の上位および下位を除いた画素値の平均値から求めている構成である。
【0019】
なお、本適用例において、撮像素子としては、CCDや、CMOSセンサ等が挙げられる。また、撮像素子において、受光素子は、例えば、マトリクス状に配列されているものとしてもよいし、ハニカム状に配列されているものとしてもよい。
【0020】
本発明は、上述の欠陥画素検出装置、撮像装置としての構成の他、欠陥画素の検出方法の発明として構成することもできる。また、これらを実現するコンピュータプログラム、およびそのプログラムを記録した記録媒体、そのプログラムを含み搬送波内に具現化されたデータ信号など種々の態様で実現することが可能である。なお、それぞれの態様において、先に示した種々の付加的要素を適用することが可能である。
【0021】
本発明をコンピュータプログラムまたはそのプログラムを記録した記録媒体等として構成する場合には、欠陥画素検出装置、撮像装置の動作を制御するプログラム全体として構成するものとしてもよいし、本発明の機能を果たす部分のみを構成するものとしてもよい。また、記録媒体としては、フレキシブルディスクやCD−ROM、DVD−ROM、光磁気ディスク、ICカード、ROMカートリッジ、パンチカード、バーコードなどの符号が印刷された印刷物、コンピュータの内部記憶装置(RAMやROMなどのメモリ)および外部記憶装置などコンピュータが読み取り可能な種々の媒体を利用できる。
【発明を実施するための最良の形態】
【0022】
以下、本発明の実施の形態について実施例に基づいて説明する。
(1) 撮像装置の概略構成
図1は本発明の一実施例としての撮像装置100の概略構成を示す説明図である。撮像装置100は、撮像部10と、欠陥画素検出/補正部20と、出力部(図示省略)とを備えており、後述するように、撮像部10によって撮像された画像を構成する複数の画素の中から、欠陥画素(いわゆる白キズや黒キズ)を逐次、検出・補正・補間して出力するものである。本実施例では、欠陥画素検出/補正部20や、出力部は、ハードウェアによって構成されているものとした。これらの一部をソフトウェアによって構成するものとしてもよい。なお、図示は省略しているが、撮像装置100は、撮像した画像を表示する液晶パネル等の表示部や、撮像した画像をフラッシュメモリ等の記録媒体に保存するための記録部等も備えている。また、撮像装置100は、CPU、RAM、ROM等を有し、撮像装置100の各部を制御する制御ユニットを備えている。
【0023】
撮像部10は、図示しないズームレンズや、フォーカスレンズや、絞りや、これらを介して受光した光を電気信号に変換する撮像素子12と、撮像素子12から出力される画像信号を一時的に保持する画素データ取得手段14などを備えている。撮像素子12は、撮像された画像を構成する複数の画素にそれぞれ対応し、対応する画素の画素値を表す画素データをそれぞれ出力する複数の受光素子(フォトダイオード)を備えている。
【0024】
図2は撮像素子12における受光素子12dの配列を示す説明図である。本実施例の撮像装置100は、1つの撮像素子12を備える、いわゆる単板式の撮像装置である。撮像素子12には、複数の受光素子12dがマトリクス状に配列されている。なお、撮像素子12において、複数の受光素子12dをハニカム状に配列するようにしてもよい。また、各受光素子12dには、それぞれ、カラーフィルタが備えられている。本実施例では、各受光素子12dは、原色系のカラーフィルタ、すなわち、赤(R)、緑(G)、青(B)のカラーフィルタを、図示した配列で備えるものとした。各受光素子12dは、補色系のカラーフィルタ、すなわち、シアン、マゼンタ、イエロのカラーフィルタを所定の配列で備えるようにしてもよい。なお、撮像素子12において、受光素子12dの数は、要求される光学解像度に応じて、任意に設定可能である。
【0025】
図1に示した欠陥画素検出/補正部20は、欠陥画素判定部22と、補正値作成部24と、高周波成分抽出部26と、エッジ方向判定手段28と、キズ消去部30と、緑補間部32と、赤青補間部34と、エッジ安定化部36とを備えており、撮像部10によって撮像された画像を構成する複数の画素の中から欠陥画素を検出して補正するとともに、カラーフィルタに対応しない色の画素データを、それ以外の色の画素データから作成する補間処理を行なう。以下、欠陥画素検出/補正部20における各部の機能について説明する。
【0026】
(2) 欠陥画素検出/補正部20の各部の構成および動作
図3は欠陥画素検出/補正部20による処理の流れの概略を模式的に示す説明図である。本実施例では、撮像された画像を構成する複数の画素の中から、図中に破線で囲った所定の範囲、例えば5×5の画素からなる画素ブロックPBijの画素データをそれぞれ取得し(画素ブロックPBijにおける“i”は画素の左上から下に向かってi番目、”j”は画像の左上から右に向かってj番目の画素であることを示している。)、そして、注目画素(欠陥画素の検出対象となる画素)が、欠陥画素として視認されやすい画素であるか否かを、注目画素の周辺に配置された周辺画素の画素値に基づいて判定し、さらにこれらを周辺画素の画素データに基づいて補正および補間する。なお、これらの処理は、図3に示したように、画素ブロックPB11→画素ブロックPB12→画素ブロックPB13→・・・→画素ブロックPB21→・・・の順に、最後の画素ブロックまで、つまり、最後の注目画素まで行われる。
【0027】
(2)−1 欠陥画素判定部22
図4は欠陥画素判定部22により処理されるキズ判定処理を説明する説明図、図5はキズ判定処理を説明するフローチャートである。欠陥画素判定部22は、まず、画素データ取得手段14にて設定された注目画素の周辺に配置された画素データを、注目画素が欠陥画素であるか否かの判定に用いられる周辺画素として設定する。すなわち、図4(A)に示すように、注目画素が緑G22である場合には、斜線で示した周辺画素G02,G11,G13,G20,G22,G24,G31,G33,G42の9個を、欠陥画素判定用の画素データに設定する(ステップS102)。そして、9個の画素データを大きい順に並べて(ステップS104)、注目画素G22が上位の3個または下位の3個に該当するか否かを判定する(ステップS106)。ここで、注目画素の画素データが上位の3番目以内に入っていると判定された場合には、注目画素の画素データと5番目に大きい画素(中間値)との差分の絶対値を求め、この差分の絶対値が白キズ閾値Pvwより大きいか否かが判定され(ステップS108)、肯定判定の場合に、注目画素が白キズであるとの仮判定をし(ステップS110)、一方、注目画素の画素データが下位の3番目以内に入っていると判定された場合には、注目画素の画素データと中間値との差分の絶対値を求め、この差分の絶対値が黒キズ閾値Pvbより大きいか否かが判定され(ステップS112)、肯定判定の場合に、注目画素が黒キズであるとの仮判定をする(ステップS114)。一方、キズの仮判定とされない場合には、注目画素の画素データがそのまま後段に送られる。
【0028】
すなわち、キズ判定処理において、注目画素の画素データが欠陥画素判定用の画素データの上位または下位の3個の画素データに入り、中間値より所定値以上大きいと、白または黒キズの仮判定を行う。ここで、欠陥画素判定用画素を上位および下位の3個の画素データとしたのは、3個連続してキズがある場合に対処するためである。
一方、図4(B)に示すように、注目画素が赤R23の場合には、斜線で示す周辺画素R01,R03,R05,R21,R25,R41,R43,R45の9個を欠陥画素判定用の周辺画素に設定し、同様なキズ判定処理を行なう。さらに、注目画素が青の場合も、赤と同様に処理する。
【0029】
(2)−2 補正値作成部24
図6は補正値作成部24により作成される補正値作成処理を説明する説明図である。補正値作成部24は、欠陥画素判定部22にて注目画素がキズの仮判定と判定されたときの欠陥画素の補正値を設定する。図6に示すように、注目画素が緑G22である場合には、キズ補正値Cvは、5×5の画素からなる画素ブロックの画素データのうち、斜線で示す9個の周辺画素の画素データを用いて、上位の2個と下位の2個を除いた注目画素を中心として対称の5個の画素データの平均値として求める。
【0030】
(2)−3 高周波成分抽出部26
図7は高周波成分抽出部26により処理される高周波成分抽出処理を説明する説明図である。高周波成分抽出部26は、各々の画素についての高周波成分(エッジ成分)を強調した画素データを作成する。すなわち、図7(A)において、注目画素が緑G22の画素データの場合には、注目画素を中心に5×5の画素からなる画素ブロックから、破線で示す13個の緑の画素データを取得する。そして、図7(A)の式(1)に示すように、注目画素の緑G22の画素データに周辺画素の数である13を乗算した値から、周辺画素の画素データの合計値を減算して、さらに、周辺画素の画素数である13で除算した値を緑G22の高周波成分の画素データG22hとする。すなわち、画素データG22hは、緑G22が周辺画素より出力の異なる部分を抽出した値を意味している。
【0031】
同様に、図7(B)に示すように、注目画素が赤R23の画素データの場合には、注目画素を中心に5×5の画素からなる画素ブロックのうち、破線で示す9個の赤の画素データを取得する。そして、図7(B)の式(2)に示すように、注目画素の赤R23の画素データに周辺画素の数である9を乗算した値から、周辺画素の画素データの合計値を減算して、さらに、周辺画素の画素数である9で除算した値を赤R23の高周波成分のデータR23hとする。注目画素が青の画素データの場合には、赤の画素データと同様に処理する。高周波成分を抽出した画素データは、後段のエッジ方向判定手段28に送られる。
【0032】
(2)−4 エッジ方向判定手段28
図8はエッジ方向判定手段28により処理されるエッジ方向判定処理を説明する説明図である。エッジ方向判定手段28は、図7に示した高周波成分抽出部26により作成されたエッジ成分を強調した画素データG22hなどに基づいて、注目画素が周辺画素と共に縦/横/斜めのいずれの方向にエッジなどを含む精細な模様を構成しているか、または孤立点であるかについて判定を行なう。図8において、本処理は、7×7の画素からなる画素ブロックの画素データに基づいて求める。ここで、図9に示すように、注目画素が赤R33の場合には、赤R33を中心に5個の画素データについて、以下に説明するエッジ方向判定処理をそれぞれ行ない、これらが全て同じ判定の場合に、注目画素の赤33は、縦/横/斜め右上がり・斜め左下がりのいずれかの方向のエッジを構成していると判定する。まず、注目画素の赤R23の各々の判定処理について説明するが、これらの判定処理は、赤R23の周辺画素の青B24、青B42、青B44についても同様に行なう。
【0033】
(a) 縦判定値算出処理
図10(A)は赤R33の縦判定値算出処理を説明する説明図である。注目画素の赤R33の縦判定は、図10(A)に示す式(3)により縦判定値R33vを求めることにより行なう。すなわち、注目画素の赤R33を中心とした、周辺画素の縦方向の2個の画素値の差の絶対値を求め、さらにこれらの合計値を求める。
【0034】
(b) 横判定値算出処理
図10(B)は赤R33の横判定値算出処理を説明する説明図である。注目画素の赤R33の横判定は、図10(B)に示す式(4)により横判定値R33hを求めることにより行なう。すなわち、注目画素の赤R33を中心とした、周辺画素の横方向の2個の画素値の差の絶対値を求め、さらにこれらの合計値を求める。
【0035】
(c) 斜め右上がり判定値算出処理
図11(A)は赤R23の斜め右上がり判定値算出処理を説明する説明図である。本処理は、注目画素の赤R33につき、図11(A)に示す式(5)により斜め右上がり判定値R33ruを求める。すなわち、注目画素の赤R33を中心とした斜め右上がり方向の2個の画素値の差の絶対値を求め、さらにこれらの合計値を求める。
【0036】
(d) 斜め右下がり判定値算出処理
図11(B)は赤R23の斜め右下がり判定値算出処理を説明する説明図である。本処理は、注目画素の赤R33につき、図11(B)に示す式(6)により斜め右下がり判定値R33rdを求める。すなわち、注目画素の赤R33を中心とした斜め右下がり方向の2個の画素値の差の絶対値を求め、さらにこれらの合計値を求める。
【0037】
(e) 方向判定処理
図12はエッジ方向判定処理を説明するフローチャートである。図12において、エッジ方向判定処理は、図10〜図11で説明した判定値に基づいて行なう。
(e)−1 斜め右上がり判定
ステップS120にて、注目画素の赤R33について求めた4個の判定値、つまり縦判定値R33v、横判定値R33h、斜め右上がり判定値R33ruおよび斜め右下がり判定値R33rdを比較する。その比較の結果、斜め右上がり判定値R33ruが他の判定値より小さく、しかも、ステップS122にて斜め右下がり判定値R33rdとの差が所定の閾値より大きい場合に、斜め右上がりエッジと判定する(ステップS124)。ここで、所定の閾値は、他の画素の斜め判定との結果で判定が異なる場合におけるヒステリシスを防ぎ、画面のちらつきを低減するためである。
【0038】
(e)−2 斜め右下がり判定
斜め右下がり判定処理は、上述した斜め右上がり判定と同様に行なう。すなわち、ステップS126にて、注目画素の赤R33について求めた4個の判定値、つまり縦判定値R33v、横判定値R33h、斜め右上がり判定値R33ruおよび斜め右下がり判定値R33rdを比較する。そして、斜め右下がり判定値R33rdが他の判定値より小さく、しかも、ステップS128にて斜め右上がり判定値R33ruとの差が所定のヒステリシスを防ぐための閾値より大きい場合に、斜め右下がりエッジと判定する(ステップS130)。
【0039】
(e)−3 縦判定
縦判定処理は、2つの判定処理で行なう。すなわち、ステップS132にて、注目画素の赤R33について求めた4個の判定値、つまり縦判定値R33v、横判定値R33h、斜め右上がり判定値R33ruおよび斜め右下がり判定値R33rdを比較する。そして、その比較の結果、縦判定値R33vが他の判定値より小さく、しかも、ステップS134にて横判定値R33hとの差がヒステリシスを防ぐための所定の閾値より大きい場合に、縦エッジと判定する(ステップS136)。
【0040】
また、ステップS138にて、図9で示した赤R33の周辺画素の4個の画素データ、つまり、青B22について求めた縦判定値B22vと横判定値B22h、青B24について求めた縦判定値B24vと横判定値B24h、青B42について求めた縦判定値Bv42と横判定値B42h、および青B44について求めた縦判定値B44vと横判定値B44hとをそれぞれ比較する。そして、縦判定値B22v,B24v,B42v,B44vの全てが、横判定値B22h,B24h,B42h,B44hより小さいときには、縦エッジと判定する(ステップS136)。
【0041】
(e)−4 横判定
横判定処理は、縦判定処理と同様に2つの判定処理で行なう。すなわち、ステップS140にて、注目画素の赤R33について求めた4個の判定値、つまり横判定値R33h、縦判定値R33v、斜め右上がり判定値R33ruおよび斜め右下がり判定値R33rdを比較する。そして、その比較の結果、横判定値R33hが他の判定値より小さく場合に、そしてステップS142にて縦判定値R33vとの差がヒステリシスを防ぐための所定の閾値より大きい場合に、横エッジと判定する(ステップS144)。
【0042】
また、ステップS146にて、図9で示した赤R33の周辺画素の4個の画素データ、つまり、青B22について求めた横判定値B22hと縦判定値B22v、青B24について求めた横判定値B24hと縦判定値B24v、青B42について求めた横判定値B42hと縦判定値B42v、および青B44について求めた横判定値B44hと縦判定値B44vとをそれぞれ比較する。そして、その比較の結果、横判定値の全てが、縦判定値より小さいときには、横エッジと判定する(ステップS144)。
【0043】
(2)−5 キズ消去部30
図1に示すキズ消去部30は、欠陥画素判定部22でキズの仮判定と判定され、かつエッジ方向判定手段28における判定結果に基づいて、つまり縦/横/斜め右上がり/斜め右下がりのエッジであるとの判定結果に基づいて、注目画素の画素値を補正値作成部24で作成されたキズ補正値Cvに補正する。すなわち、注目画素がキズの仮判定と判定されかついずれかの方向のエッジでないと判定されると、注目画素の画素値は、キズ補正値Cvに置換され、一方、いずれかの方向のエッジであると判定されると、補正しない画素値となる。したがって、注目画素が高周波成分を含んでいると判定されても、孤立点ではなく、縦、横、斜めで連続するエッジであると判定されると、一旦、注目画素がキズと判定されていても補正されないで、その画素データがそのまま後段で処理される。
【0044】
(2)−6 緑補間部32
図13は緑補間部32(図1)により処理される緑補間処理について説明する説明図である。緑補間処理は、緑のカラーフィルタでない受光素子12dの画素データを、周辺画素の画素データから緑の画素データを作成する処理である。緑補間処理は、エッジ方向判定手段28の判定結果にしたがって3形態をとる。すなわち、縦判定の場合には、図13(A)に示すように、赤R23の箇所に緑G23の画素データを作成するのに、縦方向の緑G93,G13,G33,G53の4個の画素データを用いる。横判定の場合には、図13(B)に示すように、赤R23の箇所に緑G23の画素データを作成するのに、横方向の緑G20,G22,G24,G26の4個の画素データを用いる。斜め判定またはそれ以外の場合には、図13(C)に示すように、赤R23の箇所に緑G23の画素データを作成するのに、周囲の緑G20,G22,G24,G26の4個の画素データを用いる。そして、いずれの3形態についても、4個の緑の画素データから最大値と最小値を除いた中間の2個の画素データを用いて、その2個の平均値により緑G23を作成する。
【0045】
(2)−7 赤青補間部34
赤青補間部34(図1)は、上述した緑補間部32と同様な処理、つまり、エッジ方向判定手段28の判定結果に基づいて、補間の対象となる注目画素を中心とした周辺画素を適宜、4個選択して補間値を作成する。
【0046】
(2)−8 エッジ安定化部36
図14はエッジ安定化部36(図1)により処理されるエッジ安定化処理について説明する説明図である。エッジ安定化処理は、補間後の画像データに基づき、エッジ方向判定手段28の判定結果にしたがって3形態をとる。すなわち、縦判定の場合には、図14(A)に示すように、注目画素の緑G23の縦方向の緑G03,G13,G23,G33,G43の5個の画素データを用いる。横判定の場合には、図14(B)に示すように、注目画素の緑23の横方向の緑の緑G21,G22,G23,G24,25の5個の画素データを用いる。斜め判定またはそれ以外の場合には、図14(C)に示すように、注目画素の緑G23の周囲の緑G13,G22,G23,G24,G33の5個の画素データを用いる。そして、いずれの3形態についても、5個の緑の画素データから最大値と最小値を除いた中間の3個の画素データの平均値を緑G23の画素データとする。赤および青の画素データについても、緑の画素データの処理と同様に行なう。
【0047】
(3) 実施例の作用・効果
上記実施例の構成により、上述した効果のほか、以下の効果を奏する。
(3)−1 撮像装置は、注目画素および周辺画素の画素データを用いて、エッジ方向判定手段28により被写体のエッジ方向を判定し、この判定結果に基づいて、注目画素が欠陥画素である場合の補正につき異なった処理を行なっている。すなわち、被写体のエッジ方向に特異性がない範囲、つまりエッジがなく色の変化の小さい模様の範囲では、欠陥画素を判定するための所定の閾値を小さくすることにより、欠陥画素を確実に検出でき、この検出結果に基づいて、平滑な模様の場合に特に目立つ欠陥画素の補正を適切に行なうことができる。
【0048】
(3)−2 被写体のエッジ方向に特異性がある範囲、つまりエッジがあり色の変化の大きい模様の範囲では、上述の補正手段により補正をした場合には、欠陥画素の判定が多くなりすぎて、画質の劣化を生じる。しかし、撮像部10は、欠陥画素の判定に無関係に、エッジ方向判定手段28の判定結果に基づいて、注目画素の色補間により処理されるから、エッジの部分に欠陥画素があっても、注目画素の画素データを活かしつつ鮮明なエッジを有する画像を得ることができる。
【0049】
なお、この発明は上記実施例に限られるものではなく、その要旨を逸脱しない範囲において種々の態様において実施することが可能である。
【図面の簡単な説明】
【0050】
【図1】本発明の一実施例としての撮像装置の概略構成を示す説明図である。
【図2】撮像素子における受光素子の配列を示す説明図である。
【図3】欠陥画素検出/補正部による処理の流れの概略を模式的に示す説明図である。
【図4】欠陥画素判定部により処理されるキズ判定処理を説明する説明図である。
【図5】キズ判定処理を説明するフローチャートである。
【図6】補正値作成部により処理される補正値作成処理を説明する説明図である。
【図7】高周波成分抽出部により処理される高周波成分抽出処理を説明する説明図である。
【図8】エッジ方向判定手段により処理されるエッジ方向判定処理を説明する説明図である。
【図9】エッジ方向判定手段により処理されるエッジ方向判定処理を説明する説明図である。
【図10】エッジ方向判定手段の縦横判定を説明する説明図である。
【図11】エッジ方向判定手段による斜め判定を説明する説明図である。
【図12】エッジ方向判定処理を説明するフローチャートである。
【図13】緑補間部により処理される緑補間処理について説明する説明図である。
【図14】エッジ安定化部により処理されるエッジ安定化処理について説明する説明図である。
【符号の説明】
【0051】
10…撮像部
12…撮像素子
12d…受光素子
14…画素データ取得手段
20…欠陥画素検出/補正部
22…欠陥画素判定部
23…緑
24…補正値作成部
26…高周波成分抽出部
28…エッジ方向判定手段
30…キズ消去部
32…緑補間部
33…赤
34…赤青補間部
36…エッジ安定化部
40…出力部
50…制御ユニット
100…撮像装置
【技術分野】
【0001】
本発明は、撮像装置によって撮像された画素を構成する複数の画素の中から、撮像装置が備える撮像素子の動作不良等に起因する欠陥画素を補正する撮像装置に関する。
【背景技術】
【0002】
近年、ディジタルスチルカメラや、ディジタルビデオカメラ等の撮像装置が普及している。そして、この撮像装置には、レンズ等を介して受光した光を電気信号に変換する撮像素子が備えられている。この撮像素子としては、一般に、CCD(Charge Coupled Device)や、CMOS(Complementary Metal Oxide Semiconductor)センサ等が用いられる。これらの撮像素子は、撮像された画像を構成する複数の画素にそれぞれ対応する複数の受光素子(フォトダイオード)を備え、各画素の画素値をそれぞれ表す画素データをそれぞれ出力する。そして、撮像装置によって撮像された画像を表示装置に表示する場合、撮像時に、例えば、いずれかの受光素子において、動作不良等が生じていると、本来出力されるべき値よりも高い値の画素データが出力されて、その受光素子に対応する画素が、いわゆる白キズとして認識されたり、本来出力されるべき値よりも低い値の画素データが出力されて、その受光素子に対応する画素が、いわゆる黒キズとして認識されたりする場合がある。
【0003】
そこで、従来、撮像装置において、撮像された画像を構成する複数の画素の中から、撮像素子の動作不良等による欠陥画素を検出し、欠陥画素の画素値を表す画素データを補正する種々の技術が提案されている。例えば、特許文献1には、単板式カラービデオカメラにおける画素欠陥である例えば白キズを検出する場合に、検査を行う画素が持つ色とは別の色フィルタを持つ周辺の画素における周波数特性から検査対象画素が高周波成分を持たないことをチェックした後、その検査対象画素が高周波成分を持つことが検出されたときに、その画素がキズであると検出する技術が記載されている。
【0004】
また、特許文献2には、撮像時に、注目画素を中心とする3×3の9画素からなる画素ブロックを順次バッファに蓄積し、注目画素と各周辺画素との値を比較して、注目画素よりも値の大きい周辺画素の数Hnと、注目画素よりも値の小さい周辺画素の数Lnとをカウントし、注目画素よりも値の大きい周辺画素の数Hnが5つ以上あれば黒キズとみなし、注目画素の値を、値が大きかった周辺画素の平均値に置換して出力し、注目画素よりも値の小さい周辺画素の数Lnが5つ以上あれば白キズとみなし、注目画素の値を、値が小さかった周辺画素の平均値に置換して出力する技術が記載されている。
【0005】
しかし、上記特許文献1,2に記載された技術では、色の変化の少ない被写体の模様の範囲に欠陥画素があると、そのキズが特に目立つという問題があった。こうした場合に、閾値を小さくして欠陥画素を多く検出する構成とした場合には、エッジを含む高精細の模様の画質を劣化させるという問題があった。
【0006】
【特許文献1】特開2001−86517号公報
【特許文献2】特開2002−344814号公報
【発明の開示】
【発明が解決しようとする課題】
【0007】
本発明は、上記従来の技術の問題点を解決することを踏まえ、色の変化の少ない模様におけるキズを低減するとともに、エッジなどの高精細の模様を鮮明に表示することができる撮像装置を提供することを目的とする。
【課題を解決するための手段】
【0008】
本発明は、上述の課題の少なくとも一部を解決するために以下の形態又は適用例として実現することが可能である。
【0009】
[適用例1]
適用例1は、撮像部によって撮像される被写体の画像を構成する複数の画素の中から、欠陥画素を検出して補正する撮像装置において、
上記欠陥画素の検出対象となる注目画素の画素値を表す画素データと、上記注目画素の周辺に配置された複数の周辺画素の画素値を表す画素データとを順次取得する画素データ取得手段と、
上記注目画素の画素データと上記周辺画素の画素データとの差分に基づいて求められた該注目画素の高周波成分を用いて、該注目画素が周辺画素とともに上記被写体のエッジの模様をいずれかの方向に形成しているかを判定するエッジ方向判定手段と、
上記画素データ取得手段からの画素データに基づいて欠陥画素を判定する欠陥画素判定部と、該欠陥画素判定部にて上記注目画素が欠陥画素であると判定され、さらに、上記エッジ方向判定手段によりエッジ方向でないと判定したときに、上記注目画素を中心に対称に配列された周辺画素の画素データから求めた補正値で補正する補正手段と、
上記エッジ方向判定手段のエッジの判定に基づいて求められたエッジの方向に配列されかつ上記注目画素と異なった色の画素データを用いて、上記補正手段により補正がされた注目画素および補正がされなかった注目画素の位置に上記注目画素と異なった色を作成する色補間手段と、
を備えたことを特徴とする撮像装置。 撮像部によって撮像される被写体の画像を構成する複数の画素の中から、欠陥画素を検出して補正する撮像装置において、
上記欠陥画素の検出対象となる注目画素の画素値を表す画素データと、上記注目画素の周辺に配置された複数の周辺画素の画素値を表す画素データとを順次取得する画素データ取得手段と、
上記注目画素の画素データと上記周辺画素の画素データとの偏差に基づいて求められた該注目画素の高周波成分を用いて、該注目画素が周辺画素とともに上記被写体のエッジの模様をいずれかの方向に形成しているかを判定するエッジ方向判定手段と、
上記画素データ取得手段からの画素データに基づいて欠陥画素を判定する欠陥画素判定部と、該欠陥画素判定部にて上記注目画素が欠陥画素であると判定され、さらに、上記エッジ方向判定手段によりエッジ方向でないと判定したときに、上記注目画素を中心に対称に配列された周辺画素の画素データから求めた補正値で補正する補正手段と、
上記エッジ方向判定手段のエッジの判定に基づいて求められたエッジの方向に配列されかつ上記注目画素と異なった色の画素データを用いて、上記補正手段により補正がされた注目画素および補正がされなかった注目画素の位置に上記注目画素と異なった色と同色の画素データを作成する色補間手段と、
を備えたことを特徴とする。
【0010】
適用例1にかかる撮像装置は、撮像部によって撮像される被写体の画像を構成する複数の画素の中から、欠陥画素を検出して補正する。すなわち、画素データ取得手段は、欠陥画素の検出対象となる注目画素の画素値を表す画素データと、注目画素の周辺に配置された複数の周辺画素の画素値を表す画素データとを順次取得して、エッジ方向判定手段および補正手段に入力する。エッジ方向判定手段では、注目画素の画素データと周辺画素の画素データとの差分に基づいて求められた該注目画素の高周波成分を用いて、該注目画素が周辺画素とともに被写体のエッジの模様をいずれかの方向に形成しているかが判定される。一方、補正手段では、画素データ取得手段からの画素データに基づいて欠陥画素を判定する欠陥画素判定部と、該欠陥画素判定部にて注目画素が欠陥画素であると判定され、さらに注目画素がエッジ方向判定手段にいずれのエッジ方向でないと判定されたときに、注目画素を中心に対称に配列された周辺画素の画素データから求めた補正値で補正する。また、色補間手段は、エッジ方向判定手段のエッジの判定に基づいて求められたエッジの方向に配列されかつ注目画素と異なった色の画素データを用いて、補正手段により補正がされた注目画素および補正がされなかった注目画素の位置に注目画素と異なった色を作成する。
【0011】
適用例1にかかる撮像装置は、注目画素および周辺画素の画素データを用いて、エッジ方向判定手段により被写体のエッジ方向を判定し、この判定結果に基づいて、注目画素が欠陥画素である場合の補正につき異なった処理を行なっている。すなわち、被写体のエッジ方向に特異性がない範囲、つまりエッジがなく色の変化の小さい模様の範囲では、注目画素を中心とした対称の周辺画素のデータを用い、しかも欠陥画素を判定するための所定の閾値を小さくすることにより、欠陥画素を確実に検出でき、この検出結果に基づいて、平滑な模様の場合に特に目立つ欠陥画素の補正を適切に行なうことができる。一方、被写体のエッジ方向に特異性がある範囲、つまりエッジがあり色の変化の大きい模様の範囲では、上述の補正手段により補正をした場合には、欠陥画素の判定が多くなりすぎて、画質の劣化を生じる。しかし、本発明は、欠陥画素の判定に無関係に、エッジ方向判定手段の判定結果に基づいて、注目画素の色補間により処理されるから、エッジの部分に欠陥画素があっても、注目画素の画素データを活かしつつ鮮明なエッジを有する画像を得ることができる。
【0012】
[適用例2]
適用例2は、上記高周波成分は、上記注目画素の画素データと同じ色の周辺画素の合計値と、該注目画素の画素データに上記周辺画素の数を乗算した値との差分により求められている構成である。
【0013】
[適用例3]
適用例3は、上記欠陥画素判定部は、上記注目画素および周辺画素の画素データを、それらの画素値が大きい順から並べた判定画素群を求め、該注目画素の画素値が上記判定画素群の上位または下位の所定範囲に含まれているときに上記注目画素が欠陥画素であると判定する構成である。この構成により、判定画素群の数だけの欠陥画素が連続している場合にも、欠陥画素を確実に検出することができる。
【0014】
[適用例4]
適用例4は、上記欠陥画素判定部は、上記注目画素の画素値が上記判定画素群の中間の値より所定の閾値より大きいときに上記欠陥画素であると判定する構成である。所定の閾値を増減することにより特に、色の変化の小さい模様の範囲の欠陥画素の影響を調節することができる。
【0015】
[適用例5]
適用例5は、上記補正手段の補正値は、上記注目画素および周辺画素の画素データのうち、それらの画素値が大きい順から並べ、該画素値の上位および下位を除いた画素値の平均値から求めている構成である。
【0016】
[適用例6]
適用例6は、上記エッジ方向判定手段は、上記注目画素を中心とした周辺画素の画素データのうち、縦方向の画素データ、横方向の画素データまたは斜め方向の画素データであり注目画素と異なった色の画素データに基づいてエッジ方向を判定する構成である。
【0017】
[適用例7]
適用例7は、上記エッジ方向判定手段は、上記縦方向、横方向または斜め方向の各々の画素データの差分の絶対値をそれぞれ求め、該絶対値が所定値以上でありかつ最小の方向の値を表わす方向をエッジ方向と判定する構成である。
【0018】
[適用例8]
適用例8は、上記色補間手段は、上記エッジ方向に配列された周辺画素のうち、それらの画素値が大きい順から並べ、該画素値の上位および下位を除いた画素値の平均値から求めている構成である。
【0019】
なお、本適用例において、撮像素子としては、CCDや、CMOSセンサ等が挙げられる。また、撮像素子において、受光素子は、例えば、マトリクス状に配列されているものとしてもよいし、ハニカム状に配列されているものとしてもよい。
【0020】
本発明は、上述の欠陥画素検出装置、撮像装置としての構成の他、欠陥画素の検出方法の発明として構成することもできる。また、これらを実現するコンピュータプログラム、およびそのプログラムを記録した記録媒体、そのプログラムを含み搬送波内に具現化されたデータ信号など種々の態様で実現することが可能である。なお、それぞれの態様において、先に示した種々の付加的要素を適用することが可能である。
【0021】
本発明をコンピュータプログラムまたはそのプログラムを記録した記録媒体等として構成する場合には、欠陥画素検出装置、撮像装置の動作を制御するプログラム全体として構成するものとしてもよいし、本発明の機能を果たす部分のみを構成するものとしてもよい。また、記録媒体としては、フレキシブルディスクやCD−ROM、DVD−ROM、光磁気ディスク、ICカード、ROMカートリッジ、パンチカード、バーコードなどの符号が印刷された印刷物、コンピュータの内部記憶装置(RAMやROMなどのメモリ)および外部記憶装置などコンピュータが読み取り可能な種々の媒体を利用できる。
【発明を実施するための最良の形態】
【0022】
以下、本発明の実施の形態について実施例に基づいて説明する。
(1) 撮像装置の概略構成
図1は本発明の一実施例としての撮像装置100の概略構成を示す説明図である。撮像装置100は、撮像部10と、欠陥画素検出/補正部20と、出力部(図示省略)とを備えており、後述するように、撮像部10によって撮像された画像を構成する複数の画素の中から、欠陥画素(いわゆる白キズや黒キズ)を逐次、検出・補正・補間して出力するものである。本実施例では、欠陥画素検出/補正部20や、出力部は、ハードウェアによって構成されているものとした。これらの一部をソフトウェアによって構成するものとしてもよい。なお、図示は省略しているが、撮像装置100は、撮像した画像を表示する液晶パネル等の表示部や、撮像した画像をフラッシュメモリ等の記録媒体に保存するための記録部等も備えている。また、撮像装置100は、CPU、RAM、ROM等を有し、撮像装置100の各部を制御する制御ユニットを備えている。
【0023】
撮像部10は、図示しないズームレンズや、フォーカスレンズや、絞りや、これらを介して受光した光を電気信号に変換する撮像素子12と、撮像素子12から出力される画像信号を一時的に保持する画素データ取得手段14などを備えている。撮像素子12は、撮像された画像を構成する複数の画素にそれぞれ対応し、対応する画素の画素値を表す画素データをそれぞれ出力する複数の受光素子(フォトダイオード)を備えている。
【0024】
図2は撮像素子12における受光素子12dの配列を示す説明図である。本実施例の撮像装置100は、1つの撮像素子12を備える、いわゆる単板式の撮像装置である。撮像素子12には、複数の受光素子12dがマトリクス状に配列されている。なお、撮像素子12において、複数の受光素子12dをハニカム状に配列するようにしてもよい。また、各受光素子12dには、それぞれ、カラーフィルタが備えられている。本実施例では、各受光素子12dは、原色系のカラーフィルタ、すなわち、赤(R)、緑(G)、青(B)のカラーフィルタを、図示した配列で備えるものとした。各受光素子12dは、補色系のカラーフィルタ、すなわち、シアン、マゼンタ、イエロのカラーフィルタを所定の配列で備えるようにしてもよい。なお、撮像素子12において、受光素子12dの数は、要求される光学解像度に応じて、任意に設定可能である。
【0025】
図1に示した欠陥画素検出/補正部20は、欠陥画素判定部22と、補正値作成部24と、高周波成分抽出部26と、エッジ方向判定手段28と、キズ消去部30と、緑補間部32と、赤青補間部34と、エッジ安定化部36とを備えており、撮像部10によって撮像された画像を構成する複数の画素の中から欠陥画素を検出して補正するとともに、カラーフィルタに対応しない色の画素データを、それ以外の色の画素データから作成する補間処理を行なう。以下、欠陥画素検出/補正部20における各部の機能について説明する。
【0026】
(2) 欠陥画素検出/補正部20の各部の構成および動作
図3は欠陥画素検出/補正部20による処理の流れの概略を模式的に示す説明図である。本実施例では、撮像された画像を構成する複数の画素の中から、図中に破線で囲った所定の範囲、例えば5×5の画素からなる画素ブロックPBijの画素データをそれぞれ取得し(画素ブロックPBijにおける“i”は画素の左上から下に向かってi番目、”j”は画像の左上から右に向かってj番目の画素であることを示している。)、そして、注目画素(欠陥画素の検出対象となる画素)が、欠陥画素として視認されやすい画素であるか否かを、注目画素の周辺に配置された周辺画素の画素値に基づいて判定し、さらにこれらを周辺画素の画素データに基づいて補正および補間する。なお、これらの処理は、図3に示したように、画素ブロックPB11→画素ブロックPB12→画素ブロックPB13→・・・→画素ブロックPB21→・・・の順に、最後の画素ブロックまで、つまり、最後の注目画素まで行われる。
【0027】
(2)−1 欠陥画素判定部22
図4は欠陥画素判定部22により処理されるキズ判定処理を説明する説明図、図5はキズ判定処理を説明するフローチャートである。欠陥画素判定部22は、まず、画素データ取得手段14にて設定された注目画素の周辺に配置された画素データを、注目画素が欠陥画素であるか否かの判定に用いられる周辺画素として設定する。すなわち、図4(A)に示すように、注目画素が緑G22である場合には、斜線で示した周辺画素G02,G11,G13,G20,G22,G24,G31,G33,G42の9個を、欠陥画素判定用の画素データに設定する(ステップS102)。そして、9個の画素データを大きい順に並べて(ステップS104)、注目画素G22が上位の3個または下位の3個に該当するか否かを判定する(ステップS106)。ここで、注目画素の画素データが上位の3番目以内に入っていると判定された場合には、注目画素の画素データと5番目に大きい画素(中間値)との差分の絶対値を求め、この差分の絶対値が白キズ閾値Pvwより大きいか否かが判定され(ステップS108)、肯定判定の場合に、注目画素が白キズであるとの仮判定をし(ステップS110)、一方、注目画素の画素データが下位の3番目以内に入っていると判定された場合には、注目画素の画素データと中間値との差分の絶対値を求め、この差分の絶対値が黒キズ閾値Pvbより大きいか否かが判定され(ステップS112)、肯定判定の場合に、注目画素が黒キズであるとの仮判定をする(ステップS114)。一方、キズの仮判定とされない場合には、注目画素の画素データがそのまま後段に送られる。
【0028】
すなわち、キズ判定処理において、注目画素の画素データが欠陥画素判定用の画素データの上位または下位の3個の画素データに入り、中間値より所定値以上大きいと、白または黒キズの仮判定を行う。ここで、欠陥画素判定用画素を上位および下位の3個の画素データとしたのは、3個連続してキズがある場合に対処するためである。
一方、図4(B)に示すように、注目画素が赤R23の場合には、斜線で示す周辺画素R01,R03,R05,R21,R25,R41,R43,R45の9個を欠陥画素判定用の周辺画素に設定し、同様なキズ判定処理を行なう。さらに、注目画素が青の場合も、赤と同様に処理する。
【0029】
(2)−2 補正値作成部24
図6は補正値作成部24により作成される補正値作成処理を説明する説明図である。補正値作成部24は、欠陥画素判定部22にて注目画素がキズの仮判定と判定されたときの欠陥画素の補正値を設定する。図6に示すように、注目画素が緑G22である場合には、キズ補正値Cvは、5×5の画素からなる画素ブロックの画素データのうち、斜線で示す9個の周辺画素の画素データを用いて、上位の2個と下位の2個を除いた注目画素を中心として対称の5個の画素データの平均値として求める。
【0030】
(2)−3 高周波成分抽出部26
図7は高周波成分抽出部26により処理される高周波成分抽出処理を説明する説明図である。高周波成分抽出部26は、各々の画素についての高周波成分(エッジ成分)を強調した画素データを作成する。すなわち、図7(A)において、注目画素が緑G22の画素データの場合には、注目画素を中心に5×5の画素からなる画素ブロックから、破線で示す13個の緑の画素データを取得する。そして、図7(A)の式(1)に示すように、注目画素の緑G22の画素データに周辺画素の数である13を乗算した値から、周辺画素の画素データの合計値を減算して、さらに、周辺画素の画素数である13で除算した値を緑G22の高周波成分の画素データG22hとする。すなわち、画素データG22hは、緑G22が周辺画素より出力の異なる部分を抽出した値を意味している。
【0031】
同様に、図7(B)に示すように、注目画素が赤R23の画素データの場合には、注目画素を中心に5×5の画素からなる画素ブロックのうち、破線で示す9個の赤の画素データを取得する。そして、図7(B)の式(2)に示すように、注目画素の赤R23の画素データに周辺画素の数である9を乗算した値から、周辺画素の画素データの合計値を減算して、さらに、周辺画素の画素数である9で除算した値を赤R23の高周波成分のデータR23hとする。注目画素が青の画素データの場合には、赤の画素データと同様に処理する。高周波成分を抽出した画素データは、後段のエッジ方向判定手段28に送られる。
【0032】
(2)−4 エッジ方向判定手段28
図8はエッジ方向判定手段28により処理されるエッジ方向判定処理を説明する説明図である。エッジ方向判定手段28は、図7に示した高周波成分抽出部26により作成されたエッジ成分を強調した画素データG22hなどに基づいて、注目画素が周辺画素と共に縦/横/斜めのいずれの方向にエッジなどを含む精細な模様を構成しているか、または孤立点であるかについて判定を行なう。図8において、本処理は、7×7の画素からなる画素ブロックの画素データに基づいて求める。ここで、図9に示すように、注目画素が赤R33の場合には、赤R33を中心に5個の画素データについて、以下に説明するエッジ方向判定処理をそれぞれ行ない、これらが全て同じ判定の場合に、注目画素の赤33は、縦/横/斜め右上がり・斜め左下がりのいずれかの方向のエッジを構成していると判定する。まず、注目画素の赤R23の各々の判定処理について説明するが、これらの判定処理は、赤R23の周辺画素の青B24、青B42、青B44についても同様に行なう。
【0033】
(a) 縦判定値算出処理
図10(A)は赤R33の縦判定値算出処理を説明する説明図である。注目画素の赤R33の縦判定は、図10(A)に示す式(3)により縦判定値R33vを求めることにより行なう。すなわち、注目画素の赤R33を中心とした、周辺画素の縦方向の2個の画素値の差の絶対値を求め、さらにこれらの合計値を求める。
【0034】
(b) 横判定値算出処理
図10(B)は赤R33の横判定値算出処理を説明する説明図である。注目画素の赤R33の横判定は、図10(B)に示す式(4)により横判定値R33hを求めることにより行なう。すなわち、注目画素の赤R33を中心とした、周辺画素の横方向の2個の画素値の差の絶対値を求め、さらにこれらの合計値を求める。
【0035】
(c) 斜め右上がり判定値算出処理
図11(A)は赤R23の斜め右上がり判定値算出処理を説明する説明図である。本処理は、注目画素の赤R33につき、図11(A)に示す式(5)により斜め右上がり判定値R33ruを求める。すなわち、注目画素の赤R33を中心とした斜め右上がり方向の2個の画素値の差の絶対値を求め、さらにこれらの合計値を求める。
【0036】
(d) 斜め右下がり判定値算出処理
図11(B)は赤R23の斜め右下がり判定値算出処理を説明する説明図である。本処理は、注目画素の赤R33につき、図11(B)に示す式(6)により斜め右下がり判定値R33rdを求める。すなわち、注目画素の赤R33を中心とした斜め右下がり方向の2個の画素値の差の絶対値を求め、さらにこれらの合計値を求める。
【0037】
(e) 方向判定処理
図12はエッジ方向判定処理を説明するフローチャートである。図12において、エッジ方向判定処理は、図10〜図11で説明した判定値に基づいて行なう。
(e)−1 斜め右上がり判定
ステップS120にて、注目画素の赤R33について求めた4個の判定値、つまり縦判定値R33v、横判定値R33h、斜め右上がり判定値R33ruおよび斜め右下がり判定値R33rdを比較する。その比較の結果、斜め右上がり判定値R33ruが他の判定値より小さく、しかも、ステップS122にて斜め右下がり判定値R33rdとの差が所定の閾値より大きい場合に、斜め右上がりエッジと判定する(ステップS124)。ここで、所定の閾値は、他の画素の斜め判定との結果で判定が異なる場合におけるヒステリシスを防ぎ、画面のちらつきを低減するためである。
【0038】
(e)−2 斜め右下がり判定
斜め右下がり判定処理は、上述した斜め右上がり判定と同様に行なう。すなわち、ステップS126にて、注目画素の赤R33について求めた4個の判定値、つまり縦判定値R33v、横判定値R33h、斜め右上がり判定値R33ruおよび斜め右下がり判定値R33rdを比較する。そして、斜め右下がり判定値R33rdが他の判定値より小さく、しかも、ステップS128にて斜め右上がり判定値R33ruとの差が所定のヒステリシスを防ぐための閾値より大きい場合に、斜め右下がりエッジと判定する(ステップS130)。
【0039】
(e)−3 縦判定
縦判定処理は、2つの判定処理で行なう。すなわち、ステップS132にて、注目画素の赤R33について求めた4個の判定値、つまり縦判定値R33v、横判定値R33h、斜め右上がり判定値R33ruおよび斜め右下がり判定値R33rdを比較する。そして、その比較の結果、縦判定値R33vが他の判定値より小さく、しかも、ステップS134にて横判定値R33hとの差がヒステリシスを防ぐための所定の閾値より大きい場合に、縦エッジと判定する(ステップS136)。
【0040】
また、ステップS138にて、図9で示した赤R33の周辺画素の4個の画素データ、つまり、青B22について求めた縦判定値B22vと横判定値B22h、青B24について求めた縦判定値B24vと横判定値B24h、青B42について求めた縦判定値Bv42と横判定値B42h、および青B44について求めた縦判定値B44vと横判定値B44hとをそれぞれ比較する。そして、縦判定値B22v,B24v,B42v,B44vの全てが、横判定値B22h,B24h,B42h,B44hより小さいときには、縦エッジと判定する(ステップS136)。
【0041】
(e)−4 横判定
横判定処理は、縦判定処理と同様に2つの判定処理で行なう。すなわち、ステップS140にて、注目画素の赤R33について求めた4個の判定値、つまり横判定値R33h、縦判定値R33v、斜め右上がり判定値R33ruおよび斜め右下がり判定値R33rdを比較する。そして、その比較の結果、横判定値R33hが他の判定値より小さく場合に、そしてステップS142にて縦判定値R33vとの差がヒステリシスを防ぐための所定の閾値より大きい場合に、横エッジと判定する(ステップS144)。
【0042】
また、ステップS146にて、図9で示した赤R33の周辺画素の4個の画素データ、つまり、青B22について求めた横判定値B22hと縦判定値B22v、青B24について求めた横判定値B24hと縦判定値B24v、青B42について求めた横判定値B42hと縦判定値B42v、および青B44について求めた横判定値B44hと縦判定値B44vとをそれぞれ比較する。そして、その比較の結果、横判定値の全てが、縦判定値より小さいときには、横エッジと判定する(ステップS144)。
【0043】
(2)−5 キズ消去部30
図1に示すキズ消去部30は、欠陥画素判定部22でキズの仮判定と判定され、かつエッジ方向判定手段28における判定結果に基づいて、つまり縦/横/斜め右上がり/斜め右下がりのエッジであるとの判定結果に基づいて、注目画素の画素値を補正値作成部24で作成されたキズ補正値Cvに補正する。すなわち、注目画素がキズの仮判定と判定されかついずれかの方向のエッジでないと判定されると、注目画素の画素値は、キズ補正値Cvに置換され、一方、いずれかの方向のエッジであると判定されると、補正しない画素値となる。したがって、注目画素が高周波成分を含んでいると判定されても、孤立点ではなく、縦、横、斜めで連続するエッジであると判定されると、一旦、注目画素がキズと判定されていても補正されないで、その画素データがそのまま後段で処理される。
【0044】
(2)−6 緑補間部32
図13は緑補間部32(図1)により処理される緑補間処理について説明する説明図である。緑補間処理は、緑のカラーフィルタでない受光素子12dの画素データを、周辺画素の画素データから緑の画素データを作成する処理である。緑補間処理は、エッジ方向判定手段28の判定結果にしたがって3形態をとる。すなわち、縦判定の場合には、図13(A)に示すように、赤R23の箇所に緑G23の画素データを作成するのに、縦方向の緑G93,G13,G33,G53の4個の画素データを用いる。横判定の場合には、図13(B)に示すように、赤R23の箇所に緑G23の画素データを作成するのに、横方向の緑G20,G22,G24,G26の4個の画素データを用いる。斜め判定またはそれ以外の場合には、図13(C)に示すように、赤R23の箇所に緑G23の画素データを作成するのに、周囲の緑G20,G22,G24,G26の4個の画素データを用いる。そして、いずれの3形態についても、4個の緑の画素データから最大値と最小値を除いた中間の2個の画素データを用いて、その2個の平均値により緑G23を作成する。
【0045】
(2)−7 赤青補間部34
赤青補間部34(図1)は、上述した緑補間部32と同様な処理、つまり、エッジ方向判定手段28の判定結果に基づいて、補間の対象となる注目画素を中心とした周辺画素を適宜、4個選択して補間値を作成する。
【0046】
(2)−8 エッジ安定化部36
図14はエッジ安定化部36(図1)により処理されるエッジ安定化処理について説明する説明図である。エッジ安定化処理は、補間後の画像データに基づき、エッジ方向判定手段28の判定結果にしたがって3形態をとる。すなわち、縦判定の場合には、図14(A)に示すように、注目画素の緑G23の縦方向の緑G03,G13,G23,G33,G43の5個の画素データを用いる。横判定の場合には、図14(B)に示すように、注目画素の緑23の横方向の緑の緑G21,G22,G23,G24,25の5個の画素データを用いる。斜め判定またはそれ以外の場合には、図14(C)に示すように、注目画素の緑G23の周囲の緑G13,G22,G23,G24,G33の5個の画素データを用いる。そして、いずれの3形態についても、5個の緑の画素データから最大値と最小値を除いた中間の3個の画素データの平均値を緑G23の画素データとする。赤および青の画素データについても、緑の画素データの処理と同様に行なう。
【0047】
(3) 実施例の作用・効果
上記実施例の構成により、上述した効果のほか、以下の効果を奏する。
(3)−1 撮像装置は、注目画素および周辺画素の画素データを用いて、エッジ方向判定手段28により被写体のエッジ方向を判定し、この判定結果に基づいて、注目画素が欠陥画素である場合の補正につき異なった処理を行なっている。すなわち、被写体のエッジ方向に特異性がない範囲、つまりエッジがなく色の変化の小さい模様の範囲では、欠陥画素を判定するための所定の閾値を小さくすることにより、欠陥画素を確実に検出でき、この検出結果に基づいて、平滑な模様の場合に特に目立つ欠陥画素の補正を適切に行なうことができる。
【0048】
(3)−2 被写体のエッジ方向に特異性がある範囲、つまりエッジがあり色の変化の大きい模様の範囲では、上述の補正手段により補正をした場合には、欠陥画素の判定が多くなりすぎて、画質の劣化を生じる。しかし、撮像部10は、欠陥画素の判定に無関係に、エッジ方向判定手段28の判定結果に基づいて、注目画素の色補間により処理されるから、エッジの部分に欠陥画素があっても、注目画素の画素データを活かしつつ鮮明なエッジを有する画像を得ることができる。
【0049】
なお、この発明は上記実施例に限られるものではなく、その要旨を逸脱しない範囲において種々の態様において実施することが可能である。
【図面の簡単な説明】
【0050】
【図1】本発明の一実施例としての撮像装置の概略構成を示す説明図である。
【図2】撮像素子における受光素子の配列を示す説明図である。
【図3】欠陥画素検出/補正部による処理の流れの概略を模式的に示す説明図である。
【図4】欠陥画素判定部により処理されるキズ判定処理を説明する説明図である。
【図5】キズ判定処理を説明するフローチャートである。
【図6】補正値作成部により処理される補正値作成処理を説明する説明図である。
【図7】高周波成分抽出部により処理される高周波成分抽出処理を説明する説明図である。
【図8】エッジ方向判定手段により処理されるエッジ方向判定処理を説明する説明図である。
【図9】エッジ方向判定手段により処理されるエッジ方向判定処理を説明する説明図である。
【図10】エッジ方向判定手段の縦横判定を説明する説明図である。
【図11】エッジ方向判定手段による斜め判定を説明する説明図である。
【図12】エッジ方向判定処理を説明するフローチャートである。
【図13】緑補間部により処理される緑補間処理について説明する説明図である。
【図14】エッジ安定化部により処理されるエッジ安定化処理について説明する説明図である。
【符号の説明】
【0051】
10…撮像部
12…撮像素子
12d…受光素子
14…画素データ取得手段
20…欠陥画素検出/補正部
22…欠陥画素判定部
23…緑
24…補正値作成部
26…高周波成分抽出部
28…エッジ方向判定手段
30…キズ消去部
32…緑補間部
33…赤
34…赤青補間部
36…エッジ安定化部
40…出力部
50…制御ユニット
100…撮像装置
【特許請求の範囲】
【請求項1】
撮像部によって撮像される被写体の画像を構成する複数の画素の中から、欠陥画素を検出して補正する撮像装置において、
上記欠陥画素の検出対象となる注目画素の画素値を表す画素データと、上記注目画素の周辺に配置された複数の周辺画素の画素値を表す画素データとを順次取得する画素データ取得手段と、
上記注目画素の画素データと上記周辺画素の画素データとの差分に基づいて求められた該注目画素の高周波成分を用いて、該注目画素が周辺画素とともに上記被写体のエッジの模様をいずれかの方向に形成しているかを判定するエッジ方向判定手段と、
上記画素データ取得手段からの画素データに基づいて欠陥画素を判定する欠陥画素判定部と、該欠陥画素判定部にて上記注目画素が欠陥画素であると判定され、さらに、上記エッジ方向判定手段によりエッジ方向でないと判定したときに、上記注目画素を中心に対称に配列された周辺画素の画素データから求めた補正値で補正する補正手段と、
上記エッジ方向判定手段のエッジの判定に基づいて求められたエッジの方向に配列されかつ上記注目画素と異なった色の画素データを用いて、上記補正手段により補正がされた注目画素および補正がされなかった注目画素の位置に上記異なった色と同色の画素データを作成する色補間手段と、
を備えたことを特徴とする撮像装置。
【請求項2】
請求項1に記載の撮像装置において、
上記高周波成分は、上記注目画素の画素データと同じ色の周辺画素の合計値と、該注目画素の画素データに上記周辺画素の数を乗算した値との差分により求められている撮像装置。
【請求項3】
請求項1または請求項2に記載の撮像装置において、
上記欠陥画素判定部は、上記注目画素および周辺画素の画素データを、それらの画素値が大きい順から並べた判定画素群を求め、該注目画素の画素値が上記判定画素群の上位または下位の所定範囲に含まれているときに上記注目画素が欠陥画素であると判定する撮像装置。
【請求項4】
請求項3に記載の撮像装置において、
上記欠陥画素判定部は、上記注目画素の画素値が上記判定画素群の中間の値より所定の閾値より大きいときに上記欠陥画素であると判定する撮像装置。
【請求項5】
請求項1ないし請求項4のいずれかに記載の撮像装置において、
上記補正手段の補正値は、上記注目画素および周辺画素の画素データのうち、それらの画素値が大きい順から並べ、該画素値の上位および下位を除いた画素値の平均値から求めている撮像装置。
【請求項6】
請求項1ないし請求項5のいずれかに記載の撮像装置において、
上記エッジ方向判定手段は、上記注目画素を中心とした周辺画素の画素データのうち、縦方向の画素データ、横方向の画素データまたは斜め方向の画素データであり注目画素と異なった色の画素データに基づいてエッジ方向を判定する撮像装置。
【請求項7】
請求項6に記載の撮像装置において、
上記エッジ方向判定手段は、上記縦方向、横方向または斜め方向の各々の画素データの差分の絶対値をそれぞれ求め、該絶対値が所定値以上でありかつ最小の方向の値を表わす方向をエッジ方向と判定する撮像装置。
【請求項8】
請求項1ないし請求項7のいずれかに記載の撮像装置において、
上記色補間手段は、上記エッジ方向に配列された周辺画素のうち、それらの画素値が大きい順から並べ、該画素値の上位および下位を除いた画素値の平均値から求めている撮像装置。
【請求項1】
撮像部によって撮像される被写体の画像を構成する複数の画素の中から、欠陥画素を検出して補正する撮像装置において、
上記欠陥画素の検出対象となる注目画素の画素値を表す画素データと、上記注目画素の周辺に配置された複数の周辺画素の画素値を表す画素データとを順次取得する画素データ取得手段と、
上記注目画素の画素データと上記周辺画素の画素データとの差分に基づいて求められた該注目画素の高周波成分を用いて、該注目画素が周辺画素とともに上記被写体のエッジの模様をいずれかの方向に形成しているかを判定するエッジ方向判定手段と、
上記画素データ取得手段からの画素データに基づいて欠陥画素を判定する欠陥画素判定部と、該欠陥画素判定部にて上記注目画素が欠陥画素であると判定され、さらに、上記エッジ方向判定手段によりエッジ方向でないと判定したときに、上記注目画素を中心に対称に配列された周辺画素の画素データから求めた補正値で補正する補正手段と、
上記エッジ方向判定手段のエッジの判定に基づいて求められたエッジの方向に配列されかつ上記注目画素と異なった色の画素データを用いて、上記補正手段により補正がされた注目画素および補正がされなかった注目画素の位置に上記異なった色と同色の画素データを作成する色補間手段と、
を備えたことを特徴とする撮像装置。
【請求項2】
請求項1に記載の撮像装置において、
上記高周波成分は、上記注目画素の画素データと同じ色の周辺画素の合計値と、該注目画素の画素データに上記周辺画素の数を乗算した値との差分により求められている撮像装置。
【請求項3】
請求項1または請求項2に記載の撮像装置において、
上記欠陥画素判定部は、上記注目画素および周辺画素の画素データを、それらの画素値が大きい順から並べた判定画素群を求め、該注目画素の画素値が上記判定画素群の上位または下位の所定範囲に含まれているときに上記注目画素が欠陥画素であると判定する撮像装置。
【請求項4】
請求項3に記載の撮像装置において、
上記欠陥画素判定部は、上記注目画素の画素値が上記判定画素群の中間の値より所定の閾値より大きいときに上記欠陥画素であると判定する撮像装置。
【請求項5】
請求項1ないし請求項4のいずれかに記載の撮像装置において、
上記補正手段の補正値は、上記注目画素および周辺画素の画素データのうち、それらの画素値が大きい順から並べ、該画素値の上位および下位を除いた画素値の平均値から求めている撮像装置。
【請求項6】
請求項1ないし請求項5のいずれかに記載の撮像装置において、
上記エッジ方向判定手段は、上記注目画素を中心とした周辺画素の画素データのうち、縦方向の画素データ、横方向の画素データまたは斜め方向の画素データであり注目画素と異なった色の画素データに基づいてエッジ方向を判定する撮像装置。
【請求項7】
請求項6に記載の撮像装置において、
上記エッジ方向判定手段は、上記縦方向、横方向または斜め方向の各々の画素データの差分の絶対値をそれぞれ求め、該絶対値が所定値以上でありかつ最小の方向の値を表わす方向をエッジ方向と判定する撮像装置。
【請求項8】
請求項1ないし請求項7のいずれかに記載の撮像装置において、
上記色補間手段は、上記エッジ方向に配列された周辺画素のうち、それらの画素値が大きい順から並べ、該画素値の上位および下位を除いた画素値の平均値から求めている撮像装置。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【公開番号】特開2010−35114(P2010−35114A)
【公開日】平成22年2月12日(2010.2.12)
【国際特許分類】
【出願番号】特願2008−197799(P2008−197799)
【出願日】平成20年7月31日(2008.7.31)
【出願人】(000000424)株式会社エルモ社 (104)
【Fターム(参考)】
【公開日】平成22年2月12日(2010.2.12)
【国際特許分類】
【出願日】平成20年7月31日(2008.7.31)
【出願人】(000000424)株式会社エルモ社 (104)
【Fターム(参考)】
[ Back to top ]