画像処理装置
【課題】適切なキズ補正により高品質な画像を得ることを可能とする画像処理装置を提供すること。
【解決手段】実施形態によれば、周辺画素抽出部２１は、複数の周辺画素の信号値を抽出する。並べ替え部２２は、周辺画素抽出部２１で抽出された信号値を信号レベルの順に並べ替えて出力する。キズ判定部２５、２６は、複数の周辺画素の信号値のうちのいずれかと、対象画素の信号値との比較により、対象画素のキズ判定を実施する。キズ判定レベル設定部２３、２４は、キズ判定レベル３１、３２を設定する。キズ判定レベル３１、３２は、キズ判定部２５、２６におけるキズ判定の基準とする。キズ判定レベル設定部２３、２４は、信号レベルの順に応じて、複数の周辺画素から第１の参照画素及び第２の参照画素を特定する。キズ判定レベル設定部２３、２４は、第１の参照画素の信号値と第２の参照画素の信号値との差分に応じてキズ判定レベル３１、３２を可変とする。
【解決手段】実施形態によれば、周辺画素抽出部２１は、複数の周辺画素の信号値を抽出する。並べ替え部２２は、周辺画素抽出部２１で抽出された信号値を信号レベルの順に並べ替えて出力する。キズ判定部２５、２６は、複数の周辺画素の信号値のうちのいずれかと、対象画素の信号値との比較により、対象画素のキズ判定を実施する。キズ判定レベル設定部２３、２４は、キズ判定レベル３１、３２を設定する。キズ判定レベル３１、３２は、キズ判定部２５、２６におけるキズ判定の基準とする。キズ判定レベル設定部２３、２４は、信号レベルの順に応じて、複数の周辺画素から第１の参照画素及び第２の参照画素を特定する。キズ判定レベル設定部２３、２４は、第１の参照画素の信号値と第２の参照画素の信号値との差分に応じてキズ判定レベル３１、３２を可変とする。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明の実施形態は、画像処理装置に関する。
【背景技術】
【０００２】
近年、固体撮像装置は、高画素化による画素の微細化が進行している。このような状況下において、固体撮像装置は、正常に機能していない画素によるデジタル画像信号の欠損部分（以下、適宜「キズ」と称する）の発生が問題視されるようになっている。固体撮像装置の製造時の欠陥検査において規定より多くの画素欠陥が認められた場合は不良品として扱われることになるが、規定が厳格であるほど、固体撮像装置の歩留まりを低下させ製造コストを増加させることとなる。そこで、従来、固体撮像装置は、キズ補正回路における信号処理によってキズを目立たなくする手法が積極的に採用されている。
【０００３】
キズ補正回路は、キズ補正の対象とする対象画素と、対象画素の周辺に位置する周辺画素とで信号レベルを比較することで、対象画素がキズであるか否かを判別する。従来、対象画素及び複数の周辺画素のうち、対象画素がキズである場合のみならず、対象画素と周辺画素の一つとがキズである、いわゆる二画素キズの場合にも対処可能とするキズ補正回路も知られている。キズ補正の効果を高めるためにキズ判定レベルを厳格にすることは、多くの画素に対するキズ補正が可能となる一方、誤補正による解像度低下を生じさせ易くすることになる。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００４−１３４９４１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
本発明の一つの実施形態は、適切なキズ補正により高品質な画像を得ることを可能とする画像処理装置を提供することを目的とする。
【課題を解決するための手段】
【０００６】
本発明の一つの実施形態によれば、画像処理装置は、キズ補正部を有する。キズ補正部は、対象画素についてキズ補正を実施する。キズ補正部は、周辺画素抽出部、並べ替え部、キズ判定部及びキズ判定レベル設定部を有する。周辺画素抽出部は、複数の周辺画素の信号値を抽出する。周辺画素は、対象画素と同色用の画素であって対象画素の周辺に位置する。並べ替え部は、周辺画素抽出部で抽出された信号値を信号レベルの順に並べ替えて出力する。キズ判定部は、複数の周辺画素の信号値のうちのいずれかと、対象画素の信号値との比較により、対象画素のキズ判定を実施する。キズ判定レベル設定部は、キズ判定レベルを設定する。キズ判定レベルは、キズ判定部におけるキズ判定の基準とする。キズ判定レベル設定部は、信号レベルの順に応じて、複数の周辺画素から第１の参照画素及び第２の参照画素を特定する。キズ判定レベル設定部は、第１の参照画素の信号値と第２の参照画素の信号値の差分とに応じてキズ判定レベルを可変とする。
【図面の簡単な説明】
【０００７】
【図１】実施形態の画像処理装置を適用したデジタルカメラの構成を示すブロック図。
【図２】キズ補正回路の構成を示すブロック図。
【図３】対象画素及び周辺画素を説明する図。
【図４】並べ替え部における信号値の並べ替えの例を示す概念図。
【図５】白キズ判定レベル設定部における白キズ判定レベルの設定から、出力画素選択部における信号値の選択までの手順を説明する図。
【図６】信号値のレベルと白キズ判定レベルとの関係を説明する図。
【図７】信号値のレベルと白キズ判定レベルとの関係を説明する図。
【図８】黒キズ判定レベル設定部における黒キズ判定レベルの設定から、出力画素選択部における信号値の選択までの手順を説明する図。
【発明を実施するための形態】
【０００８】
以下に添付図面を参照して、実施形態にかかる画像処理装置を詳細に説明する。なお、この実施形態により本発明が限定されるものではない。
【０００９】
（実施形態）
図１は、実施形態の画像処理装置を適用したデジタルカメラの構成を示すブロック図である。デジタルカメラ１は、固体撮像装置２、記憶部３及び表示部４を有する。固体撮像装置２は、被写体像を撮像する。記憶部３は、固体撮像装置２により撮影された画像を格納する。表示部４は、固体撮像装置２により撮影された画像を表示する。表示部４は、例えば、液晶ディスプレイである。
【００１０】
固体撮像装置２は、被写体像の撮像により、記憶部３及び表示部４へ画像信号を出力する。記憶部３は、ユーザの操作等に応じて、表示部４へ画像信号を出力する。表示部４は、固体撮像装置２あるいは記憶部３から入力される画像信号に応じて、画像を表示する。
【００１１】
固体撮像装置２は、レンズユニット５、ＣＭＯＳ（complementary metal oxide semiconductor）センサ６及びデジタルシグナルプロセッサ（digital signal processor；ＤＳＰ）７を有する。
【００１２】
レンズユニット５は、被写体からの光を取り込み、ＣＭＯＳセンサ６にて被写体像を結像させる。ＣＭＯＳセンサ６は、レンズユニット５により取り込まれた光を信号電荷に変換し、被写体像を撮像する。ＣＭＯＳセンサ６は、赤（Ｒ）、緑（Ｇ）、青（Ｂ）の信号値をベイヤー配列に対応する順序で取り込むことにより、画像信号を生成する。
【００１３】
画像処理装置であるＤＳＰ７は、ＣＭＯＳセンサ６からの画像信号に対して、種々の画像処理を施す。ＤＳＰ７は、後述するキズ補正回路の他、例えば、画像信号の黒レベルを調整するためのオプティカルブラック（ＯＢ）クランプ回路や、画像信号のホワイトバランスを調整するためのホワイトバランス調整回路等を備える。
【００１４】
図２は、キズ補正回路の構成を示すブロック図である。ラインメモリ１０及びキズ補正回路１１は、ＤＳＰ７に設けられている。ラインメモリ１０は、画像信号を一時的に貯え、５ライン（０Ｈ〜４Ｈ）の画像信号を出力する。キズ補正回路（キズ補正部）１１は、対象画素についてキズ補正を実施する。
【００１５】
図３は、対象画素及び周辺画素を説明する図である。ベイヤー配列は、Ｇｒ、Ｒ、Ｇｂ、Ｂの４画素を単位として構成されている。画像信号は、ラインごと（Ｇｒ／Ｒライン、Ｇｂ／Ｂライン）の信号としてキズ補正回路１１へ入力される。
【００１６】
キズ補正回路１１は、垂直方向に５ライン（０Ｈ〜４Ｈ）、水平方向に５画素のマトリクスをなす２５画素のうち中心の画素を、対象画素と設定する。周辺画素は、マトリクスのうち、対象画素と同色用の画素であって、対象画素の周辺に位置する。マトリクスには、１個の対象画素と８個の周辺画素とが含まれる。図示する例では、Ｒ用画素であるＲ２２が対象画素であって、８個のＲ用画素Ｒ００、Ｒ０２、Ｒ０４、Ｒ２０、Ｒ２４、Ｒ４０、Ｒ４２、Ｒ４４が周辺画素である。
【００１７】
キズ補正回路１１は、周辺画素抽出部２１、並べ替え部２２、白キズ判定レベル設定部２３、黒キズ判定レベル設定部２４、白キズ判定部２５、黒キズ判定部２６、置換画素選択部２７及び出力画素選択部２８を備える。
【００１８】
周辺画素抽出部２１は、シフトレジスタを使用することにより、５ライン（０Ｈ〜４Ｈ）の画像信号から８個の周辺画素の信号値を抽出し、同時化させる。並べ替え部２２は、周辺画素抽出部２１で抽出された信号値を信号レベルの順に並べ替える。
【００１９】
図４は、並べ替え部における信号値の並べ替えの例を示す概念図である。並べ替え部２２は、８個の周辺画素の信号値を信号レベルの順に並べ替えて出力する。
【００２０】
例えば、図３に示す周辺画素について、信号レベルが小さいほうからＲ４４、Ｒ４２、Ｒ２４、Ｒ０４、Ｒ４０、Ｒ００、Ｒ０２、Ｒ２０の順であったとする。並べ替え部２２は、信号レベルの昇順に、各周辺画素の信号値を第１番目（Ｐ１）から第８番目（Ｐ８）まで並べ替えて出力する。第１番目の信号値Ｐ１は、各周辺画素の信号値の最小値である。第８番目の信号値Ｐ８は、各周辺画素の信号値の最大値である。
【００２１】
白キズ判定部２５は、対象画素の白キズ判定を実施し、白キズフラグ３３を出力する。白キズは、画素が正常に機能する場合に比べて高い輝度が検出されるようなキズとする。白キズ判定レベル設定部２３は、白キズ判定部２５における白キズ判定の基準とする白キズ判定レベル３１を設定する。
【００２２】
黒キズ判定部２６は、対象画素の黒キズ判定を実施し、黒キズフラグ３４を出力する。黒キズは、画素が正常に機能する場合に比べて低い輝度が検出されるようなキズとする。黒キズ判定レベル設定部２４は、黒キズ判定部２６における黒キズ判定の基準とする黒キズ判定レベル３２を設定する。
【００２３】
置換画素選択部２７は、白キズ置き換え信号値３５と黒キズ置き換え信号値３６とを、各周辺画素の信号値Ｐ１〜Ｐ８の中から選択し、出力する。白キズ置き換え信号値３５は、対象画素が白キズであると白キズ判定部２５が判定した場合に対象画素に置き換える信号値とする。黒キズ置換信号値３６は、対象画素が黒キズであると黒キズ判定部２６が判定した場合に対象画素に置き換える信号値とする。
【００２４】
出力画素選択部２８は、白キズ判定部２５からの白キズフラグ３３及び黒キズ判定部２６からの黒キズフラグ３４に従って、対象画素に適用する信号値を、ラインメモリ１０から読み出した信号値Ｐ０、白キズ置換信号値３５及び黒キズ置換信号値３６の中から選択する。信号値Ｐ０は、キズ補正前の対象画素の信号値とする。出力画素選択部２８は、キズ補正の対象外とする対象画素には、元の信号値Ｐ０をそのまま適用する。キズ補正回路１１は、出力画素選択部２８で選択された信号値を出力信号２９とする。
【００２５】
ここで、キズ補正回路１１による白キズの補正について説明する。図５は、白キズ判定レベル設定部における白キズ判定レベルの設定から、出力画素選択部における信号値の選択までの手順を説明する図である。白キズ判定レベル設定部２３は、信号レベル差分Ｐ７−Ｐ３に応じた白キズ判定レベル３１を算出可能とする。
【００２６】
信号値Ｐ７の周辺画素は、８個の周辺画素のうち、並べ替え部２２において信号レベルが第７番目とされた第１の白キズ用参照画素である。信号値Ｐ３の周辺画素は、８個の周辺画素のうち、並べ替え部２２において信号レベルが第３番目とされた第２の白キズ用参照画素である。白キズ判定レベル設定部２３は、第１の白キズ用参照画素とする信号レベル順位ｍ（この例ではｍ＝７）と、第２の白キズ用参照画素とする信号レベル順位ｎ（この例ではｎ＝３）とが予め設定されている。ｍ、ｎは、マトリクスに含まれる周辺画素の個数（この例では８）以下の自然数であって、ｍ＞ｎとする。白キズ判定レベル設定部２３は、信号レベルの順に応じて、複数の周辺画素から第１の白キズ用参照画素及び第２の白キズ用参照画素を特定する。
【００２７】
白キズ判定レベル設定部２３は、第１白キズ判定レベル（ＷＳＬＶ）及び第２白キズ判定レベル（ＷＳＬＶ＿ｎｅｗ）のうちの一方を選択し、白キズ判定レベル３１として出力する。白キズ判定レベル設定部２３は、例えば、以下の式（１）により、ＷＳＬＶ＿ｎｅｗを算出する。
ＷＳＬＶ＿ｎｅｗ＝（Ｐ７−Ｐ３）×ＷＳＬＶ［７：０］／６４ ・・・（１）
【００２８】
白キズ判定レベル設定部２３は、ＷＳＬＶ＿ｎｅｗの算出に信号レベル差分Ｐ７−Ｐ３を使用することで、画像の輝度分布に応じてＷＳＬＶ＿ｎｅｗを動的に変化させる。また、白キズ判定レベル設定部２３は、信号レベル差分Ｐ７−Ｐ３にＷＳＬＶ［７：０］を係数として乗算することで、ＷＳＬＶ［７：０］に応じてＷＳＬＶ＿ｎｅｗを調整可能とする。
【００２９】
ＷＳＬＶ［７：０］をｄ６４とした場合、ＷＳＬＶ［７：０］／６４＝１となり、ＷＳＬＶ＿ｎｅｗは（Ｐ７−Ｐ３）の１倍となる。ＷＳＬＶ［７：０］をｄ２５５とした場合、ＷＳＬＶ［７：０］／６４≒４であるため、ＷＳＬＶ＿ｎｅｗは（Ｐ７−Ｐ３）のおよそ４倍となる。ＷＳＬＶ［７：０］をｄ３２とした場合、ＷＳＬＶ［７：０］／６４＝１／２となり、ＷＳＬＶ＿ｎｅｗは（Ｐ７−Ｐ３）の１／２倍となる。
【００３０】
白キズ判定レベル設定部２３は、ＷＳＬＶ［７：０］がｄ６４より大きい場合、（Ｐ７−Ｐ３）より大きいＷＳＬＶ＿ｎｅｗを算出する。また、白キズ判定レベル設定部２３は、ＷＳＬＶ［７：０］がｄ６４より小さい場合、（Ｐ７−Ｐ３）より小さいＷＳＬＶ＿ｎｅｗを算出する。
【００３１】
白キズ判定レベル設定部２３は、周辺画素の信号値Ｐ１〜Ｐ８のうち、最小値Ｐ１及び最大値Ｐ８以外の信号値同士の差分（Ｐ７−Ｐ３）をＷＳＬＶ＿ｎｅｗの算出に使用する。二画素キズの場合は、最小値Ｐ１の周辺画素と最大値Ｐ８の周辺画素との少なくともいずれかがキズである可能性があることとなる。このため、白キズ判定レベル設定部２３は、最小値Ｐ１及び最大値Ｐ８以外の信号値同士の差分（Ｐ７−Ｐ３）の採用により、キズである可能性がある周辺画素を除外して、ＷＳＬＶ＿ｎｅｗを算出することが可能となる。
【００３２】
図６及び図７は、信号値のレベルと白キズ判定レベルとの関係を説明する図である。図６及び図７のいずれも、横軸は信号レベルを表すものとする。図６は、信号レベル差分Ｐ７−Ｐ３が小さく、信号レベルの変化が平坦な部分における白キズ判定の場合を示している。信号レベル差分Ｐ７−Ｐ３が小さいほど、白キズ判定レベル設定部２３で算出されるＷＳＬＶ＿ｎｅｗは小さい値となる。小さい値の白キズ判定レベル３１を採用するほど、白キズ判定部２５における白キズ判定の基準が厳格になることで、キズ補正回路１１は、キズ補正の効果を高めることとなる。これにより、キズ補正回路１１は、誤補正の可能性の低い平坦部分において効果的なキズ補正が可能となる。
【００３３】
図７は、信号レベル差分Ｐ７−Ｐ３が大きく、信号レベルの変化が急峻なエッジ部分における白キズ判定の場合を示している。信号レベル差分Ｐ７−Ｐ３が大きいほど、白キズ判定レベル設定部２３で算出されるＷＳＬＶ＿ｎｅｗは大きい値となる。大きい値の白キズ判定レベル３１を採用するほど、白キズ判定部２５における白キズ判定の基準が緩和されることで、キズ補正回路１１は、キズ補正の効果を抑制させる。これにより、キズ補正回路１１は、誤補正が生じ易いエッジ部分でのキズ補正を抑制させ、解像度の低下を抑制させることが可能となる。
【００３４】
白キズ判定レベル設定部２３は、白キズ判定コマンド３８において予め設定された固定値に所定の係数ＭＰを乗算することにより、ＷＳＬＶを算出する。白キズ判定レベル設定部２３は、例えば、以下の式（２）により、ＷＳＬＶを算出する。
ＷＳＬＶ［７：０］＝｛｛（ＷＳＬＶ＿ｍａｘ［７：０］）−（ＷＳＬＶ＿ｍｉｎ［７：０］）｝×ＭＰ［７：０］／２５６｝＋ＷＳＬＶ＿ｍｉｎ［７：０］ ・・・（２）
【００３５】
式（２）において、ＷＳＬＶ＿ｍａｘはＷＳＬＶの最大値、ＷＳＬＶ＿ｍｉｎはＷＳＬＶの最小値とする。ＷＳＬＶ＿ｍａｘ及びＷＳＬＶ＿ｍｉｎは、白キズ判定コマンド３８に設定されている。ＭＰは、例えば、被写体像の撮像におけるアナログゲイン３７に連動する係数とする。アナログゲイン３７が大きいほど、ＭＰは小さい値とする。
【００３６】
ＷＳＬＶ＿ｍａｘ［７：０］をｄ２５５、ＷＳＬＶ＿ｍｉｎ［７：０］をｄ０とした場合において、ＭＰ［７：０］をｄ２５５とすると、ＷＳＬＶは｛（ＷＳＬＶ＿ｍａｘ）−（ＷＳＬＶ＿ｍｉｎ）｝のおよそ１倍（ｄ２５５）となる。ＭＰ［７：０］をｄ６４とすると、ＷＳＬＶは｛（ＷＳＬＶ＿ｍａｘ）−（ＷＳＬＶ＿ｍｉｎ）｝の１／４倍（ｄ６４）となる。白キズ判定レベル設定部２３は、ＭＰ［７：０］がｄ２５５より小さい場合、｛（ＷＳＬＶ＿ｍａｘ）−（ＷＳＬＶ＿ｍｉｎ）｝より小さいＷＳＬＶを算出する。
【００３７】
キズ補正回路１１は、白キズ判定レベル設定部２３におけるＷＳＬＶの算出にＭＰを使用することで、キズ補正の効果を撮影状況に連動させることが可能となる。例えば、アナログゲイン３７が大きいほど、ＭＰは小さい値となり、白キズ判定レベル設定部２３で算出されるＷＳＬＶも小さい値となる。キズ補正回路１１は、低照度環境下にてアナログゲイン３７を大きくするほど、より厳格な白キズ判定の実施により、キズ補正の効果を強めることが可能となる。
【００３８】
ＭＰは、アナログゲイン３７に連動する係数である場合に限られず、例えば、ＣＭＯＳセンサ６の温度、ＣＭＯＳセンサ６における光量の蓄積時間等に連動する係数であっても良い。ＣＭＯＳセンサ６の温度が高いほど、ＭＰは小さい値とする。また、ＣＭＯＳセンサ６における光量の蓄積時間が長いほど、ＭＰは小さい値とする。
【００３９】
白キズ判定レベル設定部２３は、以上のようにして算出されたＷＳＬＶ及びＷＳＬＶ＿ｎｅｗのうちの一方を、白キズ判定レベル選択コマンド４１に応じて選択し、白キズ判定レベル３１として出力する。白キズ判定レベル選択コマンド４１は、例えば、白キズ判定コマンド３８に含まれているものとする。
【００４０】
白キズ判定部２５は、対象画素の信号値Ｐ０、周辺画素の信号値Ｐ８及びＰ７、及び白キズ判定レベル３１が入力され、対象画素が白キズであるか否かを判定する。白キズ判定部２５は、白キズ判定において、以下に説明する第１の判定方法及び第２の判定方法のいずれを採用するかを選択する。
【００４１】
第１の判定方法では、白キズ判定部２５は、以下の式（３）を満足する場合に、対象画素が白キズであると判定する。また、第２の判定方法では、白キズ判定部２５は、以下の式（４）を満足する場合に、対象画素が白キズであると判定する。なお、Ｗｍは、周辺画素の信号値Ｐ１〜Ｐ８のうち、白キズ判定の比較対象として選定された信号値とする。比較対象Ｗｍの選定については後述する。
Ｐ０＞Ｗｍ ・・・（３）
Ｐ０−Ｗｍ＞（白キズ判定レベル３１） ・・・（４）
【００４２】
白キズ判定部２５は、第１の判定方法における比較結果４４と、第２の判定方法における比較結果４５とのいずれかを、判定方法選択コマンド４３に応じて選択する。判定方法選択コマンド４３は、例えば、白キズ判定コマンド３８に含まれているものとする。
【００４３】
白キズ判定部２５は、比較対象Ｗｍとして、信号値Ｐ８及び信号値Ｐ７のいずれかを選択する。白キズ判定部２５による比較対象Ｗｍの選択は、補正方法選択コマンド４２に従う。補正選択コマンド４２は、例えば、白キズ判定コマンド３８に含まれているものとする。
【００４４】
白キズ判定部２５は、一画素のキズに対応可能とする補正方法選択コマンド４２が設定されている場合、比較対象Ｗｍとして信号値Ｐ８を選択する。白キズ判定部２５は、二画素のキズに対応可能とする補正方法選択コマンド４２が設定されている場合、比較対象Ｗｍとして信号値Ｐ７を選択する。
【００４５】
対象画素と、信号値Ｐ８の周辺画素とが白キズである場合、Ｐ０とＰ８とが近い値となることで、対象画素の白キズ判定がなされない場合が生じ得る。白キズ判定部２５は、比較対象Ｗｍとして信号値Ｐ７を選択する場合、対象画素と、信号値Ｐ８の周辺画素との二画素が白キズである場合における誤判定を抑制可能とし、白キズの残存を低減させることが可能となる。
【００４６】
置換画素選択部２７は、白キズ置換信号値３５として、信号値Ｐ８及びＰ７のいずれかを選択し、出力する。白キズ判定部２５において比較対象Ｗｍとして信号値Ｐ８を選択している場合、置換画素選択部２７は、白キズ置換信号値３５として信号値Ｐ８を選択する。白キズ判定部２５において比較対象Ｗｍとして信号値Ｐ７を選択している場合、置換画素選択部２７は、白キズ置換信号値３５として信号値Ｐ７を選択する。
【００４７】
白キズ判定部２５は、対象画素が白キズであると判定した場合、白キズフラグ３３をＯＮとする。出力画素選択部２８は、白キズフラグ３３がＯＮである場合、対象画素に適用する信号値として、白キズ置換信号値３５を選択する。
【００４８】
白キズ判定部２５は、対象画素が白キズではないと判定した場合、白キズフラグ３３をＯＦＦとする。出力画素選択部２８は、白キズフラグ３３と後述する黒キズフラグ３４とがいずれもＯＦＦである場合、対象画素に適用する信号値として、元の信号値Ｐ０を選択する。なお、置換画素選択部３５は、白キズ置換信号値３５として信号値Ｐ８、Ｐ７以外の信号値、例えば、信号値Ｐ６、Ｐ５等を選択することとしても良い。
【００４９】
上述のように、白キズ判定レベル設定部２３は、式（１）によるＷＳＬＶ＿ｎｅｗの算出において、信号レベルが第７番目の周辺画素と第３番目の周辺画素とを参照対象としている。白キズ判定レベル設定部２３は、かかる参照対象からは、信号レベルが最大である第８番目の周辺画素と信号レベルが最小である第１番目の周辺画素とを除外している。
【００５０】
白キズ判定レベル設定部２３は、白キズである可能性がある第８番目の周辺画素と黒キズである可能性がある第１番目の周辺画素とを除外することで、二画素キズである場合に、ＷＳＬＶ＿ｎｅｗへキズの影響が及ぶことを防止する。これにより、白キズ判定部２５は、キズの影響による不正確なキズ判定を低減させることができる。
【００５１】
次に、キズ補正回路１１による黒キズの補正について説明する。図８は、黒キズ判定レベル設定部における黒キズ判定レベルの設定から、出力画素選択部における信号値の選択までの手順を説明する図である。黒キズ判定レベル設定部２４は、信号レベル差分Ｐ６−Ｐ２に応じた黒キズ判定レベル３２を算出可能とする。
【００５２】
信号値Ｐ６の周辺画素は、８個の周辺画素のうち、並べ替え部２２において信号レベルが第６番目とされた第１の黒キズ用参照画素である。信号値Ｐ２の周辺画素は、８個の周辺画素のうち、並べ替え部２２において信号レベルが第２番目とされた第２の黒キズ用参照画素である。黒キズ判定レベル設定部２４は、第１の黒キズ用参照画素とする信号レベル順位ｍ（この例ではｍ＝６）と、第２の黒キズ用参照画素とする信号レベル順位ｎ（この例ではｎ＝２）とが予め設定されている。ｍ、ｎは、マトリクスに含まれる周辺画素の個数（この例では８）以下の自然数であって、ｍ＞ｎとする。黒キズ判定レベル設定部２４は、信号レベルの順に応じて、複数の周辺画素から第１の黒キズ用参照画素及び第２の黒キズ用参照画素を特定する。
【００５３】
黒キズ判定レベル設定部２４は、第１黒キズ判定レベル（ＢＳＬＶ）及び第２黒キズ判定レベル（ＢＳＬＶ＿ｎｅｗ）のうちの一方を選択し、黒キズ判定レベル３２として出力する。黒キズ判定レベル設定部２４は、例えば、以下の式（５）により、ＢＳＬＶ＿ｎｅｗを算出する。
ＢＳＬＶ＿ｎｅｗ＝（Ｐ６−Ｐ２）×ＢＳＬＶ［７：０］／６４ ・・・（５）
【００５４】
黒キズ判定レベル設定部２４は、ＢＳＬＶ＿ｎｅｗの算出に信号レベル差分Ｐ６−Ｐ２を使用することで、画像の輝度分布に応じてＢＳＬＶ＿ｎｅｗを動的に変化させる。また、黒キズ判定レベル設定部２４は、信号レベル差分Ｐ６−Ｐ２にＢＳＬＶ［７：０］を係数として乗算することで、ＢＳＬＶ［７：０］に応じてＢＳＬＶ＿ｎｅｗを調整可能とする。
【００５５】
ＢＳＬＶ［７：０］をｄ６４とした場合、ＢＳＬＶ［７：０］／６４＝１となり、ＢＳＬＶ＿ｎｅｗは（Ｐ６−Ｐ２）の１倍となる。ＢＳＬＶ［７：０］をｄ２５５とした場合、ＢＳＬＶ［７：０］／６４≒４であるため、ＢＳＬＶ＿ｎｅｗは（Ｐ６−Ｐ２）のおよそ４倍となる。ＢＳＬＶ［７：０］をｄ３２とした場合、ＢＳＬＶ［７：０］／６４＝１／２となり、ＢＳＬＶ＿ｎｅｗは（Ｐ６−Ｐ２）の１／２倍となる。
【００５６】
黒キズ判定レベル設定部２４は、ＢＳＬＶ［７：０］がｄ６４より大きい場合、（Ｐ６−Ｐ２）より大きいＢＳＬＶ＿ｎｅｗを算出する。また、黒キズ判定レベル設定部２４は、ＢＳＬＶ［７：０］がｄ６４より小さい場合、（Ｐ６−Ｐ２）より小さいＢＳＬＶ＿ｎｅｗを算出する。
【００５７】
黒キズ判定レベル設定部２４は、周辺画素の信号値Ｐ１〜Ｐ８のうち、最小値Ｐ１及び最大値Ｐ８以外の信号値同士の差分（Ｐ６−Ｐ２）をＢＳＬＶ＿ｎｅｗの算出に使用する。二画素キズの場合は、最小値Ｐ１の周辺画素と最大値Ｐ８の周辺画素との少なくともいずれかがキズである可能性があることとなる。このため、黒キズ判定レベル設定部２４は、最小値Ｐ１及び最大値Ｐ８以外の信号値同士の差分（Ｐ６−Ｐ２）の採用により、キズである可能性がある周辺画素を除外して、ＢＳＬＶ＿ｎｅｗを算出することが可能となる。
【００５８】
例えば、信号レベルの変化が平坦な部分における黒キズ判定の場合、信号レベル差分Ｐ６−Ｐ２が小さい値となることで、黒キズ判定レベル設定部２４で算出されるＢＳＬＶ＿ｎｅｗは小さい値となる。小さい値の黒キズ判定レベル３２を採用するほど、黒キズ判定部２６における黒キズ判定の基準が厳格になることで、キズ補正回路１１は、キズ補正の効果を強めることが可能となる。これにより、キズ補正回路１１は、誤補正の可能性の低い平坦部分において効果的なキズ補正が可能となる。
【００５９】
信号レベルの変化が急峻なエッジ部分における黒キズ判定の場合、信号レベル差分Ｐ６−Ｐ２が大きい値となることで、黒キズ判定レベル設定部２４で算出されるＢＳＬＶ＿ｎｅｗは大きい値となる。大きい値の黒キズ判定レベル３２を採用するほど、黒キズ判定部２６における黒キズ判定の基準が緩和されることで、キズ補正回路１１は、キズ補正の効果を抑制させる。これにより、キズ補正回路１１は、誤補正が生じ易いエッジ部分でのキズ補正を抑制させ、解像度の低下を抑制させることが可能となる。
【００６０】
黒キズ判定レベル設定部２４は、黒キズ判定コマンド３９において予め設定された固定値に、白キズ判定の場合と同様に係数ＭＰを乗算することにより、ＢＳＬＶを算出する。黒キズ判定レベル設定部２４は、例えば、以下の式（６）により、ＢＳＬＶを算出する。
ＢＳＬＶ［７：０］＝｛｛（ＢＳＬＶ＿ｍａｘ［７：０］）−（ＢＳＬＶ＿ｍｉｎ［７：０］）｝×ＭＰ［７：０］／２５６｝＋ＢＳＬＶ＿ｍｉｎ［７：０］ ・・・（６）
【００６１】
式（６）において、ＢＳＬＶ＿ｍａｘはＢＳＬＶの最大値、ＢＳＬＶ＿ｍｉｎはＢＳＬＶの最小値とする。ＢＳＬＶ＿ｍａｘ及びＢＳＬＶ＿ｍｉｎは、黒キズ判定コマンド３９に設定されている。
【００６２】
ＢＳＬＶ＿ｍａｘ［７：０］をｄ２５５、ＢＳＬＶ＿ｍｉｎ［７：０］をｄ０とした場合において、ＭＰ［７：０］をｄ２５５とすると、ＢＳＬＶは｛（ＢＳＬＶ＿ｍａｘ）−（ＢＳＬＶ＿ｍｉｎ）｝のおよそ１倍（ｄ２５５）となる。ＭＰ［７：０］をｄ６４とすると、ＢＳＬＶは｛（ＢＳＬＶ＿ｍａｘ）−（ＢＳＬＶ＿ｍｉｎ）｝の１／４倍（ｄ６４）となる。黒キズ判定レベル設定部２４は、ＭＰ［７：０］がｄ２５５より小さい場合、｛（ＢＳＬＶ＿ｍａｘ）−（ＢＳＬＶ＿ｍｉｎ）｝より小さいＢＳＬＶを算出する。
【００６３】
キズ補正回路１１は、黒キズ判定レベル設定部２４におけるＢＳＬＶの算出にＭＰを使用することで、白キズ判定の場合と同様に、キズ補正の効果を撮影状況に連動させることが可能となる。例えば、アナログゲイン３７が大きいほど、ＭＰは小さい値となり、黒キズ判定レベル設定部２４で算出されるＢＳＬＶも小さい値となる。キズ補正回路１１は、低照度環境下にてアナログゲイン３７を大きくするほど、より厳格な黒キズ判定の実施により、キズ補正の効果を強めることが可能となる。
【００６４】
黒キズ判定レベル設定部２４は、以上のようにして算出されたＢＳＬＶ及びＢＳＬＶ＿ｎｅｗのうちの一方を、黒キズ判定レベル選択コマンド５１に応じて選択し、黒キズ判定レベル３２として出力する。黒キズ判定レベル選択コマンド５１は、例えば、黒キズ判定コマンド３９に含まれているものとする。
【００６５】
黒キズ判定部２６は、対象画素の信号値Ｐ０、周辺画素の信号値Ｐ１及びＰ２、及び黒キズ判定レベル３２が入力され、対象画素が黒キズであるか否かを判定する。黒キズ判定部２６は、黒キズ判定において、以下に説明する第１の判定方法及び第２の判定方法のいずれを採用するかを選択する。
【００６６】
第１の判定方法では、黒キズ判定部２６は、以下の式（７）を満足する場合に、対象画素が黒キズであると判定する。また、第２の判定方法では、黒キズ判定部２６は、以下の式（８）を満足する場合に、対象画素が黒キズであると判定する。なお、Ｂｍは、周辺画素の信号値Ｐ１〜Ｐ８のうち、黒キズ判定の比較対象として選定された信号値とする。比較対象Ｂｍの選定については後述する。
Ｂｍ＞Ｐ０ ・・・（７）
Ｂｍ−Ｐ０＞（黒キズ判定レベル３２） ・・・（８）
【００６７】
黒キズ判定部２６は、第１の判定方法における比較結果５４と、第２の判定方法における比較結果５５とのいずれかを、判定方法選択コマンド５３に応じて選択する。判定方法選択コマンド５３は、例えば、黒キズ判定コマンド３９に含まれているものとする。
【００６８】
黒キズ判定部２６は、比較対象Ｂｍとして、信号値Ｐ１及び信号値Ｐ２のいずれかを選択する。黒キズ判定部２６による比較対象Ｂｍの選択は、補正方法選択コマンド５２に従う。補正選択コマンド５２は、例えば、黒キズ判定コマンド３９に含まれているものとする。
【００６９】
黒キズ判定部２６は、一画素のキズに対応可能とする補正方法選択コマンド５２が設定されている場合、比較対象Ｂｍとして信号値Ｐ１を選択する。黒キズ判定部２６は、二画素のキズに対応可能とする補正方法選択コマンド５２が設定されている場合、比較対象Ｂｍとして信号値Ｐ２を選択する。
【００７０】
黒キズ判定部２６は、比較対象Ｂｍとして信号値Ｐ２を選択する場合、対象画素と、信号値Ｐ１の周辺画素との二画素が黒キズである場合における誤判定を抑制可能とし、黒キズの残存を低減させることが可能となる。
【００７１】
置換画素選択部２７は、黒キズ置換信号値３６として、信号値Ｐ１及びＰ２のいずれかを選択し、出力する。黒キズ判定部２６において比較対象Ｂｍとして信号値Ｐ１を選択している場合、置換画素選択部２７は、黒キズ置換信号値３６として信号値Ｐ１を選択する。黒キズ判定部２６において比較対象Ｂｍとして信号値Ｐ２を選択している場合、置換画素選択部２７は、黒キズ置換信号値３６として信号値Ｐ２を選択する。
【００７２】
黒キズ判定部２６は、対象画素が黒キズであると判定した場合、黒キズフラグ３４をＯＮとする。出力画素選択部２８は、黒キズフラグ３４がＯＮである場合、対象画素に適用する信号値として、黒キズ置換信号値３６を選択する。
【００７３】
黒キズ判定部２６は、対象画素が黒キズではないと判定した場合、黒キズフラグ３４をＯＦＦとする。出力画素選択部２８は、黒キズフラグ３４及び白キズフラグ３３がいずれもＯＦＦである場合、対象画素に適用する信号値として、元の信号値Ｐ０を選択する。なお、置換画素選択部２７は、黒キズ置換信号値３６として信号値Ｐ１、Ｐ２以外の信号値、例えば、信号値Ｐ３、Ｐ４等を選択することとしても良い。
【００７４】
上述のように、黒キズ判定レベル設定部２４は、式（５）によるＢＳＬＶ＿ｎｅｗの算出において、信号レベルが第６番目の周辺画素と第２番目の周辺画素とを参照対象としている。黒キズ判定レベル設定部２４は、かかる参照対象からは、信号レベルが最小である第１番目の周辺画素と信号レベルが最大である第８番目の周辺画素とを除外している。
【００７５】
黒キズ判定レベル設定部２４は、黒キズである可能性がある第１番目の周辺画素と白キズである可能性がある第８番目の周辺画素とを除外することで、二画素キズである場合に、ＢＳＬＶ＿ｎｅｗへキズの影響が及ぶことを防止する。これにより、黒キズ判定部２６は、キズの影響による不正確なキズ判定を低減させることができる。
【００７６】
このように、キズ補正回路１１は、第１の参照画素の信号値と第２の参照画素の信号値との差分を使用してキズ判定レベルを算出することで、絵柄に応じてキズ補正効果を動的に変化させる。また、キズ補正回路１１は、キズである可能性のある周辺画素を除外して第１の参照画素及び第２の参照画素を設定することで、一画素キズ及び二画素キズへの対応によりキズ補正がなされる画素の数を維持しながら、解像度の低下と誤補正による画質の劣化を抑えることが可能となる。
【００７７】
キズ補正回路１１は、白キズ判定レベル設定部２３における第１の白キズ用参照画素を、信号レベルが第７番目の周辺画素としているのに対し、黒キズ判定レベル設定部２４における第１の黒キズ用参照画素を、信号レベルが第６番目の周辺画素としている。また、キズ補正回路１１は、白キズ判定レベル設定部２３における第２の白キズ用参照画素を、信号レベルが第３番目の周辺画素としているのに対し、黒キズ判定レベル設定部２４における第２の黒キズ用参照画素を、信号レベルが第２番目の周辺画素としている。
【００７８】
キズ補正回路１１は、第１及び第２の白キズ用参照画素を高輝度側、第１及び第２の黒キズ用参照画素を低輝度側、と異ならせることで、白キズ判定に適した白キズ判定レベル３１と、黒キズ判定に適した黒キズ判定レベル３２とをそれぞれ算出することが可能となる。
【００７９】
白キズ判定レベル設定部２３は、第１の白キズ用参照画素とする信号レベル順位ｍと第２の白キズ用参照画素とする信号レベル順位ｎとの差ｍ−ｎ（この例ではｍ−ｎ＝４）をできるだけ大きくすることで、絵柄の輝度分布状態を白キズ判定レベル３１に反映させることができる。
【００８０】
なお、白キズ判定レベル設定部２３における第１の白キズ用参照対象は、信号レベルが第７番目の周辺画素、第２の白キズ用参照対象は信号レベルが第３番目の周辺画素である場合に限られず、適宜変更しても良い。例えば、第２の白キズ用参照対象としては、信号レベルが第４番目の周辺画素、或いは第５番目の周辺画素を採用しても良い。
【００８１】
黒キズ判定レベル設定部２４は、第１の黒キズ用参照画素とする信号レベル順位ｍと第２の黒キズ用参照画素とする信号レベル順位ｎとの差ｍ−ｎ（この例ではｍ−ｎ＝４）をできるだけ大きくすることで、絵柄の輝度分布状態を黒キズ判定レベル３２に反映させることができる。
【００８２】
なお、黒キズ判定レベル設定部２４における第１の黒キズ用参照対象は、信号レベルが第６番目の周辺画素、第２の黒キズ用参照対象は信号レベルが第２番目の周辺画素である場合に限られず、適宜変更しても良い。例えば、第１の黒キズ用参照対象としては、信号レベルが第５番目の周辺画素、或いは第４番目の周辺画素を採用しても良い。
【００８３】
１個の対象画素に対する周辺画素の数が８個以外である場合も、白キズ判定レベル設定部２３及び黒キズ判定レベル設定部２４は、複数の周辺画素のうち信号値が最大である画素と信号値が最小である画素とを参照対象から除外することで、キズの影響による不正確なキズ判定を低減させる効果を得ることができる。キズ補正回路１１は、白キズ補正及び黒キズ補正の双方を実施するものである場合に限られず、白キズ補正及び黒キズ補正のうちの少なくとも一方を実施するものであれば良いものとする。
【００８４】
実施形態にかかる画像処理装置は、デジタルカメラ以外の電子機器、例えばカメラ付き携帯電話等に適用しても良い。
【００８５】
本発明の実施形態を説明したが、この実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。この新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。この実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【符号の説明】
【００８６】
７ ＤＳＰ、１１ キズ補正回路、２１ 周辺画素抽出部、２２ 並べ替え部、２３ 白キズ判定レベル設定部、２４ 黒キズ判定レベル設定部、２５ 白キズ判定部、２６ 黒キズ判定部、３１ 白キズ判定レベル、３２ 黒キズ判定レベル。
【技術分野】
【０００１】
本発明の実施形態は、画像処理装置に関する。
【背景技術】
【０００２】
近年、固体撮像装置は、高画素化による画素の微細化が進行している。このような状況下において、固体撮像装置は、正常に機能していない画素によるデジタル画像信号の欠損部分（以下、適宜「キズ」と称する）の発生が問題視されるようになっている。固体撮像装置の製造時の欠陥検査において規定より多くの画素欠陥が認められた場合は不良品として扱われることになるが、規定が厳格であるほど、固体撮像装置の歩留まりを低下させ製造コストを増加させることとなる。そこで、従来、固体撮像装置は、キズ補正回路における信号処理によってキズを目立たなくする手法が積極的に採用されている。
【０００３】
キズ補正回路は、キズ補正の対象とする対象画素と、対象画素の周辺に位置する周辺画素とで信号レベルを比較することで、対象画素がキズであるか否かを判別する。従来、対象画素及び複数の周辺画素のうち、対象画素がキズである場合のみならず、対象画素と周辺画素の一つとがキズである、いわゆる二画素キズの場合にも対処可能とするキズ補正回路も知られている。キズ補正の効果を高めるためにキズ判定レベルを厳格にすることは、多くの画素に対するキズ補正が可能となる一方、誤補正による解像度低下を生じさせ易くすることになる。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００４−１３４９４１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
本発明の一つの実施形態は、適切なキズ補正により高品質な画像を得ることを可能とする画像処理装置を提供することを目的とする。
【課題を解決するための手段】
【０００６】
本発明の一つの実施形態によれば、画像処理装置は、キズ補正部を有する。キズ補正部は、対象画素についてキズ補正を実施する。キズ補正部は、周辺画素抽出部、並べ替え部、キズ判定部及びキズ判定レベル設定部を有する。周辺画素抽出部は、複数の周辺画素の信号値を抽出する。周辺画素は、対象画素と同色用の画素であって対象画素の周辺に位置する。並べ替え部は、周辺画素抽出部で抽出された信号値を信号レベルの順に並べ替えて出力する。キズ判定部は、複数の周辺画素の信号値のうちのいずれかと、対象画素の信号値との比較により、対象画素のキズ判定を実施する。キズ判定レベル設定部は、キズ判定レベルを設定する。キズ判定レベルは、キズ判定部におけるキズ判定の基準とする。キズ判定レベル設定部は、信号レベルの順に応じて、複数の周辺画素から第１の参照画素及び第２の参照画素を特定する。キズ判定レベル設定部は、第１の参照画素の信号値と第２の参照画素の信号値の差分とに応じてキズ判定レベルを可変とする。
【図面の簡単な説明】
【０００７】
【図１】実施形態の画像処理装置を適用したデジタルカメラの構成を示すブロック図。
【図２】キズ補正回路の構成を示すブロック図。
【図３】対象画素及び周辺画素を説明する図。
【図４】並べ替え部における信号値の並べ替えの例を示す概念図。
【図５】白キズ判定レベル設定部における白キズ判定レベルの設定から、出力画素選択部における信号値の選択までの手順を説明する図。
【図６】信号値のレベルと白キズ判定レベルとの関係を説明する図。
【図７】信号値のレベルと白キズ判定レベルとの関係を説明する図。
【図８】黒キズ判定レベル設定部における黒キズ判定レベルの設定から、出力画素選択部における信号値の選択までの手順を説明する図。
【発明を実施するための形態】
【０００８】
以下に添付図面を参照して、実施形態にかかる画像処理装置を詳細に説明する。なお、この実施形態により本発明が限定されるものではない。
【０００９】
（実施形態）
図１は、実施形態の画像処理装置を適用したデジタルカメラの構成を示すブロック図である。デジタルカメラ１は、固体撮像装置２、記憶部３及び表示部４を有する。固体撮像装置２は、被写体像を撮像する。記憶部３は、固体撮像装置２により撮影された画像を格納する。表示部４は、固体撮像装置２により撮影された画像を表示する。表示部４は、例えば、液晶ディスプレイである。
【００１０】
固体撮像装置２は、被写体像の撮像により、記憶部３及び表示部４へ画像信号を出力する。記憶部３は、ユーザの操作等に応じて、表示部４へ画像信号を出力する。表示部４は、固体撮像装置２あるいは記憶部３から入力される画像信号に応じて、画像を表示する。
【００１１】
固体撮像装置２は、レンズユニット５、ＣＭＯＳ（complementary metal oxide semiconductor）センサ６及びデジタルシグナルプロセッサ（digital signal processor；ＤＳＰ）７を有する。
【００１２】
レンズユニット５は、被写体からの光を取り込み、ＣＭＯＳセンサ６にて被写体像を結像させる。ＣＭＯＳセンサ６は、レンズユニット５により取り込まれた光を信号電荷に変換し、被写体像を撮像する。ＣＭＯＳセンサ６は、赤（Ｒ）、緑（Ｇ）、青（Ｂ）の信号値をベイヤー配列に対応する順序で取り込むことにより、画像信号を生成する。
【００１３】
画像処理装置であるＤＳＰ７は、ＣＭＯＳセンサ６からの画像信号に対して、種々の画像処理を施す。ＤＳＰ７は、後述するキズ補正回路の他、例えば、画像信号の黒レベルを調整するためのオプティカルブラック（ＯＢ）クランプ回路や、画像信号のホワイトバランスを調整するためのホワイトバランス調整回路等を備える。
【００１４】
図２は、キズ補正回路の構成を示すブロック図である。ラインメモリ１０及びキズ補正回路１１は、ＤＳＰ７に設けられている。ラインメモリ１０は、画像信号を一時的に貯え、５ライン（０Ｈ〜４Ｈ）の画像信号を出力する。キズ補正回路（キズ補正部）１１は、対象画素についてキズ補正を実施する。
【００１５】
図３は、対象画素及び周辺画素を説明する図である。ベイヤー配列は、Ｇｒ、Ｒ、Ｇｂ、Ｂの４画素を単位として構成されている。画像信号は、ラインごと（Ｇｒ／Ｒライン、Ｇｂ／Ｂライン）の信号としてキズ補正回路１１へ入力される。
【００１６】
キズ補正回路１１は、垂直方向に５ライン（０Ｈ〜４Ｈ）、水平方向に５画素のマトリクスをなす２５画素のうち中心の画素を、対象画素と設定する。周辺画素は、マトリクスのうち、対象画素と同色用の画素であって、対象画素の周辺に位置する。マトリクスには、１個の対象画素と８個の周辺画素とが含まれる。図示する例では、Ｒ用画素であるＲ２２が対象画素であって、８個のＲ用画素Ｒ００、Ｒ０２、Ｒ０４、Ｒ２０、Ｒ２４、Ｒ４０、Ｒ４２、Ｒ４４が周辺画素である。
【００１７】
キズ補正回路１１は、周辺画素抽出部２１、並べ替え部２２、白キズ判定レベル設定部２３、黒キズ判定レベル設定部２４、白キズ判定部２５、黒キズ判定部２６、置換画素選択部２７及び出力画素選択部２８を備える。
【００１８】
周辺画素抽出部２１は、シフトレジスタを使用することにより、５ライン（０Ｈ〜４Ｈ）の画像信号から８個の周辺画素の信号値を抽出し、同時化させる。並べ替え部２２は、周辺画素抽出部２１で抽出された信号値を信号レベルの順に並べ替える。
【００１９】
図４は、並べ替え部における信号値の並べ替えの例を示す概念図である。並べ替え部２２は、８個の周辺画素の信号値を信号レベルの順に並べ替えて出力する。
【００２０】
例えば、図３に示す周辺画素について、信号レベルが小さいほうからＲ４４、Ｒ４２、Ｒ２４、Ｒ０４、Ｒ４０、Ｒ００、Ｒ０２、Ｒ２０の順であったとする。並べ替え部２２は、信号レベルの昇順に、各周辺画素の信号値を第１番目（Ｐ１）から第８番目（Ｐ８）まで並べ替えて出力する。第１番目の信号値Ｐ１は、各周辺画素の信号値の最小値である。第８番目の信号値Ｐ８は、各周辺画素の信号値の最大値である。
【００２１】
白キズ判定部２５は、対象画素の白キズ判定を実施し、白キズフラグ３３を出力する。白キズは、画素が正常に機能する場合に比べて高い輝度が検出されるようなキズとする。白キズ判定レベル設定部２３は、白キズ判定部２５における白キズ判定の基準とする白キズ判定レベル３１を設定する。
【００２２】
黒キズ判定部２６は、対象画素の黒キズ判定を実施し、黒キズフラグ３４を出力する。黒キズは、画素が正常に機能する場合に比べて低い輝度が検出されるようなキズとする。黒キズ判定レベル設定部２４は、黒キズ判定部２６における黒キズ判定の基準とする黒キズ判定レベル３２を設定する。
【００２３】
置換画素選択部２７は、白キズ置き換え信号値３５と黒キズ置き換え信号値３６とを、各周辺画素の信号値Ｐ１〜Ｐ８の中から選択し、出力する。白キズ置き換え信号値３５は、対象画素が白キズであると白キズ判定部２５が判定した場合に対象画素に置き換える信号値とする。黒キズ置換信号値３６は、対象画素が黒キズであると黒キズ判定部２６が判定した場合に対象画素に置き換える信号値とする。
【００２４】
出力画素選択部２８は、白キズ判定部２５からの白キズフラグ３３及び黒キズ判定部２６からの黒キズフラグ３４に従って、対象画素に適用する信号値を、ラインメモリ１０から読み出した信号値Ｐ０、白キズ置換信号値３５及び黒キズ置換信号値３６の中から選択する。信号値Ｐ０は、キズ補正前の対象画素の信号値とする。出力画素選択部２８は、キズ補正の対象外とする対象画素には、元の信号値Ｐ０をそのまま適用する。キズ補正回路１１は、出力画素選択部２８で選択された信号値を出力信号２９とする。
【００２５】
ここで、キズ補正回路１１による白キズの補正について説明する。図５は、白キズ判定レベル設定部における白キズ判定レベルの設定から、出力画素選択部における信号値の選択までの手順を説明する図である。白キズ判定レベル設定部２３は、信号レベル差分Ｐ７−Ｐ３に応じた白キズ判定レベル３１を算出可能とする。
【００２６】
信号値Ｐ７の周辺画素は、８個の周辺画素のうち、並べ替え部２２において信号レベルが第７番目とされた第１の白キズ用参照画素である。信号値Ｐ３の周辺画素は、８個の周辺画素のうち、並べ替え部２２において信号レベルが第３番目とされた第２の白キズ用参照画素である。白キズ判定レベル設定部２３は、第１の白キズ用参照画素とする信号レベル順位ｍ（この例ではｍ＝７）と、第２の白キズ用参照画素とする信号レベル順位ｎ（この例ではｎ＝３）とが予め設定されている。ｍ、ｎは、マトリクスに含まれる周辺画素の個数（この例では８）以下の自然数であって、ｍ＞ｎとする。白キズ判定レベル設定部２３は、信号レベルの順に応じて、複数の周辺画素から第１の白キズ用参照画素及び第２の白キズ用参照画素を特定する。
【００２７】
白キズ判定レベル設定部２３は、第１白キズ判定レベル（ＷＳＬＶ）及び第２白キズ判定レベル（ＷＳＬＶ＿ｎｅｗ）のうちの一方を選択し、白キズ判定レベル３１として出力する。白キズ判定レベル設定部２３は、例えば、以下の式（１）により、ＷＳＬＶ＿ｎｅｗを算出する。
ＷＳＬＶ＿ｎｅｗ＝（Ｐ７−Ｐ３）×ＷＳＬＶ［７：０］／６４ ・・・（１）
【００２８】
白キズ判定レベル設定部２３は、ＷＳＬＶ＿ｎｅｗの算出に信号レベル差分Ｐ７−Ｐ３を使用することで、画像の輝度分布に応じてＷＳＬＶ＿ｎｅｗを動的に変化させる。また、白キズ判定レベル設定部２３は、信号レベル差分Ｐ７−Ｐ３にＷＳＬＶ［７：０］を係数として乗算することで、ＷＳＬＶ［７：０］に応じてＷＳＬＶ＿ｎｅｗを調整可能とする。
【００２９】
ＷＳＬＶ［７：０］をｄ６４とした場合、ＷＳＬＶ［７：０］／６４＝１となり、ＷＳＬＶ＿ｎｅｗは（Ｐ７−Ｐ３）の１倍となる。ＷＳＬＶ［７：０］をｄ２５５とした場合、ＷＳＬＶ［７：０］／６４≒４であるため、ＷＳＬＶ＿ｎｅｗは（Ｐ７−Ｐ３）のおよそ４倍となる。ＷＳＬＶ［７：０］をｄ３２とした場合、ＷＳＬＶ［７：０］／６４＝１／２となり、ＷＳＬＶ＿ｎｅｗは（Ｐ７−Ｐ３）の１／２倍となる。
【００３０】
白キズ判定レベル設定部２３は、ＷＳＬＶ［７：０］がｄ６４より大きい場合、（Ｐ７−Ｐ３）より大きいＷＳＬＶ＿ｎｅｗを算出する。また、白キズ判定レベル設定部２３は、ＷＳＬＶ［７：０］がｄ６４より小さい場合、（Ｐ７−Ｐ３）より小さいＷＳＬＶ＿ｎｅｗを算出する。
【００３１】
白キズ判定レベル設定部２３は、周辺画素の信号値Ｐ１〜Ｐ８のうち、最小値Ｐ１及び最大値Ｐ８以外の信号値同士の差分（Ｐ７−Ｐ３）をＷＳＬＶ＿ｎｅｗの算出に使用する。二画素キズの場合は、最小値Ｐ１の周辺画素と最大値Ｐ８の周辺画素との少なくともいずれかがキズである可能性があることとなる。このため、白キズ判定レベル設定部２３は、最小値Ｐ１及び最大値Ｐ８以外の信号値同士の差分（Ｐ７−Ｐ３）の採用により、キズである可能性がある周辺画素を除外して、ＷＳＬＶ＿ｎｅｗを算出することが可能となる。
【００３２】
図６及び図７は、信号値のレベルと白キズ判定レベルとの関係を説明する図である。図６及び図７のいずれも、横軸は信号レベルを表すものとする。図６は、信号レベル差分Ｐ７−Ｐ３が小さく、信号レベルの変化が平坦な部分における白キズ判定の場合を示している。信号レベル差分Ｐ７−Ｐ３が小さいほど、白キズ判定レベル設定部２３で算出されるＷＳＬＶ＿ｎｅｗは小さい値となる。小さい値の白キズ判定レベル３１を採用するほど、白キズ判定部２５における白キズ判定の基準が厳格になることで、キズ補正回路１１は、キズ補正の効果を高めることとなる。これにより、キズ補正回路１１は、誤補正の可能性の低い平坦部分において効果的なキズ補正が可能となる。
【００３３】
図７は、信号レベル差分Ｐ７−Ｐ３が大きく、信号レベルの変化が急峻なエッジ部分における白キズ判定の場合を示している。信号レベル差分Ｐ７−Ｐ３が大きいほど、白キズ判定レベル設定部２３で算出されるＷＳＬＶ＿ｎｅｗは大きい値となる。大きい値の白キズ判定レベル３１を採用するほど、白キズ判定部２５における白キズ判定の基準が緩和されることで、キズ補正回路１１は、キズ補正の効果を抑制させる。これにより、キズ補正回路１１は、誤補正が生じ易いエッジ部分でのキズ補正を抑制させ、解像度の低下を抑制させることが可能となる。
【００３４】
白キズ判定レベル設定部２３は、白キズ判定コマンド３８において予め設定された固定値に所定の係数ＭＰを乗算することにより、ＷＳＬＶを算出する。白キズ判定レベル設定部２３は、例えば、以下の式（２）により、ＷＳＬＶを算出する。
ＷＳＬＶ［７：０］＝｛｛（ＷＳＬＶ＿ｍａｘ［７：０］）−（ＷＳＬＶ＿ｍｉｎ［７：０］）｝×ＭＰ［７：０］／２５６｝＋ＷＳＬＶ＿ｍｉｎ［７：０］ ・・・（２）
【００３５】
式（２）において、ＷＳＬＶ＿ｍａｘはＷＳＬＶの最大値、ＷＳＬＶ＿ｍｉｎはＷＳＬＶの最小値とする。ＷＳＬＶ＿ｍａｘ及びＷＳＬＶ＿ｍｉｎは、白キズ判定コマンド３８に設定されている。ＭＰは、例えば、被写体像の撮像におけるアナログゲイン３７に連動する係数とする。アナログゲイン３７が大きいほど、ＭＰは小さい値とする。
【００３６】
ＷＳＬＶ＿ｍａｘ［７：０］をｄ２５５、ＷＳＬＶ＿ｍｉｎ［７：０］をｄ０とした場合において、ＭＰ［７：０］をｄ２５５とすると、ＷＳＬＶは｛（ＷＳＬＶ＿ｍａｘ）−（ＷＳＬＶ＿ｍｉｎ）｝のおよそ１倍（ｄ２５５）となる。ＭＰ［７：０］をｄ６４とすると、ＷＳＬＶは｛（ＷＳＬＶ＿ｍａｘ）−（ＷＳＬＶ＿ｍｉｎ）｝の１／４倍（ｄ６４）となる。白キズ判定レベル設定部２３は、ＭＰ［７：０］がｄ２５５より小さい場合、｛（ＷＳＬＶ＿ｍａｘ）−（ＷＳＬＶ＿ｍｉｎ）｝より小さいＷＳＬＶを算出する。
【００３７】
キズ補正回路１１は、白キズ判定レベル設定部２３におけるＷＳＬＶの算出にＭＰを使用することで、キズ補正の効果を撮影状況に連動させることが可能となる。例えば、アナログゲイン３７が大きいほど、ＭＰは小さい値となり、白キズ判定レベル設定部２３で算出されるＷＳＬＶも小さい値となる。キズ補正回路１１は、低照度環境下にてアナログゲイン３７を大きくするほど、より厳格な白キズ判定の実施により、キズ補正の効果を強めることが可能となる。
【００３８】
ＭＰは、アナログゲイン３７に連動する係数である場合に限られず、例えば、ＣＭＯＳセンサ６の温度、ＣＭＯＳセンサ６における光量の蓄積時間等に連動する係数であっても良い。ＣＭＯＳセンサ６の温度が高いほど、ＭＰは小さい値とする。また、ＣＭＯＳセンサ６における光量の蓄積時間が長いほど、ＭＰは小さい値とする。
【００３９】
白キズ判定レベル設定部２３は、以上のようにして算出されたＷＳＬＶ及びＷＳＬＶ＿ｎｅｗのうちの一方を、白キズ判定レベル選択コマンド４１に応じて選択し、白キズ判定レベル３１として出力する。白キズ判定レベル選択コマンド４１は、例えば、白キズ判定コマンド３８に含まれているものとする。
【００４０】
白キズ判定部２５は、対象画素の信号値Ｐ０、周辺画素の信号値Ｐ８及びＰ７、及び白キズ判定レベル３１が入力され、対象画素が白キズであるか否かを判定する。白キズ判定部２５は、白キズ判定において、以下に説明する第１の判定方法及び第２の判定方法のいずれを採用するかを選択する。
【００４１】
第１の判定方法では、白キズ判定部２５は、以下の式（３）を満足する場合に、対象画素が白キズであると判定する。また、第２の判定方法では、白キズ判定部２５は、以下の式（４）を満足する場合に、対象画素が白キズであると判定する。なお、Ｗｍは、周辺画素の信号値Ｐ１〜Ｐ８のうち、白キズ判定の比較対象として選定された信号値とする。比較対象Ｗｍの選定については後述する。
Ｐ０＞Ｗｍ ・・・（３）
Ｐ０−Ｗｍ＞（白キズ判定レベル３１） ・・・（４）
【００４２】
白キズ判定部２５は、第１の判定方法における比較結果４４と、第２の判定方法における比較結果４５とのいずれかを、判定方法選択コマンド４３に応じて選択する。判定方法選択コマンド４３は、例えば、白キズ判定コマンド３８に含まれているものとする。
【００４３】
白キズ判定部２５は、比較対象Ｗｍとして、信号値Ｐ８及び信号値Ｐ７のいずれかを選択する。白キズ判定部２５による比較対象Ｗｍの選択は、補正方法選択コマンド４２に従う。補正選択コマンド４２は、例えば、白キズ判定コマンド３８に含まれているものとする。
【００４４】
白キズ判定部２５は、一画素のキズに対応可能とする補正方法選択コマンド４２が設定されている場合、比較対象Ｗｍとして信号値Ｐ８を選択する。白キズ判定部２５は、二画素のキズに対応可能とする補正方法選択コマンド４２が設定されている場合、比較対象Ｗｍとして信号値Ｐ７を選択する。
【００４５】
対象画素と、信号値Ｐ８の周辺画素とが白キズである場合、Ｐ０とＰ８とが近い値となることで、対象画素の白キズ判定がなされない場合が生じ得る。白キズ判定部２５は、比較対象Ｗｍとして信号値Ｐ７を選択する場合、対象画素と、信号値Ｐ８の周辺画素との二画素が白キズである場合における誤判定を抑制可能とし、白キズの残存を低減させることが可能となる。
【００４６】
置換画素選択部２７は、白キズ置換信号値３５として、信号値Ｐ８及びＰ７のいずれかを選択し、出力する。白キズ判定部２５において比較対象Ｗｍとして信号値Ｐ８を選択している場合、置換画素選択部２７は、白キズ置換信号値３５として信号値Ｐ８を選択する。白キズ判定部２５において比較対象Ｗｍとして信号値Ｐ７を選択している場合、置換画素選択部２７は、白キズ置換信号値３５として信号値Ｐ７を選択する。
【００４７】
白キズ判定部２５は、対象画素が白キズであると判定した場合、白キズフラグ３３をＯＮとする。出力画素選択部２８は、白キズフラグ３３がＯＮである場合、対象画素に適用する信号値として、白キズ置換信号値３５を選択する。
【００４８】
白キズ判定部２５は、対象画素が白キズではないと判定した場合、白キズフラグ３３をＯＦＦとする。出力画素選択部２８は、白キズフラグ３３と後述する黒キズフラグ３４とがいずれもＯＦＦである場合、対象画素に適用する信号値として、元の信号値Ｐ０を選択する。なお、置換画素選択部３５は、白キズ置換信号値３５として信号値Ｐ８、Ｐ７以外の信号値、例えば、信号値Ｐ６、Ｐ５等を選択することとしても良い。
【００４９】
上述のように、白キズ判定レベル設定部２３は、式（１）によるＷＳＬＶ＿ｎｅｗの算出において、信号レベルが第７番目の周辺画素と第３番目の周辺画素とを参照対象としている。白キズ判定レベル設定部２３は、かかる参照対象からは、信号レベルが最大である第８番目の周辺画素と信号レベルが最小である第１番目の周辺画素とを除外している。
【００５０】
白キズ判定レベル設定部２３は、白キズである可能性がある第８番目の周辺画素と黒キズである可能性がある第１番目の周辺画素とを除外することで、二画素キズである場合に、ＷＳＬＶ＿ｎｅｗへキズの影響が及ぶことを防止する。これにより、白キズ判定部２５は、キズの影響による不正確なキズ判定を低減させることができる。
【００５１】
次に、キズ補正回路１１による黒キズの補正について説明する。図８は、黒キズ判定レベル設定部における黒キズ判定レベルの設定から、出力画素選択部における信号値の選択までの手順を説明する図である。黒キズ判定レベル設定部２４は、信号レベル差分Ｐ６−Ｐ２に応じた黒キズ判定レベル３２を算出可能とする。
【００５２】
信号値Ｐ６の周辺画素は、８個の周辺画素のうち、並べ替え部２２において信号レベルが第６番目とされた第１の黒キズ用参照画素である。信号値Ｐ２の周辺画素は、８個の周辺画素のうち、並べ替え部２２において信号レベルが第２番目とされた第２の黒キズ用参照画素である。黒キズ判定レベル設定部２４は、第１の黒キズ用参照画素とする信号レベル順位ｍ（この例ではｍ＝６）と、第２の黒キズ用参照画素とする信号レベル順位ｎ（この例ではｎ＝２）とが予め設定されている。ｍ、ｎは、マトリクスに含まれる周辺画素の個数（この例では８）以下の自然数であって、ｍ＞ｎとする。黒キズ判定レベル設定部２４は、信号レベルの順に応じて、複数の周辺画素から第１の黒キズ用参照画素及び第２の黒キズ用参照画素を特定する。
【００５３】
黒キズ判定レベル設定部２４は、第１黒キズ判定レベル（ＢＳＬＶ）及び第２黒キズ判定レベル（ＢＳＬＶ＿ｎｅｗ）のうちの一方を選択し、黒キズ判定レベル３２として出力する。黒キズ判定レベル設定部２４は、例えば、以下の式（５）により、ＢＳＬＶ＿ｎｅｗを算出する。
ＢＳＬＶ＿ｎｅｗ＝（Ｐ６−Ｐ２）×ＢＳＬＶ［７：０］／６４ ・・・（５）
【００５４】
黒キズ判定レベル設定部２４は、ＢＳＬＶ＿ｎｅｗの算出に信号レベル差分Ｐ６−Ｐ２を使用することで、画像の輝度分布に応じてＢＳＬＶ＿ｎｅｗを動的に変化させる。また、黒キズ判定レベル設定部２４は、信号レベル差分Ｐ６−Ｐ２にＢＳＬＶ［７：０］を係数として乗算することで、ＢＳＬＶ［７：０］に応じてＢＳＬＶ＿ｎｅｗを調整可能とする。
【００５５】
ＢＳＬＶ［７：０］をｄ６４とした場合、ＢＳＬＶ［７：０］／６４＝１となり、ＢＳＬＶ＿ｎｅｗは（Ｐ６−Ｐ２）の１倍となる。ＢＳＬＶ［７：０］をｄ２５５とした場合、ＢＳＬＶ［７：０］／６４≒４であるため、ＢＳＬＶ＿ｎｅｗは（Ｐ６−Ｐ２）のおよそ４倍となる。ＢＳＬＶ［７：０］をｄ３２とした場合、ＢＳＬＶ［７：０］／６４＝１／２となり、ＢＳＬＶ＿ｎｅｗは（Ｐ６−Ｐ２）の１／２倍となる。
【００５６】
黒キズ判定レベル設定部２４は、ＢＳＬＶ［７：０］がｄ６４より大きい場合、（Ｐ６−Ｐ２）より大きいＢＳＬＶ＿ｎｅｗを算出する。また、黒キズ判定レベル設定部２４は、ＢＳＬＶ［７：０］がｄ６４より小さい場合、（Ｐ６−Ｐ２）より小さいＢＳＬＶ＿ｎｅｗを算出する。
【００５７】
黒キズ判定レベル設定部２４は、周辺画素の信号値Ｐ１〜Ｐ８のうち、最小値Ｐ１及び最大値Ｐ８以外の信号値同士の差分（Ｐ６−Ｐ２）をＢＳＬＶ＿ｎｅｗの算出に使用する。二画素キズの場合は、最小値Ｐ１の周辺画素と最大値Ｐ８の周辺画素との少なくともいずれかがキズである可能性があることとなる。このため、黒キズ判定レベル設定部２４は、最小値Ｐ１及び最大値Ｐ８以外の信号値同士の差分（Ｐ６−Ｐ２）の採用により、キズである可能性がある周辺画素を除外して、ＢＳＬＶ＿ｎｅｗを算出することが可能となる。
【００５８】
例えば、信号レベルの変化が平坦な部分における黒キズ判定の場合、信号レベル差分Ｐ６−Ｐ２が小さい値となることで、黒キズ判定レベル設定部２４で算出されるＢＳＬＶ＿ｎｅｗは小さい値となる。小さい値の黒キズ判定レベル３２を採用するほど、黒キズ判定部２６における黒キズ判定の基準が厳格になることで、キズ補正回路１１は、キズ補正の効果を強めることが可能となる。これにより、キズ補正回路１１は、誤補正の可能性の低い平坦部分において効果的なキズ補正が可能となる。
【００５９】
信号レベルの変化が急峻なエッジ部分における黒キズ判定の場合、信号レベル差分Ｐ６−Ｐ２が大きい値となることで、黒キズ判定レベル設定部２４で算出されるＢＳＬＶ＿ｎｅｗは大きい値となる。大きい値の黒キズ判定レベル３２を採用するほど、黒キズ判定部２６における黒キズ判定の基準が緩和されることで、キズ補正回路１１は、キズ補正の効果を抑制させる。これにより、キズ補正回路１１は、誤補正が生じ易いエッジ部分でのキズ補正を抑制させ、解像度の低下を抑制させることが可能となる。
【００６０】
黒キズ判定レベル設定部２４は、黒キズ判定コマンド３９において予め設定された固定値に、白キズ判定の場合と同様に係数ＭＰを乗算することにより、ＢＳＬＶを算出する。黒キズ判定レベル設定部２４は、例えば、以下の式（６）により、ＢＳＬＶを算出する。
ＢＳＬＶ［７：０］＝｛｛（ＢＳＬＶ＿ｍａｘ［７：０］）−（ＢＳＬＶ＿ｍｉｎ［７：０］）｝×ＭＰ［７：０］／２５６｝＋ＢＳＬＶ＿ｍｉｎ［７：０］ ・・・（６）
【００６１】
式（６）において、ＢＳＬＶ＿ｍａｘはＢＳＬＶの最大値、ＢＳＬＶ＿ｍｉｎはＢＳＬＶの最小値とする。ＢＳＬＶ＿ｍａｘ及びＢＳＬＶ＿ｍｉｎは、黒キズ判定コマンド３９に設定されている。
【００６２】
ＢＳＬＶ＿ｍａｘ［７：０］をｄ２５５、ＢＳＬＶ＿ｍｉｎ［７：０］をｄ０とした場合において、ＭＰ［７：０］をｄ２５５とすると、ＢＳＬＶは｛（ＢＳＬＶ＿ｍａｘ）−（ＢＳＬＶ＿ｍｉｎ）｝のおよそ１倍（ｄ２５５）となる。ＭＰ［７：０］をｄ６４とすると、ＢＳＬＶは｛（ＢＳＬＶ＿ｍａｘ）−（ＢＳＬＶ＿ｍｉｎ）｝の１／４倍（ｄ６４）となる。黒キズ判定レベル設定部２４は、ＭＰ［７：０］がｄ２５５より小さい場合、｛（ＢＳＬＶ＿ｍａｘ）−（ＢＳＬＶ＿ｍｉｎ）｝より小さいＢＳＬＶを算出する。
【００６３】
キズ補正回路１１は、黒キズ判定レベル設定部２４におけるＢＳＬＶの算出にＭＰを使用することで、白キズ判定の場合と同様に、キズ補正の効果を撮影状況に連動させることが可能となる。例えば、アナログゲイン３７が大きいほど、ＭＰは小さい値となり、黒キズ判定レベル設定部２４で算出されるＢＳＬＶも小さい値となる。キズ補正回路１１は、低照度環境下にてアナログゲイン３７を大きくするほど、より厳格な黒キズ判定の実施により、キズ補正の効果を強めることが可能となる。
【００６４】
黒キズ判定レベル設定部２４は、以上のようにして算出されたＢＳＬＶ及びＢＳＬＶ＿ｎｅｗのうちの一方を、黒キズ判定レベル選択コマンド５１に応じて選択し、黒キズ判定レベル３２として出力する。黒キズ判定レベル選択コマンド５１は、例えば、黒キズ判定コマンド３９に含まれているものとする。
【００６５】
黒キズ判定部２６は、対象画素の信号値Ｐ０、周辺画素の信号値Ｐ１及びＰ２、及び黒キズ判定レベル３２が入力され、対象画素が黒キズであるか否かを判定する。黒キズ判定部２６は、黒キズ判定において、以下に説明する第１の判定方法及び第２の判定方法のいずれを採用するかを選択する。
【００６６】
第１の判定方法では、黒キズ判定部２６は、以下の式（７）を満足する場合に、対象画素が黒キズであると判定する。また、第２の判定方法では、黒キズ判定部２６は、以下の式（８）を満足する場合に、対象画素が黒キズであると判定する。なお、Ｂｍは、周辺画素の信号値Ｐ１〜Ｐ８のうち、黒キズ判定の比較対象として選定された信号値とする。比較対象Ｂｍの選定については後述する。
Ｂｍ＞Ｐ０ ・・・（７）
Ｂｍ−Ｐ０＞（黒キズ判定レベル３２） ・・・（８）
【００６７】
黒キズ判定部２６は、第１の判定方法における比較結果５４と、第２の判定方法における比較結果５５とのいずれかを、判定方法選択コマンド５３に応じて選択する。判定方法選択コマンド５３は、例えば、黒キズ判定コマンド３９に含まれているものとする。
【００６８】
黒キズ判定部２６は、比較対象Ｂｍとして、信号値Ｐ１及び信号値Ｐ２のいずれかを選択する。黒キズ判定部２６による比較対象Ｂｍの選択は、補正方法選択コマンド５２に従う。補正選択コマンド５２は、例えば、黒キズ判定コマンド３９に含まれているものとする。
【００６９】
黒キズ判定部２６は、一画素のキズに対応可能とする補正方法選択コマンド５２が設定されている場合、比較対象Ｂｍとして信号値Ｐ１を選択する。黒キズ判定部２６は、二画素のキズに対応可能とする補正方法選択コマンド５２が設定されている場合、比較対象Ｂｍとして信号値Ｐ２を選択する。
【００７０】
黒キズ判定部２６は、比較対象Ｂｍとして信号値Ｐ２を選択する場合、対象画素と、信号値Ｐ１の周辺画素との二画素が黒キズである場合における誤判定を抑制可能とし、黒キズの残存を低減させることが可能となる。
【００７１】
置換画素選択部２７は、黒キズ置換信号値３６として、信号値Ｐ１及びＰ２のいずれかを選択し、出力する。黒キズ判定部２６において比較対象Ｂｍとして信号値Ｐ１を選択している場合、置換画素選択部２７は、黒キズ置換信号値３６として信号値Ｐ１を選択する。黒キズ判定部２６において比較対象Ｂｍとして信号値Ｐ２を選択している場合、置換画素選択部２７は、黒キズ置換信号値３６として信号値Ｐ２を選択する。
【００７２】
黒キズ判定部２６は、対象画素が黒キズであると判定した場合、黒キズフラグ３４をＯＮとする。出力画素選択部２８は、黒キズフラグ３４がＯＮである場合、対象画素に適用する信号値として、黒キズ置換信号値３６を選択する。
【００７３】
黒キズ判定部２６は、対象画素が黒キズではないと判定した場合、黒キズフラグ３４をＯＦＦとする。出力画素選択部２８は、黒キズフラグ３４及び白キズフラグ３３がいずれもＯＦＦである場合、対象画素に適用する信号値として、元の信号値Ｐ０を選択する。なお、置換画素選択部２７は、黒キズ置換信号値３６として信号値Ｐ１、Ｐ２以外の信号値、例えば、信号値Ｐ３、Ｐ４等を選択することとしても良い。
【００７４】
上述のように、黒キズ判定レベル設定部２４は、式（５）によるＢＳＬＶ＿ｎｅｗの算出において、信号レベルが第６番目の周辺画素と第２番目の周辺画素とを参照対象としている。黒キズ判定レベル設定部２４は、かかる参照対象からは、信号レベルが最小である第１番目の周辺画素と信号レベルが最大である第８番目の周辺画素とを除外している。
【００７５】
黒キズ判定レベル設定部２４は、黒キズである可能性がある第１番目の周辺画素と白キズである可能性がある第８番目の周辺画素とを除外することで、二画素キズである場合に、ＢＳＬＶ＿ｎｅｗへキズの影響が及ぶことを防止する。これにより、黒キズ判定部２６は、キズの影響による不正確なキズ判定を低減させることができる。
【００７６】
このように、キズ補正回路１１は、第１の参照画素の信号値と第２の参照画素の信号値との差分を使用してキズ判定レベルを算出することで、絵柄に応じてキズ補正効果を動的に変化させる。また、キズ補正回路１１は、キズである可能性のある周辺画素を除外して第１の参照画素及び第２の参照画素を設定することで、一画素キズ及び二画素キズへの対応によりキズ補正がなされる画素の数を維持しながら、解像度の低下と誤補正による画質の劣化を抑えることが可能となる。
【００７７】
キズ補正回路１１は、白キズ判定レベル設定部２３における第１の白キズ用参照画素を、信号レベルが第７番目の周辺画素としているのに対し、黒キズ判定レベル設定部２４における第１の黒キズ用参照画素を、信号レベルが第６番目の周辺画素としている。また、キズ補正回路１１は、白キズ判定レベル設定部２３における第２の白キズ用参照画素を、信号レベルが第３番目の周辺画素としているのに対し、黒キズ判定レベル設定部２４における第２の黒キズ用参照画素を、信号レベルが第２番目の周辺画素としている。
【００７８】
キズ補正回路１１は、第１及び第２の白キズ用参照画素を高輝度側、第１及び第２の黒キズ用参照画素を低輝度側、と異ならせることで、白キズ判定に適した白キズ判定レベル３１と、黒キズ判定に適した黒キズ判定レベル３２とをそれぞれ算出することが可能となる。
【００７９】
白キズ判定レベル設定部２３は、第１の白キズ用参照画素とする信号レベル順位ｍと第２の白キズ用参照画素とする信号レベル順位ｎとの差ｍ−ｎ（この例ではｍ−ｎ＝４）をできるだけ大きくすることで、絵柄の輝度分布状態を白キズ判定レベル３１に反映させることができる。
【００８０】
なお、白キズ判定レベル設定部２３における第１の白キズ用参照対象は、信号レベルが第７番目の周辺画素、第２の白キズ用参照対象は信号レベルが第３番目の周辺画素である場合に限られず、適宜変更しても良い。例えば、第２の白キズ用参照対象としては、信号レベルが第４番目の周辺画素、或いは第５番目の周辺画素を採用しても良い。
【００８１】
黒キズ判定レベル設定部２４は、第１の黒キズ用参照画素とする信号レベル順位ｍと第２の黒キズ用参照画素とする信号レベル順位ｎとの差ｍ−ｎ（この例ではｍ−ｎ＝４）をできるだけ大きくすることで、絵柄の輝度分布状態を黒キズ判定レベル３２に反映させることができる。
【００８２】
なお、黒キズ判定レベル設定部２４における第１の黒キズ用参照対象は、信号レベルが第６番目の周辺画素、第２の黒キズ用参照対象は信号レベルが第２番目の周辺画素である場合に限られず、適宜変更しても良い。例えば、第１の黒キズ用参照対象としては、信号レベルが第５番目の周辺画素、或いは第４番目の周辺画素を採用しても良い。
【００８３】
１個の対象画素に対する周辺画素の数が８個以外である場合も、白キズ判定レベル設定部２３及び黒キズ判定レベル設定部２４は、複数の周辺画素のうち信号値が最大である画素と信号値が最小である画素とを参照対象から除外することで、キズの影響による不正確なキズ判定を低減させる効果を得ることができる。キズ補正回路１１は、白キズ補正及び黒キズ補正の双方を実施するものである場合に限られず、白キズ補正及び黒キズ補正のうちの少なくとも一方を実施するものであれば良いものとする。
【００８４】
実施形態にかかる画像処理装置は、デジタルカメラ以外の電子機器、例えばカメラ付き携帯電話等に適用しても良い。
【００８５】
本発明の実施形態を説明したが、この実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。この新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。この実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【符号の説明】
【００８６】
７ ＤＳＰ、１１ キズ補正回路、２１ 周辺画素抽出部、２２ 並べ替え部、２３ 白キズ判定レベル設定部、２４ 黒キズ判定レベル設定部、２５ 白キズ判定部、２６ 黒キズ判定部、３１ 白キズ判定レベル、３２ 黒キズ判定レベル。
【特許請求の範囲】
【請求項１】
対象画素についてキズ補正を実施するキズ補正部を有し、
前記キズ補正部は、
前記対象画素と同色用の画素であって前記対象画素の周辺に位置する複数の周辺画素の信号値を抽出する周辺画素抽出部と、
前記周辺画素抽出部で抽出された前記信号値を信号レベルの順に並べ替えて出力する並べ替え部と、
前記複数の周辺画素の信号値のうちのいずれかと、前記対象画素の信号値との比較により、前記対象画素のキズ判定を実施するキズ判定部と、
前記キズ判定部における前記キズ判定の基準とするキズ判定レベルを設定するキズ判定レベル設定部と、を有し、
前記キズ判定レベル設定部は、前記信号レベルの順に応じて、前記複数の周辺画素から第１の参照画素及び第２の参照画素を特定し、前記第１の参照画素の信号値と前記第２の参照画素の信号値との差分に応じて前記キズ判定レベルを可変とすることを特徴とする画像処理装置。
【請求項２】
前記第１の参照画素及び前記第２の参照画素は、いずれも、前記複数の周辺画素のうち前記信号レベルが最大である周辺画素以外の画素であって、かつ前記複数の周辺画素のうち前記信号レベルが最小である周辺画素以外の画素であることを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記キズ判定レベル設定部は、被写体像の撮像におけるアナログゲイン、前記被写体像を撮像するイメージセンサの温度、及び前記イメージセンサにおける光量の蓄積時間の少なくともいずれかに連動する前記キズ判定レベルを算出することを特徴とする請求項１又は２に記載の画像処理装置。
【請求項４】
前記キズ判定レベル設定部は、
白キズ判定のための前記キズ判定レベルである白キズ判定レベルを設定する白キズ判定レベル設定部と、
黒キズ判定のための前記キズ判定レベルである黒キズ判定レベルを設定する黒キズ判定レベル設定部と、を含み、
前記白キズ判定レベル設定部は、前記白キズ判定レベルの設定のための前記第１の参照画素である第１の白キズ用参照画素の信号値と、前記白キズ判定レベルの設定のための前記第２の参照画素である第２の白キズ用参照画素の信号値との差分に応じて、前記白キズ判定レベルを可変とし、
前記黒キズ判定レベル設定部は、前記黒キズ判定レベルの設定のための前記第１の参照画素である第１の黒キズ用参照画素の信号値と、前記黒キズ判定レベルの設定のための前記第２の参照画素である第２の黒キズ用参照画素の信号値との差分に応じて、前記黒キズ判定レベルを可変とすることを特徴とする請求項１から３のいずれか一項に記載の画像処理装置。
【請求項５】
前記第１の白キズ用参照画素は、前記第１の黒キズ用参照画素よりも前記信号レベルが大きい周辺画素とし、
前記第２の白キズ用参照画素は、前記第２の黒キズ用参照画素よりも前記信号レベルが大きい周辺画素とすることを特徴とする請求項４に記載の画像処理装置。
【請求項１】
対象画素についてキズ補正を実施するキズ補正部を有し、
前記キズ補正部は、
前記対象画素と同色用の画素であって前記対象画素の周辺に位置する複数の周辺画素の信号値を抽出する周辺画素抽出部と、
前記周辺画素抽出部で抽出された前記信号値を信号レベルの順に並べ替えて出力する並べ替え部と、
前記複数の周辺画素の信号値のうちのいずれかと、前記対象画素の信号値との比較により、前記対象画素のキズ判定を実施するキズ判定部と、
前記キズ判定部における前記キズ判定の基準とするキズ判定レベルを設定するキズ判定レベル設定部と、を有し、
前記キズ判定レベル設定部は、前記信号レベルの順に応じて、前記複数の周辺画素から第１の参照画素及び第２の参照画素を特定し、前記第１の参照画素の信号値と前記第２の参照画素の信号値との差分に応じて前記キズ判定レベルを可変とすることを特徴とする画像処理装置。
【請求項２】
前記第１の参照画素及び前記第２の参照画素は、いずれも、前記複数の周辺画素のうち前記信号レベルが最大である周辺画素以外の画素であって、かつ前記複数の周辺画素のうち前記信号レベルが最小である周辺画素以外の画素であることを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記キズ判定レベル設定部は、被写体像の撮像におけるアナログゲイン、前記被写体像を撮像するイメージセンサの温度、及び前記イメージセンサにおける光量の蓄積時間の少なくともいずれかに連動する前記キズ判定レベルを算出することを特徴とする請求項１又は２に記載の画像処理装置。
【請求項４】
前記キズ判定レベル設定部は、
白キズ判定のための前記キズ判定レベルである白キズ判定レベルを設定する白キズ判定レベル設定部と、
黒キズ判定のための前記キズ判定レベルである黒キズ判定レベルを設定する黒キズ判定レベル設定部と、を含み、
前記白キズ判定レベル設定部は、前記白キズ判定レベルの設定のための前記第１の参照画素である第１の白キズ用参照画素の信号値と、前記白キズ判定レベルの設定のための前記第２の参照画素である第２の白キズ用参照画素の信号値との差分に応じて、前記白キズ判定レベルを可変とし、
前記黒キズ判定レベル設定部は、前記黒キズ判定レベルの設定のための前記第１の参照画素である第１の黒キズ用参照画素の信号値と、前記黒キズ判定レベルの設定のための前記第２の参照画素である第２の黒キズ用参照画素の信号値との差分に応じて、前記黒キズ判定レベルを可変とすることを特徴とする請求項１から３のいずれか一項に記載の画像処理装置。
【請求項５】
前記第１の白キズ用参照画素は、前記第１の黒キズ用参照画素よりも前記信号レベルが大きい周辺画素とし、
前記第２の白キズ用参照画素は、前記第２の黒キズ用参照画素よりも前記信号レベルが大きい周辺画素とすることを特徴とする請求項４に記載の画像処理装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【公開番号】特開２０１２−２４４２９１（Ｐ２０１２−２４４２９１Ａ）
【公開日】平成２４年１２月１０日（２０１２．１２．１０）
【国際特許分類】
【出願番号】特願２０１１−１１０４８９（Ｐ２０１１−１１０４８９）
【出願日】平成２３年５月１７日（２０１１．５．１７）
【出願人】（０００００３０７８）株式会社東芝 (54,554)
【Ｆターム（参考）】
【公開日】平成２４年１２月１０日（２０１２．１２．１０）
【国際特許分類】
【出願日】平成２３年５月１７日（２０１１．５．１７）
【出願人】（０００００３０７８）株式会社東芝 (54,554)
【Ｆターム（参考）】
[ Back to top ]