マシンビジョンシステムのためのノイズ低減技術
【課題】撮像装置が撮像した画像のノイズを好適に低減する方法を提供する。
【解決手段】撮像装置から画像を取得する第１の工程と、該画像から固定パターンノイズのオフセット成分を低減する第２の工程と、該画像から固定パターンノイズのゲイン成分を低減する第３の工程と、第２の工程および第３の工程の後に、該画像に含まれるインパルス性ノイズを低減するフィルタを用いて、該画像から固定パターンノイズの残存成分を低減する第４の工程とを包含する方法。
【解決手段】撮像装置から画像を取得する第１の工程と、該画像から固定パターンノイズのオフセット成分を低減する第２の工程と、該画像から固定パターンノイズのゲイン成分を低減する第３の工程と、第２の工程および第３の工程の後に、該画像に含まれるインパルス性ノイズを低減するフィルタを用いて、該画像から固定パターンノイズの残存成分を低減する第４の工程とを包含する方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、カメラによって撮像した画像のノイズを低減する技術に関する。
【背景技術】
【０００２】
デジタルカメラは、ＣＣＤセンサまたはＣＭＯＳセンサを用いて画像を撮像する。ＣＣＤセンサまたはＣＭＯＳセンサは、センサエレメントの二次元的な配列を備えている。ＣＣＤまたはＣＭＯＳのエレメントは、光を電子に変換する（光電変換）。その後、電子は、（デジタル）信号へと変換される。このようなエレメントの各々は、カメラによって撮像された画像またはフレームの画素に対応する。ここで、センサまたはカメラから出力される画素データまたは画像には、目的の信号に加えて、望ましくないノイズが必ず含まれている。センサまたはカメラに由来するノイズには様々なタイプが存在する。例えば、固定パターンノイズ、読み出しノイズ、およびショットノイズである。画像コンテンツの真の姿を正確に特定するためには、ノイズを抑制するか、または除去しなくてはならない。
【０００３】
暗電流は、固定パターンノイズ（ＦＰＮ：Fixed-Pattern Noise）の一因である。暗電流は、主に、光がない状態においてもＣＣＤセンサまたはＣＭＯＳセンサの各エレメントに蓄積される偽の電荷に由来する。異なるエレメントには、異なる量の偽の電荷が蓄積する。それゆえ、固定パターンノイズは、撮像画像において空間的に不均一な（むらのある）パターンをもたらす。但し、空間的な分布は、実質的に、時間的に不変である。ゆえに、暗電流ノイズの一部は、固定パターンノイズとして分類することができる。このタイプの固定パターンノイズは、暗時出力不均一性（ＤＳＮＵ：Dark Signal Non-Uniformity、黒むら）と称することができる。このようなＤＳＮＵノイズに加えて、暗電流ショットノイズも存在する。暗電流ショットノイズは、上記暗電流ノイズに加わる空間的および時間的にランダムなノイズである。また、暗電流ノイズは、温度依存的である。このことは、温度が変化する場合において起こり得る現象の予測をやや困難にする。一般に、暗電流ノイズは、温度の上昇に伴って増大する。
【０００４】
また、ショットノイズは、基本的には、光子が検知用エレメントに到達する経路に関連している。光ショットノイズは、空間的および時間的にランダムな事象である。光ショットノイズの分散は、一般に信号強度に依存する。また、読み出しノイズは、一般に信号強度に依存せず、付加的なホワイトガウシアンノイズに類似するその他のランダムノイズ源を包括するものであるとみなし得る。そのようなランダムノイズ源としては、増幅器ノイズ、アナログ−デジタル変換（ＡＤＣ）ノイズ、およびいくつかの他のタイプのノイズが挙げられる。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００６−０２０３５４号公報（２００６年１月１９日公開）
【特許文献２】特開２０１１−１５９１７８号公報（２０１１年８月１８日公開）
【発明の概要】
【発明が解決しようとする課題】
【０００６】
以上のように、画像の真の姿を正確に特定するため、固定パターンノイズ、読み出しノイズ、および／またはショットノイズのような、センサおよびカメラに由来する様々なタイプのノイズを低減することは望ましい。
【０００７】
上述した本発明の目的、特徴および利点、ならびにその他の本発明の目的、特徴および利点は、発明の詳細な説明および図面を参照すれば、より容易に理解されるだろう。
【課題を解決するための手段】
【０００８】
本発明に係る撮像装置が撮像した画像のノイズを低減する方法は、上記課題を解決するために、該撮像装置から該画像を取得する第１の工程と、該画像から固定パターンノイズのオフセット成分を低減する第２の工程と、該画像から固定パターンノイズのゲイン成分を低減する第３の工程と、第２の工程および第３の工程の後に、該画像に含まれるインパルス性ノイズを低減するフィルタを用いて、該画像から固定パターンノイズの残存成分を低減する第４の工程と、を包含することを特徴としている。
【０００９】
撮像画像から固定パターンノイズのオフセット成分およびゲイン成分を除去した後でも、インパルス性の残存成分が残存する場合がある。上記構成によれば、当該残存成分を除去することができるため、より好適に撮像画像の固定パターンノイズを低減することができる。
【００１０】
また、上記方法では、上記フィルタは、上記画像内に設定されたウィンドウにおいて、ウィンドウ内における各画素について、画素値に基づくランク付けを行うことが好ましい。また、上記ウィンドウが、３×３画素のウィンドウであることが好ましい。また、上記ランク付けが、上記ウィンドウ内における画素値の順位付けであることが好ましい。また、上記フィルタは、上記ウィンドウの中央の画素の画素値を改変対象とすることが好ましい。また、上記中央の画素の画素値の改変の条件は、上記中央の画素の画素値が、上記ウィンドウ内の各画素における最小値または最大値であることを含むことが好ましい。また、上記中央の画素の画素値の改変の条件は、上記ウィンドウ内の画素間の差分に基づく条件を含むことが好ましい。また、上記方法では、上記中央の画素の画素値の改変の条件は、上記中央の画素の画素値と、上記ウィンドウ内の上記中央の画素以外の各画素の画素値との差分が、予め特定された閾値以上であることを含むことが好ましい。これにより、上記中央の画素の画素値が、それ以外の画素よりも大きく異なる場合に中央の画素の画素値を改変するようにすることができる。また、上記中央の画素の画素値の改変の条件は、上記ウィンドウ内の上記中央の画素以外の各画素の画素値同士の差分が、予め特定された閾値よりも小さいことを含むことが好ましい。これにより、上記中央の画素以外の画素値同士が十分に近い場合に中央の画素の画素値を改変するようにすることができる。また、上記フィルタは、下記式に基づいて画像処理を行うことが好ましい。
【００１１】
【数１】
【００１２】
（但し、ｆ１〜９は、上記ウィンドウ内の各位置（ｆ５が中央を示す）に対応する各画素値を示し、ｒ１〜９は、画素値に基づいて並べ替えられた（ｒ１が最小値を示し、ｒ９が最大値を示す）各画素値を示し、ＴＲＤおよびＴＲＶは、予め特定された閾値を示し、ｏｔｈｅｒｗｉｓｅは、上２式が成立しない場合を示し、左矢印は、代入を示す。）
上記の構成によれば、上記フィルタを好適に実現することができる。特に、例えばＬＣＤパネルの欠陥絵素のような、画像の特徴部分を除去することなしに、固定パターンノイズの残存成分を好適に低減させることができる。
【発明の効果】
【００１３】
本発明によれば、センサおよびカメラに由来するノイズを好適に低減することができる。
【図面の簡単な説明】
【００１４】
【図１】ノイズ特性の解析、およびノイズ低減のためのシステムの概略構成を説明する図である。
【図２】ノイズ低減のサブステージを説明する図である。
【図３】固定パターンノイズのゲイン成分の測定を説明する図である。
【図４】固定パターンノイズのオフセット成分の測定を説明する図である。
【図５】ランダムノイズのパラメータの推定を説明する図である。
【図６】「オンライン」ステージにおけるノイズ低減を説明する図である。
【図７】固定パターンノイズの残存成分のフィルタを説明する図である。
【図８】固定パターンノイズの残存成分のその他のフィルタを説明する図である。
【図９】Ｍ−ＡＮＤノイズのフィルタを説明する図である。
【図１０】コンピュータシステムの一例を示す図である。
【発明を実施するための形態】
【００１５】
以下、本発明のノイズ低減技術を、ＬＣＤパネルの欠陥絵素の検査のための撮像画像の画像処理に適用した場合について説明する。本発明は、欠陥絵素に起因する画像の特徴部分のような検出すべき信号とノイズとを峻別することができるため、このような用途に好適に適用することができる。但し、本発明が、撮像画像からノイズを除去するための画像処理一般に適用することができることはいうまでもない。
【００１６】
図１は、本発明の一実施形態に係る、ノイズ特性の解析、およびノイズ低減のためのシステム（以下、本システムとも称する）の概略構成を説明する図である。本システムは、「オフライン」ステージと、「オンライン」ステージとを含んでいる。「オフライン」ステージは、「オンライン」（実稼働）ステージにおいて用いられるものと同一のカメラ（または類似したカメラ）を用いた、ノイズの測定および特性解析からなる。「オフライン」ステージは、典型的には、特定のカメラおよび／または特定のカメラ配置および／または特定のカメラ設定ごとに、不定期に実施される（一回のみでもよい）。そのため、「オフライン」ステージは、リアルタイム制約下で実行する必要はない。「オフライン」ステージにおいて、試験対象物（試験ターゲット）は、カメラを用いて撮像される場所に配置される。そして、一連の画像が撮像され、処理され、解析されて、該当するノイズ特性が抽出される。得られたノイズ特性は、適切な記録媒体（例えば、コンピュータのハードディスク）に蓄積される。記録媒体は、カメラ自身とは分離されているホストコンピュータシステムに接続されているか、または当該ホストコンピュータシステムの一部であり得る。
【００１７】
「オンライン」ステージは、実稼働環境におけるカメラおよび画像処理システムの実際の使用を指す。ノイズ低減ステージでは、解析対象物の画像を処理して、当該画像が、実解析ステージ（例えば、検査ステージ）に供される前に、各画像におけるノイズを低減する。「オンライン」ノイズ低減ステージでは、記録媒体に蓄積されたノイズ特性が繰り返し使用される。「オンライン」ステージでは、典型的には、動作上リアルタイム制約を受ける。そのため、ノイズ低減のための画像処理ステージは、典型的には、制限された処理時間内に実行することが必要となる。このステージは、ハードウェアとソフトウェアとの適切な組み合わせによって実現することができる。例えば、ノイズ低減のための適切な画像処理ソフトウェアが実行されているパーソナルコンピュータによって実現され得る。
【００１８】
図２は、ノイズ低減のサブステージの概要を説明する図である。サブステージとしては、固定パターンノイズのオフセット成分（オフセット固定パターンノイズ（offset fixed-pattern noise））を低減するサブステージ、および固定パターンノイズのゲイン成分（ゲイン固定パターンノイズ（gain fixed-pattern noise））を低減するサブステージが含まれる。これらの二つのサブステージは、分離したステージとしてもよいが、結合して単一のサブステージとしてもよい。これらのサブステージは、固定パターンノイズを実質的に低減することができるが、残念ながら、いくらかのノイズが残存する。例えば、固定パターンノイズが、これら初期のステージを実行した後に残存し得る。この残存した固定パターンノイズを、本明細書では、概して、固定パターンノイズの残存成分（残存固定パターンノイズ（remnant fixed-pattern noise））と称する。いくつかの場合、この固定パターンノイズの残存成分は、暗電流ショットノイズに起因し得る。この固定パターンノイズの残存成分はまた、固定パターンノイズの較正のための測定時と比べたときの、動作温度の違いにも起因し得る。いくつかの実施態様では、動作温度を十分に管理することは困難であり、動作温度を測定することすら困難な場合もある。よって、上記固定パターンノイズは、過剰に補償されたり、不十分に補償されたりすることがある。それゆえ、固定パターンノイズの残存成分を除去するための追加的な処理を提供することは有用である。追加的なサブステージは、固定パターンノイズの残存成分を除去するか、または低減するために用いることができる。固定パターンノイズの残存成分に対しては、任意の適切なフィルタを適用することができる。例えば、拡張されたランク条件付きメディアンフィルタ（extended rank-conditioned median filter）を用いることができる。最後のサブステージでは、読み出しノイズおよびショットノイズを抑制する。読み出しノイズおよびショットノイズに対しては、任意の適切なフィルタを適用することができる。例えば、拡張された適応型ノイズ平滑化フィルタ（extended adaptive noise smoothing filter）を用いることができる。
【００１９】
ノイズの数学的モデルを以下に説明する。本モデルでは、各画像は、Ｍ×Ｎ画素のサイズの二次元（２Ｄ）配列と見なし得る。二次元画像における画素の位置は、（ｉ、ｊ）という記法により示す。また、本システムが一連の画像群を扱う場合、ｋ番目の画像における各位置の画素値は、（ｉ，ｊ，ｋ）という記法により示し得る。画像およびノイズについてのモデルは、以下の通りである。
【００２０】
【数２】
【００２１】
但し、ｆ（ｉ，ｊ，ｋ）は、本システムが測定しようとする「真の」画像（「望ましい信号」）を示し；ｇ（ｉ，ｊ，ｋ）は、カメラによって撮像された「実画像」（すなわちデータ）を示し；ｄＦＰＮ（ｉ，ｊ）は、ＤＳＮＵ（Dark Signal Non-Uniformity、暗時出力不均一性）に起因する固定パターンノイズの不均一なオフセット／バイアス成分を示し；ｃＦＰＮ（ｉ，ｊ）は、ＰＲＮＵ（Pixel Responsivity Non-Uniformity：感度不均一性、感度むら）に起因する固定パターンノイズの不均一なゲイン成分を示し；ｎＴ（ｉ，ｊ，ｋ）は、読み出しノイズ（ｎＲＥＡＤ（ｉ，ｊ，ｋ））およびショットノイズ（ｎＳＨＯＴ（ｉ，ｊ，ｋ））を含む、時間的なランダムノイズを示す。
【００２２】
【数３】
【００２３】
読み出しノイズは、主に、信号非依存性のノイズ源からなる。読み出しノイズの平均値は、概ね０であり、主にその分散によって特性が示される。
【００２４】
【数４】
【００２５】
読み出しノイズの分散は定数であると仮定される。例えば、全ての画像の各画素において同一である。
【００２６】
ショットノイズは信号依存性であり、個々の画素の信号値に依存する分散によって特性が示される。
【００２７】
【数５】
【００２８】
但し、αは、画素における総ゲイン（デジタルナンバー（ＤＮ）／電子数）を表す。
【００２９】
上記二つのノイズ源の分散が合計されて、時間的なランダムノイズの総体的な分散となる。
【００３０】
【数６】
【００３１】
なお、不均一なオフセット成分およびゲイン成分は、空間的にはランダムに現われるが、時間的には実質的に固定されており、ゆえに、全ての画像において実質的に同一である。
【００３２】
（「オフライン」ステージ）
図３は、固定パターンノイズのゲイン成分（ＣＦＰＮ）の測定を説明する図である。固定パターンノイズの不均一なゲイン成分の特性は、二次元配列（Ｍ×Ｎ画素）ｃＦＰＮ（ｉ，ｊ）によって示すことができる。完全に均一な反応を伴うカメラでは、全ての画素においてｃＦＰＮ（ｉ，ｊ）＝１となる。値１からの偏差は、ゲイン成分における不均一性を表す。このゲイン成分は測定することができる。本システムは、空間的に均一な光源を用い、カメラに当該光源を向け、均一なフィールド（「フラットフィールド」）を複数撮像することができる。そのような均一な光源としては、例えば、積分球によって供給することができる。ここで、Ｋ１を、カメラによって撮像された画像の数とする。Ｋ１は、十分に大きな数にすべきである（例えば、Ｋ１＞９）。また、各画像について、カメラの設定パラメータおよび撮像条件は、「オンライン」（実稼働）ステージにおいて用いられるパラメータおよび条件と同一（または概ね同一）にすべきである。このとき、カメラに対し、フラットフィールドが提示されているため、実信号は、画像間において定常の値となるべきである。
【００３３】
【数７】
【００３４】
また、Ｋ１個の撮像画像（「フラットライト」画像とも称する）間において、時間的なノイズを除き、画像は同一になるべきである。ここで、本システムがＫ１個の撮像画像を平均化した場合、ランダムな時間的ノイズは抑制されよう。よって、式（１）および式（６）を考慮すれば、この平均化された画像（「平均フラットライト画像」とも称する）は、次の式によって規定される。
【００３５】
【数８】
【００３６】
この平均化された画像は、固定パターンノイズのゲイン成分を含んでおり、また、オフセット成分も含んでいる。固定パターンノイズのオフセット成分を除去および／または低減するために、同一のカメラによって、カメラ／センサに対して光を全く供給しないこと以外は同一の条件にて、別の一連の画像群（「フラットダーク」画像とも称する）を撮像することができる。この一連の「ダーク」画像を撮像するために用いる露光時間は、光の下、フラットフィールドに対して撮像を行うときに用いられた露光時間と同一（または実質的に同一）とする。ここで、Ｋ２を、撮像されたこのような「ダーク」画像の数とする。Ｋ２は、十分に大きな数にすべきである（例えば、Ｋ２＞９）。光がないため、ｆ（ｉ，ｊ）＝０となる。従って、式（１）を考慮すれば、本システムがこれらＫ２個の画像を平均化した場合、この平均化された画像（「平均フラットダーク画像」とも称する）は、次の式によって規定される。
【００３７】
【数９】
【００３８】
なお、ランダムノイズは、平均化によって抑制されよう。
【００３９】
固定パターンノイズのゲイン成分は、式（９）に示すように、「平均フラットダーク画像」を「平均フラットライト画像」から画素ごとに減算することにより算出することができる。
【００４０】
【数１０】
【００４１】
本システムは、この「固定パターンノイズゲイン成分画像（FPN gain image）」、または「フラットフィールド画像（flat field image）」に対して、後処理を行うことができる。すなわち、本システムは、その総体的な平均および総体的な標準偏差を算出することができる。そして、本システムは、最終的に推定されたフラットフィールドの画素値が、定常的なパラメータに基づいた最小値と最大値との間に収まるように画像をクリップ処理することができる。例えば、最小値は、全体的な平均値−３．０×全体的な標準偏差とすることができ、最大値は、全体的な平均値＋３．０×全体的な標準偏差とすることができる。フラットフィールド画像ＦＦ（ｉ，ｊ）は、後の「オンライン」ステージにおける固定パターンノイズのゲイン成分の補正のために蓄積される。
【００４２】
固定パターンノイズの不均一なオフセット成分は、二次元配列（Ｍ×Ｎ画素）ｄＦＰＮ（ｉ，ｊ）によって示すことができる。固定パターンノイズのオフセット成分を伴わないカメラは、０に等しいか、全ての画素において定数であるｄＦＰＮ（ｉ，ｊ）の値を有し得る。このオフセット成分は、任意の適切な技術を用いて測定することができる。例えば、図４に示す技術を用いることができる。
【００４３】
図４は、本システムによる、固定パターンノイズのオフセット成分ｄＦＰＮの測定を説明する図である。本システムは、一連の「ダークフレーム」を撮像することができる。すなわち、カメラまたはセンサに対して光を提供しない状態で画像を撮像する（レンズキャップを用いて、またはシャッタを閉じて）。これは、いくつかの露光時間についてなされるべきである。ここで、特定の露光時間をｔｍと記す。例えば、ｔｍ＝１００ｍｓである。この露光時間に関連づけられた固定パターンノイズのオフセット成分を、ｄＦＰＮ，ｔｍ（ｉ，ｊ）（左記において、添え字のｔｍは、ｔｍを表すものとする）と記す。ここで、Ｋ３を、露光時間ｔｍで撮像されたそのような「ダーク」画像の数とする。Ｋ３は、なるべく大きな数にすべきである（例えば、Ｋ３＞９）。光がないため、ｆ（ｉ，ｊ）＝０となる。従って、式（１）を考慮すれば、本システムがこれらＫ３個の画像を平均化した場合、この平均化された画像は、次の式によって規定される。
【００４４】
【数１１】
【００４５】
なお、ランダムノイズは、平均化によって抑制されよう。この画像は、「固定パターンノイズオフセット成分画像（FPN offset image）」、または「平均ダークフレーム（average fark frame）」と称することができる。この平均ダークフレームＤＦｔｍ（ｉ，ｊ）（左記において、添え字のｔｍは、ｔｍを表すものとする）は、必要とする露光時間の各々について取得すべきである。平均ダークフレームＤＦｔｍ（ｉ，ｊ）は、後の「オンライン」ステージにおける固定パターンノイズのオフセット成分の補正のために蓄積される。これによって、「オフライン」ステージにおける固定パターンノイズの特性解析に用いる工程が完了する。
【００４６】
また、時間的なランダムノイズ成分ｎＴ（ｉ，ｊ，ｋ）の特性解析に関連する「オフライン」ステージの他の工程を実施することができる。ランダムノイズの分散は、式（５）に記載されている。読み出しノイズおよびショットノイズの分散の特性を示すパラメータは、読み出しノイズの分散σ２ＲＥＡＤおよびショットノイズのゲインαである。用いられる特定のカメラについて、これらのパラメータを推定するために、信号レベルに対するノイズの分散のデータポイントを取得すべきである。例えば、露光時間を漸増させながら一連をデータフレームを取得することができる。すなわち、本システムは、露光時間を漸増する値（例えば、１、２、３、・・・、１００、・・・、２００、・・・ｍｓ）に設定することができる。本システムは、各露光時間にて、均一な（ブランク）ターゲットについての２つ（またはそれ以上）のデータフレームを撮像することができる。本システムはまた、当該露光時間にて、ダークフレームの組を撮像することができる。そして、データフレームのうち一方を、他方から減算する。本システムは、減算の結果得られた画像において、複数の測定ウィンドウを設定することができる。各測定ウィンドウは、複数の画素からなる正方形領域であり得る。例えば、６４×６４画素、１２８×１２８画素、または２５６×２５６画素の領域であり得る。各ウィンドウにおいて、本システムは、分散を算出し、２．０で除算する（減算についての補正）。本システムはまた、各測定ウィンドウについての「真」の信号値を算出することができる。これは、（平均化された）ダークフレームにおける測定ウィンドウの平均値を、対応するデータフレームにおける測定ウィンドウの平均値から減算することによって行うことができる。以上により、システムは、その測定ウィンドウについて、単一の＜信号、分散＞からなるデータポイントを取得することができる。複数の測定ウィンドウについての全てのデータポイントをまとめることにより、本システムは、様々なレベルの信号（および対応する分散値）におけるデータポイントを集めることができる。これらのデータポイントは、グラフ上にプロットすることができる。その例を図５に示す。図５に示すように、データポイントは線形的な挙動を示す。これは、式（５）において予測されたモデルのとおりである。当該モデルのパラメータは、集められたデータポイントから、それらを線型モデル（直線）に近似することにより容易に推定することができる。例えば、標準線形最小二乗近似法を用いることができる。これにより、カメラについて、σ２ＲＥＡＤおよびαの推定値を得ることができる。
【００４７】
（「オンライン」ステージ）
図６に、「オンライン」ステージにおけるノイズ低減処理の概要を示す。「オンライン」ステージにおけるノイズ低減処理では、まず、第１の画像が、望ましい露光時間Ｔｅを用いて撮像される。続いて、撮像画像における固定パターンノイズのゲイン成分およびオフセット成分が較正によって除去される。較正には、上述した、適切な露光時間についての「固定パターンノイズゲイン成分画像」および「固定パターンノイズオフセット成分画像」が用いられる。図２に示すように、本システムは、まず、オフセット成分を除去し、次いで、ゲイン成分を除去する。この二つのサブ工程は、同時に実行してもよいし、逆順で実行してもよい。ここで、撮像画像を、ｇｔｅ（ｉ，ｊ，ｋ）（左記において、添え字のｔｅは、ｔｅを表すものとする）と記す。「真」の画像ｆ（ｉ，ｊ，ｋ）の第１の推定画像は、以下のように算出することができる。
【００４８】
【数１２】
【００４９】
フラットフィールドの平均値は、フラットフィールド画像の空間的な平均をとることによって推定することができる。
【００５０】
【数１３】
【００５１】
固定パターンノイズの較正工程は、画像における固定パターンノイズを顕著に低減することができる。しかしながら、上述したように、固定パターンノイズ成分は完全には予測することはできない。画像中の固定パターンノイズは、過小に補償されるか、過大に補償され得る。ゆえに、このステージにおいて、画像中には固定パターンノイズが明白に残存し得る。この固定パターンノイズの残存成分は、主に、画像中のスパイク状のノイズまたはインパルス性ノイズとして現われる。すなわち、複数の孤立したスパイクから構成される。スパイクは、周囲の画素よりも顕著に高いか低い値を有し得る。固定パターンノイズ低減工程は、この残存スパイク状のノイズ（インパルス性ノイズ）を除去または低減することを意図するとともに、画像（景色）の特徴を何ら除去しないようにすることを図っている。
【００５２】
インパルス性ノイズを除去する一つのアプローチは、メディアンフィルタを用いることである。これは、例えば、３×３画素のウィンドウを用いて行う。しかし、メディアンフィルタは、インパルス性ノイズと画像の特徴とを峻別しない。それゆえ、画像の小さな特徴を除去するおそれがある。本システムは、いわゆるランク条件付きランク選択フィルタ（rank-conditioned rank-Selection filter family）に属する特定のフィルタを用いることができる。詳細には、画像の小さな特徴をより確実に除去しないように拡張された、ランク条件付きメディアンフィルタ（rank-conditioned median filter）を用いる。
【００５３】
（拡張されたランク条件付きメディアンフィルタ）
拡張されたランク条件付きメディアンフィルタは、以下のように規定することができる。本システムは、画像の全画素に亘ってスライドする３×３のウィンドウを用い得る。任意の位置において、本システムは、３×３のウィンドウ内の９つの画素値を取得することができる。これを、ベクタ［ｆ１，ｆ２，ｆ３，ｆ４，ｆ５，ｆ６，ｆ７，ｆ８，ｆ９］と記すこともある。なお、ｆ５が３×３のウィンドウの中央になるように順序づけられている。これらの画素値は、小さい値から大きい値に向かってランク付けされ得る。結果得られるランク付けされた画素値のベクタは、［ｒ１，ｒ２，ｒ３，ｒ４，ｒ５，ｒ６，ｒ７，ｒ８，ｒ９］（但し、ｒ１≦ｒ２≦ｒ３・・・≦ｒ９）と与えられる。言い換えれば、ｒ１は、ウィンドウにおけるランク１、すなわち最小の画素値であり、ｒ９は、ウィンドウにおけるランク９、すなわち最大の画素値であり、ｒ５は、ウィンドウにおけるランク５、すなわち画素値の中央値である。本システムでは、孤立したスパイク状のノイズは、まず、ウィンドウの中央の画素値が、ランク１（ウィンドウにおける最小値）またはランク９（ウィンドウにおける最大値）の何れかであるか否かを判定することによって検出される。中央の画素が、ランク１もランク９も有していなかった場合、中央の画素はスパイク状のノイズではなく、何ら処理は行われない。この場合、中央の画素は、置き換えられることなく、元からの値を維持する。中央の画素がランク１を有していた場合、本システムは、中央の画素の画素値（ｒ１）と、その次に小さい画素値（ｒ２）との差分を算出する。あるいは、中央の画素がランク９を有していた場合、本システムは、中央の画素の画素値（ｒ９）と、その次に大きい画素値（ｒ８）との差分を算出する。上記差分の絶対値が予め特定した閾値ＴＲＣＭよりも大きい場合、フィルタは、中央の画素を、固定パターンノイズの残存成分に起因するスパイク状のノイズであると分類する。この場合、中央の画素の画素値は、中央値（ｒ５）によって置き換えられる。拡張されたランク条件付きメディアンフィルタは、以下の様に特定することができる。
【００５４】
【数１４】
【００５５】
但し、ｆｃ（左記において、ｆの上にはキャレット（＾）が付されているものとする。以降、ｆｃ（キャレット）とも記載する。）は、中央の画素の推定値を示す。閾値の例として、ＴＲＣＭ＝８である。なお、閾値は、固定され得る。あるいは、閾値は、固定パターンノイズの残存成分の強さの推定に基づいて、適応的に決定されてもよい。
【００５６】
拡張されたランク条件付きメディアンフィルタの出力を算出するためのサブステップの流れは、望ましいように改変してもよい。例えば、異なるランク付け（順序づけ）技術を用いてもよい。他の例として、上述したフィルタを実現するためには、完全なランク付けは必ずしも必要ではないという観点から、フィルタを最適化してもよい。さらに他の例として、複数の、近隣のウィンドウの画素値を同時に考慮して処理するように、フィルタをさらに最適化してもよい。
【００５７】
図７に、フィルタの動作の例を示す。図７では、３×３のウィンドウを、画像の一部分に重ねて示している。ウィンドウにおける９つの画素値は、ベクタとして表現されている。中央の画素の画素値は７１であり、これは、周囲の全ての画素値と比べれば、ポジティブな単一画素のスパイクと見なすことができる。ランク付けされた画素値もまた、ベクタとして表現されている。フィルタは、スパイク状のノイズを次のように検出する。すなわち、フィルタは、中央の画素の画素値がランク９（最大値）を有しており、中央の画素の画素値と、次に大きい画素値（本例では、４７）との差分が、閾値（例えば、８）よりも大きいと判定することにより、中央の画素がスパイク状のノイズであることを検出する。この場合、中央の画素の画素値は、中央値（この例では、４６）に置き換えられ得る。なお、もしここで、中央の画素の画素値が４８であった場合、依然、中央の画素の画素値はランク９を有しているが、ランク８の画素の画素値との差分が、閾値よりも小さくなり得る。この場合には、顕著なスパイクは存在せず、フィルタは、中央の画素の画素値を、不変のままにし得る。
【００５８】
（ランクベースインパルス除去フィルタ）
ここで、液晶パネルの検査時におけるいくつかの場面において、画像の一部を占める小さな輝度ピークは、小さな欠陥絵素を表していることがある。そのため、固定パターンノイズの残存成分を除去したとしても、このような小さな欠陥絵素を判別できることが望ましい。固定パターンノイズの残存成分を除去したとしても、このような小さな欠陥絵素をより判別するための一つの技術として、ランクベースインパルス除去フィルタ（rank-based impulse removal (RIR) filter）を用いることがある。ＲＩＲフィルタは、画像の全画素に亘ってスライドする３×３のウィンドウを用いるものとして特徴付けられ得る。任意の位置において、本システムは、３×３のウィンドウ内の９つの画素値を取得することができる。これを、ベクタ［ｆ１，ｆ２，ｆ３，ｆ４，ｆ５，ｆ６，ｆ７，ｆ８，ｆ９］と記すこともある。なお、ｆ５が３×３のウィンドウの中央になるように順序づけられている。他の画素は、周囲の画素である。これらの画素値は、小さい値から大きい値に向かってランク付けされ得る。結果得られるランク付けされた画素値のベクタは、［ｒ１，ｒ２，ｒ３，ｒ４，ｒ５，ｒ６，ｒ７，ｒ８，ｒ９］（但し、ｒ１≦ｒ２≦ｒ３・・・≦ｒ９）と与えられる。言い換えれば、ｒ１は、ウィンドウにおけるランク１、すなわち最小の画素値であり、ｒ９は、ウィンドウにおけるランク９、すなわち最大の画素値であり、ｒ５は、ウィンドウにおけるランク５、すなわち画素値の中央値である。中央の画素（ｆ５）を、固定パターンノイズの残存成分に起因するスパイク状のノイズとして分類するためには、以下の３つの条件が満たされるべきである。
【００５９】
第１に、中央の画素をスパイク状のノイズとして分類するため、本システムは、中央の画素値が、ランク１（ウィンドウにおける最小値）またはランク９（ウィンドウにおける最大値）の何れかであるか否かを判定する。中央の画素が、ランク１もランク９も有していなかった場合、中央の画素はスパイク状のノイズではなく、何ら処理は行われない。この場合、中央の画素は、置き換えられることなく、元からの値を維持する。
【００６０】
第２に、中央の画素をスパイク状のノイズとして分類するため、本システムは、画素値の差について判定を行う。中央の画素がスパイク状のノイズとして分類されるためには、中央の画素は、ウィンドウにおける他の画素の画素値よりも大きく異なる画素値を有しているべきである。つまり、中央の画素がランク１を有していた場合、本システムは、中央の画素の画素値（ｒ１）と、その次に小さい画素値（ｒ２）との差分を算出する。あるいは、中央の画素がランク９を有していた場合、本システムは、中央の画素の画素値（ｒ９）と、その次に大きい画素値（ｒ８）との差分を算出する。上記差分の絶対値が予め特定した閾値ＴＲＣＭよりも大きくない場合、中央の画素はスパイク状のノイズとは分類されず、何ら処理は行われない。
【００６１】
第３に、中央の画素をスパイク状のノイズとして分類するため、本システムは、画素値の差についてさらなる判定を行う。中央の画素以外の画素値は、互いに十分に近くあるべきである。つまり、中央の画素がランク１を有していた場合、本システムは、ランク２の画素の画素値（ｒ２）と、ランク８の画素の画素値（ｒ８）およびランク９の画素の画素値（ｒ９）との差分をそれぞれ算出する。あるいは、中央の画素がランク９を有していた場合、本システムは、ランク８の画素の画素値（ｒ８）と、ランク１の画素の画素値（ｒ１）およびランク２の画素の画素値（ｒ２）との差分をそれぞれ算出する。そして、本システムは、差分の二乗の合計を算出する。差分の二乗の合計が、予め特定した閾値ＴＲＶよりも小さくない場合、中央の画素はスパイク状のノイズとは分類されず、何ら処理は行われない。
【００６２】
上記３つの条件が全て満たされた場合、中央の画素は、固定パターンノイズの残存成分に起因するスパイク状のノイズとして分類され得、中央の画素の画素値は、ランク２の画素の画素値またはランク８の画素の画素値によって置き換えられ得る。つまり、中央の画素がランク１を有していた場合、中央の画素の画素値は、ランク２の画素の画素値に置き換えられ；中央の画素がランク９を有していた場合、中央の画素の画素値は、ランク８の画素の画素値に置き換えられる。ランクベースインパルス除去フィルタは、以下の様に規定することができる。
【００６３】
【数１５】
【００６４】
但し、ｆｃ（キャレット）は、中央の画素の推定値を示す。閾値の例として、ＴＲＣＭ＝８かつＴＲＶ＝２０である。なお、閾値は、固定され得る。あるいは、閾値は、固定パターンノイズの残存成分の強さの推定に基づいて、適応的に決定されてもよい。
【００６５】
ランクベースインパルス除去フィルタの出力を算出するためのサブステップの流れは、望ましいように改変してもよい。例えば、異なるランク付け（順序づけ）技術を用いてもよい。他の例として、上述したフィルタを実現するためには、完全なランク付けは必ずしも必要ではないという観点から、フィルタを最適化してもよい。さらに他の例として、複数の、近隣のウィンドウの画素値を同時に考慮して処理するように、フィルタをさらに最適化してもよい。
【００６６】
図８に、フィルタの動作の例を示す。図７では、３×３のウィンドウを、画像の一部分に重ねて示している。ウィンドウにおける９つの画素値は、ベクタとして表現されている。中央の画素の画素値は７１であり、これは、周囲の全ての画素値と比べれば、ポジティブな単一画素のスパイクと見なすことができる。ランク付けされた画素値もまた、ベクタとして表現されている。フィルタは、スパイク状のノイズを次のように検出する。
【００６７】
（１）中央の画素の画素値がランク９を有していることを判定する（条件１）
（２）中央の画素の画素値と、次に大きい画素値（本例では、４７）との差分が、閾値よりも大きいことを判定する（条件２）、および
（３）中央の画素以外の画素の画素値が、互いに近いことを判定する（条件３）；これは、ｒ８とｒ１との差分、およびｒ８とｒ２との差分を算出し、差分の二乗の合計が閾値よりも小さいことを判定することによって判定され得る。
【００６８】
この場合、中央の画素は、値４７によって置き換えられる。
【００６９】
（拡張された適応型ノイズ平滑化フィルタ）
「オンライン」ノイズ低減ステージにおける最終工程は、固定パターンノイズの除去の後に、時間的なランダムノイズを抑制することである。時間的なランダムノイズには、読み出しノイズおよびショットノイズが含まれる。残存するランダムノイズは、空間的近傍フィルタ（spacial neighborhood filter）を用いて抑制することができる。この目的のために、本ステージにおいて画像データは、以下のようにモデル化され得る。
【００７０】
【数１６】
【００７１】
但し、ｆ（ｉ，ｊ，ｋ）は、「真の」画像を示し；ｇ（ｉ，ｊ，ｋ）は、与えられたデータを示し；ｎＴ（ｉ，ｊ）は、時間的なランダムノイズを示す。「真の」画像の特徴は、本ステージにおいて抑制されるべきではなく、処理時間は短く維持するべきである。本システムは、パフォーマンスが向上するように拡張されたいわゆる適応型ノイズ平滑化フィルタ（Adaptive Noise Smoothing filter）を用いることができる。拡張された適応型ノイズ平滑化フィルタは、局所統計量に基づくものであり、以下のように規定され得る。すなわち、フィルタは、処理すべき画素を中心とするスライドするウィンドウ（例えば、５×５の正方形のウィンドウ）を用いる。フィルタのウィンドウのサイズＷは、パラメータである。スライドするウィンドウは、位置（ｉ，ｊ）の画素を中心とするものとする。ここで、ｇ（ｉ，ｊ）（左記において、ｇの上にはバー（−）が付されているものとする。以降、ｇ（バー）とも記載する。）を、与えられた画像ｇ（ｉ，ｊ）の局所平均の推定値とする。本システムは、この値を、（ｉ，ｊ）を囲む局所的なウィンドウにおける平均画素値を算出することにより、決定することができる。推定値は、ウィンドウ内において局所平均を算出するために用いられる画素のセットを限定することにより検証され得る。つまり、中央の画素の画素値からの差分の絶対値が、閾値ＴＡＮＳよりも小さい画素値ｇ（ｍ，ｎ）のみを含めるようにする。すなわち、もし｜ｇ（ｍ，ｎ）−ｇ（ｉ，ｊ）｜＜ＴＡＮＳであれば、ｇ（ｍ，ｎ）は局所平均を推定するために供される。閾値の例としては、ＴＡＮＳ＝１０である。局所平均は、理論的には、ノイズがない画像（「真」の画像ｆ（ｉ，ｊ））の局所平均と一致する。なぜなら、ノイズの平均値は０であるからである。この局所平均ｇ（バー）（ｉ，ｊ）は、それ自身が、ノイズのない画像ｆ（ｉ，ｊ）の推定値として働き得る。しかし、本適応型ノイズ平滑化フィルタは、この局所平均を、入力された画素値ｇ（ｉ，ｊ）を用いて適応的に重み付けすることにより、これを改善する。この重み付け処理は、局所的な画像の特徴の抑制を防ぐように働く。局所的な画像の特徴の抑制は、ｇ（バー）（ｉ，ｊ）が、空間的局所平均化により得られるものであるために起こり得るものである。この重み付け処理において、本適応型ノイズ平滑化フィルタは、局所的なノイズ強度、および、局所的な信号の分散を考慮する。これを以下に示す。
【００７２】
ここで、Ｖｇ（ｉ，ｊ）をｇ（ｉ，ｊ）の局所的な分散の推定値とする。本システムは、この値を、（ｉ，ｊ）を囲う局所ウィンドウにおける画素値の局所的な分散の統計量を算出することにより、決定することができる。本システムは、ウィンドウ内の、この局所的な分散を算出するために用いる画素のセットを再び限定することにより、この推定値を改善することができる。つまり、中央の画素の画素値からの差分の絶対値が、閾値ＴＡＮＳよりも小さい画素値ｇ（ｍ，ｎ）のみを含めるようにする。すなわち、もし｜ｇ（ｍ，ｎ）−ｇ（ｉ，ｊ）｜＜ＴＡＮＳであれば、ｇ（ｍ，ｎ）は局所的な分散を推定するために供される。
【００７３】
ここで、Ｖｎ（ｉ，ｊ）を（ｉ，ｊ）における時間的なノイズの分散の推定値とする。上記ノイズモデルによれば、本システムは、この分散を以下のように捉えることができる。
【００７４】
【数１７】
【００７５】
ここで、本システムは、「オフライン」ステージにおいて推定されたランダムノイズのパラメータを使用する。これにより、本システムは、ノイズのない画像における局所的な分散Ｖｆ（ｉ，ｊ）を以下のように推定することができる。
【００７６】
【数１８】
【００７７】
すなわち、本システムは、ノイズの分散の推定値を、与えられた画像の分散の推定値から減算し、０値を閾値としてクリップ処理する（負の値を避けるため）。
【００７８】
ノイズのない画像の局所的な画素値の最終的な推定値は、以下のように算出される。
【００７９】
【数１９】
【００８０】
式（１７）に示されるように、本適応型ノイズ平滑化フィルタは、局所平均ｇ（バー）（ｉ，ｊ）と、ノイズを含む入力値ｇ（ｉ，ｊ）との間のバランスを算出する。この重み付けは、局所的な信号の分散に対する局所的なノイズの強度に基づいて局所的に決定される。画像の特徴部分の近くでは、局所的な信号の分散は大きい。それゆえ、入力値は局所平均よりも重く重み付けられ、特徴が維持される。特徴部分がない画像領域（例えば、平坦領域）では、ノイズ抑制効果を提供する。なお、閾値ＴＡＮＳは、固定され得る。あるいは、閾値は、ノイズの強さの推定に基づいて、適応的に決定されてもよい。例えば、閾値は、複数のノイズの局所的な標準偏差または推定値そのものに設定されてもよい。
【００８１】
（改変適応型ノイズ平滑化フィルタ）
他の好適なフィルタは、改変適応型ノイズ平滑化フィルタ（Modified Adaptive Noise Smoothing、Ｍ−ＡＮＳ）である。このフィルタは、入力画像における小さい輝度ピークを好適に維持する。小さい輝度ピークは、画像中の輝度ピークを表し得るものであり、画像の特徴部分を表すものであり得る。画像の特徴部分は、例えば、ＬＣＤパネルにおける欠陥絵素に対応する。フィルタは、改変された局所的な分散を算出することに基づくものであり得る。この改変された局所的な分散は、小さな輝度ピークを検出す貯めに用いることができる。輝度ピークの領域では、改変された局所的な分散は大きくなるため、改変適応型ノイズ平滑化フィルタは、殆どノイズ平滑化を行わない。背景領域のような、他の領域では、改変適応型ノイズ平滑化フィルタは、改変されていない適応型ノイズ平滑化フィルタと同等のノイズ平滑化効果を提供する。
【００８２】
改変適応型ノイズ平滑化フィルタは、局所統計量に基づくものであり、以下のように規定され得る。すなわち、フィルタは、処理すべき画素を中心とするスライドするウィンドウ（例えば、７×７の正方形のウィンドウ）を用いる。フィルタのウィンドウのサイズＱ１は、パラメータである。スライドするウィンドウは、位置（ｉ，ｊ）の画素を中心とするものとする。この第１のフィルターウィンドウ内に、第２の、より小さい、ウィンドウが存在する。より小さいフィルターウィンドウＷ２のサイズはパラメータであり、例えば、３×３の正方形のウィンドウである。これらの局所的なウィンドウは、図９に示される。フィルタは、小さいウィンドウ内の画素群として規定される中央領域（Ｃ）を用いることができる。フィルタはまた、大きいウィンドウ内であって、小さいウィンドウ内でない画素群として規定される周囲領域（Ｓ）を用いることができる。
【００８３】
フィルタは、周囲領域の画素値の平均μｓを以下のように算出することができる。
【００８４】
【数２０】
【００８５】
続いて、本システムは、改変された局所的な分散を、中央領域Ｃ内の画素値と、周囲領域の画素値の平均値との差分に基づいて、以下のように算出することができる。
【００８６】
【数２１】
【００８７】
この改変された局所的な分散を、「中央−周囲分散」ＣＳＶｇと記すことができる。
【００８８】
ここで、ｇ（バー）（ｉ，ｊ）を、与えられた画像ｇ（ｉ，ｊ）の局所平均の推定値とする。本システムは、この値を、（ｉ，ｊ）を囲む局所的なウィンドウ（例えば、図９に示すようなウィンドウ）における平均画素値を算出することにより、決定することができる。改変適応型ノイズ平滑化フィルタは、局所平均ｇ（バー）（ｉ，ｊ）を、入力された画素値ｇ（ｉ，ｊ）を用いて適応的に重み付けすることにより、ノイズのない画素値ｆ（ｉ，ｊ）の推定値を算出することができる。この重み付け処理は、局所的な画像の特徴の抑制を防ぐように働く。局所的な画像の特徴の抑制は、ｇ（バー）（ｉ，ｊ）が、空間的局所平均化により得られるものであるために起こり得るものである。この重み付け処理において、改変適応型ノイズ平滑化フィルタは、局所的なノイズ強度、および、局所的な信号の分散を考慮する。これを以下に示す。
【００８９】
ここで、Ｖｎ（ｉ，ｊ）を（ｉ，ｊ）における時間的なノイズの分散の推定値とする。上記ノイズモデルによれば、本システムは、この分散を以下のように捉えることができる。
【００９０】
【数２２】
【００９１】
ここで、本システムは、「オフライン」ステージにおいて推定されたランダムノイズのパラメータを使用する。これにより、本システムは、ノイズのない画像における局所的な分散Ｖｆ（ｉ，ｊ）を以下のように推定することができる。
【００９２】
【数２３】
【００９３】
すなわち、本システムは、ノイズの分散の推定値を、与えられた画像の分散の推定値から減算し、０値を閾値としてクリップ処理する（負の値を避けるため）。
【００９４】
ノイズのない画像の局所的な画素値の最終的な推定値は、以下のように算出される。
【００９５】
【数２４】
【００９６】
以上のように、改変適応型ノイズ平滑化フィルタは、局所平均ｇ（バー）（ｉ，ｊ）と、ノイズを含む入力値ｇ（ｉ，ｊ）との間のバランスを算出する。この重み付けは、改変された局所的な信号の分散に対する局所的なノイズの強度に基づいて局所的に決定される。局所的なウィンドウが、輝度ピーク（ＬＣＤパネルの欠陥絵素に対応）を中心とし、輝度ピークが小さい場合、このピークは中央領域（小さいウィンドウ）に含まれ、周囲領域は、背景およびノイズのみを含む。μｓが背景（非ピーク）の平均であるため、改変された局所的な分散（「中央−周囲分散」）は、ピーク領域において大きくなる。この場合、改変適応型ノイズ平滑化フィルタは、元の入力画素値を使用するようになり；輝度ピークが保存される。基本的な適応型ノイズ平滑化フィルタは、この輝度ピークを検出するためには効率的ではない。
【００９７】
局所的なウィンドウが輝度ピークを中心とするものではなく、背景領域を中心とするものであった場合、周囲領域の平均値は、中央領域の平均値と同じになるべきである。そのため、背景領域では、局所的な分散は小さくなり、改変適応型ノイズ平滑化フィルタは、よりノイズ平滑化を実施する。したがって、改変適応型ノイズ平滑化フィルタは、改変されていない適応型ノイズ平滑化フィルタと同等のノイズ平滑化効果を提供する；しかしながら、改変適応型ノイズ平滑化フィルタは、改変されていない適応型ノイズ平滑化フィルタよりも、輝度ピークをより良好に保存する。小さいウィンドウ（中央領域）のサイズは、保存されるべき最小の輝度ピークのサイズに適合させることができる。大きいウィンドウのサイズは、数画素分大きくあるべきである。
【００９８】
画像の特徴部分の近くでは、局所的な信号の分散は大きい。それゆえ、入力値は局所平均よりも重く重み付けられ、特徴が維持される。特徴部分がない画像領域（例えば、平坦領域）では、ノイズ抑制効果を提供する。なお、閾値ＴＡＮＳは、固定され得る。あるいは、閾値は、ノイズの強さの推定に基づいて、適応的に決定されてもよい。例えば、閾値は、複数のノイズの局所的な標準偏差または推定値そのものに設定されてもよい。
【００９９】
以上の詳細な説明において用いられた用語および表現は、説明のために用いられたものであり、限定のためではない。また、そのような用語および表現を用いるにあたって、説明および示した特徴の同等物やその部分を除外する意図もない。本発明の範囲は、特許請求の範囲において規定され限定されるべきであることが認識される。
【０１００】
（コンピュータシステム）
図１０は、上述したコンピュータシステムの一例を示す図である。図１０に示すように、コンピュータシステム２は、主制御部３および記録媒体４を備えている。主制御部３は、「オフライン」ステージ実行部５および「オンライン」ステージ実行部６を備えている。「オンライン」ステージ実行部６は、固定パターンノイズオフセット成分補正部７、固定パターンノイズゲイン成分補正部８、固定パターンノイズ残存成分フィルタ部９、およびショットノイズおよび読み出しノイズフィルタ部１０を備えている。コンピュータシステム２には、ＣＭＯＳ／ＣＣＤ検査カメラ１が接続されている。
【０１０１】
「オフライン」ステージ実行部５は、ＣＭＯＳ／ＣＣＤ検査カメラ１が撮像した画像に基づいて、上述した「オフライン」ステージにおけるノイズの測定および特性解析を実行する。具体的には、上述したとおり、条件を変えて撮像した撮像画像に基づいて、「固定パターンノイズゲイン成分画像」および「固定パターンノイズオフセット成分画像」を算出し、記録媒体４に記録する。
【０１０２】
固定パターンノイズオフセット成分補正部７および固定パターンノイズゲイン成分補正部８は、上述したとおり、ＣＭＯＳ／ＣＣＤ検査カメラ１が撮像した検査対象の撮像画像について、「固定パターンノイズゲイン成分画像」および「固定パターンノイズオフセット成分画像」を用いて較正して、固定パターンノイズのオフセット成分およびゲイン成分を除去する。
【０１０３】
固定パターンノイズ残存成分フィルタ部９は、固定パターンノイズの残存成分を除去する。固定パターンノイズ残存成分フィルタ部９は、例えば、上述したような、拡張されたランク条件付きメディアンフィルタまたはランクベースインパルス除去フィルタを用いる。
【０１０４】
ショットノイズおよび読み出しノイズフィルタ部１０は、ショットノイズおよび読み出しノイズを低減する。ショットノイズおよび読み出しノイズフィルタ部１０は、例えば、上述したような、拡張された適応型ノイズ平滑化フィルタ、または、改変適応型ノイズ平滑化フィルタを用いる。
【０１０５】
以上のように、コンピュータシステム２によれば、上述したノイズ低減技術を好適に実施することができる。
【０１０６】
（プログラムおよび記録媒体）
最後に、主制御部３の各ブロックは、集積回路（ＩＣチップ）上に形成された論理回路によってハードウェア的に実現してもよいし、ＣＰＵ（Central Processing Unit）を用いてソフトウェア的に実現してもよい。
【０１０７】
後者の場合、主制御部３は、各機能を実現するプログラムの命令を実行するＣＰＵ、上記プログラムを格納したＲＯＭ（Read Only Memory）、上記プログラムを展開するＲＡＭ（Random Access Memory）、上記プログラムおよび各種データを格納するメモリ等の記憶装置（記録媒体）などを備えている。そして、本発明の目的は、上述した機能を実現するソフトウェアである主制御部３の制御プログラムのプログラムコード（実行形式プログラム、中間コードプログラム、ソースプログラム）をコンピュータで読み取り可能に記録した記録媒体を、主制御部３に供給し、そのコンピュータ（またはＣＰＵやＭＰＵ）が記録媒体に記録されているプログラムコードを読み出し実行することによっても、達成可能である。
【０１０８】
上記記録媒体としては、例えば、磁気テープやカセットテープ等のテープ類、フロッピー（登録商標）ディスク／ハードディスク等の磁気ディスクやＣＤ−ＲＯＭ／ＭＯ／ＭＤ／ＤＶＤ／ＣＤ−Ｒ等の光ディスクを含むディスク類、ＩＣカード（メモリカードを含む）／光カード等のカード類、マスクＲＯＭ／ＥＰＲＯＭ／ＥＥＰＲＯＭ／フラッシュＲＯＭ等の半導体メモリ類、あるいはＰＬＤ（Programmable logic device）やＦＰＧＡ（Field Programmable Gate Array）等の論理回路類などを用いることができる。
【０１０９】
また、主制御部３を通信ネットワークと接続可能に構成し、上記プログラムコードを通信ネットワークを介して供給してもよい。この通信ネットワークは、プログラムコードを伝送可能であればよく、特に限定されない。例えば、インターネット、イントラネット、エキストラネット、ＬＡＮ、ＩＳＤＮ、ＶＡＮ、ＣＡＴＶ通信網、仮想専用網（Virtual Private Network）、電話回線網、移動体通信網、衛星通信網等が利用可能である。また、この通信ネットワークを構成する伝送媒体も、プログラムコードを伝送可能な媒体であればよく、特定の構成または種類のものに限定されない。例えば、ＩＥＥＥ１３９４、ＵＳＢ、電力線搬送、ケーブルＴＶ回線、電話線、ＡＤＳＬ（Asymmetric Digital Subscriber Line）回線等の有線でも、ＩｒＤＡやリモコンのような赤外線、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＩＥＥＥ８０２．１１無線、ＨＤＲ（High Data Rate）、ＮＦＣ（Near Field Communication）、ＤＬＮＡ（Digital Living Network Alliance）、携帯電話網、衛星回線、地上波デジタル網等の無線でも利用可能である。
【０１１０】
本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。
【産業上の利用可能性】
【０１１１】
本発明は、マシンビジョンシステムにおける撮像技術等に好適に利用することができる。
【符号の説明】
【０１１２】
１ ＣＭＯＳ／ＣＣＤ検査カメラ
２ コンピュータシステム
３ 主制御部
４ 記録媒体
５ 「オフライン」ステージ実行部
６ 「オンライン」ステージ実行部
７ 固定パターンノイズオフセット成分補正部
８ 固定パターンノイズゲイン成分補正部
９ 固定パターンノイズ残存成分フィルタ部
１０ ショットノイズおよび読み出しノイズフィルタ部
【技術分野】
【０００１】
本発明は、カメラによって撮像した画像のノイズを低減する技術に関する。
【背景技術】
【０００２】
デジタルカメラは、ＣＣＤセンサまたはＣＭＯＳセンサを用いて画像を撮像する。ＣＣＤセンサまたはＣＭＯＳセンサは、センサエレメントの二次元的な配列を備えている。ＣＣＤまたはＣＭＯＳのエレメントは、光を電子に変換する（光電変換）。その後、電子は、（デジタル）信号へと変換される。このようなエレメントの各々は、カメラによって撮像された画像またはフレームの画素に対応する。ここで、センサまたはカメラから出力される画素データまたは画像には、目的の信号に加えて、望ましくないノイズが必ず含まれている。センサまたはカメラに由来するノイズには様々なタイプが存在する。例えば、固定パターンノイズ、読み出しノイズ、およびショットノイズである。画像コンテンツの真の姿を正確に特定するためには、ノイズを抑制するか、または除去しなくてはならない。
【０００３】
暗電流は、固定パターンノイズ（ＦＰＮ：Fixed-Pattern Noise）の一因である。暗電流は、主に、光がない状態においてもＣＣＤセンサまたはＣＭＯＳセンサの各エレメントに蓄積される偽の電荷に由来する。異なるエレメントには、異なる量の偽の電荷が蓄積する。それゆえ、固定パターンノイズは、撮像画像において空間的に不均一な（むらのある）パターンをもたらす。但し、空間的な分布は、実質的に、時間的に不変である。ゆえに、暗電流ノイズの一部は、固定パターンノイズとして分類することができる。このタイプの固定パターンノイズは、暗時出力不均一性（ＤＳＮＵ：Dark Signal Non-Uniformity、黒むら）と称することができる。このようなＤＳＮＵノイズに加えて、暗電流ショットノイズも存在する。暗電流ショットノイズは、上記暗電流ノイズに加わる空間的および時間的にランダムなノイズである。また、暗電流ノイズは、温度依存的である。このことは、温度が変化する場合において起こり得る現象の予測をやや困難にする。一般に、暗電流ノイズは、温度の上昇に伴って増大する。
【０００４】
また、ショットノイズは、基本的には、光子が検知用エレメントに到達する経路に関連している。光ショットノイズは、空間的および時間的にランダムな事象である。光ショットノイズの分散は、一般に信号強度に依存する。また、読み出しノイズは、一般に信号強度に依存せず、付加的なホワイトガウシアンノイズに類似するその他のランダムノイズ源を包括するものであるとみなし得る。そのようなランダムノイズ源としては、増幅器ノイズ、アナログ−デジタル変換（ＡＤＣ）ノイズ、およびいくつかの他のタイプのノイズが挙げられる。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００６−０２０３５４号公報（２００６年１月１９日公開）
【特許文献２】特開２０１１−１５９１７８号公報（２０１１年８月１８日公開）
【発明の概要】
【発明が解決しようとする課題】
【０００６】
以上のように、画像の真の姿を正確に特定するため、固定パターンノイズ、読み出しノイズ、および／またはショットノイズのような、センサおよびカメラに由来する様々なタイプのノイズを低減することは望ましい。
【０００７】
上述した本発明の目的、特徴および利点、ならびにその他の本発明の目的、特徴および利点は、発明の詳細な説明および図面を参照すれば、より容易に理解されるだろう。
【課題を解決するための手段】
【０００８】
本発明に係る撮像装置が撮像した画像のノイズを低減する方法は、上記課題を解決するために、該撮像装置から該画像を取得する第１の工程と、該画像から固定パターンノイズのオフセット成分を低減する第２の工程と、該画像から固定パターンノイズのゲイン成分を低減する第３の工程と、第２の工程および第３の工程の後に、該画像に含まれるインパルス性ノイズを低減するフィルタを用いて、該画像から固定パターンノイズの残存成分を低減する第４の工程と、を包含することを特徴としている。
【０００９】
撮像画像から固定パターンノイズのオフセット成分およびゲイン成分を除去した後でも、インパルス性の残存成分が残存する場合がある。上記構成によれば、当該残存成分を除去することができるため、より好適に撮像画像の固定パターンノイズを低減することができる。
【００１０】
また、上記方法では、上記フィルタは、上記画像内に設定されたウィンドウにおいて、ウィンドウ内における各画素について、画素値に基づくランク付けを行うことが好ましい。また、上記ウィンドウが、３×３画素のウィンドウであることが好ましい。また、上記ランク付けが、上記ウィンドウ内における画素値の順位付けであることが好ましい。また、上記フィルタは、上記ウィンドウの中央の画素の画素値を改変対象とすることが好ましい。また、上記中央の画素の画素値の改変の条件は、上記中央の画素の画素値が、上記ウィンドウ内の各画素における最小値または最大値であることを含むことが好ましい。また、上記中央の画素の画素値の改変の条件は、上記ウィンドウ内の画素間の差分に基づく条件を含むことが好ましい。また、上記方法では、上記中央の画素の画素値の改変の条件は、上記中央の画素の画素値と、上記ウィンドウ内の上記中央の画素以外の各画素の画素値との差分が、予め特定された閾値以上であることを含むことが好ましい。これにより、上記中央の画素の画素値が、それ以外の画素よりも大きく異なる場合に中央の画素の画素値を改変するようにすることができる。また、上記中央の画素の画素値の改変の条件は、上記ウィンドウ内の上記中央の画素以外の各画素の画素値同士の差分が、予め特定された閾値よりも小さいことを含むことが好ましい。これにより、上記中央の画素以外の画素値同士が十分に近い場合に中央の画素の画素値を改変するようにすることができる。また、上記フィルタは、下記式に基づいて画像処理を行うことが好ましい。
【００１１】
【数１】
【００１２】
（但し、ｆ１〜９は、上記ウィンドウ内の各位置（ｆ５が中央を示す）に対応する各画素値を示し、ｒ１〜９は、画素値に基づいて並べ替えられた（ｒ１が最小値を示し、ｒ９が最大値を示す）各画素値を示し、ＴＲＤおよびＴＲＶは、予め特定された閾値を示し、ｏｔｈｅｒｗｉｓｅは、上２式が成立しない場合を示し、左矢印は、代入を示す。）
上記の構成によれば、上記フィルタを好適に実現することができる。特に、例えばＬＣＤパネルの欠陥絵素のような、画像の特徴部分を除去することなしに、固定パターンノイズの残存成分を好適に低減させることができる。
【発明の効果】
【００１３】
本発明によれば、センサおよびカメラに由来するノイズを好適に低減することができる。
【図面の簡単な説明】
【００１４】
【図１】ノイズ特性の解析、およびノイズ低減のためのシステムの概略構成を説明する図である。
【図２】ノイズ低減のサブステージを説明する図である。
【図３】固定パターンノイズのゲイン成分の測定を説明する図である。
【図４】固定パターンノイズのオフセット成分の測定を説明する図である。
【図５】ランダムノイズのパラメータの推定を説明する図である。
【図６】「オンライン」ステージにおけるノイズ低減を説明する図である。
【図７】固定パターンノイズの残存成分のフィルタを説明する図である。
【図８】固定パターンノイズの残存成分のその他のフィルタを説明する図である。
【図９】Ｍ−ＡＮＤノイズのフィルタを説明する図である。
【図１０】コンピュータシステムの一例を示す図である。
【発明を実施するための形態】
【００１５】
以下、本発明のノイズ低減技術を、ＬＣＤパネルの欠陥絵素の検査のための撮像画像の画像処理に適用した場合について説明する。本発明は、欠陥絵素に起因する画像の特徴部分のような検出すべき信号とノイズとを峻別することができるため、このような用途に好適に適用することができる。但し、本発明が、撮像画像からノイズを除去するための画像処理一般に適用することができることはいうまでもない。
【００１６】
図１は、本発明の一実施形態に係る、ノイズ特性の解析、およびノイズ低減のためのシステム（以下、本システムとも称する）の概略構成を説明する図である。本システムは、「オフライン」ステージと、「オンライン」ステージとを含んでいる。「オフライン」ステージは、「オンライン」（実稼働）ステージにおいて用いられるものと同一のカメラ（または類似したカメラ）を用いた、ノイズの測定および特性解析からなる。「オフライン」ステージは、典型的には、特定のカメラおよび／または特定のカメラ配置および／または特定のカメラ設定ごとに、不定期に実施される（一回のみでもよい）。そのため、「オフライン」ステージは、リアルタイム制約下で実行する必要はない。「オフライン」ステージにおいて、試験対象物（試験ターゲット）は、カメラを用いて撮像される場所に配置される。そして、一連の画像が撮像され、処理され、解析されて、該当するノイズ特性が抽出される。得られたノイズ特性は、適切な記録媒体（例えば、コンピュータのハードディスク）に蓄積される。記録媒体は、カメラ自身とは分離されているホストコンピュータシステムに接続されているか、または当該ホストコンピュータシステムの一部であり得る。
【００１７】
「オンライン」ステージは、実稼働環境におけるカメラおよび画像処理システムの実際の使用を指す。ノイズ低減ステージでは、解析対象物の画像を処理して、当該画像が、実解析ステージ（例えば、検査ステージ）に供される前に、各画像におけるノイズを低減する。「オンライン」ノイズ低減ステージでは、記録媒体に蓄積されたノイズ特性が繰り返し使用される。「オンライン」ステージでは、典型的には、動作上リアルタイム制約を受ける。そのため、ノイズ低減のための画像処理ステージは、典型的には、制限された処理時間内に実行することが必要となる。このステージは、ハードウェアとソフトウェアとの適切な組み合わせによって実現することができる。例えば、ノイズ低減のための適切な画像処理ソフトウェアが実行されているパーソナルコンピュータによって実現され得る。
【００１８】
図２は、ノイズ低減のサブステージの概要を説明する図である。サブステージとしては、固定パターンノイズのオフセット成分（オフセット固定パターンノイズ（offset fixed-pattern noise））を低減するサブステージ、および固定パターンノイズのゲイン成分（ゲイン固定パターンノイズ（gain fixed-pattern noise））を低減するサブステージが含まれる。これらの二つのサブステージは、分離したステージとしてもよいが、結合して単一のサブステージとしてもよい。これらのサブステージは、固定パターンノイズを実質的に低減することができるが、残念ながら、いくらかのノイズが残存する。例えば、固定パターンノイズが、これら初期のステージを実行した後に残存し得る。この残存した固定パターンノイズを、本明細書では、概して、固定パターンノイズの残存成分（残存固定パターンノイズ（remnant fixed-pattern noise））と称する。いくつかの場合、この固定パターンノイズの残存成分は、暗電流ショットノイズに起因し得る。この固定パターンノイズの残存成分はまた、固定パターンノイズの較正のための測定時と比べたときの、動作温度の違いにも起因し得る。いくつかの実施態様では、動作温度を十分に管理することは困難であり、動作温度を測定することすら困難な場合もある。よって、上記固定パターンノイズは、過剰に補償されたり、不十分に補償されたりすることがある。それゆえ、固定パターンノイズの残存成分を除去するための追加的な処理を提供することは有用である。追加的なサブステージは、固定パターンノイズの残存成分を除去するか、または低減するために用いることができる。固定パターンノイズの残存成分に対しては、任意の適切なフィルタを適用することができる。例えば、拡張されたランク条件付きメディアンフィルタ（extended rank-conditioned median filter）を用いることができる。最後のサブステージでは、読み出しノイズおよびショットノイズを抑制する。読み出しノイズおよびショットノイズに対しては、任意の適切なフィルタを適用することができる。例えば、拡張された適応型ノイズ平滑化フィルタ（extended adaptive noise smoothing filter）を用いることができる。
【００１９】
ノイズの数学的モデルを以下に説明する。本モデルでは、各画像は、Ｍ×Ｎ画素のサイズの二次元（２Ｄ）配列と見なし得る。二次元画像における画素の位置は、（ｉ、ｊ）という記法により示す。また、本システムが一連の画像群を扱う場合、ｋ番目の画像における各位置の画素値は、（ｉ，ｊ，ｋ）という記法により示し得る。画像およびノイズについてのモデルは、以下の通りである。
【００２０】
【数２】
【００２１】
但し、ｆ（ｉ，ｊ，ｋ）は、本システムが測定しようとする「真の」画像（「望ましい信号」）を示し；ｇ（ｉ，ｊ，ｋ）は、カメラによって撮像された「実画像」（すなわちデータ）を示し；ｄＦＰＮ（ｉ，ｊ）は、ＤＳＮＵ（Dark Signal Non-Uniformity、暗時出力不均一性）に起因する固定パターンノイズの不均一なオフセット／バイアス成分を示し；ｃＦＰＮ（ｉ，ｊ）は、ＰＲＮＵ（Pixel Responsivity Non-Uniformity：感度不均一性、感度むら）に起因する固定パターンノイズの不均一なゲイン成分を示し；ｎＴ（ｉ，ｊ，ｋ）は、読み出しノイズ（ｎＲＥＡＤ（ｉ，ｊ，ｋ））およびショットノイズ（ｎＳＨＯＴ（ｉ，ｊ，ｋ））を含む、時間的なランダムノイズを示す。
【００２２】
【数３】
【００２３】
読み出しノイズは、主に、信号非依存性のノイズ源からなる。読み出しノイズの平均値は、概ね０であり、主にその分散によって特性が示される。
【００２４】
【数４】
【００２５】
読み出しノイズの分散は定数であると仮定される。例えば、全ての画像の各画素において同一である。
【００２６】
ショットノイズは信号依存性であり、個々の画素の信号値に依存する分散によって特性が示される。
【００２７】
【数５】
【００２８】
但し、αは、画素における総ゲイン（デジタルナンバー（ＤＮ）／電子数）を表す。
【００２９】
上記二つのノイズ源の分散が合計されて、時間的なランダムノイズの総体的な分散となる。
【００３０】
【数６】
【００３１】
なお、不均一なオフセット成分およびゲイン成分は、空間的にはランダムに現われるが、時間的には実質的に固定されており、ゆえに、全ての画像において実質的に同一である。
【００３２】
（「オフライン」ステージ）
図３は、固定パターンノイズのゲイン成分（ＣＦＰＮ）の測定を説明する図である。固定パターンノイズの不均一なゲイン成分の特性は、二次元配列（Ｍ×Ｎ画素）ｃＦＰＮ（ｉ，ｊ）によって示すことができる。完全に均一な反応を伴うカメラでは、全ての画素においてｃＦＰＮ（ｉ，ｊ）＝１となる。値１からの偏差は、ゲイン成分における不均一性を表す。このゲイン成分は測定することができる。本システムは、空間的に均一な光源を用い、カメラに当該光源を向け、均一なフィールド（「フラットフィールド」）を複数撮像することができる。そのような均一な光源としては、例えば、積分球によって供給することができる。ここで、Ｋ１を、カメラによって撮像された画像の数とする。Ｋ１は、十分に大きな数にすべきである（例えば、Ｋ１＞９）。また、各画像について、カメラの設定パラメータおよび撮像条件は、「オンライン」（実稼働）ステージにおいて用いられるパラメータおよび条件と同一（または概ね同一）にすべきである。このとき、カメラに対し、フラットフィールドが提示されているため、実信号は、画像間において定常の値となるべきである。
【００３３】
【数７】
【００３４】
また、Ｋ１個の撮像画像（「フラットライト」画像とも称する）間において、時間的なノイズを除き、画像は同一になるべきである。ここで、本システムがＫ１個の撮像画像を平均化した場合、ランダムな時間的ノイズは抑制されよう。よって、式（１）および式（６）を考慮すれば、この平均化された画像（「平均フラットライト画像」とも称する）は、次の式によって規定される。
【００３５】
【数８】
【００３６】
この平均化された画像は、固定パターンノイズのゲイン成分を含んでおり、また、オフセット成分も含んでいる。固定パターンノイズのオフセット成分を除去および／または低減するために、同一のカメラによって、カメラ／センサに対して光を全く供給しないこと以外は同一の条件にて、別の一連の画像群（「フラットダーク」画像とも称する）を撮像することができる。この一連の「ダーク」画像を撮像するために用いる露光時間は、光の下、フラットフィールドに対して撮像を行うときに用いられた露光時間と同一（または実質的に同一）とする。ここで、Ｋ２を、撮像されたこのような「ダーク」画像の数とする。Ｋ２は、十分に大きな数にすべきである（例えば、Ｋ２＞９）。光がないため、ｆ（ｉ，ｊ）＝０となる。従って、式（１）を考慮すれば、本システムがこれらＫ２個の画像を平均化した場合、この平均化された画像（「平均フラットダーク画像」とも称する）は、次の式によって規定される。
【００３７】
【数９】
【００３８】
なお、ランダムノイズは、平均化によって抑制されよう。
【００３９】
固定パターンノイズのゲイン成分は、式（９）に示すように、「平均フラットダーク画像」を「平均フラットライト画像」から画素ごとに減算することにより算出することができる。
【００４０】
【数１０】
【００４１】
本システムは、この「固定パターンノイズゲイン成分画像（FPN gain image）」、または「フラットフィールド画像（flat field image）」に対して、後処理を行うことができる。すなわち、本システムは、その総体的な平均および総体的な標準偏差を算出することができる。そして、本システムは、最終的に推定されたフラットフィールドの画素値が、定常的なパラメータに基づいた最小値と最大値との間に収まるように画像をクリップ処理することができる。例えば、最小値は、全体的な平均値−３．０×全体的な標準偏差とすることができ、最大値は、全体的な平均値＋３．０×全体的な標準偏差とすることができる。フラットフィールド画像ＦＦ（ｉ，ｊ）は、後の「オンライン」ステージにおける固定パターンノイズのゲイン成分の補正のために蓄積される。
【００４２】
固定パターンノイズの不均一なオフセット成分は、二次元配列（Ｍ×Ｎ画素）ｄＦＰＮ（ｉ，ｊ）によって示すことができる。固定パターンノイズのオフセット成分を伴わないカメラは、０に等しいか、全ての画素において定数であるｄＦＰＮ（ｉ，ｊ）の値を有し得る。このオフセット成分は、任意の適切な技術を用いて測定することができる。例えば、図４に示す技術を用いることができる。
【００４３】
図４は、本システムによる、固定パターンノイズのオフセット成分ｄＦＰＮの測定を説明する図である。本システムは、一連の「ダークフレーム」を撮像することができる。すなわち、カメラまたはセンサに対して光を提供しない状態で画像を撮像する（レンズキャップを用いて、またはシャッタを閉じて）。これは、いくつかの露光時間についてなされるべきである。ここで、特定の露光時間をｔｍと記す。例えば、ｔｍ＝１００ｍｓである。この露光時間に関連づけられた固定パターンノイズのオフセット成分を、ｄＦＰＮ，ｔｍ（ｉ，ｊ）（左記において、添え字のｔｍは、ｔｍを表すものとする）と記す。ここで、Ｋ３を、露光時間ｔｍで撮像されたそのような「ダーク」画像の数とする。Ｋ３は、なるべく大きな数にすべきである（例えば、Ｋ３＞９）。光がないため、ｆ（ｉ，ｊ）＝０となる。従って、式（１）を考慮すれば、本システムがこれらＫ３個の画像を平均化した場合、この平均化された画像は、次の式によって規定される。
【００４４】
【数１１】
【００４５】
なお、ランダムノイズは、平均化によって抑制されよう。この画像は、「固定パターンノイズオフセット成分画像（FPN offset image）」、または「平均ダークフレーム（average fark frame）」と称することができる。この平均ダークフレームＤＦｔｍ（ｉ，ｊ）（左記において、添え字のｔｍは、ｔｍを表すものとする）は、必要とする露光時間の各々について取得すべきである。平均ダークフレームＤＦｔｍ（ｉ，ｊ）は、後の「オンライン」ステージにおける固定パターンノイズのオフセット成分の補正のために蓄積される。これによって、「オフライン」ステージにおける固定パターンノイズの特性解析に用いる工程が完了する。
【００４６】
また、時間的なランダムノイズ成分ｎＴ（ｉ，ｊ，ｋ）の特性解析に関連する「オフライン」ステージの他の工程を実施することができる。ランダムノイズの分散は、式（５）に記載されている。読み出しノイズおよびショットノイズの分散の特性を示すパラメータは、読み出しノイズの分散σ２ＲＥＡＤおよびショットノイズのゲインαである。用いられる特定のカメラについて、これらのパラメータを推定するために、信号レベルに対するノイズの分散のデータポイントを取得すべきである。例えば、露光時間を漸増させながら一連をデータフレームを取得することができる。すなわち、本システムは、露光時間を漸増する値（例えば、１、２、３、・・・、１００、・・・、２００、・・・ｍｓ）に設定することができる。本システムは、各露光時間にて、均一な（ブランク）ターゲットについての２つ（またはそれ以上）のデータフレームを撮像することができる。本システムはまた、当該露光時間にて、ダークフレームの組を撮像することができる。そして、データフレームのうち一方を、他方から減算する。本システムは、減算の結果得られた画像において、複数の測定ウィンドウを設定することができる。各測定ウィンドウは、複数の画素からなる正方形領域であり得る。例えば、６４×６４画素、１２８×１２８画素、または２５６×２５６画素の領域であり得る。各ウィンドウにおいて、本システムは、分散を算出し、２．０で除算する（減算についての補正）。本システムはまた、各測定ウィンドウについての「真」の信号値を算出することができる。これは、（平均化された）ダークフレームにおける測定ウィンドウの平均値を、対応するデータフレームにおける測定ウィンドウの平均値から減算することによって行うことができる。以上により、システムは、その測定ウィンドウについて、単一の＜信号、分散＞からなるデータポイントを取得することができる。複数の測定ウィンドウについての全てのデータポイントをまとめることにより、本システムは、様々なレベルの信号（および対応する分散値）におけるデータポイントを集めることができる。これらのデータポイントは、グラフ上にプロットすることができる。その例を図５に示す。図５に示すように、データポイントは線形的な挙動を示す。これは、式（５）において予測されたモデルのとおりである。当該モデルのパラメータは、集められたデータポイントから、それらを線型モデル（直線）に近似することにより容易に推定することができる。例えば、標準線形最小二乗近似法を用いることができる。これにより、カメラについて、σ２ＲＥＡＤおよびαの推定値を得ることができる。
【００４７】
（「オンライン」ステージ）
図６に、「オンライン」ステージにおけるノイズ低減処理の概要を示す。「オンライン」ステージにおけるノイズ低減処理では、まず、第１の画像が、望ましい露光時間Ｔｅを用いて撮像される。続いて、撮像画像における固定パターンノイズのゲイン成分およびオフセット成分が較正によって除去される。較正には、上述した、適切な露光時間についての「固定パターンノイズゲイン成分画像」および「固定パターンノイズオフセット成分画像」が用いられる。図２に示すように、本システムは、まず、オフセット成分を除去し、次いで、ゲイン成分を除去する。この二つのサブ工程は、同時に実行してもよいし、逆順で実行してもよい。ここで、撮像画像を、ｇｔｅ（ｉ，ｊ，ｋ）（左記において、添え字のｔｅは、ｔｅを表すものとする）と記す。「真」の画像ｆ（ｉ，ｊ，ｋ）の第１の推定画像は、以下のように算出することができる。
【００４８】
【数１２】
【００４９】
フラットフィールドの平均値は、フラットフィールド画像の空間的な平均をとることによって推定することができる。
【００５０】
【数１３】
【００５１】
固定パターンノイズの較正工程は、画像における固定パターンノイズを顕著に低減することができる。しかしながら、上述したように、固定パターンノイズ成分は完全には予測することはできない。画像中の固定パターンノイズは、過小に補償されるか、過大に補償され得る。ゆえに、このステージにおいて、画像中には固定パターンノイズが明白に残存し得る。この固定パターンノイズの残存成分は、主に、画像中のスパイク状のノイズまたはインパルス性ノイズとして現われる。すなわち、複数の孤立したスパイクから構成される。スパイクは、周囲の画素よりも顕著に高いか低い値を有し得る。固定パターンノイズ低減工程は、この残存スパイク状のノイズ（インパルス性ノイズ）を除去または低減することを意図するとともに、画像（景色）の特徴を何ら除去しないようにすることを図っている。
【００５２】
インパルス性ノイズを除去する一つのアプローチは、メディアンフィルタを用いることである。これは、例えば、３×３画素のウィンドウを用いて行う。しかし、メディアンフィルタは、インパルス性ノイズと画像の特徴とを峻別しない。それゆえ、画像の小さな特徴を除去するおそれがある。本システムは、いわゆるランク条件付きランク選択フィルタ（rank-conditioned rank-Selection filter family）に属する特定のフィルタを用いることができる。詳細には、画像の小さな特徴をより確実に除去しないように拡張された、ランク条件付きメディアンフィルタ（rank-conditioned median filter）を用いる。
【００５３】
（拡張されたランク条件付きメディアンフィルタ）
拡張されたランク条件付きメディアンフィルタは、以下のように規定することができる。本システムは、画像の全画素に亘ってスライドする３×３のウィンドウを用い得る。任意の位置において、本システムは、３×３のウィンドウ内の９つの画素値を取得することができる。これを、ベクタ［ｆ１，ｆ２，ｆ３，ｆ４，ｆ５，ｆ６，ｆ７，ｆ８，ｆ９］と記すこともある。なお、ｆ５が３×３のウィンドウの中央になるように順序づけられている。これらの画素値は、小さい値から大きい値に向かってランク付けされ得る。結果得られるランク付けされた画素値のベクタは、［ｒ１，ｒ２，ｒ３，ｒ４，ｒ５，ｒ６，ｒ７，ｒ８，ｒ９］（但し、ｒ１≦ｒ２≦ｒ３・・・≦ｒ９）と与えられる。言い換えれば、ｒ１は、ウィンドウにおけるランク１、すなわち最小の画素値であり、ｒ９は、ウィンドウにおけるランク９、すなわち最大の画素値であり、ｒ５は、ウィンドウにおけるランク５、すなわち画素値の中央値である。本システムでは、孤立したスパイク状のノイズは、まず、ウィンドウの中央の画素値が、ランク１（ウィンドウにおける最小値）またはランク９（ウィンドウにおける最大値）の何れかであるか否かを判定することによって検出される。中央の画素が、ランク１もランク９も有していなかった場合、中央の画素はスパイク状のノイズではなく、何ら処理は行われない。この場合、中央の画素は、置き換えられることなく、元からの値を維持する。中央の画素がランク１を有していた場合、本システムは、中央の画素の画素値（ｒ１）と、その次に小さい画素値（ｒ２）との差分を算出する。あるいは、中央の画素がランク９を有していた場合、本システムは、中央の画素の画素値（ｒ９）と、その次に大きい画素値（ｒ８）との差分を算出する。上記差分の絶対値が予め特定した閾値ＴＲＣＭよりも大きい場合、フィルタは、中央の画素を、固定パターンノイズの残存成分に起因するスパイク状のノイズであると分類する。この場合、中央の画素の画素値は、中央値（ｒ５）によって置き換えられる。拡張されたランク条件付きメディアンフィルタは、以下の様に特定することができる。
【００５４】
【数１４】
【００５５】
但し、ｆｃ（左記において、ｆの上にはキャレット（＾）が付されているものとする。以降、ｆｃ（キャレット）とも記載する。）は、中央の画素の推定値を示す。閾値の例として、ＴＲＣＭ＝８である。なお、閾値は、固定され得る。あるいは、閾値は、固定パターンノイズの残存成分の強さの推定に基づいて、適応的に決定されてもよい。
【００５６】
拡張されたランク条件付きメディアンフィルタの出力を算出するためのサブステップの流れは、望ましいように改変してもよい。例えば、異なるランク付け（順序づけ）技術を用いてもよい。他の例として、上述したフィルタを実現するためには、完全なランク付けは必ずしも必要ではないという観点から、フィルタを最適化してもよい。さらに他の例として、複数の、近隣のウィンドウの画素値を同時に考慮して処理するように、フィルタをさらに最適化してもよい。
【００５７】
図７に、フィルタの動作の例を示す。図７では、３×３のウィンドウを、画像の一部分に重ねて示している。ウィンドウにおける９つの画素値は、ベクタとして表現されている。中央の画素の画素値は７１であり、これは、周囲の全ての画素値と比べれば、ポジティブな単一画素のスパイクと見なすことができる。ランク付けされた画素値もまた、ベクタとして表現されている。フィルタは、スパイク状のノイズを次のように検出する。すなわち、フィルタは、中央の画素の画素値がランク９（最大値）を有しており、中央の画素の画素値と、次に大きい画素値（本例では、４７）との差分が、閾値（例えば、８）よりも大きいと判定することにより、中央の画素がスパイク状のノイズであることを検出する。この場合、中央の画素の画素値は、中央値（この例では、４６）に置き換えられ得る。なお、もしここで、中央の画素の画素値が４８であった場合、依然、中央の画素の画素値はランク９を有しているが、ランク８の画素の画素値との差分が、閾値よりも小さくなり得る。この場合には、顕著なスパイクは存在せず、フィルタは、中央の画素の画素値を、不変のままにし得る。
【００５８】
（ランクベースインパルス除去フィルタ）
ここで、液晶パネルの検査時におけるいくつかの場面において、画像の一部を占める小さな輝度ピークは、小さな欠陥絵素を表していることがある。そのため、固定パターンノイズの残存成分を除去したとしても、このような小さな欠陥絵素を判別できることが望ましい。固定パターンノイズの残存成分を除去したとしても、このような小さな欠陥絵素をより判別するための一つの技術として、ランクベースインパルス除去フィルタ（rank-based impulse removal (RIR) filter）を用いることがある。ＲＩＲフィルタは、画像の全画素に亘ってスライドする３×３のウィンドウを用いるものとして特徴付けられ得る。任意の位置において、本システムは、３×３のウィンドウ内の９つの画素値を取得することができる。これを、ベクタ［ｆ１，ｆ２，ｆ３，ｆ４，ｆ５，ｆ６，ｆ７，ｆ８，ｆ９］と記すこともある。なお、ｆ５が３×３のウィンドウの中央になるように順序づけられている。他の画素は、周囲の画素である。これらの画素値は、小さい値から大きい値に向かってランク付けされ得る。結果得られるランク付けされた画素値のベクタは、［ｒ１，ｒ２，ｒ３，ｒ４，ｒ５，ｒ６，ｒ７，ｒ８，ｒ９］（但し、ｒ１≦ｒ２≦ｒ３・・・≦ｒ９）と与えられる。言い換えれば、ｒ１は、ウィンドウにおけるランク１、すなわち最小の画素値であり、ｒ９は、ウィンドウにおけるランク９、すなわち最大の画素値であり、ｒ５は、ウィンドウにおけるランク５、すなわち画素値の中央値である。中央の画素（ｆ５）を、固定パターンノイズの残存成分に起因するスパイク状のノイズとして分類するためには、以下の３つの条件が満たされるべきである。
【００５９】
第１に、中央の画素をスパイク状のノイズとして分類するため、本システムは、中央の画素値が、ランク１（ウィンドウにおける最小値）またはランク９（ウィンドウにおける最大値）の何れかであるか否かを判定する。中央の画素が、ランク１もランク９も有していなかった場合、中央の画素はスパイク状のノイズではなく、何ら処理は行われない。この場合、中央の画素は、置き換えられることなく、元からの値を維持する。
【００６０】
第２に、中央の画素をスパイク状のノイズとして分類するため、本システムは、画素値の差について判定を行う。中央の画素がスパイク状のノイズとして分類されるためには、中央の画素は、ウィンドウにおける他の画素の画素値よりも大きく異なる画素値を有しているべきである。つまり、中央の画素がランク１を有していた場合、本システムは、中央の画素の画素値（ｒ１）と、その次に小さい画素値（ｒ２）との差分を算出する。あるいは、中央の画素がランク９を有していた場合、本システムは、中央の画素の画素値（ｒ９）と、その次に大きい画素値（ｒ８）との差分を算出する。上記差分の絶対値が予め特定した閾値ＴＲＣＭよりも大きくない場合、中央の画素はスパイク状のノイズとは分類されず、何ら処理は行われない。
【００６１】
第３に、中央の画素をスパイク状のノイズとして分類するため、本システムは、画素値の差についてさらなる判定を行う。中央の画素以外の画素値は、互いに十分に近くあるべきである。つまり、中央の画素がランク１を有していた場合、本システムは、ランク２の画素の画素値（ｒ２）と、ランク８の画素の画素値（ｒ８）およびランク９の画素の画素値（ｒ９）との差分をそれぞれ算出する。あるいは、中央の画素がランク９を有していた場合、本システムは、ランク８の画素の画素値（ｒ８）と、ランク１の画素の画素値（ｒ１）およびランク２の画素の画素値（ｒ２）との差分をそれぞれ算出する。そして、本システムは、差分の二乗の合計を算出する。差分の二乗の合計が、予め特定した閾値ＴＲＶよりも小さくない場合、中央の画素はスパイク状のノイズとは分類されず、何ら処理は行われない。
【００６２】
上記３つの条件が全て満たされた場合、中央の画素は、固定パターンノイズの残存成分に起因するスパイク状のノイズとして分類され得、中央の画素の画素値は、ランク２の画素の画素値またはランク８の画素の画素値によって置き換えられ得る。つまり、中央の画素がランク１を有していた場合、中央の画素の画素値は、ランク２の画素の画素値に置き換えられ；中央の画素がランク９を有していた場合、中央の画素の画素値は、ランク８の画素の画素値に置き換えられる。ランクベースインパルス除去フィルタは、以下の様に規定することができる。
【００６３】
【数１５】
【００６４】
但し、ｆｃ（キャレット）は、中央の画素の推定値を示す。閾値の例として、ＴＲＣＭ＝８かつＴＲＶ＝２０である。なお、閾値は、固定され得る。あるいは、閾値は、固定パターンノイズの残存成分の強さの推定に基づいて、適応的に決定されてもよい。
【００６５】
ランクベースインパルス除去フィルタの出力を算出するためのサブステップの流れは、望ましいように改変してもよい。例えば、異なるランク付け（順序づけ）技術を用いてもよい。他の例として、上述したフィルタを実現するためには、完全なランク付けは必ずしも必要ではないという観点から、フィルタを最適化してもよい。さらに他の例として、複数の、近隣のウィンドウの画素値を同時に考慮して処理するように、フィルタをさらに最適化してもよい。
【００６６】
図８に、フィルタの動作の例を示す。図７では、３×３のウィンドウを、画像の一部分に重ねて示している。ウィンドウにおける９つの画素値は、ベクタとして表現されている。中央の画素の画素値は７１であり、これは、周囲の全ての画素値と比べれば、ポジティブな単一画素のスパイクと見なすことができる。ランク付けされた画素値もまた、ベクタとして表現されている。フィルタは、スパイク状のノイズを次のように検出する。
【００６７】
（１）中央の画素の画素値がランク９を有していることを判定する（条件１）
（２）中央の画素の画素値と、次に大きい画素値（本例では、４７）との差分が、閾値よりも大きいことを判定する（条件２）、および
（３）中央の画素以外の画素の画素値が、互いに近いことを判定する（条件３）；これは、ｒ８とｒ１との差分、およびｒ８とｒ２との差分を算出し、差分の二乗の合計が閾値よりも小さいことを判定することによって判定され得る。
【００６８】
この場合、中央の画素は、値４７によって置き換えられる。
【００６９】
（拡張された適応型ノイズ平滑化フィルタ）
「オンライン」ノイズ低減ステージにおける最終工程は、固定パターンノイズの除去の後に、時間的なランダムノイズを抑制することである。時間的なランダムノイズには、読み出しノイズおよびショットノイズが含まれる。残存するランダムノイズは、空間的近傍フィルタ（spacial neighborhood filter）を用いて抑制することができる。この目的のために、本ステージにおいて画像データは、以下のようにモデル化され得る。
【００７０】
【数１６】
【００７１】
但し、ｆ（ｉ，ｊ，ｋ）は、「真の」画像を示し；ｇ（ｉ，ｊ，ｋ）は、与えられたデータを示し；ｎＴ（ｉ，ｊ）は、時間的なランダムノイズを示す。「真の」画像の特徴は、本ステージにおいて抑制されるべきではなく、処理時間は短く維持するべきである。本システムは、パフォーマンスが向上するように拡張されたいわゆる適応型ノイズ平滑化フィルタ（Adaptive Noise Smoothing filter）を用いることができる。拡張された適応型ノイズ平滑化フィルタは、局所統計量に基づくものであり、以下のように規定され得る。すなわち、フィルタは、処理すべき画素を中心とするスライドするウィンドウ（例えば、５×５の正方形のウィンドウ）を用いる。フィルタのウィンドウのサイズＷは、パラメータである。スライドするウィンドウは、位置（ｉ，ｊ）の画素を中心とするものとする。ここで、ｇ（ｉ，ｊ）（左記において、ｇの上にはバー（−）が付されているものとする。以降、ｇ（バー）とも記載する。）を、与えられた画像ｇ（ｉ，ｊ）の局所平均の推定値とする。本システムは、この値を、（ｉ，ｊ）を囲む局所的なウィンドウにおける平均画素値を算出することにより、決定することができる。推定値は、ウィンドウ内において局所平均を算出するために用いられる画素のセットを限定することにより検証され得る。つまり、中央の画素の画素値からの差分の絶対値が、閾値ＴＡＮＳよりも小さい画素値ｇ（ｍ，ｎ）のみを含めるようにする。すなわち、もし｜ｇ（ｍ，ｎ）−ｇ（ｉ，ｊ）｜＜ＴＡＮＳであれば、ｇ（ｍ，ｎ）は局所平均を推定するために供される。閾値の例としては、ＴＡＮＳ＝１０である。局所平均は、理論的には、ノイズがない画像（「真」の画像ｆ（ｉ，ｊ））の局所平均と一致する。なぜなら、ノイズの平均値は０であるからである。この局所平均ｇ（バー）（ｉ，ｊ）は、それ自身が、ノイズのない画像ｆ（ｉ，ｊ）の推定値として働き得る。しかし、本適応型ノイズ平滑化フィルタは、この局所平均を、入力された画素値ｇ（ｉ，ｊ）を用いて適応的に重み付けすることにより、これを改善する。この重み付け処理は、局所的な画像の特徴の抑制を防ぐように働く。局所的な画像の特徴の抑制は、ｇ（バー）（ｉ，ｊ）が、空間的局所平均化により得られるものであるために起こり得るものである。この重み付け処理において、本適応型ノイズ平滑化フィルタは、局所的なノイズ強度、および、局所的な信号の分散を考慮する。これを以下に示す。
【００７２】
ここで、Ｖｇ（ｉ，ｊ）をｇ（ｉ，ｊ）の局所的な分散の推定値とする。本システムは、この値を、（ｉ，ｊ）を囲う局所ウィンドウにおける画素値の局所的な分散の統計量を算出することにより、決定することができる。本システムは、ウィンドウ内の、この局所的な分散を算出するために用いる画素のセットを再び限定することにより、この推定値を改善することができる。つまり、中央の画素の画素値からの差分の絶対値が、閾値ＴＡＮＳよりも小さい画素値ｇ（ｍ，ｎ）のみを含めるようにする。すなわち、もし｜ｇ（ｍ，ｎ）−ｇ（ｉ，ｊ）｜＜ＴＡＮＳであれば、ｇ（ｍ，ｎ）は局所的な分散を推定するために供される。
【００７３】
ここで、Ｖｎ（ｉ，ｊ）を（ｉ，ｊ）における時間的なノイズの分散の推定値とする。上記ノイズモデルによれば、本システムは、この分散を以下のように捉えることができる。
【００７４】
【数１７】
【００７５】
ここで、本システムは、「オフライン」ステージにおいて推定されたランダムノイズのパラメータを使用する。これにより、本システムは、ノイズのない画像における局所的な分散Ｖｆ（ｉ，ｊ）を以下のように推定することができる。
【００７６】
【数１８】
【００７７】
すなわち、本システムは、ノイズの分散の推定値を、与えられた画像の分散の推定値から減算し、０値を閾値としてクリップ処理する（負の値を避けるため）。
【００７８】
ノイズのない画像の局所的な画素値の最終的な推定値は、以下のように算出される。
【００７９】
【数１９】
【００８０】
式（１７）に示されるように、本適応型ノイズ平滑化フィルタは、局所平均ｇ（バー）（ｉ，ｊ）と、ノイズを含む入力値ｇ（ｉ，ｊ）との間のバランスを算出する。この重み付けは、局所的な信号の分散に対する局所的なノイズの強度に基づいて局所的に決定される。画像の特徴部分の近くでは、局所的な信号の分散は大きい。それゆえ、入力値は局所平均よりも重く重み付けられ、特徴が維持される。特徴部分がない画像領域（例えば、平坦領域）では、ノイズ抑制効果を提供する。なお、閾値ＴＡＮＳは、固定され得る。あるいは、閾値は、ノイズの強さの推定に基づいて、適応的に決定されてもよい。例えば、閾値は、複数のノイズの局所的な標準偏差または推定値そのものに設定されてもよい。
【００８１】
（改変適応型ノイズ平滑化フィルタ）
他の好適なフィルタは、改変適応型ノイズ平滑化フィルタ（Modified Adaptive Noise Smoothing、Ｍ−ＡＮＳ）である。このフィルタは、入力画像における小さい輝度ピークを好適に維持する。小さい輝度ピークは、画像中の輝度ピークを表し得るものであり、画像の特徴部分を表すものであり得る。画像の特徴部分は、例えば、ＬＣＤパネルにおける欠陥絵素に対応する。フィルタは、改変された局所的な分散を算出することに基づくものであり得る。この改変された局所的な分散は、小さな輝度ピークを検出す貯めに用いることができる。輝度ピークの領域では、改変された局所的な分散は大きくなるため、改変適応型ノイズ平滑化フィルタは、殆どノイズ平滑化を行わない。背景領域のような、他の領域では、改変適応型ノイズ平滑化フィルタは、改変されていない適応型ノイズ平滑化フィルタと同等のノイズ平滑化効果を提供する。
【００８２】
改変適応型ノイズ平滑化フィルタは、局所統計量に基づくものであり、以下のように規定され得る。すなわち、フィルタは、処理すべき画素を中心とするスライドするウィンドウ（例えば、７×７の正方形のウィンドウ）を用いる。フィルタのウィンドウのサイズＱ１は、パラメータである。スライドするウィンドウは、位置（ｉ，ｊ）の画素を中心とするものとする。この第１のフィルターウィンドウ内に、第２の、より小さい、ウィンドウが存在する。より小さいフィルターウィンドウＷ２のサイズはパラメータであり、例えば、３×３の正方形のウィンドウである。これらの局所的なウィンドウは、図９に示される。フィルタは、小さいウィンドウ内の画素群として規定される中央領域（Ｃ）を用いることができる。フィルタはまた、大きいウィンドウ内であって、小さいウィンドウ内でない画素群として規定される周囲領域（Ｓ）を用いることができる。
【００８３】
フィルタは、周囲領域の画素値の平均μｓを以下のように算出することができる。
【００８４】
【数２０】
【００８５】
続いて、本システムは、改変された局所的な分散を、中央領域Ｃ内の画素値と、周囲領域の画素値の平均値との差分に基づいて、以下のように算出することができる。
【００８６】
【数２１】
【００８７】
この改変された局所的な分散を、「中央−周囲分散」ＣＳＶｇと記すことができる。
【００８８】
ここで、ｇ（バー）（ｉ，ｊ）を、与えられた画像ｇ（ｉ，ｊ）の局所平均の推定値とする。本システムは、この値を、（ｉ，ｊ）を囲む局所的なウィンドウ（例えば、図９に示すようなウィンドウ）における平均画素値を算出することにより、決定することができる。改変適応型ノイズ平滑化フィルタは、局所平均ｇ（バー）（ｉ，ｊ）を、入力された画素値ｇ（ｉ，ｊ）を用いて適応的に重み付けすることにより、ノイズのない画素値ｆ（ｉ，ｊ）の推定値を算出することができる。この重み付け処理は、局所的な画像の特徴の抑制を防ぐように働く。局所的な画像の特徴の抑制は、ｇ（バー）（ｉ，ｊ）が、空間的局所平均化により得られるものであるために起こり得るものである。この重み付け処理において、改変適応型ノイズ平滑化フィルタは、局所的なノイズ強度、および、局所的な信号の分散を考慮する。これを以下に示す。
【００８９】
ここで、Ｖｎ（ｉ，ｊ）を（ｉ，ｊ）における時間的なノイズの分散の推定値とする。上記ノイズモデルによれば、本システムは、この分散を以下のように捉えることができる。
【００９０】
【数２２】
【００９１】
ここで、本システムは、「オフライン」ステージにおいて推定されたランダムノイズのパラメータを使用する。これにより、本システムは、ノイズのない画像における局所的な分散Ｖｆ（ｉ，ｊ）を以下のように推定することができる。
【００９２】
【数２３】
【００９３】
すなわち、本システムは、ノイズの分散の推定値を、与えられた画像の分散の推定値から減算し、０値を閾値としてクリップ処理する（負の値を避けるため）。
【００９４】
ノイズのない画像の局所的な画素値の最終的な推定値は、以下のように算出される。
【００９５】
【数２４】
【００９６】
以上のように、改変適応型ノイズ平滑化フィルタは、局所平均ｇ（バー）（ｉ，ｊ）と、ノイズを含む入力値ｇ（ｉ，ｊ）との間のバランスを算出する。この重み付けは、改変された局所的な信号の分散に対する局所的なノイズの強度に基づいて局所的に決定される。局所的なウィンドウが、輝度ピーク（ＬＣＤパネルの欠陥絵素に対応）を中心とし、輝度ピークが小さい場合、このピークは中央領域（小さいウィンドウ）に含まれ、周囲領域は、背景およびノイズのみを含む。μｓが背景（非ピーク）の平均であるため、改変された局所的な分散（「中央−周囲分散」）は、ピーク領域において大きくなる。この場合、改変適応型ノイズ平滑化フィルタは、元の入力画素値を使用するようになり；輝度ピークが保存される。基本的な適応型ノイズ平滑化フィルタは、この輝度ピークを検出するためには効率的ではない。
【００９７】
局所的なウィンドウが輝度ピークを中心とするものではなく、背景領域を中心とするものであった場合、周囲領域の平均値は、中央領域の平均値と同じになるべきである。そのため、背景領域では、局所的な分散は小さくなり、改変適応型ノイズ平滑化フィルタは、よりノイズ平滑化を実施する。したがって、改変適応型ノイズ平滑化フィルタは、改変されていない適応型ノイズ平滑化フィルタと同等のノイズ平滑化効果を提供する；しかしながら、改変適応型ノイズ平滑化フィルタは、改変されていない適応型ノイズ平滑化フィルタよりも、輝度ピークをより良好に保存する。小さいウィンドウ（中央領域）のサイズは、保存されるべき最小の輝度ピークのサイズに適合させることができる。大きいウィンドウのサイズは、数画素分大きくあるべきである。
【００９８】
画像の特徴部分の近くでは、局所的な信号の分散は大きい。それゆえ、入力値は局所平均よりも重く重み付けられ、特徴が維持される。特徴部分がない画像領域（例えば、平坦領域）では、ノイズ抑制効果を提供する。なお、閾値ＴＡＮＳは、固定され得る。あるいは、閾値は、ノイズの強さの推定に基づいて、適応的に決定されてもよい。例えば、閾値は、複数のノイズの局所的な標準偏差または推定値そのものに設定されてもよい。
【００９９】
以上の詳細な説明において用いられた用語および表現は、説明のために用いられたものであり、限定のためではない。また、そのような用語および表現を用いるにあたって、説明および示した特徴の同等物やその部分を除外する意図もない。本発明の範囲は、特許請求の範囲において規定され限定されるべきであることが認識される。
【０１００】
（コンピュータシステム）
図１０は、上述したコンピュータシステムの一例を示す図である。図１０に示すように、コンピュータシステム２は、主制御部３および記録媒体４を備えている。主制御部３は、「オフライン」ステージ実行部５および「オンライン」ステージ実行部６を備えている。「オンライン」ステージ実行部６は、固定パターンノイズオフセット成分補正部７、固定パターンノイズゲイン成分補正部８、固定パターンノイズ残存成分フィルタ部９、およびショットノイズおよび読み出しノイズフィルタ部１０を備えている。コンピュータシステム２には、ＣＭＯＳ／ＣＣＤ検査カメラ１が接続されている。
【０１０１】
「オフライン」ステージ実行部５は、ＣＭＯＳ／ＣＣＤ検査カメラ１が撮像した画像に基づいて、上述した「オフライン」ステージにおけるノイズの測定および特性解析を実行する。具体的には、上述したとおり、条件を変えて撮像した撮像画像に基づいて、「固定パターンノイズゲイン成分画像」および「固定パターンノイズオフセット成分画像」を算出し、記録媒体４に記録する。
【０１０２】
固定パターンノイズオフセット成分補正部７および固定パターンノイズゲイン成分補正部８は、上述したとおり、ＣＭＯＳ／ＣＣＤ検査カメラ１が撮像した検査対象の撮像画像について、「固定パターンノイズゲイン成分画像」および「固定パターンノイズオフセット成分画像」を用いて較正して、固定パターンノイズのオフセット成分およびゲイン成分を除去する。
【０１０３】
固定パターンノイズ残存成分フィルタ部９は、固定パターンノイズの残存成分を除去する。固定パターンノイズ残存成分フィルタ部９は、例えば、上述したような、拡張されたランク条件付きメディアンフィルタまたはランクベースインパルス除去フィルタを用いる。
【０１０４】
ショットノイズおよび読み出しノイズフィルタ部１０は、ショットノイズおよび読み出しノイズを低減する。ショットノイズおよび読み出しノイズフィルタ部１０は、例えば、上述したような、拡張された適応型ノイズ平滑化フィルタ、または、改変適応型ノイズ平滑化フィルタを用いる。
【０１０５】
以上のように、コンピュータシステム２によれば、上述したノイズ低減技術を好適に実施することができる。
【０１０６】
（プログラムおよび記録媒体）
最後に、主制御部３の各ブロックは、集積回路（ＩＣチップ）上に形成された論理回路によってハードウェア的に実現してもよいし、ＣＰＵ（Central Processing Unit）を用いてソフトウェア的に実現してもよい。
【０１０７】
後者の場合、主制御部３は、各機能を実現するプログラムの命令を実行するＣＰＵ、上記プログラムを格納したＲＯＭ（Read Only Memory）、上記プログラムを展開するＲＡＭ（Random Access Memory）、上記プログラムおよび各種データを格納するメモリ等の記憶装置（記録媒体）などを備えている。そして、本発明の目的は、上述した機能を実現するソフトウェアである主制御部３の制御プログラムのプログラムコード（実行形式プログラム、中間コードプログラム、ソースプログラム）をコンピュータで読み取り可能に記録した記録媒体を、主制御部３に供給し、そのコンピュータ（またはＣＰＵやＭＰＵ）が記録媒体に記録されているプログラムコードを読み出し実行することによっても、達成可能である。
【０１０８】
上記記録媒体としては、例えば、磁気テープやカセットテープ等のテープ類、フロッピー（登録商標）ディスク／ハードディスク等の磁気ディスクやＣＤ−ＲＯＭ／ＭＯ／ＭＤ／ＤＶＤ／ＣＤ−Ｒ等の光ディスクを含むディスク類、ＩＣカード（メモリカードを含む）／光カード等のカード類、マスクＲＯＭ／ＥＰＲＯＭ／ＥＥＰＲＯＭ／フラッシュＲＯＭ等の半導体メモリ類、あるいはＰＬＤ（Programmable logic device）やＦＰＧＡ（Field Programmable Gate Array）等の論理回路類などを用いることができる。
【０１０９】
また、主制御部３を通信ネットワークと接続可能に構成し、上記プログラムコードを通信ネットワークを介して供給してもよい。この通信ネットワークは、プログラムコードを伝送可能であればよく、特に限定されない。例えば、インターネット、イントラネット、エキストラネット、ＬＡＮ、ＩＳＤＮ、ＶＡＮ、ＣＡＴＶ通信網、仮想専用網（Virtual Private Network）、電話回線網、移動体通信網、衛星通信網等が利用可能である。また、この通信ネットワークを構成する伝送媒体も、プログラムコードを伝送可能な媒体であればよく、特定の構成または種類のものに限定されない。例えば、ＩＥＥＥ１３９４、ＵＳＢ、電力線搬送、ケーブルＴＶ回線、電話線、ＡＤＳＬ（Asymmetric Digital Subscriber Line）回線等の有線でも、ＩｒＤＡやリモコンのような赤外線、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＩＥＥＥ８０２．１１無線、ＨＤＲ（High Data Rate）、ＮＦＣ（Near Field Communication）、ＤＬＮＡ（Digital Living Network Alliance）、携帯電話網、衛星回線、地上波デジタル網等の無線でも利用可能である。
【０１１０】
本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。
【産業上の利用可能性】
【０１１１】
本発明は、マシンビジョンシステムにおける撮像技術等に好適に利用することができる。
【符号の説明】
【０１１２】
１ ＣＭＯＳ／ＣＣＤ検査カメラ
２ コンピュータシステム
３ 主制御部
４ 記録媒体
５ 「オフライン」ステージ実行部
６ 「オンライン」ステージ実行部
７ 固定パターンノイズオフセット成分補正部
８ 固定パターンノイズゲイン成分補正部
９ 固定パターンノイズ残存成分フィルタ部
１０ ショットノイズおよび読み出しノイズフィルタ部
【特許請求の範囲】
【請求項１】
撮像装置が撮像した画像のノイズを低減する方法であって、
該撮像装置から該画像を取得する第１の工程と、
該画像から固定パターンノイズのオフセット成分を低減する第２の工程と、
該画像から固定パターンノイズのゲイン成分を低減する第３の工程と、
第２の工程および第３の工程の後に、該画像に含まれるインパルス性ノイズを低減するフィルタを用いて、該画像から固定パターンノイズの残存成分を低減する第４の工程と、を包含することを特徴とする方法。
【請求項２】
上記フィルタは、上記画像内に設定されたウィンドウにおいて、ウィンドウ内における各画素について、画素値に基づくランク付けを行うことを特徴とする請求項１に記載の方法。
【請求項３】
上記ウィンドウが、３×３画素のウィンドウであることを特徴とする請求項２に記載の方法。
【請求項４】
上記ランク付けが、上記ウィンドウ内における画素値の順位付けであることを特徴とする請求項２に記載の方法。
【請求項５】
上記フィルタは、上記ウィンドウの中央の画素の画素値を改変対象とすることを特徴とする請求項４に記載の方法。
【請求項６】
上記中央の画素の画素値の改変の条件は、上記中央の画素の画素値が、上記ウィンドウ内の各画素における最小値または最大値であることを含むことを特徴とする請求項５に記載の方法。
【請求項７】
上記中央の画素の画素値の改変の条件は、上記ウィンドウ内の画素間の差分に基づく条件を含むことを特徴とする請求項６に記載の方法。
【請求項８】
上記中央の画素の画素値の改変の条件は、上記中央の画素の画素値と、上記ウィンドウ内の上記中央の画素以外の各画素の画素値との差分が、予め特定された閾値以上であることを含むことを特徴とする請求項７に記載の方法。
【請求項９】
上記中央の画素の画素値の改変の条件は、上記ウィンドウ内の上記中央の画素以外の各画素の画素値同士の差分が、予め特定された閾値よりも小さいことを含むことを特徴とする請求項８に記載の方法。
【請求項１０】
上記フィルタは、下記式に基づいて画像処理を行うことを特徴とする請求項９に記載の方法。
【数１】
（但し、ｆ１〜９は、上記ウィンドウ内の各位置（ｆ５が中央を示す）に対応する各画素値を示し、ｒ１〜９は、画素値に基づいて並べ替えられた（ｒ１が最小値を示し、ｒ９が最大値を示す）各画素値を示し、ＴＲＤおよびＴＲＶは、予め特定された閾値を示し、ｏｔｈｅｒｗｉｓｅは、上２式が成立しない場合を示し、左矢印は、代入を示す。）
【請求項１】
撮像装置が撮像した画像のノイズを低減する方法であって、
該撮像装置から該画像を取得する第１の工程と、
該画像から固定パターンノイズのオフセット成分を低減する第２の工程と、
該画像から固定パターンノイズのゲイン成分を低減する第３の工程と、
第２の工程および第３の工程の後に、該画像に含まれるインパルス性ノイズを低減するフィルタを用いて、該画像から固定パターンノイズの残存成分を低減する第４の工程と、を包含することを特徴とする方法。
【請求項２】
上記フィルタは、上記画像内に設定されたウィンドウにおいて、ウィンドウ内における各画素について、画素値に基づくランク付けを行うことを特徴とする請求項１に記載の方法。
【請求項３】
上記ウィンドウが、３×３画素のウィンドウであることを特徴とする請求項２に記載の方法。
【請求項４】
上記ランク付けが、上記ウィンドウ内における画素値の順位付けであることを特徴とする請求項２に記載の方法。
【請求項５】
上記フィルタは、上記ウィンドウの中央の画素の画素値を改変対象とすることを特徴とする請求項４に記載の方法。
【請求項６】
上記中央の画素の画素値の改変の条件は、上記中央の画素の画素値が、上記ウィンドウ内の各画素における最小値または最大値であることを含むことを特徴とする請求項５に記載の方法。
【請求項７】
上記中央の画素の画素値の改変の条件は、上記ウィンドウ内の画素間の差分に基づく条件を含むことを特徴とする請求項６に記載の方法。
【請求項８】
上記中央の画素の画素値の改変の条件は、上記中央の画素の画素値と、上記ウィンドウ内の上記中央の画素以外の各画素の画素値との差分が、予め特定された閾値以上であることを含むことを特徴とする請求項７に記載の方法。
【請求項９】
上記中央の画素の画素値の改変の条件は、上記ウィンドウ内の上記中央の画素以外の各画素の画素値同士の差分が、予め特定された閾値よりも小さいことを含むことを特徴とする請求項８に記載の方法。
【請求項１０】
上記フィルタは、下記式に基づいて画像処理を行うことを特徴とする請求項９に記載の方法。
【数１】
（但し、ｆ１〜９は、上記ウィンドウ内の各位置（ｆ５が中央を示す）に対応する各画素値を示し、ｒ１〜９は、画素値に基づいて並べ替えられた（ｒ１が最小値を示し、ｒ９が最大値を示す）各画素値を示し、ＴＲＤおよびＴＲＶは、予め特定された閾値を示し、ｏｔｈｅｒｗｉｓｅは、上２式が成立しない場合を示し、左矢印は、代入を示す。）
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【公開番号】特開２０１２−２３５４４２（Ｐ２０１２−２３５４４２Ａ）
【公開日】平成２４年１１月２９日（２０１２．１１．２９）
【国際特許分類】
【出願番号】特願２０１１−２７９０４０（Ｐ２０１１−２７９０４０）
【出願日】平成２３年１２月２０日（２０１１．１２．２０）
【出願人】（０００００５０４９）シャープ株式会社 (33,933)
【Ｆターム（参考）】
【公開日】平成２４年１１月２９日（２０１２．１１．２９）
【国際特許分類】
【出願日】平成２３年１２月２０日（２０１１．１２．２０）
【出願人】（０００００５０４９）シャープ株式会社 (33,933)
【Ｆターム（参考）】
[ Back to top ]