説明

デジタル画像のノイズを低減する方法

ターゲットデジタル画像が、画像センサから受信される。画像は、参照デジタル画像で表される大きさのわからないノイズが混入されている。ターゲットデジタル画像及び参照デジタル画像の統計的分析を用いて、ターゲットデジタル画像の少なくともいくつかのピクセルについてのノイズの大きさを評価するプロセスが用いられる。

【発明の詳細な説明】
【技術分野】
【0001】
本明細書は、デジタル画像のノイズを低減する方法に関する。
【背景技術】
【0002】
CMOS画像センサによって生成されるデジタル画像などのデジタル画像に現れる特徴が(例えば、医学的応用においてなど)量的に分析されることになっているとき、分析の前に画像からノイズを低減するかまたは除去することは有用である。デジタル画像を生成する信号がノイズと比べて低い場合に、画像からノイズを低減するかまたは除去することは同様に有用である。
【0003】
画像を作るピクセル値におけるある特定の種類のノイズ(暗電流ノイズと称される。図1を参照せよ)は、ランダムなノイズレベルを示す。ノイズレベルは、光がセンサによって受信されていてもいなくても、CMOSセンサアレイのそれぞれのピクセルによって生成される。(文言「ピクセル」は2つの異なる意味で用いられることがある。即ち、一つは、センサアレイの特定の位置にある光電性エレメントを言い、もう一つは、画像の特定の位置にありかつ輝度に対応する値を有するピクチャエレメントを言う。用語「デジタル画像」は、画像を作るピクセルアレイの値を述べるのに用いられることがある。)温度は別として、その暗電流レベルに影響を与える各センサピクセルの物理的特徴は、時間とともに変化しない。しかしながら、ピクセルの暗電流レベルは、ピクセルの温度による。さらに、ピクセルの暗電流は、時間とともに帯電を形成させる。それゆえピクセル値への暗電流の影響はピクセルの露光時間による。
【0004】
画像の他のアーチファクトは、縦縞パターン(固定パターンノイズとも称される)、オフセット、及びショットノイズを含む。縦縞パターン(図2を参照せよ)は、アレイの異なるカラムのそれぞれの読み出し回路の動作における意図せざる差によるものであり、通常、時間がたっても変化しない。オフセットは、画像から画像までの全信号レベル(輝度)における差を示し、差は、読み出し回路の特定の電気特性における変化によって生じる。センサアレイによって生成される各ピクセル値は、信号値に比例する変動を有するランダムなショットノイズを含む。
【0005】
他の種類の画像センサによって生成されるデジタル画像も暗電流ノイズの影響を受けやすいかもしれない。
【発明の開示】
【課題を解決するための手段】
【0006】
一般に、ターゲットデジタル画像は、画像センサから受信される。画像は、参照デジタル画像で表される大きさのわからないノイズが混入されている。ターゲットデジタル画像及び参照デジタル画像の統計的分析を用いてターゲットデジタル画像の少なくともいくつかのピクセルについてノイズの大きさを評価するプロセスが用いられる。
【0007】
実施には以下の特徴のうちの1つまたは複数が含まれてもよい。センサは、CMOSセンサまたはCCDセンサである。ノイズは、暗電流ノイズを含む。プロセスは、ターゲットデジタル画像のあらゆるピクセルについて暗電流の大きさを評価する。プロセスは、プログラム命令を含む。統計的分析は、ターゲットデジタル画像と参照デジタル画像に関する無相関分析を含む。暗電流の大きさの評価は、センサ温度または露光時間についての情報を必要とせずに生成される。参照デジタル画像は暗電流デジタル画像に基づいており、暗電流デジタル画像は、実質的に縦縞パターンがなくて、それぞれ異なる露光時間を用いて得られるグレーデジタル画像と黒デジタル画像とから生成される。参照デジタル画像は、修正された暗電流デジタル画像に基づいており、修正された暗電流デジタル画像は、CMOSセンサのピクセルにわたって低頻度空間トレンドの影響を低減するように処理されている。参照デジタル画像は、トレンド除去された暗電流画像と黒デジタル画像との無相関性に基づいている。プロセスは、ターゲットデジタル画像からピクセルごとに縦縞パターンを引いて、縦縞パターンが修正されたデジタル画像を生成する。プロセスは、暗電流除去関数を縦縞パターンが修正されたデジタル画像に適用して、暗電流が修正されたデジタル画像を生成する。ターゲットデジタル画像のあらゆるピクセルのノイズは、評価された暗電流レベルを用いて低減される。プロセスは、オフセット評価及び減算関数を暗電流が修正されたデジタル画像に適用してオフセットを除去する。ノイズの低減されたターゲットデジタル画像は、CMOSセンサによって捕捉された画像の特徴の分析に用いるプロセッサに与えられる。ターゲットデジタル画像は、悪性病変を含んでいることがあるかもしれない。
【0008】
これらの特徴及び他の特徴並びに態様は、装置、方法、システム、プログラム製品、及び他の方法で表現されてもよい。
【0009】
他の利点及び特徴は、以下の詳細な説明及び請求の範囲から明らかにされる。
【図面の簡単な説明】
【0010】
【図1】暗電流の画像を示す図である。
【図2】縦縞パターンの画像を示す図である。
【図3】フローチャートである。
【図4A】フローチャートである。
【図4B】フローチャートである。
【図5】較正プロセス段階の画像を示す図である。
【図6】較正プロセス段階の別の画像を示す図である。
【図7】較正プロセス段階のまた別の画像を示す図である。
【図8】グラフを示す図である。
【図9】別のグラフを示す図である。
【発明を実施するための形態】
【0011】
図3に示すように、ターゲットシーン16(例えば、色素性病変18のある皮膚)から光学素子20を介して受信される光14に応じてCMOSセンサアレイ12によって生成される入力デジタル画像10(ターゲットとして、Tと称される)は、ノイズリダクションソフトウェア22(プロセッサ24によって実行される)によって(ストレージ38で一時的に記憶された後に)処理されて(例えば、ニューヨーク州アーヴィントンのエレクトロ‐オプティカルサイエンス社のメラノーマ検出製品であるメラファインド(MelaFind)(登録商標)を用いて、病斑が悪性メラノーマであるか否かを判断する(30)ために)、定量分析28で用いる出力デジタル画像26(Oと称される)を生成することができる。
【0012】
ノイズリダクションを医学的診断との関係におけるデジタル画像で実行する例が説明されているが、本ノイズリダクションプロセスは、いかなる目的に対するかついかなる状況下におけるいかなる画像センサアレイによって生成されるいかなるデジタル画像に対しても広く適用できる。例には、ノイズを低減したデジタル画像が、デジタル画像のノイズが問題になる最近の分析の対象となるいかなる例をも含んでいる。
【0013】
縦縞パターン及びオフセットを低減する特定の方法も説明されているが、本明細書で説明されるデジタル画像の暗電流(及び参照デジタル画像で特徴付けられる他のノイズ)を低減する技術は、縦縞パターン及びオフセットがない限り、様々な用途で用いられてもよいし、または、当該技術において、他の種類のノイズが低減されてもよいし低減されなくてもよく、低減される場合には、リダクションは、本明細書で説明された例で説明される方法で行われてもよいし行われなくてもよい、ということが注目される。
【0014】
他の種類の処理がまた、様々な用途においてセンサで生成されるデジタル画像に関して必要とされるかもしれない。他の種類の処理には、特定のレンズ及び照明器に付随する光学的影響を修正する処理を含む。よって、本明細書で説明されるノイズリダクション技術には、あらゆる光学的修正または特定の種類の光学的修正によって限定されない用途がある。
【0015】
図4A及び4Bに示すように、入力デジタル画像のノイズリダクション処理の前に、参照情報を取得して処理する。
【0016】
参照情報を展開処理するあるステップにおいて、グレーデジタル画像34の複数の独立したセットが、既知のセンサ温度または既知でないセンサ温度において暗部で取得されてストレージ38に記憶される。露光時間は、長時間露光からの飽和状態を回避してなお暗電流の信頼できる測定が行えるような中間範囲内にある。図5は、暗部で取得されるグレー画像の例(表示のために15倍の明度である)を示す。
【0017】
複数のグレーデジタル画像は、平均化されて(39)、平均デジタル画像40(Gと称される)が生成され、平均デジタル画像40では、個々のピクセルのショットノイズのレベルが低減される。
【0018】
また、入力デジタル画像のノイズリダクション処理の前に、縦縞パターンなどの固定パターンノイズがある場合、黒デジタル画像の複数の独立したセットが、暗部で取得される。黒のセットに対する露光時間は、グレーのセットに対するよりも短くて(例えば、ハードウェアが許容するできるだけ短い露光時間)、固定パターンノイズの信頼できる測定を行って黒のセットの暗電流レベルを最小にする。
【0019】
複数の黒画像は、平均化されて(39)、平均黒デジタル画像44(Bと称される)を生成し、平均黒デジタル画像44では、平均グレーデジタル画像についてのように、個々のピクセルのショットノイズの影響が低減される。
【0020】
平均黒デジタル画像Bが平均グレーデジタル画像Gから引かれて(46)、暗電流デジタル画像48(D)が生成される。グレーデジタル画像からの黒デジタル画像を引くことによって、純粋な暗電流の画像(縦縞パターンがない)が生成される。図6は、縦縞パターンを引いた後の図5の画像(表示のために15倍の明度である)を示す。
【0021】
次に、トレンド除去関数が暗電流デジタル画像48に適用されて(50)、データ48のピクセルから低頻度空間トレンドが除去される。なんとなれば、暗電流デジタル画像のトレンドは、ターゲットデジタル画像と相関性があるからである。このトレンド除去は、暗電流デジタル画像48のアレイ全体をNピクセル×Nピクセルのサブアレイに再分割することによって行われる。各サブアレイ内で、暗電流デジタル画像値が、最小二乗適合を用いて、2つの変数の二次関数に適用される。次に、各ピクセルに対するこの二次関数の値は、当該ピクセルの実際の暗電流値から引かれる。実際には、N=3で良好な結果が得られた。結果は、トレンド除去した暗電流デジタル画像52(S)である。
【0022】
次に、純粋な縦縞パターンデジタル画像V56が、暗電流除去関数(54)をBに最初に適用することによって生成される。一般に、除去関数は、デジタル画像を返す。デジタル画像は、(i)入力デジタル画像と、(ii)暗電流デジタル画像Dを要因A1倍した積と、の間のピクセルごとの差を示す。
V=B−A1*D
ここで、無相関関数は、2セットのデジタル画像、即ちB及びSに関して要因A1を見出す。
相関(B−A1*S,S)=0
ここで、相関は、画像の特定領域内のすべてのピクセルにわたって算出される。
【0023】
言い換えると、無相関関数は、画像のいくつかの領域にわたってデジタル画像Sからデジタル画像Bを無相関にする要因A1を決定する。図4の特定のステップ54に関して、無相関によって、黒画像Bにおける暗電流Dの大きさ(A1)が決定される。
【0024】
無相関関数は、センサ温度または露光時間を知る必要なしにターゲットピクセルからかつ参照ピクセルから暗電流ノイズが決定され得るようにする統計的分析の例である。分散最小化分析などの他の統計的方法が用いられてもよい。図のステップ54の結果は、純粋な縦縞パターンのデジタル画像V56である。
【0025】
図7は、暗電流ノイズを引いた後の図6の画像を示す(15レベル及び100レベルで乗算された明度が表示のために各ピクセルに加えられた)。
【0026】
図8は、明度を調節していない図5、6及び7の画像の標本図を示す。図8では、VRemは、固定パターンノイズを引いた後の明度である。DCRemは、固定パターンノイズ及び暗電流を引いた後の明度である。OffRemは、固定パターンノイズ、暗電流、及びオフセットを引いた後の明度である。図5のオリジナル画像では、ショットノイズは、約7−8レベルであり、ショットノイズは、較正プロセスによって除去されない。ショットノイズのリダクションは、画像についての空間の平均化または一時的な平均化のいずれかを必要とするかもしれない。
【0027】
上述のステップは、例えば、係数較正の間一度だけ実行される必要があり、得られる較正デジタル画像は、長期にわたって多数のターゲット画像のために記憶されて用いられてもよい。ターゲット画像が捕捉されるたびに再び較正画像情報を展開処理する必要はない。
【0028】
図4Bに示したように、Tのノイズを低減するために、純粋な縦縞パターンのデジタル画像Vが、Tから、ピクセルごとに引かれて、縦縞パターンが修正されたデジタル画像T1が得られる(60)。
T1=T−V
次に、画像のいくつかの領域にわたって無相関関数(54)を用いて、画像T1の当該領域の暗電流Dの大きさA2が、
相関(T1−A2*S,S)=0
から決定され、次に、暗電流がT1から除去されて、暗電流の修正されたデジタル画像T2が生成される(64)。
T2=T1−A2*D
CMOSセンサは、(ターゲットからのあらゆる光を含む)光から映されるアレイの(例えば、コーナーのまたはエッジの1つに沿った)黒領域を有するように配置され得る。黒領域からのデジタル画像は、画像内のオフセットを修正するために用いられ得る。黒領域デジタル画像は、前に説明した縦縞パターン除去ステップ及び暗電流除去ステップによって最初に処理され、得られた処理済みの黒領域データが、平均化されて(66)、平均黒領域値NBが生成される(68)。平均黒領域値が、画像の暗電流が修正されたデジタル画像T2のあらゆるピクセルから引かれて(70)、ターゲット画像からオフセットが排除される。得られたオフセットが修正されたデジタル画像T3(72)は、状況により追加の処理を受けてもよい。
【0029】
例えば、画像システムによって与えられる不均一性(一様でないターゲット照明または不均一なセンサ応答など)によるデジタル画像T3からのアーチファクトを除去することに関心があるかまたはデジタル画像T3の実際の反射率を決定することに関心がある場合、較正デジタル画像Wは、既知の拡散反射率を有する均一のホワイトターゲットを撮像することによって取得されてもよい。次に、このホワイトターゲットデジタル画像は、縦縞パターン除去(該当する場合、Vを引くこと)、無相関性をW‐V及びSに適用することによって暗電流の大きさを決定すること、暗電流除去、並びに、オフセット除去、を含む一連の工程を受けてW1を生成する。反射率較正78は、デジタル画像T3に適用されて、(ピクセルごとに実行される)以下の計算によって反射率デジタル画像T4が生成されてもよい(80)。
T4=(T3/W)*(E(W)/E(T3))*ρ
ここで、Eは露光時間であり、ρはホワイト較正ターゲットの反射率である。反射率較正78は、画像システムによって与えられる不均一性をデジタル画像T3から除去する。
【0030】
必要に応じ追加の処理がT4に行われて、出力画像Oを生成する。
【0031】
上述のプロセスは、センサアレイのすべての位置においてセンサ温度が均一であると仮定する。温度はセンサ全域で変化するという事実に対応させるために、暗電流は、センサの異なる部分で独立して評価されてもよく、独立した評価は入力デジタル画像の対応する部分に別個に適用された。
【0032】
上述のプロセスは、センサによって提供される単色のデジタル画像に適用され得る。いくつかの例では、プロセスは、センサによって同時に生成される異なるスペクトル領域の複数のデジタル画像に適用されてもよい(例えば、赤、緑、及び青‐RGB)。かかる場合、異なるスペクトル領域のデジタル画像は、上記のように独立して処理されてもよい。
【0033】
プロセスは、いくつかのセンサに対して、暗電流ノイズの影響を低減する方法として温度または露光時間を制御する必要性を減らす統計的分析を利用してもよい。
【0034】
上述のプロセスは、ハードウェア、ソフトウェア、もしくはファームウェア、またはそれらの任意の組み合わせで実行されてもよい。
【0035】
暗電流評価技術の検証は、上述の評価技術によって予測される暗電流レベルに対して温度と湿度等が調整された環境において様々な露光時間で特に得られる暗画像から取り出された暗電流レベルを比較することによって実行された。無相関ベースの推定器は、図9に示したように、避けられないショットノイズが出現した場合においてでさえ個々の画像の実際の暗電流レベルを正確に予測することができるということが証明された。
【0036】
他の実施例は、請求の範囲内にある。例えば、分散最小化分析が、無相関分析に代替されてもよい。
【0037】
本明細書で説明した技術は、可視領域及び赤外領域内のセンサ動作に対してだけでなく、x線及び場合によっては超音波に対して、即ち、暗電流ノイズの除去または暗電流ノイズと同様の影響の除去に有用であるかもしれないいかなるセンサに対しても有用であるだろう。
【0038】
上記の検討は、暗電流ノイズ修正を対象としているが、同様の技術は、参照画像の任意のノイズが既知であるかまたは取得され得る他の状況でかつターゲットデジタル画像のノイズの大きさが分からないといった他の状況で用いられてもよい。

【特許請求の範囲】
【請求項1】
参照デジタル画像によって表される大きさのわからないノイズが混入されているターゲットデジタル画像を画像センサから受信するステップと、
前記ターゲットデジタル画像及び前記参照デジタル画像の統計的分析を用いるプロセスを適用して、前記ターゲットデジタル画像の少なくともいくつかのピクセルについてのノイズの大きさを評価するステップと、
を含む方法。
【請求項2】
前記センサは、CMOSセンサを含むことを特徴とする請求項1記載の方法。
【請求項3】
前記センサは、CCDセンサを含むことを特徴とする請求項1記載の方法。
【請求項4】
前記ノイズは、暗電流ノイズを含むことを特徴とする請求項1記載の方法。
【請求項5】
前記プロセスは、前記ターゲットデジタル画像のあらゆるピクセルについて前記暗電流の大きさを評価することを特徴とする請求項4記載の方法。
【請求項6】
前記プロセスを適用するステップは、プログラム命令を実行するステップを含むことを特徴とする請求項1記載の方法。
【請求項7】
前記統計的分析は、前記ターゲットデジタル画像及び前記参照デジタル画像に関する無相関分析を含むことを特徴とする請求項1記載の方法。
【請求項8】
前記暗電流レベル評価は、センサ温度または露光時間についての情報を必要とせずに生成されることを特徴とする請求項4記載の方法。
【請求項9】
前記プロセスは、固定縦縞パターンを、ピクセルごとに、ターゲットデジタル画像から引くことを特徴とする請求項1記載の方法。
【請求項10】
前記プロセスは、暗電流除去関数を前記縦縞パターンが修正されたデジタル画像に適用して、暗電流が修正されたデジタル画像を生成することを特徴とする請求項4記載の方法。
【請求項11】
前記プロセスは、オフセット評価及び減算関数を前記暗電流が修正されたデジタル画像に適用してオフセットを除去することを特徴とする請求項1記載の方法。
【請求項12】
あらゆるピクセルに対して前記評価された暗電流レベルを用いて前記ターゲットデジタル画像のあらゆるピクセルの前記ノイズを低減するステップを更に含むことを特徴とする請求項4記載の方法。
【請求項13】
前記センサによって捕捉された画像の特徴を分析するのに用いるプロセッサに、前記ノイズが低減されたターゲットデジタル画像を与えるステップを更に含むことを特徴とする請求項1記載の方法。
【請求項14】
前記画像は、悪性病変を含むことがあることを特徴とする請求項13記載の方法。
【請求項15】
前記参照デジタル画像は、縦縞パターンが実質的になくてかつ異なる露光時間を用いてそれぞれ得られるグレイ画像デジタル画像と黒画像デジタル画像とから生成されている暗電流デジタル画像に基づいていることを特徴とする請求項4記載の方法。
【請求項16】
前記参照デジタル画像は、修正された暗電流デジタル画像に基づいていており、前記修正された暗電流デジタル画像は、前記センサの前記ピクセルにわたる低頻度空間トレンドの影響を低減するように処理されていることを特徴とする請求項4記載の方法。
【請求項17】
前記参照データは、トレンド除去された暗電流デジタル画像と黒画像デジタル画像との無相関性に基づいていることを特徴とする請求項4記載の方法。
【請求項18】
前記画像センサは、単色センサを含むことを特徴とする請求項1記載の方法。
【請求項19】
前記画像センサは、2つ以上の異なるスペクトル帯で同時に撮像するセンサを含むことを特徴とする請求項1記載の方法。
【請求項20】
前記画像センサは、赤帯域、緑帯域、及び青帯域(RGB)で撮像することを特徴とする請求項17記載の方法。
【請求項21】
前記参照画像は、外部光なしで前記センサから得られることを特徴とする請求項4記載の方法。
【請求項22】
前記画像センサは、可視領域または赤外領域で画像を生成することを特徴とする請求項1記載の方法。
【請求項23】
前記画像センサは、X線照射または超音波照射を用いて画像を生成することを特徴とする請求項1記載の方法。
【請求項24】
装置であって、
ソフトウェアプロセッサを含み、
前記ソフトウェアプロセッサは、
参照デジタル画像によって表される大きさのわからないノイズが混入されているターゲットデジタル画像を画像センサから受信し、
前記ターゲットデジタル画像及び前記参照デジタル画像の統計的分析を用いるプロセスを適用して、前記ターゲットデジタル画像の少なくともいくつかのピクセルについての前記ノイズの大きさを評価する、
ことを特徴とする装置。
【請求項25】
ノイズが低減された前記ターゲットデジタル画像を前記評価された暗電流レベルを用いて分析して、悪性病変の可能性の有無を判断するデバイスを更に含むことを特徴とする請求項24記載の装置。
【請求項26】
装置であって、
参照デジタル画像によって表される大きさのわからないノイズが混入されているターゲットデジタル画像を画像センサから受信する手段と、
得られた前記ターゲットデジタル画像及び前記参照デジタル画像の統計的分析を用いて、前記ターゲットデジタル画像の少なくともいくつかのピクセルについての前記ノイズの大きさを評価するプロセスを適用する手段と、
を含む装置。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4A】
image rotate

【図4B】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate

【図9】
image rotate


【公表番号】特表2010−500125(P2010−500125A)
【公表日】平成22年1月7日(2010.1.7)
【国際特許分類】
【出願番号】特願2009−523947(P2009−523947)
【出願日】平成19年8月7日(2007.8.7)
【国際出願番号】PCT/US2007/075333
【国際公開番号】WO2008/019358
【国際公開日】平成20年2月14日(2008.2.14)
【出願人】(509035026)エレクトロ−オプティカル サイエンシス インコーポレイテッド (3)
【Fターム(参考)】