改良型ダーク・フレーム減算
調節されたダーク・フレーム部分を得るために、ピクチャ・フレームのダーク基準ピクセルに関連した補償値に従ってダーク・フレーム（１１６）の一部を調節して、前記調節されたダーク・フレーム部分を対応するピクチャ・フレーム部分から減算する方法。この技術は、暗電流雑音を補償することにより、デジタル・カメラまたはビデオ会議カメラに使用されているような画像センサ（６７）の正確さを改善するのに使用することができる。この技術はＣＭＯＳ画像センサおよび、一般的に、ダーク・フレーム減算を必要とするあらゆる画像センサに適用することができる。この技術は、画像センサおよび撮像システムの較正と共に使用することもできる。
【発明の詳細な説明】
【０００１】
背景情報 発明の分野 本発明は、一般的に電子撮像システムに関し、特に、画像センサの応答を補正する技術に関する。
【０００２】
関連技術の説明 電子撮像は、デジタル・カメラやパーソナル・コンピュータ（ＰＣ）などの撮像システムが、消費者に低コストにデジタル画像や映画を取り込み、ＰＣやネットワークを使用して他者にそれらを表示したり伝達する能力を提供するに従って、ますますポピュラーになってきている。電子撮像の魅力の別の面は、取り込まれた画像の、期待される基準からの欠陥を電子的に補正するその能力にある。これらの欠陥は、期待される仕様を満足すべき撮像システムを製造するという現実によって引き起こされることが多い。
【０００３】
撮像システムにおける望ましくない性質はシステムの応答に偏差を引き起こすことである。かかる偏差を補正するために、従来の較正基準を遂行して、システム応答を期待される応答に一致するように電子的に調節することができる。
【０００４】
１つのかかる技術においては、撮像システムは、色刺激のピクチャ・フレーム（画像を含む）を生成するために、マクベス・カラー・チャートなどの既知の色刺激に曝される。各ピクチャ・フレームは、１つ１つが半導体画像センサ内のセンサ回路素子と関連づけられているいくつかのデジタル・ピクセル値を含む。ピクチャ・フレームは期待される仕様と比較されて、実際の値と期待される値との間の相違に関する較正因子が計算される。較正因子は次に、更に正確な色内容を有する画像を得るために、同じ画像センサを使用して撮られたそれに続くピクチャ・フレームに適用される。
【０００５】
製造工程の差に加えて、画像センサを構成する半導体構造内の熱経過や欠陥も、画像システムの応答における僅かな偏差を引き起こす。これらの偏差を、本明細書中ではダーク・オフセット・ノイズと呼んでいる。ダーク・オフセット・ノイズに対する要因は、画像センサの各センサ回路素子における漏れ電流（暗電流）や回路オフセットである。ダーク・オフセット・ノイズは各ピクチャ・フレームに浸透する。
【０００６】
漏れ電流およびダーク・オフセット・ノイズを、画像センサによって取り込まれたピクチャ・フレームから分離したダーク・フレームによって表すことができる。デジタル・カメラなどのほとんどの撮像システムは、補正されたフレームを得るために、ピクチャ・フレームからダーク・フレームを単に差し引くことにより、最高程度までダーク・オフセット・ノイズを打ち消そうと試みる。ピクチャ・フレームは所望のシーンの画像であり、ダーク・フレームは同じカメラを用いてはいるが、画像センサに光が入射しないようにカメラの機械的シャッタを閉じた状態で撮影された別の画像である。差し引きは、ピクチャ・フレームからダーク・オフセット・ノイズを限定された程度まで消すことにより、補正されたフレームにおける画像の質を改善する。そうでなければ、ノイズは未補正のピクチャ・フレームに現れるスペックル（speckle）や粒状化（graininess）につながるであろう。
【０００７】
上記の従来の暗電流差し引き技術が従来の較正技術と結合され、較正において幾分か改良された正確性を達成することができる。しかし、かかる技術は、相補型酸化金属半導体（ＣＭＯＳ）画像センサで使用される較正スキームの計測較正分析による十分に正確で反復可能な結果を提供しない。したがって、画像センサのための較正の正確さおよび反復可能性を更に改善することが望ましい。
【０００８】
概要 一実施態様における発明は、ピクチャ・フレームのダーク基準ピクセルに関連した補償値に従って、ダーク・フレームの少なくとも一部を調節する方法に関する。ダーク・フレームとピクチャ・フレームは同じ画像センサから得られた。これは調節されたダーク・フレーム部分を生じさせ、これは次に、補正されたピクチャ・フレームを得るために、ピクチャ・フレームの対応する部分から差し引かれる。
【０００９】
詳細な説明 上記で簡単に要約したように、本発明の一実施形態は、ピクチャ・フレームから理想的なダーク・フレームのよりよい推定値を差し引くことにより、製造試験と較正の正確さを改善し、画像センサと画像システムの性能を改善する方法である。理想的なダーク・フレームは、ピクチャ・フレームと同時に取り込まれるであろう仮定的なフレームである。しかし、実際には、ダーク・フレームとピクチャ・フレームとは異なった時間に取り込まれる。これらのフレーム間の間にあるのが１秒の違いであっても、画像センサの温度を変化させ、このことが理想的なダーク・フレームに対してダーク・フレームに大きな誤りを含ませる。温度変化は、ＣＭＯＳ画像センサなどの集積機能を有するセンサにおいて特に強い。
【００１０】
理想的ダーク・フレームのより正確な推定値を得るために、同じ画像センサを使用して取り込まれたピクチャ・フレーム内のダーク基準ピクセルに関連した補償値に基づいて、ダーク・フレームを調節する。ダーク基準ピクセルは他のピクチャ・フレームと同時に取り込まれるので、これらを理想的なダーク・フレームの一部と見てもよいし、したがって、理想的なダーク・フレームをよりよく推定するのに使用してもよい。
【００１１】
図１および図２は、調節されたダーク・フレームの差し引きを実施することにより、画像センサの応答の正確さを改善した方法である本発明の実施形態を示している。図１において、ダーク・フレーム１１６とピクチャ・フレーム１２６の２つのフレームが示されている。これらのフレームは、同じ画像センサから得られる。そのための特定の順序はない。各フレームは、通常は各フレームの周辺に位置する、いくつかの基準ピクセル１１２をダーク・フレーム内に、また基準ピクセル１２２をピクチャ・フレーム内に含んでいる。これらは、如何なる入射光に対しても露出されないセンサ素子によって生成された、ダーク基準ピクセルとして知られている。
【００１２】
ピクチャ・フレーム１２６は、この実施形態においては画像センサを使用して取り込まれたシーンの全体の画像を表す部分ＦPを含んでいる。ＦPを生成するセンサ要素は、異なった露出におけるダーク・フレーム１１６のＦ'Dも生成する。Ｆ'Dにおけるピクセルは「ダーク電子」のみからの要因を含み、一方、それに対応するＦPにおけるピクセルは、同じセンサ要素のダーク電子と撮影された電子からの要因を含む。しかし、ピクチャ・フレーム１２６が取り込まれる時間と、ダーク・フレーム１１６が取り込まれる時間との間における、画像センサで生ずる温度の相違のために、ダーク電子からの要因は２つの対応するピクセルにおいて異なる。
【００１３】
かかる相違を補償することを補助するために、Ｆ'Dにおけるピクセルは、ピクチャ・フレーム１２６のダーク基準ピクセルＲiに関連する補償値に従って調節される。これは、図１の実施形態における等式（１−１）として表される。調節されたダーク・フレーム部分Ｆ"Dはダーク・フレーム部分Ｆ'Dに、ダーク・フレームにおけるＮ個の対応するダーク参照ピクセルＲiの合計と、ピクチャ・フレーム１２６におけるＲiとの比を掛けることにより与えられる。調節されたダーク・フレーム部分はＦ"Dは、仮定的な理想的ダーク・フレームのよりよい推定値として見てもよい。部分Ｆ"Dが一旦調節されると、調節されたダーク・フレームＦ"Dは、等式（１−２）に示したように、その対応するピクチャ・フレーム部分ＦPから減算されて、補正されたピクチャ・フレーム部分ＦP(corrected)を生ずる。
【００１４】
図２は、上記の図１の枠組みを使用して本発明の一実施形態において行われるステップを要約している。操作は通常はステップ２１０で開始され、ここでダーク・フレーム１１６が画像センサを使用して取り込まれる。操作はステップ２２０で継続し、ここでピクチャ・フレーム１２６は同じ画像センサを使用して取り込まれる。その後、操作はステップ２３０に継続し、ここでダーク・フレームの部分は、ピクチャ・フレームのダーク基準ピクセルＲiに関連する補償値に従って調節される。これは調節されたダーク・フレーム部分Ｆ"Dを生じさせ、これは、補正されたピクチャ・フレーム部分を得るために、ピクチャ・フレームの対応する部分ＦPから減算される。したがって、補正されたピクチャ・フレームは、理想的ダーク・フレームに関する改善された推定値の利益を受ける。操作はステップ２５０に継続し、ここで補正されたピクチャ・フレーム部分の処理または表示が更に行われてもよい。たとえば、補正されたピクチャ・フレームは、画像センサの色較正の正確さを改善する際に特に有用な場合がある。かかるシナリオにおいては、画像センサに関する色較正マトリックスを決定するために使用される。ダーク・フレームの改善された推定値を減算することの効果は、当該技術分野において既知の技術を使用して、色較正スキームで計測能力分析を行うことにより評価できる。
【００１５】
補正されたピクチャ・フレーム部分は、デッド・ピクセルを検出することの正確性を改善する際にも有用である。ピクチャ・フレーム部分ＦPから減算されるダーク・フレーム部分Ｆ'Dにおける誤りを減らすことは、真にデッドな、すなわち、極端に高いか極端に低いか何れかであるピクセル値を有するＦPにおけるピクセルをよりよく識別することを補助する。
【００１６】
図１の実施形態におけるダーク基準ピクセルＲiは、ピクチャ・フレーム１２６におけるピクセルの少なくとも１つの列を形成する。通常、Ｒiについて２つまたは３つの列が使用され、選択された列はダーク基準列のグループの中央にある。中央の列は、ＦPとの境界に近い露出されたセンサ回路素子によって生成されたピクセルを使用する可能性を回避するために選択される。したがって、１０２４×７６８の最大解像度を有する画像センサについては、図１の等式（１−１）のＮは、約数千であろう。
【００１７】
Ｒiの列に対する１つの代替物として、図３はダーク基準ピクセルＳiのグループを示している。これらは、部分ＦPの周囲の境界を形成する行と列の両方を含んでいる。この実施形態においては、補償値は、等式（３−１）に示されたように、ダーク基準ピクセルＳiの合計に関連する。このことは調節されたフレーム部分Ｆ'''Dとなり、等式（３−２）において示されたように補正されたピクチャ・フレーム部分を与えるために、その対応するピクチャ・フレーム部分ＦPからこれが減算される。
【００１８】
図４に示された更に別の実施形態においては、ダーク基準ピクセルは多数の部分Ｔ1、Ｔ2、．．．、ＴQとして形成される。その場合に、ダーク・フレーム１１６は部分Ｆ'D1、Ｆ'D2、．．．、Ｆ'DQに分割され、そこでそれぞれの部分Ｆ'Djは、等式（４−１）において示されたように、それぞれの基準ピクセルＴjに関連した補償値に基づいて調節される。全ての部分でＦ'Djが一旦調節されると、個々に補正されたピクチャ・フレームＦPj(corrected)を得るために、（４−２）に示されたように、その対応するピクチャ・フレームの部分ＦPjからそれぞれが別個に減算される。このようにダーク・フレーム１１６を処理することにより、画像センサ全体にわたる温度勾配によって引き起こされたダーク・フレーム１１６における誤りを減らすことができる。
【００１９】
図４におけるようにピクチャ・フレーム１２６を分割することが、隣接する補正された部分ＦPj(corrected)の間の境界に継ぎ目を有する補正されたピクチャ・フレームに帰結するのであれば、たとえば、隣接する補正された部分にＤＣ整合アルゴリズムを適用することにより、かかる継ぎ目を取り除くことができる。たとえば、ジョイント・フォトグラフィック・エキスパート・グループ（ＪＰＥＧ）拡張子に使用されているような、隣接する補正された部分の間の境界がＪＰＥＧマクロ・ブロックと整列することを可能にする、既知のＤＣ整合アルゴリズムを使用してもよい。
【００２０】
以上でこの開示は、ピクチャ・フレームが取り込まれた時間と、ダーク・フレームが取り込まれた時間との間の画像センサにおける温度の相違によって引き起こされることがある、ダーク・フレーム１１６における誤りを減少させる技術を説明してきた。特に図４の実施形態は、画像センサ全体にわたる温度勾配によって引き起こされる誤りも解決する。ダーク・フレーム１１６における誤りへの第３の要因はランダム雑音である。ランダム雑音は、ダーク・フレームおよびピクチャ・フレームの両方におけるそれらの値のランダムな偏差を有する任意のピクセルに帰結する。温度差または温度勾配によって引き起こされる誤りとは対照的に、ランダム雑音の誤りは一般的に、上記の調節されたダーク・フレーム減算技術を使用することに関して抑制または補正することはできない。しかし、ダーク・フレームにおいてランダム雑音を更に減らすために、これらの技術を、ＦPに対比されるＦ'Dを得るために、より大きい積分または露出時間を使用する技術と組み合わせてもよい。
【００２１】
ランダム雑音を更に緩和することを補助するために、ダーク・フレーム１１６を得るのに使われる積分時間がピクチャ・フレーム１２６の積分時間よりも長くなるように、上記の図１〜４の実施形態を修正してもよい。上記の方法は、これ以外には、ダーク・フレームと関連づけられたより長い積分時間に関連する第２の補償値に従ってＦ'Dを調節する付加的なステップを除いて同一である。たとえば、図１の等式（１−１）における調節されたダーク・フレーム部分Ｆ"Dは、次のように更に調節される。
Ｆ''''D＝Ｆ''D×（ｔ／ｔ’）、ｔ’＞ｔここで、ｔは、ピクチャ・フレーム１２６を得るのに使われる積分時間であり、ｔ'は、ダーク・フレーム１１６における対応するピクセルのより長い積分時間である。
【００２２】
以上でこの開示は、本発明の多様な実施形態を説明する際に、単一のピクチャ・フレームと単一のダーク・フレームに言及してきた。図５は、シーンにおいて動作を取り込むのに使用できるピクチャ・フレームのシーケンス１２６M1、１２６M2、．．．に特に適した本発明の更に別の実施形態を示している。上記の単一のフレーム実施形態で説明した原理は、多数のピクチャ・フレームのシーケンスに拡張できる。図５において、同じ画像センサによって取り込まれる一連の別個の動作フレームＭＦkが示されている。フレームＭＦkは、（５−１）に示されたように、調節されたダーク・フレームＦ"Dkを減算することにより補正される。この実施形態において、単一のダーク・フレーム１１６Dは、動作フレームを取り込む同じ画像センサによって得られる。各調節されたダーク・フレーム部分Ｆ"Dkは、（５−２）に示されたように、個々の動作フレーム１２６Mkのダーク基準ピクセルＭＲkiに関連した補償値に従ってＦ'Dを調節することにより得られる。したがって、調節されたダーク・フレーム部分Ｆ"Dkは、補正された動作フレーム部分ＭＦk(corrected)を得るために、個々のＭＦkから減算される。
【００２３】
単一のダーク・フレーム１１６を使用することの代替策としては、２つ以上のダーク・フレームを取り込んで、動作フレーム１２６Mkと共に使用することができる。たとえば、別個のダーク・フレームを取り込んで、５個の動作フレームずつ調節するのに使用することができる。このようにして、理想的なダーク・フレームを、ダーク・フレームとその関連動作フレームとを時間的に互いにより近く、したがって温度でもより近く維持することにより、よりよく推定できる（画像センサの温度は連続的フレームと共に変化するので）。
【００２４】
図６は、画像システムの一部である装置としての、本発明のいくつかの実施形態を示している。一実施形態においては、デジタル・カメラの元々の機器製造業者に提供されるもののような画像モジュール６１８に、モジュール上の画像センサ６１７の応答の正確性を改善する際に図２のステップ２１０〜２４０を行うように構成されたアプリケーション特定集積回路（ＡＳＩＣ）などの論理回路を備えることができる。補正されたピクチャまたは動作フレームは、取り外し可能な不揮発性記憶装置またはコンピュータ周辺バス（たとえば、ユニバーサル・シリアル・バス）によって、処理システム６１０に転送される。補正されたピクチャ・フレームは、更に処理されて、既知の技術に従って色較正目的または表示前の画像処理などのために使用することができる。
【００２５】
アプリケーション特定論理回路の代替物として、ダーク・フレームを調節してピクチャ・フレームからの削除を行うステップを遂行するために、プログラムされたプロセッサを使用してもよい。その場合に、イメージャ・モジュール６１８とデジタル・カメラ６１４は、プロセッサによって実行されたときに図２のステップを行わせる命令を含む、半導体メモリなどの機械可読媒体から構成される製品を含むであろう。
【００２６】
本発明の上記のイメージャ・モジュールおよびデジタル・カメラの実施形態においては、ピクチャ・フレームまたは動作フレームはまず補正されて、たとえばコンピュータである処理システム６１０に転送される。代替的に、補正は画像処理システム６１０によって行われてもよい。その場合に、システム６１０は、イメージャ・モジュール６１８またはデジタル・カメラ６１４から補正されたダーク・フレームおよびピクチャ・フレームを受け取ると、図２のステップを行うように構成されている。この実施形態においては、メモリ６３０および／または大規模記憶装置６３４（たとえば、ハード・ディスク・ドライブなど）は、プロセッサ６２６によって実行されたときに、補正されていないダーク・フレームとピクチャ・フレームを、図１〜５におけるように調節され減算される前にＩ／Ｏ制御装置６２２（たとえば、ＵＳＢコントローラ）を通してシステム６１０に転送させる命令を含むであろう。
【００２７】
上記の本発明の実施形態は、もちろん、構造および実施における他の変更を施される。たとえば、上記の調節されたダーク・フレーム減算技術は、ＣＭＯＳセンサにおける暗電流雑音を補償するのに特に有用な場合があるが、この技術は、赤外線熱撮像センサおよび電荷結合素子（ＣＣＤ）センサなどの他の種類の画像センサにおいて、暗電流の望ましくない影響を緩和するために適用できる。一般的に、本発明の範囲は、説明した実施形態によってではなく、特許請求の範囲およびそれらの法的均等物によて判断されるべきである。
【図面の簡単な説明】
【図１】
本発明の実施形態の枠組みを示した図である。
【図２】
図１の枠組みにおいて遂行される一連の操作の図である。
【図３】
本発明の更に別の実施形態による調節されたダーク・フレームを得る技術の図である。
【図４】
本発明の更に別の実施形態による調節されたダーク・フレームを得る技術の図である。
【図５】
本発明の実施形態による調節された映画フレームを得る技術の図である。
【図６】
本発明の更に別の実施形態としての画像処理システムのブロック図である。
【０００１】
背景情報 発明の分野 本発明は、一般的に電子撮像システムに関し、特に、画像センサの応答を補正する技術に関する。
【０００２】
関連技術の説明 電子撮像は、デジタル・カメラやパーソナル・コンピュータ（ＰＣ）などの撮像システムが、消費者に低コストにデジタル画像や映画を取り込み、ＰＣやネットワークを使用して他者にそれらを表示したり伝達する能力を提供するに従って、ますますポピュラーになってきている。電子撮像の魅力の別の面は、取り込まれた画像の、期待される基準からの欠陥を電子的に補正するその能力にある。これらの欠陥は、期待される仕様を満足すべき撮像システムを製造するという現実によって引き起こされることが多い。
【０００３】
撮像システムにおける望ましくない性質はシステムの応答に偏差を引き起こすことである。かかる偏差を補正するために、従来の較正基準を遂行して、システム応答を期待される応答に一致するように電子的に調節することができる。
【０００４】
１つのかかる技術においては、撮像システムは、色刺激のピクチャ・フレーム（画像を含む）を生成するために、マクベス・カラー・チャートなどの既知の色刺激に曝される。各ピクチャ・フレームは、１つ１つが半導体画像センサ内のセンサ回路素子と関連づけられているいくつかのデジタル・ピクセル値を含む。ピクチャ・フレームは期待される仕様と比較されて、実際の値と期待される値との間の相違に関する較正因子が計算される。較正因子は次に、更に正確な色内容を有する画像を得るために、同じ画像センサを使用して撮られたそれに続くピクチャ・フレームに適用される。
【０００５】
製造工程の差に加えて、画像センサを構成する半導体構造内の熱経過や欠陥も、画像システムの応答における僅かな偏差を引き起こす。これらの偏差を、本明細書中ではダーク・オフセット・ノイズと呼んでいる。ダーク・オフセット・ノイズに対する要因は、画像センサの各センサ回路素子における漏れ電流（暗電流）や回路オフセットである。ダーク・オフセット・ノイズは各ピクチャ・フレームに浸透する。
【０００６】
漏れ電流およびダーク・オフセット・ノイズを、画像センサによって取り込まれたピクチャ・フレームから分離したダーク・フレームによって表すことができる。デジタル・カメラなどのほとんどの撮像システムは、補正されたフレームを得るために、ピクチャ・フレームからダーク・フレームを単に差し引くことにより、最高程度までダーク・オフセット・ノイズを打ち消そうと試みる。ピクチャ・フレームは所望のシーンの画像であり、ダーク・フレームは同じカメラを用いてはいるが、画像センサに光が入射しないようにカメラの機械的シャッタを閉じた状態で撮影された別の画像である。差し引きは、ピクチャ・フレームからダーク・オフセット・ノイズを限定された程度まで消すことにより、補正されたフレームにおける画像の質を改善する。そうでなければ、ノイズは未補正のピクチャ・フレームに現れるスペックル（speckle）や粒状化（graininess）につながるであろう。
【０００７】
上記の従来の暗電流差し引き技術が従来の較正技術と結合され、較正において幾分か改良された正確性を達成することができる。しかし、かかる技術は、相補型酸化金属半導体（ＣＭＯＳ）画像センサで使用される較正スキームの計測較正分析による十分に正確で反復可能な結果を提供しない。したがって、画像センサのための較正の正確さおよび反復可能性を更に改善することが望ましい。
【０００８】
概要 一実施態様における発明は、ピクチャ・フレームのダーク基準ピクセルに関連した補償値に従って、ダーク・フレームの少なくとも一部を調節する方法に関する。ダーク・フレームとピクチャ・フレームは同じ画像センサから得られた。これは調節されたダーク・フレーム部分を生じさせ、これは次に、補正されたピクチャ・フレームを得るために、ピクチャ・フレームの対応する部分から差し引かれる。
【０００９】
詳細な説明 上記で簡単に要約したように、本発明の一実施形態は、ピクチャ・フレームから理想的なダーク・フレームのよりよい推定値を差し引くことにより、製造試験と較正の正確さを改善し、画像センサと画像システムの性能を改善する方法である。理想的なダーク・フレームは、ピクチャ・フレームと同時に取り込まれるであろう仮定的なフレームである。しかし、実際には、ダーク・フレームとピクチャ・フレームとは異なった時間に取り込まれる。これらのフレーム間の間にあるのが１秒の違いであっても、画像センサの温度を変化させ、このことが理想的なダーク・フレームに対してダーク・フレームに大きな誤りを含ませる。温度変化は、ＣＭＯＳ画像センサなどの集積機能を有するセンサにおいて特に強い。
【００１０】
理想的ダーク・フレームのより正確な推定値を得るために、同じ画像センサを使用して取り込まれたピクチャ・フレーム内のダーク基準ピクセルに関連した補償値に基づいて、ダーク・フレームを調節する。ダーク基準ピクセルは他のピクチャ・フレームと同時に取り込まれるので、これらを理想的なダーク・フレームの一部と見てもよいし、したがって、理想的なダーク・フレームをよりよく推定するのに使用してもよい。
【００１１】
図１および図２は、調節されたダーク・フレームの差し引きを実施することにより、画像センサの応答の正確さを改善した方法である本発明の実施形態を示している。図１において、ダーク・フレーム１１６とピクチャ・フレーム１２６の２つのフレームが示されている。これらのフレームは、同じ画像センサから得られる。そのための特定の順序はない。各フレームは、通常は各フレームの周辺に位置する、いくつかの基準ピクセル１１２をダーク・フレーム内に、また基準ピクセル１２２をピクチャ・フレーム内に含んでいる。これらは、如何なる入射光に対しても露出されないセンサ素子によって生成された、ダーク基準ピクセルとして知られている。
【００１２】
ピクチャ・フレーム１２６は、この実施形態においては画像センサを使用して取り込まれたシーンの全体の画像を表す部分ＦPを含んでいる。ＦPを生成するセンサ要素は、異なった露出におけるダーク・フレーム１１６のＦ'Dも生成する。Ｆ'Dにおけるピクセルは「ダーク電子」のみからの要因を含み、一方、それに対応するＦPにおけるピクセルは、同じセンサ要素のダーク電子と撮影された電子からの要因を含む。しかし、ピクチャ・フレーム１２６が取り込まれる時間と、ダーク・フレーム１１６が取り込まれる時間との間における、画像センサで生ずる温度の相違のために、ダーク電子からの要因は２つの対応するピクセルにおいて異なる。
【００１３】
かかる相違を補償することを補助するために、Ｆ'Dにおけるピクセルは、ピクチャ・フレーム１２６のダーク基準ピクセルＲiに関連する補償値に従って調節される。これは、図１の実施形態における等式（１−１）として表される。調節されたダーク・フレーム部分Ｆ"Dはダーク・フレーム部分Ｆ'Dに、ダーク・フレームにおけるＮ個の対応するダーク参照ピクセルＲiの合計と、ピクチャ・フレーム１２６におけるＲiとの比を掛けることにより与えられる。調節されたダーク・フレーム部分はＦ"Dは、仮定的な理想的ダーク・フレームのよりよい推定値として見てもよい。部分Ｆ"Dが一旦調節されると、調節されたダーク・フレームＦ"Dは、等式（１−２）に示したように、その対応するピクチャ・フレーム部分ＦPから減算されて、補正されたピクチャ・フレーム部分ＦP(corrected)を生ずる。
【００１４】
図２は、上記の図１の枠組みを使用して本発明の一実施形態において行われるステップを要約している。操作は通常はステップ２１０で開始され、ここでダーク・フレーム１１６が画像センサを使用して取り込まれる。操作はステップ２２０で継続し、ここでピクチャ・フレーム１２６は同じ画像センサを使用して取り込まれる。その後、操作はステップ２３０に継続し、ここでダーク・フレームの部分は、ピクチャ・フレームのダーク基準ピクセルＲiに関連する補償値に従って調節される。これは調節されたダーク・フレーム部分Ｆ"Dを生じさせ、これは、補正されたピクチャ・フレーム部分を得るために、ピクチャ・フレームの対応する部分ＦPから減算される。したがって、補正されたピクチャ・フレームは、理想的ダーク・フレームに関する改善された推定値の利益を受ける。操作はステップ２５０に継続し、ここで補正されたピクチャ・フレーム部分の処理または表示が更に行われてもよい。たとえば、補正されたピクチャ・フレームは、画像センサの色較正の正確さを改善する際に特に有用な場合がある。かかるシナリオにおいては、画像センサに関する色較正マトリックスを決定するために使用される。ダーク・フレームの改善された推定値を減算することの効果は、当該技術分野において既知の技術を使用して、色較正スキームで計測能力分析を行うことにより評価できる。
【００１５】
補正されたピクチャ・フレーム部分は、デッド・ピクセルを検出することの正確性を改善する際にも有用である。ピクチャ・フレーム部分ＦPから減算されるダーク・フレーム部分Ｆ'Dにおける誤りを減らすことは、真にデッドな、すなわち、極端に高いか極端に低いか何れかであるピクセル値を有するＦPにおけるピクセルをよりよく識別することを補助する。
【００１６】
図１の実施形態におけるダーク基準ピクセルＲiは、ピクチャ・フレーム１２６におけるピクセルの少なくとも１つの列を形成する。通常、Ｒiについて２つまたは３つの列が使用され、選択された列はダーク基準列のグループの中央にある。中央の列は、ＦPとの境界に近い露出されたセンサ回路素子によって生成されたピクセルを使用する可能性を回避するために選択される。したがって、１０２４×７６８の最大解像度を有する画像センサについては、図１の等式（１−１）のＮは、約数千であろう。
【００１７】
Ｒiの列に対する１つの代替物として、図３はダーク基準ピクセルＳiのグループを示している。これらは、部分ＦPの周囲の境界を形成する行と列の両方を含んでいる。この実施形態においては、補償値は、等式（３−１）に示されたように、ダーク基準ピクセルＳiの合計に関連する。このことは調節されたフレーム部分Ｆ'''Dとなり、等式（３−２）において示されたように補正されたピクチャ・フレーム部分を与えるために、その対応するピクチャ・フレーム部分ＦPからこれが減算される。
【００１８】
図４に示された更に別の実施形態においては、ダーク基準ピクセルは多数の部分Ｔ1、Ｔ2、．．．、ＴQとして形成される。その場合に、ダーク・フレーム１１６は部分Ｆ'D1、Ｆ'D2、．．．、Ｆ'DQに分割され、そこでそれぞれの部分Ｆ'Djは、等式（４−１）において示されたように、それぞれの基準ピクセルＴjに関連した補償値に基づいて調節される。全ての部分でＦ'Djが一旦調節されると、個々に補正されたピクチャ・フレームＦPj(corrected)を得るために、（４−２）に示されたように、その対応するピクチャ・フレームの部分ＦPjからそれぞれが別個に減算される。このようにダーク・フレーム１１６を処理することにより、画像センサ全体にわたる温度勾配によって引き起こされたダーク・フレーム１１６における誤りを減らすことができる。
【００１９】
図４におけるようにピクチャ・フレーム１２６を分割することが、隣接する補正された部分ＦPj(corrected)の間の境界に継ぎ目を有する補正されたピクチャ・フレームに帰結するのであれば、たとえば、隣接する補正された部分にＤＣ整合アルゴリズムを適用することにより、かかる継ぎ目を取り除くことができる。たとえば、ジョイント・フォトグラフィック・エキスパート・グループ（ＪＰＥＧ）拡張子に使用されているような、隣接する補正された部分の間の境界がＪＰＥＧマクロ・ブロックと整列することを可能にする、既知のＤＣ整合アルゴリズムを使用してもよい。
【００２０】
以上でこの開示は、ピクチャ・フレームが取り込まれた時間と、ダーク・フレームが取り込まれた時間との間の画像センサにおける温度の相違によって引き起こされることがある、ダーク・フレーム１１６における誤りを減少させる技術を説明してきた。特に図４の実施形態は、画像センサ全体にわたる温度勾配によって引き起こされる誤りも解決する。ダーク・フレーム１１６における誤りへの第３の要因はランダム雑音である。ランダム雑音は、ダーク・フレームおよびピクチャ・フレームの両方におけるそれらの値のランダムな偏差を有する任意のピクセルに帰結する。温度差または温度勾配によって引き起こされる誤りとは対照的に、ランダム雑音の誤りは一般的に、上記の調節されたダーク・フレーム減算技術を使用することに関して抑制または補正することはできない。しかし、ダーク・フレームにおいてランダム雑音を更に減らすために、これらの技術を、ＦPに対比されるＦ'Dを得るために、より大きい積分または露出時間を使用する技術と組み合わせてもよい。
【００２１】
ランダム雑音を更に緩和することを補助するために、ダーク・フレーム１１６を得るのに使われる積分時間がピクチャ・フレーム１２６の積分時間よりも長くなるように、上記の図１〜４の実施形態を修正してもよい。上記の方法は、これ以外には、ダーク・フレームと関連づけられたより長い積分時間に関連する第２の補償値に従ってＦ'Dを調節する付加的なステップを除いて同一である。たとえば、図１の等式（１−１）における調節されたダーク・フレーム部分Ｆ"Dは、次のように更に調節される。
Ｆ''''D＝Ｆ''D×（ｔ／ｔ’）、ｔ’＞ｔここで、ｔは、ピクチャ・フレーム１２６を得るのに使われる積分時間であり、ｔ'は、ダーク・フレーム１１６における対応するピクセルのより長い積分時間である。
【００２２】
以上でこの開示は、本発明の多様な実施形態を説明する際に、単一のピクチャ・フレームと単一のダーク・フレームに言及してきた。図５は、シーンにおいて動作を取り込むのに使用できるピクチャ・フレームのシーケンス１２６M1、１２６M2、．．．に特に適した本発明の更に別の実施形態を示している。上記の単一のフレーム実施形態で説明した原理は、多数のピクチャ・フレームのシーケンスに拡張できる。図５において、同じ画像センサによって取り込まれる一連の別個の動作フレームＭＦkが示されている。フレームＭＦkは、（５−１）に示されたように、調節されたダーク・フレームＦ"Dkを減算することにより補正される。この実施形態において、単一のダーク・フレーム１１６Dは、動作フレームを取り込む同じ画像センサによって得られる。各調節されたダーク・フレーム部分Ｆ"Dkは、（５−２）に示されたように、個々の動作フレーム１２６Mkのダーク基準ピクセルＭＲkiに関連した補償値に従ってＦ'Dを調節することにより得られる。したがって、調節されたダーク・フレーム部分Ｆ"Dkは、補正された動作フレーム部分ＭＦk(corrected)を得るために、個々のＭＦkから減算される。
【００２３】
単一のダーク・フレーム１１６を使用することの代替策としては、２つ以上のダーク・フレームを取り込んで、動作フレーム１２６Mkと共に使用することができる。たとえば、別個のダーク・フレームを取り込んで、５個の動作フレームずつ調節するのに使用することができる。このようにして、理想的なダーク・フレームを、ダーク・フレームとその関連動作フレームとを時間的に互いにより近く、したがって温度でもより近く維持することにより、よりよく推定できる（画像センサの温度は連続的フレームと共に変化するので）。
【００２４】
図６は、画像システムの一部である装置としての、本発明のいくつかの実施形態を示している。一実施形態においては、デジタル・カメラの元々の機器製造業者に提供されるもののような画像モジュール６１８に、モジュール上の画像センサ６１７の応答の正確性を改善する際に図２のステップ２１０〜２４０を行うように構成されたアプリケーション特定集積回路（ＡＳＩＣ）などの論理回路を備えることができる。補正されたピクチャまたは動作フレームは、取り外し可能な不揮発性記憶装置またはコンピュータ周辺バス（たとえば、ユニバーサル・シリアル・バス）によって、処理システム６１０に転送される。補正されたピクチャ・フレームは、更に処理されて、既知の技術に従って色較正目的または表示前の画像処理などのために使用することができる。
【００２５】
アプリケーション特定論理回路の代替物として、ダーク・フレームを調節してピクチャ・フレームからの削除を行うステップを遂行するために、プログラムされたプロセッサを使用してもよい。その場合に、イメージャ・モジュール６１８とデジタル・カメラ６１４は、プロセッサによって実行されたときに図２のステップを行わせる命令を含む、半導体メモリなどの機械可読媒体から構成される製品を含むであろう。
【００２６】
本発明の上記のイメージャ・モジュールおよびデジタル・カメラの実施形態においては、ピクチャ・フレームまたは動作フレームはまず補正されて、たとえばコンピュータである処理システム６１０に転送される。代替的に、補正は画像処理システム６１０によって行われてもよい。その場合に、システム６１０は、イメージャ・モジュール６１８またはデジタル・カメラ６１４から補正されたダーク・フレームおよびピクチャ・フレームを受け取ると、図２のステップを行うように構成されている。この実施形態においては、メモリ６３０および／または大規模記憶装置６３４（たとえば、ハード・ディスク・ドライブなど）は、プロセッサ６２６によって実行されたときに、補正されていないダーク・フレームとピクチャ・フレームを、図１〜５におけるように調節され減算される前にＩ／Ｏ制御装置６２２（たとえば、ＵＳＢコントローラ）を通してシステム６１０に転送させる命令を含むであろう。
【００２７】
上記の本発明の実施形態は、もちろん、構造および実施における他の変更を施される。たとえば、上記の調節されたダーク・フレーム減算技術は、ＣＭＯＳセンサにおける暗電流雑音を補償するのに特に有用な場合があるが、この技術は、赤外線熱撮像センサおよび電荷結合素子（ＣＣＤ）センサなどの他の種類の画像センサにおいて、暗電流の望ましくない影響を緩和するために適用できる。一般的に、本発明の範囲は、説明した実施形態によってではなく、特許請求の範囲およびそれらの法的均等物によて判断されるべきである。
【図面の簡単な説明】
【図１】
本発明の実施形態の枠組みを示した図である。
【図２】
図１の枠組みにおいて遂行される一連の操作の図である。
【図３】
本発明の更に別の実施形態による調節されたダーク・フレームを得る技術の図である。
【図４】
本発明の更に別の実施形態による調節されたダーク・フレームを得る技術の図である。
【図５】
本発明の実施形態による調節された映画フレームを得る技術の図である。
【図６】
本発明の更に別の実施形態としての画像処理システムのブロック図である。
【特許請求の範囲】
【請求項１】 調節されたダーク・フレーム部分を得るために、ピクチャ・フレームのダーク基準ピクセルに関連した補償値に従って、ダーク・フレームの少なくとも一部を調節するステップであって、前記ダーク・フレームと前記ピクチャ・フレームは同じ画像センサから得られている調節するステップと、 補正されたピクチャ・フレームを得るために、前記ピクチャ・フレームの対応する部分から前記調節されたダーク・フレーム部分を減算するステップとを含む方法。
【請求項２】 前記補償値が、前記ピクチャ・フレームの前記ダーク基準ピクセルの合計の、前記ダーク・フレームの対応するピクセルの合計に対する比に関連する請求項１に記載の方法。
【請求項３】 前記ダーク基準ピクセルは前記ピクチャ・フレームのピクセルの少なくとも１つの列を形成している請求項１に記載の方法。
【請求項４】 前記調節するステップは、 複数の調節されたダーク・フレーム部分を得るために、前記ダーク基準ピクセルに関連した補償値に従って前記ダーク・フレームの複数の部分を調節し、 前記減算するステップは、 複数の補正された部分を得るために、前記複数の調節されたダーク・フレーム部分を、ピクチャ・フレームの対応する複数の部分から減算する請求項１に記載の方法。
【請求項５】 前記複数の補正された部分の間のあらゆる継ぎ目を除去することを更に含む請求項４に記載の方法。
【請求項６】 前記ピクチャ・フレームと前記ダーク・フレームとを得る際に使われる積分時間に関連した第２の補償値に従って、前記ダーク・フレームを調節するステップであって、前記ダーク・フレームに関する積分時間は前記ピクチャ・フレームに関する積分時間よりも長い調節するステップを含む請求項１に記載の方法。
【請求項７】 前記補正されたピクチャ・フレームを得た後に、前記画像センサに関する色構成マトリックスを生成することを更に含む請求項１に記載の方法。
【請求項８】 前記補正されたピクチャ・フレームにおいてデッド・ピクセルを検出することを更に含む請求項１に記載の方法。
【請求項９】 ダーク・フレームと複数の個々のピクチャ・フレームとに基づいて複数の調節されたダーク・フレーム部分を生成するステップであって、各調節されたダーク・フレーム部分は、前記個々のピクチャ・フレームのダーク基準ピクセルに関連した補償値に従って、前記ダーク・フレームの一部を調節することにより得られ、前記個々のピクチャ・フレームと前記ダーク・フレームは同じ画像センサを使用して得られる生成するステップと、 複数の補正されたピクチャ・フレームを得るために、前記複数の調節されたダーク・フレーム部分を前記複数の個々のピクチャ・フレームから減算するステップを含む方法。
【請求項１０】 画像センサと、 調節されたダーク・フレーム部分を得るために、ピクチャ・フレームのダーク基準ピクセルに関連した補償値に従ってダーク・フレームの少なくとも一部を調節するように構成され、前記ダーク・フレームおよび前記ピクチャ・フレームは前記画像センサから得られており、さらに、補正されたピクチャ・フレームを得るために、前記ピクチャ・フレームの対応する部分から前記調節されたダーク・フレーム部分を減算するように構成された論理回路とを含むイメージャ。
【請求項１１】 前記補正されたピクチャ・フレームを画像処理システムに転送する手段を更に含む請求項１０に記載のイメージャ。
【請求項１２】 前記補正されたピクチャ・フレームを画像処理システムに転送する、取り外し可能な不揮発性記憶装置を更に含む請求項１０に記載のイメージャ。
【請求項１３】 プロセッサによって実行されたときに、 調節されたダーク・フレーム部分を得るために、ピクチャ・フレームのダーク基準ピクセルに関連した補償値に従ってダーク・フレームの少なくとも一部を調節するステップであって、前記ダーク・フレームと前記ピクチャ・フレームとは同じ画像センサから得られている調整するステップと、 補正されたピクチャ・フレームを得るために、前記調節されたダーク・フレーム部分を前記ピクチャ・フレームの対応する部分から減算するステップとを行わせる命令を有する機械可読媒体を含む製品。
【請求項１４】 前記機械可読媒体は、前記プロセッサによって実行されたときに、前記ピクチャ・フレームの前記ダーク基準ピクセルの合計の、前記ダーク・フレームの対応するピクセルの合計に対する比に関連している前記補償値を生成させることを更に行わせる命令を更に有する請求項１３に記載の物品。
【請求項１】 調節されたダーク・フレーム部分を得るために、ピクチャ・フレームのダーク基準ピクセルに関連した補償値に従って、ダーク・フレームの少なくとも一部を調節するステップであって、前記ダーク・フレームと前記ピクチャ・フレームは同じ画像センサから得られている調節するステップと、 補正されたピクチャ・フレームを得るために、前記ピクチャ・フレームの対応する部分から前記調節されたダーク・フレーム部分を減算するステップとを含む方法。
【請求項２】 前記補償値が、前記ピクチャ・フレームの前記ダーク基準ピクセルの合計の、前記ダーク・フレームの対応するピクセルの合計に対する比に関連する請求項１に記載の方法。
【請求項３】 前記ダーク基準ピクセルは前記ピクチャ・フレームのピクセルの少なくとも１つの列を形成している請求項１に記載の方法。
【請求項４】 前記調節するステップは、 複数の調節されたダーク・フレーム部分を得るために、前記ダーク基準ピクセルに関連した補償値に従って前記ダーク・フレームの複数の部分を調節し、 前記減算するステップは、 複数の補正された部分を得るために、前記複数の調節されたダーク・フレーム部分を、ピクチャ・フレームの対応する複数の部分から減算する請求項１に記載の方法。
【請求項５】 前記複数の補正された部分の間のあらゆる継ぎ目を除去することを更に含む請求項４に記載の方法。
【請求項６】 前記ピクチャ・フレームと前記ダーク・フレームとを得る際に使われる積分時間に関連した第２の補償値に従って、前記ダーク・フレームを調節するステップであって、前記ダーク・フレームに関する積分時間は前記ピクチャ・フレームに関する積分時間よりも長い調節するステップを含む請求項１に記載の方法。
【請求項７】 前記補正されたピクチャ・フレームを得た後に、前記画像センサに関する色構成マトリックスを生成することを更に含む請求項１に記載の方法。
【請求項８】 前記補正されたピクチャ・フレームにおいてデッド・ピクセルを検出することを更に含む請求項１に記載の方法。
【請求項９】 ダーク・フレームと複数の個々のピクチャ・フレームとに基づいて複数の調節されたダーク・フレーム部分を生成するステップであって、各調節されたダーク・フレーム部分は、前記個々のピクチャ・フレームのダーク基準ピクセルに関連した補償値に従って、前記ダーク・フレームの一部を調節することにより得られ、前記個々のピクチャ・フレームと前記ダーク・フレームは同じ画像センサを使用して得られる生成するステップと、 複数の補正されたピクチャ・フレームを得るために、前記複数の調節されたダーク・フレーム部分を前記複数の個々のピクチャ・フレームから減算するステップを含む方法。
【請求項１０】 画像センサと、 調節されたダーク・フレーム部分を得るために、ピクチャ・フレームのダーク基準ピクセルに関連した補償値に従ってダーク・フレームの少なくとも一部を調節するように構成され、前記ダーク・フレームおよび前記ピクチャ・フレームは前記画像センサから得られており、さらに、補正されたピクチャ・フレームを得るために、前記ピクチャ・フレームの対応する部分から前記調節されたダーク・フレーム部分を減算するように構成された論理回路とを含むイメージャ。
【請求項１１】 前記補正されたピクチャ・フレームを画像処理システムに転送する手段を更に含む請求項１０に記載のイメージャ。
【請求項１２】 前記補正されたピクチャ・フレームを画像処理システムに転送する、取り外し可能な不揮発性記憶装置を更に含む請求項１０に記載のイメージャ。
【請求項１３】 プロセッサによって実行されたときに、 調節されたダーク・フレーム部分を得るために、ピクチャ・フレームのダーク基準ピクセルに関連した補償値に従ってダーク・フレームの少なくとも一部を調節するステップであって、前記ダーク・フレームと前記ピクチャ・フレームとは同じ画像センサから得られている調整するステップと、 補正されたピクチャ・フレームを得るために、前記調節されたダーク・フレーム部分を前記ピクチャ・フレームの対応する部分から減算するステップとを行わせる命令を有する機械可読媒体を含む製品。
【請求項１４】 前記機械可読媒体は、前記プロセッサによって実行されたときに、前記ピクチャ・フレームの前記ダーク基準ピクセルの合計の、前記ダーク・フレームの対応するピクセルの合計に対する比に関連している前記補償値を生成させることを更に行わせる命令を更に有する請求項１３に記載の物品。
【図１−１】
【図１−２】
【図２】
【図３−１】
【図３−２】
【図４−１】
【図４−２】
【図５】
【図６】
【図１−２】
【図２】
【図３−１】
【図３−２】
【図４−１】
【図４−２】
【図５】
【図６】
【公表番号】特表２００２−５１７１１２（Ｐ２００２−５１７１１２Ａ）
【公表日】平成１４年６月１１日（２００２．６．１１）
【国際特許分類】
【出願番号】特願２０００−５５１３５３（Ｐ２０００−５５１３５３）
【出願日】平成１１年５月１４日（１９９９．５．１４）
【国際出願番号】ＰＣＴ／ＵＳ９９／１０６９９
【国際公開番号】ＷＯ９９／６２０２３
【国際公開日】平成１１年１２月２日（１９９９．１２．２）
【出願人】
【氏名又は名称】インテル・コーポレーション
【Ｆターム（参考）】
【公表日】平成１４年６月１１日（２００２．６．１１）
【国際特許分類】
【出願日】平成１１年５月１４日（１９９９．５．１４）
【国際出願番号】ＰＣＴ／ＵＳ９９／１０６９９
【国際公開番号】ＷＯ９９／６２０２３
【国際公開日】平成１１年１２月２日（１９９９．１２．２）
【出願人】
【氏名又は名称】インテル・コーポレーション
【Ｆターム（参考）】
[ Back to top ]