異なる光感度をもつフォトダイオードを有する画像化アレイおよび関連する画像復元方法

【課題】異なる光感度をもつフォトダイオードを有する画像化アレイおよび関連する画像復元方法を提供する。
【解決手段】画素センサアレイは、第1の利得を有する複数の画素センサと、第1の利得よりも少ない第2の利得を有する複数の画素センサとを含み、第１の利得を有する画素の画素値が飽和するハイライト画素において、その近傍で利用可能な不飽和通常光感度画素の平均値または加重平均値とハイライト画素値との比として算出した補正値で補正する。

【発明の詳細な説明】
【技術分野】
【０００１】
（関連出願に対する相互参照）
本出願は、2011年7月26日に出願された米国仮特許出願第61/511,661号の優先権を主張する。
【０００２】
本発明は、光センサと、光センサの画像化アレイとに関する。より詳細には、本発明は、異なる光感度を有する画素を使用して形成される画像化アレイと、そのような画像化アレイを使用して取り込まれたデジタル画像の視覚情報を復元する方法とに関する。
【背景技術】
【０００３】
画像センサは、フォトダイオードとして通常形成される光感受性セル(光センサ)のアレイである。画像の品質およびダイナミックレンジは、特に明るい画像領域における画素センサそれ自体の性質によって制限され、明るい画像領域で、センサセルは、通常、飽和する、すなわち、センサが収集することができる最大電荷に達する。飽和レベルを超えると、取り込まれた画像にブルーミングアーチファクトが生成される。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】米国仮特許出願第61/511,661号
【発明の概要】
【発明が解決しようとする課題】
【０００５】
画像センサは、フォトダイオードとして通常形成される光感受性セル(光センサ)のアレイである。すべてが同じ光感度を有する光センサを使用する従来の画像センサと異なり、本発明は、異なる光感度を有するフォトダイオードを使用するセンサを提示する。本発明は、特に、センサセルが、通常、飽和する明るい画像領域において画像の品質およびダイナミックレンジの両方を向上させる。
【課題を解決するための手段】
【０００６】
従来技術の画像センサに固有な問題を克服するために、本発明は、通常光感度を有するフォトダイオードと、より低い光感度を有するフォトダイオードとの両方を含む画像センサに関する。通常光感度を有するフォトダイオードは、低い値から飽和されない高い値に及ぶ光強度に関連する視覚情報を取り込むことを目的とする。より低い光感度を有するフォトダイオードは、通常光感度を有するフォトダイオードが、通常、飽和するハイライトをもつ領域の視覚情報を取り込むことを目的とする。フォトダイオードの感度の低下はいくつかの異なる方法、例えば、フォトダイオードに入る光を阻止する、またはフォトダイオードのキャパシタンスを変化させることによって達成することができる。
【０００７】
飽和されない領域では、高品質画像情報は、より低い光感度を有するフォトダイオードに対応する画素値を、通常光感度を有するフォトダイオードに対応する画素値のレベルまで適切な利得を適用することによってもっていくことにより復元される。本明細書でハイライト画素利得と呼ばれる利得は、通常、較正時に得られる。代替として、任意のハイライト画素のハイライト画素利得は、ハイライト画素の近傍で利用可能な不飽和通常光感度画素の平均値または加重平均値(例えば、ガウス重みを使用する)とハイライト画素値との比として計算することができる。代替の解決策は、通常光感度を有するフォトダイオードに対応する隣接する画素値を使用して、画像補間または信号推定によって、より低い光感度を有するフォトダイオードに対応する画素値を復元することを目的とすることができる。
【０００８】
本発明に従った、感度を低下させた画素を組み合わせてデジタル画像のハイライトを復元する方法が開示される。
【０００９】
本発明に導入される概念は、通常光感度を有するフォトダイオードのアレイ中におけるより低い光感度を有するフォトダイオードの様々な周期的、擬似不規則、および不規則な構成などの任意のフォトダイオードレイアウトに適用可能である。さらに、本発明は、提示する概念が柔軟であり、異なる感度を有するフォトダイオードを考慮に入れているので特定の感度設定に限定されない。
【図面の簡単な説明】
【００１０】
【図１】典型的な先行技術の画素の断面図である。
【図２】本発明の1つの態様に従った、感度を低下させた画素の断面図である。
【図３】通常画素および感度を低下させた画素の両方に対するフェースプレート露光対画素出力のグラフである。
【図４】本発明に従った、感度を低下させた画素の光遮蔽体の1つの例示的な実施形態を示す図である。
【図５】本発明に従った、感度を低下させた画素の光遮蔽体の別の例示的な実施形態を示す図である。
【図６】本発明に従った、感度を低下させた画素を画定するために画素アレイにわたって配置された格子の一部の例示的な形態を示す図である。
【図７】本発明に従った、規則的な様式で配置された感度を低下させた画素を含む本発明による例示的な画素アレイの一部を示す図である。
【図８】本発明に従った、ダイヤモンドパターンの規則的な様式で配置された感度を低下させた画素を含む本発明による例示的な画素アレイの一部を示す図である。
【図９】本発明による例示的な画像復元方法を示す流れ図である。
【図１０】本発明による別の例示的な画像復元方法を示す流れ図である。
【図１１】本発明による別の例示的な画像復元方法を示す流れ図である。
【発明を実施するための形態】
【００１１】
当業者は、本発明の以下の説明が単に例示的なものであり、何ら限定するものではないことを理解されよう。本発明の他の実施形態はそのような当業者に容易に示唆されることになる。
【００１２】
本発明による画像化アレイは、2つの異なる光感度を有する画素センサを含む。第1の複数の画素センサは第1の光感度を有し、第2の複数の画素センサは第1の光感度よりも低い第2の光感度を有する。第1の複数の画素は時には本明細書では「通常」画素と呼ばれ、第2の複数の画素は時には本明細書では「ハイライト」画素と呼ばれる。
【００１３】
まず図1を参照すると、通常画素10の断面図が示される。光センサ(図示せず)が基板12に形成される。画素を動作させるのに必要なトランジスタを製作するのに使用されるポリシリコンの層14の一部が基板上に配置されているのが示されている。さらに、3つの例示的な金属相互接続層16、18、および20の一部が示されている。CMOS画像センサは、選ばれた技術に応じて金属のより少ないまたはより多い層を有することができる。図1に示されるように、ポリシリコン層14、金属相互接続層16、18、および20は、可視光を吸収するのでフォトダイオード上にはない。
【００１４】
画素区域を画定する格子22の一部が図1に示される。平坦化/不動態化層24を画素の表面の上に配置することができる。この層は重合体層および/または窒化物層から形成することができる。マイクロレンズ26は、当技術分野で知られているように平坦化/不動態化層の上に形成することができる。マイクロレンズは画素の光センサ上への入来光を合焦するのに使用される。
【００１５】
画像化アレイによっては、薄黒い光遮蔽体が、一般に、画素アレイの端部で列および行にわたってすべての光を意図的に遮断するのに使用される。これらの薄黒い列および行は、イメージャのノイズの発生源を特徴づけるデータを準備する。
【００１６】
次に図2を参照すると、本発明の1つの態様に従った、感度を低下させた画素30の断面図が示されている。図1の画素10におけるように、画素30は、基板12に形成された光センサ(図示せず)を含む。ポリシリコンの層14の一部が基板上に配置されているのが示されており、3つの例示的な金属相互接続層16、18、および20の一部が示されている。
【００１７】
平坦化/不動態化層24は画素の表面の上に配置され、マイクロレンズ26が、当技術分野に知られているように平坦化/不動態化層24の上に形成される。マイクロレンズ26は画素の光センサへの入来光を合焦するのに使用される。しかし、図1の画素10と異なり、図2の画素30は、薄黒い遮蔽材料32の層によって生成された減少した開口サイズを有する。薄黒い遮蔽材料32はバックエンドオブライン(BEOL)処理で使用される任意の金属とすることができるが、それは、BEOLで使用される金属が光学的に不透明であるからである。
【００１８】
薄黒い遮蔽材料32が画素の表面にまたはその近くに配置されているように示されているが、任意の金属層または多数の金属層の組合せの一部を使用して入射光の一部を阻止することができ、その結果、得られる感度は通常画素の感度よりも低くなることを当業者なら理解されよう。金属か、またはプロセスに適合し、低い光透過率を有する任意の他の材料かのいずれかを光遮蔽材料として選ぶことができる。図1に示したような格子22が使用される場合、画素30のような感度を低下させた画素に関してより小さい開孔を有するようにパターン化することができる。
【００１９】
本発明の1つの態様によれば、部分的な光遮蔽体は、画素に入力する光の半分から8分の1を供給するように調整された開口で生成される。この概念が図1および2に示され、2次元光線追跡が断面図に破線で示されている。図1は、通常画素10での光線追跡を示すが、図2は、開口部により、図1の画素10に入力する光の約4分の1しか画素30に入ることができない状態の黒い金属の使用を示す。図3は、図1の通常画素および図2の感度を低下させた画素の両方に対するフェースプレート露光対画素出力を示すグラフである。
【００２０】
感度を低下させた画素の例示的な目標範囲は、一般に、通常画素の約半分から8分の1であるが、他の範囲を使用することができることを当業者なら容易に理解されよう。例えば、画素に入る光の量が通常画素に入る光の4分の1まで削減される場合、感度は通常画素の約4分の1になることになる。所与の技術の一般的な画素と比べて光感度が低下したフォトダイオードを製造するのに、光遮蔽体が使用されることになる。感度を低下させるために目標の画素に入る光の一部を阻止することになる。当業者なら容易に理解されるように、光遮蔽体の開口が小さいほど、得られる光感度の低下は大きい。
【００２１】
感度を低下させた画素のための光遮蔽体はいくつかの方法で実施することができる。次に、図4および5を参照すると、本発明に従った、感度を低下させた画素のための光遮蔽体の2つの例示的な幾何学的レイアウトが示される。図4は、正方形の開口34を有する光遮蔽体32を示す。形状の他の変形を開口に使用することができることを当業者なら理解されよう。例えば、光遮蔽体32において図5に示されるような八角形の開口36、円形、または、面取りコーナをもつ正方形の開口を使用することができる。
【００２２】
孤立した感度を低下させた画素に対してのみ光遮蔽体を使用する別のあり得る変形は、さらに、画素アレイにわたって格子を形成することであろう。これが図6にレイアウトとして示される。この場合には、光遮蔽体が金属格子として形成される場合、それはパワープレーンなどの追加の電気層として使用することができる。格子の形成は、さらに、感度を低下させた画素をより適切に製造するのに役立つことができる。
【００２３】
前述で開示したように、通常画素と感度を低下させた画素との間の感度の差は画素の開口サイズの差に起因する。2つの異なる感度を有する画素を形成するのに他の技法を使用することができることを当業者なら理解されよう。そのような技法には、限定はしないが、異なる画素に異なるドーピングレベルを使用することと、感度を低下させた画素の上に光透過率の低い材料の層を形成することとが含まれる。
【００２４】
本発明の1つの態様によれば、感度を低下させた画素が画像化アレイ全体にわたって規則的に配置される。感度を低下させた画素は、画像の総合的な品質を落とすのではなくてハイライトデータへの画像処理を補うように間隔を置かれる。本発明による画素の例示的な1つの配置は、所与の行と列で約2から100画素ごととなっているが、周期的、擬似不規則、不規則などの異なる間隔を使用することができることを当業者なら理解されよう。その結果として、感度を低下させた画素は画素の総数の約40%と約0.01%との間を占める。図7に示される1つの例では、10×10画素領域ごとに1つの感度を低下させた画素を含む構成である。画素およびアレイのサイズに応じて適切な比を選択することができることを当業者なら理解されよう。
【００２５】
次に図8を参照すると、別の例示的なハイライト画素のレイアウト/構成が示され、ハイライト画素はダイヤモンドパターンで配置される。一般に、そのようなダイヤモンドパターンは、まず図7のものと同様の規則的な間隔を生成し、次に、4つの既存のハイライト画素の正方形の中心にハイライト画素を加えることによって生成される。図8は、ハイライト画素が、水平および垂直の両方に10番目の画素ごとに、および対角線上に5番目の画素ごとに配置される例示の構成を示す。
【００２６】
本発明に導入される概念は、通常光感度を有するフォトダイオードのアレイ中におけるより低い光感度を有するフォトダイオードの様々な周期的、擬似不規則、および不規則な構成などの任意のフォトダイオードレイアウトに適用可能である。さらに、本発明は、提示する概念が柔軟であり、異なる感度を有するフォトダイオードを考慮に入れているのでいかなる特定の感度設定にも限定されない。
【００２７】
飽和信号値をもつ領域では、より低い光感度を有するフォトダイオードに対応する画素値は、適切なハイライト画素利得を適用して基準信号を生成することによって得られる。次に、そのような基準信号値を使用して、基準信号値の特性を飽和画素にマッピングすることによって、例えば、利用可能な基準信号値と、通常光感度をもつフォトダイオードに対応する不飽和画素値とを組み合わせることによって、通常光感度をもつフォトダイオードに対応する画素位置の画像情報を復元することができる。
【００２８】
代替の解決策は、より低い光感度を有するフォトダイオードに対応する隣接する画素値を使用して、画像補間または信号推定によって通常光感度を有するフォトダイオードに対応する画素値を復元することを目的とすることができる。当業者なら容易に理解されるように、実際の実施態様に応じて、復元プロセスを行う前にまたはまさに復元プロセスの間にハイライト画素利得をより低い光感度を有するフォトダイオードに対応する画素値に適用することができる。
【００２９】
本発明による例示的な方法40が図9を参照しながら示される。プロセスは参照番号42で始まる。参照番号44において、ハイライト画素利得がハイライト画素値に適用される。次に、参照番号46において、通常光感度を有する飽和画素が捜し出される。参照番号48において、1組の(1つまたは複数の)ハイライト画素が飽和画素の局所近傍で識別される。局所近傍は、少なくとも1つのハイライト画素がウィンドの内部にあるようにサイズを抑制した正方形または円形のウィンドを使用して画定することができる。そのようなウィンドの中心は、通常、補正または復元される通常光感度画素に配置される。代替として、補正または復元される通常光感度画素に対して空間的に最も近い1つまたは複数のハイライト画素が捜し出される。そのような空間的に最も近いハイライト画素の最少数を事前設定することができる。
【００３０】
参照番号50において、通常光感度を有する画素の飽和色成分は、局所的に利用可能なハイライト画素の対応する不飽和色成分を組み合わせることによって取り替えられる。この取替えは、局所的に利用可能なハイライト画素の対応する不飽和色成分の平均または加重平均として行うことができる。重みは、復元される画素位置と利用可能なハイライト画素の画素位置との間の空間距離(例えば、絶対またはユークリッド)に反比例するとして計算することができ、すなわち、一般に、重みは空間距離の増加とともに減少するはずである。代替として、重みは、復元される画素と局所的に利用可能なハイライト画素との間の差に反比例するとして計算することができ(すべての色成分、または少なくとも不飽和色チャネルからの成分を使用することができることに留意されたい)、すなわち、一般に、重みは画素値の差の増加とともに減少するはずである。代替として、重みは、空間的な差と強度の差とを組み合わせる(例えば、乗算)によって計算することができる。重みがどのように計算されるかにかかわらず、重みは、不変推定値を生成するために、加重平均化を行う前に規格化されるべきである(重みの和が1に等しくなるべきである)。
【００３１】
参照番号52において、すべての飽和画素が処理されたかどうかが決定される。処理されていない場合、プロセスは参照番号46に戻り、通常光感度を有する別の飽和画素が捜し出される。すべての飽和画素が処理された場合、プロセスは参照番号54において終了する。
【００３２】
本発明による別の例示的な方法60が図10を参照しながら示される。図10の方法60では、復元プロセスは、復元される色チャネルからの強度値の代わりに色差を使用して行われる。この場合、飽和色チャネルは、利用可能なハイライト画素の平均または加重平均化の色差(復元される画素位置で観察されるときの不飽和色チャネルと飽和色チャネルとの間の)を復元される画素位置の不飽和色成分に加えることによって復元される。例えば、緑色チャネルおよび青色チャンネルの両方が通常光感度画素において飽和される場合、その緑色成分は、通常光感度画素の不飽和赤色成分を、局所的に利用可能なハイライト画素の得られた緑色成分と赤色成分との間の平均色差に加えることによって復元することができる。同様に、通常光感度画素の飽和青色成分は、通常光感度画素の不飽和赤色成分を、局所的に利用可能なハイライト画素の得られた青色成分と赤色成分との間の平均色差に加えることによって復元することができる。
【００３３】
プロセスは参照番号62で始まる。参照番号64において、ハイライト画素利得がハイライト画素値に適用される。次に、参照番号66において、通常光感度を有する飽和画素が捜し出される。参照番号68において、1組の(1つまたは複数の)ハイライト画素が飽和画素の局所近傍で識別される。図9の方法と同様に、局所近傍は、少なくとも1つのハイライト画素がウィンドの内部にあるようにサイズを抑制した正方形または円形のウィンドを使用して画定することができる。そのようなウィンドの中心は、通常、補正または復元される通常光感度画素に配置される。代替として、補正または復元される通常光感度画素に対して空間的に最も近い1つまたは複数のハイライト画素が捜し出される。そのような空間的に最も近いハイライト画素の最少数を事前設定することができる。
【００３４】
参照番号70において、平均または加重平均の色差(復元される画素位置で観察されるときの不飽和色チャネルと飽和色チャネルとの間の)が、局所的に利用可能なハイライト画素の色成分を使用して計算される。参照番号72において、この色差を通常光感度画素の対応する不飽和成分に加えて、飽和色成分を復元する。
【００３５】
参照番号74において、すべての飽和画素が処理されたかどうかが決定される。処理されていない場合、プロセスは参照番号66に戻り、通常光感度を有する別の飽和画素が捜し出される。すべての飽和画素が処理された場合、プロセスは参照番号76において終了する。
【００３６】
1つの色チャネルのみが飽和されている場合、結果は、2つのそれぞれ異なる色差信号(2つの不飽和色チャネルがあるので)を使用して復元されたサンプルを組み合わせることによって得ることができる。色差計算は比と取り替えることができ、結果は、復元される位置の不飽和色成分と、利用可能なハイライト画素の画素値を使用して計算された平均または加重平均の色比とを乗算することによって得られることを当業者なら理解されよう。
【００３７】
本発明の別の態様によれば、本明細書で開示するハイライト画素、または本明細書で開示する不飽和通常光感度画素およびハイライト画素を使用して補正係数の少なくとも1つのテーブルが生成される方法を、飽和画素を復元するのに使用することができる。
【００３８】
前の例示的な方法におけるように、ハイライト画素利得は、復元プロセスを行う前にまたはまさに復元プロセスの間にハイライト画素値に適用することができる。本発明の1つの態様によれば、ハイライト画素を含む画像全体が、当該の色チャネルが飽和されていない画素を求めて分析される。代替として、ハイライト画素のみが、当該の色チャネルが飽和されていない画素を求めて分析される。これは他の制約条件と組み合わせることができ、例えば、補正係数のテーブルを構築するのに使用されるべき画素は、ある閾値よりも大きい輝度値を有していなければならず、クリップされた(飽和された)色チャネルのいずれも有することができない、などである。この補正テーブルを構築するために選択される画素の各々について、少なくとも2つの値が計算され、各々は1つまたは複数の色チャネルの関数である。一方の値は補正係数のテーブルへのインデックスとして使用されるが、他方の値は補正係数自体である。本発明の方法は、そのような動作特性が必要とされる場合、1つを超える補正係数の計算を可能にすることに留意されたい。
【００３９】
補正係数のテーブルのエントリの数はテーブルサイズαによって表される。この設計パラメータは、通常、事前設定される。典型的には、αは、各色チャネルを表すのに使用されるビットの数以下であるように設定される。メモリ効率のよい実施では、より小さいα値(例えば、色チャネル表現当たり12ビットではα=255)を目標とすることができるが、値が小さすぎると、あまりにも異なる画素が同じインデックスに関連することになるので補正の精度が低下することがある。
【００４０】
インデックス値は1つまたは複数の色チャネルの関数である。Bチャネルが補正され、Mが、通常、所与のビット表現での最大許容値に等しい設計パラメータであると考える(他の設定も可能である)。1つの例では、インデックスは復元されない1つまたは2つの色チャネルの関数であり、例えば、そのような関数はαmin(R,M)/M、αmin(G,M)/M、αR/(R+G)、またはαG/(R+G)と定義することができ、ここで、minは最小演算子を表し、R、G、およびBは、それぞれ、赤色、緑色、および青色成分を表す。別の例では、インデックスは復元される色チャネルの関数であり、例えば、そのような関数はαmin(B,M)/Mと定義することができる。さらなる別の例では、インデックスは、復元される色チャネルと、他の色チャネルの一方または両方との関数であり、例えば、そのような関数はαB/(R+G+B)と定義することができる。最終インデックスは前述のように計算されたインデックス値の丸めたバージョンであることに留意されたい。
【００４１】
補正係数は1つを超える方法で決定することもできる。再度、Bチャネルが補正されると考える。1つの例では、補正係数は、補正される色チャネルの変倍値として計算され、すなわち、yBであり、ここで、yは画像統計に基づいて、事前設定されるか、または適応的に決定される。別の例では、補正係数は、画素における他の2つの色チャネルの一方に対する補正されるべき色チャネルの比として計算され、例えば、そのような補正係数はB/GまたはB/Rと定義することができる。別の例では、補正係数は、画素における補正されるべき色チャネルと他の2つの色チャネルの一方との間の差、すなわち、例えば、B-GまたはB-Rとして計算される。別の例では、補正係数は、画素における補正されるべき色チャネルおよび他の両方の色チャネルの関数として計算され、例えば、そのような関数は2B-R-G、2B/(R+G)、またはB²/(RG)と定義することができる。さらなる別の例では、2つの補正係数は、補正されるべき色チャネルと他の2つの色チャネルの各々との間の比または差として計算される。同じインデックス値に対応する異なる画素が同じ補正係数計算手法では異なる補正係数を生成することがあるので、補正係数のテーブルに記憶される最終補正係数は、画素単位の補正係数の関数として計算される。1つの例では、同じインデックスに対応する画素のすべてに対する補正係数が平均化される。別の例では、同じインデックスをもつ画素の異なる補正係数は異なる重みを有し、これらの重みは、ヒストグラム、ある値からの距離などのようなある所定の基準に応じて導き出すことができる。画像全体を検討して、補正係数のテーブルに書き込んだ後、補正係数のテーブルに残るいかなる間隙も既存のエントリを補間することによって埋められる。
【００４２】
復元手順により、画像中の画素ごとに検査される。まず、補正テーブルへのインデックスを計算して(テーブルを生成するために使用されたものと同じ手法を使用して)、所与の画素に対する適切な補正係数を得る。再度、Bチャネルが補正されると考える。補正係数が、同じ色チャネルを使用してyBとして決定される場合、その値は補正出力を直接表す。すべての他の場合では、補正される画素からの不飽和色成分が、補正係数計算に対して逆計算をなぞることによって、対応する補正係数と組み合わされる(すなわち、それを色比ベース係数と乗算して、またはそれを色差ベース係数に加えて)。補正係数の1つを超えるテーブルが同じ色チャネルに対して生成されている場合、最終補正値は、そのようなテーブルの各々を使用して得られた補正値の組合せとして得ることができることに留意されたい。画素の3つのチャネルがすべて飽和されている場合、復元のいかなる試みも抜かすことができる。
【００４３】
上記で列記したすべての例は補正されるチャネルとしてBチャネルを考えているが、提案した方法の他のチャネルへの適用は単純明快であり、ここでは説明されない。
【００４４】
次に図11を参照すると、流れ図は、本発明の一態様により補正係数のテーブルを構築し、それを画像に適用する例示的な方法80を示す。この方法は参照番号82で始まる。
【００４５】
参照番号84において、画像全体が、当該の色チャネルが飽和されていない画素を求めて分析される。これは他の制約条件と組み合わせることができ、例えば、補正係数のテーブルを構築するのに使用されるべき画素は、ある閾値よりも大きい輝度値を有していなければならならず、かつ/またはクリップされた(飽和させられた)色チャネルのいずれも有することができない、などである。
【００４６】
補正テーブルを構築するために選択される画素の各々について、少なくとも2つの値が計算され、各々は1つまたは複数の色チャネルの関数である。一方の値は補正係数のテーブルへのインデックスとして使用されるが、他方の値は補正係数自体である。参照番号86において、補正テーブルのインデックス値が計算され、補正係数の値が計算される。これらの計算が行われる順序は重要でないことを当業者なら気づくであろう。本発明の方法は、そのような動作特性が必要とされる場合、1つを超える補正係数を計算しようと考えることに留意されたい。
【００４７】
補正係数のテーブルのエントリの数はテーブルサイズαによって表される。この設計パラメータは、通常、事前設定される。典型的には、αは、各色チャネルを表すのに使用されるビットの数以下であるように設定されるが、αの値が小さすぎると、あまりにも異なる画素が同じインデックスに関連することになるので補正の精度が低下することがある。
【００４８】
インデックス値は1つまたは複数の色チャネルの関数である。Bチャネルが補正され、Mが、通常、所与のビット表現での最大許容値に等しい設計パラメータであると考える(他の設定も可能である)。1つの例では、インデックスは復元されない1つまたは2つの色チャネルの関数であり、例えば、そのような関数はαmin(R,M)/M、αmin(G,M)/M、αR/(R+G)、またはαG/(R+G)と定義することができ、ここで、minは最小演算子を表し、R、G、およびBは、それぞれ、赤色、緑色、青色成分を表す。別の例では、インデックスは復元される色チャネルの関数であり、例えば、そのような関数はαmin(B,M)/Mと定義することができる。さらなる別の例では、インデックスは、復元される色チャネルと、他の色チャネルの一方または両方との関数であり、例えば、そのような関数はαB/(R+G+B)と定義することができる。最終インデックスは前述のように計算されたインデックス値の丸めたバージョンであることに留意されたい。
【００４９】
補正係数は1つを超える方法で決定することもできる。再度、Bチャネルが補正されると考える。1つの例では、補正係数は、補正される色チャネルの変倍値として計算され、すなわち、yBであり、ここで、yは画像統計に基づいて、事前設定されるか、または適応的に決定される。別の例では、補正係数は、画素における他の2つの色チャネルの一方に対する補正されるべき色チャネルの比として計算され、例えば、そのような補正係数はB/GまたはB/Rと定義することができる。別の例では、補正係数は、画素における補正されるべき色チャネルと他の2つの色チャネルの一方との間の差、すなわち、例えば、B-GまたはB-Rとして計算される。別の例では、補正係数は、画素における補正されるべき色チャネルおよび他の両方の色チャネルの関数として計算され、例えば、そのような関数は2B-R-G、2B/(R+G)、またはB²/(RG)と定義することができる。さらなる別の例では、2つの補正係数は、補正されるべき色チャネルと他の2つの色チャネルの各々との間の比または差として計算される。同じインデックス値に対応する異なる画素が同じ補正係数計算手法では異なる補正係数を生成することがあるので、補正係数のテーブルに記憶される最終補正係数は、画素単位の補正係数の関数として計算される。1つの例では、同じインデックスに対応する画素のすべてに対する補正係数が平均化される。別の例では、同じインデックスをもつ画素の異なる補正係数は異なる重みを有し、これらの重みは、ヒストグラム、ある値からの距離などのようなある所定の基準に応じて導き出すことができる。
【００５０】
画像全体が検討された後、参照番号88において、補正係数のテーブルが書き込まれ、補正係数のテーブルに残るいかなる間隙も既存のエントリを補間することによって埋められる。場合によっては、補正係数の1つを超えるテーブルが生成されることがある。インデックス値および補正係数が決定されるにつれて、補正テーブルは漸増的に構築することができることを当業者なら認識されよう。
【００５１】
復元手順により、飽和マップに基づいて画像中の画素ごとに検査される。参照番号90において、画素が選択される。参照番号92において、画素のすべての色チャネルが飽和されているかどうかが決定される。飽和されていない場合、画素は処理することができ、参照番号94において、画素のインデックス値が計算される(テーブルを生成するのに使用されたものと同じ手法を使用して)。
【００５２】
参照番号96において、インデックス値を使用して補正テーブルをアドレス指定し、補正係数が得られる。
【００５３】
いくつかの例では、1つを超える補正テーブルが使用されており、最終補正値は、そのようなテーブルの各々を使用して得られた補正値の組合せとして得ることができる。参照番号98において、追加の補正テーブルが使用されているかどうかが決定される。使用されている場合、プロセスは参照番号94および96に戻り、追加の補正係数を得る。すべての補正係数テーブルがアクセスされ、補正係数が決定された場合、参照番号100において、得られた補正係数が画素に適用され、補正画素値が生成される。補正係数が、同じ色チャネルを使用してyBとして決定される場合、その値は補正出力を直接表す。すべての他の場合では、補正される画素からの不飽和色成分が、補正係数計算に対して逆計算をなぞることによって、対応する補正係数と組み合わされる(すなわち、それを色比ベース係数と乗算して、またはそれを色差ベース係数に加えて)。1つの補正テーブルだけが使用される場合、補正画素値は直接生成される。そうでなければ、1つを超える補正テーブルが使用される場合、得られた補正係数のすべてが画素に適用され、中間補正画素値が組み合わされる。次に、最終補正画素値が記憶される。
【００５４】
参照番号102において、画像中のすべての画素が処理されたかどうかが決定される。処理されていない場合、プロセスは参照番号90に戻り、別の画素が処理のために選択される。画像中のすべての画素が処理された場合、プロセスは参照番号104において終了する。
【００５５】
本発明の別の態様によれば、2つの手法、すなわち、補正テーブルに基づいたものと、局所近傍で利用可能なハイライト画素を使用する別のものとを組み合わせることができる。例示の実施態様では、各飽和画素は、これらの2つの手法を使用して生成された2つの中間画素の平均または加重平均として補正することができる。そのような加重平均計算では、重みの合計は不偏推定値を生成するために1に等しくなるべきである。本発明の別の態様によれば、補正係数のテーブルは、復元される実際の画像の1つまたは複数の領域を使用して計算することができ、これらの領域は、画像統計に基づいて自動的に決定され、かつ/またはユーザによって選択されうる。本発明の別の態様によれば、補正係数のテーブルは、復元される実際の画像と独立に(例えば、較正時に)計算することができる。
【００５６】
ハイライト領域に加えて、本発明で提示した画像復元の概念を同様に使用して、高いISO取り込みのための画像処理の品質および性能を向上させることができる。そのようなシナリオでは、通常感度を有するフォトダイオードと、より高い感度を有するフォトダイオードとを組み合わせることが望ましいことがあるが、それは、後者は画像取得プロセスの間に画像に導入されるノイズによって影響されにくいからである。ここで、より高い感度を有する画素によって取り込まれた画素値は適切な利得を適用することによって縮小されると仮定すると、最もノイズの多い1つまたは2つの色チャネルは、より高い感度を有する画素からの他の1つまたは2つの色チャネルを使用して、本明細書で説明した信号処理概念を適用することによって復元することができる(飽和チャネルの代わりに、最もノイズの多いチャネルまたは最も低い感度をもつチャネルがここでは考えられる)。この方策は、ある所定の基準に従ってすべての画素位置に、またはいくつかの選択された領域(例えば、低い光の領域、ある所望の色および構造特性をもつ領域など)に適用することができることに留意されたい。
【００５７】
本発明の実施形態および応用が示され、説明されたが、本明細書の本発明の概念から逸脱することなしに、前述のものよりもさらに多くの変更が可能であることが当業者には明らかであろう。したがって、本発明は添付の特許請求の範囲の趣旨以外によって限定されるべきではない。
【符号の説明】
【００５８】
10 通常画素
12 基板
14 ポリシリコンの層
16、18、20 金属相互接続層
22 格子
24 平坦化/不動態化層
26 マイクロレンズ
30 感度を低下させた画素
32 薄黒い遮蔽材料、光遮蔽体
34 正方形の開口
36 八角形の開口

【特許請求の範囲】
【請求項１】
第1の光感度を有する第1の複数の画素センサと、
前記第1の光感度よりも低い第2の光感度を有する第2の複数の画素センサと
を備える画素センサアレイ。
【請求項２】
前記第2の複数の画素が前記アレイ中において一様に分散される、請求項1に記載の画素センサアレイ。
【請求項３】
前記第1の複数の画素が各々第1の区域の光許容開口（light-admitting aperture）を有し、前記第2の複数の画素が各々前記第1の区域よりもサイズの小さい第2の区域の光許容開口を有する、請求項1に記載の画素センサアレイ。
【請求項４】
第1の光感度を有する第1の複数の画素センサと、前記第1の光感度よりも低い第2の光感度を有する第2の複数の画素センサとを有する画像センサアレイによって取り込まれた画像において、前記第1の画素センサによって取り込まれた飽和画素データを補正する方法であって、
a)前記第2の複数の画素センサからの画素値に画素利得を適用する段階と、
b)前記第1の複数の画素センサにおいて少なくとも1つの飽和色成分をもつ画素を選択する段階と、
c)前記選択された第1の画素センサの局所近傍における前記第2の複数の画素センサのうちの少なくとも1つを識別する段階と、
d)前記第2の複数の画素センサにおいて識別された画素の対応する不飽和色成分を組み合わせることによって、前記選択された画素データの前記飽和色成分を取り替える段階と、
e)すべての飽和画素センサからの画素データが処理されるまで、段階b)から段階d)を繰り返す段階と
を含む、方法。
【請求項５】
第1の光感度を有する第1の複数の画素センサと、前記第1の光感度よりも低い第2の光感度を有する第2の複数の画素センサとを有する画像センサアレイによって取り込まれた画像において、前記第1の画素センサによって取り込まれた飽和画素データを補正する方法であって、
a)前記第2の複数の画素センサの画素値に画素利得を適用する段階と、
b)前記第1の複数の画素センサにおいて少なくとも1つの飽和色成分をもつ画素を選択する段階と、
c)前記選択された第1の画素センサの局所近傍における前記第2の複数の画素センサのうちの少なくとも1つを識別する段階と、
d)前記第1の複数の画素センサにおける前記選択された画素の前記飽和色成分を、前記第1の複数の画素センサにおける前記選択された画素の前記不飽和色成分と、前記第2の複数の画素センサにおいて識別された前記局所的に利用可能な画素の不飽和色チャネルからの画素データと飽和色チャネルからの画素データとの間の対応する平均または加重平均の差との和と取り替える段階と、
e)少なくとも1つの飽和色チャネルを有するすべての画素センサからの画素データが処理されるまで、段階b)から段階d)を繰り返す段階と
を含む、方法。
【請求項６】
第1の光感度を有する第1の複数の画素センサと、前記第1の光感度よりも低い第2の光感度を有する第2の複数の画素センサとを有する画像センサアレイによって取り込まれた画像において、前記第1の画素センサによって取り込まれた飽和画素データを補正する方法であって、
a)前記第2の複数の画素センサの画素値に画素利得を適用する段階と、
b)前記第1の複数の画素センサにおいて少なくとも1つの飽和色成分をもつ画素を選択する段階と、
c)前記選択された第1の画素センサの局所近傍における前記第2の複数の画素センサのうちの少なくとも1つを識別する段階と、
d)前記第1の複数の画素センサにおける前記選択された画素の前記飽和色成分を、前記第1の複数の画素センサにおける前記選択された画素の前記不飽和色成分と、前記第2の複数の画素センサにおいて識別された前記局所的に利用可能な画素の不飽和色チャネルからの画素データと飽和色チャネルからの画素データとの間の対応する平均または加重平均の比との積と取り替える段階と、
e)少なくとも1つの飽和色チャネルを有するすべての画素センサからの画素データが処理されるまで、段階b)から段階d)を繰り返す段階と
を含む、方法。
【請求項７】
第1の光感度を有する第1の複数の画素センサと、前記第1の光感度よりも低い第2の光感度を有する第2の複数の画素センサとを有する画像センサアレイによって取り込まれた画像において、前記第1の画素センサによって取り込まれた飽和画素データを補正する方法であって、
a)色チャネルを選択する段階と、
b)前記画像全体を分析して不飽和画素を識別する段階と、
c)識別された画素データごとに、1つまたは複数の色チャネル、補正係数のテーブルへのインデックス、および補正係数の関数として計算することによって補正テーブルを構築する段階と、
d)前記補正テーブルの既存のエントリを補間することによって前記補正テーブルのいかなる間隙も埋める段階と、
e)前記第1の複数の画素センサにおいて画素を選択する段階と、
f)前記画素データのすべての色チャネルが飽和されているかどうかを決定する段階と、
g)前記選択された画素からの画素データにおいて前記色チャネルのすべてが飽和されているとはかぎらない場合にのみ、
前記画素のインデックス値を計算する段階と、
前記計算されたインデックス値を使用して前記補正テーブルをアドレス指定して、前記補正係数を得る段階と、
前記得られた補正係数を前記画素データに適用して、補正画素データ値を生成する段階と、
h)少なくとも1つの飽和色チャネルを有するすべての画素センサからの画素データが処理されるまで、段階e)から段階g)を繰り返す段階と
を含む、方法。

【図１】