説明

拡大したダイナミックレンジを有する画像センサ

画像センサは、複数の画素と、少なくとも画素の一部にわたるカラーフィルタパターンであって、所定の配列のカラーを有するカラーフィルタ核を形成するカラーフィルタパターンと、画素の集積時間を制御する機構とを備え、複数の画素の集積時間が、カラーフィルタアレイ核に相関するパターン中で空間的に異なっている。


【発明の詳細な説明】
【技術分野】
【0001】
本発明は、増大したダイナミックレンジを有する画像センサであって、半導体に基づく画像センサに関する。
【背景技術】
【0002】
固体画像センサが、現在多くのタイプの撮像用途に拡張的に用いられている。利用されている二つの主な画像センサ技術は、電荷結合素子(CCD)とCMOSのx−yアドレス指定可能な素子である。CMOSx−yアドレス指定可能素子に対する能動画素センサ(APS)と受動画素センサ(PPS)を含め、現在、双方の技術について多くの異なった固有の実施形態が存在する。これらのすべてが基本的には一組のあるいは一アレイの光検出器を備えており、この光検出器は、読み出すことができる電気信号であって、かつ入射光パターンに相関する画像を構成するために用いることのできる電気信号に、入射光を変換する。この一アレイの光検出器の露光時間ないしは集積時間は、周知の機構により制御できる。この信号は、画素フォトサイトに入射する光の量を表す。撮像検出素子のダイナミックレンジ(DR)は、センサの二乗平均雑音レベル(σnoise)に対する、典型的には飽和信号(Vsat)と称する有効最大検出可能信号レベルの比として定義される。これは、式1で示される。
式1:ダイナミックレンジ=Vsat/σnoise
【0003】
入射光子により生成された電荷を集積する電荷結合素子(CCD)等の画像センサ素子は、所与のフォトサイト中に集めて保持することのできる電荷量(Vsat)により制限されるダイナミックレンジを有する。例えば、全ての所与のCCDに対して、ある画素中に集めて検出できる電荷量は、画素の面積に比例する。したがって、メガ画素デジタルスチルカメラ(DSC)中に使用される市販用の素子に対して、飽和信号(Vsat)を表す電子数は、13,000個ないし20,000個のオーダである。入射光が極めて明るく、画素ないしは光検出器中に保持できる以上の電子を生成した場合には、これらの過剰な電子は、画素中の抗ブルーミング機構により取り出し、増加した飽和信号に寄与しない。したがって、最大検出可能信号レベルは、光検出器ないしは画素に保持できる電荷量に制限される。ダイナミックレンジ(DR)は、センサの雑音レベルσnoiseによっても制限される。飽和信号(Vsat)に関する制限により、雑音レベル(σnoise)を非常に低いレベルまで減少させるためにCCD中に多くの加工がなされた。代表的には、市販用のメガ画素DSC素子は、1000:1以下のダイナミックレンジ(DR)を有している。
【0004】
ダイナミックレンジ(DR)に関する制限と同一の制限が能動画素センサ(APS)及び受動画素センサ(PPS)素子についても存在する。飽和信号(Vsat)は、光検出器中に保持することができ、分離できる電荷量により制限される。過剰な電荷は失われる。このことは、CCDに比べて能動画素センサ(APS)及び受動画素センサ(PPS)についてはより問題となる可能性がある。その原因は、画素内の能動素子および受動素子が、光検出器が利用できる領域を制限することにあり、また、CMOS素子中に用いられる低電圧源とクロックとにある。更に、能動画素センサ(APS)素子はチップ上の画像センサシステムを提供するために用いられてきたため、CCD上には存在しない、タイミング、制御及びアナログ−デジタル変換等の、能動画素センサ(APS)素子上で用いられるデジタル回路及びアナログ回路が、CCDに比べて、能動画素センサ(APS)素子上に極めて高い雑音フロアを提供する。これは、オンチップアナログ−デジタル変換器からの可能な量子化雑音と同じ程度に高い一時的な雑音によるものである。
【0005】
本発明の譲受人と同一の譲受人に譲渡されたガイダッシュの米国特許第6,069,377号明細書は、能動画素センサ(APS)素子のダイナミックレンジの拡大への従来の手法と、ダイナミックレンジを拡大する新しい発明とを開示している。この方法は、画素当たり4個以上のトランジスタを必要とするという不都合を有しており、作ることのできる画素の大きさが制限される。ガイダッシュの米国特許第6,307,195号明細書及び第6,486,504号明細書は、光検出器からブルームする電荷を集め、光検出器の共集積と、単一画素内の浮動拡散とにより、ダイナミックレンジを拡大することを開示している。これらの方法には、センサ中の固定パターン雑音に寄与する光検出器の飽和レベルの空間変動という潜在的な不都合が存在し、センサの感度を増大させない。
【0006】
従来の能動画素センサ(APS)素子は、光に対する感度が不十分であるという難点も有している。この難点は、能動素子の画素中への集積と、画素上に配置されたカラーフィルタ層を透過する入射光の損失とに起因する。
【0007】
上述したことから、低固定パターン雑音、小画素及び高感度を維持しながら拡大したダイナミックレンジを維持する素子に対する要求が従来技術中に依然として存在していることが明らかであろう。
【発明の開示】
【課題を解決するための手段】
【0008】
本発明は、画像センサ上の全ての所与の空間パターン、特にCFAパターン中の1ないし2次元の核と整合するパターン、の集積を個別に制御する手段を提供する。このことは、所与の行又は所与の組の行中の画素に分離したTGバス又はRGバスを設けることにより、又は画像センサアレイ中の画素の所与のパターンに集積時間を個別に制御する任意の手段を設けることにより、なされる。このようにすることにより、有効なデータが、画像の暗い領域と明るい領域に常に同時に利用できる。
【0009】
本発明のこれら及び他の態様、目的、特徴及び利点は、望ましい実施の形態についての以下の詳細な説明及び添付した特許請求の範囲を検討し、添付した図面を参照することにより、より明確に理解でき、認識することができよう。
【発明を実施するための最良の形態】
【0010】
典型的な従来の画素センサの画素アレイを図1a及び図1bに示す。図1aの画像センサは、CCDやCMOSの能動画像センサ(APS)等の任意の技術タイプの画像センサであり得る。図1a中の画素アレイ10は1組の光検出器を備えている。集積時間は各画素に対して一定であり、各画素は、全て同一の集積時間を有する領域10a中の画素により代表される。この手法の欠点は、集積時間が長い場合、画像の明るい領域の画素が飽和して、この明るい領域の画像の細部が失われる場合があることである。集積時間を短く選択すると、画像の暗い領域の画質が、低信号高雑音により、不十分なものになってしまう場合がある。図1bの画像センサは、「プログラム可能なカラーバランスを備えた能動画素センサ」と題された、2002年7月17日にガイダッシュにより出願された米国特許出願第08/960,418号に開示されている。この画像センサにおいて、CFAパターンに関連する画素アレイ20の各カラーは個別の集積時間を有し、電荷領域のホワイトバランスを達成する。このことは、図1bにおいて、それぞれ20a,20b,20c,20dで表わされる、緑−赤行中の緑画素、緑−赤行中の赤画素、緑−青行中の青画素、緑−青行中の緑画素の各領域により表される。これは、図1a中の画像センサの画素アレイに対して取り上げたのと同一の欠点を有している。
【0011】
図2aを参照して、本発明の画像センサの画素アレイ30は、プログラム可能な集積時間を異ならせることを容易にするが、それは、図1bに示した空間パターンとは異なる空間パターンにおいてである。x−yアドレス指定可能なCMOS画像センサについては、このことは、分離した転送ゲート又はリセットゲートを備えることにより達成される。CCD画像センサについては、このことは、分離した転送ゲートを有することにより達成できる。図2a中の画像センサの画素アレイ30は、カラーフィルタアレイのパターンピッチ又は核に相関する、組み合わされた行40a及び40bに対して2つの異なる集積時間を有する画素を有するように構成されている。長い集積時間を有する画素は、高速画素と称し、短い集積時間を有する画素は、低速画素と称する。バイエルCFAパターンの場合、これは2行のピッチである。このパターン中に個別の集積時間を有することにより、図3に示すように、画像センサの有効なダイナミックレンジが拡大される。低い光レベルの領域である領域1では、センサの低速画素及び高速画素の双方とも飽和していない。高速画素は、雑音フロアより十分に上の信号レベルを有するであろう。低速画素は、センサの雑音フロアに比べて、所定の比率内にある信号レベルを有するであろう。領域2では、低速画素及び高速画素の双方とも飽和しておらず、双方とも適切な信号対雑音比を有する。高い光レベルの領域である領域3では、高速画素は飽和状態ないしクリップ状態になり、有効な信号レベル情報を有しない。低速画素は、飽和状態になっておらず、適切な信号対雑音比を有する有効な信号レベル情報を有している。有効な情報はCFAパターンに相関するので、高速画素から失われた情報は、低速画素を補間することにより決定することができる。図3に示す個別の集積時間構造を用いて、単一のフレームの撮像が行われ、空間的に適合的な画像処理が行われる。領域2においては、標準的な従来のカラー画像処理方法が採用され、画像を描画する。領域3に納まる撮像における画素の領域に対しては、低速画素による補間が用いられ、高速画素中で失われた信号情報を決定する。これは、極端に明るい画像領域中の真のMTFの損失に帰するが、有効な高い飽和照明レベルIsatが得られる。これにより、画像センサの画面内ダイナミックレンジが有効に拡大される。極端に明るい領域では真の空間解像度は低下するが、撮像により失われる画像内容は保持される。
【0012】
図2aのセンサ構造は、第一の集積時間の2行と、第二の集積時間を有する隣接する2行とを備えた集積時間パターンを提供するように設計されている。このことは、このパターンの集積時間に対する多重又は分離制御をなすことにより、任意のタイプの画像センサを用いて達成することができる。CMOS及び他のx−yアドレス指定可能な画像センサに対しては、このことは、集積時間を制御する交番する行信号線対に印加される2組の分離した集積ポインタを用いて画像センサタイミングを配列することにより簡単に達成できる。これは、各行における転送ゲート線、各行におけるリセットゲート線、その行の集積時間を制御するのに用いられる全ての他の行当たりの信号であり得る。CCD画像センサの場合は、このことは、少なくとも交番する行の対に対して、転送ゲート線に対する分離した個別の接続が存在するように、転送ゲートの配線が構成されることを必要とする。
【0013】
本発明の第2の実施の形態を図2bのアレイ中に示す。本実施の形態において、センサアレイ50は、2×2の画素パターン60a及び60b中に2個の個別のプログラム可能な集積時間を有するように構成される。x−yアドレス指定可能な画像センサ技術の場合、転送ゲート又はリセットゲートのように、集積時間を制御するために用いられる、行当たりの多数の信号線を備えることにより、このことが達成される。これらの行当たりの多数の信号線は、交番する画素対に接続され、図2bに示す集積時間パターンの生成に寄与する。
【0014】
図4aを参照すると、集積時間を制御する多数の信号線70の経路指定が示されている。各行に対する集積時間を制御するために、多数の信号線70の経路を指定することに関する一つの不利益は、画素ピッチ中に余分の信号線を適合させるために、充填率が減少し、あるいは画素サイズが大きくなることである。このことは、図4bに示す信号線経路指定構造により克服できる。この場合、単一の集積時間制御線80が行毎に用いられるが、実際には、2つの隣接する行中の画素への経路が定められる。隣接する行中の信号線80は、同様な方法で経路が定められ、図2bに示す集積時間のパターンの生成に寄与する。この手法を用いて、一時にデータの単一行がセンサから読み出されるが、データの流れの中に含まれる画素は、アレイ中の物理的に隣接する行からのものである。画像を適当に再構成するために、インターレースデータをカメラの画像メモリ中で補正しなければならない。これも本発明の特徴である。オンチップメモリ又はインカメラメモリの何れかが複数行の位置にデータを書き込むように設定することができるので、センサに、物理的行から同時に全ての画素カラーを読み出させる必要がない。
【0015】
前述したように、このことにより、広い画面内ダイナミックレンジ及び広い露光寛容度を有する画像センサ及び撮像システムが提供される。一回の撮像により、画像の高い光領域中の信号情報をクリップすることなく、低い光レベルに対する集積時間を最適化して、画像情報の全範囲を描画することができる。このことにより、露光又は集積時間の選択が非常に正確である必要が無いため、露光制御システムと、撮像システム中のアルゴリズムとを極めて単純化できる。
【0016】
このようなセンサを用いる撮像システムは、ある場面のダイナミックレンジを測定ないし決定し、2つの集積時間を適切に設定するために使用できることにも注意すべきである。カメラシステムの位相を計測している間、2つの異なる集積時間によって、場面の最大光レベルと最小光レベルとを決定することができる。これらの2つの集積時間は、場面中の照明範囲をカバーするように調節できる。例えば、撮像する場面のダイナミックレンジが画像センサの固有のダイナミックレンジ内である場合は、これらの2つの集積時間は、同一の値に設定できる。場面が、センサの真のダイナミックレンジよりも広いダイナミックレンジを有する場合は、2つの集積時間は、場面のダイナミックレンジに一致させるか、場面のダイナミックレンジを最適にカバーするように設定することができる。
【0017】
図5を参照すると、多くの消費者志向の市販用の実施形態のひとつである、本発明の画像センサを具体化するカメラ90が示されている。
【0018】
本発明は、望ましい実施の形態について説明した。しかし、本発明の範囲から外れることなく、当業者により変形と修正が有効になされ得ることを認識できる。
【図面の簡単な説明】
【0019】
【図1a】従来の画素アレイを示す図である。
【図1b】図1aに示したものとは別の従来の画素アレイを示す図である。
【図2a】本発明の画素アレイを示す図である。
【図2b】本発明の別の実施の形態を示す図である。
【図3】図2a及び図2bの実施の形態を図式的に説明するグラフである。
【図4a】行毎の2本の集積制御線を説明する図である。
【図4b】行毎の集積時間信号線を説明する図である。
【図5】図2a及び図2bの画素アレイを望ましい市販用の実施の形態中に実現するカメラを示す図である。
【符号の説明】
【0020】
10 画素アレイ、20 画素アレイ、20a 緑−赤行中の緑画素、20b 緑−赤行中の赤画素、20c 緑−青行中の青画素、20d 緑−青行中の緑画素、30 画素アレイ、40a 組み合わされた行、40b 組み合わされた行、50 センサアレイ、60a 2×2の画素パターン、60b 2×2の画素パターン、70 多数の信号線、80 単一の集積時間制御線、90 カメラ。

【特許請求の範囲】
【請求項1】
(a)複数の画素と、
(b)少なくとも該画素の一部にわたるカラーフィルタパターンであって、所定の配列で配されたカラーを有するカラーフィルタ核を形成するカラーフィルタパターンと、
(c)前記画素の集積時間を制御する機構と
を備えた画像センサであって、
前記カラーフィルタアレイ核に相関するパターン中で前記複数の画素の前記集積時間が空間的に異なることを特徴とする画像センサ。
【請求項2】
請求項1に記載の画像センサであって、前記カラーフィルタパターンがバイエルカラーフィルタパターンであることを特徴とする画像センサ。
【請求項3】
請求項1に記載の画像センサであって、前記カラーフィルタパターンが2×2核であることを特徴とする画像センサ。
【請求項4】
請求項3に記載の画像センサであって、前記集積時間パターンが、一の集積時間における2本と、第2の集積時間における隣接する2本とが交番するパターンであることを特徴とする画像センサ。
【請求項5】
請求項3に記載の画像センサであって、第一の核に関連する2×2画素の第一の組に対する前記集積時間が第一の集積時間にあり、同じ2本の線の組中の隣接する2×2核の前記集積時間が第二の集積時間にあることを特徴とする画像センサ。
【請求項6】
請求項5に記載の画像センサであって、隣接する2本線の組の前記集積時間パターンは、2画素ずれていることを特徴とする画像センサ。
【請求項7】
請求項1に記載の画像センサであって、前記集積時間パターンは、前記カラーフィルタ核の倍数であることを特徴とする画像センサ。
【請求項8】
(a)行と列とから成るアレイ中に配列された複数の画素と、
(b)行又は行の所望の部分中の多数の画素に対応する多数のデータ信号値を有する行同期信号に関連する一連の出力信号値を提供する読み出し機構と
を備えたことを特徴とする画像センサであって、
前記出力信号値は、前記アレイ中の少なくとも2つの物理的に分離した行の中の画素から生成された信号を有することを特徴とする画像センサ。
【請求項9】
(a1)複数の画素と、
(a2)少なくとも前記画素の一部にわたるカラーフィルタパターンであって、所定の配列のカラーを有するカラーフィルタ核を形成するカラーフィルタパターンと、
(a3)前記画素の集積時間を制御する機構と、
を備えた(a)画像センサであって、
該複数の画素の集積時間が、前記カラーフィルタアレイ核に相関するパターン中で空間的に異なる画像センサ、
を備えたことを特徴とするカメラ。
【請求項10】
請求項9に記載のカメラであって、前記カラーフィルタパターンは、バイエルカラーフィルタパターンであることを特徴とするカメラ。
【請求項11】
請求項9に記載のカメラであって、前記カラーフィルタパターンは、2×2核であることを特徴とするカメラ。
【請求項12】
請求項11に記載のカメラであって、前記集積時間パターンが、一の集積時間における2本と、第2の集積時間における隣接する2本とが交番するパターンであることを特徴とするカメラ。
【請求項13】
請求項11に記載のカメラであって、第一の核に関連する2×2画素の第一の組に対する前記集積時間が第一の集積時間にあり、同じ2本の線の組中の隣接する2×2核の前記集積時間は第二の集積時間にあることを特徴とするカメラ。
【請求項14】
請求項13に記載のカメラであって、隣接する2本線の組の前記集積時間パターンは、2画素ずれていることを特徴とするカメラ。
【請求項15】
請求項1に記載のカメラであって、前記集積時間パターンは、前記カラーフィルタ核の倍数であることを特徴とするカメラ。
【請求項16】
請求項9に記載のカメラであって、少なくとも前記複数の画素の部分集合を読み出し、該読み出しにより得た信号値を用いて前記複数の画素の前記集積時間を決定する機構を更に備えたことを特徴とするカメラ。
【請求項17】
(b)行と列とから成るアレイ中に配列される複数の画素と、
(c)行中又は行の所望の部分中の多数の画素に対応する多数のデータ信号値を有する行同期信号に関連する一連の出力信号値を提供する読み出し機構と、
を備えた(a)画像センサであって、
前記出力信号値は、前記アレイ中の少なくとも2つの物理的に分離された列内の画素から生成される信号を有する画像センサ、
を備えたことを特徴とするカメラ。
【請求項18】
請求項17に記載のカメラであって、前記データ値は前記カメラのメモリ中で再構成されることを特徴とするカメラ。

【図1a】
image rotate

【図1b】
image rotate

【図2a】
image rotate

【図2b】
image rotate

【図3】
image rotate

【図4a】
image rotate

【図4b】
image rotate

【図5】
image rotate


【公表番号】特表2007−504770(P2007−504770A)
【公表日】平成19年3月1日(2007.3.1)
【国際特許分類】
【出願番号】特願2006−526154(P2006−526154)
【出願日】平成16年9月1日(2004.9.1)
【国際出願番号】PCT/US2004/028325
【国際公開番号】WO2005/024948
【国際公開日】平成17年3月17日(2005.3.17)
【出願人】(590000846)イーストマン コダック カンパニー (1,594)
【Fターム(参考)】