説明

ピクセルアレイ露光パターン制御を可能にする回路、及び方法

画像センサ回路を含む画像処理システム。画像センサ回路は、ある種のシャッター動作を使用して画像を得るように構成され、そのシャッター動作において、ピクセルアレイの露光パターンは、ピクセルアレイの少なくとも一部に蓄積された電荷に少なくとも一部基いて時間的に変化する露光情報に従ってセットされる。画像センサ回路は、ピクセルアレイ、及び1以上の回路を含む。1以上の回路は、ピクセルアレイから出力された1以上の信号に少なくとも一部基いて露光情報を更新するように構成され、その露光情報に基いてピクセルアレイの露光パターンを制御するように構成される。ピクセル回路は、フォトダイオードとセンスノードとの間に接続された第1のトランジスタと、露光制御信号ラインと、第1のトランジスタのゲートとの間に接続された第2のトランジスタとを含む。

【発明の詳細な説明】
【技術分野】
【0001】
[関連特許出願の相互参照]
本出願は、2008年7月31日に出願された「Circuits and Methods Allowing for Pixel Array Exposure Pattern Control」と題する米国特許出願第12/184160号の利益を主張し、この特許出願の内容全体は、参照により本明細書に援用される。本出願は、2007年8月3日に出願された「CMOS Imger」と題する米国仮出願第60/953905号の利益を主張し、この仮出願の内容全体は、参照により本明細書に援用される。本出願は、2008年1月11日に出願された「CMOS Image Sensor for Machine Vision」と題する米国仮出願第61/020560号の利点を主張し、この仮出願の内容全体は、参照により本明細書に援用される。米国特許出願第12/184160号も、上で参照した米国仮出願第60/953905号、及び米国仮出願第61/020560号の利益を主張する。
【背景技術】
【0002】
[背景情報]
1.発明の背景
【0003】
本発明の実施形態は、概して、画像処理システム、画像センサ回路、ピクセル回路、画像撮影方法、及び画像処理方法に関し、特定の実施形態において、ピクセルアレイ、及びピクセルアレイのピクセル回路を制御するための1以上の回路を含む画像センサ回路に関する。
【0004】
2.関連技術
【0005】
画像センサ回路は、実際の場面、及び物体の画像を得るために幅広く使用されている。多くの場合、画像センサ回路は、人間が見る、又は眺める画像を得るために使用される。その他に、画像センサ回路は、マシンビジョンその他の自動パターン認識プロセスにおいて使用される画像を得るために使用されることもある。人間から見たときの場面の現実的描写を重視する関連技術の画像センサ回路は、パターン認識の目的に使用された場合、多少の問題を生じることがある。
【0006】
画像センサ回路は通常、行列を成すように構成された複数のピクセル回路を備えたピクセルアレイを含む。各ピクセル回路は一般に、撮影する場面の対応する部分の光強度をサンプリングするために、フォトダイオードのような感光素子を含む。画像撮影の際、ピクセルアレイのピクセル回路における感光素子からの電荷の蓄積は、通常、シャッター動作のために指定された所定の時間に従って制御される。種々の関連技術の画像センサ回路において使用されている2つのタイプのシャッター動作は、(1)グローバルシャッター動作、及び(2)ローリングシャッター動作である。
【0007】
一般的なグローバルシャッター動作では、ピクセルアレイにおける全てのピクセル回路がリセットされ、次いで、画像を撮影するために、指定時間にわたって一斉に露光される。このようなグローバルシャッターを使用する場合、ピクセルアレイにおける全てのピクセル回路は、同じ第1の時点において光からの電荷の集積、すなわち蓄積を開始し、その後、同じ第2の時点において電荷の蓄積を中止する。従って、そのようなグローバルシャッターを使用する場合、ピクセルアレイにおける全てのピクセル回路は同じ集積時間を有し、その集積時間の間に、撮影される場面についての光から、電荷が蓄積される。
【0008】
一般的なローリングシャッター動作では、ピクセルアレイの同じ行にある全てのピクセル回路がリセットされ、次いで、指定された時間にわたって一斉に露光される。そのようなローリングシャッターを使用する場合、ピクセルアレイの同じ行にある全てのピクセル回路はが、同じ第1の時点において光からの電荷の蓄積を開始し、その後、同じ第2の時点において電荷の蓄積を中止する。そのようなローリングシャッター動作では、ある行のピクセル回路が、指定された集積時間にわたっていったん露光された後、プロセスは、続いてピクセルアレイにおける次の行へ移り、そこで、その次の行にある全てのピクセル回路をその指定された時間にわたって一斉に露光する。その後プロセスは、全ての行のピクセル回路がその指定された集積時間にわたって露光され、画像が撮影されるまで、ピクセルアレイ内を1行づつ移動を続ける。
【0009】
グローバルシャッター、及びローリングシャッターの動作は、実際の場面におけるあるポイントが他のポイントに比べて明るい場合に、ピクセル回路が完全に飽和しない範囲で、その実際の場面の撮影画像においても同じことが言えるような、場面内のポイント間における光強度の相対的関係の維持を追求するものである。これが望ましいのは、撮影画像が、人間が見るためのものである場合である。なぜなら、撮影画像は、実際の場面の写実的な見栄えを維持する目的で撮影されるからである。しかしながら、広いダイナミックレンジを有する場面の画像をパターン認識のために撮影する場合、場面内のポイント間における光強度の相対的関係を維持しようとする試みは、問題を引き起こすことがある。なぜなら、実際の場面における光強度のばらつきは、ピクセル回路のダイナミックレンジを超えることがあるからである。
【0010】
例えば、明るい午後に暗いトンネルの中から外を眺めるときのような、明るい中央部、及び暗い縁部を有する実際の場面を考えて欲しい。そのような場合、もしグローバルシャッター、又はローリングシャッターの動作における電荷を蓄積するための集積時間が、暗いエリアについて十分な量の電荷を蓄積するために長い時間にセットされた場合、明るいエリアについて電荷を蓄積するピクセル回路は、電荷によって飽和する場合がある。そのような電荷の飽和は、画像の明るいエリアにおいて物体が見えない原因になりうる。一方、そのような場合においてグローバルシャッター、又はローリングシャッター動作に伴う電荷を蓄積するための集積時間が、明るいエリアについて電荷を蓄積するピクセル回路を飽和させないようにするために、短い時間にセットされた場合、暗いエリアについて電荷を蓄積するピクセル回路は、暗いエリアにおいて物体が見えるほど十分な量の電荷を蓄積しない場合がある。
【0011】
上記のように多すぎる電荷を蓄積したり、又は少なすぎる電荷を蓄積する問題は、自動パターン認識の場合において重大な問題になることがある。なぜなら、画像上の見えない物体を認識することは難しく、しばしば不可能なこともあるからである。例えば上記の例において、もし撮影画像が、トンネルの中で運転する車の自動制御に使用された場合、トンネルの出口エリアにおいて生じる画像の飽和は、トンネルの出口にある物体を認識する能力を阻害し、その結果、そのような物体を避ける車の能力に悪影響を与える場合がある。このように、場面のエリア間に光強度の大きな差が存在する広いダイナミックレンジを有する場面の画像を撮影する場合、グローバルシャッター、及びローリングシャッターの動作は、問題となる場合がある。
【0012】
図1は、従来技術による画像センサ回路100を示すブロック図である。画像センサ回路100は、ピクセルアレイ101、アナログデジタル変換器(ADC)ブロック102、デジタル画像プロセッサ103、行アドレス回路104、制御プロセッサ105、及び画像メモリバッファ106を含む。ピクセルアレイ101は、行列を成すように構成された複数のピクセル回路112を含む。各ピクセル回路112は、撮影される場面の対応する部分の光強度をサンプリングするために、フォトダイオードのような感光素子を含み、各ピクセル回路112は、サンプリングされた光強度に基いてアナログピクセル信号を生成するように構成される。
【0013】
ピクセルアレイ101は、行制御ライン107、107、・・・、107を含み、各行制御ラインは、複数の制御ライン(図1には示されていない)を含む場合があり、ピクセルアレイ101は、アナログ出力ライン108、108、・・・、108をさらに含む。行アドレス回路104は、行制御ライン107、107、・・・、107を介してピクセルアレイ101内のピクセル回路112に制御信号を供給し、ピクセル回路112の動作を制御する。ピクセルアレイ101の第i行のような、ピクセルアレイ101の同一の行にあるピクセル回路112は、共通の制御ライン107を介して、行アドレス回路104からの共通の行制御信号を共用する。ピクセルアレイ101の第j列のような、ピクセルアレイ101の同じ列にあるピクセル回路112は、共通のアナログ出力ライン108を共用し、出力を生成する。行アドレス回路104は、ピクセル回路112を制御し、ローリングシャッター動作のための行単位の処理を実施する。
【0014】
アナログ出力ライン108、108、・・・、108を介してピクセルアレイ101から出力されるアナログピクセル信号は、ADCブロック102に入力される。ADCブロック102は通常、ピクセルアレイ101内のピクセル回路112の各列について1つの列ADC回路114を含む。列ADC回路114は、アナログ出力ライン108、108、・・・、108のそれぞれ1つを介してピクセルアレイ101から受信したアナログピクセル信号を、対応するデジタル出力ライン109、109、・・・、109に出力されるデジタル信号に変換する。制御プロセッサ105は、ADCブロック102の動作を制御するように構成され、かつ、行アドレス回路104の動作を制御するようにも構成される。ADCブロック102からデジタル出力ライン109、109、・・・、109に出力されるデジタルピクセル信号は、デジタル画像プロセッサ103に入力される。デジタル画像プロセッサ103は、画像メモリバッファ106、及び制御プロセッサ105と協働し、入力デジタルピクセル信号を処理し、出力ライン101上にデジタル出力信号を生成する。
【0015】
図2は、ピクセル回路112についての従来技術による設計を示している。ピクセル回路112は、フォトダイオード121、転送ゲートトランジスタ122、センスノード131、リセットトランジスタ124、ドライブトランジスタ125、及び読み出し選択トランジスタ126を含む。転送ゲートトランジスタ124、リセットトランジスタ124、ドライブトランジスタ125、及び読み出し選択トランジスタ126はそれぞれ、Nチャネル金属酸化膜半導体(NMOS)電界効果トランジスタからなる。行制御ライン107、107、・・・、107(図1参照)の一般的な1つを、行制御ライン107として図2に示し、アナログ出力ライン108、108、・・・、108(図1参照)の一般的な1つを、アナログ出力ライン108として図2に示す。行制御ライン107は、行読み出し信号ライン127、転送信号ライン129、及びリセット信号ライン130を含む。ピクセル回路112は、行読み出し信号ライン127、転送信号ライン129、及びリセット信号ライン130において入力信号を受信する。ピクセル回路112は、アナログ出力ライン108上に出力信号を生成する。
【0016】
図2に示すように、フォトダイオード121は、グラウンド133と、転送ゲートトランジスタ122の第1の端子との間に接続される。転送ゲートトランジスタ122の第2の端子は、センスノード131に接続され、転送ゲートトランジスタ122のゲートは、転送信号ライン129に接続される。リセットトランジスタ124の第1の端子は、電圧源132に接続され、リセットトランジスタ124の第2の端子は、センスノード131に接続され、リセットトランジスタ124のゲートは、リセット信号ライン130に接続される。ドライブトランジスタ125の第1の端子は、電圧源132に接続され、ドライブトランジスタ125の第2の端子は、読み出し選択トランジスタ126の第1の端子に接続され、ドライブトランジスタ125のゲートは、センスノード131に接続される。読み出し選択トランジスタ126の第2の端子は、アナログ出力ライン108に接続され、読み出し選択トランジスタ126のゲートは、行読み出し信号ライン127に接続される。
【0017】
図3は、列ADC回路114についての従来技術による設計を示している。行ADC回路114は、ソーストランジスタ140、二重サンプリング増幅器142、及びアナログデジタル変換器(ADC)回路144を含む。二重サンプリング増幅器142は、制御プロセッサ105(図1参照)から供給される制御信号によって制御され、二重サンプリング増幅器142は、その制御信号を増幅器制御信号ライン146を介して受信する。ADC回路144は、制御プロセッサ105(図1参照)から供給される制御信号によって制御され、ADC回路144は、その制御信号を変換器制御信号ライン148を介して受信する。アナログ出力ライン108、108、・・・、108(図1参照)の一般的な1つをアナログ出力ライン108として図3に示し、デジタル出力ライン109、109、・・・、109(図1参照)の一般的な1つをデジタル出力ライン109として図3に示す。ソーストランジスタ140の第1の端子は、アナログ出力ライン108に接続され、ソーストランジスタ140の第2の端子は、グラウンド133に接続される。二重サンプリング増幅器142の入力は、アナログ出力ライン108に接続され、二重サンプリング増幅器142の出力は、ADC回路144の入力に接続される。ADC回路144の出力は、デジタル出力ライン109に接続される。
【0018】
図4は、図1の従来技術による画像センサ回路100を示す図であり、その中に、図2のピクセル回路112、及び図3の列ACD回路114が示されている。次に、画像センサ回路100の動作について、図1、図2、図3、及び図4を参照して説明する。画像撮影処理を開始する場合、転送信号ライン129にハイ信号を供給し、転送ゲートトランジスタをオンにし、かつ、リセット信号ライン130にハイ信号を供給し、リセットトランジスタをオンにすることによって、フォトダイオード121はリセットされる。次に、転送ゲートトランジスタ122をオンの状態に維持したまま、リセット信号ライン130にロー信号を供給してリセットトランジスタ124をオフにし、フォトダイオード121において生成された電荷をセンスノード131に蓄積出来るようにする。露光時間インターバルの最後の時点で、転送信号ライン129にロー信号が供給され、転送ゲートトランジスタ122はオフにされる。
【0019】
転送ゲートトランジスタ122がオフにされ、すなわち閉じられた後、行読み出し信号ライン127にハイ信号が供給され、読み出し選択トランジスタ126はオンに切り替えられ、二重サンプリング増幅器142は、アナログ出力ライン108上のピクセル回路出力電圧をサンプリングする。次に、行読み出し信号ライン127にロー信号を供給し、読み出し選択トランジスタ126をオフにし、リセット信号ライン130、及び転送信号ライン129の両方にハイ信号を供給し、リセットトランジスタ124、及び転送ゲートトランジスタ122をオンに切り替えることにより、センスノード131をリセットする。センスノード131がリセット状態にあるときに、行読み出し信号ライン127にハイ信号が供給され、読み出し選択トランジスタ126はオンに切り替えられ、二重サンプリング増幅器142は、アナログ出力ライン108上のピクセル回路リセット電圧をサンプリングする。次に、二重サンプリング増幅器142は、補正されたピクセル回路出力電圧に到達するために、ピクセル回路出力電圧と、ピクセル回路リセット電圧との間の差を計算する。補正されたピクセル回路出力電圧は、二重サンプリング増幅器142からADC回路144へ渡され、ADC回路144は、補正されたピクセル回路出力電圧をデジタル信号に変換し、そのデジタル信号をデジタル画像プロセッサ103に渡す。
【0020】
画像センサ回路100において、ピクセルアレイ101内の所与の行にあるピクセル回路112は全て、同じ長さの時間にわたって電荷を蓄積する。そのため画像センサ回路101は、高いダイナミックレンジを有する画像を撮影する場合に、上記のような問題を生じる。なぜなら、実際の場面における光強度のばらつきは、ピクセル回路112のダイナミックレンジを上回ることがあるからである。このような問題は、画像センサ回路100によって撮影された画像において物体、又はパターンを認識する妨げとなる場合がある。
【発明の概要】
【課題を解決するための手段】
【0021】
[開示の概要]
本発明の種々の実施形態によれば、画像撮影処理におけるピクセルアレイの露光パターンを時間的に制御し、画像撮影処理においてピクセルアレイ内のピクセル回路を異なる長さの時間にわたって露光することが可能になる。種々の実施形態において、ピクセルアレイの露光パターンは、ピクセルアレイの少なくとも一部に蓄積された電荷を示す、ピクセルアレイから出力される信号に少なくとも一部基いて制御される。実施形態によっては、ピクセルアレイの露光パターンは、画像撮影の際にピクセルアレイに既に蓄積されている電荷に基いて、画像撮影の際に繰り返し更新される場合がある。
【0022】
本発明の一実施形態による画像センサ回路は、ピクセルアレイ、及び1以上の回路を含む。ピクセルアレイは、複数のピクセル回路を含む。1以上の回路は、ピクセルアレイから出力される1以上の信号に少なくとも一部基いて、露光情報を更新するように構成され、かつ、その露光情報に基いてピクセルアレイの露光パターンを制御するように構成される。種々の実施形態において、1以上の回路は、ピクセルアレイから出力される1以上の信号、及び少なくとも1つの拡張ルールに少なくとも一部基いてピクセルアレイにより画像を撮影するとともに、露光情報を繰り返し更新するように構成される。実施形態によっては、少なくとも1つの拡張ルールは、少なくとも1つの構造化要素によって規定される場合がある。
【0023】
種々の実施形態において、複数のピクセル回路は、画像撮影処理の少なくとも一部においてピクセルアレイのある行における少なくとも1つのピクセル回路は、ピクセル回路のセンスノードに電荷を集積することができるが、その行における少なくとも第2のピクセル回路は、第2のピクセル回路のセンスノードに電荷を蓄積することが出来ないように制御される場合がある。実施形態によっては、1以上の回路は、ピクセルアレイから出力される1以上の信号の値に少なくとも一部基いて露光情報を繰り返し更新するように構成される場合があり、その1以上の信号の値は、ピクセルアレイの少なくとも一部に蓄積された電荷を表す場合がある。
【0024】
種々の実施形態において、1以上の回路は、ピクセルアレイの露光パターンを制御するために、露光情報に基いて複数のピクセル回路の露光状態を個別に制御するように構成される場合がある。なお、種々の実施形態において、複数のピクセル回路の各ピクセル回路についての露光状態には、ピクセル回路がそのピクセル回路のセンスノードに電荷を集積することが可能なオン状態と、ピクセル回路がセンスノードにそれ以上電荷を集積することが出来ないオフ状態とがある。
【0025】
実施形態によっては、画像センサ回路は、ピクセル回路の露光状態の制御に使用される複数のピクセル回路の各ピクセル回路について少なくとも1つのビットを含む露光パターンデータのような露光情報を記憶するための1以上のメモリデバイスをさらに含む場合がある。さらに別の実施形態として、1以上の回路は、画像撮影処理の前に、1以上のメモリデバイスに記憶された露光パターンデータを初期パターンにリセットするように構成される場合がある。実施形態によっては、1以上の回路は、露光情報に基いてピクセルアレイにより画像を撮影しながら、ピクセルアレイの露光パターンを複数回にわたって変更するように構成される場合がある。
【0026】
種々の実施形態において、複数のピクセル回路のうちの少なくとも1つのピクセル回路は、光検出素子、第1のトランジスタ、及び第2のトランジスタを含む。第1のトランジスタは、光検出素子に接続された端子を有する。第2のトランジスタは、露光制御信号ラインと、第1のトランジスタのゲートとの間に接続される。種々の実施形態において、1以上の回路は、露光情報に基いて露光制御信号ライン上の信号を制御するように構成される。実施形態によっては、少なくとも1つのピクセル回路は、第3のトランジスタ、及び第4のトランジスタをさらに含む場合がある。第3のトランジスタは、光検出素子に接続される。第4のトランジスタは、アンチブルーミング制御信号ラインと、第3のトランジスタのゲートとの間に接続される。1以上の回路は、露光情報に基いて、アンチブルーミング制御信号ライン上のアンチブルーミング信号を制御するように構成される。
【0027】
種々の実施形態において、1以上の回路は、画像撮影処理の際に、アンチブルーミング制御信号ライン上のアンチブルーミング信号を、露光制御信号ライン上の露光制御信号とは反対の値になるように制御するように構成される。また、種々の実施形態において、光検出素子は、露光制御信号ラインの下に延びる第1の部分と、アンチブルーミング制御信号ラインの下に延びる第2の部分とを含む。一部の実施形態ににおいて、少なくとも1つのピクセル回路は、画像撮影処理の際に一定電圧に接続される1以上のダミー拡散領域をさらに有する場合がある。
【0028】
実施形態によっては、少なくとも1つのピクセル回路は、リセットトランジスタをさらに含む場合がある。リセットトランジスタは、固定電圧と、センスノードとの間に接続され、センスノードの電圧が、出力信号を制御する。種々の実施形態において、1以上の回路は、リセットトランジスタのゲートに印加されるリセット信号を制御するように構成され、それによって画像撮影処理における出力信号の少なくとも2回の読み出しの際に、及びその読み出しの間にリセットトランジスタがオフの状態に維持され、センスノードへの電荷の蓄積に関して非破壊的な出力信号の少なくとも2回の読み出しが実施されるようにする場合がある。
【0029】
種々の実施形態において、ピクセルアレイは、1以上の信号を提供するための複数の列読み出しラインをさらに含み、1以上の回路は、複数の列読み出しライン上の信号を、電圧信号、又は電流信号となるように選択的に制御するように構成される。実施形態によっては、1以上の信号は、画像撮影処理の際の少なくとも一部の時間においてアナログ電流信号である場合がある。種々の実施形態において、画像センサ回路は、複数のピクセル回路のうちのピクセルアレイの同じ列にある2以上のピクセル回路からピクセルアレイの列読み出しラインに出力されたアナログ信号を受信するように構成され、かつそのアナログ信号を対応するデジタル信号に変換するように構成された列アナログデジタル変換器回路をさらに含む。
【0030】
種々の実施形態において、複数のピクセル回路は、複数の行、及び複数の列を成すように構成される。実施形態によっては、1以上の回路は、ピクセルアレイを選択的に制御し、2以上の行、及び2以上の列におけるピクセル回路から同時に出力を生成し、2以上の行からの出力が、ピクセルアレイの列読み出しライン上においてアナログ状態で結合されるようにする場合がある。
【0031】
実施形態によっては、画像センサ回路は、抵抗グリッドをさらに含む場合がある。種々の実施形態において、抵抗グリッドは、複数の切替可能な抵抗器、及び複数のコンデンサを含む。実施形態によっては、複数のコンデンサは、ピクセルアレイから出力される1以上の信号に基く値を有する信号を受信するように接続され、複数の切替可能な抵抗器は、複数のコンデンサをコマンド信号に従って選択的に接続するように構成される場合がある。種々の実施形態において、1以上の回路は、複数の切替可能な抵抗器が複数のコンデンサを接続するように制御され、かつある時間が経過したときに、複数のコンデンサのうちの少なくとも1つに記憶された電圧をサンプリングするように構成される。また、種々の実施形態において、1以上の回路は、その電圧に基いて露光情報を更新するように構成される。
【0032】
実施形態によっては、複数のピクセル回路は、複数の行、及び複数の列を成すように構成され、複数の行のそれぞれが、閾値電流発生器をさらに含む場合がある。種々の実施形態において、1以上の回路は、複数の行のうちの特定の行における特定の閾値電流発生器の出力から導出される基準信号の電圧を、その特定の行における複数のピクセル回路のうちの特定のピクセル回路の出力から導出される信号の電圧と比較するように構成され、かつ、その比較結果に基いて露光情報を更新するように構成される。実施形態によっては、1以上の回路は、閾値と、露光情報から計算された数値との比較に基いて、ピクセルアレイにおける画像撮影処理を中止するように構成される場合がある。また、実施形態によっては、1以上の回路は、デジタル信号プロセッサを含む場合がある。種々の実施形態において、画像センサ回路は、複数のピクセル回路のうちの少なくとも1つのピクセル回路の少なくとも一部に配置された赤外線フィルタをさらに含む。実施形態によっては、画像センサ回路は、複数のピクセル回路のうちの少なくとも1つのピクセル回路の少なくとも一部に配置されたカラーフィルタをさらに含む場合がある。
【0033】
本発明の一実施形態による画像センサ回路における方法は、(a)画像センサ回路のピクセルアレイの露光パターンに関連する情報を記憶するステップと、(b)(i)ピクセルアレイに記憶されている情報、及び(ii)ピクセルアレイから出力される1以上の信号に少なくとも一部基いて、ピクセルアレイの露光パターンを変更するステップとを含む。
【0034】
本発明の一実施形態による画像センサ回路における方法は、(a)画像センサ回路のピクセルアレイの複数のピクセル回路のそれぞれにおいて電荷の蓄積を開始するステップと、(b)ピクセルアレイから出力される1以上の信号に少なくとも一部基いて選択された複数のピクセル回路のうちの少なくとも1つの特定のピクセル回路における電荷の蓄積を禁止するステップと、(c)拡張ルールに少なくとも一部基いて、ピクセルアレイ内の複数のピクセル回路のうちの特定のピクセル回路に隣接する少なくとも1つのピクセル回路における電荷の集積を禁止するステップとを含む。
【0035】
本発明の一実施形態によるピクセル回路は、感光素子と、第1のトランジスタと、第2のトランジスタとを含む。種々の実施形態において、感光素子は、フォトダイオード等からなる。第1のトランジスタは、感光素子と、センスノードとの間に接続される。第2のトランジスタは、露光制御信号ラインと、第1のトランジスタのゲートとの間に接続され、第2のトランジスタのゲートは、転送信号ラインに接続される。
【0036】
本発明の一実施形態による画像処理システムは、画像センサ回路、及びプロセッサを含む。画像センサ回路は、ピクセルアレイを含み、また、ある種のシャッター動作を使用して画像を取得するように構成され、そのシャッター動作の際に、ピクセルアレイの露光パターンは、ピクセルアレイの少なくとも一部に蓄積された電荷に少なくとも一部基いて時間的に変化する露光情報に従ってセットされる。プロセッサは、画像内の1以上の物体を検出するように構成される。種々の実施形態において、露光情報はさらに、構造化要素により規定される拡散ルールにも基いて時間的に変化する。種々の実施形態において、画像センサ回路、及びプロセッサはいずれも、単一のチップ上に配置される。
【0037】
本発明の種々の実施形態によれば、フィードバックを利用してピクセルアレイを制御することが可能となり、それによって画像撮影処理の際に、ピクセルアレイの少なくとも一部に既に蓄積されている電荷を示すピクセルアレイから出力される信号に少なくとも一部基いて、ピクセルアレイを制御することが可能となる。また、本発明の種々の実施形態によれば、個々のピクセル回路レベルで集積時間を制御することが可能となり、それによって画像撮影処理の際に、ピクセルアレイの同じ行にある複数のピクセル回路に、それぞれ異なる長さの時間にわたって電荷を集積させることが可能となる。種々の実施形態において、特定のシャッター動作によれば、実際の場面の明るいエリアについて電荷を集積しているピクセル回路に、その実際の場面の暗いエリアについて電荷を集積しているピクセル回路の蓄積時間に比べて短い集積時間だけ電荷を集積させることが可能となる。従って、本発明の種々の実施形態によれば、画像撮影処理の際にピクセル回路によって既に蓄積されている電荷に少なくとも一部基いて、画像撮影処理の際に個々のピクセル回路に許された電荷を蓄積することが可能な時間の長さを制御することが可能となる。
【図面の簡単な説明】
【0038】
【図1】従来技術による画像センサ回路を示す図である。
【図2】従来技術によるピクセル回路を示す図である。
【図3】従来技術による列アナログデジタル変換器(ADC)を示す図である。
【図4】従来技術による画像センサ回路を示す図である。
【図5】本発明の一実施形態による画像処理システムを示す図である。
【図6】本発明の一実施形態による画像センサ回路を示す図である。
【図7】本発明の一実施形態によるピクセル回路を示す図である。
【図8】本発明の一実施形態による閾値電流発生器を示す図である。
【図9】本発明の一実施形態による列ADC回路を示す図である。
【図10】本発明の一実施形態による基準信号変換器を示す図である。
【図11】本発明の一実施形態による画像センサ回路を示す図である。
【図12】本発明の一実施形態による列ADC回路を示す図である。
【図13】本発明の一実施形態による画像センサ回路を示す図である。
【図14】本発明の一実施形態によるピクセル回路のレイアウトを示す図である。
【図15】本発明の一実施形態による画像センサ回路における方法を示すフロー図である。
【図16】本発明の一実施形態による画像センサ回路における方法を示すフロー図である。
【図17】本発明の一実施形態による画像センサ回路における方法を示すフロー図である。
【図18A】本発明の一実施形態による構造化要素によって規定される拡散ルールを示す図である。
【図18B】本発明の一実施形態による構造化要素によって規定される拡散ルールを示す図である。
【図18C】本発明の一実施形態による構造化要素によって規定される拡散ルールを示す図である。
【図18D】本発明の一実施形態による構造化要素によって規定される拡散ルールを示す図である。
【図19A】本発明の一実施形態による露光パターンバッファの内容の一例を示す図である。
【図19B】本発明の一実施形態による図19Aの露光パターンバッファの内容に従ってセットされたピクセルアレイの露光パターンの一例を示す図である。
【図19C】本発明の一実施形態による露光パターンバッファの内容の一例を示す図である。
【図19D】本発明の一実施形態による露光パターンバッファの内容の一例を示す図である。
【図19E】本発明の一実施形態による図19Dの露光パターンバッファの内容に従ってセットされたピクセルアレイの露光パターンの一例を示す図である。
【図19F】本発明の一実施形態による露光パターンバッファの内容の一例を示す図である。
【図19G】本発明の一実施形態による露光パターンバッファの内容の一例を示す図である。
【図19H】本発明の一実施形態による図19Gの露光パターンバッファの内容に従ってセットされたピクセルアレイの露光パターンの一例を示す図である。
【図19I】本発明の一実施形態による露光パターンバッファの内容の一例を示す図である。
【図19J】本発明の一実施形態による露光パターンバッファの内容の一例を示す図である。
【図19K】本発明の一実施形態による図19Jの露光パターンバッファの内容に従ってセットされたピクセルアレイの露光パターンの一例を示す図である。
【図20】本発明の一実施形態による画像センサ回路を示す図である。
【図21】本発明の一実施形態による画像センサ回路を示す図である。
【図22】本発明の一実施形態によるレイアウトを示す図である。
【発明を実施するための形態】
【0039】
[例示的実施形態の詳細な説明]
図5は、本発明の一実施形態による画像処理システム700を示すブロック図である。画像処理システム700は、画像センサ回路200、及びプロセッサ800を含む。画像センサ回路200は、ピクセルアレイ240、及び1以上の回路290を含む。種々の実施形態において、画像センサ回路200、及びプロセッサ800はいずれも単一のチップ上に配置される。種々の実施形態において、画像センサ回路200は、実際の場面の画像を撮影することができ、プロセッサ800は、画像センサ回路200により撮影された画像を処理するように構成される。実施形態によっては、プロセッサ800は、画像についてのデータを画像センサ回路200から受信するように構成され、かつ、そのデータを処理し、画像中の1以上の物体を検出するように構成される場合がある。種々の実施形態において、画像処理システム700は、マシンビジョン認識その他の自動パターン認識の用途に使用される場合がある。実施形態によっては、画像処理システム700は、人間が見る画像を得るために使用される場合がある。
【0040】
実施形態によっては、プロセッサ800は、2007年11月30日に出願された「Vision System on a Chip」と題する米国仮出願第60/991,540号に開示されている回路のような、1以上の物体を検出するためのパターンマッチングを実施する回路を含む場合がある。この米国仮出願の内容は全て、参照により本明細書に援用される。実施形態によっては、プロセッサ800は、1以上の特徴のモデルを使用し、画像の中から、物体を表す1以上の特徴をサーチするように構成される場合がある。また、そのような実施形態では、プロセッサ800は、米国仮特許出願第60/991,545号の図8のフロー図におけるステップ802〜010を含む方法のような、画像内の特徴を探索することによって物体を検出する方法を実施する場合がある。
【0041】
図6は、本発明の一実施形態による画像センサ回路200を示す図である。画像センサ回路200は、ピクセルアレイ240、アナログデジタル変換器(ADC)ブロック249、ピクセル制御信号発生器213、制御プロセッサ212、デジタル画像プロセッサ210、及び画像メモリバッファ211を含む。実施形態によっては、画像センサ回路200は、露光パターンバッファ295をさらに含む場合がある。ピクセルアレイ240は、行、及び列を成すように構成された複数のピクセル回路250を含む。例えば、種々の実施形態において、ピクセルアレイ240は、n、mを整数値として、「n」行、及び「m」列のピクセル回路250を含む場合がある。各ピクセル回路250は、撮影する場面の対応する部分の光強度をサンプリングするために、フォトダイオードのような光検出素子を含む。種々の実施形態において、ピクセルアレイ240は、列を成すように構成された複数の閾値電流発生器260をさらに含む。各閾値電流発生器260は、ピクセルアレイ240内のピクセル回路250の対応する行に関連する場合があり、さらに、その対応する行を信号比較に使用するために、基準信号を生成するように構成される場合がある。
【0042】
ピクセルアレイ240は、行制御ライン223、223、・・・、223を含み、各行制御ラインは、複数の制御ライン(図6には示されていない)を含む場合があり、ピクセルアレイ240は、列読み出しライン231、231、・・・、231をさらに含む。ピクセル制御信号発生器213は、行制御ライン223、223、・・・、223を介してピクセルアレイ240内のピクセル回路250に制御信号を供給し、ピクセル回路250の動作を制御するように構成される。種々の実施形態において、ピクセルアレイ240の第i行のような、ピクセルアレイ240の同じ行にあるピクセル回路250は、共通の行制御ライン223を介して、ピクセル制御信号発生器213からの共通の行制御信号を共用する。また、種々の実施形態において、ピクセルアレイ240の第j番目の列のような、ピクセルアレイ240の同じ列にあるピクセル回路250は、共通の列読み出しライン231を共用し、出力を生成することができる。種々の実施形態において、ピクセルアレイ240は基準信号線232をさらに含み、その基準信号線232を介して、複数の閾値電流発生器260のキャッシュは出力を生成することができる。
【0043】
列読み出しライン231、231、・・・、231を介してピクセルアレイ240から出力されるアナログ信号は、ADCブロック249に入力される。種々の実施形態において、ADCブロック249は、ピクセルアレイ240内のピクセル回路250の各列について、1以上の列ADC回路220を含む。種々の実施形態において、列ADC回路220は、列読み出しライン231、231、・・・、231を介してピクセルアレイ240からそれぞれ受信したアナログ信号を、対応するデジタル出力ライン241、241、・・・、241に出力されるデジタル信号に変換する。種々の実施形態において、ADCブロック249は、ピクセルアレイ240から延びる基準信号線232上の信号を受信し、基準電圧ライン243に基準信号を提供することにより、ADCブロック249の複数の列ADC回路220のそれぞれに基準信号を供給する基準信号変換器221をさらに含む。種々の実施形態において、ADCブロック249は、1以上の制御ライン241を含み、制御ライン241を介して、制御プロセッサ212は、基準信号変換器221の動作を制御するための制御信号を供給する。また、種々の実施形態において、ADCブロック249は、1以上の制御ライン242を含み、制御ライン242を介して、制御プロセッサ212は、複数の列ADC回路220の動作を制御するための制御信号を供給する。
【0044】
種々の実施形態において、制御プロセッサ212は、ADCブロック249の動作を制御するように構成され、また、ピクセル制御信号発生器213の動作を制御するように構成される。種々の実施形態において、制御プロセッサ212は、1以上の制御ライン244を介してピクセル制御信号発生器213に制御信号を供給する。ADCブロック249からデジタル出力ライン246、246、・・・、246へ出力されたデジタル信号は、デジタル画像信プロセッサ210に入力される。画像センサ回路200は、ピクセル制御信号ライン226、226、・・・、226をさらに含み、各ピクセル制御信号ラインは、複数の制御ライン(図6には示されていない)を含む場合がある。デジタル画像プロセッサ210は、ピクセル制御信号ライン226、226、・・・、226を介して、ピクセルアレイ240内のピクセル回路250に制御信号を供給するように構成される。種々の実施形態において、ピクセルアレイ240の第j列のような、ピクセルアレイ240の同じ列にあるピクセル回路250は、共通のピクセル制御信号ライン226を共用し、ピクセル制御信号ライン226を介して、制御信号はデジタル画像プロセッサ210から伝送される。
【0045】
種々の実施形態において、デジタル画像プロセッサ210は、1以上の通信ライン245を介して制御プロセッサ212と通信する。また、種々の実施形態において、デジタル画像プロセッサ210は、読み出し/書き込みバス248を介して画像メモリバッファ211からデータを読み出し、画像メモリバッファ211にデータを書き込む。実施形態によっては、デジタル画像プロセッサ210から画像メモリバッファ211へデータを伝送することが可能な独立した書き込みバス247を設ける場合がある。種々の実施形態において、デジタル画像プロセッサ210は、デジタル出力ライン246、246、・・・、246を介してADCブロック249から受信したデジタル信号を処理し、1以上の出力ライン219上に出力信号を生成するように構成される。種々の実施形態において、画像メモリバッファ211は、データの記憶、及び読み出しのために、ランダムアクセスメモリ(RAM)等を含む。実施形態によっては、画像センサ回路200は、露光パターンバッファ295を含み、デジタル画像プロセッサ210は、露光パターンバッファ295に対する読み出し、及び書き込みを行う機能を有する場合がある。種々の実施形態において、露光パターンバッファ295は、RAM等を含む。
【0046】
画像センサ回路200の種々の実施形態は、(i)列読み出しライン231、231、・・・、231上に出力される信号がアナログ電流信号である電流アナログモードと、(ii)列読み出しライン231、231、・・・、231上に出力される信号がアナログ電圧信号である電圧アナログモードとのいずれかを選択することができる。種々の実施形態において、画像センサ回路200は、電圧源230、複数のバイアス電圧源234、234、・・・、234、及びアナログスイッチ等のような複数の電圧源スイッチ217、217、・・・、217をさらに含む。また、種々の実施形態において、ピクセルアレイ240は、複数の電圧源ライン235、235、・・・、235をさらに含む。種々の実施形態において、ピクセルアレイ240の第j列のような、ピクセルアレイ240の同じ列にあるピクセル回路250は、共通の電圧源ライン235を共用し、また、その列の電圧源ライン235は、複数の電圧源スイッチ217、217、・・・、217のうちの対応する電圧源スイッチ217に接続される。種々の実施形態において、制御プロセッサ212は、複数の電圧源スイッチ217、217、・・・、217をそれぞれ制御し、電圧源230の端子と、バイアス電圧源234、234、・・・、234のうちの対応するものの第1の端子との間を切り替えるように構成される。種々の実施形態において、各バイアス電圧源234、234、・・・、234の第2の端子は、グラウンド233に接続される。
【0047】
種々の実施形態において、ピクセルアレイ240は、複数の閾値電流発生器260のそれぞれに接続された電圧源ライン238をさらに含む。また、種々の実施形態において、画像センサ回路200は、バイアス電圧源281、及び電圧源ライン238に接続された239をさらに含む。種々の実施形態において、制御プロセッサ212は、スイッチ239を制御し、バイアス電圧源281の第1の端子と、非接続状態との間を切り替えるように構成される。また、種々の実施形態において、バイアス電圧源281の第2の端子は、グラウンド233に接続される。種々の実施形態において、ピクセルアレイ240は、複数の閾値電流発生器260のそれぞれに接続された閾値電圧ライン268をさらに含む。また、種々の実施形態において、画像センサ回路200は閾値電圧源267をさらに含み、閾値電圧源267の第1の端子は閾値電圧ライン268に接続され、第2の端子はグラウンドに接続される。
【0048】
図5、及び図6を参照すると、種々の実施形態において、1以上の回路290は、デジタル画像プロセッサ210を含む。実施形態によっては、デジタル画像プロセッサ210は、プログラム可能なデジタル信号プロセッサ等を含む場合がある。実施形態によっては、1以上の回路290は、ピクセル制御信号発生器213をさらに含む場合がある。種々の実施形態において、1以上の回路290は、ADCブロック249をさらに含む。また、種々の実施形態において、1以上の回路290は、複数のバイアス電圧源234、234、・・・、234、複数の電圧源スイッチ217、217、・・・、217、バイアス電圧源281、スイッチ239、及び閾値電圧源267をさらに含む。
【0049】
図7は、本発明の一実施形態によるピクセル回路250を示している。ピクセル回路250は、フォトダイオード201等のような光検出器、又は感光素子を含む。ピクセル回路250は、転送ゲートトランジスタ202、フローティング拡散ノードのようなセンスノード203、リセットトランジスタ204、ドライブトランジスタ205、読み出し選択トランジスタ206、アンチブルーミングゲートトランジスタ216、第1の書き込み選択トランジスタ214、及び第2の書き込み選択トランジスタ215をさらに含む。種々の実施形態において、転送ゲートトランジスタ202、リセットトランジスタ204、ドライブトランジスタ205、読み出し選択トランジスタ206、アンチブルーミングゲートトランジスタ216、第1の書き込み選択トランジスタ214、及び第2の書き込み選択トランジスタ215はそれぞれ、Nチャネル金属酸化物半導体(NMOS)電界効果トランジスタ等を含む場合がある。センスノード203は、特定の静電容量を有し、ある程度の電荷を蓄積することができる。
【0050】
行制御ライン223、223、・・・、223(図6参照)の一例を、図7に、行制御ライン223として示す。種々の実施形態において、行制御ライン223は、行読み出し信号ライン254、転送信号ライン253、及びリセット信号ライン252を含む。種々の実施形態において、ピクセル回路250は、行読み出し信号ライン254、転送信号ライン253、及びリセット信号ライン252上の入力信号を受信する。ピクセル制御信号ライン226、226、・・・、226(図6参照)の一例を、図7に、ピクセル制御信号ライン226として示す。種々の実施形態において、ピクセル制御信号ライン226は、露出制御信号ライン225、及びアンチブルーミング制御信号ライン256を含む。種々の実施形態において、ピクセル回路250は、露出制御信号ライン255、及びアンチブルーミング制御信号ライン256上の入力信号を受信する。電圧源ライン235、235、・・・、235(図6参照)の一例を、図7に、電圧源ライン235として示す。種々の実施形態において、ピクセル回路250は、電圧源ライン235を介して入力電圧信号を受信する。列読み出しライン231、231、・・・、231(図6参照)の一例を、図7に、列読み出しライン231として示す。種々の実施形態において、ピクセル回路250は、列読み出しライン231上に出力信号を生成する。
【0051】
図7のピクセル回路250の一実施形態において示したように、フォトダイオード201のアノードは、グラウンド233に接続され、フォトダイオード201のカソードは、転送ゲートトランジスタ202の第1の端子に接続され、かつ、アンチブルーミングゲートトランジスタ216の第1の端子に接続される。転送ゲートトランジスタ202の第2の端子は、センスノード203に接続され、転送ゲートトランジスタ202のゲートは、第2の書き込み選択トランジスタ215の第1の端子に接続される。リセットトランジスタ204の第1の端子は、電圧源251に接続され、リセットトランジスタ204の第2の端子は、センスノード203に接続され、リセットトランジスタ204のゲートは、リセット信号ライン252に接続される。ドライブトランジスタ205の第1の端子は、電圧源ライン235に接続され、ドライブトランジスタ205の第2の端子は、読み出し選択トランジスタ206の第1の端子に接続され、ドライブトランジスタ205のゲートは、センスノード203に接続される。読み出し選択トランジスタ206の第2の端子は、行読み出しライン231に接続され、読み出し選択トランジスタ206のゲートは、行読み出し信号ライン254に接続される。
【0052】
アンチブルーミングトランジスタ216の第2の端子は、電圧源251に接続され、アンチブルーミングトランジスタ216のゲートは、第1の書き込み選択トランジスタ214の第1の端子に接続される。第1の書き込み選択トランジスタ214の第2の端子は、アンチブルーミング制御信号ライン256に接続され、第1の書き込み選択トランジスタ214のゲートは、転送信号ライン253に接続される。第2の書き込み選択トランジスタ215の第2の端子は、露光制御信号ライン255に接続され、第2の書き込み選択トランジスタ215のゲートは、転送信号ライン253に接続される。
【0053】
図8は、本発明の一実施形態による閾値電流発生器260を示している。閾値電流発生器260は、電流制御トランジスタ265、及び選択トランジスタ266を含む。種々の実施形態において、電流制御トランジスタ265、及び選択トランジスタ266はそれぞれ、NMOS電界効果トランジスタ等からなる。行制御ライン223、223、・・・、223(図6参照)の一例に関する行読み出し信号ライン254を、図8に、閾値電流発生器260に接続されるものとして示す。図8の閾値電流発生器260の一実施形態に示すように、電流制御トランジスタ265の第1の端子は、電圧源ライン238に接続される。電流制御トランジスタ265のゲートは、閾値電圧ライン268に接続され、電流制御トランジスタ265の第2の端子は、選択トランジスタ266の第1の端子に接続される。選択トランジスタ266のゲートは、行読み出し信号ライン254に接続され、選択トランジスタ266の第2の端子は、基準信号ライン232に接続される。
【0054】
図9は、本発明の一実施形態による列ADC回路220を示している。列ADC回路220は、出力モードスイッチ227、二重サンプリング増幅器207、ソーストランジスタ208、ADC回路209、電流電圧変換器222、差比較器225、及びデジタルマルチプレクサ228を含む。列読み出しライン231、231、・・・、231(図6参照)の一例を、図9に、列読み出しライン231として示す。デジタル出力ライン246、246、・・・、246(図6参照)の一例を、図9に、デジタル出力ライン246として示す。制御プロセッサ212(図6参照)からの1以上の制御ライン242は、列ADC回路220に入力される。種々の実施形態において、制御プロセッサ212(図6参照)は、1以上の制御ライン242に制御信号を供給し、出力モードスイッチ227、二重サンプリング増幅器207、ソーストランジスタ208、電流電圧変換器222、ADC回路209、差比較器225、及びデジタルマルチプレクサ228の動作を制御するように構成される。種々の実施形態において、1以上の制御ライン242は、制御プロセッサ212(図6参照)からデジタルマルチプレクサ228へ選択信号を伝送するための選択信号ライン274を含む。
【0055】
図9の列ADC回路220の一実施形態において示したように、出力モードスイッチ227は、列読み出しライン231を電流電圧変換器222の入力に接続し、又は二重サンプリング増幅器207の入力とソーストランジスタ208の第一の端子の両方に接続するように制御される。種々の実施形態において、出力モードスイッチ227は、1以上の制御ライン242を介して供給される制御信号により、制御プロセッサ(図6参照)によって制御することができる。種々の実施形態において、電流電圧変換器222は、アナログ電流信号を受信し、そのアナログ電流信号を電圧信号に変換し、電圧信号を出力するように構成される。電流電圧変換器222の出力は、差比較器225の第1の入力に接続される。差比較器225の第2の入力は、基準信号変換器221(図6参照)からの基準電圧信号を受信するために、基準電圧ライン243に接続される。種々の実施形態において、差比較器225は、電流電圧変換器222からの電圧信号出力と、基準電圧ライン243から受信した基準電圧信号との間の差を増幅し、その差に基いてデジタル出力を生成するように構成される。種々の実施形態において、差比較器225の出力は、デジタルマルチプレクサ228の第1の入力に供給される。
【0056】
種々の実施形態において、ソ−ストランジスタ208の第1の端子は、二重サンプリング増幅器207の入力に接続される。また、種々の実施形態において、ソーストランジスタ208の第2の端子は、グラウンド233に接続され、ソーストランジスタ208のゲートは、電圧提供源273に接続される。種々の実施形態において、二重サンプリング増幅器207は、列読み出しライン231上のピクセル出力電圧をサンプリングするように構成され、また、別の時点において、列読み出しライン231上のリセット電圧をサンプリングするように構成され、さらに、そのピクセル出力電圧とリセット電圧との差を計算し、補正されたピクセル出力電圧を得るように構成される。種々の実施形態において、ADC回路209は、その補正されたピクセル出力電圧を二重サンプリング増幅器207から受信するために、二重サンプリング増幅器207の出力に接続される。種々の実施形態において、ADC回路209は、補正されたピクセル出力電圧を2値化し、2値化された補正されたピクセル出力電圧をデジタルマルチプレクサ228の第2の入力に供給する。種々の実施形態において、デジタルマルチプレクサ228は、選択信号ライン274に提供される制御信号に基いて、差比較器225の出力か、又はADC回路の出力をデジタル出力ライン246に出力するように構成される。
【0057】
図10は、本発明の一実施形態による基準信号変換器221を示している。種々の実施形態において、基準信号変換器221は、スイッチ281、電流電圧変換器224、及び電圧駆動回路229を含む。種々の実施形態において、スイッチ281は、基準信号ライン232を電流電圧変換器224の入力に対して接続、又は切断するように制御される。種々の実施形態において、スイッチ281は、制御プロセッサ212(図6参照)からの1以上の制御ライン241に供給される制御信号によって制御される。種々の実施形態において、電流電圧変換器224は、基準信号ライン232上に提供される基準アナログ電流信号を対応する電圧信号に変換し、その対応する電圧信号を出力するように構成される。種々の実施形態において、電流電圧変換器224から出力される電圧信号は、電圧駆動回路229の第1の入力に供給される。種々の実施形態において、電圧駆動回路229の出力は、電圧駆動回路229の第2の入力へのフィードバックとして設けられ、電圧駆動回路229は、基準電圧ライン243に基準電圧信号を印加するように構成され、基準電圧信号は、電流電圧変換器224の出力に少なくとも一部基く。
【0058】
図11は、本発明の一実施形態による図6の画像センサ回路20を示し、その中に、図7のピクセル回路250、図8の閾値電流発生器260、図9の列ADC回路220、及び図10の基準信号変換器221が示されている。電圧源スイッチ217、217、・・・、217(図6参照)の一例を、図11に、電圧源スイッチ217として示す。バイアス電圧源234、234、・・・、234(図6参照)の一例を、図11に、電圧バイアス源234として示す。種々の実施形態において、画像センサ回路200は、電圧アナログモード、又は電流アナログモードのいずれかで動作するように制御される。種々の実施形態において、制御プロセッサ212は、電圧源スイッチ217、出力モードスイッチ227、及びデジタルマルチプレクサ228を制御することにより、ピクセル回路250からの出力を、電圧アナログモード、又は電流アナログモードのいずれかにセットするように構成される。
【0059】
電圧アナログモードにセットする場合、種々の実施形態において、制御プロセッサ212は、(i)ドライブトランジスタ205の第1の端子が電圧源スイッチ217を通して電圧源230に接続されるように電圧源スイッチ217を制御し、(ii)読み出し選択トランジスタ206の第2の端子がソーストランジスタ208の第1の端子、及び二重サンプリング増幅器207の入力に接続されるように出力モードスイッチ227を制御し、(iii)デジタルマルチプレクサ228が出力としてADC回路209の出力を提供するようにデジタルマルチプレクサ228を制御する。そのような実施形態における電圧アナログモードにおいて、ピクセル回路250は、列ADC回路220に電圧信号を供給する機能を有し、電圧信号は、二重サンプリング増幅器207によってサンプリングされる。
【0060】
電流アナログモードにセットする場合、種々の実施形態において、制御プロセッサ212は、(i)ドライブトランジスタ205の第1の端子が電圧源スイッチ217を介してバイアス電圧源234に接続されるように電圧源スイッチ217を制御し、(ii)読み出し選択トランジスタ206の第2の端子が電流電圧変換器222の入力に接続されるように出力モードスイッチ227を制御し、(iii)電流制御トランジスタ265の第1の端子がスイッチ239を介してバイアス電圧源281に接続されるようにスイッチ239を制御し、(iv)デジタルマルチプレクサ228が出力として差比較器225の出力を提供するようにデジタルマルチプレクサ228を制御する。そのような実施形態における電流アナログモードにおいて、ピクセル回路250は、列ADC回路220に1以上の電流信号を供給する機能を有し、電流信号は、電流電圧変換器222によって、対応する1以上の電圧信号に変換される。
【0061】
次に、本発明の一実施形態による画像センサ回路200の動作について、図6、図7、図8、図9、図10、及び図11を参照して説明する。画像撮影処理の前に、ピクセル制御信号発生器213からリセット信号ライン252にハイ信号を供給させ、かつ転送信号ライン253にハイ信号を供給させ、さらに、デジタル画像プロセッサ210から露光制御信号ライン255にハイ信号を供給させ、かつアンチブルーミング制御信号ライン256にロー信号を供給させることによって、フォトダイオード201、及びセンスノード203はリセットされる。そのような信号の組み合わせによって、リセットトランジスタ204、及び転送ゲートトランジスタ202はいずれもオンになり、アンチブルーミングゲートトランジスタ216はオフになる。
【0062】
種々の実施形態において、アンチブルーミングゲートトランジスタ216、及び転送ゲートトランジスタ202は、それぞれ寄生容量を有し、従ってアンチブルーミングゲートトランジスタ、及び転送ゲートトランジスタ202のゲートにそれぞれ書き込まれる値は、例えばそれらが新たな値によって上書きされるまで存続することができる。また、アンチブルーミングゲートトランジスタ216、及び転送ゲートトランジスタ202のゲートは、第1の書き込み選択トランジスタ214、及び第2の書き込み選択トランジスタ215によってそれぞれ分離することができる。従って、リセット動作のために第1の書き込み選択トランジスタ214、及び第2の書き込み選択トランジスタ215のそれぞれの第2の端子に値が与えられ、転送信号ライン253にハイ信号が供給された後、転送信号ライン253上の信号はローに変化する場合があり、アンチブルーミングゲートトランジスタ216、及び転送ゲートトランジスタ202は、その寄生容量により、例えば新たな値が書き込まれるまで、その与えられた値を保持することになる。
【0063】
種々の実施形態において、画像撮影処理を開始するときは、転送ゲートトランジスタ202をオンの状態に維持したまま、リセット信号ライン252にロー信号を供給し、リセットトランジスタ204をオフにし、フォトダイオード201において生成された電荷をセンスノード203に蓄積できるようにする。その状態にある間、フォトダイオード201からの電荷は、センスノード203に集積される。センスノード203における電荷の蓄積が開始された後、電圧源スイッチ217、出力モードスイッチ227、スイッチ239、及びデジタルマルチプレクサ228を電流アナログモード設定に従ってセットすることにより、アナログ電流読み出しを実施することができ、その後、ピクセル制御信号発生器213から行読み出し信号ライン254にハイ信号を供給させ、読み出し選択トランジスタ206をオンに切り替える。アナログ電流読み出しが実施された後、制御信号発生器213は、行読み出し信号ライン254にロー信号を出力する。
【0064】
電流アナログモードにおいて読み出しのために、行読み出し信号ライン254にハイ信号を供給し、読み出し選択トランジスタ206をオンに切り替えると、列読み出しライン231上に、センスノード203の電圧レベルに比例した電流が生成される。電流電圧変換器222は、列読み出しライン231上の電流をピクセル出力電圧に変換する。基準電流は、閾値電圧源267により提供される閾値電圧に従って、閾値電流発生器260において生成される。電流電圧変換器224は、その基準電流を、電圧駆動回路229によって基準電圧ライン243に印加される基準電圧に変換する。差比較器225は、ピクセル出力電圧と、基準電圧との間の差を増幅し、デジタル出力を生成する。デジタル画像プロセッサ210は、マルチプレクサ228を通して差比較器225のデジタル出力を読み出す。
【0065】
ピクセル回路250から列読み出しライン231への電流の読み出しは、非破壊的であり、従って、センスノード203に蓄積された電荷は、列読み出しライン231への電流の読み出しの後も、センスノード203に留まる。従って、種々の実施形態において、ピクセル回路250からの電流の読み出しは、画像撮影処理中にセンスノード203に蓄積された電荷を逃がすことなく、画像撮影中に複数回にわたって実施される場合がある。電圧源スイッチ217、出力モードスイッチ227、スイッチ239、及びデジタルマルチプレクサ228を電流アナログモード設定に従ってセットすることによって、画像撮影処理中に1以上のアナログ電流読み出しが実施される場合があり、その後、ピクセル制御信号発生器213から行読み出し信号ライン254にハイ信号を供給させ、読み出し選択トランジスタ206をオンに切り替える。アナログ電流読み出しが実施された後、制御信号発生器213は、行読み出し信号ライン254にロー信号を供給する場合がある。従って、画像撮影処理中に異なる回数の複数のアナログ電流読み出しを実施することにより、画像撮影中に、センスノード203に蓄積された電荷をモニタリングすることができ、その場合、各アナログ電流読み出しは、センスノード203に蓄積される電荷について非破壊的なものである。
【0066】
種々の実施形態において、センスノード203における電荷の集積は、センスノード203に既に蓄積された電荷を維持したまま、撮影動作中に中止させることができる。センスノード203における電荷の集積を中止させるために、デジタル画像プロセッサ210は、露光制御信号ライン255にロー信号を供給し、アンチブルーミング制御信号ライン256にハイ信号を供給する場合があり、ピクセル制御信号発生器213は、転送信号ライン253にハイ信号を供給する場合がある。そのような信号の組み合わせによって、転送ゲートトランジスタ202はオフになり、アンチブルーミングゲートトランジスタ216はオンになる。アンチブルーミングゲートトランジスタ216、及び転送ゲートトランジスタ202は特定の寄生ゲート容量を有し、それによって、それらのトランジスタは値を記憶することができ、その後、ピクセル制御信号発生器213は、転送信号ライン253にロー信号を供給し、アンチブルーミングゲートトランジスタ216、及び転送ゲートトランジスタ202は、新たな値が書き込まれるまで、それらの値を保持することになる。アンチブルーミングゲートトランジスタ216がオンになると、フォトダイオード201は使い果たされる。
【0067】
アナログ電圧読み出しは、電圧源スイッチ217、出力モードスイッチ227、及びデジタルマルチプレクサを電圧アナログモード設定に従ってセットし、その後、ピクセル制御信号発生器213から行読み出し信号ライン254にハイ信号を供給させ、読み出し選択トランジスタ206をオンに切り替えることによって実施される場合がある。電圧アナログモードにおける読み出しのために、行読み出し信号ライン254にハイ信号を供給し、読み出し選択トランジスタ206をオンにするとき、センスノード203の電圧レベルに比例するピクセル出力電圧が、ソーストランジスタ208の第1の端子において、列読み出しライン231に印加される。二重サンプリング増幅器207は、ピクセル回路250からの電圧読み出しの際に、ソーストランジスタ208の第1の端子におけるピクセル出力電圧をサンプリングする。アナログ電圧読み出しが実施された後、制御信号発生器213は、行読み出し信号ライン254にロー信号を供給する場合がある。センスノード203がリセット状態にあるとき、二重サンプリング増幅器207はさらに、ソーストランジスタ208の第1の端子におけるリセット電圧をサンプリングする。二重サンプリング増幅器207は、補正されたピクセル出力電圧に到達するために、ピクセル出力電圧と、リセット電圧との間の差を計算し、補正されたピクセル出力電圧は、ADC回路209によって2値化される。アナログ電圧読み出しの場合、デジタル画像プロセッサ210は、マルチプレクサ228を通してADC回路209のデジタル出力を読み出す。
【0068】
センスノード203をリセット状態にするために、デジタル画像プロセッサ210から露光制御信号ライン255にハイ信号を供給させ、アンチブルーミング制御信号ライン256にハイ信号を供給させ、さらに、ピクセル制御信号発生器213から転送信号ライン253にハイ信号を供給させ、リセット信号ライン252にハイ信号を供給させることにより、ピクセル回路250をリセットする場合がある。そのような信号の組み合わせによって、リセットトランジスタ204、及び転送ゲートトランジスタ202はいずれもオンになり、アンチブルーミングゲートトランジスタ216はオフになる。センスノード203がリセット状態にあるときに、ピクセル制御信号発生器213によって行読み出し信号ライン254にハイ信号が供給され、読み出し選択トランジスタ206がオンにされると、センスノード203のリセット電圧レベルに比例するリセット電圧が、ソーストランジスタ208の第1の端子に供給される。二重サンプリング増幅器207は、ピクセル回路250からの電圧アナログ読み出しの際に使用されるソーストランジスタ208の第1の端子におけるリセット電圧をサンプリングする場合がある。
【0069】
ピクセル回路250からのアナログ電流読み出し、及びアナログ電圧読み出しを両方とも可能にする一つの利点は、各タイプの読み出しが、望ましいクオリティになることである。アナログ電流読み出しによれば、ピクセルアレイ240からの高速読み出しが可能となる。なぜなら、大きなピクセルアレイの場合に存在することがある列読み出しライン231の大きな静電容量は、アナログ電流出力の迅速な生成の妨げにならないからである。アナログ電圧読み出しによれば、ピクセルアレイ240からの低雑音の信号読み出しが可能になる場合がある。従って、種々の実施形態において、アナログ電流読み出しは、画像撮影処理においてピクセルアレイから複数回にわたって迅速に値を得るために使用される場合がある一方、アナログ電圧読み出しは、画像撮影処理の最後の時点で低雑音の最終的な値を得るために使用される場合がある。
【0070】
アナログ電流読み出しのもう一つの利点は、アナログ電流読み出しによれば、ピクセルアレイ240内の複数行のピクセル回路250を同時に選択し、ピクセルアレイ240の各列について、ピクセルアレイ240の選択された行のピクセル回路250の出力電流の和に比例する出力電流を生成することができる点にある。そのような複数行読み出しによれば、垂直方向における出力画像の空間的平均化、又は平滑化が可能となる。特定の画像取得方法において、そのような局部的な画像平均化は、ピクセル回路の欠陥により一般的に生成される雑音や、異なるピクセル回路のドライブトランジスタ間の差によって生じる固定パターン雑音のようなある種の雑音をフィルタリングするのに有利な場合がある。なぜなら、局部的な平均化によれば、画像の垂直方向におけるローパスフィルタリング、及び、画像を行単位でサブサンプリングするときのアンチエイリアスフィルタリングが可能になるからである。
【0071】
図12は、本発明の一実施形態による列ADC回路220の他の実施形態を示している。図12の列ADC回路220の実施形態の要素のうち、図9の列ADC回路220の実施形態の要素と同じものには、同じ符号を付してある。図12の列ADC回路220の実施形態は、電流電圧変換器222、及び差比較器225が、電流比較器222bに置換されている点で、図9の列ADC回路220の実施形態とは異なる。電流比較器222bは、電流比較器222bに入力される電流が正であるか負であるかを検出し、その検出結果を示す2値出力を生成する。スイッチ227が、列読み出しライン231を電流比較器222bの入力に接続するように制御される場合、電流比較器222bの入力は、列読み出しライン231に接続される。電流比較器222bの出力は、マルチプレクサ228の第1の入力に供給される。
【0072】
図13は、本発明の一実施形態による画像センサ回路200の他の実施形態を示している。図13の画像センサ回路200の実施形態は、図9の列ADC回路220の実施形態を含む替わりに、図12の列ADC回路220の実施形態を含む点で、図11の画像センサ回路200の実施形態とは異なる。また、図13の画像センサ回路200の実施形態は、基準信号変換器221(図6参照)を含まない。また、図13の画像センサ回路200の実施形態は、ピクセル回路の各列について、電流源218として一例が示されているような電流源をさらに含み、ピクセル回路の各列について、電流源スイッチ283として一例が示されているような電流源スイッチをさらに含む。図13の画像センサ回路200の実施形態の要素のうち、図11の画像センサ回路200の実施形態の要素と同じ他の要素には、同じ符号を付してある。
【0073】
図13の画像センサ回路200の実施形態において、電流源218のような、ピクセル回路の各列についての各電流源は、基準信号ライン232に接続される。電流源218は、閾値電圧発生器260が、閾値電圧源267からのバイアス電圧によって励起されたときに閾値電流発生器260によって生成される電流をミラーリングすることによってセットされるバイアス電流を生成する。種々の実施形態において、電流源スイッチ283は、制御プロセッサ212によって制御され、切断状態にされ、又は列読み出しライン231に接続される。図13の画像センサ回路200の実施形態の場合、電圧アナログモードにおいて、制御プロセッサ212は電流源スイッチ283を制御し、切断状態にする。
【0074】
図13の画像センサ回路200の実施形態の場合、電流アナログモードにおいて、制御プロセッサ212は、電流源スイッチ283を制御し、電流源218を列読み出しライン231に接続する。この状態において、ピクセル回路250により電流が生成された場合、電流比較器222bの入力部に到達する総電流は、ピクセル回路250によって生成される電流から、電流源218によって生成されるバイアス電流を差し引いたものに等しい。そのような実施形態において、電流アナログモードの場合、電流比較器222bは、到着した電流が正であるか負であるかを判定し、判定結果に基づく2値情報を出力としてデジタルマルチプレクサ228に供給する。種々の実施形態において、1以上の回路290(図5参照)は、ピクセルアレイ240(図6参照)のピクセル回路の各列について、電流源218のような電流源、及び電流源スイッチ283のような電流源スイッチをさらに含む。
【0075】
図14は、本発明の一実施形態による図7のピクセル回路250の例示的レイアウトを示している。図14のピクセル回路250の例示的レイアウトにおける要素のうち、図7のピクセル回路250の要素と同じものには、同じ参照符号を付してある。種々の実施形態において、転送ゲートトランジスタ202、及びアンチブルーミングゲートトランジスタ216は、フォトダイオード201の両側にそれぞれ配置される場合がある。実施形態によっては、転送ゲートトランジスタ202、センスノード203、リセットトランジスタ204、ドライブトランジスタ205、読み出し選択トランジスタ206、第1の書き込み選択トランジスタ214、及び第2の書き込み選択トランジスタ215はそれぞれ、フォトダイオード201の同じ側に配置される場合がある。
【0076】
図15は、本発明の一実施形態による方法を示すフロー図である。図6の画像センサ回路200、及び図7のピクセル回路250を参照し、図15の方法について説明する。本発明の一実施形態による方法の例示的動作を、図19A〜図19Bに示す。図19A〜図19Kに記載される例は、ピクセルアレイ240が7行、及び8列のピクセル回路を有するピクセルアレイ240の一実施形態に関するものである。ピクセルアレイ240のそのような実施形態は、単に例として提供するものであり、他の実施形態において、ピクセルアレイ240は、もっと多くの、又はもっと少ない数の行、及びもっと多くの、又はもっと少ない数の列を有するピクセル回路を有する場合がある。例えば、ピクセル回路240は、実施形態によっては、7行より多い行数、及び7列より多い列数のピクセル回路を有する場合がある。
【0077】
図15における一部のステップは、露光パターンバッファを参照する。種々の実施形態において、画像メモリバッファ211の一部は、露光パターンバッファとして使用される。種々の他の実施形態において、画像センサ回路200は、画像メモリバッファ211から分離されたメモリとして、露光パターンバッファ295を有する場合がある。図19A〜図19Kの例において、例として示した図面の一部は、露光パターンバッファ295の一実施形態の例示的内容を示す。この例における露光パターン295の実施形態のサイズは、単に例として提供するものであり、種々の他の実施形態において、露光パターンバッファ295は、この例に示したものよりも大きな容量、又は小さな容量を有する場合がある。
【0078】
図15の方法のステップ301において、露光パターンバッファ295は、デジタル画像プロセッサ210によって消去され、ピクセルアレイ240は、ピクセル制御信号発生器213、及びデジタル画像プロセッサ210によってリセットされる。種々の実施形態において、露光パターンバッファ295は、例えば、ピクセルアレイ240内の各ピクセル回路250について1以上のビットを有する露光パターンのような露光情報を記憶している。また、種々の実施形態において、露光パターンバッファ295は、露光パターンバッファ295内の記憶ビットをそれぞれ初期状態にセットすることによって消去される。図19Aは、露光パターンバッファ295を消去した後における、本発明の一実施形態による露光パターンバッファ295の例示的内容を示している。図19Aの例において、露光パターンバッファ295は、ピクセルアレイ240(図19B参照)の一実施形態における各ピクセル回路について1ビットを含み、この例における露光パターンバッファ295は、全てのビットを「0」にセットし、メモリを初期化することによって消去される。
【0079】
画像センサ回路200の種々の実施形態において、ピクセルアレイ240は、ピクセル制御信号発生器213から、各行制御ライン223、223、・・・、223のリセット信号ライン252、及び転送信号ライン253の両方にハイ信号を供給させ、デジタル画像プロセッサ210から、各ピクセル制御信号ライン226、226、・・・、226の露光制御信号ライン255にハイ信号を供給させ、かつアンチブルーミング制御信号ライン256にロー信号を供給させることによってリセットされる。このような信号の組み合わせにより、各ピクセル回路250のリセットトランジスタ204、及び転送ゲートトランジスタ202はオンになり、各ピクセル回路250のアンチブルーミングゲートトランジスタ216はオフになる。アンチブルーミングゲートトランジスタ216、及び転送ゲートトランジスタ202が、それぞれのゲートに与えられた信号を受信すると、それらのゲートにおける寄生容量は、書き込まれた値に応じて変更され、すなわち放電される。その結果、各ピクセル回路の第1の書き込み選択トランジスタ214、及び第2の書き込み選択トランジスタ215が、対応する転送信号ライン253上のロー信号によってオフにされたときに、アンチブルーミングゲートトランジスタ216、及び転送ゲートトランジスタ202の状態を維持することが可能になる。実際これは、アンチブルーミングゲートトランジスタ216、及び転送ゲートトランジスタ202の状態を管理書き込み専用デジタルメモリの2つのビットを表す。その後、方法はS302へと続く。
【0080】
S302において画像撮影処理は開始され、従って、ピクセルアレイ240における画像撮影が開始される。種々の実施形態において、ピクセルアレイ240における画像撮影は、ピクセル制御信号発生器213から、各行制御ライン223、223、・・・、223のリセット信号ライン252にロー信号を供給させ、各ピクセル回路250のリセットトランジスタ204をオフにすることによって開始される。種々の実施形態において、各ピクセル回路250のフォトダイオード201は、ピクセル回路250の転送ゲート202がオンであるときは常に、光によって生成された電荷のピクセル回路250のフォトダイオード201からセンスノード203への自発的な移動が発生する電圧に固定される。ピクセル回路250の種々の実施形態において、リセットトランジスタ204をオンにすると、リセットトランジスタ204は、センスノード203をリセット電圧レベルに固定し、それによって、センスノード203における電荷の蓄積を実質的に防止する働きをする。一方、リセットトランジスタ204をオフにし、転送ゲートトランジスタ202をオンにした場合、電荷は、フォトダイオード201に入射する光エネルギーに比例する速度でセンスノード203に蓄積されることになる。
【0081】
図19Bは、画像撮影が開始された後のピクセルアレイ240の一実施形態の露光パターンの一例を示している。例示のために、図19Bの例におけるピクセルアレイ240のピクセル回路のうち、それぞれのセンスノードに電荷を蓄積するように有効化されたものは、白いボックスとして示されている。図19Bにおいて、画像撮影は開始されたばかりであるから、ピクセルアレイ240内の全てのピクセル回路が、白いボックスとして示されている。なぜなら、画像撮影処理の開始時点では、図19Bの実施形態のピクセルアレイ240における全てのピクセル回路が、それぞれのセンスノードに電荷を蓄積するように有効化されるからである。ピクセルアレイ240における画像撮影が開始された後、方法はS303へと続く。
【0082】
S303において、ピクセルアレイ240から、2値画像が読み出される。種々の実施形態において、S303におけるピクセル240からの読み出しは、電流アナログモードで実施され、従って、ピクセルアレイ240から列読み出しライン231、231、・・・、231に出力される信号は、電流信号である。図11の画像センサ回路200の実施形態を使用する場合、ピクセル回路250の各列についての電圧源スイッチ217、出力モードスイッチ227、及びデジタルマルチプレクサ228、並びにスイッチ239は、上記のように電流アナログモードに従ってセットされる。図13の画像センサ回路200の実施形態を使用する場合、ピクセル回路250の各列についての電流源スイッチ283は、上記のような電流アナログモードに従ってさらにセットされる。
【0083】
種々の実施形態において、電流アナログモードでは、現在撮影され、ピクセルアレイ240のピクセル回路250に記憶されている画像の2値表現を生成するために、各ピクセル回路250がサンプリングされ、それらの電流アナログ出力レベル(これは、リセットの終了後にピクセル回路のフォトダイオード201によって吸収された光子の数を表す)が基準レベルと比較される。種々の実施形態において、S303におけるピクセル回路読み出しプロセスの間、各ピクセル回路250のリセットトランジスタ204はオフの状態に留まり、それによって、ピクセル回路読み出しプロセスは、各ピクセル回路250のセンスノード203に蓄積された電荷に関して非破壊的なものとなる。
【0084】
種々の実施形態において、S303における読み出しプロセスは、行単位で進められる。例えば、種々の実施形態において、ピクセルアレイ240内の1行のピクセル回路250が読み出された後、ピクセルアレイ240内の次の行のピクセル回路250が読み出され、これが、全ての行が読み出されるまで同様に繰り返される。各行の読み出しは、例えば、その行を読み出すときに、ピクセル制御信号発生器からその行の行制御ライン223の行読み出し信号ライン254にハイ信号を供給させ、その後、その行が読み出された後に、その行の行制御ライン223の読み出し信号ライン254にロー信号を供給させることによって行われる場合がある。実施形態によっては、読み出し時にピクセルアレイ240の2以上の行を一度にサブサンプリング、及び/又は選択することが可能な場合がある。電流アナログモードにおいて2以上の行が読み出しのために一度に選択される場合、ピクセルアレイ240の任意の所与の列についての列読み出しライン231は、その列についての出力を生成するために選択されたピクセル回路250の出力の合計を提供する。そのような技術は、例えば、画像センサ回路200の電流アナログ領域において垂直画像平滑化処理を実施する際に使用されることがあり、その種のフィルタリングは、空間雑音低減に一般的に関連する利点を有し、特定の用途として、ピクセル回路の製造上の欠陥の影響をアンチエイリアス、又は軽減することが挙げられる。
【0085】
S305では、S303で得られた2値画像データを処理する。例えば、2値画像データは、雑音を抑制するために、空間フィルタリングされる場合がある。2値画像データをフィルタリングする方法としては、あまりに小さ過ぎて、図15の方法の目的として重要なものとはみなされない特徴を抑制するメジアンフィルタ、及び形態学的近似が挙げられる。S303の電流アナログ読み出しプロセスの一部として垂直方向における平滑化が既に適用されている場合、種々の実施形態においてS304の処理は、2値画像データの処理を水平方向における処理に制限することによって単純化することができる。図15の方法の実施形態によっては、ステップS304は任意選択的なものであり、完全にバイパスされる場合もある。実施形態によっては、S304について上で説明したノイズフィルタリングの後、S304は、構造化要素による画像の拡張を含み、それによって、2値画像データから得られる初期ポイントの付近における露光制御信号パターンの伝搬を加速する場合がある。種々の実施形態において、S304における処理は、デジタル画像プロセッサ210によって実施される。その後、プロセスはS305へと続く。
【0086】
ステップS304が実施された後、S305では、S304からのフィルタリングされた2値画像データが、露光パターンバッファ295に記憶されている露光パターンデータと結合される。ステップS304がバイパスされた場合は、S303からの2値画像データが、露光パターンバッファ295に記憶されている露光パターンデータと結合される。種々の実施形態において、デジタル画像プロセッサ210は、例えば、フィルタリングされた2値画像データと露光パターンデータとの間で論理演算「OR」を実施し、次いでその結果を露光パターンバッファ295へ書き戻すことによって、フィルタリングされた2値画像データを露光パターンバッファ295に記憶されている露光パターンデータと結合する。
【0087】
図19Cは、図19Aの露光パターンバッファ295の内容が、例示的なフィルタリングされた2値画像データと結合することによって更新された後の、露光パターンバッファ295の内容の一例を示している。この例において、フィルタリングされた2値画像データは、ピクセルアレイ240の行5、列3にあるピクセル回路の出力に対応するビット「1」がある点を除き、図19Aの露光パターンバッファ295における露光パターンデータと同じであった。従って、図19Aの露光パターンデータが、フィルタリングされた2値画像データとXOR演算された後、図19Cにおいて、結果得られた露光パターンバッファ295における行5、列3に、ビット「1」が存在する。ピクセルアレイ240の行5、列3にあるピクセル回路に対応する図19Cにおけるビット「1」は、例えば、S303において電流信号を読み出したときに、ピクセル回路からの出力電流信号が閾値を超えたことを示す場合がある。そのような例では、行5、列3にあるピクセル回路は、撮影される場面の最も明るい部分から光をサンプリングしている場合があり、従って、そのピクセル回路のセンスノードに蓄積される電荷は、他のピクセル回路に蓄積される電荷がまだ特定の値に達していなくても、その特定の値を既に超えている場合がある。
【0088】
種々の実施形態において、S305において露光パターンバッファ295が更新された後、方法はS306へ続く。S306において、露光パターンバッファ295の内容は、拡張ルールによる拡張を行うために、更新される場合がある。種々の実施形態において、拡張ルールは、1以上の構造化要素によって規定される。構造化要素は、例えば、露光パターンバッファ295の内容を拡張する方法を規定する場合がある。実施形態によっては、構造化要素は、露光パターンバッファ295内の論理値「1」を露光パターンバッファ295内における1以上の方向に特定の単位数だけ拡張する方法を規定する場合がある。本発明の実施形態による構造化要素により規定される拡張ルールの種々の例は、図18A〜図18Dに示されている。図18A〜図18Dに記載した構造化要素の例は、単なる例であり、図15の方法において、任意の所望の構造化要素を使用することができると考えるべきである。
【0089】
図18Aは、本発明の一実施形態による構造化要素により規定される拡張ルールの一例を示している。図18Aにおいて、黒いボックスは、露光パターンバッファにおける論理値「1」を有するエントリに相当する。論理値「1」を有するエントリは、ピクセルアレイにおける特定のピクセル回路に関連する。「x」を有するボックスは、ピクセルアレイ中でその特定のピクセル回路の直ぐ右にあるピクセル回路に関連する露光パターンバッファ中のエントリも、論理値「1」にセットすべきことを意味する。従って、もし図18Aの構造化要素により規定される拡張ルールを使用して拡張された場合、露光パターンバッファ中の各論理値「1」は、右に1エントリ分だけ拡張されることになる。
【0090】
図18Bは、露光パターンバッファにおける論理値「1」を、その「1」を有するエントリの上に2エントリ分だけ拡張し、そのエントリの上の2つのエントリを論理値「1」にセットするような、構造化要素により規定される拡張ルールの一例を示している。図18Cは、露光パターンバッファにおける論理値「1」を有する2つの隣接するエントリであって、2つの隣接するピクセル回路に関連するものを、それぞれそのエントリから上に1エントリ分だけ拡張するような、構造化要素により規定される拡張ルールの一例を示している。この例では、論理値「1」を有する隣接エントリを有しない論理値「1」の単一のエントリは、他のエントリへ拡張されない。図18Dは、露光パターンバッファ内のあるエントリにおける論理値「1」を、露光パターン内の全ての方向において1エントリ分だけ拡張するような、構造化要素により規定される拡張ルールの一例を示している。
【0091】
図19Dは、図19Cの露光パターンバッファ295の内容が図18Dの構造化要素により規定される例示的な拡張ルールに従って拡張された後の、露光パターンバッファ295の内容の一例を示している。図19Dの例において、露光パターンバッファ295の行5、列3にある論理値「1」は、図18Dの拡張ルールに従って全ての方向に拡張され、その結果、行5、列3のエントリを取り囲む全てのエントリが、論理値「1」にセットされている。このように、種々の実施形態において、ステップS306によれば、露光パターンバッファ295における露光パターンデータを形態学的に拡張することができ、それによって、露光パターンバッファ295内における特徴は、1以上の方向においてある数のピクセルユニットだけ拡大される。ピクセルアレイの読み出し速度に対する相対的な露光パターンデータの伝搬速度は、拡張パターンを規定する1以上の構造化要素のサイズ、及び形を変更することによって調節することができる。露光パターンバッファ295の内容が、1以上の構造化要素を使用して拡張により更新された後、図15の方法は、S307へと続く。
【0092】
図6、図7、及び図15を参照すると、ステップS307において、ピクセルアレイ240の露光パターンを変更するために、露光パターンバッファ295からの更新された露光パターンデータは、ピクセルアレイ240に書き込まれる。種々の実施形態において、ピクセルアレイ240の露光パターンは、ピクセルアレイ240内のどのピクセル回路250が、それぞれのセンスノードにおいて更なる電荷を蓄積することができ、ピクセルアレイ240内のどのピクセル回路250が、それぞれのセンスノードにおいて更なる電荷の蓄積を禁止、又は中止されているかによって決まる。種々の実施形態において、ピクセルアレイ240の露光パターンは、露光パターンバッファ295からの露光パターンデータをピクセルアレイ240に書き込むことによって、露光パターンバッファ295の内容に再同期される。種々の実施形態において、露光パターンバッファ295内のあるエントリについての論理値「0」は、ピクセルアレイ240内の対応するピクセル回路250が、画像撮影処理の際にそのピクセル回路のセンスノード203に電荷を引き続き集積、又は蓄積出来るようにすべきであることを意味する一方、あるエントリについての論理値「1」は、ピクセルアレイ240内の対応するピクセル回路250が、そのピクセル回路のセンスノード203に更なる電荷を蓄積することを禁止、又は中止されるべきであり、かつそのセンスノード203に既に蓄積された電荷は維持すべきであることを意味する。
【0093】
他にも可能性はあるが、図15の方法におけるような種々の実施形態において、各ピクセル回路250のアンチブルーミングゲートトランジスタ216の状態が、常に、同じピクセル回路250の転送ゲートトランジスタ202の状態とは反対にされるものと仮定する。換言すれば、そのような実施形態では、ピクセル回路250の転送ゲートトランジスタ202が制御によりオンにされるとき、同じピクセル回路250のアンチブルーミングゲートトランジスタ216は制御によりオフにされ、ピクセル回路250の転送ゲートトランジスタ202が制御によりオフにされるとき、同じピクセル回路250のアンチブルーミングゲートトランジスタ216は制御によりオンにされる。
【0094】
種々の実施形態において、露光パターンバッファ295の内容がピクセルアレイ240に書き込まれるとき、論理値「1」が割当てられた露光パターンバッファ295内のエントリに対応する各ピクセル回路250において、転送ゲートトランジスタ202はオフにされ、アンチブルーミングゲートトランジスタ216はオンにされる。そのようなピクセル回路250において、転送ゲートトランジスタ202がオフにされ、アンチブルーミングゲートトランジスタ216がオンにされると、対応するセンスノード203において光により生成される電荷のそれ以上の蓄積は防止、禁止、又は中止され、対応するフォトダイオード201によってその後生成される電荷は実質的に全て、アンチブルーミングゲートトランジスタ216を通して排出される。また、種々の実施形態において、露光パターンバッファ295の内容がピクセルアレイに書き込まれるとき、論理値「0」が割当てられた露光パターンバッファ295内のエントリに対応する各ピクセル回路250において、転送ゲートトランジスタ202はオンの状態に留まり、アンチブルーミングゲートトランジスタ216はオフの状態に留まる。そのようなピクセル回路250において、転送ゲートトランジスタ202をオンにし、アンチブルーミングゲートトランジスタ216をオフにすると、対応するフォトダイオード201からの光により生成される電荷を、対応するセンスノード203に引き続き蓄積することが可能になる。
【0095】
種々の実施形態において、露光パターンバッファ295の内容は、一度に一行づつピクセルアレイ240に書き込まれる。種々の実施形態において、書き込まれるべきものとして選択された行におけるピクセル回路250に対応する露光パターンバッファ295内の各ビットは、ピクセル回路250に接続された対応するピクセル制御信号ライン226上の信号に変換される。種々の実施形態において、ピクセル回路250に対応する露光パターンバッファ295内のエントリが論理値「0」を有する場合、デジタル画像プロセッサ210は、露光制御信号ライン255にハイ信号を供給し、ピクセル回路250に接続されたピクセル制御信号ライン226のアンチブルーミング制御信号ライン256にロー信号を供給する。また、種々の実施形態において、ピクセル回路250に対応する露光パターンバッファ295内のエントリが論理値「1」を有する場合、デジタル画像プロセッサ210は、露光制御信号ライン255にロー信号を供給し、ピクセル回路250に接続されたピクセル制御信号ライン226のアンチブルーミング制御信号ライン256にハイ信号を供給する。
【0096】
従って、種々の実施形態において、デジタル画像プロセッサ210は、特定の行におけるピクセル回路250を制御するために、ピクセル制御信号ライン226、226、・・・、226のそれぞれに、露光パターンバッファ295の内容に基く信号を供給する。そして、そのような実施形態において、ピクセル制御信号発生器213は、その特定の行についての行制御ライン223にハイ信号を供給し、その特定の行における各ピクセル回路250の転送ゲートトランジスタ202、及びアンチブルーミングゲートトランジスタ216が、対応する提供された信号に従って書き込まれるようにする場合がある。次に、ピクセル制御信号発生器213は、その特定の行についての行制御ライン223にロー信号を供給する場合があり、その特定の行における各ピクセル回路250の転送ゲートトランジスタ202、及びアンチブルーミングゲートトランジスタ216は、トランジスタの寄生ゲート容量によって、それらが有する値を保持する。種々の実施形態において、次に、露光パターンバッファ295の内容に従ったピクセルアレイ240に対するこの書き込み処理は、ピクセルアレイ240内の次の行に移り、以下同様に、全ての行が書き込まれるまで、この処理は繰り返される。実施形態によっては、ステップS303〜S307は、パイプライン方式で実施される場合があり、例えば少数の行が読み出された時点で、ピクセルアレイ240の第1行についての露光パターンデータをピクセル回路250の第1行の更新に使用することができ、従って、読み出し、及びステータスの更新を短い時間で実施することが可能な場合がある。
【0097】
図19Eは、図19Dの露光パターンバッファ内の露光パターンデータに従ってセットされたピクセルアレイ240の露光パターンの一例を示している。ピクセルアレイ240の行4〜6のうちの1つにあり、かつ列2〜4のうちの1つにあるピクセル回路は、図19Eにおけるピクセルアレイ240の露光パターンによれば、それぞれのセンスノードにおけるそれ以上の電荷の集積は、中止するように制御され、それぞれのセンスノードに既に蓄積された電荷は、全て維持するように制御された。これらのピクセル回路は、図19Dの露光パターンバッファ295における論理値「1」を有するエントリに対応する。図19Eのピクセルアレイ240における他のピクセル回路は、それぞれのセンスノードに引き続き電荷を集積、又は蓄積するように制御される。これらのピクセル回路は、図19Dの露光パターンバッファ295における論理値「0」を有するエントリに対応する。図6、及び図15を参照すると、S307において、ピクセルアレイ240の露光パターンを変更するために、露光パターンバッファ295からの更新された露光パターンデータが、ピクセルアレイ240に書き込まれた後、方法は、S308へと続く。
【0098】
S308において、画像撮影処理の際にそれ以上の露光が中止されたピクセル回路250の総数は、論理値「1」が割り当てられた露光パターンバッファ295内のビットの和に等しく、その総数が、所定の閾値と比較される。露光パターンバッファ295中のビットの和が、閾値未満である場合、方法は、S303へ戻る。一方、露光パターンバッファ295内のビットの和が閾値よりも大きい場合、方法は、S309へ続く。露光パターンバッファ295のビットの和は、ステップS308における判断に使用可能な多数の画像特徴の一例に過ぎない。露光パターンバッファ295内のあるエントリについての論理値「1」は、そのエントリに対応するピクセル回路のセンスノードにおける電荷のそれ以上の蓄積の中止、防止、又は禁止に対応する。露光パターンバッファ295内の全てのビットが論理値「1」にセットされた後、ステップS303へ戻る利点はない。実施形態によっては、画像撮影処理のための時間の上限をさらに設ける場合がある。
【0099】
図19A〜図19Kの例において、図15のステップS308において使用される閾値が、45であるものと仮定する。当然ながら、この閾値は、単なる例として挙げたものであり、実施形態によっては、他の閾値が使用される場合もある。図19Dの露光パターンバッファ295内のビットの和は9であり、この値は45よりも大きくないから、この例では、ステップS303へ戻ることになる。図19Fは、図19Dの露光パターンバッファ295の内容が、例えばフィルタリングされた2値画像データと結合されることにより更新された後の、露光パターンバッファ295の内容の一例を示している。この例では、フィルタリングされた2値画像データは、図19Eのピクセルアレイ240の行2、列7にあるピクセル回路の出力に対応するビット「1」を含んでいた。なお、ピクセルアレイ240の種々の出力として、フィルタリングされた2値画像データは、複数のビット「1」を含む場合がある。図19Gは、図19Fの露光パターンバッファ295の内容が図18Dの構造化要素により規定される例示的な拡張ルールに従って拡張された後の、露光パターンバッファ295の内容の一例を示している。
【0100】
図19Hは、図19Gの露光パターンバッファ295の内容に従ってセットされたピクセルアレイ240の露光パターンの一例を示している。図19Hのピクセルアレイ240の露光パターンによれば、ピクセルアレイ240の行3〜7のうちの1つにあり、かつ列1〜5のうちの1つにあるピクセル回路、又は行1〜3のうちの1つにあり、かつ列6〜8のうちの1つにあるピクセル回路は、それぞれのセンスノードにおけるそれ以上の電荷の集積を中止するように制御され、それぞれのセンスノードに既に蓄積された電荷を全て維持するように制御された。これらのピクセル回路は、図19Gの露光パターンバッファ295における論理値「1」を有するエントリに対応する。図19Hのピクセルアレイ240内の他のピクセル回路は、対応するセンスノードにおける電荷の集積、又は蓄積を継続するように制御される。これらのピクセル回路は、図19Gの露光パターンバッファ295における論理値「0」を有するエントリに対応する。図19Gの露光パターンバッファ295内のビットの和は34であり、この値は例示した閾値45未満であるから、この例では、図15のステップS303へ戻ることになる。
【0101】
図19Iは、図19Gの露光パターンバッファ295の内容が例示的な2値画像データと結合されることにより更新された後の、露光パターンバッファ295の内容の一例を示している。この例において、フィルタリングされた2値画像データは、図19Hのピクセルアレイ240の行1、列1〜2にあるピクセル回路に対応するビット「1」を含んでいた。図19Jは、図19Iの露光パターンバッファの内容が図18Dの構造化要素により規定される例示的な拡張ルールに従って拡張された後の、露光パターンバッファ295の内容の一例を示している。図19Kは、図19Jの露光パターンバッファ295の内容に従ってセットされたピクセルアレイ240の露光パターンの一例を示している。図19Jの露光パターンバッファ295内のビットの和は49であり、この値は例示した閾値45より大きいから、この例では、処理は図15のステップ309へと進む。
【0102】
図6、図7、及び図15を再び参照すると、ステップS309において、ピクセルアレイ240における画像撮影は終了する。種々の実施形態において、ピクセルアレイ240における画像撮影は、センスノード203に電荷の蓄積を続けている残りのピクセル回路250の、対応するフォトダイオード201による露光を全て中止することによって終了する。種々の実施形態において、露光の中止は、各ピクセル回路250の転送ゲートトランジスタ202を強制的にオフの状態にし、各ピクセル回路250のアンチブルーミングゲートトランジスタ216を強制的にオンの状態にすることにより実施することができる。例えば、デジタル画像プロセッサ210は、露光制御信号ライン255にロー信号を供給し、各ピクセル制御信号ライン226、226、・・・、226のアンチブルーミング制御信号ライン256にハイ信号を供給する場合があり、ピクセル制御信号発生器213は、各行制御ライン223、223、・・・、223の転送信号ライン253にハイ信号を供給する場合がある。種々の実施形態において、ステップS309においてピクセルアレイ240における画像撮影が終了した場合、各ピクセル回路250のセンスノード203に既に蓄積されている電荷は、ピクセル回路250に維持される。次に、方法はS310へと続く。
【0103】
S310では、ピクセルアレイ240において撮影された画像が、ピクセルアレイ240から読み出される。種々の実施形態において、ステップS310における画像の読み出しは、電圧アナログモードを使用して実施される。図11の画像センサ回路200の実施形態と、図13の画像センサ回路200の実施形態とのいずれかが使用される場合、ピクセルアレイ240の各列について、電圧源スイッチ217、出力モードスイッチ227、及びデジタルマルチプレクサ228は、上記のような電圧アナログモードに従って制御される。種々の実施形態において、ピクセルアレイ240からの電圧アナログ読み出しは、ピクセルアレイ240からの電流アナログ読み出しよりも低速な場合があるが、ピクセルアレイ240からの電圧アナログ読み出しは、電流アナログ読み出しに比べて、優れた信号対雑音能力を有する場合がある。従って、種々の実施形態において、撮影画像を規定する最も優れたクオリティの信号をピクセルアレイ240から得るために、画像撮影処理の際にピクセルアレイ240からの最後の読み出しを電圧アナログ読み出しにすることは、有利な場合がある。種々の実施形態において、ステップS310における電圧アナログ読み出しは、各列ADC回路220の二重サンプリング増幅器207を使用して実施され、例えば、補正された出力電圧は、ピクセル出力電圧とリセット電圧との間の差に基いて計算される場合がある。次に、方法はS311において終了する。本明細書において、図15の方法による電子シャッターの動作は、場合によって「ウェーブシャッター」動作と呼ばれることがある。
【0104】
種々の実施形態において、ピクセルアレイは初期化される場合があり、ピクセルアレイにおける画像撮影は初期化される場合があり、画像強度に基く測定基準が閾値レベルを上回るところの空間的近傍に中心を置くピクセル回路、及び既に露光を中止したピクセル回路から伝搬する信号に遭遇したピクセル回路では、露光が中止される場合がある。また、種々の実施形態において、画像撮影処理の際にピクセルアレイ内の特定数のピクセル回路における露光が中止されたとき、ピクセルアレイにおける画像撮影は、完了する場合がある。種々の実施形態において、マシンビジョンプロセスに適した空間フィルタリングされたアナログ画像は、ピクセルアレイの露光が、ピクセルアレイが部分的に露光されたときにピクセルアレイのアナログデータ内容の非線形関数に従って群発的に拡大する多次元制御パターン、及び構造化要素によって決定されるような方法に従って撮影される。
【0105】
図16は、本発明の一実施形態による方法を示すフロー図である。S601において、ピクセルアレイの露光パターンに関連する露光情報が記憶される。種々の実施形態において、露光情報は、ピクセルアレイ内の各ピクセル回路について1以上のビットを含む場合がある。種々の他の実施形態において、露光情報は、ピクセルアレイ内のピクセル回路の総数よりも少ない数のビットを含む場合がある。実施形態によっては、露光情報は、ピクセルアレイの露光パターンに関連する数値、又は他のインジケータを規定する場合がある。また、実施形態によっては、露光情報は、ピクセルアレイの露光パターンに関連するビットの1以上の組み合わせを含む場合がある。露光情報が記憶された後、方法はS602へ続く。
【0106】
S602において、ピクセルアレイの露光パターンは、(i)記憶されている露光情報、及び(ii)ピクセルアレイから出力される1以上の信号に少なくとも一部基いて変更される。種々の実施形態において、記憶されている露光情報は、ピクセルアレイから出力される1以上の信号に基いて変更され、変更された露光情報は、ピクセルアレイの露光パターンにおける変化を制御するために使用される。実施形態によっては、記憶されている露光情報は、拡張ルールに従って変更され、変更された露光情報は、ピクセルアレイの露光パターンにおける変化を制御するために使用される場合がある。種々の実施形態において、ピクセルアレイ内における各ピクセル回路について生じ得る露光状態には、(i)ピクセルが、そのピクセル回路のセンスノードに電荷を蓄積することが可能なオン状態と、(ii)ピクセル回路が、センスノードにおけるそれ以上の電荷の蓄積を防止、又は中止されたオフ状態とがある。また、種々の実施形態において、ピクセルアレイの露光パターンは、ピクセルアレイ内のどのピクセル回路がオン状態にあり、従って、依然としてそれらのセンスノードに電荷を蓄積しているか、及びピクセルアレイ内のどのピクセル回路がオフ状態にあり、従って、それらのセンスノードにそれ以上電荷を蓄積していないかによって決まる。S602においてピクセルアレイの露光パターンが変更された後、方法は、S603において終了する場合がある。
【0107】
図17は、本発明の一実施形態による方法を示すフロー図である。S651において、電荷の蓄積は、ピクセルアレイの複数のピクセル回路のそれぞれにおいて開始され、方法はS652へ続く。S652において、ピクセルアレイから出力される1以上の信号に少なくとも一部基いて選択された複数のピクセル回路のうちの少なくとも1つの特定のピクセル回路において、電荷の蓄積は防止される。次に、方法はS653へ続く。S653において、ピクセルアレイ内の複数のピクセル回路のうちの特定のピクセル回路に隣接する少なくとも1つのピクセル回路において、電荷の蓄積は、拡張ルールに少なくとも一部基いて防止される。種々の実施形態において、拡張ルールは、構造化要素により規定される。次に、方法はS654へ続く。
【0108】
図20は、本発明の一実施形態による画像センサ回路200の他の実施形態を示している。図20の画像センサ回路200の実施形態は、抵抗性グリッド400を含む点で、図11の画像センサ回路200の実施形態とは異なる。図20の画像センサ回路200の実施形態の要素のうち図11の画像センサ回路200の実施形態の要素と同じものである一部の要素には、同じ参照符号を付してある。種々の実施形態において、抵抗性グリッド400は、複数のプログラム可能な、又は切替可能な抵抗器401、及び複数のコンデンサ402を含む。種々の実施形態において、抵抗性グリッド400は、ピクセル回路250の各列について、切替可能な抵抗器401、及びコンデンサ402を含む。種々の実施形態において、切替可能な抵抗器401はそれぞれ、対応する電流電圧変換器222の出力に接続され、かつ、1以上の隣接する切替可能な抵抗器401に接続される。また、種々の実施形態において、各コンデンサ402は、対応する電流電圧変換器222の出力と、グラウンドとの間に接続される。
【0109】
種々の実施形態において、抵抗性グリッド400は、ある種の空間フィルタリングの実施に使用される場合があり、この空間フィルタリングは、例えば、図15の方法のステップ304において使用される場合がある。種々の実施形態において、アナログ領域において抵抗性グリッド400を使用して空間フィルタリングの実施した場合、その空間フィルタリングの速度は、例えばデジタル画像プロセッサ210によってデジタル領域において空間フィルタリングを実施する他の実施形態に比べて向上する場合がある。実施形態によっては、抵抗性グリッド400は、画像についての信号の水平フィルタリングを実施するために使用される場合がある。種々の実施形態において、切替可能な抵抗器401はそれぞれ、制御プロセッサ212によって制御することができる。種々の実施形態において、図20の画像センサ回路200は、図15に示した方法を実施するために使用される場合があり、ステップS304についての空間フィルタリングは、抵抗性グリッド400を使用して実施される場合がある。
【0110】
種々の実施形態において、抵抗性グリッド400を使用するための動作モードは、3つの機能ステップを含む。第1のステップとして、ピクセルアレイ250の各列についての各電流電圧変換器222は、対応するコンデンサ402を読み取り、同時に、切替可能な抵抗器401はそれぞれ、切断される。第2のステップとして、各電流電圧変換器222の出力は、高インピーダンスにセットされ、切替可能な抵抗器401が接続される。そのような状態において、各コンデンサ402の電圧値は、空間的にローパスフィルタリングされ、その際、空間フィルタリング帯域幅は、フィルタリングプロセスがアクティブな状態にある時間、並びに、各切替可能な抵抗器401の抵抗の値、及び各コンデンサ402の静電容量の値に関連する。第3のステップとして、各コンデンサ402に記憶された電圧値は、対応する差比較器225によって閾値と比較され、フィルタリングされた2値画像データが生成される。
【0111】
図21は、本発明の一実施形態による画像センサ回路200の他の実施形態を示している。図21の画像センサ回路200の実施形態は、抵抗性グリッド400を含む点で、図13の画像センサ回路200の実施形態とは異なる。図21の画像センサ回路200の要素のうち図13の画像センサ回路200の実施形態の要素と同じものである一部の要素には、同じ参照符号を付してある。種々の実施形態において、抵抗性グリッド400は、複数のプログラム可能な、又は切替可能な抵抗器401、複数のコンデンサ402、及び複数の電圧比較器403を含む。
【0112】
種々の実施形態において、抵抗性グリッド400は、ピクセル回路250の各列について、切替可能な抵抗器401、コンデンサ402、及び電圧比較器403を含む。種々の実施形態において、切替可能な抵抗器401はそれぞれ、対応する電流比較器222bの出力に接続され、かつ、1以上の隣接する切替可能な抵抗器401に接続される。また、種々の実施形態において、各コンデンサ402は、対応する電流比較器222bの出力と、グラウンドとの間に接続される。種々の実施形態において、各電圧比較器403の入力は、対応するコンデンサ402に接続され、また、各電圧比較器403の出力は、対応するデジタルマルチプレクサ228に接続される。
【0113】
種々の実施形態において、抵抗性グリッド400は、ある種の空間フィルタリングを実施するために使用され、この空間フィルタリングは、例えば、図15の方法のステップS304において使用される場合がある。種々の実施形態において、アナログ領域において抵抗性グリッド400を使用して空間フィルタリングを実施した場合、例えばデジタル画像プロセッサ210によってデジタル領域において空間フィルタリングを実施する他の実施形態に比べて、空間フィルタリングの速度は向上する場合がある。実施形態によっては、抵抗性グリッド400は、画像についての信号を水平フィルタリングするために使用される場合がある。種々の実施形態において、切替可能な抵抗器401はそれぞれ、制御プロセッサ212によって制御することができる。種々の実施形態において、図21の画像センサ回路200は、図15に示した方法を実施するために使用される場合があり、また、ステップS304についての空間フィルタリングは、抵抗性グリッド400を使用して実施される場合がある。
【0114】
種々の実施形態において、図21に示す抵抗性グリッド400を使用するための動作モードは、3つの機能ステップを含む。第1のステップとして、ピクセル回路250の各列についての各電流比較器222bは、対応するコンデンサ402を読み取り、同時に、切替可能な抵抗器401はそれぞれ、切断される。第2のステップとして、各電流比較器222bの出力は、高インピーダンスにセットされ、切替可能な抵抗器401が接続される。そのような状態において、各コンデンサ402の電圧値は、空間的にローパスフィルタリングされ、その際、空間フィルタリング帯域幅は、フィルタリングプロセスがアクティブな状態にある時間、並びに、各切替可能な抵抗器401のオン抵抗の値、及び各コンデンサ402の静電容量の値に関連する。第3のステップとして、各コンデンサ402に記憶された電圧値は、対応する電圧比較器403によって2値化され、フィルタリングされた2値画像データが生成される。
【0115】
図6、及び図7を再度参照すると、種々の実施形態において、画像センサ回路200は、ある種の電子シャッター動作を使用して画像を得るように構成され、その際に、ピクセルアレイ240の露光パターンは、ピクセルアレイ240の少なくとも一部に蓄積された電荷に少なくとも一部基いて時間によって変わる露光情報に従ってセットされる。例えば図15の方法によるシャッター動作を使用する場合、画像撮影処理を完了するまでの最大許容時間は、ピクセル回路250のシャッター効率によって制限される場合がある。シャッター効率は、センスノード203におけるそれ以上の電荷の蓄積が禁止、又は防止された時点から、画像撮影処理のためにピクセルアレイ240から最後の画像が読み出される時点まで、画像撮影処理中に電荷をセンスノード303に正確に保持する各ピクセル回路250の能力を表す場合がある。そのような時間の間、センスノード203に記憶され、又は保持された電荷は、意図せずにセンスノード203に到達した光によって生成された電荷により、減衰させられる場合がある。そのような減衰の量は、ピクセル回路250に入射する光の強度、及び、ピクセルアレイ240から記憶された電荷が最終的に読み出されるまで、その電荷を保持しなければならない時間の長さに比例する場合がある。
【0116】
種々の実施形態において、自動シャッター手段によれば、光強度を使用して、画像センサ回路における個々のピクセル回路、又は一群のピクセル回路の露光時間を調節することが可能である。実施形態によっては、画像撮影処理において、明るい光を受け取るピクセル回路の露光は、あまり強くない光を受け取るピクセル回路の露光に比べて早い時期に中止される場合がある。種々の実施形態において、ピクセルアレイ内のあるピクセル回路において露光が終了した場合、ピクセル回路のセンスノードにおいて検出される値は、ピクセルアレイ内の他のピクセル回路における露光が終了し、画像についての最終的な信号がピクセルアレイから読み出されるまで、センスノードに保持しなければならない。シャッター効率は、ピクセルアレイのピクセル回路のフローティング拡散ノードのようなセンスノードに、知覚できる劣化を生じることなく、アナログ情報を記憶することが可能な最大限の時間の長さを意味する。
【0117】
図22を参照し、次に、シャッター効率を向上させることが可能な種々の技術について説明する。図22は、本発明の一実施形態によるレイアウト900を示している。レイアウト900は、ピクセル回路250を含む。図22におけるピクセル回路250の実施形態の要素のうち図14に示したピクセル回路250の実施形態の要素と同様のものには、同じ参照符号を付してある。
【0118】
種々の実施形態において、ピクセル回路250は、アンチブルーミングゲートトランジスタ216を含む。アンチブルーミングゲートトランジスタ216のピクセル回路250への組み込みは、ピクセル回路250の露光が中止された後、フォトダイオード201において光により生成された電荷が、ピクセル回路250のセンスノード203に到達することを防止する手段を提供する場合がある。アンチブルーミングゲートトランジスタのそのような使用は、飽和したピクセル回路の近傍にあるピクセル回路のフォトダイオードが、そのようなピクセル回路から余分な電荷を捕捉することを防止するためのアンチブルーミングゲートトランジスタの使用とは異なる場合がある。
【0119】
種々の実施形態において、フォトダイオード201のような光センサは拡大される。例えば、フォトダイオード201の面積は、1以上の拡張領域501を有するように増加される場合がある。実施形態によっては、フォトダイオード201は、ピン止めされたフォトダイオードである場合がある。また、実施形態によっては、フォトダイオード201の面積は、可能な限り拡大され、すなわち増加される場合がある。実施形態によっては、1以上の拡張領域501は、露光制御信号ライン225、アンチブルーミング制御信号ライン256、電圧源ライン235、又は列読み出しライン231のような1以上のラインの下にも延びる場合がある。種々の実施形態において、1以上のラインは、金属ラインからなる。実施形態によっては、1以上の拡張領域501は、ピクセル回路250の応答を改善しないかもしれないが、1以上の拡張領域501は、光により生成された電荷が吸収される面積を増加させ、従って、そのような電荷が、意図せずにセンスノード203に到達する可能性を低減する。従って、種々の実施形態において、1以上の拡張領域501によれば、シャッター効率を向上させることができる。
【0120】
種々の実施形態において、レイアウト900は、1以上のダミー拡散部502をさらに含む。実施形態によっては、1以上のダミー拡散部502は、フォトダイオード201にも、トランジスタ214、215、204、205、206にも属さないピクセル回路250の空き領域に配置される場合がある。1以上のダミー拡散部502を使用せずに、空き領域に到達する幾らかの量の光により生成される電荷をセンスノード203に拡散させ、シャッター効率を向上させることが可能な場合がある。実施形態によっては、1以上のダミー拡散部502は、電圧源等のような定電圧源(図22には示されていない)に接続され、1以上のダミー拡散部502を通る光により生成される電荷が、全て電圧源に吸収されるようにする場合がある。
【0121】
種々の実施形態において、シャッター効率の向上を助けるために、短波長の光を使用する場合がある。種々の実施形態において、短波長の光の使用は、シャッター効率の向上に役立つ。なぜなら、短波長の光子は、シリコン表面付近で吸収され、従って、フォトダイオード201によって捕捉することができるからである。光子の波長を長くするほど、光子は、基板内のより深くに到達することができ、フォトダイオード201の活性領域から飛び出すことがあり、その結果、光子がセンスノード203に到達する可能性は増加し、シャッター効率は低下する。
【0122】
種々の実施形態において、レイアウト900は、ピクセル回路250の最上部に赤外線(IR)フィルタ503をさらに含む。赤外線光子は、ピクセル回路250の基板の非常に深いところにある磁界が存在しない場所まで貫通し、そこで、それらの光子から生じる電子は無作為に拡散し、センスノード203に到達し、センスノード203に記憶されたデータを劣化させることにより、問題を引き起こす場合がある。種々の実施形態において、ピクセル回路250の最上部にIRフィルタ503を使用することにより、ピクセル回路250の基板の深いところにおいて光により生成される電荷の量を減少させることができ、従って、シャッター効率を向上させることができる場合がある。実施形態によっては、レイアウト900は、ピクセル回路250の最上部にカラーフィルタ(図22には示されていない)を含む場合がある。可視スペクトルにおける長波長光子は、IR光子と同様の挙動を示す場合があり、ピクセル回路250の基板の非常に深いところまで貫通することにより、問題を引き起こすことがある。種々の実施形態において、カラーフィルタは、そのような光子が、ピクセル回路250の基板に到達することを防止するために使用される場合がある。実施形態によっては、ピクセル回路250は、可視スペクトルの光を検出するように構成される場合がある。実施形態によっては、ピクセル回路250は、可視スペクトルの外の光を検出するように構成される場合がある。
【0123】
種々の実施形態において、レイアウト900は、金属保護手段504をさらに含む。種々の実施形態において、金属保護手段504は、センスノード203の少なくとも一部を覆う場合がある。実施形態によっては、センスノード203は金属保護手段によって保護され、それによって、センスノード203に記憶された電荷の光による劣化を低減する場合がある。
【0124】
図6を再度参照すると、種々の実施形態において、画像センサ回路200は、1以上の特定の画像撮影処理に使用されるある種のシャッターモードを指定するコマンドを受信することができるように構成される場合がある。例えば、種々の実施形態において、画像センサ回路200は、画像撮影処理に使用される(i)グローバルシャッター動作、(ii)ローリングシャッター動作、(iii)ウェーブシャッター動作のうちの1つを選択するコマンドを受信するように構成される場合がある。そのような実施形態では、もしコマンドがグローバルシャッター動作を指定する場合、画像センサ回路200は、グローバルシャッター動作を使用して画像を撮影する場合がある。また、そのような実施形態では、もしコマンドがローリングシャッター動作を指定する場合、画像センサ回路200は、ローリングシャッター動作を使用して画像を撮影する場合がある。さらに、そのような実施形態では、もしコマンドがウェーブシャッター動作を指定する場合、画像センサ回路200は、例えば、図15の方法によるウェーブシャッター動作を使用して画像を撮影する場合がある。種々の実施形態において、画像センサ回路200がウェーブシャッター動作を実施する場合、画像センサ回路200は、そのウェーブシャッター動作において使用すべき1以上の構造化要素を指定する信号を受信する場合がある。実施形態によっては、画像センサ回路200は、検出された光の状態に基いて、シャッター動作のタイプを自動的に選択するように構成される場合がある。
【0125】
画像センサ回路200のような、画像センサ回路の種々の用途の例としては、例えば、製造自動化、製品組み立て、識別情報(ID)読み取り機、自動車制御、ジェスチャー認識、ビデオ監視、三次元(3D)モデリング、モーション分析、医療機器、軍事機器、地図作成システムなどが挙げられる。
【0126】
本明細書に開示する実施形態は、全て例示的なものとして捉えるべきであり、発明の制限として捉えてはならない。本発明が、上で説明した実施形態に制限されることは決してない。発明の思想、及び範囲から外れることなく、それらの実施形態に対し、種々の修正、及び変更を施すことが可能である。特許請求の範囲の均等の意味、及び範囲に含まれる種々の修正、及び変更は、本発明の範囲内に含めることを意図している。

【特許請求の範囲】
【請求項1】
複数のピクセル回路を含むピクセルアレイと、
前記ピクセルアレイから出力された1以上の信号に少なくとも一部基いて、露光情報を更新するように構成され、前記露光情報に基いて前記ピクセルアレイの露光パターンを制御するように構成される1以上の回路と、
を含む画像センサ回路。
【請求項2】
前記1以上の回路は、前記ピクセルアレイから出力される1以上の信号、及び少なくとも1つの拡張ルールに少なくとも一部基いて前記ピクセルアレイにより画像を撮影しながら、前記露光情報を繰り返し更新するように構成される、請求項1に記載の画像センサ回路。
【請求項3】
前記少なくとも1つの拡張ルールは、少なくとも1つの構造化要素により規定される、請求項2に記載の画像センサ回路。
【請求項4】
前記複数のピクセル回路は、前記ピクセルアレイのある行における少なくとも第2のピクセル回路が、画像撮影処理の少なくとも一部において前記第2のピクセル回路のセンスノードに電荷を蓄積することを防止しながら、前記行における少なくとも1つのピクセル回路が、該ピクセル回路のセンスノードに電荷を蓄積できるように制御される、請求項1に記載の画像センサ回路。
【請求項5】
前記1以上の回路は、前記ピクセルアレイから出力される1以上の信号の値に少なくとも一部基いて前記露光情報を繰り返し更新するように構成され、前記1以上の信号の値は、前記アレイの少なくとも一部に蓄積される電荷を示す、請求項1に記載の画像センサ回路。
【請求項6】
前記1以上の回路は、前記ピクセルアレイの露光パターンを制御するよために、前記露光情報に基いて、前記複数のピクセル回路の露光状態を個別に制御するように構成される、請求項1に記載の画像センサ回路。
【請求項7】
前記複数のピクセル回路の各ピクセル回路についての前記露光状態は、前記ピクセル回路が、該ピクセル回路のセンスノードに電荷を蓄積することが可能なオン状態と、前記ピクセル回路が、前記センスノードにそれ以上電荷を蓄積することが出来ないオフ状態とを含む、請求項6に記載の画像センサ回路。
【請求項8】
前記ピクセル回路の露光状態を制御するために使用される前記複数のピクセル回路の各ピクセル回路について少なくとも1ビットを含む露光パターンデータとして、前記露光情報を記憶する1以上のメモリデバイスをさらに含む、請求項1に記載の画像センサ回路。
【請求項9】
前記1以上の回路は、画像撮影処理の前に、前記1以上のメモリデバイスに記憶された前記露光パターンデータを初期パターンにリセットするように構成される、請求項8に記載の画像センサ回路。
【請求項10】
前記1以上の回路は、前記露光情報に基いて前記ピクセルアレイにより画像を撮影しながら、前記ピクセルアレイの露光パターンを複数回変更するように構成される、請求項1に記載の画像センサ回路。
【請求項11】
前記複数のピクセル回路のうちの少なくとも1つのピクセル回路は、
光検出素子と、
前記光検出素子に接続された端子を有する第1のトランジスタと、
露光制御信号ラインと、前記第1のトランジスタのゲートとの間に接続された第2のトランジスタと
を含み、
前記1以上の回路は、前記露光情報に基いて前記露光制御信号ライン上の信号を制御するように構成される、請求項1に記載の画像センサ回路。
【請求項12】
前記少なくとも1つのピクセル回路は、
前記光検出素子に接続された第3のトランジスタと、
アンチブルーミング制御信号ラインと、前記第3のトランジスタのゲートとの間に接続された第4のトランジスタと
をさらに含み、
前記1以上の回路は、前記露光情報に基いて前記アンチブルーミング制御信号ライン上のアンチブルーミング信号を制御するように構成される、請求項11に記載の画像センサ回路。
【請求項13】
前記1以上の回路は、画像撮影処理の際に、前記アンチブルーミング制御信号ライン上の前記アンチブルーミング信号を、前記露光制御信号ライン上の露光制御信号とは反対の値になるように制御するように構成される、請求項12に記載の画像センサ回路。
【請求項14】
前記第1の検出素子は、前記露光制御信号ラインの下に延びる第1の部分と、前記アンチブルーミング制御信号ラインの下に延びる第2の部分とを有する、請求項12に記載の画像センサ回路。
【請求項15】
前記少なくとも1つのピクセル回路は、画像撮影処理の際に一定電圧に接続される1以上のダミー拡散部をさらに含む、請求項11に記載の画像センサ回路。
【請求項16】
前記少なくとも1つのピクセル回路は、固定電圧と、センスノードとの間に接続されたリセットトランジスタをさらに含み、前記センスノードの電圧が、出力信号を制御し、
前記1以上の回路は、前記リセットトランジスタのゲートに印加されるリセット信号を制御し、画像撮影処理における前記出力信号の少なくとも2回の読み出しの際、及び該読み出しの間において、前記リセットトランジスタをオフの状態に維持し、前記センスノードに蓄積される電荷に関して非破壊的な、前記出力信号の少なくとも2回の読み出しを実施するように構成される、請求項11に記載の画像センサ回路。
【請求項17】
前記ピクセルアレイは、前記1以上の信号を出力するための複数の列読み出しラインをさらに含み、
前記1以上の回路は、前記複数の列読み出しライン上の信号を選択的制御し、電圧信号、又は電流信号にするように構成される、請求項1に記載の画像センサ回路。
【請求項18】
前記1以上の信号は、アナログ電流信号である、請求項1に記載の画像センサ回路。
【請求項19】
前記ピクセルアレイの同じ列における前記複数のピクセル回路のうちの2以上のピクセル回路から前記ピクセルアレイの列読み出しライン上に出力されたアナログ信号を受信するように構成され、前記アナログ信号を対応するデジタル信号に変換するように構成された列アナログデジタル変換器回路をさらに含む、請求項1に記載の画像センサ回路。
【請求項20】
前記複数のピクセル回路は、複数の行、及び複数の列を成すように構成され、
前記1以上の回路は、前記ピクセルアレイを選択的に制御し、同時に2以上の行、及び2以上の列におけるピクセル回路から出力を生成するように構成され、前記2以上の行からの出力が、前記ピクセルアレイの列読み出しライン上においてアナログ形態で結合される、請求項1に記載の画像センサ回路。
【請求項21】
複数の切替可能な抵抗器、及び複数のコンデンサを含む抵抗性グリッドであって、前記複数のコンデンサが、前記ピクセルアレイから出力される1以上の信号に基く値を有する信号を受信するように接続され、前記複数の切替可能な抵抗器は、コマンド信号に従って、前記複数のコンデンサを選択的に接続するように構成される、抵抗性グリッドをさらに含み、
前記1以上の回路は、前記複数の切替可能な抵抗器が、前記複数のコンデンサを接続するように制御され、時間が経過した場合に、前記複数のコンデンサのうちの少なくとも1つに記憶された電圧をサンプリングするように構成され、
前記1以上の回路は、前記電圧に基いて前記露光情報を更新するように構成される、請求項1に記載の画像センサ回路。
【請求項22】
前記複数のピクセル回路は、複数の行、及び複数の列を成すように構成され、前記複数の行のそれぞれが、閾値電流発生器をさらに含み、
前記1以上の回路は、前記複数の行のうちの特定の行における特定の閾値電流発生器の出力から導出された基準信号の電圧を、前記特定の行における前記複数のピクセル回路のうちの特定のピクセル回路の出力から導出された信号の電圧と比較するように構成され、さらに、前記比較の結果に基いて前記露光情報を更新するように構成される、請求項1に記載の画像センサ回路。
【請求項23】
前記1以上の回路は、閾値数と、前記露光情報から計算された数との間の比較に基いて、前記ピクセルアレイにおける画像撮影処理を終了するように構成される、請求項1に記載の画像センサ回路。
【請求項24】
前記1以上の回路は、デジタル信号プロセッサを含む、請求項1に記載の画像センサ回路。
【請求項25】
前記複数のピクセル回路のうちの少なくとも1つのピクセル回路上に配置される赤外線フィルタをさらに含む、請求項1に記載の画像センサ回路。
【請求項26】
前記複数のピクセル回路のうちの少なくとも1つのピクセル回路上に配置されるカラーフィルタをさらに含む、請求項1に記載の画像センサ回路。
【請求項27】
画像センサ回路における方法であって、前記画像センサ回路が、複数のピクセル回路を有するピクセルアレイを含むものにおいて、
前記ピクセルアレイの露光パターンに関連する情報を記憶するステップと、
(i)記憶された情報、及び(ii)前記ピクセルアレイから出力された1以上の情報に少なくとも一部基いて、前記ピクセルアレイの露光パターンを変更するステップと
を含む方法。
【請求項28】
画像センサ回路における方法であって、前記画像センサ回路が、複数のピクセル回路を有するピクセルアレイを含むものにおいて、
前記複数のピクセル回路のそれぞれにおいて電荷の蓄積を開始するステップと、
前記ピクセルアレイから出力される1以上の信号に少なくとも一部基いて選択された、前記複数のピクセル回路のうちの少なくとも1つの特定のピクセル回路において、電荷の蓄積を禁止するステップと、
拡張ルールに少なくとも一部基いて、前記ピクセルアレイにおける前記特定のピクセル回路に隣接する、前記複数のピクセル回路のうちの少なくとも1つのピクセル回路において、電荷の蓄積を禁止するステップと
を含む方法。
【請求項29】
フォトダイオードと、
前記フォトダイオードと、センスノードとの間に接続された第1のトランジスタと、
露光制御信号ラインと、前記第1のトランジスタの第1のゲートとの間に接続された第2のトランジスタであって、転送信号ラインに接続されたゲートを有する、第2のトランジスタと
を含むピクセル回路。
【請求項30】
ピクセルアレイを含み、ある種類のシャッター動作を使用して画像を得るように構成された画像センサ回路であって、前記シャッター動作において、前記ピクセルアレイの露光パターンが、前記ピクセルアレイの少なくとも一部に蓄積された電荷に少なくとも一部基いて時間的に変化する露光情報に従ってセットされる、画像センサ回路と、
前記画像中の1以上の物体を検出するように構成されたプロセッサと
を含む画像処理システム。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate

【図9】
image rotate

【図10】
image rotate

【図11】
image rotate

【図12】
image rotate

【図13】
image rotate

【図14】
image rotate

【図15】
image rotate

【図16】
image rotate

【図17】
image rotate

【図18A】
image rotate

【図18B】
image rotate

【図18C】
image rotate

【図18D】
image rotate

【図19A】
image rotate

【図19B】
image rotate

【図19C】
image rotate

【図19D】
image rotate

【図19E】
image rotate

【図19F】
image rotate

【図19G】
image rotate

【図19H】
image rotate

【図19I】
image rotate

【図19J】
image rotate

【図19K】
image rotate

【図20】
image rotate

【図21】
image rotate

【図22】
image rotate


【公表番号】特表2010−536252(P2010−536252A)
【公表日】平成22年11月25日(2010.11.25)
【国際特許分類】
【出願番号】特願2010−520222(P2010−520222)
【出願日】平成20年8月1日(2008.8.1)
【国際出願番号】PCT/US2008/071914
【国際公開番号】WO2009/035785
【国際公開日】平成21年3月19日(2009.3.19)
【出願人】(504382671)コグネックス・コーポレイション (16)
【出願人】(510031095)イノヴァシオネス ミクロエレクトロニカス ソシエタッド リミターダ (1)
【Fターム(参考)】