説明

固体撮像装置

【課題】撮像対象以外の背景情報によるノイズを簡単に除去できるとともに、画像信号を高速で読み出すことが可能な固体撮像装置を提供する。
【解決手段】対数変換型の画素から構成される撮像素子を用い、同一の画素につき画素列選択信号x1,x2とサンプリング信号y1,y2を2回連続して出力し、当該画素の出力電圧を読み取る。1回目の画素列選択信号x1の出力時には、対象物に補助光zを照射した状態で画素P1の電圧Vnを読み取り、2回目の画素列選択信号x2の出力時には、対象物に補助光を照射しない状態で同じ画素P1の電圧Vn’を読み取る。Vn/Vn’を演算することにより、背景光による光電流成分が相殺され、ノイズを含まない画像信号が得られる。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、受光量に対して出力電圧が自然対数的に変化する特性を有する撮像素子を備えた固体撮像装置に関する。
【背景技術】
【0002】
固体撮像装置の撮像素子を構成する画素には、線形変換型と対数変換型の2種類がある。線形変換型画素では、受光時にフォトダイオードに流れる光電流を電荷として蓄積し、その結果発生する電位を読み出すので、電位は時間に対して線形的に変化し、常に非定常状態にある。したがって、1フレーム内での電位の初期値および蓄積時間を画素間で同じにしないと、正確な画像信号が得られなくなる。このため、各画素に対し電位の初期値として一定の電圧(リセット電圧)を与えるリセット動作が必要となる。
【0003】
一方、対数変換型画素では、MOSトランジスタのゲート電圧を閾値電圧以下に設定して、トランジスタをサブスレショールド領域で動作させ、このときのドレイン電流がゲート・ソース間電圧の指数関数となることを利用して、受光量に応じた電流を電圧に対数変換する。この場合、フォトダイオードを流れる光電流とトランジスタのドレイン電流とが平衡する時の電位を読み出すので、電位は時間的に変化しない。したがって、初期値や蓄積時間の概念がなく、線形変換型画素のようなリセット動作を必要としない。
【0004】
下記の特許文献1には、対数変換型画素を有する撮像素子を備えた固体撮像装置において、各画素間の感度の不均一性を補正する技術が開示されている。本文献の固体撮像装置では、均一光を照射したときの撮像データを各画素毎にメモリに記憶し、その後の実際の撮像時における各画素毎の撮像データから、メモリに記憶された対応画素の撮像データを減算することにより、画素間の感度のばらつきを補正するようにしている。
【0005】
また、固体撮像装置の用途の1つに、車両のフロントガラスに付着した雨滴を検出する雨滴センサがある。その一例が、下記の特許文献2に示されている。この雨滴センサでは、発光素子によって、フロントガラスへ光を照射し、雨滴が付着した部分と、雨滴が付着していない部分とで撮像素子の受光量が異なることを利用して、雨滴を検出する。
【先行技術文献】
【特許文献】
【0006】
【特許文献1】特開平5−30350号公報
【特許文献2】特開2006−284555号公報
【発明の概要】
【発明が解決しようとする課題】
【0007】
しかしながら、フロントガラスは透明であるため、雨滴センサにおいて、車両前方の景色や道路上の白線などによる光も、実際には撮像素子で受光される。このような背景情報は、本来不要なノイズ成分であり、雨滴を正確に検出する上で障害となるため、除去する必要がある。
【0008】
そこで、本発明の課題は、撮像対象以外の背景情報によるノイズを簡単に除去できるとともに、画像信号を高速で読み出すことが可能な固体撮像装置を提供することにある。
【課題を解決するための手段】
【0009】
本発明に係る固体撮像装置は、入射光を電流に変換する受光素子と、この受光素子の電流を対数変換した電圧を出力するトランジスタとを有する画素が格子状に配列された撮像素子を備え、画素列選択信号およびサンプリング信号に基づいて、撮像素子の各画素の出力電圧を読み出す固体撮像装置であって、第1の読出手段と、第2の読出手段と、出力手段とを備えている。第1の読出手段は、第1の条件の下で対象物を撮像したときに、各画素列における所定の画素の出力電圧を読み出す。第2の読出手段は、第1の読出手段による読み出しに続いて第2の条件の下で対象物を撮像したときに、第1の読出手段により出力電圧が読み出された画素と同じ画素の出力電圧を読み出す。出力手段は、第1の読出手段により読み出された出力電圧と、第2の読出手段により読み出された出力電圧との比を演算し、当該電圧比に応じた画像信号を出力する。
【0010】
本発明においては、第1の読出手段により読み出された出力電圧と、第2の読出手段により読み出された出力電圧とは、いずれも、受光素子の電流を対数変換した電圧であるため、2つの出力電圧の比を求めることにより、各出力電圧に含まれている背景情報の光電流成分が相殺される。これにより、背景情報によるノイズ成分を含まない画像信号を得ることができる。また、本発明では、対数変換型の撮像素子を用いているので、リセット動作が不要であり、同じ画素に対して異なる条件下で、連続的に出力電圧を読み出すことができる。これにより、画像信号の高速読み出しが可能となり、処理の高速化を図ることができる。
【0011】
本発明での第1、第2の条件としては、種々の態様が考えられる。対象物へ光を照射する照明手段を備えている場合は、第1および第2の条件の一方は、照明手段の点灯であり、第1および第2の条件の他方は、照明手段の消灯である。
【0012】
また、対象物の状態の変化を検出し、第1の条件を、対象物の第1の状態とし、第2の条件を、対象物の第2の状態としてもよい。例えば、対象物の動きの有無を検出する場合は、第1および第2の状態の一方は、対象物が静止している状態であり、第1および第2の状態の他方は、対象物が動いている状態である。また、対象物の色の変化を検出する場合は、第1の状態は、対象物が第1の色を呈している状態であり、第2の状態は、対象物が第2の色を呈している状態である。
【発明の効果】
【0013】
本発明によれば、背景情報によるノイズを簡単に除去できるとともに、各画素の出力電圧を高速で読み出すことが可能な固体撮像装置を提供することができる。
【図面の簡単な説明】
【0014】
【図1】本発明に係る固体撮像装置の実施形態を示すブロック図である。
【図2】撮像素子の具体的な構成を示すブロック図である。
【図3】撮像部を構成する画素の回路図である。
【図4】画素列選択信号およびサンプリング信号のタイミングチャートである。
【図5】本発明におけるノイズ除去の原理を説明するためのタイミングチャートである。
【図6】比較例における線形変換型画素の回路図である。
【図7】比較例における画素列選択信号、サンプリング信号およびリセット信号のタイミングチャートである。
【図8】比較例におけるノイズ除去の原理を説明するためのタイミングチャートである。
【図9】比較例の固体撮像装置のブロック図である。
【図10】本発明の原理を一般化した場合のタイミングチャートである。
【発明を実施するための形態】
【0015】
以下、本発明の実施形態につき、図面を参照しながら説明する。
【0016】
図1は、本発明に係る固体撮像装置の実施形態を示すブロック図である。固体撮像装置100は、撮像素子1、ラインメモリ2、演算部3、信号処理部4を備えている。また、本実施形態では、さらにLED5が設けられている。各ブロック1〜5は、図示しない制御部によって制御される。
【0017】
撮像素子1は、撮像対象である対象物6の画像を撮像する。撮像素子1の詳細については後述する。ラインメモリ2は、LED5の点灯時に撮像素子1から順次出力される電圧を画素毎に記憶する。演算部3は、ラインメモリ2に記憶されたある画素についての電圧と、LED5の消灯時に撮像素子1から出力される同一画素についての電圧との比を演算し、当該電圧の比に基づいて画像信号を出力する。この演算の詳細については後述する。信号処理部4は、演算部3から出力される画像信号に基づいて、所定の画像処理を行う。LED5は、対象物6へ補助光(例えば赤外光)を照射する。以上の構成において、演算部3は、本発明における出力手段の一実施形態を構成し、LED5は本発明における照明手段の一実施形態を構成する。
【0018】
図2は、撮像素子1の具体的な構成を示すブロック図である。撮像素子1は、撮像部11、垂直走査回路12、水平走査回路13、信号読み出し回路14、出力回路15、画素列選択線16および垂直信号線17を備えている。撮像部11には、後述する画素が複数個、格子状に配列されている。垂直走査回路12は、画素列選択線16のそれぞれに画素列選択信号を順次送出する。この信号により、垂直方向に配列された画素列のうちの1つが選択される。水平走査回路13は、各画素列の画素を水平方向に走査するためのタイミング信号を信号読み出し回路14に与える。信号読み出し回路14は、このタイミング信号を受けてサンプリング信号を生成し、当該サンプリング信号に基づき、垂直信号線17に現れる各画素の電圧を読み出し、サンプルホールドする。出力回路15は、信号読み出し回路14で読み出された電圧を増幅し、画像信号として出力する。以上の構成において、信号読み出し回路14は、本発明における第1および第2の読出手段の一実施形態を構成する。
【0019】
図3は、図2の撮像部11を構成する画素の回路図である。ここでは、1つの画素Pのみが図示されているが、他の画素の構成も同じである。画素Pは、MOSトランジスタ(以下、単に「トランジスタ」という)Q1、Q2、Q3と、受光素子であるフォトダイオードPDとを備えている。トランジスタQ1は対数変換用トランジスタであり、トランジスタQ2は信号読出用トランジスタであり、トランジスタQ3は画素選択用トランジスタである。
【0020】
フォトダイオードPDには、入射光の光量に応じた光電流が流れる。ここで、トランジスタQ1のゲート電圧を閾値電圧以下にしておくと、トランジスタQ1は、ドレイン・ソース間が高インピーダンスとなるサブスレショールド領域で動作し、トランジスタQ1には光電流と同量のドレイン電流が流れる。これにより、フォトダイオードPDのカソードの電位は、光電流に応じた電位に安定する。そして、このカソード電位は、光電流を対数変換した電位となる。すなわち、画素Pは、受光量に対して出力電圧が自然対数的に変化する特性を有する対数変換型画素である。対数変換型画素では、線形変換型画素と異なり電荷の蓄積がなく、撮像時点でのフォトダイオードPDのカソード電位が、そのまま画素の出力電圧を決定することになる。
【0021】
フォトダイオードPDのカソードの電圧は、トランジスタQ2により増幅される。そして、画素列選択線16に与えられた画素列選択信号により、トランジスタQ3をオンさせると、入射光量に応じた電圧が垂直信号線17に出力され、信号読み出し回路14(図2)により読み出される。
【0022】
図2の撮像部11には、画素列選択線16と垂直信号線17とが交差する各位置に、上述した画素Pが配列されている。したがって、画素Pは格子状に配列されていて、各画素Pは、それぞれに対応する画素列選択線16および垂直信号線17に接続されている(図3参照)。
【0023】
図4(a)は、垂直走査回路12から画素列選択線16へ出力される画素列選択信号のタイミングチャートである。画素列の第1列から最終列に至るまで、パルスからなる画素列選択信号が一定間隔で出力され、この画素列選択信号によって、画素列が順次選択される。
【0024】
図4(b)は、第(n)列におけるサンプリングの様子を示すタイミングチャートである。第(n)列の画素列選択信号が出力されるたびに、これと同期するサンプリング信号φshにより、第(n)列における各画素の電圧が順次読み出され、サンプルホールドされる。この電圧は、サンプリング時点におけるフォトダイオードPDのカソードの瞬時電位である。
【0025】
次に、本発明の特徴である画像信号のノイズ除去処理について説明する。以下では、撮像素子1により車両のフロントガラスに付着した雨滴を検出する場合を例に挙げる。この場合の撮像の対象物6は、フロントガラスである。
【0026】
雨滴検出にあたっては、LED5から補助光として赤外光をフロントガラスへ照射する。照射された赤外光は、フロントガラスにおける雨滴が付着している部分では透過し、雨滴が付着していない部分では反射する。したがって、撮像素子1においては、雨滴部分の光を受光した画素の出力電圧は小さく、それ以外の部分の光を受光した画素の出力電圧は大きくなるので、この電圧の差により雨滴を検出することができる。しかし、先述のように、透明なフロントガラスを通して、前方の景色や道路上の白線などによる背景光もノイズ成分として撮像素子1で受光されるため、単純に上記のような方法を用いるだけでは、検出精度が悪くなって誤検出のおそれがある。そこで、本発明では、以下のような方法により、背景光によるノイズを除去する。
【0027】
図5は、ノイズ除去の原理を説明するためのタイミングチャートである。(a)〜(c)は、垂直走査回路12から画素列選択線16へ出力される画素列選択信号であり、ここでは、第(n−1)列〜第(n+1)列の画素列選択信号のみが示されている。(d)は各画素の出力電圧(以下、「画素電圧」という)を読み出すためのサンプリング信号φshである。(e)は、LED5からフロントガラスへ照射される補助光である。(f)は、LED5から対象物6へ補助光を照射したときのフォトダイオードPDのカソード電位である。(g)は、背景光のみによるフォトダイオードPDのカソード電位である。(h)は、(f)と(g)の合成であって、実際のフォトダイオードPDのカソード電位、すなわち画素電圧を表している。
【0028】
図5において、まず(a)に示される第(n−1)列の画素P1につき、楕円で囲んだように、画素列選択信号x1,x2を2回連続して出力する。1回目の画素列選択信号x1の出力時には、当該信号と同期してLED5を点灯し、(e)のように補助光zを照射する。そして、補助光zが照射された状態下で、撮像素子1による撮像を行い、このときの画素P1の画素電圧を、(d)のサンプリング信号y1に基づき読み出す。この画素電圧Vnは、(h)に示すように、
Vn=Log(I+I) … (1)
で表される。ここで、I:補助光による光電流成分、I:背景光による光電流成分(ノイズ)である。この画素電圧Vnの値は、ラインメモリ2(図1)に一旦記憶される。
【0029】
続く2回目の画素列選択信号x2の出力時には、LED5を消灯し、補助光を照射しない状態下で、撮像素子1による撮像を行う。そして、このときの同じ画素P1の画素電圧を、(d)のサンプリング信号y2に基づき読み出す。この画素電圧Vn’は、(h)に示すように、
Vn’=Log(I’+I) … (2)
で表される。ここで、I’:補助光がない場合の光電流成分、I:背景光による光電流成分(ノイズ)である。この画素電圧Vn’の値は、直接演算部3(図1)へ与えられる。
【0030】
演算部3では、ラインメモリ2から読み出した画素P1の画素電圧Vnと、撮像素子1から与えられた画素P1の画素電圧Vn’との比を演算する。この演算結果は、上記の式(1)、(2)より、
Vn/Vn’=Log(I−I’) … (3)
となる。演算部3は、この電圧比Vn/Vn’に応じたレベルの信号を生成し、これを画素P1の画像信号として信号処理部4へ出力する。
【0031】
上記の式(3)からわかるように、補助光を照射したときの画素電圧Vnと、補助光を照射しないときの画素電圧Vn’との比を求めることにより、背景光による光電流成分Iが相殺される。このため、電圧比Vn/Vn’に基づく画像信号は、ノイズを含まないものとなる。
【0032】
次に、図5の(b)に示された第(n)列の画素P2と、(c)に示された第(n+1)列の画素P3についても、画素P1と同様の処理を行う。そして、各画素について式(3)の電圧比を求め、当該電圧比に応じたレベルの信号を生成し、これを画素P2、P3の画像信号として信号処理部4へ出力する。このような処理を全ての画素について行うことで、撮像素子1から出力される各画素の画像信号は、ノイズが除去されたSN比の高い信号となる。したがって、この画像信号を用いて雨滴を検出することにより、検出精度を高めることができる。
【0033】
なお、上記の例では、電圧比としてVn/Vn’を求めたが、次式(4)のようにVn’/Vnを求めても、同様に背景光による光電流成分Iを相殺することができる。
Vn’/Vn=Log(I’−I) … (4)
【0034】
また、本発明では、撮像素子1として対数変換型の素子を用いているため、リセット動作が不要であり、画素電圧の読み出しにあたって、リセット後に電荷蓄積時間だけ待つ必要がない。このため、図5において楕円で囲んだように、同一画素について、補助光を照射したときと照射しないときの各画素電圧を連続的に読み出すことができる。その結果、各画素の画像信号を高速に出力することが可能となる。
【0035】
ここで、対数変換型の撮像素子を用いた場合と、線形変換型の撮像素子を用いた場合とを比較してみると、以下のようになる。図6〜図9は、線形変換型の撮像素子を用いた場合の比較例を示している。
【0036】
図6は、線形変換型画素P’の回路図である。Q4はリセット用トランジスタ、18はリセット信号線である。その他の構成は図3と同様である。図7(a)は、画素列選択信号のタイミングチャート、図7(b)は、第(n)列におけるサンプリングとリセットの様子を示すタイミングチャートである。図7(b)のように、第n列の画素列選択信号が出力され、サンプリング信号φshにより画素電圧が読み出された後、リセット信号φrにより画素電圧の初期値がリセットされる。このリセットから次のサンプリング信号φshによる読み出しまでの時間tが電荷蓄積時間である。
【0037】
このように、線形変換型画素P’を用いた場合は、画素電圧の読み出し直後にリセットがかかり、次の読み出しまでに電荷蓄積時間が必要なことから、図5のように異なる条件(補助光の有無)の下で、同じ画素について連続的に電圧を読み出すことができない。このため、補助光を照射したときの画素電圧と、補助光を照射しないときの画素電圧とを用いて、ノイズを除去しようとした場合、タイミングチャートは図8のようになる。すなわち、区間T1において、各列の画素のリセットが全部終了して、全ての画素が電荷蓄積時間t内で電荷を蓄積しているときに、補助光を照射する。そして、次の区間T2において、補助光が照射された状態下での各画素の画素電圧を順次読み出す。この区間T2では、補助光を照射しない。さらに、次の区間T3で、補助光が照射されない状態下での各画素の画素電圧を順次読み出す。
【0038】
以上から明らかなように、線形変換型画素P’を用いて本発明と同様の処理を行おうとすれば、画素電圧の読み出しに時間がかかり、高速処理が困難である。一方、本発明では、対数変換型画素Pを用いているため、画素電圧を高速に読み出すことができる。また、線形変換型画素P’を用いた場合は、補助光を照射した後に各列の画素から読み出した画素電圧を全て記憶する大容量のフレームメモリが必要となる。図9は、このようなフレームメモリ7を設けた固体撮像素子のブロック図であり、図1と同一の部分または対応する部分に同一の符号を付してある。一方、本発明では、各列ごとに、同一画素について補助光の照射時と非照射時の画素電圧を連続的に読み出して処理できるので、大容量のフレームメモリは不要であり、小容量のラインメモリ2で足りる。
【0039】
図10は、本発明の原理を一般化した場合のタイミングチャートである。例えば、画素#1についてみると、まず、条件1(第1の条件)の下で対象物6を撮像したときの第(n−1)列の画素#1の画素電圧を、画素列選択信号aとサンプリング信号cに基づいて読み出す。次に、この読み出しに続いて、条件2(第2の条件)の下で対象物6を撮像したときの同じ画素#1の画素電圧を、画素列選択信号bとサンプリング信号dに基づいて読み出す。そして、2つの画素電圧の比を演算し、得られた電圧比に基づく画像信号を出力する。他の第n列の画素#2,第(n+1)列の画素#3,…についても同様の処理を行う。
【0040】
先に述べた実施形態では、図10における条件1は、補助光の照射、すなわちLED5の点灯であり、条件2は、補助光の非照射、すなわちLED5の消灯であった(図5(e)参照)。しかし、本発明はこれに限られるものではなく、条件1を補助光の非照射(LED消灯)とし、条件2を補助光の照射(LED点灯)としてもよい。この場合は、ラインメモリ2に、補助光を照射しないときの画素電圧が記憶される。
【0041】
また、条件1、2としては、補助光の照射・非照射だけに限らず、他の例も考えられる。例えば、対象物6の状態の変化を検出し、第1の状態を条件1とし、第2の状態を条件2としてもよい。
【0042】
一例を挙げると、撮像画像から対象物6の動きの有無を検出し、対象物6が静止している状態を第1の状態(条件1)とし、対象物6が動いている状態を第2の状態(条件2)とすることが考えられる。あるいは逆に、対象物6が動いている状態を第1の状態(条件1)とし、対象物6が静止している状態を第2の状態(条件2)としてもよい。
【0043】
このように物体の移動を検出する場合、高速で移動する比較的大きな対象物に対して、連続した水平走査期間で差分情報を得ることができるため、従来のようにフレーム間差分で物体の移動を検出する場合と比較して、より高速の応答が可能となる。
【0044】
また、他の例として、対象物6の色の変化を検出し、対象物6が第1の色を呈している状態を第1の状態(条件1)とし、対象物6が第2の色を呈している状態を第2の状態(条件2)としてもよい。この場合の色の変化は、対象物6自体の物理的・化学的な色の変化であってもよいし、対象物6に照射する光の色の変化であってもよい。
【0045】
例えば、第1の状態において黄色の光(第1の色)を照射し、第2の状態において緑色の光(第2の色)を照射する。これらの各状態下で得られた画像信号から、対象物の特定の色を検出することができる。
【符号の説明】
【0046】
1 撮像素子
2 ラインメモリ
3 演算部
4 信号処理部
5 LED
6 対象物
11 撮像部
12 垂直走査回路
13 水平走査回路
14 信号読み出し回路
15 出力回路
16 画素列選択線
17 垂直信号線
100 固体撮像装置
P 画素
Q1、Q2、Q3 MOSトランジスタ
PD フォトダイオード

【特許請求の範囲】
【請求項1】
入射光を電流に変換する受光素子と、前記受光素子の電流を対数変換した電圧を出力するトランジスタとを有する画素が格子状に配列された撮像素子を備え、画素列選択信号およびサンプリング信号に基づいて、前記撮像素子の各画素の出力電圧を読み出す固体撮像装置において、
第1の条件の下で対象物を撮像したときに、各画素列における所定の画素の出力電圧を読み出す第1の読出手段と、
前記第1の読出手段による読み出しに続いて、第2の条件の下で対象物を撮像したときに、第1の読出手段により出力電圧が読み出された画素と同じ画素の出力電圧を読み出す第2の読出手段と、
前記第1の読出手段により読み出された出力電圧と、前記第2の読出手段により読み出された出力電圧との比を演算し、当該電圧比に応じた画像信号を出力する出力手段と、
を備えたことを特徴とする固体撮像装置。
【請求項2】
請求項1に記載の固体撮像装置において、
前記対象物へ光を照射する照明手段を備え、
前記第1および第2の条件の一方は、前記照明手段の点灯であり、
前記第1および第2の条件の他方は、前記照明手段の消灯である
ことを特徴とする固体撮像装置。
【請求項3】
請求項1に記載の固体撮像装置において、
前記対象物の状態の変化を検出し、
前記第1の条件が、対象物の第1の状態であり、
前記第2の条件が、対象物の第2の状態である
ことを特徴とする固体撮像装置。
【請求項4】
請求項3に記載の固体撮像装置において、
前記第1および第2の状態の一方は、対象物が静止している状態であり、
前記第1および第2の状態の他方は、対象物が動いている状態である
ことを特徴とする固体撮像装置。
【請求項5】
請求項3に記載の固体撮像装置において、
前記第1の状態は、対象物が第1の色を呈している状態であり、
前記第2の状態は、対象物が第2の色を呈している状態である
ことを特徴とする固体撮像装置。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate

【図9】
image rotate

【図10】
image rotate


【公開番号】特開2010−219664(P2010−219664A)
【公開日】平成22年9月30日(2010.9.30)
【国際特許分類】
【出願番号】特願2009−61527(P2009−61527)
【出願日】平成21年3月13日(2009.3.13)
【出願人】(000002945)オムロン株式会社 (3,542)
【Fターム(参考)】