説明

赤外線固体撮像装置

【課題】画像処理によって、残像の少ない赤外線画像を可能にする赤外線固体撮像装置を提供する。
【解決手段】一実施形態によれば、感熱画素からなる赤外線検出素子部と、前記赤外線検出素子部により得られた赤外線の画像信号をアナログ−デジタル変換するAD変換器と、デジタル信号に変換された画像信号を処理するデジタル信号処理部からなる赤外線固体撮像装置を提供する。前記デジタル信号処理部が、現フレームの直前フレームの取得画像値を記憶し、現フレームの取得画像値から、前記直前フレームの取得画像値に対し予め定めた0から1の間の定数αを乗算した画像値を減算し、さらに減算した画像値を1/(1−α)倍する処理をすることにより、残像の少ない赤外線画像を提供する。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は赤外線固体撮像装置に関する。
【背景技術】
【0002】
赤外線は、暗闇においても対象物の温度分布の撮像を可能ならしめるものであり、また可視光よりも煙、霧に対して透過性が高いという特長を有するので、赤外線撮像は、昼夜にかかわらず可能である。また、赤外線撮像は、被写体の温度情報をも得ることができるので、防衛分野をはじめ監視カメラや火災検知カメラのように広い応用範囲を有する。
【0003】
近年、冷却機構を必要としない「非冷却型赤外線固体撮像素子」の開発が盛んになってきている。非冷却型すなわち熱型の赤外線固体撮像装置は、波長10μ程度の入射赤外線を吸収構造により熱に変換した上で、この微弱な熱により生じる感熱部の温度変化をなんらかの熱電変換手段により電気信号に変換する。非冷却型の赤外線固体撮像装置は、この電気信号を読み出すことで赤外線画像情報を得る。ここで、入射赤外線を熱に変換する際に、入射赤外線の吸収構造を基板から断熱する必要があり、通常熱型の赤外線固体撮像素子は真空中で動作させる。
【0004】
赤外線センサの性能をあらわす指標のひとつは、赤外線センサの温度分解能を表現するNETD(Noise Equivalent Temperature Difference(等価雑音温度差))である。NETDを小さくすること、すなわち、雑音に相当する赤外線検出素子の温度差を小さくすることが重要である。また、熱型の赤外線検出素子は光を温度に変える際に、一定の熱時定数をもち、高速に変化する被写体には追従できない。画素の感度と熱時定数は二律背反の関係にあり、感度を向上するために断熱性を上げると、熱が逃げにくくなるため熱時定数も悪化する。すなわち、熱時定数の悪化により、残像を含む赤外線画像しか得られないことになる。
【0005】
特許文献1には、X線検査装置において、残像の減衰率rを算出し、今回計測された出力信号の(1+r)倍から1回前に計測された出力信号のr倍を減算することによって残像の補正をおこなう方法が記載されている。この場合、今回計測された出力信号のうち、減算される1回前に計測された出力信号の割合はr/(1+r)となり、実際に含まれる残像rよりも少なくなってしまう欠点がある。
【先行技術文献】
【特許文献】
【0006】
【特許文献1】特開特許公報2003−52687号
【発明の概要】
【発明が解決しようとする課題】
【0007】
本発明は、画像処理によって、残像の少ない赤外線画像を可能にする赤外線固体撮像装置を提供する。
【課題を解決するための手段】
【0008】
感熱画素からなる赤外線検出素子部と、前記赤外線検出素子部により得られた赤外線の画像信号をアナログ−デジタル変換するAD変換器と、デジタル信号に変換された画像信号を処理するデジタル信号処理部からなる赤外線固体撮像装置を提供する。前記デジタル信号処理部が、現フレームの直前フレームの取得画像値を記憶し、現フレームの取得画像値から、前記直前フレームの取得画像値に対し予め定めた0から1の間の定数αを乗算した画像値を減算し、さらに減算した画像値を1/(1−α)倍する処理をすることにより、残像の少ない赤外線画像を提供する。
【図面の簡単な説明】
【0009】
【図1】本発明の第1の実施形態に係る赤外線固体撮像装置の構成を示す概略図。
【図2】第1の実施形態に係る赤外線検出素子部の構成を示す図
【図3】第1の実施形態に係る赤外線検出素子部の感熱画素の具体的な構成を示す図
【図4】図3の線分IV−IVに沿って紙面に垂直に切断した場合の断面図
【図5】第1の実施形態に係る赤外線検出素子部の感熱画素の熱電変換部におけるpnダイオードの電圧・電流の関係を例示する図
【図6】熱電変換部が熱源からのパルス状の赤外線を受けたときの当該熱電変換部の温度上昇を模式的に示す図
【図7】現フレームとその直前フレームにおいて発生した熱が現在の時刻における画像情報に対する寄与を模式的に表す図
【図8】現フレームにおける過去の残像情報を対応する過去の時刻へ展開して描いた模式図
【図9】第1の実施形態に係るデジタル信号処理部5の構成を示す図
【発明を実施するための形態】
【0010】
以下、図面を参照して本発明に係る実施形態を説明する。
【0011】
(第1の実施形態)
図1に第1の実施形態に係る赤外線固体撮像装置の構成を示す。本赤外線固体撮像装置は、図1左部に示す赤外線検出素子部(アナログ検出部)1と、図1右部に示すAD変換部4及びデジタル信号処理部5からなる。赤外線検出素子部(アナログ検出部)1により、外部から赤外線検出素子部1に入射した赤外線が検出され、検出された赤外線のアナログ電気信号(画像信号)は、AD変換部4に送られ、AD変換部4によりデジタル信号に変換される。このデジタル信号はデジタル信号処理部5に送られ、そこで各フレーム毎の画像値(赤外線画像のデジタル信号)からその直前フレームの画像値に定数を乗算した値を減算して、残像低減処理を行う。
【0012】
図2に赤外線検出素子部1の具体的な構成例を示す。この赤外線検出素子部1は、マトリックス状に配置した複数の感熱画素(pn)ij(i、j=1、2、3)からなる撮像領域、行選択回路31、カラムアンプ201、垂直択回路32、及びバッファ203を含んでいる。
【0013】
本実施形態においては、撮像領域は、一例として、3×3のマトリックス状に配置された感熱画素(ダイオード等)からなり、各感熱画素は赤外線に対する感度を有する。撮像領域を3×3のマトリックス状としたのは、本実施形態の赤外線固体撮像装置の動作に関する説明を簡単にするためであり、通常撮像領域はm×nのマトリックスに配置されたより多くの感熱画素からなる。各感熱画素は、例えばpn接合ダイオードを少なくとも1個備えている。図2では、各感熱画素が1個のpn接合ダイオードから構成されている場合を例示している。
【0014】
次に、図2に示す3×3のマトリックス状に配置された感熱画素であるpn接合ダイオードの読出し動作について説明する。
【0015】
同じ行の感熱画素であるpn接合のアノード側は、行選択回路31に同一配線で接続されている。図2では、例えば(pn)11、(pn)12、(pn)13は行選択回路31からの同一の行選択線r1に接続されている。(pn)21、(pn)22、(pn)23は行選択回路31からの同一の行選択線r2に接続され、(pn)31、(pn)32、(pn)33は行選択回路31からの同一の行選択線r3に接続されている。行選択線r、r、rはそれぞれ、行選択回路31によって1行ずつ順次選択され、選択された行選択線にはバイアス電圧Vdが印加される。バイアス電圧Vdが印加されると、各定電流源33に定電流Ifが流れ、pn接合の順方向電圧Vfが決定される。同一の列に接続されているpn接合のカソード側は、垂直信号線34に接続されており、その電位はVd−Vfとなる。
【0016】
ここで、ある時刻t1に、行選択線r上のpn接合にバイアス電圧Vdが印加される場合、(pn)11、(pn)12、(pn)13はそれぞれ被写体の信号に応じて温度Tp(t)が異なるため、Vf、つまりVd−Vfもそれぞれ異なっている。そして、(pn)11、(pn)12、(pn)13の電圧Vd−Vfが各垂直信号線34を通して各カラムアンプに入力され、そこで増幅される。カラムアンプ201の出力信号は、垂直選択回路32によって列ごとに順次読み出され、シリアル信号となってバッファ202を経てアナログ検出部から後述するAD変換部4を通ってデジタル処理部5へ送られる。その後の時刻t2には、行選択線r上のpn接合にバイアス電圧Vdが印加され、(pn)21、(pn)22、(pn)23の電圧Vd−Vfが各垂直信号線34を通して各カラムアンプに入力され、そこで増幅され、垂直選択回路32によって列ごとに順次読み出され、シリアル信号となってバッファ202を経てアナログ検出部から、同様にしてデジタル処理部へ送られる。さらにその後の時刻t3に行選択線r上のpn接合にバイアス電圧Vdが印加され、(pn)31、(pn)32、(pn)33の電圧Vd−Vfが各垂直信号線34を通して各カラムアンプに入力され、同様にシリアル信号となってバッファ202を経てアナログ検出部からデジタル処理部へ送られる。ここで、バッファ202は、アナログ検出部からデジタル処理部への信号送信の際のインピーダンスマッチングを行い、アナログ検出部とデジタル処理部の信号の干渉を防止する機能を有する。時間(t3−t1)は、本実施形態の赤外線固体撮像装置の1フレームの時間を表す。
【0017】
次に、本実施形態による赤外線検出素子部1の感熱画素(pn)ij(i、j=1、2、3)の構造を図3および図4により説明する。図3は本実施形態による赤外線検出素子部1の中の感熱画素12の構造を具体的に示す平面図であり、図4は図3示す切断線IV−IVで切断したときの感熱画素12の断面図である。感熱画素12は、SOI基板上に形成される。このSOI基板は、支持基板17と、埋め込み絶縁層(BOX層)193と、シリコン単結晶からなるSOI(Silicon-On-Insulator)層と、を有し、表面部分に凹部18が形成されている。そして感熱画素12は、上記SOI層に形成された熱電変換部161と、熱電変換部161を凹部18の上方に支持する支持構造162と、を備えている。熱電変換部161は、直列に接続された複数(図3および図4では2個)のpn接合ダイオード192と、これらのpn接合ダイオード192を接続する配線194と、これらのpn接合ダイオード192および配線194を覆うように形成された赤外線吸収膜191とを備えている。支持構造162は、一端が対応する行選択線に接続され他端が直列に接続されたpn接合ダイオード192からなる直列回路の一端に接続される接続配線162bと、この接続配線162bを覆う絶縁膜162aとを備えている。
【0018】
赤外線吸収膜191は入射した赤外線によって発熱する。ダイオード192は、赤外線吸収膜191で発生した熱を電気信号に変換する。支持構造部162は、熱電変換部161の周囲を取り巻くように細長く形成されている。これにより、熱電変換部161は、SOI基板からほぼ断熱された状態でSOI基板上に支持される。このような中空熱分離構造を有することにより、感熱画素12は、入射した赤外線に応じて発生した熱を蓄熱し、この熱に基づいた電圧を信号線に出力することができる。行選択線からのバイアス電圧Vdは、配線162bを介してダイオード192へ伝達される。ダイオード192のカソード側電圧、すなわち信号電圧は、配線162bを介して垂直信号線34(1)、34(2)、34(3)に伝達される。
【0019】
このような構造を有することにより、感熱画素12は、入射赤外線に応じて発生した熱を蓄熱し、この熱に基づいた電圧を出力することができる。
【0020】
図5は、第1の実施形態に係る熱電変換部161のpn接合ダイオード192における電圧と電流の関係を例示する図である。pn接合ダイオード192は、その電圧と電流の関係を順方向特性の領域、すなわち、順方向に供給する電圧を増加させると、電流が増加する特性を示す領域で使用される。そのようなpn接合ダイオード192に一定の電流を流し、電圧の変化を計測することにより、赤外線検出素子として機能する。図5に示すように、例えば、赤外線を受光していない時に、一定電流を流した時のpn接合ダイオード192のアノードとカソードとの間の電圧をVdであったとする。このpn接合ダイオード192を覆う赤外線吸収膜191に赤外線が入射すると、入射赤外線によって赤外線吸収膜191は発熱する。そしてpn接合ダイオード192の示すI−V特性が変化する。一定電流を流している条件下において、赤外線入射後におけるpn接合ダイオード192のアノード・カソード間の電圧は、例えば、図5に示すように、低電圧側にシフトする。このようにして、熱電変換部におけるpn接合ダイオード192は、赤外線吸収膜191で発生した熱に伴うpn接合ダイオード192の温度変化を電圧変化へ変換する。pn接合ダイオード192のバイアス電流を一定にしておき、その順方向電圧の変化を信号として取り出すことができる。
【0021】
次に、熱電変換部が熱源から赤外線を受けたときの当該熱電変換部の温度上昇を定量的に考察する。図6は、熱電変換部が熱源からの赤外線を受けたときの当該熱電変換部の温度上昇を模式的に示す図である。図6に示すように、各感熱画素は外部から時間変化する(赤外線)入力を受けている。1つの感熱画素は、ある瞬間の時刻sでパルスT(s)Δs(パルス幅Δs、パルスハイトT(s)又はデルタ関数T・δ(s−t))の赤外線を受ける。このようなパルス状の赤外線を受けた感熱画素12は、応答出力として、T(s)Δs・exp(s−t)の熱を発生する。1つの感熱画素12で発生した熱は、時間的には指数関数的に減衰するが、赤外線のパルス入力が次々と入ってくるので、同じ感熱画素で過去に発生して減衰した熱も蓄熱される。これを、赤外線固体撮像装置の撮像フレームとの関係で見ると、図7のようになる。図7は、現フレームとその直前フレームにおいて発生した熱が現在の時刻の画像情報に対してする寄与を模式的に表す図である。現フレーム内の情報には、直前の過去のフレームの情報が入っていることになる。図7では、本実施形態に合わせて、1フレーム時間を9個の感熱画素に合わせて、9等分している。現在の時刻t1での熱は、現フレーム内の過去時刻に生じた熱(図7では現フレーム内の情報(1))と過去のフレームにおいて生じた熱(図7では前フレーム内の情報(〜残像情報)(2))からなっている。図7に示すように、現フレームの情報には、前フレームの情報が残像として入っている。
【0022】
ここで、ある時刻tにおける被写体の温度変化をTt(t)、熱電変換部161の温度変化をTp(t)とすると、それらの関係は、次の[数1]
【数1】

で表される。ここで、τは感熱画素の熱時定数であり、通常10〜100ms程度となる。式(1)は被写体温度T(t)を、指数関数で畳み込み積分した結果が熱電変換部161の温度T(t)となることを表している。式(1)で表される畳み込み積分は、以下の[数2]に示すように、変形できる。
【数2】

【0023】
式(2)において、第1項は過去の全フレームからの寄与分にexp(−tf/τ)を掛けたものであり、第2項が現フレーム内の情報である。第1項は、過去のフレームの残像情報である。すなわち、式(2)は、現フレーム情報から全フレーム情報にexp(−tf/τ)を掛けたものを引くことにより、残像情報を取り除くことができることを表している。言い換えると、残像信号は正確に、
【数3】

で表される割合だけ画素に含まれる。過去の時刻からの信号(残像信号)の寄与分も含めて、図7における時間軸に沿って模式的に表すと、図9のようになる。図9は式(1)の積分への寄与、すなわち、図7における時刻t1軸上に描いた各黒丸●及び白丸○を、それぞれに対応する過去の時刻へ展開して描いた模式図である。図9において、斜線を施した部分は、−∞の過去から現在の時刻t1までの被写体(の発する赤外線)情報であり、太線内が、本実施形態で得られる残像を含まない被写体情報である。残像を含まない被写体情報とは、ある画素に着目したときに、前フレームの時刻t1−tfにおける読み出し(1フレーム前)から、現フレームの時刻t1(現在)における読み出しまでに積分された被写体情報ということになる。フレームという概念は、全画素のスキャンが始まってから終わるまでの時間であり、そのなかの選択される時刻は、画素の「位置」によって異なるが、何れの画素からも、時刻(t1−tf)から時刻t1までに積分された被写体情報が残像を含まない情報として、クリアな赤外線画像の構成に寄与する。
【0024】
図9において、太線で囲まれた部分以外の斜線を施した部分は、過去のフレームにおける残像情報であり、現フレームが保持している赤外線画像情報の一部を構成している。本実施形態では、この残像情報を取り除くことが可能な赤外線固体撮像装置を提供する。さらに、図9の破線で表した部分は、図8の式(2)の第1項で係数を掛けていない積分、すなわち、式(1)であり、1フレーム前の赤外線画像情報を表している。言い換えると、各フレーム毎に毎回、式(1)で表される画像情報が赤外線検出素子部から出力される。また、式(1)は、RCフィルタ回路に信号電圧Vin(t)を入力したときの出力電圧Vout(t)の表式と同様であり、熱型赤外線センサが熱的にRCフィルタ回路とみなせることを意味する。R(Rthと表す)は熱抵抗であり、支持脚162が細く、長いほど大きな値となる。C(Cthと表す)は熱容量に対応し、熱電変換部161の体積が大きいほど大きな値となる。熱時定数τはτ=Rth・Cthと表される。
【0025】
次に、デジタル信号処理部5の機能について説明する。図10は、第1の実施形態に係るデジタル信号処理部5の構成を示す図である。赤外線検出素子部1から出力されたシリアル信号は、AD変換器4にてアナログtoデジタル変換され、画像信号となる。以下、行y、列x, フレーム番号iの画像値をA(i,x,y)で表すことにする。
【0026】
画像値は、デジタル信号処理部5内に入力される。デジタル信号処理部5はフレームメモリ41と、定数乗算部42と、減算器43と、定数乗算部44からなる。フレームメモリ41には、前フレームの画像値A(i−1,x,y)を前フレームの段階でメモリしている。定数乗算部42でこの値に予め定められた任意の乗数αを乗算する。この乗数αは残像低減率を表し、1つの感熱画素がαth=30%の残像信号を生ずる場合、例えばα=20%(0.2)と設定すれば、残像を正確に0.3−0.2=0.1 (10%)に低減することになる。現フレームの画像値A(i,x,y)は、減算部43にてαA(i−1,x,y)が減算され、その結果A(i,x,y)−αA(i−1,x,y)が出力される。ここで、例えばA(i,x,y)=100、A(i−1,x,y)=100, α=20%のとき、A(i,x,y)−αA(i−1,x,y)の計算結果は80となり、残像低減を行わない場合よりも低くなる。輝度を調整するために定数乗算部44で定数1/(1−α)が乗算される。これはα=20%のとき1.25となり、前述の計算結果80は80×1.25=100に復元される。結果的に、A`(i,x,y)={1/(1−α)}×{A(i,x,y)−αA(i−1,x,y)}が残像低減後の画像値として出力される。
【0027】
赤外線検出素子部1は、非常に強い赤外線により被写体を撮像しているときも、熱電変換部161の温度上昇は微小であるため、熱時定数τは常に一定である。すなわち残像信号は一定であり、予めαを全画素に対して一様に設定しておいても殆ど問題が発生しない。
【0028】
以上説明したように、本実施形態によれば簡便な手段で、被写体からの信号にかかわらず効果的に残像信号を低減することができる。
【0029】
(第2の実施形態)
可視光センサであるCMOSイメージセンサでは、フォトダイオードに蓄積した信号電荷を電気的にリセットすることによって、非撮像時の信号レベル(ダークレベル)を各画素ごとに出力し、ダークレベルの画素間ばらつきを補正することができる。しかし熱型赤外線検出素子部では、各感熱画素は常に何らかの被写体温度信号を反映しており、メカニカル・シャッタによる物理的な遮光動作を行わないと熱的なダークレベルを取得できない。特に熱型赤外線検出素子部の各感熱画素は、ダークレベルの各感熱画素間ばらつきが、被写体温度信号よりも数桁大きいため、ダークレベル補正が必須となっている。
【0030】
上記のメカニカル・シャッタによる遮光動作中は被写体からの情報が途切れるため、連続撮像が求められるアプリケーションにおいては、遮光動作は短ければ短いほどよい。
【0031】
また、ダークレベルを取得するためには電気的なランダム・ノイズを平均化し、ダークレベル画像(固定したパターンの画像)の精度を上げる必要があり、このためには、数フレーム〜数10フレームにわたり平均化を行う。これらの平均化のための数フレーム〜数10フレームを平均化フレーム群という。
【0032】
ここで、遮光が始まってから数フレームは、上述のように被写体情報の残像が顕著になる。これらの残像情報が残存したフレームが上記平均化フレーム群に含まれると、ダークレベル画像の中に被写体信号の残像画像が残るため、補正後にこのときのこの被写体信号の残像画像が焼きつくことになる。
【0033】
そこで、シャッタを閉じている間のフレームにおいては、定数αをちょうど画素の熱容量と熱抵抗の積から式(3)にもとづいて決定されるαthとすることによって、そのような被写体信号の影響をなくすことができる。すなわち、残像をちょうど0%まで低減するができる。
【0034】
以上のように、本実施形態によれば、メカニカル・シャッタによる遮光動作期間に残存する被写体信号を完全に除去することで、メカニカル・シャッタによる遮光動作期間を短縮することができ、被写体からの信号にかかわらず効果的に残像信号を低減することができる。
【0035】
本発明のいくつかの実施の形態を説明したが、これらの実施の形態は、例として提示したものであり、発明の範囲を限定することは意図していない。本発明の実施の形態は上記の実施形態に限られず拡張、変更可能であり、拡張、変更した実施の形態も本発明の技術的範囲に含まれる。これら新規な実施の形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施の形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【符号の説明】
【0036】
1 ・・・赤外線検出素子部
4 ・・・AD変換器
5 ・・・デジタル信号処理部
12 ・・・感熱画素
17 ・・・支持基板
18 ・・・凹部
31 ・・・行選択回路
32 ・・・カラムアンプ
34 ・・・垂直信号線
41 ・・・フレームメモリ
42 ・・・定数乗算部
43 ・・・減算器
44 ・・・定数乗算部
45 ・・・出力
161・・・熱電変換部
162・・・支持構造
162a・・・絶縁膜
162b・・・接続配線
191・・・赤外線吸収膜
193・・・埋め込み絶縁層
192・・・pn接合ダイオード
194・・・配線
201・・・カラムアンプ
202・・・バッファ

【特許請求の範囲】
【請求項1】
感熱画素からなる赤外線検出素子部と、前記赤外線検出素子部により得られた赤外線の画像信号をアナログ−デジタル変換するAD変換器と、デジタル信号に変換された画像信号を処理するデジタル信号処理部からなり、前記デジタル信号処理部は、現フレームの直前フレームの取得画像値を記憶し、現フレームの取得画像値から、前記直前フレームの取得画像値に対し予め定めた0から1の間の定数αを乗算した画像値を減算し、さらに減算した画像値を1/(1−α)倍する処理をすることを特徴とする赤外線固体撮像装置。
【請求項2】
赤外線吸収膜と、熱電変換部と、該熱電変換部を前記半導体基板内部に形成される中空熱分離構造上に支持するための支持構造とにより構成され、前記支持構造には前記熱電変換部からの信号を読み出すための配線が含まれており、前記配線が前記行選択線および信号線に接続される感熱画素と、を含むことを特徴とする請求項1に記載の赤外線固体撮像装置。
【請求項3】
メカニカル・シャッタを有し、前記メカニカル・シャッタを閉じている間のフレームにおいては、前記定数αを、前記感熱画素の熱容量と熱抵抗の積から以下の式にもとづいて決定されるαthとする、ことを特徴とする請求項1に記載の固体撮像装置。

( ここで、tfはフレーム周期、Rthは熱抵抗、Cthは熱容量である)

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate

【図9】
image rotate


【公開番号】特開2013−88192(P2013−88192A)
【公開日】平成25年5月13日(2013.5.13)
【国際特許分類】
【出願番号】特願2011−227208(P2011−227208)
【出願日】平成23年10月14日(2011.10.14)
【出願人】(000003078)株式会社東芝 (54,554)
【Fターム(参考)】