画像処理装置、内視鏡装置、及び画像処理プログラム
【課題】撮像素子の前面にIRカットフィルタを設けることなく、該撮像素子からの撮像信号から色再現性の良いRGBカラー画像データを生成することが可能な画像処理装置を提供する。
【解決手段】撮像素子100から出力されるR(赤色)成分の撮像信号、G(緑色)成分の撮像信号、及びB(青色)成分の撮像信号からRGBカラー画像データを生成するカラー画像データ生成部54と、撮像素子100から出力されるIR(赤外)成分の撮像信号から赤外画像データを生成する赤外画像データ生成部53と、前記RGBカラー画像データと前記赤外画像データを用いて、前記RGBカラー画像データの色再現性を向上させた高色再現RGBカラー画像データを生成する高色再現RGBカラー画像データ生成部56を備える。
【解決手段】撮像素子100から出力されるR(赤色)成分の撮像信号、G(緑色)成分の撮像信号、及びB(青色)成分の撮像信号からRGBカラー画像データを生成するカラー画像データ生成部54と、撮像素子100から出力されるIR(赤外)成分の撮像信号から赤外画像データを生成する赤外画像データ生成部53と、前記RGBカラー画像データと前記赤外画像データを用いて、前記RGBカラー画像データの色再現性を向上させた高色再現RGBカラー画像データを生成する高色再現RGBカラー画像データ生成部56を備える。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、撮像素子から出力される撮像信号に画像処理を施す画像処理装置に関する。
【背景技術】
【0002】
CCD型やCMOS型イメージセンサーを撮像素子とする内視鏡装置は既に医療現場で多く使われている。この内視鏡装置には大別して、モノクロ撮像可能な撮像素子を用い、ファイバーを介して被写体を照明する光源の前で、R(赤色),G(緑色),B(青色),IR(赤外)の波長域の光を透過するフィルタを、撮像素子のフィールド周波数に同期して切換える面順次撮像方式(例えば、特許文献1参照)と、照明光源はホワイト光で、R,G,Bの波長域の光を透過するカラーフィルタを搭載した単板式撮像素子を用いて撮像する同時撮像方式がある。
【0003】
面順次撮像方式は、光源の前で、異なる分光透過率を有する複数のフィルタを回転させ、異なる波長の光で照明された画像を複数枚撮像した後にカラー画像を合成する方式である。このため、例えば、光源の前で切換えるフィルタにRGB透過フィルタを用いれば、1画素データにRGBの3つの色情報を持たせたRGBカラー画像データを得ることができ、血液中のヘモグロビンに吸収されやすい狭帯域化された2波長のIRフィルタを順次切換えれば、1画素データに赤外域の情報のみを持たせた赤外画像データを得ることができる。RGBカラー画像データに基づく画像によれば、検査対象となる部位の外観を目視で確認することができ、赤外画像データに基づく画像によれば、検査対象となる部位の粘膜表層の毛細血管や粘膜微細模様の情報等を目視で確認することができる。但し、この面順次撮像では、動きのある被写体に対しては色ずれが生じ画像妨害となってしまう。
【0004】
一方、同時撮像方式は、撮像によってRGBカラー画像データを得た後、このRGBカラー画像データを画像処理することで赤外画像データを生成する方式であり、この方式によれば、動きのある被写体に対しても色ずれは生じないが、赤外画像データの情報精度は低いという問題がある。
【0005】
【特許文献1】特許第2648494号公報
【発明の開示】
【発明が解決しようとする課題】
【0006】
このように、内視鏡装置に用いる撮像素子では、特許文献1の素子構成や画像処理等により、1画素データにRGBの3つの色情報を持たせたRGBカラー画像データと、1画素データに赤外域の情報のみを持たせた赤外画像データとの2つの画像データを得ることが可能である。
【0007】
ここで、RGBカラー画像データの色再現性を考える。通常、R,G,Bのカラーフィルタは、赤外域の波長も透過してしまうため、R,G,Bのカラーフィルタを透過した光を光電変換素子で検出してRGBカラー画像データを生成すると、その色再現性が良くない。そこで、R,G,Bのカラーフィルタを用いた撮像素子ではその撮像素子の前面に赤外(IR)カットフィルタを設けて、R,G,Bのカラーフィルタを透過した光に赤外域の光が含まれないようにすることで、色再現性を向上させている。
【0008】
しかし、急峻なIRカット特性を有するIRカットフィルタは高価であり、コストがかかってしまう。又、撮像素子の前面にIRカットフィルタを設けなければならず、撮像素子を用いたシステム全体の小型化を阻害する要因ともなってしまう。又、特許文献1記載の装置においてIRカットフィルタを使おうとすると、R,G,Bのカラーフィルタが撮像素子の前面に来たときのみに、そのフィルタの前にIRカットフィルタを配置する必要があり、システムの機構や制御が複雑となってしまう。
【0009】
本発明は、上記事情に鑑みてなされたものであり、撮像素子の前面にIRカットフィルタを設けることなく、該撮像素子からの撮像信号から色再現性の良いRGBカラー画像データを生成することが可能な画像処理装置を提供することを目的とする。
【課題を解決するための手段】
【0010】
(1)撮像素子から出力される撮像信号から画像データを生成する画像処理装置であって、前記撮像素子から出力されるR(赤色)成分の撮像信号、G(緑色)成分の撮像信号、及びB(青色)成分の撮像信号からRGBカラー画像データを生成するRGBカラー画像データ生成手段と、前記撮像素子から出力されるIR(赤外)成分の撮像信号から赤外画像データを生成する赤外画像データ生成手段と、前記RGBカラー画像データと前記赤外画像データを用いて、前記RGBカラー画像データの色再現性を向上させた高色再現RGBカラー画像データを生成する高色再現RGBカラー画像データ生成手段を備える画像処理装置。
【0011】
(2)(1)記載の画像処理装置であって、前記RGBカラー画像データの画素データが、R成分のデータであるRデータと。G成分のデータであるGデータと、B成分のデータであるBデータとで構成され、前記赤外画像データの画素データが、IR成分のデータであるIRデータで構成され、前記高色再現RGBカラー画像データ生成手段は、前記RGBカラー画像データと前記赤外画像データの各々の同一位置にある画素データを構成するRデータに係数r2を乗じた値と、Gデータに係数g2を乗じた値と、Bデータに係数b2を乗じた値と、IRデータに係数ir2を乗じた値とを積算して、前記高色再現RGBカラー画像データの1画素データを構成するR成分のデータを生成し、前記Rデータに係数r3を乗じた値と、前記Gデータに係数g3を乗じた値と、前記Bデータに係数b3を乗じた値と、前記IRデータに係数ir3を乗じた値とを積算して、前記高色再現RGBカラー画像データの1画素データを構成するG成分のデータを生成し、前記Rデータに係数r4を乗じた値と、前記Gデータに係数g4を乗じた値と、前記Bデータに係数b4を乗じた値と、前記IRデータに係数ir4を乗じた値とを積算して、前記高色再現RGBカラー画像データの1画素データを構成するB成分のデータを生成し、前記係数r2,g2,b2,ir2は、前記撮像素子を構成する光電変換素子のうちの前記R成分の撮像信号を出力する光電変換素子の分光感度であるR感度に前記係数r2を乗じた値、前記撮像素子を構成する光電変換素子のうちの前記G成分の撮像信号を出力する光電変換素子の分光感度であるG感度に前記係数g2を乗じた値、前記撮像素子を構成する光電変換素子のうちの前記B成分の撮像信号を出力する光電変換素子の分光感度であるB感度に前記係数b2を乗じた値、及び前記撮像素子を構成する光電変換素子のうちの前記IR成分の撮像信号を出力する赤外検出用光電変換素子の分光感度であるIR感度に前記係数ir2を乗じた値、を積算した値と、前記R成分の撮像信号を出力する光電変換素子の理想的な分光感度の値とが最も近くなるように決定されたものであり、前記係数r3,g3,b3,ir3は、前記R感度に前記係数r3を乗じた値、前記G感度に前記係数g3を乗じた値、前記B感度に前記係数b3を乗じた値、及び前記IR感度に前記係数ir3を乗じた値、を積算した値と、前記G成分の撮像信号を出力する光電変換素子の理想的な分光感度の値とが最も近くなるように決定されたものであり、前記係数r4,g4,b4,ir4は、前記R感度に前記係数r4を乗じた値、前記G感度に前記係数g4を乗じた値、前記B感度に前記係数b4を乗じた値、及び前記IR感度に前記係数ir4を乗じた値、を積算した値と、前記B成分の撮像信号を出力する光電変換素子の理想的な分光感度の値とが最も近くなるように決定されたものである画像処理装置。
【0012】
(3)(1)又は(2)記載の画像処理装置であって、前記撮像素子が、半導体基板内の同一面上に配列された多数の光電変換素子と、前記半導体基板の上方の同一面上に形成された、前記多数の光電変換素子の一部に対応する基板上光電変換素子であって、前記半導体基板上方に形成された第一の電極、前記第一の電極上に形成された光電変換層、及び前記光電変換層上に形成された第二の電極を含んで構成される基板上光電変換素子と、前記半導体基板の上方に形成され、前記光電変換層で吸収される光の波長域とは異なる波長域の光を透過するカラーフィルタ層と、前記基板上光電変換素子で発生した電荷に応じた信号及び前記光電変換素子で発生した電荷に応じた信号をそれぞれ読み出す信号読み出し手段とを備え、前記カラーフィルタ層は、前記多数の光電変換素子の各々に対応する多数のカラーフィルタで構成され、前記多数のカラーフィルタは、Rの波長域の光を透過するカラーフィルタ、Gの波長域の光を透過するカラーフィルタ、Bの波長域の光を透過するカラーフィルタの3種類のカラーフィルタに分類され、前記3種類のカラーフィルタのうちの少なくとも前記Rの波長域の光を透過するカラーフィルタは赤外域の光も透過し、前記光電変換層は、赤外域の光を吸収してこれに応じた電荷を発生し、且つ、それ以外の光を透過し、前記多数の光電変換素子の一部とは、前記Rの波長域の光を透過するカラーフィルタに対応する光電変換素子である画像処理装置。
【0013】
(4)(3)記載の画像処理装置であって、前記カラーフィルタ層が、前記基板上光電変換素子よりも上方に形成されている画像処理装置。
【0014】
(5)(4)記載の画像処理装置であって、前記光電変換層が有機材料を含んで構成され、前記基板上光電変換素子と前記カラーフィルタ層との間に、ALCVD法によって形成された前記基板上光電変換素子を保護するための保護層を備える画像処理装置。
【0015】
(6)(5)記載の画像処理装置であって、前記保護層が、無機材料を含んで構成される画像処理装置。
【0016】
(7)(6)記載の画像処理装置であって、前記保護層が、無機材料からなる無機層と、有機ポリマーからなる有機層との2層構造である画像処理装置。
【0017】
(8)(3)〜(7)のいずれか1つ記載の画像処理装置であって、前記撮像素子が、前記カラーフィルタ層の上方に、前記多数の光電変換素子の各々に光を集光するためのマイクロレンズを備える画像処理装置。
【0018】
(9)(1)〜(8)のいずれか1つ記載の画像処理装置と、前記撮像素子とを備える内視鏡装置。
【0019】
(10)コンピュータを、(1)〜(8)のいずれか1つ記載の画像処理装置の各手段として機能させるための画像処理プログラム。
【発明の効果】
【0020】
本発明によれば、撮像素子の前面にIRカットフィルタを設けることなく、該撮像素子からの撮像信号から色再現性の良いRGBカラー画像データを生成することが可能な画像処理装置を提供することができる。
【発明を実施するための最良の形態】
【0021】
以下、本発明の実施形態について図面を参照して説明する。
【0022】
(第一実施形態)
図1は、本発明の実施形態を説明するための撮像素子の部分表面模式図である。図2は、図1に示す撮像素子のA−A線の断面模式図である。尚、図1では、マイクロレンズ14の図示を省略してある。
【0023】
n型シリコン基板1上にはpウェル層2が形成されている。以下では、n型シリコン基板1とpウェル層2とを併せて半導体基板という。半導体基板上方の同一面上の行方向とこれに直交する列方向には、主としてRの波長域の光を透過するカラーフィルタ13rと、主としてGの波長域の光を透過するカラーフィルタ13gと、主としてBの波長域の光を透過するカラーフィルタ13bとの3種類のカラーフィルタがそれぞれ多数配列されている。
【0024】
カラーフィルタ13rは、公知の材料を用いることができるが、このような材料は、Rの波長域の光の他に、赤外域の光の一部も透過する。カラーフィルタ13gは、公知の材料を用いることができるが、このような材料は、Gの波長域の光の他に、赤外域の光の一部も透過する。カラーフィルタ13bは、公知の材料を用いることができるが、このような材料は、Bの波長域の光の他に、赤外域の光の一部も透過する。
【0025】
カラーフィルタ13r,13g,13bの配列は、公知の単板式固体撮像素子に用いられているカラーフィルタ配列(ベイヤー配列や縦ストライプ、横ストライプ等)を採用することができる。
【0026】
カラーフィルタ13r下方のpウェル層2内には、カラーフィルタ13rに対応させてn型不純物領域(以下、n領域という)3rが形成されており、n領域3rとpウェル層2とのpn接合によって、カラーフィルタ13rに対応するR光電変換素子が構成されている。
【0027】
カラーフィルタ13g下方のpウェル層2内には、カラーフィルタ13gに対応させてn領域3gが形成されており、n領域3gとpウェル層2とのpn接合によって、カラーフィルタ13gに対応するG光電変換素子が構成されている。
【0028】
カラーフィルタ13b下方のpウェル層2内には、カラーフィルタ13bに対応させてn領域3bが形成されており、n領域3bとpウェル層2とのpn接合によって、カラーフィルタ13bに対応するB光電変換素子が構成されている。
【0029】
n領域3r上方には透明電極7rが形成され、n領域3g上方には透明電極7gが形成され、n領域3b上方には透明電極7bが形成されている。透明電極7r,7g,7bは、それぞれカラーフィルタ13r,13g,13bの各々に対応して分割されている。透明電極7r,7g,7bは、それぞれ、可視光及び赤外光に対して透明な材料で構成され、例えばITOやIZO等を用いることができる。透明電極7r,7g,7bは、それぞれ、絶縁層8内に埋設されている。
【0030】
透明電極7r,7g,7bの各々の上には、主として波長580nm以上の赤外域の光を吸収してこれに応じた電荷を発生し、赤外域以外の可視域(波長約380nm〜約580nm)の光を透過する、カラーフィルタ13r,13g,13bの各々で共通の一枚構成である光電変換層9が形成されている。光電変換層9を構成する材料は、例えば、フタロシアニン系有機材料やナフタロシアニン系有機材料を用いる。
【0031】
光電変換層9上には、カラーフィルタ13r,13g,13bの各々で共通の一枚構成である透明電極10が形成されている。透明電極10は、可視光及び赤外光に対して透明な材料で構成され、例えばITOやIZO等を用いることができる。
【0032】
透明電極7rと、それに対向する透明電極10と、これらに挟まれる光電変換層9の一部とにより、カラーフィルタ13rに対応する光電変換素子が形成される。以下では、この光電変換素子を、半導体基板上に形成されたものであるため、R基板上光電変換素子という。
【0033】
透明電極7gと、それに対向する透明電極10と、これらに挟まれる光電変換層9の一部とにより、カラーフィルタ13gに対応する光電変換素子が形成される。以下では、この光電変換素子をG基板上光電変換素子という。
【0034】
透明電極7bと、それに対向する透明電極10と、これらに挟まれる光電変換層9の一部とにより、カラーフィルタ13bに対応する光電変換素子が形成される。以下では、この光電変換素子をB基板上光電変換素子という。
【0035】
pウェル層2内のn領域3rの隣には、R基板上光電変換素子の光電変換層9で発生した電荷を蓄積するための高濃度のn型不純物領域(以下、n+領域という)4rが形成されている。尚、n+領域4rに光が入るのを防ぐために、n+領域4r上には遮光膜を設けておくことが好ましい。
【0036】
pウェル層2内のn領域3gの隣には、G基板上光電変換素子の光電変換層9で発生した電荷を蓄積するためのn+領域4gが形成されている。尚、n+領域4gに光が入るのを防ぐために、n+領域4g上には遮光膜を設けておくことが好ましい。
【0037】
pウェル層2内のn領域3bの隣には、B基板上光電変換素子の光電変換層9で発生した電荷を蓄積するためのn+領域4bが形成されている。尚、n+領域4bに光が入るのを防ぐために、n+領域4b上には遮光膜を設けておくことが好ましい。
【0038】
n+領域4r上にはアルミニウム等の金属からなるコンタクト部6rが形成され、コンタクト部6r上に透明電極7rが形成されており、n+領域4rと透明電極7rはコンタクト部6rによって電気的に接続されている。コンタクト部6rは、可視光及び赤外光に対して透明な絶縁層5内に埋設されている。
【0039】
n+領域4g上にはアルミニウム等の金属からなるコンタクト部6gが形成され、コンタクト部6g上に透明電極7gが形成されており、n+領域4gと透明電極7gはコンタクト部6gによって電気的に接続されている。コンタクト部6gは絶縁層5内に埋設されている。
【0040】
n+領域4b上にはアルミニウム等の金属からなるコンタクト部6bが形成され、コンタクト部6b上に透明電極7bが形成されており、n+領域4bと透明電極7bはコンタクト部6bによって電気的に接続されている。コンタクト部6bは絶縁層5内に埋設されている。
【0041】
pウェル層2内のn領域3r,3g,3b、n+領域4r,4g,4bが形成されている以外の領域には、R光電変換素子で発生してn領域3rに蓄積された電荷に応じた信号及びn+領域4rに蓄積された電荷に応じた信号をそれぞれ読み出すための信号読み出し部5rと、G光電変換素子で発生してn領域3gに蓄積された電荷に応じた信号及びn+領域4gに蓄積された電荷に応じた信号をそれぞれ読み出すための信号読み出し部5gと、B光電変換素子で発生してn領域3bに蓄積された電荷に応じた信号及びn+領域4bに蓄積された電荷に応じた信号をそれぞれ読み出すための信号読み出し部5bとが形成されている。信号読み出し部5r,5g,5bは、それぞれ、CCDやMOS回路を用いた公知の構成を採用することができる。尚、信号読み出し部5r,5g,5bに光が入るのを防ぐために、信号読み出し部5r,5g,5b上には遮光膜を設けておくことが好ましい。
【0042】
図3は、図2に示す信号読み出し部5rの具体的な構成例を示す図である。図3において図1,2と同様の構成には同一符号を付してある。尚、信号読み出し部5r,5g,5bの各々の構成は同一であるため、信号読み出し部5g,5bの説明は省略する。
【0043】
信号読み出し部5rは、ドレインがn+領域4rに接続され、ソースが電源Vnに接続されたリセットトランジスタ43と、ゲートがリセットトランジスタ43のドレインに接続され、ソースが電源Vccに接続された出力トランジスタ42と、ソースが出力トランジスタ42のドレインに接続され、ドレインが信号出力線45に接続された行選択トランジスタ41と、ドレインがn領域3rに接続され、ソースが電源Vnに接続されたリセットトランジスタ46と、ゲートがリセットトランジスタ46のドレインに接続され、ソースが電源Vccに接続された出力トランジスタ47と、ソースが出力トランジスタ47のドレインに接続され、ドレインが信号出力線49に接続された行選択トランジスタ48とを備える。
【0044】
透明電極7rと透明電極10間にバイアス電圧を印加することで、光電変換層9に入射した光に応じて電荷が発生し、この電荷が透明電極7rを介してn+領域4rへと移動する。n+領域4rに蓄積された電荷は、出力トランジスタ42でその電荷量に応じた信号に変換される。そして、行選択トランジスタ41をONにすることで信号出力線45に信号が出力される。信号出力後は、リセットトランジスタ43によってn+領域4r内の電荷がリセットされる。
【0045】
R光電変換素子で発生してn領域3rに蓄積された電荷は、出力トランジスタ47でその電荷量に応じた信号に変換される。そして、行選択トランジスタ48をONにすることで信号出力線49に信号が出力される。信号出力後は、リセットトランジスタ46によってn領域3r内の電荷がリセットされる。
【0046】
このように、信号読み出し部5rは、3トランジスタからなる公知のMOS回路で構成することができる。
【0047】
図2に戻り、光電変換層9上には、基板上光電変換素子を保護するための2層構造の保護層11,12が形成され、保護層12上にカラーフィルタ13r,13g,13bが形成され、カラーフィルタ13r,13g,13bの各々の上には、各々に対応するn領域3r,3g,3bに光を集光するためのマイクロレンズ14が形成されている。
【0048】
撮像素子100は、光電変換層9を形成した後に、カラーフィルタ13r,13g,13bやマイクロレンズ14等を形成することで製造するが、カラーフィルタ13r,13g,13bやマイクロレンズ14は、フォトリソグラフィ工程やベーク工程を含むため、光電変換層9として有機材料を用いた場合、光電変換層9が露出した状態で、このフォトリソグラフィ工程やベーク工程が行われると、光電変換層9の特性が劣化してしまう。撮像素子100では、このような製造工程に起因する光電変換層9の特性劣化を防止するために、保護層11,12が設けられている。
【0049】
保護層11は、ALCVD法によって形成した無機材料からなる無機層であることが好ましい。ALCVD法は原子層CVD法であり緻密な無機層を形成することが可能で、光電変換層9の有効な保護層となり得る。ALCVD法はALE法もしくはALD法としても知られている。ALCVD法により形成した無機層は、好ましくはAl2O3、SiO2,TiO2,ZrO2,MgO,HfO2,Ta2O5からなり、より好ましくはAl2O3、SiO2からなり、最も好ましくはAl2O3からなる。
【0050】
保護層12は、光電変換層9の保護性能をより向上させるために保護層11上に形成されたものであり、有機ポリマーからなる有機層であることが好ましい。有機ポリマーとしてはパリレンが好ましく、パリレンCがより好ましい。尚、保護層12は省略しても良く、又、保護層11と保護層12の配置を逆にしても良い。光電変換層9の保護効果が特に高いのは、図2に示した構成である。
【0051】
以上のような構成の撮像素子100では、入射光のうちのカラーフィルタ13rを透過した光のうちの赤外域の光が光電変換層9で吸収され、ここで赤外域の光に応じた電荷が発生する。同様に、入射光のうちのカラーフィルタ13gを透過した光のうちの赤外域の光が光電変換層9で吸収され、ここで赤外域の光に応じた電荷が発生する。同様に、入射光のうちのカラーフィルタ13bを透過した光のうちの赤外域の光が光電変換層9で吸収され、ここで赤外域の光に応じた電荷が発生する。
【0052】
透明電極7rと透明電極10に所定のバイアス電圧を印加すると、R基板上光電変換素子を構成する光電変換層9で発生した電荷が透明電極7rとコンタクト部6rを介してn+領域4rに移動し、ここに蓄積される。そして、n+領域4rに蓄積された電荷に応じた信号が、信号読み出し部5rによって読み出され、撮像素子100外部に出力される。
【0053】
同様に、透明電極7gと透明電極10に所定のバイアス電圧を印加すると、G基板上光電変換素子を構成する光電変換層9で発生した電荷が透明電極7gとコンタクト部6gを介してn+領域4gに移動し、ここに蓄積される。そして、n+領域4gに蓄積された電荷に応じた信号が、信号読み出し部5gによって読み出され、撮像素子100外部に出力される。
【0054】
同様に、透明電極7bと透明電極10に所定のバイアス電圧を印加すると、B基板上光電変換素子を構成する光電変換層9で発生した電荷が透明電極7bとコンタクト部6bを介してn+領域4bに移動し、ここに蓄積される。そして、n+領域4bに蓄積された電荷に応じた信号が、信号読み出し部5bによって読み出され、撮像素子100外部に出力される。
【0055】
又、カラーフィルタ13rを透過して光電変換層9を透過したRの波長域の光は、R光電変換素子に入射し、入射光量に応じた電荷がn領域3rに蓄積される。同様に、カラーフィルタ13gを透過して光電変換層9を透過したGの波長域の光は、G光電変換素子に入射し、入射光量に応じた電荷がn領域3gに蓄積される。同様に、カラーフィルタ13bを透過して光電変換層9を透過したBの波長域の光は、B光電変換素子に入射し、入射光量に応じた電荷がn領域3bに蓄積される。n領域3r,3g,3bに蓄積された電荷は、信号読出し部5r,5g,5bによって読み出され、撮像素子100外部に出力される。
【0056】
n領域3r,3g,3bから読み出されて出力された信号の配列は、図1のようなカラーフィルタ配列の単板式カラー固体撮像素子から出力される信号の配列と同様となるため、単板式カラー固体撮像素子で用いられる信号処理を行うことで、1つの画素データにR,G,Bの3つの色成分のデータを持たせたカラー画像データを生成することができる。又、n+領域4r,4g,4bから読み出されて出力された信号により、1つの画素データに赤外の色成分のデータを持たせた赤外画像データを生成することができる。
【0057】
このように、撮像素子100は、R光電変換素子で発生した電荷に応じたR成分の信号と、G光電変換素子で発生した電荷に応じたG成分の信号と、B光電変換素子で発生した電荷に応じたB成分の信号と、R基板上光電変換素子で発生した電荷に応じたIR成分の信号と、G基板上光電変換素子で発生した電荷に応じたIR成分の信号と、B基板上光電変換素子で発生した電荷に応じたIR成分の信号とを外部に出力することができる。このため、撮像素子100を用いれば、1回の撮像で、カラー画像データと赤外画像データの2種類の画像データを得ることができる。したがって、この撮像素子100を、例えば、人体の検査対象となる部位の外観映像と、その部位の内部映像とが必要となる内視鏡装置の撮像素子として利用することができる。
【0058】
次に、撮像素子100の分光感度特性について説明する。
まず、半導体基板内に形成される各光電変換素子(PD)の分光感度特性を図4に示すものとし、光電変換層9の分光感度特性を図4に示すものとし、光電変換層9の分光透過率を図4に示すものとし、カラーフィルタ13r,13g,13bの分光透過率を図5に示すものとする。図4において縦軸は1を基準にしたときの分光感度又は分光透過率、横軸は光の波長を示す。図5において縦軸は1を基準にしたときの分光透過率、横軸は光の波長を示す。
【0059】
このように特性が決まると、R光電変換素子の分光感度特性は、光電変換層9の分光透過率とカラーフィルタ13rの分光透過率との積となり、G光電変換素子の分光感度特性は、光電変換層9の分光透過率とカラーフィルタ13gの分光透過率との積となり、B光電変換素子の分光感度特性は、光電変換層9の分光透過率とカラーフィルタ13bの分光透過率との積となり、それぞれ図6に示すような特性となる。尚、図6において縦軸は1を基準にしたときの分光感度、横軸は光の波長を示す。
【0060】
又、R基板上光電変換素子の分光感度特性は、光電変換層9の分光感度とカラーフィルタ13rの分光透過率との積となり、G基板上光電変換素子の分光感度特性は、光電変換層9の分光感度とカラーフィルタ13gの分光透過率との積となり、B基板上光電変換素子の分光感度特性は、光電変換層9の分光感度とカラーフィルタ13bの分光透過率との積となり、それぞれ図6に示すような特性となる。
【0061】
ここで、各基板上光電変換素子の分光感度特性を調整するために、図7に示すような分光透過率を有する補正フィルタを撮像素子100の光入射面側に配置すると、撮像素子100の分光感度特性は図8に示すものとなる。図7において縦軸は1を基準にしたときの分光透過率、横軸は光の波長を示す。図8において縦軸は1を基準にしたときの分光感度、横軸は光の波長を示す。
【0062】
図9は、酸化ヘモグロビン(oxy)と還元ヘモグロビン(deoxy)の分光反射率を示した図である。図9において縦軸は1を基準にしたときの分光反射率、横軸は光の波長を示す。
【0063】
図9から分かるように、酸化ヘモグロビンと還元ヘモグロビンは、波長580nm〜780nmの波長域で双方の反射率の差が大きくなるため、この波長域に感度を有する光電変換素子を用いれば、ヘモグロビンの状態変化をコントラスト高く画像化できる。図8に示したように、撮像素子100は、R基板上光電変換素子が波長580nm〜780nmの波長域に強く感度を有しているため、このR基板上光電変換素子から得られる信号を用いて赤外画像データを生成することで、検査対象となる部位のRGBカラーの外観画像と、その部位のヘモグロビンの状態変化を知るための画像とを、1回の撮像で得ることが可能となる。
【0064】
R基板上光電変換素子から得られる信号のみを用いて赤外画像データを生成する場合には、G基板上光電変換素子及びB基板上光電変換素子の各々から得られる信号の位置に、その位置周辺にあるR基板上光電変換素子から得られた信号を用いて信号を補間して、カラー画像データと同一解像度の赤外画像データを生成しても良いし、R基板上光電変換素子から得られた信号のみを用いてカラー画像データの1/3の解像度の赤外画像データを生成しても良い。又は、行方向に並ぶR基板上光電変換素子、G基板上光電変換素子、及びB基板上光電変換素子の3つの光電変換素子の各々から得られる信号を加算して1つの信号とし、この信号を基に、カラー画像データの1/3の解像度の赤外画像データを生成しても良い。
【0065】
撮像素子100を用いれば、カラー画像データと赤外画像データとの2種類の画像データを得ることができるが、このような効果は、撮像素子100に用いるカラーフィルタとして原色系以外に補色系を用いた場合でも得ることができる。又、2種類の画像データを得ることはできないが、撮像素子100のカラーフィルタの配色と光電変換層で吸収させる光の波長域とを調整することで、単板式の撮像素子よりも高解像度のRGB画像データを得ることも可能となる。これらの効果を得るための撮像素子100の構成例を図10に示す。図10においては、撮像素子100を構成する構成要素のうち、半導体基板内に形成される光電変換素子(PD)と、そのPD上方に形成される光電変換層と、その光電変換層上方に形成されるカラーフィルタ以外の構成要素を省略してある。
【0066】
図10(a)に示す撮像素子は、図1,2に示す撮像素子100において、カラーフィルタ13rをCy(シアン)の波長域の光及び赤外域の光の一部を透過するCyフィルタに変更し、カラーフィルタ13gをMg(マゼンタ)の波長域の光及び赤外域の光の一部を透過するMgフィルタに変更し、カラーフィルタ13bをYe(イエロー)の波長域の光と赤外域の光の一部を透過するYeフィルタに変更したものである。Cyフィルタ、Mgフィルタ、及びYeフィルタは、それぞれ公知の材料を用いれば良い。
【0067】
この構成によれば、半導体基板内の光電変換素子から得られるCy,Mg,Yeの信号からカラー画像データを生成し、光電変換層から得られる信号から赤外画像データを生成することができる。尚、CyフィルタとMgフィルタとYeフィルタの配列は、カラー画像が再現できるようなものとしておけば良い。
【0068】
図10(b)に示す撮像素子は、図1,2に示す撮像素子100において、カラーフィルタ13rをCyフィルタに変更し、カラーフィルタ13bをYeフィルタに変更したものである。
【0069】
この構成によれば、半導体基板内の光電変換素子から得られるCy,G,Yeの信号からカラー画像データを生成し、光電変換層から得られる信号から赤外画像データを生成することができる。尚、CyフィルタとGフィルタとYeフィルタの配列は、カラー画像が再現できるようなものとしておけば良い。
【0070】
図10(c)に示す撮像素子は、図1,2に示す撮像素子100において、カラーフィルタ13rをCyフィルタに変更し、カラーフィルタ13gを赤外域の光を透過するIRフィルタに変更し、光電変換層9をGの波長域の光を吸収してこれに応じた信号電荷を発生し且つGの波長域以外の光を透過するG光電変換層に変更し、カラーフィルタ13bをYeフィルタに変更したものである。G光電変換層を構成する材料としては、無機材料の場合は、例えば、InGaAlPやGaPAsを用いることができ、有機材料の場合は、例えば、R6G/PMPS(rhodamine 6G (R6G)-doped polymethylphenylsilane)を用いることができる。
【0071】
この構成によれば、半導体基板内の光電変換素子から得られるB,Rの信号と、光電変換層から得られるGの信号からカラー画像データを生成し、IRフィルタ下方の光電変換素子から得られるIR信号から赤外画像データを生成することができる。尚、CyフィルタとYeフィルタの配列は、カラー画像が再現できるようなものとしておけば良く、IRフィルタの配列は、赤外画像が再現できるようなものとしておけば良い。
【0072】
図10(d)に示す撮像素子は、図1,2に示す撮像素子100において、カラーフィルタ13r,13bをそれぞれCyフィルタに変更し、カラーフィルタ13gをYeフィルタに変更し、光電変換層9をG光電変換層に変更したものである。
【0073】
この構成によれば、半導体基板内の光電変換素子から得られるB,Rの信号と、光電変換層から得られるGの信号からカラー画像データを生成することができる。この構成は、1撮像点あたり2色の原色系の信号が得られるため、単板式の撮像素子に比べて解像度を向上させることができる。
【0074】
尚、以上の説明では、撮像素子100に用いるカラーフィルタが2種類又は3種類の場合を説明したが、これは4種類以上であっても、同様の効果を得ることが可能である。又、カラーフィルタが1種類であっても良い。この場合は、例えば、図2に示す構成において、カラーフィルタ13r,13g,13bの代わりに、Gの波長域の光を透過する1枚構成のGカラーフィルタを設けた構成とすれば良い。
【0075】
この構成によれば、半導体基板内の光電変換素子から得られる信号により、モノクロの画像データを生成することができ、光電変換層9から得られる信号により、赤外画像データを生成することができる。又、この構成にした場合は、光電変換層上方に設けるカラーフィルタの分光透過率によって、その光電変換層の分光感度特性を調整することができるというメリットもある。
【0076】
又、以上の説明では、半導体基板上方に光電変換層を設け、その上方にカラーフィルタを設けるものとしたが、光電変換層とカラーフィルタの配置を逆にしても同様の効果を得ることができる。
【0077】
又、以上の説明では、カラーフィルタ13r,13g,13bが、それぞれ赤外域の光も透過してしまうものとしたが、赤外域の光を透過させないような分光透過率を有するフィルタを用いることも可能である。ただし、全てのカラーフィルタが赤外域の光を透過しないものとなってしまうと、赤外画像データを生成できなくなってしまうため、1種類以上のカラーフィルタのうちの少なくとも1つは、赤外域の光を透過させる機能を持たせる必要がある。
【0078】
又、以上の説明では、R基板上光電変換素子とG基板上光電変換素子とB基板上光電変換素子の3種類の基板上光電変換素子を設けるものとしたが、赤外画像データを得るためには、これらのうちの少なくとも1つが存在していれば十分である。図6及び図8に示すように、R基板上光電変換素子は赤外域に最も感度を持っているため、このR基板上光電変換素子から出力される信号を用いて赤外画像データを生成することが最も好ましい。G基板上光電変換素子を省略する場合には、図2に示す構成において、透明電極7gと、コンタクト部6gと、n+領域4gとを省略した構成とすれば良い。B基板上光電変換素子を省略する場合には、図2に示す構成において、透明電極7bと、コンタクト部6bと、n+領域4bとを省略した構成とすれば良い。
【0079】
又、図10(c)に示したような構成の場合には、撮像素子に設ける基板上光電変換素子を、IRフィルタに対応する基板上光電変換素子だけにしてしまうと、この基板上光電変換素子からはG成分の信号をほとんど得ることができず、カラー画像データの生成に支障をきたしてしまう。このため、図10(c)に示す構成の場合には、Cyフィルタに対応する基板上光電変換素子かYeフィルタに対応する基板上光電変換素子を少なくとも設けておく必要がある。
【0080】
次に、撮像素子100の製造方法を説明する。撮像素子100は次の(A)〜(C)の工程で製造することができる。
(A)CMOS基板→透明電極の形成
・シリコン基板上に従来CMOSセンサと同様にn領域3r,3g,3b及び信号読出し部を形成。
・更に、n+領域4r,4g,4b及び信号読出し部を形成。
・シリコン基板上に絶縁層5を形成し、この上に透明電極7r,7g,7bを形成し、各透明電極7r,7g,7bと各n+領域4r,4g,4bをビアプラグを用いてコンタクトする。
・透明電極7r,7g,7b間の間隙は絶縁材料で埋め合わせ、透明電極7r,7g,7b表面を、絶縁材部分を含めCMPを用いて平坦化する。
以上のプロセスを半導体プロセスで行なう。
(B)光電変換層の形成
・透明電極7r,7g,7b上に光電変換層9を形成。
・更に透明電極10を形成。透明電極10は図示しないパッドにコンタクトされ、外部電源によりバイアス電圧が印加される。
以上のプロセスを真空蒸着プロセスで行なう
(C)マイクロレンズ及びカラーフィルタの形成
・光電変換層9上に、例えば、ALCVD法でアルミナ保護層を形成し、更にパリレンC保護層を形成。
・次にモザイクカラーフィルタを形成する。モザイクカラーフィルタは、Gレジスト塗布→パターン露光→現像→ポストベーク、Bレジスト塗布→パターン露光→現像→ポストベーク、Rレジスト塗布→パターン露光→現像→ポストベークの順番で形成。
・最後にマイクロレンズを形成する。マイクロレンズは、レジスト塗布→ポストベーク→レジスト塗布→パターン露光→現像→メルトの順番で形成する。
【0081】
(第二実施形態)
本実施形態では、第一実施形態で説明したようなカラー画像データと赤外画像データを得ることが可能な撮像素子100を内視鏡装置に適用した形態について説明する。
【0082】
図11は、第二実施形態を説明するための内視鏡装置の概略構成を示す図である。
図11に示す内視鏡装置は、検査対象となる部位を照明するための白色光源50と、撮影レンズや絞り等の光学系51と、光学系51を通過した光を受光する図1,2に示した構成の撮像素子100と、撮像素子100の光電変換層9の分光感度特性を補正するために撮像素子100と光学系51との間に配置された補正フィルタ52と、撮像素子100の光電変換層9で発生した電荷に応じた信号に基づいて赤外画像データを生成する赤外画像データ生成部53と、撮像素子100のR光電変換素子、G光電変換素子、及びB光電変換素子の各々で発生した電荷に応じた信号に基づいてカラー画像データを生成するカラー画像データ生成部54と、赤外画像データ生成部53で生成された赤外画像データとカラー画像データ生成部54で生成されたカラー画像データとを用いた演算処理により、赤外画像データ生成部53で生成された赤外画像データのコントラストを向上させた高コントラスト赤外画像データを生成する高コントラスト赤外画像データ生成部55と、高コントラスト赤外画像データ生成部55で生成された高コントラスト赤外画像データに強調処理を施す画像強調部57と、赤外画像データ生成部53で生成された赤外画像データとカラー画像データ生成部54で生成されたカラー画像データとを用いた演算処理により、カラー画像データ生成部54で生成されたカラー画像データの色再現性を向上させた高色再現カラー画像データを生成する高色再現カラー画像データ生成部56と、強調処理後の高コントラスト赤外画像データに基づく画像及び高色再現カラー画像データに基づく画像を表示装置59に表示させる制御を行う表示制御部58とを備える。
【0083】
図11に示す内視鏡装置に用いる撮像素子100は、Rの波長域の光に応じたR成分の信号と、Gの波長域の光に応じたG成分の信号と、Bの波長域の光に応じたB成分の信号と、赤外域の光に応じたIR成分の信号との4種類の信号を出力することができるものであれば良く、図1,2に示したような構成に限定されない。例えば、図10(c)に示したような構成の撮像素子であっても良いし、R又はCyの波長域の光を透過するカラーフィルタ、G又はMgの波長域の光を透過するカラーフィルタ、B又はYeの波長域の光を透過するカラーフィルタ、及び赤外域の光を透過するカラーフィルタの4つを半導体基板上方の同一面上にモザイク状に配列した単板式の撮像素子であっても良い。尚、撮像素子100の分光感度特性は、例えば図8に示したのものとなる。
【0084】
カラー画像データ生成部54は、撮像素子100のR光電変換素子で発生した電荷に応じた信号(以下、R信号という)と、撮像素子100のG光電変換素子で発生した電荷に応じた信号(以下、G信号という)と、撮像素子100のB光電変換素子で発生した電荷に応じた信号(以下、B信号という)とを撮像素子100から取得し、こられの信号を用いて、公知の手法により、カラー画像データを生成する。
【0085】
赤外画像データ生成部53は、撮像素子100のR基板上光電変換素子で発生した電荷に応じた信号(以下、IRr信号という)から、信号補間等を行って、カラー画像データと同一解像度の赤外画像データを生成する。
【0086】
図12は、酸化ヘモグロビンと還元ヘモグロビンの分光反射率を示した図である。図12において、縦軸は1を基準にしたときの分光反射率、横軸は光の波長を示す。図12において、縦軸を、1を基準にしたときの光電変換素子の分光感度としたときに、図12に示すReal曲線のような分光感度を有する光電変換素子でヘモグロビンを撮像すれば、ヘモグロビンの状態変化を最もコントラスト高く検出することができる。
【0087】
そこで、高コントラスト赤外画像データ生成部55は、R基板上光電変換素子から得られたIRr信号が、図12のReal曲線に示すような分光感度特性を持つ光電変換素子から得られた信号に近づくような演算処理を行うことで、赤外画像データのコントラストを向上させることを可能にしている。
【0088】
具体的に、高コントラスト赤外画像データ生成部55は、以下の式(1)で示す演算を行って高コントラスト赤外画像データを生成する。
I(x,y)=r1×R(x,y)+g1×G(x,y)+b1×B(x,y)+ir1×IR(x,y)・・・式(1)
I(x,y)は、高コントラスト赤外画像データの座標(x,y)における画素データを示す。
R(x,y)は、カラー画像データの座標(x,y)におけるR成分の画素データを示す。
G(x,y)は、カラー画像データの座標(x,y)におけるG成分の画素データを示す。
B(x,y)は、カラー画像データの座標(x,y)におけるB成分の画素データを示す。
IR(x,y)は、赤外画像データの座標(x,y)におけるIR成分の画素データを示す。
r1,g1,b1,ir1は、R光電変換素子の分光感度特性と、G光電変換素子の分光感度特性と、B光電変換素子の分光感度特性と、R基板上光電変換素子の分光感度特性と、図12のReal曲線で表される分光感度特性とに基づいて決められた係数を示す。
【0089】
係数r1,g1,b1,ir1は、図8に示したR光電変換素子の波長λにおける分光感度をR(λ)とし、図8に示したG光電変換素子の波長λにおける分光感度をG(λ)とし、図8に示したB光電変換素子の波長λにおける分光感度をB(λ)とし、図8に示したR基板上光電変換素子の波長λにおける分光感度をIR(λ)とし、図12に示したReal曲線で示す特性を持つ光電変換素子の波長λにおける分光感度をReal(λ)としたとき、Real(λ)と、以下の式(2)の演算で得られる値とが最も近くなるように最小二乗法によって決定される。決定された係数データは、内視鏡装置内の図示しないメモリに予め記憶される。
【0090】
r1×R(λ)+g1×G(λ)+b1×B(λ)+ir1×IR(λ)・・・式(2)
【0091】
図13は、上記の方法で決定された係数を用いて式(2)を演算した結果得られる分光感度特性を示す図である。図13において、縦軸は1を基準にしたときの分光感度、横軸は光の波長を示す。図13に示す曲線Iが、式(1)の演算で得られる高コントラスト赤外画像データを得ることができる仮想的な光電変換素子の分光感度特性となる。
【0092】
図14は、図13に示す分光感度特性を持つ光電変換素子でヘモグロビンからの光を検出した場合の酸化ヘモグロビンと還元ヘモグロビンの検出感度を示した図である。図14において、縦軸は1を基準にしたときの分光感度、横軸は光の波長を示す。図15は、図8に示すR基板上光電変換素子の分光感度特性を示す図である。図15において、縦軸は1を基準にしたときの分光感度、横軸は光の波長を示す。図16は、図15に示す分光感度特性を持つR基板上光電変換素子でヘモグロビンからの光を検出した場合の酸化ヘモグロビンと還元ヘモグロビンの検出感度を示した図である。図16において、縦軸は1を基準にしたときの分光感度、横軸は光の波長を示す。
【0093】
図14と図16を比較すると、図14に示す酸化ヘモグロビンの波形I(oxy)と分光感度=0の直線とで囲まれる面積Aを、図14に示す還元ヘモグロビンの波形I(deoxy)と分光感度=0の直線とで囲まれる面積Bで割った値で表される高コントラスト赤外画像データのコントラスト比は1.318であり、図16に示す酸化ヘモグロビンの波形Ir(oxy)と分光感度=0の直線とで囲まれる面積Cを、図16に示す還元ヘモグロビンの波形Ir(deoxy)と分光感度=0の直線とで囲まれる面積Dで割った値で表される赤外画像データのコントラスト比は1.166であり、式(1)に示した演算処理を行うことで、赤外画像データのコントラストを向上させられることが分かる。
【0094】
本実施形態の内視鏡装置に用いる撮像素子は、IR信号を出力する必要があるため、通常のデジタルカメラに設けるような赤外カットフィルタを撮像素子の前面に配置することができない。本実施形態では、光電変換層9の分光感度特性を補正するための補正フィルタ52を設けているため、R光電変換素子、G光電変換素子、及びB光電変換素子の各々は、赤外域の光にほとんど感度を持たないが、それでも多少の感度は持ってしまう。この結果、カラー画像データの色再現性が低下するおそれがある。
【0095】
そこで、高色再現カラー画像データ生成部56は、R光電変換素子から得られたR信号が、図17に示したスタンダードRGB理想撮像特性で規定される理想的な分光感度特性を持つr光電変換素子から得られる信号に近づくような演算処理を行い、G光電変換素子から得られたG信号が、図17に示したスタンダードRGB理想撮像特性で規定される理想的な分光感度特性を持つg光電変換素子から得られる信号に近づくような演算処理を行い、B光電変換素子から得られたB信号が、図17に示したスタンダードRGB理想撮像特性で規定される理想的な分光感度特性を持つb光電変換素子から得られる信号に近づくような演算処理を行うことで、高色再現カラー画像データを生成することを可能にしている。
【0096】
具体的に、高色再現カラー画像データ生成部56は、以下の式(3)で示す演算を行ってカラー画像データの色再現性を向上させる。
【0097】
【数1】
R0(x,y)は、高色再現カラー画像データの座標(x,y)におけるR成分の画素データを示す。
G0(x,y)は、高色再現カラー画像データの座標(x,y)におけるG成分の画素データを示す。
B0(x,y)は、高色再現カラー画像データの座標(x,y)におけるB成分の画素データを示す。
R(x,y)は、カラー画像データの座標(x,y)におけるR成分の画素データを示す。
G(x,y)は、カラー画像データの座標(x,y)におけるG成分の画素データを示す。
B(x,y)は、カラー画像データの座標(x,y)におけるB成分の画素データを示す。
Ir(x,y)は、赤外画像データの座標(x,y)におけるIR成分の画素データを示す。
r2,r3,r4,g2,g3,g4,b2,b3,b4,ir2,ir3,ir4は、R光電変換素子の分光感度特性と、G光電変換素子の分光感度特性と、B光電変換素子の分光感度特性と、R基板上光電変換素子の分光感度特性と、図17に示すスタンダードRGB理想撮像特性とに基づいて決められた係数を示す。
【0098】
係数r2,g2,b2,ir2は、図8に示したR光電変換素子の波長λにおける分光感度をR(λ)とし、図8に示したG光電変換素子の波長λにおける分光感度をG(λ)とし、図8に示したB光電変換素子の波長λにおける分光感度をB(λ)とし、図8に示したR基板上光電変換素子の波長λにおける分光感度をIR(λ)とし、図17に示したr光電変換素子の波長λにおける分光感度をr(λ)としたとき、r(λ)と、以下の式(4)で得られる値とが最も近くなるように最小二乗法によって決定される。決定された係数データは、内視鏡装置内の図示しないメモリに予め記憶される。
【0099】
r2×R(λ)+g2×G(λ)+b2×B(λ)+ir2×IR(λ)・・・式(4)
【0100】
係数r3,g3,b3,ir3は、図17に示したg光電変換素子の波長λにおける分光感度をg(λ)としたとき、g(λ)と以下の式(5)で得られる値とが最も近くなるように最小二乗法によって決定される。決定された係数データは、内視鏡装置内の図示しないメモリに予め記憶される。
【0101】
r3×R(λ)+g3×G(λ)+b3×B(λ)+ir3×IR(λ)・・・式(5)
【0102】
係数r4,g4,b4,ir4は、図17に示したb光電変換素子の波長λにおける分光感度をb(λ)としたとき、b(λ)と以下の式(6)で得られる値とが最も近くなるように最小二乗法によって決定される。決定された係数データは、内視鏡装置内の図示しないメモリに予め記憶される。
【0103】
r4×R(λ)+g4×G(λ)+b4×B(λ)+ir4×IR(λ)・・・式(6)
【0104】
図18は、上記の方法で決定された係数を用いて式(4)〜(6)を演算した結果得られる撮像素子100のR光電変換素子、G光電変換素子、及びB光電変換素子の分光感度特性を示す図である。図18において縦軸は1を基準としたときの分光感度、横軸は波長を示す。図18に示す曲線Rが、R光電変換素子の分光感度特性を理想的な分光感度特性に近づけた結果得られる分光感度特性を示し、図18に示す曲線Gが、G光電変換素子を理想的な分光感度特性に近づけた結果得られる分光感度特性を示し、図18に示す曲線Bが、B光電変換素子を理想的な分光感度特性に近づけた結果得られる分光感度特性を示す。
【0105】
図18を見て分かるように、波長680nm以上の赤外域の感度をほぼ0以下にすることができている。このため、式(3)に示す演算処理を行うことで、カラー画像データの色再現性を向上させられることが分かる。
【0106】
表示制御部58は、画像強調部57で強調された高コントラスト赤外画像データに基づく画像を表示装置59に表示させる制御を行ったり、高色再現カラー画像データに基づく画像を表示装置59に表示させる制御を行ったり、高コントラスト赤外画像データに基づく画像と高色再現カラー画像データに基づく画像とを合成した画像を表示装置59に表示させる制御を行ったりする。高コントラスト赤外画像データについては、信号レベルを擬似カラーで表現して画像表示させたり、信号レベルを酸素吸収量に換算して画像表示させたりする。
【0107】
以上のように、本実施形態の内視鏡装置によれば、撮像素子100から出力されるR信号、G信号、及びB信号から生成したカラー画像データと、撮像素子100から出力されるIRr信号から生成した赤外画像データとを用いた演算処理により、カラー画像データよりも色再現性を向上させた高色再現カラー画像データと、赤外画像データよりもコントラストを向上させた高コントラスト赤外画像データを生成することができる。このため、内視鏡装置による検査精度を従来よりも向上させることができる。
【0108】
又、内視鏡装置に用いる撮像素子として第一実施形態で説明した構成のものを採用することで、高色再現カラー画像データと高コントラスト赤外画像データを1回の撮像によって得ることができるため、色ずれなどを心配することなく、検査を行うことが可能となる。
【0109】
又、本実施形態の内視鏡装置によれば、赤外カットフィルタが不要となるため、人体に挿入する部分の小型化が可能になると共に、装置コストも削減することができる。
【0110】
尚、以上の説明では、内視鏡装置に補正フィルタ52を設けるものとしたが、これは省略しても構わない。補正フィルタ52を省略した場合には、内視鏡装置に搭載する撮像素子100の分光感度特性が図6に示すようなものとなり、カラー画像データの色再現性はより低下するため、高色再現カラー画像データ生成部56の行う処理がより効果を発揮することとなる。
【0111】
又、本実施形態では、内視鏡装置に高コントラスト赤外画像データ生成部55と高色再現カラー画像データ生成部56の両方を設けているが、高色再現カラー画像データ生成部56は省略しても構わない。高色再現カラー画像データ生成部56を省略した場合には、780nm以上の波長域をカットするための補正フィルタ52を設けることが好ましい。
【0112】
又、高色再現カラー画像データ生成部56は、内視鏡装置に限らず、R成分の信号とG成分の信号とB成分の信号とIR成分の信号とを出力することができる撮像素子を搭載するデジタルカメラ等の撮像装置に搭載することでも十分に効果を得ることができる。この場合、撮像装置に赤外カットフィルタが不要となるため、撮像装置の小型化及び低コスト化を図ることができる。
【0113】
上述した内視鏡装置における赤外画像データ生成部53、カラー画像データ生成部54、高コントランスト赤外画像データ生成部55、高色再現カラー画像データ生成部56、及び画像強調部57の各部の機能は、コンピュータをこれらの各部として機能させるためのプログラムを、内視鏡装置に搭載されている演算処理装置等のコンピュータが実行することで実現することができる。又、撮像素子100から得られた撮像信号をそのままパーソナルコンピュータ等に取り込み、上記プログラムをこのコンピュータが実行することでも実現することができる。
【0114】
尚、本明細書において、Rの波長域とは、波長約550nm〜約700nmまでの範囲を示し、Gの波長域とは、波長約450nm〜約610nmまでの範囲を示し、Bの波長域とは、波長約380nm〜約520nmまでの範囲を示し、赤外域とは、波長約680nm〜約3000nmまでの範囲を示し、Cyの波長域とは、波長約380nm〜約610nmまでの範囲を示し、Mgの波長域とは、波長約380nm〜約500nmと波長約600nm〜700nmまでの範囲を示し、Yeの波長域とは、波長約470nm〜約700nmまでの範囲を示す。
【0115】
又、本明細書において、「ある波長域の光を透過する」とは、その波長域の光を約60%以上透過することを言い、「ある波長域の光を吸収する」とは、その波長域の光を約50%以上吸収することを言う。
【図面の簡単な説明】
【0116】
【図1】本発明の実施形態を説明するための撮像素子の部分表面模式図
【図2】図1に示す撮像素子のA−A線の断面模式図
【図3】図2に示す信号読み出し部5rの具体的な構成例を示す図
【図4】図1に示す撮像素子の光電変換素子及び基板上光電変換素子の特性を示す図
【図5】図1に示す撮像素子のカラーフィルタの特性を示す図
【図6】図1に示す撮像素子の補正フィルタ無しでの特性を示す図
【図7】補正フィルタの特性を示す図
【図8】図1に示す撮像素子の補正フィルタ有りでの特性を示す図
【図9】ヘモグロビンの分光反射率を示す図
【図10】図1に示す撮像素子の構成の変形例を示す図
【図11】第二実施形態を説明するための内視鏡装置の概略構成を示す図
【図12】ヘモグロビンの分光反射率とヘモグロビンの状態変化を最もコントラスト高く検出できる分光感度特性を示す図
【図13】図1に示す撮像素子のR基板上光電変換素子の特性を、図12のReal曲線で示す特性に近づける処理を行って得られた特性を示す図
【図14】図13に示す特性を持つ撮像素子で撮像したときのヘモグロビンの検出感度特性を示す図
【図15】図8に示すR基板上光電変換素子の分光感度特性を示す図
【図16】図15に示す特性を持つ撮像素子で撮像したときのヘモグロビンの検出感度特性を示す図
【図17】スタンダードRGB理想撮像特性を示す図
【図18】図1に示す撮像素子のR光電変換素子,G光電変換素子,B光電変換素子の各々の特性を、図17に示す特性に近づける処理を行って得られた特性を示す図
【符号の説明】
【0117】
100 撮像素子
1 シリコン基板
2 pウェル層
3r,3g,3b n領域
4r,4g,4b n+領域
5,8 透明絶縁層
5r,5g,5b 信号読み出し部
6r,6g,6b コンタクト部
7r,7g,7b,10 透明電極
9 光電変換層
11,12 保護層
13r,13g,13b カラーフィルタ
14 マイクロレンズ
【技術分野】
【0001】
本発明は、撮像素子から出力される撮像信号に画像処理を施す画像処理装置に関する。
【背景技術】
【0002】
CCD型やCMOS型イメージセンサーを撮像素子とする内視鏡装置は既に医療現場で多く使われている。この内視鏡装置には大別して、モノクロ撮像可能な撮像素子を用い、ファイバーを介して被写体を照明する光源の前で、R(赤色),G(緑色),B(青色),IR(赤外)の波長域の光を透過するフィルタを、撮像素子のフィールド周波数に同期して切換える面順次撮像方式(例えば、特許文献1参照)と、照明光源はホワイト光で、R,G,Bの波長域の光を透過するカラーフィルタを搭載した単板式撮像素子を用いて撮像する同時撮像方式がある。
【0003】
面順次撮像方式は、光源の前で、異なる分光透過率を有する複数のフィルタを回転させ、異なる波長の光で照明された画像を複数枚撮像した後にカラー画像を合成する方式である。このため、例えば、光源の前で切換えるフィルタにRGB透過フィルタを用いれば、1画素データにRGBの3つの色情報を持たせたRGBカラー画像データを得ることができ、血液中のヘモグロビンに吸収されやすい狭帯域化された2波長のIRフィルタを順次切換えれば、1画素データに赤外域の情報のみを持たせた赤外画像データを得ることができる。RGBカラー画像データに基づく画像によれば、検査対象となる部位の外観を目視で確認することができ、赤外画像データに基づく画像によれば、検査対象となる部位の粘膜表層の毛細血管や粘膜微細模様の情報等を目視で確認することができる。但し、この面順次撮像では、動きのある被写体に対しては色ずれが生じ画像妨害となってしまう。
【0004】
一方、同時撮像方式は、撮像によってRGBカラー画像データを得た後、このRGBカラー画像データを画像処理することで赤外画像データを生成する方式であり、この方式によれば、動きのある被写体に対しても色ずれは生じないが、赤外画像データの情報精度は低いという問題がある。
【0005】
【特許文献1】特許第2648494号公報
【発明の開示】
【発明が解決しようとする課題】
【0006】
このように、内視鏡装置に用いる撮像素子では、特許文献1の素子構成や画像処理等により、1画素データにRGBの3つの色情報を持たせたRGBカラー画像データと、1画素データに赤外域の情報のみを持たせた赤外画像データとの2つの画像データを得ることが可能である。
【0007】
ここで、RGBカラー画像データの色再現性を考える。通常、R,G,Bのカラーフィルタは、赤外域の波長も透過してしまうため、R,G,Bのカラーフィルタを透過した光を光電変換素子で検出してRGBカラー画像データを生成すると、その色再現性が良くない。そこで、R,G,Bのカラーフィルタを用いた撮像素子ではその撮像素子の前面に赤外(IR)カットフィルタを設けて、R,G,Bのカラーフィルタを透過した光に赤外域の光が含まれないようにすることで、色再現性を向上させている。
【0008】
しかし、急峻なIRカット特性を有するIRカットフィルタは高価であり、コストがかかってしまう。又、撮像素子の前面にIRカットフィルタを設けなければならず、撮像素子を用いたシステム全体の小型化を阻害する要因ともなってしまう。又、特許文献1記載の装置においてIRカットフィルタを使おうとすると、R,G,Bのカラーフィルタが撮像素子の前面に来たときのみに、そのフィルタの前にIRカットフィルタを配置する必要があり、システムの機構や制御が複雑となってしまう。
【0009】
本発明は、上記事情に鑑みてなされたものであり、撮像素子の前面にIRカットフィルタを設けることなく、該撮像素子からの撮像信号から色再現性の良いRGBカラー画像データを生成することが可能な画像処理装置を提供することを目的とする。
【課題を解決するための手段】
【0010】
(1)撮像素子から出力される撮像信号から画像データを生成する画像処理装置であって、前記撮像素子から出力されるR(赤色)成分の撮像信号、G(緑色)成分の撮像信号、及びB(青色)成分の撮像信号からRGBカラー画像データを生成するRGBカラー画像データ生成手段と、前記撮像素子から出力されるIR(赤外)成分の撮像信号から赤外画像データを生成する赤外画像データ生成手段と、前記RGBカラー画像データと前記赤外画像データを用いて、前記RGBカラー画像データの色再現性を向上させた高色再現RGBカラー画像データを生成する高色再現RGBカラー画像データ生成手段を備える画像処理装置。
【0011】
(2)(1)記載の画像処理装置であって、前記RGBカラー画像データの画素データが、R成分のデータであるRデータと。G成分のデータであるGデータと、B成分のデータであるBデータとで構成され、前記赤外画像データの画素データが、IR成分のデータであるIRデータで構成され、前記高色再現RGBカラー画像データ生成手段は、前記RGBカラー画像データと前記赤外画像データの各々の同一位置にある画素データを構成するRデータに係数r2を乗じた値と、Gデータに係数g2を乗じた値と、Bデータに係数b2を乗じた値と、IRデータに係数ir2を乗じた値とを積算して、前記高色再現RGBカラー画像データの1画素データを構成するR成分のデータを生成し、前記Rデータに係数r3を乗じた値と、前記Gデータに係数g3を乗じた値と、前記Bデータに係数b3を乗じた値と、前記IRデータに係数ir3を乗じた値とを積算して、前記高色再現RGBカラー画像データの1画素データを構成するG成分のデータを生成し、前記Rデータに係数r4を乗じた値と、前記Gデータに係数g4を乗じた値と、前記Bデータに係数b4を乗じた値と、前記IRデータに係数ir4を乗じた値とを積算して、前記高色再現RGBカラー画像データの1画素データを構成するB成分のデータを生成し、前記係数r2,g2,b2,ir2は、前記撮像素子を構成する光電変換素子のうちの前記R成分の撮像信号を出力する光電変換素子の分光感度であるR感度に前記係数r2を乗じた値、前記撮像素子を構成する光電変換素子のうちの前記G成分の撮像信号を出力する光電変換素子の分光感度であるG感度に前記係数g2を乗じた値、前記撮像素子を構成する光電変換素子のうちの前記B成分の撮像信号を出力する光電変換素子の分光感度であるB感度に前記係数b2を乗じた値、及び前記撮像素子を構成する光電変換素子のうちの前記IR成分の撮像信号を出力する赤外検出用光電変換素子の分光感度であるIR感度に前記係数ir2を乗じた値、を積算した値と、前記R成分の撮像信号を出力する光電変換素子の理想的な分光感度の値とが最も近くなるように決定されたものであり、前記係数r3,g3,b3,ir3は、前記R感度に前記係数r3を乗じた値、前記G感度に前記係数g3を乗じた値、前記B感度に前記係数b3を乗じた値、及び前記IR感度に前記係数ir3を乗じた値、を積算した値と、前記G成分の撮像信号を出力する光電変換素子の理想的な分光感度の値とが最も近くなるように決定されたものであり、前記係数r4,g4,b4,ir4は、前記R感度に前記係数r4を乗じた値、前記G感度に前記係数g4を乗じた値、前記B感度に前記係数b4を乗じた値、及び前記IR感度に前記係数ir4を乗じた値、を積算した値と、前記B成分の撮像信号を出力する光電変換素子の理想的な分光感度の値とが最も近くなるように決定されたものである画像処理装置。
【0012】
(3)(1)又は(2)記載の画像処理装置であって、前記撮像素子が、半導体基板内の同一面上に配列された多数の光電変換素子と、前記半導体基板の上方の同一面上に形成された、前記多数の光電変換素子の一部に対応する基板上光電変換素子であって、前記半導体基板上方に形成された第一の電極、前記第一の電極上に形成された光電変換層、及び前記光電変換層上に形成された第二の電極を含んで構成される基板上光電変換素子と、前記半導体基板の上方に形成され、前記光電変換層で吸収される光の波長域とは異なる波長域の光を透過するカラーフィルタ層と、前記基板上光電変換素子で発生した電荷に応じた信号及び前記光電変換素子で発生した電荷に応じた信号をそれぞれ読み出す信号読み出し手段とを備え、前記カラーフィルタ層は、前記多数の光電変換素子の各々に対応する多数のカラーフィルタで構成され、前記多数のカラーフィルタは、Rの波長域の光を透過するカラーフィルタ、Gの波長域の光を透過するカラーフィルタ、Bの波長域の光を透過するカラーフィルタの3種類のカラーフィルタに分類され、前記3種類のカラーフィルタのうちの少なくとも前記Rの波長域の光を透過するカラーフィルタは赤外域の光も透過し、前記光電変換層は、赤外域の光を吸収してこれに応じた電荷を発生し、且つ、それ以外の光を透過し、前記多数の光電変換素子の一部とは、前記Rの波長域の光を透過するカラーフィルタに対応する光電変換素子である画像処理装置。
【0013】
(4)(3)記載の画像処理装置であって、前記カラーフィルタ層が、前記基板上光電変換素子よりも上方に形成されている画像処理装置。
【0014】
(5)(4)記載の画像処理装置であって、前記光電変換層が有機材料を含んで構成され、前記基板上光電変換素子と前記カラーフィルタ層との間に、ALCVD法によって形成された前記基板上光電変換素子を保護するための保護層を備える画像処理装置。
【0015】
(6)(5)記載の画像処理装置であって、前記保護層が、無機材料を含んで構成される画像処理装置。
【0016】
(7)(6)記載の画像処理装置であって、前記保護層が、無機材料からなる無機層と、有機ポリマーからなる有機層との2層構造である画像処理装置。
【0017】
(8)(3)〜(7)のいずれか1つ記載の画像処理装置であって、前記撮像素子が、前記カラーフィルタ層の上方に、前記多数の光電変換素子の各々に光を集光するためのマイクロレンズを備える画像処理装置。
【0018】
(9)(1)〜(8)のいずれか1つ記載の画像処理装置と、前記撮像素子とを備える内視鏡装置。
【0019】
(10)コンピュータを、(1)〜(8)のいずれか1つ記載の画像処理装置の各手段として機能させるための画像処理プログラム。
【発明の効果】
【0020】
本発明によれば、撮像素子の前面にIRカットフィルタを設けることなく、該撮像素子からの撮像信号から色再現性の良いRGBカラー画像データを生成することが可能な画像処理装置を提供することができる。
【発明を実施するための最良の形態】
【0021】
以下、本発明の実施形態について図面を参照して説明する。
【0022】
(第一実施形態)
図1は、本発明の実施形態を説明するための撮像素子の部分表面模式図である。図2は、図1に示す撮像素子のA−A線の断面模式図である。尚、図1では、マイクロレンズ14の図示を省略してある。
【0023】
n型シリコン基板1上にはpウェル層2が形成されている。以下では、n型シリコン基板1とpウェル層2とを併せて半導体基板という。半導体基板上方の同一面上の行方向とこれに直交する列方向には、主としてRの波長域の光を透過するカラーフィルタ13rと、主としてGの波長域の光を透過するカラーフィルタ13gと、主としてBの波長域の光を透過するカラーフィルタ13bとの3種類のカラーフィルタがそれぞれ多数配列されている。
【0024】
カラーフィルタ13rは、公知の材料を用いることができるが、このような材料は、Rの波長域の光の他に、赤外域の光の一部も透過する。カラーフィルタ13gは、公知の材料を用いることができるが、このような材料は、Gの波長域の光の他に、赤外域の光の一部も透過する。カラーフィルタ13bは、公知の材料を用いることができるが、このような材料は、Bの波長域の光の他に、赤外域の光の一部も透過する。
【0025】
カラーフィルタ13r,13g,13bの配列は、公知の単板式固体撮像素子に用いられているカラーフィルタ配列(ベイヤー配列や縦ストライプ、横ストライプ等)を採用することができる。
【0026】
カラーフィルタ13r下方のpウェル層2内には、カラーフィルタ13rに対応させてn型不純物領域(以下、n領域という)3rが形成されており、n領域3rとpウェル層2とのpn接合によって、カラーフィルタ13rに対応するR光電変換素子が構成されている。
【0027】
カラーフィルタ13g下方のpウェル層2内には、カラーフィルタ13gに対応させてn領域3gが形成されており、n領域3gとpウェル層2とのpn接合によって、カラーフィルタ13gに対応するG光電変換素子が構成されている。
【0028】
カラーフィルタ13b下方のpウェル層2内には、カラーフィルタ13bに対応させてn領域3bが形成されており、n領域3bとpウェル層2とのpn接合によって、カラーフィルタ13bに対応するB光電変換素子が構成されている。
【0029】
n領域3r上方には透明電極7rが形成され、n領域3g上方には透明電極7gが形成され、n領域3b上方には透明電極7bが形成されている。透明電極7r,7g,7bは、それぞれカラーフィルタ13r,13g,13bの各々に対応して分割されている。透明電極7r,7g,7bは、それぞれ、可視光及び赤外光に対して透明な材料で構成され、例えばITOやIZO等を用いることができる。透明電極7r,7g,7bは、それぞれ、絶縁層8内に埋設されている。
【0030】
透明電極7r,7g,7bの各々の上には、主として波長580nm以上の赤外域の光を吸収してこれに応じた電荷を発生し、赤外域以外の可視域(波長約380nm〜約580nm)の光を透過する、カラーフィルタ13r,13g,13bの各々で共通の一枚構成である光電変換層9が形成されている。光電変換層9を構成する材料は、例えば、フタロシアニン系有機材料やナフタロシアニン系有機材料を用いる。
【0031】
光電変換層9上には、カラーフィルタ13r,13g,13bの各々で共通の一枚構成である透明電極10が形成されている。透明電極10は、可視光及び赤外光に対して透明な材料で構成され、例えばITOやIZO等を用いることができる。
【0032】
透明電極7rと、それに対向する透明電極10と、これらに挟まれる光電変換層9の一部とにより、カラーフィルタ13rに対応する光電変換素子が形成される。以下では、この光電変換素子を、半導体基板上に形成されたものであるため、R基板上光電変換素子という。
【0033】
透明電極7gと、それに対向する透明電極10と、これらに挟まれる光電変換層9の一部とにより、カラーフィルタ13gに対応する光電変換素子が形成される。以下では、この光電変換素子をG基板上光電変換素子という。
【0034】
透明電極7bと、それに対向する透明電極10と、これらに挟まれる光電変換層9の一部とにより、カラーフィルタ13bに対応する光電変換素子が形成される。以下では、この光電変換素子をB基板上光電変換素子という。
【0035】
pウェル層2内のn領域3rの隣には、R基板上光電変換素子の光電変換層9で発生した電荷を蓄積するための高濃度のn型不純物領域(以下、n+領域という)4rが形成されている。尚、n+領域4rに光が入るのを防ぐために、n+領域4r上には遮光膜を設けておくことが好ましい。
【0036】
pウェル層2内のn領域3gの隣には、G基板上光電変換素子の光電変換層9で発生した電荷を蓄積するためのn+領域4gが形成されている。尚、n+領域4gに光が入るのを防ぐために、n+領域4g上には遮光膜を設けておくことが好ましい。
【0037】
pウェル層2内のn領域3bの隣には、B基板上光電変換素子の光電変換層9で発生した電荷を蓄積するためのn+領域4bが形成されている。尚、n+領域4bに光が入るのを防ぐために、n+領域4b上には遮光膜を設けておくことが好ましい。
【0038】
n+領域4r上にはアルミニウム等の金属からなるコンタクト部6rが形成され、コンタクト部6r上に透明電極7rが形成されており、n+領域4rと透明電極7rはコンタクト部6rによって電気的に接続されている。コンタクト部6rは、可視光及び赤外光に対して透明な絶縁層5内に埋設されている。
【0039】
n+領域4g上にはアルミニウム等の金属からなるコンタクト部6gが形成され、コンタクト部6g上に透明電極7gが形成されており、n+領域4gと透明電極7gはコンタクト部6gによって電気的に接続されている。コンタクト部6gは絶縁層5内に埋設されている。
【0040】
n+領域4b上にはアルミニウム等の金属からなるコンタクト部6bが形成され、コンタクト部6b上に透明電極7bが形成されており、n+領域4bと透明電極7bはコンタクト部6bによって電気的に接続されている。コンタクト部6bは絶縁層5内に埋設されている。
【0041】
pウェル層2内のn領域3r,3g,3b、n+領域4r,4g,4bが形成されている以外の領域には、R光電変換素子で発生してn領域3rに蓄積された電荷に応じた信号及びn+領域4rに蓄積された電荷に応じた信号をそれぞれ読み出すための信号読み出し部5rと、G光電変換素子で発生してn領域3gに蓄積された電荷に応じた信号及びn+領域4gに蓄積された電荷に応じた信号をそれぞれ読み出すための信号読み出し部5gと、B光電変換素子で発生してn領域3bに蓄積された電荷に応じた信号及びn+領域4bに蓄積された電荷に応じた信号をそれぞれ読み出すための信号読み出し部5bとが形成されている。信号読み出し部5r,5g,5bは、それぞれ、CCDやMOS回路を用いた公知の構成を採用することができる。尚、信号読み出し部5r,5g,5bに光が入るのを防ぐために、信号読み出し部5r,5g,5b上には遮光膜を設けておくことが好ましい。
【0042】
図3は、図2に示す信号読み出し部5rの具体的な構成例を示す図である。図3において図1,2と同様の構成には同一符号を付してある。尚、信号読み出し部5r,5g,5bの各々の構成は同一であるため、信号読み出し部5g,5bの説明は省略する。
【0043】
信号読み出し部5rは、ドレインがn+領域4rに接続され、ソースが電源Vnに接続されたリセットトランジスタ43と、ゲートがリセットトランジスタ43のドレインに接続され、ソースが電源Vccに接続された出力トランジスタ42と、ソースが出力トランジスタ42のドレインに接続され、ドレインが信号出力線45に接続された行選択トランジスタ41と、ドレインがn領域3rに接続され、ソースが電源Vnに接続されたリセットトランジスタ46と、ゲートがリセットトランジスタ46のドレインに接続され、ソースが電源Vccに接続された出力トランジスタ47と、ソースが出力トランジスタ47のドレインに接続され、ドレインが信号出力線49に接続された行選択トランジスタ48とを備える。
【0044】
透明電極7rと透明電極10間にバイアス電圧を印加することで、光電変換層9に入射した光に応じて電荷が発生し、この電荷が透明電極7rを介してn+領域4rへと移動する。n+領域4rに蓄積された電荷は、出力トランジスタ42でその電荷量に応じた信号に変換される。そして、行選択トランジスタ41をONにすることで信号出力線45に信号が出力される。信号出力後は、リセットトランジスタ43によってn+領域4r内の電荷がリセットされる。
【0045】
R光電変換素子で発生してn領域3rに蓄積された電荷は、出力トランジスタ47でその電荷量に応じた信号に変換される。そして、行選択トランジスタ48をONにすることで信号出力線49に信号が出力される。信号出力後は、リセットトランジスタ46によってn領域3r内の電荷がリセットされる。
【0046】
このように、信号読み出し部5rは、3トランジスタからなる公知のMOS回路で構成することができる。
【0047】
図2に戻り、光電変換層9上には、基板上光電変換素子を保護するための2層構造の保護層11,12が形成され、保護層12上にカラーフィルタ13r,13g,13bが形成され、カラーフィルタ13r,13g,13bの各々の上には、各々に対応するn領域3r,3g,3bに光を集光するためのマイクロレンズ14が形成されている。
【0048】
撮像素子100は、光電変換層9を形成した後に、カラーフィルタ13r,13g,13bやマイクロレンズ14等を形成することで製造するが、カラーフィルタ13r,13g,13bやマイクロレンズ14は、フォトリソグラフィ工程やベーク工程を含むため、光電変換層9として有機材料を用いた場合、光電変換層9が露出した状態で、このフォトリソグラフィ工程やベーク工程が行われると、光電変換層9の特性が劣化してしまう。撮像素子100では、このような製造工程に起因する光電変換層9の特性劣化を防止するために、保護層11,12が設けられている。
【0049】
保護層11は、ALCVD法によって形成した無機材料からなる無機層であることが好ましい。ALCVD法は原子層CVD法であり緻密な無機層を形成することが可能で、光電変換層9の有効な保護層となり得る。ALCVD法はALE法もしくはALD法としても知られている。ALCVD法により形成した無機層は、好ましくはAl2O3、SiO2,TiO2,ZrO2,MgO,HfO2,Ta2O5からなり、より好ましくはAl2O3、SiO2からなり、最も好ましくはAl2O3からなる。
【0050】
保護層12は、光電変換層9の保護性能をより向上させるために保護層11上に形成されたものであり、有機ポリマーからなる有機層であることが好ましい。有機ポリマーとしてはパリレンが好ましく、パリレンCがより好ましい。尚、保護層12は省略しても良く、又、保護層11と保護層12の配置を逆にしても良い。光電変換層9の保護効果が特に高いのは、図2に示した構成である。
【0051】
以上のような構成の撮像素子100では、入射光のうちのカラーフィルタ13rを透過した光のうちの赤外域の光が光電変換層9で吸収され、ここで赤外域の光に応じた電荷が発生する。同様に、入射光のうちのカラーフィルタ13gを透過した光のうちの赤外域の光が光電変換層9で吸収され、ここで赤外域の光に応じた電荷が発生する。同様に、入射光のうちのカラーフィルタ13bを透過した光のうちの赤外域の光が光電変換層9で吸収され、ここで赤外域の光に応じた電荷が発生する。
【0052】
透明電極7rと透明電極10に所定のバイアス電圧を印加すると、R基板上光電変換素子を構成する光電変換層9で発生した電荷が透明電極7rとコンタクト部6rを介してn+領域4rに移動し、ここに蓄積される。そして、n+領域4rに蓄積された電荷に応じた信号が、信号読み出し部5rによって読み出され、撮像素子100外部に出力される。
【0053】
同様に、透明電極7gと透明電極10に所定のバイアス電圧を印加すると、G基板上光電変換素子を構成する光電変換層9で発生した電荷が透明電極7gとコンタクト部6gを介してn+領域4gに移動し、ここに蓄積される。そして、n+領域4gに蓄積された電荷に応じた信号が、信号読み出し部5gによって読み出され、撮像素子100外部に出力される。
【0054】
同様に、透明電極7bと透明電極10に所定のバイアス電圧を印加すると、B基板上光電変換素子を構成する光電変換層9で発生した電荷が透明電極7bとコンタクト部6bを介してn+領域4bに移動し、ここに蓄積される。そして、n+領域4bに蓄積された電荷に応じた信号が、信号読み出し部5bによって読み出され、撮像素子100外部に出力される。
【0055】
又、カラーフィルタ13rを透過して光電変換層9を透過したRの波長域の光は、R光電変換素子に入射し、入射光量に応じた電荷がn領域3rに蓄積される。同様に、カラーフィルタ13gを透過して光電変換層9を透過したGの波長域の光は、G光電変換素子に入射し、入射光量に応じた電荷がn領域3gに蓄積される。同様に、カラーフィルタ13bを透過して光電変換層9を透過したBの波長域の光は、B光電変換素子に入射し、入射光量に応じた電荷がn領域3bに蓄積される。n領域3r,3g,3bに蓄積された電荷は、信号読出し部5r,5g,5bによって読み出され、撮像素子100外部に出力される。
【0056】
n領域3r,3g,3bから読み出されて出力された信号の配列は、図1のようなカラーフィルタ配列の単板式カラー固体撮像素子から出力される信号の配列と同様となるため、単板式カラー固体撮像素子で用いられる信号処理を行うことで、1つの画素データにR,G,Bの3つの色成分のデータを持たせたカラー画像データを生成することができる。又、n+領域4r,4g,4bから読み出されて出力された信号により、1つの画素データに赤外の色成分のデータを持たせた赤外画像データを生成することができる。
【0057】
このように、撮像素子100は、R光電変換素子で発生した電荷に応じたR成分の信号と、G光電変換素子で発生した電荷に応じたG成分の信号と、B光電変換素子で発生した電荷に応じたB成分の信号と、R基板上光電変換素子で発生した電荷に応じたIR成分の信号と、G基板上光電変換素子で発生した電荷に応じたIR成分の信号と、B基板上光電変換素子で発生した電荷に応じたIR成分の信号とを外部に出力することができる。このため、撮像素子100を用いれば、1回の撮像で、カラー画像データと赤外画像データの2種類の画像データを得ることができる。したがって、この撮像素子100を、例えば、人体の検査対象となる部位の外観映像と、その部位の内部映像とが必要となる内視鏡装置の撮像素子として利用することができる。
【0058】
次に、撮像素子100の分光感度特性について説明する。
まず、半導体基板内に形成される各光電変換素子(PD)の分光感度特性を図4に示すものとし、光電変換層9の分光感度特性を図4に示すものとし、光電変換層9の分光透過率を図4に示すものとし、カラーフィルタ13r,13g,13bの分光透過率を図5に示すものとする。図4において縦軸は1を基準にしたときの分光感度又は分光透過率、横軸は光の波長を示す。図5において縦軸は1を基準にしたときの分光透過率、横軸は光の波長を示す。
【0059】
このように特性が決まると、R光電変換素子の分光感度特性は、光電変換層9の分光透過率とカラーフィルタ13rの分光透過率との積となり、G光電変換素子の分光感度特性は、光電変換層9の分光透過率とカラーフィルタ13gの分光透過率との積となり、B光電変換素子の分光感度特性は、光電変換層9の分光透過率とカラーフィルタ13bの分光透過率との積となり、それぞれ図6に示すような特性となる。尚、図6において縦軸は1を基準にしたときの分光感度、横軸は光の波長を示す。
【0060】
又、R基板上光電変換素子の分光感度特性は、光電変換層9の分光感度とカラーフィルタ13rの分光透過率との積となり、G基板上光電変換素子の分光感度特性は、光電変換層9の分光感度とカラーフィルタ13gの分光透過率との積となり、B基板上光電変換素子の分光感度特性は、光電変換層9の分光感度とカラーフィルタ13bの分光透過率との積となり、それぞれ図6に示すような特性となる。
【0061】
ここで、各基板上光電変換素子の分光感度特性を調整するために、図7に示すような分光透過率を有する補正フィルタを撮像素子100の光入射面側に配置すると、撮像素子100の分光感度特性は図8に示すものとなる。図7において縦軸は1を基準にしたときの分光透過率、横軸は光の波長を示す。図8において縦軸は1を基準にしたときの分光感度、横軸は光の波長を示す。
【0062】
図9は、酸化ヘモグロビン(oxy)と還元ヘモグロビン(deoxy)の分光反射率を示した図である。図9において縦軸は1を基準にしたときの分光反射率、横軸は光の波長を示す。
【0063】
図9から分かるように、酸化ヘモグロビンと還元ヘモグロビンは、波長580nm〜780nmの波長域で双方の反射率の差が大きくなるため、この波長域に感度を有する光電変換素子を用いれば、ヘモグロビンの状態変化をコントラスト高く画像化できる。図8に示したように、撮像素子100は、R基板上光電変換素子が波長580nm〜780nmの波長域に強く感度を有しているため、このR基板上光電変換素子から得られる信号を用いて赤外画像データを生成することで、検査対象となる部位のRGBカラーの外観画像と、その部位のヘモグロビンの状態変化を知るための画像とを、1回の撮像で得ることが可能となる。
【0064】
R基板上光電変換素子から得られる信号のみを用いて赤外画像データを生成する場合には、G基板上光電変換素子及びB基板上光電変換素子の各々から得られる信号の位置に、その位置周辺にあるR基板上光電変換素子から得られた信号を用いて信号を補間して、カラー画像データと同一解像度の赤外画像データを生成しても良いし、R基板上光電変換素子から得られた信号のみを用いてカラー画像データの1/3の解像度の赤外画像データを生成しても良い。又は、行方向に並ぶR基板上光電変換素子、G基板上光電変換素子、及びB基板上光電変換素子の3つの光電変換素子の各々から得られる信号を加算して1つの信号とし、この信号を基に、カラー画像データの1/3の解像度の赤外画像データを生成しても良い。
【0065】
撮像素子100を用いれば、カラー画像データと赤外画像データとの2種類の画像データを得ることができるが、このような効果は、撮像素子100に用いるカラーフィルタとして原色系以外に補色系を用いた場合でも得ることができる。又、2種類の画像データを得ることはできないが、撮像素子100のカラーフィルタの配色と光電変換層で吸収させる光の波長域とを調整することで、単板式の撮像素子よりも高解像度のRGB画像データを得ることも可能となる。これらの効果を得るための撮像素子100の構成例を図10に示す。図10においては、撮像素子100を構成する構成要素のうち、半導体基板内に形成される光電変換素子(PD)と、そのPD上方に形成される光電変換層と、その光電変換層上方に形成されるカラーフィルタ以外の構成要素を省略してある。
【0066】
図10(a)に示す撮像素子は、図1,2に示す撮像素子100において、カラーフィルタ13rをCy(シアン)の波長域の光及び赤外域の光の一部を透過するCyフィルタに変更し、カラーフィルタ13gをMg(マゼンタ)の波長域の光及び赤外域の光の一部を透過するMgフィルタに変更し、カラーフィルタ13bをYe(イエロー)の波長域の光と赤外域の光の一部を透過するYeフィルタに変更したものである。Cyフィルタ、Mgフィルタ、及びYeフィルタは、それぞれ公知の材料を用いれば良い。
【0067】
この構成によれば、半導体基板内の光電変換素子から得られるCy,Mg,Yeの信号からカラー画像データを生成し、光電変換層から得られる信号から赤外画像データを生成することができる。尚、CyフィルタとMgフィルタとYeフィルタの配列は、カラー画像が再現できるようなものとしておけば良い。
【0068】
図10(b)に示す撮像素子は、図1,2に示す撮像素子100において、カラーフィルタ13rをCyフィルタに変更し、カラーフィルタ13bをYeフィルタに変更したものである。
【0069】
この構成によれば、半導体基板内の光電変換素子から得られるCy,G,Yeの信号からカラー画像データを生成し、光電変換層から得られる信号から赤外画像データを生成することができる。尚、CyフィルタとGフィルタとYeフィルタの配列は、カラー画像が再現できるようなものとしておけば良い。
【0070】
図10(c)に示す撮像素子は、図1,2に示す撮像素子100において、カラーフィルタ13rをCyフィルタに変更し、カラーフィルタ13gを赤外域の光を透過するIRフィルタに変更し、光電変換層9をGの波長域の光を吸収してこれに応じた信号電荷を発生し且つGの波長域以外の光を透過するG光電変換層に変更し、カラーフィルタ13bをYeフィルタに変更したものである。G光電変換層を構成する材料としては、無機材料の場合は、例えば、InGaAlPやGaPAsを用いることができ、有機材料の場合は、例えば、R6G/PMPS(rhodamine 6G (R6G)-doped polymethylphenylsilane)を用いることができる。
【0071】
この構成によれば、半導体基板内の光電変換素子から得られるB,Rの信号と、光電変換層から得られるGの信号からカラー画像データを生成し、IRフィルタ下方の光電変換素子から得られるIR信号から赤外画像データを生成することができる。尚、CyフィルタとYeフィルタの配列は、カラー画像が再現できるようなものとしておけば良く、IRフィルタの配列は、赤外画像が再現できるようなものとしておけば良い。
【0072】
図10(d)に示す撮像素子は、図1,2に示す撮像素子100において、カラーフィルタ13r,13bをそれぞれCyフィルタに変更し、カラーフィルタ13gをYeフィルタに変更し、光電変換層9をG光電変換層に変更したものである。
【0073】
この構成によれば、半導体基板内の光電変換素子から得られるB,Rの信号と、光電変換層から得られるGの信号からカラー画像データを生成することができる。この構成は、1撮像点あたり2色の原色系の信号が得られるため、単板式の撮像素子に比べて解像度を向上させることができる。
【0074】
尚、以上の説明では、撮像素子100に用いるカラーフィルタが2種類又は3種類の場合を説明したが、これは4種類以上であっても、同様の効果を得ることが可能である。又、カラーフィルタが1種類であっても良い。この場合は、例えば、図2に示す構成において、カラーフィルタ13r,13g,13bの代わりに、Gの波長域の光を透過する1枚構成のGカラーフィルタを設けた構成とすれば良い。
【0075】
この構成によれば、半導体基板内の光電変換素子から得られる信号により、モノクロの画像データを生成することができ、光電変換層9から得られる信号により、赤外画像データを生成することができる。又、この構成にした場合は、光電変換層上方に設けるカラーフィルタの分光透過率によって、その光電変換層の分光感度特性を調整することができるというメリットもある。
【0076】
又、以上の説明では、半導体基板上方に光電変換層を設け、その上方にカラーフィルタを設けるものとしたが、光電変換層とカラーフィルタの配置を逆にしても同様の効果を得ることができる。
【0077】
又、以上の説明では、カラーフィルタ13r,13g,13bが、それぞれ赤外域の光も透過してしまうものとしたが、赤外域の光を透過させないような分光透過率を有するフィルタを用いることも可能である。ただし、全てのカラーフィルタが赤外域の光を透過しないものとなってしまうと、赤外画像データを生成できなくなってしまうため、1種類以上のカラーフィルタのうちの少なくとも1つは、赤外域の光を透過させる機能を持たせる必要がある。
【0078】
又、以上の説明では、R基板上光電変換素子とG基板上光電変換素子とB基板上光電変換素子の3種類の基板上光電変換素子を設けるものとしたが、赤外画像データを得るためには、これらのうちの少なくとも1つが存在していれば十分である。図6及び図8に示すように、R基板上光電変換素子は赤外域に最も感度を持っているため、このR基板上光電変換素子から出力される信号を用いて赤外画像データを生成することが最も好ましい。G基板上光電変換素子を省略する場合には、図2に示す構成において、透明電極7gと、コンタクト部6gと、n+領域4gとを省略した構成とすれば良い。B基板上光電変換素子を省略する場合には、図2に示す構成において、透明電極7bと、コンタクト部6bと、n+領域4bとを省略した構成とすれば良い。
【0079】
又、図10(c)に示したような構成の場合には、撮像素子に設ける基板上光電変換素子を、IRフィルタに対応する基板上光電変換素子だけにしてしまうと、この基板上光電変換素子からはG成分の信号をほとんど得ることができず、カラー画像データの生成に支障をきたしてしまう。このため、図10(c)に示す構成の場合には、Cyフィルタに対応する基板上光電変換素子かYeフィルタに対応する基板上光電変換素子を少なくとも設けておく必要がある。
【0080】
次に、撮像素子100の製造方法を説明する。撮像素子100は次の(A)〜(C)の工程で製造することができる。
(A)CMOS基板→透明電極の形成
・シリコン基板上に従来CMOSセンサと同様にn領域3r,3g,3b及び信号読出し部を形成。
・更に、n+領域4r,4g,4b及び信号読出し部を形成。
・シリコン基板上に絶縁層5を形成し、この上に透明電極7r,7g,7bを形成し、各透明電極7r,7g,7bと各n+領域4r,4g,4bをビアプラグを用いてコンタクトする。
・透明電極7r,7g,7b間の間隙は絶縁材料で埋め合わせ、透明電極7r,7g,7b表面を、絶縁材部分を含めCMPを用いて平坦化する。
以上のプロセスを半導体プロセスで行なう。
(B)光電変換層の形成
・透明電極7r,7g,7b上に光電変換層9を形成。
・更に透明電極10を形成。透明電極10は図示しないパッドにコンタクトされ、外部電源によりバイアス電圧が印加される。
以上のプロセスを真空蒸着プロセスで行なう
(C)マイクロレンズ及びカラーフィルタの形成
・光電変換層9上に、例えば、ALCVD法でアルミナ保護層を形成し、更にパリレンC保護層を形成。
・次にモザイクカラーフィルタを形成する。モザイクカラーフィルタは、Gレジスト塗布→パターン露光→現像→ポストベーク、Bレジスト塗布→パターン露光→現像→ポストベーク、Rレジスト塗布→パターン露光→現像→ポストベークの順番で形成。
・最後にマイクロレンズを形成する。マイクロレンズは、レジスト塗布→ポストベーク→レジスト塗布→パターン露光→現像→メルトの順番で形成する。
【0081】
(第二実施形態)
本実施形態では、第一実施形態で説明したようなカラー画像データと赤外画像データを得ることが可能な撮像素子100を内視鏡装置に適用した形態について説明する。
【0082】
図11は、第二実施形態を説明するための内視鏡装置の概略構成を示す図である。
図11に示す内視鏡装置は、検査対象となる部位を照明するための白色光源50と、撮影レンズや絞り等の光学系51と、光学系51を通過した光を受光する図1,2に示した構成の撮像素子100と、撮像素子100の光電変換層9の分光感度特性を補正するために撮像素子100と光学系51との間に配置された補正フィルタ52と、撮像素子100の光電変換層9で発生した電荷に応じた信号に基づいて赤外画像データを生成する赤外画像データ生成部53と、撮像素子100のR光電変換素子、G光電変換素子、及びB光電変換素子の各々で発生した電荷に応じた信号に基づいてカラー画像データを生成するカラー画像データ生成部54と、赤外画像データ生成部53で生成された赤外画像データとカラー画像データ生成部54で生成されたカラー画像データとを用いた演算処理により、赤外画像データ生成部53で生成された赤外画像データのコントラストを向上させた高コントラスト赤外画像データを生成する高コントラスト赤外画像データ生成部55と、高コントラスト赤外画像データ生成部55で生成された高コントラスト赤外画像データに強調処理を施す画像強調部57と、赤外画像データ生成部53で生成された赤外画像データとカラー画像データ生成部54で生成されたカラー画像データとを用いた演算処理により、カラー画像データ生成部54で生成されたカラー画像データの色再現性を向上させた高色再現カラー画像データを生成する高色再現カラー画像データ生成部56と、強調処理後の高コントラスト赤外画像データに基づく画像及び高色再現カラー画像データに基づく画像を表示装置59に表示させる制御を行う表示制御部58とを備える。
【0083】
図11に示す内視鏡装置に用いる撮像素子100は、Rの波長域の光に応じたR成分の信号と、Gの波長域の光に応じたG成分の信号と、Bの波長域の光に応じたB成分の信号と、赤外域の光に応じたIR成分の信号との4種類の信号を出力することができるものであれば良く、図1,2に示したような構成に限定されない。例えば、図10(c)に示したような構成の撮像素子であっても良いし、R又はCyの波長域の光を透過するカラーフィルタ、G又はMgの波長域の光を透過するカラーフィルタ、B又はYeの波長域の光を透過するカラーフィルタ、及び赤外域の光を透過するカラーフィルタの4つを半導体基板上方の同一面上にモザイク状に配列した単板式の撮像素子であっても良い。尚、撮像素子100の分光感度特性は、例えば図8に示したのものとなる。
【0084】
カラー画像データ生成部54は、撮像素子100のR光電変換素子で発生した電荷に応じた信号(以下、R信号という)と、撮像素子100のG光電変換素子で発生した電荷に応じた信号(以下、G信号という)と、撮像素子100のB光電変換素子で発生した電荷に応じた信号(以下、B信号という)とを撮像素子100から取得し、こられの信号を用いて、公知の手法により、カラー画像データを生成する。
【0085】
赤外画像データ生成部53は、撮像素子100のR基板上光電変換素子で発生した電荷に応じた信号(以下、IRr信号という)から、信号補間等を行って、カラー画像データと同一解像度の赤外画像データを生成する。
【0086】
図12は、酸化ヘモグロビンと還元ヘモグロビンの分光反射率を示した図である。図12において、縦軸は1を基準にしたときの分光反射率、横軸は光の波長を示す。図12において、縦軸を、1を基準にしたときの光電変換素子の分光感度としたときに、図12に示すReal曲線のような分光感度を有する光電変換素子でヘモグロビンを撮像すれば、ヘモグロビンの状態変化を最もコントラスト高く検出することができる。
【0087】
そこで、高コントラスト赤外画像データ生成部55は、R基板上光電変換素子から得られたIRr信号が、図12のReal曲線に示すような分光感度特性を持つ光電変換素子から得られた信号に近づくような演算処理を行うことで、赤外画像データのコントラストを向上させることを可能にしている。
【0088】
具体的に、高コントラスト赤外画像データ生成部55は、以下の式(1)で示す演算を行って高コントラスト赤外画像データを生成する。
I(x,y)=r1×R(x,y)+g1×G(x,y)+b1×B(x,y)+ir1×IR(x,y)・・・式(1)
I(x,y)は、高コントラスト赤外画像データの座標(x,y)における画素データを示す。
R(x,y)は、カラー画像データの座標(x,y)におけるR成分の画素データを示す。
G(x,y)は、カラー画像データの座標(x,y)におけるG成分の画素データを示す。
B(x,y)は、カラー画像データの座標(x,y)におけるB成分の画素データを示す。
IR(x,y)は、赤外画像データの座標(x,y)におけるIR成分の画素データを示す。
r1,g1,b1,ir1は、R光電変換素子の分光感度特性と、G光電変換素子の分光感度特性と、B光電変換素子の分光感度特性と、R基板上光電変換素子の分光感度特性と、図12のReal曲線で表される分光感度特性とに基づいて決められた係数を示す。
【0089】
係数r1,g1,b1,ir1は、図8に示したR光電変換素子の波長λにおける分光感度をR(λ)とし、図8に示したG光電変換素子の波長λにおける分光感度をG(λ)とし、図8に示したB光電変換素子の波長λにおける分光感度をB(λ)とし、図8に示したR基板上光電変換素子の波長λにおける分光感度をIR(λ)とし、図12に示したReal曲線で示す特性を持つ光電変換素子の波長λにおける分光感度をReal(λ)としたとき、Real(λ)と、以下の式(2)の演算で得られる値とが最も近くなるように最小二乗法によって決定される。決定された係数データは、内視鏡装置内の図示しないメモリに予め記憶される。
【0090】
r1×R(λ)+g1×G(λ)+b1×B(λ)+ir1×IR(λ)・・・式(2)
【0091】
図13は、上記の方法で決定された係数を用いて式(2)を演算した結果得られる分光感度特性を示す図である。図13において、縦軸は1を基準にしたときの分光感度、横軸は光の波長を示す。図13に示す曲線Iが、式(1)の演算で得られる高コントラスト赤外画像データを得ることができる仮想的な光電変換素子の分光感度特性となる。
【0092】
図14は、図13に示す分光感度特性を持つ光電変換素子でヘモグロビンからの光を検出した場合の酸化ヘモグロビンと還元ヘモグロビンの検出感度を示した図である。図14において、縦軸は1を基準にしたときの分光感度、横軸は光の波長を示す。図15は、図8に示すR基板上光電変換素子の分光感度特性を示す図である。図15において、縦軸は1を基準にしたときの分光感度、横軸は光の波長を示す。図16は、図15に示す分光感度特性を持つR基板上光電変換素子でヘモグロビンからの光を検出した場合の酸化ヘモグロビンと還元ヘモグロビンの検出感度を示した図である。図16において、縦軸は1を基準にしたときの分光感度、横軸は光の波長を示す。
【0093】
図14と図16を比較すると、図14に示す酸化ヘモグロビンの波形I(oxy)と分光感度=0の直線とで囲まれる面積Aを、図14に示す還元ヘモグロビンの波形I(deoxy)と分光感度=0の直線とで囲まれる面積Bで割った値で表される高コントラスト赤外画像データのコントラスト比は1.318であり、図16に示す酸化ヘモグロビンの波形Ir(oxy)と分光感度=0の直線とで囲まれる面積Cを、図16に示す還元ヘモグロビンの波形Ir(deoxy)と分光感度=0の直線とで囲まれる面積Dで割った値で表される赤外画像データのコントラスト比は1.166であり、式(1)に示した演算処理を行うことで、赤外画像データのコントラストを向上させられることが分かる。
【0094】
本実施形態の内視鏡装置に用いる撮像素子は、IR信号を出力する必要があるため、通常のデジタルカメラに設けるような赤外カットフィルタを撮像素子の前面に配置することができない。本実施形態では、光電変換層9の分光感度特性を補正するための補正フィルタ52を設けているため、R光電変換素子、G光電変換素子、及びB光電変換素子の各々は、赤外域の光にほとんど感度を持たないが、それでも多少の感度は持ってしまう。この結果、カラー画像データの色再現性が低下するおそれがある。
【0095】
そこで、高色再現カラー画像データ生成部56は、R光電変換素子から得られたR信号が、図17に示したスタンダードRGB理想撮像特性で規定される理想的な分光感度特性を持つr光電変換素子から得られる信号に近づくような演算処理を行い、G光電変換素子から得られたG信号が、図17に示したスタンダードRGB理想撮像特性で規定される理想的な分光感度特性を持つg光電変換素子から得られる信号に近づくような演算処理を行い、B光電変換素子から得られたB信号が、図17に示したスタンダードRGB理想撮像特性で規定される理想的な分光感度特性を持つb光電変換素子から得られる信号に近づくような演算処理を行うことで、高色再現カラー画像データを生成することを可能にしている。
【0096】
具体的に、高色再現カラー画像データ生成部56は、以下の式(3)で示す演算を行ってカラー画像データの色再現性を向上させる。
【0097】
【数1】
R0(x,y)は、高色再現カラー画像データの座標(x,y)におけるR成分の画素データを示す。
G0(x,y)は、高色再現カラー画像データの座標(x,y)におけるG成分の画素データを示す。
B0(x,y)は、高色再現カラー画像データの座標(x,y)におけるB成分の画素データを示す。
R(x,y)は、カラー画像データの座標(x,y)におけるR成分の画素データを示す。
G(x,y)は、カラー画像データの座標(x,y)におけるG成分の画素データを示す。
B(x,y)は、カラー画像データの座標(x,y)におけるB成分の画素データを示す。
Ir(x,y)は、赤外画像データの座標(x,y)におけるIR成分の画素データを示す。
r2,r3,r4,g2,g3,g4,b2,b3,b4,ir2,ir3,ir4は、R光電変換素子の分光感度特性と、G光電変換素子の分光感度特性と、B光電変換素子の分光感度特性と、R基板上光電変換素子の分光感度特性と、図17に示すスタンダードRGB理想撮像特性とに基づいて決められた係数を示す。
【0098】
係数r2,g2,b2,ir2は、図8に示したR光電変換素子の波長λにおける分光感度をR(λ)とし、図8に示したG光電変換素子の波長λにおける分光感度をG(λ)とし、図8に示したB光電変換素子の波長λにおける分光感度をB(λ)とし、図8に示したR基板上光電変換素子の波長λにおける分光感度をIR(λ)とし、図17に示したr光電変換素子の波長λにおける分光感度をr(λ)としたとき、r(λ)と、以下の式(4)で得られる値とが最も近くなるように最小二乗法によって決定される。決定された係数データは、内視鏡装置内の図示しないメモリに予め記憶される。
【0099】
r2×R(λ)+g2×G(λ)+b2×B(λ)+ir2×IR(λ)・・・式(4)
【0100】
係数r3,g3,b3,ir3は、図17に示したg光電変換素子の波長λにおける分光感度をg(λ)としたとき、g(λ)と以下の式(5)で得られる値とが最も近くなるように最小二乗法によって決定される。決定された係数データは、内視鏡装置内の図示しないメモリに予め記憶される。
【0101】
r3×R(λ)+g3×G(λ)+b3×B(λ)+ir3×IR(λ)・・・式(5)
【0102】
係数r4,g4,b4,ir4は、図17に示したb光電変換素子の波長λにおける分光感度をb(λ)としたとき、b(λ)と以下の式(6)で得られる値とが最も近くなるように最小二乗法によって決定される。決定された係数データは、内視鏡装置内の図示しないメモリに予め記憶される。
【0103】
r4×R(λ)+g4×G(λ)+b4×B(λ)+ir4×IR(λ)・・・式(6)
【0104】
図18は、上記の方法で決定された係数を用いて式(4)〜(6)を演算した結果得られる撮像素子100のR光電変換素子、G光電変換素子、及びB光電変換素子の分光感度特性を示す図である。図18において縦軸は1を基準としたときの分光感度、横軸は波長を示す。図18に示す曲線Rが、R光電変換素子の分光感度特性を理想的な分光感度特性に近づけた結果得られる分光感度特性を示し、図18に示す曲線Gが、G光電変換素子を理想的な分光感度特性に近づけた結果得られる分光感度特性を示し、図18に示す曲線Bが、B光電変換素子を理想的な分光感度特性に近づけた結果得られる分光感度特性を示す。
【0105】
図18を見て分かるように、波長680nm以上の赤外域の感度をほぼ0以下にすることができている。このため、式(3)に示す演算処理を行うことで、カラー画像データの色再現性を向上させられることが分かる。
【0106】
表示制御部58は、画像強調部57で強調された高コントラスト赤外画像データに基づく画像を表示装置59に表示させる制御を行ったり、高色再現カラー画像データに基づく画像を表示装置59に表示させる制御を行ったり、高コントラスト赤外画像データに基づく画像と高色再現カラー画像データに基づく画像とを合成した画像を表示装置59に表示させる制御を行ったりする。高コントラスト赤外画像データについては、信号レベルを擬似カラーで表現して画像表示させたり、信号レベルを酸素吸収量に換算して画像表示させたりする。
【0107】
以上のように、本実施形態の内視鏡装置によれば、撮像素子100から出力されるR信号、G信号、及びB信号から生成したカラー画像データと、撮像素子100から出力されるIRr信号から生成した赤外画像データとを用いた演算処理により、カラー画像データよりも色再現性を向上させた高色再現カラー画像データと、赤外画像データよりもコントラストを向上させた高コントラスト赤外画像データを生成することができる。このため、内視鏡装置による検査精度を従来よりも向上させることができる。
【0108】
又、内視鏡装置に用いる撮像素子として第一実施形態で説明した構成のものを採用することで、高色再現カラー画像データと高コントラスト赤外画像データを1回の撮像によって得ることができるため、色ずれなどを心配することなく、検査を行うことが可能となる。
【0109】
又、本実施形態の内視鏡装置によれば、赤外カットフィルタが不要となるため、人体に挿入する部分の小型化が可能になると共に、装置コストも削減することができる。
【0110】
尚、以上の説明では、内視鏡装置に補正フィルタ52を設けるものとしたが、これは省略しても構わない。補正フィルタ52を省略した場合には、内視鏡装置に搭載する撮像素子100の分光感度特性が図6に示すようなものとなり、カラー画像データの色再現性はより低下するため、高色再現カラー画像データ生成部56の行う処理がより効果を発揮することとなる。
【0111】
又、本実施形態では、内視鏡装置に高コントラスト赤外画像データ生成部55と高色再現カラー画像データ生成部56の両方を設けているが、高色再現カラー画像データ生成部56は省略しても構わない。高色再現カラー画像データ生成部56を省略した場合には、780nm以上の波長域をカットするための補正フィルタ52を設けることが好ましい。
【0112】
又、高色再現カラー画像データ生成部56は、内視鏡装置に限らず、R成分の信号とG成分の信号とB成分の信号とIR成分の信号とを出力することができる撮像素子を搭載するデジタルカメラ等の撮像装置に搭載することでも十分に効果を得ることができる。この場合、撮像装置に赤外カットフィルタが不要となるため、撮像装置の小型化及び低コスト化を図ることができる。
【0113】
上述した内視鏡装置における赤外画像データ生成部53、カラー画像データ生成部54、高コントランスト赤外画像データ生成部55、高色再現カラー画像データ生成部56、及び画像強調部57の各部の機能は、コンピュータをこれらの各部として機能させるためのプログラムを、内視鏡装置に搭載されている演算処理装置等のコンピュータが実行することで実現することができる。又、撮像素子100から得られた撮像信号をそのままパーソナルコンピュータ等に取り込み、上記プログラムをこのコンピュータが実行することでも実現することができる。
【0114】
尚、本明細書において、Rの波長域とは、波長約550nm〜約700nmまでの範囲を示し、Gの波長域とは、波長約450nm〜約610nmまでの範囲を示し、Bの波長域とは、波長約380nm〜約520nmまでの範囲を示し、赤外域とは、波長約680nm〜約3000nmまでの範囲を示し、Cyの波長域とは、波長約380nm〜約610nmまでの範囲を示し、Mgの波長域とは、波長約380nm〜約500nmと波長約600nm〜700nmまでの範囲を示し、Yeの波長域とは、波長約470nm〜約700nmまでの範囲を示す。
【0115】
又、本明細書において、「ある波長域の光を透過する」とは、その波長域の光を約60%以上透過することを言い、「ある波長域の光を吸収する」とは、その波長域の光を約50%以上吸収することを言う。
【図面の簡単な説明】
【0116】
【図1】本発明の実施形態を説明するための撮像素子の部分表面模式図
【図2】図1に示す撮像素子のA−A線の断面模式図
【図3】図2に示す信号読み出し部5rの具体的な構成例を示す図
【図4】図1に示す撮像素子の光電変換素子及び基板上光電変換素子の特性を示す図
【図5】図1に示す撮像素子のカラーフィルタの特性を示す図
【図6】図1に示す撮像素子の補正フィルタ無しでの特性を示す図
【図7】補正フィルタの特性を示す図
【図8】図1に示す撮像素子の補正フィルタ有りでの特性を示す図
【図9】ヘモグロビンの分光反射率を示す図
【図10】図1に示す撮像素子の構成の変形例を示す図
【図11】第二実施形態を説明するための内視鏡装置の概略構成を示す図
【図12】ヘモグロビンの分光反射率とヘモグロビンの状態変化を最もコントラスト高く検出できる分光感度特性を示す図
【図13】図1に示す撮像素子のR基板上光電変換素子の特性を、図12のReal曲線で示す特性に近づける処理を行って得られた特性を示す図
【図14】図13に示す特性を持つ撮像素子で撮像したときのヘモグロビンの検出感度特性を示す図
【図15】図8に示すR基板上光電変換素子の分光感度特性を示す図
【図16】図15に示す特性を持つ撮像素子で撮像したときのヘモグロビンの検出感度特性を示す図
【図17】スタンダードRGB理想撮像特性を示す図
【図18】図1に示す撮像素子のR光電変換素子,G光電変換素子,B光電変換素子の各々の特性を、図17に示す特性に近づける処理を行って得られた特性を示す図
【符号の説明】
【0117】
100 撮像素子
1 シリコン基板
2 pウェル層
3r,3g,3b n領域
4r,4g,4b n+領域
5,8 透明絶縁層
5r,5g,5b 信号読み出し部
6r,6g,6b コンタクト部
7r,7g,7b,10 透明電極
9 光電変換層
11,12 保護層
13r,13g,13b カラーフィルタ
14 マイクロレンズ
【特許請求の範囲】
【請求項1】
撮像素子から出力される撮像信号から画像データを生成する画像処理装置であって、
前記撮像素子から出力されるR(赤色)成分の撮像信号、G(緑色)成分の撮像信号、及びB(青色)成分の撮像信号からRGBカラー画像データを生成するRGBカラー画像データ生成手段と、
前記撮像素子から出力されるIR(赤外)成分の撮像信号から赤外画像データを生成する赤外画像データ生成手段と、
前記RGBカラー画像データと前記赤外画像データを用いて、前記RGBカラー画像データの色再現性を向上させた高色再現RGBカラー画像データを生成する高色再現RGBカラー画像データ生成手段を備える画像処理装置。
【請求項2】
請求項1記載の画像処理装置であって、
前記RGBカラー画像データの画素データが、R成分のデータであるRデータと。G成分のデータであるGデータと、B成分のデータであるBデータとで構成され、前記赤外画像データの画素データが、IR成分のデータであるIRデータで構成され、
前記高色再現RGBカラー画像データ生成手段は、前記RGBカラー画像データと前記赤外画像データの各々の同一位置にある画素データを構成するRデータに係数r2を乗じた値と、Gデータに係数g2を乗じた値と、Bデータに係数b2を乗じた値と、IRデータに係数ir2を乗じた値とを積算して、前記高色再現RGBカラー画像データの1画素データを構成するR成分のデータを生成し、前記Rデータに係数r3を乗じた値と、前記Gデータに係数g3を乗じた値と、前記Bデータに係数b3を乗じた値と、前記IRデータに係数ir3を乗じた値とを積算して、前記高色再現RGBカラー画像データの1画素データを構成するG成分のデータを生成し、前記Rデータに係数r4を乗じた値と、前記Gデータに係数g4を乗じた値と、前記Bデータに係数b4を乗じた値と、前記IRデータに係数ir4を乗じた値とを積算して、前記高色再現RGBカラー画像データの1画素データを構成するB成分のデータを生成し、
前記係数r2,g2,b2,ir2は、前記撮像素子を構成する光電変換素子のうちの前記R成分の撮像信号を出力する光電変換素子の分光感度であるR感度に前記係数r2を乗じた値、前記撮像素子を構成する光電変換素子のうちの前記G成分の撮像信号を出力する光電変換素子の分光感度であるG感度に前記係数g2を乗じた値、前記撮像素子を構成する光電変換素子のうちの前記B成分の撮像信号を出力する光電変換素子の分光感度であるB感度に前記係数b2を乗じた値、及び前記撮像素子を構成する光電変換素子のうちの前記IR成分の撮像信号を出力する赤外検出用光電変換素子の分光感度であるIR感度に前記係数ir2を乗じた値、を積算した値と、前記R成分の撮像信号を出力する光電変換素子の理想的な分光感度の値とが最も近くなるように決定されたものであり、
前記係数r3,g3,b3,ir3は、前記R感度に前記係数r3を乗じた値、前記G感度に前記係数g3を乗じた値、前記B感度に前記係数b3を乗じた値、及び前記IR感度に前記係数ir3を乗じた値、を積算した値と、前記G成分の撮像信号を出力する光電変換素子の理想的な分光感度の値とが最も近くなるように決定されたものであり、
前記係数r4,g4,b4,ir4は、前記R感度に前記係数r4を乗じた値、前記G感度に前記係数g4を乗じた値、前記B感度に前記係数b4を乗じた値、及び前記IR感度に前記係数ir4を乗じた値、を積算した値と、前記B成分の撮像信号を出力する光電変換素子の理想的な分光感度の値とが最も近くなるように決定されたものである画像処理装置。
【請求項3】
請求項1又は2記載の画像処理装置であって、
前記撮像素子が、
半導体基板内の同一面上に配列された多数の光電変換素子と、
前記半導体基板の上方の同一面上に形成された、前記多数の光電変換素子の一部に対応する基板上光電変換素子であって、前記半導体基板上方に形成された第一の電極、前記第一の電極上に形成された光電変換層、及び前記光電変換層上に形成された第二の電極を含んで構成される基板上光電変換素子と、
前記半導体基板の上方に形成され、前記光電変換層で吸収される光の波長域とは異なる波長域の光を透過するカラーフィルタ層と、
前記基板上光電変換素子で発生した電荷に応じた信号及び前記光電変換素子で発生した電荷に応じた信号をそれぞれ読み出す信号読み出し手段とを備え、
前記カラーフィルタ層は、前記多数の光電変換素子の各々に対応する多数のカラーフィルタで構成され、
前記多数のカラーフィルタは、Rの波長域の光を透過するカラーフィルタ、Gの波長域の光を透過するカラーフィルタ、Bの波長域の光を透過するカラーフィルタの3種類のカラーフィルタに分類され、
前記3種類のカラーフィルタのうちの少なくとも前記Rの波長域の光を透過するカラーフィルタは赤外域の光も透過し、
前記光電変換層は、赤外域の光を吸収してこれに応じた電荷を発生し、且つ、それ以外の光を透過し、
前記多数の光電変換素子の一部とは、前記Rの波長域の光を透過するカラーフィルタに対応する光電変換素子である画像処理装置。
【請求項4】
請求項3記載の画像処理装置であって、
前記カラーフィルタ層が、前記基板上光電変換素子よりも上方に形成されている画像処理装置。
【請求項5】
請求項4記載の画像処理装置であって、
前記光電変換層が有機材料を含んで構成され、
前記基板上光電変換素子と前記カラーフィルタ層との間に、ALCVD法によって形成された前記基板上光電変換素子を保護するための保護層を備える画像処理装置。
【請求項6】
請求項5記載の画像処理装置であって、
前記保護層が、無機材料を含んで構成される画像処理装置。
【請求項7】
請求項6記載の画像処理装置であって、
前記保護層が、無機材料からなる無機層と、有機ポリマーからなる有機層との2層構造である画像処理装置。
【請求項8】
請求項3〜7のいずれか1項記載の画像処理装置であって、
前記撮像素子が、前記カラーフィルタ層の上方に、前記多数の光電変換素子の各々に光を集光するためのマイクロレンズを備える画像処理装置。
【請求項9】
請求項1〜8のいずれか1項記載の画像処理装置と、
前記撮像素子とを備える内視鏡装置。
【請求項10】
コンピュータを、請求項1〜8のいずれか1項記載の画像処理装置の各手段として機能させるための画像処理プログラム。
【請求項1】
撮像素子から出力される撮像信号から画像データを生成する画像処理装置であって、
前記撮像素子から出力されるR(赤色)成分の撮像信号、G(緑色)成分の撮像信号、及びB(青色)成分の撮像信号からRGBカラー画像データを生成するRGBカラー画像データ生成手段と、
前記撮像素子から出力されるIR(赤外)成分の撮像信号から赤外画像データを生成する赤外画像データ生成手段と、
前記RGBカラー画像データと前記赤外画像データを用いて、前記RGBカラー画像データの色再現性を向上させた高色再現RGBカラー画像データを生成する高色再現RGBカラー画像データ生成手段を備える画像処理装置。
【請求項2】
請求項1記載の画像処理装置であって、
前記RGBカラー画像データの画素データが、R成分のデータであるRデータと。G成分のデータであるGデータと、B成分のデータであるBデータとで構成され、前記赤外画像データの画素データが、IR成分のデータであるIRデータで構成され、
前記高色再現RGBカラー画像データ生成手段は、前記RGBカラー画像データと前記赤外画像データの各々の同一位置にある画素データを構成するRデータに係数r2を乗じた値と、Gデータに係数g2を乗じた値と、Bデータに係数b2を乗じた値と、IRデータに係数ir2を乗じた値とを積算して、前記高色再現RGBカラー画像データの1画素データを構成するR成分のデータを生成し、前記Rデータに係数r3を乗じた値と、前記Gデータに係数g3を乗じた値と、前記Bデータに係数b3を乗じた値と、前記IRデータに係数ir3を乗じた値とを積算して、前記高色再現RGBカラー画像データの1画素データを構成するG成分のデータを生成し、前記Rデータに係数r4を乗じた値と、前記Gデータに係数g4を乗じた値と、前記Bデータに係数b4を乗じた値と、前記IRデータに係数ir4を乗じた値とを積算して、前記高色再現RGBカラー画像データの1画素データを構成するB成分のデータを生成し、
前記係数r2,g2,b2,ir2は、前記撮像素子を構成する光電変換素子のうちの前記R成分の撮像信号を出力する光電変換素子の分光感度であるR感度に前記係数r2を乗じた値、前記撮像素子を構成する光電変換素子のうちの前記G成分の撮像信号を出力する光電変換素子の分光感度であるG感度に前記係数g2を乗じた値、前記撮像素子を構成する光電変換素子のうちの前記B成分の撮像信号を出力する光電変換素子の分光感度であるB感度に前記係数b2を乗じた値、及び前記撮像素子を構成する光電変換素子のうちの前記IR成分の撮像信号を出力する赤外検出用光電変換素子の分光感度であるIR感度に前記係数ir2を乗じた値、を積算した値と、前記R成分の撮像信号を出力する光電変換素子の理想的な分光感度の値とが最も近くなるように決定されたものであり、
前記係数r3,g3,b3,ir3は、前記R感度に前記係数r3を乗じた値、前記G感度に前記係数g3を乗じた値、前記B感度に前記係数b3を乗じた値、及び前記IR感度に前記係数ir3を乗じた値、を積算した値と、前記G成分の撮像信号を出力する光電変換素子の理想的な分光感度の値とが最も近くなるように決定されたものであり、
前記係数r4,g4,b4,ir4は、前記R感度に前記係数r4を乗じた値、前記G感度に前記係数g4を乗じた値、前記B感度に前記係数b4を乗じた値、及び前記IR感度に前記係数ir4を乗じた値、を積算した値と、前記B成分の撮像信号を出力する光電変換素子の理想的な分光感度の値とが最も近くなるように決定されたものである画像処理装置。
【請求項3】
請求項1又は2記載の画像処理装置であって、
前記撮像素子が、
半導体基板内の同一面上に配列された多数の光電変換素子と、
前記半導体基板の上方の同一面上に形成された、前記多数の光電変換素子の一部に対応する基板上光電変換素子であって、前記半導体基板上方に形成された第一の電極、前記第一の電極上に形成された光電変換層、及び前記光電変換層上に形成された第二の電極を含んで構成される基板上光電変換素子と、
前記半導体基板の上方に形成され、前記光電変換層で吸収される光の波長域とは異なる波長域の光を透過するカラーフィルタ層と、
前記基板上光電変換素子で発生した電荷に応じた信号及び前記光電変換素子で発生した電荷に応じた信号をそれぞれ読み出す信号読み出し手段とを備え、
前記カラーフィルタ層は、前記多数の光電変換素子の各々に対応する多数のカラーフィルタで構成され、
前記多数のカラーフィルタは、Rの波長域の光を透過するカラーフィルタ、Gの波長域の光を透過するカラーフィルタ、Bの波長域の光を透過するカラーフィルタの3種類のカラーフィルタに分類され、
前記3種類のカラーフィルタのうちの少なくとも前記Rの波長域の光を透過するカラーフィルタは赤外域の光も透過し、
前記光電変換層は、赤外域の光を吸収してこれに応じた電荷を発生し、且つ、それ以外の光を透過し、
前記多数の光電変換素子の一部とは、前記Rの波長域の光を透過するカラーフィルタに対応する光電変換素子である画像処理装置。
【請求項4】
請求項3記載の画像処理装置であって、
前記カラーフィルタ層が、前記基板上光電変換素子よりも上方に形成されている画像処理装置。
【請求項5】
請求項4記載の画像処理装置であって、
前記光電変換層が有機材料を含んで構成され、
前記基板上光電変換素子と前記カラーフィルタ層との間に、ALCVD法によって形成された前記基板上光電変換素子を保護するための保護層を備える画像処理装置。
【請求項6】
請求項5記載の画像処理装置であって、
前記保護層が、無機材料を含んで構成される画像処理装置。
【請求項7】
請求項6記載の画像処理装置であって、
前記保護層が、無機材料からなる無機層と、有機ポリマーからなる有機層との2層構造である画像処理装置。
【請求項8】
請求項3〜7のいずれか1項記載の画像処理装置であって、
前記撮像素子が、前記カラーフィルタ層の上方に、前記多数の光電変換素子の各々に光を集光するためのマイクロレンズを備える画像処理装置。
【請求項9】
請求項1〜8のいずれか1項記載の画像処理装置と、
前記撮像素子とを備える内視鏡装置。
【請求項10】
コンピュータを、請求項1〜8のいずれか1項記載の画像処理装置の各手段として機能させるための画像処理プログラム。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【公開番号】特開2008−85807(P2008−85807A)
【公開日】平成20年4月10日(2008.4.10)
【国際特許分類】
【出願番号】特願2006−264926(P2006−264926)
【出願日】平成18年9月28日(2006.9.28)
【出願人】(306037311)富士フイルム株式会社 (25,513)
【Fターム(参考)】
【公開日】平成20年4月10日(2008.4.10)
【国際特許分類】
【出願日】平成18年9月28日(2006.9.28)
【出願人】(306037311)富士フイルム株式会社 (25,513)
【Fターム(参考)】
[ Back to top ]