画像処理装置、内視鏡装置、及び画像処理プログラム
【課題】撮像素子から得られる撮像信号からコントラストの高い赤外画像データを生成することが可能な画像処理装置を提供する。
【解決手段】撮像素子１００から出力されるＲ（赤色）成分の撮像信号、Ｇ（緑色）成分の撮像信号、及びＢ（青色）成分の撮像信号からカラー画像データを生成するカラー画像データ生成部５４と、撮像素子１００から出力されるＩＲ（赤外）成分の撮像信号から赤外画像データを生成する赤外画像データ生成部５３と、前記カラー画像データと前記赤外画像データを用いて、前記赤外画像データのコントラストを向上させた高コントラスト赤外画像データを生成する高コントラスト赤外画像データ生成部５５とを備える。
【解決手段】撮像素子１００から出力されるＲ（赤色）成分の撮像信号、Ｇ（緑色）成分の撮像信号、及びＢ（青色）成分の撮像信号からカラー画像データを生成するカラー画像データ生成部５４と、撮像素子１００から出力されるＩＲ（赤外）成分の撮像信号から赤外画像データを生成する赤外画像データ生成部５３と、前記カラー画像データと前記赤外画像データを用いて、前記赤外画像データのコントラストを向上させた高コントラスト赤外画像データを生成する高コントラスト赤外画像データ生成部５５とを備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像素子から出力される撮像信号に画像処理を施す画像処理装置に関する。
【背景技術】
【０００２】
ＣＣＤ型やＣＭＯＳ型イメージセンサーを撮像素子とする内視鏡装置は既に医療現場で多く使われている。この内視鏡装置には大別して、モノクロ撮像可能な撮像素子を用い、ファイバーを介して被写体を照明する光源の前で、Ｒ（赤色），Ｇ（緑色），Ｂ（青色），ＩＲ（赤外）の波長域の光を透過するフィルタを、撮像素子のフィールド周波数に同期して切換える面順次撮像方式（例えば、特許文献１参照）と、照明光源はホワイト光で、Ｒ，Ｇ，Ｂの波長域の光を透過するカラーフィルタを搭載した単板式撮像素子を用いて撮像する同時撮像方式がある。
【０００３】
面順次撮像方式は、光源の前で、異なる分光透過率を有する複数のフィルタを回転させ、異なる波長の光で照明された画像を複数枚撮像した後にカラー画像を合成する方式である。このため、例えば、光源の前で切換えるフィルタにＲＧＢ透過フィルタを用いれば、１画素データにＲＧＢの３つの色情報を持たせたカラー画像データを得ることができ、血液中のヘモグロビンに吸収されやすい狭帯域化された２波長のＩＲフィルタを順次切換えれば、１画素データに赤外域の情報のみを持たせた赤外画像データを得ることができる。カラー画像データに基づく画像によれば、検査対象となる部位の外観を目視で確認することができ、赤外画像データに基づく画像によれば、検査対象となる部位の内部の粘膜表層の毛細血管や粘膜微細模様の情報等を目視で確認することができる。但し、この面順次撮像では、動きのある被写体に対しては色ずれが生じ画像妨害となってしまう。
【０００４】
一方、同時撮像方式は、撮像によってカラー画像データを得た後、このカラー画像データを画像処理することで赤外画像データを生成する方式であり、この方式によれば、動きのある被写体に対しても色ずれは生じないが、赤外画像データの情報精度は低いという問題がある。
【０００５】
【特許文献１】特許第２６４８４９４号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
このように、内視鏡装置に用いる撮像素子では、特許文献１の素子構成や画像処理等により、１画素データにＲＧＢの３つの色情報を持たせたカラー画像データと、１画素データに赤外の情報のみを持たせた赤外画像データとの２つの画像データを得ることが可能である。特に、赤外画像データについては、検査対象となる部位の内部の粘膜表層の毛細血管や粘膜微細模様の情報等の確認に用いられるため、そのコントラストは高いものが求められる。
【０００７】
本発明は、上記事情に鑑みてなされたものであり、撮像素子から得られる撮像信号からコントラストの高い赤外画像データを生成することが可能な画像処理装置を提供することを目的とする。
【課題を解決するための手段】
【０００８】
（１）撮像素子から出力される撮像信号から画像データを生成する画像処理装置であって、前記撮像素子から出力されるＲ（赤色）成分の撮像信号、Ｇ（緑色）成分の撮像信号、及びＢ（青色）成分の撮像信号からカラー画像データを生成するカラー画像データ生成手段と、前記撮像素子から出力されるＩＲ（赤外）成分の撮像信号から赤外画像データを生成する赤外画像データ生成手段と、前記カラー画像データと前記赤外画像データを用いて、前記赤外画像データのコントラストを向上させた高コントラスト赤外画像データを生成する高コントラスト赤外画像データ生成手段とを備える画像処理装置。
【０００９】
（２）（１）記載の画像処理装置であって、前記カラー画像データの画素データが、Ｒ成分のデータであるＲデータと。Ｇ成分のデータであるＧデータと、Ｂ成分のデータであるＢデータとで構成され、前記赤外画像データの画素データが、ＩＲ成分のデータであるＩＲデータで構成され、前記高コントラスト赤外画像データ生成手段は、前記カラー画像データと前記赤外画像データの各々の同一位置にある画素データを構成するＲデータに係数ｒ１を乗じた値と、Ｇデータに係数ｇ１を乗じた値と、Ｂデータに係数ｂ１を乗じた値と、ＩＲデータに係数ｉｒ１を乗じた値とを積算して、前記高コントラスト赤外画像データを生成し、前記係数ｒ１，ｇ１，ｂ１，ｉｒ１は、前記撮像素子を構成する光電変換素子のうちの前記Ｒ成分の撮像信号を出力する光電変換素子の分光感度であるＲ感度に前記係数ｒ１を乗じた値、前記撮像素子を構成する光電変換素子のうちの前記Ｇ成分の撮像信号を出力する光電変換素子の分光感度であるＧ感度に前記係数ｇ１を乗じた値、前記撮像素子を構成する光電変換素子のうちの前記Ｂ成分の撮像信号を出力する光電変換素子の分光感度であるＢ感度に前記係数ｂ１を乗じた値、及び前記撮像素子を構成する光電変換素子のうちの前記ＩＲ成分の撮像信号を出力する光電変換素子の分光感度であるＩＲ感度に前記係数ｉｒ１を乗じた値、を積算した値と、人体内部の変化を捉えるための観察対象となる物質を最もコントラスト高く撮像できる理想的な分光感度の値とが最も近くなるように決定されたものである画像処理装置。
【００１０】
（３）（２）記載の画像処理装置であって、前記観察対象となる物質がヘモグロビンである画像処理装置。
【００１１】
（４）（１）〜（３）のいずれか１つ記載の画像処理装置であって、前記カラー画像データと前記赤外画像データを用いて、前記カラー画像データの色再現性を向上させた高色再現カラー画像データを生成する高色再現カラー画像データ生成手段を備える画像処理装置。
【００１２】
（５）（４）記載の画像処理装置であって、前記高色再現カラー画像データ生成手段は、前記カラー画像データと前記赤外画像データの各々の同一位置にある画素データを構成するＲデータに係数ｒ２を乗じた値と、Ｇデータに係数ｇ２を乗じた値と、Ｂデータに係数ｂ２を乗じた値と、ＩＲデータに係数ｉｒ２を乗じた値とを積算して、前記高色再現カラー画像データの１画素データを構成するＲ成分のデータを生成し、前記Ｒデータに係数ｒ３を乗じた値と、前記Ｇデータに係数ｇ３を乗じた値と、前記Ｂデータに係数ｂ３を乗じた値と、前記ＩＲデータに係数ｉｒ３を乗じた値とを積算して、前記高色再現カラー画像データの１画素データを構成するＧ成分のデータを生成し、前記Ｒデータに係数ｒ４を乗じた値と、前記Ｇデータに係数ｇ４を乗じた値と、前記Ｂデータに係数ｂ４を乗じた値と、前記ＩＲデータに係数ｉｒ４を乗じた値とを積算して、前記高色再現カラー画像データの１画素データを構成するＢ成分のデータを生成し、前記係数ｒ２，ｇ２，ｂ２，ｉｒ２は、前記撮像素子を構成する光電変換素子のうちの前記Ｒ成分の撮像信号を出力する光電変換素子の分光感度であるＲ感度に前記係数ｒ２を乗じた値、前記撮像素子を構成する光電変換素子のうちの前記Ｇ成分の撮像信号を出力する光電変換素子の分光感度であるＧ感度に前記係数ｇ２を乗じた値、前記撮像素子を構成する光電変換素子のうちの前記Ｂ成分の撮像信号を出力する光電変換素子の分光感度であるＢ感度に前記係数ｂ２を乗じた値、及び前記撮像素子を構成する光電変換素子のうちの前記ＩＲ成分の撮像信号を出力する光電変換素子の分光感度であるＩＲ感度に前記係数ｉｒ２を乗じた値、を積算した値と、前記Ｒ成分の撮像信号を出力する光電変換素子の理想的な分光感度の値とが最も近くなるように決定されたものであり、前記係数ｒ３，ｇ３，ｂ３，ｉｒ３は、前記Ｒ感度に前記係数ｒ３を乗じた値、前記Ｇ感度に前記係数ｇ３を乗じた値、前記Ｂ感度に前記係数ｂ３を乗じた値、及び前記ＩＲ感度に前記係数ｉｒ３を乗じた値、を積算した値と、前記Ｇ成分の撮像信号を出力する光電変換素子の理想的な分光感度の値とが最も近くなるように決定されたものであり、前記係数ｒ４，ｇ４，ｂ４，ｉｒ４は、前記Ｒ感度に前記係数ｒ４を乗じた値、前記Ｇ感度に前記係数ｇ４を乗じた値、前記Ｂ感度に前記係数ｂ４を乗じた値、及び前記ＩＲ感度に前記係数ｉｒ４を乗じた値、を積算した値と、前記Ｂ成分の撮像信号を出力する光電変換素子の理想的な分光感度の値とが最も近くなるように決定されたものである画像処理装置。
【００１３】
（６）（１）〜（５）のいずれか１つ記載の画像処理装置であって、前記撮像素子が、半導体基板内の同一面上に配列された多数の光電変換素子と、前記半導体基板の上方の同一面上に形成された、前記多数の光電変換素子の一部に対応する基板上光電変換素子であって、前記半導体基板上方に形成された第一の電極、前記第一の電極上に形成された光電変換層、及び前記光電変換層上に形成された第二の電極を含んで構成される基板上光電変換素子と、前記半導体基板の上方に形成され、前記光電変換層で吸収される光の波長域とは異なる波長域の光を透過するカラーフィルタ層と、前記基板上光電変換素子で発生した電荷に応じた信号及び前記光電変換素子で発生した電荷に応じた信号をそれぞれ読み出す信号読み出し手段とを備え、前記カラーフィルタ層は、前記多数の光電変換素子の各々に対応する多数のカラーフィルタで構成され、前記多数のカラーフィルタは、Ｒの波長域の光を透過するカラーフィルタ、Ｇの波長域の光を透過するカラーフィルタ、Ｂの波長域の光を透過するカラーフィルタの３種類のカラーフィルタに分類され、前記３種類のカラーフィルタのうちの少なくとも前記Ｒの波長域の光を透過するカラーフィルタは赤外域の光も透過し、前記光電変換層は、赤外域の光を吸収してこれに応じた電荷を発生し、且つ、それ以外の光を透過し、前記多数の光電変換素子の一部とは、前記Ｒの波長域の光を透過するカラーフィルタに対応する光電変換素子である画像処理装置。
【００１４】
（７）（６）記載の画像処理装置であって、前記カラーフィルタ層が、前記基板上光電変換素子よりも上方に形成されている画像処理装置。
【００１５】
（８）（７）記載の画像処理装置であって、前記光電変換層が有機材料を含んで構成され、前記基板上光電変換素子と前記カラーフィルタ層との間に、ＡＬＣＶＤ法によって形成された前記基板上光電変換素子を保護するための保護層を備える画像処理装置。
【００１６】
（９）（８）記載の画像処理装置であって、前記保護層が、無機材料を含んで構成される画像処理装置。
【００１７】
（１０）（９）記載の画像処理装置であって、前記保護層が、無機材料からなる無機層と、有機ポリマーからなる有機層との２層構造である画像処理装置。
【００１８】
（１１）（６）〜（１０）のいずれか１つ記載の画像処理装置であって、前記撮像素子が、前記カラーフィルタ層の上方に、前記多数の光電変換素子の各々に光を集光するためのマイクロレンズを備える画像処理装置。
【００１９】
（１２）（１）〜（１１）のいずれか１つ記載の画像処理装置と、前記撮像素子とを備える内視鏡装置。
【００２０】
（１３）コンピュータを、（１）〜（１１）のいずれか１つ記載の画像処理装置の各手段として機能させるための画像処理プログラム。
【発明の効果】
【００２１】
本発明によれば、撮像素子から得られる撮像信号からコントラストの高い赤外画像データを生成することが可能な画像処理装置を提供することができる。
【発明を実施するための最良の形態】
【００２２】
以下、本発明の実施形態について図面を参照して説明する。
【００２３】
（第一実施形態）
図１は、本発明の実施形態を説明するための撮像素子の部分表面模式図である。図２は、図１に示す撮像素子のＡ−Ａ線の断面模式図である。尚、図１では、マイクロレンズ１４の図示を省略してある。
【００２４】
ｎ型シリコン基板１上にはｐウェル層２が形成されている。以下では、ｎ型シリコン基板１とｐウェル層２とを併せて半導体基板という。半導体基板上方の同一面上の行方向とこれに直交する列方向には、主としてＲの波長域の光を透過するカラーフィルタ１３ｒと、主としてＧの波長域の光を透過するカラーフィルタ１３ｇと、主としてＢの波長域の光を透過するカラーフィルタ１３ｂとの３種類のカラーフィルタがそれぞれ多数配列されている。
【００２５】
カラーフィルタ１３ｒは、公知の材料を用いることができるが、このような材料は、Ｒの波長域の光の他に、赤外域の光の一部も透過する。カラーフィルタ１３ｇは、公知の材料を用いることができるが、このような材料は、Ｇの波長域の光の他に、赤外域の光の一部も透過する。カラーフィルタ１３ｂは、公知の材料を用いることができるが、このような材料は、Ｂの波長域の光の他に、赤外域の光の一部も透過する。
【００２６】
カラーフィルタ１３ｒ，１３ｇ，１３ｂの配列は、公知の単板式固体撮像素子に用いられているカラーフィルタ配列（ベイヤー配列や縦ストライプ、横ストライプ等）を採用することができる。
【００２７】
カラーフィルタ１３ｒ下方のｐウェル層２内には、カラーフィルタ１３ｒに対応させてｎ型不純物領域（以下、ｎ領域という）３ｒが形成されており、ｎ領域３ｒとｐウェル層２とのｐｎ接合によって、カラーフィルタ１３ｒに対応するＲ光電変換素子が構成されている。
【００２８】
カラーフィルタ１３ｇ下方のｐウェル層２内には、カラーフィルタ１３ｇに対応させてｎ領域３ｇが形成されており、ｎ領域３ｇとｐウェル層２とのｐｎ接合によって、カラーフィルタ１３ｇに対応するＧ光電変換素子が構成されている。
【００２９】
カラーフィルタ１３ｂ下方のｐウェル層２内には、カラーフィルタ１３ｂに対応させてｎ領域３ｂが形成されており、ｎ領域３ｂとｐウェル層２とのｐｎ接合によって、カラーフィルタ１３ｂに対応するＢ光電変換素子が構成されている。
【００３０】
ｎ領域３ｒ上方には透明電極７ｒが形成され、ｎ領域３ｇ上方には透明電極７ｇが形成され、ｎ領域３ｂ上方には透明電極７ｂが形成されている。透明電極７ｒ，７ｇ，７ｂは、それぞれカラーフィルタ１３ｒ，１３ｇ，１３ｂの各々に対応して分割されている。透明電極７ｒ，７ｇ，７ｂは、それぞれ、可視光及び赤外光に対して透明な材料で構成され、例えばＩＴＯやＩＺＯ等を用いることができる。透明電極７ｒ，７ｇ，７ｂは、それぞれ、絶縁層８内に埋設されている。
【００３１】
透明電極７ｒ，７ｇ，７ｂの各々の上には、主として波長５８０ｎｍ以上の赤外域の光を吸収してこれに応じた電荷を発生し、赤外域以外の可視域（波長約３８０ｎｍ〜約５８０ｎｍ）の光を透過する、カラーフィルタ１３ｒ，１３ｇ，１３ｂの各々で共通の一枚構成である光電変換層９が形成されている。光電変換層９を構成する材料は、例えば、フタロシアニン系有機材料やナフタロシアニン系有機材料を用いる。
【００３２】
光電変換層９上には、カラーフィルタ１３ｒ，１３ｇ，１３ｂの各々で共通の一枚構成である透明電極１０が形成されている。透明電極１０は、可視光及び赤外光に対して透明な材料で構成され、例えばＩＴＯやＩＺＯ等を用いることができる。
【００３３】
透明電極７ｒと、それに対向する透明電極１０と、これらに挟まれる光電変換層９の一部とにより、カラーフィルタ１３ｒに対応する光電変換素子が形成される。以下では、この光電変換素子を、半導体基板上に形成されたものであるため、Ｒ基板上光電変換素子という。
【００３４】
透明電極７ｇと、それに対向する透明電極１０と、これらに挟まれる光電変換層９の一部とにより、カラーフィルタ１３ｇに対応する光電変換素子が形成される。以下では、この光電変換素子をＧ基板上光電変換素子という。
【００３５】
透明電極７ｂと、それに対向する透明電極１０と、これらに挟まれる光電変換層９の一部とにより、カラーフィルタ１３ｂに対応する光電変換素子が形成される。以下では、この光電変換素子をＢ基板上光電変換素子という。
【００３６】
ｐウェル層２内のｎ領域３ｒの隣には、Ｒ基板上光電変換素子の光電変換層９で発生した電荷を蓄積するための高濃度のｎ型不純物領域（以下、ｎ＋領域という）４ｒが形成されている。尚、ｎ＋領域４ｒに光が入るのを防ぐために、ｎ＋領域４ｒ上には遮光膜を設けておくことが好ましい。
【００３７】
ｐウェル層２内のｎ領域３ｇの隣には、Ｇ基板上光電変換素子の光電変換層９で発生した電荷を蓄積するためのｎ＋領域４ｇが形成されている。尚、ｎ＋領域４ｇに光が入るのを防ぐために、ｎ＋領域４ｇ上には遮光膜を設けておくことが好ましい。
【００３８】
ｐウェル層２内のｎ領域３ｂの隣には、Ｂ基板上光電変換素子の光電変換層９で発生した電荷を蓄積するためのｎ＋領域４ｂが形成されている。尚、ｎ＋領域４ｂに光が入るのを防ぐために、ｎ＋領域４ｂ上には遮光膜を設けておくことが好ましい。
【００３９】
ｎ＋領域４ｒ上にはアルミニウム等の金属からなるコンタクト部６ｒが形成され、コンタクト部６ｒ上に透明電極７ｒが形成されており、ｎ＋領域４ｒと透明電極７ｒはコンタクト部６ｒによって電気的に接続されている。コンタクト部６ｒは、可視光及び赤外光に対して透明な絶縁層５内に埋設されている。
【００４０】
ｎ＋領域４ｇ上にはアルミニウム等の金属からなるコンタクト部６ｇが形成され、コンタクト部６ｇ上に透明電極７ｇが形成されており、ｎ＋領域４ｇと透明電極７ｇはコンタクト部６ｇによって電気的に接続されている。コンタクト部６ｇは絶縁層５内に埋設されている。
【００４１】
ｎ＋領域４ｂ上にはアルミニウム等の金属からなるコンタクト部６ｂが形成され、コンタクト部６ｂ上に透明電極７ｂが形成されており、ｎ＋領域４ｂと透明電極７ｂはコンタクト部６ｂによって電気的に接続されている。コンタクト部６ｂは絶縁層５内に埋設されている。
【００４２】
ｐウェル層２内のｎ領域３ｒ，３ｇ，３ｂ、ｎ＋領域４ｒ，４ｇ，４ｂが形成されている以外の領域には、Ｒ光電変換素子で発生してｎ領域３ｒに蓄積された電荷に応じた信号及びｎ＋領域４ｒに蓄積された電荷に応じた信号をそれぞれ読み出すための信号読み出し部５ｒと、Ｇ光電変換素子で発生してｎ領域３ｇに蓄積された電荷に応じた信号及びｎ＋領域４ｇに蓄積された電荷に応じた信号をそれぞれ読み出すための信号読み出し部５ｇと、Ｂ光電変換素子で発生してｎ領域３ｂに蓄積された電荷に応じた信号及びｎ＋領域４ｂに蓄積された電荷に応じた信号をそれぞれ読み出すための信号読み出し部５ｂとが形成されている。信号読み出し部５ｒ，５ｇ，５ｂは、それぞれ、ＣＣＤやＭＯＳ回路を用いた公知の構成を採用することができる。尚、信号読み出し部５ｒ，５ｇ，５ｂに光が入るのを防ぐために、信号読み出し部５ｒ，５ｇ，５ｂ上には遮光膜を設けておくことが好ましい。
【００４３】
図３は、図２に示す信号読み出し部５ｒの具体的な構成例を示す図である。図３において図１，２と同様の構成には同一符号を付してある。尚、信号読み出し部５ｒ，５ｇ，５ｂの各々の構成は同一であるため、信号読み出し部５ｇ，５ｂの説明は省略する。
【００４４】
信号読み出し部５ｒは、ドレインがｎ＋領域４ｒに接続され、ソースが電源Ｖｎに接続されたリセットトランジスタ４３と、ゲートがリセットトランジスタ４３のドレインに接続され、ソースが電源Ｖｃｃに接続された出力トランジスタ４２と、ソースが出力トランジスタ４２のドレインに接続され、ドレインが信号出力線４５に接続された行選択トランジスタ４１と、ドレインがｎ領域３ｒに接続され、ソースが電源Ｖｎに接続されたリセットトランジスタ４６と、ゲートがリセットトランジスタ４６のドレインに接続され、ソースが電源Ｖｃｃに接続された出力トランジスタ４７と、ソースが出力トランジスタ４７のドレインに接続され、ドレインが信号出力線４９に接続された行選択トランジスタ４８とを備える。
【００４５】
透明電極７ｒと透明電極１０間にバイアス電圧を印加することで、光電変換層９に入射した光に応じて電荷が発生し、この電荷が透明電極７ｒを介してｎ＋領域４ｒへと移動する。ｎ＋領域４ｒに蓄積された電荷は、出力トランジスタ４２でその電荷量に応じた信号に変換される。そして、行選択トランジスタ４１をＯＮにすることで信号出力線４５に信号が出力される。信号出力後は、リセットトランジスタ４３によってｎ＋領域４ｒ内の電荷がリセットされる。
【００４６】
Ｒ光電変換素子で発生してｎ領域３ｒに蓄積された電荷は、出力トランジスタ４７でその電荷量に応じた信号に変換される。そして、行選択トランジスタ４８をＯＮにすることで信号出力線４９に信号が出力される。信号出力後は、リセットトランジスタ４６によってｎ領域３ｒ内の電荷がリセットされる。
【００４７】
このように、信号読み出し部５ｒは、３トランジスタからなる公知のＭＯＳ回路で構成することができる。
【００４８】
図２に戻り、光電変換層９上には、基板上光電変換素子を保護するための２層構造の保護層１１，１２が形成され、保護層１２上にカラーフィルタ１３ｒ，１３ｇ，１３ｂが形成され、カラーフィルタ１３ｒ，１３ｇ，１３ｂの各々の上には、各々に対応するｎ領域３ｒ，３ｇ，３ｂに光を集光するためのマイクロレンズ１４が形成されている。
【００４９】
撮像素子１００は、光電変換層９を形成した後に、カラーフィルタ１３ｒ，１３ｇ，１３ｂやマイクロレンズ１４等を形成することで製造するが、カラーフィルタ１３ｒ，１３ｇ，１３ｂやマイクロレンズ１４は、フォトリソグラフィ工程やベーク工程を含むため、光電変換層９として有機材料を用いた場合、光電変換層９が露出した状態で、このフォトリソグラフィ工程やベーク工程が行われると、光電変換層９の特性が劣化してしまう。撮像素子１００では、このような製造工程に起因する光電変換層９の特性劣化を防止するために、保護層１１，１２が設けられている。
【００５０】
保護層１１は、ＡＬＣＶＤ法によって形成した無機材料からなる無機層であることが好ましい。ＡＬＣＶＤ法は原子層ＣＶＤ法であり緻密な無機層を形成することが可能で、光電変換層９の有効な保護層となり得る。ＡＬＣＶＤ法はＡＬＥ法もしくはＡＬＤ法としても知られている。ＡＬＣＶＤ法により形成した無機層は、好ましくはＡｌ２Ｏ３、ＳｉＯ２，ＴｉＯ２，ＺｒＯ２，ＭｇＯ，ＨｆＯ２，Ｔａ２Ｏ５からなり、より好ましくはＡｌ２Ｏ３、ＳｉＯ２からなり、最も好ましくはＡｌ２Ｏ３からなる。
【００５１】
保護層１２は、光電変換層９の保護性能をより向上させるために保護層１１上に形成されたものであり、有機ポリマーからなる有機層であることが好ましい。有機ポリマーとしてはパリレンが好ましく、パリレンＣがより好ましい。尚、保護層１２は省略しても良く、又、保護層１１と保護層１２の配置を逆にしても良い。光電変換層９の保護効果が特に高いのは、図２に示した構成である。
【００５２】
以上のような構成の撮像素子１００では、入射光のうちのカラーフィルタ１３ｒを透過した光のうちの赤外域の光が光電変換層９で吸収され、ここで赤外域の光に応じた電荷が発生する。同様に、入射光のうちのカラーフィルタ１３ｇを透過した光のうちの赤外域の光が光電変換層９で吸収され、ここで赤外域の光に応じた電荷が発生する。同様に、入射光のうちのカラーフィルタ１３ｂを透過した光のうちの赤外域の光が光電変換層９で吸収され、ここで赤外域の光に応じた電荷が発生する。
【００５３】
透明電極７ｒと透明電極１０に所定のバイアス電圧を印加すると、Ｒ基板上光電変換素子を構成する光電変換層９で発生した電荷が透明電極７ｒとコンタクト部６ｒを介してｎ＋領域４ｒに移動し、ここに蓄積される。そして、ｎ＋領域４ｒに蓄積された電荷に応じた信号が、信号読み出し部５ｒによって読み出され、撮像素子１００外部に出力される。
【００５４】
同様に、透明電極７ｇと透明電極１０に所定のバイアス電圧を印加すると、Ｇ基板上光電変換素子を構成する光電変換層９で発生した電荷が透明電極７ｇとコンタクト部６ｇを介してｎ＋領域４ｇに移動し、ここに蓄積される。そして、ｎ＋領域４ｇに蓄積された電荷に応じた信号が、信号読み出し部５ｇによって読み出され、撮像素子１００外部に出力される。
【００５５】
同様に、透明電極７ｂと透明電極１０に所定のバイアス電圧を印加すると、Ｂ基板上光電変換素子を構成する光電変換層９で発生した電荷が透明電極７ｂとコンタクト部６ｂを介してｎ＋領域４ｂに移動し、ここに蓄積される。そして、ｎ＋領域４ｂに蓄積された電荷に応じた信号が、信号読み出し部５ｂによって読み出され、撮像素子１００外部に出力される。
【００５６】
又、カラーフィルタ１３ｒを透過して光電変換層９を透過したＲの波長域の光は、Ｒ光電変換素子に入射し、入射光量に応じた電荷がｎ領域３ｒに蓄積される。同様に、カラーフィルタ１３ｇを透過して光電変換層９を透過したＧの波長域の光は、Ｇ光電変換素子に入射し、入射光量に応じた電荷がｎ領域３ｇに蓄積される。同様に、カラーフィルタ１３ｂを透過して光電変換層９を透過したＢの波長域の光は、Ｂ光電変換素子に入射し、入射光量に応じた電荷がｎ領域３ｂに蓄積される。ｎ領域３ｒ，３ｇ，３ｂに蓄積された電荷は、信号読出し部５ｒ，５ｇ，５ｂによって読み出され、撮像素子１００外部に出力される。
【００５７】
ｎ領域３ｒ，３ｇ，３ｂから読み出されて出力された信号の配列は、図１のようなカラーフィルタ配列の単板式カラー固体撮像素子から出力される信号の配列と同様となるため、単板式カラー固体撮像素子で用いられる信号処理を行うことで、１つの画素データにＲ，Ｇ，Ｂの３つの色成分のデータを持たせたカラー画像データを生成することができる。又、ｎ＋領域４ｒ，４ｇ，４ｂから読み出されて出力された信号により、１つの画素データに赤外の色成分のデータを持たせた赤外画像データを生成することができる。
【００５８】
このように、撮像素子１００は、Ｒ光電変換素子で発生した電荷に応じたＲ成分の信号と、Ｇ光電変換素子で発生した電荷に応じたＧ成分の信号と、Ｂ光電変換素子で発生した電荷に応じたＢ成分の信号と、Ｒ基板上光電変換素子で発生した電荷に応じたＩＲ成分の信号と、Ｇ基板上光電変換素子で発生した電荷に応じたＩＲ成分の信号と、Ｂ基板上光電変換素子で発生した電荷に応じたＩＲ成分の信号とを外部に出力することができる。このため、撮像素子１００を用いれば、１回の撮像で、カラー画像データと赤外画像データの２種類の画像データを得ることができる。したがって、この撮像素子１００を、例えば、人体の検査対象となる部位の外観映像と、その部位の内部映像とが必要となる内視鏡装置の撮像素子として利用することができる。
【００５９】
次に、撮像素子１００の分光感度特性について説明する。
まず、半導体基板内に形成される各光電変換素子（ＰＤ）の分光感度特性を図４に示すものとし、光電変換層９の分光感度特性を図４に示すものとし、光電変換層９の分光透過率を図４に示すものとし、カラーフィルタ１３ｒ，１３ｇ，１３ｂの分光透過率を図５に示すものとする。図４において縦軸は１を基準にしたときの分光感度又は分光透過率、横軸は光の波長を示す。図５において縦軸は１を基準にしたときの分光透過率、横軸は光の波長を示す。
【００６０】
このように特性が決まると、Ｒ光電変換素子の分光感度特性は、光電変換層９の分光透過率とカラーフィルタ１３ｒの分光透過率との積となり、Ｇ光電変換素子の分光感度特性は、光電変換層９の分光透過率とカラーフィルタ１３ｇの分光透過率との積となり、Ｂ光電変換素子の分光感度特性は、光電変換層９の分光透過率とカラーフィルタ１３ｂの分光透過率との積となり、それぞれ図６に示すような特性となる。尚、図６において縦軸は１を基準にしたときの分光感度、横軸は光の波長を示す。
【００６１】
又、Ｒ基板上光電変換素子の分光感度特性は、光電変換層９の分光感度とカラーフィルタ１３ｒの分光透過率との積となり、Ｇ基板上光電変換素子の分光感度特性は、光電変換層９の分光感度とカラーフィルタ１３ｇの分光透過率との積となり、Ｂ基板上光電変換素子の分光感度特性は、光電変換層９の分光感度とカラーフィルタ１３ｂの分光透過率との積となり、それぞれ図６に示すような特性となる。
【００６２】
ここで、各基板上光電変換素子の分光感度特性を調整するために、図７に示すような分光透過率を有する補正フィルタを撮像素子１００の光入射面側に配置すると、撮像素子１００の分光感度特性は図８に示すものとなる。図７において縦軸は１を基準にしたときの分光透過率、横軸は光の波長を示す。図８において縦軸は１を基準にしたときの分光感度、横軸は光の波長を示す。
【００６３】
図９は、酸化ヘモグロビン（ｏｘｙ）と還元ヘモグロビン（ｄｅｏｘｙ）の分光反射率を示した図である。図９において縦軸は１を基準にしたときの分光反射率、横軸は光の波長を示す。
【００６４】
図９から分かるように、酸化ヘモグロビンと還元ヘモグロビンは、波長５８０ｎｍ〜７８０ｎｍの波長域で双方の反射率の差が大きくなるため、この波長域に感度を有する光電変換素子を用いれば、ヘモグロビンの状態変化をコントラスト高く画像化できる。図８に示したように、撮像素子１００は、Ｒ基板上光電変換素子が波長５８０ｎｍ〜７８０ｎｍの波長域に強く感度を有しているため、このＲ基板上光電変換素子から得られる信号を用いて赤外画像データを生成することで、検査対象となる部位のＲＧＢカラーの外観画像と、その部位のヘモグロビンの状態変化を知るための画像とを、１回の撮像で得ることが可能となる。
【００６５】
Ｒ基板上光電変換素子から得られる信号のみを用いて赤外画像データを生成する場合には、Ｇ基板上光電変換素子及びＢ基板上光電変換素子の各々から得られる信号の位置に、その位置周辺にあるＲ基板上光電変換素子から得られた信号を用いて信号を補間して、カラー画像データと同一解像度の赤外画像データを生成しても良いし、Ｒ基板上光電変換素子から得られた信号のみを用いてカラー画像データの１／３の解像度の赤外画像データを生成しても良い。又は、行方向に並ぶＲ基板上光電変換素子、Ｇ基板上光電変換素子、及びＢ基板上光電変換素子の３つの光電変換素子の各々から得られる信号を加算して１つの信号とし、この信号を基に、カラー画像データの１／３の解像度の赤外画像データを生成しても良い。
【００６６】
撮像素子１００を用いれば、カラー画像データと赤外画像データとの２種類の画像データを得ることができるが、このような効果は、撮像素子１００に用いるカラーフィルタとして原色系以外に補色系を用いた場合でも得ることができる。又、２種類の画像データを得ることはできないが、撮像素子１００のカラーフィルタの配色と光電変換層で吸収させる光の波長域とを調整することで、単板式の撮像素子よりも高解像度のＲＧＢ画像データを得ることも可能となる。これらの効果を得るための撮像素子１００の構成例を図１０に示す。図１０においては、撮像素子１００を構成する構成要素のうち、半導体基板内に形成される光電変換素子（ＰＤ）と、そのＰＤ上方に形成される光電変換層と、その光電変換層上方に形成されるカラーフィルタ以外の構成要素を省略してある。
【００６７】
図１０（ａ）に示す撮像素子は、図１，２に示す撮像素子１００において、カラーフィルタ１３ｒをＣｙ（シアン）の波長域の光及び赤外域の光の一部を透過するＣｙフィルタに変更し、カラーフィルタ１３ｇをＭｇ（マゼンタ）の波長域の光及び赤外域の光の一部を透過するＭｇフィルタに変更し、カラーフィルタ１３ｂをＹｅ（イエロー）の波長域の光と赤外域の光の一部を透過するＹｅフィルタに変更したものである。Ｃｙフィルタ、Ｍｇフィルタ、及びＹｅフィルタは、それぞれ公知の材料を用いれば良い。
【００６８】
この構成によれば、半導体基板内の光電変換素子から得られるＣｙ，Ｍｇ，Ｙｅの信号からカラー画像データを生成し、光電変換層から得られる信号から赤外画像データを生成することができる。尚、ＣｙフィルタとＭｇフィルタとＹｅフィルタの配列は、カラー画像が再現できるようなものとしておけば良い。
【００６９】
図１０（ｂ）に示す撮像素子は、図１，２に示す撮像素子１００において、カラーフィルタ１３ｒをＣｙフィルタに変更し、カラーフィルタ１３ｂをＹｅフィルタに変更したものである。
【００７０】
この構成によれば、半導体基板内の光電変換素子から得られるＣｙ，Ｇ，Ｙｅの信号からカラー画像データを生成し、光電変換層から得られる信号から赤外画像データを生成することができる。尚、ＣｙフィルタとＧフィルタとＹｅフィルタの配列は、カラー画像が再現できるようなものとしておけば良い。
【００７１】
図１０（ｃ）に示す撮像素子は、図１，２に示す撮像素子１００において、カラーフィルタ１３ｒをＣｙフィルタに変更し、カラーフィルタ１３ｇを赤外域の光を透過するＩＲフィルタに変更し、光電変換層９をＧの波長域の光を吸収してこれに応じた信号電荷を発生し且つＧの波長域以外の光を透過するＧ光電変換層に変更し、カラーフィルタ１３ｂをＹｅフィルタに変更したものである。Ｇ光電変換層を構成する材料としては、無機材料の場合は、例えば、ＩｎＧａＡｌＰやＧａＰＡｓを用いることができ、有機材料の場合は、例えば、Ｒ６Ｇ／ＰＭＰＳ（rhodamine 6G (R6G)-doped polymethylphenylsilane）を用いることができる。
【００７２】
この構成によれば、半導体基板内の光電変換素子から得られるＢ，Ｒの信号と、光電変換層から得られるＧの信号からカラー画像データを生成し、ＩＲフィルタ下方の光電変換素子から得られるＩＲ信号から赤外画像データを生成することができる。尚、ＣｙフィルタとＹｅフィルタの配列は、カラー画像が再現できるようなものとしておけば良く、ＩＲフィルタの配列は、赤外画像が再現できるようなものとしておけば良い。
【００７３】
図１０（ｄ）に示す撮像素子は、図１，２に示す撮像素子１００において、カラーフィルタ１３ｒ，１３ｂをそれぞれＣｙフィルタに変更し、カラーフィルタ１３ｇをＹｅフィルタに変更し、光電変換層９をＧ光電変換層に変更したものである。
【００７４】
この構成によれば、半導体基板内の光電変換素子から得られるＢ，Ｒの信号と、光電変換層から得られるＧの信号からカラー画像データを生成することができる。この構成は、１撮像点あたり２色の原色系の信号が得られるため、単板式の撮像素子に比べて解像度を向上させることができる。
【００７５】
尚、以上の説明では、撮像素子１００に用いるカラーフィルタが２種類又は３種類の場合を説明したが、これは４種類以上であっても、同様の効果を得ることが可能である。又、カラーフィルタが１種類であっても良い。この場合は、例えば、図２に示す構成において、カラーフィルタ１３ｒ，１３ｇ，１３ｂの代わりに、Ｇの波長域の光を透過する１枚構成のＧカラーフィルタを設けた構成とすれば良い。
【００７６】
この構成によれば、半導体基板内の光電変換素子から得られる信号により、モノクロの画像データを生成することができ、光電変換層９から得られる信号により、赤外画像データを生成することができる。又、この構成にした場合は、光電変換層上方に設けるカラーフィルタの分光透過率によって、その光電変換層の分光感度特性を調整することができるというメリットもある。
【００７７】
又、以上の説明では、半導体基板上方に光電変換層を設け、その上方にカラーフィルタを設けるものとしたが、光電変換層とカラーフィルタの配置を逆にしても同様の効果を得ることができる。
【００７８】
又、以上の説明では、カラーフィルタ１３ｒ，１３ｇ，１３ｂが、それぞれ赤外域の光も透過してしまうものとしたが、赤外域の光を透過させないような分光透過率を有するフィルタを用いることも可能である。ただし、全てのカラーフィルタが赤外域の光を透過しないものとなってしまうと、赤外画像データを生成できなくなってしまうため、１種類以上のカラーフィルタのうちの少なくとも１つは、赤外域の光を透過させる機能を持たせる必要がある。
【００７９】
又、以上の説明では、Ｒ基板上光電変換素子とＧ基板上光電変換素子とＢ基板上光電変換素子の３種類の基板上光電変換素子を設けるものとしたが、赤外画像データを得るためには、これらのうちの少なくとも１つが存在していれば十分である。図６及び図８に示すように、Ｒ基板上光電変換素子は赤外域に最も感度を持っているため、このＲ基板上光電変換素子から出力される信号を用いて赤外画像データを生成することが最も好ましい。Ｇ基板上光電変換素子を省略する場合には、図２に示す構成において、透明電極７ｇと、コンタクト部６ｇと、ｎ＋領域４ｇとを省略した構成とすれば良い。Ｂ基板上光電変換素子を省略する場合には、図２に示す構成において、透明電極７ｂと、コンタクト部６ｂと、ｎ＋領域４ｂとを省略した構成とすれば良い。
【００８０】
又、図１０（ｃ）に示したような構成の場合には、撮像素子に設ける基板上光電変換素子を、ＩＲフィルタに対応する基板上光電変換素子だけにしてしまうと、この基板上光電変換素子からはＧ成分の信号をほとんど得ることができず、カラー画像データの生成に支障をきたしてしまう。このため、図１０（ｃ）に示す構成の場合には、Ｃｙフィルタに対応する基板上光電変換素子かＹｅフィルタに対応する基板上光電変換素子を少なくとも設けておく必要がある。
【００８１】
次に、撮像素子１００の製造方法を説明する。撮像素子１００は次の（Ａ）〜（Ｃ）の工程で製造することができる。
（Ａ）ＣＭＯＳ基板→透明電極の形成
・シリコン基板上に従来ＣＭＯＳセンサと同様にｎ領域３ｒ，３ｇ，３ｂ及び信号読出し部を形成。
・更に、ｎ＋領域４ｒ，４ｇ，４ｂ及び信号読出し部を形成。
・シリコン基板上に絶縁層５を形成し、この上に透明電極７ｒ，７ｇ，７ｂを形成し、各透明電極７ｒ，７ｇ，７ｂと各ｎ＋領域４ｒ，４ｇ，４ｂをビアプラグを用いてコンタクトする。
・透明電極７ｒ，７ｇ，７ｂ間の間隙は絶縁材料で埋め合わせ、透明電極７ｒ，７ｇ，７ｂ表面を、絶縁材部分を含めＣＭＰを用いて平坦化する。
以上のプロセスを半導体プロセスで行なう。
（Ｂ）光電変換層の形成
・透明電極７ｒ，７ｇ，７ｂ上に光電変換層９を形成。
・更に透明電極１０を形成。透明電極１０は図示しないパッドにコンタクトされ、外部電源によりバイアス電圧が印加される。
以上のプロセスを真空蒸着プロセスで行なう
（Ｃ）マイクロレンズ及びカラーフィルタの形成
・光電変換層９上に、例えば、ＡＬＣＶＤ法でアルミナ保護層を形成し、更にパリレンＣ保護層を形成。
・次にモザイクカラーフィルタを形成する。モザイクカラーフィルタは、Ｇレジスト塗布→パターン露光→現像→ポストベーク、Ｂレジスト塗布→パターン露光→現像→ポストベーク、Ｒレジスト塗布→パターン露光→現像→ポストベークの順番で形成。
・最後にマイクロレンズを形成する。マイクロレンズは、レジスト塗布→ポストベーク→レジスト塗布→パターン露光→現像→メルトの順番で形成する。
【００８２】
（第二実施形態）
本実施形態では、第一実施形態で説明したようなカラー画像データと赤外画像データを得ることが可能な撮像素子１００を内視鏡装置に適用した形態について説明する。
【００８３】
図１１は、第二実施形態を説明するための内視鏡装置の概略構成を示す図である。
図１１に示す内視鏡装置は、検査対象となる部位を照明するための白色光源５０と、撮影レンズや絞り等の光学系５１と、光学系５１を通過した光を受光する図１，２に示した構成の撮像素子１００と、撮像素子１００の光電変換層９の分光感度特性を補正するために撮像素子１００と光学系５１との間に配置された補正フィルタ５２と、撮像素子１００の光電変換層９で発生した電荷に応じた信号に基づいて赤外画像データを生成する赤外画像データ生成部５３と、撮像素子１００のＲ光電変換素子、Ｇ光電変換素子、及びＢ光電変換素子の各々で発生した電荷に応じた信号に基づいてカラー画像データを生成するカラー画像データ生成部５４と、赤外画像データ生成部５３で生成された赤外画像データとカラー画像データ生成部５４で生成されたカラー画像データとを用いた演算処理により、赤外画像データ生成部５３で生成された赤外画像データのコントラストを向上させた高コントラスト赤外画像データを生成する高コントラスト赤外画像データ生成部５５と、高コントラスト赤外画像データ生成部５５で生成された高コントラスト赤外画像データに強調処理を施す画像強調部５７と、赤外画像データ生成部５３で生成された赤外画像データとカラー画像データ生成部５４で生成されたカラー画像データとを用いた演算処理により、カラー画像データ生成部５４で生成されたカラー画像データの色再現性を向上させた高色再現カラー画像データを生成する高色再現カラー画像データ生成部５６と、強調処理後の高コントラスト赤外画像データに基づく画像及び高色再現カラー画像データに基づく画像を表示装置５９に表示させる制御を行う表示制御部５８とを備える。
【００８４】
図１１に示す内視鏡装置に用いる撮像素子１００は、Ｒの波長域の光に応じたＲ成分の信号と、Ｇの波長域の光に応じたＧ成分の信号と、Ｂの波長域の光に応じたＢ成分の信号と、赤外域の光に応じたＩＲ成分の信号との４種類の信号を出力することができるものであれば良く、図１，２に示したような構成に限定されない。例えば、図１０（ｃ）に示したような構成の撮像素子であっても良いし、Ｒ又はＣｙの波長域の光を透過するカラーフィルタ、Ｇ又はＭｇの波長域の光を透過するカラーフィルタ、Ｂ又はＹｅの波長域の光を透過するカラーフィルタ、及び赤外域の光を透過するカラーフィルタの４つを半導体基板上方の同一面上にモザイク状に配列した単板式の撮像素子であっても良い。尚、撮像素子１００の分光感度特性は、例えば図８に示したのものとなる。
【００８５】
カラー画像データ生成部５４は、撮像素子１００のＲ光電変換素子で発生した電荷に応じた信号（以下、Ｒ信号という）と、撮像素子１００のＧ光電変換素子で発生した電荷に応じた信号（以下、Ｇ信号という）と、撮像素子１００のＢ光電変換素子で発生した電荷に応じた信号（以下、Ｂ信号という）とを撮像素子１００から取得し、こられの信号を用いて、公知の手法により、カラー画像データを生成する。
【００８６】
赤外画像データ生成部５３は、撮像素子１００のＲ基板上光電変換素子で発生した電荷に応じた信号（以下、ＩＲｒ信号という）から、信号補間等を行って、カラー画像データと同一解像度の赤外画像データを生成する。
【００８７】
図１２は、酸化ヘモグロビンと還元ヘモグロビンの分光反射率を示した図である。図１２において、縦軸は１を基準にしたときの分光反射率、横軸は光の波長を示す。図１２において、縦軸を、１を基準にしたときの光電変換素子の分光感度としたときに、図１２に示すＲｅａｌ曲線のような分光感度を有する光電変換素子でヘモグロビンを撮像すれば、ヘモグロビンの状態変化を最もコントラスト高く検出することができる。
【００８８】
そこで、高コントラスト赤外画像データ生成部５５は、Ｒ基板上光電変換素子から得られたＩＲｒ信号が、図１２のＲｅａｌ曲線に示すような分光感度特性を持つ光電変換素子から得られた信号に近づくような演算処理を行うことで、赤外画像データのコントラストを向上させることを可能にしている。
【００８９】
具体的に、高コントラスト赤外画像データ生成部５５は、以下の式（１）で示す演算を行って高コントラスト赤外画像データを生成する。
Ｉ（ｘ，ｙ）＝ｒ１×Ｒ（ｘ，ｙ）＋ｇ１×Ｇ（ｘ，ｙ）＋ｂ１×Ｂ（ｘ，ｙ）＋ｉｒ１×ＩＲ（ｘ，ｙ）・・・式（１）
Ｉ（ｘ，ｙ）は、高コントラスト赤外画像データの座標（ｘ，ｙ）における画素データを示す。
Ｒ（ｘ，ｙ）は、カラー画像データの座標（ｘ，ｙ）におけるＲ成分の画素データを示す。
Ｇ（ｘ，ｙ）は、カラー画像データの座標（ｘ，ｙ）におけるＧ成分の画素データを示す。
Ｂ（ｘ，ｙ）は、カラー画像データの座標（ｘ，ｙ）におけるＢ成分の画素データを示す。
ＩＲ（ｘ，ｙ）は、赤外画像データの座標（ｘ，ｙ）におけるＩＲ成分の画素データを示す。
ｒ１，ｇ１，ｂ１，ｉｒ１は、Ｒ光電変換素子の分光感度特性と、Ｇ光電変換素子の分光感度特性と、Ｂ光電変換素子の分光感度特性と、Ｒ基板上光電変換素子の分光感度特性と、図１２のＲｅａｌ曲線で表される分光感度特性とに基づいて決められた係数を示す。
【００９０】
係数ｒ１，ｇ１，ｂ１，ｉｒ１は、図８に示したＲ光電変換素子の波長λにおける分光感度をＲ（λ）とし、図８に示したＧ光電変換素子の波長λにおける分光感度をＧ（λ）とし、図８に示したＢ光電変換素子の波長λにおける分光感度をＢ（λ）とし、図８に示したＲ基板上光電変換素子の波長λにおける分光感度をＩＲ（λ）とし、図１２に示したＲｅａｌ曲線で示す特性を持つ光電変換素子の波長λにおける分光感度をＲｅａｌ（λ）としたとき、Ｒｅａｌ（λ）と、以下の式（２）の演算で得られる値とが最も近くなるように最小二乗法によって決定される。決定された係数データは、内視鏡装置内の図示しないメモリに予め記憶される。
【００９１】
ｒ１×Ｒ（λ）＋ｇ１×Ｇ（λ）＋ｂ１×Ｂ（λ）＋ｉｒ１×ＩＲ（λ）・・・式（２）
【００９２】
図１３は、上記の方法で決定された係数を用いて式（２）を演算した結果得られる分光感度特性を示す図である。図１３において、縦軸は１を基準にしたときの分光感度、横軸は光の波長を示す。図１３に示す曲線Ｉが、式（１）の演算で得られる高コントラスト赤外画像データを得ることができる仮想的な光電変換素子の分光感度特性となる。
【００９３】
図１４は、図１３に示す分光感度特性を持つ光電変換素子でヘモグロビンからの光を検出した場合の酸化ヘモグロビンと還元ヘモグロビンの検出感度を示した図である。図１４において、縦軸は１を基準にしたときの分光感度、横軸は光の波長を示す。図１５は、図８に示すＲ基板上光電変換素子の分光感度特性を示す図である。図１５において、縦軸は１を基準にしたときの分光感度、横軸は光の波長を示す。図１６は、図１５に示す分光感度特性を持つＲ基板上光電変換素子でヘモグロビンからの光を検出した場合の酸化ヘモグロビンと還元ヘモグロビンの検出感度を示した図である。図１６において、縦軸は１を基準にしたときの分光感度、横軸は光の波長を示す。
【００９４】
図１４と図１６を比較すると、図１４に示す酸化ヘモグロビンの波形Ｉ（ｏｘｙ）と分光感度＝０の直線とで囲まれる面積Ａを、図１４に示す還元ヘモグロビンの波形Ｉ（ｄｅｏｘｙ）と分光感度＝０の直線とで囲まれる面積Ｂで割った値で表される高コントラスト赤外画像データのコントラスト比は１．３１８であり、図１６に示す酸化ヘモグロビンの波形Ｉｒ（ｏｘｙ）と分光感度＝０の直線とで囲まれる面積Ｃを、図１６に示す還元ヘモグロビンの波形Ｉｒ（ｄｅｏｘｙ）と分光感度＝０の直線とで囲まれる面積Ｄで割った値で表される赤外画像データのコントラスト比は１．１６６であり、式（１）に示した演算処理を行うことで、赤外画像データのコントラストを向上させられることが分かる。
【００９５】
本実施形態の内視鏡装置に用いる撮像素子は、ＩＲ信号を出力する必要があるため、通常のデジタルカメラに設けるような赤外カットフィルタを撮像素子の前面に配置することができない。本実施形態では、光電変換層９の分光感度特性を補正するための補正フィルタ５２を設けているため、Ｒ光電変換素子、Ｇ光電変換素子、及びＢ光電変換素子の各々は、赤外域の光にほとんど感度を持たないが、それでも多少の感度は持ってしまう。この結果、カラー画像データの色再現性が低下するおそれがある。
【００９６】
そこで、高色再現カラー画像データ生成部５６は、Ｒ光電変換素子から得られたＲ信号が、図１７に示したスタンダードＲＧＢ理想撮像特性で規定される理想的な分光感度特性を持つｒ光電変換素子から得られる信号に近づくような演算処理を行い、Ｇ光電変換素子から得られたＧ信号が、図１７に示したスタンダードＲＧＢ理想撮像特性で規定される理想的な分光感度特性を持つｇ光電変換素子から得られる信号に近づくような演算処理を行い、Ｂ光電変換素子から得られたＢ信号が、図１７に示したスタンダードＲＧＢ理想撮像特性で規定される理想的な分光感度特性を持つｂ光電変換素子から得られる信号に近づくような演算処理を行うことで、高色再現カラー画像データを生成することを可能にしている。
【００９７】
具体的に、高色再現カラー画像データ生成部５６は、以下の式（３）で示す演算を行ってカラー画像データの色再現性を向上させる。
【００９８】
【数１】
Ｒ０（ｘ，ｙ）は、高色再現カラー画像データの座標（ｘ，ｙ）におけるＲ成分の画素データを示す。
Ｇ０（ｘ，ｙ）は、高色再現カラー画像データの座標（ｘ，ｙ）におけるＧ成分の画素データを示す。
Ｂ０（ｘ，ｙ）は、高色再現カラー画像データの座標（ｘ，ｙ）におけるＢ成分の画素データを示す。
Ｒ（ｘ，ｙ）は、カラー画像データの座標（ｘ，ｙ）におけるＲ成分の画素データを示す。
Ｇ（ｘ，ｙ）は、カラー画像データの座標（ｘ，ｙ）におけるＧ成分の画素データを示す。
Ｂ（ｘ，ｙ）は、カラー画像データの座標（ｘ，ｙ）におけるＢ成分の画素データを示す。
Ｉｒ（ｘ，ｙ）は、赤外画像データの座標（ｘ，ｙ）におけるＩＲ成分の画素データを示す。
ｒ２，ｒ３，ｒ４，ｇ２，ｇ３，ｇ４，ｂ２，ｂ３，ｂ４，ｉｒ２，ｉｒ３，ｉｒ４は、Ｒ光電変換素子の分光感度特性と、Ｇ光電変換素子の分光感度特性と、Ｂ光電変換素子の分光感度特性と、Ｒ基板上光電変換素子の分光感度特性と、図１７に示すスタンダードＲＧＢ理想撮像特性とに基づいて決められた係数を示す。
【００９９】
係数ｒ２，ｇ２，ｂ２，ｉｒ２は、図８に示したＲ光電変換素子の波長λにおける分光感度をＲ（λ）とし、図８に示したＧ光電変換素子の波長λにおける分光感度をＧ（λ）とし、図８に示したＢ光電変換素子の波長λにおける分光感度をＢ（λ）とし、図８に示したＲ基板上光電変換素子の波長λにおける分光感度をＩＲ（λ）とし、図１７に示したｒ光電変換素子の波長λにおける分光感度をｒ（λ）としたとき、ｒ（λ）と、以下の式（４）で得られる値とが最も近くなるように最小二乗法によって決定される。決定された係数データは、内視鏡装置内の図示しないメモリに予め記憶される。
【０１００】
ｒ２×Ｒ（λ）＋ｇ２×Ｇ（λ）＋ｂ２×Ｂ（λ）＋ｉｒ２×ＩＲ（λ）・・・式（４）
【０１０１】
係数ｒ３，ｇ３，ｂ３，ｉｒ３は、図１７に示したｇ光電変換素子の波長λにおける分光感度をｇ（λ）としたとき、ｇ（λ）と以下の式（５）で得られる値とが最も近くなるように最小二乗法によって決定される。決定された係数データは、内視鏡装置内の図示しないメモリに予め記憶される。
【０１０２】
ｒ３×Ｒ（λ）＋ｇ３×Ｇ（λ）＋ｂ３×Ｂ（λ）＋ｉｒ３×ＩＲ（λ）・・・式（５）
【０１０３】
係数ｒ４，ｇ４，ｂ４，ｉｒ４は、図１７に示したｂ光電変換素子の波長λにおける分光感度をｂ（λ）としたとき、ｂ（λ）と以下の式（６）で得られる値とが最も近くなるように最小二乗法によって決定される。決定された係数データは、内視鏡装置内の図示しないメモリに予め記憶される。
【０１０４】
ｒ４×Ｒ（λ）＋ｇ４×Ｇ（λ）＋ｂ４×Ｂ（λ）＋ｉｒ４×ＩＲ（λ）・・・式（６）
【０１０５】
図１８は、上記の方法で決定された係数を用いて式（４）〜（６）を演算した結果得られる撮像素子１００のＲ光電変換素子、Ｇ光電変換素子、及びＢ光電変換素子の分光感度特性を示す図である。図１８において縦軸は１を基準としたときの分光感度、横軸は波長を示す。図１８に示す曲線Ｒが、Ｒ光電変換素子の分光感度特性を理想的な分光感度特性に近づけた結果得られる分光感度特性を示し、図１８に示す曲線Ｇが、Ｇ光電変換素子を理想的な分光感度特性に近づけた結果得られる分光感度特性を示し、図１８に示す曲線Ｂが、Ｂ光電変換素子を理想的な分光感度特性に近づけた結果得られる分光感度特性を示す。
【０１０６】
図１８を見て分かるように、波長６８０ｎｍ以上の赤外域の感度をほぼ０以下にすることができている。このため、式（３）に示す演算処理を行うことで、カラー画像データの色再現性を向上させられることが分かる。
【０１０７】
表示制御部５８は、画像強調部５７で強調された高コントラスト赤外画像データに基づく画像を表示装置５９に表示させる制御を行ったり、高色再現カラー画像データに基づく画像を表示装置５９に表示させる制御を行ったり、高コントラスト赤外画像データに基づく画像と高色再現カラー画像データに基づく画像とを合成した画像を表示装置５９に表示させる制御を行ったりする。高コントラスト赤外画像データについては、信号レベルを擬似カラーで表現して画像表示させたり、信号レベルを酸素吸収量に換算して画像表示させたりする。
【０１０８】
以上のように、本実施形態の内視鏡装置によれば、撮像素子１００から出力されるＲ信号、Ｇ信号、及びＢ信号から生成したカラー画像データと、撮像素子１００から出力されるＩＲｒ信号から生成した赤外画像データとを用いた演算処理により、カラー画像データよりも色再現性を向上させた高色再現カラー画像データと、赤外画像データよりもコントラストを向上させた高コントラスト赤外画像データを生成することができる。このため、内視鏡装置による検査精度を従来よりも向上させることができる。
【０１０９】
又、内視鏡装置に用いる撮像素子として第一実施形態で説明した構成のものを採用することで、高色再現カラー画像データと高コントラスト赤外画像データを１回の撮像によって得ることができるため、色ずれなどを心配することなく、検査を行うことが可能となる。
【０１１０】
又、本実施形態の内視鏡装置によれば、赤外カットフィルタが不要となるため、人体に挿入する部分の小型化が可能になると共に、装置コストも削減することができる。
【０１１１】
尚、以上の説明では、内視鏡装置に補正フィルタ５２を設けるものとしたが、これは省略しても構わない。補正フィルタ５２を省略した場合には、内視鏡装置に搭載する撮像素子１００の分光感度特性が図６に示すようなものとなり、カラー画像データの色再現性はより低下するため、高色再現カラー画像データ生成部５６の行う処理がより効果を発揮することとなる。
【０１１２】
又、本実施形態では、内視鏡装置に高コントラスト赤外画像データ生成部５５と高色再現カラー画像データ生成部５６の両方を設けているが、高色再現カラー画像データ生成部５６は省略しても構わない。高色再現カラー画像データ生成部５６を省略した場合には、７８０ｎｍ以上の波長域をカットするための補正フィルタ５２を設けることが好ましい。
【０１１３】
又、高色再現カラー画像データ生成部５６は、内視鏡装置に限らず、Ｒ成分の信号とＧ成分の信号とＢ成分の信号とＩＲ成分の信号とを出力することができる撮像素子を搭載するデジタルカメラ等の撮像装置に搭載することでも十分に効果を得ることができる。この場合、撮像装置に赤外カットフィルタが不要となるため、撮像装置の小型化及び低コスト化を図ることができる。
【０１１４】
上述した内視鏡装置における赤外画像データ生成部５３、カラー画像データ生成部５４、高コントランスト赤外画像データ生成部５５、高色再現カラー画像データ生成部５６、及び画像強調部５７の各部の機能は、コンピュータをこれらの各部として機能させるためのプログラムを、内視鏡装置に搭載されている演算処理装置等のコンピュータが実行することで実現することができる。又、撮像素子１００から得られた撮像信号をそのままパーソナルコンピュータ等に取り込み、上記プログラムをこのコンピュータが実行することでも実現することができる。
【０１１５】
尚、本明細書において、Ｒの波長域とは、波長約５５０ｎｍ〜約７００ｎｍまでの範囲を示し、Ｇの波長域とは、波長約４５０ｎｍ〜約６１０ｎｍまでの範囲を示し、Ｂの波長域とは、波長約３８０ｎｍ〜約５２０ｎｍまでの範囲を示し、赤外域とは、波長約６８０ｎｍ〜約３０００ｎｍまでの範囲を示し、Ｃｙの波長域とは、波長約３８０ｎｍ〜約６１０ｎｍまでの範囲を示し、Ｍｇの波長域とは、波長約３８０ｎｍ〜約５００ｎｍと波長約６００ｎｍ〜７００ｎｍまでの範囲を示し、Ｙｅの波長域とは、波長約４７０ｎｍ〜約７００ｎｍまでの範囲を示す。
【０１１６】
又、本明細書において、「ある波長域の光を透過する」とは、その波長域の光を約６０％以上透過することを言い、「ある波長域の光を吸収する」とは、その波長域の光を約５０％以上吸収することを言う。
【図面の簡単な説明】
【０１１７】
【図１】本発明の実施形態を説明するための撮像素子の部分表面模式図
【図２】図１に示す撮像素子のＡ−Ａ線の断面模式図
【図３】図２に示す信号読み出し部５ｒの具体的な構成例を示す図
【図４】図１に示す撮像素子の光電変換素子及び基板上光電変換素子の特性を示す図
【図５】図１に示す撮像素子のカラーフィルタの特性を示す図
【図６】図１に示す撮像素子の補正フィルタ無しでの特性を示す図
【図７】補正フィルタの特性を示す図
【図８】図１に示す撮像素子の補正フィルタ有りでの特性を示す図
【図９】ヘモグロビンの分光反射率を示す図
【図１０】図１に示す撮像素子の構成の変形例を示す図
【図１１】第二実施形態を説明するための内視鏡装置の概略構成を示す図
【図１２】ヘモグロビンの分光反射率とヘモグロビンの状態変化を最もコントラスト高く検出できる分光感度特性を示す図
【図１３】図１に示す撮像素子のＲ基板上光電変換素子の特性を、図１２のＲｅａｌ曲線で示す特性に近づける処理を行って得られた特性を示す図
【図１４】図１３に示す特性を持つ撮像素子で撮像したときのヘモグロビンの検出感度特性を示す図
【図１５】図８に示すＲ基板上光電変換素子の分光感度特性を示す図
【図１６】図１５に示す特性を持つ撮像素子で撮像したときのヘモグロビンの検出感度特性を示す図
【図１７】スタンダードＲＧＢ理想撮像特性を示す図
【図１８】図１に示す撮像素子のＲ光電変換素子，Ｇ光電変換素子，Ｂ光電変換素子の各々の特性を、図１７に示す特性に近づける処理を行って得られた特性を示す図
【符号の説明】
【０１１８】
１００ 撮像素子
１ シリコン基板
２ ｐウェル層
３ｒ，３ｇ，３ｂ ｎ領域
４ｒ，４ｇ，４ｂ ｎ＋領域
５，８ 透明絶縁層
５ｒ，５ｇ，５ｂ 信号読み出し部
６ｒ，６ｇ，６ｂ コンタクト部
７ｒ，７ｇ，７ｂ，１０ 透明電極
９ 光電変換層
１１，１２ 保護層
１３ｒ，１３ｇ，１３ｂ カラーフィルタ
１４ マイクロレンズ
【技術分野】
【０００１】
本発明は、撮像素子から出力される撮像信号に画像処理を施す画像処理装置に関する。
【背景技術】
【０００２】
ＣＣＤ型やＣＭＯＳ型イメージセンサーを撮像素子とする内視鏡装置は既に医療現場で多く使われている。この内視鏡装置には大別して、モノクロ撮像可能な撮像素子を用い、ファイバーを介して被写体を照明する光源の前で、Ｒ（赤色），Ｇ（緑色），Ｂ（青色），ＩＲ（赤外）の波長域の光を透過するフィルタを、撮像素子のフィールド周波数に同期して切換える面順次撮像方式（例えば、特許文献１参照）と、照明光源はホワイト光で、Ｒ，Ｇ，Ｂの波長域の光を透過するカラーフィルタを搭載した単板式撮像素子を用いて撮像する同時撮像方式がある。
【０００３】
面順次撮像方式は、光源の前で、異なる分光透過率を有する複数のフィルタを回転させ、異なる波長の光で照明された画像を複数枚撮像した後にカラー画像を合成する方式である。このため、例えば、光源の前で切換えるフィルタにＲＧＢ透過フィルタを用いれば、１画素データにＲＧＢの３つの色情報を持たせたカラー画像データを得ることができ、血液中のヘモグロビンに吸収されやすい狭帯域化された２波長のＩＲフィルタを順次切換えれば、１画素データに赤外域の情報のみを持たせた赤外画像データを得ることができる。カラー画像データに基づく画像によれば、検査対象となる部位の外観を目視で確認することができ、赤外画像データに基づく画像によれば、検査対象となる部位の内部の粘膜表層の毛細血管や粘膜微細模様の情報等を目視で確認することができる。但し、この面順次撮像では、動きのある被写体に対しては色ずれが生じ画像妨害となってしまう。
【０００４】
一方、同時撮像方式は、撮像によってカラー画像データを得た後、このカラー画像データを画像処理することで赤外画像データを生成する方式であり、この方式によれば、動きのある被写体に対しても色ずれは生じないが、赤外画像データの情報精度は低いという問題がある。
【０００５】
【特許文献１】特許第２６４８４９４号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
このように、内視鏡装置に用いる撮像素子では、特許文献１の素子構成や画像処理等により、１画素データにＲＧＢの３つの色情報を持たせたカラー画像データと、１画素データに赤外の情報のみを持たせた赤外画像データとの２つの画像データを得ることが可能である。特に、赤外画像データについては、検査対象となる部位の内部の粘膜表層の毛細血管や粘膜微細模様の情報等の確認に用いられるため、そのコントラストは高いものが求められる。
【０００７】
本発明は、上記事情に鑑みてなされたものであり、撮像素子から得られる撮像信号からコントラストの高い赤外画像データを生成することが可能な画像処理装置を提供することを目的とする。
【課題を解決するための手段】
【０００８】
（１）撮像素子から出力される撮像信号から画像データを生成する画像処理装置であって、前記撮像素子から出力されるＲ（赤色）成分の撮像信号、Ｇ（緑色）成分の撮像信号、及びＢ（青色）成分の撮像信号からカラー画像データを生成するカラー画像データ生成手段と、前記撮像素子から出力されるＩＲ（赤外）成分の撮像信号から赤外画像データを生成する赤外画像データ生成手段と、前記カラー画像データと前記赤外画像データを用いて、前記赤外画像データのコントラストを向上させた高コントラスト赤外画像データを生成する高コントラスト赤外画像データ生成手段とを備える画像処理装置。
【０００９】
（２）（１）記載の画像処理装置であって、前記カラー画像データの画素データが、Ｒ成分のデータであるＲデータと。Ｇ成分のデータであるＧデータと、Ｂ成分のデータであるＢデータとで構成され、前記赤外画像データの画素データが、ＩＲ成分のデータであるＩＲデータで構成され、前記高コントラスト赤外画像データ生成手段は、前記カラー画像データと前記赤外画像データの各々の同一位置にある画素データを構成するＲデータに係数ｒ１を乗じた値と、Ｇデータに係数ｇ１を乗じた値と、Ｂデータに係数ｂ１を乗じた値と、ＩＲデータに係数ｉｒ１を乗じた値とを積算して、前記高コントラスト赤外画像データを生成し、前記係数ｒ１，ｇ１，ｂ１，ｉｒ１は、前記撮像素子を構成する光電変換素子のうちの前記Ｒ成分の撮像信号を出力する光電変換素子の分光感度であるＲ感度に前記係数ｒ１を乗じた値、前記撮像素子を構成する光電変換素子のうちの前記Ｇ成分の撮像信号を出力する光電変換素子の分光感度であるＧ感度に前記係数ｇ１を乗じた値、前記撮像素子を構成する光電変換素子のうちの前記Ｂ成分の撮像信号を出力する光電変換素子の分光感度であるＢ感度に前記係数ｂ１を乗じた値、及び前記撮像素子を構成する光電変換素子のうちの前記ＩＲ成分の撮像信号を出力する光電変換素子の分光感度であるＩＲ感度に前記係数ｉｒ１を乗じた値、を積算した値と、人体内部の変化を捉えるための観察対象となる物質を最もコントラスト高く撮像できる理想的な分光感度の値とが最も近くなるように決定されたものである画像処理装置。
【００１０】
（３）（２）記載の画像処理装置であって、前記観察対象となる物質がヘモグロビンである画像処理装置。
【００１１】
（４）（１）〜（３）のいずれか１つ記載の画像処理装置であって、前記カラー画像データと前記赤外画像データを用いて、前記カラー画像データの色再現性を向上させた高色再現カラー画像データを生成する高色再現カラー画像データ生成手段を備える画像処理装置。
【００１２】
（５）（４）記載の画像処理装置であって、前記高色再現カラー画像データ生成手段は、前記カラー画像データと前記赤外画像データの各々の同一位置にある画素データを構成するＲデータに係数ｒ２を乗じた値と、Ｇデータに係数ｇ２を乗じた値と、Ｂデータに係数ｂ２を乗じた値と、ＩＲデータに係数ｉｒ２を乗じた値とを積算して、前記高色再現カラー画像データの１画素データを構成するＲ成分のデータを生成し、前記Ｒデータに係数ｒ３を乗じた値と、前記Ｇデータに係数ｇ３を乗じた値と、前記Ｂデータに係数ｂ３を乗じた値と、前記ＩＲデータに係数ｉｒ３を乗じた値とを積算して、前記高色再現カラー画像データの１画素データを構成するＧ成分のデータを生成し、前記Ｒデータに係数ｒ４を乗じた値と、前記Ｇデータに係数ｇ４を乗じた値と、前記Ｂデータに係数ｂ４を乗じた値と、前記ＩＲデータに係数ｉｒ４を乗じた値とを積算して、前記高色再現カラー画像データの１画素データを構成するＢ成分のデータを生成し、前記係数ｒ２，ｇ２，ｂ２，ｉｒ２は、前記撮像素子を構成する光電変換素子のうちの前記Ｒ成分の撮像信号を出力する光電変換素子の分光感度であるＲ感度に前記係数ｒ２を乗じた値、前記撮像素子を構成する光電変換素子のうちの前記Ｇ成分の撮像信号を出力する光電変換素子の分光感度であるＧ感度に前記係数ｇ２を乗じた値、前記撮像素子を構成する光電変換素子のうちの前記Ｂ成分の撮像信号を出力する光電変換素子の分光感度であるＢ感度に前記係数ｂ２を乗じた値、及び前記撮像素子を構成する光電変換素子のうちの前記ＩＲ成分の撮像信号を出力する光電変換素子の分光感度であるＩＲ感度に前記係数ｉｒ２を乗じた値、を積算した値と、前記Ｒ成分の撮像信号を出力する光電変換素子の理想的な分光感度の値とが最も近くなるように決定されたものであり、前記係数ｒ３，ｇ３，ｂ３，ｉｒ３は、前記Ｒ感度に前記係数ｒ３を乗じた値、前記Ｇ感度に前記係数ｇ３を乗じた値、前記Ｂ感度に前記係数ｂ３を乗じた値、及び前記ＩＲ感度に前記係数ｉｒ３を乗じた値、を積算した値と、前記Ｇ成分の撮像信号を出力する光電変換素子の理想的な分光感度の値とが最も近くなるように決定されたものであり、前記係数ｒ４，ｇ４，ｂ４，ｉｒ４は、前記Ｒ感度に前記係数ｒ４を乗じた値、前記Ｇ感度に前記係数ｇ４を乗じた値、前記Ｂ感度に前記係数ｂ４を乗じた値、及び前記ＩＲ感度に前記係数ｉｒ４を乗じた値、を積算した値と、前記Ｂ成分の撮像信号を出力する光電変換素子の理想的な分光感度の値とが最も近くなるように決定されたものである画像処理装置。
【００１３】
（６）（１）〜（５）のいずれか１つ記載の画像処理装置であって、前記撮像素子が、半導体基板内の同一面上に配列された多数の光電変換素子と、前記半導体基板の上方の同一面上に形成された、前記多数の光電変換素子の一部に対応する基板上光電変換素子であって、前記半導体基板上方に形成された第一の電極、前記第一の電極上に形成された光電変換層、及び前記光電変換層上に形成された第二の電極を含んで構成される基板上光電変換素子と、前記半導体基板の上方に形成され、前記光電変換層で吸収される光の波長域とは異なる波長域の光を透過するカラーフィルタ層と、前記基板上光電変換素子で発生した電荷に応じた信号及び前記光電変換素子で発生した電荷に応じた信号をそれぞれ読み出す信号読み出し手段とを備え、前記カラーフィルタ層は、前記多数の光電変換素子の各々に対応する多数のカラーフィルタで構成され、前記多数のカラーフィルタは、Ｒの波長域の光を透過するカラーフィルタ、Ｇの波長域の光を透過するカラーフィルタ、Ｂの波長域の光を透過するカラーフィルタの３種類のカラーフィルタに分類され、前記３種類のカラーフィルタのうちの少なくとも前記Ｒの波長域の光を透過するカラーフィルタは赤外域の光も透過し、前記光電変換層は、赤外域の光を吸収してこれに応じた電荷を発生し、且つ、それ以外の光を透過し、前記多数の光電変換素子の一部とは、前記Ｒの波長域の光を透過するカラーフィルタに対応する光電変換素子である画像処理装置。
【００１４】
（７）（６）記載の画像処理装置であって、前記カラーフィルタ層が、前記基板上光電変換素子よりも上方に形成されている画像処理装置。
【００１５】
（８）（７）記載の画像処理装置であって、前記光電変換層が有機材料を含んで構成され、前記基板上光電変換素子と前記カラーフィルタ層との間に、ＡＬＣＶＤ法によって形成された前記基板上光電変換素子を保護するための保護層を備える画像処理装置。
【００１６】
（９）（８）記載の画像処理装置であって、前記保護層が、無機材料を含んで構成される画像処理装置。
【００１７】
（１０）（９）記載の画像処理装置であって、前記保護層が、無機材料からなる無機層と、有機ポリマーからなる有機層との２層構造である画像処理装置。
【００１８】
（１１）（６）〜（１０）のいずれか１つ記載の画像処理装置であって、前記撮像素子が、前記カラーフィルタ層の上方に、前記多数の光電変換素子の各々に光を集光するためのマイクロレンズを備える画像処理装置。
【００１９】
（１２）（１）〜（１１）のいずれか１つ記載の画像処理装置と、前記撮像素子とを備える内視鏡装置。
【００２０】
（１３）コンピュータを、（１）〜（１１）のいずれか１つ記載の画像処理装置の各手段として機能させるための画像処理プログラム。
【発明の効果】
【００２１】
本発明によれば、撮像素子から得られる撮像信号からコントラストの高い赤外画像データを生成することが可能な画像処理装置を提供することができる。
【発明を実施するための最良の形態】
【００２２】
以下、本発明の実施形態について図面を参照して説明する。
【００２３】
（第一実施形態）
図１は、本発明の実施形態を説明するための撮像素子の部分表面模式図である。図２は、図１に示す撮像素子のＡ−Ａ線の断面模式図である。尚、図１では、マイクロレンズ１４の図示を省略してある。
【００２４】
ｎ型シリコン基板１上にはｐウェル層２が形成されている。以下では、ｎ型シリコン基板１とｐウェル層２とを併せて半導体基板という。半導体基板上方の同一面上の行方向とこれに直交する列方向には、主としてＲの波長域の光を透過するカラーフィルタ１３ｒと、主としてＧの波長域の光を透過するカラーフィルタ１３ｇと、主としてＢの波長域の光を透過するカラーフィルタ１３ｂとの３種類のカラーフィルタがそれぞれ多数配列されている。
【００２５】
カラーフィルタ１３ｒは、公知の材料を用いることができるが、このような材料は、Ｒの波長域の光の他に、赤外域の光の一部も透過する。カラーフィルタ１３ｇは、公知の材料を用いることができるが、このような材料は、Ｇの波長域の光の他に、赤外域の光の一部も透過する。カラーフィルタ１３ｂは、公知の材料を用いることができるが、このような材料は、Ｂの波長域の光の他に、赤外域の光の一部も透過する。
【００２６】
カラーフィルタ１３ｒ，１３ｇ，１３ｂの配列は、公知の単板式固体撮像素子に用いられているカラーフィルタ配列（ベイヤー配列や縦ストライプ、横ストライプ等）を採用することができる。
【００２７】
カラーフィルタ１３ｒ下方のｐウェル層２内には、カラーフィルタ１３ｒに対応させてｎ型不純物領域（以下、ｎ領域という）３ｒが形成されており、ｎ領域３ｒとｐウェル層２とのｐｎ接合によって、カラーフィルタ１３ｒに対応するＲ光電変換素子が構成されている。
【００２８】
カラーフィルタ１３ｇ下方のｐウェル層２内には、カラーフィルタ１３ｇに対応させてｎ領域３ｇが形成されており、ｎ領域３ｇとｐウェル層２とのｐｎ接合によって、カラーフィルタ１３ｇに対応するＧ光電変換素子が構成されている。
【００２９】
カラーフィルタ１３ｂ下方のｐウェル層２内には、カラーフィルタ１３ｂに対応させてｎ領域３ｂが形成されており、ｎ領域３ｂとｐウェル層２とのｐｎ接合によって、カラーフィルタ１３ｂに対応するＢ光電変換素子が構成されている。
【００３０】
ｎ領域３ｒ上方には透明電極７ｒが形成され、ｎ領域３ｇ上方には透明電極７ｇが形成され、ｎ領域３ｂ上方には透明電極７ｂが形成されている。透明電極７ｒ，７ｇ，７ｂは、それぞれカラーフィルタ１３ｒ，１３ｇ，１３ｂの各々に対応して分割されている。透明電極７ｒ，７ｇ，７ｂは、それぞれ、可視光及び赤外光に対して透明な材料で構成され、例えばＩＴＯやＩＺＯ等を用いることができる。透明電極７ｒ，７ｇ，７ｂは、それぞれ、絶縁層８内に埋設されている。
【００３１】
透明電極７ｒ，７ｇ，７ｂの各々の上には、主として波長５８０ｎｍ以上の赤外域の光を吸収してこれに応じた電荷を発生し、赤外域以外の可視域（波長約３８０ｎｍ〜約５８０ｎｍ）の光を透過する、カラーフィルタ１３ｒ，１３ｇ，１３ｂの各々で共通の一枚構成である光電変換層９が形成されている。光電変換層９を構成する材料は、例えば、フタロシアニン系有機材料やナフタロシアニン系有機材料を用いる。
【００３２】
光電変換層９上には、カラーフィルタ１３ｒ，１３ｇ，１３ｂの各々で共通の一枚構成である透明電極１０が形成されている。透明電極１０は、可視光及び赤外光に対して透明な材料で構成され、例えばＩＴＯやＩＺＯ等を用いることができる。
【００３３】
透明電極７ｒと、それに対向する透明電極１０と、これらに挟まれる光電変換層９の一部とにより、カラーフィルタ１３ｒに対応する光電変換素子が形成される。以下では、この光電変換素子を、半導体基板上に形成されたものであるため、Ｒ基板上光電変換素子という。
【００３４】
透明電極７ｇと、それに対向する透明電極１０と、これらに挟まれる光電変換層９の一部とにより、カラーフィルタ１３ｇに対応する光電変換素子が形成される。以下では、この光電変換素子をＧ基板上光電変換素子という。
【００３５】
透明電極７ｂと、それに対向する透明電極１０と、これらに挟まれる光電変換層９の一部とにより、カラーフィルタ１３ｂに対応する光電変換素子が形成される。以下では、この光電変換素子をＢ基板上光電変換素子という。
【００３６】
ｐウェル層２内のｎ領域３ｒの隣には、Ｒ基板上光電変換素子の光電変換層９で発生した電荷を蓄積するための高濃度のｎ型不純物領域（以下、ｎ＋領域という）４ｒが形成されている。尚、ｎ＋領域４ｒに光が入るのを防ぐために、ｎ＋領域４ｒ上には遮光膜を設けておくことが好ましい。
【００３７】
ｐウェル層２内のｎ領域３ｇの隣には、Ｇ基板上光電変換素子の光電変換層９で発生した電荷を蓄積するためのｎ＋領域４ｇが形成されている。尚、ｎ＋領域４ｇに光が入るのを防ぐために、ｎ＋領域４ｇ上には遮光膜を設けておくことが好ましい。
【００３８】
ｐウェル層２内のｎ領域３ｂの隣には、Ｂ基板上光電変換素子の光電変換層９で発生した電荷を蓄積するためのｎ＋領域４ｂが形成されている。尚、ｎ＋領域４ｂに光が入るのを防ぐために、ｎ＋領域４ｂ上には遮光膜を設けておくことが好ましい。
【００３９】
ｎ＋領域４ｒ上にはアルミニウム等の金属からなるコンタクト部６ｒが形成され、コンタクト部６ｒ上に透明電極７ｒが形成されており、ｎ＋領域４ｒと透明電極７ｒはコンタクト部６ｒによって電気的に接続されている。コンタクト部６ｒは、可視光及び赤外光に対して透明な絶縁層５内に埋設されている。
【００４０】
ｎ＋領域４ｇ上にはアルミニウム等の金属からなるコンタクト部６ｇが形成され、コンタクト部６ｇ上に透明電極７ｇが形成されており、ｎ＋領域４ｇと透明電極７ｇはコンタクト部６ｇによって電気的に接続されている。コンタクト部６ｇは絶縁層５内に埋設されている。
【００４１】
ｎ＋領域４ｂ上にはアルミニウム等の金属からなるコンタクト部６ｂが形成され、コンタクト部６ｂ上に透明電極７ｂが形成されており、ｎ＋領域４ｂと透明電極７ｂはコンタクト部６ｂによって電気的に接続されている。コンタクト部６ｂは絶縁層５内に埋設されている。
【００４２】
ｐウェル層２内のｎ領域３ｒ，３ｇ，３ｂ、ｎ＋領域４ｒ，４ｇ，４ｂが形成されている以外の領域には、Ｒ光電変換素子で発生してｎ領域３ｒに蓄積された電荷に応じた信号及びｎ＋領域４ｒに蓄積された電荷に応じた信号をそれぞれ読み出すための信号読み出し部５ｒと、Ｇ光電変換素子で発生してｎ領域３ｇに蓄積された電荷に応じた信号及びｎ＋領域４ｇに蓄積された電荷に応じた信号をそれぞれ読み出すための信号読み出し部５ｇと、Ｂ光電変換素子で発生してｎ領域３ｂに蓄積された電荷に応じた信号及びｎ＋領域４ｂに蓄積された電荷に応じた信号をそれぞれ読み出すための信号読み出し部５ｂとが形成されている。信号読み出し部５ｒ，５ｇ，５ｂは、それぞれ、ＣＣＤやＭＯＳ回路を用いた公知の構成を採用することができる。尚、信号読み出し部５ｒ，５ｇ，５ｂに光が入るのを防ぐために、信号読み出し部５ｒ，５ｇ，５ｂ上には遮光膜を設けておくことが好ましい。
【００４３】
図３は、図２に示す信号読み出し部５ｒの具体的な構成例を示す図である。図３において図１，２と同様の構成には同一符号を付してある。尚、信号読み出し部５ｒ，５ｇ，５ｂの各々の構成は同一であるため、信号読み出し部５ｇ，５ｂの説明は省略する。
【００４４】
信号読み出し部５ｒは、ドレインがｎ＋領域４ｒに接続され、ソースが電源Ｖｎに接続されたリセットトランジスタ４３と、ゲートがリセットトランジスタ４３のドレインに接続され、ソースが電源Ｖｃｃに接続された出力トランジスタ４２と、ソースが出力トランジスタ４２のドレインに接続され、ドレインが信号出力線４５に接続された行選択トランジスタ４１と、ドレインがｎ領域３ｒに接続され、ソースが電源Ｖｎに接続されたリセットトランジスタ４６と、ゲートがリセットトランジスタ４６のドレインに接続され、ソースが電源Ｖｃｃに接続された出力トランジスタ４７と、ソースが出力トランジスタ４７のドレインに接続され、ドレインが信号出力線４９に接続された行選択トランジスタ４８とを備える。
【００４５】
透明電極７ｒと透明電極１０間にバイアス電圧を印加することで、光電変換層９に入射した光に応じて電荷が発生し、この電荷が透明電極７ｒを介してｎ＋領域４ｒへと移動する。ｎ＋領域４ｒに蓄積された電荷は、出力トランジスタ４２でその電荷量に応じた信号に変換される。そして、行選択トランジスタ４１をＯＮにすることで信号出力線４５に信号が出力される。信号出力後は、リセットトランジスタ４３によってｎ＋領域４ｒ内の電荷がリセットされる。
【００４６】
Ｒ光電変換素子で発生してｎ領域３ｒに蓄積された電荷は、出力トランジスタ４７でその電荷量に応じた信号に変換される。そして、行選択トランジスタ４８をＯＮにすることで信号出力線４９に信号が出力される。信号出力後は、リセットトランジスタ４６によってｎ領域３ｒ内の電荷がリセットされる。
【００４７】
このように、信号読み出し部５ｒは、３トランジスタからなる公知のＭＯＳ回路で構成することができる。
【００４８】
図２に戻り、光電変換層９上には、基板上光電変換素子を保護するための２層構造の保護層１１，１２が形成され、保護層１２上にカラーフィルタ１３ｒ，１３ｇ，１３ｂが形成され、カラーフィルタ１３ｒ，１３ｇ，１３ｂの各々の上には、各々に対応するｎ領域３ｒ，３ｇ，３ｂに光を集光するためのマイクロレンズ１４が形成されている。
【００４９】
撮像素子１００は、光電変換層９を形成した後に、カラーフィルタ１３ｒ，１３ｇ，１３ｂやマイクロレンズ１４等を形成することで製造するが、カラーフィルタ１３ｒ，１３ｇ，１３ｂやマイクロレンズ１４は、フォトリソグラフィ工程やベーク工程を含むため、光電変換層９として有機材料を用いた場合、光電変換層９が露出した状態で、このフォトリソグラフィ工程やベーク工程が行われると、光電変換層９の特性が劣化してしまう。撮像素子１００では、このような製造工程に起因する光電変換層９の特性劣化を防止するために、保護層１１，１２が設けられている。
【００５０】
保護層１１は、ＡＬＣＶＤ法によって形成した無機材料からなる無機層であることが好ましい。ＡＬＣＶＤ法は原子層ＣＶＤ法であり緻密な無機層を形成することが可能で、光電変換層９の有効な保護層となり得る。ＡＬＣＶＤ法はＡＬＥ法もしくはＡＬＤ法としても知られている。ＡＬＣＶＤ法により形成した無機層は、好ましくはＡｌ２Ｏ３、ＳｉＯ２，ＴｉＯ２，ＺｒＯ２，ＭｇＯ，ＨｆＯ２，Ｔａ２Ｏ５からなり、より好ましくはＡｌ２Ｏ３、ＳｉＯ２からなり、最も好ましくはＡｌ２Ｏ３からなる。
【００５１】
保護層１２は、光電変換層９の保護性能をより向上させるために保護層１１上に形成されたものであり、有機ポリマーからなる有機層であることが好ましい。有機ポリマーとしてはパリレンが好ましく、パリレンＣがより好ましい。尚、保護層１２は省略しても良く、又、保護層１１と保護層１２の配置を逆にしても良い。光電変換層９の保護効果が特に高いのは、図２に示した構成である。
【００５２】
以上のような構成の撮像素子１００では、入射光のうちのカラーフィルタ１３ｒを透過した光のうちの赤外域の光が光電変換層９で吸収され、ここで赤外域の光に応じた電荷が発生する。同様に、入射光のうちのカラーフィルタ１３ｇを透過した光のうちの赤外域の光が光電変換層９で吸収され、ここで赤外域の光に応じた電荷が発生する。同様に、入射光のうちのカラーフィルタ１３ｂを透過した光のうちの赤外域の光が光電変換層９で吸収され、ここで赤外域の光に応じた電荷が発生する。
【００５３】
透明電極７ｒと透明電極１０に所定のバイアス電圧を印加すると、Ｒ基板上光電変換素子を構成する光電変換層９で発生した電荷が透明電極７ｒとコンタクト部６ｒを介してｎ＋領域４ｒに移動し、ここに蓄積される。そして、ｎ＋領域４ｒに蓄積された電荷に応じた信号が、信号読み出し部５ｒによって読み出され、撮像素子１００外部に出力される。
【００５４】
同様に、透明電極７ｇと透明電極１０に所定のバイアス電圧を印加すると、Ｇ基板上光電変換素子を構成する光電変換層９で発生した電荷が透明電極７ｇとコンタクト部６ｇを介してｎ＋領域４ｇに移動し、ここに蓄積される。そして、ｎ＋領域４ｇに蓄積された電荷に応じた信号が、信号読み出し部５ｇによって読み出され、撮像素子１００外部に出力される。
【００５５】
同様に、透明電極７ｂと透明電極１０に所定のバイアス電圧を印加すると、Ｂ基板上光電変換素子を構成する光電変換層９で発生した電荷が透明電極７ｂとコンタクト部６ｂを介してｎ＋領域４ｂに移動し、ここに蓄積される。そして、ｎ＋領域４ｂに蓄積された電荷に応じた信号が、信号読み出し部５ｂによって読み出され、撮像素子１００外部に出力される。
【００５６】
又、カラーフィルタ１３ｒを透過して光電変換層９を透過したＲの波長域の光は、Ｒ光電変換素子に入射し、入射光量に応じた電荷がｎ領域３ｒに蓄積される。同様に、カラーフィルタ１３ｇを透過して光電変換層９を透過したＧの波長域の光は、Ｇ光電変換素子に入射し、入射光量に応じた電荷がｎ領域３ｇに蓄積される。同様に、カラーフィルタ１３ｂを透過して光電変換層９を透過したＢの波長域の光は、Ｂ光電変換素子に入射し、入射光量に応じた電荷がｎ領域３ｂに蓄積される。ｎ領域３ｒ，３ｇ，３ｂに蓄積された電荷は、信号読出し部５ｒ，５ｇ，５ｂによって読み出され、撮像素子１００外部に出力される。
【００５７】
ｎ領域３ｒ，３ｇ，３ｂから読み出されて出力された信号の配列は、図１のようなカラーフィルタ配列の単板式カラー固体撮像素子から出力される信号の配列と同様となるため、単板式カラー固体撮像素子で用いられる信号処理を行うことで、１つの画素データにＲ，Ｇ，Ｂの３つの色成分のデータを持たせたカラー画像データを生成することができる。又、ｎ＋領域４ｒ，４ｇ，４ｂから読み出されて出力された信号により、１つの画素データに赤外の色成分のデータを持たせた赤外画像データを生成することができる。
【００５８】
このように、撮像素子１００は、Ｒ光電変換素子で発生した電荷に応じたＲ成分の信号と、Ｇ光電変換素子で発生した電荷に応じたＧ成分の信号と、Ｂ光電変換素子で発生した電荷に応じたＢ成分の信号と、Ｒ基板上光電変換素子で発生した電荷に応じたＩＲ成分の信号と、Ｇ基板上光電変換素子で発生した電荷に応じたＩＲ成分の信号と、Ｂ基板上光電変換素子で発生した電荷に応じたＩＲ成分の信号とを外部に出力することができる。このため、撮像素子１００を用いれば、１回の撮像で、カラー画像データと赤外画像データの２種類の画像データを得ることができる。したがって、この撮像素子１００を、例えば、人体の検査対象となる部位の外観映像と、その部位の内部映像とが必要となる内視鏡装置の撮像素子として利用することができる。
【００５９】
次に、撮像素子１００の分光感度特性について説明する。
まず、半導体基板内に形成される各光電変換素子（ＰＤ）の分光感度特性を図４に示すものとし、光電変換層９の分光感度特性を図４に示すものとし、光電変換層９の分光透過率を図４に示すものとし、カラーフィルタ１３ｒ，１３ｇ，１３ｂの分光透過率を図５に示すものとする。図４において縦軸は１を基準にしたときの分光感度又は分光透過率、横軸は光の波長を示す。図５において縦軸は１を基準にしたときの分光透過率、横軸は光の波長を示す。
【００６０】
このように特性が決まると、Ｒ光電変換素子の分光感度特性は、光電変換層９の分光透過率とカラーフィルタ１３ｒの分光透過率との積となり、Ｇ光電変換素子の分光感度特性は、光電変換層９の分光透過率とカラーフィルタ１３ｇの分光透過率との積となり、Ｂ光電変換素子の分光感度特性は、光電変換層９の分光透過率とカラーフィルタ１３ｂの分光透過率との積となり、それぞれ図６に示すような特性となる。尚、図６において縦軸は１を基準にしたときの分光感度、横軸は光の波長を示す。
【００６１】
又、Ｒ基板上光電変換素子の分光感度特性は、光電変換層９の分光感度とカラーフィルタ１３ｒの分光透過率との積となり、Ｇ基板上光電変換素子の分光感度特性は、光電変換層９の分光感度とカラーフィルタ１３ｇの分光透過率との積となり、Ｂ基板上光電変換素子の分光感度特性は、光電変換層９の分光感度とカラーフィルタ１３ｂの分光透過率との積となり、それぞれ図６に示すような特性となる。
【００６２】
ここで、各基板上光電変換素子の分光感度特性を調整するために、図７に示すような分光透過率を有する補正フィルタを撮像素子１００の光入射面側に配置すると、撮像素子１００の分光感度特性は図８に示すものとなる。図７において縦軸は１を基準にしたときの分光透過率、横軸は光の波長を示す。図８において縦軸は１を基準にしたときの分光感度、横軸は光の波長を示す。
【００６３】
図９は、酸化ヘモグロビン（ｏｘｙ）と還元ヘモグロビン（ｄｅｏｘｙ）の分光反射率を示した図である。図９において縦軸は１を基準にしたときの分光反射率、横軸は光の波長を示す。
【００６４】
図９から分かるように、酸化ヘモグロビンと還元ヘモグロビンは、波長５８０ｎｍ〜７８０ｎｍの波長域で双方の反射率の差が大きくなるため、この波長域に感度を有する光電変換素子を用いれば、ヘモグロビンの状態変化をコントラスト高く画像化できる。図８に示したように、撮像素子１００は、Ｒ基板上光電変換素子が波長５８０ｎｍ〜７８０ｎｍの波長域に強く感度を有しているため、このＲ基板上光電変換素子から得られる信号を用いて赤外画像データを生成することで、検査対象となる部位のＲＧＢカラーの外観画像と、その部位のヘモグロビンの状態変化を知るための画像とを、１回の撮像で得ることが可能となる。
【００６５】
Ｒ基板上光電変換素子から得られる信号のみを用いて赤外画像データを生成する場合には、Ｇ基板上光電変換素子及びＢ基板上光電変換素子の各々から得られる信号の位置に、その位置周辺にあるＲ基板上光電変換素子から得られた信号を用いて信号を補間して、カラー画像データと同一解像度の赤外画像データを生成しても良いし、Ｒ基板上光電変換素子から得られた信号のみを用いてカラー画像データの１／３の解像度の赤外画像データを生成しても良い。又は、行方向に並ぶＲ基板上光電変換素子、Ｇ基板上光電変換素子、及びＢ基板上光電変換素子の３つの光電変換素子の各々から得られる信号を加算して１つの信号とし、この信号を基に、カラー画像データの１／３の解像度の赤外画像データを生成しても良い。
【００６６】
撮像素子１００を用いれば、カラー画像データと赤外画像データとの２種類の画像データを得ることができるが、このような効果は、撮像素子１００に用いるカラーフィルタとして原色系以外に補色系を用いた場合でも得ることができる。又、２種類の画像データを得ることはできないが、撮像素子１００のカラーフィルタの配色と光電変換層で吸収させる光の波長域とを調整することで、単板式の撮像素子よりも高解像度のＲＧＢ画像データを得ることも可能となる。これらの効果を得るための撮像素子１００の構成例を図１０に示す。図１０においては、撮像素子１００を構成する構成要素のうち、半導体基板内に形成される光電変換素子（ＰＤ）と、そのＰＤ上方に形成される光電変換層と、その光電変換層上方に形成されるカラーフィルタ以外の構成要素を省略してある。
【００６７】
図１０（ａ）に示す撮像素子は、図１，２に示す撮像素子１００において、カラーフィルタ１３ｒをＣｙ（シアン）の波長域の光及び赤外域の光の一部を透過するＣｙフィルタに変更し、カラーフィルタ１３ｇをＭｇ（マゼンタ）の波長域の光及び赤外域の光の一部を透過するＭｇフィルタに変更し、カラーフィルタ１３ｂをＹｅ（イエロー）の波長域の光と赤外域の光の一部を透過するＹｅフィルタに変更したものである。Ｃｙフィルタ、Ｍｇフィルタ、及びＹｅフィルタは、それぞれ公知の材料を用いれば良い。
【００６８】
この構成によれば、半導体基板内の光電変換素子から得られるＣｙ，Ｍｇ，Ｙｅの信号からカラー画像データを生成し、光電変換層から得られる信号から赤外画像データを生成することができる。尚、ＣｙフィルタとＭｇフィルタとＹｅフィルタの配列は、カラー画像が再現できるようなものとしておけば良い。
【００６９】
図１０（ｂ）に示す撮像素子は、図１，２に示す撮像素子１００において、カラーフィルタ１３ｒをＣｙフィルタに変更し、カラーフィルタ１３ｂをＹｅフィルタに変更したものである。
【００７０】
この構成によれば、半導体基板内の光電変換素子から得られるＣｙ，Ｇ，Ｙｅの信号からカラー画像データを生成し、光電変換層から得られる信号から赤外画像データを生成することができる。尚、ＣｙフィルタとＧフィルタとＹｅフィルタの配列は、カラー画像が再現できるようなものとしておけば良い。
【００７１】
図１０（ｃ）に示す撮像素子は、図１，２に示す撮像素子１００において、カラーフィルタ１３ｒをＣｙフィルタに変更し、カラーフィルタ１３ｇを赤外域の光を透過するＩＲフィルタに変更し、光電変換層９をＧの波長域の光を吸収してこれに応じた信号電荷を発生し且つＧの波長域以外の光を透過するＧ光電変換層に変更し、カラーフィルタ１３ｂをＹｅフィルタに変更したものである。Ｇ光電変換層を構成する材料としては、無機材料の場合は、例えば、ＩｎＧａＡｌＰやＧａＰＡｓを用いることができ、有機材料の場合は、例えば、Ｒ６Ｇ／ＰＭＰＳ（rhodamine 6G (R6G)-doped polymethylphenylsilane）を用いることができる。
【００７２】
この構成によれば、半導体基板内の光電変換素子から得られるＢ，Ｒの信号と、光電変換層から得られるＧの信号からカラー画像データを生成し、ＩＲフィルタ下方の光電変換素子から得られるＩＲ信号から赤外画像データを生成することができる。尚、ＣｙフィルタとＹｅフィルタの配列は、カラー画像が再現できるようなものとしておけば良く、ＩＲフィルタの配列は、赤外画像が再現できるようなものとしておけば良い。
【００７３】
図１０（ｄ）に示す撮像素子は、図１，２に示す撮像素子１００において、カラーフィルタ１３ｒ，１３ｂをそれぞれＣｙフィルタに変更し、カラーフィルタ１３ｇをＹｅフィルタに変更し、光電変換層９をＧ光電変換層に変更したものである。
【００７４】
この構成によれば、半導体基板内の光電変換素子から得られるＢ，Ｒの信号と、光電変換層から得られるＧの信号からカラー画像データを生成することができる。この構成は、１撮像点あたり２色の原色系の信号が得られるため、単板式の撮像素子に比べて解像度を向上させることができる。
【００７５】
尚、以上の説明では、撮像素子１００に用いるカラーフィルタが２種類又は３種類の場合を説明したが、これは４種類以上であっても、同様の効果を得ることが可能である。又、カラーフィルタが１種類であっても良い。この場合は、例えば、図２に示す構成において、カラーフィルタ１３ｒ，１３ｇ，１３ｂの代わりに、Ｇの波長域の光を透過する１枚構成のＧカラーフィルタを設けた構成とすれば良い。
【００７６】
この構成によれば、半導体基板内の光電変換素子から得られる信号により、モノクロの画像データを生成することができ、光電変換層９から得られる信号により、赤外画像データを生成することができる。又、この構成にした場合は、光電変換層上方に設けるカラーフィルタの分光透過率によって、その光電変換層の分光感度特性を調整することができるというメリットもある。
【００７７】
又、以上の説明では、半導体基板上方に光電変換層を設け、その上方にカラーフィルタを設けるものとしたが、光電変換層とカラーフィルタの配置を逆にしても同様の効果を得ることができる。
【００７８】
又、以上の説明では、カラーフィルタ１３ｒ，１３ｇ，１３ｂが、それぞれ赤外域の光も透過してしまうものとしたが、赤外域の光を透過させないような分光透過率を有するフィルタを用いることも可能である。ただし、全てのカラーフィルタが赤外域の光を透過しないものとなってしまうと、赤外画像データを生成できなくなってしまうため、１種類以上のカラーフィルタのうちの少なくとも１つは、赤外域の光を透過させる機能を持たせる必要がある。
【００７９】
又、以上の説明では、Ｒ基板上光電変換素子とＧ基板上光電変換素子とＢ基板上光電変換素子の３種類の基板上光電変換素子を設けるものとしたが、赤外画像データを得るためには、これらのうちの少なくとも１つが存在していれば十分である。図６及び図８に示すように、Ｒ基板上光電変換素子は赤外域に最も感度を持っているため、このＲ基板上光電変換素子から出力される信号を用いて赤外画像データを生成することが最も好ましい。Ｇ基板上光電変換素子を省略する場合には、図２に示す構成において、透明電極７ｇと、コンタクト部６ｇと、ｎ＋領域４ｇとを省略した構成とすれば良い。Ｂ基板上光電変換素子を省略する場合には、図２に示す構成において、透明電極７ｂと、コンタクト部６ｂと、ｎ＋領域４ｂとを省略した構成とすれば良い。
【００８０】
又、図１０（ｃ）に示したような構成の場合には、撮像素子に設ける基板上光電変換素子を、ＩＲフィルタに対応する基板上光電変換素子だけにしてしまうと、この基板上光電変換素子からはＧ成分の信号をほとんど得ることができず、カラー画像データの生成に支障をきたしてしまう。このため、図１０（ｃ）に示す構成の場合には、Ｃｙフィルタに対応する基板上光電変換素子かＹｅフィルタに対応する基板上光電変換素子を少なくとも設けておく必要がある。
【００８１】
次に、撮像素子１００の製造方法を説明する。撮像素子１００は次の（Ａ）〜（Ｃ）の工程で製造することができる。
（Ａ）ＣＭＯＳ基板→透明電極の形成
・シリコン基板上に従来ＣＭＯＳセンサと同様にｎ領域３ｒ，３ｇ，３ｂ及び信号読出し部を形成。
・更に、ｎ＋領域４ｒ，４ｇ，４ｂ及び信号読出し部を形成。
・シリコン基板上に絶縁層５を形成し、この上に透明電極７ｒ，７ｇ，７ｂを形成し、各透明電極７ｒ，７ｇ，７ｂと各ｎ＋領域４ｒ，４ｇ，４ｂをビアプラグを用いてコンタクトする。
・透明電極７ｒ，７ｇ，７ｂ間の間隙は絶縁材料で埋め合わせ、透明電極７ｒ，７ｇ，７ｂ表面を、絶縁材部分を含めＣＭＰを用いて平坦化する。
以上のプロセスを半導体プロセスで行なう。
（Ｂ）光電変換層の形成
・透明電極７ｒ，７ｇ，７ｂ上に光電変換層９を形成。
・更に透明電極１０を形成。透明電極１０は図示しないパッドにコンタクトされ、外部電源によりバイアス電圧が印加される。
以上のプロセスを真空蒸着プロセスで行なう
（Ｃ）マイクロレンズ及びカラーフィルタの形成
・光電変換層９上に、例えば、ＡＬＣＶＤ法でアルミナ保護層を形成し、更にパリレンＣ保護層を形成。
・次にモザイクカラーフィルタを形成する。モザイクカラーフィルタは、Ｇレジスト塗布→パターン露光→現像→ポストベーク、Ｂレジスト塗布→パターン露光→現像→ポストベーク、Ｒレジスト塗布→パターン露光→現像→ポストベークの順番で形成。
・最後にマイクロレンズを形成する。マイクロレンズは、レジスト塗布→ポストベーク→レジスト塗布→パターン露光→現像→メルトの順番で形成する。
【００８２】
（第二実施形態）
本実施形態では、第一実施形態で説明したようなカラー画像データと赤外画像データを得ることが可能な撮像素子１００を内視鏡装置に適用した形態について説明する。
【００８３】
図１１は、第二実施形態を説明するための内視鏡装置の概略構成を示す図である。
図１１に示す内視鏡装置は、検査対象となる部位を照明するための白色光源５０と、撮影レンズや絞り等の光学系５１と、光学系５１を通過した光を受光する図１，２に示した構成の撮像素子１００と、撮像素子１００の光電変換層９の分光感度特性を補正するために撮像素子１００と光学系５１との間に配置された補正フィルタ５２と、撮像素子１００の光電変換層９で発生した電荷に応じた信号に基づいて赤外画像データを生成する赤外画像データ生成部５３と、撮像素子１００のＲ光電変換素子、Ｇ光電変換素子、及びＢ光電変換素子の各々で発生した電荷に応じた信号に基づいてカラー画像データを生成するカラー画像データ生成部５４と、赤外画像データ生成部５３で生成された赤外画像データとカラー画像データ生成部５４で生成されたカラー画像データとを用いた演算処理により、赤外画像データ生成部５３で生成された赤外画像データのコントラストを向上させた高コントラスト赤外画像データを生成する高コントラスト赤外画像データ生成部５５と、高コントラスト赤外画像データ生成部５５で生成された高コントラスト赤外画像データに強調処理を施す画像強調部５７と、赤外画像データ生成部５３で生成された赤外画像データとカラー画像データ生成部５４で生成されたカラー画像データとを用いた演算処理により、カラー画像データ生成部５４で生成されたカラー画像データの色再現性を向上させた高色再現カラー画像データを生成する高色再現カラー画像データ生成部５６と、強調処理後の高コントラスト赤外画像データに基づく画像及び高色再現カラー画像データに基づく画像を表示装置５９に表示させる制御を行う表示制御部５８とを備える。
【００８４】
図１１に示す内視鏡装置に用いる撮像素子１００は、Ｒの波長域の光に応じたＲ成分の信号と、Ｇの波長域の光に応じたＧ成分の信号と、Ｂの波長域の光に応じたＢ成分の信号と、赤外域の光に応じたＩＲ成分の信号との４種類の信号を出力することができるものであれば良く、図１，２に示したような構成に限定されない。例えば、図１０（ｃ）に示したような構成の撮像素子であっても良いし、Ｒ又はＣｙの波長域の光を透過するカラーフィルタ、Ｇ又はＭｇの波長域の光を透過するカラーフィルタ、Ｂ又はＹｅの波長域の光を透過するカラーフィルタ、及び赤外域の光を透過するカラーフィルタの４つを半導体基板上方の同一面上にモザイク状に配列した単板式の撮像素子であっても良い。尚、撮像素子１００の分光感度特性は、例えば図８に示したのものとなる。
【００８５】
カラー画像データ生成部５４は、撮像素子１００のＲ光電変換素子で発生した電荷に応じた信号（以下、Ｒ信号という）と、撮像素子１００のＧ光電変換素子で発生した電荷に応じた信号（以下、Ｇ信号という）と、撮像素子１００のＢ光電変換素子で発生した電荷に応じた信号（以下、Ｂ信号という）とを撮像素子１００から取得し、こられの信号を用いて、公知の手法により、カラー画像データを生成する。
【００８６】
赤外画像データ生成部５３は、撮像素子１００のＲ基板上光電変換素子で発生した電荷に応じた信号（以下、ＩＲｒ信号という）から、信号補間等を行って、カラー画像データと同一解像度の赤外画像データを生成する。
【００８７】
図１２は、酸化ヘモグロビンと還元ヘモグロビンの分光反射率を示した図である。図１２において、縦軸は１を基準にしたときの分光反射率、横軸は光の波長を示す。図１２において、縦軸を、１を基準にしたときの光電変換素子の分光感度としたときに、図１２に示すＲｅａｌ曲線のような分光感度を有する光電変換素子でヘモグロビンを撮像すれば、ヘモグロビンの状態変化を最もコントラスト高く検出することができる。
【００８８】
そこで、高コントラスト赤外画像データ生成部５５は、Ｒ基板上光電変換素子から得られたＩＲｒ信号が、図１２のＲｅａｌ曲線に示すような分光感度特性を持つ光電変換素子から得られた信号に近づくような演算処理を行うことで、赤外画像データのコントラストを向上させることを可能にしている。
【００８９】
具体的に、高コントラスト赤外画像データ生成部５５は、以下の式（１）で示す演算を行って高コントラスト赤外画像データを生成する。
Ｉ（ｘ，ｙ）＝ｒ１×Ｒ（ｘ，ｙ）＋ｇ１×Ｇ（ｘ，ｙ）＋ｂ１×Ｂ（ｘ，ｙ）＋ｉｒ１×ＩＲ（ｘ，ｙ）・・・式（１）
Ｉ（ｘ，ｙ）は、高コントラスト赤外画像データの座標（ｘ，ｙ）における画素データを示す。
Ｒ（ｘ，ｙ）は、カラー画像データの座標（ｘ，ｙ）におけるＲ成分の画素データを示す。
Ｇ（ｘ，ｙ）は、カラー画像データの座標（ｘ，ｙ）におけるＧ成分の画素データを示す。
Ｂ（ｘ，ｙ）は、カラー画像データの座標（ｘ，ｙ）におけるＢ成分の画素データを示す。
ＩＲ（ｘ，ｙ）は、赤外画像データの座標（ｘ，ｙ）におけるＩＲ成分の画素データを示す。
ｒ１，ｇ１，ｂ１，ｉｒ１は、Ｒ光電変換素子の分光感度特性と、Ｇ光電変換素子の分光感度特性と、Ｂ光電変換素子の分光感度特性と、Ｒ基板上光電変換素子の分光感度特性と、図１２のＲｅａｌ曲線で表される分光感度特性とに基づいて決められた係数を示す。
【００９０】
係数ｒ１，ｇ１，ｂ１，ｉｒ１は、図８に示したＲ光電変換素子の波長λにおける分光感度をＲ（λ）とし、図８に示したＧ光電変換素子の波長λにおける分光感度をＧ（λ）とし、図８に示したＢ光電変換素子の波長λにおける分光感度をＢ（λ）とし、図８に示したＲ基板上光電変換素子の波長λにおける分光感度をＩＲ（λ）とし、図１２に示したＲｅａｌ曲線で示す特性を持つ光電変換素子の波長λにおける分光感度をＲｅａｌ（λ）としたとき、Ｒｅａｌ（λ）と、以下の式（２）の演算で得られる値とが最も近くなるように最小二乗法によって決定される。決定された係数データは、内視鏡装置内の図示しないメモリに予め記憶される。
【００９１】
ｒ１×Ｒ（λ）＋ｇ１×Ｇ（λ）＋ｂ１×Ｂ（λ）＋ｉｒ１×ＩＲ（λ）・・・式（２）
【００９２】
図１３は、上記の方法で決定された係数を用いて式（２）を演算した結果得られる分光感度特性を示す図である。図１３において、縦軸は１を基準にしたときの分光感度、横軸は光の波長を示す。図１３に示す曲線Ｉが、式（１）の演算で得られる高コントラスト赤外画像データを得ることができる仮想的な光電変換素子の分光感度特性となる。
【００９３】
図１４は、図１３に示す分光感度特性を持つ光電変換素子でヘモグロビンからの光を検出した場合の酸化ヘモグロビンと還元ヘモグロビンの検出感度を示した図である。図１４において、縦軸は１を基準にしたときの分光感度、横軸は光の波長を示す。図１５は、図８に示すＲ基板上光電変換素子の分光感度特性を示す図である。図１５において、縦軸は１を基準にしたときの分光感度、横軸は光の波長を示す。図１６は、図１５に示す分光感度特性を持つＲ基板上光電変換素子でヘモグロビンからの光を検出した場合の酸化ヘモグロビンと還元ヘモグロビンの検出感度を示した図である。図１６において、縦軸は１を基準にしたときの分光感度、横軸は光の波長を示す。
【００９４】
図１４と図１６を比較すると、図１４に示す酸化ヘモグロビンの波形Ｉ（ｏｘｙ）と分光感度＝０の直線とで囲まれる面積Ａを、図１４に示す還元ヘモグロビンの波形Ｉ（ｄｅｏｘｙ）と分光感度＝０の直線とで囲まれる面積Ｂで割った値で表される高コントラスト赤外画像データのコントラスト比は１．３１８であり、図１６に示す酸化ヘモグロビンの波形Ｉｒ（ｏｘｙ）と分光感度＝０の直線とで囲まれる面積Ｃを、図１６に示す還元ヘモグロビンの波形Ｉｒ（ｄｅｏｘｙ）と分光感度＝０の直線とで囲まれる面積Ｄで割った値で表される赤外画像データのコントラスト比は１．１６６であり、式（１）に示した演算処理を行うことで、赤外画像データのコントラストを向上させられることが分かる。
【００９５】
本実施形態の内視鏡装置に用いる撮像素子は、ＩＲ信号を出力する必要があるため、通常のデジタルカメラに設けるような赤外カットフィルタを撮像素子の前面に配置することができない。本実施形態では、光電変換層９の分光感度特性を補正するための補正フィルタ５２を設けているため、Ｒ光電変換素子、Ｇ光電変換素子、及びＢ光電変換素子の各々は、赤外域の光にほとんど感度を持たないが、それでも多少の感度は持ってしまう。この結果、カラー画像データの色再現性が低下するおそれがある。
【００９６】
そこで、高色再現カラー画像データ生成部５６は、Ｒ光電変換素子から得られたＲ信号が、図１７に示したスタンダードＲＧＢ理想撮像特性で規定される理想的な分光感度特性を持つｒ光電変換素子から得られる信号に近づくような演算処理を行い、Ｇ光電変換素子から得られたＧ信号が、図１７に示したスタンダードＲＧＢ理想撮像特性で規定される理想的な分光感度特性を持つｇ光電変換素子から得られる信号に近づくような演算処理を行い、Ｂ光電変換素子から得られたＢ信号が、図１７に示したスタンダードＲＧＢ理想撮像特性で規定される理想的な分光感度特性を持つｂ光電変換素子から得られる信号に近づくような演算処理を行うことで、高色再現カラー画像データを生成することを可能にしている。
【００９７】
具体的に、高色再現カラー画像データ生成部５６は、以下の式（３）で示す演算を行ってカラー画像データの色再現性を向上させる。
【００９８】
【数１】
Ｒ０（ｘ，ｙ）は、高色再現カラー画像データの座標（ｘ，ｙ）におけるＲ成分の画素データを示す。
Ｇ０（ｘ，ｙ）は、高色再現カラー画像データの座標（ｘ，ｙ）におけるＧ成分の画素データを示す。
Ｂ０（ｘ，ｙ）は、高色再現カラー画像データの座標（ｘ，ｙ）におけるＢ成分の画素データを示す。
Ｒ（ｘ，ｙ）は、カラー画像データの座標（ｘ，ｙ）におけるＲ成分の画素データを示す。
Ｇ（ｘ，ｙ）は、カラー画像データの座標（ｘ，ｙ）におけるＧ成分の画素データを示す。
Ｂ（ｘ，ｙ）は、カラー画像データの座標（ｘ，ｙ）におけるＢ成分の画素データを示す。
Ｉｒ（ｘ，ｙ）は、赤外画像データの座標（ｘ，ｙ）におけるＩＲ成分の画素データを示す。
ｒ２，ｒ３，ｒ４，ｇ２，ｇ３，ｇ４，ｂ２，ｂ３，ｂ４，ｉｒ２，ｉｒ３，ｉｒ４は、Ｒ光電変換素子の分光感度特性と、Ｇ光電変換素子の分光感度特性と、Ｂ光電変換素子の分光感度特性と、Ｒ基板上光電変換素子の分光感度特性と、図１７に示すスタンダードＲＧＢ理想撮像特性とに基づいて決められた係数を示す。
【００９９】
係数ｒ２，ｇ２，ｂ２，ｉｒ２は、図８に示したＲ光電変換素子の波長λにおける分光感度をＲ（λ）とし、図８に示したＧ光電変換素子の波長λにおける分光感度をＧ（λ）とし、図８に示したＢ光電変換素子の波長λにおける分光感度をＢ（λ）とし、図８に示したＲ基板上光電変換素子の波長λにおける分光感度をＩＲ（λ）とし、図１７に示したｒ光電変換素子の波長λにおける分光感度をｒ（λ）としたとき、ｒ（λ）と、以下の式（４）で得られる値とが最も近くなるように最小二乗法によって決定される。決定された係数データは、内視鏡装置内の図示しないメモリに予め記憶される。
【０１００】
ｒ２×Ｒ（λ）＋ｇ２×Ｇ（λ）＋ｂ２×Ｂ（λ）＋ｉｒ２×ＩＲ（λ）・・・式（４）
【０１０１】
係数ｒ３，ｇ３，ｂ３，ｉｒ３は、図１７に示したｇ光電変換素子の波長λにおける分光感度をｇ（λ）としたとき、ｇ（λ）と以下の式（５）で得られる値とが最も近くなるように最小二乗法によって決定される。決定された係数データは、内視鏡装置内の図示しないメモリに予め記憶される。
【０１０２】
ｒ３×Ｒ（λ）＋ｇ３×Ｇ（λ）＋ｂ３×Ｂ（λ）＋ｉｒ３×ＩＲ（λ）・・・式（５）
【０１０３】
係数ｒ４，ｇ４，ｂ４，ｉｒ４は、図１７に示したｂ光電変換素子の波長λにおける分光感度をｂ（λ）としたとき、ｂ（λ）と以下の式（６）で得られる値とが最も近くなるように最小二乗法によって決定される。決定された係数データは、内視鏡装置内の図示しないメモリに予め記憶される。
【０１０４】
ｒ４×Ｒ（λ）＋ｇ４×Ｇ（λ）＋ｂ４×Ｂ（λ）＋ｉｒ４×ＩＲ（λ）・・・式（６）
【０１０５】
図１８は、上記の方法で決定された係数を用いて式（４）〜（６）を演算した結果得られる撮像素子１００のＲ光電変換素子、Ｇ光電変換素子、及びＢ光電変換素子の分光感度特性を示す図である。図１８において縦軸は１を基準としたときの分光感度、横軸は波長を示す。図１８に示す曲線Ｒが、Ｒ光電変換素子の分光感度特性を理想的な分光感度特性に近づけた結果得られる分光感度特性を示し、図１８に示す曲線Ｇが、Ｇ光電変換素子を理想的な分光感度特性に近づけた結果得られる分光感度特性を示し、図１８に示す曲線Ｂが、Ｂ光電変換素子を理想的な分光感度特性に近づけた結果得られる分光感度特性を示す。
【０１０６】
図１８を見て分かるように、波長６８０ｎｍ以上の赤外域の感度をほぼ０以下にすることができている。このため、式（３）に示す演算処理を行うことで、カラー画像データの色再現性を向上させられることが分かる。
【０１０７】
表示制御部５８は、画像強調部５７で強調された高コントラスト赤外画像データに基づく画像を表示装置５９に表示させる制御を行ったり、高色再現カラー画像データに基づく画像を表示装置５９に表示させる制御を行ったり、高コントラスト赤外画像データに基づく画像と高色再現カラー画像データに基づく画像とを合成した画像を表示装置５９に表示させる制御を行ったりする。高コントラスト赤外画像データについては、信号レベルを擬似カラーで表現して画像表示させたり、信号レベルを酸素吸収量に換算して画像表示させたりする。
【０１０８】
以上のように、本実施形態の内視鏡装置によれば、撮像素子１００から出力されるＲ信号、Ｇ信号、及びＢ信号から生成したカラー画像データと、撮像素子１００から出力されるＩＲｒ信号から生成した赤外画像データとを用いた演算処理により、カラー画像データよりも色再現性を向上させた高色再現カラー画像データと、赤外画像データよりもコントラストを向上させた高コントラスト赤外画像データを生成することができる。このため、内視鏡装置による検査精度を従来よりも向上させることができる。
【０１０９】
又、内視鏡装置に用いる撮像素子として第一実施形態で説明した構成のものを採用することで、高色再現カラー画像データと高コントラスト赤外画像データを１回の撮像によって得ることができるため、色ずれなどを心配することなく、検査を行うことが可能となる。
【０１１０】
又、本実施形態の内視鏡装置によれば、赤外カットフィルタが不要となるため、人体に挿入する部分の小型化が可能になると共に、装置コストも削減することができる。
【０１１１】
尚、以上の説明では、内視鏡装置に補正フィルタ５２を設けるものとしたが、これは省略しても構わない。補正フィルタ５２を省略した場合には、内視鏡装置に搭載する撮像素子１００の分光感度特性が図６に示すようなものとなり、カラー画像データの色再現性はより低下するため、高色再現カラー画像データ生成部５６の行う処理がより効果を発揮することとなる。
【０１１２】
又、本実施形態では、内視鏡装置に高コントラスト赤外画像データ生成部５５と高色再現カラー画像データ生成部５６の両方を設けているが、高色再現カラー画像データ生成部５６は省略しても構わない。高色再現カラー画像データ生成部５６を省略した場合には、７８０ｎｍ以上の波長域をカットするための補正フィルタ５２を設けることが好ましい。
【０１１３】
又、高色再現カラー画像データ生成部５６は、内視鏡装置に限らず、Ｒ成分の信号とＧ成分の信号とＢ成分の信号とＩＲ成分の信号とを出力することができる撮像素子を搭載するデジタルカメラ等の撮像装置に搭載することでも十分に効果を得ることができる。この場合、撮像装置に赤外カットフィルタが不要となるため、撮像装置の小型化及び低コスト化を図ることができる。
【０１１４】
上述した内視鏡装置における赤外画像データ生成部５３、カラー画像データ生成部５４、高コントランスト赤外画像データ生成部５５、高色再現カラー画像データ生成部５６、及び画像強調部５７の各部の機能は、コンピュータをこれらの各部として機能させるためのプログラムを、内視鏡装置に搭載されている演算処理装置等のコンピュータが実行することで実現することができる。又、撮像素子１００から得られた撮像信号をそのままパーソナルコンピュータ等に取り込み、上記プログラムをこのコンピュータが実行することでも実現することができる。
【０１１５】
尚、本明細書において、Ｒの波長域とは、波長約５５０ｎｍ〜約７００ｎｍまでの範囲を示し、Ｇの波長域とは、波長約４５０ｎｍ〜約６１０ｎｍまでの範囲を示し、Ｂの波長域とは、波長約３８０ｎｍ〜約５２０ｎｍまでの範囲を示し、赤外域とは、波長約６８０ｎｍ〜約３０００ｎｍまでの範囲を示し、Ｃｙの波長域とは、波長約３８０ｎｍ〜約６１０ｎｍまでの範囲を示し、Ｍｇの波長域とは、波長約３８０ｎｍ〜約５００ｎｍと波長約６００ｎｍ〜７００ｎｍまでの範囲を示し、Ｙｅの波長域とは、波長約４７０ｎｍ〜約７００ｎｍまでの範囲を示す。
【０１１６】
又、本明細書において、「ある波長域の光を透過する」とは、その波長域の光を約６０％以上透過することを言い、「ある波長域の光を吸収する」とは、その波長域の光を約５０％以上吸収することを言う。
【図面の簡単な説明】
【０１１７】
【図１】本発明の実施形態を説明するための撮像素子の部分表面模式図
【図２】図１に示す撮像素子のＡ−Ａ線の断面模式図
【図３】図２に示す信号読み出し部５ｒの具体的な構成例を示す図
【図４】図１に示す撮像素子の光電変換素子及び基板上光電変換素子の特性を示す図
【図５】図１に示す撮像素子のカラーフィルタの特性を示す図
【図６】図１に示す撮像素子の補正フィルタ無しでの特性を示す図
【図７】補正フィルタの特性を示す図
【図８】図１に示す撮像素子の補正フィルタ有りでの特性を示す図
【図９】ヘモグロビンの分光反射率を示す図
【図１０】図１に示す撮像素子の構成の変形例を示す図
【図１１】第二実施形態を説明するための内視鏡装置の概略構成を示す図
【図１２】ヘモグロビンの分光反射率とヘモグロビンの状態変化を最もコントラスト高く検出できる分光感度特性を示す図
【図１３】図１に示す撮像素子のＲ基板上光電変換素子の特性を、図１２のＲｅａｌ曲線で示す特性に近づける処理を行って得られた特性を示す図
【図１４】図１３に示す特性を持つ撮像素子で撮像したときのヘモグロビンの検出感度特性を示す図
【図１５】図８に示すＲ基板上光電変換素子の分光感度特性を示す図
【図１６】図１５に示す特性を持つ撮像素子で撮像したときのヘモグロビンの検出感度特性を示す図
【図１７】スタンダードＲＧＢ理想撮像特性を示す図
【図１８】図１に示す撮像素子のＲ光電変換素子，Ｇ光電変換素子，Ｂ光電変換素子の各々の特性を、図１７に示す特性に近づける処理を行って得られた特性を示す図
【符号の説明】
【０１１８】
１００ 撮像素子
１ シリコン基板
２ ｐウェル層
３ｒ，３ｇ，３ｂ ｎ領域
４ｒ，４ｇ，４ｂ ｎ＋領域
５，８ 透明絶縁層
５ｒ，５ｇ，５ｂ 信号読み出し部
６ｒ，６ｇ，６ｂ コンタクト部
７ｒ，７ｇ，７ｂ，１０ 透明電極
９ 光電変換層
１１，１２ 保護層
１３ｒ，１３ｇ，１３ｂ カラーフィルタ
１４ マイクロレンズ
【特許請求の範囲】
【請求項１】
撮像素子から出力される撮像信号から画像データを生成する画像処理装置であって、
前記撮像素子から出力されるＲ（赤色）成分の撮像信号、Ｇ（緑色）成分の撮像信号、及びＢ（青色）成分の撮像信号からカラー画像データを生成するカラー画像データ生成手段と、
前記撮像素子から出力されるＩＲ（赤外）成分の撮像信号から赤外画像データを生成する赤外画像データ生成手段と、
前記カラー画像データと前記赤外画像データを用いて、前記赤外画像データのコントラストを向上させた高コントラスト赤外画像データを生成する高コントラスト赤外画像データ生成手段とを備える画像処理装置。
【請求項２】
請求項１記載の画像処理装置であって、
前記カラー画像データの画素データが、Ｒ成分のデータであるＲデータと。Ｇ成分のデータであるＧデータと、Ｂ成分のデータであるＢデータとで構成され、前記赤外画像データの画素データが、ＩＲ成分のデータであるＩＲデータで構成され、
前記高コントラスト赤外画像データ生成手段は、前記カラー画像データと前記赤外画像データの各々の同一位置にある画素データを構成するＲデータに係数ｒ１を乗じた値と、Ｇデータに係数ｇ１を乗じた値と、Ｂデータに係数ｂ１を乗じた値と、ＩＲデータに係数ｉｒ１を乗じた値とを積算して、前記高コントラスト赤外画像データを生成し、
前記係数ｒ１，ｇ１，ｂ１，ｉｒ１は、前記撮像素子を構成する光電変換素子のうちの前記Ｒ成分の撮像信号を出力する光電変換素子の分光感度であるＲ感度に前記係数ｒ１を乗じた値、前記撮像素子を構成する光電変換素子のうちの前記Ｇ成分の撮像信号を出力する光電変換素子の分光感度であるＧ感度に前記係数ｇ１を乗じた値、前記撮像素子を構成する光電変換素子のうちの前記Ｂ成分の撮像信号を出力する光電変換素子の分光感度であるＢ感度に前記係数ｂ１を乗じた値、及び前記撮像素子を構成する光電変換素子のうちの前記ＩＲ成分の撮像信号を出力する光電変換素子の分光感度であるＩＲ感度に前記係数ｉｒ１を乗じた値、を積算した値と、人体内部の変化を捉えるための観察対象となる物質を最もコントラスト高く撮像できる理想的な分光感度の値とが最も近くなるように決定されたものである画像処理装置。
【請求項３】
請求項２記載の画像処理装置であって、
前記観察対象となる物質がヘモグロビンである画像処理装置。
【請求項４】
請求項１〜３のいずれか１項記載の画像処理装置であって、
前記カラー画像データと前記赤外画像データを用いて、前記カラー画像データの色再現性を向上させた高色再現カラー画像データを生成する高色再現カラー画像データ生成手段を備える画像処理装置。
【請求項５】
請求項４記載の画像処理装置であって、
前記高色再現カラー画像データ生成手段は、前記カラー画像データと前記赤外画像データの各々の同一位置にある画素データを構成するＲデータに係数ｒ２を乗じた値と、Ｇデータに係数ｇ２を乗じた値と、Ｂデータに係数ｂ２を乗じた値と、ＩＲデータに係数ｉｒ２を乗じた値とを積算して、前記高色再現カラー画像データの１画素データを構成するＲ成分のデータを生成し、前記Ｒデータに係数ｒ３を乗じた値と、前記Ｇデータに係数ｇ３を乗じた値と、前記Ｂデータに係数ｂ３を乗じた値と、前記ＩＲデータに係数ｉｒ３を乗じた値とを積算して、前記高色再現カラー画像データの１画素データを構成するＧ成分のデータを生成し、前記Ｒデータに係数ｒ４を乗じた値と、前記Ｇデータに係数ｇ４を乗じた値と、前記Ｂデータに係数ｂ４を乗じた値と、前記ＩＲデータに係数ｉｒ４を乗じた値とを積算して、前記高色再現カラー画像データの１画素データを構成するＢ成分のデータを生成し、
前記係数ｒ２，ｇ２，ｂ２，ｉｒ２は、前記撮像素子を構成する光電変換素子のうちの前記Ｒ成分の撮像信号を出力する光電変換素子の分光感度であるＲ感度に前記係数ｒ２を乗じた値、前記撮像素子を構成する光電変換素子のうちの前記Ｇ成分の撮像信号を出力する光電変換素子の分光感度であるＧ感度に前記係数ｇ２を乗じた値、前記撮像素子を構成する光電変換素子のうちの前記Ｂ成分の撮像信号を出力する光電変換素子の分光感度であるＢ感度に前記係数ｂ２を乗じた値、及び前記撮像素子を構成する光電変換素子のうちの前記ＩＲ成分の撮像信号を出力する光電変換素子の分光感度であるＩＲ感度に前記係数iｒ２を乗じた値、を積算した値と、前記Ｒ成分の撮像信号を出力する光電変換素子の理想的な分光感度の値とが最も近くなるように決定されたものであり、
前記係数ｒ３，ｇ３，ｂ３，ｉｒ３は、前記Ｒ感度に前記係数ｒ３を乗じた値、前記Ｇ感度に前記係数ｇ３を乗じた値、前記Ｂ感度に前記係数ｂ３を乗じた値、及び前記ＩＲ感度に前記係数iｒ３を乗じた値、を積算した値と、前記Ｇ成分の撮像信号を出力する光電変換素子の理想的な分光感度の値とが最も近くなるように決定されたものであり、
前記係数ｒ４，ｇ４，ｂ４，ｉｒ４は、前記Ｒ感度に前記係数ｒ４を乗じた値、前記Ｇ感度に前記係数ｇ４を乗じた値、前記Ｂ感度に前記係数ｂ４を乗じた値、及び前記ＩＲ感度に前記係数ｉｒ４を乗じた値、を積算した値と、前記Ｂ成分の撮像信号を出力する光電変換素子の理想的な分光感度の値とが最も近くなるように決定されたものである画像処理装置。
【請求項６】
請求項１〜５のいずれか１項記載の画像処理装置であって、
前記撮像素子が、
半導体基板内の同一面上に配列された多数の光電変換素子と、
前記半導体基板の上方の同一面上に形成された、前記多数の光電変換素子の一部に対応する基板上光電変換素子であって、前記半導体基板上方に形成された第一の電極、前記第一の電極上に形成された光電変換層、及び前記光電変換層上に形成された第二の電極を含んで構成される基板上光電変換素子と、
前記半導体基板の上方に形成され、前記光電変換層で吸収される光の波長域とは異なる波長域の光を透過するカラーフィルタ層と、
前記基板上光電変換素子で発生した電荷に応じた信号及び前記光電変換素子で発生した電荷に応じた信号をそれぞれ読み出す信号読み出し手段とを備え、
前記カラーフィルタ層は、前記多数の光電変換素子の各々に対応する多数のカラーフィルタで構成され、
前記多数のカラーフィルタは、Ｒの波長域の光を透過するカラーフィルタ、Ｇの波長域の光を透過するカラーフィルタ、Ｂの波長域の光を透過するカラーフィルタの３種類のカラーフィルタに分類され、
前記３種類のカラーフィルタのうちの少なくとも前記Ｒの波長域の光を透過するカラーフィルタは赤外域の光も透過し、
前記光電変換層は、赤外域の光を吸収してこれに応じた電荷を発生し、且つ、それ以外の光を透過し、
前記多数の光電変換素子の一部とは、前記Ｒの波長域の光を透過するカラーフィルタに対応する光電変換素子である画像処理装置。
【請求項７】
請求項６記載の画像処理装置であって、
前記カラーフィルタ層が、前記基板上光電変換素子よりも上方に形成されている画像処理装置。
【請求項８】
請求項７記載の画像処理装置であって、
前記光電変換層が有機材料を含んで構成され、
前記基板上光電変換素子と前記カラーフィルタ層との間に、ＡＬＣＶＤ法によって形成された前記基板上光電変換素子を保護するための保護層を備える画像処理装置。
【請求項９】
請求項８記載の画像処理装置であって、
前記保護層が、無機材料を含んで構成される画像処理装置。
【請求項１０】
請求項９記載の画像処理装置であって、
前記保護層が、無機材料からなる無機層と、有機ポリマーからなる有機層との２層構造である画像処理装置。
【請求項１１】
請求項６〜１０のいずれか１項記載の画像処理装置であって、
前記撮像素子が、前記カラーフィルタ層の上方に、前記多数の光電変換素子の各々に光を集光するためのマイクロレンズを備える画像処理装置。
【請求項１２】
請求項１〜１１のいずれか１項記載の画像処理装置と、
前記撮像素子とを備える内視鏡装置。
【請求項１３】
コンピュータを、請求項１〜１１のいずれか１項記載の画像処理装置の各手段として機能させるための画像処理プログラム。
【請求項１】
撮像素子から出力される撮像信号から画像データを生成する画像処理装置であって、
前記撮像素子から出力されるＲ（赤色）成分の撮像信号、Ｇ（緑色）成分の撮像信号、及びＢ（青色）成分の撮像信号からカラー画像データを生成するカラー画像データ生成手段と、
前記撮像素子から出力されるＩＲ（赤外）成分の撮像信号から赤外画像データを生成する赤外画像データ生成手段と、
前記カラー画像データと前記赤外画像データを用いて、前記赤外画像データのコントラストを向上させた高コントラスト赤外画像データを生成する高コントラスト赤外画像データ生成手段とを備える画像処理装置。
【請求項２】
請求項１記載の画像処理装置であって、
前記カラー画像データの画素データが、Ｒ成分のデータであるＲデータと。Ｇ成分のデータであるＧデータと、Ｂ成分のデータであるＢデータとで構成され、前記赤外画像データの画素データが、ＩＲ成分のデータであるＩＲデータで構成され、
前記高コントラスト赤外画像データ生成手段は、前記カラー画像データと前記赤外画像データの各々の同一位置にある画素データを構成するＲデータに係数ｒ１を乗じた値と、Ｇデータに係数ｇ１を乗じた値と、Ｂデータに係数ｂ１を乗じた値と、ＩＲデータに係数ｉｒ１を乗じた値とを積算して、前記高コントラスト赤外画像データを生成し、
前記係数ｒ１，ｇ１，ｂ１，ｉｒ１は、前記撮像素子を構成する光電変換素子のうちの前記Ｒ成分の撮像信号を出力する光電変換素子の分光感度であるＲ感度に前記係数ｒ１を乗じた値、前記撮像素子を構成する光電変換素子のうちの前記Ｇ成分の撮像信号を出力する光電変換素子の分光感度であるＧ感度に前記係数ｇ１を乗じた値、前記撮像素子を構成する光電変換素子のうちの前記Ｂ成分の撮像信号を出力する光電変換素子の分光感度であるＢ感度に前記係数ｂ１を乗じた値、及び前記撮像素子を構成する光電変換素子のうちの前記ＩＲ成分の撮像信号を出力する光電変換素子の分光感度であるＩＲ感度に前記係数ｉｒ１を乗じた値、を積算した値と、人体内部の変化を捉えるための観察対象となる物質を最もコントラスト高く撮像できる理想的な分光感度の値とが最も近くなるように決定されたものである画像処理装置。
【請求項３】
請求項２記載の画像処理装置であって、
前記観察対象となる物質がヘモグロビンである画像処理装置。
【請求項４】
請求項１〜３のいずれか１項記載の画像処理装置であって、
前記カラー画像データと前記赤外画像データを用いて、前記カラー画像データの色再現性を向上させた高色再現カラー画像データを生成する高色再現カラー画像データ生成手段を備える画像処理装置。
【請求項５】
請求項４記載の画像処理装置であって、
前記高色再現カラー画像データ生成手段は、前記カラー画像データと前記赤外画像データの各々の同一位置にある画素データを構成するＲデータに係数ｒ２を乗じた値と、Ｇデータに係数ｇ２を乗じた値と、Ｂデータに係数ｂ２を乗じた値と、ＩＲデータに係数ｉｒ２を乗じた値とを積算して、前記高色再現カラー画像データの１画素データを構成するＲ成分のデータを生成し、前記Ｒデータに係数ｒ３を乗じた値と、前記Ｇデータに係数ｇ３を乗じた値と、前記Ｂデータに係数ｂ３を乗じた値と、前記ＩＲデータに係数ｉｒ３を乗じた値とを積算して、前記高色再現カラー画像データの１画素データを構成するＧ成分のデータを生成し、前記Ｒデータに係数ｒ４を乗じた値と、前記Ｇデータに係数ｇ４を乗じた値と、前記Ｂデータに係数ｂ４を乗じた値と、前記ＩＲデータに係数ｉｒ４を乗じた値とを積算して、前記高色再現カラー画像データの１画素データを構成するＢ成分のデータを生成し、
前記係数ｒ２，ｇ２，ｂ２，ｉｒ２は、前記撮像素子を構成する光電変換素子のうちの前記Ｒ成分の撮像信号を出力する光電変換素子の分光感度であるＲ感度に前記係数ｒ２を乗じた値、前記撮像素子を構成する光電変換素子のうちの前記Ｇ成分の撮像信号を出力する光電変換素子の分光感度であるＧ感度に前記係数ｇ２を乗じた値、前記撮像素子を構成する光電変換素子のうちの前記Ｂ成分の撮像信号を出力する光電変換素子の分光感度であるＢ感度に前記係数ｂ２を乗じた値、及び前記撮像素子を構成する光電変換素子のうちの前記ＩＲ成分の撮像信号を出力する光電変換素子の分光感度であるＩＲ感度に前記係数iｒ２を乗じた値、を積算した値と、前記Ｒ成分の撮像信号を出力する光電変換素子の理想的な分光感度の値とが最も近くなるように決定されたものであり、
前記係数ｒ３，ｇ３，ｂ３，ｉｒ３は、前記Ｒ感度に前記係数ｒ３を乗じた値、前記Ｇ感度に前記係数ｇ３を乗じた値、前記Ｂ感度に前記係数ｂ３を乗じた値、及び前記ＩＲ感度に前記係数iｒ３を乗じた値、を積算した値と、前記Ｇ成分の撮像信号を出力する光電変換素子の理想的な分光感度の値とが最も近くなるように決定されたものであり、
前記係数ｒ４，ｇ４，ｂ４，ｉｒ４は、前記Ｒ感度に前記係数ｒ４を乗じた値、前記Ｇ感度に前記係数ｇ４を乗じた値、前記Ｂ感度に前記係数ｂ４を乗じた値、及び前記ＩＲ感度に前記係数ｉｒ４を乗じた値、を積算した値と、前記Ｂ成分の撮像信号を出力する光電変換素子の理想的な分光感度の値とが最も近くなるように決定されたものである画像処理装置。
【請求項６】
請求項１〜５のいずれか１項記載の画像処理装置であって、
前記撮像素子が、
半導体基板内の同一面上に配列された多数の光電変換素子と、
前記半導体基板の上方の同一面上に形成された、前記多数の光電変換素子の一部に対応する基板上光電変換素子であって、前記半導体基板上方に形成された第一の電極、前記第一の電極上に形成された光電変換層、及び前記光電変換層上に形成された第二の電極を含んで構成される基板上光電変換素子と、
前記半導体基板の上方に形成され、前記光電変換層で吸収される光の波長域とは異なる波長域の光を透過するカラーフィルタ層と、
前記基板上光電変換素子で発生した電荷に応じた信号及び前記光電変換素子で発生した電荷に応じた信号をそれぞれ読み出す信号読み出し手段とを備え、
前記カラーフィルタ層は、前記多数の光電変換素子の各々に対応する多数のカラーフィルタで構成され、
前記多数のカラーフィルタは、Ｒの波長域の光を透過するカラーフィルタ、Ｇの波長域の光を透過するカラーフィルタ、Ｂの波長域の光を透過するカラーフィルタの３種類のカラーフィルタに分類され、
前記３種類のカラーフィルタのうちの少なくとも前記Ｒの波長域の光を透過するカラーフィルタは赤外域の光も透過し、
前記光電変換層は、赤外域の光を吸収してこれに応じた電荷を発生し、且つ、それ以外の光を透過し、
前記多数の光電変換素子の一部とは、前記Ｒの波長域の光を透過するカラーフィルタに対応する光電変換素子である画像処理装置。
【請求項７】
請求項６記載の画像処理装置であって、
前記カラーフィルタ層が、前記基板上光電変換素子よりも上方に形成されている画像処理装置。
【請求項８】
請求項７記載の画像処理装置であって、
前記光電変換層が有機材料を含んで構成され、
前記基板上光電変換素子と前記カラーフィルタ層との間に、ＡＬＣＶＤ法によって形成された前記基板上光電変換素子を保護するための保護層を備える画像処理装置。
【請求項９】
請求項８記載の画像処理装置であって、
前記保護層が、無機材料を含んで構成される画像処理装置。
【請求項１０】
請求項９記載の画像処理装置であって、
前記保護層が、無機材料からなる無機層と、有機ポリマーからなる有機層との２層構造である画像処理装置。
【請求項１１】
請求項６〜１０のいずれか１項記載の画像処理装置であって、
前記撮像素子が、前記カラーフィルタ層の上方に、前記多数の光電変換素子の各々に光を集光するためのマイクロレンズを備える画像処理装置。
【請求項１２】
請求項１〜１１のいずれか１項記載の画像処理装置と、
前記撮像素子とを備える内視鏡装置。
【請求項１３】
コンピュータを、請求項１〜１１のいずれか１項記載の画像処理装置の各手段として機能させるための画像処理プログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【公開番号】特開２００８−７９９３７（Ｐ２００８−７９９３７Ａ）
【公開日】平成２０年４月１０日（２００８．４．１０）
【国際特許分類】
【出願番号】特願２００６−２６４９２３（Ｐ２００６−２６４９２３）
【出願日】平成１８年９月２８日（２００６．９．２８）
【出願人】（３０６０３７３１１）富士フイルム株式会社 (25,513)
【Ｆターム（参考）】
【公開日】平成２０年４月１０日（２００８．４．１０）
【国際特許分類】
【出願日】平成１８年９月２８日（２００６．９．２８）
【出願人】（３０６０３７３１１）富士フイルム株式会社 (25,513)
【Ｆターム（参考）】
[ Back to top ]