固体撮像素子及び画像入力装置
【課題】可視光から赤外光までの光を受光して、適切な画像を形成することができる固体撮像素子及び画像入力装置の提供。
【解決手段】第１のフォトダイオード４が、可視光について光電変換を行い、第２のフォトダイオード４’が、第１のフォトダイオード４を通過した赤外光を光電変換する。可視光成分が多い場合でも、第２のフォトダイオード４’の画素が飽和することが抑制され、赤外光の成分が多い場合でも、第１のフォトダイオード４の画素が飽和することが抑制される。第１のフォトダイオード４により光電変換される可視光は、急峻なカットオフ特性のフィルタＦを用いて、各色成分毎に分離することができ、高画質RGB画像を形成できる。第２のフォトダイオード４’全体で光電変換された赤外光を用い赤外光専用センサと同等な解像度の赤外光画像を形成できる。第１のフォトダイオード４と第２のフォトダイオード４’は、別個に露光制御を行うことも出来る。
【解決手段】第１のフォトダイオード４が、可視光について光電変換を行い、第２のフォトダイオード４’が、第１のフォトダイオード４を通過した赤外光を光電変換する。可視光成分が多い場合でも、第２のフォトダイオード４’の画素が飽和することが抑制され、赤外光の成分が多い場合でも、第１のフォトダイオード４の画素が飽和することが抑制される。第１のフォトダイオード４により光電変換される可視光は、急峻なカットオフ特性のフィルタＦを用いて、各色成分毎に分離することができ、高画質RGB画像を形成できる。第２のフォトダイオード４’全体で光電変換された赤外光を用い赤外光専用センサと同等な解像度の赤外光画像を形成できる。第１のフォトダイオード４と第２のフォトダイオード４’は、別個に露光制御を行うことも出来る。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、固体撮像素子及び画像入力装置に関し、可視光から赤外光までを受光して、画像を形成するために用いられる固体撮像素子及び画像入力装置に関するものである。
【背景技術】
【０００２】
例えば、夜間の監視用の監視カメラとして、赤外線を投射して被写体からの反射光を受光しモノクロ画像を形成するものが知られている。一方、昼間の監視用の監視カメラとしては、被写体から反射した自然光を受光してカラー画像を形成するものが知られている。しかるに、従来の監視カメラにおいては、夜間撮影用の撮像素子と昼間撮影用の撮像素子とで異なるものを用いているために、コストが高くなるという問題がある。
【０００３】
これに対し特許文献１には、ホワイト（Ｗ）、イエロー（Ｙｅ）、レッド（Ｒｉ）、ブラック（Ｉｒ）のフィルタを有する撮像素子を用いて、可視光から赤外光までの広帯域の光を受光して、可視光画像と赤外光画像とを形成できる画像信号処理装置が開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００８−２８８６２９号公報
【特許文献２】特開２００７−５１５０１１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかるに、特許文献１の技術によれば、各色フィルタ（Ｗ、Ｙｅ、Ｒｉ、Ｉｒ）を赤外光が透過するようになっていて、投光された赤外光を有効に利用することができるが、ハロゲンランプなどのような可視光に対して赤外光の強度が大幅に強い光が入射した場合、可視光に露出を最適化した場合に、画素の信号が飽和してしまう恐れがある。かかる場合、各色フィルタの信号間での差分が取れなくなり、ＲＧＢ信号が抽出できなくなる欠点がある。飽和しないまでも、入射光良が大きい場合、画素の信号が大きくなり、各色フィルタの信号間での差分が小さくなり、SNRの良いR、G、B信号が抽出できなくなる欠点がある。また、４種類の色フィルタを各画素にモザイク状に配置する必要があり、モノクロ撮像素子を用いた場合と比較して、解像度が劣化する欠点がある。
【０００６】
これに対し特許文献２には、光の入射方向に対してその深さ方向（入射面に対して垂直な方向）に異なる分光特性を持つ光電変換層（フォトダイオードなど）を複数設けることで、異なる波長領域の光を信号（例えばＲ、Ｇ、Ｂ信号）として取り出すことができるイメージセンサが開示されている。
【０００７】
しかしながら特許文献２のイメージセンサによれば、可視光領域でＲＧＢ信号を得るのに加えて、赤外領域の信号を取り出すには、深さ方向に光電変換層（フォトダイオードなど）をさらに追加で形成する必要があり、構造がさらに複雑になるという欠点がある。特に、このようなイメージセンサを用いてRGB画像を得ようとした場合には、３色の波長の光を取り入れるため３層の光電変換層が必要であり、加えて赤外画像まで得ようとすると、赤外波長の光を取り入れるために更に１層必要であるから、合計４層の光電変換層が必要となってしまう。かかるイメージセンサは構造が複雑となり、また読み出し回路も４系統必要となり、製造工程が増え、歩留まりが低下することにより、コストアップとなる欠点がある。また、そもそも、特許文献２のイメージセンサの構造による波長分離機能では、例えば色フィルタを用いた場合のように狭い帯域以外の波長の光をカットするというような急峻なカットオフ特性は得られず、良好な色再現が得られないという問題もある。
【０００８】
本発明は、上述の問題に鑑みてなされたものであり、シンプルな構成でありながら、可視光から赤外光までの広帯域の光を受光して、適切な画像を形成することができる固体撮像素子及び画像入力装置を提供することを目的とする。
【課題を解決するための手段】
【０００９】
本発明の固体撮像素子は、
第１の光電変換部と、前記第１の光電変換部よりも光の入射方向に対して深い位置に配置された第２の光電変換部とを、光の入射方向に対して重なるように形成した光電変換領域と、
前記光電変換領域よりも光の入射側に配置された色フィルタとを有する固体撮像素子であって、
可視光と赤外光とを含む波長領域の光を入射したときに、前記第１の光電変換部は、前記色フィルタの特性に応じた波長帯域の光について光電変換を行い、前記第２の光電変換部は、前記色フィルタと前記第１の光電変換部を通過した光について光電変換を行うことを特徴とする。
【発明の効果】
【００１０】
本発明の固体撮像素子によれば、可視光と赤外光とを含む波長領域の光を入射したときに、前記第１の光電変換部は、前記フィルタの特性に応じた波長帯域の光について光電変換を行い、前記第２の光電変換部は、前記第１の光電変換部を通過した光について光電変換を行うので、短波長領域の光（例えば可視光）は、前記第１の光電変換部により光電変換され、前記第１の光電変換部を通過した残りの長波長領域の光（例えば赤外光）は、前記第２の光電変換部により光電変換される。即ち、単一の固体撮像素子において光の入射方向に対して重なるように積層された２つの光電変換部を用いることでシンプルな構造ながら有効な波長分離機能を持たせることができるため、入射光に可視光の成分が多い場合でも、前記第２の光電変換部の画素が飽和することが抑制され、また入射光に赤外光の成分が多い場合でも、前記第１の光電変換部の画素が飽和することが抑制される。尚、前記第１の光電変換部全体により光電変換される可視光については、急峻なカットオフ特性を有する色フィルタを用いることで、各色成分毎に分離することができ、SNRの良い高画質なR、G、B三原色信号を抽出することができる。又、前記第２の光電変換部全体で光電変換された赤外光を用いて、例えば赤外光専用センサと同等な解像度の赤外光画像を形成できる。また前記第１の光電変換部と前記第２の光電変換部は独立しているので、別個に露光制御を行うことも出来、最適な条件で光電変換された信号を取り出すことができる。
【００１１】
更に、本発明の一態様としては、前記光電変換領域は、半導体基板内に前記第１の光電変換部と前記第２の光電変換部が一体的に形成されていると好ましい。
【００１２】
更に、本発明の一態様としては、前記光電変換領域は、半導体基板上に前記第１の光電変換部と前記第２の光電変換部がそれぞれ光電変換膜として形成されていると好ましい。上段(浅い側)の光電変換部を有機光導電膜や、CIGS光導電膜などの薄膜を利用することもできる。両方の光電変換部を薄膜化することも可能である。薄膜化することで、光電変換部を浅いところに形成することができ、また、配線領域上に形成できるので開口が大きく取れる。これによりマイクロレンズを不要とすることができ、また、入射角度が大きくても良く、テレセン性の悪いレンズも使用でき、レンズの小型化、カメラの低背化に有利である。また、シリコン以外の光電変換材料を使用することで、シリコンでは実現できない機能を持たせることができる。例えば、赤外領域の感度はシリコンでは1100nm位までであるが、更に長波長側に感度を持たせることもできる。また、例えば青波長光のみ光電変換し、それ以外の波長の光は透過したり、緑波長光のみ光電変換し、それ以外の波長の光は透過したり、赤波長光のみ光電変換し、それ以外の波長の光は透過したり、といった特性を持たせることも可能である。
【００１３】
更に、本発明の一態様としては、前記光電変換領域は一体的に構成されており、前記第１の光電変換部は、半導体基板上に光電変換膜として形成され、前記第２の光電変換部は前記半導体基板内に形成されていると好ましい。その利点は上と同様である。加えて、光電変換膜とシリコンの分光感度特性を使い分けることができる。
【００１４】
更に、本発明の一態様としては、前記第１の光電変換部は主として可視光の波長帯域の光を光電変換し、前記第２の光電変換部は主として赤外光の波長帯域の光を光電変換する。かかる場合、前記フィルタは赤外光を透過させる特性を有すると好ましい。
【００１５】
更に、本発明の一態様としては、前記第１の光電変換部で光電変換された第１の信号と、前記第２の光電変換部で光電変換された第２の信号とは、独立した信号線を介して読み出される。これにより、２つの光電変換領域の信号の読み出しタイミングを独立して設定でき、高速度で読み出しが可能となる。
【００１６】
更に、本発明の一態様としては、前記第１の光電変換部で光電変換された第１の信号と、前記第２の光電変換部で光電変換された第２の信号とは、共通の信号線を介して交互に読み出される。これにより、信号線の数を減少させることが出来、固体撮像素子の簡素化、小型化を図ることができる。
【００１７】
更に、本発明の一態様としては、前記第２の光電変換部からの信号に基づいて輝度信号が作成される。夜間などにおいても、前記第２の光電変換部には比較的多量の赤外光が到達するので、前記第２の光電変換部からの信号の高周波成分を用いることで、有効な輝度信号を作成できる。
【００１８】
更に、本発明の一態様としては、前記第１の光電変換部からの信号が基準値以上の場合には、前記第１の光電変換部の信号を用いて露光制御を行うが、前記第１の光電変換部からの信号が基準値を下回る場合には、前記第２の光電変換部の信号を用いて露光制御を行う。これにより撮像条件に関わらず、最適な信号を取り出すことができる。より具体的には、前記第1の光電変換部からの信号の平均値あるいは、画面をいくつかのブロックに分割し、そのブロックの一つまたは複数のブロックの平均値がある基準値以上の場合、すなわち、前記第1の光電変換部で受光する光量が十分大きい場合には、前記第1の光電変換部の信号を用いて露光制御を行う。前記第1の光電変換部で受光する光量が十分無く、前記第1の光電変換部からの信号の平均値あるいは、画面をいくつかのブロックに分割し、そのブロックの一つまたは複数のブロックの平均値がある基準値以下の場合、には前記第2の光電変換部からの信号を用いて露光制御を行う。
【００１９】
更に、本発明の一態様としては、前記第１の光電変換部における光電変換と、前記第２の光電変換部における光電変換とは、互いに独立して露光制御を行うことが可能である。これにより撮像条件に関わらず、最適な信号を取り出すことができる。前記第1の光電変換部と前記第2の光電変換部はお互いに独立して駆動タイミングの制御を行うことが可能な構成にすることができ、電荷蓄積時間を独立して設定することにより、独立した露光制御が可能である。
更に、本発明の一態様としては、前記第1の光電変換部からの信号に基づいて作成された第1の輝度信号と、前記第2の光電変換部からの信号に基づいて作成された第2の輝度信号を重み付けして加算することで、露光条件に関わらず安定した輝度信号を取り出すことができる。加算するときにそれぞれの輝度信号に係数を掛けて加算する。例えば、前記第1の輝度信号が十分大きいときはこれを利用し、小さいときはこれを補うように前記第2の輝度信号を加算する。
【００２０】
更に、本発明の一態様としては、前記色フィルタは、可視光と赤外の波長領域の光を透過する画素フィルタＷｉと、緑色光とそれより長い波長の光を透過する画素フィルタＹｅｉと、赤色光とそれより長い波長の光を透過する画素フィルタＲｉとを、前記光電変換領域の画素に対応して配置しているので、急峻なカットオフ特性を有するフィルタを用いることで、各色成分毎に分離することができ、高画質なR、G、B画像を形成できる。
【００２１】
ここで、画素フィルタＷｉは、無色透明なフィルタであって、可視光及び赤外の波長領域の光の全領域の波長の光を実質的に透過するフィルタである。画素フィルタＹｅｉは、イエローフィルタであって、緑色及び赤色および赤外の波長領域の光を透過し、それ以外の波長の光を実質的に透過しないフィルタである。画素フィルタＲｉは、レッドフィルタであって、赤色および赤外の波長領域以外の光を実質的に透過しないフィルタである。
【００２２】
更に、本発明の一態様としては、前記色フィルタは、更に赤外光の波長領域の光を透過する画素フィルタＩｒを、前記光電変換領域の画素に対応して配置しているので、更にこのフィルタにより得られた赤外光の成分を用いて演算処理を行うことにより、より最適な色信号を得ることができる。
【００２３】
ここで、画素フィルタＩｒは、赤外フィルタであって、赤外光の波長領域以外の光を実質的に透過しないフィルタである。
【００２４】
更に、本発明の一態様としては、前記色フィルタは、可視光と赤外の波長領域の光を透過する画素フィルタＷｉと、青色および赤外の波長領域の光を透過する画素フィルタＢｉと、緑色および赤外の波長領域の光を透過する画素フィルタＧｉと、赤色および赤外の波長領域の光を透過する画素フィルタＲｉとを、前記光電変換領域の画素に対応して配置しているので、急峻なカットオフ特性を有するフィルタを用いることで、各色成分毎に分離することができ、高画質なRGB画像を形成できる。
【００２５】
更に、本発明の一態様としては、前記色フィルタは、青色および赤外の波長領域の光を透過する画素フィルタＢｉと、緑色および赤外の波長領域の光を透過する画素フィルタＧｉと、赤色および赤外の波長領域の光を透過する画素フィルタＲｉとを、前記光電変換領域の画素に対応して配置しているので、急峻なカットオフ特性を有するフィルタを用いることで、各色成分毎に分離することができ、高画質なR、G、B画像を形成できる。
【００２６】
ここで、画素フィルタＢｉは、ブルーフィルタであって、青色および赤外の波長領域以外の光を実質的に透過しないフィルタである。画素フィルタＧｉは、グリーンフィルタであって、緑色および赤外の波長領域以外の光を実質的に透過しないフィルタである。また、画素フィルタＷｉ、画素フィルタＲｉは上述と同様である。
【００２７】
更に、本発明の一態様としては、前記色フィルタは、可視光と赤外の波長領域の光を透過する画素フィルタＷｉと、青色と緑色および赤外の波長領域の光を透過する画素フィルタＣＹｉと、青色と赤色および赤外の波長領域の光を透過する画素フィルタＭｇｉと、イエロー色緑色と赤色および赤外の波長領域の光を透過するフィルタ画素Ｙｅｉとを、前記光電変換領域の画素に対応して配置しているので、急峻なカットオフ特性を有するフィルタを用いることで、各色成分毎に分離することができ、高画質なR、G、B画像を形成できる。
【００２８】
ここで、画素フィルタＣＹｉは、青色および緑色及び赤外の波長領域の光を透過し、それ以外の波長の光を実質的に透過しないフィルタである。画素フィルタＭｇｉは、青色および赤色及び赤外に波長領域の光を透過し、それ以外の波長の光を実質的に透過しないフィルタである。また、画素フィルタＷｉ、画素フィルタＹｅｉは上述と同様である。
【００２９】
更に、本発明の一態様としては、前記第１の光電変換部と前記第２の光電変換部のうち少なくとも一方は、光電変換特性の一部が対数特性を有すると好ましい。対数特性を有する画素を備えた固体撮像素子は、例えば特開平０５―３０３５０号公報に記載されている。
【００３０】
更に、本発明の一態様としては、前記第２の光電変換部よりも光の入射方向に対して深い位置に配線領域を形成していると好ましい。
【００３１】
更に、上記固体撮像素子を用いて画像入力装置を構成すると望ましい。
【図面の簡単な説明】
【００３２】
【図１】第１の実施の形態に係る画像入力装置ＭＧの概略図である。
【図２】本実施の形態に係る撮像部１０２の１画素の断面構造を模式的に示す図である。
【図３】図２の撮像部１０２をA-A'線で切断した断面図である。
【図４】撮像部１０２のフィルタを用いない生の分光特性を示す図である。
【図５】撮像部１０２の全体の電気的構成を示す図である。
【図６】撮像部１０２の１画素分の回路構成を示す図である。
【図７】撮像部１０２の有するフィルタＦの一部を示す概略図である。
【図８】撮像素子の分光感度特性を含むフィルタＦの分光特性を示す図である。
【図９】画像処理部１０４の詳細な構成を示すブロック図である。
【図１０】第２の実施の形態にかかる撮像部の図６と同様な回路図である。
【図１１】変形例にかかるフィルタＦの構成を示す図である。
【図１２】変形例にかかるフィルタＦの分光特性を示す図である。
【図１３】変形例にかかるフィルタＦを用いた画像処理部１０４の詳細な構成を示すブロック図である。
【図１４】第３の実施の形態に係る撮像部１０２’の１画素の断面構造を模式的に示す図である。
【図１５】図１４の撮像部１０２’をB-B'線で切断した断面図である。
【図１６】別なフィルタを示す図である。
【図１７】更に別なフィルタを示す図である。
【図１８】変形例にかかる配線例を示す１画素の断面構造を模式的に示す図である。
【図１９】別な変形例にかかる配線例を示す１画素の断面構造を模式的に示す図である。
【発明を実施するための形態】
【００３３】
以下、図面を参照して本発明の実施の形態を詳細に説明する。図１は、第１の実施の形態に係る画像入力装置ＭＧの概略図である。かかる画像入力装置ＭＧは、車載カメラや監視カメラに用いることができるが、用途はそれに限られない。画像入力装置ＭＧは、レンズ１０１、撮像部１０２、可視光用Ａ／Ｄ変換部１０３Ａ，赤外光用Ａ／Ｄ変換部１０３Ｂ，画像処理部１０４、制御部１０５，タイミング制御部１０６を備えている。尚、撮像部１０２、可視光用Ａ／Ｄ変換部１０３Ａ，赤外光用Ａ／Ｄ変換部１０３Ｂ，タイミング制御部１０６により固体撮像素子ＩＭを構成する。固体撮像素子ＩＭは、リニアログ特性を有すると好ましいが、それに限られない。
【００３４】
詳細は後述する撮像部１０２は、ＰＤ（フォトダイオード）からなる受光部と、受光部により光電変換された信号を出力する出力回路と、撮像部１０２を駆動する駆動回路とを含み、タイミング制御部１０６からのタイミング制御信号に同期して、光量に応じたレベルを有する原画像データを生成する。ここで、撮像部１０２としては、ＣＭＯＳイメージセンサ、及びＣＣＤイメージセンサ等の種々の撮像センサを採用することができる。
【００３５】
本実施の形態において、撮像部１０２は、後述するように可視光を光電変換する第１の光電変換部と、赤外光を光電変換する第２の光電変換部とを、光の入射方向に積層して有し、更に可視光について色成分を分離するためのフィルタを有している。
【００３６】
演算手段である画像処理部１０４は、演算回路及び演算回路の作業領域として用いられるメモリ等を含み、撮像部１０２から出力されたアナログ信号を、可視光用Ａ／Ｄ変換部１０３Ａ，赤外光用Ａ／Ｄ変換部１０３ＢでＡ／Ｄ変換したデジタル信号を入力して、後述する画像処理を実行した後、例えば図略のメモリや表示装置に出力する機能を有する。
【００３７】
制御部１０５は、ＣＰＵ及びＣＰＵが実行するプログラムを格納するメモリ等を含み、外部からの制御信号に応答し、画像入力装置ＭＧの全体制御を司る機能を有する。
【００３８】
画像入力装置ＭＧの動作を説明する。被写体光は、レンズ１０１を介して撮像部１０２の受光面に受光される。被写体光は、撮像部１０２の画素で光電変換され、可視光と赤外光それぞれについて、入射光量に応じたアナログ信号となって可視光用Ａ／Ｄ変換部１０３Ａ，赤外光用Ａ／Ｄ変換部１０３Ｂに入力され、それぞれデジタル信号に変換される。可視光用Ａ／Ｄ変換部１０３Ａ，赤外光用Ａ／Ｄ変換部１０３Ｂからのデジタル信号は、画像処理部１０４に入力され、画像信号（ＲＧＢ、ＹＣＣ等）として出力され、不図示のモニタに表示されたり、メモリに記憶される。
【００３９】
一方、画像処理部１０４は、被写体の明るさ情報や波長情報に基づいて、撮像素子のポテンシャルを制御するための露光データや光源データを作成し、制御部１０５に入力する。露光データや光源データに基づいて、制御部１０５は、タイミング制御部１０６を制御して、タイミング信号を撮像部１０２に供給し、駆動制御するようになっている。
【００４０】
図２は、本実施の形態に係る撮像部１０２の１画素の断面構造を模式的に示す図である。この画素構造では、板状体であるｐ型の基板２の浅い部分に、第１の光電変換部となるｎ型領域を設けることで、第１のフォトダイオード４を形成し、更にｐ型の基板２の内部(深い部分)において、素子分離領域３によって区画された領域に、入射光の方向において第１のフォトダイオード４に重なるようにして、第２の光電変換部となるｎ型領域を設けることで、第２のフォトダイオード４’を形成したＣＭＯＳイメージセンサの例を示している。
【００４１】
図３は、図２の撮像部１０２をA-A'線で切断した断面図であり、１画素のエネルギーポテンシャル分布を示す図である。第１のフォトダイオード４は、基板２の表面付近の第１のｎ型領域ポテンシャル井戸２１で形成されており、第２のフォトダイオード４’は、基板２の内部にある第２のｎ型領域ポテンシャル井戸２１’で形成されており、発生した電荷はこのポテンシャル井戸２１、２１’にそれぞれ蓄積される。この際、波長の短い光（可視光）は基板２の表面近くで吸収され、これにより発生した信号電荷は、第１のｎ型領域ポテンシャル井戸２１に蓄積し、波長の長い光（赤外光）は基板２の深い部分まで浸透し吸収され、これにより発生した信号電荷は、第２のｎ型領域ポテンシャル井戸２１’に蓄積される。このときの、撮像部１０２の生の分光特性を図４に示す。尚、バイアス電圧Ｂを変更する、あるいは、第2のn型領域の形成条件を変更することにより、たとえば境界ｄで表す、第１のフォトダイオード４のｎ型領域と第２のフォトダイオード４’のｎ型領域との間にあるｐ型領域２２の位置を光の入射方向に移動させることで、可視光と赤外光の分離特性を変更することができる。
【００４２】
図５は、撮像部１０２の全体の電気的構成を示す図であり、図６はその１画素分の回路構成を示す図である。これら図５および図６で示す構成と同等の機能を有するものであれば、図に示す構成に限らない。本例では垂直信号線ＬＶ１，ＬＶ２が独立している。図６を参照して、可視光を入射して第１のフォトダイオード４で得られた電荷は、転送ゲート８にハイレベルの転送パルスφＴＸ１が与えられることで、転送トランジスタ１１がＯＮしてＦＤ９へ転送され、このＦＤ９における容量で電圧値に変換されて、増幅トランジスタ１２に入力される。増幅トランジスタ１２において、電源電圧ＶＤＤを用いて増幅された電圧は、行選択信号線ＬＨから行選択トランジスタ１３のゲートに選択信号φＶが与えられることで、該行選択トランジスタ１３がＯＮして、垂直信号線ＬＶ１へ出力される。一方、ＦＤ９に蓄積された電荷は、行選択信号線ＬＨからリセットトランジスタ１４のリセットゲート１９へハイレベルのリセットパルスφＲＳＴ１が与えられることで、該リセットトランジスタ１４がＯＮしてリセット電圧ＶＲＳＢ１にリセットされる。
【００４３】
一方、赤外光を入射して第２のフォトダイオード４’で得られた電荷は、転送ゲート８’にハイレベルの転送パルスφＴＸ２が与えられることで、転送トランジスタ１１’がＯＮしてＦＤ９’へ転送され、このＦＤ９’における容量で電圧値に変換されて、増幅トランジスタ１２’に入力される。増幅トランジスタ１２’において、電源電圧ＶＤＤを用いて増幅された電圧は、行選択信号線ＬＨから行選択トランジスタ１３’のゲートに選択信号φＶが与えられることで、該行選択トランジスタ１３’がＯＮして、垂直信号線ＬＶ２へ出力される。一方、ＦＤ９’に蓄積された電荷は、行選択信号線ＬＨからリセットトランジスタ１４’のリセットゲート１９’へハイレベルのリセットパルスφＲＳＴ２が与えられることで、リセットトランジスタ１４’がＯＮしてリセット電圧ＶＲＳＢ２にリセットされる。
【００４４】
図５を参照して、撮像部１０２の中央部には、多数の画素が二次元に配列されており、周縁部に配置された垂直走査回路１５が前記行選択信号線ＬＨに選択出力を与え、それによって各画素から垂直信号線ＬＶ１，ＬＶ２に出力された電圧は、第１水平走査回路１６及び第２水平走査回路１６’の選択走査によって、第１読出し回路１７及び第２読出し回路１７’から順次読出される（出力１，出力２）。垂直走査回路１５および水平走査回路１６、１６’は、シフトレジスタなどで実現される。
【００４５】
図示していないが、読出し回路１７、１７’はそれぞれ、各列、すなわち前記垂直信号線ＬＶに接続される２つのサンプルホールド回路と、負荷トランジスタとを備えて構成される。各サンプルホールド回路は、２つのスイッチと、２つの容量と、２つのアンプとを備えて構成される。各垂直信号線ＬＶは、スイッチを介して容量に接続され、そのホールド電圧がアンプを介して引算器に与えられる。各列の各アンプは、水平走査回路１６、１６’によって駆動される。
【００４６】
このような読出し回路１７、１７’において、相関二重サンプルを行うために、スイッチの一方がＯＮし、各画素に前記転送パルスφＴＸ１，φＴＸ２が与えられることで容量の一方に前記各画素からの出力電圧がホールドされる。また、スイッチの他方は、各画素に前記リセットパルスφＲＳＴ１、φＲＳＴ２が与えられたときにＯＮし、各画素からの出力電圧がホールドされる。そのホールド電圧は、水平走査回路１６、１６’によって、各アンプが一対で選択されて引算器に与えられ、こうして引算器からは、ノイズの影響の少ない前記相関二重サンプル値が順次出力されてゆく。このような読出し回路１７，１７’については、例えば特開２００８−２８３０５７号公報に開示されている。
【００４７】
図７は、撮像部１０２の有するフィルタＦの一部を示す概略図である。図８は、撮像素子の分光感度特性を含むフィルタＦの分光特性を示す図である。これらの構成と同等の機能を有するものであれば、図に示す構成に限らない。
【００４８】
図７に示すように、画素単位にマトリクス状に繰り返し配設されるフィルタは、４種類の画素フィルタ（光学フィルタ又は色フィルタともいう）Ｗｉ、Ｙｅｉ、Ｒｉ、Ｉｒからなっている。より具体的には、第１行第１列に画素フィルタＷｉが配列され、第２行第１列に画素フィルタＹｅｉが配列され、第１行第２列に画素フィルタＲｉが配列され、第２行第２列に画素フィルタＩｒが配列されるというように、繰り返し配列されている。但し、これは一例であり、他のパターンで繰り返し配列してもよい。尚、画素フィルタＷｉは素通し（開口）でもよく、その場合にはフィルタＦは３種類の光学フィルタからなるともいえる。
【００４９】
画素フィルタＷｉは、可視光と赤外光を全て透過し、画素フィルタＹｅｉは緑色光から赤外光までを透過し、画素フィルタＲｉは赤色と赤外光とを透過し、画素フィルタＩｒは赤色光のみを透過する。これらの各フィルタは、それぞれ一つの画素に対応している。具体的には図８において、フィルタ（Ｗｉ，Ｙｅｉ，Ｒｉ，Ｉｒ）の分光特性の一例を示しているが、例えば画素フィルタＹｅｉは５００ｎｍ前後のカットオフ周波数を持ち、画素フィルタＲｉは６００ｎｍ前後にカットオフ周波数を持ち、画素フィルタＩｒは７００ｎｍ前後にカットオフ周波数を持つ。フィルタＷはカットオフ周波数を有していない。この様なフィルタＦは、通常、撮像素子の前面に配置される。ここでは、４００ｎｍ〜７００ｎｍを可視光波長領域とし、７００ｎｍ〜１１００ｎｍを赤外光波長領域とする。
【００５０】
図９は、画像処理部１０４の詳細な構成を示すブロック図である。画像処理部１０４は、可視光用露出補正部１０４ａ、赤外光用露出補正部１０４ａ’、輝度信号生成部１０４ｂ、色信号生成部１０４ｃ、色空間変換部１０４ｄ、及び露出制御部１０４ｅを備えている。
【００５１】
可視光用露出補正部１０４ａは、撮像部１０２から可視光の信号を入力して、可視光用露光データを生成して露出制御部１０４ｅを介して制御部１０５に出力する。制御部１０５（図１）は、可視光用露光データに基づき、露出が適正になるように第１のフォトダイオード４の露光時間等を調整する。但し、第１のフォトダイオード４からの信号が基準値以上の場合には、第１のフォトダイオード４の信号を用いて露光制御を行い、第１のフォトダイオード４からの信号が基準値を下回る場合には、第２のフォトダイオード４’の信号を用いて露光制御を行ってもよい。一方、赤外光用露出補正部１０４ａ’は、撮像部１０２から赤外光の信号を入力して、赤外光用露光データを生成して露出制御部１０４ｅを介して制御部１０５に出力する。制御部１０５（図１）は、赤外光用露光データに基づき、露出が適正になるように第２のフォトダイオード４’の露光時間等を調整する。このとき、色情報を重視する場合は、可視光量が最適になるよう露出制御する。
【００５２】
不図示の色補間部において、画素フィルタＹｅｉを通過した光束を受光した画素の出力信号である画像成分Ｙｅｉ、画素フィルタＲｉを通過した光束を受光した画素の出力信号である画像成分Ｒｉ、画素フィルタＩｒを通過した光束を受光した画素の出力信号である画像成分Ｉｒ、及び画素フィルタＷｉを通過した光束を受光した画素の出力信号である画像成分Ｗｉのそれぞれに欠落画素データを補間するための補間処理を施し、画像成分Ｒｉ、画像成分Ｉｒ、画像成分Ｗｉ、及び画像成分Ｙｅｉのそれぞれを撮像部１０２の画素数と同一画素数からなる画像データにすることができる。補間処理としては、例えば線形補間処理を採用すればよい。
【００５３】
輝度信号生成部１０４ｂは、撮像部１０２から可視光の信号（Ｗｉ＋Ｙｅｉ＋Ｒｉ＋Ｉｒ）と、赤外光の信号ＩＲ２とを入力して、適切な重み付けを行って、式（１）に基づき輝度信号Ｙを出力する演算を行う。α、βは任意の係数である。但し、赤外光比率が高い撮影条件では、赤外光で輝度信号を求めることが望ましい（α＝０とする）。一方、可視光が比較的強い撮影条件では、画素Ｗｉの信号から輝度信号の高周波成分を抽出すると良い。
Ｙ＝α・（Ｗｉ＋Ｙｅｉ＋Ｒｉ＋Ｉｒ）＋β・ＩＲ２ ・・・（１）
【００５４】
色信号生成部１０４ｃは、色補間部により補間処理が施された画像成分Ｙｅｉと、画像成分Ｒｉと、画像成分Ｉｒと、画像成分Ｗｉとを式（２）により合成して、色信号ｄＲ、ｄＧ、ｄＢ（ＲＧＢ色信号）を生成する。
ｄＲ＝Ｒｉ−Ｉｒ
ｄＧ＝Ｙｅｉ−Ｒｉ ・・・・・（２）
ｄＢ＝Ｗｉ−Ｙｅｉ
【００５５】
色空間変換部１０４ｄは、式（３）に示すように、色信号ｄＲ，ｄＧ，ｄＢを、色差信号Ｃｂ’、Ｃｒ’とを含む色空間に変換する、ここで、色差信号Ｃｂ’は青の色差信号を示し、色差信号Ｃｒ’は赤の色差信号を示す。
Ｃｂ’＝ｄＢ−Ｙc
Ｃｒ’＝ｄＲ−Ｙc ・・・・・（３）
また、輝度信号Yは以下の式で求める。
Ｙc＝０．３ｄＲ＋０．５９ｄＧ＋０．１１ｄＢ ・・・（３’）
YcはYで置き換えるが、この時Cb,Crは以下のように計算しなおす。
Cｂ = Cｂ’*(Y/Yc)
Cｒ = Cｒ’*(Y/Yc)
【００５６】
更に、色空間変換部１０４ｄは、式（３）で求めた色差信号Ｃｂ、Ｃｒをスムージング処理しても良い。ここで，スムージング処理としては、例えば、５×５等の比較的小サイズのローパスフィルタを用いて繰り返し処理し、色差信号Ｃｂ、Ｃｒを多重解像度化するフィルタ処理であるカスケードフィルタ処理を採用してもよい。また、比較的サイズの大きな所定サイズのローパスフィルタを用いたフィルタ処理を採用してもよい。
【００５７】
また、発光する被写体に対してはぼけることなく、エッジ以外の領域を平滑化するエッジ保存フィルタ（画素間の信号レベル差がある基準値より小さい場合いに平滑化し、基準値より大きい部分は平滑化しないフィルタ）処理を採用してもよい。なお、発光していることを検出するのは、赤外成分と可視光成分とを比較することにより推測できる。
【００５８】
このように、色差信号Ｃｂ，Ｃｒにスムージング処理を行うことで、色差信号Ｃｂ、Ｃｒに含まれるノイズ成分がぼかされ、色差信号Ｃｂ、ＣｒのＳ／Ｎ比を向上させることができる。
【００５９】
尚、不図示のＲＧＢ色信号生成部が、式（３）、（３’）を逆変換することで、輝度信号Ｙ、色差信号Ｃｒ、Ｃｂから色信号ｄＲ´、ｄＧ´、ｄＢ´を算出する。これを画像データとして、適切な画像を形成できる。
【００６０】
本実施の形態によれば、可視光と赤外光とを含む波長領域の光を入射したときに、第１のフォトダイオード４が、フィルタＦの特性に応じた可視光について光電変換を行い、第２のフォトダイオード４’が、第１のフォトダイオード４を通過した赤外光について光電変換を行うことができるので、シンプルな構造ながら有効な波長分離機能を持たせることができるため、入射光に可視光の成分が多い場合でも、第２のフォトダイオード４’の画素が飽和することが抑制され、また入射光に赤外光の成分が多い場合でも、第１のフォトダイオード４の画素が飽和することが抑制される。更に、第１のフォトダイオード４により光電変換される可視光については、急峻なカットオフ特性を有するフィルタＦを用いることで、各色成分毎に分離することができ、高画質なR、G、B画像を形成できる。又、第２のフォトダイオード４’全体で光電変換された赤外光を用いて、例えば赤外光専用センサと同等な解像度の赤外光画像を形成できる。第１のフォトダイオード４と第２のフォトダイオード４’は独立しているので、別個に露光制御を行うことも出来、最適な条件で光電変換された信号を取り出すことができる。
【００６１】
図１０は、第２の実施の形態にかかる撮像部の図６と同様な回路図である。本実施の形態においては、第１のフォトダイオード４と第２のフォトダイオード４’の電荷を読み出す転送路を共通としている。具体的には、図１０において、垂直信号線ＬＶを共通としており、これを介して第１のフォトダイオード４と第２のフォトダイオード４’の信号を交互に読み出している。従って、本実施の形態では、リセット電圧ＶＳＲＢ及びリセットパルスφＲＳＴを与えるための配線、増幅トランジスタ１２，行選択トランジスタ１３，リセットトランジスタ１４を共通にできるため、構成がより簡素化される。
【００６２】
図１１は、変形例にかかるフィルタＦの構成を示す図であり、図１２は、変形例にかかるフィルタＦの分光特性を示す図であり、図１３は、変形例にかかるフィルタＦを用いた画像処理部１０４の詳細な構成を示すブロック図である。以下、異なる点を中心に説明を行う。
【００６３】
図１１に示すように、画素単位にマトリクス状に繰り返し配設されるフィルタは、３種類の画素フィルタ（光学フィルタともいう）Ｗｉ、Ｙｅｉ、Ｒｉからなっている。より具体的には、第１行第１列に画素フィルタＷｉが配列され、第２行第１列に画素フィルタＹｅｉが配列され、第１行第２列に画素フィルタＲｉが配列され、第２行第２列に画素フィルタＷｉが配列されるというように、繰り返し配列されている。但し、これは一例であり、他のパターンで繰り返し配列してもよい。尚、各画素フィルタの分光特性は、図１２に示すように上述の実施の形態と同様であるため説明を省略する。
【００６４】
本変形例においては、色信号ｄＲ、ｄＧ、ｄＢ（ＲＧＢ色信号）を生成する際に、第２のフォトダイオード４’から生成される赤外光の信号ＩＲ２を用いる。より具体的には、図１３の色信号生成部１０４ｃが、色補間部により補間処理が施された画像成分Ｙｅｉと、画像成分Ｒｉと、画像成分Ｗｉと、赤外光の信号ＩＲ２を式（４）により合成して、色信号ｄＲ、ｄＧ、ｄＢを生成する。尚、γは任意の係数である。
ｄＲ＝Ｒｉ−γ・ＩＲ２
ｄＧ＝Ｙｅｉ−Ｒｉ ・・・・・（４）
ｄＢ＝Ｗｉ−Ｙｅｉ
【００６５】
本変形例によれば、画素フィルタＷｉを千鳥配置とすることで、他の画素フィルタに対して、等価的に縦横２倍の数だけ設けたことになり、可視光領域での空間解像度を更に向上させることができる。それ以外の点は、上述した実施の形態と同様である。
【００６６】
図１４は、第３の実施の形態に係る撮像部１０２’の１画素の断面構造を模式的に示す図である。図１５は、図１４の撮像部１０２’をB-B'線で切断した断面図であり、１画素のエネルギーポテンシャル分布を示す図である。
【００６７】
上述の実施の形態においては、基板２に対して、光の入射側に、制御信号を付与する配線が接続される転送ゲート８、８’、ＦＤ９、９’、リセットトランジスタ１４、１４’等の信号読出し部が設けられているが、このため画素に入射する光が通過する開口が制限されている。これに対し、本実施の形態では、基板２の裏面（図１４で下面）に配線層（配線領域ともいう）３２を形成して、ここに転送ゲート８、８’、ＦＤ９、９’、リセットトランジスタ１４、１４’等を配置してなる。かかる場合、基板２の表面側には配線や信号読出し部が存在しないため、入射光を有効に取り込むことができる。このような撮像部１０２’は、シリコンウェハ上に積層してフォトダイオードを形成した後、シリコンウェハを研削して内部のフォトダイオードを露出させることで形成できる。それ以外の点では、上述した実施の形態と同様であるため、説明を省略する。
【００６８】
本実施の形態で用いたフィルタＦの代わりに、図１６に示すように、全領域の波長の光を透過する画素フィルタＷｉと、青色の波長の光を透過する画素フィルタＢｉと、緑色の波長の光を透過する画素フィルタＧｉと、赤色の波長の光を透過する画素フィルタＲｉとを、前記光電変換領域の画素に対応して配置したフィルタを用いることもできる。
【００６９】
更に、図２に示すように半導体基板内に第１の光電変換部と第２の光電変換部が一体的に形成されていても良いが、半導体基板上に第１の光電変換部と第２の光電変換部がそれぞれ光電変換膜として形成されていても良いし、光電変換領域が一体的に構成されており、第１の光電変換部は、半導体基板上に光電変換膜として形成され、第２の光電変換部は前記半導体基板内に形成されていても良い。
【００７０】
図１８に、半導体基板上に第１の光電変換部と第２の光電変換部がそれぞれ光電変換膜Ｍ１，Ｍ２として２層に形成されていている例を示す。ここで、電極ＥＴ４からのビアＶｉａ２が蓄積ダイオードＤ２に接続されている。一方、蓄積ダイオードＤ１にビアＶｉａ１を介して接続されている電極ＥＴ２は、入射方向奥側に光電変換膜Ｍ２があるため必要な波長の光(赤外光)は透過する必要がある。配線領域下のSi基板、蓄積ダイオードは光の入射による不要な電荷の発生を防ぐ必要があり、電極ＥＴ４については、光を透過しない材料を使っている。あるいは電極ET４の下に遮光層を設けても良い。
【００７１】
図１９に、光電変換領域が一体的に構成されており、第１の光電変換部は、半導体基板上に光電変換膜Ｍとして形成され、第２の光電変換部は半導体基板内に形成されている例を示す。光電変換層の光入射側に透明電極ＥＴ１、奥側に画素ごとの電荷を取り出すための電極ＥＴ２が配置されている。電極ＥＴ２の面積が画素の開口に相当する。また、Si基板上に下層の光電変換部が形成されている。電極ＥＴ２から電荷を取り出すためのビアＶｉａが、基板上の蓄積ダイオードＤに接続されている。ビアＶｉａを通して電極ＥＴ２から蓄積ダイオードＤへ電荷が移動する。蓄積ダイオードの電荷はゲート(TX1)をONすることにより、読み出される。配線領域には光が入射しないように、遮光されている。
【符号の説明】
【００７２】
３ 素子分離領域
４、４’ フォトダイオード
８、８’ 転送ゲート
１１、１１’ 転送トランジスタ
１２、１２’ 増幅トランジスタ
１３、１３’ 行選択トランジスタ
１４、１４’ リセットトランジスタ
１５ 垂直走査回路
１６、１６’ 水平走査回路
１７、１７’ 読出し回路
１９、１９’ リセットゲート
２１、２１’ ｎ型領域ポテンシャル井戸
２２ ｐ型領域
１０１ レンズ
１０２ 撮像部
１０３Ａ、１０３Ｂ Ａ／Ｄ変換部
１０４ 画像処理部
１０４ａ、１０４ａ’ 露出補正部
１０４ｂ 輝度信号生成部
１０４ｃ 色信号生成部
１０４ｄ 色空間変換部
１０４ｅ 露出制御部
１０５ タイミング制御部
Ｆ フィルタ
ＬＨ 行選択信号線
ＬＶ 垂直信号線
ＭＧ 画像入力装置
ＳＨ１，ＳＨ２ サンプルホールド回路
ＶＤＤ 電源電圧
【技術分野】
【０００１】
本発明は、固体撮像素子及び画像入力装置に関し、可視光から赤外光までを受光して、画像を形成するために用いられる固体撮像素子及び画像入力装置に関するものである。
【背景技術】
【０００２】
例えば、夜間の監視用の監視カメラとして、赤外線を投射して被写体からの反射光を受光しモノクロ画像を形成するものが知られている。一方、昼間の監視用の監視カメラとしては、被写体から反射した自然光を受光してカラー画像を形成するものが知られている。しかるに、従来の監視カメラにおいては、夜間撮影用の撮像素子と昼間撮影用の撮像素子とで異なるものを用いているために、コストが高くなるという問題がある。
【０００３】
これに対し特許文献１には、ホワイト（Ｗ）、イエロー（Ｙｅ）、レッド（Ｒｉ）、ブラック（Ｉｒ）のフィルタを有する撮像素子を用いて、可視光から赤外光までの広帯域の光を受光して、可視光画像と赤外光画像とを形成できる画像信号処理装置が開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００８−２８８６２９号公報
【特許文献２】特開２００７−５１５０１１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかるに、特許文献１の技術によれば、各色フィルタ（Ｗ、Ｙｅ、Ｒｉ、Ｉｒ）を赤外光が透過するようになっていて、投光された赤外光を有効に利用することができるが、ハロゲンランプなどのような可視光に対して赤外光の強度が大幅に強い光が入射した場合、可視光に露出を最適化した場合に、画素の信号が飽和してしまう恐れがある。かかる場合、各色フィルタの信号間での差分が取れなくなり、ＲＧＢ信号が抽出できなくなる欠点がある。飽和しないまでも、入射光良が大きい場合、画素の信号が大きくなり、各色フィルタの信号間での差分が小さくなり、SNRの良いR、G、B信号が抽出できなくなる欠点がある。また、４種類の色フィルタを各画素にモザイク状に配置する必要があり、モノクロ撮像素子を用いた場合と比較して、解像度が劣化する欠点がある。
【０００６】
これに対し特許文献２には、光の入射方向に対してその深さ方向（入射面に対して垂直な方向）に異なる分光特性を持つ光電変換層（フォトダイオードなど）を複数設けることで、異なる波長領域の光を信号（例えばＲ、Ｇ、Ｂ信号）として取り出すことができるイメージセンサが開示されている。
【０００７】
しかしながら特許文献２のイメージセンサによれば、可視光領域でＲＧＢ信号を得るのに加えて、赤外領域の信号を取り出すには、深さ方向に光電変換層（フォトダイオードなど）をさらに追加で形成する必要があり、構造がさらに複雑になるという欠点がある。特に、このようなイメージセンサを用いてRGB画像を得ようとした場合には、３色の波長の光を取り入れるため３層の光電変換層が必要であり、加えて赤外画像まで得ようとすると、赤外波長の光を取り入れるために更に１層必要であるから、合計４層の光電変換層が必要となってしまう。かかるイメージセンサは構造が複雑となり、また読み出し回路も４系統必要となり、製造工程が増え、歩留まりが低下することにより、コストアップとなる欠点がある。また、そもそも、特許文献２のイメージセンサの構造による波長分離機能では、例えば色フィルタを用いた場合のように狭い帯域以外の波長の光をカットするというような急峻なカットオフ特性は得られず、良好な色再現が得られないという問題もある。
【０００８】
本発明は、上述の問題に鑑みてなされたものであり、シンプルな構成でありながら、可視光から赤外光までの広帯域の光を受光して、適切な画像を形成することができる固体撮像素子及び画像入力装置を提供することを目的とする。
【課題を解決するための手段】
【０００９】
本発明の固体撮像素子は、
第１の光電変換部と、前記第１の光電変換部よりも光の入射方向に対して深い位置に配置された第２の光電変換部とを、光の入射方向に対して重なるように形成した光電変換領域と、
前記光電変換領域よりも光の入射側に配置された色フィルタとを有する固体撮像素子であって、
可視光と赤外光とを含む波長領域の光を入射したときに、前記第１の光電変換部は、前記色フィルタの特性に応じた波長帯域の光について光電変換を行い、前記第２の光電変換部は、前記色フィルタと前記第１の光電変換部を通過した光について光電変換を行うことを特徴とする。
【発明の効果】
【００１０】
本発明の固体撮像素子によれば、可視光と赤外光とを含む波長領域の光を入射したときに、前記第１の光電変換部は、前記フィルタの特性に応じた波長帯域の光について光電変換を行い、前記第２の光電変換部は、前記第１の光電変換部を通過した光について光電変換を行うので、短波長領域の光（例えば可視光）は、前記第１の光電変換部により光電変換され、前記第１の光電変換部を通過した残りの長波長領域の光（例えば赤外光）は、前記第２の光電変換部により光電変換される。即ち、単一の固体撮像素子において光の入射方向に対して重なるように積層された２つの光電変換部を用いることでシンプルな構造ながら有効な波長分離機能を持たせることができるため、入射光に可視光の成分が多い場合でも、前記第２の光電変換部の画素が飽和することが抑制され、また入射光に赤外光の成分が多い場合でも、前記第１の光電変換部の画素が飽和することが抑制される。尚、前記第１の光電変換部全体により光電変換される可視光については、急峻なカットオフ特性を有する色フィルタを用いることで、各色成分毎に分離することができ、SNRの良い高画質なR、G、B三原色信号を抽出することができる。又、前記第２の光電変換部全体で光電変換された赤外光を用いて、例えば赤外光専用センサと同等な解像度の赤外光画像を形成できる。また前記第１の光電変換部と前記第２の光電変換部は独立しているので、別個に露光制御を行うことも出来、最適な条件で光電変換された信号を取り出すことができる。
【００１１】
更に、本発明の一態様としては、前記光電変換領域は、半導体基板内に前記第１の光電変換部と前記第２の光電変換部が一体的に形成されていると好ましい。
【００１２】
更に、本発明の一態様としては、前記光電変換領域は、半導体基板上に前記第１の光電変換部と前記第２の光電変換部がそれぞれ光電変換膜として形成されていると好ましい。上段(浅い側)の光電変換部を有機光導電膜や、CIGS光導電膜などの薄膜を利用することもできる。両方の光電変換部を薄膜化することも可能である。薄膜化することで、光電変換部を浅いところに形成することができ、また、配線領域上に形成できるので開口が大きく取れる。これによりマイクロレンズを不要とすることができ、また、入射角度が大きくても良く、テレセン性の悪いレンズも使用でき、レンズの小型化、カメラの低背化に有利である。また、シリコン以外の光電変換材料を使用することで、シリコンでは実現できない機能を持たせることができる。例えば、赤外領域の感度はシリコンでは1100nm位までであるが、更に長波長側に感度を持たせることもできる。また、例えば青波長光のみ光電変換し、それ以外の波長の光は透過したり、緑波長光のみ光電変換し、それ以外の波長の光は透過したり、赤波長光のみ光電変換し、それ以外の波長の光は透過したり、といった特性を持たせることも可能である。
【００１３】
更に、本発明の一態様としては、前記光電変換領域は一体的に構成されており、前記第１の光電変換部は、半導体基板上に光電変換膜として形成され、前記第２の光電変換部は前記半導体基板内に形成されていると好ましい。その利点は上と同様である。加えて、光電変換膜とシリコンの分光感度特性を使い分けることができる。
【００１４】
更に、本発明の一態様としては、前記第１の光電変換部は主として可視光の波長帯域の光を光電変換し、前記第２の光電変換部は主として赤外光の波長帯域の光を光電変換する。かかる場合、前記フィルタは赤外光を透過させる特性を有すると好ましい。
【００１５】
更に、本発明の一態様としては、前記第１の光電変換部で光電変換された第１の信号と、前記第２の光電変換部で光電変換された第２の信号とは、独立した信号線を介して読み出される。これにより、２つの光電変換領域の信号の読み出しタイミングを独立して設定でき、高速度で読み出しが可能となる。
【００１６】
更に、本発明の一態様としては、前記第１の光電変換部で光電変換された第１の信号と、前記第２の光電変換部で光電変換された第２の信号とは、共通の信号線を介して交互に読み出される。これにより、信号線の数を減少させることが出来、固体撮像素子の簡素化、小型化を図ることができる。
【００１７】
更に、本発明の一態様としては、前記第２の光電変換部からの信号に基づいて輝度信号が作成される。夜間などにおいても、前記第２の光電変換部には比較的多量の赤外光が到達するので、前記第２の光電変換部からの信号の高周波成分を用いることで、有効な輝度信号を作成できる。
【００１８】
更に、本発明の一態様としては、前記第１の光電変換部からの信号が基準値以上の場合には、前記第１の光電変換部の信号を用いて露光制御を行うが、前記第１の光電変換部からの信号が基準値を下回る場合には、前記第２の光電変換部の信号を用いて露光制御を行う。これにより撮像条件に関わらず、最適な信号を取り出すことができる。より具体的には、前記第1の光電変換部からの信号の平均値あるいは、画面をいくつかのブロックに分割し、そのブロックの一つまたは複数のブロックの平均値がある基準値以上の場合、すなわち、前記第1の光電変換部で受光する光量が十分大きい場合には、前記第1の光電変換部の信号を用いて露光制御を行う。前記第1の光電変換部で受光する光量が十分無く、前記第1の光電変換部からの信号の平均値あるいは、画面をいくつかのブロックに分割し、そのブロックの一つまたは複数のブロックの平均値がある基準値以下の場合、には前記第2の光電変換部からの信号を用いて露光制御を行う。
【００１９】
更に、本発明の一態様としては、前記第１の光電変換部における光電変換と、前記第２の光電変換部における光電変換とは、互いに独立して露光制御を行うことが可能である。これにより撮像条件に関わらず、最適な信号を取り出すことができる。前記第1の光電変換部と前記第2の光電変換部はお互いに独立して駆動タイミングの制御を行うことが可能な構成にすることができ、電荷蓄積時間を独立して設定することにより、独立した露光制御が可能である。
更に、本発明の一態様としては、前記第1の光電変換部からの信号に基づいて作成された第1の輝度信号と、前記第2の光電変換部からの信号に基づいて作成された第2の輝度信号を重み付けして加算することで、露光条件に関わらず安定した輝度信号を取り出すことができる。加算するときにそれぞれの輝度信号に係数を掛けて加算する。例えば、前記第1の輝度信号が十分大きいときはこれを利用し、小さいときはこれを補うように前記第2の輝度信号を加算する。
【００２０】
更に、本発明の一態様としては、前記色フィルタは、可視光と赤外の波長領域の光を透過する画素フィルタＷｉと、緑色光とそれより長い波長の光を透過する画素フィルタＹｅｉと、赤色光とそれより長い波長の光を透過する画素フィルタＲｉとを、前記光電変換領域の画素に対応して配置しているので、急峻なカットオフ特性を有するフィルタを用いることで、各色成分毎に分離することができ、高画質なR、G、B画像を形成できる。
【００２１】
ここで、画素フィルタＷｉは、無色透明なフィルタであって、可視光及び赤外の波長領域の光の全領域の波長の光を実質的に透過するフィルタである。画素フィルタＹｅｉは、イエローフィルタであって、緑色及び赤色および赤外の波長領域の光を透過し、それ以外の波長の光を実質的に透過しないフィルタである。画素フィルタＲｉは、レッドフィルタであって、赤色および赤外の波長領域以外の光を実質的に透過しないフィルタである。
【００２２】
更に、本発明の一態様としては、前記色フィルタは、更に赤外光の波長領域の光を透過する画素フィルタＩｒを、前記光電変換領域の画素に対応して配置しているので、更にこのフィルタにより得られた赤外光の成分を用いて演算処理を行うことにより、より最適な色信号を得ることができる。
【００２３】
ここで、画素フィルタＩｒは、赤外フィルタであって、赤外光の波長領域以外の光を実質的に透過しないフィルタである。
【００２４】
更に、本発明の一態様としては、前記色フィルタは、可視光と赤外の波長領域の光を透過する画素フィルタＷｉと、青色および赤外の波長領域の光を透過する画素フィルタＢｉと、緑色および赤外の波長領域の光を透過する画素フィルタＧｉと、赤色および赤外の波長領域の光を透過する画素フィルタＲｉとを、前記光電変換領域の画素に対応して配置しているので、急峻なカットオフ特性を有するフィルタを用いることで、各色成分毎に分離することができ、高画質なRGB画像を形成できる。
【００２５】
更に、本発明の一態様としては、前記色フィルタは、青色および赤外の波長領域の光を透過する画素フィルタＢｉと、緑色および赤外の波長領域の光を透過する画素フィルタＧｉと、赤色および赤外の波長領域の光を透過する画素フィルタＲｉとを、前記光電変換領域の画素に対応して配置しているので、急峻なカットオフ特性を有するフィルタを用いることで、各色成分毎に分離することができ、高画質なR、G、B画像を形成できる。
【００２６】
ここで、画素フィルタＢｉは、ブルーフィルタであって、青色および赤外の波長領域以外の光を実質的に透過しないフィルタである。画素フィルタＧｉは、グリーンフィルタであって、緑色および赤外の波長領域以外の光を実質的に透過しないフィルタである。また、画素フィルタＷｉ、画素フィルタＲｉは上述と同様である。
【００２７】
更に、本発明の一態様としては、前記色フィルタは、可視光と赤外の波長領域の光を透過する画素フィルタＷｉと、青色と緑色および赤外の波長領域の光を透過する画素フィルタＣＹｉと、青色と赤色および赤外の波長領域の光を透過する画素フィルタＭｇｉと、イエロー色緑色と赤色および赤外の波長領域の光を透過するフィルタ画素Ｙｅｉとを、前記光電変換領域の画素に対応して配置しているので、急峻なカットオフ特性を有するフィルタを用いることで、各色成分毎に分離することができ、高画質なR、G、B画像を形成できる。
【００２８】
ここで、画素フィルタＣＹｉは、青色および緑色及び赤外の波長領域の光を透過し、それ以外の波長の光を実質的に透過しないフィルタである。画素フィルタＭｇｉは、青色および赤色及び赤外に波長領域の光を透過し、それ以外の波長の光を実質的に透過しないフィルタである。また、画素フィルタＷｉ、画素フィルタＹｅｉは上述と同様である。
【００２９】
更に、本発明の一態様としては、前記第１の光電変換部と前記第２の光電変換部のうち少なくとも一方は、光電変換特性の一部が対数特性を有すると好ましい。対数特性を有する画素を備えた固体撮像素子は、例えば特開平０５―３０３５０号公報に記載されている。
【００３０】
更に、本発明の一態様としては、前記第２の光電変換部よりも光の入射方向に対して深い位置に配線領域を形成していると好ましい。
【００３１】
更に、上記固体撮像素子を用いて画像入力装置を構成すると望ましい。
【図面の簡単な説明】
【００３２】
【図１】第１の実施の形態に係る画像入力装置ＭＧの概略図である。
【図２】本実施の形態に係る撮像部１０２の１画素の断面構造を模式的に示す図である。
【図３】図２の撮像部１０２をA-A'線で切断した断面図である。
【図４】撮像部１０２のフィルタを用いない生の分光特性を示す図である。
【図５】撮像部１０２の全体の電気的構成を示す図である。
【図６】撮像部１０２の１画素分の回路構成を示す図である。
【図７】撮像部１０２の有するフィルタＦの一部を示す概略図である。
【図８】撮像素子の分光感度特性を含むフィルタＦの分光特性を示す図である。
【図９】画像処理部１０４の詳細な構成を示すブロック図である。
【図１０】第２の実施の形態にかかる撮像部の図６と同様な回路図である。
【図１１】変形例にかかるフィルタＦの構成を示す図である。
【図１２】変形例にかかるフィルタＦの分光特性を示す図である。
【図１３】変形例にかかるフィルタＦを用いた画像処理部１０４の詳細な構成を示すブロック図である。
【図１４】第３の実施の形態に係る撮像部１０２’の１画素の断面構造を模式的に示す図である。
【図１５】図１４の撮像部１０２’をB-B'線で切断した断面図である。
【図１６】別なフィルタを示す図である。
【図１７】更に別なフィルタを示す図である。
【図１８】変形例にかかる配線例を示す１画素の断面構造を模式的に示す図である。
【図１９】別な変形例にかかる配線例を示す１画素の断面構造を模式的に示す図である。
【発明を実施するための形態】
【００３３】
以下、図面を参照して本発明の実施の形態を詳細に説明する。図１は、第１の実施の形態に係る画像入力装置ＭＧの概略図である。かかる画像入力装置ＭＧは、車載カメラや監視カメラに用いることができるが、用途はそれに限られない。画像入力装置ＭＧは、レンズ１０１、撮像部１０２、可視光用Ａ／Ｄ変換部１０３Ａ，赤外光用Ａ／Ｄ変換部１０３Ｂ，画像処理部１０４、制御部１０５，タイミング制御部１０６を備えている。尚、撮像部１０２、可視光用Ａ／Ｄ変換部１０３Ａ，赤外光用Ａ／Ｄ変換部１０３Ｂ，タイミング制御部１０６により固体撮像素子ＩＭを構成する。固体撮像素子ＩＭは、リニアログ特性を有すると好ましいが、それに限られない。
【００３４】
詳細は後述する撮像部１０２は、ＰＤ（フォトダイオード）からなる受光部と、受光部により光電変換された信号を出力する出力回路と、撮像部１０２を駆動する駆動回路とを含み、タイミング制御部１０６からのタイミング制御信号に同期して、光量に応じたレベルを有する原画像データを生成する。ここで、撮像部１０２としては、ＣＭＯＳイメージセンサ、及びＣＣＤイメージセンサ等の種々の撮像センサを採用することができる。
【００３５】
本実施の形態において、撮像部１０２は、後述するように可視光を光電変換する第１の光電変換部と、赤外光を光電変換する第２の光電変換部とを、光の入射方向に積層して有し、更に可視光について色成分を分離するためのフィルタを有している。
【００３６】
演算手段である画像処理部１０４は、演算回路及び演算回路の作業領域として用いられるメモリ等を含み、撮像部１０２から出力されたアナログ信号を、可視光用Ａ／Ｄ変換部１０３Ａ，赤外光用Ａ／Ｄ変換部１０３ＢでＡ／Ｄ変換したデジタル信号を入力して、後述する画像処理を実行した後、例えば図略のメモリや表示装置に出力する機能を有する。
【００３７】
制御部１０５は、ＣＰＵ及びＣＰＵが実行するプログラムを格納するメモリ等を含み、外部からの制御信号に応答し、画像入力装置ＭＧの全体制御を司る機能を有する。
【００３８】
画像入力装置ＭＧの動作を説明する。被写体光は、レンズ１０１を介して撮像部１０２の受光面に受光される。被写体光は、撮像部１０２の画素で光電変換され、可視光と赤外光それぞれについて、入射光量に応じたアナログ信号となって可視光用Ａ／Ｄ変換部１０３Ａ，赤外光用Ａ／Ｄ変換部１０３Ｂに入力され、それぞれデジタル信号に変換される。可視光用Ａ／Ｄ変換部１０３Ａ，赤外光用Ａ／Ｄ変換部１０３Ｂからのデジタル信号は、画像処理部１０４に入力され、画像信号（ＲＧＢ、ＹＣＣ等）として出力され、不図示のモニタに表示されたり、メモリに記憶される。
【００３９】
一方、画像処理部１０４は、被写体の明るさ情報や波長情報に基づいて、撮像素子のポテンシャルを制御するための露光データや光源データを作成し、制御部１０５に入力する。露光データや光源データに基づいて、制御部１０５は、タイミング制御部１０６を制御して、タイミング信号を撮像部１０２に供給し、駆動制御するようになっている。
【００４０】
図２は、本実施の形態に係る撮像部１０２の１画素の断面構造を模式的に示す図である。この画素構造では、板状体であるｐ型の基板２の浅い部分に、第１の光電変換部となるｎ型領域を設けることで、第１のフォトダイオード４を形成し、更にｐ型の基板２の内部(深い部分)において、素子分離領域３によって区画された領域に、入射光の方向において第１のフォトダイオード４に重なるようにして、第２の光電変換部となるｎ型領域を設けることで、第２のフォトダイオード４’を形成したＣＭＯＳイメージセンサの例を示している。
【００４１】
図３は、図２の撮像部１０２をA-A'線で切断した断面図であり、１画素のエネルギーポテンシャル分布を示す図である。第１のフォトダイオード４は、基板２の表面付近の第１のｎ型領域ポテンシャル井戸２１で形成されており、第２のフォトダイオード４’は、基板２の内部にある第２のｎ型領域ポテンシャル井戸２１’で形成されており、発生した電荷はこのポテンシャル井戸２１、２１’にそれぞれ蓄積される。この際、波長の短い光（可視光）は基板２の表面近くで吸収され、これにより発生した信号電荷は、第１のｎ型領域ポテンシャル井戸２１に蓄積し、波長の長い光（赤外光）は基板２の深い部分まで浸透し吸収され、これにより発生した信号電荷は、第２のｎ型領域ポテンシャル井戸２１’に蓄積される。このときの、撮像部１０２の生の分光特性を図４に示す。尚、バイアス電圧Ｂを変更する、あるいは、第2のn型領域の形成条件を変更することにより、たとえば境界ｄで表す、第１のフォトダイオード４のｎ型領域と第２のフォトダイオード４’のｎ型領域との間にあるｐ型領域２２の位置を光の入射方向に移動させることで、可視光と赤外光の分離特性を変更することができる。
【００４２】
図５は、撮像部１０２の全体の電気的構成を示す図であり、図６はその１画素分の回路構成を示す図である。これら図５および図６で示す構成と同等の機能を有するものであれば、図に示す構成に限らない。本例では垂直信号線ＬＶ１，ＬＶ２が独立している。図６を参照して、可視光を入射して第１のフォトダイオード４で得られた電荷は、転送ゲート８にハイレベルの転送パルスφＴＸ１が与えられることで、転送トランジスタ１１がＯＮしてＦＤ９へ転送され、このＦＤ９における容量で電圧値に変換されて、増幅トランジスタ１２に入力される。増幅トランジスタ１２において、電源電圧ＶＤＤを用いて増幅された電圧は、行選択信号線ＬＨから行選択トランジスタ１３のゲートに選択信号φＶが与えられることで、該行選択トランジスタ１３がＯＮして、垂直信号線ＬＶ１へ出力される。一方、ＦＤ９に蓄積された電荷は、行選択信号線ＬＨからリセットトランジスタ１４のリセットゲート１９へハイレベルのリセットパルスφＲＳＴ１が与えられることで、該リセットトランジスタ１４がＯＮしてリセット電圧ＶＲＳＢ１にリセットされる。
【００４３】
一方、赤外光を入射して第２のフォトダイオード４’で得られた電荷は、転送ゲート８’にハイレベルの転送パルスφＴＸ２が与えられることで、転送トランジスタ１１’がＯＮしてＦＤ９’へ転送され、このＦＤ９’における容量で電圧値に変換されて、増幅トランジスタ１２’に入力される。増幅トランジスタ１２’において、電源電圧ＶＤＤを用いて増幅された電圧は、行選択信号線ＬＨから行選択トランジスタ１３’のゲートに選択信号φＶが与えられることで、該行選択トランジスタ１３’がＯＮして、垂直信号線ＬＶ２へ出力される。一方、ＦＤ９’に蓄積された電荷は、行選択信号線ＬＨからリセットトランジスタ１４’のリセットゲート１９’へハイレベルのリセットパルスφＲＳＴ２が与えられることで、リセットトランジスタ１４’がＯＮしてリセット電圧ＶＲＳＢ２にリセットされる。
【００４４】
図５を参照して、撮像部１０２の中央部には、多数の画素が二次元に配列されており、周縁部に配置された垂直走査回路１５が前記行選択信号線ＬＨに選択出力を与え、それによって各画素から垂直信号線ＬＶ１，ＬＶ２に出力された電圧は、第１水平走査回路１６及び第２水平走査回路１６’の選択走査によって、第１読出し回路１７及び第２読出し回路１７’から順次読出される（出力１，出力２）。垂直走査回路１５および水平走査回路１６、１６’は、シフトレジスタなどで実現される。
【００４５】
図示していないが、読出し回路１７、１７’はそれぞれ、各列、すなわち前記垂直信号線ＬＶに接続される２つのサンプルホールド回路と、負荷トランジスタとを備えて構成される。各サンプルホールド回路は、２つのスイッチと、２つの容量と、２つのアンプとを備えて構成される。各垂直信号線ＬＶは、スイッチを介して容量に接続され、そのホールド電圧がアンプを介して引算器に与えられる。各列の各アンプは、水平走査回路１６、１６’によって駆動される。
【００４６】
このような読出し回路１７、１７’において、相関二重サンプルを行うために、スイッチの一方がＯＮし、各画素に前記転送パルスφＴＸ１，φＴＸ２が与えられることで容量の一方に前記各画素からの出力電圧がホールドされる。また、スイッチの他方は、各画素に前記リセットパルスφＲＳＴ１、φＲＳＴ２が与えられたときにＯＮし、各画素からの出力電圧がホールドされる。そのホールド電圧は、水平走査回路１６、１６’によって、各アンプが一対で選択されて引算器に与えられ、こうして引算器からは、ノイズの影響の少ない前記相関二重サンプル値が順次出力されてゆく。このような読出し回路１７，１７’については、例えば特開２００８−２８３０５７号公報に開示されている。
【００４７】
図７は、撮像部１０２の有するフィルタＦの一部を示す概略図である。図８は、撮像素子の分光感度特性を含むフィルタＦの分光特性を示す図である。これらの構成と同等の機能を有するものであれば、図に示す構成に限らない。
【００４８】
図７に示すように、画素単位にマトリクス状に繰り返し配設されるフィルタは、４種類の画素フィルタ（光学フィルタ又は色フィルタともいう）Ｗｉ、Ｙｅｉ、Ｒｉ、Ｉｒからなっている。より具体的には、第１行第１列に画素フィルタＷｉが配列され、第２行第１列に画素フィルタＹｅｉが配列され、第１行第２列に画素フィルタＲｉが配列され、第２行第２列に画素フィルタＩｒが配列されるというように、繰り返し配列されている。但し、これは一例であり、他のパターンで繰り返し配列してもよい。尚、画素フィルタＷｉは素通し（開口）でもよく、その場合にはフィルタＦは３種類の光学フィルタからなるともいえる。
【００４９】
画素フィルタＷｉは、可視光と赤外光を全て透過し、画素フィルタＹｅｉは緑色光から赤外光までを透過し、画素フィルタＲｉは赤色と赤外光とを透過し、画素フィルタＩｒは赤色光のみを透過する。これらの各フィルタは、それぞれ一つの画素に対応している。具体的には図８において、フィルタ（Ｗｉ，Ｙｅｉ，Ｒｉ，Ｉｒ）の分光特性の一例を示しているが、例えば画素フィルタＹｅｉは５００ｎｍ前後のカットオフ周波数を持ち、画素フィルタＲｉは６００ｎｍ前後にカットオフ周波数を持ち、画素フィルタＩｒは７００ｎｍ前後にカットオフ周波数を持つ。フィルタＷはカットオフ周波数を有していない。この様なフィルタＦは、通常、撮像素子の前面に配置される。ここでは、４００ｎｍ〜７００ｎｍを可視光波長領域とし、７００ｎｍ〜１１００ｎｍを赤外光波長領域とする。
【００５０】
図９は、画像処理部１０４の詳細な構成を示すブロック図である。画像処理部１０４は、可視光用露出補正部１０４ａ、赤外光用露出補正部１０４ａ’、輝度信号生成部１０４ｂ、色信号生成部１０４ｃ、色空間変換部１０４ｄ、及び露出制御部１０４ｅを備えている。
【００５１】
可視光用露出補正部１０４ａは、撮像部１０２から可視光の信号を入力して、可視光用露光データを生成して露出制御部１０４ｅを介して制御部１０５に出力する。制御部１０５（図１）は、可視光用露光データに基づき、露出が適正になるように第１のフォトダイオード４の露光時間等を調整する。但し、第１のフォトダイオード４からの信号が基準値以上の場合には、第１のフォトダイオード４の信号を用いて露光制御を行い、第１のフォトダイオード４からの信号が基準値を下回る場合には、第２のフォトダイオード４’の信号を用いて露光制御を行ってもよい。一方、赤外光用露出補正部１０４ａ’は、撮像部１０２から赤外光の信号を入力して、赤外光用露光データを生成して露出制御部１０４ｅを介して制御部１０５に出力する。制御部１０５（図１）は、赤外光用露光データに基づき、露出が適正になるように第２のフォトダイオード４’の露光時間等を調整する。このとき、色情報を重視する場合は、可視光量が最適になるよう露出制御する。
【００５２】
不図示の色補間部において、画素フィルタＹｅｉを通過した光束を受光した画素の出力信号である画像成分Ｙｅｉ、画素フィルタＲｉを通過した光束を受光した画素の出力信号である画像成分Ｒｉ、画素フィルタＩｒを通過した光束を受光した画素の出力信号である画像成分Ｉｒ、及び画素フィルタＷｉを通過した光束を受光した画素の出力信号である画像成分Ｗｉのそれぞれに欠落画素データを補間するための補間処理を施し、画像成分Ｒｉ、画像成分Ｉｒ、画像成分Ｗｉ、及び画像成分Ｙｅｉのそれぞれを撮像部１０２の画素数と同一画素数からなる画像データにすることができる。補間処理としては、例えば線形補間処理を採用すればよい。
【００５３】
輝度信号生成部１０４ｂは、撮像部１０２から可視光の信号（Ｗｉ＋Ｙｅｉ＋Ｒｉ＋Ｉｒ）と、赤外光の信号ＩＲ２とを入力して、適切な重み付けを行って、式（１）に基づき輝度信号Ｙを出力する演算を行う。α、βは任意の係数である。但し、赤外光比率が高い撮影条件では、赤外光で輝度信号を求めることが望ましい（α＝０とする）。一方、可視光が比較的強い撮影条件では、画素Ｗｉの信号から輝度信号の高周波成分を抽出すると良い。
Ｙ＝α・（Ｗｉ＋Ｙｅｉ＋Ｒｉ＋Ｉｒ）＋β・ＩＲ２ ・・・（１）
【００５４】
色信号生成部１０４ｃは、色補間部により補間処理が施された画像成分Ｙｅｉと、画像成分Ｒｉと、画像成分Ｉｒと、画像成分Ｗｉとを式（２）により合成して、色信号ｄＲ、ｄＧ、ｄＢ（ＲＧＢ色信号）を生成する。
ｄＲ＝Ｒｉ−Ｉｒ
ｄＧ＝Ｙｅｉ−Ｒｉ ・・・・・（２）
ｄＢ＝Ｗｉ−Ｙｅｉ
【００５５】
色空間変換部１０４ｄは、式（３）に示すように、色信号ｄＲ，ｄＧ，ｄＢを、色差信号Ｃｂ’、Ｃｒ’とを含む色空間に変換する、ここで、色差信号Ｃｂ’は青の色差信号を示し、色差信号Ｃｒ’は赤の色差信号を示す。
Ｃｂ’＝ｄＢ−Ｙc
Ｃｒ’＝ｄＲ−Ｙc ・・・・・（３）
また、輝度信号Yは以下の式で求める。
Ｙc＝０．３ｄＲ＋０．５９ｄＧ＋０．１１ｄＢ ・・・（３’）
YcはYで置き換えるが、この時Cb,Crは以下のように計算しなおす。
Cｂ = Cｂ’*(Y/Yc)
Cｒ = Cｒ’*(Y/Yc)
【００５６】
更に、色空間変換部１０４ｄは、式（３）で求めた色差信号Ｃｂ、Ｃｒをスムージング処理しても良い。ここで，スムージング処理としては、例えば、５×５等の比較的小サイズのローパスフィルタを用いて繰り返し処理し、色差信号Ｃｂ、Ｃｒを多重解像度化するフィルタ処理であるカスケードフィルタ処理を採用してもよい。また、比較的サイズの大きな所定サイズのローパスフィルタを用いたフィルタ処理を採用してもよい。
【００５７】
また、発光する被写体に対してはぼけることなく、エッジ以外の領域を平滑化するエッジ保存フィルタ（画素間の信号レベル差がある基準値より小さい場合いに平滑化し、基準値より大きい部分は平滑化しないフィルタ）処理を採用してもよい。なお、発光していることを検出するのは、赤外成分と可視光成分とを比較することにより推測できる。
【００５８】
このように、色差信号Ｃｂ，Ｃｒにスムージング処理を行うことで、色差信号Ｃｂ、Ｃｒに含まれるノイズ成分がぼかされ、色差信号Ｃｂ、ＣｒのＳ／Ｎ比を向上させることができる。
【００５９】
尚、不図示のＲＧＢ色信号生成部が、式（３）、（３’）を逆変換することで、輝度信号Ｙ、色差信号Ｃｒ、Ｃｂから色信号ｄＲ´、ｄＧ´、ｄＢ´を算出する。これを画像データとして、適切な画像を形成できる。
【００６０】
本実施の形態によれば、可視光と赤外光とを含む波長領域の光を入射したときに、第１のフォトダイオード４が、フィルタＦの特性に応じた可視光について光電変換を行い、第２のフォトダイオード４’が、第１のフォトダイオード４を通過した赤外光について光電変換を行うことができるので、シンプルな構造ながら有効な波長分離機能を持たせることができるため、入射光に可視光の成分が多い場合でも、第２のフォトダイオード４’の画素が飽和することが抑制され、また入射光に赤外光の成分が多い場合でも、第１のフォトダイオード４の画素が飽和することが抑制される。更に、第１のフォトダイオード４により光電変換される可視光については、急峻なカットオフ特性を有するフィルタＦを用いることで、各色成分毎に分離することができ、高画質なR、G、B画像を形成できる。又、第２のフォトダイオード４’全体で光電変換された赤外光を用いて、例えば赤外光専用センサと同等な解像度の赤外光画像を形成できる。第１のフォトダイオード４と第２のフォトダイオード４’は独立しているので、別個に露光制御を行うことも出来、最適な条件で光電変換された信号を取り出すことができる。
【００６１】
図１０は、第２の実施の形態にかかる撮像部の図６と同様な回路図である。本実施の形態においては、第１のフォトダイオード４と第２のフォトダイオード４’の電荷を読み出す転送路を共通としている。具体的には、図１０において、垂直信号線ＬＶを共通としており、これを介して第１のフォトダイオード４と第２のフォトダイオード４’の信号を交互に読み出している。従って、本実施の形態では、リセット電圧ＶＳＲＢ及びリセットパルスφＲＳＴを与えるための配線、増幅トランジスタ１２，行選択トランジスタ１３，リセットトランジスタ１４を共通にできるため、構成がより簡素化される。
【００６２】
図１１は、変形例にかかるフィルタＦの構成を示す図であり、図１２は、変形例にかかるフィルタＦの分光特性を示す図であり、図１３は、変形例にかかるフィルタＦを用いた画像処理部１０４の詳細な構成を示すブロック図である。以下、異なる点を中心に説明を行う。
【００６３】
図１１に示すように、画素単位にマトリクス状に繰り返し配設されるフィルタは、３種類の画素フィルタ（光学フィルタともいう）Ｗｉ、Ｙｅｉ、Ｒｉからなっている。より具体的には、第１行第１列に画素フィルタＷｉが配列され、第２行第１列に画素フィルタＹｅｉが配列され、第１行第２列に画素フィルタＲｉが配列され、第２行第２列に画素フィルタＷｉが配列されるというように、繰り返し配列されている。但し、これは一例であり、他のパターンで繰り返し配列してもよい。尚、各画素フィルタの分光特性は、図１２に示すように上述の実施の形態と同様であるため説明を省略する。
【００６４】
本変形例においては、色信号ｄＲ、ｄＧ、ｄＢ（ＲＧＢ色信号）を生成する際に、第２のフォトダイオード４’から生成される赤外光の信号ＩＲ２を用いる。より具体的には、図１３の色信号生成部１０４ｃが、色補間部により補間処理が施された画像成分Ｙｅｉと、画像成分Ｒｉと、画像成分Ｗｉと、赤外光の信号ＩＲ２を式（４）により合成して、色信号ｄＲ、ｄＧ、ｄＢを生成する。尚、γは任意の係数である。
ｄＲ＝Ｒｉ−γ・ＩＲ２
ｄＧ＝Ｙｅｉ−Ｒｉ ・・・・・（４）
ｄＢ＝Ｗｉ−Ｙｅｉ
【００６５】
本変形例によれば、画素フィルタＷｉを千鳥配置とすることで、他の画素フィルタに対して、等価的に縦横２倍の数だけ設けたことになり、可視光領域での空間解像度を更に向上させることができる。それ以外の点は、上述した実施の形態と同様である。
【００６６】
図１４は、第３の実施の形態に係る撮像部１０２’の１画素の断面構造を模式的に示す図である。図１５は、図１４の撮像部１０２’をB-B'線で切断した断面図であり、１画素のエネルギーポテンシャル分布を示す図である。
【００６７】
上述の実施の形態においては、基板２に対して、光の入射側に、制御信号を付与する配線が接続される転送ゲート８、８’、ＦＤ９、９’、リセットトランジスタ１４、１４’等の信号読出し部が設けられているが、このため画素に入射する光が通過する開口が制限されている。これに対し、本実施の形態では、基板２の裏面（図１４で下面）に配線層（配線領域ともいう）３２を形成して、ここに転送ゲート８、８’、ＦＤ９、９’、リセットトランジスタ１４、１４’等を配置してなる。かかる場合、基板２の表面側には配線や信号読出し部が存在しないため、入射光を有効に取り込むことができる。このような撮像部１０２’は、シリコンウェハ上に積層してフォトダイオードを形成した後、シリコンウェハを研削して内部のフォトダイオードを露出させることで形成できる。それ以外の点では、上述した実施の形態と同様であるため、説明を省略する。
【００６８】
本実施の形態で用いたフィルタＦの代わりに、図１６に示すように、全領域の波長の光を透過する画素フィルタＷｉと、青色の波長の光を透過する画素フィルタＢｉと、緑色の波長の光を透過する画素フィルタＧｉと、赤色の波長の光を透過する画素フィルタＲｉとを、前記光電変換領域の画素に対応して配置したフィルタを用いることもできる。
【００６９】
更に、図２に示すように半導体基板内に第１の光電変換部と第２の光電変換部が一体的に形成されていても良いが、半導体基板上に第１の光電変換部と第２の光電変換部がそれぞれ光電変換膜として形成されていても良いし、光電変換領域が一体的に構成されており、第１の光電変換部は、半導体基板上に光電変換膜として形成され、第２の光電変換部は前記半導体基板内に形成されていても良い。
【００７０】
図１８に、半導体基板上に第１の光電変換部と第２の光電変換部がそれぞれ光電変換膜Ｍ１，Ｍ２として２層に形成されていている例を示す。ここで、電極ＥＴ４からのビアＶｉａ２が蓄積ダイオードＤ２に接続されている。一方、蓄積ダイオードＤ１にビアＶｉａ１を介して接続されている電極ＥＴ２は、入射方向奥側に光電変換膜Ｍ２があるため必要な波長の光(赤外光)は透過する必要がある。配線領域下のSi基板、蓄積ダイオードは光の入射による不要な電荷の発生を防ぐ必要があり、電極ＥＴ４については、光を透過しない材料を使っている。あるいは電極ET４の下に遮光層を設けても良い。
【００７１】
図１９に、光電変換領域が一体的に構成されており、第１の光電変換部は、半導体基板上に光電変換膜Ｍとして形成され、第２の光電変換部は半導体基板内に形成されている例を示す。光電変換層の光入射側に透明電極ＥＴ１、奥側に画素ごとの電荷を取り出すための電極ＥＴ２が配置されている。電極ＥＴ２の面積が画素の開口に相当する。また、Si基板上に下層の光電変換部が形成されている。電極ＥＴ２から電荷を取り出すためのビアＶｉａが、基板上の蓄積ダイオードＤに接続されている。ビアＶｉａを通して電極ＥＴ２から蓄積ダイオードＤへ電荷が移動する。蓄積ダイオードの電荷はゲート(TX1)をONすることにより、読み出される。配線領域には光が入射しないように、遮光されている。
【符号の説明】
【００７２】
３ 素子分離領域
４、４’ フォトダイオード
８、８’ 転送ゲート
１１、１１’ 転送トランジスタ
１２、１２’ 増幅トランジスタ
１３、１３’ 行選択トランジスタ
１４、１４’ リセットトランジスタ
１５ 垂直走査回路
１６、１６’ 水平走査回路
１７、１７’ 読出し回路
１９、１９’ リセットゲート
２１、２１’ ｎ型領域ポテンシャル井戸
２２ ｐ型領域
１０１ レンズ
１０２ 撮像部
１０３Ａ、１０３Ｂ Ａ／Ｄ変換部
１０４ 画像処理部
１０４ａ、１０４ａ’ 露出補正部
１０４ｂ 輝度信号生成部
１０４ｃ 色信号生成部
１０４ｄ 色空間変換部
１０４ｅ 露出制御部
１０５ タイミング制御部
Ｆ フィルタ
ＬＨ 行選択信号線
ＬＶ 垂直信号線
ＭＧ 画像入力装置
ＳＨ１，ＳＨ２ サンプルホールド回路
ＶＤＤ 電源電圧
【特許請求の範囲】
【請求項１】
第１の光電変換部と、前記第１の光電変換部よりも光の入射方向に対して深い位置に配置された第２の光電変換部とを、光の入射方向に対して重なるように形成した光電変換領域と、
前記光電変換領域よりも光の入射側に配置された色フィルタとを有する固体撮像素子であって、
可視光と赤外光とを含む波長領域の光を入射したときに、前記第１の光電変換部は、前記色フィルタの特性に応じた波長帯域の光について光電変換を行い、前記第２の光電変換部は、前記色フィルタと前記第１の光電変換部を通過した光について光電変換を行うことを特徴とする固体撮像素子。
【請求項２】
前記光電変換領域は、半導体基板内に前記第１の光電変換部と前記第２の光電変換部が一体的に形成されていることを特徴とする請求項１に記載の固体撮像素子。
【請求項３】
前記光電変換領域は、半導体基板上に前記第１の光電変換部と前記第２の光電変換部がそれぞれ光電変換膜として形成されていることを特徴とする請求項１に記載の固体撮像素子。
【請求項４】
前記光電変換領域は一体的に構成されており、前記第１の光電変換部は、半導体基板上に光電変換膜として形成され、前記第２の光電変換部は前記半導体基板内に形成されていることを特徴とする請求項１に記載の固体撮像素子。
【請求項５】
前記第１の光電変換部は主として可視光の波長帯域の光を光電変換し、前記第２の光電変換部は主として赤外光の波長帯域の光を光電変換することを特徴とする請求項１〜４のいずれかに記載の固体撮像素子。
【請求項６】
前記第１の光電変換部で光電変換された第１の信号と、前記第２の光電変換部で光電変換された第２の信号とは、独立した信号線を介して読み出されることを特徴とする請求項１〜５のいずれかに記載の固体撮像素子。
【請求項７】
前記第１の光電変換部で光電変換された第１の信号と、前記第２の光電変換部で光電変換された第２の信号とは、共通の信号線を介して交互に読み出されることを特徴とする請求項１〜５のいずれかに記載の固体撮像素子。
【請求項８】
前記第２の光電変換部からの信号に基づいて輝度信号が作成されることを特徴とする請求項１〜７のいずれかに記載の固体撮像素子。
【請求項９】
前記第１の光電変換部からの信号が基準値以上の場合には、前記第１の光電変換部からの信号を用いて露光制御を行い、前記第１の光電変換部からの信号が基準値を下回る場合には、前記第２の光電変換部からの信号を用いて露光制御を行うことを特徴とする請求項１〜８のいずれかに記載の固体撮像素子。
【請求項１０】
前記第１の光電変換部における光電変換と、前記第２の光電変換部における光電変換とは、互いに独立して露光制御が行われることを特徴とする請求項１〜８のいずれかに記載の固体撮像素子。
【請求項１１】
前記色フィルタは、可視光と赤外の波長領域の光を透過する画素フィルタＷｉと、緑色光とそれより長い波長の光を透過する画素フィルタＹｅｉと、赤色光とそれより長い波長の光を透過する画素フィルタＲｉとを、前記光電変換領域の画素に対応して配置していることを特徴とする請求項１〜１０のいずれかに記載の固体撮像素子。
【請求項１２】
前記色フィルタは、更に赤外光の波長領域の光を透過する画素フィルタＩｒを、前記光電変換領域の画素に対応して配置していることを特徴とする請求項１１に記載の固体撮像素子。
【請求項１３】
前記色フィルタは、可視光と赤外の波長領域の光を透過する画素フィルタＷｉと、青色および赤外の波長領域の光を透過する画素フィルタＢｉと、緑色および赤外の波長領域の光を透過する画素フィルタＧｉと、赤色および赤外の波長領域の光を透過する画素フィルタＲｉとを、前記光電変換領域の画素に対応して配置していることを特徴とする請求項１〜１０のいずれかに記載の固体撮像素子。
【請求項１４】
前記色フィルタは、青色および赤外の波長領域の光を透過する画素フィルタＢｉと、緑色および赤外の波長領域の光を透過する画素フィルタＧｉと、赤色および赤外の波長領域の光を透過する画素フィルタＲｉとを、前記光電変換領域の画素に対応して配置していることを特徴とする請求項１〜１０のいずれかに記載の固体撮像素子。
【請求項１５】
前記色フィルタは、可視光と赤外の波長領域の光を透過する画素フィルタＷｉと、青色と緑色および赤外の波長領域の光を透過する画素フィルタＣＹｉと、青色と赤色および赤外の波長領域の光を透過する画素フィルタＭｇｉと、イエロー色緑色と赤色および赤外の波長領域の光を透過するフィルタ画素Ｙｅｉとを、前記光電変換領域の画素に対応して配置していることを特徴とする請求項１〜１０のいずれかに記載の固体撮像素子。
【請求項１６】
前記第１の光電変換部と前記第２の光電変換部のうち少なくとも一方は、光電変換特性の一部が対数特性を有することを特徴とする請求項１〜１５のいずれかに記載の固体撮像素子。
【請求項１７】
前記第２の光電変換部よりも光の入射方向に対して深い位置に配線領域を形成したことを特徴とする請求項１〜１６のいずれかに記載の固体撮像素子。
【請求項１８】
請求項１〜１７のいずれかに記載の固体撮像素子を用いたことを特徴とする画像入力装置。
【請求項１】
第１の光電変換部と、前記第１の光電変換部よりも光の入射方向に対して深い位置に配置された第２の光電変換部とを、光の入射方向に対して重なるように形成した光電変換領域と、
前記光電変換領域よりも光の入射側に配置された色フィルタとを有する固体撮像素子であって、
可視光と赤外光とを含む波長領域の光を入射したときに、前記第１の光電変換部は、前記色フィルタの特性に応じた波長帯域の光について光電変換を行い、前記第２の光電変換部は、前記色フィルタと前記第１の光電変換部を通過した光について光電変換を行うことを特徴とする固体撮像素子。
【請求項２】
前記光電変換領域は、半導体基板内に前記第１の光電変換部と前記第２の光電変換部が一体的に形成されていることを特徴とする請求項１に記載の固体撮像素子。
【請求項３】
前記光電変換領域は、半導体基板上に前記第１の光電変換部と前記第２の光電変換部がそれぞれ光電変換膜として形成されていることを特徴とする請求項１に記載の固体撮像素子。
【請求項４】
前記光電変換領域は一体的に構成されており、前記第１の光電変換部は、半導体基板上に光電変換膜として形成され、前記第２の光電変換部は前記半導体基板内に形成されていることを特徴とする請求項１に記載の固体撮像素子。
【請求項５】
前記第１の光電変換部は主として可視光の波長帯域の光を光電変換し、前記第２の光電変換部は主として赤外光の波長帯域の光を光電変換することを特徴とする請求項１〜４のいずれかに記載の固体撮像素子。
【請求項６】
前記第１の光電変換部で光電変換された第１の信号と、前記第２の光電変換部で光電変換された第２の信号とは、独立した信号線を介して読み出されることを特徴とする請求項１〜５のいずれかに記載の固体撮像素子。
【請求項７】
前記第１の光電変換部で光電変換された第１の信号と、前記第２の光電変換部で光電変換された第２の信号とは、共通の信号線を介して交互に読み出されることを特徴とする請求項１〜５のいずれかに記載の固体撮像素子。
【請求項８】
前記第２の光電変換部からの信号に基づいて輝度信号が作成されることを特徴とする請求項１〜７のいずれかに記載の固体撮像素子。
【請求項９】
前記第１の光電変換部からの信号が基準値以上の場合には、前記第１の光電変換部からの信号を用いて露光制御を行い、前記第１の光電変換部からの信号が基準値を下回る場合には、前記第２の光電変換部からの信号を用いて露光制御を行うことを特徴とする請求項１〜８のいずれかに記載の固体撮像素子。
【請求項１０】
前記第１の光電変換部における光電変換と、前記第２の光電変換部における光電変換とは、互いに独立して露光制御が行われることを特徴とする請求項１〜８のいずれかに記載の固体撮像素子。
【請求項１１】
前記色フィルタは、可視光と赤外の波長領域の光を透過する画素フィルタＷｉと、緑色光とそれより長い波長の光を透過する画素フィルタＹｅｉと、赤色光とそれより長い波長の光を透過する画素フィルタＲｉとを、前記光電変換領域の画素に対応して配置していることを特徴とする請求項１〜１０のいずれかに記載の固体撮像素子。
【請求項１２】
前記色フィルタは、更に赤外光の波長領域の光を透過する画素フィルタＩｒを、前記光電変換領域の画素に対応して配置していることを特徴とする請求項１１に記載の固体撮像素子。
【請求項１３】
前記色フィルタは、可視光と赤外の波長領域の光を透過する画素フィルタＷｉと、青色および赤外の波長領域の光を透過する画素フィルタＢｉと、緑色および赤外の波長領域の光を透過する画素フィルタＧｉと、赤色および赤外の波長領域の光を透過する画素フィルタＲｉとを、前記光電変換領域の画素に対応して配置していることを特徴とする請求項１〜１０のいずれかに記載の固体撮像素子。
【請求項１４】
前記色フィルタは、青色および赤外の波長領域の光を透過する画素フィルタＢｉと、緑色および赤外の波長領域の光を透過する画素フィルタＧｉと、赤色および赤外の波長領域の光を透過する画素フィルタＲｉとを、前記光電変換領域の画素に対応して配置していることを特徴とする請求項１〜１０のいずれかに記載の固体撮像素子。
【請求項１５】
前記色フィルタは、可視光と赤外の波長領域の光を透過する画素フィルタＷｉと、青色と緑色および赤外の波長領域の光を透過する画素フィルタＣＹｉと、青色と赤色および赤外の波長領域の光を透過する画素フィルタＭｇｉと、イエロー色緑色と赤色および赤外の波長領域の光を透過するフィルタ画素Ｙｅｉとを、前記光電変換領域の画素に対応して配置していることを特徴とする請求項１〜１０のいずれかに記載の固体撮像素子。
【請求項１６】
前記第１の光電変換部と前記第２の光電変換部のうち少なくとも一方は、光電変換特性の一部が対数特性を有することを特徴とする請求項１〜１５のいずれかに記載の固体撮像素子。
【請求項１７】
前記第２の光電変換部よりも光の入射方向に対して深い位置に配線領域を形成したことを特徴とする請求項１〜１６のいずれかに記載の固体撮像素子。
【請求項１８】
請求項１〜１７のいずれかに記載の固体撮像素子を用いたことを特徴とする画像入力装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【公開番号】特開２０１１−１６６４７７（Ｐ２０１１−１６６４７７Ａ）
【公開日】平成２３年８月２５日（２０１１．８．２５）
【国際特許分類】
【出願番号】特願２０１０−２７３７３（Ｐ２０１０−２７３７３）
【出願日】平成２２年２月１０日（２０１０．２．１０）
【出願人】（３０３０００４０８）コニカミノルタオプト株式会社 (3,255)
【Ｆターム（参考）】
【公開日】平成２３年８月２５日（２０１１．８．２５）
【国際特許分類】
【出願日】平成２２年２月１０日（２０１０．２．１０）
【出願人】（３０３０００４０８）コニカミノルタオプト株式会社 (3,255)
【Ｆターム（参考）】
[ Back to top ]