説明

固体撮像装置、撮像システム及び検知装置

【課題】低コストであり、かつ、動きのある被写体に対しても被写体を強調した画像を好適に撮像できる固体撮像装置を提供する。
【解決手段】本発明に係る固体撮像装置は、分散型吸収スペクトルを有する予め定められた物質を強調した画像を生成する固体撮像装置であって、前記分散型吸収スペクトルのピークを含む第1波長帯域を透過する複数の光学フィルタ130と、前記ピークを含まず、かつ第1波長帯域と同色の帯域である第2波長帯域を透過する複数の光学フィルタ131と、光学フィルタ130により透過された光を画像データ62に変換する複数の画素25と、画素25と同一の半導体基板119に形成され、光学フィルタ131により透過された光を画像データ63に変換する複数の画素26と、画像データ62及び画像データ63の輝度の違いを用いて、前記物質を強調した画像データ68を生成する画像生成部30とを備える。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、固体撮像装置、撮像システム及び検知装置に関し、特に、分散型吸収スペクトルを有する予め定められた物質を強調した画像を生成する固体撮像装置に関する。
【背景技術】
【0002】
分散型吸光スペクトルを有する被写体からの反射光、透過光、又は散乱光などの光を狭帯域フィルタで透過させたうえ撮像素子で撮像し、被写体で吸光された部分の画像を用いて特定の物質を検出する方法がいくつか提案されている(特許文献1〜4参照)。ここで、分散型吸光スペクトルとは、原子間又は分子間における対称伸縮振動、非対称伸縮振動及び変角振動のうちいずれか1以上に起因する急峻な吸収ピークを有する吸光スペクトルである。
【0003】
特許文献1記載の検知装置は、被写体に対して光を照射し、異なる透過特性をもつフィルタをリボルバー方式で回転させることで、被写体からの反射光のうち所望の波長の透過光のみを取得する。これにより、特許文献1記載の検知装置は、それぞれ異なる波長の光に対応する複数のデータを取得できる。
【0004】
ここで、複数のフィルタが透過する光の波長は、被写体の吸収ピークの局所波長と一致する波長と、一致しない波長とに設定される。特許文献1記載の検知装置は、取得した異なる波長の光に対応する複数のデータを差分することで、被写体の吸光した部分を強調した画像を生成する。
【0005】
また、特許文献2記載のカメラ装置は、プリズムを用いて光を分離し、分離した光を、それぞれ光学フィルタを介して撮像素子で撮像する。
【0006】
また、特許文献3、及び特許文献4に記載の技術は、簡易分光器を撮像素子の前方に配置したうえ、透過させる近赤外領域の光の波長帯域を変化させる。具体的には、簡易分光器は、二枚の分光透過率可変素子をエアギャップ調整する構造を有する。
【特許文献1】特許第3733434号公報
【特許文献2】特許第3772016号公報
【特許文献3】特開2005―308688号公報
【特許文献4】特開2007―316486号公報
【発明の開示】
【発明が解決しようとする課題】
【0007】
しかしながら、特許文献1記載の検知装置は、回転式のフィルタなどのシステムが大きくなるという問題と、機構などのコストが高くなるという問題とを有する。
【0008】
また、特許文献2のカメラ装置は、特許文献1記載の検知装置に比べ、システムの小型化が可能であるが、撮像素子が2つ以上必要でありコストは高くなるという問題がある。
【0009】
また、特許文献3及び特許文献4記載の技術は、一つの撮像素子で実現できるが、異なる波長帯域の近赤外光を複数取得するために、小型分光器内のエアギャップを動かしてから撮像する必要がある。これにより、特許文献3及び特許文献4記載の技術は、波長帯域の切り替えに時間がかかるので、例えば、動きのある被写体の撮像に適していない。
【0010】
本発明は上記課題を解決するためになされたものであり、低コストであり、かつ、動きのある被写体に対しても被写体を強調した画像を好適に撮像できる固体撮像装置、撮像システム及び検知装置を提供することを目的とする。
【課題を解決するための手段】
【0011】
上記目的を達成するために、本発明に係る固体撮像装置は、分散型吸収スペクトルを有する予め定められた物質を強調した画像を生成する固体撮像装置であって、前記分散型吸収スペクトルのピークを含む第1波長帯域を透過する第1濾光手段と、前記ピークを含まず、かつ前記第1波長帯域と同色の帯域である第2波長帯域を透過する第2濾光手段と、前記第1濾光手段により透過された光を第1画像データに変換する複数の第1光電変換手段と、前記第1光電変換手段と同一の半導体基板に形成され、前記第2濾光手段により透過された光を第2画像データに変換する複数の第2光電変換手段と、前記第1画像データ及び前記第2画像データの輝度の違いを用いて、前記物質を強調した画像を生成する画像生成手段とを備える。
【0012】
この構成によれば、本発明に係る固体撮像装置は、単一の半導体基板に形成された複数の光電変換手段により、異なる波長帯域の光を撮像した第1画像データ及び第2画像データを生成するので、複数の撮像素子を備える場合に比べ、小型化及び低コスト化を実現できる。また、本発明に係る固体撮像装置は、小型分光器内のエアギャップを動かす等の動作を必要とせずに、同時に第1画像データ及び第2画像データを生成できる。よって、本発明に係る固体撮像装置は、動きのある被写体に対しても被写体を強調した画像を好適に撮像できる。
【0013】
また、前記画像生成手段は、前記第2画像データから前記第1画像データを減算することにより前記物質を強調した画像を生成する減算手段を備えてもよい。
【0014】
この構成によれば、画像生成手段により生成される画像において、物質に光が吸収されていない部分の輝度信号はほぼ0となり、被写体に光が吸収された部分の輝度信号は0以外の値となる。つまり、本発明に係る固体撮像装置は、特定の物質が存在する領域のみが浮かびあがる画像、すなわち特定の物質を強調した画像を生成できる。
【0015】
また、前記画像生成手段は、さらに、前記第1画像データ及び前記第2画像データのうち少なくとも一方を、増幅又は減衰する補正手段を備え、前記減算手段は、前記補正手段により増幅又は減衰された前記第1画像データと前記第2画像データとを減算することにより前記物質を強調した画像を生成してもよい。
【0016】
この構成によれば、補正手段は、第1波長帯域と第2波長帯域における第1光電変換手段及び第2光電変換手段の感度の差、及び照明強度の違い等を補正できる。これにより、本発明に係る固体撮像装置は、特定の物質をより明確に強調した画像を生成できる。
【0017】
また、前記複数の第1光電変換手段と、前記複数の第2光電変換手段とは、行方向又は列方向に交互に配置され、前記画像生成手段は、さらに、前記第1画像データにおける前記第2光電変換手段の画素位置に対応するデータを当該画素位置に隣接する前記第1画像データの画素のデータから生成することで、前記第1画像データにおける前記第2光電変換手段の画素位置のデータを補間し、前記第2画像データにおける前記第1光電変換手段の画素位置に対応するデータを当該画素位置に隣接する前記第2画像データの画素のデータから生成することで、前記第2画像データにおける前記第1光電変換手段の画素位置のデータを補間する画素補間手段を備え、前記減算手段は、前記画素補間手段により画素補間された前記第2画像データから、前記画素補間手段により画素補間された前記第1画像データを減算することにより前記物質を強調した画像を生成してもよい。
【0018】
この構成によれば、画素補間手段は、第1画像データ及び第2画像データの画素補間を行う。これにより、本発明に係る固体撮像装置は、特定の物質を強調した高精度の画像を生成できる。
【0019】
また、前記画像生成手段は、前記第2画像データを前記第1画像データで除算することにより前記物質を強調した画像を生成する除算手段を備えてもよい。
【0020】
この構成によれば、画像生成手段により生成される画像において、物質に光が吸収されていない部分の輝度信号は小さくなり、被写体に光が吸収された部分の輝度信号は、光が吸収されていない部分に比べ大きくなる。つまり、本発明に係る固体撮像装置は、特定の物質が存在する領域のみが浮かびあがる画像、すなわち特定の物質を強調した画像を生成できる。
【0021】
また、前記第1濾光手段及び前記第2濾光手段は、それぞれ、高屈折率膜と低屈折率膜とを交互に積層した第1多層膜及び第2多層膜と、前記第1多層膜と前記第2多層膜との間に積層された第3膜とを含み、前記第1濾光手段に含まれる前記高屈折率膜及び前記低屈折率膜は、それぞれ、前記第2濾光手段に含まれる前記高屈折率膜及び前記低屈折率膜と膜厚が等しく、前記第1濾光手段に含まれる前記第3膜は、前記第2濾光手段に含まれる前記第3膜と膜厚が異なってもよい。
【0022】
この構成によれば、単一の半導体基板上に、異なる波長帯域の光を透過する2種類の第1濾光手段及び第2濾光手段を容易に生成できる。さらに、第1濾光手段及び第2濾光手段は、高屈折率膜及び低屈折率膜の積層数を増やすことで透過帯域を狭くできるので、単波長の光に極めて近い、吸収スペクトルのピーク波長の光を透過できる。
【0023】
また、前記固体撮像装置は、さらに、前記第1波長帯域及び前記第2波長帯域を含む第3波長帯域の光を透過する第3濾光手段を備え、前記第1光電変換手段は、前記第3濾光手段により透過され、かつ前記第1濾光手段により透過された光を前記第1画像データに変換し、前記第2光電変換手段は、前記第3濾光手段により透過され、かつ前記第2濾光手段により透過された光を前記第2画像データに変換してもよい。
【0024】
この構成によれば、第3濾光手段は、第1濾光手段及び第2濾光手段で遮断できない不要な波長帯域の光を遮断できる。これにより、本発明に係る固体撮像装置は、周囲の環境の光を消灯する、又は波長域を絞った光源を使用する等を前提とすることなく、第1波長帯域の光、及び第2波長帯域の光のみを撮像できる。
【0025】
また、本発明に係る撮像システムは、前記固体撮像装置と、前記第1波長帯域及び前記第2波長帯域を含む第4波長帯域の光を照射する照明手段を備える。
【0026】
この構成によれば、本発明に係る撮像システムは、単一の半導体基板に形成された複数の光電変換手段により、異なる波長帯域の光を撮像した第1画像データ及び第2画像データを生成するので、複数の撮像素子を備える場合に比べ、小型化及び低コスト化を実現できる。また、本発明に係る撮像システムは、小型分光器内のエアギャップを動かす等の動作を必要とせずに、同時に第1画像データ及び第2画像データを生成できる。よって、本発明に係る撮像システムは、動きのある被写体に対しても被写体を強調した画像を好適に撮像できる。
【0027】
また、本発明に係る検知装置は、分散型吸収スペクトルを有する予め定められた物質を検知する検知装置であって、前記分散型吸収スペクトルのピークを含む第1波長帯域を透過する第1濾光手段と、前記ピークを含まず、かつ前記第1波長帯域と同色の帯域である第2波長帯域を透過する複数の第2濾光手段と、前記第1濾光手段により透過された光を第1信号に変換する第1光電変換手段と、前記第1光電変換手段と同一の半導体基板に形成され、前記第2濾光手段により透過された光を第2信号に変換する第2光電変換手段と、前記第1信号及び前記第2信号の輝度の違いを用いて、前記物質を検知したことを示す第3信号を生成する信号生成手段とを備える。
【0028】
この構成によれば、本発明に係る検知装置は、単一の半導体基板に形成された2つの光電変換手段により、異なる波長帯域の光を撮像した第1信号及び第2信号を生成するので、複数の撮像素子を備える場合に比べ、小型化及び低コスト化を実現できる。また、本発明に係る検知装置は、小型分光器内のエアギャップを動かす等の動作を必要とせずに、同時に第1信号及び第2信号を生成できる。よって、本発明に係る検知装置は、動きのある被写体も好適に検知できる。
【0029】
なお、本発明は、このような固体撮像装置、撮像システム及び検知装置として実現できるだけでなく、固体撮像装置、撮像システム又は検知装置に含まれる特徴的な手段をステップとする撮像方法又は検知方法として実現したり、そのような特徴的なステップの一部又は全てをコンピュータに実行させるプログラムとして実現したりすることもできる。そして、そのようなプログラムは、CD−ROM等の記録媒体及びインターネット等の伝送媒体を介して流通させることができるのは言うまでもない。
【発明の効果】
【0030】
以上より、本発明は、低コストであり、かつ、動きのある被写体に対しても被写体を強調した画像を好適に撮像できる固体撮像装置、撮像システム及び検知装置を提供できる。
【発明を実施するための最良の形態】
【0031】
以下、本発明に係る撮像システムの実施の形態について、図面を参照しながら詳細に説明する。
【0032】
(実施の形態1)
本発明の実施の形態1に係る撮像システムは、異なる波長帯域の光を電気信号に変換する1チップの固体撮像装置を備える。これにより、本発明に係る撮像システムは、システムの小型化及び低コスト化を実現できる。さらに、本発明に係る撮像システムは、動きのある被写体に対しても被写体を強調した画像を好適に撮像できる。
【0033】
まず、本発明の実施の形態に係る撮像システムの構成を説明する。
【0034】
図1は、本発明の実施の形態1に係る撮像システムの構成を示すブロック図である。
【0035】
図1に示す撮像システム10は、被写体を撮像し、分散型吸収スペクトルを有する予め定められた物質を強調して表示した画像データ68を生成する。なお、以下では、水を強調した画像データ68を生成する例を説明する。
【0036】
撮像システム10は、撮像部20と、画像生成部30と、照明部40とを備える。
【0037】
照明部40は、被写体50に、水の吸収ピークである波長960nm近傍の第1波長帯域と、波長850nm近傍の第2波長帯域とを含む第3波長帯域の近赤外光60を照射する。例えば、照明部40は、発光ダイオードである。
【0038】
撮像部20は、被写体50により反射された反射光61のうち、波長960nm近傍の第1波長帯域の光を撮像し、画像データ62を生成する。また、撮像部20は、被写体50により反射された反射光61のうち、波長850nm近傍の第2波長帯域の光を撮像し、画像データ63を生成する。撮像部20は、例えば、単一の半導体基板上に形成されたCMOSイメージセンサである。
【0039】
図2は、撮像部20の構成を示す図である。撮像部20は、画素アレイ21と、垂直走査部22と、水平走査部23と、A/D変換部24とを備える。
【0040】
画素アレイ21は、行列状に配置される複数の画素25及び複数の画素26を含む。複数の画素25及び複数の画素26は、受光量に応じた信号電荷を蓄積する。
【0041】
垂直走査部22は、複数の画素25及び26のうち各行の画素25及び26を順次選択する。
【0042】
水平走査部23は、複数の画素25及び26のうち各列の画素25及び26を順次選択する。
【0043】
垂直走査部22により行を選択され、かつ水平走査部23に列を選択された画素25又は26に蓄積された信号電荷は、電圧又は電流に変換され、A/D変換部24に入力される。A/D変換部24は、入力された電圧又は電流をアナログ信号からデジタル信号に変換し、変換したデジタル信号を画像データ62及び63として出力する。
【0044】
図3は、画素25及び画素26の断面構造を示す図である。
【0045】
画素25及び画素26は、基板119上に形成される。基板119は、半導体基板であり、例えばシリコン基板である。
【0046】
画素25は、フォトダイオード128と、配線117、118、125及び126と、層間絶縁膜129と、光学フィルタ130と、平坦化膜121と、マイクロレンズ103とを備える。
【0047】
画素26は、フォトダイオード127と、配線123、124、125及び126と、層間絶縁膜129と、光学フィルタ131と、平坦化膜121と、マイクロレンズ120とを備える。
【0048】
なお、画素25及び画素26の構成は、光学フィルタ130と131との構成が異なる点以外は、同様である。
【0049】
フォトダイオード127及び128は、入射した光を信号電荷に変換する光電変換素子である。
【0050】
配線117、118、123、124、125及び126は、層間絶縁膜129内に形成され、遮光膜としても機能する金属配線である。
【0051】
平坦化膜121は、マイクロレンズ103及び120を形成する際に画素25と画素26との間の段差がなくなるように表面を平坦化するための膜である。
【0052】
光学フィルタ130及び131は、それぞれ異なる波長帯域の光を選択的に透過する。光学フィルタ130及び131は、複数の誘電体膜を積層した多層膜フィルタである。
【0053】
光学フィルタ130及び131は、高屈折率膜104、106及び108と低屈折率膜105及び107とを交互に積層した第1多層膜と、高屈折率膜110、112、114及び16と低屈折率膜111、113及び115とを交互に積層した第2多層膜とを含む。また、光学フィルタ130は、第1多層膜と第2多層膜との間に積層された低屈折率膜109を含み、光学フィルタ131は、第1多層膜と第2多層膜との間に積層された低屈折率膜122を含む。
【0054】
光学フィルタ130と、光学フィルタ131とは、低屈折率膜109と低屈折率膜122との膜厚が異なる。また、低屈折率膜109及び122以外の低屈折率膜105、107、111、113及び115と、高屈折率膜104、106、108、110、112、114及び116とは、光学フィルタ130及び131で共通に用いられ、同一の膜厚である。
【0055】
高屈折率膜104、106、108、110、112、114及び116は、高屈折率の材料で構成され、例えば、チタン酸化物(TiO2)で構成される。低屈折率膜105、107、109、111、113、115及び122は、高屈折率膜104、106、108、110、112、114及び116よりも低屈折率の材料で構成され、例えば、シリコン酸化物(SiO2)で構成される。
【0056】
図4は、高屈折率膜104、106、108、110、112及び114の膜厚が86nmであり、低屈折率膜105、107、111、113及び115の膜厚が149nmであり、低屈折率膜109の膜厚が5nmであり、低屈折率膜122の膜厚が58nmである場合の光学フィルタ130及び131の透過特性を示す図である。
【0057】
図4に示すように、光学フィルタ130の透過特性502は、波長960nm付近にピークを有し、光学フィルタ131の透過特性501は、波長850nm付近にピークを有する。
【0058】
図5及び図6は、水の吸収スペクトル701を示す図である。図5は縦軸を対数表示した水の吸収スペクトル701を示す図であり、図6は縦軸を線形表示した水の吸収スペクトル701を示す図である。
【0059】
図5及び図6に示すように、水の吸収スペクトル701は、波長960nmにピーク702を有する。
【0060】
このように、光学フィルタ130は、水の吸収スペクトル701のピーク702の波長960nm近傍の波長帯域の光を選択的に透過する。
【0061】
また、光学フィルタ131は、水の吸収スペクトル701のピーク702を含まない領域704の波長850nm近傍の波長帯域の光を選択的に透過する。
【0062】
以上のように、光学フィルタ130及び131の構成は、光学膜厚が水の吸収スペクトルのピーク702の波長の四分の一の高屈折率膜104、106、108、110、112及び114と、光学膜厚が水の吸収スペクトルのピーク702の波長の四分の一の低屈折率膜105、107、111、113及び115とが交互に複数積層された多層膜が、当該四分の一の波長と異なる光学膜厚の低屈折率膜109及び122を挟む構成である。さらに、光学フィルタ130及び131において、低屈折率膜109及び122の光学膜厚が異なっている。
【0063】
これにより、水の吸収スペクトルのピーク波長周辺の光のみを透過させる光学フィルタ130と、ピーク波長とは異なる波長周辺の光のみを透過させる光学フィルタ131とを実現できる。これは、ある膜厚の低屈折率材料とある膜厚の高屈折率材料とを周期的に積層した誘電体多層膜は、光を透過しない不透過のフォトニックバンドギャップを持ち、さらに、積層された誘電体多層膜のうち一層を異なる膜厚にすることで、当該フォトニックバンドギャップの中に透過する波長帯域を形成できる物理現象を利用している。
【0064】
また、このような多層膜フィルタは、高屈折率膜104、106、108、110、112及び114と、低屈折率膜105、107、111、113及び115との積層数を増やすことでより透過帯域を狭くできるので、水の吸収スペクトルにおけるピーク波長の単波長の光に極めて近い光を透過できる。また、複数種のフィルタを光電変換素子上に構成する上で、高屈折率膜104、106、108、110、112及び114と、低屈折率膜105、107、111、113及び115とはそれぞれの種類のフィルタに共通の膜厚、かつ層数の膜となるためにフィルタ作製工程も容易になるという利点もある。
【0065】
再度、図3を参照して説明を行う。
【0066】
マイクロレンズ103及び120は、それぞれ光学フィルタ130及び131上に平坦化膜121を介して形成される。
【0067】
光学フィルタ140は、画素25及び26上に形成される。光学フィルタ140は、光学フィルタ130が透過する波長帯域、及び光学フィルタ131が透過する波長帯域を含む波長帯域の光を透過する。例えば、光学フィルタ140は、可視光を遮断し、赤外光を透過するバンドパスフィルタである。
【0068】
図7は、光学フィルタ140及び131を介してフォトダイオード127に入射する光の透過特性601と、光学フィルタ140及び130を介してフォトダイオード128に入射する光の透過特性602を示す図である。
【0069】
図7に示すように、可視光を遮断する光学フィルタ140を備えることにより、フォトダイオード127には波長850nm近傍の光のみが入射され、フォトダイオード128には波長960nm近傍の光のみが入射される。
【0070】
次に、画素アレイ21における画素25及び画素26の配置について説明する。
【0071】
図8、図9及び図10は、画素25及び画素26の配置例を示す図である。
【0072】
複数の画素25及び複数の画素26は、それぞれが他方と隣接するように、行方向又は列方向に交互に配置される。例えば、図8に示すように、画素25と画素26とは、千鳥格子状に配置される。また、4画素で構成される画素単位217、218、219及び220は、それぞれ同じ画素パターンで構成される。画素アレイ21において、画素単位217、218、219及び220が2次元上に配置される。
【0073】
また、図9及び図10に示すように画素25と画素26とはストライプ状に配置されてもよい。また、画素アレイ21において、4つの画素25で構成される画素単位317及び319と、4つの画素26で構成されるこの画素単位318及び320とが2次元上に交互に配置される。
【0074】
なお、図8に示す画素201、204、205、208、209、212、213及び216が画素25に対応し、画素202、203、206、207、210、211、214及び215が画素26に対応する。また、図9に示す画素301〜304及び309〜312と、図10に示す画素401〜404及び409〜412とが画素25に対応し、図9に示す画素305〜308及び313〜316と、図10に示す画素405〜408及び413〜416とが画素26に対応する。なお、2種類の画素の組み合わせは逆になってもよい。
【0075】
画像生成部30は、撮像部20により生成された画像データ62及び画像データ63の輝度の違いを用いて、水を強調した画像データ68を生成する。画像生成部30は、画素補間部31と、輝度補正部32と、減算部33とを備える。
【0076】
画素補間部31は、画像データ62及び画像データ63をそれぞれ画素補間することで画像データ64及び画像データ65を生成する。
【0077】
輝度補正部32は、画像データ64及び画像データ65の少なくとも一方を増幅又は減衰することにより画像データ66及び画像データ67を生成する。
【0078】
減算部33は、画像データ67から画像データ66を減算することで、水を強調した画像データ68を生成する。
【0079】
また、撮像部20及び画像生成部30は、例えば、単一の半導体基板119上に、1チップの半導体集積回路として形成される。なお、撮像部20及び画像生成部30は、それぞれ個別の半導体集積回路として形成してもよい。また、撮像部20と、画像生成部30に含まれる機能ブロックの一部とを1チップの半導体集積回路として形成してもよいし、画像生成部30を複数の半導体集積回路で構成してもよい。また、画像生成部30の機能を、CPU等のプロセッサがプログラムを実行することにより実現してもよい。
【0080】
次に、本発明の実施の形態1に係る撮像システム10の動作を説明する。
【0081】
図11は、撮像システム10による画像信号生成処理の流れを示すフローチャートである。
【0082】
まず、照明部40により照射された近赤外光60は、被写体50で吸収及び反射される。撮像部20は、被写体からの反射光61のうち水の吸収ピークである波長960nm近傍の第1波長帯域の光を撮像し、画像データ62を生成する。また、撮像部20は、被写体50により反射された反射光61のうち、水の吸収ピークとは異なる波長850nm近傍の第2波長帯域の光を撮像し、画像データ63を生成する(S101)。具体的には、複数の画素25は、反射光61のうち光学フィルタ140及び130により透過された第1波長帯域の光を電気信号に変換する。また、複数の画素26は、反射光61のうち光学フィルタ140及び131により透過された第2波長帯域の光を電気信号に変換する。
【0083】
垂直走査部22及び水平走査部23により順次選択された画素25及び画素26により変換された電気信号は、A/D変換部24により、アナログ信号からデジタル信号に変換される。撮像部20は、複数の画素25に対応するデジタル信号である画像データ62と、複数の画素26に対応するデジタル信号である画像データ63とを画像生成部30に出力する。
【0084】
図12及び図13は、それぞれ画像データ62及び63の一例を示す図である。
【0085】
図12に示すように、画像データ62においては、波長960nm近傍の光が水に吸収されるため水が存在する領域の輝度が低くなる。また、図13に示すように、画像データ63においては、波長850nm近傍の光は水に吸収されないので画像データ62に比べ水が存在する領域の輝度は低くならない。
【0086】
また、水が存在しない領域においては、画像データ62及び63ともに同程度の輝度を有する。これは、通常の物質(分散型吸収スペクトルを有さない物質)の吸光スペクトルは、分散型吸光スペクトルに対して、波長に対する吸収係数の変化が少ないためである。
【0087】
次に、画素補間部31は、画像データ62及び画像データ63を画素補間する(S102)。以下、画素補間部31による画素補間について説明する。
【0088】
画素26には第1波長帯域の画素信号は存在しないので、画像データ62には、画素26に対応する画素位置の画素信号が存在しない。画素補間部31は、画像データ62における画素26の画素位置に対応する画素信号を当該画素位置に隣接する画像データ62の画素25の画素信号から生成することで、画像データ62における画素26の画素位置の画素信号を補間する。
【0089】
同様に、画素補間部31は、画像データ63における画素25の画素位置に対応する画素信号を当該画素位置に隣接する画像データ63の画素26の画素信号から生成することで、画像データ63における画素25の画素位置の画素信号を補間する。
【0090】
以下、画素25及び26の配置が図8に示す千鳥格子状の場合において、画像データ63の画素204の画素位置の画素信号を補間する例を説明する。
【0091】
画素補間部31は、画素202、203、206及び211の第2波長帯域の画素信号を用いて画素204の画素位置の第2波長帯域の画素信号を生成する。具体的には、画素補間部31は、4つの画素202、203、206及び211の画素信号の平均値を算出する。画素補間部31は、算出した平均値を、画素204の画素位置の第2波長帯域の画素信号とする。
【0092】
なお、別の方法として、画素補間部31は、画素202及び206からなる画素ペアの画素信号の差分の絶対値と、画素203及び211からなる画素ペアの画素信号の差分の絶対値とを比較する。画素補間部31は、絶対値が小さい画素ペアに含まれる2つの画素の画素信号の平均値を算出し、算出した平均値を、画素204の画素位置の第2波長帯域の画素信号とする。後者の処理方法は、前者の処理方法に比べて、被写体のエッジなどで生じる急峻な輝度変化に対してエッジを再現しやすいという利点がある。
【0093】
次に、図9又は図10のように画素25及び画素26をストライプ状に配置した場合の画素補間方法を説明する。ここでは、画像データ62における画素306の画素位置の画素信号を補間する例を説明する。
【0094】
画素補間部31は、6つの画素301、302、303、309、310及び311の平均値を算出し、算出した平均値を、画素306の画素位置の第2波長帯域の画素信号とする。
【0095】
また、別の方法として、画素補間部31は、画素301及び画素311からなる画素ペアの画素信号の差分の絶対値と、画素303及び画素309からなる画素ペアの画素信号の差分の絶対値とを比較する。画素補間部31は、絶対値が小さい画素ペアに含まれる2つの画素の画素信号の平均値を算出し、算出した平均値を、画素306の画素位置の第1波長帯域の画素信号とする。
【0096】
次に、輝度補正部32は、画素補間部31により画素補間された画像データ66及び67を輝度補正する(S103)。
【0097】
図14は、シリコンで構成される光電変換素子における光に対する相対感度の波長依存性を示す図である。図14に示すように、波長960nmの感度Aと、波長850nmの感度Bとは異なる。輝度補正部32は、感度Aと感度Bとの差を補正する。すなわち、輝度補正部32は、同じ光量の光が入射された時の画素信号が同じになるように画像データ64と65とを補正する。
【0098】
具体的には、光電変換素子がシリコンで構成される場合、感度Aが7パーセント、感度Bが21パーセントなので、例えば、輝度補正部32は、画像データ64を3倍することで輝度補正した画像データ66を生成する。また、輝度補正部32は、画像データ65をそのまま画像データ67として出力する。
【0099】
なお、図14に示すような相対感度の波長依存は、シリコン以外の材料で構成される光電変換素子に対しても存在する。よって、輝度補正部32は、光電変換素子の相対感度の波長依存に応じて、同じ光量の光が入射された時の画素信号が同じになるように画像データ64及び65のうち少なくとも一方を増幅又は減衰すればよい。
【0100】
次に、減算部33は、画像データ67から画像データ66を減算することで、水を強調した画像データ68を生成する(S104)。
【0101】
図15は、画像データ68の一例を示す図である。
【0102】
図15に示すように画像データ68において、水が存在する領域が強調される。
【0103】
図16は、画像データ62、63及び68の、図12、図13及び図15のx−y線における画素位置に対する輝度を示す図である。
【0104】
図16に示すように、水が存在しない領域では、つまり、被写体が分散型吸光スペクトルを有さなければ、画像データ62を3倍した画像データ66と、画像データ63とはほぼ等しい輝度となるので、画像データ68の輝度はほぼ0となる。一方、水が存在する領域では、画像データ62を3倍した画像データ66は、画像データ63と比べ輝度が小さいので、輝度は0以外の値となる。ここで、画像データ68におけて水が存在する領域の輝度は、水に吸収された光の輝度を表す。
【0105】
以上より、本発明の実施の形態1に係る撮像システム10は、被写体(水)で光が吸収された領域を強調した画像データ68を生成できる。
【0106】
さらに、撮像システム10は、単一の半導体基板に形成された撮像部20により、異なる波長帯域の光を撮像した画像データ62及び画像データ63を生成するので、複数の撮像素子を備える場合に比べ、撮像システム10及び撮像部20の小型化及び低コスト化を実現できる。また、撮像システム10は、小型分光器内のエアギャップを動かす等の動作を必要とせずに、同時に1フレームで画像データ62及び画像データ63を生成できる。よって、撮像システム10は、動きのある被写体に対しても被写体を強調した画像を好適に撮像できる。
【0107】
また、撮像システム10において、画素補間部31は、画像データ62及び63の画素補間を行う。これにより、撮像システム10は、水を強調した高精度の画像を生成できる。
【0108】
また、撮像システム10において、輝度補正部32は、第1波長帯域と第2波長帯域における光電変換素子の感度の差、及び照明強度の違い等を補正できる。これにより、撮像システム10は、水をより強調した画像を生成できる。
【0109】
(実施の形態2)
本発明の実施の形態2に係る撮像システムは、撮像部20により生成された2つの画像データ62及び63を除算すことにより、水を強調した画像データを生成する。
【0110】
まず、本発明の実施の形態2に係る撮像システムの構成を説明する。
【0111】
図17は、本発明の実施の形態2に係る撮像システムの構成を示すブロック図である。なお、図1と同様の要素には同一の符号を付しており説明を省略する。
【0112】
図17に示す撮像システム11は、図1に示す撮像システム10に対して、画像生成部35の構成が異なる。
【0113】
画像生成部35は、画素補間部31と、除算部36と、輝度補正部37とを備える。
【0114】
画素補間部31は、実施の形態1に係る画素補間部31と同様である。
【0115】
除算部36は、画像データ65を画像データ64で除算することで画像データ69を生成する。
【0116】
輝度補正部37は、画像データ69を所定のゲインで増幅することで水を強調した画像データ70を生成する。
【0117】
次に、撮像システム11の動作を説明する。
【0118】
図18は、撮像システム11による画像信号生成処理の流れを示すフローチャートである。なお、図18に示すステップS101及びS102の動作は、実施の形態1と同様であり、説明は省略する。
【0119】
ステップS102の後、除算部36は、画像データ65を画像データ64で除算することで画像データ69を生成する(S203)。
【0120】
次に、輝度補正部37は、画像データ69を所定のゲインで増幅することで、除算により絶対値が小さくなった画像データ69を出画機器に適切に表示できるように輝度補正する(S204)。
【0121】
図19は、画像データ70の一例を示す図である。
【0122】
図19に示すように画像データ70において、水が存在する領域が強調される。
【0123】
図20は、画像データ62、63及び70の、図12、図13及び図19のx−y線における画素位置に対する輝度を示す図である。
【0124】
図20に示すように、水が存在しない領域では、つまり、被写体が分散型吸光スペクトルを有さなければ、画像データ63を画像データ62で除算した値は、相対的に小さくなる。一方、水が存在する領域では、画像データ63を画像データ62で除算した値は、相対的に大きくなる。つまり、画像データ70は、水が存在する領域のみが浮かびあがった画像となる。
【0125】
以上より、本発明の実施の形態2に係る撮像システム11は、被写体(水)で光が吸収された領域を強調した画像データ70を生成できる。これにより、本発明の実施の形態2に係る撮像システム11は、上述した実施の形態1に係る撮像システム10と同様の効果を得ることができる。
【0126】
以上、本発明の実施の形態1及び2に係る撮像装置について説明したが、本発明は、この実施の形態に限定されるものではない。
【0127】
例えば、上記実施の形態1及び2では、本発明を、水を強調した画像データを生成する撮像システム10及び11に適用した例を説明したが、本発明は、水を検知するポイントセンサー等の検知装置にも適用できる。つまり、撮像部20は、それぞれ1個の画素25と画素26とのみを備えてもよい。この場合、本発明に係る検知装置は、画素補間部31を備えなくてよい。
【0128】
具体的には、本発明に係る検知装置において、画素25により第1波長帯域の光が第1信号に光電変換され、画素26により第2波長帯域の光が第2信号に光電変換される。画像生成部30は、当該第1信号及び第2信号の輝度の違いを用いて、水を検知したことを示す信号を生成する。なお、画像生成部30の動作は、画素補間を行わない点以外は、上述した画像生成部30又は35の動作と同様である。
【0129】
また、上記実施の形態1及び2では、光学フィルタ130及び131の透過特性として図4に示す例を示したが、光学フィルタ130及び131の透過特性はこれに限定されるものではない。
【0130】
例えば、上記説明では、光学フィルタ130が透過する第1波長帯域の中心波長は水の吸収スペクトルのピーク波長960nmとしたが、第1波長帯域は、ピーク波長960nmを含む波長帯域であればよい。
【0131】
また、光学フィルタ131が透過する第2波長帯域は、第1波長帯域を含まない波長帯域、つまりピーク波長960nmを含まない波長帯域であればよい。ここで、第1波長帯域及び第2波長帯域とは、透過特性502及び501において透過率が50%以上となる波長帯域である。
【0132】
なお、第2波長帯域の中心波長の水の吸収係数は、ピーク波長の水の吸収係数より十分に小さいことが好ましい。例えば、第2波長帯域の中心波長における水の吸収係数は、ピーク波長における水の吸収係数の半分以下であればよい。より好ましくは、第2波長帯域の中心波長における水の吸収係数は、ピーク波長における水の吸収係数より1桁以上小さいことが好ましい。
【0133】
また、第2波長帯域は、第1波長帯域に近い波長帯域であることが好ましい。これは、分散型吸光スペクトルにおけるピークに比べ変化はなだらかではあるが、水以外の物質も波長に応じて吸収率が変化する。よって、第1波長帯域と第2波長帯域とを近づけることで、水以外の物質の第1波長帯域と第2波長帯域とにおける吸収率の差を小さくできる。これにより、画像データ68又は70において水以外の物質が強調されることを抑制できる。
【0134】
具体的には、第1波長帯域と、第2波長帯域とが同色の光の波長帯域に含まれることが好ましい。ここで、第1波長帯域と第2波長帯域とが同色の光の波長帯域に含まれるとは、可視光における同色(例えば、青色は波長430nm〜460nm、緑色は波長500nm〜570nm、赤色は波長610nm〜780nm等。)の波長帯域に第1波長帯域と第2波長帯域とが含まれる場合のみでなく、可視光以外の近赤外光(780nm〜2500nm)、中赤外光(2.5μm〜4μm)、又は、遠赤外光(4μm〜1000μm)等の各波長帯域に、第1波長帯域と第2波長帯域とが含まれる場合も含む。
【0135】
また、上記説明では、水のピーク波長を960nmとしたが、水の吸収スペクトル701における他のピーク703等を第1波長帯域に用いてもよい。また、960nmよりさらに長波長側に存在するピーク(図示せず)を第1波長帯域に用いてもよい。なお、図14に示すように長波長になるほど、光電変換素子の相対出力が低下するが、SiGe等で光電変換素子を構成することで、長波長での相対出力を向上できる。
【0136】
また、上記実施の形態1及び2では、分散型吸光スペクトルを有する物質として水を例に説明したが、本発明は、水以外の分散型吸光スペクトルを有する物質にも適用できる。例えば、油、ヘモグロビン、又は病原体等を強調する画像を生成する撮像システム、又は、油、ヘモグロビン、又は病原体等を検知する検知装置に本発明を適用してもよい。この場合、第1波長帯域を強調又は検知の対象とする物質の吸光スペクトルのピーク波長近傍の波長帯域にし、第2波長帯域を当該ピーク波長と異なる波長近傍の波長帯域とすればよい。
【0137】
図21は、脂肪の吸収スペクトルを示す図である。図22は、ヘモグロビンの吸収スペクトルを示す図である。図21及び図22に示すように脂肪の吸光ピークは930nmであり、酸化ヘモグロビンの吸光ピークは580nmであり、還元ヘモグロビンの吸光ピークは550nmである。
【0138】
また、上記撮像システム10及び11は、遮光した容器の中で被写体50に対して、近赤外光を照射してもよい。この場合、可視光の影響を受けないので、光学フィルタ140を備えなくてもよい。
【0139】
また、上記実施の形態1及び2では、撮像部20は、CMOSイメージセンサとしたが、MOSイメージセンサ又はCCDイメージセンサであってもよい。
【0140】
また、上記実施の形態1の説明において、画像生成部30は、画素補間(S102)を行った後に、輝度補正(S103)を行うとしたが、輝度補正(S103)を行った後に、画素補間(S102)を行ってもよい。
【0141】
また、図3において光学フィルタ140は、マイクロレンズ103及び120の上方に形成されているが、光学フィルタ140は、マイクロレンズ103及び120と、光学フィルタ130及び131との間に形成されてもよい。
【産業上の利用可能性】
【0142】
本発明は、固体撮像装置及び撮像システムに適用でき、特に、水、油、ヘモグロビン、又は病原体などの分散型吸光スペクトルを有する物体を検出する撮像装置に適用できる。
【図面の簡単な説明】
【0143】
【図1】本発明の実施の形態1に係る撮像システムの構成を示すブロック図である。
【図2】本発明の実施の形態1に係る撮像部の構成を示す図である。
【図3】本発明の実施の形態1に係る画素の構造を示す断面図である。
【図4】本発明の実施の形態1に係る光学フィルタの透過特性を示す図である。
【図5】水の吸収スペクトルを示す図である。
【図6】水の吸収スペクトルを示す図である。
【図7】本発明の実施の形態1に係る光学フィルタにバンドパスフィルタを撮像素子前面に挿入した時の透過特性を示す図である。
【図8】本発明の実施の形態1に係る画素アレイにおける画素の配置例を示す平面図である。
【図9】本発明の実施の形態1に係る画素アレイにおける画素の配置例を示す平面図である。
【図10】本発明の実施の形態1に係る画素アレイにおける画素の配置例を示す平面図である。
【図11】本発明の実施の形態1に係る撮像システムにおける画像生成処理の流れを示すフローチャートである。
【図12】本発明の実施の形態1に係る波長960nmに対応する画像データの一例を示す図である。
【図13】本発明の実施の形態1に係る波長850nmに対応する画像データの一例を示す図である。
【図14】光電変換素子の相対感度に対する波長依存性を示す図である。
【図15】本発明の実施の形態1に係る撮像システムにより生成された水を強調した画像データの一例を示す図である。
【図16】本発明の実施の形態1に係る撮像システムにおける各画像データの輝度を示す図である。
【図17】本発明の実施の形態2に係る撮像システムの構成を示すブロック図である。
【図18】本発明の実施の形態2に係る撮像システムにおける画像生成処理の流れを示すフローチャートである。
【図19】本発明の実施の形態2に係る撮像システムにより生成された水を強調した画像データの一例を示す図である。
【図20】本発明の実施の形態2に係る撮像システムにおける各画像データの輝度を示す図である。
【図21】脂肪の吸収スペクトルを示す図である。
【図22】ヘモグロビンの吸収スペクトルを示す図である。
【符号の説明】
【0144】
10、11 撮像システム
20 撮像部
21 画素アレイ
22 垂直走査部
23 水平走査部
24 A/D変換部
25、26 画素
30、35 画像生成部
31 画素補間部
32、37 輝度補正部
33 減算部
36 除算部
40 照明部
50 被写体
60 近赤外光
61 反射光
62、63、64、65、66、67、68、69、70 画像データ
103、120 マイクロレンズ
104、106、108、110、112、114、116 高屈折率膜
105、107、109、111、113、115、122 低屈折率膜
117、118、123、124、125、126 配線
119 基板
121 平坦化膜
127、128 フォトダイオード
129 層間絶縁膜
130、131、140 光学フィルタ
201、202、203、204、205、206、207、208、209、210、211、212、213、214、215、216、301、302、303、304、305、306、307、308、309、310、311、312、313、314、315、316、401、402、403、404、405、406、407、408、409、410、411、412、413、414、415、416 画素
217、218、219、220、317、318、319、320、417、418、419、420 画素単位
501、502、601、602 透過特性
701 水の吸収スペクトル
702、703 ピーク
704 領域

【特許請求の範囲】
【請求項1】
分散型吸収スペクトルを有する予め定められた物質を強調した画像を生成する固体撮像装置であって、
前記分散型吸収スペクトルのピークを含む第1波長帯域を透過する第1濾光手段と、
前記ピークを含まず、かつ前記第1波長帯域と同色の帯域である第2波長帯域を透過する第2濾光手段と、
前記第1濾光手段により透過された光を第1画像データに変換する複数の第1光電変換手段と、
前記第1光電変換手段と同一の半導体基板に形成され、前記第2濾光手段により透過された光を第2画像データに変換する複数の第2光電変換手段と、
前記第1画像データ及び前記第2画像データの輝度の違いを用いて、前記物質を強調した画像を生成する画像生成手段とを備える
ことを特徴とする固体撮像装置。
【請求項2】
前記画像生成手段は、
前記第2画像データから前記第1画像データを減算することにより前記物質を強調した画像を生成する減算手段を備える
ことを特徴とする請求項1記載の固体撮像装置。
【請求項3】
前記画像生成手段は、さらに、
前記第1画像データ及び前記第2画像データのうち少なくとも一方を、増幅又は減衰する補正手段を備え、
前記減算手段は、前記補正手段により増幅又は減衰された前記第1画像データと前記第2画像データとを減算することにより前記物質を強調した画像を生成する
ことを特徴とする請求項2記載の固体撮像装置。
【請求項4】
前記複数の第1光電変換手段と、前記複数の第2光電変換手段とは、行方向又は列方向に交互に配置され、
前記画像生成手段は、さらに、
前記第1画像データにおける前記第2光電変換手段の画素位置に対応するデータを当該画素位置に隣接する前記第1画像データの画素のデータから生成することで、前記第1画像データにおける前記第2光電変換手段の画素位置のデータを補間し、前記第2画像データにおける前記第1光電変換手段の画素位置に対応するデータを当該画素位置に隣接する前記第2画像データの画素のデータから生成することで、前記第2画像データにおける前記第1光電変換手段の画素位置のデータを補間する画素補間手段を備え、
前記減算手段は、前記画素補間手段により画素補間された前記第2画像データから、前記画素補間手段により画素補間された前記第1画像データを減算することにより前記物質を強調した画像を生成する
ことを特徴とする請求項2又は3記載の固体撮像装置。
【請求項5】
前記画像生成手段は、
前記第2画像データを前記第1画像データで除算することにより前記物質を強調した画像を生成する除算手段を備える
ことを特徴とする請求項1記載の固体撮像装置。
【請求項6】
前記第1濾光手段及び前記第2濾光手段は、それぞれ、
高屈折率膜と低屈折率膜とを交互に積層した第1多層膜及び第2多層膜と、
前記第1多層膜と前記第2多層膜との間に積層された第3膜とを含み、
前記第1濾光手段に含まれる前記高屈折率膜及び前記低屈折率膜は、それぞれ、前記第2濾光手段に含まれる前記高屈折率膜及び前記低屈折率膜と膜厚が等しく、
前記第1濾光手段に含まれる前記第3膜は、前記第2濾光手段に含まれる前記第3膜と膜厚が異なる
ことを特徴とする請求項1〜5のいずれか1項に記載の固体撮像装置。
【請求項7】
前記固体撮像装置は、さらに、
前記第1波長帯域及び前記第2波長帯域を含む第3波長帯域の光を透過する第3濾光手段を備え、
前記第1光電変換手段は、前記第3濾光手段により透過され、かつ前記第1濾光手段により透過された光を前記第1画像データに変換し、
前記第2光電変換手段は、前記第3濾光手段により透過され、かつ前記第2濾光手段により透過された光を前記第2画像データに変換する
ことを特徴とする請求項1〜6のいずれか1項に記載の固体撮像装置。
【請求項8】
請求項1〜7のいずれか1項に記載の固体撮像装置と、
前記第1波長帯域及び前記第2波長帯域を含む第4波長帯域の光を照射する照明手段を備える
ことを特徴とする撮像システム。
【請求項9】
分散型吸収スペクトルを有する予め定められた物質を検知する検知装置であって、
前記分散型吸収スペクトルのピークを含む第1波長帯域を透過する第1濾光手段と、
前記ピークを含まず、かつ前記第1波長帯域と同色の帯域である第2波長帯域を透過する複数の第2濾光手段と、
前記第1濾光手段により透過された光を第1信号に変換する第1光電変換手段と、
前記第1光電変換手段と同一の半導体基板に形成され、前記第2濾光手段により透過された光を第2信号に変換する第2光電変換手段と、
前記第1信号及び前記第2信号の輝度の違いを用いて、前記物質を検知したことを示す第3信号を生成する信号生成手段とを備える
ことを特徴とする検知装置。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate

【図9】
image rotate

【図10】
image rotate

【図11】
image rotate

【図14】
image rotate

【図16】
image rotate

【図17】
image rotate

【図18】
image rotate

【図20】
image rotate

【図21】
image rotate

【図22】
image rotate

【図12】
image rotate

【図13】
image rotate

【図15】
image rotate

【図19】
image rotate


【公開番号】特開2009−257919(P2009−257919A)
【公開日】平成21年11月5日(2009.11.5)
【国際特許分類】
【出願番号】特願2008−107008(P2008−107008)
【出願日】平成20年4月16日(2008.4.16)
【出願人】(000005821)パナソニック株式会社 (73,050)
【Fターム(参考)】